聊聊 Apache Kafka

20230108223106 93

以下是跟 AI 聊聊 Kafka 的一些筆記 什麼是 Kafka? Kafka 是一種分佈式消息系統,具有高吞吐量、低延遲、可持久性和分區的特點。它主要用於分佈式系統中的數據發布/訂閱,並且可以作為消息隊列、數據流式處理等用途。 Kafka的設計基於分佈式系統的概念,它包含了一組服務器,這些服務器被稱為 brokers …

繼續閱讀

聊聊 HBase

20230107224137 53

以下是跟AI聊聊HBase的一些筆記 什麼是 HBase? HBase 是一個分散式、欄位導向、非關聯式資料庫系統,可以在 Apache Hadoop 之上運行。它是設計用來管理大量的結構化資料,並提供低延遲的讀寫存取。HBase 的資料儲存是欄位導向的,意思是資料會以行為單位儲存,且每一行可以有許多不同的欄位。 HB …

繼續閱讀

聊聊 Redis

20221231090725 3

以下是跟AI聊聊Redis的一些筆記 什麼是Redis? Redis 是一種快速、可基於記憶體的資料庫,具有超快的讀寫速度和豐富的功能。它可以用於儲存各種類型的資料,包括字串、數字、列表、集合、對像等。 Redis 的主要優勢在於它的高速度和可擴展性。它的讀寫速度非常快,並且可以通過模型分區(sharding)和主從復 …

繼續閱讀

數據倉庫DW、ODS、DM概念及其區別

image

一、整體結構 在具體分析數據倉庫之前先看下一下數據中心的整體架構以及數據流向: DB 是現有的數據來源(也稱各個系統的元數據),可以為MySql、SQLserver、文件日誌等,為數據倉庫提供數據來源的一般存在於現有的業務系統之中。 ETL的是 Extract-Transform-Load 的縮寫,用來描述將數據從來源 …

繼續閱讀