漫畫:什么是數據倉庫和ETL?





















一個故事


在很久很久以前,世界上生活着許多種族,有人類,有矮人,有精靈......他們有着不同的信仰,不同的文化,彼此相安無事。可是,有一個猥瑣男卻偏偏想要統治整個世界。

如何統治這么多不同文化信仰的種族呢?猥瑣男想出一個餿主意,打造出幾枚擁有魔力的戒指,免費送給不同種族的領袖,讓他們可以更好地統治各自的族人。

當各個種族的領袖美滋滋地戴上各自的魔戒,走上人生巔峰的時候,猥瑣男又打造出一枚獨一無二的至尊魔戒。他利用至尊魔戒的力量控制了所有的魔戒,從而控制了各個種族的領袖,繼而控制了整個世界。

這個故事告訴我們:數據庫和數據倉庫之間的關系。


如果說,那個世界的每一個生命個體都是一條數據記錄,那么普通的魔戒的地位就好比是數據庫,而至尊魔戒的地位就好比是數據倉庫。






什么是數據倉庫?


數據倉庫,英文名稱Data Warehouse,簡寫為DW。數據倉庫顧名思義,是一個很大的數據存儲集合,出於政府或企業的分析性報告和決策支持目的而創建,對多樣的業務數據進行篩選與整合。它為需求單位提供一定的BI(商業智能)能力,指導業務流程改進、監視時間、成本、質量以及控制。


數據倉庫的輸入方是各種各樣的數據源,最終的輸出用於企業的數據分析、數據挖掘、數據報表等方向。


 

那么,數據倉庫都有什么特點呢?


1.主題性

不同於傳統數據庫對應於某一個或多個項目,數據倉庫根據使用者實際需求,將不同數據源的數據在一個較高的抽象層次上做整合,所有數據都圍繞某一主題來組織。

這里的主題怎么來理解呢?比如對於政府民政低保管理部門,“居民家庭經濟狀況分析”就是一個主題,對於退役士兵管理部門“經濟補助金統計分析”就是一個主題。


2.集成性

數據倉庫中存儲的數據是來源於多個數據源的集成,原始數據來自不同的數據源,存儲方式各不相同。要整合成為最終的數據集合,需要從數據源經過一系列抽取、清洗、轉換的過程。


3.穩定性

數據倉庫中保存的數據是一系列歷史快照,不允許被修改。用戶只能通過分析工具進行查詢和分析。


4.時變性

數據倉庫會定期接收新的集成數據,反應出最新的數據變化。這和特點並不矛盾。


什么是ETL?


ETL的英文全稱是 Extract-Transform-Load 的縮寫,用來描述將數據從來源遷移到目標的幾個過程:


1.Extract,數據抽取,也就是把數據從數據源讀出來。


2.Transform,數據轉換,把原始數據轉換成期望的格式和維度。如果用在數據倉庫的場景下,Transform也包含數據清洗,清洗掉噪音數據。


3.Load  數據加載,把處理后的數據加載到目標處,比如數據倉庫。


雲坤科技有一款專業的WingconnETL

挺不錯的,關鍵性價比很高。


WingconnETL

能很好的滿足數據處理需要,價格卻非常實惠,

在蘇州政務大數據及多個市政府、發改委的大項目中均有應用。


WingconnETL簡介:

WingconnETL是雲坤科技面向數據集成領域推出的一款專業的 ETL工具軟件,該工具軟件可快速實現多種數據源的數據抓取、數據轉換與處理、數據質量控制及目標數據庫加載,將分散在不同業務不同系統應用中的數據整合成完整、一致、准確、可集中存取的數據,幫助企業級用戶快速實現多個IT應用系統間的數據整合,滿足企業用戶對數據的准確性、有效性需求,為企業用戶戰略發展提供有效數據依據。

可以很好地支撐目前各大行業和領域的數據大集中、主題庫、基礎庫、運營數據存儲( ODS)等應用需求,也可以作為數據倉庫、商業智能等應用的 ETL數據整合工具。

WingconnETL主要由集成開發工具、資源庫、服務器、統一管理平台四部分構成,主要功能及特點有:

◎豐富的系統適配功能

◎提供強健的ETL引擎

◎豐富的處理組件

◎強大的監控管理功能

◎支持跨平台運行

◎支持多種數據抽取模式

◎資源統一存儲

◎插件式組件管理和可擴展性


補充說明:

對於大數據方向,小編也僅僅了解皮毛,漫畫中若存在錯誤或是描述不全面的地方,還請大家多多指正補充。



注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2020 ITdaan.com