選單
GSS 技術部落格
在這個園地裡我們將從技術、專案管理、客戶對談面和大家分享我們多年的經驗,希望大家不管是喜歡或是有意見,都可以回饋給我們,讓我們有機會和大家對話並一起成長!
若有任何問題請來信:gss_crm@gss.com.tw
3 分鐘閱讀時間 (535 個字)

資料倉儲簡介

資料倉儲簡介 倉儲資料流示意圖

基本概念

  一般對於倉儲的認知是:物流業者於各個收貨端收取貨物後,先將它們集中並依據貨運的目的地分類,存放於各地的物流中心,後續再運送到對應的端點,上述的物流中心負責統整各地貨物,即為倉儲;若將倉儲的概念套用在資訊領域,各個前端資訊系統就好比是各個收貨端,而倉儲負責收集各前端系統的資料後,將經過分析與整理的資料結果,儲存至資料庫,後續再提供給使用者或其他系統使用,這整體而言則稱呼為資料倉儲。


特性

  • 支援多種資料來源環境:可以從許多不同的環境擷取資料,例如:資料庫、文字檔...等,而其中的資料庫包含常見的ORACLE、MS SQL或其他可以儲存資料的平台。
  • 整合與清理:不同的來源資料雖然有不同的內容值,但卻代表著相同的意思,因此存進倉儲前須先統一資料的定義、型態與格式等。舉一個較常見的例子來說,性別分為男和女,抑或是前端系統的性別欄位為非必填,導致出現非男或女之情況,而將該資料定義為不明,這樣性別這個欄位的類別即有三種。在系統A的代碼分別為1、2與9;系統B的代碼分別為M、F與U,倉儲先定義好統一的代碼,在將資料根據定義,轉換為一致的內容。
  • 儲存古往今來龐大數量的資料:保存歷史與最新的資料。具有時間軸的資料,可以用於分析情況趨勢,預測未來的狀況。
  • 彙總明細資料為有意義的資訊:依據需求的邏輯,事先將明細資料分類後進行彙總計算,即變成可做為評估與決策的重要資訊。

優點

  • 可預先設定排程,隨時進行資料收載與處理。
  • 格式一致的資料對於分析,能增加準確的決策力。
  • 整合各來源的資料,讓使用者易於直接使用。
  • 能依據不同的需求,製作出客製化的邏輯轉檔。
  • 減少前端系統的負荷,讓前端系統專門用於處理即期的資料,而資料整併、提取、處理與分析,則由最適合的資料倉儲來負責。

缺點

  • 耗時許多人力和時間,分析資料的運算邏輯後,在進行程式開發。
  • 針對非預期的異常資料,需人工篩選出後做特殊處理。
  • 整套系統結構複雜,需有良好的架構,日後擴充時將較為省時省力。

在windows上設定全域的git ignore
docker in windows

相關文章

 

評論

尚無評論
已經注冊了? 這裡登入
Guest
2024/05/19, 週日

Captcha 圖像