產品簡介syncsort_logo

DMExpress™ 是一套針對Unix、Linux andWindows平台所開發的高效能資料轉換產品。可以非常快的速度將資料從任何的資料庫中或是文字檔萃取出來，對記錄或欄位進行各式的轉換後，接著再將資料載入至目的端資料庫或寫出文字檔。您可以經由Windows平台上方便的圖型介面來設計、排程及控制所有的轉換流程。透過專利演算法、先進的平行處理技術、動態最佳化轉換方法，在最少資源的使用情況下將處理的時間縮短，充分的利用現行的硬體投資成本。

產品特色


簡單操作與功能強大的使用者圖型介面


直覺式開發介面，並可整合規則表示式應用更複雜的字串處理

DMExpress不但能用來改善資料庫載入效能，更可以應用於大型的企業級資料倉儲。藉由專利的轉換引擎，來取代資料庫或是其他的工具與程式語言的資料轉換方案，DMExpress是最快速的替代方案。您可以使用DMExpress成為獨立的解決方案或是與其他的ETL整合應用，以加速整體系統執行速度。DMExpress可以加速ETL、資料倉儲的暫存資料、資料庫的載入效能達90％以上。DMExpress也能大幅度的降低WEB log的分析、DataMining、舊系統遷移過程的資料轉換及一般批次作業資料庫載入或資料轉換的處理時間。DMExpress可以幫助你改善在以下層面所面臨到的資料管理及效能上的挑戰：

  • 資料倉儲（Data Warehousing）
  • 資料庫的批次載入（Database and Batch Loads）
  • 異動資料比對處理（Delta Processing）
  • 網站記錄處理（Web Log Processing）
  • 資料採礦（Data Mining）
  • 商業智慧（Business Intelligence）
  • 彙總（Aggregation）
  • 資料品質與清洗（Data Quality and Cleansing）
  • 客戶關係管理（Customer Relationship Management）
  • 企業流程管理（BPM）
  • 企業應用程式整合（EAI）
  • 線上交易處理（OLTP Systems）

產品功能

高效能

DMExpress整合專利的演算法及先進的平行處理技術，並透過動態最佳化達成處理時間的最小化及資源使用的最少化，依據I/O設備的速度，充分有效的利用I/O效能。

擴充性及靈活性

DMExpress依據環境的需求，能夠很容易的從小的環境擴充至大型環境，可以執行在工作站或是4個CPU，甚至是64顆CPU的Superdome的伺服器，也可以被安裝在Windows, Linux andUNIX平台上。DMExpress能夠在單機執行或是產生程式碼與現行的腳本或是程式語言結合運作。此外，在應用系統開發的任一週期內，DMExpress也能充分的與應用系統結合，以期提高整體效能，包括：

  • 安裝後，當作加速器使用，用來提升運作效能。
  • 當成元件用來取代一個效能不佳的工作。
  • 當成一個獨立的資料整合工具，並用以開發全新的系統。

資料整合

使用DMExpress您可以結合不同位置的分散資料來源，在萃取資料後，也可以在資料整合前執行多個資料轉換的工作，接著載入至決策支援系統或是商業智慧系統所使用的資料市集、資料倉儲或是多維度資料結構。

Metadata管理

在有效的資料整合中，最關鍵的即是Metadata，它提供一些在分析資料時相關的資訊。DMExpress提供靈活及方便的Metadata Model，讓使用者可以維護及重覆的使用記錄的格式、商業規則、轉換規則、工作排程規則。

DMExpress提供2種型態的Metadata格式，即：Source與Execution

  • Source Metadata：包含所有來源端資料的資訊，Metadata定義的維護，可以放置於特定的工作或是中控式的儲存資料庫。其主要包含資料如下：
  • 檔案格式（Record layout）
  • 商業規則（Business rule）
  • 相關連的資料（Derived data）
  • 客製化字元集編碼（Customized collating sequences）
  • 資料庫連線（Database connections

使用者可經由EMExpress提供的使用介面定義Metadata格式，也可以藉由連接其他DMExpress的作業來取得Metadata，或是連接到COBOLcopybook來取得資料格式的定義。

  • Execution Metadata：
    所有DMExpress工作及排程執行的資訊，主要儲存於執行工作或是排程的DMExpressServer上面。

支援ACUCOBOL-GT

DMExpress可以用來當作是ACUCOBOL-GT排序或合併指令的加速器，用來加速ACUCOBOL-GT特定的檔案格式。不但可以改善已存在的舊系統同時有能力讓轉換後的系統擁有類似Mainframe的效能。

進階資料管理功能

DMExpress提供的進階資料管理功能，能讓你直接從桌上型電腦執行位於UNIX、Linux或WindowsServer的資料轉換，這些轉換作業可以利用排程設定執行時間、內嵌於批次作業中或是與其他的工具結合。這些作業可以重覆使用，因而能夠節約新系統的開發時間。這些進階資料管理功能支援目前被廣泛使用的資料庫如Oracle、Microsoft SQLServer、DB2 andSybase。這些進階資料管理功能包括：

Source Level Operation
支援所有來源端的作業，像是將資料庫表格轉換成文字檔；反之，也能將文字檔轉換至資料庫表格。資料格式可以是固位欄位或是浮動欄位。

Record Level Operation
可以執行Aggregate 、join 、sort 、merge作業，或只是單獨的將資料複製（copy）至適合的目的端。

Field Level Operation
包含資料型態和格式的轉換、數值運算、字串截取、日期時間作業、格式辨認（pattern-matching）、條件判斷。

使用者定義數值

經由這個功能您可以執行更複雜的資料轉換運算，能夠定義任何數量的使用者定義變數，透過此變數你可以在執行階段時取得在設計階段無法確定的值。

強大的彙總特色

DMExpress簡化了彙總工作的建立、管理及執行，它彙總資料的速度比其他的替代方案更快。透過DMExpress可以達到以下的應用：

  • 藉由方便的圖型介面瀏覽資料庫表格及文字檔用以設定彙總工作。
  • 定義彙總工作所需的所有函數，包含total, count, average, minimum and maximum 。
  • 組合資料成為像是以時間、地區、銷售單位、產品種類的維度。經由圖型介面即時執行工作或是批次執行。

異質來源及目的端

DMExpress支援主流資料庫包含Oracle, Microsoft SQLServer, DB2 and Sybase。根據下游資料的需求，能夠靈活的去整合自不同位置的多種資料來源並輸出結果。DMExpress能夠靈活的從關連式資料庫取出或寫入資料。可以處理的種類如下：

  • 關聯連式資料庫包括Oracle, DB2, Microsoft SQL-Server, SybaseGzip
  • 壓縮檔
  • Pipes
  • 記憶體中資料

作業建立、排程及執行工作

不像其他的工具，DMExpress屬於client-server 的架構，在工作站提供高度的靈活度去設計及測試應用系統，並稍後執行於Server系統。可以讓你在建置前測試定義的應用系統。物件導向式的作業編輯器負責組合工作、整合其他工具或是用戶自行開發的程式、產生腳本、排程、執行與監控。視覺化呈現工作的流程，允許你去查閱JOB中的多個工作及執行順序，同時也監控工作的執行狀態。經由設定排程器和日歷可以讓你立即執行工作或是於稍後的時間執行。

容易使用

進階以及容易使用的圖型介面可以用來加速工作(Task)及作業(Job)的開發及建置。圖型介面依據，可以減少鍵盤輸入、減少重覆資料輸入、可以重覆使用的概念來設計。使用圖型介面可以幫助你快速方便的達到以下的工作：

  • 將一連串的Task連結成一個JOB，並指定執行順序。
  • 利用滑鼠拖曳的方式來建立工作
  • 利用點選的方式來建立應用系統
  • 監控、排程、管理工作及JOB的流程
  • 重覆利用已開發的物件和JOB
  • 完善的線上輔助文件，降低開發的門檻
  • 使用加強的工作設定功能，可以在執行結果時顯示資料內容

圖型介面的特色

  • 可以依據系統環境的變化及限制，靈活的實施作業
  • 可以讓開發人員使用最少的程式開發及維護系統
  • 經由容易的開發與快速的完成工作增加團隊生產力

產品效益

縮短資料處理時間

DMExpress能夠高速的合併非常大的檔案並產生有利於分析的D Data Mining 資料庫；也可以用來縮短在執行BI 程式時所需資料的處理時間；透過DMExpress功能強大的資料整合應用如JOIN, SORT, MERGE 及SUMMARIZE用來加速異動資料擷取的處理流程；此外也能快速的處理網站記錄、改善資料品質、彙總、預先處理資料等等作業。

大幅度的加快資料倉儲的工作

不同於其他的工具，即使所需要的資料增加，DMExpress依舊能維持效能的優勢。尤其是在彙總、索引、清除與標準化，整合後並載入至倉儲的作業。

簡化資料載入作業

DMExpress能夠快速轉換（Convert）、清洗（Cleanse）、格式化（Format）資料，依照企業作業流程彙總（Aggregate）資料，接著從資料倉儲（Data Warehouse）傳遞至資料市集（Data Mart）。DMExpress可以縮短關聯式資料庫如Oracle,SQLServer, DB2 and Sybase 批次載入的時間。經過DMExpress預先排序所執行的批次載入將可以減少近50％或更高的時間。

改善查詢及報表產生時間

利用DMExpress來轉換你所需要的資料，能夠讓你更有效率的使用資料。DMExpress也能夠最佳化彙總表格的定義、收集及維護，利用彙總表格你可以減少在多維度資料倉儲的查詢反應時間，當資料成長時，利用這些彙總表格能夠大幅度的減少查詢及報表產生的時間。

加速萃取作業

DMExpress能夠大幅縮短資料萃取時間，DMExpress的資料彙總及排序功能比其他替代方案如C/C++ 程式、SQL指令或其他的資料倉儲套件更快速。

降低硬體預算成本

DMExpress以超高的效能，使用最少的CPU、記憶體及儲存空間，讓資料處理作業時間在最短時間內完成，使現有的硬體投資能夠被充分運用。

增加生產力

因為DMExpress方便的圖型介面，能夠讓使用者更快速的開發及套用，減少人員開發的成本，同時也能夠大幅度的增加生產力及投資報酬率。

執行更多的程式

DMExpress能夠分擔原本由關連式資料庫所執行的資料處理工作，透過動態調整及專利的演算法，DMExpress能夠讓你的作業執行的更快，不僅能減少原本的處理時間，還可以釋放出資料庫所佔的資源。因而可以執行更多的程式，其好處也能直接反應在投資報酬率

系統架構圖


完整的Metadata 管理，並加上高效能的專利演算法，讓資料整合變的更輕鬆

  • Graphical user interface
  • Base
  • Optional components
  • Database source component
  • Read from all databases instances of a specific vendor
  • Database target component
  • Write to all databases instances of a specific vendor
  • Advanced data management component
  • High-performance aggregations, arithmetic operations, min, max, average, first and last
  • Workstations, 3-packs or 5-packs
  • Same set of Optional components

DMExpressServer 元件組成圖 : 

 

系統整合

  • DMExpress可以產生像是C++, C,Visual Basic,Korn shell語法，與其他的開發工具整合。
  • Advanced Data Management(ADM)進階資料管理為高效能彙總(aggregation)與聚集(Join)的套件。
  • Data Source and Target component支援關連式資料庫連線。

系統需求

伺服器端

硬體設備

Intel-Based, IBM RS/6000, HP 9000 PA-RISC , Intel Itanium2, SUN SPARC, IBM POWER systems

作業平台

Windows, AIX, HP-UX 11, HP-UX 11.23, Solaris, Linux 2.4 IA64 64-bit, ,Linux 2.4 x86 32-bit, Linux 2.4 x86_64 64-bit, Linux 2.6 Power 32-bit,Linux 2.6 Power 64-bit, Tru64 5.1 Alpha 64-bit

使用者端

硬體設備

Intel-Based

作業平台

Windows

成功案例

常見問集

  • DMExpress目前支援那些平台？
    答：Windows,AIX, HP-UX 11, HP-UX 11.23, Solaris, Linux 2.4 IA64 64-bit, , Linux 2.4x86 32-bit, Linux 2.4 x86_64 64-bit, Linux 2.6 Power 32-bit, Linux 2.6Power 64-bit, Tru64 5.1 Alpha 64-bit
  • DMExpress的加速器可以支援那種類型的應用？
    答：DMExpress可以用來改善IBM DB2 LOAD , COBOLSORT and MERGE verbs, and the UNIX system sort 的效能。
  • 公司已經購買了ETL工具，且目前也使用中，但是有效能上的問題，我需要重新開發整個系統嗎？
    答：DMExpress本身可以產生Unix Script, Dos batch 或是C++的程式碼，可以讓你與目前的環境無痕結合，減少系統轉換的困難。
  • DMExpress可以處理很複雜的資料轉換？
    DMExpress本身除了提供基本的函數功能外，另外也可以配搭高效能的資料處理函數，再加上規則表示式的應用，可以解決更複雜的字串處理。
  • DMExpress是否有支援COBOL的copybook功能？
    答：有