企業導入AI案例：整合 ChatGPT 生成 Chatbot 讓企業事半功倍！

企業導入AI案例與建議，本刊的客群對 ChatGPT、Bing Chat、Google Bard 應該都不陌生，就筆者目前在各產業的推廣接觸的瞭解，中、大型企業內部 HR、IT、客服等部門，對於企業導入AI相關應用可行性的詢問度，比起上一季又高了幾倍，因此利用此篇文章與大家說明，讓各位能進一步瞭解叡揚對於企業導入AI案例及解決方案的價值。

ChatGPT 公開至今，這個產業趨勢及話題熱度已延燒超過半年，在這段期間，大大小小的媒體前撲後繼報導各式的應用場景，創文、摘要已經不再稀奇，在視訊會議自動生成會議摘要與翻譯、把文字敘述轉為圖片或圖表、依要求異動既有圖片內容，或反向看圖說故事等，琳瑯滿目的效果，不論其中有多少比例已成熟、可商化，但足以讓民眾、乃至於企業管理人都逐漸相信：直覺、免學、「就像在用 Line 溝通」的對話式互動，終將成為新一代人機互動的理想型式。也可以說，目前生成式 AI 的大浪潮之所以強勁，除了基於深度學習效果的大幅躍進，也來自於全人類一起刷新了對上一代 Chatbot 互動服務效果的舊印象，對其未來應用潛力燃起了全新的夢幻期待。

由個人到企業的應用

然而這類看似具備「世界觀」，擁有出眾理解力的超大語言模型 ( 以下簡稱 LLM)引擎，目前仍只有科技巨頭，或「國家隊」級別的組織才擁有足量的創建、維運資源。因此，當下常見的科普 Q&A 應用方式、或前述提到較為先進的互動場景，仍是以適合「個人作業」的案例居多（Google ＂ top ai tools ＂可查到知名的工具如 Midjourney，Photoshop 的圖片生成；beautiful.ai 的簡報檔生成；Botsheets 的excel 生成…）；但若把場景轉向對「企業導入AI」應用，比如說：員工想對公司的文檔、資料庫做快速的 Q&A 提問，那麼就會牽涉到整合企業內部資料源的技術議題，這就非員工訂閱某個前述 AI 服務就能解決的工作，通常需要 CIO 視公司的科技策略與資源現況，籌劃專案建置或工具導入方案來實現目標，裡頭主要任務包括：

1.提供企業導入AI案例，說服老闆認同導入相關服務後可創造的競爭優勢與價值。

2. 評估比較各種實現方案的導入期程、應用彈性與易擴充性、維運便利性、技轉機會等。

3. 監工、應變、優化，把餅再做大。所以，在企業內「實質」的導入先進LLM 應用（或者「對話式服務」），應「自建或選商？」「專案或工具導入？」是重要的評估議題。以下我們進一步探討相關優缺點。

首先，雖然知名的生成式 LLM 都提供了相應的 API 服務（例如微軟的 AOAI 提供Embedding、Fine Tune、ChatGPT 等API 接口），試圖協助企業更便利的存取及利用這個超級大腦，2022 上半年甚至也有表現不凡的 LLM 直接 Open Source（例如 Falcon LLM），但對於企業來說「此 API 非彼 API」，並不是懂得 RESTfulAPI 怎麼呼叫的工程師，拿到這份 API 規格，看著說明就能做出適當、得宜的對話應答。若未具備自然語言處理技術或經驗，無法梳理其中 API 搭配順序、因應不同情況調度配套補強手法，工作進展可能會長期停留在「try and error」階段（更不提引進 Open Source 所需的專業人才投入）。當然，很多中、大型企業想要藉此時機培養 AI 專才，以投資佈局自身的相關技術實力，這個原則我們也非常贊同，但又可能伴隨曠日費時失去先機的風險。因此兩全齊美方案是：選擇一個已「內建現成應用」且對 LLM 整合「技術透明化」的企業 Chatbot 導入工具，這工具應具備以下特點：

1. 企業能快速導入「由這個工具所設計」完成介接 LLM API 的現成應用（如：對企業特定文檔做 Q&A 查詢）。

2. 企業 IT 團隊可從工具的視覺化介面，清楚看到、學習這個現成介接 LLMAPI 的應用是如何設計，並能便捷的自主優化、調整內容，並據以設計新的應用場景。

3. 能迎合企業不斷發想的需求與創意，自主設計介接不同 LLM 或 AI 服務。

在人才難尋，AI 人才更不能強求的當下，公司需要兼顧企業 AI 技術掌握力的培養與成長，又能快速引進相關應用來創造價值，並誘發新應用創意；另外，未來的 AI服務可能走向各領域百花齊鳴的專業化與精緻化，能善用第三方服務也將成為專業分工加速開發、提昇延展性的重要考量。

企業導入AI案例叡揚C.ai 對話服務平台：可視覺化設計、測試介接各類 LLM

企業導入AI案例：打造企業 Q&A Chatbot

「做一部車子不再從打造四個輪子出發」。如果我們都認同：對話式服務在企業內部許多人機「互動頻繁」的場景上，將逐漸取代傳統系統操作介面，並逐漸演變為服務單一窗口（如 ERP 助理可問生產線進度、查庫存、機台或系統發生問題可自動推播維修人員；CRM秘書可問產品規格、訂單或客戶合約，HR 秘書可查公司規章、請假、各種簽單……等，互動頻道可橫跨 Web 及各類常見即時通），這樣的趨勢對公司 IT技術發展政策必有若干牽動，未來 CIO 必將肩負相關的「系統開發、引進」責任。不論企業自己建立多個對話機器人，還是合併為一個單一窗口，建置策略都應儘量朝著選用 No Code / Low Code 的工具平台為優先，把建立企業機器人的「基礎設施」苦差事（如何串接不同頻道？如何設計不同互動元素？如何整併導入AI 服務？存取企業資料？推播機制？版本管理？資安與權限？……）都交給工具平台進行自動化、正規化處理，如此才能大幅縮減開發時程及投入人力，避免以土法煉鋼、客製寫程式的方式去開發每一個機器人應用。

企業導入AI案例：叡揚資訊運用C.ai對話服務平台

最後，筆者所屬團隊歷經四年開發的「C.ai 對話服務平台」，就是一個能同時滿足前述二項重要議題的「企業級」機器人生成 No code 工具。以下畫面就是我們透過這個工具，自行設計實現它與 AOAI 的 API 整 合，生成 Q&A 機器人的具體案例：管理者只要從 iota C.ai對話服務平台提供的簡易介面上傳文檔（例如員工手冊、產品說明……），就能快速生成一個專屬於相關內容範圍的企業 Q&A Chatbot。

C.ai 介接 AOAI 後餵入規章文檔，就能回答文檔內容範圍的問題；發問的角度有彈性，生成的回應也十分洽當

企業導入AI案例-服務平台應用一

它除了具備比擬 ChatGPT 的理解力，在所謂「自然語言的訓練及調教」上幾乎不需花費額外功夫，是價性比相當高的基本對話式應用。企業生成這個機器人之後，IT 部門還能跟其他部門在這個工具上協作設計，自主擴建其他跨系統資料查找功能，達到以最經濟的方式，搭建出比傳統 App 更高效的對話服務，並能兼顧行動化、對話化、自動化的多維應用情境。受限於本刊篇幅，本次僅做簡短的觀念與成果分享。如各位企業先進與朋友對開發「對話式」人機介面、或 AOAI 應用有興趣，歡迎直接聯絡我們。

透過 C.ai 設計生成的各式企業應用服務案例

企業導入AI案例-服務平台應用二

C.ai 對話服務平台的應用架構