Photo Credit: TNL Brand Studio

打造三層 AI 蛋糕，中層 Amazon Bedrock 累積超過一萬家客戶

關於這幾年 AWS 在 AI 有哪些具體的投入？ Mark Relph, Director of Generative AI Go-To-Market, Amazon Bedrock 用了一個比喻，他說：「可以想像我們正在打造一個三層的蛋糕，每一層各有不同目的及功能項目。」

Mark 逐一解釋， 最底層的基礎設施，也就是運算、網絡、架構層，舉例來説， AWS 積極發展兩款用來訓練生成式 AI 的訂製晶片，分別是 AWS Trainium 及 AWS Inferentia  ，幫助更多客戶獲得具成本亦得運算能力。另外一個是 AWS 推出全託管的機器學習（ ML ）服務 Amazon SageMaker ，它讓 AI 開發人員和數據科學家的得以快速建構大型語言模型（LLMs）和其他基礎模型（FMs）。

中間層則是模型層， AWS 透過 Amazon Bedrock ，讓用戶可以透過單一 API 建置生成式 AI 應用程式所需的各種廣泛功能，搭配安全、隱私與負責任的 AI ，幫助企業使用熟悉的 AWS 服務，將生成式 AI 功能安全整合並部署到應用程式之中。蛋糕的最上一層則是應用層，針對各種應用程式內建 AI 功能，一方面幫助開發人員生成程式處理的工具，另一方面則針對商業應用，受惠企業以更有效率打造 AI 助手。

其中， Amazon Bedrock 之所以受到各界關注， Mark 解釋，「因為這是一項屬於無伺服器的全託管服務，開發者不用管理管理任何 IT 基礎設備，可以直接透過 API 嘗試使用 Amazon Bedrock 上面的生成式 AI 模型，接著把模型安全整合到對應的應用程式當中。」

目前累積超過一萬家活躍客戶使用 Amazon Bedrock ，這個雲端 AI 模型平台之所以有這麼高的黏著度，很重要的一個因素就是「集結」多個重要 AI 模型。攤開名單，包含 Stable Diffusion 、 Mistral 、 Llama 、 AWS 自家的 Amazon Titan ，以及 AI 新創公司 Anthropic 推出的  Claude 3 系列模型（包含 Sonnet 、 Haiku 、 Opus ），這些模型提供給客戶多種選擇，讓客戶找到最適合自己的基礎模型，應用場景包含但不限於常見一些
用來生成文本、圖像、音訊或是執行對話、摘要總結、文字處理作業等的應用。

Photo Credit: TNL Brand Studio
▲Mark Relph（上）、FOx（下）視訊訪談畫面

AWS 投資 Anthropic 聯手力推 Claude 3 ，讓 AI 模型「混搭」效率大

今年 3 月，亞馬遜宣布完成對 Anthropic 的 40 億美元投資，談到雙方合作契機， Mark 解釋， AWS 與 Anthropic 有共同的目標，就是提供客戶一個快速、安全及負責任地探索生成式 AI 。拆解雙方的進一步合作細節，目前可知 Anthropic 會採用 AWS 的 Trainium 及 Inferentia 晶片，建構、訓練及部署其 AI 模型，而 AWS 也會在 Amazon Bedrock 開放、存取 Anthropic 最先進的 AI 模型權限。

而 Anthropic 打造的 Claude 3 Opus ，除了登上 Amazon Bedrock 供更多人使用之外， Claude 3 Opus 之所以備受矚目，另一原因是 Claude 3 Opus 在今年 3 月在專門盲測大型語言模型（ LLM ）能力的 LMSYS Chatbot Arena 排行榜上（資料來源：https://www.ithome.com.tw/news/162023），成功「篡位」拿下冠軍寶座。

根據 Anthropic 測試，處理複雜的開放式問題， Claude 3 Opus 的準確率比 Claude 2.1 提高約兩倍，而且跟其他模型進行特殊知識表現比較，像是研究生水準專家推理、基礎數學等，理解力和熟練度都更為優異。除了有 Claude 3 Opus 的加持， Amazon Bedrock 持續受到歡迎的因素， Mark 給了另一個角度的詮釋。

「我們發現越來越多企業在不同的 AI 模型之間切換，例如用一個模型做文字檔案摘要，接著需要用另一個模型做問題推理及解決，所以他們傾向把模型『串連』在一起，來解決複雜的業務問題。 Amazon Bedrock 正可滿足這樣情境的基礎建設環境，秉持以客戶為中心並從解決問題的角度出發，也是為什麼 Amazon Bedrock 引起客戶共鳴的關鍵，」 Mark 補充道。

除了建置好用的雲端平台環境，從 2023 年開始， AWS 還成立「生成式 AI  創新中心」投入一億美元預算，用來聯結 AWS 平台上的 AI 和機器學習專家與全球客戶，協助構想、設計和推出新的生成式 AI 產品、服務和流程。 AWS 與 Anthropic 內部的合作，也是透過生成式 AI  創新中心的資源，讓更多客戶受惠 Claude 3 系列模型，將 AI 真正普及到各行各業。

把通才 AI 變成公司的專才秘書，負責任 AI 確保企業數據足夠安全

不論是潛力新創公司、領先的成功企業、或是政府組織，前仆後繼成為 Amazon Bedrock 的用戶， AWS 也看到不同產業的生成式 AI 使用情境實際落地。 Mark 提到幾個案例，例如客服部門有 Claude 3 加持，讓人與人的對話過程即時掌握顧客需求，客服同仁可以從 AI 工具獲得文字提示，當下就能完整歸納出給客戶的解答，不僅可減少通話時間又提升對話價值。

除此之外，生成式 AI 還可以在製造業（例如：分析維修手冊提供下次機台需要進修時間）、醫療業（例如：提供該位顧客返家後用藥須注意事項）、金融業（例如：針對該客戶的貸款狀況、提交的財務文件快速指出下一階段業務內容）等領域有所貢獻。

但從上述的情境當中可發現，這類回答往往需要更專業、更適合的答案，而且不能輕易「糊弄」提問者。對此， Cathy Lai, Lead, Service Specialist Team, AWS Taiwan 就提到， Amazon Bedrock 內建負責任 AI（responsible AI） 及 RAG（Retrieval-Augmented Generation） 檢索增強生成功能，可以把大型語言模型從「通才」訓練成「專才」。

不過要把 AI 訓練成專才，當然需要企業內部的知識資料庫內容，包含訓練手冊、技術文件、關鍵數據等資料，藉此讓  RAG 模型內的資訊擷取元件，從新資料來源提取資訊。從而提供給 LLM 使用新的知識及其訓練資料來建立更好的回應，將資料轉換為數值表示並將其儲存在向量資料庫中。此程序建立一個生成式 AI 模型可以理解的知識庫，並使用數學向量計算和表示來計算及確立相關性。因此大語言模型就能更具專業內容和具邏輯性的回答。但企業內部重要資料攸關營業機密，要放到 AI 平台進行模型訓練當然更關注安全性。

對此， Mark 以嚴肅口吻回答，「隱私和安全性。始終是 AWS 最關注也最在意的項目。」目前 Amazon Bedrock 導入防護機制，可設定閾值的內容篩選條件，以篩選涉及仇恨、辱罵、犯罪活動以及提示攻擊等有害內容。同時 Amazon Bedrock 也提供 Guardrails 功能有效實施客製化的安全措施，可以限制大語言模型不提供可能造成財物損失的投資建議等訊息。另外防護機制也會偵測使用者輸入內容和  FM 回應中的個人身分識別資訊（PII）等敏感內容，以保護隱私權。「最後要強調，每家企業的資料不會傳回給 AI 模型供應商，同時 AWS 也絕對不會隨意拿取客戶的資料。」 Cathy 補充道。

展望未來， AWS 會努力尋找用更簡單的方式，給非資工背景的人享受到 AI 效益，甚至自主創建專屬的 AI 應用。 Mark 提到他們有一個「PartyRock」網站（https://partyrock.aws/），底層就是由 Amazon Bedrock 驅動，讓一般大眾在網站根據自身需求（例如希望幫自己的 YouTube 頻道寫腳本）來客製化自己的 AI 應用程式。「可以肯定的是， AWS 將確保提供最好的 AI 工具給我們的客戶，這是永遠不變的承諾！」 Mark 表示。 

爲了提供大衆體驗 Claude 3 及其他部分 Amazon Bedrock 平台大語言模型（LLM）的機會，現在就邀請大家限時免費體驗，每一個在本 AWS 網頁開設的測試帳戶現在不需要綁定信用卡、且享有 24 小時內完全免費，讓你輕鬆一鍵創造實驗環境！

點此即刻享受 AWS 的精彩體驗

點此免費體驗AWS的生成式AI 來建置你的APP