根據不同因素，企業有時會選擇使用開放源碼的大型語言模型（LLM）在其AI應用程式中。選擇這種方法的人通常希望節省調用API的成本，或不信任AI服務提供商的數據保護設施。
Multiable沒有對任何一個支持私有部署的LLM有傾向性，以下是自有LLAMA（目前其中一個比較受歡迎的開放源碼LLM）在亞馬遜網絡服務（AWS）上運行的成本分析。
很多人在計劃在雲端設立一個“可用”的LLAMA時常犯錯誤，忽略了生產運行所需的一系列雲端服務。多數IT人員可能會按UAT環境的成本來申請預算，系統上線後才發現嚴重超支。
事實上，托管大型語言模型架構（LLAMA）在AWS上涉及多種成本組成，這些成本與AWS的不同服務有關。
- Amazon EC2 (Elastic Compute Cloud):
- 價格取決於所選的實例類型和配置。建議使用GPU實例，如p3.2xlarge進行密集的機器學習任務。
- p3.2xlarge實例：約每小時USD3.06。
- p3.8xlarge實例：約每小時USD12.24。
- 預留實例和Spot實例可以提供顯著的成本節省。
- Amazon S3 (Simple Storage Service):
- 用於存儲數據集和模型檢查點。
- 標準存儲：每月每GB USD0.023。
- 不常訪問的存儲：每月每GB USD0.0125。
- Glacier存儲（用於歸檔模型）：每月每GB USD0.004。
- Amazon EBS (Elastic Block Store):
- 為EC2實例提供持久塊存儲。
- 通用型SSD (gp2)：每月每GB USD0.10。
- Provisioned IOPS SSD (io1)：取決於配置的IOPS和存儲大小而不同。
- Amazon VPC (Virtual Private Cloud):
- 在服務之間數據傳輸可能產生網絡成本。
- 數據傳出：每月前1 GB免費，每月10 TB以內每GB USD0.09。
- AWS Lambda:
- 用於任何需要的無伺服器函數處理。
- Lambda函數：每百萬次請求USD0.20，每GB秒計算時間USD0.00001667。
- Amazon CloudWatch:
- 為基礎架構提供監控和日誌服務。
- 自定義指標：每月每個指標USD0.30。
- 日誌：每GB USD0.50，存檔每GB USD0.03。
根據多種因素，托管和運行自有LLAMA在AWS上的年度成本如下：
- 計算：AWS提供適合大型語言模型的多種實例，例如基於GPU的EC2實例。使用p3.8xlarge實例，成本約為每小時USD12.24，每年持續運行約花費USD107,136。
- 存儲：Amazon S3或EBS提供靈活的存儲選項。高性能EBS約每GB每月USD0.10，假設需要10 TB，存儲成本約為每年USD12,000。
- 網絡傳輸：數據傳輸成本各異，但如果估計每月USD500，則每年約USD6,000。
- 附加服務：利用AWS Lambda、API Gateway或其他服務，額外成本約USD5,000。
概算結果：
- 計算：約USD107,136
- 存儲：約USD12,000
- 網絡傳輸：約USD6,000
- 附加服務：約USD5,000
- 總計：約USD130,136每年。
請注意，僅僅上述內容涵蓋了AWS雲服務的費用。所涉及的勞動成本尚未提及，並且根據個別客戶的需求可能會有很大差異。
LAIDFU，一個以無代碼方式(No Code Approach)可配置的企業AI Agent，允許用戶在其應用程序中運用不同的AI服務提供商，包括OpenAI、百度以及自己的DeepSeek或LLAMA。用戶可以自由選擇最合適的大型語言模型 (LLM) 來執行用戶定義的使用案例，針對各種業務流程進行操作。
聯絡我們
