omniture

北京靈奧科技基于亞馬遜云科技打造大模型中間件

亞馬遜云科技
2024-06-27 13:57 2902

助力企業(yè)加速應(yīng)用生成式AI

北京2024年6月27日 /美通社/ -- 北京靈奧科技基于亞馬遜云科技的生成式AI、數(shù)據(jù)庫和容器等云服務(wù),打造大模型中間件,將基礎(chǔ)模型優(yōu)勢(shì)和企業(yè)業(yè)務(wù)數(shù)據(jù)無縫結(jié)合,打通企業(yè)AI應(yīng)用落地的最后一公里。靈奧科技現(xiàn)已服務(wù)全球超過30,000家用戶,廣泛覆蓋電商、金融、法律、房地產(chǎn)、教育和能源等行業(yè)。

大模型中間件是基于基礎(chǔ)模型與AI應(yīng)用之間的中間層基礎(chǔ)軟件,主要解決基礎(chǔ)模型應(yīng)用過程中數(shù)據(jù)集成、應(yīng)用集成、知識(shí)庫(向量數(shù)據(jù)庫)與基礎(chǔ)模型融合等問題。作為一家快速成長的初創(chuàng)企業(yè),靈奧科技自成立之初就加入了亞馬遜云科技合作伙伴網(wǎng)絡(luò),推出了大模型中間件平臺(tái)Vanus,提供語料的實(shí)時(shí)采集、數(shù)據(jù)清洗、過濾和嵌入。同時(shí),作為上層應(yīng)用訪問基礎(chǔ)模型與知識(shí)庫的入口,提供基礎(chǔ)模型與知識(shí)庫的融合、應(yīng)用部署和執(zhí)行。

Vanus大模型中間件平臺(tái)基于亞馬遜云科技而構(gòu)建,應(yīng)用亞馬遜云科技在計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)、數(shù)據(jù)庫和生成式AI等方面服務(wù),實(shí)現(xiàn)了多個(gè)方面的好處。利用托管容器服務(wù)Amazon Elastic Kubernetes Service(Amazon EKS)的彈性擴(kuò)展能力,Vanus可根據(jù)業(yè)務(wù)流量平滑伸縮,助力企業(yè)輕松應(yīng)對(duì)流量洪峰,平均成本降低30%,性價(jià)比提高20%;在提高可用性和可靠性方面,利用亞馬遜云科技全托管文檔數(shù)據(jù)庫服務(wù)Amazon DocumentDB多可用區(qū)、多副本的特性,Vanus可輕松實(shí)現(xiàn)數(shù)據(jù)跨區(qū)存儲(chǔ),實(shí)現(xiàn)無感災(zāi)難恢復(fù),可用性達(dá)到99.99%;在降低延時(shí)方面,Vanus借助對(duì)象存儲(chǔ)服務(wù)Amazon Simple Storage Service(Amazon S3)及數(shù)據(jù)庫的高并發(fā)數(shù)據(jù)查詢能力,結(jié)合亞馬遜云科技全球網(wǎng)絡(luò)節(jié)點(diǎn)加速能力,縮短基礎(chǔ)模型上下文加載時(shí)間,將AI Agent回復(fù)系統(tǒng)延時(shí)降低40%;此外,Vanus借助全托管的生成式AI服務(wù)Amazon Bedrock提供的Claude系列模型,提升AI Agent的語言理解和邏輯推理能力,打造更加智能的服務(wù)體驗(yàn)。

目前,Vanus大模型中間件已在電商、金融、法律、房地產(chǎn)、教育等多個(gè)行業(yè)的業(yè)務(wù)場(chǎng)景中得到廣泛應(yīng)用。

某軟件服務(wù)企業(yè)各部門沉淀了大量內(nèi)部數(shù)據(jù),但面臨跨部門知識(shí)共享效率低和客服培訓(xùn)非常耗時(shí)的挑戰(zhàn)。同時(shí),客服人員基于傳統(tǒng)搜索方式獲取信息,導(dǎo)致響應(yīng)時(shí)間較長,用戶投訴率上升。Vanus基于亞馬遜云科技的存儲(chǔ)和數(shù)據(jù)庫等云服務(wù),幫助企業(yè)從文檔、數(shù)據(jù)庫、SaaS軟件等多個(gè)數(shù)據(jù)源中實(shí)時(shí)抽取數(shù)據(jù),構(gòu)建統(tǒng)一的企業(yè)知識(shí)庫;同時(shí),借助Amazon Bedrock等服務(wù),為企業(yè)客服人員構(gòu)建AI 機(jī)器人,基于全域業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)推理,快速提供回復(fù)建議,極大地降低了客服響應(yīng)時(shí)間?,F(xiàn)在,問題回復(fù)時(shí)間已從分鐘級(jí)降至秒級(jí),客服團(tuán)隊(duì)的人效提高70%,大幅降低了客服投入的成本。

南美洲某服飾類電商網(wǎng)站的產(chǎn)品高達(dá)7,000多種,每天面臨大量關(guān)于產(chǎn)品、退換貨和物流的客戶咨詢,不僅需要很多客服人員,也帶來了較高的管理成本。尤其在客服團(tuán)隊(duì)非工作時(shí)間,客戶問詢未能得到及時(shí)回應(yīng),不僅導(dǎo)致客戶滿意度下降,更錯(cuò)失了許多商機(jī)。Vanus基于Amazon Bedrock等云服務(wù)為該企業(yè)構(gòu)建了適合電商應(yīng)用場(chǎng)景的客服機(jī)器人VanChat,能夠提供7*24小時(shí)的即時(shí)問題回復(fù)服務(wù),幫助該企業(yè)節(jié)省大量人力資源,提高客戶滿意度。此外,VanChat還提供用戶意圖識(shí)別和產(chǎn)品推薦等功能,加快用戶的購買決策,推動(dòng)網(wǎng)站銷售業(yè)績的增長。VanChat為該企業(yè)帶來顯著的經(jīng)濟(jì)效益,僅上線首月投資回報(bào)率就高達(dá)611%,同時(shí)還提供客戶洞察,幫助企業(yè)更好地理解用戶需求并優(yōu)化營銷策略。

北京靈奧科技CEO厲啟鵬表示:"在生成式AI賦能方面,亞馬遜云科技不僅為我們構(gòu)建了底層基礎(chǔ)設(shè)施,還提供了眾多簡單易用且功能強(qiáng)大的云服務(wù)和專家資源,加速了靈奧科技生成式AI產(chǎn)品的快速落地。展望未來,我們將繼續(xù)深化與亞馬遜云科技在數(shù)據(jù)庫和基礎(chǔ)模型領(lǐng)域的合作,進(jìn)一步增強(qiáng)處理數(shù)據(jù)的能力,幫助客戶充分釋放生成式AI的商業(yè)潛力。"

消息來源:亞馬遜云科技
China-PRNewsire-300-300.png
全球TMT
微信公眾號(hào)“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動(dòng)態(tài)、財(cái)報(bào)信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection