為數(shù)據(jù)、分析和AI提供統(tǒng)一平臺(tái)
北京2024年12月10日 /美通社/ -- 亞馬遜云科技在2024 re:Invent全球大會(huì)上,宣布推出新一代Amazon SageMaker,將客戶所需的快速SQL分析、PB級(jí)大數(shù)據(jù)處理、數(shù)據(jù)探索和集成、模型開(kāi)發(fā)和訓(xùn)練以及生成式人工智能(AI)等功能統(tǒng)一到一個(gè)集成平臺(tái)上。
亞馬遜云科技人工智能和數(shù)據(jù)副總裁Swami Sivasubramanian博士表示:"分析和AI正在融合,從歷史分析到ML模型訓(xùn)練和生成式AI應(yīng)用程序,客戶以越來(lái)越互聯(lián)的方式使用數(shù)據(jù)。為了支持這些工作負(fù)載,許多客戶已經(jīng)在使用我們專(zhuān)門(mén)構(gòu)建的分析和ML工具組合,例如,已成為處理數(shù)據(jù)和構(gòu)建ML模型事實(shí)標(biāo)準(zhǔn)的Amazon SageMaker、Amazon EMR、Amazon Redshift、Amazon S3數(shù)據(jù)湖和Amazon Glue的組合。新一代Amazon SageMaker將這些功能匯集到一起,同時(shí)還加入了一些令人興奮的新特性,為客戶提供數(shù)據(jù)處理、SQL分析、ML模型開(kāi)發(fā)和訓(xùn)練以及構(gòu)建生成式AI所需的所有工具。"
使用Amazon SageMaker Unified Studio更快地協(xié)作和構(gòu)建
如今,數(shù)十萬(wàn)客戶使用Amazon SageMaker來(lái)構(gòu)建、訓(xùn)練和部署ML模型。許多客戶還依賴亞馬遜云科技提供的一整套專(zhuān)門(mén)構(gòu)建的分析服務(wù)來(lái)支持各種工作負(fù)載,包括SQL分析、搜索分析、大數(shù)據(jù)處理和流式分析。越來(lái)越多的客戶不再孤立地使用這些工具,相反,他們正在將分析、ML和生成式AI相結(jié)合來(lái)獲取洞察并為用戶提供新體驗(yàn)。這些客戶將受益于一個(gè)統(tǒng)一的環(huán)境——匯集了客戶熟悉的亞馬遜云科技分析、ML和生成式AI工具,不但可以輕松訪問(wèn)他們的所有數(shù)據(jù),還能夠與團(tuán)隊(duì)或組織的其他成員輕松協(xié)作處理數(shù)據(jù)項(xiàng)目。
新一代Amazon SageMaker包括一個(gè)新的、統(tǒng)一的工作室,為客戶提供一個(gè)單一的數(shù)據(jù)和AI開(kāi)發(fā)環(huán)境,用戶可以在其中查找和訪問(wèn)其組織中的所有數(shù)據(jù),為各種常見(jiàn)的數(shù)據(jù)用例選擇最佳的工具,并將數(shù)據(jù)和AI項(xiàng)目擴(kuò)展至團(tuán)隊(duì)內(nèi)及不同分工角色以實(shí)現(xiàn)協(xié)作。Amazon SageMaker Unified Studio整合了在Amazon Bedrock、Amazon EMR、Amazon Redshift、Amazon Glue和現(xiàn)有Amazon SageMaker Studio中客戶喜歡使用的一系列獨(dú)立"工作室"、查詢編輯器和可視化工具的功能和工具。這使客戶可以輕松訪問(wèn)和使用這些功能來(lái)發(fā)現(xiàn)和準(zhǔn)備數(shù)據(jù)、編寫(xiě)查詢或代碼、處理數(shù)據(jù)以及構(gòu)建ML模型。Amazon Q Developer全程協(xié)助支持開(kāi)發(fā)任務(wù),包括數(shù)據(jù)發(fā)現(xiàn)、編碼、SQL生成和數(shù)據(jù)集成等。例如,用戶可以詢問(wèn)Amazon Q:"我應(yīng)該使用哪些數(shù)據(jù)來(lái)更好地了解產(chǎn)品銷(xiāo)售情況?"或"生成SQL來(lái)計(jì)算按照產(chǎn)品類(lèi)別分類(lèi)的總收入。"用戶可以安全地發(fā)布數(shù)據(jù)、模型、應(yīng)用程序和其他構(gòu)件并與其團(tuán)隊(duì)或組織成員共享,從而加快對(duì)數(shù)據(jù)資產(chǎn)的可發(fā)現(xiàn)性和使用率。借助Amazon SageMaker Unified Studio中與Amazon Bedrock集成的開(kāi)發(fā)環(huán)境(IDE),用戶可以使用Amazon Bedrock精選的高性能基礎(chǔ)模型和工具(例如Agents、Guardrails、Knowledge Bases和Flows),快速、輕松地構(gòu)建和部署生成式AI應(yīng)用程序。Amazon SageMaker Unified Studio內(nèi)置數(shù)據(jù)發(fā)現(xiàn)、共享和治理功能,因此分析師、數(shù)據(jù)科學(xué)家和工程師可以輕松搜索和找到其用例所需的正確數(shù)據(jù),同時(shí)應(yīng)用所需的安全控制和權(quán)限,維護(hù)訪問(wèn)控制,并保護(hù)他們的數(shù)據(jù)安全。
NatWest Group是英國(guó)一家領(lǐng)先的銀行,為超過(guò)1900萬(wàn)客戶提供服務(wù),使用多種工具進(jìn)行數(shù)據(jù)工程、SQL分析、ML和生成式AI工作負(fù)載。借助Amazon SageMaker Unified Studio,NatWest Group將在整個(gè)組織內(nèi)擁有一個(gè)統(tǒng)一的環(huán)境來(lái)支持這些工作負(fù)載,并預(yù)計(jì)其數(shù)據(jù)用戶訪問(wèn)分析和AI功能所需的時(shí)間將減少50%,從而使他們花更少的時(shí)間管理多個(gè)服務(wù),將更多的時(shí)間用于客戶創(chuàng)新。
通過(guò)Amazon SageMaker數(shù)據(jù)和AI治理滿足企業(yè)安全需求
新一代Amazon SageMaker簡(jiǎn)化了整個(gè)組織內(nèi)數(shù)據(jù)和AI的發(fā)現(xiàn)、治理和協(xié)作。借助基于Amazon DataZone構(gòu)建的Amazon SageMaker Catalog,管理員可以使用具有精細(xì)控制的單一權(quán)限模型,定義和實(shí)施一致的訪問(wèn)策略,這樣跨團(tuán)隊(duì)的數(shù)據(jù)工作人員可以安全地發(fā)現(xiàn)和訪問(wèn)經(jīng)過(guò)批準(zhǔn)的數(shù)據(jù)和模型,這些數(shù)據(jù)和模型包含由生成式AI創(chuàng)建的業(yè)務(wù)上下文元數(shù)據(jù)。管理員可以輕松地定義和實(shí)施跨模型、工具和數(shù)據(jù)源的權(quán)限,而定制的安全措施有助于確保AI應(yīng)用程序的安全性和合規(guī)性??蛻暨€可以通過(guò)Amazon SageMaker中的數(shù)據(jù)分類(lèi)、毒舌檢測(cè)(toxicity detection)、防護(hù)欄(guardrails)和負(fù)責(zé)任的AI策略來(lái)保護(hù)其AI模型。
Amazon SageMaker Lakehouse減少數(shù)據(jù)孤島并統(tǒng)一數(shù)據(jù)
如今,超過(guò)一百萬(wàn)個(gè)數(shù)據(jù)湖構(gòu)建在Amazon Simple Storage Service(Amazon S3)上,使客戶能夠集中其數(shù)據(jù)資產(chǎn),并通過(guò)亞馬遜云科技分析、AI和ML工具獲取價(jià)值。數(shù)據(jù)湖使客戶能夠按原樣存儲(chǔ)數(shù)據(jù),從而輕松組合來(lái)自多個(gè)來(lái)源的數(shù)據(jù)??蛻舻臄?shù)據(jù)可能分布在多個(gè)數(shù)據(jù)湖以及數(shù)據(jù)倉(cāng)庫(kù)中,用一種簡(jiǎn)單的方法統(tǒng)一所有這些數(shù)據(jù)將讓客戶受益。
Amazon SageMaker Lakehouse可統(tǒng)一訪問(wèn)存儲(chǔ)在Amazon S3數(shù)據(jù)湖、Redshift數(shù)據(jù)倉(cāng)庫(kù)和聯(lián)合數(shù)據(jù)源中的數(shù)據(jù),無(wú)論數(shù)據(jù)的存儲(chǔ)方式和物理位置在哪,都可以減少數(shù)據(jù)孤島并讓查詢更容易。借助Amazon SageMaker中與Apache Iceberg兼容的全新數(shù)據(jù)湖倉(cāng)功能,客戶可以從Amazon SageMaker Unified Studio中,使用他們熟悉的與Apache Iceberg開(kāi)放標(biāo)準(zhǔn)兼容的AI和ML工具以及查詢引擎,訪問(wèn)和處理他們的所有數(shù)據(jù)?,F(xiàn)在,無(wú)論數(shù)據(jù)以何種方式存儲(chǔ)以及存儲(chǔ)位置,客戶可以使用他們喜歡的分析和ML工具對(duì)數(shù)據(jù)進(jìn)行處理,以支持包括SQL分析、即席查詢、數(shù)據(jù)科學(xué)、ML和生成式AI在內(nèi)的用例。Amazon SageMaker Lakehouse提供集成的精細(xì)訪問(wèn)控制,這些訪問(wèn)控制一致地應(yīng)用于Lakehouse中所有分析和AI工具中的數(shù)據(jù),客戶只需定義一次權(quán)限即可在整個(gè)組織中安全地共享數(shù)據(jù)。
羅氏(Roche)是一家制藥和診斷領(lǐng)域的先鋒企業(yè),致力于推進(jìn)科學(xué)進(jìn)步以改善人們的生活。該公司將使用Amazon SageMaker Lakehouse統(tǒng)一來(lái)自Amazon Redshift和Amazon S3數(shù)據(jù)湖的數(shù)據(jù),以消除數(shù)據(jù)孤島,增強(qiáng)團(tuán)隊(duì)之間的協(xié)作,并允許用戶無(wú)縫利用數(shù)據(jù),無(wú)需昂貴的數(shù)據(jù)移動(dòng)或重復(fù)的安全訪問(wèn)控制。借助Amazon SageMaker Lakehouse,Roche預(yù)計(jì)數(shù)據(jù)處理時(shí)間將減少40%,這讓他們減少數(shù)據(jù)管理工作,而將精力更多用于推動(dòng)業(yè)務(wù)發(fā)展。
全新zero-ETL集成SaaS應(yīng)用程序,可快速、輕松地訪問(wèn)SaaS數(shù)據(jù)
為了在運(yùn)營(yíng)中真正利用數(shù)據(jù),企業(yè)需要無(wú)縫訪問(wèn)所有數(shù)據(jù),無(wú)論這些數(shù)據(jù)位于何處。這就是亞馬遜云科技不斷發(fā)展zero-ETL的原因。zero-ETL使數(shù)據(jù)集成不再是繁瑣的手動(dòng)工作,客戶可以輕松地在需要的地方獲取數(shù)據(jù)。這包括Amazon Aurora MySQL和PostgreSQL、Amazon RDS for MySQL以及Amazon DynamoDB與 Amazon Redshift的zero-ETL集成,幫助客戶快速輕松地訪問(wèn)在Amazon Redshift和Amazon SageMaker Lakehouse中的常用的關(guān)系和非關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù),并用于分析和ML。除了運(yùn)營(yíng)數(shù)據(jù)庫(kù)和數(shù)據(jù)湖,許多客戶還將關(guān)鍵企業(yè)數(shù)據(jù)存儲(chǔ)在SaaS應(yīng)用程序中,客戶將從輕松訪問(wèn)所有這些數(shù)據(jù)進(jìn)行分析和ML中受益。
客戶使用與SaaS應(yīng)用程序集成的全新zero-ETL,可以輕松地訪問(wèn)Amazon SageMaker Lakehouse中的Zendesk和SAP等應(yīng)用程序以及Amazon Redshift中的數(shù)據(jù),并用于分析和AI。這消除了對(duì)數(shù)據(jù)管道的需求,數(shù)據(jù)管道的構(gòu)建本身就具有挑戰(zhàn)性且成本高昂,而且數(shù)據(jù)管道管理復(fù)雜,容易出錯(cuò)而讓客戶無(wú)法及時(shí)獲得想要的見(jiàn)解。集成SaaS應(yīng)用程序的zero-ETL包含數(shù)據(jù)同步、增量更新和刪除檢測(cè)以及目標(biāo)merge的最佳實(shí)踐。
來(lái)自不同行業(yè)、各種規(guī)模的組織機(jī)構(gòu),包括Infosys、Intuit和 Woolworths,已經(jīng)受益于亞馬遜云科技zero-ETL集成,無(wú)需構(gòu)建和管理數(shù)據(jù)管道,即可快速輕松地連接和分析數(shù)據(jù)。例如,通過(guò)集成SaaS應(yīng)用程序的zero-ETL,在線房地產(chǎn)平臺(tái)idealista將能夠簡(jiǎn)化其數(shù)據(jù)提取和攝取流程,無(wú)需多個(gè)管道來(lái)訪問(wèn)存儲(chǔ)在第三方SaaS應(yīng)用程序中的數(shù)據(jù),并使他們的數(shù)據(jù)工程團(tuán)隊(duì)能夠?qū)W⒂趶臄?shù)據(jù)中獲得可操作的見(jiàn)解,而不是構(gòu)建和管理基礎(chǔ)設(shè)施。
新一代Amazon SageMaker現(xiàn)已可用,Amazon SageMaker Unified Studio目前推出預(yù)覽并很快可用。
要了解更多詳情,請(qǐng)?jiān)L問(wèn):