原標題：亞馬遜云科技Inf2為數百萬用戶交付更優(yōu)質的體驗
亞馬遜云科技一直致力于不斷降低機器學習的使用門檻，已經幫助超過10萬家來自各行各業(yè)的不同規(guī)模的客戶使用機器學習進行創(chuàng)新。亞馬遜云科技在人工智能和機器學習堆棧的三個層級都擁有至深至廣的產品組合。長期以來不斷投入、持續(xù)創(chuàng)新，為機器學習提供高性能、可伸縮的基礎設施，和極具性價比的機器學習訓練和推理;亞馬遜云科技研發(fā)了Amazon SageMaker，為所有開發(fā)人員構建、訓練和部署模型提供最大的便利;還推出了大量服務，使客戶通過簡單的API調用就可添加AI功能到應用程序中，如圖像識別、預測和智能搜索。得益于此，Intuit、湯森路透、阿斯利康、法拉利、德甲聯(lián)賽、3M和寶馬等客戶，以及全球數千家初創(chuàng)企業(yè)和政府機構正在通過機器學習進行數字化轉型，帶動產業(yè)升級，重新定義機器學習的使命。
宣布Amazon EC2 Trn1n和Amazon EC2 Inf2實例正式可用： 成本效益的生成式AI云基礎設施
無論運行、構建還是定制基礎模型，都需要高性能、低成本且為機器學習專門構建的基礎設施。過去五年，亞馬遜云科技持續(xù)加大在自研芯片方面的投入，不斷突破性能和價格的極限，以支持對此有極高要求的機器學習訓練與推理等工作負載。亞馬遜云科技Trainium和Inferentia芯片可以提供在云上訓練模型和運行推理的 成本。正是因為在成本和性能方面的優(yōu)勢，像AI21 Labs、Anthropic、Cohere、Grammarly、Hugging Face、Runway、Stability AI等領先的AI初創(chuàng)公司都選擇運行在亞馬遜云科技上。
由Trainium支持的Trn1計算實例與其他任何EC2實例相比，都可以節(jié)省高達50%的訓練成本，并經過優(yōu)化，可以在與高達800Gbps的第二代EFA(彈性結構適配器)網絡相連的多個服務器上分發(fā)訓練任務。客戶可以在超大規(guī)模集群(UltraClusters)中部署Trn1實例，數量可以擴展到在同一可用區(qū)中3萬個Trainium芯片，相當于超過6 exaflops的計算能力，并具有PB級網絡。許多亞馬遜云科技客戶，包括Helixon、Money Forward和亞馬遜的搜索團隊，都使用Trn1實例將訓練最大規(guī)模的深度學習模型所需的時間從幾個月縮短到幾周甚至幾天，并且降低了成本。
今天，基礎模型花費的時間和金錢主要用于訓練，這是因為許多客戶才剛剛開始將基礎模型部署到生產中。但是，在未來，當基礎模型進入大規(guī)模部署時，大部分成本將用于運行模型和進行推理�？蛻敉ǔㄆ谟柧毮Ｐ停谑巧a應用程序會不斷生成預測(稱為推理)——每小時可能生成數百萬預測。而且這些預測需要實時發(fā)生，這就需要極低延遲和高吞吐量的網絡。Alexa就是一個典型的例子，它每分鐘都會接受數百萬次請求，處理這些請求占所有計算成本的40%。
2018年，我們發(fā)布了首款推理專用芯片Inferentia。每年，亞馬遜都運用Inferentia運行數萬億次推理，并節(jié)省數億美元成本。這是十分顯著的成果，繼續(xù)創(chuàng)新的空間依然巨大，因為隨著越來越多的客戶將生成式AI集成到他們的應用程序中，工作負載的規(guī)模和復雜性只會越來越大。
因此，亞馬遜云科技宣布由Amazon Inferentia2提供支持的Inf2實例正式可用，這些實例專門針對運行數千億個參數模型的大規(guī)模生成式AI應用程序進行了優(yōu)化。與上一代相比，Inf2實例不僅吞吐量提高了4倍，延遲降低了10倍，還可實現加速器之間的超高速連接以支持大規(guī)模分布式推理。與同類Amazon EC2實例相比，這些能力將推理性價比提高了40%，并把云中的推理成本降到 ，Runway等客戶有望利用Inf2將部分模型的吞吐量提升至原來的兩倍。受益于高性能和低成本的推理，Runway能夠引入更多功能，部署更復雜的模型，并最終為自己的數百萬用戶交付更優(yōu)質的體驗。
投稿郵箱：chuanbeiol@163.com 詳情請訪問川北在線：http://m.sanmuled.cn/
