Claude 3模型家族包括三種最先進的型號:Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。Haiku、Sonnet和Opus分別指“俳句、十四行詩、音樂藝術大作”。
Opus和Sonnet現(xiàn)已可在claude.ai中使用,而 Claude API現(xiàn)已在159個國家/地區(qū)廣泛使用。Haiku在3月15日正式推出。
Anthropic由OpenAI前高管創(chuàng)立,投資者包括谷歌、Salesforce、亞馬遜、高通等科技巨頭,估值超過150億美元。
零一萬物發(fā)布并開源 Yi-9B,代碼數(shù)學綜合能力全面增強
3月6日,零一萬物開源了Yi-9B模型,是目前 Yi 系列模型中代碼和數(shù)學能力最強的模型。
Yi-9B的實際參數(shù)為8.8B,與Yi系列其他模型一樣,默認上下文長度是4K tokens。Yi-9B是在 Yi-6B (使用了3.1T tokens訓練)的基礎上,使用了0.8T tokens進行繼續(xù)訓練,使用截止至2023年6月的數(shù)據(jù)。
Inflection.ai發(fā)布 Inflection-2.5,升級對話模型Pi
3月7日,Inflection.ai推出Inflection-2.5,這是升級后的內部模型,它將原始能力與標志性個性和獨特的同理心微調結合在一起。Inflection-2.5現(xiàn)已向所有Pi用戶開放,可通過網頁、iOS、Android或桌面應用程序使用。
Inflection-2.5接近GPT-4的性能,但僅使用了40%的計算量用于訓練。每天有100萬活躍用戶和每月600萬活躍用戶與Pi交換了超過40億條消息。
Inflection.ai的大模型通過微軟Azure、CoreWeave上對用戶提供服務。
馬斯克宣布xAI本周開源Grok
馬斯克在去年成立了大模型公司xAI,并與去年11月發(fā)布AI聊天機器人Grok。
Grok基于Grok-1大模型,開發(fā)大約花了四個月的時間(包括2個月的訓練),上下文長度為8192,訓練數(shù)據(jù)截至2023年第三季度。Grok可以提供生成文本、代碼、郵件、信息檢索等功能。Grok對所有X Premium+訂閱用戶開放,每月費用為16美元。
3月11日,馬斯克宣布本周開源Grok。在這一帖子下面,有網友回復“OpenAI也應該這么做”。馬斯克則回復該評論稱:“OpenAI是個謊言?!?
蘋果發(fā)布300億參數(shù)大語言模型MM1
3月14日,蘋果發(fā)布了一個300億參數(shù)的多模態(tài)大模型MM1。
通過細致的消融研究,作者們發(fā)現(xiàn),對于大規(guī)模多模態(tài)預訓練,混合使用圖像標題、交錯的圖像-文本數(shù)據(jù)和純文本數(shù)據(jù)對于在多個基準測試中實現(xiàn)最先進的少次學習結果至關重要。此外,圖像編碼器、圖像分辨率和圖像標記數(shù)量對性能有顯著影響,而視覺-語言連接器的設計相對不那么重要。
研究結果表明,通過擴大模型規(guī)模,構建的MM1模型系列在預訓練指標上達到了最先進的水平,并在一系列多模態(tài)基準測試中的監(jiān)督微調后取得了有競爭力的性能。大規(guī)模預訓練使得MM1具備了上下文學習、多圖像推理等吸引人的特性,能夠進行少次鏈式思維提示。
多模態(tài)模型
meta發(fā)布非生成路線視頻模型V-JEPA
2月15日,meta公開發(fā)布視頻聯(lián)合嵌入預測架構 (V-JEPA) 模型。meta的副總裁兼首席人工智能科學家Yann LeCun表示:“V-JEPA 是朝著更深入地理解世界邁出的一步,因此機器可以實現(xiàn)更通用的推理和規(guī)劃?!?
他于2022年提出了最初的聯(lián)合嵌入預測架構 (JEPA)。 “我們的目標是建立先進的機器智能,它可以像人類一樣學習,形成周圍世界的內部模型,以便有效地學習、適應和制定計劃,以完成復雜的任務?!?
Stability AI發(fā)布Stable Diffusion 3,與Sora同源技術
2月22日,Stability AI在早期預覽版中發(fā)布了 Stable Diffusion 3,這是Stability AI最強大的文本到圖像模型,在多主題提示、圖像質量和拼寫能力方面的性能得到了極大提高。Stable Diffusion 3模型套件目前的參數(shù)范圍為800M 到8B。
3月5日,Stability AI公布了Stable Diffusion 3的技術論文,采用了一種新的多模態(tài)DiT(MMDiT,Multimodal Diffusion Transformer)模型架構,對圖像與語言表示使用單獨的權重集。
谷歌Gemini文生圖功能緊急關閉