該模型即使只在27小時(shí)的行走數(shù)據(jù)上訓(xùn)練，也能轉(zhuǎn)移到現(xiàn)實(shí)世界，并且能夠泛化到訓(xùn)練期間未見(jiàn)過(guò)的命令，比如向后行走。這些發(fā)現(xiàn)為通過(guò)生成模型學(xué)習(xí)具有挑戰(zhàn)性的現(xiàn)實(shí)世界控制任務(wù)提供了一個(gè)有希望的路徑。

谷歌發(fā)布具身智能機(jī)器人RT-H

3月4日，谷歌DeepMind團(tuán)隊(duì)發(fā)布論文，發(fā)布了最新版的 RT 機(jī)器人——RT-H，它能通過(guò)將復(fù)雜任務(wù)分解成簡(jiǎn)單的語(yǔ)言指令，再將這些指令轉(zhuǎn)化為機(jī)器人行動(dòng)，來(lái)提高任務(wù)執(zhí)行的準(zhǔn)確性和學(xué)習(xí)效率。

舉例來(lái)說(shuō)，給定一項(xiàng)任務(wù)，如「蓋上開(kāi)心果罐的蓋子」和場(chǎng)景圖像，RT-H會(huì)利用視覺(jué)語(yǔ)言模型（VLM）預(yù)測(cè)語(yǔ)言動(dòng)作（motion），如「向前移動(dòng)手臂」和「向右旋轉(zhuǎn)手臂」，然后根據(jù)這些語(yǔ)言動(dòng)作，預(yù)測(cè)機(jī)器人的行動(dòng)（action）。

這個(gè)行動(dòng)層級(jí)（action hierarchy）對(duì)于提高機(jī)器人完成任務(wù)的準(zhǔn)確性和學(xué)習(xí)效率非常有幫助，使得RT-H在一系列機(jī)器人任務(wù)中的表現(xiàn)都優(yōu)于RT-2。

AI+應(yīng)用

Perplexity接近敲定新融資，估值或翻番至10億美元

3月5日消息，知情人士透露，旨在挑戰(zhàn)谷歌網(wǎng)絡(luò)搜索主導(dǎo)地位的AI初創(chuàng)公司Perplexity即將敲定一筆新的融資交易，公司估值有望達(dá)到近10億美元，較幾個(gè)月前的最新融資估值大約翻番。

Perplexity利用先進(jìn)的AI模型為搜索查詢(xún)提供直接答案，而不是提供網(wǎng)站鏈接列表，這也是谷歌正在研究的。知情人士稱(chēng)，Perplexity最近的年收入超過(guò)1000萬(wàn)美元。根據(jù)數(shù)據(jù)服務(wù)公司Similarweb的初步估計(jì)，該公司移動(dòng)和桌面應(yīng)用程序的訪(fǎng)問(wèn)量在2月增長(zhǎng)8.6%，達(dá)到約5000萬(wàn)用戶(hù)。

兩個(gè)月前，Perplexity剛剛宣布已籌集到7400萬(wàn)美元資金，得到亞馬遜前CEO貝索斯和風(fēng)險(xiǎn)投資公司Institutional Venture Partners的支持。這筆交易對(duì)這家初創(chuàng)公司的估值為5.2億美元。

華人團(tuán)隊(duì)打造第一個(gè)AI軟件工程師Devin

3月13日，Cognition AI在X上推出了全球首個(gè)AI軟件工程師Devin。

Devin是一個(gè)自主代理（Autonomous Agent），掌握全棧技能，能自主學(xué)習(xí)不熟悉的技術(shù)，端到端地構(gòu)建和部署應(yīng)用程序，自己改bug，甚至還能訓(xùn)練和微調(diào)自己的AI模型。

在SWE-bench基準(zhǔn)測(cè)試中，它無(wú)需人類(lèi)幫助，可解決13.86%的問(wèn)題。相比之下，GPT-4只能處理1.74%的問(wèn)題，且都需要人類(lèi)提示告知處理哪些文件。據(jù)介紹，Devin已經(jīng)成功通過(guò)一家AI公司的面試，并在Upwork上完成了實(shí)際工作。

此前，Cognition AI已經(jīng)獲得了彼得·蒂爾的Founders Fund基金領(lǐng)投的2100萬(wàn)美元A輪融資。

DeepMind發(fā)布3D通用智能體SIMA

3月13日，Google DeepMind發(fā)布了適用于3D虛擬環(huán)境的通用智能體（A generalist AI agent for 3D virtual environments），名字命名為“SIMA”。

SIMA是一個(gè)針對(duì)游戲和3D虛擬環(huán)境的通用智能體。這標(biāo)志著首次有一個(gè)智能體能夠證明它可以遵循自然語(yǔ)言指令，在大量游戲世界中執(zhí)行廣泛任務(wù)，類(lèi)似于人類(lèi)的游玩方式。

SIMA僅依賴(lài)于3D環(huán)境提供的圖像和用戶(hù)給出的自然語(yǔ)言指令。通過(guò)鼠標(biāo)和鍵盤(pán)的輸出，它在600項(xiàng)技能上進(jìn)行評(píng)估，這些技能涵蓋了導(dǎo)航和對(duì)象交互等領(lǐng)域——例如“向左轉(zhuǎn)”或“砍倒樹(shù)”。

A16z發(fā)布消費(fèi)級(jí)AI應(yīng)用Top 100

3月13日，A16z發(fā)布了最新的全球AI產(chǎn)品的 Top100 榜單，分為網(wǎng)絡(luò)產(chǎn)品與移動(dòng)產(chǎn)品。16z發(fā)現(xiàn)，與2023年9月發(fā)布的報(bào)告相比，榜單上超過(guò)40%的公司都是新公司。

AI融資

傳月之暗面獲得8億美元融資

據(jù)知情人士對(duì)外透露，月之暗面近期獲得了8億美元新融資，其中阿里投資了7.9億美元，礪思資本投資1000萬(wàn)美元。