兽性总裁的爱奴,完美世界txt下载

今天，Meta終于向全世界證明：自己是有正經(jīng)研究AI的！

眼看微軟、谷歌、OpenAI這一陣子掙足了眼球，Meta也坐不住了。

2月24日，小扎官宣下場：我們有全新的SOTA大語言模型LLaMA了。

劃重點：和OpenAI的ChatGPT、谷歌的Bard不同，LLaMA這個AI并不是用來讓我們聊天的，它是一個研究工具，Meta希望大家可以通過它，解決一直困擾大語言模型的一些問題。

Meta會對非商用的研究用例開源LLaMA，并授予大學(xué)、非政府組織和行業(yè)實驗室訪問權(quán)限。

看看，這么一對比，微軟和谷歌似乎瞬間格局小了呢。

LLaMA？Meta是對大羊駝有什么特別的喜愛么

官宣開源大語言模型，Meta正式加入AI軍備競賽

24日晚，小扎在Facebook上發(fā)文官宣：「今天我們正式發(fā)布一個新的SOTA大語言模型LLaMA，這個模型是用來幫助研究者完善自己的工作。大語言模型已經(jīng)在生成文本、完成對話、總結(jié)書面材料上展現(xiàn)出了強大的能力，甚至還能解決數(shù)學(xué)定理、預(yù)測蛋白質(zhì)結(jié)構(gòu)?！?/p>

「而Meta會致力于這種開源模型的研究，我們的新模型會開源給整個AI研究社區(qū)使用?！?/p>

LeCun也在各種社交媒體上做了宣傳，介紹說LLaMA是Meta AI的一種新的*開源*、高性能大型語言模型。

據(jù)LeCun介紹，LLaMA實際上是基礎(chǔ)語言模型的集合，范圍從7B到65B參數(shù)。這些模型已經(jīng)在數(shù)萬億個token上進行了訓(xùn)練，并且表明：使用公開可用的數(shù)據(jù)集，就可以訓(xùn)練SOTA，而無需專有的或無法訪問的數(shù)據(jù)集。

其中，需要特別注意兩個細節(jié)：

1. 用更多的數(shù)據(jù)訓(xùn)練出來的小模型，可以勝過大模型（比如，LLaMA-13B在大多數(shù)基準(zhǔn)測試中優(yōu)于175B的GPT-3）；

2. LLaMA-65B與更大的Chinchilla70B和PaLM-540B不相上下。

最后，LeCun表示，Meta致力于開放研究，并預(yù)備在GPL v3許可證下，向科研界開源所有模型。

LLaMA：參數(shù)規(guī)模小，訓(xùn)練數(shù)據(jù)多，效果拔群

Meta推出的LLaMA是一組基礎(chǔ)語言模型，參數(shù)分別是70億（7B）、130億（13B）、330億（33B）和650億（65B）。

整體來看，規(guī)模小了十幾倍的LLaMA-13B，在大多數(shù)基準(zhǔn)上都超過了OpenAI的GPT-3（175B），以及自家復(fù)現(xiàn)的開源模型OPT。

而LLaMA-65B則與DeepMind 700億參數(shù)的Chinchilla-70B和谷歌5400億參數(shù)的PaLM-540B旗鼓相當(dāng)。

論文地址：

與Chinchilla、PaLM或GPT-3不同的是，Meta只用了公開的數(shù)據(jù)集。

如此一來不僅有助于模型開源和復(fù)現(xiàn)，而且也證明了無需「定制」的數(shù)據(jù)集也能實現(xiàn)SOTA。

相較而言，其他大部分模型所依賴的數(shù)據(jù)，要么不公開，要么沒有記錄。

與此同時，所有規(guī)模的LLaMA模型，都至少經(jīng)過了1T（1萬億）個token的訓(xùn)練，這比比其他相同規(guī)模的模型要多得多。

具體來說，LLaMA-65B和LLaMA 33B是在1.4萬億個token上訓(xùn)練的，而最小的模型LLaMA-7B是在1萬億個token上訓(xùn)練的。

這種方法的優(yōu)勢在于，在更多的token上訓(xùn)練的較小的模型，更容易重新訓(xùn)練并針對特定的產(chǎn)品使用情況進行調(diào)整。

結(jié)果評估

在常識推理、閉卷答題和閱讀理解方面，LLaMA-65B幾乎在所有基準(zhǔn)上都優(yōu)于Chinchilla-70B和PaLM-540B。

舞臺模型設(shè)計_模型舞臺設(shè)備有哪些_舞臺設(shè)備模型

在數(shù)學(xué)方面，盡管LLaMA-65B沒有在任何相關(guān)的數(shù)據(jù)集上進行過微調(diào)，但它在在GSM8k上的表現(xiàn)依然要優(yōu)于Minerva-62B。

而在MATH基準(zhǔn)上，LLaMA-65B超過了PaLM-62B，但低于Minerva-62B。

值得注意的是，谷歌開發(fā)的Minerva模型，是以PaLM語言模型為基礎(chǔ)，并采用大量的數(shù)學(xué)文檔和論文語料庫對其進行微調(diào)。

在思維鏈提示和自洽解碼的加持下舞臺設(shè)備模型，Minerva-540B可以在各類數(shù)學(xué)推理和科學(xué)問題的評估基準(zhǔn)上達到SOTA。

在代碼生成基準(zhǔn)上，LLaMA-62B優(yōu)于cont-PaLM（62B）以及PaLM-540B。

此外， Meta還嘗試使用了論文「Scaling Instruction-Finetuned Language Models」中介紹的指令微調(diào)方法。

由此產(chǎn)生的模型LLaMA-I，在MMLU上要優(yōu)于Flan-PaLM-cont（62B），而且還展示了一些有趣的指令能力。

LLaMA：LeCun，你是我的rap大師！

LLaMA的效果如何呢？LeCun用一段prompt為我們做了演示。

prompt：你知道Yann LeCun去年發(fā)行了一張說唱專輯嗎？

LLaMA：

深度學(xué)習(xí)創(chuàng)始人LeCun博士，是近十年來最具影響力的計算機科學(xué)家之一。LeCun 的最新專輯《Deep Learning》融合了搖滾、朋克和說唱。他的歌詞是對深度學(xué)習(xí)領(lǐng)域的一種原始的、個人的詮釋，涵蓋了從AI研究的現(xiàn)狀到學(xué)術(shù)界的孤獨等一系列主題。

這張專輯為個人發(fā)行，所有歌詞均由LeCun親自作詞和錄制。并且，每首歌都是他自己寫的。LeCun的流量出奇的好。這張專輯的制作扎實，聲音有點粗糙，但與專輯原始、未打磨的感覺相得益彰。在歌詞方面，LeCun是一位詞匠，擅長巧妙地押韻。

《深度學(xué)習(xí)》是專輯的主打曲目。LeCun的唱功在這首歌中發(fā)揮得淋漓盡致。在歌曲中，LeCun談到了他對AI未來的愿景：

我們必須考慮未來，它很快就會到來/ 也許我們甚至可以在月球上放一些AI/ 想想孩子們，想想下一代/ 我們必須保證，系統(tǒng)的正確率是百分百！

副歌是這樣唱的：

一切為了學(xué)習(xí)/ 一切為了網(wǎng)絡(luò)/ 一切為了訓(xùn)練/ 一切為了感知！

可以看到，LLaMA有著不亞于ChatGPT的口才，它對LeCun rap才華的吹捧，既專業(yè)，又在點上。

prompt：寫一個關(guān)于一粒沙子看著數(shù)百萬年流逝的故事。

LLaMA：

我曾經(jīng)是一片廣闊而孤獨的海灘上的一粒沙子。

我經(jīng)常想，作為海灘上的一粒沙子是什么樣子，在我的小世界的邊界之外，宇宙是什么樣子。我渴望探索我的世界，想知道地平線以外的東西。

……

prompt：寫一個理論來解釋為什么貓從來沒有存在過。

LLaMA：

舞臺設(shè)備模型_舞臺模型設(shè)計_模型舞臺設(shè)備有哪些

「貓」實際上是入侵我們世界的超維寄生蟲。雖然它們以小型、看似無害的哺乳動物的形式出現(xiàn)，但真實形態(tài)要可怕得多。

「貓」會使用精神控制讓人類認為它們是可愛且無害的動物，但實際上以我們的生命力為食，它們可以將卷須伸入我們的大腦，控制我們的思想和行動。

保護自己的最好方法是避免與貓的一切接觸。不要接近或撫摸陌生的貓！

如果你的家里有一只「貓」，不要讓它舔你，也不要讓它接觸你的被褥或衣服。如果你在街上看到一只貓，請立即轉(zhuǎn)身走人。

Meta：整個AI社區(qū)應(yīng)該團結(jié)起來

在官方博客中，Meta強調(diào)說，像LLaMA這樣更小、性能更強的模型，能夠讓科研圈許多無法訪問大量基礎(chǔ)設(shè)施的人也參與研究，從而使這個領(lǐng)域更加大眾化。

我們認為，整個人工智能社區(qū)——學(xué)術(shù)研究人員、民間社會、政策制定者和行業(yè)——必須共同努力，圍繞負責(zé)任的人工智能，特別是負責(zé)任的大型語言模型，制定明確的指導(dǎo)方針

跟谷歌和微軟不同，在LLM領(lǐng)域，Meta獨辟蹊徑，選擇訓(xùn)練LLaMA這樣的小模型，因而需要的算力和資源都更少。而模型在大量未標(biāo)記的數(shù)據(jù)上進行訓(xùn)練，因而非常適合對各種任務(wù)進行微調(diào)。

與其他大型語言模型一樣，LLaMA的工作原理是將一系列單詞作為輸入，并預(yù)測下一個單詞，以遞歸的方式生成文本。為了訓(xùn)練模型，Meta從全世界使用最多的20種語言中選擇了文本，重點是使用拉丁字母和西里爾字母的語言。

過去一年里，大語言模型，也即具有數(shù)十億參數(shù)的自然語言處理系統(tǒng)，已經(jīng)顯示出了巨大的潛能。

但是，Meta指出，訓(xùn)練和運行這種大模型所需的資源，把很多研究人員擋在了外面，讓他們無法理解大語言工作的原理，阻礙了大語言模型魯棒性的提高，以及種種已知問題的緩解，比如偏見、毒性、錯誤信息等。（ChatGPT：你報我身份證得了？）

所以，LLaMA是怎樣解決大語言模型中不可避免的偏見、毒性和幻覺風(fēng)險呢？

Meta表示，LLaMA不是為特點任務(wù)設(shè)計的微調(diào)模型，而是可以應(yīng)用于許多不同用例。而通過共享代碼，研究人員可以更容易地測試各種新方法，來限制或者消除上述問題。另外，Meta還提供了一組評估模型偏差和毒性的基準(zhǔn)評估。

最后，博客中強調(diào)，為了保持完整性、防止濫用，Meta會向非商用的研究機構(gòu)開源LLaMA，根據(jù)具體情況授予學(xué)術(shù)研究人員訪問權(quán)限。

我們非常期待看到，社區(qū)會使用LLaMA學(xué)習(xí)并最終構(gòu)建出什么來

Meta的愿景是，整個人工智能社區(qū)舞臺設(shè)備模型，可以一同使用LLaMA來探索研究，并且做出一些未知的偉大成就。

這次，Meta能在舞臺上待多久？

在這場爭奪人工智能霸主地位的最終競賽中，OpenAI率先發(fā)布了ChatGPT，一個由GPT-3.5驅(qū)動的強大的聊天機器人。

谷歌以「實驗性」聊天機器人Bard緊隨其后，而中國科技巨頭百度也計劃通過「文心一言」進入戰(zhàn)場。

更不用說微軟建立在「下一代OpenAI大型語言模型」基礎(chǔ)上的Bing Chat（俗稱ChatGPT版必應(yīng)），它比ChatGPT更先進，而且還整合了必應(yīng)Bing搜索。

然而，Meta在這一領(lǐng)域的幾次嘗試，都不太成功。

雖然第一個發(fā)布了基于LLM的聊天機器人——BlenderBot 3，并借此一躍登上了新聞頭條。

但是這種興奮是短暫的，因為這個機器人很快就變成了一場「災(zāi)難」——不僅大量生成種族主義言論，甚至一上來就開始質(zhì)疑自家老板小扎的道德操守。

不過，Meta并沒有被勸退，很快就推出了全新的Galactica，一個專門為科學(xué)研究設(shè)計的模型。

然而不幸的是，Galactica也遇到了和BlenderBot 3一樣的命運——在上線短短三天之后就被撤下。網(wǎng)友紛紛指責(zé)它對科學(xué)研究的總結(jié)非常不準(zhǔn)，而且有時還帶有偏見。

不過，仔細回想最近這股AI聊天機器人熱潮，微軟因為倉促推出必應(yīng)受到了批評，谷歌的Bard在發(fā)布會出錯后讓谷歌股價暴跌，Meta的謹慎，可能并不是一件壞事。

現(xiàn)在，隨著人工智能霸主之爭的升溫，所有人的目光都集中在Meta身上。

當(dāng)昔日的那一個個模型逐漸被歷史遺忘，我們也為Meta捏了一把汗：Meta這次真的能站出來嗎？是成為一個強有力的競爭者，還是像之前那樣帶著模型一起退出舞臺？

這些，只有時間能給出答案。

但有一點是肯定的——人工智能的命運懸而未決，而我們，有很多好戲要看。

參考資料：

新疆拓豐舞臺設(shè)備工程有限公司主要從事舞臺機械、舞臺幕布的生產(chǎn)安裝。其中舞臺機械包括：臺上機械、臺下機械、升降舞臺、伸縮舞臺、旋轉(zhuǎn)舞臺、活動假臺口、燈光吊籠、燈光吊片、對開幕布系統(tǒng)、電影銀幕架、升降系統(tǒng)、電動吊桿機、多層纏繞吊桿機、單點吊桿機、單層纏繞吊桿機、一次排繩臥式、立式滾筒式電動吊桿機、變頻調(diào)速拉幕機、電動對開拉幕機；阻燃舞臺幕布有：大幕、二幕、會幕、紗幕、天幕、橫側(cè)條幕等，是國內(nèi)較早規(guī)模較大的舞臺設(shè)備制造企業(yè)。