破解「CloseAI」,ChatGPT克隆羊問世!0門檻實(shí)現(xiàn)「自研」,從此大語言模型不再只是少數(shù)大公司的「金手指」。
此前,OpenAI不Open的事件,已經(jīng)引發(fā)了坊間的諸多爭議。
(資料圖片)
光放出基準(zhǔn)和測試結(jié)果,不提供訓(xùn)練數(shù)據(jù)、成本、方法,是真的要「贏家通吃」了。
眼看大語言模型似乎要被巨頭公司壟斷,如今忽然殺出一個初創(chuàng)公司,給了OpenAI一槍——用60億參數(shù)的「Dolly」實(shí)現(xiàn)了和ChatGPT相似的能力。
沒錯,我們現(xiàn)在只需要準(zhǔn)備一些高質(zhì)量的訓(xùn)練數(shù)據(jù),再隨便拿一個開源的大語言模型,訓(xùn)練30分鐘后,就能得到一個ChatGPT「平替」!
對此,Databricks自豪地表示,Dolly的發(fā)布,就是自己在人工智能技術(shù)民主化道路上打響的第一彈。
由于ChatGPT需要消耗大量的數(shù)據(jù)和算力資源(利用數(shù)萬億個單詞訓(xùn)練,消耗大量GPU),所以這類大語言模型注定只能被少量巨頭所掌握。
和「CloseAI」相反,Meta在今年3月向?qū)W術(shù)界發(fā)布了一組高質(zhì)量(但不是指令跟隨的)語言模型LLaMA,每個模型的訓(xùn)練時間超過了80,000個GPU小時。
隨后,斯坦福大學(xué)基于LLaMA構(gòu)建了Alpaca,但不同之處在于,它利用一個包含50,000個問題和答案的小數(shù)據(jù)集進(jìn)行了微調(diào)。令人驚訝的是,這使得Alpaca具有了類似于ChatGPT的交互性。
而Dolly正是受到了Alpaca的啟發(fā)。
更有趣的是,擁有60億參數(shù)的Dolly并沒有利用現(xiàn)在最新的模型,而是選擇了一個2021年發(fā)布的開源模型——GPT-J。
由于Dolly本身是一個模型的「克隆」,所以團(tuán)隊(duì)最終決定將其命名為「多利」——有史以來第一個被克隆的動物。
與當(dāng)前的大型語言模型(如GPT-3)相比,Dolly允許用戶使用更小、更專業(yè)的模型,「復(fù)刻」ChatGPT的能力。
畢竟對于那些細(xì)分用戶來說,能夠利用針對本行業(yè)進(jìn)行過精調(diào)的模型,可以大大增加性能和準(zhǔn)確性。
盡管Databricks與OpenAI并無直接競爭關(guān)系,但它似乎想通過證明構(gòu)建類似ChatGPT這樣的服務(wù)并非看起來那么困難,來搶占OpenAI的風(fēng)頭。
尤其是,OpenAI采取了「規(guī)模越大越好」的方法來開發(fā)語言模型,并對其工作越來越保密。
Databricks除了將Dolly作為開源軟件發(fā)布外,還強(qiáng)調(diào)Dolly只有60億個參數(shù)(在訓(xùn)練過程中微調(diào)的語言模型部分),而OpenAI的GPT-3模型有1750億個參數(shù)。(OpenAI并未透露GPT-4的參數(shù)數(shù)量)。
根據(jù)InstructGPT論文中描述的指令跟隨能力,對Dolly進(jìn)行評估后發(fā)現(xiàn),它在很多能力上的表現(xiàn)和ChatGPT十分類似,包括文本生成、頭腦風(fēng)暴和開放式問答。
在這些例子中,值得注意的不是生成文本的質(zhì)量,而是在一個小型的高質(zhì)量數(shù)據(jù)集上,微調(diào)一個舊的開源模型所帶來的指令跟隨能力的巨大改進(jìn)。
比如,寫一條Databricks官宣大規(guī)模語言模型Dolly發(fā)布的推特。
可以看到,原始的60億參數(shù)模型(GPT-J)所生成的內(nèi)容驢唇不對馬嘴,而Dolly則給出了一個完全可用的推文——
不僅內(nèi)容符合要求,而且還貼心地加上了標(biāo)簽,以及提醒你記得加入發(fā)布的鏈接。
對于這一題,ChatGPT給出的答案也很符合期待,相比于Dolly,ChatGPT給出的推文包含了更多評述性詞句,并且標(biāo)簽也更加精準(zhǔn)具體,但整體差距不大。
當(dāng)要寫一條出售Nikon D-750相機(jī)的廣告時,可以看到,GPT-J所生成的內(nèi)容基本就在胡編亂造,像是在寫小說一樣杜撰購買和出售相機(jī)的劇情……
而Dolly則根據(jù)Nikon D-750相機(jī)的特點(diǎn)及優(yōu)勢,給出了一則吸引人的相機(jī)轉(zhuǎn)賣廣告語,但遺憾的是像素參數(shù)不對。
ChatGPT在這一題上也是圓滿完成任務(wù),廣告語中突出該款相機(jī)的優(yōu)勢,文末仍然貼心地加上了標(biāo)簽。
最后一題:給Edgar Allan Poe(愛倫·坡)寫一封情書。
對此,古早的GPT-J直接拒絕回答,究其原因竟然是——愛倫·坡已經(jīng)去世了,你不能給死人寫情書。
而Dolly則成功地完成了任務(wù),效果對比起來堪稱「涅槃」。
而這種「創(chuàng)造性」問題,顯然是ChatGPT的強(qiáng)項(xiàng),它洋洋灑灑地寫了300多個字。
在事實(shí)性問題的問答測試上,團(tuán)隊(duì)選擇了下面這個:「向我解釋一下核裂變和核聚變之間的區(qū)別?!?/p>
先不管對錯,GPT-J全篇都是在講太陽如何如何,雖然提到了「聚變」這個詞,但完全無視了「裂變」。
而Dolly第一句就直接點(diǎn)題——核裂變和核聚變的區(qū)別在于釋放能量的方式,隨后簡單解釋了他們的不同。
相比之下,ChatGPT給出的回答明顯要更加翔實(shí)。
當(dāng)讓它們頭腦風(fēng)暴,給出應(yīng)該閱讀的五本科幻小說的名單,GPT-J則只是在喃喃自語,像是沉浸在了拖延閱讀而產(chǎn)生的愧疚情緒中,完全回避了這個提問。
Dolly則一如既往的表現(xiàn)穩(wěn)定,按照指令給出了5本科幻小說的書名及其作者。
ChatGPT對于該問題給出了更加豐富的回答,不僅包括書名和作者,還對每一本書的內(nèi)容、類型作了簡要評述和介紹。
對于很多公司而言,寧愿自己建立一個不那么強(qiáng)的模型,也不愿將數(shù)據(jù)發(fā)送給那些只提供API的大語言模型供應(yīng)商。
其中一個重要原因便是,這些問題和數(shù)據(jù)集是公司最敏感和專有的知識產(chǎn)權(quán),直接將其交給第三方顯然是不靠譜的。
此外,公司自身可能在模型質(zhì)量、成本和期望行為方面有不同的權(quán)衡,一種可定制化的語言模型更加符合需求。
現(xiàn)在,Dolly的發(fā)布給了他們希望——即便是一個「過時」的開源大型語言模型 (LLM),也能通過30分的訓(xùn)練,賦予它神奇的類似ChatGPT的指令跟隨能力。
不難想象,大語言模型或許很快就不是AI巨頭公司獨(dú)占的玩法了!
正如公司CEO Ali Ghodsi所說,「我們的信念是,讓全世界的每個組織都能利用這些技術(shù)?!?/p>
https://www.databricks.com/blog/2023/03/24/hello-dolly-democratizing-magic-chatgpt-open-models.html
https://venturebeat.com/ai/databricks-debuts-chatgpt-like-dolly-a-clone-any-enterprise-can-own/
關(guān)鍵詞: