應該有人敢挑戰GPT—3的壟斷地位！

應該有人敢挑戰GPT—3的壟斷地位！

GPT—3自問世以來已經成為最大的AI語言模型之一。

不僅可以為Python深度學習寫郵件，寫文章，創建網站，甚至生成代碼。

最近，一個侏羅紀模型聲稱能夠擊敗GPT—3。

誰這么有勇氣，居然敢喊。

不是侏羅紀公園的恐龍！是侏羅紀—1 Jumbo，還在測試中！

現在，您還可以免費體驗它:

除了能夠將Python代碼轉換成Javascript之外，這種語言模型還有什么了不起的。

大膽，但強大

在機器學習中，參數是模型的一部分，從歷史訓練數據中學習。

一般來說，在語言領域，參數越多，模型越復雜。

侏羅紀—1巨型模型包含1780億個參數。

突然之間，GPT—3有了30億個參數！

GPT有5萬個詞匯項目。

可是，侏羅紀—1可以識別25萬個表情，單詞和短語。

覆蓋范圍比包括GPT—3在內的大多數現有型號都大。

侏羅紀—1模型已經過云訓練，一個公共服務上有幾百個分布式GPU。

Token是一種在自然語言中將文本片段分成更小單元的方法，這些單元可以是單詞，字符或單詞的一部分。

侏羅紀—1訓練數據集有3000億個token，都是從維基百科，新聞出版物，StackExchange等英文網站編譯而來。

模型的訓練采用傳統的自監測和自回歸形式，從公共資源中訓練3000億代幣。

在優化程序方面，研究人員對J1—Large和J1—Jumbo分別使用了1.2次10—4和0.6倍，10—4，批量大小為200萬和320萬代幣

每個字節的平均對數概率表明該模型在不同領域的適用性

研究人員說，在幾乎所有的語料庫中，侏羅紀—1模型都領先于GPT—3。

在小樣本學習的測試上，各有輸贏，但兩個模型的平均分是相等的。

在基準測試中，侏羅紀1號在回答學術和法律問題上的表現與GPT 3號相當，甚至更好。

GPT—3需要11個令牌，而侏羅紀—1只需要4個令牌，大大提高了樣本效率。

當然，對于語言模型來說，最難的問題是邏輯和數學。

而侏羅紀—1 Jumbo可以解決兩個大數相加這個非常簡單的算術問題。

侏羅紀可以解釋一個詞的意思

面對各種語言模式，侏羅紀—1 Jumbo只能算是后起之秀，并不是什么新奇的模式。

但是和它的前輩類似，如果問題不清楚，大概率的答案不是你想要的。

堪稱產品經理的終結者。

即使是自己的人在有偏見時也會戰斗

侏羅紀—1模型由AI21實驗室開發，將通過AI21實驗室的Studio平臺提供服務。

開發人員可以在公共測試版中構建應用程序原型，如虛擬代理和聊天機器人。

此外，在公測版中，侏羅紀—1模型和Studio也可以用于解釋和總結，例如從產品描述中生成簡短的產品名稱。

根據內容對新聞進行分類

同時，開發者也可以訓練自己的侏羅紀—1模型，甚至只需要50—100個訓練實例。

經過培訓，可以通過AI21 Studio使用這個自定義模型。

可是，《侏羅紀—1》也面臨著其他語言模式的痛點:對性別，種族，宗教的偏見。

由于模型訓練數據集在一定程度上存在偏差，訓練出來的模型也會學壞。

一些研究人員指出，GPT—3和其他類似語言模型生成的文本可能會強化極端右翼極端主義的意識形態和行為。

侏羅紀模型的輸出面臨預設場景的問題

有鑒于此，AI2實驗室正在限制公共測試版中可以生成的文本量，并打算手動審查每個微調模型。

可是，即使是微調的模型也無法擺脫訓練過程中的壞習慣。

就像Open AI的Codex一樣，它仍然會生成種族主義或其他令人反感的可執行代碼。

雖然是以色列研究人員開發的，但很可能受到訓練數據集的影響《侏羅紀—1》似乎比《GPT—3》更歧視猶太人

在偏見和歧視的問題上，所有的模式都是釜底抽薪。

可是，AI21實驗室的工程師表示，侏羅紀—1模型的偏差小于GPT—3。