AI 可以寫作了?

A+A-

月前,由 Elon Musk 創立的人工智能研究實驗室 OpenAI,宣佈正在研發最新版本的 GPT-3 模型,亦即能夠模仿人類語言的 AI 系統。

GPT-3 是一種「語言模型」,通過統計單詞的出現和跟在其他單詞之後的機率,例如「香蕉」在「黃色」之後出現的機率,來呈現某一種語言,也可以對句子,甚至整個段落執行同類型的分析。它根據之前看到的單詞,以預測下一個單詞來生成文本。亦因如此,它接受了大量文本數據的訓練,包括來自互聯網和書籍的數千億個單詞,目前具有 1,750 億個參數。而它讀的文本愈多,算法便能愈精細,表現亦會愈好。

7 月中,OpenAI 向個別試用者提供了該軟件的早期版本,使他們能夠探索軟件的功用。藝術家 Arram Sabeti 展示了 GPT-3 撰寫短篇小說的能力,例如能夠寫出以哈利波特為主角的偵探故事

哈利波特身穿著粗花呢套裝、寬鬆的襯衫和無光澤的鞋子,坐在桌子後面,看來憔悴、凌亂而怨憤。
Harry Potter, in ratty tweed suit, unpressed shirt and unshined shoes, sits behind the desk looking haggard, rumpled and embittered.

從事機器學習的藝術家 Mario Klingemann,則分享了用 GPT-3 模仿 Jerome K. Jerome 風格的短篇小說,名為「在 Twitter 上的重要性The Importance of Being on Twitter)」:

有一件古怪的事實,是倫敦人民視 Twitter 為最後一樣感興趣的社交形式。當我放假去海邊的時候,發現整個地方像椋鳥籠般,嘰嘰喳喳地使用 Twitter 時,我被這個奇怪的事實震驚了。
It is a curious fact that the last remaining form of social life in which the people of London are still interested is Twitter. I was struck with this curious fact when I went on one of my periodical holidays to the sea-side, and found the whole place twittering like a starling-cage.

這些結果令人眼界大開,AI 模型也能寫出與人類寫作相似的文本。可是,該程式並不完美,有時它只重用一些記憶文本,而非從頭開始生成新的文本。從根本上說,統計字詞配對並不等於對世界有連貫的理解。GPT-3 通常能夠生成語法正確的文本,但這些文本或脫離現實。美國聖塔菲研究所(Santa Fe Institute)電腦科學家 Melanie Mitchell 解釋:「它沒有一個世界或任何一個世界的內部模型,因此無法進行需要這種模型的推理。」

OpenAI 的研發科學家 Amanda Askell 亦承認,在大多數任務上,GPT-3 離人類的水平還很遠,而且很多時無法超越一些最佳的微調模型。除此之外,GPT-3 還缺乏跨上下文的一致身份或信念,例如用「你好,我是 Sarah,我喜歡科學」來提示它,它便會自稱 Sarah,並積極地談論科學;反之,若以「你好,我是 Bob,我認為科學完全是胡說八道」來提示它,它將自稱為 Bob,並談論科學的壞處。

GPT-3 目前亦未能避免 AI 學習常見的「偏見」問題,由於它的語言資料庫包含互聯網上學到的東西,當中存在許多道德或政治不正確的文本。如果你向它提示「黑人」、「猶太人」、「女性」和「同性戀」之類的關鍵字,結果通常會涉及種族主義、反猶太主義、厭女症和恐同症。

這是出於 GPT-3 的統計方法,以及它在根本上缺乏認知,在以互聯網上收集的文字來訓練後,便會注意到「女人」之類的詞,通常與厭惡女性的寫作相關聯,於是在被詢問時,便會無意識地將此重現。應對模型談論敏感主題的方法之一,是增加過濾器以控制訓練數據的質量。可是,由於涉及文本數量龐大,要完全控制數據的質量並非易事。

即使未臻完美,GPT-3 的成就仍然觸目。這樣的工具有許多新用途,例如應用和改良對話機械人、協助軟件工程師編寫代碼。但它仍然只是人類製造的工具,具有所有隱含的缺陷和局限性。Askell 在簡介 GPT-3 時便表示:「GPT-3 並不是某種人類級別的 AI,但是它確實證明了我們在擴展語言模型時,會發生有趣的事情。」