人可以用偏見任意定義人為顏色物件，現時連人工智能也可以隨便為人加上標籤。據「紐約時報」報道，數碼藝術項目網站 ImageNet Roulette，其人工智能可以分析用戶上傳的每張臉，並根據其資料庫作描述。程式揭示了偏見如何滲透到人工智能技術中。
ImageNet Roulette 會將上傳的人像標記為「孤兒」（orphan）、「非吸煙者」（nonsmoker），而戴眼鏡的人則是「書呆子」（swot、grind、nerd、wonk 或者 dweeb）。Tabong Kima 在 Twitter 上看到其他人的標籤似乎挺準確而且帶點詼諧，於是也「跟隊」上載自己的笑臉，但該網站將這位 24 歲的非裔美國人標記為「作惡者」（wrongdoer）和「犯罪分子」（offender），他有點不高興，寫道：「我認為這不是特別有趣。」
測試人工智能中的偏見
事實上，這類負面回應正是該網站的觀察目標。ImageNet Roulette 是一個數碼藝術項目，旨在揭示古怪、不合理及令人反感的行為，而這些行為可能滲透到人工智能技術中，並出現於互聯網公司、警局及其他政府機構裡。
人面識別及其他 AI 技術透過分析大量數據來學習。這些數據從舊的網站及學術項目中取得，通常包含細微的偏差和其他缺陷。ImageNet Roulette 的設計師之一 Trevor Paglen 接受訪問時說：「我們想展示偏見、種族主義及厭女症等如何從一種系統，轉移到另一種系統。關鍵是要讓人們看到幕後正在發生的事，了解我們一直在如何被處理及分類。」
龐大照片數據庫 ImageNet 由史丹福大學一組研究人員在 10 多年前編寫，它在「深度學習（Deep learning）」的興起中起至關重要的作用。ImageNet 得到來自互聯網的 1,400 萬張照片，訓練 AI 系統的判斷與提升準確度。通過分析各種圖像，例如花朵、狗及汽車，不同系統學會了作出識別，進一步為人類分類。
偏見由人轉到人工智能
這些標籤最初來自另一個龐大的數據集 WordNet，它屬概念字典，由普林斯頓大學的研究人員在 1980 年代建立。人工智能通過會在龐大的數據集上進行訓練，負面標籤同樣包括在內。大學通過 Amazon Mechanical Turk 招聘數千人為每張照片標記，偏見在此時就可以加入數據庫。他們定義了「失敗者」（loser），還有「蕩婦」（slut）及「作惡者」。
隨著項目在 Twitter 上廣泛傳播，ImageNet Roulette 每小時產生超過 100,000 個標籤。同為項目設計師的微軟研究員 Kate Crawford 指：「它的發展方式令我們十分驚訝，得以看到人們對此的想法，並與他們進行真正的接觸。」同時，各個數據集中的缺陷亦開始暴露人前。
史丹福團隊在聲明中指：「解決諸如數據集及算法公平性，問責制及透明度之類的問題。」人工智能，其實是向人類學習，而人類是有偏見的生物。他說：「我們對圖像進行分類的方式，就是我們世界觀的產物。任何一種分類系統，總是會反映出進行分類的人的價值觀。」
