荷蘭鹿特丹市:揭示演算法的決策漏洞

A+A-
荷蘭語能力、性別、有幾多個孩子,都會影響風險評分。 圖片來源:Lea Rae/Shutterstock

荷蘭鹿特丹市每年為約 3 萬名公民提供生活津貼,當中成千上萬的個案涉嫌騙取福利。2017 年,該市政府運用機器學習來分析案例數據,從而根據申領者的年齡、性別和語言能力等評估其欺詐風險;2021 年經荷蘭審計法院下令停用。非牟利跨國偵查報道組織 Lighthouse Reports 與美國媒體 Wired,從官方取得該算法的學習數據和模型,重構測試版本,揭示當中存在種族和性別歧視,以及一些結構漏洞。

他們虛構了兩個人物:單親媽媽 Sara 和伊拉克移民 Yusef,以追蹤該算法根據哪些資料作評分;Sara 的個案包括了性別、子女數目和關係狀況等因素。在荷蘭,基於性別和種族背景歧視他人屬於違法,但當這些信息轉化成算式中的數字 —— 用「1」或「0」表示描述狀況的「是」或「非」—— 則或存在灰色地帶;加上在「打擊福利欺詐」的旗幟掩護下,官員更可能採用敏感資料作判斷。荷蘭法院正因此而展開審查。

Yusef 的個案,衡量了包括母語、荷蘭語能力、居住社區和室友數目等。該算法總共評估了 315 項特質和變數,當中雖並無任何如「種族」或「出生地」等字眼,但荷蘭審計法院指出,「語言技能」涉及種族考慮,例如「荷蘭語是否流利」一項,可能「導致不必要的歧視」。該算法還為各種母語設定不同數字,影響風險評分,例如「0」代表該系統中過半數人所使用的語言。

算法還包含了評核員的主觀判斷,例如 Sara 的「上班衣著不合適」、Yusef「工作態度欠主動」等;任何評論更會被簡化顯示為「1」或「0」,換言之,正面和負面評價的分數相同;例如「1」代表「是」,當評核員新增評語「不希望取得成果」,它與「希望取得成果」將同樣獲得 1 分。然而,評核員手冊上既沒說明任何評價也將影響計分,亦欠缺撰寫評語的指引或注意事項。

約 3 萬名福利申領者中,分數最高的 10%(排名最後約 3,000 位),將被視為欺詐風險最高而需進一步審查。測試發現,當一位原本排名第 16,815 的荷蘭男性,更改其中 8 項因素:性別(由男變女)、子女數目(增加至 2 個)、關係狀況(轉為單身)、支付賬單出現困難等,其排名將跌至第 28,717 位,與 Sara 看齊;又例如將其母語由荷蘭語改為阿拉伯語、居於移民社區、與人分租房屋、不積極找工作等,僅 5 項改動已足以使其跌至第 28,746 位,與 Yusef 相同。

該算法的機器學習模式固然複雜,但評分時卻採用了「決策樹」(decision tree)的基本結構;以上述個案為例:男性和女性會分別衍生出兩個不同分支,繼而採用不同的變數來評估風險 —— 女性可能被考量是否有孩子或單身,而男性則可能被評估其語言技能和經濟狀況 —— 使其難以衡量每個獨立變數如何影響個別評分。

現實生活中,人們還可能會犯下不同的違規行為 —— 從填寫表格時的無心之失,到有組織犯罪也有。 但該算法是從數百萬個訓練數據中,推斷出某些模式以作預測,在尋找共同性的過程中,將無心之失和蓄意欺詐歸為同一類。刑事司法系統技術應用專家 Julia Dressel 指出,該算法將可能因「荷蘭語水平不足」而導致的「無心之失」,理解成與「欺詐傾向」之間的關聯,從而得出「不會說荷蘭語的移民,在科學上是不可信的」結論。

此外,該算法是透過隨機選擇、匿名提示和每年更改的類別檢查來取得訓練數據。假如當中出現系統性偏差,例如男和女的數據來源或比例不一,將產生男女不平等的評估結果。另外,該市至少需大約 880 名年輕人,才能反映 27 歲以下申領福利人口的實際比例,但該算法只評估了 52 個年輕人的數據樣本,便推斷出「年輕人更可能觸犯福利欺詐」。

鹿特丹並非唯一使用演算法來審查福利領取者的城市,但卻是目前資訊最透明的。該市財務官員 Annemarie de Rotte 認為,有必要讓人們更了解該模型的運作,以及使其他政府和組織意識到運用算法的風險:「這不但是因為我們想成為一個公開透明的組織,更希望從他人的見解中學習。」