相信大家對「電車難題」（Trolley problem）都耳熟能詳：有軌電車失控高速行駛，快將輾斃前方五人，你可即時切換到分支路軌，但分支路軌有另一個人會因此喪生。如此一命換五命的道德兩難，將會是未來全自動汽車的考驗。究竟人工智能會如何抉擇？系統又會否計算人命價值、乃至社會評級，在生死關頭作出取捨？
澳洲依迪夫高雲大學（Edith Cowan University）網絡安全實踐教授 Paul Haskell-Dowland 和電腦與安全研究員 Jumana Abu-Khalaf 在學術交流平台 The Conversation 指出，現時 Tesla 生產的最先進智能汽車，仍然無法做到全自動駕駛。在人手駕駛模式下，AI 僅會在危急關頭提示駕駛者有碰撞可能，再由駕駛者自行做決定；在自動駕駛模式下，AI 卻必然會為行人剎車。
有部分論者因而認為，假如 AI 有避免人命傷亡的能力，就應當附帶道德責任，在危急關頭取代人類來操控汽車，但這種論點未免過於簡化問題。一旦 AI 所遇到的道德兩難，無論如何都牽涉到人命代價，程式便要計算成本效益，難免比較不同人命的價值。譬如把其他道路使用者的人命，看得比車上乘客輕賤，以致在千鈞一髮之際，選擇犧牲他人以保護乘客，結果難免衍生道德爭議。
作者提醒，當前的科技基礎，其實已容許電腦計算人命價值。舉例說，當智能汽車配備人臉辨識技術，電腦便可能得知其他道路使用者的社會身份，甚至可以連接到個別國家的社會評級系統，難保不會左右電腦對人命的取捨。
2018 年麻省理工學院專家進行的「道德機器」實驗（Moral Machine Experiment），便模擬不同的全自動駕駛情景，囊括 233 個國家和地區、合共 4,000 萬次決定，迫使 AI 就露宿者與企業高層的性命進行取捨。結果發現，地區經濟愈不平等，AI 犧牲露宿者的機會便愈大。
愈來愈多 AI 將會應用在人命攸關的決定上，譬如醫療 AI 系統，可透過醫學影像為病人快速斷症，幫助醫生為病人分流。縱然現時醫生仍然有最終決定權，但隨著 AI 發展愈趨成熟，衝突也可能愈見頻繁。其中一個惹來關注的情況是，假若 AI 發現病人不按照指示服藥，系統應否介入以保障病人性命，但如此一來卻難免削弱病人權益。
歸根究底，AI 不存在道德良知，所有決定都是程式預設，所以關鍵在於 AI 開發人員與工程師的道德準則，也取決於演算法的訓練方式，而且受訓練環境附帶的觀念、政治和倫理道德影響。當私人企業、公營部門與研究機構就 AI 的道德原則爭持，聯合國亦正推動制訂普世適用的 AI 道德框架，期望人權始終受到未來 AI 保障。
