AI 爆炸式增長雖然改善人類生活，卻也引發新一輪詐騙浪潮。騙徒利用新技術，只需收集個人音檔，即可生成聲音冒認他人行騙。他們亦會利用社交媒體照片生成面孔，以騙過臉部辨識系統。新型詐騙技術已引起多國監管機構、警察及金融行業高層警惕。美國聯邦貿易委員會主席 Lina Khan 警告：AI 正成為欺詐的主要助力。
全球包括詐騙在內的網絡犯罪涉及金額將達到 88 億美元，已超過世界第三大經濟體日本的經濟產出。據研究機構 Cybersecurity Ventures 指出，這個數字到 2025 年將達到 10.5 萬億，10 年內增長兩倍多。
即使普羅大眾已能識破騙徒的偽冒技倆，但 AI 生成的聲音及影像可助騙徒更逼真地假冒他人。在悉尼紅坊區（Redfern），澳洲聯邦銀行欺詐案件管理負責人 James Roberts 指，團隊 500 多名成員幾乎整天都在竊聽電話騙局，以第一手了解 AI 如何改變詐騙方式。
假冒受害者親人騙錢的做法不再新鮮，但現在父母接到的詐騙電話是用 AI 複製子女的聲音，聽起來與本人的聲音沒有太大分別。這種模仿他人的詐騙技倆名為「社交工程詐騙」（Social engineering scam），往往更易騙到受害人，為詐騙者帶來最快的回報。
複製一個人的聲音變得愈來愈容易。騙徒只要從某人的社交媒體及語音訊息中下載音檔，即使音檔時間短至 30 秒，都可以使用網絡上的 AI 語音合成工具，製作出所需內容。騙徒亦可輕易從社交媒體帳戶，找出一個人的親戚及朋友、生活、工作地方及其他重要資訊。
紐西蘭政府網絡安全機構 CERT NZ 主任兼警察局前副局長 Rob Pope 表示，AI 能幫助犯罪分子增加詐騙數量，以及度身訂做詐騙受害人。Pope 說：「可以肯定的是，在未來兩三年，我們將看到更多由 AI 生成的犯罪攻擊。AI 能提高這些壞人的老練程度及快速轉變的能力，令他們作案更輕易。」
為此，富國銀行（Wells Fargo）徹底改革技術系統，銀行數碼技術主管 Chintan Mehta 說：「我們訓練軟件與員工，以便識別假冒者。」但每當他們加緊監管，犯罪分子就會找到應對方法。例如，一些美國銀行會要求客戶在註冊賬戶時，上傳身份證明文件照片。但騙徒現在可於暗網購買被盜數據，再從社交媒體查找受害者的照片，並使用 3D 打印面具及被盜的資訊，製作假身份證。
金融服務公司 Plaid 正使用身份驗證軟件協助金融機構打擊欺詐，身份識別主管 Alain Meier 表示：「從萬聖節商店買到的東西，到荷里活標準般逼真的矽膠面具，（3D 打印）可裝扮成各種人。」Plaid 則會分析皮膚紋理及半透明度，以確保照片中的人應為本人。
