چگونه هوش مصنوعی با تقلید صدا، کلاهبرداری می‌کند؟

اوایل امسال، چندین تاجر ثروتمند ایتالیایی تماس تلفنی عجیبی دریافت کردند. فردی در آن سوی خط با صدایی که کاملاً شبیه «گویدو کروستو» (وزیر دفاع ایتالیا) بود، از آن‌ها درخواست ویژه‌ای داشت:

«لطفاً برای آزادسازی روزنامه‌نگاران ایتالیایی ربوده‌شده در خاورمیانه پول بفرستید.»

اما در واقع کروستو آن تماس را نگرفته بود. او وقتی فهمید موضوع چیست که چند تن از تاجران هدف تماس، با او تماس گرفتند و موضوع را اطلاع دادند. در نهایت مشخص شد که کلاهبرداران با استفاده از هوش مصنوعی (AI) صدای کروستو را جعل کرده بودند.

هوش مصنوعی چگونه صدا تولید می‌کند؟

تولیدکننده‌های صوتی با هوش مصنوعی معمولاً از الگوریتم‌های یادگیری عمیق استفاده می‌کنند. در این فرایند، برنامه هوش مصنوعی با تحلیل حجم عظیمی از داده‌های صوتی انسانی، به ویژگی‌هایی مانند زیر و بم صدا، نحوه تلفظ، لحن، تأکید و سبک صحبت کردن مسلط می‌شود.

با کمک پردازش زبان طبیعی (NLP)، سیستم می‌تواند ویژگی‌های عاطفی صدا مانند طعنه، کنجکاوی یا هیجان را نیز تقلید کند.

صداهای جعل شده چقدر واقعی‌اند؟

تحقیقات دانشگاه کوئین مری نشان می‌دهد صدای تولید شده با هوش مصنوعی برای بسیاری از شنوندگان از صدای واقعی قابل تشخیص نیست.

در این تحقیق ۴۰ نمونه صوتی با هوش مصنوعی (هم با تقلید از صدای واقعی و هم با تولید صدای کاملاً جدید) با استفاده از ابزار ElevenLabs ساخته شد. همچنین ۴۰ نمونه صدای واقعی ضبط شد. سپس ۸۰ کلیپ نهایی با کیفیت بالا ویرایش شدند.

۵۰ داوطلب ۱۸ تا ۶۵ ساله در بریتانیا این صداها را گوش دادند و باید تشخیص می‌دادند کدام صدا واقعی و کدام جعلی است. همچنین از آن‌ها پرسیده شد کدام صداها اعتمادپذیرتر هستند.

نتایج نشان داد:

•    ۴۱٪ از صداهای تولیدشده توسط AI و ۵۸٪ از صداهای کلون‌شده با صدای واقعی اشتباه گرفته شدند.
•    شرکت‌کنندگان حتی به صداهای AI بیشتر از صدای واقعی اعتماد کردند.

باید نگران باشیم؟

در حالی که صداهای تولیدشده توسط AI می‌توانند در تبلیغات و فیلم‌سازی مفید باشند، همین فناوری می‌تواند برای کلاهبرداری و انتشار اخبار جعلی نیز استفاده شود.

در آمریکا موارد متعددی گزارش شده که افراد تماس‌هایی دریافت کرده‌اند که صدای دیپ‌فیک بستگانشان در آن بوده و درخواست پول می‌کرده‌اند.

طبق داده‌های شرکت  Resemble AI، بین ژانویه تا ژوئن سال جاری، بیش از ۵۴۷ میلیون دلار در سراسر جهان از طریق کلاهبرداری‌های دیپ‌فیک از دست رفته است.

آیا ویدئو هم قابل جعل شدن است؟

برنامه‌های AI می‌توانند ویدئوهای جعلی از افراد واقعی تولید کنند. ترکیب این ویدئوها با صداهای دیپ‌فیک می‌تواند کلیپ‌هایی بسازد که به‌سختی قابل تشخیص از واقعیت هستند.

شرکت DeepMedia که در زمینه تشخیص محتوای مصنوعی فعالیت دارد، تخمین زده است تا پایان امسال حدود ۸ میلیون ویدئوی دیپ‌فیک در اینترنت منتشر خواهد شد؛ این رقم در سال ۲۰۲۳ حدود ۵۰۰ هزار ویدئو بود.

کاربردهای دیگر دیپ‌فیک چیست؟

دیپ‌فیک فقط یک ابزار سرگرمی نیست؛ گاهی به شکلی نگران‌کننده برای کارهای مجرمانه هم استفاده می‌شود. یکی از خطرناک‌ترین موارد، ساخت محتوای جنسی غیرقانونی با استفاده از چهره‌ی افراد واقعی است. طبق گزارش Resemble AI در ماه ژوئیه، پیشرفت سریع هوش مصنوعی باعث شده تولید محتوای سوءاستفاده جنسی از کودکان به شکل صنعتی و گسترده انجام شود.

در ماه مه امسال، دونالد ترامپ رئیس جمهوری آمریکا لایحه‌ای را امضا کرد که انتشار تصاویر خصوصی افراد بدون رضایت، از جمله تصاویر دیپ‌فیک را جرم فدرال اعلام می‌کند. ماه گذشته نیز دولت استرالیا اعلام کرد که استفاده از یک اپلیکیشن ساخت تصاویر برهنه دیپ‌فیک را ممنوع خواهد کرد.

هوش مصنوعی به حدی پیشرفت کرده که صداها و تصاویر تولیدشده با آن از واقعیت قابل تشخیص نیستند. در کنار کاربردهای مثبت و انسانی این فناوری، خطرهایی نظیر کلاهبرداری، سرقت هویت و انتشار محتوای جعلی نیز وجود دارد. آگاهی و قانون‌گذاری به‌موقع می‌تواند نقش مهمی در کنترل این تهدیدها ایفا کند.