چه زمانی – و چرا – باید توضیح دهید که هوش مصنوعی چگونه کار می کند
مترجم: مرتضی ایراندوست
هوش مصنوعی با شناسایی الگوهایی که پیچیده هستند و میتوانند درک انسان را به چالش بکشند، به آنها ارزش می بخشد. که میتواند مشکل ایجاد کند: هوش مصنوعی میتواند یک جعبه سیاه باشد که اغلب ما را قادر به پاسخگویی به سؤالات مهم در مورد عملکرد آن نمی کند. این موضوع در برخی موارد بیشتر از موارد دیگر اهمیت دارد.
شرکت‌ها باید بدانند که «توضیح‌پذیر» بودن هوش مصنوعی چیست و چه زمانی مهم است که بتوانیم توضیح دهیم که چگونه یک هوش مصنوعی خروجی‌های خود را تولید میکند.
به طور کلی، شرکت‌ها زمانی نیاز به توضیح در مورد هوش مصنوعی دارند که:
۱) مقررات به آن نیاز دارد، ۲) درک نحوه استفاده از ابزار مهم است، ۳) میتواند سیستم را بهبود بخشد، و ۴) میتواند به تعیین عدالت کمک کند.
آرویند کریشنا، مدیرعامل آی‌بی‌ام اخیراً به وال استریت ژورنال گفت: با حجم داده‌های امروزی، ما میدانیم که هیچ راهی وجود ندارد که ما به عنوان انسان بتوانیم همه آنها را پردازش کنیم. تنها تکنیکی که میدانیم که میتواند بینش را از داده‌ها استخراج کند، هوش مصنوعی است. بینش‌هایی که کریشنا به آنها اشاره میکند الگوهایی در داده‌ها هستند که میتوانند به شرکت‌ها در پیش‌بینی کمک کنند.
خواه این احتمال وجود دارد که کسی در وام مسکن کوتاهی کند، احتمال ابتلا به دیابت در دو سال آینده، یا اینکه یک نامزد شغلی مناسب است. به طور خاص، هوش مصنوعی الگوهای ریاضی موجود در هزاران متغیر و روابط بین آن متغیرها را شناسایی میکند. این الگوها میتوانند آنقدر پیچیده باشند که بتوانند درک انسان را به چالش بکشند.
این میتواند مشکل ایجاد کند : هنگامیکه ما متغیرهایی که در هوش مصنوعی قرار میدهیم (اپلیکیشنهای وام مسکن، سوابق پزشکی، رزومه) را درک میکنیم و خروجیها (تأییده برای وام، ابتلا به دیابت، داشتن ارزش مصاحبه)، را درک می کنیم ممکن است ندانیم بین ورودیها و خروجیها چه میگذرد.هوش مصنوعی میتواند یک «جعبه سیاه» باشد،که اغلب ما را قادر به پاسخگویی به سؤالات مهم در مورد عملکرد «ماشین» نمیکند: و اینکه آیا پیش‌بینی‌های قابل اعتمادی انجام میدهد؟ آیا این پیش‌بینی‌ها را بر اساس دلایل محکم یا موجه انجام میدهد؟ آیا میدانیم در صورت خرابی چگونه آن را تعمیر کنیم؟ یا بطور کلی:آیا می‌توانیم به ابزاری اعتماد کنیم که عملیات آن را درک نمیکنیم، به‌ویژه وقتی ریسک‌ها زیاد هستند؟.در ذهن بسیاری از افراد، نیاز به پاسخ به این سؤالات منجر به تقاضا برای هوش مصنوعی قابل توضیح می شود: به طور خلاصه، هوش مصنوعی که می توانیم پیش بینی های آن را توضیح دهیم.
چه چیزی باعث می شود یک توضیح خوب باشد؟
یک توضیح خوب باید برای مخاطب مورد نظرش قابل درک و مفید باشد، به این معنا که به آن مخاطب کمک کند تا به اهداف خود برسد. وقتی صحبت از هوش مصنوعی قابل توضیح به میان می‌آید، ذینفعان مختلفی همچون نهادهای نظارتی، کاربران نهایی، دانشمندان داده، مدیرانی که وظیفه حفاظت از برند سازمان را بر عهده دارند و مصرف‌کنندگان تأثیرگذار. وجود دارند که ممکن است نیاز به درک چگونگی تصمیم‌گیری هوش مصنوعی داشته باشند.
همه این گروه‌ها مجموعه مهارت‌ها، دانش و اهداف متفاوتی دارند -که احتمالاً یک شهروند عادی گزارشی را که برای دانشمندان داده در نظر گرفته شده است، درک نمیکند.
بنابراین، آنچه به عنوان یک توضیح خوب محسوب میشود بستگی به این دارد که کدام یک از مخاطبین را هدف قرار داده است. مخاطبان مختلف اغلب به توضیحات متفاوتی نیاز دارند. برای مثال، مشتری که توسط بانک برای دریافت وام مسکن پذیرفته نشده است، احتمالاً می‌خواهد بفهمدکه چرا بانک انرا نپذیرفته است تا بتواند برای دفعه بعد تصمیم بهتر در زندگی خود اتخاذ کند.
یک پزشک می‌خواهد بفهمد که چرا پیش‌بینی در خصوص بیماری بیماران ایجاد شده است تا بتواند تشخیص دهد آیا هوش مصنوعی متوجه الگو میشود که آنها نمیشوند یا ممکنست هوش مصنوعی اشتباه کرده باشد. مدیران اجرایی خواستار توضیحاتی هستند که آن ها را در موقعیتی قرار دهد تا ریسک های اخلاقی و اعتباری مرتبط با هوش مصنوعی را درک کنند تا بتوانند استراتژی های مناسب کاهش ریسک ایجاد کنند یا تصمیم بگیرند در استراتژی بازار خود تغییراتی ایجاد کنند.
با این حال، ارائه توضیحات به مخاطب و موردی که در دست است، آسان‌تر از انجام آن است. که معمولاً شامل بده بستانهای سخت بین دقت و توضیحپذیری است.
به طور کلی، کاهش پیچیدگی الگوهایی که یک هوش مصنوعی شناسایی میکند، درک چگونگی تولید خروجی‌هایی را که هوش مصنوعی انجام میدهد، آسان‌تر میکند. اما، اگر همه چیز برابر باشد، کم کردن پیچیدگی میتواند به معنای کاهش دقت – و در نتیجه سودمندی – هوش مصنوعی باشد.
در حالی که دانشمندان داده دارای ابزارهایی هستند که بینش هایی را در مورد اینکه چگونه متغیرهای مختلف ممکن است خروجی ها را شکل دهند ارائه می دهند، این ابزارها فقط بهترین حدس را در مورد آنچه در داخل مدل میگذرد ارائه میدهند و عموماً برای مصرف‌کنندگان، شهروندان، تنظیم‌کننده‌ها و مدیران اجرایی خیلی فنی هستند که از آنها در تصمیم‌گیری استفاده کنند.
سازمانها باید در رویکرد خود نسبت به هوش مصنوعی، از جمله در سیاست ها، طراحی و توسعه مدل هایی که به صورت ساعتی طراحی میکنند یا از فروشندگان شخص ثالث تهیه میکنند، این تنش را حل کنند یا حداقل به آن رسیدگی کنند.
چه زمانی نیاز به توضیح پذیری داریم
تلاش برای توضیح اینکه چگونه یک هوش مصنوعی خروجی های خود را ایجاد می کند به زمان و منابع نیاز دارد.و رایگان نیست. این بدان معنی است که ارزیابی اینکه آیا خروجی های قابل توضیح در وهله اول برای هر مورد خاص مورد نیاز است یا خیر، ارزشمند است.
به عنوان مثال، هوش مصنوعی تشخیص تصویر ممکن است بکار گرفته شود تا به مشتریان در برچسبگذاری عکسهای محصولات خود که فروش کمی دارند هنگامیکه این عکسهای خود در فضای ابری بارگذاری میکنند کمک کند.
در این صورت، دقت ممکن است اهمیت زیادی داشته باشد، اما اینکه مدل دقیقا چگونه این کار را انجام میدهد، ممکن است چندان مهم نباشد. یا یک هوش مصنوعی مورد استفاده قرار دهید که پیش بینی می کند محموله پیچ ها چه زمانی به کارخانه اسباب بازی می رسد. اینجا ممکن است نیاز زیادی به توضیح وجود نداشته باشد.
به طور کلی، یک قانون سرانگشتی خوب این است که وقتی پیش‌بینی‌های کم‌ریسک در مورد ماهیتهایی انجام میشود که افراد نیستند.
احتمالاً توضیحپذیری لازم نیست. البته استثناهایی نیز وجود دارد، چرا که بهینه سازی مسیرها برای مترو منجر به دسترسی بیشتر به این منبع برای برخی از زیر جمعیت ها نسبت به سایرین می شود. نتیجه این است که توضیحپذیری ممکن است بسیار مهم باشد، به‌ویژه زمانی که خروجیها مستقیماً بر نحوه رفتار با مردم تأثیر می‌گذارند. حداقل چهار مورد در این زمینه وجود دارد که باید در نظر گرفته شود.
زمانی که انطباق مقررات آن را ایجاب می کند.
کسی که وام یا رهن مسکن را رد کرده است، استحقاق این را دارد که توضیح داده شود چرا آنها رد شدهاند. آنها نه تنها شایسته این توضیح به عنوان یک موضوع قابل احترام هستند – گفتن “نه” به یک متقاضی و سپس نادیده گرفتن درخواست ها برای توضیح نه تنها بی احترامی است – بلکه بر اساس مقررات لازم و ضروری است.
همانطور که مقررات فعلی و در در دست اقدام، به‌ویژه خارج از اتحادیه اروپا نشان میدهد. شرکت های خدمات مالی که قبلاً برای مدل‌های غیر هوش مصنوعی خود نیاز به توضیح دارند، باید این الزام را به مدل‌های هوش مصنوعی نیز تعمیم دهند.
وقتی توضیحپذیری مهم است که کاربران نهایی بتوانند بهترین نحوه استفاده از ابزار را ببینند. به منظور به حرکت دراوردن آن نیازی نیست که بدانیم موتور ماشین چگونه کار می کند. اما در برخی موارد، دانستن نحوه عملکرد یک مدل برای استفاده موثر از آن ضروری است.
برای مثال، یک هوش مصنوعی که موارد بالقوه کلاهبرداری را علامت‌گذاری میکند، ممکن است توسط یک عامل تشخیص تقلب استفاده شود.
اگر ندانند چرا هوش مصنوعی این تراکنش را علامت گذاری کرده است، نمی دانند که تحقیقات خود را از کجا شروع کنند و در نتیجه فرآیند بسیار ناکارآمدی ایجاد می شود.
از سوی دیگر، اگر هوش مصنوعی علاوه بر اینکه تراکنش‌ها را به‌عنوان ضمانت‌کننده بررسی بیشتر علامت‌گذاری کند، توضیحی نیز در مورد دلیل علامت‌گذاری این تراکنش ارائه دهد، آن‌گاه عامل میتواند کار خود را کارآمدتر و مؤثرتر انجام دهد.
by Reid Blackman and Beena Ammanath
۳۱ AUG 2022
HBR
