الگوریتم‌ها باید خودشان را توضیح دهند!

دسته بندی: HBR
11 دقیقه زمان مطالعه
1401/01/07
0 نظر

اینکه ما دقیقا نمی‌دانیم دلیل تصمیماتی که یک سیستم یادگیری ماشین می‌گیرد، چیست؟ باعث می‌شود بسیاری از تلاش‌ها برای استفاده از این تکنولوژی جدید متوقف شوند. یعنی عدم شفافیت در مورد اینکه چرا یک سیستم کاری را انجام می‌دهد؟!

در واقع نمی‌دانیم که یک سیستم یادگیری ماشین دقیقا بر چه اساسی یک پیش‌بینی را انجام می‌دهد. مانند زمانی که یک سیستم هوش مصنوعی (که از الگوریتم هایی برای تجزیه و تحلیل و تفسیر داده های بصری استفاده می کند)، با دیدن یک تصویر اشعه ایکس از ریه بیمار، احتمال ابتلا به سرطان را ۹۵ درصد نشان می‌دهد.

گاهی به این دلیل است که تیم‌های فنی باید بدون ایجاد اختلال در کل سیستم، باگ‌ها را شناسایی و برطرف کنند. حالا که مقررات عمومی حفاظت از داده‌ها (GDPR) در حال اجرا است، کسب و کارهایی که داده‌های مصرف کننده را مدیریت می‌کنند باید توضیح دهند که سیستم‌های خودکار چگونه تصمیم می‌گیرند؛ به ویژه تصمیماتی که به طور قابل توجهی بر زندگی افراد تاثیر می‌گذارد، مانند تخصیص اعتبار یا استخدام یک نامزد برای یک شغل. در حالی که GDPR تنها در اروپا کاربرد دارد، کسب و کارها سراسر جهان پیش‌بینی می‌کنند که تغییرات مشابهی در حال وقوع است و بنابراین اقدامات حاکمیت را بازنگری می‌کنند.

 برای توجیه پذیری این موضوع، باید تصمیم بگیرید که توضیح دهید، از چه رویه‌هایی استفاده می‌کنید. برای مثال، انواع داده ها و انواع مدل‌ها.  یا این که می‌خواهید  عملکرد ذاتی یک مدل ریاضی را توضیح دهید. این تفاوت مهم است، زیرا الگوریتم‌های مختلف یادگیری ماشینی کم و بیش و به راحتی قابل توضیح هستند.

نظر موافقان و مخالفان یادگیری ماشین

چالش نهایی برای توجیه کردن این است که مشخص کنیم، مدل واقعا برای چه چیزی بهینه می‌شود. این موضوع ممکن است نگران کننده به نظر برسد، اما اگر افراد مناسب، در زمان مناسب، سؤالات درست را بپرسند تا مجموعه ای از درخواست‌ها و تصمیمات را به شما اطلاع دهند، همه چیز قابل حل می‌شود.

اگر در اینترنت جستجو کنید، متوجه خواهید شد که بیشتر نوشته‌های مربوط به قابلیت توجیه الگوریتمی در دو گروه جای می‌گیرند. طرفداران پذیرش سریع تکنولوژی اغلب استدلال می‌کنند که انسان‌ها، در توضیح تصمیمات بهتر از ماشین‌ها نیستند؛ بنابراین ما باید سوالات را مطرح کنیم تا به افزایش سرعت پیشرفت نوآوری کمک کنیم.

این استدلال‌های ماهرانه به متخصصان مسئول در رعایت مقررات کمک نمی‌کنند. از سوی دیگر، کارشناسان خواستار الزامات سفت و سختی برای شفافیت هستند و فرهنگ «اولویت سرعت و نوآوری بر احتیاط و برنامه‌ریزی» را نقد می‌کنند.

این استدلال‌ها می‌توانند جلوی پذیرش بگیرند؛ زیرا همه موارد استفاده از یادگیری ماشین به سطح یکسانی از نظارت و مسئولیت‌پذیری نیاز ندارند، برخی از تصمیم‌ها برای توضیح دادن مهم‌تر از سایرین هستند.

برای موفقیت در یادگیری ماشینی کاربردی، باید به عقب برگردید و مشکل را حل کنید. مناسب بودن یک روش ریاضی یا آماری به چه معناست‏؟ آیا موارد استفاده مختلف، نیاز به انواع مختلفی از توضیحات دارند؟ زمانی که شرکت‌ها یادگیری ماشین را در عملیات کسب‌وکار ادغام می‌کنند، چه کسی باید در تصمیمات مربوط به تاثیرات تجاری، انطباق مقررات، رویکرد فنی و حتی ارزش‌های اخلاقی درگیر شود؟

چالش‌های استفاده از یادگیری ماشین چیست؟

بیایید با باز کردن این مساله شروع کنیم که چرا درک یک ایده ظاهرا ساده مانند حق توضیح و اجرای آن در عمل دشوار است؟

مانند هر تکنولوژی دیگری، زمانی که شما یک پروژه یادگیری ماشین را شروع می‌کنید، باید تصمیم بگیرید که چه چیزی را می خواهید بسازید و چه چیزی را بخرید؟
همکاری با یک کارگزار مراحل شفافیت را پیچیده می‌کند، زیرا بسیاری از شرکت‌های نرم‌افزاری ترجیح می دهند که افشا نکنند از چه الگوریتم هایی یا داده‌هایی  برای آموزش استفاده می‌کنند. در بیشتر مواقع دلیل این کار  را حفاظت از مالکیت معنوی یا جلوگیری از نقض امنیت، اعلام می‌کنند. 

همچنین یک مشکل پیچیده نیز وجود دارد: اگر کارگزار از چندین مجموعه داده عمومی و خصوصی برای آموزش سیستم خود استفاده می‌کند، به این فکر کنید که داشتن مکانیسم‌های بازرسی برای پیگیری دقیق آنچه در تصمیم‌گیری انجام شده است، چقدر سخت خواهد بود!

اگر از یک کارگزار استفاده نمی‌کنید، اما تصمیم گرفتید در درون سازمان چیزی بسازید، باید تصمیم بگیرید که آیا فقط میخواهید توضیح دهید که از چه رویه‌هایی استفاده می‌کنید؟ مثلا انواع داده‌ها و مدل‌هایتان را توضیح دهید یا این که می‌خواهید بتوانید عملکرد درونی یک مدل ریاضی را هم توضیح دهید؟

صحبت های انجام شده در GDPR نشانگر این موضوع است که این رویه‌ها هستند که نیاز به توضیح دارند. در بند ۷۱ عبارت «پردازش منصفانه و شفاف» ذکر شده است که به معنای بازرسی نحوه جمع‌آوری داده‌ها، حفظ دقیق داده‌ها، تامین امنیت داده‌ها و اتخاذ تدابیری برای شناسایی و جلوگیری از هر گونه اثرات تبعیض‌آمیز ضروری است. همچنین تمرکز بر روی نحوه جمع آوری داده‌ها و یکپارچگی است؛ مدل‌های آماری هم باید با داده‌هایی که جمع‌آوری شده‌اند، متناسب باشند. هیچ یک از این مراحل پیش پا افتاده نیستند، اما اغلب در بحث‌های مربوط به آن‌ها، توضیح‌پذیری نادیده گرفته می شود؛ زیرا تمرکز زیادی روی الگوریتم‌ها و مدل‌ها وجود دارد.

به عنوان مثال، سوگیری می تواند در بسیاری از نقاط سیستم به الگوریتم نفوذ کند. کسب و کار شما ممکن است از لحاظ تاریخی به برخی از جمعیت های قومی کمتر سرویس داده باشد؛ بنابراین ممکن است اطلاعات کمی هم در مورد آنها جمع آوری کرده باشید. اطلاعات جوامع قومی و جمعیتی ممکن است ارتباط تنگاتنگی با داده‌های مکانی داشته باشند که باعث می‌شود یک متغیر به‌ ظاهر بی‌ضرر مانند موقعیت مکانی (GPS)، نشان‌دهنده تبعیض نژادی باشد.

زمانی که مدل یک ساخته شده و برای پیش‌بینی یا تصمیم‌گیری در مورد داده‌های جدید استفاده می‌شود، اغلب با داده‌هایی مواجه می‌شود که با داده‌هایی که بر اساس آن‌ها یاد گرفته بود تفاوت دارند. نظارت بر اریب‌ها (Bias) قبل و بعد از اجرای مدل و انجام اقداماتی برای رسیدگی به رفتارهای ناخواسته بسیار مهم است.

یک نوع توجیه، شفاف‌سازی نتایجی است که یک سیستم برای بهینه سازی آن طراحی شده است. برای مثال در یک سیستم درخواست اعتبار آنلاین، پاسخگو نگه داشتن سیستم، به معنای نظارت بر آن است تا اطمینان حاصل شود که رد کردن افراد با ویژگی های خاصی مانند پیشینه قومی مرتبط نیستند.

محدودیت‌های این رویکرد نتیجه محور این است که بینش کمی درباره آن چه که یک فرد، برای مداخله در جهت ایجاد یک تغییر و یک تصمیم در آینده نیاز دارد، وجود دارد.

یک رویکرد مداخله‌محور نیازمند بینش در مورد عملکرد درونی یک مدل است. به عنوان مثال: «شما صلاحیت ندارید چون سه چک اجاره آخر خود را پرداخت نکرده‌اید. اگر شما چهار قسط بعدی را به صورت مرتب پرداخت کنید، امتیاز شما به اندازه کافی بالا خواهد بود تا امتیاز آستانه ما را که ۷۵ درصد است، به دست آورید.»

وقتی درک منطق یک مدل آماری مهم است، با چالش‌های مختلفی روبرو می‌شویم.

همان طور که در این  مقاله در مورد شناسایی فرصت‌های یادگیری ماشین اشاره کردم، توضیح الگوریتم‌های مختلف یادگیری ماشین کم و بیش آسان است. توضیح یک رگرسیون خطی به شکل y = mx + b خیلی سخت نیست: ما فقط باید m را دنبال کنیم تا بدانیم x (‏ورودی) ‏چگونه به y (‏خروجی)‏ مربوط می‌شود. اما چه می‌شود اگر «m» چکیده میلیون‌ها رابطه باشد که توابع پیچیده‌ای را در معماری تعریف می‌کند؟

با یادگیری عمیق، ما توانایی تعیین چگونگی ارتباط ورودی‌ها با خروجی‌ها را از دست می‌دهیم، زیرا تعداد متغیرهای موجود و روابط بین آن‌ها نیز به هم مرتبط می‌شوند و توصیف آن‌ها پیچیده است.

بنابراین، به عنوان مثال، یک شبکه عصبی عمیق می‌تواند نشان دهد که یک فرد به احتمال ۹۵ درصد نمی‌تواند وام خود را بازپرداخت کند، اما قادر به بیان جنبه‌هایی که منجر به شکل گرفتن این داده‌های و امتیازدهی شده است، نیست. این یک موازنه است؛ زیرا الگوریتم‌های پیچیده‌تر، قابلیت‌های آماری ساده‌تر مانند رگرسیون خطی را به قیمت توضیح‌پذیری، باز می‌کنند.

(‏همچنین شایان‌ذکر است که وقتی دانشمندان داده الگوریتم های ساده‌تری را می‌سازند که توضیح آن‌ها آسان‌تر است، اُریب‌ها و فرضیاتی را هم با خود به همراه دارد، که بر آنچه در داده‌ها می‌بینند تاثیر می‌گذارند؛ شناسایی و کنترل این اُریب‌های ذهنی با استفاده از فناوری دشوار است.)

چالش نهایی در قابلیت توجیه این است که مشخص کنیم مدل واقعا برای چه چیزی بهینه می‌شود. یک مشتری ایده آل کارت اعتباری کسی است که اغلب از کارتی که برای آن ثبت نام کرده است، (نتیجه بلند مدت) استفاده می‌کند، نه فقط شخصی که پیشنهاد کارت اعتباری را می‌پذیرد (نتیجه کوتاه مدت).

افرادی که روی تبلیغات نمایشی کلیک می‌کنند، اغلب مشتریانی با ارزش مادام‌العمر نیستند و بیشتر تلاش‌های بازاریابی دیجیتال فقط می‌توانند از داده‌های جریان کلیک به عنوان نماینده‌ای برای فروش مستقیم استفاده کنند.

اندازه‌گیری و دریافت بازخورد درباره پیامدهای بلندمدت دشوار است، اما این ناشناخته‌های شناخته‌شده می‌توانند برای عملکرد یک سیستم بسیار ارزشمند باشند.
برای شروع، ذینفعان غیر فنی درگیر در یک پروژه یادگیری ماشینی به آموزش نیاز دارند تا در مورد نحوه عملکرد سیستم‌های آماری دیدگاه مناسبی پیدا کنند. آن‌ها نیازی به کد زدن و تبدیل شدن به دانشمندان ندارند، بلکه نیاز به درک این موضوع دارند که سیستم‌های یادگیری ماشینی در خروجی‌ها همبستگی دارند و نه علت‌ها.
آن‌ها باید درک کنند که یک گروه اقلیتی، ممکن است به خوبی در یک مجموعه داده نشان داده نشوند و رفتار ناعادلانه‌ای از یک الگوریتم دریافت کند، نه به دلیل سوء نیت دانشمندان داده، بلکه به این دلیل که مدل‌ها تمایل به یادگیری روابطی دارند که به پیش‌بینی بخش‌های بزرگی از داده‌ها کمک می‌کنند. این موضوع به قیمت دقت کم‌تر به مثال‌های کم‌تر ارائه‌شده است.

سپس، در طول بحث‌هایی که قبل از پروژه اتفاق می‌افتد، که باید گروه متنوعی از ذینفعان از بخش‌های تجاری، علم داده، فن‌آوری اطلاعات، حریم خصوصی و … در آن شرکت داشته باشند.

شرکت‌ها باید صراحتا در نظر بگیرند که چه فرد یا تیمی نقش زیر سوال بردن الگوریتم‌ها را دارد؟ ( مثل  «تیم‌های قرمز» که گاهی اوقات در تصمیم‌گیری با ریسک بالا استفاده می‌شوند.)‏ مهم است که الزامات نظارتی یا ریسک‌های اخلاقی را قبل از شروع هر کاری، برای اجتناب از تحمیل هزینه‌های زیاد شفاف‌سازی کرد و برای توسعه برنامه‌های کاربردی جالب الزاماتی را تحت مقررات جدید مانند GDPR هستند یا ریسک از بین بردن اعتماد مشتری و برآورده نکردن انتظارات او را دارند، در نظر گرفت.

این گروه‌های طراحی چند منظوره باید سوالاتی مانند موارد زیر را در نظر بگیرند:

چه نوع پاسخگویی برای این مورد اهمیت دارد؟

توضیح دادن همیشه مهم نیست. به عنوان مثال، اگر یک شرکت حقوقی از یادگیری ماشینی برای یافتن اسناد مرتبط با یک پرونده استفاده می کند، آن چیزی که اهمیت دارد، این است که چیز مهمی را از دست نرود، بدون این که توضیح دهد چرا یک سند مرتبط است و سند دیگر مناسب نیست.

 معیار مناسب برای تمرکز بر داده‌ها، «فراخوانی» نام دارد که بخشی از موارد مرتبط را در یک مجموعه را بر روی تعداد کل نمونه‌های مرتبط بازیابی شده‌اند، در یک مجموعه اسناد، به خود اختصاص می‌دهد. تیم علم داده باید این امر را در فرایندهای تست مدل و تضمین کیفیت خود جای دهد.

یک مدل یادگیری ماشین خاص در کجای  کل فرآیند کسب‌وکار قرار دارد؟

یک تحلیلگر کسب‌وکار، باید فرآیند کسب‌وکار پایان به پایان را ترسیم کند. اغلب یک فرآیند، در واقع شامل بسیاری از مدل‌های یادگیری ماشین با الزامات قابلیت توجیه متفاوت است.

به عنوان مثال، بانکی که از یادگیری ماشین برای جذب مشتریان کارت اعتباری جدید خود استفاده می کند، حداقل دو مدل دارد: یکی برای ارزیابی ریسک و تایید کارت (که نیاز به توجیه بیشتر دارد) و دیگری برای پیش‌بینی تمایل به تبدیل و شخصی‌سازی پیشنهادات (که نیاز به توجیه کمتری دارد).

توابع انطباقی، باید تحلیلگران کسب‌ و کار را از الزامات قانونی در هر مرحله از فرآیند کسب‌ و کار آگاه کند و دانشمندان داده باید این محدودیت‌ها را در ذهن داشته باشند و در مقابل تنها به انتخاب تکنیک یادگیری ماشین که بهترین عملکرد را در یک کار دارد، نپردازند.

 از چه فرایندهایی برای کنترل پیامدها استفاده خواهیم کرد؟

سیستم‌های یادگیری ماشینی ابزارهای بهینه‌سازی هستند و یکی از راه‌های کنترل آن‌ها این است که: از این حالت که «توضیح دهیم چه ویژگی‌هایی در داده‌ها منجر به کدام نتایج شده است» به حالت «یک خط‌مشی سطح بالاتر در مورد نتایج دلخواه و مسئولیت‌پذیر نگه داشتن سیستم‌ها اعلام کنیم» تغییر مسیر دهیم. 

در اینجا، دانشمندان داده باید مسئولیت‌پذیر بوده و  از همه مهم‌تر، پس از اجرای این مدل، ارزیابی خود از مدل‌های را برای جلوگیری از گرایش به سمت انواع داده‌های حساس مانند جنسیت یا پیشینه قومی در طول فرایند و تضمین کیفیت آن‌ها ادامه دهند.

سیستم‌های آماری در وسط منحنی bell، جایی که داده‌های زیادی وجود دارند، به خوبی عمل می‌کنند، اما می‌توانند نتایج غیرمنتظره‌ای را در موارد کمتر ارائه‌شده یا رفتار جدید ایجاد کنند. یک نفر باید مسئول ممیزی و نظارت بر عملکرد مدل در طول زمان و شناسایی هر گونه اقدام علیه سیاست‌های کسب‌وکار باشد.

تیم‌های فنی، تجاری و انطباقی باید به صورت مرتب برای بازبینی عملکرد و تنظیم مدل برای دستیابی به نتایج عادلانه با هم همکاری کنند. تیم تجاری باید تعداد دفعات به‌روزرسانی مدل‌ها را مستند کند و  فرایندی برای برقراری ارتباط با این موضوع و چگونگی تاثیر آن بر پیش‌بینی‌ها و هر گونه تغییر در الگوی مصرف‌کنندگان تحت‌تاثیر سیستم را داشته باشد.

جمع بندی 

بسیاری از مباحث پیرامون قابلیت توجیه و تفسیر به دقت بر کارکرد درونی مدل‌های یادگیری ماشین تمرکز می‌کند که منجر به ترس از جعبه‌های سیاه یا بحث‌های جذاب و طولانی می‌شود که در آن انسان‌ها در توضیح رفتار و تصمیمات خود نسبت به ماشین‌ها مبهم، بهتر نیستند.

برای موفقیت کسب و کارها در یادگیری ماشین، آن‌ها باید به عقب برگردند و مشکلات را از بین ببرند؛ با در نظر گرفتن تاثیر کلی‌نگر سیستم‌ها و تفکر انتقادی در مورد این که پاسخگویی معنادار مستلزم موارد استفاده مختلف است.

در برخی موارد، افراد واقعاً به توضیحات مستقیم تری نیاز دارند، چه برای راحتی روانی (تشخیص سرطان) یا برای مداخله برای تغییر نتیجه (اصلاح اقدامات برای دریافت وام مسکن در آینده پس از رد شدن وام).

اما فرآیندهای زیادی وجود دارد که می‌توان با تعیین خط‌مشی برای نتایج مطلوب، نظارت بر نتایج برای ردیابی مغایرت‌ها و به‌روزرسانی مدل‌ها یا رویه‌های جمع‌آوری داده‌ها برای بهبود نتایج آینده کنترل شوند.

روشن کردن اینکه چه چیزی مهم است و قضاوت کردن در مورد این، مستلزم این است که یک کسب‌وکار چقدر خطا پذیر است، این مهارتی است که رهبران کسب‌ و کار باید آن را توسعه دهند.

این پست ترجمه‌ای است از مقاله 

When Is It Important for an Algorithm to Explain Itself 

امتیاز شما به این مقاله:

مطالب مرتبط