چه زمانی برای یک الگوریتم مهم است که خودش را توضیح دهد؟

تهیه‌کننده مقاله : تیم مارکتینگ

دسته بندی: مقالات HBR
11 دقیقه زمان مطالعه
1401/01/07
0 نظر

بسیاری از تلاش‌ها برای استفاده از یادگیری ماشینی به دلیل نگرانی‌ها در مورد جعبه سیاه متوقف می‌شوند.  یعنی عدم شفافیت در مورد اینکه چرا یک سیستم کاری را انجام می‌دهد؟ گاهی اوقات این به این دلیل است که مردم می‌خواهند بدانند چرا پیش‌بینی‌ها، قبل از انجام اقدامات تغییر دهنده زندگی انجام شده است؟ مانند زمانی که یک سیستم بینایی رایانه‌ای احتمال ابتلا به سرطان را با اشعه ایکس از ریه بیمار را ۹۵ درصد نشان می‌دهد.

گاهی اوقات به این دلیل است که تیم‌های فنی باید بدون ایجاد اختلال در کل سیستم، اشکالات را شناسایی و برطرف کنند. حالا که مقررات عمومی حفاظت از داده‌ها (GDPR) در حال اجرا است، کسب و کارهایی که داده‌های مصرف کننده را مدیریت می‌کنند باید توضیح دهند که سیستم‌های خودکار چگونه تصمیم می‌گیرند، به ویژه تصمیماتی که به طور قابل توجهی بر زندگی افراد تاثیر می‌گذارد، مانند تخصیص اعتبار یا استخدام یک نامزد برای یک شغل. در حالی که GDPR تنها در اروپا کاربرد دارد، کسب و کارها سراسر جهان پیش‌بینی می‌کنند که تغییرات مشابهی در حال وقوع است و بنابراین تلاش‌های حاکمیت را بازنگری می‌کنند.

 برای توجیه پذیری این موضوع، باید تصمیم بگیرید که تنها توضیح دهید، از چه رویه‌هایی استفاده می‌کنید. برای مثال، انواع داده ها و انواع مدل‌ها.  یا این که می‌خواهید  عملکرد ذاتی یک مدل ریاضی را توضیح دهید. این تفاوت مهم است، زیرا الگوریتم‌های مختلف یادگیری ماشینی کم و بیش و به راحتی قابل توضیح هستند.

چالش نهایی برای توجیه کردن این است که مشخص کنیم، مدل واقعا برای چه چیزی بهینه می‌شود. این موضوع ممکن است نگران کننده به نظر برسد، اما اگر افراد مناسب، در زمان مناسب، سؤالات درست را بپرسند تا مجموعه ای از درخواست‌ها و تصمیمات را به شما اطلاع دهند، همه چیز قابل حل می شود.

اگر در اینترنت جستجو کنید، متوجه خواهید شد که بیشتر نوشته‌های مربوط به قابلیت توجیه الگوریتمی در دو گروه جای می‌گیرند. طرفداران پذیرش سریع تکنولوژی اغلب استدلال می‌کنند که انسان‌ها، در توضیح تصمیمات بهتر از ماشین‌ها نیستند، و بنابراین ما باید سوالات را مطرح کنیم تا به افزایش سرعت پیشرفت نوآوری را کمک کنیم.

این استدلال‌های ماهرانه به متخصصان مسئول در رعایت مقررات کمک نمی‌کنند.از سوی دیگر، کارشناسان خواستار الزامات سفت و سختی برای شفافیت هستند و از فرهنگ “سریع حرکت کن و همه چیز را بشکن” انتقاد می‌کنند.

این استدلال‌ها می‌توانند جلو پذیرش بگیرند، زیرا همه موارد استفاده از یادگیری ماشین به سطح یکسانی از نظارت و مسئولیت‌پذیری نیاز ندارند، برخی از تصمیم‌ها برای توضیح دادن مهم‌تر از سایرین هستند.

برای موفقیت در یادگیری ماشینی کاربردی، باید به عقب برگردید و مشکل را حل کنید.مناسب بودن یک روش ریاضی یا آماری به چه معناست (‏همان طور که GDPR نیاز دارد)‏؟ آیا موارد استفاده مختلف، نیاز به انواع مختلفی از توضیحات دارند؟ چه کسی باید در تصمیمات مربوط به تاثیرات تجاری، انطباق مقررات، رویکرد فنی، و حتی ارزش‌های اخلاقی در هنگامی که شرکت‌ها یادگیری ماشین را در عملیات کسب‌وکار ادغام می‌کنند، درگیر شود؟

بیایید با باز کردن این مساله شروع کنیم که چرا درک یک ایده ظاهرا ساده مانند حق توضیح و اجرا آن در عمل دشوار است؟

مانند هر تکنولوژی دیگری، زمانی که شما یک پروژه یادگیری ماشین را شروع می‌کنید، باید تصمیم بگیرید که چه چیزی را می خواهید بسازید و چه چیزی را بخرید؟
همکاری با یک کارگزار مراحل شفافیت را پیچیده می‌کند زیرا بسیاری از شرکت‌های نرم‌افزاری ترجیح می دهند که افشا نکنند از چه الگوریتم هایی یا داده‌هایی  برای آموزش استفاده می‌کنند. در بیشتر مواقع دلیل این کار  را حفاظت از مالکیت معنوی یا جلوگیری از نقض امنیت است، اعلام می کنند. 

همچنین یک مشکل پیچیده نیز وجود دارد: اگر کارگزار از چندین مجموعه داده عمومی و خصوصی برای آموزش سیستم خود استفاده می‌کند، به این فکر کنید که داشتن مکانیسم‌های بازرسی برای پیگیری دقیق آنچه در تصمیم‌گیری انجام شده است، چقدر سخت خواهد بود!

اگر از یک کارگزار استفاده نمی‌کنید، اما تصمیم گرفتید، در درون سازمان چیزی بسازید، باید تصمیم بگیرید که آیا فقط میخواهید، توضیح دهید که از چه رویه‌هایی استفاده می‌کنید. – به عنوان مثال، انواع داده‌ها و انواع مدل‌ها – یا این که آیا می خواهید بتوانید عملکرد درونی یک مدل ریاضی را نیز توضیح دهید.

صحبت های انجام شده در GDPR نشانگر این موضوع است که این رویه‌ها هستند که نیاز به توضیح دارند. بند ۷۱ می‌گوید که “پردازش منصفانه و شفاف” به معنای بازرسی نحوه جمع‌آوری داده‌ها، حفظ دقیق داده‌ها، تامین امنیت داده‌ها و اتخاذ تدابیری برای شناسایی و جلوگیری از هر گونه اثرات تبعیض‌آمیز ضروری است. تمرکز بر روی نحوه جمع آوری داده ها و یکپارچگی است.

مدل‌های آماری باید «مناسب» باشند. هیچ یک از این مراحل پیش پا افتاده نیستند، اما اغلب در بحث‌های مربوط به آن‌ها، توضیح پذیری نادیده گرفته می شود، زیرا تمرکز زیادی روی الگوریتم ها و مدل ها وجود دارد.

به عنوان مثال، سوگیری می تواند در بسیاری از نقاط سیستم به الگوریتم نفوذ کند. کسب و کار شما ممکن است از لحاظ تاریخی به برخی از جمعیت های قومی کمتر خدمت کرده باشد، بنابراین ممکن است اطلاعات کمی در مورد آنها جمع آوری کرده باشید. اطلاعات جوامع قومی و جمعیتی ممکن است ارتباط تنگاتنگی با داده‌های مکانی داشته باشند، که باعث می‌شود یک متغیر به‌ظاهر بی‌ضرر مانند موقعیت مکانی GPS، نماینده تبعیض نژادی باشد.

پس از تولید، مدل‌ها اغلب با مواردی مرزی مواجه می‌شوند – موقعیت‌ها، داده‌ها یا افرادی که بر داده‌هایی که برای آن‌ها آموزش دیده‌اند تسلط کافی ندارند. نظارت بر سوگیری قبل و بعد از اجرای سیستم و انجام اقداماتی برای رسیدگی به رفتارهای  ناخواسته بسیار مهم است.

یک نوع توجیه، شفاف سازی نتایجی است که یک سیستم برای بهینه سازی آن طراحی شده است. برای مثال در یک سیستم درخواست اعتبار آنلاین، پاسخگو نگه داشتن سیستم، به معنای نظارت بر آن است تا اطمینان حاصل شود، که رد کردن افراد با ویژگی های خاصی مانند پیشینه قومی مرتبط نیستند.

محدودیت‌های این رویکرد نتیجه محور این است که بینش کمی درباره آن چه که یک فرد، برای مداخله در جهت ایجاد یک تغییر و یک تصمیم در آینده نیاز دارد، وجود دارد.

یک رویکرد مداخله محور نیازمند بینش در مورد عملکرد درونی یک مدل است. به عنوان مثال: ” شما صلاحیت ندارید چون سه چک اجاره آخر خود را پرداخت نکردید.اگر شما چهار قسط بعدی را به صورت مرتب پرداخت کنید، امتیاز شما به اندازه کافی بالا خواهد بود تا امتیاز آستانه ما که ۷۵% است، را به دست آورید.”
وقتی درک منطق یک مدل آماری مهم است، با چالش‌های مختلفی روبرو می‌شویم.

همان طور که در این  مقاله در مورد شناسایی فرصت‌های یادگیری ماشین اشاره کردم، توضیح الگوریتم های مختلف یادگیری ماشین کم و بیش آسان است. توضیح یک رگرسیون خطی به شکل y = mx + b خیلی سخت نیست: ما فقط باید m را دنبال کنیم تا بدانیم x (‏ورودی) ‏چگونه به y (‏خروجی)‏ مربوط می‌شود.اما چه می‌شود اگر “m” چکیده میلیون‌ها رابطه باشد، که توابع پیچیده‌ای را در معماری را تعریف می‌کند؟

با یادگیری عمیق، ما توانایی تعیین چگونگی ارتباط ورودی‌ها با خروجی‌ها را از دست می‌دهیم زیرا تعداد متغیرهای موجود و روابط بین آن‌ها نیز به هم مرتبط می‌شوند و توصیف آن‌ها پیچیده است.

بنابراین، به عنوان مثال، یک شبکه عصبی عمیق می‌تواند نشان دهد که یک فرد به احتمال ۹۵ %نمی‌تواند وام خود را بازپرداخت کند، اما قادر به بیان جنبه‌هایی که منجر به شکل گرفتن این داده‌های و امتیازدهی شده است، نیست. این یک موازنه است، زیرا الگوریتم های پیچیده‌تر، قابلیت‌های آماری ساده‌تر مانند رگرسیون خطی را به قیمت توضیح‌پذیری،  باز می‌کنند.

(‏همچنین شایان‌ذکر است که وقتی دانشمندان داده الگوریتم های ساده‌تری را می‌سازند که توضیح آن‌ها آسان‌تر است، سوگیری‌ها و فرضیاتی را نیز با خود به همراه دارد، که بر آنچه در داده‌ها می‌بینند تاثیر می‌گذارند؛ شناسایی و کنترل این سوگیری‌های ذهنی با استفاده از فن‌آوری دشوار است.)

چالش نهایی در قابلیت توجیه این است که مشخص کنیم مدل واقعا برای چه چیزی بهینه می‌شود. یک مشتری ایده آل کارت اعتباری کسی است که اغلب از کارتی که برای آن ثبت نام کرده است، (نتیجه بلند مدت) استفاده می‌کند، نه فقط شخصی که پیشنهاد کارت اعتباری را می پذیرد (نتیجه کوتاه مدت).

افرادی که روی تبلیغات نمایشی کلیک می‌کنند، اغلب مشتریانی با ارزش مادام‌العمر نیستند و بیشتر تلاش‌های بازاریابی دیجیتال فقط می‌توانند از داده‌های جریان کلیک به عنوان نماینده‌ای برای فروش مستقیم استفاده کنند.

اندازه‌گیری و دریافت بازخورد درباره پیامدهای بلندمدت دشوار است، اما این ناشناخته‌های، شناخته‌شده می‌توانند برای عملکرد یک سیستم بسیار ارزشمند  باشند.
برای شروع، ذینفعان غیر فنی درگیر در یک پروژه یادگیری ماشینی به آموزش نیاز دارند تا در مورد نحوه عملکرد سیستم‌های آماری دیدگاه مناسبی پیدا کنند. آن‌ها نیازی به کد زدن و تبدیل شدن به دانشمندان ندارند، بلکه نیاز به درک این موضوع دارند که سیستم‌های یادگیری ماشینی در خروجی‌ها همبستگی دارند و نه علت‌ها.
آنها باید درک کنند که یک گروه اقلیتی، ممکن است به خوبی در یک مجموعه داده نشان داده نشوند و رفتار ناعادلانه‌ای از یک الگوریتم دریافت کند، نه به دلیل سوء نیت دانشمندان داده، بلکه به این دلیل که مدل ها تمایل به یادگیری روابطی دارند، که به پیش بینی بخش‌های بزرگی از داده ها کمک می‌کنند. که این موضوع به قیمت دقت کم‌تر به مثال‌های کم‌تر ارائه‌شده است.

سپس، در طول بحث‌هایی که قبل از پروژه اتفاق می‌افتد، که باید گروه متنوعی از ذینفعان از بخش‌های تجاری، علم داده، فن‌آوری اطلاعات، حریم خصوصی و … در آن شرکت داشته باشند.

شرکت‌ها باید صراحتا در نظر بگیرند که چه فرد یا تیمی نقش به زیر سوال بردن الگوریتم‌ها را دارد؟ ( مثل  “تیم‌های قرمز” که گاهی اوقات در تصمیم‌گیری با ریسک بالا استفاده می‌شوند.)‏ مهم است که الزامات نظارتی یا ریسک‌های اخلاقی را قبل از شروع هر کاری، برای اجتناب از تحمیل هزینه‌های زیاد شفاف سازی کرد و برای توسعه برنامه‌های کاربردی جالب الزاماتی را تحت مقررات جدید مانند GDPR هستند یا ریسک از بین بردن اعتماد مشتری و برآورد نکردن انتظارات او را دارند،در نظر گرفت.
این گروه‌های طراحی چند منظوره باید سوالاتی مانند موارد زیر را در نظر بگیرند:

توضیح دادن همیشه مهم نیست. به عنوان مثال، اگر یک شرکت حقوقی از یادگیری ماشینی برای یافتن اسناد مرتبط با یک پرونده استفاده می کند، آن چیزی که اهمیت دارد، این است که چیز مهمی را از دست نرود، بدون این که توضیح دهد چرا یک سند مرتبط است و سند دیگر مناسب نیست.

 معیار مناسب برای تمرکز بر داده‌ها، “فراخوانی” نام دارد که بخشی از موارد مرتبط را در یک مجموعه را بر روی تعداد کل نمونه‌های مرتبط بازیابی شده‌اند، در یک مجموعه اسناد، به خود اختصاص می‌دهد. تیم علم داده باید این امر را در فرایندهای تست مدل و تضمین کیفیت خود جای دهد.

یک مدل یادگیری ماشین خاص در کجای  کل فرآیند کسب‌وکار قرار دارد؟

یک تحلیلگر کسب‌وکار، باید فرآیند کسب‌وکار پایان به پایان را ترسیم کند. اغلب یک فرآیند، در واقع شامل بسیاری از مدل‌های یادگیری ماشین با الزامات قابلیت توجیه متفاوت است.

به عنوان مثال، بانکی که از یادگیری ماشین برای جذب مشتریان کارت اعتباری جدید خود استفاده می کند، حداقل دو مدل دارد: یکی برای ارزیابی ریسک و تایید کارت (که نیاز به توجیه بیشتر دارد) و دیگری برای پیش بینی تمایل به تبدیل و شخصی سازی پیشنهادات (که نیاز به توجیه کمتری دارد.)

توابع انطباقی، باید تحلیلگران کسب‌وکار را از الزامات قانونی در هر مرحله از فرآیند کسب‌وکار آگاه کند و دانشمندان داده باید این محدودیت‌ها را در ذهن داشته باشند در مقابل تنها به انتخاب تکنیک یادگیری ماشین که بهترین عملکرد را در یک کار دارد، نپردازند.

 از چه فرایندهایی برای کنترل پیامدها استفاده خواهیم کرد؟

سیستم‌های یادگیری ماشینی، ابزارهایی برای بهینه‌سازی هستند و یک راه برای اداره آن‌ها، تغییر کردن است.  توضیح این که چه ویژگی‌هایی در داده‌ها منجر به اعلام سیاست سطح بالاتر در مورد نتایج مطلوب و پاسخگو نگه داشتن سیستم‌ها برای دستیابی به این سیاست می‌شود. 

در اینجا، دانشمندان داده باید مسئولیت‌پذیر بوده و  از همه مهم‌تر، پس از اجرای این مدل، ارزیابی خود از مدل‌های را برای جلوگیری از گرایش به سمت انواع داده‌های حساس مانند جنسیت یا پیشینه قومی در طول فرایند و تضمین کیفیت آن‌ها ادامه دهند.

سیستم‌های آماری در وسط منحنی bell، جایی که داده‌های زیادی وجود دارند، به خوبی عمل می‌کنند، اما می‌توانند نتایج غیرمنتظره‌ای را در موارد کمتر ارائه‌شده یا رفتار جدید ایجاد کنند. یک نفر باید مسئول ممیزی و نظارت بر عملکرد مدل در طول زمان و شناسایی هر گونه اقدام علیه سیاست‌های کسب‌وکار باشد.

تیم‌های فنی، تجاری، و انطباقی باید مرتبا برای بازبینی عملکرد و تنظیم مدل برای دستیابی به نتایج عادلانه با هم ملاقات کنند. تیم تجاری باید تعداد دفعات بروزرسانی مدل‌ها را مستند کند و  فرایندی برای برقراری ارتباط با این موضوع و چگونگی تاثیر آن بر پیش‌بینی‌ها و هر گونه تغییر در الگوی مصرف کنندگان تحت‌تاثیر سیستم را داشته باشد.

جمع بندی 

بسیاری از مباحث پیرامون قابلیت توجیه و تفسیر به دقت بر کارکرد درونی مدل‌های یادگیری ماشین تمرکز می‌کند، که منجر به ترس از جعبه‌های سیاه یا بحث‌های جذاب و طولانی می‌شود که در آن انسان‌ها در توضیح رفتار و تصمیمات خود نسبت به ماشین‌ها مبهم، بهتر نیستند.

برای موفقیت کسب و کارها در یادگیری ماشین، آن‌ها باید عقب‌نشینی کنند و مشکلات را از بین ببرند، با در نظر گرفتن تاثیر کلی‌نگر سیستم‌ها و تفکر انتقادی در مورد این که پاسخگویی معنادار مستلزم موارد استفاده مختلف است.

در برخی موارد، افراد واقعاً به توضیحات مستقیم تری نیاز دارند، چه برای راحتی روانی (تشخیص سرطان) یا برای مداخله برای تغییر نتیجه (اصلاح اقدامات برای دریافت وام مسکن در آینده پس از رد شدن وام).

اما فرآیندهای زیادی وجود دارد که می‌توان با تعیین خط‌مشی برای نتایج مطلوب، نظارت بر نتایج برای ردیابی مغایرت‌ها و به‌روزرسانی مدل‌ها یا رویه‌های جمع‌آوری داده‌ها برای بهبود نتایج آینده کنترل شوند.

روشن کردن اینکه چه چیزی مهم است و قضاوت کردن در مورد این ، مستلزم این است که یک کسب‌وکار چقدر خطا پذیر است، این مهارتی است که رهبران کسب‌وکار باید آن را توسعه دهند.

این پست ترجمه‌ای است از مقاله 

When Is It Important for an Algorithm to Explain Itself  منتشر شده در وب‌سایت HBR

مشاهده فرصت‌های شغلی در آسا مشاهده فرصت‌های شغلی در آسا