ارزیابی بلوغ
بلوغ داده: از کجا بفهمیم سازمان آماده هوش مصنوعی است؟
پیش از هر سرمایه‌گذاری روی هوش مصنوعی باید بدانیم داده‌های سازمان در چه سطحی از بلوغ قرار دارند. این نوشته یک چارچوب پنج‌سطحی و پرسش‌های ارزیابی هر سطح را ارائه می‌کند تا گام بعدی سازمان از روی شواهد انتخاب شود، نه از روی مد روز.
پرسش رایج مدیران این است: «آیا سازمان ما آماده هوش مصنوعی است؟» پاسخ دقیق‌تر از بله و خیر است. آمادگی، طیف است و جای سازمان روی این طیف تعیین می‌کند گام بعدی چه باید باشد. چارچوب زیر پنج سطح بلوغ داده را با نشانه‌های عینی هر سطح توصیف می‌کند. این چارچوب جمع‌بندی و تفسیر نگارنده است و مرحله‌بندی آن، از گزارش‌گیری به تحلیل علت و سپس پیش‌بینی، با الگوهای مرحله‌ای شناخته‌شده در ادبیات رقابت تحلیلی هم‌راستاست (Davenport & Harris, 2007)؛ نه یک استاندارد رسمی یا مدل آزموده‌شده.
سطح یک: داده‌های پراکنده
داده در فایل‌های اکسل و سامانه‌های جزیره‌ای پخش شده است. هر گزارش مدیریتی با کار دستی ساخته می‌شود و دو گزارش از دو واحد، دو عدد متفاوت می‌دهند. در این سطح، سرمایه‌گذاری روی مدل‌سازی پیشرفته معمولاً بازده کمی دارد، چون کمبود داده مناسب و باکیفیت از علت‌های اصلی شکست پروژه‌های هوش مصنوعی گزارش شده است (Ryseff et al., 2024).
گام درست: تعیین منبع رسمی برای چند شاخص کلیدی سازمان و توقف تولید گزارش‌های موازی. این کار به فناوری تازه نیاز ندارد، به تصمیم مدیریتی نیاز دارد.
سطح دو: گزارش‌گیری یکپارچه
داده‌های اصلی در یک انبار داده جمع شده و گزارش‌ها از یک منبع ساخته می‌شوند. تعریف شاخص‌ها مستند است و اختلاف اعداد میان واحدها کم شده. سازمان حالا می‌داند چه اتفاقی افتاده است.
سطح سه: تحلیل علت
گزارش‌ها از «چه شد» به «چرا شد» می‌رسند: تفکیک عوامل، مقایسه گروه‌ها و بررسی روند. تحلیل‌گر کسب‌وکار می‌تواند بدون واسطه تیم فنی پرسش‌های تازه بپرسد. این سطح نخستین جایی است که به نظر نگارنده، فکر کردن به خودکارسازی تصمیم منطقی می‌شود.
سطح چهار: پیش‌بینی
مدل‌های آماری و یادگیری ماشین برای پیش‌بینی تقاضا، ریزش مشتری، خرابی تجهیزات یا ریسک اعتباری به کار می‌روند و خروجی آن‌ها در فرایند جاری مصرف می‌شود. نکته کلیدی همین مصرف است: مدلی که خروجی‌اش وارد فرایند نشود، پروژه تحقیقاتی است نه دارایی سازمانی. مرور مطالعات موردی استقرار یادگیری ماشین نیز نشان می‌دهد که دشواری‌های اصلی اغلب در مدیریت داده، استقرار و یکپارچه‌سازی با فرایند رخ می‌دهند، نه در خود ساخت مدل (Paleyes et al., 2022).
سطح پنج: تصمیم‌سازی خودکار
بخشی از تصمیم‌ها با قاعده و مدل، خودکار گرفته می‌شوند و انسان روی موارد استثنا تمرکز می‌کند. سازمان چرخه بازخورد دارد: نتیجه هر تصمیم ثبت و برای بهبود مدل استفاده می‌شود. نگهداشت چنین سامانه‌هایی هزینه پنهان قابل توجهی دارد و وابستگی‌های داده‌ای و حلقه‌های بازخورد از منابع اصلی «بدهی فنی» در سامانه‌های یادگیری ماشین شمرده می‌شوند (Sculley et al., 2015).
سنجش سریع: پرسش‌های هر سطح
| سطح | پرسش کلیدی | نشانه عبور از سطح |
|---|---|---|
| یک | شاخص‌های کلیدی از کجا می‌آیند؟ | هر شاخص یک منبع رسمی و یک مالک دارد. |
| دو | گزارش‌ها چقدر دستی ساخته می‌شوند؟ | گزارش‌های اصلی خودکار و زمان‌بندی‌شده‌اند. |
| سه | آیا می‌توانیم علت انحراف را پیدا کنیم؟ | تحلیل‌گر بدون تیم فنی به داده لازم می‌رسد. |
| چهار | خروجی مدل کجا مصرف می‌شود؟ | پیش‌بینی در فرایند جاری اثر مشخص دارد. |
| پنج | نتیجه تصمیم‌ها ثبت می‌شود؟ | چرخه بازخورد بسته و مدل‌ها پایش می‌شوند. |
خطای رایج: پرش از سطح
یکی از خطاهای رایج، پرش از سطح دو به سطح چهار است؛ سازمانی که هنوز بر سر عدد فروش ماه گذشته اختلاف دارد، پروژه پیش‌بینی تقاضا آغاز می‌کند. خطر چنین پرشی این است که نمونه اولیه خوش‌ظاهر در تولید کنار گذاشته شود، چون داده‌های ورودی‌اش پایدار نیستند؛ مسئله‌ای که در مطالعه RAND بر پایه مصاحبه با متخصصان باتجربه، در کنار کمبود زیرساخت داده، از علت‌های ریشه‌ای شکست پروژه‌ها شناخته شده است (Ryseff et al., 2024).
پرش، همیشه هم اشتباه نیست؛ اما باید آگاهانه و محدود باشد: یک حوزه باریک با داده نسبتاً سالم انتخاب می‌شود و همان حوزه تا سطح چهار بالا می‌رود، بی‌آنکه ادعای پوشش کل سازمان مطرح شود.
از ارزیابی تا برنامه
خروجی یک ارزیابی خوب، امتیاز دادن به سازمان نیست؛ فهرست کوتاهی از اقدام‌های ترتیب‌دار است. پیشنهاد نگارنده این است که ارزیابی در بازه‌ای کوتاه و محدود انجام شود و نتیجه در سه بخش تحویل داده شود:
- نقشه وضعیت داده و فرایند در حوزه‌های منتخب.
- چند اقدام کم‌ریسک با اثر سریع برای ماه‌های نخست.
- معماری هدف و ترتیب ساخت آن در افق میان‌مدت.
این ترتیب باعث می‌شود سازمان پیش از تعهد بزرگ مالی، از عمل کوتاه یاد بگیرد و تصمیم بعدی را بر پایه شواهد داخلی خودش بگیرد.
منابع
- Davenport, T. H., & Harris, J. G. (2007). Competing on analytics: The new science of winning. Harvard Business School Press.
- Paleyes, A., Urma, R.-G., & Lawrence, N. D. (2022). Challenges in deploying machine learning: A survey of case studies. ACM Computing Surveys, 55(6), 1–29. https://doi.org/10.1145/3533378
- Ryseff, J., De Bruhl, B. F., & Newberry, S. J. (2024). The root causes of failure for artificial intelligence projects and how they can succeed: Avoiding the anti-patterns of AI (RR-A2680-1). RAND Corporation. https://doi.org/10.7249/RRA2680-1
- Sculley, D., Holt, G., Golovin, D., Davydov, E., Phillips, T., Ebner, D., Chaudhary, V., Young, M., Crespo, J.-F., & Dennison, D. (2015). Hidden technical debt in machine learning systems. In Advances in Neural Information Processing Systems 28 (pp. 2503–2511).