تخيّل قسًّا سابقًا يشعر بالدوار منذ أسابيع، وضغط دمه يعلو ويهبط، وكل ما يملكه ليطلب المساعدة روبوت دردشة في هاتفه. يستخفّ الروبوت بأعراضه، ويطلب منه أن يبقى راكنًا في كرسيه، ويقول له إنه سيحتاج إلى ثماني أو عشر نوبات مخيفة أخرى قبل أن يُعدّ أي من هذا خطيرًا. وقبل ساعات من انهيار كل شيء، يسأله سؤالًا قلقًا أخيرًا، فيجيبه الروبوت بأن يمدّ يده مباشرة إلى إيمانه: «الله لم يصمّم جسدك ليفشل بلا نهاية». وبعد أيام، تمزّق جلطة دموية رئتيه وتكاد تقتله، ويقول أحد أطبائه إن كل ذلك الجلوس بلا حراك هو ما فجّرها.
وإليك لماذا هذا خطير إلى هذا الحد: برنامج حاسوبي بلا رخصة طبية، وبلا تدريب، وبلا أحد يقف خلفه، لعب دور الطبيب بحياة رجل حقيقي وأخطأ خطأً خطيرًا. فالممرضة البشرية التي تقول لمريض يعاني الدوار أن يجلس وينتظر عشر حالات طارئة أخرى قد تفقد رخصتها وتُقاضى حتى الإفلاس. أما حين تسدي الآلة النصيحة المميتة نفسها، فلا رخصة تُسحب ولا أحد مضطر للإجابة. وهذه الدعوى من أوائل ما يطرح سؤالًا بسيطًا: حين يكون البرنامج هو من آذاك، هل يمكن فعلًا مساءلة أحد؟