> Вопрос в том, что автоматику пытаются заставить заменять собой неглупого человека, выполняющего команды человека глупого.

Согласен. Но корень проблемы, думаю, глубже: автоматика пока не умеет творить, а адекватная оценка ситуации отчасти творческая задача, полагающаяся не только на опыт в данной сфере, но и на опыт из других. Именно поэтому толкового пилота никогда не заменит автопилот, нейросети не заменят толкового метеоролога и т.п. Т.е. разыгрывать стандартные положения они будут уметь, но девиации будут вызывать неадекватное поведение - система неустойчива по отношению к некоторым классам возмущений.

О классах возмущений - обратимся к Чернобылю: данных и опыта по работе реактора РБМК-1000 на малых мощностях или по его работе от токов выбега турбин почти не было, но "ума" хватило "поэкспериментировать". Системы контроля: 1) автоматика; 2) операторы; 3) проводящий эксперимент Дятлов; 4) команда сверху ("партия" ведь приказала проверить возможность автономной работы реактора). Но, обратите внимание, что полной информации о работе реактора и допустимых классах возмущений не имел, imho, даже Александров. Так и называлось, afair, эксперимент. Дорогой получился... да :(
Может тоже как-нить напишу, что знаю. Надо только валерьянкой запастись :/

Статью гляну на выходных.