On safety assessment of artificial intelligence

Jens Braband, Hendrik Schäbe
2020 Dependability  
Резюме. Цель. В данной статье обсуждается подход к оценке безопасности систем с искусственным ителлектом (ИИ). Это актуально для тех случаев, когда ИИ используется в системах, связанных с обеспечением безопасности, а также применительно к железнодорожным системам автоматизации, в составе которых предполагается применение средств ИИ. Методы. Основное внимание в работе уделено не столько самому ИИ, сколько оценке его безопасности. Более пристальное внимание к моделям ИИ показывает, что многие из
more » ... их, в особенности машинное обучение, являются статистическими. Таким образом, при проведении оценки безопасности, помимо выполнения обычных процедур, необходимо подвергнуть анализу модель, используемую в ИИ. Результаты. Часть допустимой интенсивности опасных случайных отказов, предусмотренных для соответствующего уровня полноты безопасности, должна отводиться для вероятностного сбойного поведения системы ИИ. Авторы излагают свои идеи на простых примерах и предлагают тему для научных исследований, разработка которой может сыграть решающую роль при внедрении ИИ в ответственные системы. Заключение. Представлен метод экспертизы безопасности систем с искуственным интеллектом. Ключевые слова: искуственный интеллект, оценка безопасности, функциональная безопасность. Для цитирования: Брабанд Й, Шебе Х. Оценка безопасности искусственного интеллекта // Надежность. 2020. №4. С. 25-34. https://doi.
doi:10.21683/1729-2646-2020-20-4-25-34 fatcat:o7mgikz6fzbjddvqd2gpsgbcuy