Возможности искусственного интеллекта беспилотного автомобиля на дорогах приблизились к человеческим, хотя в некоторых случаях незначительно, но превосходят их, показало исследование компании Cognitive Technologies.
Как рассказали РИА Новости в компании, целью исследования было определить, кто на текущем этапе создания беспилотных автомобилей лучше справляется с задачей понимания отдельных дорожных ситуаций - искусственный интеллект (ИИ) или естественный (ЕИ) - то есть, человек. "Иными словами: побеждает ли уже искусственный разум человека в задаче управления беспилотником или нет?", - отметили в компании
Специалисты Cognitive Technologies проводили сравнение по тем возможностям, которых уже достиг ИИ. В тестах по оценке качества и скорости детекции (обнаружение, выявление - ред.) дорожных знаков, автомобилей и пешеходов, проведенных на дорогах общего пользования Москвы и Московской области, участвовали 17 волонтеров.
Ряд тестов проходил в сложных погодных условиях (темное время суток, дождь), также были проведены тесты в таких сложных для распознавания условиях, как переход из света в тень и ослепление солнцем. Волонтер в соответствии с заданием озвучивал те или иные объекты дорожной сцены, замеченные им, параллельно велась запись результатов распознавания ИИ той же линейки объектов. По итогам поездки данные обрабатывались и заносились в общую таблицу испытаний.
Исследования проводились в сентябре – ноябре 2017 года, при этом использовалась одна видеокамера (монокамера).
Тесты готовились таким образом, чтобы число объектов, которые появляются одновременно, не превышало трех, поскольку иначе человеку технически сложно озвучить результаты детекции, На каждом маршруте человеку давалось для распознавания не более 30–35 объектов.
Всего тестирование проводилось по 27 различным маршрутам в населенных пунктах при скоростях 50-60 километров в час.
РОБОТ ПРОТИВ ЧЕЛОВЕКА
Исследование показало, что возможности искусственного интеллекта уже приближены к естественному, хотя в ряде случаев робот "победил" человека, хотя и с незначительным отрывом.
Первым итогом исследования – определения качества детекции объектов дорожной сцены в хороших погодных и дорожных условиях - стали примерно равные результаты у ЕИ и ИИ - как по скорости, так и по точности. По последнему показателю для дорожных знаков, автомобилей и пешеходов они превысили 99%.
ИИ показал себя лучше в тестах, когда отдельные объекты были видны не полностью (за деревьями, припаркованными машинами и другими препятствиями).
Причем преимущество ИИ состояло не в качестве распознавания, а в скорости детекции. Например, в тестах на дорожных знаках ИИ раньше на доли секунды смог видеть частично заслоненные объекты. "Тест показал, что в более сложных условиях испытуемые (волонтеры – ред.) зачастую на мгновение позже замечали дорожные знаки, чем это делает ИИ. Однако это время дает системе управления дополнительное преимущество для обработки и анализа информации о дорожной ситуации в целом", - рассказал руководитель департамента беспилотных транспортных средств Cognitive Technologies Юрий Минкин.
Точное время реакции ИИ и человека в условиях данного эксперимента не фиксировалось, его значение колебалось примерно от 0,5 секунды и не превышало 1 секунды. Точность распознавания ЕИ и ИИ в этих тестах превысила 99%.
В тестах с частично заслоненными автомобилями и пешеходами преимущество ИИ в скорости сохранилось, но его уже можно было рассматривать, как статистическую погрешность (порядка 0,5 секунды и менее). Точность распознавания ЕИ и ИИ также была более 99%.
Незначительное преимущество ИИ в скорости и качестве детекции было отмечено также в условиях дождя при распознавании дорожных знаков – оно составило 98,3% против 97% у ЕИ. При опознавании автомобилей результаты оказались примерно равными (порядка 98% с разницей менее 0,5% в пользу ИИ). "Такой результат можно объяснить большей устойчивостью ИИ к такого рода помехам при детекции объектов относительно небольших размеров", - пояснили в компании.
Кроме того, ИИ победил в пограничных ситуациях: в ситуациях перехода из света в тень и ослепления ИИ быстрее справлялся с поставленной задачей распознавания. Время реакции у человека было больше практически во всех тестах, но не превышало 1 секунды. Точность распознавания как ЕИ, так и ИИ составила больше 98%.
Тесты показали, что человек немного лучше справился с распознаванием пешеходов в сложных условиях (ночь, дождь). Точность распознавания ЕИ составила примерно 99,2% против 98% у ИИ - как ночью, так и в дождь. "Человек – довольно сложный объект для распознавания: пешеходы не имеют постоянной формы, они могут идти, обнявшись, взявшись за руки, нести на себе груз и так далее. И если в хороших условиях ИИ не уступил человеку, то в сложных условиях возможности ЕИ пока оказались чуть лучше", - отметил Минкин.
ВЫВОДЫ
Основным итогом исследования стало приближение возможностей ИИ к ЕИ. Причем, как показали результаты испытаний, преимущество ИИ проявлялось при усложнении дорожной и погодной обстановки, отметили в компании. "Стоит ожидать, что с увеличением производительной мощности вычислителя, а также качества сенсоров и ПО преимущество ИИ станет очевидным, как это было в шахматах", - сказал представитель Cognitive Technologies.
"Конечно, многие моменты организации и проведения исследования не могут претендовать на совершенство, и мы будем совместно с экспертным сообществом работать над развитием как методики, так и самих тестов. Но нужно понимать, что это первая в истории попытка сравнить возможности ИИ и человека. И в первом приближении мы получили реальные результаты, с которыми можно и нужно считаться, на основе которых можно прогнозировать развитие направления создания ИИ для автороботов", заявила президент Cognitive Technologies Ольга Ускова.
По ее словам, следующие испытания компания рассчитывает провести, анализируя качество понимания различных дорожных ситуаций человеком и ИИ.
В компании отметили, что изначально не ставилась цель сравнить возможности искусственного интеллекта и человека.
"Мы изначально не собирались сравнивать возможности человека и ИИ. У нас в планах было проведение тестирования собственной системы ИИ для беспилотного транспорта C-Pilot. Идея сравнить ИИ с человеком пришла уже по ходу испытаний. Но мы загорелись этой идеей, нам стало безумно интересно получить оценку сравнения искусственного интеллекта с человеком", - сказал руководитель департамента беспилотных транспортных средств Cognitive Technologies рассказывает Юрий Минкин.