GT Sophy — совместная разработка Sony AI, Polyphony Digital и Sony Interactive Entertainment. При её создании использован новый метод глубокого машинного обучения с подкреплением (Deep RL), основанный на сложной системе поощрений и алгоритме QR-SAC, в который закодировали правила гонок и особый режим тренировок, необходимый для овладения всеми нюансами вождения. Обычно с помощью Deep RL «прокачивают» игровые ИИ в сетевых стратегиях реального времени, так как RL-агенты просчитывают свои действия далеко вперед, но Sony, похоже, впервые применила эту методику в гоночном симуляторе.
Для обучения GT Sophy специалисты Sony AI создали веб-платформу DART (Distributed, Asynchronous Rollouts and Training), у которой был доступ к тысяче консолей PlayStation 4 и облачной игровой платформе Sony. Каждая консоль собирала данные, необходимых для обучения, или оценивала уже обученную версию GT Sophy. DART позволила одновременно проводить сотни симуляций, с каждым разом улучшая взаимодействие ИИ-агента со средой и повышая его навыки вождения.
Что умеет Софи? Во-первых, она хорошо понимает динамику автомобиля и молниеносно просчитывает идеальную траекторию движения. Во-вторых, за доли секунды выбирает нужную стратегию: например, использует зону пониженного давления за впереди идущей машиной для совершения обгона или блокирует соперника, не давая ему её обойти. Наконец, Софи обучена основам спортивного этикета. По словам авторов, это значит никаких преднамеренных аварий и попыток вытолкнуть другого гонщика с трассы.
