DOTA и AI

Есть такая МОВА-игра — Дота 2 называется.

Для тех, кто не в курсе, есть карта, две стороны по 5 героев в каждой (герой = игрок), 3 линии (фронта), на которых идут боестолкновения отрядов разных фракций (Света и Тьмы, как неожиданно). Герои, находясь на этих линиях, как бы возглавляют это всё, располагаясь на переднем крае военного столкновения отрядов противника.

Игроки в команде поделены на позиции — с первой по пятую. Первая позиция — это, если грубо, герой главный — на протяжении всей игры он получает основное количество опыта, золота и поддержки от команды для того, что потом разрушить их базу, посыпать землю солью, а черепа сложить пирамидкой где-то в углу. В свою очередь, пятерка — это бомж, который не имеет права на золото и опыт, обязан жертвовать собой во спасение более важных членов команды, и все появившееся золото тратит не на личные предметы, типа брони или оружия, а на предметы командные — целебные мази, выставление обзора на карте и так далее.

Такое понимание игры и её экономики господствует очень и очень долго — по факту, с самого зарождения игры почти полтора десятилетия назад. За это время уже сложилось понимание первых двух позиций, хотя и остальные три героя не сильно нуждались, не было настолько ярко выраженного… неравенства. Со временем такое положение просто выкристаллизовывалось всё отчетливее и отчетливее.

И тут, в общем-то, никто ничего не притягивает за уши — в конце концов, игра действительно спроектирована так, что есть в ней есть как «кор» (от англ. core, ядро) герои, вокруг которых строится всё, так и «саппорты» (от англ. support, поддерживать), чей функционал запрограммирован на то, чтобы поддерживать товарищей, а не, размахивая клинками, врубаться во вражеский строй.

Но не так давно в мире Доты появился феномен — OpenAI. Искусственный интеллект, за короткое время (месяц) научившийся обыгрывать вначале в урезанной, дуэльной версии игры (1 линия, 1 герой на каждой стороне) лучших игроков в мире, а затем вполне себе освоивший игру 5х5 против реальных, человеческих коллективов.

Если вначале это были игровые журналисты, то последний скальп — это двукратные (на тот момент однократные) победители International (крупнейший чемпионат, призовой фонд на последнем «инте» — 34 млн. долл.) чемпионы мира. Единственные в своем роде.

При создании этого искусственного интеллекта используется обучение с подкреплением (Reinforcement Learning). Суть: агент попадает в среду, с которой взаимодействует самостоятельно, чтобы понять правильные схемы поведения. OpenAI находился в такой среде, отсматривая и отыгрывая десятки тысяч, если не миллионы матчей каждый день с июня прошлого года.

В чем же цимес? «Скайнет уже близко, спасайся кто может»? Вполне возможно — но нет, дело не в этом.

Просто, спустя миллионы отсмотренных и отыгранных сражений наш Думсдей пришел к тому, что сложившаяся в игре экономика… неправильна. Нерационально вкладывать все ресурсы в 1-2 игроков, выращивая их в инкубаторе из тел товарищей.

Гораздо эффективнее — равномерно распределять ресурсы между всеми членами команды. Только такая стратегия обеспечивает команде отсутствие слабых мест. Только таким образом боевая единица сбалансированна и готова к сражению всегда.

Просто история из мира видеоигр. Ничего больше.