Месяц назад мы запустили игровой ивент, который на данный момент стал самым большим из когда-либо нами проводимых. Во время ивента нам также удалось поставить новый рекорд по количеству игроков онлайн. В то же время наша команда усиленно работала над устранением частых проблем с серверами, которые, к сожалению, начали возникать именно в этот период.

Перед тем как запустить ивент, мы увеличили пропускную способность серверов, но уже вскоре были очень приятно удивлены тем, насколько много игроков действительно начало играть в игру. Серверы работали на пиковой мощности, а потому сейчас мы хотим поговорить о том, что же именно произошло, а также о шагах, которые мы собираемся предпринять для обеспечения более стабильной работы серверов.

Мы рассмотрели множество проблем, некоторые из которых наша команда все еще изучает. Большинство из этих проблем были связаны с бэкендом и игровыми серверами. Простыми словами о терминологии: «бэкенд» обеспечивает аутентификацию игроков (вход в игру), состояние инвентаря, содержит сведения о всем разблокированном снаряжении и записях, поддерживает внутриигровой магазин (снаряжения и охотников), а также занимается подбором игроков в матчи. «Игровые серверы» — это место, где происходит ваша игровая миссия, от момента появления до эвакуации (или смерти!). Так как мы стремимся быть как можно более открытыми, информация ниже будет немного технической.
 

За последние 30 дней мы испытывали разные типы ошибок, большая часть из которых начала происходить после начала ивента 24 марта:
 

• У нас было три случая накопления «пробок» в бэкенде, из-за чего его работоспособность постепенно снижалась, и после приблизительно трех дней он останавливался. Нам удалось выпустить исправление для этой проблемы 8 апреля, после чего она больше не возникала.
   
• Также в этот период начали проявляться процессы, которые возникали в одно и то же время три дня подряд. Сначала мы думали, что столкнулись с проблемами с сетевым соединением, так как симптомы указывали на это. Но оказалось, что некоторые внутренние процессы останавливали бэкенд ровно в 00:00 UTC. Они вызывали высокую степень использования диска физического компьютера, из-за чего для нормальной работы бэкенда не хватало ресурсов. Мы провели реконфигурацию, чтобы остановить эти процессы. На данный момент проблема решена, но мы будем мониторить ситуацию на протяжении следующих нескольких недель, чтобы убедиться в этом окончательно.
   
• После этого мы испытали прерывания соединения с сетью в центре обработки данных, используемом для бэкенда. Из-за них возникали как долгосрочные проблемы, которые приводили к необходимости перезапускать серверы, так и временные сложности, которые могли влиять на один определенный регион. У нас нет возможности повлиять на эту проблему, так как она была вызвана сложностями извне.
   
• Также один раз возникла проблема, связанная с человеческой ошибкой, вызвавшая процесс, для которого не было необходимости. Это была наша ошибка, которая сейчас уже устранена.

Мы все еще наблюдаем медленное постепенное снижение работоспособности, из-за которого серверы бэкенда могут стать недоступными, как и в случае с проблемами с образованием пробок в бэкенде. Как это часто бывает, такие проблемы не проявляются во время внутреннего тестирования, так как тестовые серверы не поддаются подобным нагрузкам. Сейчас мы рассматриваем способы того, как эти проблемы можно лучше изучать непосредственно на основных серверах, не создавая при этом помехи игрокам. Как только мы поймем, что вызывает чрезмерное использование памяти, мы сможем исправить проблему. На данный момент мы можем только выполнить полный перезапуск серверов, чтобы восстановить необходимое количество памяти для нормальной работы бэкенда.
 

Сейчас мы работаем над более продвинутой системой для проведения стресс-тестов, которая позволит нам имитировать поведение тысяч игроков на тестовых серверах. С помощью этой системы мы сможем отлавливать такие проблемы еще до того, как они попадут на основные серверы. Планируется запустить эту систему в июне 2021 года.

Текущий ивент был очень успешным для Hunt: Showdown, ведь благодаря нему нам удалось увеличить в два раза нашу базу активных игроков. Но мы недооценили такой стремительный наплыв игроков. Сейчас мы используем физические компьютеры для обеспечение лучшего игрового опыта для игроков. Это эффективный способ, но увеличение пропускной способности занимает определенное время, ведь при этом используется пропускная способность центров обработки данных. Мы рассмотрим возможность поддержки облачных игровых серверов, но ранее мы уже сталкивались с определенными проблемами с такими серверами, в частности с обеспечением нормального игрового процесса на слабых компьютерах. Интеграция этой гибридной среды является непростой задачей, так как игровые среды находятся в двух отдельных центрах обработки данных, тем не менее недавние успехи игры показали, что увеличение пропускной способности серверов является одной из наших первоочередных задач.
 

Мы понимаем, что недоступность серверов в пиковые часы во время игрового ивента может быть очень удручающей.

Ивент закончится

Мы хотим поблагодарить наше сообщество за участие в ивенте и за то, что благодаря вам он стал самым большим на данный момент. Спасибо, что остаетесь с нами, и увидимся в Байу!

-Команда Hunt