Яндекс в сасово что это такое
Как Яндекс строил дата-центр с нуля
Этой весной мы получили разрешение на эксплуатацию нашего нового дата-центра. Первого, для которого всё, даже здание, команда Яндекса спроектировала и построила с нуля. За те 18 лет, которые люди ищут в интернете Яндексом, мы прошли большой путь от сервера под столом одного из наших разработчиков до постройки дата-центра, где используем оборудование собственной разработки. По дороге у нас появилось несколько дата-центров в России, в которые мы перестроили прекратившие когда-то свою работу заводы и цеха.
Когда мы выбирали место, где можно строить дата-центр с нуля, холодный климат был одним из важнейших факторов. Но именно в процессе этой стройки мы нашли технологическое решение, которое позволяет нам эксплуатировать ДЦ в более теплом климате. Сейчас мы планируем построить наш следующий дата-центр во Владимирской области. И теперь у нас есть все возможности создать в России дата-центр, который станет одним из самых передовых в мире.
В этом посте мы хотим рассказать, как мы проектировали ДЦ, с какими сложностями столкнулась наша команда в процессе строительства, как проходила пуско-наладка, в чем особенности дата-центров Яндекса и как устроена рекуперация тепла, о которой вы уже могли слышать.
Необходимость
Как мы уже рассказывали, архитектура сервисов компании позволяет организовывать резервирование на уровне дата-центров, а не подсистем, что дает бóльшую гибкость при выборе решений и позволяет снизить избыточность систем и соответствующие затраты.
Дата-центр и серверная архитектура проектируются как единая система, поэтому параметры функционирования инженерных систем могут отличаться от общепринятых — можно, в частности, использовать альтернативные источники бесперебойного питания и отказаться от громоздких технических решений по охлаждению за счет расширения допустимого температурного диапазона. Все это ведет к повышению эффективности и понижению совокупной стоимости владения инфраструктурой.
Одна из метрик эффективности работы дата-центра — PUE. Впрочем, говоря о наших ДЦ, мы не собираемся ставить ее во главу угла. Во-первых, нам незачем меряться PUE с коллегами, а во-вторых, существующие разногласия в методике измерения этого параметра не позволяют проводить сравнение даже между нашими собственными ДЦ.
Однако сама сущность параметра PUE исключительно важна для Яндекса. Коммерческие дата-центры могут позволить себе не скупиться на строительство и оснащение, понимая, что в конечном итоге за все заплатит клиент. В нашем случае мы являемся сами себе клиентом, поэтому низкая совокупная стоимость владения ДЦ (ТСО), пожалуй, самый важный критерий при выборе решений в компании.
И конечно же, нашей команде хочется не только увеличивать площади под установку новых стоек, но и чувствовать профессиональную гордость за то, что мы делаем.
До начала проектирования финского дата-центра мы успели построить (и частично закрыть) 10 дата-центров. При строительстве очередного ДЦ мы каждый раз старались использовать наиболее интересные решения, которые появлялись на рынке в тот момент. Это привело к большому разнообразию реализаций, зато теперь позволяет нам выбирать наилучшие решения не на основании рекламных каталогов, а используя накопленный в компании опыт и результаты собственных экспериментов.
Основная идея, лежащая в проекте финского ДЦ, проста: это применение прямого фрикулинга 100% времени. Прямой фрикулинг (охлаждение серверов наружным воздухом) дает возможность отказаться от использования не только теплообменников с охлажденной водой или другим подходящим теплоносителем, но и от более простых устройств, наподобие колеса Киото, которое стоит в одном из наших ДЦ. В новом дата-центре мы берем воздух с улицы, прогоняем его через серверы и выпускаем на улицу, попутно отбирая часть для смешивания в холодное время года. Наше серверное оборудование сегодня спокойно работает не только в диапазоне 20–24 градуса, который совсем недавно был тем самым разрешенным «окном ASHRAE», но и при более высоких и низких температурах. Поэтому незачем устанавливать капризные и дорогие системы охлаждения, можно просто выбрать регион, в котором среднегодовая температура пониже, а в самые жаркие дни распылять воду, чтобы добавлением влаги снизить на несколько градусов температуру входного воздуха — это называется адиабатическим охлаждением.
Камера адиабатики и каплеуловители за ней
Те из вас, кто изучал конструкцию ДЦ Facebook, которая неоднократно публиковалась в интернете, найдут много аналогий. Но надо сразу оговорить, что это только совпадение. Когда концепт нашего ДЦ был уже готов, нам довелось съездить в гости в один из ДЦ социальной сети, и мы с удивлением узнали, что коллеги только что реализовали проект, практически идентичный нашему.
Конечно же, специфика Орегона и Финляндии повлияла на различия, но принцип обдува воздухом с улицы настолько прост и очевиден, что в сходстве концепций нет ничего удивительного. С другой стороны, мы с удовольствием отметили, что кое в чем наш проект будет даже интереснее.
Например, менее сложная система адиабатического охлаждения и использование динамических роторных ИБП (ДРИБП) вместо сочетания дизелей и классических батарейных ИБП.
Как видно из иллюстрации, холодный воздух попадает с улицы (с правой стороны картинки) в камеры смешения, откуда после фильтрации нагнетается вентиляторными стенами через модуль увлажнения вниз, в холодные коридоры.
Второй ряд фильтров и приточные вентиляторы
Из горячих коридоров воздух попадает в пространство второго этажа, играющего роль своеобразного буфера, откуда часть направляется в камеры смешения.
Камера смешения внешнего и отработанного воздуха для достижения оптимальной температуры
Не используемый в смешении горячий воздух вытяжными вентиляторами выводится с другой стороны здания.
Внутри «горячего коридора»
Решение действительно очень простое, однако оно подразумевает использование оборудования, которое умеет работать при соответствующей температуре и влажности, что трудно достижимо для коммерческих дата-центров.
Как показал первый опыт эксплуатации, у нас есть еще значительный потенциал для улучшений. Мы поняли, что можно упростить конструктив здания, полностью отказаться от использования воды в ДЦ и, наконец, расширить географию строительства вплоть до центральных регионов России. Благодаря этому мы сможем построить наш следующий дата-центр во Владимирской области, климат которой значительно теплее финского.
Почему Финляндия?
Этот вопрос является вторым по популярности, на который нам приходится отвечать. Ответ же настолько прост, что рассказывать о нем даже немного неловко.
Дело в том, что неофициальным талисманом Яндекса является лось («Наш лось!»). Во всем мире есть две страны, в которых ценят и лелеют этих животных, — Швеция и Финляндия. Но так как в Швеции уже построился Facebook, нам оставались наши северные соседи. Из всей страны мы выбрали город, на гербе которого был лось. Так жребий был брошен, и мы решили строиться в Мянтсяля.
Однако одного лося все же недостаточно. Важнейшими критериями, по которым производился отбор на тот момент, были доступная электрическая мощность (высокостабильная энергосеть Финляндии построена много лет назад для ЦБК, которые чувствительны к качеству питающего напряжения), хорошая доступность оптических линий, жаждущие работы инженеры и, конечно же, холодный северный климат, в условиях которого можно было отказаться от чиллеров и честно использовать любимый фрикулинг.
Нельзя не отметить, что работа с местными партнерами оказалась истинным удовольствием. Так, разрешение на строительство получается в течение одного месяца (sic!), а дорога, линии водо- и теплоснабжения и электропередач возникают на границах участка в невероятно короткие сроки.
Кроме того, мы реализовали с местными властями, так сказать для души, проект по рекуперации тепла. Установив теплообменники в месте выброса отработанного горячего воздуха, мы нагреваем теплоноситель и передаем его в городскую систему теплоснабжения. Для муниципалитета доводить подогретую таким образом воду тепловыми насосами до необходимой температуры оказалось дешевле, чем строить дополнительную котельную для новых районов города.
Это решение мы представили в марте на выставке CeBit (в этом году объединенной с Datacenter Dynamics), и оно привлекло к себе огромное внимание — тематика энергоэффективных технологий сегодня очень актуальна. 27 мая Мянтсяля получила приз Best Heat Pump City in Europe.
Проектирование
Если не касаться содержания документации, то уже в процессе проектирования мы столкнулись с некоторыми интересными особенностями работы в Финляндии.
Там нет такой жесткой формализации оформления и состава документов, к которой мы привыкли. Говоря совсем просто, детализация документации должна быть ровно такой, чтобы исполнитель смог получить всю необходимую информацию. В какой-то мере облегчило общение с разрешительными органами, которые выражали свое одобрение, основываясь на том, как они поняли документ, не уделяя внимания полноте и оформлению.
Под крышей, где происходит забор воздуха
Некоторые из представителей властей вообще не стремились выразить свое личное мнение о проекте. Пожарный инспектор, например, был удовлетворен, если на представленном пакете документации стояла виза сертифицированной компании-консультанта. Такая подпись для него значила, что проект уже проверен и соответствует всем местным нормативам.
С другой стороны, большинство мелких подрядчиков отказывались даже оценивать стоимость работ, если в чертежах не было прописано все до последнего винтика. Такой подход озадачил не только нас, но и наших партнеров из других стран. В результате очень многие чертежи содержат куда больше информации, чем мы ожидали бы увидеть.
При реализации проекта мы пользовались трехмерной моделью здания, в которой было расставлено все оборудование, проведены кабельные трассы и т. д. На привыкание к этому инструменту потребовалось какое-то время, зато потом работать с моделью оказалось очень удобно — удавалось быстрее решать некоторые проблемы при сведении систем, которые были не сразу очевидны в двухмерном представлении.
Также наши коллеги научили нас пользоваться онлайн-системой сбора комментариев по проекту, так что можно было быть уверенным, что замечания не потеряются и будут регулярно просматриваться на проектных встречах.
Строительство
О необычайных приключениях русских заказчиков в Финляндии можно было бы написать отдельную большую статью. Но главный вывод прост: успех подобных проектов определяется умением преодолевать различия в менталитете и культуре участников. И самая большая ответственность лежит на нас в момент выбора партнера, который сможет эти различия примирить. Примеров можно привести очень много. Самые забавные, пожалуй, следующие.
Начало строительства
Финская стройка работает с семи утра до трех-четырех дня. Представьте наше недоумение, когда российская команда, возвращаясь с обеда, видит дружную толпу строителей, уже закончивших на сегодня трудовую вахту. Оставшиеся полдня мы наблюдаем почти пустынную стройплощадку, и на этом фоне несколько странно выглядят заявления финских партнеров, сетующих на то, что они никак не успевают уложиться в сроки, хотя и очень стараются.
Возведение стальных конструкций
На уровне рядового рабочего финское качество строительства не слишком сильно отличается от привычного нам. Существенное приращение качества происходит при добавлении нескольких уровней профессиональных бригадиров, контролеров и руководителей. И хотя цена «менеджерской составляющей» приводит в шок, результат получается очень хороший.
И конечно, нельзя не упомянуть легендарный финский июль, когда вся страна бросает работу и начинает отдыхать. В некоторые компании бессмысленно даже звонить — в офисе нет ни единой души. Так как мы привыкли считать эти редкие погожие дни идеальным временем для завершения многих строительных работ, такое отношение со стороны подрядчиков для нас выглядело как откровенный саботаж.
Каркас готов
Но самым главным уроком этого строительства стало осознание того, что проекты такого масштаба требуют совершенно особого подхода. То, как ты организуешь стройку, оказывает несоизмеримо больший эффект на результат проекта, чем то, что ты строишь. Мы увидели, что в другой стране люди работают иначе. Это не значит, что они что-то делают плохо, — просто по-другому. Кажется, нам удалось понять друг друга, и главное, что мы вместе получили отличный результат.
Пусконаладка
Пожалуй, основное, что отличает этот проект от всех предыдущих, — понимание с самого начала важности полноценной пусконаладки (ПНР). Для качественной сдачи объекта, а следовательно, для минимизации проблем во время эксплуатации мы еще в период проектирования держали в голове целую фазу проекта под названием Commissioning. Скрепя сердце мы отдали Commissioning два месяца, зная, что на эти два месяца будет отложен ввод в эксплуатацию уже готового ДЦ, и одновременно понимая, что в дальнейшем это окупится сторицей. И в самом деле, в процессе пусконаладки было найдено некоторое количество недостатков. Ничего серьезного, но дополнительные хлопоты службе эксплуатации они бы принесли.
Не только российский, но и мировой опыт показывает, что пусконаладка ДЦ — все еще непривычное явление. В лучшем случае разрозненные поставщики приносят программы индивидуальных испытаний, а затем группа эксплуатации совместно с генеральным подрядчиком прогоняет пять-шесть самых критичных ситуаций, как правило связанных с запуском дизелей и переключением вводов.
Полноценное описание процесса заслуживает отдельного рассказа, поэтому здесь только упомянем, что мы запланировали и провели все пять ступеней ПНР с тщательным документированием результатов.
Пусконаладку выполняла специально обученная команда. Формально они были сотрудниками генерального подрядчика, однако фактически действовали независимо, оценивая качество работ, в том числе и своих коллег. Огромное участие в пусконаладке принимала и уже сформированная к тому времени служба эксплуатации. Естественно, и представители московского офиса пристально следили за результатами испытаний.
Такой подход был сравнительно новым для нас. Мы по достоинству оценили его возможности и теперь даже не представляем, как без него запускаться.
Эксплуатация
Интересно, что набор и подготовку службы эксплуатации мы начали задолго до монтажа инженерных систем. Это позволило нам потратить больше времени на поиск действительно хороших специалистов, частично привлечь их даже на период проектирования: к сожалению, это привело к изменению проекта в самый последний момент, но зато уменьшило оторванность проекта от потребностей живых людей, которые проведут в этом ДЦ не один год. На некоторых этапах пусконаладки служба эксплуатации выполняла тестирование своими силами под наблюдением ответственной стороны.
Вход в офисную часть
В Финляндии большое внимание уделяется вопросам сертификации специалистов — некоторые виды работ выполнять без подтвержденной квалификации просто незаконно. Второй серьезный момент — это соблюдение норм охраны труда и экологии. Поэтому в нашей команде соответствующий специалист появился вторым по счету, и мы могли быть уверены, что не нарушим жесткие нормы законодательства даже случайно. Также значительный временной лаг позволил нам провести все требуемое обучение и сертификацию еще до начала эксплуатации, то есть вообще «без отрыва от производства».
Обратная сторона здания дата-центра
В целом хочется отметить большую заинтересованность будущих дежурных в своей работе. Мы уверены в команде, которую набрали, несмотря на то что дата-центр, тем более такого уровня, большинство ребят увидели в первый раз.
Нельзя не отметить, что теперь департамент эксплуатации Яндекса становится по-настоящему международным коллективом. Это не только позволит компании продолжать развивать новые навыки совместной работы, но и обяжет поднимать планку для уже существующей службы.
Дата-центр Яндекс
Когда в 1997 году был открыт сайт www.yandex.ru, для его работы достаточно было одного сервера, установленного под столом одного из первых разработчиков Яндекса, Дмитрия Тейблюма. Вскоре после объявления об открытии появился второй сервер, а когда понадобилось установить ещё один, выяснилось, что места под столом хватает либо на три сервера Яндекса, либо на две ноги Дмитрия.
Купить мраморный памятник uralkamen-dvor.ru.
История развития Яндекс
До мысли о создании собственных дата-центров Яндексу в тот момент было ещё далеко — индекс русскоязычного интернета целиком умещался на одном SCSI-диске размером 4Гб, а вся команда портала составляла около десяти человек, работавших в компании CompTek. Поэтому серверное оборудование Яндекса в первые три года его работы было размещено в дата-центре компании «МТУ-Интел».
К моменту создания ООО «Яндекс» в 2000 году Яндекс арендовал четыре стойки в «МТУ-Интеле», где размещалось около 40 собственных серверов Яндекса. Эти несколько десятков серверов и стали основой первого самостоятельного дата-центра Яндекса, который расположился в первом офисе компании — в Москве, на улице Вавилова, в вычислительном центре Российской академии наук.
Собственные дата-центры Яндекс
Сегодня того, самого первого, дата-центра уже нет, а Яндекс поддерживает разветвленную и независимую от офисов сеть дата-центров, которая позволяет обеспечивать пользователей Яндекса качественными сервисами в режиме 24×7 с высокой скоростью доступа.
Ежедневно Яндекс отвечает на запросы миллионов пользователей, объем исходящего трафика портала давно измеряется сотнями мегабайт в секунду, а число серверов Яндекса — тысячами. В 2005 году в Яндексе шутили, что департамент эксплуатации компании потребляет серверы на завтрак, обед и ужин, устанавливая в дата-центры по три сервера за день — сегодня эта цифра ещё больше, и растёт с каждым днем.
В дата-центр Яндекса непросто попасть, и большинство сотрудников Яндекса даже не знают, где они находятся.
Дата-центр Яндекс в Рязанской области
Новый дата-центр ООО «Яндекс ДЦ» расположен в городе Сасово Рязанской области. Проект создания центра обработки и хранения данных компании «Яндекс ДЦ» находится на стадии наладки оборудования.
Серверы уже установлены и запущены в тестовом режиме. Планируемые налоги в бюджет региона составят около 550 миллионов рублей до 2019 года. К 2020 году будет открыто четыре очереди центра для обработки данных. «Яндекс» предложит около 50 квалифицированных рабочих мест.
Дата-центр в Рязанской области, где установят несколько десятков тысяч серверов, станет самым крупным в России. Объём инвестиций составит 2,7 миллиарда рублей.
Размещение дата-центра Яндекс в Рязанской области
Дата-центр в Сасово занимает часть бывших помещений завода «Саста». Чтобы подключить серверы к единой сети, Яндекс проложил между Сасово и Москвой несколько линий оптической связи. Они обеспечат развитие электронных коммуникаций в регионе в целом.
Дата-центры Яндекса — центры для обработки и хранения данных. Каждый запрос пользователя поступает по оптическому каналу в дата-центры, обрабатывается и возвращается в виде ответа на запрос. Главная задача дата-центров — обеспечить доступ к сервисам Яндекса. Дата-центры работают круглосуточно. Главная составляющая инфраструктура дата-центра — система охлаждения, это как традиционные системы кондиционирования, так и современные Full Free Cooling. Всего у Яндекса семь дата-центров как в России, так и за её пределами.
Яндекс (ИТ-инфраструктура)
Содержание
Дата-центры
По состоянию на начало 2018 года у «Яндекса» есть четыре дата-центра в Москве и Подмосковье, по одному дата-центру – в Рязанской области и Финляндии, а также ЦОД во Владимире.
Ранее «Яндекс» также использовал дата-центры в США и Нидерландах, однако после введения в эксплуатацию собственного большого дата-центра в Финляндии в 2015 году необходимость в аренде этих площадок пропала, рассказали TAdviser в компании.
Развитие ИТ-инфраструктуры «Яндекса»
2019: «Яндекс» сократил инвестиции в серверы и дата-центры
В 2019 году примерно 60% капитальных затрат «Яндекса» пришлось на серверы и расширение дата-центров, следует из годового отчета компании по форме 20-F, опубликованного в апреле 2020-го. В абсолютном выражении данные расходы составили порядка 12,3 млрд рублей из общих капитальных затрат в 20,5 млрд рублей. Это на 13% меньше, чем в 2018 году, когда на серверы и расширение дата-центров ушло порядка половины всех капитальных затрат «Яндекса»: 14,16 млрд рублей из 28,3 млрд рублей. Совокупные капитальные затраты компании в 2019 году сократились примерно на 27%.
Общая стоимость серверов и сетевой инфраструктуры «Яндекса» в 2019 году увеличилась почти на 20%, до 59,4 млрд рублей, а «инфраструктурных систем», которые тоже относятся к дата-центрам, выросла на 9%, до 9,5 млрд рублей. Данные о стоимости приведены за вычетом аккумулированных амортизационных отчислений.
В «Яндексе» отказались отвечать на вопросы TAdviser, связанные с дата-центрами. В годовом отчете расширение вычислительной инфраструктуры компания связывает с необходимостью поддерживать рост на текущих и новых для «Яндекса» рынках.
В числе наиболее динамично растущих бизнесов в 2019 году оказались экспериментальное направление, включающее «Яндекс.Дзен», «Яндекс.Облако», «Яндекс.Драйв», геосервисы и «Яндекс.Образование», а также медиасервисы, куда входят «КиноПоиск», «Яндекс.Музыка», «Яндекс.Афиша», «Яндекс.Телепрограмма», продюсерский центр «Яндекс.Студия» и единая подписка на сервисы — «Яндекс.Плюс». Эти направления показали рост выручки на 168% и 103% соответственно.
Помимо дата-центров в Москве и других российских регионах, у «Яндекса» также есть площадка в Финляндии. Как и годом ранее, в 2019 году значительная часть капитальных затрат пришлась на строительство одного из крупных дата-центров компании, говорится в годовом отчете. Ранее в «Яндексе» поясняли, что речь идет о ЦОДе в Сасово, который был запущен в 2014 году.
В 2020 году, как и ранее, «Яндекс» планирует продолжить инвестировать в инфраструктуру и технологии. Примечательно, что помимо растущего бизнеса одной из причин, по которой могут потребоваться дополнительные мощности ЦОДов, «Яндекс» в годовом отчете указывает необходимость соответствовать требованиям, которые предъявляются к компаниям, включенным в реестр «организаторов распространения информации». Сначала туда попал сам «Яндекс», а в конце 2019 года туда же внесли его проект «Яндекс.Дзен».
Нахождение в реестре, в том числе, обязывает предоставлять в случае необходимости доступ к оборудованию и программно-техническим средствам, помощь правоохранительным и другим уполномоченным органам власти в обеспечении безопасности. Также предусмотрена обязанность «предоставлять информацию для декодирования электронных сообщений».
2018: Затраты на ИТ-инфраструктуру выросли на 41%
В 2018 году порядка 50% всех капитальных затрат «Яндекса» пришлось на серверы и расширение дата-центров для поддержания текущей деятельности. Это следует из годового отчета компании по форме 20-F за 2018 год. В абсолютном выражении эти расходы составили примерно 14,16 млрд рублей.
В «Яндексе» заявили TAdviser, что необходимость расширения инфраструктуры связана со «стремительным ростом сервисов и бизнеса».
Значительная часть указанных затрат пришлась на строительство одного из крупных дата-центров компании, говорится в годовом отчете. В «Яндексе» пояснили TAdviser, что под этим имеется в виду ЦОД в Сасово. Запущен он был в 2014 году.
В 2017 году значительная часть капитальных расходов на серверы и расширение дата-центров была связана со строительством дата-центра «Яндекса» во Владимире. По состоянию на 2018 год у «Яндекса» помимо ЦОДов в России есть также дата-центр в Финляндии.
2017: За пять лет стоимость ИКТ-инфраструктуры «Яндекса» выросла в 3,5 раза
Выросла и стоимость «инженерных систем» «Яндекса»: с 3,409 млрд рублей в 2013 году до 7,621 млрд рублей в 2017 году. В отчетах не уточняется, какие именно инфраструктурные системы имеются в виду. В «Яндексе» говорят, что здесь имеются в виду дата-центры компании.
В 2017 году «Яндекс» потратил на приобретение серверов и расширение дата-центров порядка 10 млрд рублей, что составило 81% от всех капитальных затрат компании. При этом и в 2017, и в 2016 гг. они в большой степени связаны с созданием нового дата-центра во Владимире, о запуске которого было объявлено в сентябре.
От года к году объем затрат на серверы и оборудование колеблется: так, например, в 2013 году их объем был 3,850 млрд рублей, а в 2015 году – около 11 млрд рублей.
В отчете также говорится рисках в области инфраструктуры, с которыми сталкивается «Яндекс». Компания отмечает, что ее будущий успех зависит от непрерывной доступности, развития и поддержки интернет-инфраструктуры глобально и на рынках, где работает «Яндекс». Это включает поддержку надежной магистральной сети с нужной скоростью, пропускной способностью и безопасностью для предоставления надежных интернет-сервисов. Любое прерывание доступа к сети, обеспечиваемого третьими сторонами, или их неспособность поддержать текущие или увеличенные будущие объемы использования могут существенно навредит бизнесу «Яндекса». При этом компания уже испытывала и продолжает испытывать прерывания и задержки в этих сервисах время от времени.
Интернет-инфраструктура также может оказаться неспособна выдержать нагрузку со стороны растущего числа пользователей или времени, проводимого онлайн, или увеличенные требования пропускной способности. Государственное регулирование также может ограничить доступ компании к адекватной и надежной интернет-инфраструктуре, говорится в отчете «Яндекса» без уточнения подробностей.
2016: «Яндекс» сокращает ЦОДы в Москве
«Яндекс» планирует перенести часть вычислительных мощностей из своих дата-центров в Москве в новый ЦОД во Владимире, рассказал руководитель группы исследований и разработки департамента эксплуатации «Яндекса» Павел Мельников, выступая на мероприятии компании Mellanox в марте 2016 года.
В качестве причины этого он упомянул дороговизну содержания дата-центров в Москве, главным образом, из-за высокой стоимости электроэнергии.
В компании добавили, что во Владимире сейчас идет этап возведения здания ЦОДа. Запустить этот дата-центр «Яндекс» рассчитывает в 2017 году.
Строительство ЦОДа во Владимире
В 2015 году «Яндекс» начал реализацию проекта по строительству дата-центра в поселке Энергетик Владимирской области. Представители администрации региона сообщали о том, что объем инвестиций в проект составит порядка 4,5 млрд руб.
ЦОД строится на участке площадью 6 га. Его полная мощность составит около 40 МВт, а первая фаза ЦОДа будет рассчитана на 10 МВт. По планам компании, новый ЦОД начнет работу в конце 2017 года.
Открытие дата-центра в Финляндии
В 2015 году «Яндекс» завершил строительство первой очереди дата-центра в финском городе Мянтсяля. Участок под его строительство площадью 8 га «Яндекс» приобрел за 1,5 млн евро в 2013 году. Дата-центры «Яндекса», как правило, размещаются в уже готовых строениях — например, в корпусах бывших заводов. Стройку же в Мянтсяля компания вела с нуля.
Система охлаждения, которая применяется в финском дата-центре, позволяет использовать тепло от серверов для отопления жилых домов. Поставляя городу тепло, «Яндекс» получил возможность возместить часть трат на электроэнергию — одну из самых крупных для дата-центра статей расходов, писала компания. [5]
В одном из блогов «Яндекса» говорится, что до начала проектирования финского дата-центра компания успела построить и частично закрыть 10 дата-центров. [6]
2013: План великой миграции серверов
«Яндекс» планирует строить новые высокоэффективные ЦОДы, в которые постепенно будут мигрировать мощности со старых площадок, рассказал TAdviser 19 марта 2013 г. Сергей Крупин, заместитель директора департамента строительства и инженерных систем интернет-компании. В них планируется внедрять передовые технологии, выбор которых будет опирается на опыт строительства и эксплуатации предыдущих ЦОДов, говорит он.
По словам Крупина, при строительстве новых площадок «Яндекс» будет ориентироваться на те регионы, в которых по климатическим параметрам сможет построить наиболее эффективную систему охлаждения ЦОДа.
В «Яндексе» рассказывают, что все последние ЦОДы компании построены с использованием тех или иных систем охлаждения с технологиями free cooling, включая и так называемые схемы Full free cooling, подразумевающие охлаждение серверных помещений за счет воздуха с улицы. Общая мощность таких ЦОДов компании превышает 15 МВт. Аналогичные технологии планируется применять и в будущих ЦОДах, куда мигрируют вычислительные ресурсы.
Технология Full free cooling, в частности, сейчас используется в ЦОДе «Яндекса» в подмосковном городе Ивантеевка, построенном в 2011 г., и в новом ЦОДе в Рязанской области, строительство которого завершилось в 2012 году.
В нем в качестве дополнительного охлаждающего оборудования применяется абсорбционно-холодильная машина, которая работает на природном газе. По словам представителей интернет-поисковика, она позволяет повысить эффективность использования энергоресурсов и снизить потребление электричества.
Сергей Крупнин отмечает, что внедрение любых энергосберегающих, инновационных или «зеленых» технологий предполагает высокие капитальные затраты, но позволяет существенно снизить эксплуатационные расходы. Поэтому определяющим фактором становится срок эксплуатации ЦОД. Если это долгосрочный проект (более 10 лет), то энергосберегающие технологии становятся окупаемыми.
Где именно будут располагаться новые площадки и каковы будут их параметры, в компании предпочли не раскрывать, отметив лишь, что по состоянию на март 2013 г. у «Яндекса» насчитывается шесть дата-центров, располагающихся как в России, так и за ее пределами. Часть серверов в своих ЦОДах компания на безвозмездной основе предоставляет Европейскому центру ядерных исследований (ЦЕРН).
Строительство новых площадок является одним из направлений развития ЦОДов «Яндекса», говорит директор департамента строительства и инженерных систем компании.
По словам Сергея Крупнина, другими направлениями по развитию ЦОДов компании является оптимизация существующих решений и применение серверов и инженерных решений нестандартной конфигурации, а также разработка механизмов «обратной связи» между ИТ-оборудованием и системами охлаждения ЦОД.
2012: Строительство дата-центра в Рязанской области
В 2012 году «Яндекс» начал создание ЦОДа в г. Сасово Рязанской области. Проект предполагает строительство в четыре этапа. Полностью завершить его планируется к 2020 году. Общий объем инвестиций в строительство дата-центра составляет 2,7 млрд руб. [7]
2011: Строительство ЦОДа в Ивантеевке
По состоянию на 2011 год у «Яндекса» в России есть пять дата-центров, крупнейший из которых расположен подмосковном городе Ивантеевка. В сентябре 2011 года «Яндекс» сообщил о запуске второй очереди своего дата-центра в подмосковном городе Ивантеевка. Общая площадь двух его очередей составляет 4,5 тыс. кв. м, из которых 2,2 тыс. кв.м. приходится на вторую очередь.
Во второй очереди нового дата-центра используется система охлаждения российской разработки – Full Free Cooling (FFC). Она основана на технологии свободного охлаждения (free cooling), при которой помещение дата-центра охлаждается за счет более прохладного воздуха с улицы.
Разработчиком этой системы является московская компания Ayaks Engineering. Ее представитель Андрей Нестеров заявил CNews, что «Яндекс» стал их первым клиентом, использующим систему FFC в своем дата-центре.
Согласно стандарту TIA-942 температура, которую необходимо выдерживать в серверных помещениях, составляет +22 градуса по Цельсию ± 2 градуса. В том или ином виде технологию free cooling используют во многих российских дата-центрах, однако главной особенностью своей системы в Ayaks Engineering называют температурный порог, при котором задействуется оборудование для охлаждения внешнего воздуха – он составляет +22 градуса. Т.е. система охлаждения включится только после того, как температура воздуха превысит это значение.
В «Яндексе» заявляют, что с использованием системы Ayaks Engineering новому дата-центру требуется в два раза меньше электроэнергии в год для поддержки того же количества серверов. Впрочем, некоторые эксперты считают, что в данном случае это сомнительное преимущество.
Евгений Громов, технический директор «Центра Хранения Данных», владеющего дата-центром SafeData, рассказал CNews, что их компания также рассматривала данную систему: «Ее плюс – в уменьшении затрат на электроснабжение, из минусов – в четыре раза большая цена по сравнению с классическими системами и более дорогое техническое обслуживание. При нынешних ценах на электроэнергию в России в коммерческом ЦОДе такая система не оправданна».
Система FFC представляет собой два разомкнутых отдельных контура, наружный и внутренний. Во внутреннем контуре циркулирует воздух ЦОДа, в наружный контур подается уличный воздух. Основным элементом системы является роторный регенератор, в котором происходит теплообмен между наружным воздухом окружающей среды и воздухом в помещении ЦОДа. Задача роторного регенератора заключается в том, чтобы охладить воздух в дата-центре с +37 до +24 градусов наружным воздухом температурой до +22 градусов.
Из известных в России систем охлаждения схожий с FFC принцип работы на основе роторного теплообменника используется также, к примеру, в системе Kyoto Cooling, разработанной в Голландии.
Начало 2000-х: Первые дата-центры «Яндекса»
До мысли о создании собственных дата-центров Яндексу в тот момент было ещё далеко — индекс русскоязычного интернета целиком умещался на одном SCSI-диске размером 4Гб, а вся команда портала составляла около десяти человек, работавших в компании CompTek. Поэтому серверное оборудование Яндекса в первые три года его работы было размещено в дата-центре компании «МТУ-Интел». К моменту создания ООО «Яндекс» в 2000 году Яндекс арендовал четыре стойки в «МТУ-Интеле», где размещалось около 40 собственных серверов Яндекса.
Эти несколько десятков серверов и стали основой первого самостоятельного дата-центра Яндекса, который расположился в первом офисе компании — в Москве, на улице Вавилова, в вычислительном центре Российской академии наук.