Блог Екатерины Гнездиловой

34 минут потребуется на прочтение (6831 слов)

Рынок серверов и СХД 2019 — передышка перед новым скачком?

В 2019 году рынок серверов и СХД показал довольно слабую динамику роста — как в мире, так и в нашей стране. Возможно, это лишь эпизодическая коррекция восходящего тренда, после которой последует новый виток бурного развития. 

Украинский рынок серверов в целом отражает обще мировую и европейскую динамику. Но как обычно, у нас есть свои особенности. Если во всем мире на рынок в значительной степени влияет появление новых разработок и смена технологических циклов, то в нашей стране одним из самых важных факторов остается спрос со стороны госсектора. Органического роста рынка, вызванного естественными ИТ‑потребностями бизнеса, почти не происходит, хотя это можно списать на то, что коммерческие заказчики собирают деньги для масштабного обновления серверной инфраструктуры в 2020 году. Будем на это надеяться. Хотя в мире тоже все не особенно гладко, но обо всем по порядку.

Украинский срез 

После достаточно удачного 2018 года в 2019‑м украинский рынок серверов продемонстрировал существенное замедление темпов развития. Так, общий объем продаж вычислительных систем всех типов, выраженный в долларах США, вырос примерно на 1% (рис. 1а), составив $53,3 млн, в то время как число реализованных серверов внутри страны тоже изменилось на 1%, но в отрицательную сторону (рис. 1б) — до 7,8 тыс. единиц.

Опрошенные нами эксперты объясняют такую ситуацию несколькими совпавшими факторами. Один из них связан с тем, что, как и ранее, государство остается одним из крупнейших покупателей серверной продукции, но значительная часть потребностей в технике была удовлетворена в 2018‑м. Более того, как сообщили сотрудники интеграторов, знакомые с ситуацией, в заключительном квартале прошлого года, а именно в этот период обычно происходят самые крупные закупки, государственные структуры приостановили или отложили многие проекты. По мнению экспертов, это было связано с попытками Министерства цифровой трансформации разобраться с подозрительны‑ ми тендерами, что, в свою очередь, потребовало времени и привело к отсрочке или отмене некоторых проектов. Насколько успешными оказались подобные действия, сказать сложно, но четвертый квартал прошлого года пока‑ зал результаты ниже ожидаемых, что повлияло на общую рыночную ситуацию. Ожидается, что в нынешнем году отложенные проекты будут реализованы, а также появятся новые запросы, что позволит рынку вернуться к активному росту. Доля госсектора составляет не менее 30% на украинском рынке серверов, а для целого ряда компаний-интеграторов она колеблется в диапазоне 40–80%. Так что влияние на общую ситуацию здесь огромно. Учитывая упомянутый факт о роли госсектора, можно сделать вывод о том, что рост 2018 года на рынке серверов не был органическим — бизнес не развивался так же активно, да и масштабного технического «перевооружения», связанного с тотальным устареванием ИТ‑парка, не отмечалось. Прошлый 2019 год обнажил реальную ситуацию в деловом секторе Украины. Кроме того, все больше компаний переводят свои данные и вы‑ числительные нагрузки в облака, что также оказывает влияние на сегмент. Кстати, в наиболее развитых странах мира именно крупные облачные операторы являются одними из основных покупателей серверов. Поведение таких компаний, как Amazon, Microsoft, Facebook, Google, Alibaba, оказывает существенное влияние на мировой рынок. В Украине же закупки облачных операторов в общем объеме пока не особенно заметны, что также является характеристикой деловой активности внутри страны. Отмечается, что к практике активных закупок серверного оборудования вернулись украинские банки, но пока они также не оказывают решающего влияния на рынок, особенно учитывая, что крупнейшие банки страны — государственные (и, со‑ ответственно, их можно отнести к госсектору). Тем не менее ожидается, что в нынешнем году именно закупки со стороны коммерческих банков смогут заметно по‑ влиять на улучшение ситуации и вернуть рынок к росту.

Основные платформы 

​Теперь немного технических деталей. Из всех серверов, поставленных заказчикам в 2019 году, около 99% систем оснащались процессорами на базе архитектуры х86 — главным образом Intel Xeon (с незначительными вкраплениями изделий AMD). Доля RISC‑архитектур — ARM, POWER, SPARC — была крайне мала. В денежном выражении ситуация похожа — доля х86 составляла около 95% (общий объем продаж — более $50 млн). В этом случае сохранился общемировой тренд, который продолжается уже многие годы — доля CISC (x86) растет, RISC — сокращается. В случае Украины ситуация может быть не так однозначна, поскольку единственный проект поставки мейнфрейма или RISC‑сервера старшего уровня способен в момент перекроить рыночные до‑ ли. В мире же потенциального конкурента архитектуре х86 видят в лице ARM. Подобная ситуация, как ожидается, сохранится и в 2020 году. С той лишь разницей, что AMD, скорее всего, сможет немного потеснить Intel на рынке x86‑процессоров благодаря очень удачным чипам на базе микро архитектуры Zen 2 (EPYC Rome 7002), которые вышли на рынок в 2019‑м. Подавляющую часть украинского рынка занимают одно– и двухпроцессорные серверы, при этом одно процессорных систем продается больше в количественном выражении (рис. 2а), а 2‑процессорные конфигурации доминируют в денежном эквиваленте (рис. 2б). Такая ситуация, в общих чертах, остается неизменной уже много лет подряд. Здесь основное влияние оказывает постоянное повышение производительности новых чипов, развитие виртуализации и облачных технологий. Как следствие, число задач, для которых требуется именно 4‑х, 8‑ми (или бо‑ лее) процессорный сервер, стремительно сокращается. В подавляющем большинстве случаев проще и дешевле организовать кластер из относительно недорогих 2‑процессорных серверов (в т.ч. на блейд-шасси), чем покупать единичную платформу с большим количеством чипов.

Отмечен также спрос на гипер конвергентные платформы. По нашим данным, если в 2018 году на них приходилось менее 3% сегмента, то в 2019‑м уже около 5-6% в денежном эквиваленте.

Кто в лидерах? 

Список основных игроков на украинском серверном рынке не претерпел существенных изменений — это все та же десятка мировых производителей — Dell EMC, HPE, Huawei, Lenovo, IBM, Fujitsu, Cisco, ASUS, Supermicro, Oracle — и несколько местных компаний. Есть также ряд экзотических брендов вроде ETE, Klaster, PowerUp, Proserver, WS‑Shop, Artline, которые пока не оказывают существенного влияния на рынок. Лидерами серверного сегмента 2019 года в Украине, по оценкам «СиБ», полученным в ходе опроса экспертов и анализа доступных источников информации об объемах продаж, являются компании Dell EMC и HPE, причем первая лидирует по количеству поставленных систем (рис. 3а), вторая — по денежному показателю (рис. 3б). Суммарно эти две компании контролируют около 56–57% всего серверного сегмента в нашей стране. Третью позицию занимает Huawei (в лице подразделения Enterprise Business Group), замыкают пятерку лидеров Lenovo и ASUS (отметим, что эта компания впервые появилась на диаграмме в нашем исследовании). Местные производители суммарно продолжают удерживать существенную часть местного рынка — около 15%, как в деньгах, так и в единицах поставленной продукции, что в целом меньше, чем за год до этого. Наиболее популярными среди местных производителей являются платформы Supermicro и Intel.

Сегмент СХД ускоряет рост 

В отличие от рынка серверов, сегмент СХД в нашей стране развивается очень активно — хотя и не так, как в 2018‑м, когда рост составил 55%, но тоже динамично. В 2019 году этот рынок, по нашим данным, подрос на 22% — и достиг $35,4 млн. По прогнозам, в 2020‑м его объем может превысить $40 млн (рис. 4).

Столь стремительное увеличение объемов, намного опережающее по темпам серверный рынок, объясняется лавинообразным ростом данных, генерируемых в стране и мире. Высокая степень виртуализации вычислительных ресурсов ведет к тому, что серверам требуется все больше дискового пространства. Утилизация процессоров повышается — на каждом вычислительном узле можно развернуть десятки и сотни виртуальных машин, каждой из которых требуется место для хранения данных.

​Скорость доступа к информации также играет решающую роль. Все это ведет к росту спроса на более емкие и быстрые СХД. В последние несколько лет заметную долю рынка составляют системы на базе твердотельных накопителей (по нашим оценкам, она составляет около 10% в денежном выражении по итогам 2019 года). Цена на них постоянно сокращается, но они все равно ощутимо дороже систем хранения на магнитных дисках. В первую пятерку лидеров украинского рынка СХД для бизнес-пользователей входят такие производители, как Dell EMC, HPE, NetApp, IBM, Hitachi Vantara.

Мировой рынок в цифрах 

Для мирового серверного рынка прошедший 2019 год стал не самым удачным. После нескольких лет беспрерывного роста здесь был отмечен небольшой спад. На момент подготовки статьи мировые аналитические агентства еще не успели опубликовать данные с результатами четвертого квартала. Но учитывая сумму трех предыдущих (и сделав соответствующую экстраполяцию на основе показателей предыдущих лет) можно сделать вы‑ вод о том, что глобальный рынок сократится на 2,5–3%. Так, если в 2018 году суммарные показатели продаж, по данным IDC, составили $88,3 млрд (или 11,9 млн единиц продукции), то по итогам 2019‑го соответствующие показатели ожидаются на уровне $85,5 млрд и 11,5 млн серверов соответственно. Как отмечают отраслевые эксперты, такая ситуация сложилась из-за того, что крупные заказчики приобрели достаточно вычислительной техники в предыдущие годы и теперь ее осваивают. 

В начале года многие отраслевые аналитики говорили о том, что в 2020‑м ситуация изменится в лучшую сторону. Но это было до начала пандемии COVID‑19, которая уже оказала существенное влияние на глобальные рынки по всем направлениям. Теперь очевидно, что в ИТ‑сегменте намечается серьезный спад, вызванный общим снижением спроса, нарушением цепочек поставок и снижением производственной активности. Пока что рано делать прогнозы, поскольку сценариев развития ситуации несколько, и все они в равной степени непредсказуемы. Если собрать оценки различных аналитических компаний, то можно сделать вывод о том, что в случае благоприятного исхода (если кризис минет быстро), то по итогам 2020 года мировой серверный рынок может даже подрасти на 3–5%, в то время негативный сценарий грозит спадом примерно на ту же величину. 

Оказать поддержку мировому серверному рынку могут крупные американские владельцы дата‑центров (наиболее известными из которых являются Microsoft, Amazon Web Services, Google, Facebook и др.). Ожидается, что спрос на облачные услуги в мире, как минимум не снизится, например, из-за усиления роли удаленной работы, а это значит, что операторы будут закупать новые сер‑ веры и СХД. Если оправдается оптимистический прогноз, то объем мирового рынка по итогам нынешнего года может превысить $90 млрд (или 12 млн единиц продукции), при худшем сценарии объем продаж может сократиться до $82–83 млрд (11,2–11,3 млн серверов). 

Но как отмечают аналитики, даже если будет отмечен спад, он не продлится долго и рынок начнет восстанавливаться опережающими темпами в ближайшие годы. Ожидаемый среднегодовой рост в пределах 6,5% предрекается вплоть до 2024‑го. В пятилетней перспективе основными глобальными факторами, влияющими на развитие серверного рынка, будут технологии, связанные с искусственным интеллектом, машинным обучением, большими данными, интернетом вещей, а также сетями мобильной связи пятого поколения 5G. 

В то же время звучат и вполне обоснованные мнения о том, что спад может затянуться и в ближайшие годы заказчики будут инвестировать не столько в оборудование, сколько в программное обеспечение, которое позволит извлечь больше пользы из уже имеющихся аппаратных ресурсов.

Мировым лидером серверного сегмента в 2019 году была компания Dell EMC, на второй позиции прочно за‑ крепилась HPE, третье место занимает китайский производитель Inspur, четвертое — Lenovo. Замыкающую позицию в пятерке лидеров оспаривают Supermicro и Huawei (окончательная картина будет ясна после по‑ явления отчета по 4 кв. 2019 года).

Отметим также то, что в 2019 году на мировом сервер‑ ном рынке снизилась активность в части слияний и поглощений. Наиболее заметной сделкой здесь стала покупка компанией Nvidia израильского производителя высокоскоростного телекоммуникационного оборудования Mellanox, чьи коммутаторы и сетевые адаптеры InfiniBand и Ethernet широко используются в серверах, дата-центрах и супер компьютерных системах. Договор о поглощении был заключен в марте, а сумма сделки составила $6,9 млрд. Примечательно, что на этот актив метила также компания Intel, но ее предложение — $6 млрд — оказалось менее щедрым (хотя даже эта сум‑ ма на треть превышает стоимость всех акций Mellanox). Также стоит отметить еще одно знаковое приобретение — в сентябре 2019 года HPE завершил покупку легендарной супер компьютерной компании Cray. Сумма сделки составила $1,4 млрд. Других крупных приобретений на серверном рынке в прошлом году не было.

Китайский исход 

​Важным трендом последнего времени на мировом рынке, является стремительный уход серверных производителей из КНР. Так, если в 2017 году почти 90% серверов, проданных в мире, комплектовались системными платами, произведенными на заводах континентального Китая, то уже в 2018‑м таковых было около 50–60%. В 2019‑м тенденция продолжилась. Главные причины такой ситуации кроются в торговом противостоянии между США и Китаем, одним из следствий которого стало 25‑процентное повышение пошлин на импорт серверов из Поднебесной. Чтобы избежать дополни‑ тельных налогов, крупные американские заказчики или производители, активно работающие на рынке США, активно переносят производство в другие регионы — в Тайвань, Филиппины, Вьетнам, Мексику, Южную Корею, Соединенные Штаты и т.д.

Число таких компаний растет, среди них Amazon, Microsoft, Quanta и многие другие. Недавно тренд поддержала и американская Supermicro. Напомним, что в 2018 году разгорелся скандал, связанный с информацией о том, что в оборудовании компании якобы нашли микроскопические шпионские чипы, скрыто установленные на этапе производства китайскими подрядчиками. Сведения об этом появились в уважаемом издании Bloomberg и моментально разошлись в информационном пространстве. Детальное расследование, проведенное по горячим следам, не подтвердило обвинение. Но вся ситуация оказала негативное влияние на имидж компании — история привела к разрыву выгодного сотрудничества с Apple, поставила под вопрос продолжение дальнейших контрактов с Amazon, и вообще, в первом квартале 2019 года стоимость акций производителя снизилась на 10%. В связи с этим Supermicro начала активный процесс поиска поставщиков и производственных мощностей, способных заменить китайских партнеров (об этом сообщило, в частности, отраслевое издание Nikkei Asian Review), и инвестирует в собственное производство в Тайване и США. Одним из предприятий, страдающих в результате торговой войны, стал гигант микроэлектронной индустрии Hon Hai Precision Industry (более известный как Foxconn), который начал ощутимо терять прибыль. Скажем, во втором квартале текущего года она сократилась на 2,5% (до $541 млн), что стало самым низким показателем с 2013 года. Вроде бы немного, но если учесть, что средняя норма прибыли Foxconn на операционном уровне составляет около 1,3%, то снижение выглядит существенным. Обрисовав в общих чертах и некоторых деталях ситуацию на украинском и мировом рынках, перейдем к новостям и событиям конкретных компаний, представленных в нашей стране. Каждая из них показала много интересного в 2019 году. Большинство новых решений доступны на украинском рынке, остальные, возможно, появятся в ближайшей перспективе. Но есть и немало концептуальных разработок, способных повлиять на индустрию в целом.

Fujitsu 

Крупное обновление серверных систем произвела весной 2019 года японская компания Fujitsu. Реновация, как и в случае других мировых производителей, связана с появлением очередного поколения процессоров, памяти и комплексных платформ Intel для серверов. Одной из наиболее интересных моделей в данном случае можно назвать си‑ стему для критически важных бизнес-приложений Fujitsu Primequest 3800E2 (рис. 5). Данная модель высотой 7U может содержать до восьми процессоров Intel Xeon Gold/Platinum (Cascade Lake), что обеспечивает до 224 вы‑ числительных ядер (448 потоков). Объем оперативной памяти в случае использования модулей Optane DC Persistent Memory достигает 36 ТБ (или 24 ТБ в случае DDR4). В рамках сервера Fujitsu удалось реализовать ряд фирменных технологий. Например, систему расширенного разделения ресурсов (extended partitioning, XPAR), предназначенную для ускорения процесса переноса приложений с устаревших систем на новые модели Primequest. Технологии, лежащие в основе XPAR, позволяют выделять под определенные типы нагрузок не целый сервер, а лишь от‑ дельные процессоры внутри системы. При этом речь не о виртуализации, а именно о разделении на физическом уровне. Такой подход позволяет, например, выделить под все устаревшие нагрузки один процессор нового поколения, что не повлияет на производительность других чипов сервера.

Обновления коснулись также модели шасси CX400M4 (для которой были выпущены новые вычислительные узлы серии CX25x0 M5), СМБ‑моделей Primergy TX/RX 1330 M4 и других серий. Чтобы не погрязнуть в деталях, подчеркнем лишь наиболее интересные моменты. Например то, что все большее число моделей серверов Fujitsu поддерживают интегрированные системы непрямого жидкостного охлаждения (СЖО) — если раньше эта опция была доступна только старшим устройствам, то теперь она распространяется и на средний сегмент. Для некоторых шасси теперь доступен вариант с использованием комбинированных типов дисковых подсистем (HDD, SSD), активно внедряется поддержка новейших накопителей типа M.2. Появились варианты серверов с поддержкой питания от сетей 48 В и 380 В. Еще одной интересной опцией стало появление мини-ИБП, которые могут устанавливаться вместо резервного блока питания и помогают обеспечивать дополнительную отказоустойчивость сервера — времени автономной работы должно хватить для корректного завершения работы приложений и сохранения данных. В конце прошлого года были также выпущены новые серверы Primergy RX2530 M4p, отличительной особенностью которых является наличие виртуального коммутатора 5G.

Но серверами стандартной архитектуры достижения Fujitsu не ограничиваются. Традиционно компания известна разработками в наукоемких областях и в сфере суперкомпьютерных вычислений. В 2019 году анонсировано несколько мощных HPC‑систем для различных заказчиков, таких, например, как Токийский Университет или Национальный университет Австралии. Самая интересная новость касается перспективного суперкомпьютера Fujitsu Post-K — наконец компания приступила к его производству. Напомним, данный проект разрабатывается с 2014 года совместно с Японским Институтом физико-химических исследований (RIKEN), его результатом должна стать вычислительная система с пиковой производительностью в 1 Эксафлопс (т.е. в пять раз больше, чем нынешний лидер рейтинга ТОР‑500). В основе платформы Post-K — специальные ARM‑процессоры A64F, разработанные Fujitsu. Каждый чип может содержать 50–52 ядра (48 вычислительных и 2–4 вспомогательных — для работы с периферией). Один A64F может работать с оперативной памятью общим объемом 32 Гбайт. Внешний интерфейс представлен фирменной шиной Tofu с пропускной способностью 28 Гбит/с. При этом каждая стойка суперкомпьютера будет содержать 384 однопроцессорных узла. Завершить проект планируется в 2021–2022 годах, но до этого компактные версии вычислительных систем на архитектуре Post-K будут доступны для коммерческого заказа — уже с нынешнего года. 

Однако самые интересные новости связаны с квантовыми системами. Так, в апреле 2019 года Fujitsu по‑ казала уже второе поколение «не-фон-неймановского» компьютера Digital Annealer, в котором использованы наработки в области квантовых вычислений. Основой системы являются специальные процессоры Digital Annealing Unit (DAU), использующие особую фирменную архитектуру. Это не совсем квантовый компьютер в классическом понимании — здесь нет никаких кубитов, да и чипы полупроводниковые. Но, как отмечается, системы подходят для выполнения целого спектра операций, свойственных квантовым процессам. Чипы DAU (рис. 6) имеют разрядность 8192 бита, при этом все биты связаны по принципу «каждый с каждым», что выводит возможности вычислений на совершенно новый уровень.

Собственно «квантовым» здесь является метод, по которому работает Digital Annealing, он позволяет находить глобальные минимумы среди всех других минимумов. При этом данные обрабатываются параллельно, без перемещения из памяти в процессор и обратно. Практическим аспектом применения системы является то, что с помощью DAU можно почти мгновенно решать задачи оптимизации маршрута с множеством точек, которые необходимо посетить (таковые характерны, на‑ пример, для сферы роботизированного производства). Также подобный подход позволяет оптимизировать портфели акций с минимальным риском размещения инвестиций, осуществлять эффективный поиск молекулярного подобия при разработке лекарств и т.д. Областей применения Digital Annealing существует множество, но главное, система уже является коммерчески доступ‑ ной — как в форме локального решения, так и в виде облачного сервиса.

Dell EMC 

В 2019 году компания Dell EMC активно работала по всем основным серверным направлениям, представив новые решения как для крупных корпораций, так и для сектора СМБ. Так, в конце прошлого года Dell EMC анонсировала новую автономную конвергентную платформу PowerOne (рис. 7), которая объединила в единый комплекс серверы PowerEdge, сетевые решения PowerSwitch, системы хранения данных PowerMax и средства защиты информации PowerProtect. Одним из преимуществ данной платформы является высокая степень автоматизации базовых процессов администрирования, что, по мнению разработчиков, должно избавить ИТ‑персонал заказчика от 98% рутинной работы и позволить сотрудникам сконцентрироваться на задачах более высокого порядка.

В качестве основы система использует блейд-шасси Dell MX7000, которое может содержать до 10 вычисли‑ тельных узлов. Базовыми моделями серверов являются 2‑процессорные PowerEdge MX740c и 4‑процессорные MX840c. При этом комплекс масштабируется в очень широких пределах и в максимальной конфигурации может включать в себя до 24 шасси и, соответственно, до 240 серверов. Для управления кластером предусмотрен пакет фирменного ПО PowerOne Navigator. Кроме того, в основе контроллера Dell EMC PowerOne лежит архитектура микросервисов Kubernetes, а платформа в целом имеет единый API, позволяющий существенно ускорить и упростить процесс запуска кластера в работу. Не обойден вниманием и сегмент небольших решений, в частности, компания представила компактный 1‑процессорный сервер PowerEdge T40 Tower с новым чипом Intel Xeon E‑2200 (в этом отношении став первой на рынке). Система поддерживает до 64 ГБ оперативной памяти, три 3,5" жестких диска, шину PCIe Gen3, сетевой интерфейс GbE.

Из наиболее интересных новинок в среднем сегменте стоит упомянуть новую серию серверов PowerEdge на базе процессоров AMD EPYC второго поколения (EPYC Rome 7002), которая появилась в сентябре 2019 года. В частности, речь идет о моделях R6515, R7515 (1U и 2U соответственно) с одним чипом и 2‑процессорных системах PowerEdge R6525, R7525. Также была представлена высоко плотная платформа C6525, вмещающая в форм-факторе 2U до четырех вычислительных узлов, по два чипа в каждом (т.е. всего 8 процессоров, 512 ядер, 1024 потока). Кроме того, в конце года стало известно о том, что Dell EMC построит мощнейший промышленный суперкомпьютер в мире для итальянской нефтегазовой компании Eni. Речь идет о системе HPC5 с ожидаемой пиковой производительностью на уровне 52 Петафлопс. В составе решения будет использовано 1820 высокопроизводительных узлов Dell EMC PowerEdge C4140, каждый из которых вмещает по два 24‑ядерных чипа Intel Xeon Gold 6252 и по четыре графических ускорителя Nvidia V100. Для объединения узлов в кластер применят сетевую технологию InfiniBand HDR 200 Гбит/с на базе решений Mellanox, объем СХД составит 15 ПБ. Напомним, что на сегодняшний день самым мощным промышленным суперкомпьютером на Земле является система Pangea III, принадлежащая компании Total (31,7 Пфлопс), заявленные 52 Пфлопс для HPC5 позволят решению Dell EMC выйти на первое место.

DELL Power One

Hewlett Packard Enterprise 

​Наиболее интересные события в деятельности HPE от‑ мечены в сфере высокопроизводительных вычислений. Чего стоит хотя бы приобретение одного из мировых лидеров суперкомпьютерной отрасли — компании Cray. Сделка была завершена в сентябре 2019‑го и обошлась в $1,4 млрд. Напомним также, что в 2016‑м HPE при‑ обрела другую легендарную суперкомпьютерную компанию — SGI за $275 млн. Все эти действия позволяют укрепить и без того прочные позиции HPE в соответствующем рыночном сегменте. В конце прошлого года, на‑ пример, был показан целый пул новых высокопроизводительных систем, в числе которых — Apollo 70, Apollo 6500 HPE Cray Shasta и ClusterStor. Но это решения, скорее, штучные. Хотя и в сфере массовых систем компания также делает немало усилий по развитию предложений. Скажем, в августе прошлого года было объявлено о том, что серверы HPE ProLiant DL380 десятого поколения будут поддерживать специализированные ускорители Intel PAC D5005 на основе технологии FPGA. Кроме того, стало известно, что компания приступила к разработке СХД повышенной производительности Apeiron ADS1000. Особенностью будущей системы хранения станет возможность применения новых твердотельных накопителей Intel Optane. Система, выполненная в форм-факторе 2U, будет вмещать до 24 NVMe-накопителей 2,5". По неофициальным данным, проектная пропускная способность модели будет достигать 96 Гбайт/с, а максимальная производительность составит свыше 20 млн IOPS. Также сообщается, что Apeiron ADS1000 будет обладать высокой масштабируемостью, что позволит работать с десятками тысяч накопителей в рамках общей системы хранения.

Кроме того, в 2019 году Hewlett Packard Enterprise представила новую высокопроизводительную конвергентную систему для телеком-сектора Edgeline EL8000 (рис. 8). Платформа оптимизирована для обработки больших массивов данных на границе сети (т.н. edge comput‑ ing) и предназначена для задач, связанных с потоковым видео, интернетом вещей, видеоаналитикой и т.д. В основе решения — процессоры Intel Xeon и ускорители вычислений Nvidia Tesla, а объем внутренней СХД может достигать16 ТБ. Особенностью решения является повышенная устойчивость к механическим воздействиям и условиям окружающей среды. Например, заявлена возможность работы в температурном диапазоне от нуля до +55 °C. Как ожидается, Edgeline EL8000 найдет применение в составе сетей мобильной связи пятого поколения — по этому во‑ просу HPE уже сотрудничает с компаниями Samsung и Tech Mahindra. 


Не обошлось и без обновлений для стандартных серверов — в конце года компания показала новое поколение ProLiant Gen10 Plus на базе процессоров AMD EPYC второго поколения. Особенно интересна стоечная модель DL385 в форм-факторе 2U. Система допускает установку любых типов накопителей 2,5" и 3,5" — SATA, SAS, NVMe в произвольных комбинациях. При этом «дисков» последнего типа может быть установлено до 32 единиц, что в целом, учитывая наличие на рынке накопителей емкостью 15,36 ТБ, дает почти 0,5 ТБ объема быстро‑ го SSD‑хранилища на 2U‑систему. Сервер поддерживает шину PCIe 4.0 и установку до трех полноразмерных ускорителей вычислений Nvidia Tesla V100.

Отдельного внимания заслуживают космические инициативы HPE. Еще в 2017 году компания разработала специальный суперкомпьютер Spaceborne (рис. 9), который был доставлен на МКС космическим кораблем SpaceX Dragon. Система производительностью 1 терафлопс представляет собой кластер под управлением ОС Linux, состоящий из двух серверов HPE Apollo 40 (на базе чипов Intel Xeon и ускорителей Nvidia Tesla P100), объединенных сетью Infiniband. На компьютер не возлагалось научных задач — глав‑ ной целью эксперимента была проверка возможности нормальной работы вычислительных систем на базе стандартных компонент в условиях космоса. На Земле остался точно такой же кластер, обе системы выполняли одинаковую программу тестов, после возвращения Apollo 40 из космоса показатели планировалось сравнить. И вот в июне 2019 года суперкомпьютер, также с помощью SpaceX Dragon, вернулся на Землю, проведя на орбите 615 суток. Полученные результаты тестов изучаются и анализируются. Отмечено, что в работе системы был зафиксирован ряд аномалий и сбоев — внезапных скачков температуры, неожиданных ошибок в кэш-памяти чипов и т.д. Но главное, идея доказала свою работоспособность.

В целом это можно считать успехом — кластеры на стандартных компонентах могут успешно работать в космосе. И уже есть первые желающие превратить это в фактор коммерческого преимущества. В конце 2019 года компания OrbitsEdge сообщила о начале сотрудничества с HPE целью которого является разработка нового типа устройств — «космических микро-ЦОД». Их главной задачей будет обработка данных от системы спутников прямо на орбите — чтобы максимально разгрузить каналы связи с Землей, пропускная способность которых крайне ограничена. Будущий орбитальный комплекс SatFrame 445 будет представлять собой 5U платформу HPC Edgeline, о которой мы говорили выше, но защищенную от воздействия космических факторов (технологии для этого были отработаны в ходе миссии Spaceborn). Питание сервера будет осуществляться от аккумуляторов, заряжать которые планируется с помощью солнечных батарей. Но и это еще не все. В прошлом году компания также приобщилась к Artemis — новой лунной программе NASA. В рамках сотрудничества HPE создаст для космического агентства специальный суперкомпьютер, на котором планируется проводить моделирование процесса посадки лунного модуля на поверхность нашего естественного спутника. Систему под названием Atken построят на базе высокопроизводительной платформы HPE SGI 8600 с жидкостным охлаждением. Она будет состоять из 1150 вычислительных узлов, а ее производительность достигнет почти 3,7 Пфлопс.

Lenovo 

​Компания Lenovo представила две новые серверные плат‑ формы — ThinkSystem SR635 и ThinkSystem SR655 с процессорами нового поколения AMD Rome серии 7002 на базе микроархитектуры Zen 2. Первая модель выполнена в форм-факторе 1U, вторая — 2U. Сервер SR635 поддерживает установку до трех одинарных графических ускорителей и до 32 SSD‑накопителей формата NVMe, в свою очередь SR655 может содержать вдвое больше ускорителей, но лишь до 16 твердотельных дисков. Также в 2019 году был представлен т.н. edge-сервер ThinkSystem SE350 (рис. 10), предназначенный для периферийных (edge) вычислений. Данный класс систем разработан в первую очередь для обработки данных от большого количества IoT‑устройств на границе сети (что‑ бы максимально разгрузить ее центральные узлы). Как ожидается, спрос на edge-серверы будет расти по мере развития сетей 5G. Модель ThinkSystem SE350 представляет собой компактную систему в форм-факторе 1U, содержащую один процессор Intel Xeon D‑2100 (до 16‑ядер), до 256 Гбайт оперативной памяти и до двенадцати SSD‑накопителей NVMe формата M.2 (два в типоразмере 2280 и десять 22110). Сюда также можно установить низкопрофильный графический ускоритель NVIDIA T4 или другую модель на базе FPGA/ASIC/ GPU. Доступен широкий набор сетевых интерфейсов — 1/10GbE, Wi-Fi, Bluetooth, 3G/4G (в перспективе — 5G). Питается сервер от внешнего источника постоянного тока напряжением 48 В. Из глобальных новостей стоит отметить партнерское соглашение с Intel, о котором было объявлено летом 2019 года. В рамках договора компании согласились сотрудничать в сфере технологий для дата-центров, особенно в сфере искусственного интеллекта и высокопроизводительных вычислений. По условиям до‑ говора облачные сервисы Lenovo будут адаптированы к работе с решениями Intel, в числе которых вычислительная архитектура Intel Xe, память типа Optane, платформа oneAPI и процессоры Xeon Scalable 2‑го поколения с поддержкой фирменной технологии Deep Learning Boost.

Huawei 

​Прошедший год для компании Huawei ознаменовался не только появлением новых продуктов, но и основательным противостоянием с правительством Соединенных Штатов. Хотя трения начались гораздо раньше, в 2019‑м производитель в полной мере ощутил на себе всю мощь американских санкций, хотя и в этой сложной ситуации компания показала себя очень неудобным соперником. В общем, точка в споре еще не поставлена, а о деталях читайте во врезке «США против Huawei — борьба и последствия». Здесь же мы коротко пробежимся по наиболее интересным решениям компании, пред‑ ставленным в сегменте серверов и СХД. Одним из самых важных анонсов стал выпуск в середине сентября новой серии all-flash систем хранения данных OceanStor Dorado V6 (рис. 11).

​Семейство объединяет пять моделей, отличающихся уровнем производительности и возможностями. В основе каждой из них — целый ряд фирменных технологий и разработок Huawei, в числе которых контроллеры Hi1812E, ARM‑процессоры Kunpeng 920, твердотельные накопители собственного производства в форм-факторе SAS 3.0 или NVMe, ускорители вычислений Ascend 310 для задач, связанных с искусственным интеллектом, и многое другое. Иными словами, здесь вообще не использованы компоненты, произведенные американскими компаниями. Самая младшая модель может масштабироваться до 1200 накопителей общим объемом до 36,8 ПБ. Старшая система — Dorado V6 18000 — способна поддерживать до 6400 дисков (что эквивалентно почти 200 ПБ данных). В числе доступных внешних сетевых интерфейсов — 8/16/32 FC/FC‑NVMe и 10/25/40/100 GbE. Как заявляют в компании, производительность систем данной серии может достигать 20 млн IOPS. Если это действительно так, то данные СХД можно назвать самыми производительными в мире серийными устройствами своего класса (во всяком случае, по состоянию на 2019 год). Вместе с тем отмечается и крайне низкая задержка для операций чтения — 0,1 мс. Цена моделей на официальной презентации не была объявлена, но отраслевой ресурс Blocks & Files, основываясь на стоимости предыдущих серий СХД Huawei, например, Dorado V3 или V5, делает вывод о том, что старшие модели V6 могут стоить около $2,5 млн. Из интересных новостей также можно отметить то, что в конце года Huawei заявила о готовности первой очереди суперкомпьютера Peng Cheng Cloud Brain II, ориентированного на задачи, связанные с ИИ. Проектная вычислительная мощность всей системы в будущем должна составить 1 Терафлопс, ее планируется использовать для исследований в области искусственного интеллекта, машинного зрения, управления беспилотными автомобилями и т.д. В основе комплекса — кластеры Huawei Atlas 900 AI, которые, в свою очередь, используют упомянутые процессоры Kunpeng и ускорители Ascend 910.

IBM 

​Компания IBM развивает свой бизнес по многим на‑ правлениям, существенные успехи в последние годы были достигнуты в таких сферах, как искусственный интеллект, работа с большими данными, квантовые вычисления и т.д. Но в то же время активно развивается и направление мощных корпоративных серверов и СХД. В сентябре 2019 года IBM представила очередную модель мейнфрейма под названием z15 (рис. 12), которая ориентирована на обработку критически важных задач в гибридной облачной среде и к тому же обеспечивает повышенную кибербезопасность благодаря сквозному шифрованию, вдобавок к традиционной надежности и отказоустойчивости, характерной для систем такого класса. Мейнфрейм обладает высочайшей производительностью и, по данным IBM, рассчитан на выполнение до 1 трлн безопасных транзакций в день. Также указано, что в одной системе может быть запущено 2,4 млн Linux-контейнеров. Модель z15 использует су‑ перскалярные процессоры IBM, изготовленные по 14‑нм техпроцессу FinFET. Каждое ядро содержит 256 Кбайт кэш-памяти первого уровня (по 128 Кбайт для данных и для инструкций), 6 Мбайт L2, а также 256 Мбайт об‑ щей памяти eDRAM на процессорный модуль (Single Compute Module, SCM), содержащий до 12 ядер. Кроме того, есть и четвертый уровень — каждый вычислительный узел содержит четыре SCM, для которых выделено еще 960 Мбайт общей кэш-памяти eDRAM. Всего же мейнфрейм может включать в себя до 190 ядер и до 40 ТБ высокоскоростной оперативной памяти — на четверть больше, чем предыдущая модель. Отмечается, что скорость сквозного шифрования данных у z15 вдвое выше, чем у предыдущей модели z14. При всех этих преимуществах z15 получился еще и достаточно компактным за счет того, что для размещения комплекса теперь используются стандартные 19"-стойки (от 1 до 4) вместо форм-фактора 24", который был выбран для z14. Одним из ключевых нововведений z15 стала технология Data Privacy Passports, обеспечивающая шифрование и защиту информации при отправке ее в общедоступное облако или стороннюю организацию. При этом криптоключи имеются только у отправителя данных, и их можно отслеживать. Примечательно, что в процессе раз‑ работки новой модели мейнфрейма IBM подала около 3 тыс. патентных заявок, а на данном этапе подразделение IBM Research уже продумывает дизайн будущих моделей z16 и z17, анализируя отзывы и предложения клиентов. Отметим также, что стоимость z15 находится в диапазоне от $250 тыс. за минимальную версию до $5 млн за максимальный комплект.

​Вместе с мейнфреймом компания показала также новую мощную серию all-flash СХД DS8900F (рис. 13). Модель использует процессоры IBM POWER9 и может вместить почти 6 Пбайт данных. Для внешнего обмена данными используется интерфейс Fibre Channel 16 или 32 Гбит/с. Сообщается, что задержка при об‑ ращении к СХД составляет 18 мс при использовании фирменной технологии zHyperLink, тогда как без нее этот показатель достигает 90 мс. B СХД реализованы технологии обеспечения повышенной кибербезопасности, например, IBM Safeguarded Copy, которая обеспечивает создание скрытых от основной системы копий данных, предназначенных для их восстановления в случае случайного удаления, вирусных атак и т.д. Также система хранения поддерживает подключение к различным облачным сервисам для резервного копирования.

Но если одни продукты приходят на рынок, другие его покидают. Так, летом прошлого года IBM свернула весь бизнес, связанный с разработкой программно-аппаратных комплексов для хранения и анализа данных Netezza. Этот бренд официально покинул рынок 30 июня 2019 го‑ да. Особенностью решений было применение программируемых вентильных матриц (FPGA) в вычислительных узлах, обеспечивающих сжатие и фильтрацию данных и тем самым позволяющих снизить издержки на хранение и операции ввода-вывода. По мнению экспертов, причиной сворачивания проекта стал низкий спрос на данный тип дорогих и очень специализированных решений, а также неспособность компании адаптировать их для работы в облачных средах. Напомним, что решения Netezza появились в портфолио IBM в 2010 го‑ ду в результате приобретения одноименной компании за $1,7 млрд. Еще одним важным событием 2019 года — не только для IBM, но и для всей серверной отрасли — стало решение компании о переводе набора команд (ISA) POWER в статус открытых, а соответственно, и бесплатных, решений. С 2013 года IBM передала права на архитектуру консорциуму OpenPOWER, но для ее использования требовалось платное лицензирование. Теперь же все наработки и патенты будут переданы сообществу безвозмездно. В завершение раздела стоит сказать несколько слов о квантовых компьютерах, которые компания активно разрабатывает последнее время. Осенью прошлого года стало известно о том, что IBM и Немецкое науч‑ но-исследовательское Общество имени Фраунгофера (Fraunhofer Gesellschaft) заключили соглашение о сотрудничестве, в рамках которого коммерческий образец квантового компьютера IBM Q System One будет установлен в одном из центров разработки IBM на территории Германии, а немецкие ученые получат доступ к нему. При этом правительство ФРГ вложит в проект 650 млн евро в течение ближайших двух лет. С помощью квантовых вычислений, как ожидается, можно будет разобраться в сложных молекулярных и химических взаимодействиях, решить сложнейшие проблемы оптимизации и значительно повысить эффективность искусственного интеллекта. С другой стороны, IBM сообщает о потенциальных угрозах со стороны квантовых вычислительных систем и призывает готовиться к их отражению уже сегодня. По прогнозам специалистов, подобные системы в перспективе 10–30 лет смогут легко взламывать любые известные сегодня методы шифрования. В контексте такой перспективы IBM разработала специальную прошивку для своих ленточных накопителей TS1160, которая, кроме традиционного кодирования с помощью алгоритма AES‑256, содержит также два «квантовых» алгоритма шифрования — Khyber и Dilithium. Как утверждают в IBM, ленточные накопители успешно про‑ тестированы на противостояние угрозам взлома со стороны квантовых вычислителей и будут доступны уже в нынешнем году.

ASUS, NetApp и другие

​Заключительный раздел материала посвятим новым решениям сразу нескольких производителей, чья продукция представлена и успешно продается на украинском серверном рынке. Компания ASUS в августе прошлого года представила целый спектр серверов и материнских плат, предназначенных для работы с новыми процессорами AMD EPYC Rome 7002. В их числе 2U‑сервер RS720A‑E9‑RS24‑E, в котором имеется 24 отсека для установки жестких дисков SATA/ SAS, также сюда можно подключить два твердотельных накопителя в форм-факторе M.2. Кроме того, была показана серверная платформа RS500A‑E10‑RS12‑U, допускающая установку одного чипа, 16 модулей оперативной памяти и 12 SSD‑накопителей формата NVMe (рис. 14). Последняя модель, оснащенная флагманским 64‑ядерным чипом AMD EPYC 7742, стала, по данным ASUS, обладателем серии мировых рекордов производительности для решений своего класса в тестах SPEC (Standard Performance Evaluation Corporation): SPECfp 2017, SPECfp 2017 rate, SPECint 2017 и SPECint 2017. Мировой производитель систем хранения данных Hitachi Vantara представил в октябре новую плат‑ форму хранения VSP5000, которая вполне может стать одной из самых производительных в мире СХД корпоративного класса. 

​Пока в семействе две модели — VSP 5100 и 5500, каждая из которых может комплектоваться как сугубо flash-накопителями, так и работать с дисками смешанного состава (HDD + SSD). Заявленная производительность составляет 4,2 млн операций ввода/вывода в секунду (IOPS) для модели VSP5100 и 21 млн IOPS в случае VSP5500. Максимальный объем работы с данными составляет для каждой из двух указанных моделей 23 и 69 Пбайт соответственно. Кроме того, заявленная надежность для систем VSP5000 составляет 99,9999%. 

Компания NetApp — один из лидеров как мирового, так и украинского рынка СХД — в 2019 году анонсировала ряд новых решений. Так, в октябре были показаны гибридные системы FAS8300 (рис. 15) и 8700, а также all-flash модель AFF А400. Во всех трех случаях контроллеры СХД выполнены в форм-факторе 4U и поддержи‑ вают широкий перечень полок расширения дискового пространства. В основе всех решений — процессоры Intel Xeon Scalable второго поколения. В базовом варианте поддерживаются внешние интерфейсы 25 GbE и FC 16 Гбит/с (опционально доступны порты 100 GbE и FC 32 Гбит/с). Системы находятся под управлением фирменного ПО ONTAP 9.7 RC1. Максимальный поддерживаемый объем дискового пространства для старшей модели NetApp FAS8700 составляет 14,7 Пбайт на один массив или 176 Пбайт на кластер из 24 узлов (1440 накопителей). У FAS8300 показатели вдвое «скромнее», но тоже впечатляют — 7,3/88 Пбайт и 720 дисков со‑ ответственно. Кроме систем верхнего уровня NetApp показала также несколько моделей классом пониже, в частности гибридную СХД SGF6024. Массив состоит из 1U‑контроллера и полки расширения, вмещающей 24 диска форма‑ та 2,5". Максимальная емкость достигает более чем 180 Тбайт, производительность заявлена на уровне 1 млн IOPS, а задержка не превышает 0,3 мс. В октябре была выпущена новая all-flash СХД начального уровня C190, с 24 дисковыми отсеками, суммарной емкостью до 23 Тбайт в двух юнитах. Модель может оснащать‑ ся сетевыми интерфейсами 10 GbE или FC 16 Гбит/с, а в базовый комплект поставки входит полный набор фирменного ПО ONTAP 9.6.

​В числе интересных решений NetApp стоит упомянуть также компактную высокопроизводительную СХД EF600, которая, благодаря использованию SSD‑накопителей типа NVMe и применению ряда фирменных технологий способна, как сообщается, обеспечить производи‑ тельность на уровне 2 млн IOPS, время отклика 0,1 мс и пропускную способность в 44 Гбит/с, занимая при этом всего 2U стоечного пространства. Суммарная емкость 24 накопителей, которые могут быть установлены в эту систему хранения, достигает 360 Тбайт. Компания Synology представила в апреле прошлого го‑ да компактную стоечную сетевую систему хранения типа NAS, ориентированную на сегмент небольших корпоративных заказчиков. Модель RackStation RS819 (рис. 16) в форм-факторе 1U, имеет четыре отсека для магнитных дисков 2,5" или 3,5" с интерфейсом SATA 3.0, что при использовании накопителей максимального объема обеспечивает 56 Тбайт общей емкости (либо вдвое больше при подключении одноюнитового модуля расширения Synology RX418). Также стоечную СХД для корпоративного рынка пока‑ зала компания QNAP. Модель TDS‑16489U R2 име‑ ет высоту 3U и вмещает до двадцати накопителей — шестнадцать 3,5" и 4 в форм-факторе 2,5", причем поддерживаются как магнитные, так и SSD‑диски с интерфейсом SATA/SAS. 


​Объем внутренней оперативной памяти может достигать 1 Тбайт. Прошлый 2019 год стал очередным периодом мощного технологического развития для глобального сегмента серверов и СХД. Хотя в целом рынок показал некоторый спад, но полученные наработки способны привести к ощутимой смене парадигмы в ближайшем будущем, а значит — повлиять на динамику рынка. Традиционные серверные технологии с классическими процессорами и магнитным дисками постепенно отходят в прошлое, уступая место системам, оснащенным ускорителями вычислений, твердотельными накопителями, высокоскоростными сетевыми интерфейсами 100 GbE. Технологии, которые были доступны прежде только суперкомпьютерам, перемещаются в корпоративный сегмент. И как раз вовремя, поскольку новые задачи — машинное об‑ учение, искусственный интеллект, аналитика на основе больших данных, интернет вещей — требуют радикального роста вычислительных мощностей, увеличения объема и скорости работы систем хранения данных, сверхбыстрого обмена информацией. Все это доступно сегодня, но уже очевидно, что это лишь начало и еще многое предстоит сделать. Похоже, мы стоим на по‑ роге очередного технологического скачка, за которым последует и стремительный рост рынка.

Системы Жидкостного (Погружного) Охлаждения

​Одним из характерных явлений, связанных с общемировым ростом рынка облачных вычислений, можно назвать тенденцию к уплотнению ИТ‑оборудования, особенно серверов, в стойках да‑ та-центров. В экстремальных случаях это приводит к резкому росту тепловыделения — до десятков киловатт на шкаф, с которым традиционные системы охлаждения, как правило, уже не могут эффективно справляться (чисто технически это возможно, но стоимость и сложность дополнительных решений может перевесить полученную выгоду). Такая ситуация приводит к заметному росту популярности различных решений на основе прямого (иммерсионного, погружного) и непрямого жидкостного охлаждения. Первый тип наиболее эффективен и позволяет отвести от стандартной стойки до 100 кВт тепла и даже больше. Но такой метод остается дорогостоящим и трудным в реализации. Непрямое жидкостное охлаждение (СЖО) тоже недешево, но за последние несколько лет на рынке появилось немало типовых решений по достаточно приемлемой цене, что в целом способствует развитию сегмента. Например, один из лидеров данного направления компания CoolIT сообщила о стремительном увеличении спроса на свои решения — в 2019‑м число заказов выросло на 400% по сравнению с тем, что было годом ранее. Компания оказалась не готова к такому успеху — ее наличные производственные мощности бы‑ ли не в состоянии производить такое количество систем, поэтому ей пришлось прибегнуть к помощи внешнего инвестора, в ро‑ ли которого выступил венчурный фонд Vistara Capital Partners, он и предоставил необходимый для развития дополнительный капитал. Сфера иммерсионного охлаждения тоже активно развивается. 

Известный поставщик подобных решений компания GRC (Green Revolution Cooling) продолжает обзаводиться новыми партнерами. Так, в сентябре 2019 года был подписан договор с HPE, в рамках которого предполагается, что некоторые модели серверов производителя будут интегрироваться с погружной системой охлаждения GRC ICEraQ, которая позволяет отводить до 2 кВт тепла в расчете на юнит. Примечательной особенностью данной разработки является возможность ее установки в обычном зале дата-центра. Напомним, что ранее договор о сотрудничестве с GRC заключил еще один мировой производитель серверов — Supermicro.

Игорь КИРИЛЛОВ, СиБ

Авторские права

© Журнал «Сети и бизнес»

Обзор рынка шкафов 2019 года
 

Комментарии

Нет созданных комментариев. Будь первым кто оставит комментарий.
Уже зарегистрированны? Войти на сайт
Гость
30.07.2021
Если вы хотите зарегистрироваться, пожалуйста заполните формы: Укажите ваше имя и Login пользователя.

Изображение капчи

Оборудование
 Очередной обзор: Украинский рынок, свинцово кислотные, не обслуживаемые промышленные аккумуляторные батареи.​«СиБ» опросил участников рынка АКБ, чтобы оценить его примерный объем, распределение ...
Просмотров: 13267
IT Новости Обзоры
Технологии Интернета вещей — это уже не просто абстракция, доступная жителям ведущих мировых стран: проекты IoT, несмотря на всю неопределенность в области стандартов и по...
Просмотров: 12449
Оборудование
Рынок шкафов продолжает демонстрировать рост продаж по различным товарным группам, особенно по открытым стойкам, всепогодным системам и навесным изделиям.​ Украинский рынок шкафов п...
Просмотров: 12267
Оборудование
Статья опубликована в журнале: «СЕТИ И БИЗНЕС» №6 (55) 2010 Распределение, учет и мониторинг электрической энергии, подаваемой на активное оборудование ЦОД, выполняют блоки распределения пит...
Просмотров: 13242
IT Новости Обзоры
В нашей стране рынок коммерческих датацентров уже несколько лет переживает определенную стагнацию — рост хотя и есть, но небольшой, что идет вразрез с общемировыми тенденциями. Так было в 2019-м, и в ...
Просмотров: 13184
Как это работает
Раньше думали: будет радио — будет и счастье. Вот радио есть, а счастья — нет  Илья Ильф  Несмотря на то что сегмент «Интернета вещей» сейчас переживает период активного роста, п...
Просмотров: 13222