Этап создания структурированной кабельной системы СКС ЛВС, SAN и телефонии

Наш проектный отдела разработал РД рабочую документацию ЛВС и СКС.

проект СКС и ЛВС

Создание структурированной кабельной системы (СКС) для ЛВС, SAN и телефонии

Общие сведения СКС

Настоящие технические требования (ТТ) определяют основные технические характеристики СКС банка. Целью работы является создание СКС для ЛВС, SAN и телефонии.

Характеристика объекта.

Объект представляет собой здание промышленного назначения, построенное по разработанному проекту в конце 1960-х годов. Общая площадь помещений – 1333 м2. Площадь типового помещения – 333 м2. В здании шесть надземных этажей, подвала нет. В поэтажном плане здание имеет прямоугольную форму. Длина здания – 100 м, ширина 30 м, высота – 30 м. Высота от уровня пола до уровня перекрытия следующего этажа 1 этажа – 4 м, 2 этажа- 4м, 3 этажа – 4м, 4 этажа – 4м.

На втором, третьем и четвертом этажах здания находится по 1 машинному зала. В каждом машзале в секциях между колоннами предполагается размещение по 150 стоек с серверным или коммуникационным оборудованием. На третьем этаже здания выделены два помещения для размещения главных распределительных зон ЛВС ЦОД. На первом этаже здания расположены две комнаты ввода для размещения внешних сетевых интерфейсов.

В ЦОД предполагается использование потолочных кабелепроводов. Монтаж кабелепроводов осуществляется силами Генерального подрядчика. Исполнитель работ по СКС (далее, Подрядчик) должен предоставить полный комплект исполнительной документации и комплектующих элементов для выполнения монтажных работ. По согласованию сторон допускается проведение работ по монтажу крепежных потолочных элементов силами Генерального подрядчика с выполнением работ по монтажу собственно кабелепроводов силами Подрядчика. При проектировании СКС необходимо учесть возможность постепенного заполнения машинных залов по отдельным областям и наличие нескольких типоразмеров шкафов.

Сокращения, применяемые в настоящем ТТ

EDA это Equipment distribution area
SAN это Storage area network
LAN это Local area network
MDA это Main distribution area
АСО это Активное сетевое оборудование
ЛВС это Локальная вычислительная сеть
СКС это Структурированная кабельная система
СПД это Сеть передачи данных
СХД это Сеть хранения данных
УГС это Узел глобальной сети
ЦОД это Центр обработки данных

Требования к СКС

Общие требования

Вариант логической схемы СКС ЛВС и SAN приведен на рис. 1.

Общая структура СКС ЦОД подразделяется на следующие подсистемы:

оптическая кабельная подсистема SAN (Storage Area Network) – инфраструктура сети хранения данных (далее СХД);
оптическая кабельная подсистема LAN (Local Area Network) – инфраструктура локальной сети передачи данных (далее СПД);
медная кабельная подсистема LAN (Local Area Network) – инфраструктура локальной сети передачи данных (далее СПД).

Указанные выше числа портов включают порты, требуемые для подключения интерфейсов серверов, и не включают порты перекрестных кроссов. Магистральные порты также включены в указанные числа портов. При построении перекрестных кроссов необходимо принять, что все оптические порты могут быть подключены либо к SAN либо к ЛВС. При расчете числа коммуникационных шкафов для ЛВС необходимо принять, что к ЛВС могут быть подключены либо оптические либо медные порты, но не их сумма. Все значения по количеству оптических портов, приведенные в требованиях, подразумевают дуплексные (на 2 волокна) оптические порты.

этапы проектирования РД систем СКС

Предполагаемое решение по организации оптической СКС ЦОД должно гарантировано обеспечивать передачу данных на скорости:

не менее Fibre Channel 8 Гбит/с для оптической подсистемы СХД с возможностью быстрой миграции на уровень Fibre Channel 16 Гбит/с без замены элементов проектируемой оптической СКС;
не менее Ethernet 10 Гбит/с по многомодовому и не менее 100 Гбит/с по одномодовому волокну для оптической подсистемы СПД;
не менее Ethernet 1 Гбит/с по медному витопарному кабелю подсистемы СПД.

СКС ЦОД должна быть разработана и реализована в полном соответствии с действующими стандартами:

TIA/EIA-942. Telecommunications Infrastructure Standard for Data Centers;
TIA/EIA-568-C. Commercial Building Telecommunications Cabling Standard;
TIA/EIA-569-B. Commercial Building Standard for Telecommunications Pathways and Spaces;
TIA/EIA-606-A. Administration Standard for the Telecommunications Infrastructure of Commercial Buildings.
J-STD-607-A - Commercial Building Grounding and Bonding Requirements for Telecommunications
ISO/IEC 11801. Information technology - Generic cabling for customer premises.
FC-PI-5 Fibre Channel – Physical Interface -5-2010;
СН 512-78 Инструкция по проектированию зданий и помещений для электронно-вычислительных машин.

Приведенный список не является исчерпывающим, но отражает основные регулирующие документы, рекомендации которых дополняют настоящие технические требования. При построении СКС ЦОД должны использоваться материалы и оборудование ведущих мировых производителей для обеспечения надежной установки и унификации соединения элементов. Все комплектующие СКС должны иметь сертификаты качества.

СКС ЦОД должна обеспечивать:

круглосуточную, круглогодичную эксплуатацию в течение гарантийного срока;
внесение изменений в смонтированную слаботочную систему, сохраняя управляемость и непрерывность работы;
расширение количества соединений на всех уровнях с необходимой установкой оборудования и организацией новых соединений;
идентификацию кабелей, коммутационных шнуров, кроссовых панелей и других элементов СКС по соответствующей маркировке, выполненной в соответствии с вышеуказанными стандартами.

В рамках проекта должны быть проведены следующие процедуры сертификации с выдачей соответствующих сертификатов от фирм-производителей СКС:

сертификация медной подсистемы СКС ЦОД на категорию 5е;
сертификация волоконно-оптической СКС ЛВС и SAN.

На создаваемую СКС должна быть предоставлена гарантия от имени фирмы-производителя СКС на срок не менее 20 лет.

Требования к СКС ЦОД

Структура СКС

СКС ЦОД должна иметь следующую структуру. В машинных залах располагаются два главных кросса СХД два главных кросса ЛВС и активное сетевое оборудование.

Аппаратные распределительные области (EDA) содержат аппаратные коммуникационные устройства (ЕО), монтируемые на системе потолочных кабелепроводов над каждым местом установки каждой группы их двух шкафов.

Требования к зоне

Для организации зоны FC СКС ЦОД шкафы с коммутаторами Fibre Channel подсистемы СХД должны быть размещены в 2-х средних залах уровня (этажа) в рядах максимально приближенных к перегородке между залами, т.е. максимально близко к геометрическому центру уровня. Группа из 6-ти коммутаторов образует два симметричных сегмента (фабрику) по 3 коммутатора в каждом сегменте.

Каждый сегмент фабрики включает в себя 1152 оптических порта (пара оптических волокон), что в совокупности дает 2304 оптических порта. В каждом зале зоны расположить по одному коммутатору SAN для организации FC-маршрутизации общей емкостью 6х48=288 оптических портов, и по одному коммутатору SAN для организации межплощадочных соединений общей емкостью 2х32=64 оптических порта.

Подключение портов коммутаторов к главному кроссу уровня должно быть осуществлено по двум независимым трассам. Суммарная емкость центрального оптического кросса равна 150х24(EDA) + 384х6(SAN) + 150х8(LAN) + 64(WDM) + 48х6(межплощадочная SAN) = 7456 оптических портов. Центральный оптический кросс должен иметь 15% запас для установки дополнительных оптических модулей в случае расширения СКС. Итого емкость главного кросса должна быть 8592 порта

Размещение коммутаторов подсистемы СХД

Для размещения тяжелых коммутаторов Fibre Channel использовать телекоммуникационные шкафы с габаритными размерами (ШхГхВ, не менее) 800х1000х45U. Шкафы должны иметь регулируемые по глубине направляющие стандарта 19 дюймов. Конструкция направляющих должна позволять, среди прочего, размещение двух коммутаторов номинальным весом не менее 105 кг каждый.

Для организации подключения портов коммутаторов к магистральной кабельной подсистеме уровня ЦОД в непосредственной близости от коммутатора разместить коммутационную MTP панель. Включение портов коммутатора осуществить претерминированными сборками MTP-LC. Конфигурация сборок должна определяться, исходя из конфигурации лезвий коммутатора (48 портов на лезвие).

Возможность использования адаптированных по длине сборок под конкретное расположение портов на лезвии является дополнительным преимуществом.

Главный кросс. DataSpace

Для повышения удобства последующего обслуживания кабельной инфраструктуры в обязательном порядке предусмотреть организацию вынесенного оптического кроссового поля для организации главного кросса уровня ЦОД. Главный кросс распределен по 2 залам уровня и организован в отдельно стоящих кроссовых шкафах, объединенных в группу на основе соответствующих полок и кассет модульного типа MTP-LC. Шкаф в обязательном порядке должен включать элементы для выкладки оптических патчкордов и предусматривать возможность постепенного включения портов оборудования или выполнения при необходимости переключений между любыми существующими портами без перекоммутации расположенных рядом портов.

С целью экономии полезных площадей необходимо предусмотреть использование кроссовых решений высокой плотности подключений с емкостью на один шкаф не менее 1100 (H&S), 1536 (AMP), 2160 (SYSTIMAX) оптических портов.

Возможность использования дополнительно предусмотренных средств маркировки или идентификации подключений рассматривается в качестве дополнительного преимущества предлагаемого решения.

Требования к главным распределительным областям ЛВС

В областях находятся шкафы с главным кроссом ЛВС и активным сетевым оборудованием. Общее количество шкафов – 6 на каждую главную распределительную зону ЛВС, из них 3 – с активным сетевым оборудованием.

Требования к горизонтальным распределительным областям ЛВС

HDA_LAN в машинных залах должны быть размещены в каждом машзале рядами стоек и содержать шкафы для медного кросса от аппаратных распределительных областей, магистрального кросса, шкафы зеркала оптического кросса, активного сетевого оборудования ЛВС. Конкретное место размещения рядов HDA должно быть предложено Подрядчиком и согласовано с Заказчиком.

Количество шкафов в HDA_LAN в машинных залах должно быть пропорционально количеству интерфейсов в стойках зала, достаточным для размещения портов СКС и портов активного сетевого оборудования и иметь 50% резерва. Необходимо принять во внимание, что в одном шкафу с АСО может быть установлено не более 576 медных или 384 оптических портов для подключения серверов.

Одним из вариантов типовой HDA_LAN может быть сдвоенный ряд, содержащий по 8 стоек шириной 800 мм в ряду в соответствии со следующим списком: шкаф АСО, медный кросс, шкаф АСО, оптический кросс, шкаф АСО, медный кросс, шкаф АСО, магистральный кросс, шкаф АСО.

Для соединения с главным кроссом МDА в шкафах разместить необходимое количество оптических панелей высокой емкости на основе оптических модулей МТP-LC. Количество панелей и их конфигурацию определить в процессе проектирования в зависимости от типа конфигурации активного оборудования. Подключение портов оборудования к оптическим панелям осуществить посредством патчкордов.

Требования к аппаратным распределительным областям

Аппаратные коммуникационные устройства должны монтироваться на системе потолочных кабелепроводов над серверными стойками (EO). В каждом из них должно быть установлено 2х24 разъема RJ-45 категории 5е и 24 оптических портов (48 FO MM, 12 портов из каждого плеча подсистемы СХД).

В рядах вспомогательного коммуникационного оборудования, кроме того, устанавливается дополнительно по 24 разъема RJ-45 категории 5е и 24 оптических порта для подключения к УГС. При проектировании СКС необходимо исходить из значения расстояния между соседними EO в ряду, равного 900 мм (не менее).

Должна быть предусмотрена возможность пятидесятипроцентного увеличения емкости портов каждого коммуникационного устройства. Оконечное оборудование (серверы, дисковые массивы, и т.д.) подключается 5м оптическими патчкордами LC-LC к оптическим модулям MTP-LC, расположенным в компактных зоновых коробках.

Зоновая коммутационная коробка.

Зоновая коробка должна обладать минимально возможным весом и габаритными размерами, при условии размещения до двух модулей MTP-LC внутри коробки. Конструкция коробки должна предусматривать возможность ее подвеса и крепежа к лотковым кабельнесущим системам в зале. Конструкция коробки должна иметь возможность укладки избытка коммутационных шнуров идущих от стоек оборудования зоны EDA.

Требования к магистральной кабельной подсистеме

Между главными распределительными областями ЛВС должно быть проложено 48 медных витопарных кабелей категории 5е, 384 волокна одномодового оптического кабеля категории OS2 (9/125 мкм) и 384 волокна многомодового оптического кабеля категории OM4 (50/125 мкм). Оптические кабели должны быть терминированы на разъемы LC.

Магистральная кабельная подсистема волоконно-оптической СКС соединяет активное оборудование SAN с главным кроссом. Должна быть реализована на основе многожильных волоконно-оптических кабельных сборках с LSFH-оболочкой, обеспечивая возможность подключения коммутационных панелей в шкафах с коммутаторами Fibre Channel (зона MDA) к модулям главного кросса, также расположенного в зоне MDA.

Кабельная сборка горизонтальной подсистемы должны быть оконцована в заводских условиях разъемом MTP с обеих сторон. Сборка должна быть выполнена на основе круглого оптического кабеля компактной конструкции (наружный диаметр не более 4.0 мм) с многомодовыми оптическими волокнами категории ОМ4. Допускается использование оптических сборок MTP большей емкости, где это целесообразно.

Требования к горизонтальной кабельной подсистеме

От каждой аппаратной распределительной зоны должно быть проложено 24 медных витопарных кабелей категории 5е к горизонтальной распределительной зоне машзала и 48 волокон многомодового оптического кабеля категории OM4 (50/125) к зоне MDA ЦОД.

Горизонтальная кабельная подсистема оптической СКС должна быть реализована на основе многожильных волоконно-оптических кабельных сборках с LSFH-оболочкой, обеспечивая возможность подключения модулей в зоновых коробках (зона EDA) к модулям главного кросса, расположенного в зоне MDA ЦОД.

Требования к системе кабелепроводов

Оптические и медные кабели должны прокладываться в разных кабелепроводах. Короба должны иметь возможность удобной организации спуска кабелей к стойкам через кабельные каналы. При проектировании учесть необходимость организации хранения избыточной длины кабельных сборок в начале каждого ряда шкафов с оборудованием. Система коробов должна иметь потолочный крепеж таким образом, чтобы позволять передвигать зонную коробку вдоль ряда на расстояние до 3 м.

Система кабельпроводов для прокладки оптических кабелей должны быть выполнены из полимерной композиции, не распространяющей горение и не содержащей галогенов. В узлах глобальной сети, главных и горизонтальных распределительных областях ЛВС для прокладки кабелей и патч-кордов между шкафами предусмотреть использование кабелепроводов, устанавливаемых непосредственно на шкаф.

Все металлические кабелепроводы должны быть заземлены. Коэффициент заполнения кабелепроводов должен быть не более 40% на стадии проектирования и не более 60 % на стадии инсталляции.

Должны быть предусмотрены кабелепроводы или организаторы для эргономичной прокладки соединительных шнуров от серверов к аппаратной распределительной зоне. Необходимо учесть, что 10% всех серверных стоек не имеют возможности подвода кабеля сверху. Эргономические кабелепроводы рассматриваются в качестве дополнительного преимущества предлагаемого решения.

Требования к монтажным конструктивам

Шкафы для активного и пассивного оборудования ЛВС областей (шкафы ЛВС) должны удовлетворять следующим требованиям:

шкаф должен иметь размер 800 х 1000 мм (ширина, глубина), 45U в высоту, не менее;
шкафы должны иметь перемещаемые по глубине две пары направляющих, направляющие должны иметь маркировку высоты юнитов;
двери шкафов, к которым подается холодный воздух с фронтальной стороны, должны быть перфорированными, перфорация дверей должна быть не менее 50%;
шкафы должны обеспечивать возможность ввода кабелей сверху и из под фальшпола;
шкафы должны иметь возможность стыковки друг с другом с формированием единого пространства;
шкафы ЛВС должны иметь прочные запирающиеся двери с надежными замками.

Шкафы для АСО ЛВС, кроме того, должны соответствовать требованиям документа компании Cisco Systems “Cisco Nexus 7000 Series Site Preparation Guide. Appendix B. Cabinet and Rack Requirements”, быть протестированы на совместимость с коммутаторами Cisco Nexus 7010 и 7018 и поддерживать установку и функционирование двух коммутаторов Cisco Nexus 7010 в одном шкафу.

Шкафы для УГС должны быть производства компании Rittal и удовлетворять следующим требованиям:

шкаф должен иметь размер 800 х 1000 х 2200 мм;
передние и задние двери должны быть двустворчатые решетчатые вентилируемые с замком с возможностью смены личинки;
пототолок должен быть вентилируемый до 6-ти вентиляторов в зависимости от интенсивности тепловыделения;
внутри шкафа с задней стороны должно быть предусмотрено освещение
в шкафу должны быть установлены розеточные модули и шина заземления в вертикальном исполнении вдоль всей высоты шкафа;
должно быть предусмотрено подключение двух вводов однофазного и, в некоторых случаях, 3-х фазного питания;
верхние 2U должны занимать кабельные органайзеры и кабельные держатели для прокладки межшкафных соединений;
передняя и задняя плоскости крепления аппаратуры к L-образным шинам должны иметь возможность перемещения по глубине шкафа;
должна быть предусмотрена возможность установки полозьев для тяжелого оборудования и полок для оборудования в нерэковом исполнении;
должна быть предусмотрена возможность непосредственной вентиляции из-под пола.

Шкафы для вспомогательного коммуникационного оборудования должы удовлетворять следующим требованиям:

шкаф должен иметь размер размер 600 х 1000 х 2200 мм;
боковые стенки, задние и передние двери должны быть перфорированные с замком с возможностью смены личинки;
внутри шкафа с задней стороны должно быть предусмотрено освещение;
в шкафу должна быть установлена шина заземления в вертикальном исполнении вдоль всей высоты шкафа;
должна быть предусмотрена возможность установки полозьев для тяжелого оборудования и полок для оборудования в нерэковом исполнении;

Все монтажные конструктивы должны быть заземлены в соответствии с требованиями стандарта TIA/EIA-942. В составе шкафов должны быть предусмотрены все необходимые комплектующие элементы – кабельные органайзеры, комплекты вентиляторов, системы заземления, крепеж. Состав и количество дополнительных комплектующих будет уточняться на этапе проектирования.

Технические требования к физическому уровню

Оптические интерфейсы

Все разъемные оптические соединения должны быть реализованы на двух стандартах:

LC (LC push-pull) – базовый тип интерфейса для организации подключения портов активного оборудования и соединения портов на главном кроссе при помощи оптических патчкордов.
Дополнительным преимуществом будет рассматриваться отсутствие необходимости использования дополнительного инструмента для извлечения разъемов LC в случае сверхплотного подключения (например, подключение коммутаторов Fibre Channel).
MTP – базовый тип интерфейса для организации соединений в магистральной и горизонтальной подсистемах ЦОД.

Используемые компоненты должны гарантировать минимальный уровень вносимых потерь и требуемый стандартами уровень обратных потерь не хуже максимальных значений, приведенных в таблице Таблица 1

Интерфейс	Вносимые потери	Обратные потери
LC (LC push-pull)	среднее 0,1 дБ макс 0,15 дБ	>12 дБ
MTP	среднее 0,2 дБ макс 0,3 дБ	> 12дБ
SC	средн 0,1 дБ макс 0,15 дБ	>12 дБ
Модуль MTP -LC	сред 0,3 дБ макс 0,4 дБ	>12 дБ

Оптическое волокно

Оптический тракт проектируемых подсистем ЦОД необходимо выполнить с использованием многомодового волокна категории ОМ4 и одномодового волокна категории OS2.

Принимая во внимание совмещенный характер использования оптического тракта для передачи разнородного трафика разных протоколов, необходимо в обязательном порядке рассчитывать бюджет потерь по наихудшему сценарию – Fibre Channel 16 Гбит/с с максимальным допустимым бюджетом потерь на уровне 1,96 дБ при максимальной дальности передачи равной 120 метров.

Объем работ

В объем работ по настоящим требованиям входят:

Работы по созданию СКС, в том числе: кабельные работы, поставка и монтаж напольных лючков, кабелепроводов и монтажных конструктивов, заземление элементов СКС, маркирование;
Подрядчик выполняет проектирование трасс кабелепроводов и поставку спусков к стойкам и рабочим местам в офисных помещениях. Поставку и монтаж кабелепроводов выполняет Генеральный подрядчик за исключением спусков к стойкам и рабочим местам в офисных помещениях;
все необходимые проектные работы, включая разработку исполнительной документации;
проведение тестирования и сертификации.

Должна быть разработана и согласована с проектировщиком система кодировки элементов СКС (шкафов, патч-панелей, портов патч-панелей, оптических кабелей) и система документирования соединений в СКС.

Состав поставки

В рамках проекта предусматривается поставка и монтаж шкафов в следующем количестве:

шкафы коммуникационного оборудования SAN – 20 шт.;
шкафы ЛВС – 222 штук, из них шкафов с АСО ЛВС – 123;
шкафы УГС – 77 штук;
шкафы вспомогательного коммуникационного оборудования – 40 шт;
количество шкафов главного оптического кросса и оптических зоновых коробок определяется участником в конкурсном предлолжении.

Должна быть предусмотрена поставка медных и оптических кордов для подключения всего оборудования ЦОД, а также маркировочного материала кордов с выполнением печати на лазерном принтере типа LJSL11-Y3-1, достаточного для маркировки кордов с двух концов. Количество и длину кордов определяет исполнитель в соответствии с предлагаемым решением.

Должен быть предусмотрен ЗИП в объеме 5% основных элементов СКС и аксессуаров.

Требования к документированию

На этапе рабочего проекта по структурированной кабельной системе сертификат и результаты тестирования оптической СКС, офисной СКС на категорию 5Е и медной подсистемы СКС ЦОД на категорию 5е,

структурную схему кабельной системы,
поэтажные чертежи размещения розеток,
чертежи трасс прокладки кабелей,
чертежи размещения оборудования в коммуникационных шкафах, лючках, колоннах,
спецификацию комплектующих и материалов;
описание СКС с указанием основных технических решений.

Искать