Проект системы ЛВС

Наш проектный отдел разработал рабочую документацию локально вычислительной сети для организации.

ЛВС система

Определение и описание ЛВС

К портам коммутаторов в ходе проектирования планируется подключение IP-телефонов и точек беспроводного доступа, поэтому коммутаторы должны поддерживать технологию подачи электропитания через витую пару. Конечные пользователи представляют собой различные юридические лица, поэтому необходимо предусмотреть возможность изоляции сегментов сети друг от друга с помощью VRF. Для разделения пользователей на сегменты внутри одного юридического лица необходимо применение виртуальных сетей VLAN. Расшифровка термина ЛВС будет дана в конце статьи.

проект ЛВС

Центр обработки данных располагается в специально оснащенном помещении на этаже. На первом этапе серверное оборудование здания планируется разместить в 40 телекоммуникационных стойках. От каждой такой стойки в ЦОД необходимо подключить 24 кабеля витой пары, серверы подключаются на скорости 1 Гб/с, итого 1920 портов 1000Base-TX.

условные обозначения проекта

Назначение и организация ЛВС

Создаваемая ЛВС предназначена для:

  • объединения информационных вычислительных систем объекта автоматизации Заказчика в единую информационную инфраструктуру
  • обеспечения доступа пользователей IT-инфраструктуры к общим сетевым информационным ресурсам.

Цели создания

Основными целями создания локально вычислительной сети являются:

  • построение надежной, эффективной и высокопроизводительной ЛВС объекта автоматизации Заказчика
  • обеспечение высокой скорости, надежности и безопасности передачи данных в сети здания
  • обеспечение высокой скорости, надежности, безопасности и отказоустойчивости информационной среды передачи данных при использовании информационных сервисов и бизнес-приложений размещенных в серверном помещении
  • обеспечение возможности эффективного доступа к общим сетевым информационным ресурсам
  • минимизация расходов на обслуживание информационной инфраструктуры Заказчика и трудоемкости ее обслуживания.

Перечень нормативно-технических документов, используемых при разработке

Разработка системы выполняется с учетом требований следующих нормативных документов:

  • стандарт ГОСТ 34.602-89 «Информационная технология. Комплекс стандартов на автоматизированные системы. Техническое задание на создание автоматизированной системы»
  • ГОСТ 34.201-89 «Информационная технология. Комплекс стандартов на автоматизированные системы. Виды, комплектность и обозначение документов при создании автоматизированных систем»
  • ГОСТ 34.601-90 «Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Стадии создания»
  • ГОСТ Р 51322.1-99 «Соединители электрические штепсельные бытового и аналогичного назначения. Часть 1. Общие требования и методы испытаний»
  • РД 50-34.698-90 «Методические указания. Информационная технология. Комплекс стандартов и руководящих документов на автоматизированные системы. Автоматизированные системы. Требования к содержанию документов».

Основные принципы проектирования

Список принципов включает в себя:

  1. Производительность. Используемое в проекте оборудование было выбрано исходя из возможного увеличения объемов обрабатываемого трафика, а также из требований к выполняемым функциям и используемым протоколам.
  2. Надежность и доступность. ЛВС спроектирована, исходя из того, что она должна функционировать в режиме 24х7 круглосуточно 7 дней в неделю, в случае возникновения отказов сеть имеет возможность автоматической, без вмешательства администратора реконфигурации с целью сохранения работоспособности и минимизации времени простоя.
  3. Масштабируемость. Локальная сеть обеспечивает возможность расширения, т.е. используемое оборудование и топология предусматривают возможность увеличения количества подключаемых узлов сети и увеличение передаваемого трафика. Оборудование выбрано с резервом, как по производительности, так и по возможности установки дополнительных модулей и расширению функциональности.
  4. Эффективность. В процессе проектирования производилась оптимизация с целью более эффективного использования ресурсов. Ресурсы сети представляют собой ресурсы оборудования, количество памяти, производительность процессора и ресурсы каналов передачи данных, как пропускная способность. Эффективное использование ресурсов в системе снижает общую стоимость владения системой.
  5. Управляемость. Для управления слаботочной сетью предусмотрен единый центр управления, который обеспечивает круглосуточный мониторинг, сбор статистики, регистрацию событий, облегчает администрирование и восстановление системы в случае возникновения нештатных ситуаций.
  6. Безопасность. Учитываются требования к организации безопасности и защиты от НСД в распределенных сетях передачи данных. Устройства, входящие в состав локально вычислительной сети, защищаются системой паролей, кроме того маршрутизаторы и коммутаторы обладают дополнительными функциями по безопасности: списки доступа, межсетевое экранирование и т.д.
  7. Унификация и стандартизация. В качестве активного сетевого оборудования применяется оборудование производства компании Cisco Systems. Оборудование имеет единую операционную систему для всех устройств, представленных в проекте, Cisco IOS Internetworking Operating System. Все оборудование имеет сертификаты ССЭ и Минсвязи России.

Основные технические решения м выбор технологии построения ЛВС

Выбор технологии, архитектуры и оборудования для ЛВС определялся требованиями частного технического задания, далее ЧТЗ и следующими факторами:

  • размер сети, количество пользователей
  • необходимость обеспечения доступа пользователей ко всем разрешенным сетевым и информационным ресурсам
  • необходимость питания устройств по Ethernet
  • поддержка качества предоставления услуг и управления уровнем обслуживания
  • соответствие требованиям международных стандартов

В качестве основного технологического принципа для связи между собой активного сетевого оборудования, проектированием предлагается использовать технологии Gigabit Ethernet и Ten Gigabit Ethernet. Технология Ethernet имеет следующие достоинства:

  • низкая стоимость за порт как за медный, так и за оптический
  • поддержка стандарта всеми производителями активного сетевого оборудования
  • масштабируемость
  • низкие эксплуатационные затраты
  • оптимизация под передачу данных.

Выбор технологии, архитектуры и оборудования определялся следующими факторами:

  • размером сети, количество подключаемых серверов
  • необходимостью обеспечения доступа пользователей ко всем разрешенным сетевым и информационным ресурсам
  • обеспечением гарантированных высокоскоростных и отказоустойчивых соединений для серверов вне зависимости от загруженности отдельных сегментов и сетевого оборудования
  • исключением потерь информации при перегрузке сетевых сегментов и оборудования
  • исключением потерь информации в случае выхода из строя любого устройства сети или линии связи между функциональными элементами сети
  • возможностью увеличения подключений серверов и наращивания сети без нарушения ее функционирования
  • минимизацией номенклатуры применяемого оборудования для снижения расходов на администрирование
  • соответствием требованиям международных стандартов.

В качестве основной технологии для связи между собой активного сетевого оборудования, предлагается использовать технологии Gigabit Ethernet и Ten Gigabit Ethernet. Технология Ethernet имеет следующие достоинства:

  • низкая стоимость за порт как за медный, так и за оптический
  • поддержка стандарта всеми производителями активного сетевого оборудования
  • масштабируемость
  • низкие эксплуатационные затраты
  • оптимизация под передачу данных.

После изучения данных факторов проектом было выбрано решение по построению сети.

Выбор производителя активного сетевого оборудования

Выбрано активное сетевое оборудование производства компании Cisco Systems. Выбор обусловлен следующими соображениями:

  • соответствием корпоративным стандартам заказчика
  • полным спектром сетевых устройств, позволяющим реализовывать проекты любой сложности
  • поддержкой всех современных протоколов управления и передачи данных, в том числе DCB
  • наличием единой сетевой платформы линейки оборудования Nexus NX-OS, которая обладает модульной архитектурой, поддержкой таких протоколов, как Cisco FabricPath, Cisco Overlay Transport Virtualization OTV, Cisco Virtual Port Channel vPC, Cisco Virtual Device Contexts VDCs, а так же функционалом In-Service Software Upgrade ISSU, который позволяет гарантировать обновление ПО без остановки в работе центра по обработке данных ЦОД
  • наличием широкого спектра платформ управления и мониторинга для устройств фирмы Циско
  • высоким качеством и надежностью выпускаемых устройств
  • высоким качеством технической поддержки
  • наличием в России центров обучения и сертификации специалистов
  • наличием сертификатов на используемое оборудование.

Выбор производителя серверного оборудования ЛВС

В качестве серверного оборудования для программных систем по проекту выбраны серверные решения UCS производства компании Cisco Systems.

Новые модели серверов, облегчают доставку услуг, повышают производительность, гибкость и эффективность и соответствуют все более жестким требованиям центров обработки данных. Новые серверы типа UCS имеют больше процессорных ядер, кэш-памяти, оперативной памяти, дискового пространства и пользуются более высокоскоростными каналами, ускоряющими передачу данных. Эти серверы обладают лучшей в отрасли производительностью, энергоэффективностью, функциональностью и экономичностью.

Стоечный сервер серии UCS C220 M3 высотой в одну стандартную единицу 1RU поддерживает производительность и плотность, достаточные для надежной работы широкого ассортимента бизнес-приложений, веб-сервисов и распределенных баз данных.

Архитектура построения ЛВС

Предлагаемое принципиальное решение по построению ЛВС, рассматриваемое в данном проектном томе, основывается на требованиях к построению локальных вычислительных сетей с четким разграничением уровней иерархии, где каждому уровню иерархии соответствует свой набор оборудования, которое выполняет определенные для этого уровня функции. При построении используется многоуровневая модель согласно которой можно выделить два функциональных уровня:

  • уровень ядра, совмещенный с уровнем распределения
  • уровень доступа.

Уровень ядра образован двумя модульными маршрутизирующими коммутаторами Catalyst 6509 с модулями управления Supervisor Engine 2T, объединенными в единый виртуальный коммутатор с использованием технологии Virtual Switching System, далее - VSS. Данная технология позволяет упростить настройку коммутаторов уровня ядра, упростить подключения к ним и уменьшить влияние протокола Spanning Tree Protocol STP за счет использования технологии МЕС Multichassis EtherChannel. Технология МЕС позволяет подключать устройство с помощью EtherChannel к двум коммутаторам, образующим VSS, избегая блокировки каналов протоколом STP, получая безкольцевую топологию и тем самым более эффективно используя пропускную способность аплинков. Для образования VSS между коммутаторами ядра настраиваются VSL Virtual Switch Link на портах 10 GigabitEthernet. Для объединения коммутаторов ядра и подключения коммутаторов уровня доступа в каждый коммутатор ядра устанавливаются пять 10 Гб модули WS-X6908-10G-2T, позволяющие установить до 8 модулей X2.

Коммутаторы ядра ЛВС терминируют оптические каналы 10 Gigabit Ethernet от коммутаторов ядра серверной организации, обеспечивая сопряжение офисных помещений организации. Решение по построению вычислительной сети представлено в подразделе проекта.


Коммутаторы ядра агрегируют каналы от коммутаторов уровня доступа. Коммутаторы уровня доступа подключаются к ядру с помощью четырех оптических 10 Гб каналов на третьем уровне OSI с использованием технологии MEC. В качестве коммутаторов уровня доступа используются модульные маршрутизирующие коммутаторы Catalyst 4510 с зарезервированными модулями управления Supervisor 7-E и блоками питания типа PWR-C45-6000ACV.

Коммутаторы уровня доступа осуществляют подключение рабочих станций пользователей и конечных сетевых устройств по Гб интерфейсам
10/100/1000Base-T. Коммутаторы уровня доступа ЛВС обеспечивают электропитание подключаемых сетевых устройств через неэкранированную витую пару по технологии UPOE Universal Power Over Ethernet мощностью до 60 Вт на порт. Для подключения конечных сетевых устройств в шасси каждого коммутатора доступа устанавливается по 5 коммутационных модулей WS-X4748-UPOE+E, имеющих по 48 портов 10 100 1000Base-TX с технологией UPOE. В шасси данного коммутатора может быть установлено до 8 модулей, что обеспечит до 384 сетевых подключения.

Разделение групп пользователей в организации производится с использованием виртуальных сетей VLAN. Разделение осуществляется по следующим признакам:

  • функциональному это принтеры, точки доступа, IP-телефоны, рабочие станции и т.д.
  • административному, как ДАО, отделы и т.д
  • территориальному, как этаж, кроссовая подключения.

При необходимости для изоляции трафика сетей различных юридических лиц, IP-подсети пользователей ДАО помещаются каждый в свою VRF. Трафик изолирован внутри и без дополнительных настроек правил на межсетевых экранах не попадет в другую VRF. Для сегментации сети внутри одного юридического лица, IP-подсети его подразделений разделяются на виртуальные сети с помощью виртуальных сетей.

В запроектированные коммутаторы ядра ЛВС интегрированы контроллеры подсистемы беспроводной локальной вычислительной сети, далее - БЛВС. Решение по построению БЛВС представлено в документе ИТ.ПЗ «Пояснительная записка» БЛВС.

Коммутаторы ядра терминируют каналы Gigabit Ethernet от подсистемы внешних взаимодействий WAN-сегмента, обеспечивая сопряжение с корпоративными сетями передачи данных КСПД и каналами операторов связи, предоставляющих доступ в сеть Интернет. Для подключения внешних подсистем в каждый коммутатор ядра устанавливаются модули WS-X6848-TX-2T, имеющие по 48 портов 10/100/1000Base-TX.

Для агрегирования каналов операторов связи и внешних пользователей используются модульные маршрутизаторы серии 3945E. Данные маршрутизаторы содержат 3 слота HWIC для установки интерфейсных модулей и обеспечивают производительность от 2 Гбит в с до 8 Гбит/с в зависимости от длины пакета. Маршрутизаторы подключаются к оборудованию операторов связи Гб интерфейсами и осуществляют маршрутизацию трафика с внешними сетями, используя протокол динамической маршрутизации BGP. Маршрутизаторы обеспечивают резервированное подключение к внешним сетям и автоматическое переключение на резервные каналы связи. Маршрутизаторы поддерживают установку дополнительных интерфейсных модулей при увеличении числа внешних подключений.

По данному проекту для разграничения доступа между внешними сетями и внутренней сетью используются межсетевой экран, далее МСЭ серии ASA 5555X. Данные МСЭ обеспечивают производительность межсетевого экранирования до 2 Гбит/с. МСЭ обеспечивают межсетевое экранирование с учетом контроля состояния соединений stateful inspection. Межсетевой экран устанавливаются в отказоустойчивой конфигурации, т.е. при выходе из строя активного МСЭ его функции автоматически берет на себя резервный без потери ТСР-сессий. При необходимости для каждого ДАО на МСЭ может быть настроен свой контекст с набором правил доступа и трансляций IP-адресов. Различные контексты работают на разных межсетевых экранах, обеспечивая балансировку нагрузки между ними.

Для подключения МСЭ к маршрутизаторам используются 48-портовые, Гб коммутаторы марки Catalyst 3560Х. Они обеспечивают переключение трафика между внешними интерфейсами МСЭ и внутренними интерфейсами маршрутизаторов, а также отказоустойчивость подключения при выходе из строя одного из МСЭ либо маршрутизатора. МСЭ и маршрутизаторы подключаются к коммутаторам Cisco Catalyst 3560Х гигабитными каналами по витой паре. Между собой пара коммутаторов соединена многомодовыми волоконно-оптическими линиями связи ВОЛС.

Для реализации сервиса DHCP в чертежах системы ЛВС используются два сервера с MS Windows-службой DHCP, которые на этапе реализации будут интегрированы в домен Заказчика. Кластер из этих серверов будет раздавать адреса рабочим станциям ЛВС, беспроводным клиентским устройствам, точкам доступа БЛВС, IP-телефонам системы СТС Заказчика, а также другим оконечным сетевым устройствам. Схема построения показана в томе проекта под шифром ЛВС «Схема функциональной структуры.».

Проектная архитектура построения

Предлагаемое решение по построению структуры основывается на требованиях к построению локальных вычислительных сетей с четким разграничением уровней иерархии, где каждому уровню иерархии соответствует свой набор оборудования, которое выполняет определенные для этого уровня функции. При построении локально-вычислительной сети используется многоуровневая модель согласно которой можно выделить три функциональных уровня:

  • уровень ядра
  • уровень агрегации
  • уровень доступа.
  • Уровень ядра образован двумя модульными 10-слотовыми коммутаторами Nexus 7010 с зарезервированными управляющими модулями и блоками питания и тремя модулями коммутирующей матрицы, обеспечивающими пропускную способность 110 Гб в секунду на слот.

Данные коммутаторы подключаются к ядру ЛВС офисных помещений четырьмя оптическими 10 Гб каналами. Коммутаторы уровня ядра обеспечивают:

  • изоляцию деталей сетевой топологии от устройств верхнего и нижнего уровней
  • контроль размера таблицы маршрутизации
  • разделение серверных ресурсов на изолированные сегменты.

Коммутаторы серии Nexus поддерживают технологию vPC virtual PortChannel, позволяющую физические каналы, подключенные от устройства к двум коммутаторам Nexus, рассматривать как один PortChannel, что предоставляет следующие проектные преимущества:

  • позволяет избежать блокирование портов протоколом STP
  • свободная от колец коммутации топология
  • использование всей доступной пропускной способности аплинков
  • быстрая сходимость при выходе из строя канала или устройства
  • гарантия высокой доступности.

Коммутаторы ядра в организации подключаются к коммутаторам ядра, используя технологии vPC и МЕС. Схема подключения представлена на рисунке выше. Между коммутаторами настраивается протокол маршрутизации OSPF.

Подключение коммутаторов в ядре

Для подключения серверного оборудования используются гигабитные 48-портовые коммутаторы Nexus 2248TP и 1GE/10GE 32-портовые серии Nexus 2232PP, образующие уровень доступа. Коммутаторы уровня доступа оптимизируют использование полосы пропускания путем локализации коллизий и широковещательного трафика за счет организации виртуальных сетей.

Серверы подключаются, в соответствии с решениями выработаными при проектировании, дублированными медными линками к коммутаторам доступа Nexus 2248TP по технологии 1000BASE-TX, либо дублированными оптическими или медными линками по технологиям 1GE/10GE/FCoE к коммутаторам доступа Nexus 2232PP, либо каналами FC напрямую к коммутаторам уровня распределения Nexus 5548UP. Подключение серверов осуществляется к разным коммутаторам доступа, один линк является активным, второй резервным. Коммутаторы доступа типа 2248TP подключаются к коммутаторам уровня распределения Nexus 5548P четырьмя оптическими 10 Гб каналами на втором уровне OSI. Коммутаторы доступа типа 2232PP подключаются к коммутаторам уровня распределения восьмью оптическими 10 Гб каналами на втором уровне OSI. Коммутаторы уровня распределения отвечают за агрегацию различных сегментов и отказоустойчивое подключение их к коммутаторам уровня ядра.

Каждый коммутатор доступа подключается к двум коммутаторам распределения серверной с использованием технологии vPC. Один коммутатор серии 5548UP поддерживает подключение до 8 коммутаторов Nexus 2248TP/2232PP. Всего устанавливается 22 коммутатора доступа и 6 коммутаторов распределения. Каждый коммутатор распределения в свою очередь подключаются четырьмя оптическими 10 Гб каналами к коммутаторам ядра на втором уровне OSI с использованием технологии vPC.

На коммутаторах реализована технология Virtual Device Contexts VDC. Данная технология позволяет организовать виртуализацию на коммутаторах Nexus. Возможна организация четырех обособленных контекстов для каждого коммутатора Cisco Nexus 7010. Каждый из данных контекстов имеет возможность независимого управления. Высокий уровень изоляции контекстов позволяет защититься и в административном порядке. Человеческий фактор, повлекший за собой аварию в работе одного контекста, не повлечет за собой сбои в соседних виртуальных контекстах.

Организация рекомендует, в принципе, использовать не более трех контекстов под передачу данных, а оставшийся использовать исключительно как контекст управления. При необходимости изоляции друг от друга серверных ресурсов различных юридических лиц, они помещаются в различные VDC, внутри которых также настраиваются различные VRF.

Для организации внеполосного управления коммутаторами Cisco Nexus 7010 их управляющие интерфейсы подключаются к коммутаторам Cisco Catalyst 2960S каналами Gigabit Ethernet. От каждого коммутатора, управляющего модуля подключаются по два порта управления: management и CMP Connectivity Management Processor. Данные порты находятся либо в выделенном VRF management0, либо в целиком выделенной аппаратной инфраструктуре CMP-порты.

При организации сети внеполосного управления также есть ряд требований производителя:

  1. Для каждого non-default VDC должен использоваться свой IP-адрес управления. Этот же IP-адрес управления используется для vPC peer-keepalive для каждого из VDC. Данный IP-адрес назначается на интерфейс management0.
  2. IP-адреса управления для default и non-default VDC должны быть из одной сети.

Необходимо назначить различные IP-адреса из одной сети для каждого из CMP-портов на модулях управления.

Для управления коммутаторами серии 2248TP они регистрируются на одном из двух коммутаторов Nexus 5548UP, к которым они подключены. Коммутаторы Nexus 2248TP/2232PP логически представляют собой интерфейсные модули одного из коммутаторов Nexus 5548 и при выходе его из строя коммутаторы уровня доступа автоматически перерегистрируются на втором Nexus 5548. Схема построения ЛВС в цод представлена в документе под шифром раздела С2 «Схема функциональной структуры лвс».

Что же это такое ЛВС и как расшифровать это сокращение

ЛВС это локально вычислительная сеть т.е. комплекс активного сетевого оборудования, коммутаторов, серверов и т.п выделенный проектом в отдельный том.