Строим доступ: топологии и оборудование

Общая иерархия сети

Итак, сеть более или менее крупного провайдера Интернет рекомендуется строить по трехуровневой топологии, в которой выделены, как минимум:

1. Уровень доступа – оборудование (в самом распространённом у нас сейчас случае – коммутаторы Ethernet), в порты которых непосредственно включены абоненты.
2. Уровень агрегации, который является промежуточным между уровнем доступа и ядром и занимается маршрутизацией трафика абонентов.
3. Ядро – обеспечивает связность между оборудованием уровня агрегации и другими ресурсами сети.

Добавим сюда ещё один уровень – границы провайдера: тут работают устройства, обеспечивающие связность с внешним миром

Всё, что написано и показано выше – теория и хорошая практика. На деле, сети большинства небольших провайдеров построено по другим схемам, а именно:

1. Вырожденное ядро – отсутствие ядра сети как отдельной сущности. Устройства агрегации соединены между собой и с граничными устройствами.
2. Вырожденный доступ – довольно редкий случай, когда маршрутизация работает уже на коммутаторах уровня доступа.
3. Вырожденная граница Интернет – часто встречается в совсем небольших сетях, в которых функции Internet border выполняет устройство, топологически находящееся на месте ядра. Часто, в небольших сетях, на одном устройстве (в лучшем случае – на паре устройств/стеке) совмещаются функции агрегации, ядра и граничного устройства.
4. Неуправляемый доступ.
5. Разнообразные сочетания пунктов 1-4.

Несколько лет назад очень распространённой топологией сети небольшого провайдера (домонет) была следующая схема: набор соединённых в один или несколько сегментов коммутаторов доступа (часто – неуправляемых) и один PC-маршрутизатор, который отвечал за маршрутизацию клиентского трафика, обеспечение сервиса (“нарезку” трафика согласно тарифных планов), и одновременно служил граничным устройством.

Сейчас, в условиях жестокой конкуренции, тарифы на доступ к Интернет  для конечного клиента упали, соответственно вырос объем трафика в сетях провайдеров. К тому же, машрутизирующие коммутаторы стали доступны по цене даже небольшим провайдерам. Теперь часто приходится иметь дело с топологией, оставшейся в наследство от описанных выше домосетей, но в которой на месте того самого “центрального” сервера стоит маршрутизирующий коммутатор, который опять-таки отвечает за всю маршрутизацию – внешнюю и внутреннюю.

Чем плохи решения с совмещением функций разных уровней сетевой топологии?

Первый очевидный минус – отсутствие изоляции отказов: когда что-то перестает работать, бывает довольно тяжело определить источник проблемы – атака со стороны абонента, атака из внешнего мира, неполадки в сети, неполадки с железом?

Второй минус – единая точка отказа: будь это следствие атаки, неправильной конфигурации или неисправность оборудования, стоящего в центре сети  – это затрагивает абсолютно всех абонентов.

Третий минус – отсутствие масштабируемости: в момент, когда ресурсы того самого “центрального” коммутатора окажутся исчерпанными, станет необходимой кардинальная смена топологии сети, и, возможно, схемы предоставления услуг.

Четвёртый минус связан с особенностями устройства маршрутизирующих коммутаторов: имея значительную пропускную способность, которая обеспечивается чипсетом –  специализированным под передачу трафика “железом”, они имеют ограничение по мощности центрального процессора. Сам по себе процессор не участвует в передаче кадров и пакетов, проходящих через коммутатор, но некоторые операции (такие как приём и отправка данных ARP, обмен данными протоколов маршрутизации и пересчёт этих данных в таблицу маршрутизации) производит именно центральный процессор. В ситуации, когда маршрутизирующий коммутатор отвечает за все, возможны проблемы в предоставлении услуг при одновременном выполнении “тяжёлых” для процессора операций, например: отдача данных статистики по SNMP плюс пересчёт таблицы маршрутов после поднятия сессии BGP, плюс массовые запросы ARP от абонентского оборудования.

Почему же подобные решения ещё применяются?  Ответ один: кажущаяся дешевизна такого решения. Ведь маршрутизирующий коммутатор стоит несколько тысяч долларов и использование вместо одного на всю сеть нескольких таких коммутаторов (один-два на десять-двадцать коммутаторов доступа) заметно удорожает сеть…

Удорожание сети в данном случае весьма незначительно. Поскольку сеть в целом и сетевое оборудование в частности – средство производства, мысль о том, что например “правильно построенная сеть будет дороже на столько-то тысяч долларов”, будет некорректно. Провайдер строит сеть для того, чтобы продавать услуги, и стоимость оборудования корректней будет пересчитать относительно абонента. При таком расчёте выяснится, что затраты на активное оборудование (при правильном построении сети) составят несколько сотен гривен на абонента и окупятся платой за подключение и, максимум, за два-три месяца предоставления услуг. При этом сеть будет обладать такими важными качествами как отказоустойчивость, и масштабируемость как в плане расширения абонентской базы, так и в плане расширения спектра услуг.

Подсчитывая удельную (в пересчёте на абонента) стоимость сетевого оборудования, можно обнаружить, что самый большой вклад в эту стоимость вносит уровень доступа. Несмотря на то, что коммутаторы доступа являются самыми дешёвыми, они же и самые многочисленные. Если в коммутатор ядра включено несколько десятков коммутаторов агрегации (а это тысячи абонентов), а в коммутатор уровня агрегации – 12-24 коммутатора доступа (сотни абонентов), то в коммутатор доступа – десятки абонентов. При этом далеко не всегда можно обеспечить стопроцентное заполнение существующих портов, что дополнительно увеличивает среднюю стоимость абонентского порта. Все это – причина для более детального разговора об уровне доступа.

Уровень доступа

Уровень доступа отвечает за L2-сервисы и защиту сети от атак и нежелательного трафика со стороны абонентов. Поскольку оборудование уровня доступа  наиболее многочисленно и устанавливается в доме (подъезде жилого дома или технических помещениях этого дома), требованиями к такому оборудованию являются: низкая стоимость абонентских портов, надёжность (желательно отсутствие вентиляторов, которые требуют периодической чистки и замены), расширенный температурный диапазон и защита от статического электричества. Кроме того, естественно, коммутатор (если мы говорим о сетях Ethernet), должен обеспечивать работу необходимых для оказания услуг абонентам функций, набор которых зависит от набора этих самых услуг, технологии оказания этих услуг и топологии уровней доступа и отчасти – агрегации.

Для начала рассмотрим рекомендуемые и реально существующие  варианты построения уровня доступа в сетях провайдера.

Самая простая (к сожалению, довольно распространённая топология) – цепочка.

Сетевые устройства (в данном случае коммутаторы доступа) соединены последовательно. Такая схема обладает рядом существенных недостатков:

• отсутствие резервирования;
• отсутствие изоляции отказов – отказ одного устройства может привести к отказу всей цепочки;
• взаимное влияние – паразитный трафик воздействует на всю цепочку;
• избыточные требования к коммутаторам – коммутаторы в цепочке обслуживают трафик других коммутаторов.

*У сетевых инженеров очень распространено другое название такой топологии:  “колбаса”.

Соединив крайние устройства в цепочке, получаем следующую топологию – кольцо.

Такая топология лучше цепи только тем, что имеется некоторое резервирование: при наличии одной точки отказа, возможна работа остальных узлов. Все остальные проблемы цепочки остаются. К ним добавляется ещё один недостаток: необходимость настройки сетевого протокола, который позволяет избежать образования логических петель и время срабатывания этого протокола при отказе узла в кольце.

Следующая топология – звезда.

Особенность такой топологии в том, что все коммутаторы доступа изолированы друг от друга и единственной точкой их соединения является коммутатор вышестоящего уровня иерархии – агрегации.

Из этого вытекают как преимущества:

• отсутствие взаимного влияния;
• отсутствие лишнего трафика через коммутатор доступа;
• изоляция отказов;
• изоляция паразитного трафика;
• простота поиска  неполадок;
• так и недостатки топологии:
• отсутствие резервирования связей между уровнями агрегации и доступа;
• наличие единой точки отказа – коммутатора агрегации.

Указанные недостатки можно устранить, применив топологию “двойная звезда”.

Здесь имеется избыточная связность между каждым из коммутаторов доступа с коммутаторами вышестоящего уровня. Кроме того, отсутствует единая точка отказа: коммутаторов агрегации теперь два.

Теперь о реально существующих схемах:

Очень часто, в совсем небольших провайдерах, сеть доступа развивается “исторически” и поэтапно – сначала строится “колбаса”, часто из неуправляемых коммутаторов. По мере нарастания проблем в сети, коммутаторы сначала заменяются на управляемые, затем она замыкается в длинное кольцо.  По мере наращивания абонентской базы и расширения сети от кольца ответвляются новые цепочки. В результате, схема сети доступа представляет собой огромное кольцо с многочисленными ответвлёнными цепочками, либо набор колец. Недостатки такого построения перечислены выше.

По мере дальнейшего роста сети, количество проблем непрерывно нарастает. Приходится разукрупнять кольца, замыкать их не на уровне доступа, а на уровне агрегации, и так далее. В ходе таких работ (которые предполагают вложения в оборудование и линии связи), постоянно возникает конфликт интересов между техническими специалистами (цель которых построить максимально надёжную и беспроблемную сеть), специалистами по работе с абонентами (цель которых продать услуги как можно большему числу абонентов) и владельцем, либо его представителем, который заинтересован получить наибольшую отдачу от вложений. Для разрешения этого конфликта, техническим специалистам необходимы будут убедительные аргументы: обоснование затрат на разворачивание, расширение, либо оптимизацию сети.

Собственно, основная цель этого материала – помочь в выборе разумного решения и его обосновании.

Один из решающих факторов в выборе оборудования уровня доступа – разумная стоимость абонентского порта. К примеру, стоимость абонентского порта в коммутаторе серии DES-3200 составляет менее 10 долларов (в зависимости от модели), что позволяет окупить   затраты на приобретение оборудования из месячной абонентской платы, или даже из платы за подключение.

Однако, стоимость – не единственный фактор при выборе оборудования. Как минимум,  это оборудование должно удовлетворять существующим требованиям к оборудованию доступа, с учётом применяемой топологии и технологий. Большим плюсом также будет поддержка функций, которые, может быть сейчас и не являются необходимыми конкретному провайдеру, но внедрение их неизбежно или вероятно в будущем. Например, это поддержка мультикаст и  IPv6.

Если с построением вновь создаваемой сети или её сегмента все понятно: тут желательно строить звездообразную топологию либо, если “звезда” совсем невыгодна – некрупные кольца, то с расширением либо оптимизацией существующей сети все несколько сложнее. В этом случае стоит принять во внимание способ построения физических соединений между коммутаторами. Сейчас почти все провайдеры используют оптический кабель, а число тех, кто ещё использует протянутую между домами витую пару стремительно сокращается после каждой грозы. В оптических кабелях, как правило, содержится несколько пар волокон, цена кабеля растет не в арифметической прогрессии от числа пар волокон, к тому же цена кабеля не единственная составляющая стоимости кабельной инфраструктуры. Таким образом, очень часто, даже при наличии длинной цепочки из коммутаторов, в запасе имеются неиспользованные оптические волокна. Кроме того, существуют WDM-трансиверы, пара которых за счёт сдвига частот приёма и передачи могут использовать всего одно волокно вместо пары. Все это – резерв для приведения в порядок топологии и им не стоит пренебрегать при проектировании кабельной инфраструктуры и сети вообще.