Итак, у нас есть свой SOM на CycloneV-SE SOC`е. И среди 200
контактов есть выход на тот самый GbE. Привожу схему, чтобы
было понятно:

И суть проблемы: редкие падения-восстановления link на скорости 1000Gb/s.
— Что может быть причиной?
Исследования проводились в двух направлениях:
1) возможности MEMS (генератор 25MHz);
2) корректная работа RGMII интерфейса.

• Почему MEMS? — спросите Вы.
• Это дёшевая, программируемая и малопотребляющая штуковина. Но когда на коробке с программатором для этих генераторов я увидел надпись «Not recommended: Bluetooth, WiFi, USB3.0, Gigabit Ethernet», у меня самого возник подобный вопрос.

Т.к. стабильность частоты у генераторов +-20ppm, то подозрения упали на джиттер (J). И для того чтобы прикинуть а сколько надо, пришлось покопаться в IEEE 802.3-2008.
Из табл. 39-5 секции 3 были взяты две цифры:
1) нормативная Total J (TJ) = 192ps (peak-peak);
2) информативная Deterministic J (DJ) = 96ps (peak-peak),
с помощью которых можно найти запас устойчивости (RJ'(rms))
Si501 по Random J (RJ) следующим образом:
1) определим бюджет RJ(peak-peak) = TJ-DJ = 192-96 = 96ps;
2) соответственно, RJ(rms) = RJ(peak-peak)/alpha = 96/13.8 =
6.96ps,
где alpha = erfcinv(2BER/DTD)sqrt(8) (48B.3.1.3.1);
3) согласно pdf на Si501, в качестве RJ можно брать Phase J
(PJ) = 1.3ps(rms) и тогда искомая величина будет равна:
RJ'(rms) = sqrt(RJ(rms)^2-PJ(rms)^2) = sqrt(6.96^2-1.3^2) =
6.84ps,
а доля Si501 в бюджете TJ передатчика равна:
E,% = (RJ(rms)-RJ`(rms))/RJ(rms) = (6.96-6.84)/6.96 = 1.7%
На мой взгляд, это мало. И дело тут не в J.

• Тогда RGMII?

Судя по всему, EMAC HPS работает в соответствии с версией 1.3
RGMII. Т.е. вот так:

Тут оптимальный захват данных достигается за счет задержек
тактовых сигналов на (1.5-2)ns. Это обычно делается за счет
увеличения длины дорожек.

А PHY после сброса хочет работать по версии 2.0, т.е. вот так:

Налицо явное противоречие, т.к. моём случае все линии данных были
выровнены по тактовым сигналам и задержек на плате не было, а у МАС
в соответствии с 1.3 внутренней задержки на стороне TX
не предусмотрено.

Но для таких как я, в PHY предусмотрены дополнительные skew:

В нашем случае значения skew для RX устанавливались самим PHY
после сброса, а для TX их грузил Linux. И, судя по всему,
грузил правильно.
Подведу итоги:
1) Я разобрался с RGMII, хотя это не помогло решить проблему.
2) Я впервые покопался в IEEE 802.3-2008 в секциях 3 и 4 на
предмет J, хотя это тоже не дало результатов.
3) В итоге оставив в покое RGMII мы заменили MEMS на XO и
link перестал падать. Собственно, с этого мы и начали.
4) Для анализа интерфейса, работающего на частоте 125MHz,
осциллографа с полосой 200MHz явно недостаточно.

Итак, попробуем разобраться…

Исторически так сложилось, что стандартов и типов сетей передачи данных было довольно много. Стоит вспомнить хотя бы ATM, Eternet, SDH, HDLC, FrameRelay, FDDI. Они решают одну задачу — передача данных, но разными методами — одни резервируют канал, другие резервируют и следят за состоянием, третьи просто «укладывают» все пакеты в одну «трубу» и «умывают руки». Такое «разделение труда» объяснимо экономическими факторами, в первую очередь, стоимостью аренды линии. Т.е. когда обеспечивается точное резервирование ресурса, а тем более с отслеживанием и резервированием, то стоимость простоя учитывается в конечной цене ресурса, поскольку поставщик услуги никак не может использовать зарезервированный ресурс для доступа других клиентов. Затем на рынке сложилась ситуация, когда дорогой ресурс стал фактором ценообразования на каналобразующее оборудование. Как же так: стоимость ресурса высока, а средство обеспечения — нет?! В общем итоге, рынок стал довольно дорог. Производителям приходилось оплачивать участие в стандартах и разработке, а также лоббированию. Поставщикам же это включалось в конечную стоимость владения, что давало высокую конечную стоимость для клиента. Кроме того, каждый крупный поставщик оборудования старался придумать свой велосипед стандарт. Так были выпущены многие мертворожденные протоколы и стандарты. Как ни парадоксально, но все принимали стоимость канала, т.к. в основном такие услуги требовались лишь крупным предприятиям, а во многих областях требовалась высокая надежность и универсальность (можно передавать любые типы данных: голос, видео, данные) при любой стоимости (правительственная связь, военные). Вечно так продолжаться конечно же не могло…

Человеческая жажда наживы и желание делать деньги из воздуха привела к тому, что сейчас называется overselling (т.е. продажа объемов больших, чем обладает поставщик). Поясню. Как писалось раннее, ресурс закреплялся за клиентом и его физически невозможно было задействовать для другого клиента (сейчас похожий принцип остался в E1). Перераспределение, как оптимизация позволило бы повысить внутреннюю загруженность каналов поставщика, при внешне той же доступность, что сулило бы большую выгоду от существующих ресурсов. Так родилась технология Ethernet, которая по природе своей не разбиралась кто за что заплатил и поочередно передавала все пакеты по сети. Это конечно же позволило загрузить сети операторов, но и породило много проблем с клиентами. Ведь теперь если кто-то «захватывал» канал, то другие не могли им воспользоваться. Хотя по официально версии Ethernet обрел популярность из-за своей технической дешевизны, но это было лишь экономическим обоснованием для перехода на новую технологию, поскольку при равных абонентских доходах не имело бы смысла вкладываться в переоборудование сетей, некоторые из которых уже на тот момент были планетарного масштаба. Не так ли?

Да. Появилась относительно дешевая технология, как для поставщика, так и для потребителя. Но, как было сказано, появились и проблемы, вроде монопольного использования канала или недостаточности ресурса. Первые решались изобретением шейперов и полисеров, вторые — прогнозированием и мониторингом каналов передачи данных. Если до эры Ethernet слежение за каналами было задачей чисто технической, то теперь оно стало задачей метрологической, т.к. появилась задача измерения параметров, а не только лишь контроля.

Справедливости ради следует отметить, что магистральные (WAN) сети строятся на других принципах и лишь в последнее время нарастает тенденция к применению технологии Ethernet в этом качестве.

Беспроводные сети, так же как и проводные, развивались по нескольким направлениям. Есть технологии высококачественного радиодоступа, с резервированием каналов, мониторингом и резервированием. Они так же предназначались для задач, стоимость реализации и владения результатом решения которых не так важна, как надежность и мультисервисность. А есть и такие, которые нацелены на дешевизну и доступность (например, WiFi). Были проекты у многих операторов связи в области строительства сетей доступа по технологии WiFi, но ни один из них на данный момент не существует в полноценной эксплуатации.

Однако, для радиосетей существуют механизмы самоорганизации (Ad-hoc). Это сети, не имеющие постоянно структуры. Они перестраиваются, в зависимости от множества факторов. Появление этого понятия именно в области радиосвязи логично: в большинстве случаев, радиосвязь используется там, где нет обычной проводной, либо строить ее слишком дорого или нецелесообразно. Оборудование выходит из строя, постоянно меняются условия середы передачи: атмосферы (эфира, если угодно), возникают внешние помехи. Почему бы не наделить простой логикой оборудование и не позволить ему принимать решения по организации «соседств» устройств? Это же решает вопросы доступности и резервирования, а в некоторых случаях и расширения каналов связи (балансировка).

Почему бы не применить подобные методы на проводных сетях? В настоящий момент это не просто, т.к. требует метрологических измерений и настройки каналов в зависимости от множества параметров. Система в целом получается значительно более сложной, чем при радиодоступе. Но за ней будущее! Появится возможность автоматического резервирования, аварийного переключения, балансировки по типам и обеспечения SLA. Да, это потребует сложной работы и усилий. Это потребует ломать стереотипы и мышление. Но кто сказал, что будет легко?

Лично я верю, что за этим будущее. И скоро мы шагнем в него!

Продолжая тему глобального заговора, не будет лишним упомянуть такой метод, а если быть более точным, набор технологий под общим названием DPI (Deep Packet Inspection).

Имея святую веру в свою непогрешимость, некоторые индивиды реально считают, что допустимо всё, что явно не запрещено, и можно остаться незамеченным. Спешу разочаровать этих наивных людей, ведь всегда существовали люди, которые получали зарплату за то, что обеспечивали безопасность и собирали информацию. Мы не будем сейчас углубляться в историю шпионажа или искусства слежки. Моя задача всего лишь показать возможность автоматизации той её части, которая касается мира IT.

Итак, DPI. Технология вбирает в себя множество областей знания: от математики уровня начальной школы до физики электрических процессов. Рассмотрим математику информационно-технических средств.

Про математику можно долго рассуждать и верить или не верить в пригодность её аппарата для такого применения, однако всё лежит на поверхности. Как-то, читая статью про системы обнаружения вторжений, обратил внимание на работу испанских специалистов по сетевой безопасности, которая была приведена в списке литературы. Заинтересовавшись, ознакомился и с ней. Оказывается, что целью было определение аномалий сетевого трафика с целью обнаружения вторжений. Они применяли статистические методы и сравнение с образцовым трафиком. Подобный подход даёт огромный выигрыш в производительности, поскольку не требуется анализировать каждый пакет в потоке, а достаточно собрать статистику. Нет операций сравнения с образцом или тяжёлого поиска последовательностей, и это не что-то новое и уникальное, это просто статистика, точно такая же, которая используется для предсказаний погоды. Чтобы понять технологию, не требуется какого-то специального образования, достаточно лишь курса высшей математики любого вуза нашей страны, если этот курс включал в себя теорию статистики. Вот так всё просто, оказывается. Люди склонны искать сложности, а тем временем истина лежит на поверхности. Как применять данный метод для идентификации источников аномального трафика, в работе также указывается. Но авторы не одиноки. В мире существует множество других исследователей и институтов, работающих над похожими проблемами. Например, уже в одном из американских университетов проводилось исследование по идентификации точек обмена P2P-трафиком. Да-да, того самого, который используется файлообменными сетями и протоколом BitTorrent. Занималась исследованием группа китайских учёных, финансировалось оно крупнейшими IT-компаниями США и Японии, которые, надо отметить, обладают весомыми позициями в министерствах обороны этих двух стран. Вообще, китайцы, надо сказать, собаку съели на анализе трафика. Чего только стоит их Великий китайский фаервол. Забегая вперёд, скажу, что результаты работы положительные, и с очень высокой долей вероятности можно определить два узла, ведущих обмен частями файла с точной идентификацией каждого из них. Самое интересное, что природа трафика в данном случае абсолютно не интересна, и это может быть даже шифрованный либо обфусцированный трафик. Данный метод тоже основан на старой доброй статистике. Что это даёт? Прежде всего, выявление связей и круга общения конкретного объекта: как бы он ни шифровался, всегда возможно определить круг его взаимодействия, а в дальнейшем и установить личность.

Конечно, для проведения статистического анализа требуется получить копию потока где-то на пути от одного объекта к другому, что в текущих реалиях не представляет никакой проблемы: все операторы либо должны иметь средства СОРМ, либо они должны быть у вышестоящих операторов, что в итоге охватывает 100% трафика, даже с избыточностью по оборудованию.

Отлично. С математикой стало более-менее ясно. Следует перейти к технологиям мира IT. Итак, с помощью математики мы выявили сеть узлов, которые обмениваются некоей информацией, которая нам может быть интересна. Надо заметить, что это уже сильно снижает затраты на дальнейшую детальную обработку. Таким образом, обладая идентификаторами узлов, можно построить фильтры, с помощью которых получить лишь ту часть трафика, которой обмениваются эти узлы. Если обмен не зашифрован, то спокойно можно просмотреть всю информацию из отфильтрованного потока, а если зашифрован, то включаются методы криптоанализа. Как правило, всё классически: MITM, атака на ключ, поиск закономерностей. То есть в работу включаются методы более медленные, в силу чего применение их для всего потока невозможно.

Примененяется глубокий анализ пакетов, к счастью, не только для целей вскрыть информацию или проследить за кем-то. Очень часто на сетях операторов связи или крупных владельцев сетей связи приходится обеспечивать приоритеты одного вида трафика над другим. В таком случае используется та же технология DPI, но уже в «мирных целях». Можно, например, урезать полосу для BitTorrent-сессий и обеспечить нормальное прохождение голоса. Спасибо в таком случае должен сказать сам клиент, даже тот, который пользуется торрентами, так как в противном случае он и сам не мог бы нормально просматривать Интернет или позвонить другу на другой континент. Есть, конечно, и негативные примеры использования технологии, хотя и в мирных целях: фильтрация по адресам из-за ограничения доступа к некоторым ресурсам, блокировка таких сервисов, как Skype, VoIP, ICQ, Jabber на сетях мобильных операторов, но к счастью, это пока единичные случаи.

Сама технология не представляет ни опасности, ни пользы: её представляют лишь люди, которые берут технологию на вооружение, и цели, которые они преследуют.

На фоне адресной асфиксии, в лучших традициях рынка: спрос рождает предложение, — как грибы после дождя, выросли множественные посредники и продажники уже дефицитных адресов IPv4. Появились также и сами адреса, которые были получены чуть ли не во времена царя Гороха, а лица, ими владевшие, уже сменили не один бизнес или закрылись вовсе. Таким образом с подачи RIPE у нас снова наблюдается тот самый старый добрый World Wild Web.

Однако, не всё так грустно и ужасно: RIPE с голливудской улыбкой раздаёт всем желающим чуть ли не бесплатно адреса IPv6, что не может не радовать, но остаётся всё же привкус ложки дёгтя в бочке мёда: адреса эти — не более чем профанация, по крайней мере на данный момент. Их поддержка как операторами связи, хостерами, так и конечными клиентами находится в самой зачаточной стадии, и всем нам предстоит ещё проделать огромный путь к вершине: повсеместному использованию IPv6. Как ни прискорбно об этом говорить, но в России, да и много где по миру, операторы вообще не поддерживают или не могут обеспечить маршрутизацию трафика IPv6.

Теперь постараемся разобраться в причинах такого насильственного перехода к новой технологии. Ни для кого не секрет, что в Африке, Азии, Южной Америке и даже Северной Америке региональные регистраторы вполне ещё обладают ресурсами адресов для выделения. Однако вместо того, чтобы перераспределить сети, достать из резервов неиспользуемые ресурсы и технологические затычки, принимается решение об освоении нового пути, имя которому IPv6.

Как бы я ни презирал и не относился бы с иронией ко всяческим теориям заговора, в свете новостей из мира IT и телекома в частности мысли о массовой слежке не удаётся отогнать уже давно.

Давайте посмотрим и определим, в чём основное отличие нового протокола IPv6 от старого IPv4. На мой взгляд — отсутствие NAT как класса. То есть теперь он не нужен, и его отсутствие позиционируется как вселенское благо. Так ли это на самом деле? Может, да, а может, и нет. С одной стороны, действительно, отпадает надобность в костыле на уровне сети — всеми так «любимом» NAT. С другой же стороны, теперь нет единой точки выхода в общую сеть, но есть множество узлов, каждый из которых уникален и обладает адресом. Стоит ли говорить, что это содержит опасность, в том числе коммерческую, для абонентов? Статистически становится возможным выяснить количество рабочих мест абонента — юридического лица. Кто из его сотрудников куда заходит и что вообще делает. Далее анализ можно углубить: вот это Мария Ивановна, она бухгалтер и может быть нам интересна, а это Маша, менеджер по продажам, и реальной информацией не обладает. А тут у нас Сергей Васильевич, генеральный директор, и надо бы за ним последить.

Да, скажете вы, но есть же способы защиты — фаерволы и системы обнаружения вторжений. Кроме того, IPv6 нативно включает в себя семейство протоколов IPSEC, что говорит о большей его безопасности.

Это так, но всё же остаётся ещё множество вопросов. Не так давно была статья об аппаратных закладках в оборудовании разного класса: от домашней кофеварки до самых современных фаерволов от таких гигантов рынка, как Cisco и Juniper. Также следует учитывать эффект деанонимизации пользователя, поскольку у каждого появляется уникальный адрес, который ни за чем более не скрывается. АНБ и другие службы активно внедряют закладки и финансируют системы глубокого анализа трафика. Никто не говорит об исследованиях коллизионности шифорв, которые на данный момент считаются устойчивыми, а тем не менее, подобные исследования проводятся при их разработке и описываются во внутренней документации. Все эти факторы, сложенные вместе: выпуск оборудования с предустановленными закладками, телефоны, которые самостоятельно передают координаты, усиление внедрения IPv6 с прямым доступом в сеть, заставляют меня задуматься о перспективе свободы нашего мира, а ведь у каждого человека должно быть личное пространство, но его постоянно сужают.

А что же нас ждёт завтра?..

Предположив, что сия идея не мне первому пришла в голову, я залез в man ssh_config и наткнулся на поле ProxyCommand :)
Вроде, то, что надо!?

Прописываем в .ssh/config:

Host KnockedHost
HostName knocked.host.com
ProxyCommand /bin/sh -c "/usr/bin/knock %h 1111 2222 3333 && sleep 10 && nc %h %p"


И тогда перед вызовом ssh KnockedHost не нужно будет вручную делать knock knocked.host.com 1111 2222 3333, так как это будет происходить автоматически!

Таким образом можно вызывать любую команду перед подключением по ssh к какому-то хосту.

Полезная инфа (на самом деле, её гораздо больше, юзайте Google!):

• knock-сервер
• knock-клиент
• man ssh_config

Ну что же. Спрашивали? Отвечаем :)

Начнём с самого понятия. Шлейф означает организацию возврата трафика. То есть трафик (поток пакетов, состоящий из битов и байтов ;)), переданный каким-то оборудованием на шлейф, возвращается обратно.

Шлейф бывает физический и логический.

При физическом шлейфе абсолютно весь трафик возвращается обратно, причём абсолютно без каких-либо изменений, даже в том случае, когда пакеты битые. Отсюда и название — физический. Оно означает, что возврат трафика обеспечивается средствами оптического или медного кабеля, то есть физической среды.
Есть ещё один вариант физического шлейфа, когда трафик принимается шлейфом и ретранслируется при передаче обратно. Синоним физического уровня — это шлейф первого уровня (по модели OSI), то есть шлейф L1.

При логическом шлейфе происходит изменение принимаемых пакетов, а уже потом их отправка обратно.
Изменение пакетов делается для того, чтобы оборудование, к которому подключен шлейф, корректно воспринимало и маршрутизировало пакеты, полученные от шлейфа. Например, на 2-м уровне логического шлейфа происходит обмен MAC-адресов местами — MAC-адрес источника становится MAC-адресом получателя и наоборот.
В нашем руководстве пользователя в главе 7.1 есть соответствующие поясняющие картинки по этой теме.

Рассмотрим способы организации физического шлейфа.

В 1G/10G ethernet, где физическая среда — оптическая, самым примитивный физический шлейф делается очень просто — к SFP+ или XFP подключается оптический патч-корд или более длинный кабель, который соединяет приёмник модуля с передатчиком. Естественно, для организации такого шлейфа не требуется специальное оборудование.
Также в нашем приборе Беркут-ETX предусмотрен служебный режим — шлейф первого уровня. Прибор принимает трафик и ретранслирует его без изменений, одновременно с этим собирая статистику по пакетам и измеряя текущую нагрузку.

В 10/100/1G ethernet, где физическая среда — медная, примитивный способ замыкания кабелем уже не применяется. Тут уже нужно оборудование, которое примет сигнал и ретранслирует его без изменений. Именно такой режим и представляет собой шлейф первого уровня в наших приборах Беркут-ЕТ/Беркут-ETL/Беркут-ETX(в режиме 10/100/1000).

Поговорим немного про применение физического шлейфа.

Физический шлейф может использоваться для тестирования физической среды передачи. Его нельзя использовать в сетях с маршрутизацией пакетов, т.к. в таких сетях в оборудовании стоит защита от физических шлейфов (при обнаружении заворачивания трафика порт отключается). А для тестирования физической среды используется традиционный BER-тест, который реализован в наших приборах Беркут-ЕТ, Беркут-ETX. Более подробно про BER-тест в сетях Ethernet можно прочитать тут.

Например, нам недавно пришла партия SFP+ — модулей и мы захотели их протестировать. Для этого взяли прибор Беркут-ETX, подключили к нему модуль и замкнули приём с передачей патч-кордом. Организовали шлейф первого уровня. После проведения теста обнаружилось, что BER просто зашкаливает — около 1е-7! Это при требуемых-то 1е-12! И такой результат со всей партией. Разумеется, такие модули применять нельзя.

Что хочется сказать в заключение. Физический шлейф наиболее пригоден для тестирования среды распространения сигналов Ethernet. При использовании оптики в качестве среды распространения использовать специальное устройство не обязательно — можно обойтись и патч-кордом или бухтой волокна. При использовании же меди необходимо одно из устройств из нашей линейки ET/ETL/ETX. А для тестирования среды по-прежнему актуальным остаётся BER-тест.

сказано — сделано. и теперь у нас есть восемь 10-гигабитных линков. офис маленький, зато сеть — как мало у кого.

вчера завели оптику в серверной в отдельный шкаф, а сегодня приварили пигтэйлы в ящик с разъёмами, также известный как FDP (fiber distribution panel). кроме того, был задействован 10-гигабитный коммутатор из секретных лабораторий НТЦ Метротек.

зачем, спросите вы? зачем в офисном пространстве такие толстые каналы? а вот это — тайна, покрытая мраком. до поры до времени. и не рассказывайте никому, а то…

с низкими скоростями передачи проблем нет: настроил порт на mirror, подключил компьютер с wireshar’ком, настроил фильтрацию — и вперёд, analyze this. но, когда дело касается 10G ethernet, ситуация кардинально меняется. казалось бы, можно подключить мощный компьютер с 10-гигабитной картой и задача решена.

не тут-то было. для двух направлений (приём и передача) нужно уже два десятигигабитных интерфейса и, к тому же, выясняется, что даже самый мощный процессор не в состоянии отфильтровать из потока с нагрузкой 90% нужные пакеты без потерь.

по этому поводу мы решили выпустить новый прибор — Беркут-MX. небольшая коробочка умеет обрабатывать два потока 10-гигабитного трафика одновременно, отбирать пакеты по нужным параметрам и перенаправлять их в гигабитный интерфейс для неспешного анализа тем же wireshark’ом.

впрочем, только фильтрацией возможности устройства не ограничиваются.

подробная информация будет на нашем сайте на следующей неделе, а пока можно почитать небольшую брошюру.

update: на фотографии к этой записи и в буклете показан вариант компоновки прибора в 19″ стойку: в одном корпусе размещены четыре модуля, каждый из которых обрабатывает два 10-гигабитных потока (суммарно — восемь).