каждый четверг специально обученная программа случайным образом (cat list | shuf -n 1) выбирает из списка сотрудников фамилию жертвы, которая должна собрать информацию о достижениях групп (отделов) и опубликовать небольшой внутренний пресс-релиз в почтовую рассылку.

в результате всегда мы узнаём что-то новое о проектах и неизвестных сторонах жизни в компании в неформальном виде. а кроме того, никто не сможет сказать, что он, дескать, не в курсе происходящего вокруг. и иногда даже выясняется, что в системе трекинга проекта не всё отражается. и это, в общем-то, нормально.

Итак, попробуем разобраться…

Исторически так сложилось, что стандартов и типов сетей передачи данных было довольно много. Стоит вспомнить хотя бы ATM, Eternet, SDH, HDLC, FrameRelay, FDDI. Они решают одну задачу — передача данных, но разными методами — одни резервируют канал, другие резервируют и следят за состоянием, третьи просто «укладывают» все пакеты в одну «трубу» и «умывают руки». Такое «разделение труда» объяснимо экономическими факторами, в первую очередь, стоимостью аренды линии. Т.е. когда обеспечивается точное резервирование ресурса, а тем более с отслеживанием и резервированием, то стоимость простоя учитывается в конечной цене ресурса, поскольку поставщик услуги никак не может использовать зарезервированный ресурс для доступа других клиентов. Затем на рынке сложилась ситуация, когда дорогой ресурс стал фактором ценообразования на каналобразующее оборудование. Как же так: стоимость ресурса высока, а средство обеспечения — нет?! В общем итоге, рынок стал довольно дорог. Производителям приходилось оплачивать участие в стандартах и разработке, а также лоббированию. Поставщикам же это включалось в конечную стоимость владения, что давало высокую конечную стоимость для клиента. Кроме того, каждый крупный поставщик оборудования старался придумать свой велосипед стандарт. Так были выпущены многие мертворожденные протоколы и стандарты. Как ни парадоксально, но все принимали стоимость канала, т.к. в основном такие услуги требовались лишь крупным предприятиям, а во многих областях требовалась высокая надежность и универсальность (можно передавать любые типы данных: голос, видео, данные) при любой стоимости (правительственная связь, военные). Вечно так продолжаться конечно же не могло…

Человеческая жажда наживы и желание делать деньги из воздуха привела к тому, что сейчас называется overselling (т.е. продажа объемов больших, чем обладает поставщик). Поясню. Как писалось раннее, ресурс закреплялся за клиентом и его физически невозможно было задействовать для другого клиента (сейчас похожий принцип остался в E1). Перераспределение, как оптимизация позволило бы повысить внутреннюю загруженность каналов поставщика, при внешне той же доступность, что сулило бы большую выгоду от существующих ресурсов. Так родилась технология Ethernet, которая по природе своей не разбиралась кто за что заплатил и поочередно передавала все пакеты по сети. Это конечно же позволило загрузить сети операторов, но и породило много проблем с клиентами. Ведь теперь если кто-то «захватывал» канал, то другие не могли им воспользоваться. Хотя по официально версии Ethernet обрел популярность из-за своей технической дешевизны, но это было лишь экономическим обоснованием для перехода на новую технологию, поскольку при равных абонентских доходах не имело бы смысла вкладываться в переоборудование сетей, некоторые из которых уже на тот момент были планетарного масштаба. Не так ли?

Да. Появилась относительно дешевая технология, как для поставщика, так и для потребителя. Но, как было сказано, появились и проблемы, вроде монопольного использования канала или недостаточности ресурса. Первые решались изобретением шейперов и полисеров, вторые — прогнозированием и мониторингом каналов передачи данных. Если до эры Ethernet слежение за каналами было задачей чисто технической, то теперь оно стало задачей метрологической, т.к. появилась задача измерения параметров, а не только лишь контроля.

Справедливости ради следует отметить, что магистральные (WAN) сети строятся на других принципах и лишь в последнее время нарастает тенденция к применению технологии Ethernet в этом качестве.

Беспроводные сети, так же как и проводные, развивались по нескольким направлениям. Есть технологии высококачественного радиодоступа, с резервированием каналов, мониторингом и резервированием. Они так же предназначались для задач, стоимость реализации и владения результатом решения которых не так важна, как надежность и мультисервисность. А есть и такие, которые нацелены на дешевизну и доступность (например, WiFi). Были проекты у многих операторов связи в области строительства сетей доступа по технологии WiFi, но ни один из них на данный момент не существует в полноценной эксплуатации.

Однако, для радиосетей существуют механизмы самоорганизации (Ad-hoc). Это сети, не имеющие постоянно структуры. Они перестраиваются, в зависимости от множества факторов. Появление этого понятия именно в области радиосвязи логично: в большинстве случаев, радиосвязь используется там, где нет обычной проводной, либо строить ее слишком дорого или нецелесообразно. Оборудование выходит из строя, постоянно меняются условия середы передачи: атмосферы (эфира, если угодно), возникают внешние помехи. Почему бы не наделить простой логикой оборудование и не позволить ему принимать решения по организации «соседств» устройств? Это же решает вопросы доступности и резервирования, а в некоторых случаях и расширения каналов связи (балансировка).

Почему бы не применить подобные методы на проводных сетях? В настоящий момент это не просто, т.к. требует метрологических измерений и настройки каналов в зависимости от множества параметров. Система в целом получается значительно более сложной, чем при радиодоступе. Но за ней будущее! Появится возможность автоматического резервирования, аварийного переключения, балансировки по типам и обеспечения SLA. Да, это потребует сложной работы и усилий. Это потребует ломать стереотипы и мышление. Но кто сказал, что будет легко?

Лично я верю, что за этим будущее. И скоро мы шагнем в него!

Продолжая тему глобального заговора, не будет лишним упомянуть такой метод, а если быть более точным, набор технологий под общим названием DPI (Deep Packet Inspection).

Имея святую веру в свою непогрешимость, некоторые индивиды реально считают, что допустимо всё, что явно не запрещено, и можно остаться незамеченным. Спешу разочаровать этих наивных людей, ведь всегда существовали люди, которые получали зарплату за то, что обеспечивали безопасность и собирали информацию. Мы не будем сейчас углубляться в историю шпионажа или искусства слежки. Моя задача всего лишь показать возможность автоматизации той её части, которая касается мира IT.

Итак, DPI. Технология вбирает в себя множество областей знания: от математики уровня начальной школы до физики электрических процессов. Рассмотрим математику информационно-технических средств.

Про математику можно долго рассуждать и верить или не верить в пригодность её аппарата для такого применения, однако всё лежит на поверхности. Как-то, читая статью про системы обнаружения вторжений, обратил внимание на работу испанских специалистов по сетевой безопасности, которая была приведена в списке литературы. Заинтересовавшись, ознакомился и с ней. Оказывается, что целью было определение аномалий сетевого трафика с целью обнаружения вторжений. Они применяли статистические методы и сравнение с образцовым трафиком. Подобный подход даёт огромный выигрыш в производительности, поскольку не требуется анализировать каждый пакет в потоке, а достаточно собрать статистику. Нет операций сравнения с образцом или тяжёлого поиска последовательностей, и это не что-то новое и уникальное, это просто статистика, точно такая же, которая используется для предсказаний погоды. Чтобы понять технологию, не требуется какого-то специального образования, достаточно лишь курса высшей математики любого вуза нашей страны, если этот курс включал в себя теорию статистики. Вот так всё просто, оказывается. Люди склонны искать сложности, а тем временем истина лежит на поверхности. Как применять данный метод для идентификации источников аномального трафика, в работе также указывается. Но авторы не одиноки. В мире существует множество других исследователей и институтов, работающих над похожими проблемами. Например, уже в одном из американских университетов проводилось исследование по идентификации точек обмена P2P-трафиком. Да-да, того самого, который используется файлообменными сетями и протоколом BitTorrent. Занималась исследованием группа китайских учёных, финансировалось оно крупнейшими IT-компаниями США и Японии, которые, надо отметить, обладают весомыми позициями в министерствах обороны этих двух стран. Вообще, китайцы, надо сказать, собаку съели на анализе трафика. Чего только стоит их Великий китайский фаервол. Забегая вперёд, скажу, что результаты работы положительные, и с очень высокой долей вероятности можно определить два узла, ведущих обмен частями файла с точной идентификацией каждого из них. Самое интересное, что природа трафика в данном случае абсолютно не интересна, и это может быть даже шифрованный либо обфусцированный трафик. Данный метод тоже основан на старой доброй статистике. Что это даёт? Прежде всего, выявление связей и круга общения конкретного объекта: как бы он ни шифровался, всегда возможно определить круг его взаимодействия, а в дальнейшем и установить личность.

Конечно, для проведения статистического анализа требуется получить копию потока где-то на пути от одного объекта к другому, что в текущих реалиях не представляет никакой проблемы: все операторы либо должны иметь средства СОРМ, либо они должны быть у вышестоящих операторов, что в итоге охватывает 100% трафика, даже с избыточностью по оборудованию.

Отлично. С математикой стало более-менее ясно. Следует перейти к технологиям мира IT. Итак, с помощью математики мы выявили сеть узлов, которые обмениваются некоей информацией, которая нам может быть интересна. Надо заметить, что это уже сильно снижает затраты на дальнейшую детальную обработку. Таким образом, обладая идентификаторами узлов, можно построить фильтры, с помощью которых получить лишь ту часть трафика, которой обмениваются эти узлы. Если обмен не зашифрован, то спокойно можно просмотреть всю информацию из отфильтрованного потока, а если зашифрован, то включаются методы криптоанализа. Как правило, всё классически: MITM, атака на ключ, поиск закономерностей. То есть в работу включаются методы более медленные, в силу чего применение их для всего потока невозможно.

Примененяется глубокий анализ пакетов, к счастью, не только для целей вскрыть информацию или проследить за кем-то. Очень часто на сетях операторов связи или крупных владельцев сетей связи приходится обеспечивать приоритеты одного вида трафика над другим. В таком случае используется та же технология DPI, но уже в «мирных целях». Можно, например, урезать полосу для BitTorrent-сессий и обеспечить нормальное прохождение голоса. Спасибо в таком случае должен сказать сам клиент, даже тот, который пользуется торрентами, так как в противном случае он и сам не мог бы нормально просматривать Интернет или позвонить другу на другой континент. Есть, конечно, и негативные примеры использования технологии, хотя и в мирных целях: фильтрация по адресам из-за ограничения доступа к некоторым ресурсам, блокировка таких сервисов, как Skype, VoIP, ICQ, Jabber на сетях мобильных операторов, но к счастью, это пока единичные случаи.

Сама технология не представляет ни опасности, ни пользы: её представляют лишь люди, которые берут технологию на вооружение, и цели, которые они преследуют.

На фоне адресной асфиксии, в лучших традициях рынка: спрос рождает предложение, — как грибы после дождя, выросли множественные посредники и продажники уже дефицитных адресов IPv4. Появились также и сами адреса, которые были получены чуть ли не во времена царя Гороха, а лица, ими владевшие, уже сменили не один бизнес или закрылись вовсе. Таким образом с подачи RIPE у нас снова наблюдается тот самый старый добрый World Wild Web.

Однако, не всё так грустно и ужасно: RIPE с голливудской улыбкой раздаёт всем желающим чуть ли не бесплатно адреса IPv6, что не может не радовать, но остаётся всё же привкус ложки дёгтя в бочке мёда: адреса эти — не более чем профанация, по крайней мере на данный момент. Их поддержка как операторами связи, хостерами, так и конечными клиентами находится в самой зачаточной стадии, и всем нам предстоит ещё проделать огромный путь к вершине: повсеместному использованию IPv6. Как ни прискорбно об этом говорить, но в России, да и много где по миру, операторы вообще не поддерживают или не могут обеспечить маршрутизацию трафика IPv6.

Теперь постараемся разобраться в причинах такого насильственного перехода к новой технологии. Ни для кого не секрет, что в Африке, Азии, Южной Америке и даже Северной Америке региональные регистраторы вполне ещё обладают ресурсами адресов для выделения. Однако вместо того, чтобы перераспределить сети, достать из резервов неиспользуемые ресурсы и технологические затычки, принимается решение об освоении нового пути, имя которому IPv6.

Как бы я ни презирал и не относился бы с иронией ко всяческим теориям заговора, в свете новостей из мира IT и телекома в частности мысли о массовой слежке не удаётся отогнать уже давно.

Давайте посмотрим и определим, в чём основное отличие нового протокола IPv6 от старого IPv4. На мой взгляд — отсутствие NAT как класса. То есть теперь он не нужен, и его отсутствие позиционируется как вселенское благо. Так ли это на самом деле? Может, да, а может, и нет. С одной стороны, действительно, отпадает надобность в костыле на уровне сети — всеми так «любимом» NAT. С другой же стороны, теперь нет единой точки выхода в общую сеть, но есть множество узлов, каждый из которых уникален и обладает адресом. Стоит ли говорить, что это содержит опасность, в том числе коммерческую, для абонентов? Статистически становится возможным выяснить количество рабочих мест абонента — юридического лица. Кто из его сотрудников куда заходит и что вообще делает. Далее анализ можно углубить: вот это Мария Ивановна, она бухгалтер и может быть нам интересна, а это Маша, менеджер по продажам, и реальной информацией не обладает. А тут у нас Сергей Васильевич, генеральный директор, и надо бы за ним последить.

Да, скажете вы, но есть же способы защиты — фаерволы и системы обнаружения вторжений. Кроме того, IPv6 нативно включает в себя семейство протоколов IPSEC, что говорит о большей его безопасности.

Это так, но всё же остаётся ещё множество вопросов. Не так давно была статья об аппаратных закладках в оборудовании разного класса: от домашней кофеварки до самых современных фаерволов от таких гигантов рынка, как Cisco и Juniper. Также следует учитывать эффект деанонимизации пользователя, поскольку у каждого появляется уникальный адрес, который ни за чем более не скрывается. АНБ и другие службы активно внедряют закладки и финансируют системы глубокого анализа трафика. Никто не говорит об исследованиях коллизионности шифорв, которые на данный момент считаются устойчивыми, а тем не менее, подобные исследования проводятся при их разработке и описываются во внутренней документации. Все эти факторы, сложенные вместе: выпуск оборудования с предустановленными закладками, телефоны, которые самостоятельно передают координаты, усиление внедрения IPv6 с прямым доступом в сеть, заставляют меня задуматься о перспективе свободы нашего мира, а ведь у каждого человека должно быть личное пространство, но его постоянно сужают.

А что же нас ждёт завтра?..

когда создавалась плата b4-gbe, стандарта CFP для 100G ещё не было. а мы уже были. и тенденция осталась.

на днях будем испытывать этот 100-гигабитный модуль в нашем приборчике.

ps. картинка кликабельна.

1. у нас не было инструмента
2. это надо запланировать
3. у задачи был низкий приоритет
4. не было команды это делать
5. сделано ровно то, о чём просили
6. если скажут сделать, то сделаем
7. мы работаем
8. мы всегда так делали
9. ничего не знаю. письма не было

надеюсь, не надо пояснять, что в нашей организации такое не приветствуется. но замечать — замечаем.

ps. картинка «кликабельна»

выставка занимает более 5 павильонов и проводится в Nurnberg Messe

мы приехали туда втроём.
Артём Двинин(artem) и Павел Курочкин(pk)

и Александр Степанов (stepanov)

на выставке было выставлено множество плат с процессорами, периферийными компонентами, разными разъёмами и прочими embedded-примочками.

я для себя отметил следующий тренд: это SoC-решения. SoC — system on chip, система на одном кристалле.
как минимум четверо крупных участников представили свои новые чипы, в которых процессор объединён с программируемой логикой в одном чипе. Xilinx представил Zync, Altera — V поколение, Cypress — PSoC,
Actel (он же Microsemi) — SmartFusion.

Обо всём по порядку.

Xilinx Zync

Чипы этой серии уже производятся и доступны для широкого круга. цена за чип — не более 50 долларов при партии 1000 штук (модель уточню чуть позже). то есть довольно-таки неплохо, учитывая, что это не просто FPGA, но и ещё и довольно мощный процессор.

Что имеем: двухядерный процессор Cortex A9 с частотой 0.8-1 ГГц + FPGA различной ёмкости. тех. процесс — 28 нм. на этот Cortex устанавливается linux, имеется IDE для разработки FPGA, ну и т.п.

что порадовало? огромное количество всевозможных готовых плат на базе Zync. Их предлагают Trenz Electronic, ITR, PLDA.

учитывая тот факт, что микросхемы уже вовсю производятся, можно начинать разрабатывать на базе Zync и закладывать его в новые продукты.

Altera Family V

похоже, Altera пока проигрывает позиции своему основному конкуренту — Xilinx. пятое семейство имеет практически такую же начинку, что и Zync, но пока представлены только инженерные образцы. массовый выпуск планируется начать в мае. однако, уже готовы и платы на базе этих инженерных образцов.

например, SoCrates by EBV Electronik (www.ebv.com) — очень интересная платка

ну и такая:

что порадовало? был продемострирован отладчик (которого, по рассказам представителей Altera, нет у Xilinx), позволяющий отлаживать ARM+FPGA синхронно. называется он DS-5 и основная его «фишка» в том, что работу прошивки FPGA можно сопоставить с кодом, выполняемым в Cortex’е, даже по времени. это хорошо видно из описания и скриншота.

событие, генерируемое из FPGA, останавливает процессор в точке, соответствующей данному моменту времени. дальше можно следовать по шагам, просматривать регистры и т.п.

Actel (Microsemi) Smart Fusion

это тоже процессор + FPGA, только процессор чуть послабже, а именно — Cortex-M3. зато какой там FPGA!

в этом устройстве больше всего порадовала его цена — около 300 долларов за чип (не помню точно, за какой, но количество LE там около 50000) :)
Высокая цена обусловлена устройством FPGA — состояние каждой ячейки (LE) сохраняется во флеш и при включении инициализируется из этой флешки. включение происходит с молниеносной скоростью и не требует высокого тока включения (я правильно выражаюсь?).

данное предложение актуально для военных целей, авионики.

как устроен этот flash FPGA в подробностях, я пока не нашёл :(

офиц. ссылка

Cypress PSoC

помните те времена, когда в микроконтроллере было фиксированное количество i2c, spi, etc.. контроллеров и они были жёстко привязаны к определённым ножкам? так вот можете про них забыть. это — прошлый век :)

PSoC — это конструктор, где кирпичиками являются так называемые UDB (universal device block). для чипа, установленного на плате и подключенного к какой-то перефирии разработчик создаёт проект, в который добавляет нужные контроллеры из библиотеки компонентов. каждому добавленному компоненту назначаются ножки и базовый адрес (причём на выставке мне говорили, что идентификатором каждого компонента является строка, но я не верю ;) — проверю ). Один контроллер может занимать один или несколько UDB-блоков.

список компонентов, доступных в библиотеке, есть на сайте компании. важно отметить, что поведение любого компонента можно изменить: берём Verilog в руки и правим или создаём свой!

а! чуть не забыл про ложку дёгтя: этот самый PSoC creator работает только под windows :)

официальная ссылка

SATA + NAND

очень понравился чип, который интегрирует в себе SATA-контроллер и NAND-флеш. при этом чип имеет одинаковый footprint независимо от объёма и объём достигает 64 ГБ. встроенный контроллер берёт на себя заботы о bad-блоках и прочих орг. вопросах, а в системе этот чип виден как обычный sata-диск.
фото

сайт greenliant

Средства измерения

порадовал tektronix демонстрацией своего multi-domain осциллографа (может быть для кого-то это обыденный девайс, но для меня — новость :) ) он умеет записывать аналоговые, цифровые и радиочастотные процессы, происходящие, естественно, параллельно. 4 канала на аналог/цифру и 1 RF.
я на этот стенд зашёл просто из любопытства и мне показали маленькое шоу на тестовой плате, управляющей радиочастотой. управление производилось по SPI. чип, управляемый по SPI-шине, рулит напряжением, а оно уже частотой. и на осциллографе можно увидеть все эти процессы: декодированные SPI-посылки, радиочастотный спектр, уровень аналогового сигнала. и, главное, всё это можно записать для последующего анализа. и триггеры можно устанавливать по всем каналам! меня впечатлило.

а цена у этого девайса немалая =)
см. сюда

мониторинг i2c

также был представлен инструмент для мониторинга i2c-шины. небольшая USB-коробочка подключается к i2c и записывает всё, что происходит на шине. далее в окне программы можно увидеть всё — от коллизий, возникших на шине, до протокола обмена между устройствами. предусмотрен поиск и прочие удобные «крутилки». очень удобная вещь! и цена довольно гуманная — 300 долларов (плата + софт), особенно если учесть сколько времени мы потратили на отладку i2c-шины :) аналогичное решение предлагается и для SPI-шины.

надо брать!

Redundant switch

интересного «монстра» показала одна финская компания (http://www.flexibilis.com)

как бы вы думали, что это? :)

это система с резервированием каналов. образует гигабитную оптическую сеть и обеспечивает устойчивость при пропадании одного или нескольких линков.

подробнее можно почитать на родном сайте. там и схема есть, и объяснение.

заключение

было очень интересно. практически никакой попсы (в последнее время набили оскомину павильоны, забитые стендами операторов связи), только платки и железяки. приятно чувствовать себя в такой среде, как рыба в воде :)

я для себя взял многие идеи на вооружение и буду применять их в новых разработках. и, честно говоря, хотелось бы в следующем году выставиться на такой выставке. посмотрим, может быть и получится ;)

ну и без баварского пива не обошлось, конечно же. это было приятным продолжением нашего путешествия.

и в заключение скажу, что мог я, конечно, что-то не так записать или понять. поэтому проверяйте
информацию на официальных сайтах, пожалуйста.

но самым интересным и полезным результатом поездки было не решение проблемы, хотя это и немаловажно. несколько забегов с третьего этажа в автозал и обратно помогли понять, что во время работы шлейфа не стоит отключать удалённый доступ к устройству! казалось бы, очевидный факт? но пока сам не побегаешь, не догадаешься.

итог: новая прошивка для Беркут-ETL с одновременной поддержкой telnet’а и ping’a на всех уровнях шлейфа, кроме первого.

скачать можно здесь. а вот список изменений

ps. Беркут-ETL — мега-устройство для организации гигабитного ethernet-шлейфа, которое мы разработали и успешно производим.

«дорогая передача! во субботу, чуть не плача, вся канатчикова дача…»
(В. Высоцкий)

и вот что хочется сказать про блог, который вы сейчас читаете:
мы не боимся сообщать пользователям о проблемах, которые иногда обнаруживаются в наших приборах. и в самом деле, где нет проблем? да практически в каждом сложном устройстве можно что-нибудь найти и придраться.

если найден какой-либо недостаток в выпускаемых нами устройствах, то мы стараемся устранить его с максимально возможной оперативностью, а не говорим: «у нас всё работает, разбирайтесь сами».

потому что не так страшен сам факт наличия ошибки, как отсутствие желания эту ошибку исправить.

пишите, звоните. мы всегда готовы помочь.

email: support@metrotek.spb.ru
телефоны: +7 (495) 616-1001 и +7 (812) 340-0118.