Проблемы на магистральных каналах ЗАО "НТЦ ФИОРД"

14 сентября 2011, 23:05

Комментировать

1. Изложу позицию Фиорда по данному вопросу:
   в тексте часть фактов искажена , также приводятся факты, не соответствующие действительности (например о “единственности” стыка FIORD-LEVEL3. Во Франкфурте есть еще стык с Cogent).
   Да, действительно, авария имела место быть: отключились два из трех каналов на Европу. Произошло это в результате обрыва подводного кабеля между Финляндией и Швецией. То что обе две наших трассы на Москва-Франкфурт на этом участке проходят в одном кабеле, мы узнали по факту этой аварии.
   И только благодаря тому, что мы имеем три пути из России в Европу, связность НЕ БЫЛА потеряна полностью. Понятно, что весь трафик не смог пролезть в третий оставшийся канал, но хотя бы оно работало, хоть и медленно.
   Через пару часов удалось переложить емкость в другую трассу, т.е. запустить один из каналов Москва-Франкфурт.

   По результатам данной аварии было принято решение о замене одного из каналов: вместо Москва-Стокгольм-Франкфурт мы организовали канал Москва-Киев-Франкфурт, таким образом вероятность одновременного обрыва снижается кардинально.
   Кроме того, сейчас идут работы по расширению третьего канала Москва-Стокгольм и стыка с Global Crossing, к декабрю запустим.

   — Сергей · 18.11.2011 13:10 · #

2. Сергей, никто не стремился исказить факты, отражались данные на момент аварии:
   каналы в сторону Франкфурта оказались полностью недоступными (помимо DE-CIX, до FIORD‘овских каналов невозможно было достучаться ни со стороны AMS-IX, ни со стороны LINX), что негативно сказалось на доступности ресурсов, связность с которыми осуществлялась через каналы FIORD, особенно со стороны американского и большей части центральноевропейского сегмента (а также со стороны клиентов некоторых российских магистральных провайдеров). И если исходящий трафик из России "ходил" более чем очень медленно и "через раз", то со стороны европейских узлов доступность российских ресурсов в этой ситуации была еще хуже и практически сводилась к нулю.

   Ситуация с резервированием трасс "в одном кабеле", которую Вы как раз дополнительно детализировали, и вызвала у меня претензии, нарекания и ряд вопросов, ибо факт наличия такого специфичного резервирования (хотя назвать его "резервированием" можно с очень большим натяжением) и говорит об отсутствии "надежного резервивирования каналов в сторону Европы", о чем я четко и недвусмысленно и упомянул в своей публикации.

   В размышлениях о единственности стыка с LEVEL3 в рамках DE-CIX, мной подразумевалось только то, что других стыков, включая “резервные”, в рамках иных площадок обмена трафиком или технических площадок с LEVEL3 у FIORD’a нет.
   Более того, могу даже добавить к Вашим словам про COGENT и еще одно подключение, которое нельзя сбрасывать со счетов, – это непосредственные выходы уже на саму точку обмена трафиком DE-СIX и, соответственно, ряду провайдеров, участвующих в этом обмене. В довесок нужно “приплюсовать” к этому списку и другие центральноевропейские точки обмена трафиком – AMS-IX и LINX, – это тоже европейские коннекты.

   Кстати, в силу начавшегося диалога, хотелось бы прояснить некоторые детали относительно текущего состояния дел.

   1) Какова ситуация с LEVEL3? На текущий момент наблюдаем полное отсутствие пира FIORD и LEVEL3, прямой и обратный трафик идет либо через COGENT, либо через GLOBAL CROSSING:

   frankfurt-anc-b1-xe0-0-0.fiord.ru (93.191.9.154) 47.686 ms
te0-1-0-5.ccr21.fra06.atlas.cogentco.com (149.6.140.141) 36.829 ms
level3.fra06.atlas.cogentco.com (130.117.15.130) 37.960 ms vlan70.csw2.Frankfurt1.Level3.net (4.69.154.126) 37.960 ms
ae-71-71.ebr1.Frankfurt1.Level3.net (4.69.140.5) 46.190 ms

   ae-2-70.edge4.Frankfurt1.Level3.net (4.69.154.72) 17.240 ms
globalcrossing-level3-ge.Frankfurt1.Level3.net (195.122.136.246) 16.004 ms
ae7.scr4.FRA4.gblx.net (67.16.145.254) 16.102 ms
ae8.csr2.ARN3.gblx.net (67.16.162.37) 43.055 ms
lag2.ar1.ARN2.gblx.net (67.17.74.46) 36.847 ms
FIORD.port-channel2.424.ar1.ARN3.gblx.net (207.138.94.70) 53.851 ms
www.fiord.ru (93.191.13.10) 53.875 ms

   Пиринг с LEVEL3 полностью сложен или планируется его возобновление? Связность с LEVEL3, являющимся одним их крупнейших игроков рынка магистрального провайдинга, для многих играет важную роль. На официальном сайте FIORD’a все еще заявлено наличие прямой связности с LEVEL3.

   2) Каково положение дел с отключением выхода FIORD’a на амстердамскую площадку обмена трафиком (AMS-IX)? Со стороны Вашей Компании некоторое время назад было заявлено, что “AMS-IX connection is suspended untill December 2011” (“Соединение с AMS-IX приостановлено до декабря 2011 года”, — пер. А.В.). Возобновится ли связность с AMS-IX в указанные сроки?

   — Андрей Василенко · 18.11.2011 16:48 · #

3. Андрей, Вы так глубоко изучаете нашу связность.. Неужели, такие требования к надежности предъявляет простой абонент домашнего интернета 2КОМа?:)

   По поводу LEVEL3: стык с ними был погашен ввиду объединения LEVEL3 и Global Crossing. Мы посмотрим, как будет идти процесс объединения их сетей, возможно мы автоматически окажемся включенными в LEVEL3. В данный момент от стыка с ними кроме “пальцатости” никакой пользы я не вижу. Сеть Global Crossing, на мой взгляд, лучше.

   Временное отсутствие на AMS-IX связано реорганизацией узла в Амстердаме. Планируем вернуться туда в середине декабря на скорости 10Гбит/с.

   — Сергей · 18.11.2011 23:32 · #

4. Думал довольно длительное время, нужно ли отвечать на первый абзац Вашего комментария, однако в итоге решил оставить его и написать ряд поясняющих заметок "на будущее".

   Не знаю, почему в постсоветском Интернете сформировался и существует стереотип «злобный пользователь Домашнего Интернета», ярлыки которого пытаются приклеить в том числе и мне, ибо сталкиваюсь с этим явлением не в первый раз на страницах Блога (да и изучать причины сего явления в данный момент нет ни желания, ни времени).

   Любые выводы, основанные на неоднозначных косвенных признаках и изначально сомнительной информационной почве, выглядят довольно странно, а безосновательный переход на личности, который был продемонстрирован в предыдущем сообщении, не делает чести Вам как собеседнику и явно не придает дополнительного "веса" аргументации, а только лишь говорит об исчерпании ее запасов или же полном отсутствии.

   Думаю, что изначальное прочтение раздела «Обо мне», который присутствует на этом ресурсе, ответило бы Вам на многие вопросы и уже на начальном этапе привнесло ясности в сущность вопроса «почему?»…
   Однако, раз уж это не было сделано, некоторые вопросы, думаю, прояснить стоит.

   Я никак не связан с 2KOM, и даже если бы захотел стать их клиентом в сфере услуг Домашнего Интернета, то не смог бы этого сделать, поскольку основную часть времени провожу вне России. Со сферой Интернет меня связывает довольно много крупных бизнес-проектов, как международных, так и исключительно российских, владением и курированием которых занимаюсь параллельно основной профессии, т.е. связывает т.н. «профессионально-деловая составляющая», — это и два больших дата-центра в России (плюс два в США), и несколько хостинг-компаний (как российских, так и американских), соучредителем и совладельцем которых я являюсь, это ряд крупных интернет-проектов (в числе которых один из известных мировых сервисов просмотра потокового видео), к которым я также имею прямое управленческое отношение.

   Да, я очень внимательно слежу за сетевой связностью и качественными показателями работы сетей FIORD’a, более того, временами рассматриваю их через лупу, поскольку некоторые сетевые проекты, ресурсы, стойки в дата-центрах и сами дата-центры в рамках телекоммуникационных компаний, к которым я имею непосредственное отношение, базируются в сетях FIORD (т.е. FIORD служит для них основным аплинком/апстримом) либо полностью, либо частично, однако в обоих случаях каналы FIORD'a являются одними из ведущих аплинков. Более того, несколько ответственных интернет-проектов европейских и американских компаний, предназначенные для аудитории России и стран постсоветсткого пространства, подключены именно к Вашим сетям, — именно поэтому я с еще большей внимательностью и дотошностью изучаю состояние внешних каналов FIORD’a. И поскольку в свое время именно я явился инициатором переноса площадок из дата-центов США и Европы в отечественные дата-центры, то контроль за их качественным существоанием (т.е за стабильностью и бесперебойностью работы, а также непрерывностью связи) является для репутационным и имиджевым.

   Соответственно наработанную за годы своей работы положительную репутацию я портить не готов и не буду этого делать.
   Более того, Вы сами на своем официальном сайте написали прекрасную фразу на эту тему: "мы понимаем, что даже несколько незапланированных перерывов в предоставлении услуг могут поставить крест на Вашей репутации", что говорит о довольно четком понимании ответственности в сфере телекоммуникационного и интернет- бизнеса.
   В своей работе я придерживаюсь точно такого же подхода.

   Хочу отметить, что именно европейские клиенты сообщили мне о проблемах с недоступностью российских ресурсов (проблемами на каналах), ибо рабочий день в момент возникновения проблем в данных странах еще не подошел к концу. Ситуацию с российскими каналами из Москвы проясняли уже отечественные клиенты, среди которых, естественно, имеются и клиенты «Группы компаний 2KOM», а также ряда других провайдеров.

   Также нетрудно заметить, что я сознательно не упоминал других провайдеров телекоммуникационных услуг конечным пользователям (в первую очередь, юридическим лицам), среди которых нет наших клиентов, но для которых FIORD (НТЦ "Фиорд") является основным аплинком , — к примеру, ООО «Фрязинский городской информационный центр» (FRYAZINO.NET).

   К работе, стратегическому развитию и бизнес-политике FIORD’a я всегда относился достаточно позитивно (хотя в некоторых случаях и скептически, что вполне естественно, ибо ввиду специфики рынка полное и стабильное доверие к игрокам отечественной телекоммуникационной сферы выработать сложно), подтверждением чему служат реальные сетевые проекты и финальный выбор именно FIORD’a как основного аплинка. И именно на основе этого отношения был написан обсуждаемый пост, ибо разочарование в ряде вопросов в той ситуации было действительно болезненным, причем не только для меня.

   Поэтому не имеет смысла искать подвоха там, где его нет.

   Надеюсь, что написанным выше (в дополнение к разделу «О себе») я смог все-таки прояснить ситуацию относительно своей персоны.

   В принципе, можете меня считать кем угодно, хоть «простым пользователем Домашнего Интернета 2KOM», хоть «придирчивым чиновником», хоть «завистливым конкурентом», — это никак не изменит реального положения вещей и сколько-нибудь сильно мое внутреннее "Я" не заденет.

   С первой частью, надеюсь, удалось более-менее разобраться и разъяснить все необходмое, поэтому хочется перейти к основной информации, относящейся к непосредственной сути обсуждаемого вопроса о проблеме…

   Методы и стратегии объединения сетей LEVEL3 и GLOBAL CROSSING, действительно, пока что непонятны, т.е. перспективы туманны (если же объединение пойдет по схеме, аналогичной ГОЛДЕН-ТЕЛЕКОМ—КОРБИНА, то эффективность слияния оказывается под большим вопросом). Хочется верить, что объединение пройдет с минимальным количеством внутренних «расцарапываний лиц» и «мелких пакостей».
   Хотя карты сетевой связности у LEVEL3 и GLOBAL CROSSING довольно разные, благодаря чему оба гиганта удерживали и удерживают прочные позиции лидерства на рынке, особенно это касается североамериканского континента и «восточного» евразийского направления, поэтому для некоторых клиентов (в особенности клиентов дата-центров) наличие прямой связности с LEVEL3 является важным критерием, — да и с одной стороны, до объединения еще далеко, с другой — это же LEVEL3 купил и поглотил GLOBAL CROSSING, а не наоборот, поэтому вопросы загрузки имеющихся международных стыков LEVEL3-GBLX остаются актуальными.
   Согласен, что стабильные лидерские позиции отрицательно влияли и затрудняли процессы бизнес-общения с LEVEL3, хотя после того, как GLOBAL CROSSING окончательно канет в Лету, общаться все равно придется, скорее всего, с теми же отделами LEVEL3.

   Думаю, если потери канальных емкостей с LEVEL3 компании FIORD удалось оперативно и в полном объеме компенсировать (хотя стык с Global Crossing, насколько я информирован, на данный момент составляет значительно меньше 10Gbps, которые имелись у стыка FIORD-LEVEL3), то для российских клиентов в глобальном смысле изменение схемы маршрутизации не будет заметным, хотя в расширении и увеличении сетевой связности с Европой для FIORD’a будет актуальной и полезной, особенно с точки зрения ценности услуг транзита и использования (аренды) каналов широкополосного доступа дата-центрами (подключения дата-центров).

   Относительно AMS-IX информация выглядит обнадеживающей. Надеюсь, что запланированные действия в итоге будут реализованы, — это значительно расширит географию и возможности сетевой связности с Европой.

   Планируется ли аналогичное усиление позиций на LINX, а также появление дополнительных каналов (включая резервные) в “западную” сторону? И насколько "свободным" будет обмен в рамках обновленного узла на AMS-IX?

   — Андрей Василенко · 19.11.2011 04:57 · #

5. Андрей, спасибо за исчерпывающие пояснения в первой части..
   На самом деле в России многие наши клиенты вообще ничего не заметили 14 сентября, т.к. у нас неплохая связность с Российскими операторами, таким образом через зарубежные каналы не ходит “петлевой” трафик, как зачастую происходит у других операторов.

   До отключения стык с Level3 был загружен не так сильно, как Вы думаете, т.к. обмен между РФ и США – единицы процентов от общего трафика (ввиду сильного различия часовых поясов), а именно для связи с США мы его держали.

   В сентябре мы приняли решение о кардинальном апгрейде зарубежного сегмента нашей сети. Процесс идет, в рамках этого проекта скорости подключений и к AMS-IX, и к LINX будут увеличены до 10Гбит/с (декабрь 2011 – январь 2012), а также планируется выход на Netnod-IX в Стокгольме (февраль 2012). Разумеется расширение основных и резервных каналов из России в Европу производится в первую очередь, иначе мы не сможем использовать увеличенные скорости подключений к европейским точкам обмена.

   — Сергей · 20.11.2011 12:59 · #

6. Планы довольно разумные, не могу не отметить. Теперь остается дождаться намеченных сроков и посмотреть, какие изменения принесут нам события ближайшего будущего.

   Относительно сути комменария:
   не сомневаюсь, что те отечественные клиенты, которые используют каналы FIORD‘а для улучшения своей внутрироссийской сетевой связности (а таких насчитывается немало даже по моим скромным данным «рядового пользователя 2КОМ», поскольку FIORD действительго имеет хорошую сетевую связность внутри российского сегмента), не ощутили на себе негативного влияния данной проблемы, однако те, для которых FIORD является основным «западным» аплинком, ее влияние все же ощутили.

   Действительно для "своих" клиентов FIORD в рамках сетевой связности с российскими провайдерами не "гоняет" трафик через европейские петли, однако "обратный" доступ к сетям FIORD со стороны некоторых отечественных провайдеров идет через европейские петли, о чем я упоминал с основной статье.

   Вот так выглядит маршрут из сетей РТКОММ в стороны FIORD:
   msk-dsr0-ge1-2-0-131.rt-comm.ru (81.176.81.17) 0 ms 0 ms 0 ms
217.106.1.22 (217.106.1.22) 12 ms 12 ms 12 ms
Ethernet5-4.ar1.ARN2.gblx.net (64.213.54.49) 23 ms 23 ms 23 ms
trc-fiord-jsc.port-channel2.ar1.arn3.gblx.net (208.48.23.142) 21 ms 20 ms 21 ms
msk-m9-b1-xe5-0-1-vlan544.fiord.ru (62.140.245.81) 21 ms 21 ms 21 ms
www.fiord.ru (93.191.13.10) 21 ms 21 ms 21 ms

   Как можно видеть, присутствует европейская петля. Соответственно все российские клиенты, подключенные к РТКОММ, т.е. как непосредственные клиенты РТКОММ'а, так и провайдеры, использующие его каналы в качестве основных аплинков, испытали ровно аналогичные проблемы с доступом, что и клиенты зарубежных провайдеров.

   Также не могу не отметить, что я никогда не думал, что стык LEVEL3—FIORD был загружен, — не знаю, почему Вы пришли к такому мнению, ибо ни в одной из моих публикаций не содержится информации, которая была бы способна прямо или даже очень косвенно натолкнуть на подобные выводы.
   Если бы стык был загружен, это бы обязательно проявилось в качественных показателях и сразу стало бы заметно.
   Как раз наоборот, я видел, что емкости стыка хватает и что даже она определена с определенным запасом, что являлось серьезным аргументом в пользу размещения интернет-проектов именно в сетях FIORD.

   С другой стороны, именно в США агрегированы такие крупные интернет-проекты как LiveJournal и Facebook, популярность которых в России и странах СНГ за последние два года возрастает в геометрической прогрессии (YouTube не упомянул сознательно, поскольку Google, во-первых, использует распределенную сеть хранения данных, а во-вторых, имеет собственные каналы до технической площадки MSK-IX), поэтому потребности в канальных емкостях “на Запад” тоже увеличиваются (очевидно, что “стыковаться”, например, с Facebook можно и в рамках европейских IX, однако прямая связность через LEVEL3, COGENT или GLOBAL CROSSING все-таки будет лучше), следовательно, увеличивается ценность наличия прямых стыков с крупнейшими магистральными операторами Tier1.
   А если еще провайдер, оказывающий транзитные услуги, имеет прямые стыки непосредственно с сетями указанных интернет-проектов (дабы в очередной раз продемонстрировать отсутствие предвзятости в моих публикациях, отмечу, что FIORD имеет прямой пиринговый стык с GOOGLE), то коммерческая и практическая ценность такого провайдера возрастает еще сильнее, равно как и его позиции на рынке услуг.

   В данный момент доступ со стороны США и части Европы по маршруту LEVEL3->GBLX->FIORD по скорости доступа примерно в два раза хуже, чем старый прямой маршрут LEVEL3->FIORD (в вечернее время некоторые стыки между LEVEL3 и GBLX с завидной передичностью оказываются перегруженными, — это, кстати, наглядно демонстрирует, что до реального практического канального объединения, интеграции и балансировки между LEVEL3 и Global Crossing еще очень далеко), — и подобная перегрузка создает определенную напряженность, поскольку данное ухудшение заметно на глаз даже для неискушенных вопросами скоростей и качества достпа пользователей (естественно, это доставляет определенную головную боль и мне в области тех американо-российских и европейско-российских интернет-проектов, которые расположены в сетях FIORD'а (НТЦ "Фиорд").

   Очень надеюсь, что с полным восстановлением присутствия на европейских точках обмена в озвученные Вами сроки и расширением емкостей внешних каналов эта проблема хотя бы частично устранится.
   Но, как говорится, время покажет.
   Поживем — увидим.

   — Андрей Василенко · 14.12.2011 06:33 · #