Kategorie
#Technologie: Z szafy inżyniera

perfSONAR bez tajemnic

Architektura perfSONAR jest otwarta, modułowa i rozszerzalna. Składa się z zestawu komponentów zaprojektowanych do planowania i wykonywania aktywnych testów oraz gromadzenia i wizualizacji danych.

Warstwa narzędzi odpowiada za przeprowadzanie pomiarów (np. jednokierunkowa utrata pakietów i opóźnienie, przepustowość, trasy, czas odpowiedzi DNS i HTTP). Warstwa planowania pScheduler odpowiada za układanie harmonogramu testów, uruchamianie narzędzi, zbieranie wyników i wysyłanie ich do archiwów. Dane pomiarowe są przechowywane w lokalnej lub centralnej bazie danych, a następnie prezentowane w formie wykresów. Do systemu można w łatwy sposób dodawać wtyczki opracowane dla nowych testów, narzędzi czy archiwizatorów. Dostępny jest też interfejs REST API, umożliwiający integrację z inną infrastrukturą monitorowania. Trwają również prace nad integracją z pakietem OpenSearch, w celu jeszcze większej możliwości eksploracji, analizy i korelacji danych.

 

Domyślna instalacja pełnego zestawu perfSONAR Toolkit dostępnego jako CentOS ISO, RPM lub DEB, zajmuje tylko kilka minut i zapewnia wszystkie niezbędne komponenty w celu uruchomienia pojedynczej instancji. Obecnie na świecie dostępnych jest ponad dwa tysiące instalacji perfSONAR, umieszczonych w różnych sieciach NREN lub organizacjach wirtualnych (np. infrastruktura WLCG wspierająca eksperymenty CERN), z których wiele jest publicznie dostępnych do testów.

W sieci PIONIER działa 20 wydzielonych punktów pomiarowych perfSONAR zainstalowanych w węzłach sieci i dołączonych do przełączników szkieletowych sieci PIONIER. Pomiędzy nimi uruchomione są w trybie tzw. full mesh ciągłe testy jednokierunkowego opóźnienia i straty pakietów oraz cykliczne testy przepustowości (na interfejsie 10G), co zapewnia wgląd w bieżące i historyczne wartości parametrów jakości sieci pomiędzy węzłami. Takie pomiary, dostępne dla administratorów sieci PIONIER, w korelacji ze zdarzeniami i awariami mogą pomóc w izolowaniu problemów oraz weryfikacji działania usług sieciowych po naprawie awarii.

PCSS uczestniczy w pracach nad systemem perfSONAR w ramach projektu GN4-3, gdzie koordynuje usługę Performance Measurement Platform (PMP), zarządza globalnymi działaniami szkoleniowymi i dokumentacją oraz zapewnia eksperckie wsparcie użytkowników.

Więcej informacji na www.perfsonar.net

Szymon Trocha

Kategorie
#Technologie: Z szafy inżyniera

Czas na nowy model

Tradycyjnie wymiana ruchu z „tepsą” odbywała się w dwóch punktach zlokalizowanych w Łodzi i Poznaniu, początkowo jako łącza typu ATM a następnie Gigabit Ethernet. Połączenia te działały bardzo stabilnie przez kilkanaście lat, zapewniając użytkownikom „Neostrady” dostęp do zasobów sieci naukowo-badawczych.

Dynamiczny wzrost poziomu ruchu oraz aplikacji czułych na opóźnienia transmisji spowodował, że opracowane zostało rozwiązanie pozwalające na bardziej efektywną transmisję danych. Głównym założeniem dla nowego modelu było wykorzystanie istniejących lokalnych połączeń sieci MAN z infrastrukturą „tepsy”. Na konferencji technicznej PIONIER w Mielnie zaproponowana została architektura rozproszonego punktu wymiany ruchu IXP (Internet eXchange Point). Zgodnie z przyjętymi założeniami jego uczestnikami będą oczywiście sieci MAN oraz (poprzez dostępne punkty styku) sieć Orange. Wymiana prefiksów IP odbywać się będzie za pośrednictwem Route Serwera w taki sposób, aby dana sieć MAN korzystała z najbliższego punktu styku z „tepsą”, a transmisja w ramach sieci PIONIER zapewniona będzie w technologii EVPN.

W toku dyskusji z administratorami sieci Orange przedstawiony model został zaakceptowany oraz ujęty formalnie w postaci nowej umowy. Na jej podstawie wyznaczonych zostało 7 punktów styku między siecią PIONIER i Orange, realizowanych w technologii 10 Gigabit Ethernet. Ruch naukowy obsługiwany będzie w pięciu lokalizacjach: Gdańsku, Łodzi, Poznaniu, Krakowie i Białymstoku. Ponadto dwa interfejsy, zlokalizowane w Łodzi i Poznaniu przeznaczone będą do obsługi ruchu komercyjnego.

Równolegle do prac o charakterze formalnym uruchomione zostało wdrożenie pilotażowe, wykorzystujące interfejs 10 GE w Poznaniu oraz dwa Route Serwery pracujące na oprogramowaniu BIRD, za których utrzymanie odpowiada IPNOC.  Połączenie w nowym modelu wykazało dużą stabilność i efektywność zaproponowanego rozwiązania, czego dowodem jest pomyślna obsługa ruchu podczas nauczania zdalnego związanego z pandemią COVID-19. Obecnie z pilotażowego wdrożenia korzysta już kilkanaście sieci MAN. Przyjęta architektura wymusza konieczność wprowadzenia bardziej zaawansowanego sposobu monitorowania interfejsów, tak aby na współdzielonych stykach możliwe było rozróżnienie ruchu pochodzącego z poszczególnych sieci MAN. Takie rozwiązanie, wykorzystujące technologię NetFlow/IPFIX, jest obecnie testowane a pierwsze wyniki zostały udostępnione administratorom sieci MAN przez portal Looking Glass (https://lg.pionier.net.pl/grafana).

Rozwój sieci PIONIER oraz sieci MAN spowodował, że wiele usług zmienia swój charakter. W ramach PIONIERa architektura IXP od wielu lat wykorzystywana jest do połączenia ze sobą systemów autonomicznych dla ruchu komercyjnego sieci MAN. Rozproszenie jest wielkim atutem naszej infrastruktury, którego wykorzystanie możliwe jest w wielu obszarach. Jednym z nich może być zbudowanie rozproszonego punktu wymiany ruchu PIONIER-IX, w którego pilotaż włączyło się już kilka sieci MAN (https://portal.ix.pionier.net.pl/customer/details).

Paweł Malak, Tomasz Szewczyk

Kategorie
#Technologie: Z szafy inżyniera

Grafana, czyli platforma wizualizacji danych

W miarę rozwoju infrastruktury PIONIER stało się jasne, że ten kluczowy element monitorowania sieci powinien zostać zastąpiony przez rozwiązanie umożliwiające rozbudowę zgodnie z narastającymi potrzebami w zakresie elastycznego składowania i dostępu do danych oraz nowoczesnych sposobów wizualizacji.

Z punktu widzenia administratorów sieci PIONIER pożądane funkcjonalności nowego systemu obejmują: składowanie dużej ilości danych opartych na czasie, zbieranie danych z różnych źródeł, uzupełnianie składowanych danych o dodatkowe metryki, elastyczna wizualizacja, ograniczenie dostępu dla wybranych użytkowników do wybranych obszarów systemu.

Na podstawie rozpoznania istniejących narzędzi zostały stworzone podstawy do realizacji zaawansowanego środowiska zbierania, składowania i wizualizacji danych. Zdecydowano się na zintegrowane podejście z wykorzystaniem następujących elementów składowych typu open source:

  • VictoriaMetrics – baza danych oparta na czasie
  • Toni Moreno SnmpCollector – moduł zbierania danych SNMP
  • Grafana – platforma wizualizacji danych

W ramach wdrożenia sytemu przeniesiono konfigurację i dane z MRTG, a znaczną ilość pracy poświęcono na integrację wszystkich komponentów. Skalę rozwiązania pokazuje zakres wdrożenia w sieci PIONIER: obecnie system monitorowania obejmuje 99 przełączników szkieletowych i dostępowych oraz ponad 9000 interfejsów na tych urządzeniach. Dodatkowo w zakresie parametrów środowiskowych monitorowane jest 148 elementów systemu optycznego DWDM i ponad 5000 metryk. Nowe oprogramowanie umożliwiło także skrócenie odstępów między kolejnymi odczytami parametrów z 5 minut w MRTG do 1 minuty oraz rezygnację z agregacji danych historycznych – nawet kilkuletnie pomiary nadal przechowywane są w pełnej rozdzielczości.

 

 

Nowe rozwiązanie zapewnia stałe śledzenie ruchu i wartości krytycznych w sieci PIONIER oraz umożliwia poprawę zarządzania zasobami sieci. Będzie on mógł również zaoferować selektywny i bezpieczny sposób dostępu do tych danych dla administratorów sieci MAN. Jednocześnie elastyczność i rozszerzalność systemu sprawia, że możliwa jest jego łatwa rozbudowa w miarę dalszego rozwoju sieci PIONIER.

Wiktor Procyk, Szymon Trocha

Kategorie
#Technologie: Z szafy inżyniera

PIONIER LookingGlass

Wychodząc naprzeciw pytaniom oraz problemom zgłaszanym przez administratorów sieci MAN przygotowane zostało nowe narzędzie LookgingGlass (https://lg.pionier.net.pl/).

Zakresem działania obejmuje ono wybrane przełączniki szkieletowe sieci PIONIER oraz uruchomione na nich usługi. Obecnie pozwala na sprawdzenie tablic routingu dla usług realizowanych w sieciach logicznych (VRF) PLIX oraz LHCone.

Dane wyświetlane są dla następujących wariantów wyszukiwania:

  • Trasa dla prefiksów IP/IPv6 (BGP route)
  • Prefiksy oznakowane przez community (BGP community)
  • Prefiksy na podstawie numerów AS (BGP AS path)
  • Prefiksy rozgłaszane do sąsiada BGP (Advertised Routes)
  • Prefiksy odrzucone/niezaakceptowane od sąsiada BGP (Discarded routes)

 

 

Informacje prezentowane przez system LookongGlass zostały rozszerzone o statystyki z najważniejszych punktów wymiany ruchu: AMSIX, DECIX, LINX i PLIX. Ponadto dostępne są wykresy liczby odrzuconych pakietów i średnim opóźnieniu (RTT) na poszczególnych interfejsach szkieletowych.

System LookingGlass działa w oparciu o oprogramowanie hyperglass (https://hyperglass.dev/), natomiast statystyki ruchu dostępne są przez popularny pakiet Grafana współpracujący z bazą danych VictoriaMetrics.

Hyperglass jest oprogramowaniem typu open-source obsługującym wiele różnych platform sprzętowych. Pozwala na bardzo elastyczne dostosowanie konfiguracji do bieżących potrzeb użytkowników. W prosty sposób umożliwia dodawanie nowych urządzeń do systemu lub wybór prezentowanych informacji.

 

 

Uruchomiony dla administratorów system LookingGlass jest narzędziem bliźniaczym dla działającej już prototypowej usługi PIONIER-IX (https://lg.ix.pionier.net.pl/).

Statystyki prezentowane przez platformę Grafana pochodzą z danych telemetrycznych zbieranych za pośrednictwem interfejsu JTI (Juniper Telemetry Interface). Dzięki temu możliwe jest gromadzenie z wysoką częstotliwością szczegółowych danych takich jak zajętość kolejek na poszczególnych interfejsach lub liczba odrzuconych pakietów.

 

 

Zastosowane narzędzia pozwalają administratorom sieci MAN na sprawdzenie stanu poszczególnych usług, a co za tym idzie przyspieszają diagnostykę i rozwiązywanie problemów.

Tomasz Szewczyk

Kategorie
#Technologie: Z szafy inżyniera

Kabel światłowodowy na linii wysokiego napięcia

Innym sposobem realizacji linii światłowodowych sieci PIONIER było wykorzystanie słupów linii wysokiego napięcia (110 kV) i podwieszenia na nich kabli światłowodowych o  specjalnej konstrukcji. Kabel OPGW (ang. Optical Ground Wire) jest to konstrukcja kabla odgromowego (oplot aluminiowy) z tubami, w których prowadzone są włókna światłowodowe. Kabel ADSS (ang. All Dialectric Self Supporting cables) swoją budową zbliżony jest do tradycyjnego kabla kanałowego. Na poniższym zdjęciu pokazano fragment napowietrznej linii światłowodowej relacji Łódź – Warszawa (odcinek Koluszki-Skierniewice) wykonanej w technologii OPGW.

W sieci PIONIER zainstalowano ok. 630 km linii napowietrznych. Kable światłowodowe tych linii zawieszone są w relacji Warszawa – Białystok (pierwsza uruchomiona relacja w sieci PIONIER!) oraz Sochaczew – Miasteczko Śląskie. Instalacja kabli napowietrznych była stosunkowo szybka i relatywnie tańsza w porównaniu do linii doziemnych. Jest to też infrastruktura bardzo rzadko ulegająca różnego rodzaju uszkodzeniom. Niemniej sama ich eksploatacja wiąże się z koniecznością akceptowania trudnych warunków i ograniczeń właściwych dla sieci elektroenergetycznych wysokiego napięcia. Dostęp do takiej infrastruktury wymaga wyłączenia całej relacji linii energetycznej. Ponadto kable podwieszane na słupach dużo bardziej podlegają działaniom niekorzystnych czynników atmosferycznych. Z tego względu konstrukcja kabli i ich sposób montażu na słupach muszą być odporne na duże naprężenia podczas silnych wiatrów oraz uwzględniać dobowe i sezonowe różnice temperatur. W ostatnim czasie, zważywszy starzenie mechaniczne, obserwujemy konieczność poprawy mocowania niektórych elementów linii, takich jak osłony złączowe czy tłumiki drgań.

W trakcie długoletniej eksploatacji linii światłowodowej zdarza się, że zachodzi potrzeba wykonania pilnych prac naprawczych, planowych przebudów czy podjęcia działań prewencyjnych zapobiegających uszkodzeniom. W przypadku linii napowietrznych w trakcie takich prac może wystąpić konieczność wyłączenia całej sekcji linii energetycznej by bezpiecznie je przeprowadzić. Zdarza się, że na takie okna serwisowe trzeba czekać wiele tygodni.

W przypadku awarii linii (np. zniszczenie słupa, zerwanie kabla) podejmowane są doraźne czynności naprawcze zmierzające do przywrócenia ciągłości włókien i wznowienia możliwości przesyłowych linii, natomiast naprawa docelowa przeprowadzana jest w terminie późniejszym z uwzględnieniem harmonogramu wyłączeń linii energetycznej.

W przeszłości jednym z działań na linii napowietrznej była budowa odgałęzienia nowym kablem do jednego z węzłów na trasie przebiegu głównej relacji z Łodzi do Częstochowy. Na jednym z wielu stalowych słupów linii energetycznej zainstalowana jest osłona złączowa (zwana zwyczajowo mufą) do której zaprojektowano nowe przyłącze kablowe. W kablu OPGW umieszczone są rurki (tuby), w których prowadzone są włókna światłowodowe. Poniżej zdjęcia przestawiające konstrukcję kabla OPGW.

 

 

Na słupie znajdują się zapasy odcinków kablowych z obu kierunków zwinięte na specjalnych mocowaniach, zainstalowanych przy osłonie złączowej.

 

 

Przed przystąpieniem do prac linia energetyczna została wyłączona a stanowisko uziemione  na czas prowadzenia prac i odpowiednio przeszkolony zespół mógł bezpiecznie zdemontować zapasy kablowe i osłonę złączową, znosząc ją na ziemię.

 

 

Osłona została przeniesiona do samochodu technicznego i przez kolejny otwór w jej konstrukcji wprowadzono nowy kabel światłowodowy. Na tackach spawów zostały wykonane spawy.

 

 

Po wykonaniu prac osłona złączowa na powrót została zainstalowana na słupie wraz z zapasami kabli. Zespoły pomiarowe wykonały kontrolne pomiary reflektometryczne włókien, weryfikując poprawność wykonanych spawów. Po analizie wyników nowa linia światłowodowa mogła być oddana do eksploatacji.

Piotr Turowicz

Kategorie
#Technologie: Z szafy inżyniera

Infrastruktura techniczna sieci czyli PIONIER “od kuchni”

Zrealizowane w topologii pierścieniowej linie światłowodowe sieci PIONIER łączą 21 Miejskich Sieci Akademickich (ang. Metropolitan Area Network – „MAN”), zarządzanych przez Jednostki Wiodące danego regionu oraz 5 centrów Komputerów Dużej Mocy – „KDM”. Oznacza to, że każda jednostka MAN/KDM podłączona jest do sieci szkieletowej przynajmniej dwoma niezależnymi fizycznie łączami. Topologia sieci uzupełniona jest dodatkowo 9 połączeniami do krajów ościennych. Długość linii światłowodowych sieci PIONIER na terenie Polski to łącznie 6931,51 km, w tym 5682,51 km własnych linii światłowodowych oraz 1249,00 km linii dzierżawionych od innych operatorów, które uzupełniają podstawową topologię wspomagając optymalizując rozpływ ruchu w sieci.

Komunikacja międzymiastowa realizowana jest za pomocą systemu DWDM opartego o wielostopniowe optyczne krotnice transferowe ROADM. Dzięki swojej architekturze i rozwiązaniom sprzętowym możliwe jest uruchomienie transmisji optycznej między dowolnymi węzłami sieci, do których dołączone są sieci MAN, zapewniając przesyłanie danych z prędkościami 10, 100 a nawet 400Gb/s na pojedynczym kanale.

Zaawansowane usługi transmisji danych realizowane są w sieci pakietowej wykorzystującej technologię MPLS. PIONIER jest niewątpliwie pionierem w tej dziedzinie, zapewniając jako pierwsza w Polsce usługi VPLS dla środowiska naukowo-badawczego z prędkością 10Gb/s w skali całego kraju. Obecnie VPLS zastąpiony został nowocześniejszą technologią EVPN a centra KDM i sieci MAN mają dostęp do interfejsów 100Gb/s.

Monitorowanie i zarządzanie

Nad prawidłowym funkcjonowaniem usług sieci PIONIER nadzór w trybie 24 godz. na dobę przez 365 dni w roku utrzymuje Centrum Zarządzania Poznańskiego Centrum Superkomputerowo-Sieciowego. Zajmuje się ono ciągłym monitoringiem sieci i połączeń, świadczonych usług oraz bieżącą obsługą zgłoszeń i koordynacją prac. Dodatkowo, w ramach zarządzania siecią PIONIER, za warstwę IP odpowiedzialne jest Centrum Komputerowe Politechniki Łódzkiej.

Sieć PIONIER stanowi unikatowe narzędzie badawcze umożliwiające testowanie najnowocześniejszych rozwiązań komunikacyjnych w rzeczywistych warunkach eksploatacji sieci szkieletowej. Nowe koncepcje komunikacji optycznej (np. kwantowej), dalszy dynamiczny rozwój systemów transmisyjnych a także potrzeba optymalizacji ruchu w sieci, determinują potrzebę dalszego rozwoju infrastruktury telekomunikacyjnej sieci PIONIER. W wymiarze praktycznym wiązać się to będzie z wprowadzeniem nowych włókien światłowodowych czy budową nowych odcinków sieci eliminujących nadmierne opóźnienia w przesyle sygnałów optycznych.

Utrzymanie pozycji lidera w dziedzinie technologii sieciowych możliwe jest nie tylko dzięki nowoczesnemu sprzętowi, ale również nowatorskiemu podejściu do wdrażanych usług. Przykładem może być połączenie niektórych systemów autonomicznych sieci MAN w architekturze IX, co dzięki ogólnopolskiemu zasięgowi w istotny sposób usprawnia wymianę danych pomiędzy ich użytkownikami.

Tym artykułem otwieramy pewien cykl przybliżający czytelnikowi aspekty codziennej pracy inżynierów zajmujących się utrzymaniem i eksploatacją rozległej sieci światłowodowej klasy operatorskiej. Na tej drodze, poza planowymi działaniami wspierającymi zapewnienie wysokiego poziomu i niezawodności świadczonych usług zdarzają się, czasem dość zaskakujące, interakcje z otoczeniem ekosystemu sieci warte wspomnienia. Tą drogą będziemy też informować o nowych wdrożeniach. Podzielimy się informacjami dotyczącymi narzędzi, które wspierają inżynierów w ich codziennej pracy.

Krzysztof Kołat, Szymon Trocha, Tomasz Szewczyk