OpenSearch dla DevOps: wdrożenie, potok logów i utrzymanie klastra
Dwudniowe szkolenie prowadzone na żywo (online lub stacjonarnie) dla administratorów i DevOps: instalacja i konfiguracja OpenSearch, bezpieczeństwo, potok logów w Vector, retencja danych, wydajność, monitoring i alerty, kopie zapasowe, cross-cluster search i migracja z Elasticsearch 8.x.
Postawisz OpenSearch, doprowadzisz do niego logi przez Vector i utrzymasz klaster, który przeżyje awarię węzła: bezpieczeństwo, retencja, monitoring, kopie zapasowe i plan migracji z Elasticsearch 8.x.
- Czas trwania szkolenia:
- 16 godzin · 16 godz. (2 dni)
- Poziom zaawansowania:
- Podstawowy → średniozaawansowany
- Grupa docelowa:
- Administratorzy systemów, DevOps, SRE, inżynierowie platformowi
Dostępne terminy szkolenia
Najbliższy termin otwarty ogłoszę po zebraniu grupy 4 osób - zostaw zapytanie z preferowanym miesiącem albo zapisz się na powiadomienie o kolejnych terminach. Szkolenie zamknięte dla Twojej firmy mogę poprowadzić w dowolnym uzgodnionym terminie.
Forma szkolenia
Interesuje Cię szkolenie stacjonarne?
Powiadom o kolejnych terminach
Interesuje Cię szkolenie w innym terminie?
Po szkoleniu uczestnik potrafi
- ✓Uruchomisz i skonfigurujesz OpenSearch oraz OpenSearch Dashboards we własnej infrastrukturze
- ✓Zabezpieczysz środowisko: TLS, użytkownicy, role, uprawnienia do indeksów i dokumentów, audyt
- ✓Zbudujesz potok zbierania logów w Vector: parsowanie, normalizacja pól, obsługa błędów i ponawianie
- ✓Ustawisz cykl życia danych: szablony, aliasy, rollover, ISM i retencja
- ✓Dobierzesz liczbę shardów i replik oraz zasoby do ilości danych i rodzaju zapytań
- ✓Znajdziesz przyczyny wolnego indeksowania i wyszukiwania
- ✓Zmonitorujesz klaster i skonfigurujesz alerty operacyjne
- ✓Wykonasz kopię zapasową, odtworzysz dane i przećwiczysz awarię węzła
- ✓Połączysz klastry (cross-cluster search) i zabezpieczysz komunikację między nimi
- ✓Zaplanujesz migrację z Elasticsearch 8.x wraz z weryfikacją danych i drogą powrotu
Wymagania
- Swobodna praca w Linuksie (bash, systemd, sieć)
- Doświadczenie w administracji systemami lub pracy w DevOps
- Znajomość OpenSearch ani Elasticsearch nie jest wymagana
Grupa docelowa
- Zespoły budujące centralne logowanie na OpenSearch
- Administratorzy, którzy dostali OpenSearch „w spadku” i muszą go utrzymać
- DevOps i SRE planujący migrację z Elasticsearch 8.x
- Osoby przechodzące z Logstash i Beats na Vector
Plan szkolenia
Architektura i uruchomienie OpenSearch
- Do czego służy OpenSearch i czym różni się od Elasticsearch (także licencyjnie)
- Z czego składa się środowisko: węzły, role, OpenSearch Dashboards, wtyczki
- Instalacja: pakiety, kontenery, konfiguracja startowa
- Najważniejsze ustawienia konfiguracyjne i limity systemowe
- Podział danych na shardy i repliki między węzłami
- Pierwsze polecenia przez REST API i Dev Tools
Bezpieczeństwo i dostęp
- Zabezpieczenie połączeń: TLS między węzłami i dla klientów
- Użytkownicy, role i mapowanie ról
- Uprawnienia na poziomie indeksów, dokumentów i pól
- Dostęp aplikacji i agentów zbierających dane
- Rejestrowanie dostępu i działań użytkowników
Indeksy i cykl życia danych
- Mapowania i szablony indeksów okiem administratora
- Aliasy i bezpieczne przełączanie indeksów
- Dane napływające w czasie: rollover i kolejne indeksy
- Index State Management: przenoszenie, zamykanie, usuwanie
- Planowanie czasu przechowywania danych i kosztu dysku
Zbieranie i przesyłanie danych za pomocą Vector
- Rola Vector w systemie zbierania logów
- Kiedy Vector, a kiedy Fluent Bit
- Odczyt danych z różnych źródeł
- Przekształcanie surowych logów w uporządkowane pola
- Ujednolicanie nazw pól, dat i formatów wartości
- Przesyłanie danych do OpenSearch
- Błędne rekordy, przerwy w połączeniu, ponawianie i kolejkowanie
Przetwarzanie i podsumowywanie danych
- Gdzie przetwarzać dane: w Vector czy w OpenSearch
- Przygotowanie danych podczas zapisywania (ingest pipelines)
- Uzupełnianie dokumentów o dodatkowe informacje
- Tworzenie podsumowań na podstawie danych szczegółowych
- Wykorzystanie podsumowań do przyspieszenia analiz i odciążenia klastra
Wydajność i pojemność
- Wpływ ilości danych i rodzaju zapytań na wymagania sprzętowe
- Dobór liczby shardów i replik, rozmiar sharda
- Pamięć (heap, page cache), dysk, sieć
- Szukanie przyczyn wolnego indeksowania i wyszukiwania
- Slow log, cache, kosztowne zapytania
Monitoring i alerty
- Stan klastra i wykorzystanie zasobów - co obserwować
- Przeglądanie danych i panele operacyjne w OpenSearch Dashboards
- Reguły alertów i powiadomienia
- Alerty, które mają sens: rosnące opóźnienie, brak napływu danych, miejsce na dysku
- Krótkie wprowadzenie do Security Analytics - kiedy warto pójść dalej
Niezawodność i utrzymanie
- Kopie zapasowe (snapshoty) i odtwarzanie danych
- Co dzieje się po awarii węzła
- Zasady projektowania środowiska wysokiej dostępności
- Stopniowy i pełny restart klastra
- Aktualizacja wersji i praca na produkcji bez przestoju
Wiele klastrów
- Przeszukiwanie kilku klastrów jednym zapytaniem
- Konfiguracja połączeń ze zdalnymi klastrami
- Zabezpieczenie komunikacji między klastrami
- Wpływ uprawnień na dostęp do danych w zdalnym klastrze
Planowanie migracji z Elasticsearch 8.x
- Jakie dane i funkcje trzeba przenieść
- Różnice mogące wpłynąć na migrację (API, klienci, wtyczki)
- Dobór sposobu przeniesienia danych
- Dostosowanie aplikacji, zapytań i konfiguracji indeksów
- Sprawdzenie kompletności danych i poprawności wyników
- Zaplanowanie przełączenia i przygotowanie drogi powrotu
Podsumowanie i zakończenie
- Powtórka najważniejszych zagadnień
- Pytania i odpowiedzi
- Materiały i dalsza ścieżka nauki
Formy szkolenia
Online na żywo z trenerem
Zdalnie, w małej grupie, z własną maszyną wirtualną dla każdego uczestnika. Cały czas widzisz mój pulpit i możesz zadawać pytania.
Stacjonarnie u klienta
Przyjeżdżam do Twojej firmy w dowolnym miejscu w Polsce. Laboratorium stawiamy na Waszej infrastrukturze albo na przygotowanych przeze mnie maszynach.
Dedykowane dla firm
Program dopasowuję do Waszego stosu i problemów: wersja Elasticsearch, wolumen danych, integracje. Ćwiczymy na scenariuszach zbliżonych do Waszej produkcji.
Marcin Lewandowski
Praktyk, nie tylko trener. Programista i architekt systemów z ponad 10-letnim doświadczeniem. Elasticsearch utrzymuję i rozwijam na produkcji, a nie tylko na slajdach - wiem, co się psuje o trzeciej w nocy i jak tego uniknąć.
Autor kursów Elasticsearch i RabbitMQ na czterytygodnie.pl - 86 lekcji wideo o Elasticsearch, z których korzystają setki programistów. Szkolenia na żywo prowadzę od lat dla firm i dla dostawców szkoleń.
Uczę tak, jak sam chciałbym być uczony: mało teorii, dużo laboratorium, każde polecenie wykonujemy razem i rozumiemy, dlaczego działa.
Najczęściej zadawane pytania
Ile osób może wziąć udział w szkoleniu?
Czy potrzebuję własnego środowiska?
Czy szkolenie może być dopasowane do naszego projektu?
Czy uczestnicy dostają materiały?
Jak wygląda rozliczenie?
Szkolenia powiązane
OpenSearch w praktyce: dane, SIEM i wyszukiwanie wektorowe
Trzydniowe szkolenie prowadzone na żywo (online lub stacjonarnie): OpenSearch od podstaw, zbieranie logów przez Vector, analiza bezpieczeństwa z regułami Sigma, utrzymanie klastra i migracja z Elasticsearch 8.x oraz wyszukiwanie wektorowe, RAG i agenci AI.
Więcej…OpenSearch dla programistów: wyszukiwanie, agregacje i integracja z aplikacją
Dwudniowe szkolenie prowadzone na żywo (online lub stacjonarnie) dla programistów: mapowanie i analiza tekstu, Query DSL i trafność wyników, agregacje, relacje, paginacja dużych zbiorów, integracja z aplikacją oraz wyszukiwanie wektorowe i hybrydowe.
Więcej…OpenSearch jako baza wiedzy dla AI: wyszukiwanie wektorowe, RAG i agenci
Dwudniowe szkolenie prowadzone na żywo (online lub stacjonarnie) dla zespołów budujących rozwiązania AI: embeddingi i k-NN, indeks wektorowy, wyszukiwanie hybrydowe i reranking, przygotowanie bazy wiedzy, potok RAG z cytowaniami i uprawnieniami, ocena jakości oraz agenci AI i MCP.
Więcej…Praktyczne wprowadzenie do Elastic Stack (Elasticsearch, Kibana, Logstash, Beats)
Szkolenie prowadzone na żywo (online lub stacjonarnie) skierowane do administratorów systemów, którzy chcą postawić i utrzymać produkcyjny stos ELK: klaster Elasticsearch, Logstash, Kibana, Filebeat, kopie zapasowe, bezpieczeństwo i monitoring.
Więcej…Elasticsearch dla deweloperów
Szkolenie prowadzone na żywo (online lub stacjonarnie) skierowane do programistów, którzy chcą budować wyszukiwanie pełnotekstowe i analitykę w oparciu o Elasticsearch: mapowanie, analizery, Query DSL, agregacje, integracja z aplikacją.
Więcej…Elasticsearch i Kibana dla analityków danych
Szkolenie prowadzone na żywo (online lub stacjonarnie) skierowane do analityków danych i biznesowych, którzy chcą samodzielnie eksplorować dane w Kibanie: Discover, KQL, Lens, dashboardy, ES|QL, alerty i raporty - bez programowania.
Więcej…RabbitMQ: kolejki, klaster i bezpieczeństwo w praktyce
Szkolenie prowadzone na żywo (online lub stacjonarnie) dla programistów i administratorów, którzy chcą świadomie używać RabbitMQ: model AMQP, exchange'e, kolejki i ich parametry, potwierdzenia, klaster wysokiej dostępności, monitoring i bezpieczeństwo.
Więcej…Kibana: wizualizacja danych, dashboardy i alerty
Jednodniowe szkolenie prowadzone na żywo (online lub stacjonarnie) dla osób pracujących z Kibaną: eksploracja danych w Discover i KQL, wizualizacje w Lens, interaktywne dashboardy, ES|QL, alerty i raporty oraz porządek w Kibanie (Spaces, role).
Więcej…Logstash: przetwarzanie logów i danych w pipeline'ach
Jednodniowe szkolenie prowadzone na żywo (online lub stacjonarnie) dla administratorów i inżynierów danych: architektura Logstash, inputy, filtry grok/dissect/mutate/date/geoip, outputy do Elasticsearch, wiele pipeline'ów, kolejki persistent i DLQ oraz wydajność.
Więcej…