Logstash: przetwarzanie logów i danych w pipeline'ach
Jednodniowe szkolenie prowadzone na żywo (online lub stacjonarnie) dla administratorów i inżynierów danych: architektura Logstash, inputy, filtry grok/dissect/mutate/date/geoip, outputy do Elasticsearch, wiele pipeline'ów, kolejki persistent i DLQ oraz wydajność.
Zbudujesz pipeline'y Logstash, które parsują dowolne logi, nie gubią zdarzeń przy awarii i nie zjadają całego CPU: od grok i dissect, przez kolejki persistent, po skalowanie i monitoring.
- Czas trwania szkolenia:
- 8 godzin · 8 godz. (1 dzień)
- Poziom zaawansowania:
- Podstawowy → średniozaawansowany
- Grupa docelowa:
- Administratorzy, DevOps, SRE, inżynierowie danych
Dostępne terminy szkolenia
Najbliższy termin otwarty ogłoszę po zebraniu grupy 4 osób - zostaw zapytanie z preferowanym miesiącem albo zapisz się na powiadomienie o kolejnych terminach. Szkolenie zamknięte dla Twojej firmy mogę poprowadzić w dowolnym uzgodnionym terminie.
Forma szkolenia
Interesuje Cię szkolenie stacjonarne?
Powiadom o kolejnych terminach
Interesuje Cię szkolenie w innym terminie?
Po szkoleniu uczestnik potrafi
- ✓Zainstalujesz i skonfigurujesz Logstash (JVM, pipelines.yml, wiele pipeline'ów)
- ✓Napiszesz filtry grok i dissect dla własnych formatów logów i przetestujesz je
- ✓Wzbogacisz zdarzenia: date, geoip, useragent, translate, ruby
- ✓Skonfigurujesz inputy Beats, Kafka, JDBC, HTTP, syslog i outputy do Elasticsearch
- ✓Włączysz kolejki persistent i dead letter queue i przećwiczysz awarię
- ✓Zmierzysz i poprawisz wydajność: workers, batch, pipeline-to-pipeline
Wymagania
- Swobodna praca w Linuksie (bash, systemd)
- Podstawowa znajomość formatów logów i JSON
- Znajomość Elasticsearch mile widziana, nie wymagana
Grupa docelowa
- Zespoły centralizujące logi z aplikacji, systemów i urządzeń sieciowych
- Osoby, które mają „jeden wielki pipeline” i chcą go uporządkować
- Inżynierowie danych ładujący dane z baz, kolejek i API do Elasticsearch
Plan szkolenia
Wprowadzenie do Logstash
- Miejsce Logstash w Elastic Stack
- Instalacja, struktura, JVM, pipelines.yml
- Pierwszy pipeline: stdin → stdout
Inputy i codecs
- Beats, file, syslog, TCP/UDP
- Kafka, JDBC, HTTP
- Codecs: json, multiline
Filtry - parsowanie
- Grok: wzorce, własne patterny, debugger
- Dissect vs grok
- KV, CSV, JSON
Filtry - wzbogacanie
- mutate, date, geoip, useragent
- Warunki, tagi, obsługa błędów parsowania
Outputy i niezawodność
- Elasticsearch: indeksy, ILM, data streams
- Wiele pipeline'ów, pipeline-to-pipeline
- Kolejki persistent i dead letter queue
Wydajność i alternatywy
- Workers, batch, heap, Monitoring API
- Ingest pipelines i Elastic Agent - kiedy zamiast Logstash
Podsumowanie i zakończenie
- Powtórka najważniejszych zagadnień
- Pytania i odpowiedzi
- Materiały i dalsza ścieżka nauki
Formy szkolenia
Online na żywo z trenerem
Zdalnie, w małej grupie, z własną maszyną wirtualną dla każdego uczestnika. Cały czas widzisz mój pulpit i możesz zadawać pytania.
Stacjonarnie u klienta
Przyjeżdżam do Twojej firmy w dowolnym miejscu w Polsce. Laboratorium stawiamy na Waszej infrastrukturze albo na przygotowanych przeze mnie maszynach.
Dedykowane dla firm
Program dopasowuję do Waszego stosu i problemów: wersja Elasticsearch, wolumen danych, integracje. Ćwiczymy na scenariuszach zbliżonych do Waszej produkcji.
Marcin Lewandowski
Praktyk, nie tylko trener. Programista i architekt systemów z ponad 10-letnim doświadczeniem. Elasticsearch utrzymuję i rozwijam na produkcji, a nie tylko na slajdach - wiem, co się psuje o trzeciej w nocy i jak tego uniknąć.
Autor kursów Elasticsearch i RabbitMQ na czterytygodnie.pl - 86 lekcji wideo o Elasticsearch, z których korzystają setki programistów. Szkolenia na żywo prowadzę od lat dla firm i dla dostawców szkoleń.
Uczę tak, jak sam chciałbym być uczony: mało teorii, dużo laboratorium, każde polecenie wykonujemy razem i rozumiemy, dlaczego działa.
Najczęściej zadawane pytania
Ile osób może wziąć udział w szkoleniu?
Czy potrzebuję własnego środowiska?
Czy szkolenie może być dopasowane do naszego projektu?
Czy uczestnicy dostają materiały?
Jak wygląda rozliczenie?
Szkolenia powiązane
Praktyczne wprowadzenie do Elastic Stack (Elasticsearch, Kibana, Logstash, Beats)
Szkolenie prowadzone na żywo (online lub stacjonarnie) skierowane do administratorów systemów, którzy chcą postawić i utrzymać produkcyjny stos ELK: klaster Elasticsearch, Logstash, Kibana, Filebeat, kopie zapasowe, bezpieczeństwo i monitoring.
Więcej…Elasticsearch dla deweloperów
Szkolenie prowadzone na żywo (online lub stacjonarnie) skierowane do programistów, którzy chcą budować wyszukiwanie pełnotekstowe i analitykę w oparciu o Elasticsearch: mapowanie, analizery, Query DSL, agregacje, integracja z aplikacją.
Więcej…Elasticsearch i Kibana dla analityków danych
Szkolenie prowadzone na żywo (online lub stacjonarnie) skierowane do analityków danych i biznesowych, którzy chcą samodzielnie eksplorować dane w Kibanie: Discover, KQL, Lens, dashboardy, ES|QL, alerty i raporty - bez programowania.
Więcej…RabbitMQ: kolejki, klaster i bezpieczeństwo w praktyce
Szkolenie prowadzone na żywo (online lub stacjonarnie) dla programistów i administratorów, którzy chcą świadomie używać RabbitMQ: model AMQP, exchange'e, kolejki i ich parametry, potwierdzenia, klaster wysokiej dostępności, monitoring i bezpieczeństwo.
Więcej…Kibana: wizualizacja danych, dashboardy i alerty
Jednodniowe szkolenie prowadzone na żywo (online lub stacjonarnie) dla osób pracujących z Kibaną: eksploracja danych w Discover i KQL, wizualizacje w Lens, interaktywne dashboardy, ES|QL, alerty i raporty oraz porządek w Kibanie (Spaces, role).
Więcej…OpenSearch w praktyce: dane, SIEM i wyszukiwanie wektorowe
Trzydniowe szkolenie prowadzone na żywo (online lub stacjonarnie): OpenSearch od podstaw, zbieranie logów przez Vector, analiza bezpieczeństwa z regułami Sigma, utrzymanie klastra i migracja z Elasticsearch 8.x oraz wyszukiwanie wektorowe, RAG i agenci AI.
Więcej…OpenSearch dla programistów: wyszukiwanie, agregacje i integracja z aplikacją
Dwudniowe szkolenie prowadzone na żywo (online lub stacjonarnie) dla programistów: mapowanie i analiza tekstu, Query DSL i trafność wyników, agregacje, relacje, paginacja dużych zbiorów, integracja z aplikacją oraz wyszukiwanie wektorowe i hybrydowe.
Więcej…OpenSearch dla DevOps: wdrożenie, potok logów i utrzymanie klastra
Dwudniowe szkolenie prowadzone na żywo (online lub stacjonarnie) dla administratorów i DevOps: instalacja i konfiguracja OpenSearch, bezpieczeństwo, potok logów w Vector, retencja danych, wydajność, monitoring i alerty, kopie zapasowe, cross-cluster search i migracja z Elasticsearch 8.x.
Więcej…OpenSearch jako baza wiedzy dla AI: wyszukiwanie wektorowe, RAG i agenci
Dwudniowe szkolenie prowadzone na żywo (online lub stacjonarnie) dla zespołów budujących rozwiązania AI: embeddingi i k-NN, indeks wektorowy, wyszukiwanie hybrydowe i reranking, przygotowanie bazy wiedzy, potok RAG z cytowaniami i uprawnieniami, ocena jakości oraz agenci AI i MCP.
Więcej…