OpenSearch w praktyce: dane, SIEM i wyszukiwanie wektorowe

Dzień 1 · Wprowadzenie do OpenSearch

• Do czego służy OpenSearch i kiedy warto go używać
• Co łączy OpenSearch z Elasticsearch, a czym się różnią
• Podstawowe pojęcia: dokument, indeks, węzeł, klaster
• Podział danych na shardy i repliki między węzłami
• Rola OpenSearch Dashboards

Dzień 1 · Uruchomienie OpenSearch we własnej infrastrukturze

• Z czego składa się środowisko OpenSearch
• Uruchomienie i sprawdzenie środowiska szkoleniowego
• Najważniejsze ustawienia konfiguracyjne
• Pierwsze polecenia przez REST API i Dev Tools
• Podstawy zabezpieczenia połączeń i dostępu użytkowników

Dzień 1 · Przygotowanie i zapisywanie danych

• Budowa dokumentu przechowywanego w OpenSearch
• Dobór typów pól: tekst, liczby, daty, wartości logiczne
• Tekst do przeszukiwania a wartość do dokładnego dopasowania
• Jak OpenSearch przygotowuje tekst do wyszukiwania
• Dodawanie, odczyt, aktualizacja i usuwanie dokumentów
• Wgrywanie wielu dokumentów naraz (Bulk)
• Szablony indeksów i aliasy

Dzień 1 · Wyszukiwanie i filtrowanie

• Wyszukiwanie dokumentów na podstawie tekstu
• Wyszukiwanie dokładnych wartości
• Filtrowanie po datach i zakresach liczbowych
• Łączenie kilku warunków w jednym zapytaniu
• Różnica między wyszukiwaniem a filtrowaniem
• Sortowanie wyników i wybór zwracanych pól
• Skąd bierze się dopasowanie wyniku (_score)

Dzień 1 · Podsumowywanie danych i wizualizacje

• Liczenie zdarzeń i podstawowe statystyki
• Grupowanie danych według wybranych pól
• Analiza zmian w czasie
• Obliczenia na wynikach wcześniejszych agregacji
• Przeglądanie danych w OpenSearch Dashboards
• Budowa prostego panelu z wykresami i zestawieniami

Dzień 1 · Duże zbiory i zarządzanie historią danych

• Dzielenie wyników wyszukiwania na strony
• Pobieranie dużej liczby dokumentów przez Scroll
• search_after i Point in Time
• Dobór sposobu pobierania danych: interfejs użytkownika a eksport
• Organizacja danych napływających w czasie, np. logów
• Automatyczne tworzenie kolejnych indeksów i usuwanie starych danych

Dzień 2 · Zbieranie i przesyłanie danych za pomocą Vector

• Rola Vector w systemie zbierania logów
• Kiedy Vector, a kiedy Fluent Bit
• Odczyt danych z różnych źródeł
• Przekształcanie surowych logów w uporządkowane pola
• Ujednolicanie nazw pól, dat i formatów wartości
• Przesyłanie danych do OpenSearch
• Błędne rekordy, przerwy w połączeniu i ponawianie wysyłki

Dzień 2 · Przekształcanie i podsumowywanie danych

• Gdzie przetwarzać dane: w Vector czy w OpenSearch
• Przygotowanie danych podczas zapisywania
• Uzupełnianie dokumentów o dodatkowe informacje
• Tworzenie podsumowań na podstawie danych szczegółowych
• Zapis wyników przekształceń w osobnych indeksach
• Wykorzystanie podsumowań do przyspieszenia analiz

Dzień 2 · OpenSearch jako narzędzie SIEM

• Jak OpenSearch wspiera analizę zdarzeń bezpieczeństwa
• Przygotowanie logów do pracy z Security Analytics
• Dopasowanie pól w logach do wymagań reguł wykrywania
• Gotowe reguły Sigma i ich dostosowanie
• Konfiguracja wykrywania podejrzanych zdarzeń
• Wykryte zdarzenie a alert
• Tworzenie alertów i powiadomień
• Łączenie zdarzeń z różnych systemów w jeden scenariusz
• Analiza wyników i ograniczanie fałszywych alarmów

Dzień 2 · Uprawnienia i wyszukiwanie między klastrami

• Dostęp użytkowników do wybranych danych
• Tworzenie ról i nadawanie uprawnień
• Rejestrowanie dostępu i działań użytkowników
• Przeszukiwanie kilku klastrów jednym zapytaniem
• Konfiguracja połączeń ze zdalnymi klastrami
• Zabezpieczenie komunikacji między klastrami
• Wpływ uprawnień na dostęp do danych w zdalnym klastrze

Dzień 2 · Wydajność, niezawodność i utrzymanie

• Wpływ ilości danych i rodzaju zapytań na wymagania sprzętowe
• Dobór liczby shardów i replik
• Monitorowanie stanu klastra i wykorzystania zasobów
• Szukanie przyczyn wolnego indeksowania i wyszukiwania
• Planowanie czasu przechowywania danych
• Kopie zapasowe i odtwarzanie danych
• Co dzieje się po awarii węzła
• Zasady projektowania środowiska wysokiej dostępności

Dzień 2 · Planowanie migracji z Elasticsearch 8.x

• Jakie dane i funkcje trzeba przenieść
• Różnice mogące wpłynąć na migrację
• Dobór sposobu przeniesienia danych
• Dostosowanie aplikacji, zapytań i konfiguracji indeksów
• Sprawdzenie kompletności danych i poprawności wyników
• Zaplanowanie przełączenia na nowy system
• Przygotowanie drogi powrotu do poprzedniego rozwiązania

Dzień 3 · Wprowadzenie do wyszukiwania wektorowego

• Wyszukiwanie według znaczenia a wyszukiwanie słów
• Czym są embeddingi
• Jak porównuje się podobieństwo dokumentów
• Wyszukiwanie najbliższych sąsiadów (k-NN)
• Wyszukiwanie dokładne a przybliżone
• Jak działa HNSW
• Kompromisy: jakość wyników, szybkość, zużycie pamięci

Dzień 3 · Przygotowanie danych i integracja z modelami

• Dobór modelu tworzącego embeddingi
• Dzielenie dłuższych dokumentów na fragmenty
• Tworzenie embeddingów i zapisywanie ich w OpenSearch
• Przygotowanie indeksu do przechowywania wektorów
• Integracja modeli przez ML Commons
• Modele działające we własnej infrastrukturze
• Aktualizacja dokumentów i powiązanych embeddingów

Dzień 3 · Łączenie wyszukiwania tekstowego i wektorowego

• Kiedy lepsze jest wyszukiwanie tekstowe, a kiedy wektorowe
• Wyszukiwanie hybrydowe
• Ograniczanie wyników filtrami (data, kategoria)
• Łączenie ocen dopasowania z różnych metod
• Reranking, czyli ponowne porządkowanie wyników
• Porównywanie jakości wyników na przykładowych pytaniach

Dzień 3 · OpenSearch jako element rozwiązania RAG

• Odpowiadanie na pytania na podstawie własnych dokumentów
• Rola OpenSearch w tym procesie
• Wyszukiwanie fragmentów potrzebnych do odpowiedzi
• Przekazywanie znalezionych informacji do modelu językowego
• Wskazywanie źródeł wykorzystanych w odpowiedzi
• Uwzględnianie uprawnień użytkownika przy pobieraniu dokumentów
• Aktualizowanie bazy wiedzy
• Sprawdzanie jakości wyszukiwania i poprawności odpowiedzi

Dzień 3 · Agenci AI i wykorzystanie MCP

• Agent AI a prosty mechanizm pytań i odpowiedzi
• Jak agent korzysta z narzędzi do wyszukiwania i analizy danych
• Do czego służy protokół MCP
• Udostępnienie wyszukiwania w OpenSearch jako narzędzia dla agenta
• Podłączanie dodatkowych narzędzi i źródeł informacji
• Ograniczanie uprawnień i zakresu działań agenta
• Przykład asystenta wspierającego analizę zdarzeń

Dzień 3 · Zaawansowane scenariusze i GraphRAG

• Wyszukiwanie podobnych incydentów i sposobów ich rozwiązania
• Łączenie danych analitycznych z dokumentacją i bazą wiedzy
• AI we wsparciu pracy analityka bezpieczeństwa
• Czym jest GraphRAG i kiedy relacje między informacjami pomagają
• Co jest potrzebne do zbudowania GraphRAG
• Omówienie architektur dopasowanych do danych i potrzeb klienta

Podsumowanie i zakończenie

• Powtórka najważniejszych zagadnień
• Pytania i odpowiedzi
• Materiały i dalsza ścieżka nauki