OpenSearch dla programistów: wyszukiwanie, agregacje i integracja z aplikacją

OpenSearch okiem programisty

• Do czego służy OpenSearch i kiedy warto go używać
• Co łączy OpenSearch z Elasticsearch, a czym się różnią (także w klientach)
• Dokument, indeks, shard, replika - co musi wiedzieć programista
• Pierwsze polecenia przez REST API i Dev Tools
• OpenSearch Dashboards jako narzędzie pracy programisty

Model danych, mapowanie i analiza tekstu

• Budowa dokumentu i dobór typów pól: tekst, liczby, daty, wartości logiczne
• Tekst do przeszukiwania a wartość do dokładnego dopasowania (text vs keyword)
• Mapowanie dynamiczne i jawne, multi-fields
• Jak OpenSearch przygotowuje tekst: character filters, tokenizer, token filters
• Własne analizatory, obsługa języka polskiego, stopwords i synonimy
• Testowanie analizy tekstu przez _analyze
• Szablony indeksów i aliasy

Operacje na dokumentach

• Dodawanie, odczyt, aktualizacja i usuwanie dokumentów
• Wgrywanie wielu dokumentów naraz (Bulk) i obsługa częściowych błędów
• Update by query i delete by query
• Kontrola współbieżnych zapisów (wersjonowanie)
• Reindeksacja i zmiana mapowania bez przestoju

Wyszukiwanie i filtrowanie

• Wyszukiwanie pełnotekstowe: match, multi_match, match_phrase
• Wyszukiwanie dokładnych wartości: term, terms, prefix
• Zakresy dat i liczb, wildcard, fuzzy
• Łączenie warunków w bool: must, should, filter, must_not
• Różnica między wyszukiwaniem a filtrowaniem (i co z tego wynika dla cache)
• Sortowanie wyników, wybór zwracanych pól, podświetlanie trafień

Trafność wyników

• Skąd bierze się ocena dopasowania (_score, BM25)
• Boosting pól i zapytań
• Sterowanie trafnością: function_score, świeżość, popularność
• Podpowiedzi i autouzupełnianie
• Jak sprawdzić, dlaczego dokument wypadł wyżej (explain)

Agregacje

• Agregacje bucket i metrics
• Zagnieżdżanie agregacji i analiza zmian w czasie
• Obliczenia na wynikach wcześniejszych agregacji (pipeline)
• Facety w wyszukiwarce i podsumowania w panelu aplikacji
• Dlaczego część wyników jest przybliżona i kiedy to boli

Relacje i duże zbiory danych

• Object, nested, join, denormalizacja - koszty każdej z opcji
• Paginacja: from/size i jej ograniczenia
• search_after i Point in Time
• Scroll i eksport dużych zbiorów
• Dobór sposobu pobierania danych do interfejsu użytkownika i do eksportu

Integracja z aplikacją

• Klienci OpenSearch w popularnych językach i różnice wobec klientów Elasticsearch
• Obsługa błędów, timeouty, ponawianie, limity
• Refresh interval i widoczność świeżo zapisanych danych
• Cache, slow log i mierzenie zapytań
• Dane napływające w czasie: aliasy, rollover, usuwanie starych danych
• Uwierzytelnianie aplikacji i dostęp tylko do wybranych danych

Wyszukiwanie wektorowe i hybrydowe w aplikacji

• Wyszukiwanie według znaczenia a wyszukiwanie słów
• Embeddingi, podobieństwo, k-NN i HNSW - tyle, ile trzeba
• Indeks wektorowy i zapisywanie embeddingów
• Łączenie wyszukiwania tekstowego i wektorowego (hybrydowe) z filtrami
• Reranking i porównanie jakości wyników na przykładowych pytaniach
• Kiedy wyszukiwanie wektorowe się opłaca, a kiedy wystarczy dobry analizator

Warsztat: wyszukiwarka od indeksu do API

• Projekt indeksu i mapowania dla realnych danych
• Zapytanie z filtrami, facetami i sortowaniem
• Strojenie trafności i pomiar efektu

Podsumowanie i zakończenie

• Powtórka najważniejszych zagadnień
• Pytania i odpowiedzi
• Materiały i dalsza ścieżka nauki