Využití knihovny scikit-learn pro zpracování a analýzu přirozeného jazyka (NLP), 3.část

Využití knihovny scikit-learn pro zpracování a analýzu přirozeného jazyka (NLP)

Zdroj: root.cz     14.11.2024 (00:00)     it-pocitace

V článcích o scikit-learn jsme se zabývali zpracováním a predikcí numerických dat. Ovšem v praxi je zapotřebí pracovat i s dokumenty psanými v přirozeném jazyce. I v takových případech najde scikit-learn své využití.

Využití knihovny scikit-learn pro zpracování a analýzu přirozeného jazyka (NLP), 2.část

Zdroj: root.cz     21.11.2024 (00:00)     it-pocitace

Dnes si vysvětlíme algoritmy pro vektorizaci jazykového korpusu, což je proces, při kterém se z jednotlivých textových dokumentů (každý dokument je představován řetězcem) konstruuje matice s numerickými hodnotami.

Datová analýza s využitím nástroje scikit-learn: první kroky

Zdroj: root.cz     01.08.2024 (00:00)     it-pocitace

Datová analýza je velmi zajímavý a neustále se rozvíjející se obor. Své místo v něm má i knihovna scikit-learn běžící v ekosystému jazyka Python. Dnes si představíme naprosté základy této knihovny.

Rozpoznávání obrázků knihovnou Scikit-learn: první kroky

Zdroj: root.cz     28.11.2023 (00:00)     it-pocitace

Dnes si ukážeme, jak využít knihovny Matplotlib, NumPy a Scikit-learn pro natrénování modelu určeného pro rozpoznávání obrázků. Zaměříme se přitom zejména na popis kooperace mezi těmito knihovnami.

Shluková analýza (clustering) a knihovna Scikit-learn (z plochy do 3D prostoru)

Zdroj: root.cz     12.12.2023 (00:00)     it-pocitace

Třetí článek o shlukové analýze prováděné s využitím knihovny Scikit-learn je zaměřen na problematiku výpočtu shlukové analýzy v trojrozměrném prostoru (a obecně i v prostorech s vyšším počtem dimenzí).

Balíček scikit-learn: modely provádějící klasifikaci

Zdroj: root.cz     08.08.2024 (00:00)     it-pocitace

Na úvodní článek o datové analýze s využitím knihovny scikit-learn dnes navážeme. Ukážeme si práci s modely provádějícími klasifikaci dat. Konkrétně se bude jednat o modely, které se „učí s učitelem“ – supervised learning.

Tokenizace textu: základní operace při zpracování přirozeného jazyka

Zdroj: root.cz     12.03.2024 (00:00)     it-pocitace

Seznámíme se s knihovnou Tiktoken, která umožňuje takzvanou tokenizaci textu. Jedná se o jednu ze základních operací používaných v systémech pro zpracování přirozeného jazyka, což je bouřlivě se rozvíjející oblast.

Shluková analýza (clustering) a knihovna Scikit-learn

Zdroj: root.cz     05.12.2023 (00:00)     it-pocitace

Knihovna Scikit-learn kromě modelů (a jejich tréninku) poskytuje i další nástroje. Jedním z užitečných nástrojů, které zde nalezneme, je podpora pro provádění takzvané shlukové analýzy (cluster analysis, clustering).

Knihovna FAISS a embedding: základ jazykových modelů

Zdroj: root.cz     29.07.2025 (00:00)     it-pocitace

Ukážeme si praktické použití knihovny FAISS, společně s embedding modely, které mj. umožňují vyhledávání v textech na základě sémantické podobnosti. S touto technologií se setkáme při zpracování přirozeného jazyka atd.

Balíček scikit-learn: trénink a předpovědi modelů provádějících regresní analýzu

Zdroj: root.cz     22.08.2024 (00:00)     it-pocitace

Dokončíme popis problematiky modelů provádějících regresní analýzu. Ukážeme si, jak tyto modely natrénovat, jak zjistit, které atributy způsobují špatné předpovědi modelu i to, jak zjistit atributy způsobující nestabilitu předpovědí.