Tokenizace textu: základní operace při zpracování přirozeného jazyka

Zdroj Zdroj: root.cz     12.03.2024 (00:00)     Sekcia it, počítače

Seznámíme se s knihovnou Tiktoken, která umožňuje takzvanou tokenizaci textu. Jedná se o jednu ze základních operací používaných v systémech pro zpracování přirozeného jazyka, což je bouřlivě se rozvíjející oblast. celý článek

Související články
 
Ďalšie články
 

Využití knihovny scikit-learn pro zpracování a analýzu přirozeného jazyka (NLP), 3.část

Zdroj Zdroj: root.cz     26.11.2024 (00:00)     Sekcia it-pocitace

Budeme se zabývat velmi často řešenou úlohou: analýzou, zda je předložený text spam nebo se jedná o jiný typ textu (ham). Při vektorizaci textu využijeme takzvané n-gramy.

 

pgvector : vektorová databáze postavená na Postgresu

Zdroj Zdroj: root.cz     06.03.2025 (00:00)     Sekcia it-pocitace

Ukážeme si základní vlastnosti rozšíření Postgresu, které se jmenuje pgvector. Umožňuje používat PostgreSQL ve funkci vektorové databáze, například při zpracování přirozeného jazyka, rozpoznávání obrázků, detekci anomálií atd.

 

FAISS: knihovna pro rychlé a efektivní vyhledávání podobných vektorů

Zdroj Zdroj: root.cz     08.07.2025 (00:00)     Sekcia it-pocitace

Ukážeme si základní vlastnosti knihovny FAISS, která je určena pro vyhledávání vektorů (s vysokými počty dimenzí) na základě jejich podobnosti. Tato knihovna se používá třeba při zpracování přirozeného jazyka.

 

Využití knihovny scikit-learn pro zpracování a analýzu přirozeného jazyka (NLP), 2.část

Zdroj Zdroj: root.cz     21.11.2024 (00:00)     Sekcia it-pocitace

Dnes si vysvětlíme algoritmy pro vektorizaci jazykového korpusu, což je proces, při kterém se z jednotlivých textových dokumentů (každý dokument je představován řetězcem) konstruuje matice s numerickými hodnotami.

 

Knihovna FAISS a embedding: základ jazykových modelů

Zdroj Zdroj: root.cz     29.07.2025 (00:00)     Sekcia it-pocitace

Ukážeme si praktické použití knihovny FAISS, společně s embedding modely, které mj. umožňují vyhledávání v textech na základě sémantické podobnosti. S touto technologií se setkáme při zpracování přirozeného jazyka atd.

 

Využití knihovny scikit-learn pro zpracování a analýzu přirozeného jazyka (NLP)

Zdroj Zdroj: root.cz     14.11.2024 (00:00)     Sekcia it-pocitace

V článcích o scikit-learn jsme se zabývali zpracováním a predikcí numerických dat. Ovšem v praxi je zapotřebí pracovat i s dokumenty psanými v přirozeném jazyce. I v takových případech najde scikit-learn své využití.

 

SQLite-vec: vektorové rozšíření databáze SQLite

Zdroj Zdroj: root.cz     13.01.2026 (00:00)     Sekcia it-pocitace

Seznámíme se s vlastnostmi rozšíření databáze SQLite, které se jmenuje SQLite-vec. Umožňuje SQLite používat ve funkci vektorové databáze, zejména při zpracování přirozeného jazyka, rozpoznávání obrázků, detekci anomálií atd.

 

Zpracování hodnot typu half float (fp16) na platformě AArch64

Zdroj Zdroj: root.cz     09.09.2025 (00:00)     Sekcia it-pocitace

Programátoři, zabývající se generativní AI či zpracováním přirozeného jazyka, se často setkávají s vektory obsahujícími prvky typu half float (FP16). Vysvětlíme si, jak se s těmito hodnotami pracuje na platformě AArch64.

 

Programovací jazyk R: práce s maticemi

Zdroj Zdroj: root.cz     10.09.2020 (00:00)     Sekcia it-pocitace

[24 minut čtení] Třetím důležitým datovým typem programovacího jazyka R jsou matice. Dnes se seznámíme s funkcemi ze základní knihovny, které jsou určeny právě pro konstrukci matic popř. pro jejich další zpracování. 1. Programovací jazyk R: práce s maticemi

 

Druhý cizí jazyk je zásadní pro rozvoj žáků i země, míní odbornice

Zdroj Zdroj: ceskenoviny.cz     25.03.2023 (06:55)     Sekcia it-pocitace

Praha - Výuka druhého cizího jazyka na základní škole přináší nejen znalost samotného jazyka, ale také poznání odlišného kulturního prostředí a otevírá širší možnosti pracovního...

BaCon: transpřekladač z jazyka BASIC do jazyka C

Podrobnější popis vlastností programovacího jazyka R

Lua Fun: knihovna pro zpracování konečných i nekonečných sekvencí v jazyce Lua

Moonscript: jazyk inspirovaný CoffeeScriptem určený pro ekosystém jazyka Lua (dokončení)

Zpracování hodnot typu half float (fp16) na platformě AArch64: operace s vektory

Převody zdrojových kódů z jazyka C do jazyka Go

Basilisp: interpret programovacího jazyka Clojure integrovaný s Pythonem

Moonscript: jazyk inspirovaný CoffeeScriptem určený pro ekosystém jazyka Lua

Poznámkový blok překračuje další hranici. Vytasil Markdown a formátování textu

Technologie WebAssembly a GopherJS: předávání argumentů mezi Go a JavaScriptem (dokončení)

Základní funkce pro zpracování signálů v knihovně SciPy: FFT a její varianty

Základní funkce pro zpracování signálů v knihovně SciPy

Propojení Pythonu s nativními knihovnami s využitím balíčku cffi (2)

Faust: platforma pro proudové zpracování dat v Pythonu

Testování aplikací s využitím nástroje Hypothesis (dokončení)

Funkce vyššího řádu určené pro zpracování sekvencí v knihovně funcy

Aritmetické operace s hodnotami uloženými binárně i ve formátu BCD

Jupyter Notebook – operace s rastrovými obrázky a UML diagramy, literate programming

Calysto Hy: integrace programovacího jazyka Hy s Jupyter Notebookem

„Mine englisch is well.“ DeepL Write používá AI k opravě anglických a německých vět

Programovací jazyk R: vektory ve funkci základního datového typu jazyka

Manipulace s binárními datovými strukturami v Pythonu

Standardní šablonovací systém jazyka Go

Go v roli skriptovacího programovacího jazyka

Funkce a typový systém programovacího jazyka ML

Standardní šablonovací systém jazyka Go (dokončení)

Jak využít AI pro chytrou korekturu angličtiny nebo jiného jazyka. Jako rodilý mluvčí vysvětlí, kde děláte chyby

Lexikální a syntaktická zdrojových kódů jazyka Go

ULua: univerzální distribuce programovacího jazyka Lua

EndBASIC: moderní reinkarnace klasického jazyka BASIC

Projekt Gambit – další kvalitní interpret i překladač programovacího jazyka Scheme

Kombinace programovacího jazyka C3 s assemblerem

evitaDB: základy dotazovacího jazyka evitaQL

Přetěžování operátorů v programovacím jazyce C3

 
Počasí Kurzy

1 € = 27.453   CZK

1 € = 0.7276   GBP

1 € = 1.0736   CHF

1 € = 4.1582   PLN

1 € = 1.1168   USD

Program

Markíza19:00 TELEVÍZNE NOVINY

 

Jednotka19:55 Góly - body - sekundy

 

Dvojka20:00 Záznam zo žrebovania: KENO 10, Keno Joker, Loto, Joker, Loto 5 z 35 (B)

 

JOJ19:30 NOVINY TV JOJ

 

Kompletný tv program

Reality Horoskopy

Beran: Ak sa vás partner pýta, ako využijete voľné dni, vy sa pýtajte, ako si ich predstavuje. Je možné, že sa s vami bude chcieť pochváliť a pozve vás medzi priateľov, na ich úsudku mu veľmi záleží.

Býk: Dnes zacítite pocit naplnenia a úspechu. A ak sa darí vám, vaši priatelia a známi môžu rovnako počítať s vašou podporou a pomocou. Čaká vás množstvo pracovných aj súkromných stretnutí, kde prejavíte svoju schopnosť prejaviť účasť a poskytnúť cennú radu.

Blíženci: Dnes je váš deň, tak to využite. Poteší vás nejaká dobrá správa. Všetko sa pohne dopredu. Rozdávajte okolo seba úsmevy a ukazujte veselú tvár, lebo nie ste tak chudí, aby ste trocha šťastia nemohli dať.

Rak: Ak sa budete dnes predbiehať v rade alebo nebudete radu rešpektovať, môžete prísť domov dosť zničený. Na vašom okolí potom bude vysvetliť vám, prečo tomu tak je.

Lev: Ak sa chcete hádať, uvedomte si, že deň vám dáva energiu, takže máte dosť síl, aby ste neuhli a vytrvali až do víťazného konca. Buď uhnete, alebo deň zakončíte ujmou na zdraví.

Panna: Dnes vám uspokojenie môže prinášať iba láska, ale pretože váš nepružný a konzervatívny postoj môže hocikoho odradiť, voľte radšej úsmev. Ak sa k vám opačné pohlavie dnes priblíži, využite svoje šance.

Váhy: Plný energie budete iba v dopoludňajších hodinách. Celý ďalší zbytok dňa budete vyžadovať citlivejšie a jemnejšie zachádzanie. Ak si to navzájom poskytnete s ostatnými, budete celkom v príjemnej pohode.

Štír: Neprehrabávajte vrecká svojmu partnerovi! List od nelegálneho partnera tam síce neobjavíte, ale mohli by ste nájsť podrobný rozpis všetkých domácich prác, ktoré chce vo voľných dňoch stihnúť, čo by vás spoľahlivo otrávilo.

Střelec: Nesmiete sa stať panovačnými až diktátorskými. Mohlo by to mať netušené následky. Hľadajte svoje prednosti a verte, že ste dobrý taký, aký ste. Vo vzťahu máte potrebu väčšej istoty, alebo by ste radi realizovali niečo, čo vám už dlho vŕta v hlave.

Kozoroh: Dovoľte si byť voľný a ničím nezaťažený, aj keď je situácia neúnosná a vy máte pocit, že sa vám niečo vymklo z rúk.

Vodnář: Vaša dnešná fyzická odolnosť sa nedá porovnávať so silnejším znameniami horoskopu. Potreba odpočinku je u vás proste vyššia, a tak pozorne vnímajte signály vášho tela, ktoré poukazuje na preťaženie organizmu.

Ryby: Pozor dajte pri vysvetľovaní hocičoho. Budete hovoriť rýchlejšie než normálne a môžete nechtiac vyrobiť dosť veľký trapas. Pokiaľ nemusíte, radšej sa k ničomu nevyjadrujte, najmä nie písomne.

Ďalšie horoskopy