thinletter: ThinEmbed a ThinCtx

ThinCtx: jazykové modely s malou pamětí kontextu

Jazykové modely s malou pamětí kontextu · licence PolyForm Small Business

ThinCtx-small: kvalita Qwen3.5 v malé paměti GPU. Modely Qwen3.5 0.8B, 2B a 4B převedené tak, aby paměť GPU pro kontext zůstala malá a rostla zhruba 15–20krát pomaleji než cache originálu, s váhami uloženými na 5,4–6,4 bitu a komprimovaným kontextem v operační paměti. 4B-small při 128k tokenech potřebuje 4,0 GB paměti GPU místo 12,0 GB u originálu a při 540k 4,7 GB místo 24,5 GB, takže na 24GB kartě zvládne kontext, který se s originálem nevejde. Runtime thinctx 1.0 navíc sdílí paměť společného systémového promptu mezi konverzacemi. K dispozici jsou i verze v plné přesnosti.

Paměť na konverzaci na jedné RTX 3090 (thinctx 1.0.2): plné pruhy jsou váhy, šrafované část kontextu na GPU, světlé kontext v operační paměti. Originál drží celou KV cache na GPU; jeho váhy jsou změřené tak, jak je načte vLLM, a cache je spočítaná z rozměrů modelu. --compress_context spouští model v plné přesnosti s komprimovaným úložištěm kontextu; ThinCtx-small navíc kvantizuje váhy.

Rychlý start

curl -LsSf https://astral.sh/uv/install.sh | sh && source $HOME/.local/bin/env   # only if uv is missing
uv venv --managed-python --python 3.12 ~/thinctx && source ~/thinctx/bin/activate
uv pip install thinctx

thinctx serve thinletter/ThinCtx-Qwen3.5-2B-small --port 8000 --auth user:pass   # OpenAI-compatible server
thinctx chat  thinletter/ThinCtx-Qwen3.5-2B-small                          # chat in the terminal

V Pythonu: thinctx.load("thinletter/ThinCtx-Qwen3.5-2B-small"). Linux x86_64 nebo Windows přes WSL2, s GPU NVIDIA; Triton při prvním spuštění potřebuje gcc. Ve Windows: wsl --install -d Ubuntu-24.04 v PowerShellu jako správce, pak stejné kroky v Ubuntu. Podrobnosti jsou v kartě každého modelu.

Hlavní výsledky

Qwen3.5-4B a 2B proti svým převodům ThinCtx
model
RULER: syntetické testy na 65 536 tokenech: šest variant hledání jehly v kupce sena (jedna nebo více jehel, hodnot nebo otázek), sledování proměnných, výběr častých slov a jednokroková otázka; 10 ze 13 úloh RULER. 10 položek na úlohu, celkem 100; skóre shody řetězců podle RULER, vyšší je lepší. RULER, Hsieh et al. 2024
BFCL (Berkeley Function Calling Leaderboard), kategorie non-live AST: jednoduchá, vícenásobná, paralelní a paralelně-vícenásobná volání podle připravené dokumentace funkcí, kontrolovaná vlastním AST checkerem BFCL; bez přemýšlení, hladové dekódování. Číslo je skóre BFCL non-live AST, průměr těchto čtyř kategorií (% správně), vyšší je lepší. Berkeley Function Calling Leaderboard
LongBench v1: 16 anglických úloh v 6 kategoriích (otázky nad jedním i více dokumenty, shrnutí, učení z příkladů, syntetické úlohy, kód), 3 750 položek, s oficiálními prompty, zkracováním a metrikami. Číslo je průměr skóre 16 úloh, vyšší je lepší. LongBench, Bai et al. 2023
Qwen3.5-4B, originál	97,0	86,2	45,1
ThinCtx-Qwen3.5-4B	95,5	85,1	45,1
Qwen3.5-2B, originál	95	68,5	42,6
ThinCtx-Qwen3.5-2B	89	70,4	42,5

Qwen3.5-2B proti dvěma běžným způsobům, jak omezit paměť kontextu

BABILong: otázky bAbI na uvažování (úlohy qa1 až qa5: jeden, dva nebo tři podpůrné fakty, vztahy dvou nebo tří objektů), jejichž fakty jsou rozptýlené v 65 536 tokenech knižního textu. 20 otázek na úlohu, celkem 100; podíl správných odpovědí, vyšší je lepší. BABILong, Kuratov et al. 2024
RULER: syntetické testy na 65 536 tokenech: šest variant hledání jehly v kupce sena (jedna nebo více jehel, hodnot nebo otázek), sledování proměnných, výběr častých slov a jednokroková otázka; 10 ze 13 úloh RULER. 10 položek na úlohu, celkem 100; skóre shody řetězců podle RULER, vyšší je lepší. RULER, Hsieh et al. 2024
Skutečné relace agentů o 8 192 a 32 768 tokenech (16 na délku), jejichž definice nástrojů nebo zdokumentované příkazy leží daleko v kontextu, až 32 000 tokenů před voláním. Podíl názvů funkcí, názvů parametrů a názvů příkazů ve voláních předpovězených tak, jak v relaci jsou; vyšší je lepší.
	43	95	96,4
Nezměněný Qwen3.5-2B s celou cache kontextu na GPU: reference pro všechny sloupce.
	1	5	66,9
Nezměněný model drží v cache jen poslední tokeny a několik prvních tokenů kontextu, jako StreamingLLM; paměť GPU zůstává konstantní a vše mezi tím zapomene. StreamingLLM, Xiao et al. 2023
	37	68	90,2
Nezměněný model s načítáním z cache ve stylu SentenceKV (Zhu et al. 2025), jak byl publikován: celá cache je uložená mimo GPU a model v každém kroku čte její část. Samotný model se nemění.
	49	89	96,6
Převedený Qwen3.5-2B: malá část kontextu na GPU (s délkou roste jen pomalu), celý kontext v operační paměti. Stejné položky a nastavení jako ostatní řádky.

Všechny řádky na týchž položkách se stejným nastavením. Skóre v %. BFCL: kategorie non-live. Vzdálená volání nástrojů: definice nástrojů leží daleko v kontextu.

Všechny benchmarky a podrobnosti (EN) →

Vydání

název	stav
thinletter/ThinCtx-Qwen3.5-4B-small	volně ke stažení na Hugging Face
thinletter/ThinCtx-Qwen3.5-2B-small	volně ke stažení na Hugging Face
thinletter/ThinCtx-Qwen3.5-0.8B-small	volně ke stažení na Hugging Face; nedoporučujeme pro volání nástrojů
thinletter/ThinCtx-Qwen3.5-4B	volně ke stažení na Hugging Face
thinletter/ThinCtx-Qwen3.5-2B	volně ke stažení na Hugging Face
thinletter/ThinCtx-Qwen3.5-0.8B	volně ke stažení na Hugging Face; nedoporučujeme pro volání nástrojů
pip install thinctx	runtime se serverem kompatibilním s OpenAI API; od 1.0 sdílí paměť mezi konverzacemi

Licence: PolyForm Small Business 1.0.0 (poskytovatel licence Jan Rosecký): zdarma pro firmy s méně než 100 lidmi a obratem pod 1 milion USD a pro kohokoli k osobnímu nekomerčnímu použití, nekomerčnímu výzkumu a výuce a k vyzkoušení a testování. Produkční použití většími organizacemi vyžaduje komerční licenci: info@thinletter.io.

ThinEmbed: komprimované dotazové enkodéry

Komprimované dotazové enkodéry · open source, Apache-2.0

ThinEmbed zkomprimuje dotazovou stranu embedding modelu do malého souboru, který běží v prohlížeči přes WebGPU. Index dokumentů zůstává beze změny a dotaz se zakóduje přímo na zařízení uživatele. Kód, runtime i vydané soubory jsou open source.

Rychlý start

import { loadVqwClient } from 'https://thinletter.io/vqweb/vqweb.js';   // or: npm install @thinletterio/vqweb

const client = await loadVqwClient(
  'https://huggingface.co/thinletter/qwen3-embedding-0.6b-vq-clients/resolve/main/qwen3-0.6b-vq3.5d2-webfaq_q-vocfull.vqw');
const q = await client.embed('Kolik stojí parkování v centru Prahy?');   // Float32Array(1024)
// score = dot(q, d) against your Qwen/Qwen3-Embedding-0.6B document vectors

Vyžaduje WebGPU se shader-f16 (Chrome, Edge). Balíčky se přejmenovávají na thinembed (PyPI) a @thinletterio/thinembed (npm); řádky výše používají dnešní názvy.

Hlavní výsledky

harrier-0.6b na SciFact, testovací split, 300 dotazů
dotazový enkodér	soubor	nDCG@10	p50 na dotaz
harrier-0.6b, plná přesnost (reference)	1 143 MiB (fp16)	0,7559	–
Q3_K, formát llama.cpp, wllama na WebGPU	235,1 MiB	0,7481	444 ms
IQ2_M, formát llama.cpp, wllama na WebGPU	199,3 MiB	0,7387	508 ms
IQ2_XS, nejmenší formát llama.cpp, nativně	177,5 MiB	0,7097	–
ThinEmbed, 2,1 bitu na váhu, WebGPU	119,5 MiB	0,7375	103 ms
ThinEmbed, 1,8 bitu na váhu, WebGPU	105,3 MiB	0,7109	102 ms

nDCG@10 proti vlastnímu fp32 indexu dokumentů modelu. Řádky z prohlížeče: jeden notebook v klidu, integrovaná GPU Intel, headless Chrome. Řádky ThinEmbed jsou vydané soubory. –: neběželo v prohlížeči. Jedno zařízení, jeden model, jeden korpus.

Všechny benchmarky a podrobnosti → · Demo v prohlížeči

Vydání

název	dnes k dispozici
Kód a zpráva	GitHub: rosecky/embedding-quantization-public
thinembed (nový název)	PyPI: thinletter-eq
@thinletterio/thinembed (nový název)	npm: @thinletterio/vqweb
thinletter/ThinEmbed-harrier-0.6b (nový název)	harrier-0.6b-query-clients · harrier-0.6b-vq-clients
thinletter/ThinEmbed-Qwen3-Embedding-0.6B (nový název)	qwen3-embedding-0.6b-query-clients · qwen3-embedding-0.6b-vq-clients
thinletter/ThinEmbed-bge-m3 (nový název)	bge-m3-query-clients

Kód pod Apache-2.0. Soubory klientů pod licencí svého základního modelu (MIT nebo Apache-2.0).