---
library_name: llama.cpp
license: other
pipeline_tag: sentence-similarity
tags:
- text-embeddings
- sentence-embeddings
- semantic-search
- retrieval
- embedding
- sentence-similarity
- feature-extraction
- russian
- russian-language
- multilingual
- english
- gguf
- ggml
- llama-cpp
- llama.cpp
- qwen3
- qwen
- encoder
- bidirectional
- mean-pooling
- instruct
- instruction-tuning
- rag
- search
- nlp
- cpu
- cpu-inference
- local
- on-device
- 480m
- quantized
- q8
- q8_0
- open-source
model-index:
- name: Giga-Embeddings-instruct-480M-0826-GGUF-Q8_0
  results:
  - task:
      type: text-retrieval
    dataset:
      type: custom
      name: Russian Retrieval Benchmark (instruct)
    metrics:
    - type: recall@1
      value: 1
      name: Recall@1 (instruct)
    - type: recall@3
      value: 1
      name: Recall@3 (instruct)
    - type: mrr
      value: 1
      name: MRR (instruct)
    - type: recall@1
      value: 1
      name: Recall@1 (no-instruct)
    - type: recall@3
      value: 1
      name: Recall@3 (no-instruct)
    - type: mrr
      value: 1
      name: MRR (no-instruct)
language:
- ru
- en
base_model:
- ai-sage/Giga-Embeddings-instruct-480M-0826
---

# 🇷🇺 Giga-Embeddings-instruct-480M-0826 · GGUF Q8_0

**Производная GGUF-версия** модели [`ai-sage/Giga-Embeddings-instruct-480M-0826`](https://huggingface.co/ai-sage/Giga-Embeddings-instruct-480M-0826),
сконвертированная в Q8_0 и оптимизированная под [`llama.cpp`](https://github.com/ggml-org/llama.cpp).
Все заслуги — у оригинальных авторов; эта карточка описывает именно GGUF-конверсию.

Github карточка(https://github.com/rad0main/Giga-Embeddings-480M-0826-GGUF)

---

## Что это

480-миллионная русско-фокусированная эмбеддинг-модель на архитектуре Qwen3 с **MEAN-pooling**,
которая в оригинальной safetensors-версии занимает **топ-1 на ruMTEB** (70.98).
Эта GGUF-сборка позволяет запускать её локально через `llama-server --embedding`
без Python-окружения и GPU-инференса.

## Ключевые параметры

| Параметр | Значение |
|---|---|
| Архитектура | Qwen3 (encoder-style, bidirectional) |
| Параметры | 480M |
| Размерность | 1024 |
| Pooling | **MEAN** |
| Контекст | 8192 токенов |
| Формат файла | GGUF Q8_0 (~512 МБ) |
| Инструкции | поддерживаются |
| Языки | русский, английский |