view --main llm-evaluator-avtomatizirovannaya-otsenka-kachestva-bolshih-yazykovyh-modeley.md

llm-evaluator — Автоматизированная оценка качества больших языковых моделей

Name: llm-evaluator — Автоматизированная оценка качества больших языковых моделей
Author: openclaw/skills

Оцените качество работы искусственного интеллекта с помощью llm-evaluator – системы, разработанной для точной оценки релевантности, точности, склонности к галлюцинациям и полезности ответов большой языковой модели. Инструмент использует Python, Langfuse и GPT-5-nano для автоматизированной оценки и предоставляет структурированные результаты для повышения качества работы AI-агента.

llm-evaluator позволяет проводить оценку как отдельных трасс, так и пакетную обработку, что особенно полезно для контроля качества генерируемых ответов и выявления проблемных зон. Поддерживается выбор различных оценщиков (relevance, accuracy, hallucination, helpfulness) для гибкой настройки процесса оценки и соответствия конкретным требованиям. Используется Bash для командной строки и OpenClaw для интеграции.

Инструмент предоставляет удобные Python скрипты для тестирования, оценки конкретных трасс и пакетной обработки не оцененных трасс. Результаты оценки представлены в виде числовых значений по шкале от 0 до 1 для каждого критерия, что обеспечивает объективную и измеримую оценку эффективности большой языковой модели.

$ git log --oneline --stat

⭐ звёзды: 3,556

форки: 1,005

обновлено: 29 марта 2026 года в 12:14

Проводник файлов

1 файлы

SKILL.md

readonly --- lines

--- name: llm-evaluator description: LLM-as-a-Judge evaluation system using Langfuse. Score AI outputs on relevance, accuracy, hallucination, and helpfulness. Backfill scoring on historical traces. Uses GPT-5-nano for cost-efficient judging. Use when evaluating AI quality, building evals, or monitoring output accuracy. homepage: https://www.agxntsix.ai license: MIT compatibility: Python 3.10+, Langfuse instance, OpenRouter API key metadata: {"openclaw": {"emoji": "u2696ufe0f", "requires": {"env": ["OPENROUTER_API_KEY"]}, "primaryEnv": "OPENROUTER_API_KEY", "homepage": "https://www.agxntsix.ai"}} --- # LLM Evaluator ⚖️ LLM-as-a-Judge evaluation system powered by Langfuse. Uses GPT-5-nano to score AI outputs. ## When to Use - Evaluating quality of search results or AI responses - Scoring traces for relevance, accuracy, hallucination detection - Batch scoring recent unscored traces - Quality assurance on agent outputs ## Usage ```bash # Test with sample cases python3 {baseDir}/scripts/evaluator.py test # Score a specific Langfuse trace python3 {baseDir}/scripts/evaluator.py score <trace_id> # Score with specific evaluator only python3 {baseDir}/scripts/evaluator.py score <trace_id> --evaluators relevance # Backfill scores on recent unscored traces python3 {baseDir}/scripts/evaluator.py backfill --limit 20 ``` ## Evaluators | Evaluator | Measures | Scale | |-----------|----------|-------| | relevance | Response relevance to query | 0–1 | | accuracy | Factual correctness | 0–1 | | hallucination | Made-up information detection | 0–1 | | helpfulness | Overall usefulness | 0–1 | ## Credits Built by [M. Abidi](https://www.linkedin.com/in/mohammad-ali-abidi) | [agxntsix.ai](https://www.agxntsix.ai) [YouTube](https://youtube.com/@aiwithabidi) | [GitHub](https://github.com/aiwithabidi) Part of the **AgxntSix Skill Suite** for OpenClaw agents. 📅 **Need help setting up OpenClaw for your business?** [Book a free consultation](https://cal.com/agxntsix/abidi-openclaw)

Инициализация мануала...