view --main optimize-with-environments-avtomatizatsiya-optimizatsii-sistemnyh-podskazok.md

Optimize-with-environments — Автоматизация оптимизации системных подсказок

Name: Optimize-with-environments — Автоматизация оптимизации системных подсказок
Author: PrimeIntellect-ai/verifiers

Упростите оптимизацию системных подсказок с помощью optimize-with-environments. Эта библиотека предоставляет структурированный подход к итеративному улучшению, основанный на GEPA, обеспечивая воспроизводимость и контроль над процессом. Используйте ее для повышения эффективности ваших RL environments и оценки результатов.

Optimize-with-environments – это удобная терминальная утилита и CLI-инструмент, предназначенная для автоматизации оптимизации. Она позволяет быстро запускать итерации, используя предопределенные или настраиваемые конечные точки и модели (gpt-4.1, qwen3 и другие), а также обеспечивает гибкость в выборе моделей для инструкций и рассуждений. Управление конфигурациями осуществляется через configs/endpoints.toml, что способствует повторному использованию.

Начните с базовой оценки с помощью prime eval run, затем запустите GEPA для оптимизации. Командная строка предоставляет простой интерфейс для управления параметрами, а встроенные подсказки направляют пользователя к рекомендованным моделям и рабочим процессам, гарантируя последовательность и эффективность.

$ git log --oneline --stat

⭐ звёзды: 3,945

форки: 522

обновлено: 29 марта 2026 года в 09:51

Проводник файлов

1 файлы

SKILL.md

readonly --- lines

--- name: optimize-with-environments description: Optimize environment system prompts with GEPA through prime gepa run. Use when asked to improve prompt performance without gradient training, compare baseline versus optimized prompts, run GEPA from CLI or TOML configs, or interpret GEPA outputs before deployment. --- # Optimize With Environments ## Goal Use GEPA to optimize system prompts in a controlled, reproducible loop. ## Scope Current GEPA path is for system prompt optimization. If user asks for unsupported optimization targets, stop and clarify before proceeding. ## Endpoint And Model Selection Nudge 1. Encourage users to define reusable aliases in `configs/endpoints.toml`. 2. Ask whether optimization should be validated on instruct or reasoning models. 3. Instruct go-tos: `gpt-4.1` series, `qwen3` instruct series. 4. Reasoning go-tos: `gpt-5` series, `qwen3` thinking series, `glm` series. 5. For benchmark reporting, keep model family fixed between baseline and optimized comparisons unless the user requests a cross-family study. ## Core Workflow 1. Verify baseline first with `prime eval run`. Keep the default save behavior and do not add `--skip-upload` unless the user explicitly requests that deviation: ```bash prime eval run my-env -m gpt-4.1-mini -n 50 -r 3 -s ``` 2. Run GEPA: ```bash prime gepa run my-env -m gpt-4.1-mini -M gpt-4.1-mini -B 500 -n 100 -N 50 ``` 3. Or run from config: ```bash prime gepa run configs/gepa/wordle.toml ``` 4. Re-evaluate with optimized prompt and compare against baseline. ## High-Value Settings 1. `-B/--max-calls`: total optimization budget. 2. `-n/--num-train` and `-N/--num-val`: train/validation split sizes. 3. `--minibatch-size`: reflection granularity. 4. `--perfect-score`: skip already-solved minibatches when max score is known. 5. `--state-columns`: include environment-specific context in reflection data. ## Output Artifacts Expect and inspect: 1. `best_prompt.txt` 2. `pareto_frontier.jsonl` 3. `metadata.json` ## Quality Rules 1. Do not optimize on top of broken reward logic. 2. For weak deterministic checks, fix rubric quality before GEPA tuning. 3. Keep model, sampling, and dataset conditions stable during baseline-vs-GEPA comparison. 4. Report limitations directly when feature gaps block requested optimization. ## Deliverable Return: 1. Baseline metrics. 2. Optimized metrics. 3. Prompt diff summary. 4. Recommendation to adopt, iterate, or stop.

Инициализация мануала...