> Data Engineering _

Методология для систематического проектирования стратегий разбиения документов для конвейеров RAG (Retrieval-Augmented Generation). Используйте этот навык для задач, связанных со "стратегией разбиения", "разделением документов", "разбиением для RAG", "оптимизацией эмбеддингов", "семантическим разбиением", "разделением текста" и другими задачами предварительной обработки данных для RAG. Обратите внимание: создание инфраструктуры векторной базы данных и обучение моделей эмбеддингов не входят в область применения этого навыка.

Пожалуйста, предоставьте текст, который вы хотите, чтобы я перевел.

Маршрутизация преобразования из таблицы в таблицу.

Рабочий процесс и лучшие практики для написания DAG-ов Apache Airflow. Используйте, когда пользователь хочет создать новый DAG, написать код конвейера или задает вопросы о шаблонах и соглашениях DAG-ов. Для тестирования и отладки DAG-ов, обратитесь к разделу "тестирование DAG-ов".

Управляет, настраивает и устраняет неполадки Apache Airflow с помощью командной строки `af`. Охватывает такие задачи, как перечисление DAG, запуск процессов, чтение журналов задач, диагностика сбоев, отладка ошибок импорта DAG, проверка подключений, переменных, пулов и мониторинг состояния. Также предоставляет ссылки на смежные навыки, такие как написание DAG, отладка, развертывание и миграция Airflow с версии 2 на версию 3. Используйте, когда пользователь упоминает "Airflow", "DAG", "DAG run", "task log", "import error", "parse error", "broken DAG", или когда пользователь просит "запустить конвейер", "отладить ошибки импорта", "проверить состояние Airflow", "перечислить подключения", "повторить запуск" или любую другую операцию Airflow. Не используйте для анализа данных и SQL-запросов к метаданным Airflow — используйте для этого навык "analyzing-data".

Организует этап конвейера качества для системы "egregore". Выполняет проверки в соответствии с установленными правилами и активирует функции проверки качества на каждом этапе. Поддерживает режимы самопроверки (перед созданием запроса на слияние) и проверки запросов на слияние (для запросов на слияние, созданных другими участниками).

Оптимизация производительности и лучшие практики PostgreSQL от Supabase. Используйте эти знания при написании, проверке или оптимизации запросов PostgreSQL, проектировании схем или настройке баз данных.

Комплексные навыки разработки на ABAP для систем SAP. Используйте, когда пишете код на ABAP, работаете с внутренними таблицами, структурами, ABAP SQL, объектно-ориентированным программированием, RAP (модель программирования RESTful-приложений), CDS-представлениями, операторами EML, разработкой в ABAP Cloud, обработкой строк, динамическим программированием, RTTI/RTTC, символами полей, ссылками на данные, обработкой исключений или модульным тестированием ABAP. Охватывает как классический ABAP, так и современный ABAP для моделей разработки в облаке.

Навыки разработки в SAP Datasphere, включающие 3 специализированных агента, 5 команд, запускаемых через слэш, и механизмы проверки. Используйте при создании хранилищ данных на SAP BTP, разработке аналитических моделей, настройке потоков данных и потоков репликации, установке соединений, управлении пространствами и пользователями, реализации контроля доступа к данным или использовании CLI для SAP Datasphere. Охватывает Data Builder, Business Builder, аналитические модели, более 40 типов соединений, репликацию в реальном времени, цепочки задач, транспортировку контента и маркетплейс данных.

Этот навык следует использовать при перемещении данных между хранилищами, изменении структуры данных, переименовании полей или удалении устаревших данных. Охватывает версионирование схемы, безопасные методы миграции, оператор Foundry `unset` и идемпотентные миграции.

Навык для создания и редактирования классов данных Spatie Laravel в соответствии с конвенциями Prowi. Используйте, когда работаете с классами данных, DTO (Data Transfer Objects) или объектами передачи данных. Обеспечивает правильное использование свойств, основанных на конструкторе, валидации на основе аннотаций и коллекций.

Создавайте комплексные наборы тестов dbt, следуя стандартам качества данных FF Analytics и синтаксису dbt 1.10+. Этот навык следует использовать при создании тестов для новых моделей dbt, добавлении тестов к существующим моделям, стандартизации охвата тестами или реализации проверок качества данных. Охватывает уникальность гранулярности, связи внешнего ключа, проверку перечислений и тесты на актуальность данных.

|-

Комплексная обработка данных, объединяющая все этапы последовательности 6R: сбор, агрегация, анализ, переработка, проверка. Может работать как с отдельными элементами, так и в пакетном режиме. Три уровня глубины позволяют регулировать баланс между тщательностью и скоростью. Центральный компонент, управляющий всеми процессами обработки. Активируется событиями: "pipeline", "process", "full pipeline", "6R".

Пожалуйста, предоставьте текст, который вы хотите, чтобы я перевел.

Пожалуйста, предоставьте текст, который вы хотите, чтобы я перевел.

Этот навык следует использовать, когда пользователь запрашивает "синхронизацию базы данных", "получение производственных данных", "загрузку производственной базы данных", "миграцию базы данных", "обновление локальной базы данных", "обновление базы данных разработки" или нуждается в синхронизации производственных данных с локальной/разработочной средой.

Используйте этот навык при создании конвейеров обработки данных в реальном времени, задач обработки потоков или систем отслеживания изменений данных. Применяйте его в задачах, связанных с Apache Kafka (производители, потребители, темы, разделы, группы потребителей, Connect, Streams), Apache Flink (API DataStream, оконные функции, контрольные точки, обработка с сохранением состояния), реализациями event sourcing, отслеживанием изменений данных с помощью Debezium, шаблонами обработки потоков (оконные функции, водяные знаки, семантика "точно один раз") и в любых конвейерах, которые обрабатывают непрерывные потоки данных, а не статические данные.

Подкомпонент системы построения RAG: 1. Кэширование векторных представлений (+2).