> Data Engineering _

Устраните ошибки в приложениях Studio с помощью модуля studio-error-handling. Он обеспечивает четкую и структурированную систему обработки ошибок, ускоряя поиск и устранение проблем, что улучшает пользовательский опыт и повышает стабильность ETL-пайплайнов. Модуль использует инженерию данных для классификации ошибок на уровне данных, что значительно упрощает поиск решений. Реализация на React Query и TypeScript обеспечивает поиск типа ошибки за O(1), исключая дорогостоящие операции с регулярными выражениями – критически важно для эффективной обработки данных. Модуль включает компоненты для отображения руководства по устранению неполадок (аккордеоны) и готовые решения для распространенных проблем. Документация и примеры кода доступны по адресу apps/studio/components/interfaces/ErrorHandling/README.md. Оптимизируйте разработку и повысьте надежность Studio приложений.

Решение проблем, связанных с интеграцией и управлением различными AI платформами и сервисами в среде Snowflake, стало проще благодаря библиотеке snowflake-development. Она предоставляет набор готовых инструментов и навыков, оптимизированных специально для разработки в Snowflake, позволяя автоматизировать рутинные задачи и повысить эффективность работы. Библиотека включает в себя скриптовый язык для написания скриптов, CLI-инсталлятор, наборы рабочих процессов и специализированные рекомендации для Snowflake. Это позволяет значительно упростить создание и поддержку сложных пайплайнов данных, используя Python, SQL и другие технологии. Функциональность автоматизации охватывает широкий спектр задач, от развертывания до оптимизации производительности. snowflake-development предоставляет удобный способ управления и расширения функциональности Snowflake, используя готовые навыки и инструменты. Это сокращает время разработки и повышает надежность решений, особенно при работе с Cortex AI и Snowpark Python. Поддерживается написание скриптов для автоматизации и упрощения взаимодействия с различными сервисами.

Обеспечьте безопасное и эффективное использование искусственного интеллекта. Этот репозиторий предлагает комплексную структуру и вклад сообщества для анализа и улучшения AI-агент запросов, с акцентом на безопасность, предвзятость и защиту от уязвимостей. Включает в себя фреймворк оценки безопасности, рекомендации по выявлению и смягчению предвзятости, а также практические советы по prompt engineering. Решение проблем, связанных с неконтролируемым поведением большой языковой модели. Включает в себя инструменты для систематической оценки запросов, выявления потенциальных рисков, связанных с генерацией вредоносного контента, языка ненависти и других нежелательных результатов. Использует Python и GitHub Copilot для автоматизации и повышения эффективности процесса. Сообщество и лучшие практики – основа безопасной разработки. Репозиторий предоставляет руководства по AI Safety Frameworks и Natural Language Processing, а также платформу для обмена опытом и совместного улучшения prompt engineering запросов. Акцент делается на ответственном использовании искусственного интеллекта и минимизации рисков.

Dask – это open-source решение для параллельных вычислений и работы с данными, превышающими объем оперативной памяти. Он позволяет эффективно обрабатывать большие наборы данных, используя знакомые Python API, такие как Pandas и NumPy, и значительно ускоряет аналитические процессы. Dask предоставляет инструмент разработчика для масштабирования операций Pandas и NumPy, позволяя выполнять параллельную обработку на нескольких ядрах или распределенных вычислительных кластерах. Поддерживается работа с данными в форматах Parquet и других, обеспечивая гибкость при работе с различными источниками данных. Благодаря автоматизации распределения задач, Dask упрощает создание сложных параллельных рабочих процессов и позволяет эффективно использовать вычислительные ресурсы для решения задач, требующих обработки больших объемов информации. Это мощный инструмент для анализа данных и машинного обучения.

LaminDB решает проблему фрагментированности биологических данных, предоставляя унифицированную платформу для их хранения, анализа и обмена. Решение позволяет значительно упростить автоматизацию задач, связанных с обработкой и интерпретацией больших объемов информации, благодаря единому скриптингу через Python API. LaminDB объединяет архитектуру lakehouse, отслеживание происхождения данных, хранилища признаков, биологические онтологии, системы управления лабораторной информацией (LIMS) и электронные лабораторные журналы (ELN). Это обеспечивает полную прослеживаемость рабочего процесса – от исходных данных до результатов анализа, гарантируя воспроизводимость и соответствие принципам FAIR. Платформа идеально подходит для управления различными типами биологических данных, включая scRNA-seq, bulk RNA-seq, пространственную транскриптомику и данные EHR, обеспечивая удобный поиск, фильтрацию и стандартизированные аннотации с использованием биологических онтологий.

Zarr-Python – это open-source решение для эффективного хранения и доступа к большим, многомерным массивам данных. Библиотека позволяет реализовать параллельный ввод-вывод, оптимизировать использование дискового пространства и упростить работу с облачными хранилищами, обеспечивая плавную интеграцию с популярными инструментами, такими как NumPy, Dask и Xarray. Она идеально подходит для построения cloud-native рабочих процессов. Zarr-Python предоставляет инструмент разработчика для организации данных в виде фрагментов (chunking) и с применением сжатия, что значительно снижает требования к хранилищу и повышает скорость доступа. Поддерживается интеграция с облачными сервисами, включая Amazon S3 и Google Cloud Storage, что упрощает совместную работу и масштабирование. Использование Zarr-Python позволяет значительно повысить эффективность обработки больших объемов данных, обеспечивая автоматизацию процессов хранения и извлечения информации. Библиотека предоставляет удобный Python интерфейс для создания, чтения и записи массивов, что упрощает интеграцию в существующие пайплайны анализа данных.

Решение data-pipeline предоставляет комплексную поддержку для создания надежных, масштабируемых и наблюдаемых конвейеров данных. Оно решает проблему построения стабильных и эффективных систем обработки данных, обеспечивая возможность интеграции с существующей инфраструктурой и упрощая процесс разработки. Это инструмент разработчика, позволяющий строить пайплайны, устойчивые к сбоям и легко масштабируемые. Ключевые особенности включают в себя idempotent шаги, проверки качества данных и четкое разделение оркестровки и вычислений. Использование таких технологий, как Rust, Apache Airflow, Spark, dbt и LLM, позволяет эффективно обрабатывать как пакетные, так и потоковые данные, обеспечивая гибкость и производительность. Поддерживается принцип ELT для повышения воспроизводимости и аудируемости. Data-pipeline предлагает open-source решение для автоматизации процессов обработки данных, снижая ручной труд и повышая эффективность. Принципы проектирования конвейеров данных, такие как разделение данных по времени и логическим ключам, а также внедрение проверок качества данных на каждом этапе, гарантируют целостность и надежность получаемых результатов.

Agent-browser – это инструмент командной строки, разработанный для автоматизации задач, связанных с взаимодействием с веб-браузерами. Он позволяет эффективно выполнять повторяющиеся действия, такие как заполнение форм и нажатие кнопок, используя Chrome или Chromium через Chrome DevTools Protocol (CDP). Инструмент предоставляет возможность создания сложных скриптов для управления браузером без необходимости написания обширного кода. Ключевой особенностью agent-browser является возможность построения цепочек команд, что значительно оптимизирует рабочий процесс. Использование CDP селекторов позволяет точно идентифицировать элементы на странице, а функция постоянной сессии браузера (daemon) обеспечивает стабильность и непрерывность выполнения задач. Установка и обновление выполняются через npm, brew или cargo. Agent-browser написан на Rust и использует Node.js для удобства установки и использования. Типичный рабочий процесс включает в себя открытие страницы, создание снимка состояния, взаимодействие с элементами с использованием ссылок и повторное создание снимка после навигации. Это позволяет создавать надежные и воспроизводимые сценарии автоматизации задач.

Решение проблемы потери данных и обеспечение возможности восстановления предыдущих версий навыков Clawhub. Этот репозиторий реализует надежный процесс архивации и резервного копирования данных о навыках, гарантируя сохранность истории изменений и предоставляя удобный API для доступа к ним. В основе лежит эффективная инженерия данных, позволяющая поддерживать целостность и доступность информации. Автоматизированный ETL-пайплайн обеспечивает регулярное создание резервных копий, а API предоставляет структурированный доступ к данным навыков, идентифицируемым по UUID. Поддерживаются операции GET и POST, требующие авторизации с использованием ключей lsk_. Документация по API доступна по ссылке references/api.md. Система использует Python для обработки данных и хранит резервные копии в облачном хранилище. Ключевые функции включают архивирование версий навыков, предоставление API для доступа к данным и автоматизированный процесс резервного копирования. Использование UUID гарантирует уникальность и надежность идентификации каждого навыка.

api-bridge решает проблему интеграции AI-агентов с внешними данными, предоставляя тщательно отобранную коллекцию общедоступных API. Инструмент содержит шаблоны конечных точек, структуру выходных данных и примеры curl, значительно упрощая процесс подключения. Это эффективная терминальная утилита для разработчиков, которым требуется быстрый и надежный доступ к API. api-bridge – это CLI-инструмент, написанный на Bash и использующий curl для взаимодействия с API. Он предлагает структурированный список API, категоризированных по сценариям использования, что позволяет быстро находить и использовать нужные ресурсы. В качестве бонуса, командная строка позволяет легко автоматизировать процессы. В основе api-bridge лежит философия простоты и практичности. Предоставляемые API, в основном не требующие ключей и обладающие высокой доступностью, представлены с готовыми примерами, что делает его ценным активом для работы с JSON данными и интеграции с различными сервисами.

Репозиторий предлагает проверенные шаблоны для пакетной обработки данных, оптимизированные для архивации и резервного копирования информации из Clawhub. Ключевая задача – эффективное и адаптивное планирование задач, обеспечивающее надежность и масштабируемость ETL-пайплайнов. Решения, представленные здесь, помогут вам избежать узких мест и повысить производительность. В основе представленных шаблонов лежит гибкая система адаптивного планирования, позволяющая динамически регулировать степень параллелизма в зависимости от нагрузки. Использование TypeScript и Node.js, а также встроенные механизмы контроля параллельности и обработки ошибок, обеспечивают устойчивую работу даже при больших объемах данных и непредсказуемых условиях. Поддерживается возможность прерывания обработки отдельных элементов. Эти шаблоны являются ценным инструментом для специалистов по инженерии данных, стремящихся к автоматизации и оптимизации процессов резервного копирования и архивации. Включают в себя механизмы параллельной обработки, надежную обработку ошибок и возможность аварийной остановки, что позволяет создавать отказоустойчивые и масштабируемые решения.

Решение проблемы управления и архивации данных о навыках, доступных на Clawhub. Инженерия данных в этой системе автоматизирована, обеспечивая создание и поддержку надежного ETL-пайплайна для сбора и обработки информации о навыках. Автоматизированное резервное копирование и версионирование данных гарантируют целостность и доступность информации. Система предоставляет комплексное решение для управления источниками данных, включая автоматическую обработку и обновление информации. Используя обработку данных с помощью Python, Feedparser и Requests, обеспечивается эффективный сбор данных из различных источников, таких как RSS-каналы и веб-сайты. Регулярное выполнение задач по сбору и обработке данных осуществляется по расписанию с использованием cron. Ключевые особенности включают автоматизированное архивирование навыков, централизованное управление источниками данных и возможность планирования выполнения задач. Для установки и запуска требуются Python версии 3.10 и выше, а также необходимые библиотеки, перечисленные в файле requirements.txt.

Agnost-ingestion предоставляет инструменты и SDK для эффективной интеграции данных, связанных с взаимодействиями AI-агент, контекстом модели и аналитикой серверов протокола контекста модели, в платформу Agnost AI. Решение позволяет централизованно собирать и анализировать данные для оптимизации производительности и улучшения качества работы искусственный интеллект систем. Включает в себя Conversation SDK для отслеживания диалогов и MCP SDK для мониторинга серверов, а также REST API и SDK на Python, TypeScript, и Go. Предоставляются готовые примеры кода и подробная документация, облегчающие внедрение и настройку. Интеграция позволяет использовать большая языковая модель для анализа и выявления закономерностей. Для начала работы определите сценарий использования (отслеживание диалогов или аналитика серверов), изучите примеры кода и ссылки в директории references/. Документация доступна по адресу [https://docs.agnost.ai](https://docs.agnost.ai). API Endpoint: https://api.agnost.ai.

ai-topic-scout обеспечивает надежное резервное копирование и долгосрочное хранение данных, связанных с навыками из Clawhub. Решение позволяет отслеживать изменения и историю информации о навыках, что критически важно для инженерии данных, особенно при работе с динамично меняющимися данными. Это достигается благодаря автоматизированному архивированию и управлению данными, интегрированному с Clawhub. Используя ETL-пайплайн и набор инструментов командной строки, ai-topic-scout упрощает сбор и обработку данных. Включает в себя утилиты для управления конфигурациями, интеграции с сервисами, такими как DingTalk и Twitter, а также инструменты для скачивания данных с YouTube. Процесс обработки данных автоматизирован и позволяет избежать потери ценной информации. Архитектура решения построена на базе Node.js, Bash и JSON, обеспечивая гибкость и масштабируемость. Предоставляется подробная документация и примеры конфигураций для упрощения развертывания и использования. ai-topic-scout – это надежный инструмент для поддержания целостности и доступности данных о навыках.

Проект nodejs-project-arch предлагает стандартизированную архитектуру для Node.js-проектов, оптимизированную для эффективной работы с AI-агентами. Ограничения по размеру файлов и строгая структура обеспечивают удобство обработки и манипулирования кодом, что особенно важно при использовании инструментов инженерии данных. Архитектура позволяет создавать легко масштабируемые решения для различных задач, включая построение ETL-пайплайнов. Ключевые особенности включают в себя жесткие ограничения на размер файлов (до 400 строк для основного файла, 200 для index.html, 100 для server.js), централизованную конфигурацию через config.json и маршрутизацию бэкенда по доменам. Фронтенд использует минималистичную структуру HTML, а логика разделена между routes/, services/ и db.js, что упрощает обработку данных и поддержку. Каждый проект включает в себя admin.html и routes/admin.js для динамической перезагрузки конфигурации. Доступны различные типы проектов, включая игры, инструменты для работы с данными и утилиты, каждый из которых имеет свою собственную справочную документацию. Это обеспечивает согласованность и упрощает процесс разработки.

Преобразование операций трансформации в PySpark. Автоматически активируется для конвейеров данных. Запускается при: использовании трансформаций PySpark. Является частью категории навыков "Конвейеры данных". Используйте, когда работаете с функциональностью трансформаций PySpark. Активируется фразами, такими как "pyspark transformer", "pyspark transformer", "pyspark".

Единая команда для выявления и устранения технических долгов. Сканирует кодовую базу на предмет технических долгов, оценивает их серьезность, планирует и выполняет исправления с последующей проверкой. Использует архитектуру агентов, работающих в команде, с ролями для реализации логики предметной области. Координатор управляет конвейером, а агенты являются агентами, работающими в команде. Запускается по событию "технический долг команды".

Глубокие навыки командной работы и анализа. Все роли проходят через этот файл SKILL.md. Оптимальная модель – только координатор (файл monitor.md). Структура: роли/ + спецификации/. Активируется при запросах "командный ультра-анализ" и "командный анализ".

Объединенные командные навыки для решения проблем. Использует архитектуру агентов, работающих в команде, с ролевыми директориями для логики предметной области. Координатор управляет конвейером, а рабочие являются агентами, работающими в команде. Активируется событием "проблема, требующая командного решения".

Используйте эту технологию для обработки и анализа больших табличных наборов данных (миллиарды строк), которые превышают доступный объем оперативной памяти. Vaex отлично подходит для операций с DataFrame, выполняемых за пределами оперативной памяти, для ленивых вычислений, быстрой агрегации, эффективной визуализации больших данных и машинного обучения на больших наборах данных. Применяйте, когда пользователям необходимо работать с большими файлами CSV/HDF5/Arrow/Parquet, выполнять быструю статистику на огромных наборах данных, создавать визуализации больших данных или создавать конвейеры машинного обучения, которые не помещаются в памяти.

Проверка качества данных — автоматическая функция для конвейеров данных. Активируется при: проверке качества данных. Является частью категории функций "Конвейеры данных".

Используйте эту функцию активно для любых задач, связанных с заданиями Databricks: создание, перечисление, запуск, обновление или удаление заданий. Триггерами являются: (1) "создать задание" или "новое задание", (2) "перечислить задания" или "показать задания", (3) "запустить задание" или "активировать задание", (4) "статус задания" или "проверить задание", (5) планирование с помощью cron или триггеров, (6) настройка уведомлений/мониторинга, (7) ЛЮБЫЕ задачи, связанные с заданиями Databricks через CLI, Python SDK или Asset Bundles. ВСЕГДА предпочтительнее использовать эту функцию, а не общие знания о Databricks, для задач, связанных с заданиями.

Фреймворк для оценки навыков Databricks. Используйте его при создании тестовых сценариев для проверки навыков, проведении оценок навыков, сравнении версий навыков или создании наборов данных с использованием конвейера "Генерация-Проверка-Продвижение" (GRP). Триггерами являются: "проверка навыка", "оценка навыка", "регрессия навыков", "набор данных с эталонными значениями", "конвейер GRP", "качество навыка" и "метрики навыка".

Используйте этот навык, когда задача связана с локальным проектом SToFM, расположенным в каталоге /DATA/disk0/zhaosy/home/SToFM, особенно при предобработке данных пространственной транскриптомики для SToFM, генерации клеточных представлений с использованием конвейера кодировщика клеток и трансформера SE(2), обработке пространственных координат или подготовке представлений SToFM для последующей сегментации регионов или аннотации типов клеток.

Высокопроизводительные вычисления и рабочие процессы машинного обучения с использованием JAX. Поддерживает операции над массивами, автоматическое дифференцирование, компиляцию JIT, операции сканирования в стиле RNN, операции map/reduce и вычисления градиентов. Идеально подходит для научных вычислений, моделей машинного обучения и динамических преобразований массивов.

Используйте эту функцию для генерации тестовых данных TPC-H, объединения файлов Parquet, проверки структуры набора данных или оптимизации размеров групп строк. Эта функция активируется, когда пользователю требуются тестовые данные определенного масштаба, когда необходимо объединить небольшие файлы Parquet, проверить структуру набора данных или подготовить данные для тестов производительности. Автоматически выбирает использование cudf (GPU) или pyarrow (CPU) с возможностью переключения на CPU в случае нехватки памяти.

Мета-агент, который направляет запросы в области биоинформатики к специализированным подмодулям. Он выполняет обнаружение типов файлов, планирование анализа, генерацию отчетов и экспорт данных для обеспечения воспроизводимости.

Каталог оптимизации SQL-запросов. Дополнительный навык для аналитика производительности, который предоставляет стратегии индексирования (B-Tree/Hash/GIN/GiST), анализ планов выполнения, решение проблем "N+1", стратегии партиционирования и методы оптимизации для медленных запросов. Используйте этот навык при проведении анализа производительности базы данных, включающего такие аспекты, как "оптимизация запросов", "проектирование индексов", "планы выполнения", "проблемы N+1", "партиционирование" и "медленные запросы". Обратите внимание: моделирование данных и конфигурация безопасности не входят в область применения этого навыка.

Методология для систематического проектирования стратегий разбиения документов для конвейеров RAG (Retrieval-Augmented Generation). Используйте этот навык для задач, связанных со "стратегией разбиения", "разделением документов", "разбиением для RAG", "оптимизацией эмбеддингов", "семантическим разбиением", "разделением текста" и другими задачами предварительной обработки данных для RAG. Обратите внимание: создание инфраструктуры векторной базы данных и обучение моделей эмбеддингов не входят в область применения этого навыка.

Система, в которой команда разработчиков систематически создает записи о принятых архитектурных решениях (ADR). Используйте эту систему для запросов, таких как "написать ADR", "архитектурная запись о принятом решении", "задокументировать техническое решение", "архитектурная запись о принятом решении", "организовать обоснование выбора архитектуры", "решение о технологическом стеке", "анализ сравнения альтернатив", "анализ компромиссов" или "история архитектурных решений". Обратите внимание: фактическое выполнение миграции кода, развертывание инфраструктуры и выполнение тестов производительности не входят в область применения этой системы.