🚀 Оптимизация LLM для RTX 3090

Репозиторий предлагает конфигурации и патчи для запуска современных языковых моделей на RTX 3090. Поддерживает несколько движков и моделей, обеспечивая максимальную производительность и надежность в зависимости от ваших потребностей.

🚀 Основные моменты:
- Поддержка двух маршрутов: максимальная производительность или надежность.
- Проверенные конфигурации Docker для локального API.
- Модель-агностичный подход с поддержкой различных языковых моделей.
- Оптимизированные настройки для 1 или 2 RTX 3090.

📌 GitHub: https://github.com/noonghunna/club-3090

#python

@Python_Community_ru

🔒 OpenAI Privacy Filter: Защита Личных Данных

Модель для обнаружения и маскировки персонально идентифицируемой информации (PII) в текстах. Идеальна для высокопроизводительных рабочих процессов по очистке данных, обеспечивая быструю и контекстно осведомлённую обработку. Подходит для локального использования и настройки.

🚀 Основные моменты:
- Двусторонняя классификация токенов для PII.
- Легкая настройка под специфические данные.
- Поддержка длинных контекстов до 128,000 токенов.
- Низкие требования к ресурсам: работает на ноутбуках и в браузерах.
- Гибкость в управлении точностью и полнотой.

📌 GitHub: https://github.com/openai/privacy-filter

#python

@Python_Community_ru

🚀 Удобная система сборки для нескольких языков с rigx

rigx — это экспериментальная система сборки для C, C++, Go, Rust, Zig, Nim и Python, которая упрощает процесс разработки, обеспечивая изоляцию и кэширование. Все зависимости управляются автоматически, а сборки выполняются в песочнице, что исключает проблемы с "работает на моем компьютере".

🚀 Основные моменты:
- Простая декларативная конфигурация через rigx.toml.
- Поддержка многопоточности и интеграционных тестов.
- Кэширование выходных данных для ускорения сборок.
- Совместимость с Nix для управления зависимостями.

📌 GitHub: https://github.com/unofficialtools/rigx

#python

@Python_Community_ru

🌟 Интуитивные голосовые интерфейсы с Moonshine Voice

Moonshine Voice — это открытый инструмент для разработчиков, позволяющий создавать голосовые приложения в реальном времени. Все работает на устройстве, обеспечивая высокую скорость и конфиденциальность без необходимости в учетных записях или API-ключах. Поддерживает множество языков и предлагает высокую точность распознавания речи.

🚀 Основные моменты:
- Оптимизирован для приложений с низкой задержкой.
- Поддержка множества платформ: от Python до IoT-устройств.
- Простые в использовании API для транскрипции и синтеза речи.
- Высокая точность моделей, превосходящая Whisper Large V3.
- Многоязычная поддержка для STT и TTS.

📌 GitHub: https://github.com/moonshine-ai/moonshine

#python

@Python_Community_ru

✔️ Centaur - это платформа для совместного использования AI-агентов, интегрированных в Slack.

Она позволяет командам взаимодействовать с агентами, которые выполняют задачи в изолированных средах Kubernetes, обеспечивая безопасность и гибкость.

🚀 Основные моменты:
- Slack-агенты для выполнения задач и получения ответов.
- Изолированные среды для безопасного выполнения команд.
- Поддержка пользовательских инструментов и плагинов.
- Долговременные рабочие процессы с возможностью восстановления.
- Хранение состояния для повторного подключения без потери данных.

📌 GitHub: https://github.com/paradigmxyz/centaur

#python

@Python_Community_ru

🚀 GPU-библиотека для классического машинного обучения

FlashLib предлагает высокопроизводительные реализации операторов машинного обучения, таких как kmeans, PCA и DBSCAN, с использованием Triton и CuteDSL. Библиотека позволяет эффективно обрабатывать данные на GPU, обеспечивая простоту использования и высокую скорость выполнения.

🚀Основные моменты:
- Поддержка 15 высокоуровневых примитивов для машинного обучения.
- Информативный API для оценки производительности операций.
- Оптимизированные реализации для кластеризации, регрессии и декомпозиции.
- Легкая интеграция с PyTorch и sklearn.

📌 GitHub: https://github.com/FlashML-org/flashlib

#python

@Python_Community_ru