Как правильно работать с большими массивами данных в PHP, чтобы не убить память и сервер.
Когда мы пишем скрипты, которые обрабатывают тысячи (или миллионы) строк — будь то импорт из CSV, выгрузка из БД или массовая обработка, — часто допускается ошибка: всё грузится в память сразу. В итоге сервер умирает от нехватки памяти, а скрипт - от таймаута.
Что делать?
1. Частями, а не всё сразу
Например, если вы работаете с PDO:
Так данные не будут храниться в огромном массиве — обработка идёт построчно.
2. Используйте генераторы
Генераторы (
Память почти не растёт — магия генераторов.
3. Разбивайте на батчи
Иногда эффективнее брать кусками:
4. Не забывайте про стриминг файлов
Если это CSV или JSON — читайте построчно через
Такие подходы сильно упрощают жизнь и экономят ресурсы.
А вы как работаете с большими данными? Используете генераторы или предпочитаете батчи?
📲 Мы в MAX
👉 @php_lib
Когда мы пишем скрипты, которые обрабатывают тысячи (или миллионы) строк — будь то импорт из CSV, выгрузка из БД или массовая обработка, — часто допускается ошибка: всё грузится в память сразу. В итоге сервер умирает от нехватки памяти, а скрипт - от таймаута.
Что делать?
1. Частями, а не всё сразу
Например, если вы работаете с PDO:
$stmt = $pdo->query("SELECT * FROM big_table");
while ($row = $stmt->fetch(PDO::FETCH_ASSOC)) {
process($row); // Обрабатываем каждую строку на лету
}
Так данные не будут храниться в огромном массиве — обработка идёт построчно.
2. Используйте генераторы
Генераторы (
yield) позволяют работать с большими данными лениво:
function getRows($pdo) {
$stmt = $pdo->query("SELECT * FROM big_table");
while ($row = $stmt->fetch(PDO::FETCH_ASSOC)) {
yield $row;
}
}
foreach (getRows($pdo) as $row) {
process($row);
}
Память почти не растёт — магия генераторов.
3. Разбивайте на батчи
Иногда эффективнее брать кусками:
$limit = 1000;
for ($offset = 0; ; $offset += $limit) {
$rows = $pdo->query("SELECT * FROM big_table LIMIT $limit OFFSET $offset")->fetchAll();
if (!$rows) break;
foreach ($rows as $row) {
process($row);
}
}
4. Не забывайте про стриминг файлов
Если это CSV или JSON — читайте построчно через
fgets() или stream_get_line(), а не file_get_contents().Такие подходы сильно упрощают жизнь и экономят ресурсы.
А вы как работаете с большими данными? Используете генераторы или предпочитаете батчи?
📲 Мы в MAX
👉 @php_lib
👍6🔥4
🔥 Полезная фича в Laravel: скрываем данные с помощью
Метод
💡 Небольшой совет: Начиная с версии Laravel 8.69, этот метод встроен "из коробки" и отлично подходит для безопасного отображения email-адресов, номеров телефонов или токенов.
Как это выглядит на практике:
#laravel #php #webdev #советы_разработчикам
📲 Мы в MAX
👉 @php_lib
Str::mask()Метод
Str::mask() позволяет легко замаскировать часть строки определенным символом (например, *).💡 Небольшой совет: Начиная с версии Laravel 8.69, этот метод встроен "из коробки" и отлично подходит для безопасного отображения email-адресов, номеров телефонов или токенов.
Как это выглядит на практике:
$userEmail = 'username@domain.com';
$maskedEmail = Str::mask($userEmail, '*', 4);
// Результат: user***************
// Если передать отрицательное число в качестве третьего аргумента,
// маскировка начнется с конца строки:
$maskedEmail = Str::mask($userEmail, '*', -16, 6);
// Результат: use******domain.com
#laravel #php #webdev #советы_разработчикам
📲 Мы в MAX
👉 @php_lib
👍2❤1🔥1
Сегодня хочу поделиться полезной практикой, которая реально экономит время при работе с чужим кодом — быстрая навигация и понимание проекта через composer.json.
Когда попадаешь в новый проект, чаще всего первым делом начинаешь блуждать по папкам, читать контроллеры, роуты, сервисы… Но есть более быстрый способ понять архитектуру - сразу открыть composer.json.
Что можно сразу понять:
- Какие библиотеки используются - а значит, какие фреймворки, ORM, инструменты кеширования или логирования ждут нас внутри.
- Какая версия PHP нужна — помогает избежать сюрпризов с несовместимыми функциями.
- Автозагрузка - раздел autoload и autoload-dev сразу подскажет, где искать код и как он структурирован. Например, если вижу App\\ => src/, я знаю, что основной код живёт в src.
- Скрипты - в scripts иногда прячутся удобные команды для деплоя, генерации, тестов, которые можно запускать через composer run-script.
Я часто делаю так: открываю composer.json, сразу строю для себя “карту” проекта и понимаю, где искать бизнес-логику и какие инструменты уже встроены.
А вы как знакомитесь с новым проектом? С чего начинаете?
📲 Мы в MAX
👉 @php_lib
Когда попадаешь в новый проект, чаще всего первым делом начинаешь блуждать по папкам, читать контроллеры, роуты, сервисы… Но есть более быстрый способ понять архитектуру - сразу открыть composer.json.
Что можно сразу понять:
- Какие библиотеки используются - а значит, какие фреймворки, ORM, инструменты кеширования или логирования ждут нас внутри.
- Какая версия PHP нужна — помогает избежать сюрпризов с несовместимыми функциями.
- Автозагрузка - раздел autoload и autoload-dev сразу подскажет, где искать код и как он структурирован. Например, если вижу App\\ => src/, я знаю, что основной код живёт в src.
- Скрипты - в scripts иногда прячутся удобные команды для деплоя, генерации, тестов, которые можно запускать через composer run-script.
Я часто делаю так: открываю composer.json, сразу строю для себя “карту” проекта и понимаю, где искать бизнес-логику и какие инструменты уже встроены.
А вы как знакомитесь с новым проектом? С чего начинаете?
📲 Мы в MAX
👉 @php_lib
👍2