Услуга · ClickHouse DWH
Разворачиваю ClickHouse под задачи бизнеса: e-commerce с событиями, продуктовая телеметрия, исторические данные рекламы. Yandex Managed или self-hosted на вашем VPS.
ClickHouse — колоночная аналитическая база. Считает агрегаты по миллиардам строк за секунды. Я разворачиваю его как DWH, когда обычная Postgres или MS SQL перестают тянуть аналитику.
Типичные ситуации: e-commerce с журналом событий, продуктовая телеметрия SaaS, история рекламы за 3+ года, лог-аналитика, IoT-данные. Если у вас 5 млн строк в год и Postgres справляется — ClickHouse не нужен.
Поверх ClickHouse чаще всего ставлю DataLens — см. услугу Yandex DataLens. Если нужна product analytics — Apache Superset или Metabase, разворачиваю отдельной задачей.
ClickHouse — это инфраструктура, но выгода у неё бизнесовая:
Если этих болей нет — ClickHouse не нужен, и я об этом скажу честно. Это инструмент под объём, а не под моду.
Когда зовут разобраться, почему «ClickHouse есть, а толку мало», причины повторяются:
Чаще проблема в схеме, а не в железе. Поэтому начинаю с EXPLAIN-планов и структуры таблиц, а не с наращивания мощностей.
Главный вопрос на старте — где развернуть. От ответа зависит цена и нагрузка на команду.
Выбирайте объём — от стартового аудита до полного цикла
Postgres — отличная транзакционная база, но плохо считает аналитику на больших объёмах. Если запросы вида «SELECT SUM(amount) FROM events WHERE date BETWEEN ... GROUP BY channel» занимают больше 5–10 секунд, и таблица событий растёт быстрее миллиона строк в месяц — пора смотреть на ClickHouse. Колоночная архитектура считает такие запросы в 50–100 раз быстрее. Не имеет смысла переезжать ради сотни тысяч строк — там Postgres справится с правильными индексами.
Если выбираем Yandex Managed ClickHouse: 5–25 тыс. ₽/мес за стандартную конфигурацию 2 vCPU / 8 GB / 200 GB. Для среднего бизнеса с миллиардом строк хватает кластера за ~12 тыс. ₽/мес. Если self-hosted — VPS на Timeweb Cloud или Selectel от 2 тыс. ₽/мес, но вся поддержка ложится на вашу команду. К этому добавляется моя работа по развёртыванию (от 100 000 ₽ разово) и сопровождение от 30 000 ₽/мес, если нужно.
Да, через промежуточный слой. 1С выгружает данные в Postgres или в JSON-файлы по расписанию (это задача 1С-программиста), я настраиваю инкрементальный ETL из этого источника в ClickHouse. Обычная связка: 1С → выгрузка → S3 → Airflow или скрипт на Python → ClickHouse. Цикл синхронизации — от 15 минут до раза в сутки в зависимости от задачи. Самостоятельную доработку 1С я не делаю, но веду проект и общаюсь с подрядчиком от вас.
Yandex Managed ClickHouse расположен в ЦОД на территории РФ — это соответствует 152-ФЗ по локализации ПДн. Самостоятельный self-hosted на сервере в РФ — тоже подходит. Дополнительно настраиваю: шифрование соединений (TLS), ролевая модель с минимальными правами, аудит логирования запросов, ограничение доступа по IP, бэкапы с AES-256 в Yandex Object Storage. Если нужна расширенная защита под уровень УЗ-2 или УЗ-1 — это уже отдельная задача с подрядчиком по ИБ.
Девять из десяти случаев — проблема в схеме, не в железе. Часто вижу: PRIMARY KEY выбран неправильно, нет партиционирования по дате, агрегаты считаются на лету вместо materialized views, типы данных избыточны (String вместо LowCardinality). Беру задачу в формате «оптимизация» от 30 000 ₽: смотрю EXPLAIN-планы, переделываю критичные таблицы, добавляю проекции и materialized views. По опыту, такая работа ускоряет ключевые запросы в 10–50 раз без увеличения мощностей.
Отвечу в течение 2 часов в рабочее время. Начнём с короткой диагностики — без обязательств.