Национальный ЭКГ-рейтинг ответственного бизнеса

Фильтр по дереву ГОСТ на 7,8 млн компаний

В чём сложность

Проверка «прошла ли компания узел дерева» шла по таблице результатов в сотни миллионов строк. LEFT JOIN с условием OR давал полный скан — интерактивным фильтр при этом быть не мог.

Что рассматривали

Оставить запрос по таблице результатов и оптимизировать индексы. Материализовать связь «компания — пройденный узел». Вынести фильтрацию в поисковый движок.

Что выбрали и почему

Сделали материализованную таблицу и три стратегии запроса по числу выбранных узлов: один узел — обычный WHERE, до шестидесяти — self-JOIN, дальше — GROUP BY HAVING. Выбор не на глаз: в проекте живёт команда-бенчмарк, прогоняющая шесть вариантов запроса по секциям дерева.

Что из этого вышло

Позже глубокую выдачу перенесли в поисковый движок целиком, а SQL-метод оставили помеченным как справочный. Отдельно нашлась пересборка на 52 минуты — джойн ради одного поля; убрали, блок стал index-only.

Граница в шестьдесят узлов не выбрана из соображений красоты: MySQL не допускает больше 61 таблицы в одном JOIN.

Полный реиндекс поиска без простоя

В чём сложность

Штатный импорт в поисковый движок не подошёл: он перестраивает фасеты на каждом батче. В комментарии зафиксировано 75–155 секунд на батч при полутора сотнях батчей.

Что рассматривали

Смириться со временем и индексировать ночью. Резать батчи мельче. Написать свой заливщик.

Что выбрали и почему

Написали свой: заливка во временный индекс, настройки фильтров ставятся ПОСЛЕ заливки, затем атомарная подмена индексов. Формула рейтинга намеренно продублирована в SQL-выражении — вызывать сервис на каждую из миллионов записей нельзя.

Что из этого вышло

После инцидента, когда таймаут ронял задачу до подмены и боевой индекс оставался пустым, добавили запрет параллельного запуска и проверку после подмены.

Двойная экспертная проверка анкет

В чём сложность

Оценку компании ставит эксперт. Одного эксперта мало: рейтинг государственный, и субъективность одного человека в нём недопустима.

Что рассматривали

Привязать оценки к анкете и перезаписывать. Ввести раунды проверки.

Что выбрали и почему

Оценки привязаны не к анкете, а к раунду: эксперт → региональный эксперт → второй эксперт из другой команды → администратор. Принципиальное решение — админский раунд наследует предыдущие оценки, а экспертские нет. Иначе второй эксперт видел бы решение первого, и независимость проверки пропадала.

Что из этого вышло

Схема работает, но идеальной не оказалась: в июле выяснилось, что итог считался строго по последнему админскому раунду и пустой раунд обнулял анкету. Починили, данные восстановили.

Текстовое описание компании: языковую модель попробовали и отказались

В чём сложность

Каждой компании нужно текстовое пояснение к оценке — почему балл такой и на что обратить внимание.

Что рассматривали

Генерировать языковой моделью. Собирать из шаблонов.

Что выбрали и почему

Пробовали генеративную модель — в репозитории остались промпт на 301 строку и примеры ответов. В продукт пошёл детерминированный шаблонный движок: заказчику нужны согласованные формулировки с точностью до слова, вплоть до того, где допустимо слово «риски», а тексты ступеней должны редактироваться из админки.

Что из этого вышло

Генеративная модель этого не гарантирует. Отказались осознанно, а не потому что не получилось.

Импорт выгрузки ФНС

В чём сложность

У ФНС нет API — только ручная выгрузка нестандартным CSV с разделителем «доллар», 88 колонок, полтора гигабайта, 7,7 млн строк.

Что рассматривали

Разложить файл по очереди задач. Обрабатывать потоком в одном процессе. Резать файл и обрабатывать параллельно.

Что выбрали и почему

Физическое разрезание файла и параллельные процессы. Число воркеров пересчитывается под железо на каждом деплое, причём одно ядро намеренно оставлено базе и поиску. Повторный импорт делается не через UPSERT — в комментарии зафиксировано «в 5–10 раз медленнее», — а созданием новой таблицы с переносом только нужных строк и переименованием.

Что из этого вышло

Импорт перестал быть ночным событием, требующим присмотра.