AI-распознавание аукционных листов

Задача

Японские автоаукционы торгуют по аукционным листам: печать или рукописный текст на японском, десятки сокращений, оценки кузова и салона, схемы повреждений. Чтобы купить машину не вслепую, лист нужно прочитать и перевести — обычно это делает человек-переводчик, медленно и с ошибками.

Задача — продукт, который превращает фото листа в структурированные данные: оценки, опции, повреждения, документы. Загрузил в бот — получил разбор.

Решение

Ядро продукта — распознающий пайплайн, построенный и измеренный, а не подобранный на глаз:

• Multi-stage архитектура: классификатор типа листа определяет, печатный он или рукописный; локатор зон находит области на изображении; из них вырезаются кропы; по кропам параллельно читаются оценки, список опций, повреждения по схеме и заметки инспектора.
• Пивот на holistic-чтение: вторая архитектура читает лист за один проход — переход сделан по данным, после сборки стенда точности с эталонным набором листов и метрикой по каждому полю.
• Воспроизводимость: версия промптов и сырые ответы модели сохраняются с каждым распознаванием — любой разбор можно повторить и сравнить после изменения пайплайна.
• Этичный сбор данных: публичные листы собираются роботом с уважением к robots.txt, без обхода капчи и логинов — сборщик запрещает себе «хитрые» пути на уровне кода.

Вокруг ядра — продукт целиком: бот, личный кабинет, сайт, закрытая бета с тест-планом и учётом багов, монетизация через внутренние кредиты.

Результат

Бета-пользователи прогнали через продукт 200 листов — оценки, опции и повреждения распознаются и складываются в читаемый разбор. Осенью проект был свёрнут — без «исчез и отключил сервер»: пользователи уведомлены, дампы сняты, код запушен, всё собрано в архив с контрольными суммами и инструкцией восстановления. Проект поднимается на новом сервере за один вечер — и может вернуться, когда понадобится.