ИИ на кухне: как мы обучали нейросеть узнавать борщ и оливье и ускорили бизнес-процесс в HORECA в 6 раз.

В решении этой задачи разработчики ItFox пошли нестандартным путём: внедрили ИИ, чтобы помочь официантам. В статье расскажем поэтапный процесс внедрения ИИ помощника на линии раздачи, какие бизнес-результаты это принесло и почему мы уверены, что подобный подход найдёт применение не только в фудтех.

Мы уже писали о нашей разработке системы FoodBox (Фотобокс) для LONDON RESTAURANT GROUP, предназначенной для автоматизации контроля в фудтех и horeca, в частности, процесса выдачи блюд.

После запуска FoodBox на шведской линии питания отеля мы столкнулись с затруднением. Сотрудники долго искали названия блюд в веб-программе, даже при использовании функции поиска. Дело в том, что наименования обычно вносят Шеф-повара. При этом могут придумать весьма оригинальные и замысловатые. Официанты не всегда в курсе точных названий. В итоге процесс поиска нужного блюда в каталоге затягивался аж до 30 секунд. В периоды наибольшей загруженности это становилось критичным. Чтобы устранить этот «узкий участок» в работе системы, было принято решение дополнить FoodBox модулем машинного зрения.

1. Исследование и выбор технологий

Для начала мы провели исследование: какие фреймворки лучше подходят для задачи визуального распознавания, насколько решение масштабируемо и какие данные потребуются. Мы остановились на библиотеке PyTorch, поскольку она совместима с backend-частью FoodBox (наша разработка велась на Python) и обеспечивает достаточную гибкость для обучения моделей.

2. Подготовка датасета

Для качественного обучения нейросети необходимо большое количество изображений. Но повторно готовить блюда в разных вариациях ежедневно — нерентабельно. Заказчик предложил оригинальное решение — создать восковые макеты, имитирующие реальные блюда. Это позволило собрать более 1000 фотографий с нужной вариативностью: разные ракурсы, углы, композиции с дополнительными ингредиентами (например, кусок копчёного мяса с листьями салата и перцем и т.д.).

3. Проблемы при обучении модели: маскирование объектов и учёт похожих объектов

На этапе экспериментов мы столкнулись с рядом проблем:

• Ложные срабатывания: в кадре часто оказывались соседние блюда, что сбивало модель.
• Схожие объекты: творог со сметаной и со сгущёнкой, молоко 3% и 6%, оливье и столичный салат — отличить их по визуальному признаку бывает трудно даже человеку.

Первая проблема была решена за счет механизма маскирования: система фокусируется только на целевом объекте, игнорируя фон.

Для решения второй проблемы мы встроили механизм уточняющей подсказки: система не делает окончательное решение, а предлагает несколько наиболее вероятных вариантов. Также были предложены визуальные маркеры (например, на салат «Столичный» всегда сверху выкладывать веточку зелени, а «Оливье» оставлять без декора), которые улучшали точность распознавания.

4. Настройка обучения

Модель обучалась в среднем по 20–30 итераций обучения на одном и том же наборе данных. Эмпирически это оказалось оптимальным вариантом: меньшее количество не давало стабильных результатов, большее приводило к переобучению.

5. Балансировка данных

Качество обучения модели зависит от сбалансированности: если одно блюдо представлено 10 снимками, а другое — 70, это приводит к смещению модели. Мы выровняли датасет, добавив недостающие фото и убрав избыточные. В результате каждый класс (блюдо) был представлен примерно одинаковым количеством данных. Минимальный порог для уверенного распознавания — 50 фото на одно блюдо.

Результаты внедрения:

После запуска нейросети в FoodBox (Фотобокс) среднее время выбора блюда сократилось с 15–30 секунд до 3–4 секунд. Это дало немедленный эффект:

• снизилась нагрузка на персонал;
• исчезли очереди на выдаче;
• уменьшилось количество ошибок;
• повысилось качество обслуживания гостей.

Потенциал такой технологии выходит далеко за пределы ресторанной отрасли. Она применима везде, где возможно сравнение с «эталоном». Вот только некоторые примеры:

• Медицина — поддержка врачей при интерпретации снимков (МРТ, КТ);
• Производство — контроль качества на конвейере по образцам;
• Ритейл — умные кассы с автораспознаванием товаров.

Проект с нейросетью в системе FoodBox — это пример того, как современные ИИ-технологии решают прикладные бизнес-проблемы и создают ощутимую ценность. Команда ItFox разработала модуль машинного зрения, который легко адаптируется под любые задачи и сферы, где важно быстрое и точное визуальное распознавание.

И если вы задумываетесь об автоматизации или масштабировании — самое время обсудить это с нами.