ИИ-модульраспознаванияблюддляресторановиотелейнабазекомпьютерногозрения

Заказчик — компания «РестФотоАналитика», которая занимается услугами организации питания для отелей по системе «шведский стол» (клиент АЙТИФОКС по проекту «Фотокасса»).

«Фотокасса» - это система автоматизации, которая убрала злоупотребления на шведской линии и снизила списания на порчу с 50% до 2%. Подробности можно почитать в кейсе.

Проблема: после внедрения базовой версии «Фотокассы» сотрудники тратили 10–20 секунд на ручной поиск каждого блюда в веб-интерфейсе. Названия блюд придумывают шеф-повара и технологи — они могут быть сложными и неочевидными. Официанты не всегда знают точное наименование, особенно когда речь идёт о похожих позициях (например, «цыпленок табака» и «запеченный цыпленок»). В часы пик это создавало очереди на линии раздачи и замедляло обслуживание гостей.

Решение: команда АЙТИФОКС разработала ИИ-модуль компьютерного зрения, который автоматически распознаёт блюдо. Сотрудник просто ставит гастроёмкость на платформу — нейросеть за 1,5–2 секунды определяет блюдо и выводит название на экран. Если система не уверена на 100%, она предлагает 2–3 варианта — выбрать из них всё равно быстрее, чем искать вручную среди десятков позиций.

Результат: время поиска блюда сократилось в 6,5 раз, точность распознавания достигла 90–95%, а скорость обработки — 1,5–2 секунды даже на микрокомпьютере Raspberry Pi (на мощном оборудовании — практически мгновенно). Персонал перестал тратить время на поиск названий, обслуживание гостей ускорилось, а линия раздачи перестала быть узким местом в часы пик.

Как мы разрабатывали, обучали и внедряли нейросеть — подробности ниже.

Процесс разработки ИИ

Сначала мы поискали готовое решение. Изучили рынок — ничего подходящего под процессы и оборудование заказчика не нашли. Поэтому решили разрабатывать ИИ-модуль сами.

Мы разбили задачу на этапы, назначили ответственных, собрали команду и установили сроки.

Этап 1. Сбор данных. Нужно было собрать достаточно изображений в облачном хранилище и подготовить их для нейросети.

Этап 2. Обучение нейросети. Тренировали модель на собранных изображениях, чтобы она научилась распознавать блюда.

Этап 3. Внедрение. Установили обученную модель на каждую Фотокассу на объекте.

Процесс внедрения

Внедрение оказалось сложнее, чем мы думали.

Первое — обучили персонал. Мы провели серии обучающих сессий. Показали сотрудникам, как правильно делать снимки и работать с оборудованием. Наши тесты показали: для надежного распознавания нужно около 300 фотографий каждого блюда. Главной задачей было обучить людей и мотивировать их регулярно и корректно проводить замеры.

Второе — столкнулись с текучкой кадров. В общепите это обычная проблема. Новым сотрудникам нужно время на адаптацию. Система требовала дополнительного времени на замеры, и это вызывало сопротивление. Нам помогла поддержка руководства — вместе мы преодолели трудности.

Третье — правильно разместили оборудование. Фотокассы должны стоять рядом с местами хранения готовых блюд. После приготовления еда не сразу попадает в зал — сначала она хранится в специальных шкафах. Если поставить кассы далеко, сотрудникам будет неудобно. В итоге мы сделали отдельные фотокассы для горячего цеха, холодного цеха и кондитерского отдела. Каждая — рядом со своим оборудованием.

В этом разделе расскажем о том, что именно мы сделали для обеспечения корректного распознавания блюд.

Сервис для подготовки данных

Информация с каждой Фотокассы передается на облачный сервер и хранится в его базе, в то время как изображения сохраняются на отдельном S3-сервере (это сделано для экономии дискового пространства основного сервера). 

Вышеупомянутая информация содержит в себе много дополнительных данных, в то время, как в нейронку должны быть отправлены только фотографии и названия блюд. 

Для автоматизации процесса обработки данных и отправки только нужной информации, мы и разработали вышеупомянутый сервис.

Сервис для распознавания блюд

Во время разработки ИИ мы столкнулись с рядом проблем:

1. Низкая скорость определения блюд для некоторых устройств (до 4 секунд).
2. Неудовлетворительное качество распознавания, так как в нейросеть поступало разное количество изображений.
3. Помехи на фотографиях, так как на них могли попасть лишние предметы, лежащие рядом, что очень мешало распознаванию.

Для решения этих вопросов мы:

• Экспериментально выбрали оптимальную сверточную сеть RESNET151.
• Разработали функционал для динамической балансировки количества фотографий (датасетов), поступающих в нейронную сеть.
• Создали инструменты для точной подготовки изображений: обрезка фото и наложение маски для определения границ блюда.

Результаты:

• Время распознавания сократилось до 1,5–2 секунд на Raspberry Pi. На компьютере с GPU — практически мгновенно.
• Качество распознавания улучшилось до 90-95%.

Для удобства настройки процесса обучения сверточной нейронной сети мы разработали веб-интерфейс. Изначально инструмент был доступен только через командную строку. Однако позже мы создали веб-версию, что значительно упростило и ускорило обучение модели, тестирование гипотез и изменения параметров.

Основные параметры, которые мы используем для обучения модели:

Разработка системы автоматизации запуска обучения 

Раньше, чтобы запустить обучение, нужно было выполнить много действий подряд. Мы автоматизировали этот процесс с помощью скриптов. Теперь все сервисы и утилиты запускаются одной кнопкой в веб-приложении на облачном сервере.

Разработка системы доставки обновленных моделей

Мы создали механизм, который обновляет модели на всех фотокассах. Моделей много, поэтому важно передавать только актуальную версию. Мы присваиваем каждой модели временную метку. Когда фотокасса проверяет обновления, она смотрит на метки и загружает только самую свежую.

Оптимизация процесса машинного обучения

Сначала мы определили, сколько изображений нужно для каждого блюда. Получилось около 300. Затем сосредоточились на тонкой настройке параметров, чтобы ускорить распознавание. Исходное время — 3–4 секунды. После доработок сократили до 1,5–2 секунд.

Разработка и внедрение ИИ-модуля распознавания блюд — это не просто технологическое улучшение. Это пример того, как точечное решение системной проблемы меняет эффективность бизнеса.

Что мы сделали:

Выстроили полный цикл: от сбора и подготовки датасетов (около 300 фотографий на блюдо) до обучения модели (свёрточная сеть ResNet151) и инфраструктуры для доставки обновлений на все «Фотокассы».

С какими сложностями справились:

• Устранили помехи на фотографиях (обрезка, маски, удаление лишних предметов).
• Сбалансировали количество изображений, поступающих в нейросеть, чтобы качество распознавания было стабильным.
• Оптимизировали скорость обработки с 3–4 секунд до 1,5–2 секунд даже на микрокомпьютере Raspberry Pi.
• Автоматизировали запуск обучения — теперь модель переобучается одной кнопкой через веб-интерфейс, без командной строки.

Какой бизнес-эффект получил клиент:

• Сотрудники перестали тратить 10–20 секунд на поиск названия каждого блюда — время сократилось в 6,5 раз.
• Линия раздачи в часы пик перестала быть узким местом.
• Расчётная экономия для бизнеса — свыше 62 млн рублей в год за счёт ускорения работы персонала.

Что этот кейс доказывает о компетенции АЙТИФОКС:

Мы умеем не просто «прикрутить» готовую нейросеть. Мы:

• Проводим исследование рынка и честно говорим, если готового решения нет.
• Разрабатываем кастомный ИИ под конкретную бизнес-задачу и «железо» клиента.
• Доводим технологию до стабильной работы в полевых условиях, обучаем персонал и выстраиваем процессы.

Если ваши сотрудники теряют десятки секунд на каждой операции, а в часы пик это превращается в очереди, недовольство клиентов и скрытые убытки — давайте посчитаем, сколько вы теряете прямо сейчас.

Мы поможем:

• Проанализировать, какие задачи можно ускорить с помощью ИИ и компьютерного зрения.

• Разработать и обучить модель под ваши данные и оборудование.

• Внедрить систему так, чтобы она реально работала, а не пылилась в углу.

➡️ Оставить заявку на консультацию