Автоматическая проверка сайта: как мы искали англицизмы, а нашли причину потери трафика — и починили за день.

Заказчик — АЙТИФОКС — компания по разработке программного обеспечения из Сочи.

Задача — после принятия закона об ограничении иностранных слов нам потребовалось проверить наш сайт (более 103 страниц) на наличие англицизмов. Заодно мы решили автоматизировать поиск орфографических и грамматических ошибок.

Нужно было создать собственный инструмент без привлечения подрядчиков и покупки платных программ.

Подход — за один день тестировщик АЙТИФОКС собрал рабочую версию инструмента на Python и LanguageTool. ИИ помогал писать код, а специалист выбирал инструменты, описывал логику проверки, настраивал правила и проверял результат. Основную команду разработки к задаче не привлекали.

Похожий подход мы использовали в проекте по автоматизации обработки документов, где ИИ помог сократить объём ручной работы сотрудников и ускорить обработку данных в несколько раз.

Решение — мы разработали инструмент, который формирует единый отчёт с найденными англицизмами, орфографическими и грамматическими ошибками по каждой странице. Проверку можно запускать повторно после изменений на сайте, не просматривая вручную более ста страниц.

Всё началось после принятия закона, ограничивающего использование иностранных слов. Отделу маркетинга АЙТИФОКС потребовалось проверить более ста страниц корпоративного сайта и найти англицизмы, которые необходимо заменить. На первом этапе это была разовая задача: собрать иностранные слова и подготовить список для редакторов.

Тестировщики выгрузили тексты со страниц и проверили их с помощью нескольких бесплатных сервисов. Список был готов, но вскоре стало понятно, что одной проверки недостаточно.

Сайт постоянно обновляется: появляются новые страницы, меняются тексты и добавляются материалы. Каждый раз проверять их вручную или заново загружать в разные сервисы неудобно. Поэтому мы решили разработать свой продукт, который будет находить не только англицизмы, но и ошибки в орфографии, грамматике, пробелах и знаках препинания.

Инструмент должен был самостоятельно обходить весь сайт, запускать проверку по расписанию и формировать готовый отчёт без ручных действий.

За разработку взялся один тестировщик. Мы решили собрать собственное решение, чтобы не зависеть от ограничений бесплатных сервисов, не покупать платные лицензии и не оплачивать каждую новую проверку.

При первом запуске проверка заняла больше времени, чем ожидалось, но в отчёт попало только 30 страниц. На сайте их было около ста: статьи, кейсы, описания услуг и другие материалы.

Инструмент работал по тому же принципу, что и поисковый робот: переходил по доступным ссылкам и собирал страницы для проверки. Мы передавали ему адреса разными способами, но большая часть сайта по-прежнему оставалась недоступной. Тогда к проверке подключили команду разработки.

Выяснилось, что после масштабного обновления сайта (читайте подробнее в этом кейсе) часть страниц открывалась для пользователя через элементы меню, но ссылки на них не были доступны роботам. Для посетителя всё выглядело нормально: он нажимал на нужный раздел и видел содержимое. Поисковые системы работают иначе — им нужны доступные ссылки, по которым можно перейти и обнаружить страницу.

Из-за этой особенности часть статей, кейсов и описаний услуг могла не попадать в поисковый индекс. Это ограничивало органический трафик и снижало количество потенциальных обращений с сайта.

Команда исправила логику отображения ссылок и выпустила обновление. После повторного запуска инструмент обнаружил все 103 страницы. Так система, созданная для проверки текстов, помогла выявить техническую проблему, которая влияла на доступность сайта для поисковых роботов.

После исправления страницы стали доступны для повторного обхода и последующей индексации поисковыми системами.

После того как команда исправила доступность страниц для поисковых роботов, инструмент наконец смог обходить весь сайт. Теперь его нужно было доработать так, чтобы результаты проверки были точными и удобными для отдела маркетинга.

Первую рабочую версию тестировщик собрал с помощью ИИ за один день. Он описывал логику обхода сайта, требования к отчёту и необходимые исключения. Нейросеть предлагала код, а специалист сразу проверял его на реальных страницах и корректировал результат.

При таком подходе быстро проявилось ограничение. ИИ хорошо добавлял новые функции, но не всегда удалял устаревшие части кода и учитывал уже написанную логику. После нескольких изменений код начал разрастаться: в нём появлялись повторения и не самые удачные решения, которые легко пропустить без профильного опыта.

Поэтому инструмент дорабатывали поэтапно. Сначала он выдавал обычный список ошибок. Затем мы добавили аналитику по словам и страницам, настроили проверку пробелов и знаков препинания, а также создали список допустимых исключений. После каждой доработки тестировщик повторно запускал проверку и оценивал результат на данных сайта.

В итоге ИИ помог быстро собрать прототип и проверить идею без привлечения команды разработчиков. Но этот опыт также показал: если решение должно постоянно использоваться в компании, созданный код необходимо профессионально проверить, привести в порядок и встроить в общую архитектуру. ИИ ускоряет работу специалиста, но не исключает его из процесса.

После нескольких циклов проверки и доработки мы получили рабочую версию продукта. ИИ помог быстро собрать основу, а тестировщик настроил правила, исключения и структуру отчёта на реальных данных сайта.

Теперь проверка состоит из четырёх последовательных этапов: система собирает тексты со всех страниц, анализирует их, формирует отчёт для редактора и готовится к автоматическому запуску по расписанию.

Этап 1. Система собирает тексты со всех страниц

Сценарий получает карту сайта — файл со списком адресов — и последовательно обходит каждую страницу. Он собирает заголовки, подзаголовки, основной текст и подписи, сохраняя связь каждого фрагмента с адресом страницы.

В проверку попадают все доступные материалы: русская и английская версии сайта, старые статьи, новые публикации, кейсы и описания услуг. Это снижает риск пропустить отдельную страницу при проверке большого сайта.

Первая версия продукта самостоятельно искала ссылки внутри сайта. Такой обход занимал больше времени и зависел от его структуры. После перехода на карту сайта сбор данных стал быстрее и надёжнее.

Этап 2. Система проверяет текст и формирует отчёт

Собранные тексты поступают в систему лингвистического анализа. Она проверяет орфографию, грамматику, пробелы, знаки препинания и отдельные стилистические конструкции. Проверка работает с русским, английским и другими языками, что было важно для материалов, подготовленных для зарубежного рынка.

Первый результат оказался далёк от готового решения. Чтобы отчёт можно было использовать в работе, потребовалось настроить несколько правил.

Убрали ложные ошибки в заголовках. Первая версия отмечала отсутствие точки в конце заголовка как ошибку. Для сайта это нормальное оформление, поэтому заголовки выделили в отдельную категорию и исключили из этого правила.

Связали каждую ошибку с конкретной страницей. Сначала система выдавала общий список слов без адресов. Мы изменили структуру отчёта: теперь в нём видно, на какой странице найдена ошибка, какие заимствования встречаются чаще всего и сколько уникальных слов требует проверки.

Добавили список допустимых исключений. Некоторые иностранные слова, названия и технические термины нельзя или не нужно заменять. Их внесли в отдельный список, чтобы система не показывала одни и те же ложные замечания при каждом запуске. Список можно быстро дополнять.

Инструмент построен на решениях с открытым исходным кодом. Для его работы не потребовались платные лицензии и помощь внешних подрядчиков.

Если хотите глубже разобраться в теме, почитайте наш материал о том, как ИИ помогает бизнесу автоматизировать рутину и контролировать качество данных.

Этап 3. Редактор проверяет найденные ошибки

Полностью исключить человека из процесса нельзя. Система может пропустить ошибку или, наоборот, отметить корректное слово. Поэтому итоговое решение всегда принимает редактор.

Он открывает отчёт, переходит к нужной странице и проверяет каждое замечание. Настоящие ошибки исправляет, ложные срабатывания отклоняет, а допустимые слова добавляет в список исключений. Благодаря этому каждая следующая проверка становится точнее.

Раньше редактору пришлось бы последовательно открыть и вычитать все 103 страницы. Теперь система заранее находит спорные места и показывает, где именно они расположены. В одном из запусков редактору потребовалось проверить семь найденных замечаний вместо повторной вычитки всего сайта.

Этап 4. Проверка запускается регулярно и формирует готовый отчёт

Полный обход сайта и подготовка отчёта занимают около десяти минут. В результате видно, сколько страниц проверено, какие ошибки обнаружены, где они находятся и какие исправления предлагает система.

Следующий этап — автоматический запуск на сервере. Планируется, что раз в месяц инструмент будет самостоятельно обходить сайт и отправлять готовый отчёт на электронную почту. Команде не придётся помнить о проверке и запускать её вручную.

Что получилось

Отдел маркетинга получил отчёт по 103 страницам примерно за десять минут. Вместо полной ручной вычитки редактор работает только с найденными замечаниями и принимает решение по каждому из них.

Инструмент также помог обнаружить страницы, которые были недоступны поисковым роботам. После исправления ссылок все материалы снова стали доступны для обхода и последующей индексации: кейсы, статьи и описания услуг.

В результате одна система решает сразу две задачи: помогает контролировать качество текстов и проверяет, доступны ли страницы сайта поисковым роботам.

Мы рассказали историю про проверку текстов. Но на самом деле — про другое.

Это кейс о том, как неочевидная задача открывает системную проблему, которая годами влияет на бизнес и продвижение.

Мы пришли с одним запросом — и нашли то, что теряло нам трафик и потенциальных клиентов, починили за один день. И теперь у нас есть инструмент, который не даст этому повториться.

Механика не привязана к заимствованиям или конкретному рынку. Та же связка «обход сайта + лингвистический анализ + отчёт» работает для наблюдения за терминологией бренда, требованиями поисковиков, обновлением контента после смены названия компании. Система поддерживает десятки языков — инструмент можно приспособить под законы любой страны, где требуется контроль публичных материалов.

Масштабирование на другие задачи — вопрос адаптации словарей и правил проверки. Заменили список запрещённых слов на список терминов бренда — получили инструмент для контроля качества контента в фирменном стиле. Добавили правила проверки метатегов — получили мониторинг поисковой оптимизации. Механика одна и та же, а применение может быть разным.

Вот как мы работаем, когда задача оказывается шире, чем казалось на старте:

• Видим систему, а не разовый запрос. Пришли за списком англицизмов — получили инструмент, который проверяет сайт по расписанию и находит баги, скрытые годами.

• Сначала прототип. Быстрая проверка гипотезы, обратная связь, и только потом масштабирование. Вы видите результат до того, как потратите серьёзный бюджет.

• Используем ИИ с умом. Генерация кода ускоряет запуск прототипа в разы. Для промышленного решения — профессиональный ревью и встраивание в архитектуру.

• Работаем с разными задачами. Механика «обход сайта + лингвистический анализ + отчёт» масштабируется на контроль терминологии бренда, SEO-мониторинг, вычитку публичных материалов на десятках языков.

Вам нужен инструмент, который сам следит за чистотой контента, экономит дни ручной работы и находит то, о чём вы даже не подозревали? Оставляйте заявку — обсудим вашу задачу.