Покупатель видит понравившуюся вещь на улице, в ленте соцсети или на фото у блогера, но не знает, как она называется. Сформулировать текстовый запрос вроде «бежевое пальто-оверсайз с поясом и накладными карманами» сложно, а часто и невозможно. Здесь в игру вступает визуальный поиск — технология, которая позволяет найти товар по фотографии за пару секунд. В этой статье разбираем, как устроен поиск по фото изнутри, где он уже работает в российском e-commerce (Яндекс, Wildberries, Ozon), как внедрить его в собственный интернет-магазин и как оптимизировать карточки товаров, чтобы попадать в визуальную выдачу.
Что такое визуальный поиск товара
Визуальный поиск (visual search) — это технология, при которой пользователь загружает или фотографирует изображение, а система находит идентичные или похожие товары в каталоге. В отличие от классического текстового поиска, где запрос — это набор слов, здесь запрос — само изображение. Машина «понимает» картинку: распознаёт объект, его форму, цвет, текстуру, фасон, и сопоставляет с миллионами карточек.
Для e-commerce это решает фундаментальную проблему: разрыв между визуальным желанием и текстовой формулировкой. По разным оценкам, до 74% текстовых запросов в поиске одежды и интерьера неэффективны — пользователь не может точно описать то, что видит. Поиск по фото убирает этот барьер и резко сокращает путь от «хочу такое» до «положил в корзину».
Чем визуальный поиск отличается от смежных технологий
- Image search vs reverse image search — обратный поиск ищет точную копию картинки в интернете (как Google Images), а товарный визуальный поиск ищет похожие товары в коммерческом каталоге, ранжируя по сходству и доступности.
- Визуальный поиск vs распознавание (object detection) — детекция только находит и выделяет объект на фото («это кроссовок»), а визуальный поиск дополнительно сопоставляет его с конкретными SKU в базе.
- Визуальный поиск vs дополненная реальность — AR-примерка (виртуальная примерка очков, мебели в интерьере) — это следующий шаг после нахождения товара, а не сам поиск.
Как работает технология: компьютерное зрение и эмбеддинги
Под капотом визуального поиска лежит компьютерное зрение и нейросетевые эмбеддинги. Разберём процесс по шагам — без этого понимания невозможно грамотно подготовить каталог.
Шаг 1. Детекция и сегментация объекта
Сначала нейросеть (обычно семейства YOLO, Faster R-CNN или трансформеры вроде DETR) находит на изображении главный объект и отделяет его от фона. Если на фото человек в полном образе, система разбивает кадр на отдельные предметы: куртка, джинсы, сумка, обувь — и предлагает искать каждый по отдельности. Именно так работает «покупка образа» в Wildberries и Lamoda.
Шаг 2. Извлечение эмбеддинга (векторное представление)
Очищенное изображение объекта прогоняется через свёрточную сеть (CNN — ResNet, EfficientNet) или визуальный трансформер (ViT, CLIP). На выходе получается эмбеддинг — числовой вектор из 128–2048 значений, который компактно кодирует все визуальные признаки: цвет, форму, паттерн, фактуру. Два похожих товара получают близкие векторы, два разных — далёкие.
Современные мультимодальные модели вроде CLIP обучены так, что текст и изображение попадают в одно векторное пространство. Это позволяет искать одновременно «по фото + уточнение текстом» — например, загрузить фото платья и дописать «но в чёрном цвете».
Шаг 3. Поиск ближайших соседей в векторной базе
Эмбеддинги всех товаров каталога заранее посчитаны и хранятся в специализированной векторной базе данных (Qdrant, Milvus, FAISS, pgvector, Elasticsearch с kNN). Когда приходит запрос-картинка, её эмбеддинг сравнивается с каталогом по метрике близости (косинусное расстояние). Алгоритмы приближённого поиска ближайших соседей (ANN, например HNSW) находят топ совпадений среди миллионов товаров за десятки миллисекунд.
Шаг 4. Ранжирование и фильтрация
Найденные кандидаты переранжируются с учётом бизнес-факторов: наличие на складе, цена, рейтинг, маржинальность, персонализация под пользователя. На выходе — лента «похожих товаров», максимально близких визуально и при этом реально продаваемых.
| Компонент | Задача | Примеры решений |
|---|---|---|
| Детекция объекта | Найти и вырезать товар на фото | YOLO, DETR, Segment Anything |
| Энкодер | Превратить картинку в вектор | CLIP, ViT, EfficientNet |
| Векторная БД | Быстрый поиск похожих векторов | Qdrant, Milvus, FAISS, pgvector |
| Ранжирование | Учесть бизнес-логику и персонализацию | LambdaMART, нейроранкеры |
Где визуальный поиск уже применяется в России
Технология перестала быть экзотикой — её используют ключевые игроки российского рынка.
Яндекс
«Умная камера» в приложении Яндекса и Яндекс.Браузере умеет искать товары по фото с 2018 года. Пользователь наводит камеру на вещь — Яндекс распознаёт её и показывает ссылки на магазины Маркета и партнёров, где можно купить аналог. Для интернет-магазина это означает: если товар правильно проиндексирован и присутствует в Яндекс.Маркете и Товарной галерее, он может попасть в визуальную выдачу.
Маркетплейсы: Wildberries и Ozon
- Wildberries — кнопка поиска по фото в строке поиска приложения. Покупатель загружает фото или скриншот, WB подбирает похожие товары из своего каталога. Особенно активно используется в категориях одежды, обуви и аксессуаров.
- Ozon — аналогичный функционал поиска по изображению, плюс рекомендательные ленты «с этим товаром похожи» строятся в том числе на визуальном сходстве.
- Lamoda — поиск по фото и «собери образ», где система предлагает сочетаемые позиции на основе визуальной близости и стиля.
Для продавца на маркетплейсе это прямой канал трафика: качественные, чистые фото на однотонном фоне повышают шанс, что именно ваш товар покажется в результатах поиска по фото конкурента.
Зарубежный опыт
Pinterest Lens обрабатывает более миллиарда визуальных запросов в месяц, Google Lens интегрирован в поиск и Google Shopping, Amazon StyleSnap ищет одежду по фото. ASOS, IKEA Place, Sephora Virtual Artist — всё это коммерческие реализации, которые задают стандарт UX и подтверждают: визуальный поиск стал ожидаемой функцией, а не приятным бонусом.
Влияние на конверсию и UX
Визуальный поиск работает не ради технологичности, а ради денег. Вот за счёт чего он повышает метрики.
- Сокращение пути до покупки. Пользователь обходит этап формулировки запроса и сразу видит релевантные товары. Меньше шагов — меньше отвалов в воронке.
- Рост конверсии. По данным отраслевых исследований, посетители, использующие визуальный поиск, конвертируются в покупку заметно чаще, а средний чек выше за счёт допродаж похожих и сочетаемых позиций.
- Снижение «нулевой выдачи». Текстовый поиск часто отдаёт пустую страницу при опечатке или сложном запросе. Картинка такого не допускает — система всегда найдёт хоть что-то похожее.
- Рост вовлечённости и времени на сайте. Лента «похожих товаров» провоцирует исследовательское поведение и увеличивает глубину просмотра.
- Удержание мобильной аудитории. На смартфоне печатать неудобно, а сфотографировать — естественно. Поиск по фото особенно ценен в мобильном трафике, который у большинства магазинов составляет 60–80%.
Важная оговорка: эффект достигается только при качественной реализации. Плохой визуальный поиск, который выдаёт нерелевантные товары, наоборот подрывает доверие. Поэтому метрику качества (precision@k — доля релевантных в топе) нужно мерить и улучшать постоянно.
Как внедрить визуальный поиск в интернет-магазин
У владельца магазина есть три принципиальных пути. Выбор зависит от бюджета, масштаба каталога и наличия команды разработки.
Вариант 1. Готовые SaaS-сервисы
Самый быстрый старт. Вы подключаете внешний API, передаёте каталог, получаете виджет поиска по фото. Среди решений — Syte, ViSenze, Google Vertex AI Vision, YooMoney/Yandex Cloud Vision и другие. Плюсы: запуск за недели, не нужна ML-команда. Минусы: абонентская плата, зависимость от вендора, ограничения по кастомизации под специфику каталога.
Вариант 2. Open-source стек своими силами
Для команд с разработкой подойдёт сборка из открытых компонентов:
- Энкодер — предобученная модель CLIP или OpenCLIP для извлечения эмбеддингов.
- Векторная база — Qdrant или Milvus для хранения и быстрого kNN-поиска.
- Пайплайн индексации — скрипт, который при добавлении товара считает эмбеддинг и пишет его в базу.
- API-слой — endpoint, принимающий картинку, возвращающий список SKU.
Плюсы: полный контроль, нет лицензионных платежей, тонкая настройка под нишу. Минусы: нужна экспертиза в ML и MLOps, расходы на инфраструктуру и поддержку.
Вариант 3. Опора на маркетплейсы и Яндекс
Если у вас нет ресурсов на собственный поиск, но вы торгуете на WB, Ozon, Маркете — используйте их визуальный поиск как канал. Здесь задача сводится не к разработке, а к оптимизации контента: сделать так, чтобы ваши карточки выигрывали в чужой визуальной выдаче.
Оптимизация изображений товаров под визуальный поиск
Это та часть, где SEO-агентство и контент-команда дают прямой бизнес-результат без программирования. Качество фото напрямую определяет, найдут ли товар алгоритмы.
Технические требования к фото
- Чистый однотонный фон. Белый или светло-серый фон помогает детектору точно вырезать объект. Лишние предметы в кадре путают сегментацию.
- Высокое разрешение и резкость. Минимум 1000–1500 px по большей стороне. Размытые и пиксельные фото дают «грязный» эмбеддинг и теряются в выдаче.
- Товар крупно и в центре. Объект должен занимать большую часть кадра — это повышает точность распознавания признаков.
- Несколько ракурсов. Фронт, профиль, детали, фото на модели и предметная съёмка. Чем больше ракурсов проиндексировано, тем выше шанс совпадения с произвольным фото пользователя.
- Реалистичная цветопередача. Цвет — один из сильнейших визуальных признаков. Искажённый баланс белого ломает сопоставление по цвету.
Метаданные и структурированные данные
Визуальный поиск всё чаще гибридный — он опирается и на картинку, и на текст. Поэтому не пренебрегайте текстовым слоем:
- Информативные alt-атрибуты и осмысленные имена файлов (не IMG_0234.jpg, а palto-bezhevoe-oversajz.jpg).
- Микроразметка Product (Schema.org) с полями image, name, color, material, brand, offers — это помогает Яндексу и Google корректно связать изображение с товаром.
- Полный фид для Яндекс.Маркета и Merchant Center с качественными изображениями высокого разрешения.
Подробнее о грамотной микроразметке карточек читайте в нашем материале про SEO-продвижение интернет-магазинов — там разобрана структура Schema.org для e-commerce.
Чек-лист подготовки каталога
- Привести все главные фото к единому формату: однотонный фон, одинаковый ракурс, центрирование.
- Добавить минимум 3–5 ракурсов на товар, включая детали и фото на модели.
- Сжать изображения в WebP без потери резкости (баланс веса и качества для скорости загрузки).
- Прописать alt, title и человекочитаемые имена файлов.
- Внедрить разметку Product с актуальными ценами и наличием.
- Выгрузить корректный товарный фид в Яндекс.Маркет и поддерживать его актуальность.
Типичные ошибки при внедрении
- Грязный каталог. Запуск поиска по фото на базе из разнокалиберных фото с фоном и водяными знаками гарантирует низкую релевантность.
- Отсутствие измерения качества. Без метрик precision@k и анализа реальных запросов невозможно понять, работает функция или раздражает.
- Игнор мобильного UX. Кнопка поиска по фото должна быть заметной и удобной именно на смартфоне, откуда идёт основной поток.
- Слепое доверие вендору. SaaS-решение нужно тестировать на своём каталоге — модели, обученные на западной моде, могут плохо работать с нишевыми категориями.
Вывод
Визуальный поиск товара перестал быть футуристической фишкой и стал базовым ожиданием покупателя, особенно в моде, интерьере, декоре и бьюти. Технология строится на компьютерном зрении и векторных эмбеддингах, уже работает в Яндексе, на Wildberries, Ozon и Lamoda, и при качественной реализации заметно повышает конверсию и средний чек. Минимальный шаг, доступный любому магазину прямо сейчас, — навести порядок в каталоге изображений и микроразметке, чтобы товары находились алгоритмами и в собственном поиске, и в визуальной выдаче маркетплейсов.
Хотите подготовить каталог и карточки товаров под визуальный и классический поиск так, чтобы они приводили продажи? Оставьте заявку на SEO-аудит интернет-магазина — мы покажем точки роста по изображениям, разметке и структуре каталога.
