Конкуренты написали парсер и ежедневно выкачивают наш каталог вместе с актуальными ценами. Потом демпингуют на свои аналогичные позиции. Если просто банить IP-адреса, они их меняют через прокси. Как закрыть доступ программным сборщикам, но при этом не выкинуть из индекса Гугл и Яндекс?

У нас тоже конкуренты постоянно воровали цены и карточки товаров. Решили вопрос ограничением доступа для парсеров. Использовали инструмент https://variti.io/zashhita-ot-parsinga/ и выгрузка прекратилась. Легитимные пользователи заходят без задержек, а любые попытки автоматического сбора данных пресекаются на корню.