Sabe o que eu acho estranho, o Google apenas pega conteúdo que está livre e gratuitamente disponível na web, você não encontra (ou não deveria encontrar) um livro que está disponível apenas para quem compra, ou um documento sigiloso no sistema web da sua empresa. Se o conteúdo esta lá, é porque a editora da publicação permitiu que os bots de busca indexassem o conteúdo da notícia e usassem esse conteúdo no catalogo, ou seja, houve consentimento.
Se a empresa não deseja que esse conteúdo esteja no Google, coloque seu paywall ou limite o que o bot pode acessar, nada disso esta fora do controle da editora que pode escolher para quem vai disponibilizar seu conteúdo.
O engraçado é que vemos acontecendo recentemente é justamente o contrário, os mecanismos de busca são autorizados a ver todo o conteúdo da reportagem, e indexa-la para trazer visitantes, e quando o usuário acessa a matéria a partir de uma pesquisa, percebe que não pode visualiza-la sem uma assinatura, isso sim é a verdadeira canalhisse.
Este tópico foi automaticamente fechado após 92 dias. Novas respostas não são mais permitidas.