Eu me pergunto se eles não notam que existem os Ganhos Decrescentes… Vai chegar uma hora que adicionar servidores vai resultar em perda de performance e aumento de custos. Será que não é hora de repensarmos o uso de IA como um todo? Ou vai ser tipo Instagram contra Snapshat que enfiaram Stories tá na pia da cozinha?
Acho que a tendência vai ser o uso de IA localmente.
Enquanto não tem computadores com NPUs poderosas ou em quantidade suficiente vai nos datacenters mesmo.
AI é prioridade haha, quando a conta que já está sendo cobrada começar a bater no cool dos negacionistas climáticos em nível mundial, não poderão dizer que faltou pirralhos tentando alertar. 
A Microsoft não estava migrando ou montando datacenters movidos 100% à energia solar?
Como assim perda de performance?
Quanto ao problema climático, só digo uma coisa: uma panela não esfria enquanto não tirar ou apagar o fogo, simples e fácil.
A ideia do paralelismo parece sempre ser a ideia de se eu produzo X com 1 Processador, vou produzir 2X com 2 processadores, certo?
Mas na realidade você nunca chega no 2X, você vai chegar a algo como 1.8X ou 1.9X, sendo que o que “falta” para os 2X são os custos de sincronização e consolidação da informação.
Conforme você adiciona processadores, essa “falta” vai ficando maior, pois você terá mais processadores, e portanto mais custo de sincronização e consolidação dos resultados das tarefas.
Por esse teorema, uma hora chega onde, todos os ganhos que você tem por paralelizar uma tarefa são perdidos com o custo de sincronizar e consolidade os resultados das tarefas. Por isso é chamado de Ganhos Decrescentes…
Já existe algo que pode mostrar o caminho, que é a ideia das previsões do tempo:
Você processa dados em um nível global e gera um modelo global
Aí, regiões (como as Américas) terão sistemas para adicionar dados locais e reduzir esse modelo global a um modelo local, mais preciso
E assim sucessivamente, até que a sua cidade possa adicionar os dados locais e entregar uma previsão.
Computação Edge vai ser cada vez mais importante, talvez até mais que a Computação em Nuvem