LLM em RPi? Um LLM simples consome fácil 100% de recursos de uma Geforce RTX 4090 por minutos. Num RPi certamente iam ser dias.
Ok que precisa de mais ram para aplicações mais complexas, mas será que adianta só aumentar a ram mantendo o mesmo processador, ele não vai virar um eterno gargalo?
Mesmo um Raspberry Pi de 64 GB de RAM não seria ideal para rodar uma LLM com o processador atual do Raspberry Pi 5.
Uma troca de processador poderia ajudar, mas tornaria o chip inviável.