Milagrosamente os preços baixaram! E Acesso gratuito poderá acessar coisa melhor!
kkkkkkkkkkkkkkkkkkkkkkk
Deepseek fez um estrago mesmo!
To amando tudo isso! kkkkk
Acabei de testar. Como o modelo foi anunciado para performar em STEM, apresentei um problema STEM pra ele, e testei ambos o ChatGPT o3-mini e o DeepSeek para o mesmo problema que criei. O DeepSeek, embora tenha demorado muito mais que o ChatGPT para raciocionar, chegou à conclusão que deveria chegar, diferente do ChatGPT, que só chegou de fato na conclusão depois que eu dei o “gabarito” (mas daí é fácil, né?).
Pra quem quiser mais detalhes, só expandir a seção a seguir (coloquei em seção colapsável pra não poluir o tópico). O raciocínio completo do ChatGPT e da conversação estão aqui, enquanto do DeepSeek infelizmente não tive como compartilhar como link porque (ainda) não existe tal funcionalidade (de compartilhar conversa por link) como existe no ChatGPT.
Novamente aviso: o conteúdo a seguir, ao ser aberto, é longo. Praticamente um artigo aqui dentro do artigo.
Detalhes da experimentação DeepSeek R1 vs. ChatGPT o3
Pra contextualizar: apresentei pra ambos, em modo reasoning, a seguinte tabela, em formato textual (que gerei através de um código JavaScript que, inicialmente, omiti dos modelos, apresentando-lhes tão somente a tabela com os valores):
Abaixo, vou agrupar os raciocínios dos dois modelos para cada um dos três prompts que fiz.
Primeiro prompt
Pedi para que identificassem a lógica por trás dos valores da tabela (“Try to find out the logic behind the following table” seguido da tabela em formato textual). O prompt foi exatamente o mesmo pra ambos.
DeepSeek - Primeiro raciocínio
O DeepSeek levou 353 segundos para o primeiro raciocínio, e em alguns pontos quase chegou na lógica:
(Nesse ponto é curioso que ele “pensou” algo mas “disse” outro, o correto seria “Hmm, 110 in base 10 is 5”, e dá pra perceber que foi isso que ele “pensou” ao relacionar k=5:110, mas aí a bola bate na trave e ele passa a considerar base 4 e depois em tabelas ASCII, desviando totalmente do raciocínio que o levaria à resposta).
(Aqui, novamente, ele bateu na trave, quase acertou a lógica quando considerou “numbers in s are concatenated or encoded in a different base”, mas aí ele considerou um offset (k) errado.)
Ao fim da linha do primeiro raciocínio, o DeepSeek “decidiu” concluir e responder que a sequência tem a ver com progressão cúbica (nada a ver):
ChatGPT o3-mini - Primeiro raciocínio
O ChatGPT levou “apenas” 48 segundos para o primeiro raciocínio, mas, como diz o ditado, “a pressa é inimiga da perfeição”.
Tal como o DeepSeek, ele chegou perto de conceitos por trás da lógica real da tabela, por exemplo:
(Interessante ele considerar a possibilidade de “hidden messages or patterns” via “base conversions” porque é exatamente o que ocorre com a tabela, onde eu omiti o padrão original em binário, mas daí ele desviou para a consideração de “digit separation” que não tem nada a ver, e depois pra “remainders from division” o que implicaria números flutuantes, novamente, nada a ver)
Ao fim da linha do primeiro raciocínio, o ChatGPT o3-mini “decidiu” concluir e responder que “não há nada exótico” (??), simplesmente que a tabela estaria “building-up a number digit-by-digit” (quase, ChatGPT, quase…)
Segundo prompt
Meu segundo prompt foi diferente para ambos, mas com o mesmo ponto em comum:
(Ao DeepSeek:) What if you think of the numbers s in binary, and taking the possible meaning of its name s (sequence) kind of… literally a “sequence”?
(Ao ChatGPT, ainda com o modo reasoning ativado:) Almost, but not really.
Try to think of s in binary. Also, perhaps leading zeros aren’t irrelevant when thinking in binary.
DeepSeek - Segundo raciocínio
O DeepSeek pensou por 256 segundos. Em alguns pontos novamente chegou perto, mas mudou de rota.
(“But this doesn’t clearly form a pattern”. How doesn’t it?? Na trave, de novo)
(Novamente quase, só que no 3 ele converteu pra 110 ao invés de 11, daí bagunçou o restante da sequência, levando-o a concluir que isso seria “too arbitrary”)
Depois ele começou a focar demais na coluna “l” (inicial pra leftover, informação minha que ambos não receberam), quase chegando na lógica por trás de tal coluna, mas novamente, batendo na trave:
Ele então de repente torna a considerar o s como binário e perfeitamente chega à sequência original… mas desiste dela por achá-la “aleatória”:
Ao final do segundo raciocínio, o DeepSeek decidiu concluir que tem a ver com números primos (???), mantendo também a conclusão anterior quanto a números cúbicos:
ChatGPT o3-mini - Segundo raciocínio
36 segundos foram gastos pelo ChatGPT. Também chegou perto, novamente, de conceitos que poderiam levá-lo à lógica por trás da coisa toda, mas mudou de rota:
(Uma das pegadinhas é que 110 é um número válido em binário, mas ali na sequência está em base 10, e minha “dica” de “considerar o binário” foi fisgada erroneamente ao considerar 110 como binário)
(De novo, na trave. “constructing binary strings, separating them with a comma, and converting the result” foi exatamente o que fiz no código que ele, ainda nesse momento, desconhece)
Ao final do segundo raciocínio, o o3-mini decidiu concluir que trata-se de uma concatenação levando em conta valores binários (correto!) com “fixed-bit lengths l” (errado) com “any necessary leading zeros” (só que para os itens individuais da concatenação e não os itens finais da sequência s, portanto, errado):
Terceiro prompt
Também foram prompts ligeiramente diferentes pra cada um. Ao DeepSeek, foi:
No. It’s really simple, way simpler. Perhaps you got stuck because you focused too much on the “l” column, even though you got really close during your reasoning.
Firstly, considering the leading zeros helps a lot. Having said this, notice the following:1: 0
2: 01 (previous followed by 1)
3: 0110 (previous followed by 10)
4: 011011 (previous followed by 11)
5: 01101110,0 (previous followed by 10,0 but notice how, when taken together, it’s 100)
6: 01101110,0101 (previous followed by 101)Here we can notice a pattern: 0 follows 1, then 10, then 11, then 100 (where it’s starts to be broken into two numbers), then 101 and so on…
That’s what I meant when I said “think of the numbers s in binary”.
O do ChatGPT também inclui a sequência quase que gabaritada da lógica, mas o primeiro parágrafo foi um pouco diferente, porque ele não focou tanto na coluna “l” quanto o DeepSeek.
DeepSeek - Terceiro raciocínio
Foram 135 segundos, e, spoiler, aqui ele desvendou o problema inicial. Não tardou muito pra começarem conclusões corretas, nas quais finalmente ele se manteve firme ao invés de desviar:
(sintetizou a lógica, olhou pro caminho do erro, foi quase tentado a errar, mas tornou ao caminho do acerto, fechando assim a conclusão)
Ao final do terceiro raciocínio, o DeepSeek concluiu maravilhosamente a lógica por trás da tabela, finalmente acertando. Demorou, mas acertou:
ChatGPT o3-mini - Terceiro raciocínio
Foram 24 segundos.
(“I’m curious why ‘0’ uses 7 bits”, yeah, I’m curious too… perhaps it… doesn’t?)
(Meio que acertou (naturais não envolvem o zero, o correto seria afirmar como números inteiros positivos) pra depois meio que errar de novo)
Ao final do terceiro raciocínio, a conclusão do o3-mini foi convoluta: por um lado, acertou parte da coisa (a concatenação de números inteiros), por outro, alucinou com relação à coluna “l”, além de novamente alucinar “7-bits”:
Poderíamos dizer que ele acertou na parte da concatenação? Poderíamos, mas a forma como ele apresentou a lógica final não chega à precisão do DeepSeek nesse sentido.
Conclusão
O DeepSeek demora mais, mas no final dá uma resposta bem precisa (embora errada nos dois primeiros prompts). Não entendeu a segunda coluna, mas só de ter entendido a terceira coluna de forma exata (“generated by sequentially appending binary numbers starting from 0 and splitting the resulting binary string into 8-bit chunks (from left to right). Each chunk is converted to its decimal value, forming the entries in s”), pontuou.
O o3-mini é mais rápido, mas não teve precisão de resposta, e não entendeu que a sequência tem 8-bits.
Extra: mostrando o gabarito pro ChatGPT
Ainda tem a melhorar, mas o simples fato de terem liberado gratuitamente (é medo que chama?) oferece um complemento ao DeepSeek R1. Por óbvio, não vão liberar os pesos tal como fez o DeepSeek R1 ("Open"AI), mas disponibilizar gratuitamente já é um começo.
Será que consegue fazer cálculos mais específicos?
Calculei o Alfa de Cronbach no o1 (25 questões, 28 respondentes, estaca Likert de 7 itens). Vou tentar no deepseek para ver se funciona tbm.
Ativou o DeepThink?
O aprendizado por esforço do Deepseek vai fazer ele responder melhor com o tempo!
O desespero bateu rápido pelo jeito, mesas quebradas e cadeiras voando
Como falei, isso tudo que vem ocorrendo, é ótimo para nós meros seres mortais.
Já estamos vendo o beneficio, quanto mais concorrência, melhor!
Já desinstalei o ChatGPT e só tô usando o Deepseek pois achei ele melhor para o meu caso de uso (aprender idioma novo).