Vor einem Monat hatte der New Yorker Hirnforscher und Machine Learner Gary Marcus in einem Essay bekundet, dass Deep Learning sich in einer Sackgasse befinde (im flankierenden Tweet hielt er fest: „Deep Learning is hitting a wall“ und löste damit eine Debatte aus). Die Frage, ob KI-Sprachmodelle durch das weitere Skalieren zu immer größeren neuronalen Netzwerken im Milliarden-Parameter-Bereich auch bedeutend an Fähigkeiten hinzugewinnen und ob zunehmende Masse (aber auch Qualität) an Trainingsdaten sie beispielsweise von reiner Mustererkennung – nach Art der sprichwörtlichen „stochastischen Papageien“ – zu etwas wie „Reasoning“ und tieferem Sprach- und Weltverständnis führt, spaltet die Fachwelt: Die Fähigkeiten großer Sprachmodelle wie GPT-3 von OpenAI sind durchaus beeindruckend.
