Eine Vielzahl der im allgemeinen Sprachgebrauch als „KI-System“ bezeichneten Programme verarbeitet natürliche Sprache. Zum einen wird häufig natürliche Sprache als Medium für die Aufgabenbeschreibung eingesetzt und zum anderen sind die zu verarbeitenden Daten (sowohl Trainingsdaten als auch zB zu durchsuchende Textdokumente) und die generierten Ausgaben oftmals natürliche Sprache. Dieser Beitrag thematisiert die Transformer-Architektur, welche in den meisten großen Sprachmodellen zur Verarbeitung natürlicher Sprache angewandt wird.