Rechner für die Kullback-Leibler-Divergenz

Geben Sie zwei gleich lange Arrays ein, deren Wahrscheinlichkeiten jeweils eins ergeben, und Sie erhalten die gerichtete Divergenz in Nats. Die deterministische Berechnung verwendet den natürlichen Logarithmus und behandelt Nullwerte in der ersten Verteilung korrekt. Unterschiedliche Längen, ungültige Summen, negative Werte und Nullwahrscheinlichkeiten in der Referenz werden klar gemeldet, statt ein irreführendes unendliches oder undefiniertes Ergebnis zu liefern.

Verstehen Sie die Bedeutung der KL-Divergenz

Die Kullback-Leibler-Divergenz vergleicht eine Verteilung P mit einer Referenz Q anhand des logarithmischen Verhältnisses der zugehörigen Wahrscheinlichkeiten. Sie beantwortet eine gerichtete Frage: Wie viel Information geht verloren, wenn Q Ergebnisse beschreibt, die tatsächlich P folgen? Null bedeutet, dass beide Verteilungen an jeder Position übereinstimmen; ein größerer positiver Wert zeigt eine stärkere Abweichung. Die Richtung ist entscheidend, denn beim Vertauschen von P und Q ändert sich das Ergebnis meistens. Dieser Rechner liefert D(P || Q): Das erste Array ist die untersuchte Verteilung, das zweite die Referenz. Da natürliche Logarithmen verwendet werden, lautet die Einheit Nats und nicht Bits. Die KL-Divergenz ist keine metrische Distanz: Sie ist asymmetrisch und erfüllt die Dreiecksungleichung nicht. Gerade deshalb eignet sie sich für Informationstheorie, statistische Inferenz, Modellanpassung und Vergleiche mit einer klar definierten Referenz.

Bereiten Sie gültige Wahrscheinlichkeitsarrays vor

Tragen Sie in beide Arrays gleich viele Wahrscheinlichkeiten ein und behalten Sie dieselbe Reihenfolge der Ergebnisse bei. Steht die erste Position in P für Regen, muss sie auch in Q für Regen stehen. Jeder Wert muss endlich und nicht negativ sein; jedes vollständige Array muss eins ergeben. Eine sehr kleine Toleranz berücksichtigt die Gleitkommadarstellung, beliebige Gewichte werden jedoch nicht automatisch normalisiert. Normalisieren Sie Anzahlen oder Bewertungen daher vorher. Null ist in P zulässig, weil ein unmögliches Ereignis nichts zur Summe beiträgt. Jeder Nullwert in der Referenz wird abgelehnt: Bei einem positiven zugehörigen P-Wert ist das logarithmische Verhältnis nicht definiert und die Divergenz kann unendlich werden. Die strenge Prüfung entdeckt außerdem verschobene Kategorien, gekürzte Arrays, ganzzahlige Prozentangaben und unvereinbare Bezeichnermengen.

Interpretieren und verwenden Sie das Ergebnis sorgfältig

Die Antwort enthält die Divergenz und die Einheit Nats. Werte nahe null sprechen dafür, dass Q die Verteilung P gut darstellt; einen allgemein gültigen Grenzwert für gute oder schlechte Modelle gibt es jedoch nicht. Die Bedeutung hängt von Kategorienzahl, Anwendung, Stichprobenverfahren und Fehlerkosten ab. Vergleichen Sie nur Ergebnisse mit denselben Kategorien und derselben Richtung. Sie können Modellversionen verfolgen, aktuelle Daten einer freigegebenen Basislinie gegenüberstellen oder die Kennzahl zusammen mit weiteren Maßen und Unsicherheiten berichten. Verstehen Sie sie nicht als Wahrscheinlichkeit, Prozentsatz, Korrelation oder symmetrische Distanz. Auch Stichprobenrauschen kann zwischen Daten aus demselben Prozess eine Divergenz erzeugen. Der Browser eignet sich für Einzelprüfungen; eine API-Anfrage kostet $0.002 und ermöglicht wiederholbare Automatisierung. Identische gültige Eingaben liefern stets dasselbe gerundete JSON-Ergebnis.