Warum das? Ich habe zu 96k VBR und 128k ABR keinen Unterschied feststellen können, dafür sind die Dateien noch mal ein Stückchen kleiner.
AAC VBR ohne ein intelligentes setzen des Rahmens für die Bitrate führt bei entsprechendem Tonmaterial zu sehr häufigen Änderungen der Kodierungstechniken. Das kann so manchen Decoder schnell überfordern und die Tonqualität sehr beeinträchtigen, oder ihn gar abstürzen lassen.
Bei sinkenden Bitraten werden nämlich diese erreicht, indem stufenweise immer mehr neue Reduktionstechniken
hinzugeschaltet werden, das ist auch bei MP2 und seinem Nachfolger MP3 so. (AAC hat da nur deutlich mehr und v.a. raffiniertere Dinger in Petto, die MP3 weit überflügeln - bis hin zur synthetischen
Hinzufügung von Störgeräuschen, um die Klangqualität zu
verbessern. Das klingt zwar total absurd, regelrecht paradox sogar, funktioniert in der Praxis aber tatsächlich.)
Und mehrere dieser erst bei den niedrigen AAC-Raten zum Einsatz kommenden Methoden machen überhaupt nur dann Sinn, wenn sie auf "long Frames" und "very long Frames" angewandt werden können, auf grössere Abschnitte der Zeitskala also als üblich. (in MP2 und MP3 gibts sowas noch nicht, da haben alle Frames die gleiche Länge)
Schaltest du diese Modi zu häufig an und ab, müssen die Cache-Einheiten der CPU dermassen viele vorgepufferte Daten sinnfrei umherschaufeln, dass der Aufwand dafür ab einer gewissen kritischen Schwelle nicht mehr nur linear, sondern "geometrisch" zunimmt.
Wenn du die Geschichte mit den Reiskörnern und dem Schachbrett kennst, dann ahnst du sicher dass ein "geometrisches Wachstum" manchmal etwas sehr "unpraktisches" sein kann.

So mancher Miniatur-CPU im Hosentaschenformat geht dabei viel schneller die Luft aus, als man anhand ihrer ansonsten beeindruckenden Leistung vermuten würde.
(Hast du schon mal von sog. "Zip-Bomben" gehört? Das sind böswillig manipulierte bzw synthetisch erzeugte Archivdateien, die sich in rekursiver Weise immer wieder vollständig
selbst enthalten, und beim Versuch sie zu öffnen wird der gesamte Arbeitsspeicher des Rechners "weggefressen" bis nichts mehr übrig ist --> Crash. Der negative Effekt ähnelt ein wenig diesem Problem.)
Ausserdem sind zu heftige Schwankungen der Bitrate auch generell ungünstig, wenn du den Ton als Begleitspur zu einem Video und/oder fürs Streaming einsetzen willst. Bei VBR-Techniken müssen nämlich teilweise
sehr viele Daten im Voraus gepuffert werden, was irgendwann an seine Grenzen das machbaren geht, denn irgendwie muss man beides synchron halten können. Das kann problematische Dateien erzeugen, die nicht gerade besonders abspielfreundlich sind. Kommt nicht so gut rüber, wenn plötzlich das Bild dem Ton ein paar Sekunden davonläuft - oder andersrum.
Und diese Effekte zeigen sich dann erst, wenn du die gesamte Datei mit Normalgeschwindigkeit ablaufen lässt, beim schnellen Scrollen scheint aber eigentlich alles o.k. zu sein. Schon mal sowas erlebt?