мусор тут не причем - тут просто не верное следование инструкциям...

А есть в планах использовать внешний кодек и2с (интерфейс вроде встроенный)? Уж больно мало 8 бит для звука.. реальная грязь на малых уровнях. Да и примеры реализации на github вроде есть.

i2c - это медленная шина для датчиков, имеется ввиду наверно i2s , но кодеки эти все дорогие и редкие

разумеется, имелось ввиду i2s. А вот про редкость и дороговизну позвольте не согласиться - их просто огромное количество, начиная с дешевых просто цапов по 25 руб и ниже (например, UDA1334ATS) , кончая целыми аудиопроцессорами с усилителями мощности и DSP (напр. TFA9879HN, моно, около 140р), есть и разные готовые модули на али.
Еще вариант - использовать готовый модуль декодера mp3, таких тоже достаточно недорогих. И ресурсов освободится опять же.

насколько я помню там не все i2s декодеры подходят к есп32, вроде что-то не хватает для этого у чипа.

По мне звук вполне нормальный даже сейчас, там вроде не 8 бит, а больше. Есть еще режим PDM , но там схему нужно городить аналогову.

да, у esp32 нету выхода клока, поэтому декодер должен его из данных выделять сам, но почти все декодеры уже давно имеют PLL для этого. Сам в свое время применял старенький cs4334, стоит совсем копейки, вот ему нужен внешний клок, тут не подойдет.
А по звуку - на низких уровнях прям режет слух, хрустит не по детски. Там и по специфакации у esp цапы 8-битные. Просто, если в используемой библиотеке i2s вывод уже предусмотрен (как и упомянутый PDM), то вроде несложно его задействовать. А я попробую разные кодеки, расскажу потом..))