وقد أفرد أبو الفرج أخباره في الجزء السابع من كتابه الأغاني، وقال في فاتحة حديثه عنه:

وله أشعار كثيرة تدل على خبثه وكفره. ومن الناس من ينفي ذلك عنه وينكره، ويقول: إنه نحله وألصق إليه. والأغلب الأشهر غير ذلك. ....

وقد أخبرنا به أحمد بن عبد العزيز إجازةً قال حدثنا عمر بن شبة قال أخبرنا عقيل بن عمرو قال أخبرني شبيب بن شيبة عن أبيه قال: كنا جلوساً عند المهدي فذكروا الوليد بن يزيد، فقال المهدي: أحسبه كان زنديقاً، فقام ابن علاثة الفقيه فقال: يا أمير المؤمنين، الله عز وجل أعظم من أن يولي خلافة النبوة وأمر الأمة من لا يؤمن بالله، لقد أخبرني من كان يشهده في ملاعبه وشربه عنه بمروءة في طهارته وصلاته، وحدثني أنه كان إذا حضرت الصلاة يطرح ثياباً كانت عليه من مطيبةٍ ومصبغةٍ ثم يتوضأ فيحسن الوضوء ويؤتى بثيابٍ بيضٍ نظافٍ من ثياب الخلافة فيصلي فيها أحسن صلاة بأحسن قراءة وأحسن سكوت وسكون وركوع وسجود، فإذا فرغ عاد إلى تلك الثياب التي كانت عليه قبل ذلك، ثم يعود إلى شربه ولهوه، أفهذه أفعال من لا يؤمن بالله! فقال له المهدي: صدقت بارك الله عليك يا ابن علاثة.