عرف ابن رهيمة بأنه من شعراء الغزل العفيف وإن لم ينل الاهتمام الكافي به في التراث الأدبي، وقد كانت محبوبته زينب بنت عكرمة بن عبد الرحمن، وبعد أن شاع أمر عشقه فقد استعداه هشام بن عبد الملك، فأمر بضربه 500 سوط وأن يباح دمه إن عاد لذكرها، فهرب وأنشد:
إن كنت أطردتني ظالما لقد كشف الله ما أرهبُ
ولو نلت مني ما تشتهي لقلّ إذا رضيت زينبُ
وما شئت فاصنعه بي بعد ذا فحبي لزينب لا يذهبُ
ويرجح أنه لم يطرق قلبه الهوى إلا في سن كبيرة لما أورده شعرا:
أقْصدت زينبُ قلبي بعدما ذهب الباطل عني والغزل
وعلا المفرق شيبٌ شاملٌ واضحٌ في الرأسِ مني واشتعل
وكان قد عرف في شعره بالوضوح والصراحة، كقوله:
إنما زينب همي بأبي تلك وأمي
بأبي زينب لا أكني ولكني أسمي
بأبي زينب مِن قاضِ قضى عمدا بظلمي
بأبي من ليس لي في قلبه قيراط رحمِ
ومأساته أن قصته على ما يبدو كانت من طرف واحد، ما زاده ألما وجعله يعيش وحشته، كما في قوله:
أقْصدت زينبُ قلبي وسَبَت عقلي ولُبي
تركتني مستهاما أستغيُث الله ربي
ولها عندى ذنوبٌ في تنائيها وقربي!!
وقد انتهت حياته بغموض، بعد هروبه من الخليفة، والأغلب أنه مات هائما وهو يتذكرها رافضا الزواج، ففي أغلب القصص أنهم يهيمون ثم يموتون.