پس از دست کشیدن از خلافت، حسن راهی مدینه شد. در بین راه در قادسیه، نامهای از معاویه دریافت نمود که از وی خواسته بود تا در جنگ علیه یکی از خوارج بنام ابن الحنصا الطاعی که به تازگی قیام کرده بود به او کمک کند. حسن پاسخ داد که به این علت از جنگ دست کشیدهاست تا صلح را به میان امت برگرداند و به همین دلیل در جنگ شرکت نخواهد کرد.
او در مدینه حداقل به ظاهر زندگی آرامیداشت و در امور سیاسی دخالتی نمیکرد. بنوشته لارا وگلیری در دانشنامه اسلام، حسن در مدینه از زنی به زنی دیگر میرفت بطوریکه به او لقب «المِطلاق» (طلاق دهنده) داده بودند. تعداد زنان او را شصت یا هفتاد یا نود نفر و تعداد متعههای او را سیصد تا چهار صد نفر نوشتهاند. البته به نظر نمیرسد کسی وی را به خاطر این موضوع سرزنش کرده باشد. اما عبدالله بن حسن، نوهٔ حسن، روایت میکند که حسن تنها چهار زن رسمی داشتهاست. (حد تعیین شده در شرع اسلام)
ویلفرد مادلونگ در دانشنامه ایرانیکا این مطلب را تأیید میکند که حسن در دهه آخر زندگی ازدواجها و طلاقهای فراوانی داشت و این مساله بابت لقب مطلاق برای او شده بود. با این حال او مینویسد «داستانها و حکایات در این زمینه به اظهارات مضحکی همچون داشتن هفتاد یا نود همسر و سیصد متعه بسط داده شدهاست». مادلونگ روایت ابن سعد را در این زمینه از همه معتبر تر میداند که مطابق آن حسن ۱۵ پسر و ۹ دختر از شش همسر و سه متعهاش داشت (که اکثراً در کودکی وفات یافتند). مادلونگ همچنین روایتهایی را که در آنها علی در مسجد، کوفیان را از زن دادن به حسن بر حذر میدارد و اینکه علی از این میترسیده که ازدواجها و طلاقهای مکرر حسن باعث بوجود آمدن دشمنی قبایل عرب شود فاقد اعتبار میخواند. زیرا حسن در آن برهه در خانهٔ پدری زندگی میکرد و نمیتوانست بدون اذن و تایید پدر زنی اختیار کند و حسن با این ازدواجها در صدد تحکیم اتحاد خود با پدرش علی بودهاست. حسن کنیه خود (محمد) را به خاطر پسر اول از زن اولش (خوله بنت منظور بن زبان از قبیله فزاره) دارد. پدر خوله رهبر قبیله بود و خوله قبلاً زن محمد بن طلحه بود و این ازدواج بعد از مرگ علی صورت گرفت. به نظر میرسد که حسن قصد داشته که محمد را وصی خود کند، اما با مرگ این پسر و به دنیا آمدن پسری دیگر به نام حسن از خوله، حسن بن علی، این پسر را وصی خود در موقوفات خانوادگی اش کرد. به گفته دانشنامه ایرانیکا، حسن در تعامل با زنان خود، به مانند برخورد با دیگران، بردباری و بزرگواری را بر میگزیدهاست.
سید محمد مرتضوی، عضو هیئت علمی دانشگاه فردوسی، با بررسی رجالی روایات شیعه و سنی در زمینه ازدواج و طلاق فراوان آنها را جعل شده در زمان منصور خلیفه عباسی، و بدنبال قیام نوادگان حسن علیه منصور میداند.
ویلفرد مادلونگ، این که حسن نام دو تن از فرزندانش را محمد نهاده و نام هیچیک را علی ننهاده، دلیلی بر شباهت به محمد پدربزرگش و پیروی از سیاستهای او میداند. حسن در انجام واجبات شرعی بسیار کوشا بود و چندین بار با پای پیاده به حج رفت. شیعیان وی را به عنوان امام دوم خود و آیتی از سوی خدا میدانند.
وقتی معاویه دید که حسن حمایت چندانی از خلافتش نمیکند، روابط میان دو به تیرگی گرایید. ویلفرد مادلونگ معتقد است که گرچه حسن گه گاه برای گرفتن هدایات و عطاها به دمشق به نزد معاویه میرفت، اما بخش اعظم این هدایا به عبدالله بن جعفر (پسر عموی حسن) که گرایشات سیاسی و یا آرزوهای این چنینی نداشت میرسید و عبدالله این پولها را صرف فعالیتهای مرتبط با موسیقی، آواز خوانی و شعر و شاعری مینمود.