در خلال شکل گیری توافق، ائتلاف علی شروع به از هم پاشیدگی نمود. مساله توسل به سنت، باید مهمترین دلیل واکنش قاریان بوده باشد. آنها با توافق مواقفت کردند، چرا که آن دعوت به صلح و به کار بردن قرآن بود. در آن زمان بندهای توافق نامه هنوز تعیین نشده بود و در آن موردی که علی دیگر امیرالمؤمنین تلقی نخواهد شد، وجود نداشت. از آن جدی تر، گسترش اختیارات داوران از قرآن به سنتی که ابهام آمیز است، اعتبار قرآن را به خطر میانداخت. بنابراین معادل تحکیم الرجال فی الدین به حساب میآمد. از این رو، آنان شعار لا حکم الا الله را برافراشتند. در این زمان، شامیان ادعا کردند که این تواقفق نامه، تاییدی است بر اینکه قرآن در موردن عادلانه بودن یا نبودن کشته شدن عثمان، حکم کند. ولی قاریان شکی نداشتند که او عادلانه کشته شدهاست. دانشنامه ایرانیکا بر این باور است که پیش کشیدن مساله قتل عثمان توسط معاویه در این مقطع حساس، باید به طفره رفتن قبلی وی از این موضوع مرتبط باشد. کل ماجرا یک تلاش سازمان یافته برای تخریب ائتلاف علی به نظر میرسد. قاریان به علی گفتند که اگر همانند آنان به خاطر پذیرش حکمیت، توبه نکند، آنان از وی اعلان برائت خواهند نمود. در هنگام بازگشت لشکر علی به کوفه، بعضی از قاریان در حرورا توقف نمودند.
- تجمع خوارج در حرورا
علی که گرفتار نافرمانی خوارج شده بود، ابتدا پسر عمویش عبدالله بن عباس را به عنوان نماینده خود به حرورا برای مذاکره فرستادو سپس خودش شخصاً برای بحث به آنجا رفت. استدلالهایی که حروریان در بحث با علی به کار می گرفتند در طبری یا دیگر منابع سنی و یا کتبی که به نفع علی جهت دار هستند ذکر نشده، حال آنکه استدلال ابنعباس و علی ذکر شده است. استدلالشان به طور خلاصه این بوده است: «وقتی ما خون عثمان را ریختیم، بر حق بودیم. چون او بدعت در دین آورده بود. به همین ترتیب وقتی خون طلحه و زبیر و هوادارانشان را ریختیم نیز بر حق بودیم. چون آنها شورشی بودند. همچنین وقتی که خون یاران معاویه و عمروعاص را ریختیم نیز بر حق بودیم، چون آنان از حدود کتاب خدا و سنت پیامبر تجاوز کرده بودند. حال مگر حکم جدیدی از آسمان برای علی نازل شده است که رویکردش را عوض کند؟ نه. پس وی باید بر همان مسیری که در ابتدا بود ثابت قدم بماند و جنگ را ادامه داده و حکمیت را رد کند.» ابنعباس آیات ۳۹-۳۵ سوره نساء و آیات ۳-۱ سوره مائده را که در مورد تعیین حکم در مواقع خاص بود را به آنان یادآوری نمود که بی فایده بود. حروریان در پاسخ گفتند: «هر حکمی که از طرف خدا تعیین شده است نباید به داوری و حکمیت سپرده شود. خدا احکامی را قرار داده که باید در مورد گروه ستمکار و متجاوز (فئه الباغیه) اجرا شود. چرا که او در آیه ۹ سوره حجرات می فرماید: اگر دو گروه مومنان با یکدیگر وارد جنگ شوند، بین آن دو صلح برقرار کن. اگر گروهی از آن دو بر شورش خود اصرار داشت، با آن گروه شورشگر بجنگ تا در برابر حکم خدا سر تعظیم فرود آورد. آیا معاویه و عمرو و هوادارانشان جزو فئه الباغیه نبودند؟» حروریان در ادامه استدلالهای خود به آیه ۴۰-۳۹ سوره انفال اشاره کردند: « با آنها پیکار کن، تا وقتی که فتنه ای وجود ندارد و دین از آن خداوند است. آیا معاویه و یارانش از خدا تبعیت می کردند؟ پاسخ طبعاً منفی است. پس خدا حکم خود را در این مورد اعلام نموده و باید اجرا شود. این یکی از حدود الهی است و باید مانند دیگر حدود مانند حد زناکار یا دزد اجرا شود. انسان در موردی که خدا حکمش را داده حق داوری ندارد (لا حکم الا لله)». حروریان در استدلالهای خود به آیات دیگر قرآن و دلایل دیگری نیز متوسل شدند که موارد بالایی خلاصه شده محکمترین دلایلی است که ردشان ناممکن می نماید. لارا وسیا وگلییری می نویسد ابنعباس در برابر صحت استدلالشان تسلیم شد (حتی منابع سنی و منابع طرفدار علی اذعان دارند که ابنعباس نتوانست از پس آنان در بحث بر بیاید) همچنان که علی نیز نتوانست. علی از آنان خواست که دست از مخالفت بردارند و در این کار موفق شد. اما اینکه چگونه موفق به این کار شد مشخص نیست. استدلالهایی که علی پیش روی این گروه سرسخت قرار داد (که در منابع مختلف با یکدیگر فرق دارد) به نظر نمیرسد که توانسته باشد بر استدلالهای آنان فائق آمده باشد. در کتاب النهروان اثر فزاری آمده که علی قول داد که جنگ با معاویه را ادامه دهد و ضمانت محکمی بر این قول قرار داد. در برخی منابع آمده که علی گفت: « ما مالیات جمع آوری می کنیم. اسبهای خود را قبراق و سرحال می کنیم و سپس به سوی معاویه دوباره لشکر کشی می کنیم.» لارا وسیا وگلییری معتقد است این جمله نشان می دهد که علی به حروریان امتیاز داد. طاها حسین معتقد است که در این زمان یک سوء تفاهم بین علی وخوارج پیش آمده است. اما پس از اینکه علی به کوفه بازگشت به طور صریح اعلام کرد که به شرایط منعقد شده در عهدنامه صفین وفادار خواهد ماند. حروریان که راضی شده بودند با وی به کوفه بیاییند، با شنیدن این سخن خشمگین شدند. در نتیجه این سخن علی، خوارج با یکدیگر ملاقاتهای پنهانی ترتیب داده و دیگر در مورد اینکه در منطقه ای بمانند که به عقیده آنان احکام ناعادلانه به جای احکامی که خدا تکلیفش را روشن کرده اجرا می شود، دچار تردید شدند. گروهی که به این باور رسیده بودند، پنهانی گریختند و از هم فکران خود در بصره دعوت به عمل آوردند و در نهروان جمع شدند.
فرد دونر معتقد است بعضی از خوارج ممکن است علت مخالفتشان با علی این بودهباشد که میترسیدند علی با معاویه سازش کرده و در پی آن، آنان برای حساب پس دادن در مورد شورش خود علیه عثمان فراخواندهشوند.
- حکمیت اول
اولین دیدار داوران، به نظر میرسد که طبق توافق قبلی در رمضان ۳۷ هجری مصادف با فوریه ۶۵۸ میلادی، در دومةالجندل برگزار شد. نتیجه این دیدار این شد که اعمالی که عثمان به آنها متهم شده بود، مستبدانه نبود. دال بر اینکه عثمان ناعادلانه کشته شده و معاویه حق خون خواهی از وی را دارد. این حکم هنوز عمومی نشده بود، اما دو سپاه به آنجا آمدند تا از نتیجه اش مطلع گردند. علی به این نتیجه اعتراض کرد و آن را خلاف قرآن و سنت دانسته و بنابراین آن را لازمالاجرا ندانست. سپس او سعی کرد سپاه تازهای را سامان دهد. اما فقط انصار از باقیماندگان قاریان به رهبری مالک اشتر و تعداد کمی از مردان قبایلشان، به علی وفادار ماندند. علی با سپاه جدیدش کوفه را به منظور براندازی معاویه ترک کرد. اما در ابتدا به نهروان رفت تا با مخالفان تعامل کند. او ابتدا سعی کرد که با اعلام کردن اینکه قصد جنگ با معاویه را دارد، حمایتشان را جلب کند. اما آنان پافشاری کردند که علی اول اقرار به گناه خود در پذیرش حکمیت کرده و سپس قول دهد آنانی را که باید تحویل معاویه شوند پناه دهد. علی به آنان حمله کرد و کشتار منتجه از سوی بسیاری از افراد، تقبیح شد و فرار کردن سربازان از سپاه علی، وی را مجبور کرد تا به کوفه باز گردد و نتواند به سمت معاویه لشکر کشی کند.
- حکمیت دوم
در حال حاضر، علی و معاویه هیچکدام دیگر خلیفه به حساب نمیآمدند و حاکمانی شورشی تلقی میگردیدند. اما به عنوان دو رقیب برای خلافت به حساب میآمدند. به نظر میآید که داوران و دیگر افراد نامدار، به استثنای نمایندگان علی، در شعبان ۳۸ هجری مصادف با ژانویه ۶۵۹ میلادی، در اذرح با یکدیگر ملاقات کردند تا در مورد انتخاب خلیفه جدید به بحث بپردازند. عمروعاص از معاویه حمایت میکرد. در حالیکه ابوموسی اشعری، دامادش عبدالله بن عمر را ترجیح میداد. اما عبدالله به خاطر فقدان اجماعی بر روی خلیفه شدنش، این پیشنهاد را رد نمود. پس از آن، ابوموسی اشعری به عمروعاص پیشنهاد کرد که هر دو علی و معاویه از خلافت عزل شده و کار تعیین خلیفه به شورا موکل شود و عمروعاص پیشنهادش را پذیرفت. ابوموسی در ملا عام مورد توافقش با عمرو عاص را اعلام کرد ولی عمروعاص بیان داشت که علی را عزل و خلافت معاویه را تایید کرد.