علی بی درنگ پس از کامیابی در ساکت کردن شورش طلحه و زبیر، به شام (سوریهٔ امروزی) در شمال سرزمین‌های اسلامی روی آورد. معاویه حاکم سرزمین شام بود او در زمان عمر به فرمانداری این منظقه گماشته شده بود و در زمان عثمان در آن جا تثبیت شده بود. میان شورش‌های طلحه و زبیر با شورش معاویه یک تفاوت اصلی بود که در مورد نخست، طلحه و زبیر به دنبال شورا و برگزیدن یک خلیفهٔ دیگر بودند ولی معاویه ادعا می‌کرد که به خون خواهی عثمان برخاسته‌است و درخواست مجازات قاتلین وی را دارد. دانشنامه ایرانیکا می‌نویسد علی معتقد بود که عثمان به این دلیل کشته شد که مردم به خاطر اعمال مستبدانه وی تحت ظلم بودند. بنابراین آنها مشمول مجازات نمی‌شوند.علی نامه‌ای برای معاویه نوشت و آن را به دست جریر پسر عبدالله بجلّی، فرماندار پیشین همدان که از سوی عثمان برگزیده شده بود داد تا به دست معاویه برساند و از او بیعت بگیرد ولی معاویه به بهانه‌های گوناگون جریر را در آن سرزمین نگه داشت و در این مدت دمشق را آمادهٔ نبرد با علی کرد. علی در این نامه اشاره می‌کند که:

مردمی که با ابوبکر و عمر و عثمان بیعت کردند، هم بدان سان بیعت مرا پذیرفتند، پس کسی که حاضر است نتواند دیگری را خلیفه گیرد و آنکه غایب است نتواند کردهٔ دیگران را نپذیرد...

همچنین او در این نامه به معاویه هشدار می‌دهد که در صورت زیر پا گذاشتن خواستهٔ عموم مردم و بدعت گذاشتن، با او پیکار خواهد کردمیان علی و معاویه چندین نامه نوشته می‌شود و علی از حق قانونی خودش به عنوان حاکم دفاع می‌کند معاویه نامهٔ علی را با دیرکرد پاسخ می‌دهد و در این میان خود را آمادهٔ نبرد با او می‌کند سپس نامه‌ای به علی می‌فرستد و به او پیشنهاد می‌کند که من حکومت تو را به شرطی می‌پذیرم که در جایگاه خود باقی بمانم و فرمانداری مصر را هم در دست بگیرم، چون علی این درخواست او را نمی‌پذیرد، معاویه نامهٔ اعلام جنگ و درخواست قصاص قاتلان عثمان را به جریر می‌دهد تا به دست علی رساند.

معاویه به خودمختار بودن شام به رهبری خودش اصرار می‌ورزید ولی علی مدعی بود که تمامی استانهای حکومت اسلامی، باید به طور مساوی با مشکلات جامعه مسلمانان روبرو شوند. معاویه در پاسخ به بهانهٔ مشارکت نداشتن در انتخاب علی، حامیان شامی خود را بسیج کرده و از بیعت با علی سرباز زد.

علی با وجود سختی‌های بسیار که در داخل برایش پیش آمده بود توانست در ماه مه (ذی الحجه) سال ۶۵۷ میلادی (۳۶ هجری) سپاهی در عراق فراهم آورد و آن را روانهٔ صفین کند. چند زد و خورد میان دو سپاه صورت می‌گیرد تا آغاز ماه محرم که جنگ متوقف می‌شود، یک ماه میان دو سپاه گفتگو صورت می‌گیرد ولی هنگامی که کاملاً روشن می‌شود که گفتگو بی نتیجه‌است در ژوئیهٔ (ماه صفر) سال ۶۵۷ جنگ دوباره از سر گرفته می‌شود. در مجموع این جنگ سه ماه طول می‌کشد که بیشتر آن به گفتگو میان دو سپاه سپری می‌شود. جنگ برای هر دو گروه بسیار آسیب داشت و نتیجهٔ آن نامشخص بود تا آنجا که پس از یک هفته کارزار سخت، هنگامی که به نظر رسید سحرگاه فردا علی پیروز خواهد شد در شب آخر به نام لیله الهریر (شب ناله)، عمرو عاص به معاویه پیشنهاد کرد که تا سربازانش قرآن‌ها را بر سر نیزه بلند کنند تا در سپاه علی اختلاف و چند دستگی به وجود آید. معاویه که از اختلاف نظرها در سپاه علی آگاه بود از این وضعیت بهره‌برداری کرد و این پیشنهاد را پذیرفت. سپاهیان او قرآن به سرنیزه‌ها آویختند و درخواست کردند تا جنگ ادامه پیدا نکند و در مقابل کار به داوری بر اساس قرآن گذاشته شود. بیشتر سپاهیان علی با دیدن قرآن‌های آویخته شده، دست از جنگ کشیدند. علی به علت اصرار سربازانش، به ناچار به حکمیت تن داد.

دانشنامهٔ ایرانیکا در این باره می‌نویسد که کاملاً روشن بود که درخواست صلح، نه برای علی که برای اهل عراق که بیشتر سپاه علی را تشکیل می‌دادند، بود تا از این رهگذر، با دستاویز قرار دادن تعصب مردم در اعتقادات مذهبی، علی را از هوادارانش جدا کند. فریب جنگی این کار برای علی روشن بود، اما شمار اندکی از سربازان او می‌خواستند جنگ را ادامه دهند. اشعث بن قیس که قدرتمندترین رهبر قبیله‌ای کوفه بود، اصرار به قبول دعوت معاویه داشت. بر پایهٔ روایت‌ها، وی به علی گفت که اگر پیشنهاد صلح را نپذیری، یک نفر هم از قبیلهٔ من برای تو نخواهد جنگید. سرباز زدن تودهٔ سپاه علی از ادامه جنگ، عامل تعیین کننده‌ای در پذیرش حکمیت از سوی او بود. بیشتر قاریان هم می‌خواستند صلح کنند. علی جنگ را متوقف کرد و اشعث را فرستاد تا از هدف معاویه آگاه شود. معاویه پیشنهاد کرد که هر دو طرف، داوری را برگزینند تا با هم به تصمیمی بر پایهٔ قرآن برسند و این تصمیم برای هر دو بی درنگ اجرا شود. 

علی وارد بصره شد و پول‌هایی را که در بیت المال یافت را به طور مساوی میان حامیانش تقسیم کرد. این عمل احتمالاً نشانه این است که وی به مسلمانانی که به اسلام از روزهای اولش خدمت کرده بودند و مسلمانان بعدی ای که در فتوحات نقش داشتند، یکسان مواجب می‌داد و به کوفه به منظور جلب حمایت علیه معاویه رفت.مردم بصره با علی بیعت کردند. علی، ابن‌عباس را والی بصره نمود و زیاد بن ابیهرا به دستیاری ابن‌عباس گماشت. مالک اشتر به خاطر این موضوع خشمگین شد. چرا که پسران عباس، یکی والی بصره، یکی والی مکه و دیگری والی یمن شده بودند. علی موفق به تشکیل ائتلافی گسترده شد که دو گروه جدید را به حامیانش افزود. اولی قاریان که آخرین امیدهای خود در بازیابی نفوذ خود را در وی می‌دیدند و دومی رهبران قبایل سنتی که مجذوب مساوات وی در تقسیم غنایم شده بودند. شکل گیری موفق آمیز این ائتلاف که افراد گوناگونی چون عمار بن یاسر (مهاجر)، قیس بن سعد عباده (انصار)، مالک اشتر (قاریان)، اشعث بن قیس (رهبر سابق رده که رئیس قبایل کوفی بود) را هم دربر می‌گرفت به نظر می‌رسد که به خاطر شخصیت قابل توجه علی بوده باشد.

پس از نبرد جمل، چون علی همچنان به سیاست برابری و عدالت در توزیع مالیات و غنایم پایبند بود توانست حمایت اصحاب محمد به خصوص انصار، رهبران قبایل و قاریان قرآن که خواهان داشتن رهبری پیرواحکام اسلام بودند را از آن خود کند.

تغییری که علی در زمان خلافتش انجام داد این بود که جنگجویان مسلمان را از غارت و اخذ غنیمت و تقسیم آن میان خود پس از فتوحات منع کرد. بجای آن مالیات اخذ شده از شهرها را به عنوان حقوق و نه غنیمت جنگی و به میزان ثابتی میان جنگجویان پخش می‌کرد. بر اساس گزارشی این اولین مورد اختلافی بود که میان علی و خوارج پیش آمد.