پس از قضیه حکمیت، هر چند علی حکم برکناری را نپذیرفت و خود را کماکان خلیفه مسلمانان مینامید اما هر روز از وفاداران به او کاسته میشد. در زمانی که علی مشغول رفع شورش خوارج بود معاویه کنترل مصر را در دست گرفت. دانشنامه ایرانیکا مینویسد وی در اواخر سال ۳۹ هجری مصادف با ۶۶۰ میلادی، سپاهیان علی را در مصر شکست داد و عمروعاص را حاکم آنجا نمود. در همین زمان، علی کنترل حجاز را نیز از دست داد. در سال ۴۰ هجری علی حتی کنترلی بر شهرهای مکه و مدینه نداشت. علی عملاً به شهر کوفه محدود شده بود و در موضعی تدافعی بود تا آنجایی اقدامی در برابر لشکرکشیهای معاویه به قلب عراق، یمن و عربستان نکرد. افکار عمومی عرب به سمت جانشینی معاویه تمایل داشت. چرا که وی توسط نیروهای منظمی پشتیبانی میشد و میتوانست قدرت را در میان نخبگان عرب حفظ و امپراطوری عرب را کنترل کند.
در سال آخر خلافت علی، مردم کوفه و بصره پس از حملات لشکریان معاویه به شهرهای عراق، ماهیت واقعی معاویه را شناختند و دوباره با علی بر ضد معاویه متحد شدند. با این حال نگرش مردم نسبت به علی در این مقطع زمانی، به شدت متفاوت بود. فقط اقلیت کوچکی از آنها معتقد بودند که علی بهترین شخص پس از محمد برای خلافت است. در حالی که اکثریت مردم او را به علت دشمنی با معاویه مورد حمایت قرار دادند.
- تیره شدن روابط علی با ابنعباس
روابط بین ابنعباس و علی ناگهان رو به تیرگی نهاد که ابنعباس به تبع آن بصره را ترک گفته و به مکه رفت و امارت آنجا را پس داد. سال وقوع این واقعه در منابع به سالهای ۳۸، ۳۹ یا ۴۰ هجری گزارش داده شده که دانشنامه اسلام به دلیل که بعد از سال ۳۸، ابنعباس را فاقد فعالیت سیاسی مهمی می داند، این سال را به عنوان سال وقوع حادثه می پذیرد. دانشنامه اسلام روایاتی که در آنها ابنعباس تا زمان کشته شدن علی به حکومتش وفادار مانده را رد می کند. دلیل این عمل ابنعباس در برخی منابع به این صورت آمده که ابنعباس به خاطر مواخذه ای که علی از وی به اتهام اختلاس مالیات بصره ترتیب داده بود رنجیده شد و اختلاس را رد کرد و بیان داشت که تنها وظیفه دولتی اش را انجام داده است.
دانشنامه اسلام بر این باور است که این عمل ترک منصب از سوی ابنعباس که همزمان با روی گردانیدن بسیاری از طرفداران علی از وی بود، باید دلیلهای موجه تری داشته باشد. دلایلی مانند کشتار خوارج در نهروان که بر طبق روایات معتبر، ابنعباس این کار را نادرست شمرده بود و اعتقاد وی مبنی بر«موضع گیریهای نادرست علی» و اصرارش برماندن به عنوان خلیفه، با اینکه در قضیه حکمیت رای بر این نهاده شده بود که علی دیگر خلیفه نیست.
دانشنامه اسلام می نویسد پس از این دوران عملی از سوی ابنعباس روایت شده که ممکن است قضاوت بسیار بدی از وی را به دنبال داشته باشد و جزئیات این واقعه هنوز معلوم نیست. او مدتی پس از رفتنش به مکه دوباره به بصره بازگشت و اموال مالیاتی بصره را با خود برد. این غصب کردن اموال از سوی وی جای بحث و بررسی دارد. دانشنامه اسلام بر این باور است که می توان برای این عمل توجیهی منطقی آورد و دیدگاه کسانی که این عمل را کمکننده از شان ابنعباس در بین امت نمیبینند را منطقی می داند.