Kemudian pembangkangannya terhadap Mu’awiyah dan puteranya Yazid sungguh-sungguh merupakan kepahlawanan! Menurut pandangannya, Yazid bin Mu’awiyah bin Abi Sufyan itu adalah laki-laki yang terakhir kali dapat menjadi khalifah Muslimin, seandainya memang dapat … ! Pandangannya ini memang beralasan, karena dalam soal apa pun juga, Yazid tidak becus! Tidak satu pun kebaikan dapat menghapus dosa-dosanya yang diceritakan sejarah kepada kita, maka betapa Ibnu Zubeir akan mau bai’at kepadanya, ?

Kata-kata penolakannya terhadap Mu’awiyah selagi ia masih hidup amat keras dan tegas. Dan apa pula katanya kepada Yazid yang telah naik menjadi khalifah dan mengirim utusannya kepada Ibnu Zubeir mengancamnya dengan nasib jelek apabila ia tidak membai’at pada Yazid … ? Ketika itu Ibnu Zubeir memberikan jawabannya:  “Kapan pun, aku tidak akan bai’at kepada si pemabok … !” kemudian katanya berpantun :  “Terhadap hal bathil tiada tempat berlunak lembut kecuali bila geraham dapat mengunyah batu menjadi lembut “.

Ibnu Zubeir tetap menjadi Amirul Mu’minin dengan mengambil Mekah al-Mukarramah sebagai ibu kota pemerintahan dan membentangkan kekuasaannya terhadap Hijaz, Yaman, Bashrah, Kufah, Khurasan dan seluruh Syria kecuali Damsyik, setelah ia mendapat bai’at dari seluruh warga kota-kota daerah tersebut di atas.

Tetapi orang-orang Banu Umaiyah tidak senang diam dan berhati puas sebelum menjatuhkannya, maka mereka melancarkan serangan yang bertubi-tubi, yang sebagian besar di antaranya berakhir dengan kekalahan dan kegagalan. Hingga akhirnya datanglah masa pemerilitahan Abdul Malik bin Marwan yang untuk menyerang Abdullah di Mekah itu memilih salah seorang anak manusia yang paling celaka dan paling merajalela dengan kekejaman dan kebuasannya … ! Itulah dia Hajjaj ats-Tsaqafi, yang mengenai pribadinya, Umar bin Abdul Aziz, Imam yang adil itu pernah berkata:  “Andainya setiap ummat datang dengan membawa kesalahan masing-masing, sedang kami hanya datang dengan kesalahan Hajjaj seorang saja, maka akan lebih berat lagi kesalahan kami dari mereka semua… !”