Setelah itu, ia melanjutkan pendidikannya untuk tingkat sarjana penuh (doktorandus) pada Fakultas Keguruan Ilmu Sosial, IKIP (sekarang Universitas Negeri Yogyakarta) dan tamat pada tahun 1968. Selama kuliah, ia sempat menggeluti beberapa pekerjaan untuk melangsungkan hidupnya. Ia pernah menjadi guru mengaji dan buruh sebelum diterima sebagai pelayan toko kain pada 1958.
Setelah kurang lebih setahun bekerja sebagai pelayan toko, ia membuka dagang kecil-kecilan bersama temannya, kemudian sempat menjadi guru honorer di Baturetno dan Solo. Selain itu, ia juga sempat menjadi redaktur Suara Muhammadiyah dan anggota Persatuan Wartawan Indonesia.
Karier
Selanjutnya bekas aktivis Himpunan Mahasiswa Islam ini, terus meneruskan menekuni ilmu sejarah dengan mengikuti Program Master di Departemen Sejarah Universitas Ohio, AS. Sementara gelar doktornya diperoleh dari Program Studi Bahasa dan Peradaban Timur Dekat, Universitas Chicago, AS, dengan disertasi: Islam as the Basis of State: A Study of the Islamic Political Ideas as Reflected in the Constituent Assembly Debates in Indonesia.
Selama di Chicago inilah, anak bungsu dari empat bersaudara ini, terlibat secara intensif melakukan pengkajian terhadap Al-Qur’an, dengan bimbingan dari seorang tokoh pembaharu pemikiran Islam, Fazlur Rahman. Di sana pula, ia kerap terlibat diskusi intensif dengan Nurcholish Madjid dan Amien Rais yang sedang mengikuti pendidikan doktornya.
Penulis Damiem Demantra membuat sebuah novel tentang masa kecil Ahmad Syafi’i Maarif, yang berjudul ‘Si Anak Kampung’. Novel ini telah difilmkan dan meraih penghargaan pada America International Film Festival (AIFF).
Aktivitas
Setelah meninggalkan posisinya sebagai Ketua Umum PP Muhammadiyah, kini ia aktif dalam komunitas Maarif Institute. Di samping itu, guru besar IKIP Yogyakarta ini, juga rajin menulis, di samping menjadi pembicara dalam sejumlah seminar.
