Pondok Pesantren An-Nawawi didirikan pada tahun 1870 M oleh KH. Zarkasyi dengan nama Mafatihul 'Ulum. KH. Zarkasyi dilahirkan di desa Tempel Tanggul, Sidomulyo, Purworejo. Beliau memperoleh pendidikan agama sejak kecil dari orang tuanya, Kiai Asnawi. Menginjak dewasa beliau meneruskan belajar di pesantren Bangil Jawa Timur.
Setelah beberapa tahun belajar di pesantren Bangil, KH. Zarkasyi melanjutkan pendidikannya ke Mekkah untuk berguru kepada Syekh Abdul Karim Banten (paman Syekh Nawawi al-Bantani). Ilmu yang diperoleh adalah ilmu Tarekat yang dikenal dengan Tarekat Qodiriyah wa Naqsyabandiyah. Sepulang dari Mekkah, KH. Zarkasyi berguru kepada Syekh Sholeh Darat Semarang untuk memperdalam ilmu bidang Syariat. Di samping menjadi guru dari KH. Zarkasyi, Syekh Sholeh Darat merupakan teman belajar Tarekat ketika masih berada di Mekkah. Setelah bertahun–tahun memperdalam ilmu di berbagai pesantren, KH. Zarkasyi pulang dan bermukim di Desa Dunglo, Baledono, Purworejo. Namun, oleh Syekh Sholeh Darat dianjurkan untuk berpindah dan mendirikan masjid di Dukuh Berjan dengan membekali dua buah batu bata merah. Dan mulai saat itulah berdiri sebuah masjid yang lambat laun berkembang menjadi sebuah pondok pesantren sampai saat ini.
Pada tahun 1960, Kepala Pondok Pesantren waktu itu, Bapak Najmuddin bermusyawarah dengan para pengurus untuk menngganti nama pesantren dari Mafatihul 'Ulum menjadi Maftahul Ulum, atas persetujuan dari Pimpinan Pondok Pesantren KH. Muhaamd Nawawi. Pada tahun 1965, nama pondok pesantren diganti dengan nama Roudlotut Thullab yang mempunyai arti Taman Pelajar atau Taman Siswa, dan kemudian pada tanggal 7 Januari 1996, bertepatan dengan tanggal 16 Syakban 1416 H, kembali diganti menjadi An-Nawawi seperti dikenal luas sampai saat ini.
Nama terakhir ini dipilih, karena dua alasan pokok, yaitu: Pertama, dalam rangka tafaulan (mengharap barokah) kepada pengasuh ke–3 yaitu, KH. Muhammad Nawawi. Kedua, Sebagai tonggak sejarah bahwa pada masa KH. Muhammad Nawawi inilah, sistem atau metode pengajaran dikenalkan kepada sistem madrasi atau dalam dunia pendidikan modern dikenal dengan istilah klasikal. Selain itu, pada tahun 1981, dirintis pula pendirian Pondok Pesantren Putri Al-Fathimiyyah yang sekarang menjadi Pondok Pesantren Putri An–Nawawi. Dengan kata lain, selama memimpin pondok pesantren, KH. Muhammad Nawawi telah berhasil merumuskan dasar pengembangan (master plan) Pondok Pesantren An–Nawawi.
