Ahmad Yani lahir pada tanggal 19 Juni 1922 di Jenar, Purworejo, Jawa tengah. Semua anggota keluarganya bekerja di pabrik gula milik orang Belanda. Pada tahun 1927, Ahmad Yani bersama keluarganya pindah ke Batavia, dimana ayahnya bekerja untuk General Belanda. Pada tahun 1940, Ahmad Yani menjalani wajib militer dengan tentara Hindia-Belanda dan meninggalkan sekolah tingginya.
Kemudian Ahmada yani belajar topografi di kota Malang, Jawa Timur. Pada tahun 1942, proses belajar mengajarnya terganggu karena datangnya pasukan dari Jepang. Pada waktu yang bersamaan, Ahad Yani dan kelurganya pindah ke Jawa Tengah.
Pada tahun 1943, Beliau bergabung dengan dengan tentara militer yang di sponsori Jepang Peta (Pembela Tanah Air) dan melanjutkan latihannya di Magelang. Setelah selesai pelatihan ini, Ahmad Yani minta untuk di lantik sebagai sebagai komandan peleton Peta dan kemudian dipindahkan ke Bogor, Jawa Barat. Setelah bertugas disana, kemudian kembali ke Magelang sebagai Instruktur.