Saat memasuki jenjang sekolah menengah, AH Nasution melanjutkan ke sekolah Holandsche Indische Kweekschool (HIK). Ia hanya bersekolah di Kota kelahirannya dalam waktu singkat, karena HIK di Sumatera Utara terpaksa tutup dan dipindahkan ke Bandung.
BACA JUGA:Kisah Cinta Bung Karno dan Naoko Nemoto, Nikah Diam-diam dan Ramai Pesan Stop Impor Istri
Selama menempuh pendidikan di HIK Bandung, AH Nasution bertemu dengan seorang guru Belanda bernama Van der Werf. Werf adalah seorang pemimpin Partai Katolik di Bandung.
AH Nasution sangat menghormati Werf dan mempelajari banyak sejarah dan politik darinya. AH Nasution juga banyak meminjam buku-buku filsafat, militer, dan politik di sekolah barunya itu.
Salah satu buku favoritnya adalah buku Indonesia Menggugat yang ditulis oleh Soekarno. Melalui buku-buku itulah ketertarikannya di bidang politik dan militer menguat, seolah memudarkan cita-citanya menjadi guru seperti ayah dan kakeknya.
Usai lulus dari HIK, AH Nasution melanjutkan ke pendidikan ke Algemeene Middelbare School (AMS). AMS merupakan sekolah persiapan untuk melanjutkan studi perguruan tinggi di Belanda.
Ia berhasil lulus ujian AMS B di Jakarta dan diterima menjadi guru di daerah Bengkulu. Pada masa awal mengajar, AH Nasution hanya digaji 50 Gulden yang sangat pas-pasan untuk memenuhi kebutuhannya. Meskipun demikian, ia tetap semangat mengajar di sekolah tersebut.
Di Bengkulu juga ia bertemu dengan Soekarno, sosok yang sejak dahulu ingin ia temui. Soekarno diketahui sedang berada di Bengkulu karena dalam masa pengasingan.
Ia tinggal tidak jauh dari rumah yang disewa AH Nasution bersama rekan-rekannya. AH Nasution sering melihat Soekarno di rumah pengasingan. kadang-kadang ia tersenyum dan menyapa.
Ia juga pernah diundang ke rumah Soekarno untuk mengobrol. Melalui obrolan itulah, Soekarno menyarankan AH Nasution untuk masuk organisasi pemuda bernama Indonesia Muda.
Namun, tidak lama kemudian ia dipindahkan ke Palembang, Sumatera Selatan untuk menjadi kepala sekolah. Kehidupannya di Sumatera Selatan memang jauh lebih layak meskipun tanggung jawabnya lebih berat.
Kendati demikian, AH Nasution masih menyimpan mimpinya untuk bergabung di militer. Ia lantas memutuskan untuk keluar dari pekerjaannya sebagai guru dan lanjut menempuh pendidikan militer di Jawa.
Pada 1940, pemerintah Belanda membentuk sekolah perwira cadangan bernama Corps Opleiding Reserve Officieren (CORO) di Bandung. Sekolah ini terbuka bagi pemuda Indonesia yang ingin bergabung dengan militer Belanda yang pada saat itu terdesak oleh Jepang.
Menurut T.B. Simatupang dalam Membuktikan Ketidakbenaran Suatu Mitos (1981) AH Nasution mengambil kesempatan tersebut dan berhasil menjadi salah satu dari sedikit pemuda Indonesia yang lolos CORO.
Ia kemudian menjalani pendidikan militer yang keras dan luar biasa disiplin. Meski demikian, AH Nasution bisa membuktikan bahwa dirinya bukanlah pemuda pribumi biasa di militer.
Berkat prestasinya, hanya dalam beberapa bulan sejak masuk CORO, AH Nasution diangkat menjadi kopral. Kemudian, tiga bulan setelahnya ia naik pangkat lagi menjadi sersan.