Gagasan pendirian Museum Konferensi Asia Afrika diwujudkan oleh Joop Ave, sebagai Ketua Harian Panitia Peringatan 25 Tahun Konferensi Asia Afrika dan Direktur Jenderal Protokol dan Konsuler Departemen Luar Negeri, bekerja sama dengan Departemen Penerangan, Departemen Pendidikan dan Kebudayaan, Pemerintah Daerah Tingkat I Provinsi Jawa Barat, dan Universitas Padjadjaran.

Perencanaan dan pelaksanaan teknisnya dikerjakan oleh PT Decenta, Bandung.Museum Konperensi Asia Afrika diresmikan berdirinya oleh Presiden Soeharto pada 24 April 1980, sebagai puncak Peringatan 25 Tahun Konferensi Asia Afrika.

Pada 18 Juni 1986, kedudukan Museum Konperensi Asia Afrika dialihkan dari Departemen Pendidikan dan Kebudayaan ke Departemen Luar Negeri di bawah pengawasan Badan Penelitian dan Pengembangan Masalah Luar Negeri.

Pada tahun 2003, dilakukan restrukturisasi di tubuh Departemen Luar Negeri dan Museum Konferensi Asia Afrika dialihkan ke Ditjen Informasi, Diplomasi Publik, dan Perjanjian Internasional (sekarang Ditjen Informasi dan Diplomasi Publik).

Saat ini, UPT Museum Konferensi Asia Afrika berada dalam koordinasi Direktorat Diplomasi Publik. Museum ini menjadi museum sejarah bagi politik luar negeri Indonesia.

Penataan kembali Museum Konferensi Asia-Afrika dalam rangka Konferensi Tingkat Tinggi Asia-Afrika 2005 dan peringatan 50 tahun Konferensi Asia-Afrika 1955, pada 22-24 April 2005, tata pameran Museum Asia-Afrika direnovasi atas prakarsa Menteri Luar Negeri Republik Indonesia Dr N Hassan Wirajuda.

Penataan kembali museum tersebut dilaksanakan atas kerja sama Departemen Luar Negeri dengan Sekretariat Negara dan Pemerintah Provinsi jawa Barat. Perencanaan dan pelaksanaan teknisnya dikerjakan oleh Vico Design dan waka Reality.

Hingga kini, Museum KAA pun masih terus menyajikan peninggalan-peninggalan, informasi yang berkaitan dengan Konferensi Asia Afrika, termasuk latar belakang, perkembangan konferensi tersebut, sosial budaya, dan peran bangsa-bangsa Asia Afrika, khususnya bangsa Indonesia dalam percaturan politik dan kehidupan dunia.