Las ideas de Coubertin estaban de acuerdo con los objetivos del Comité Olímpico Helénico (COH), que quería establecer un centro académico basado en el antiguo gimnasio, para sentar las bases del valor educativo del deporte mediante la realización de estudios y la organización de juegos clásicos. Las repentinas muertes de Chrysafis (1930) y Coubertin (1937) les impidieron implementar sus ideas.

Un año después de la muerte de Coubertin y siguiendo su propio deseo, su corazón fue colocado dentro de la estela conmemorativa en la antigua Olimpia. Esto reavivó la idea de establecer un centro para los Juegos Olímpicos en la antigua Olimpia. El proyecto fue retomado por Ioannis Ketseas, un estudiante de Chrysafis en el Club Nacional de Gimnasia y Secretario del Comité Olímpico Helénico y el alemán Carl Diem, un amigo cercano de Coubertin dedicado al Movimiento Olímpico y la educación. En 1938, ellos prepararon un plan para una institución llamada Academia Olímpica Internacional y lo presentaron al Comité Olímpico Helénico. Esta adoptó el plan, y ese mismo año, incorporó en su Carta el establecimiento y funcionamiento de la (Academia Olímpica Internacional) AOI, como uno de los objetivos del Comité.

En la 38a sesión del COI en El Cairo, los miembros del COI fueron informados por el COH sobre la ley recientemente adoptada para el establecimiento de una Academia Olímpica en Grecia. Un año más tarde, en la 39.a reunión del COI en Londres, el COI decidió establecer una fundación que promovería los ideales olímpicos a través de la educación bajo sus auspicios. Después del final de la Segunda Guerra Mundial, se presentó un memorando detallado sobre el funcionamiento de la Academia, redactado por Ketseas y Diem, en la 41a reunión del COI en Estocolmo en junio de 1947.

El 28 de abril de 1949, la 44a reunión del COI en Roma se aprobó por unanimidad el establecimiento de la AOI y asignó su implementación y operación al Comité Olímpico Helénico, bajo los auspicios del COI. Varios años más tarde y después de una larga lucha, la primera sesión de la AOI se programó para el verano de 1961 para coincidir con la ceremonia de apertura del antiguo estadio de Olimpia, que se había excavado gracias a la iniciativa de Carl Diem, quien aseguró los gastos del proyecto. La Academia Olímpica Internacional se inauguró oficialmente el 14 de junio de 1961, y las actas de la primera sesión fueron dirigidas por Cleanthis Palaeologos, Director del Departamento de Educación Física de la Universidad de Atenas, y el profesor alemán Franz Lotz. 

Los iniciales cursos de Olimpia, fueron sólo organizados para jóvenes participantes, ampliándose progresivamente el acceso a los mismos a otros estratos deportivos y olímpicos, en razón a la amplia gama de posibilidades que ofrecían las nuevas instalaciones fijas inauguradas en 1967 y que han sido sucesivamente ampliadas y acondicionadas. De allí que sectores diversos de grupos vinculados con el Olimpismo y el deporte, hayan venido desarrollando sesiones en Olimpia (médicos, entrenadores, periodistas, federaciones, profesores, asociaciones de profesores de educación física y de historiadores de deporte, clubes federativos, etc.)

Desde 1970, se han venido programando sesiones fijas adicionales dedicados a los temas del Movimiento Olímpico, celebradas generalmente de forma bianual y dirigidas a grupo concretos, como las organizadas para profesores, miembros de Comités Olímpicos Nacionales, Federaciones Internacionales, Directores de Institutos Superiores de Educación Física, Periodistas Deportivos, Presidentes y directores de Academias Olímpica, y postgraduados.

La AOI publica anualmente los trabajos de cada curso y sesión, en unas actas oficiales en tres idiomas: inglés, francés y griego, que son, además, los de oficial y común uso en conferencias y debates y con traducción simultánea. Actualmente, este centro internacional del Olimpismo puede albergar 300 personas en un magnífico complejo cultural y deportivo de 25 hectáreas.