Dhana ya Jumuiya ya Afrika ya Mashariki ilizalika enzi ya ukoloni wakati Tanganyika ilipokabidhiwa Waingereza kuisimamia. Hii ilikuwa mara tu baada ya Vita Vikuu vya Kwanza ambapo, baada ya Ujerumani kushindwa vitani, ilipokonywa makoloni yake ambayo yalikabidhiwa mataifa mengine kuyasimamia kwa niaba ya Umoja wa Mataifa. Katika muktadha huo, Tanganyika ilikabidhiwa Uingereza ilhali Rwanda na Burundi zilikabidhiwa Ubelgiji, huku Namibia ikikabidhiwa Afrika ya Kusini.
Uingereza ilipotwaa mamlaka Tanganyika, ikajikuta inatawala nchi tatu za Afrika ya Mashariki ambazo, tangu hapo, zilikuwa zina uhusiano wa kitamaduni na kihistoria. Nchi hizo zilikuwa ni Kenya, Uganda na Tanganyika.
Na kwa kuwa Uingereza ilikuwa na uhusiano wa karibu sana na utawala wa Kisultani wa Unguja, Zanzibar nayo ikajikuta katika mamlaka ya Uingereza pamoja na hizo nchi nyingine za eneo hili.
Tangu hapo, magavana wa nchi hizo tatu, pamoja na balozi wa Uingereza na Zanzibar, ambao wote walikuwa Waingereza, wakawa na uhusiano mkubwa. Watu hawa walifanya mambo yao kwa ushirikiano kiasi cha kuonekana kuwa eneo lote ni kama nchi moja inayotawaliwa na mtawala mmoja. Taasisi kadha wa kadha zikawa zinaendeleza huduma kwa wananchi wa Afrika ya Mashariki wote kijumuiya. Baadhi ya asasi hizi ni kama vile forodha, usafiri, elimu, uchukuzi, reli, na kadhalika. Polepole, kukaibuka utamaduni mmoja wa kisasa wa Afrika ya Mashariki uliojengwa katika msingi wa makabila yaliyopatikana katika nchi zote tatu. Makabila hayo ni kama vile Waluo (Kenya, Uganda, Tanganyika), Wamaasai (Kenya, Tanganyika), Wakuria (Kenya, Tanganyika), Digo/Duruma (Kenya, Tanganyika) na Waswahili (Kenya, Tanganyika). Jumla na hayo, Kiswahili kilikuwa tayari kishaenea katika nchi zote za Afrika Mashariki; hususan, Tanganyika, Zanzibar, na Kenya. Jambo hili la mwisho ndilo lililowafanya wazungu wamishenari na vilevile walimu, kufikiria kuunda Kamati ya Lugha ya Afrika ya Mashariki nzima; kamati iliyoshughulikia zaidi maendeleo na maenezi ya kimakusudi ya eneo zima. Kamati hii ndiyo iliyosanifisha lugha ya Kiswahili, na ndiyo iliyoanzisha Taasisi ya Uchunguzi wa Kiswahili, ambayo siku hizi ina makao yake Chuo Kikuu cha Dar-es-Salaam, nchini Tanzania.
Huu ndio msingi uliowafanya marais wa kwanza wa nchi tatu huru za Afrika ya Mashariki-Nyerere (Tanzania), Kenyatta (Kenya), na Obote (Uganda)–kuibuni rasmi Jumuiya ya Afrika Mashariki mnamo miaka ya mwongo wa sitini wa karne ya ishirini. Jumuiya iliyorasmishwa na marais hawa watatu iliendesha taasisi zote zilizoanzishwa kijumuiya na wakoloni Waingereza, na kubuniwa nyingine mpya zilizoendeshwa kisawasawa sana, kwa pamoja. Taasisi zilizoendeshwa na jumuiya zilineemeka mno kiasi cha kuwa wananchi wa nchi tatu hizi wakaanza kuhisi kuwa ni wamoja. Watu waliweza kufanya kazi katika nchi yoyote bila kujali kuwa walizaliwa nchi gani mahsusi.
Mambo yalibadilika kuanzia mwaka wa 1967, baada ya Tanzania kufuata mwelekeo wa siasa ya Ujamaa, ambapo Kenya iling’ang’ania ubepari mkongwe. Hali hii ilizidi kuzorota kuanzia mwaka wa 1971 ambapo Rais Obote alipinduliwa na Jemadari Idi Amin Dada, ambaye alitwaa madaraka ya urais kwa mabavu na kuporomosha uchumi wa Uganda pamoja na maadili yake mengi. Mwaka wa 1977, jumuiya ikavunjika kabisa, na kila nchi ikafuata mkondo wake binafsi wa maendeleo.
Hali hii ya kila nchi kufuata hamsini zake ilianza kubadilika baada ya Urusi kubadilisha maongozi yake mnamo mwaka wa 1989, na Ukomunisti pamoja na Ujamaa kupata kitingisho kikubwa. Polepole, nchi hizi zikaanza kukurubiana tena. Na kwa vile Uganda ilikuwa imepata rais thabiti, Yoweri Kaguta Museveni, baada ya miaka mingi ya vurumai tupu, mambo yakaanza kutengenea tena.
Uhusiano wa nchi tatu hizi ukaendelea kupata pumzi mpya, hasa baada ya Benjamin Mkapa kuchukua hatamu za urais nchini Tanzania. Baada ya muda usio mrefu, Benjamin Mkapa (Tanzania), Daniel arap Moi (Kenya), na Yoweri Kaguta Museveni (Uganda) wakaamua kuifufua tena Jumuiya. Mwamko huu mpya ukawapelekea marais hawa watatu kutia sahihi mkataba wa kuanzishwa Jumuiya mpya ya Afrika Mashariki mnamo mwezi Oktoba mwaka wa 1999.