Jednání směřující k ustavení mezinárodní organizace dospělých nebyla jednoduchá. Po opakovaně zamítavém stanovisku Světového ústředí s odůvodněním, že dospělí s vlastním programem do skautského hnutí nepatří, se nakonec díky vstřícnosti ředitele ústředí plk. J. S. Wilsona ledy hnuly.
V roce 1953 bylo založeno Mezinárodní společenství bývalých skautů a skautek – International Fellowship of Former Scouts and Guides (IFOFSAG). Ustavující shromáždění se uskutečnilo 25. října 1953 ve švýcarském Luzernu.
Za železnou oponou
Zakládajícími členy IFOFSAG se stalo 18 zemí. Evropu reprezentovaly Belgie, Dánsko, Finsko, Francie, Island, Itálie, Lichtenštejnsjko, Lucembursko, Nizozemsko, Norsko, Portugalsko, Rakousko, Řecko, Švédsko, Švýcarsko a Velká Británie, další kontinenty zastupovaly Pákistán (Asie) a středoamerická Kostarika.
V Československu byl skauting po roce 1948 komunistickou mocí vyčleněn ze společnosti, organizace Junák byla zrušena a ilegální skautská činnost byla vystavená tvrdým represím režimu. I oldskauting – ač v té době už s bezmála čtyřicetiletou historií – tak přežíval (stejně jako hnutí mládeže) jen v podzemí a u zrodu IFOFSAG chyběl.
Změna názvu: ISGF
Ke světovému společenství se čeští a slovenští oldskauti mohli připojit až počátkem devadesátých let 20. století. Československo, reprezentované delegáty tehdejšího federálního seskupení Českého Junáka a Slovenského skautingu, bylo do IFOFSAG přijato na světové konferenci v řeckém Chalkidiki 1. října 1991.
Při rozšiřování světové organizace o nově příchozí země začal v hnutí dospělých sílit názor, že dospělí by neměli být označováni jako „bývalí“ skauti. Tento požadavek byl na mezinárodním fóru výrazně podporován i zástupci Kmene dospělých Junáka, v duchu hesla: Jednou skautem, navždy skautem!
Ke změně názvu organizace došlo na Světové konferenci 1996 v italském Monegrotto: Z názvu byl odstraněn přívlastek „former“ a organizace přijala nový název – Mezinárodní společenství skautů a skautek – International Scout and Guide Fellowship (ISGF).