L'année 1946 marque le retour des quatre associations britanniques au sein de la FIFA, grâce une fois encore au talent diplomatique de Jules Rimet qui trouve en Arthur Drewry et Sir Stanley Rous des partenaires d'une grande ouverture d'esprit. Les deux allaient d'ailleurs être amenés à diriger la FIFA par la suite. Pour marquer l'occasion, un match sera organisé entre la Grande-Bretagne et le 'Reste de l'Europe' à Hampden Park, Glasgow, le 10 mai 1947. Baptisé le "Match du Siècle" par la presse, il sera suivi par 135 000 spectateurs et rapportera 35 000 livres. En signe de bonne volonté, cette somme sera mise à la disposition de la FIFA pour l'aider à surmonter les difficultés financières après tant d'années de guerre. Les Britanniques l'emportent 6:1.

Le Brésil perd son premier titre en finale contre l'Uruguay. Pour la deuxième fois, la "Coupe Jules Rimet" passera de nouveau quatre ans à Montevideo.

Quatre ans plus tard, la cinquième édition de la Coupe du Monde de la FIFA en Suisse marque la fin du mandat de Jules Rimet. Après avoir inauguré l'évènement à Lausanne, le Président alors âgé de 80 ans se retire lors du Congrès de Berne. Les délégués lui font une ovation d'une minute après son discours d'adieux. Il devient le premier Président d'Honneur le 21 juin 1954. Pour la dernière fois, le "Père de la Coupe du Monde" remet au capitaine de l'équipe d'Allemagne victorieuse, Fritz Walter, la "Coupe Jules Rimet".