Le premier Congrès de la FIFA tenu le 23 mai 1904, élit Robert Guérin comme Président. Victor E. Schneider (SUI) et Carl Anton Wilhelm Hirschman (NED) sont désignés en tant que vice-présidents. Louis Muhlinghaus (BEL) est nommé secrétaire et trésorier, avec Ludvig Sylow (DEN) comme assistant. Ces pionniers sont confrontés à une immense tâche vu que d'une certaine manière, la FIFA n'existe encore que sur le papier. Il faut lui donner sa forme, faire des associations de véritables représentants nationaux et s'attacher de nouveaux membres. Mais il s'agit avant tout de persuader les Anglais que leur affiliation à cet organe nouvellement créé est indispensable.

Le 14 avril 1905, le Comité Exécutif de la Football Association Ltd. reconnaît les associations nationales membres de la FIFA et les rejoint. C'est le premier grand succès de la FIFA, qu'elle doit à l'intervention du Baron Edouard de Laveleye. Grâce à ses efforts personnels, le président de l'Union Belge des Sociétés de Sports Athlétiques parvient à dissiper les dernières appréhensions et les doutes des Anglais. Le Baron devient le premier membre d'honneur de la FIFA.

Le deuxième Congrès de la FIFA se tient à Paris du 10 au 12 juin 1905. Dans l'intervalle, les associations d'Allemagne, d'Autriche, d'Italie et de Hongrie ont rejoint la FIFA. L'Ecosse, le pays de Galles et l'Irlande suivront le mouvement. Tandis qu'il est déjà question de disputer une compétition internationale en 1906, qui comprendrait quatre groupes, avec la Suisse comme pays organisateur des demi-finales et de la finale, et mettant en lice les meilleures équipes de clubs. Le vice-président suisse, quant à lui, a déjà fait don du trophée.

Le Comité Exécutif de la FIFA est reconduit pour une année dans la même composition. Mais les difficultés s'accumulent. La première compétition internationale est un échec. Plusieurs associations nationales connaissent des problèmes majeurs. La fédération française de football est en proie à des dissensions internes. Ces difficultés sont un lourd fardeau pour le Président de la FIFA, qui avait pris ses fonctions avec un tel enthousiasme. Robert Guérin s'éclipse de plus en plus de la vie sportive et confie les tâches administratives à son vice-président Victor E. Schneider et à son assistant personnel André Espir.

Qu'importe, la FIFA peut à présent montrer qu'elle a le pouvoir de décision. Lorsque les "English Ramblers", un club de football anglais improvisé, décident de disputer des matches sur le continent sans l'autorisation de la Football Association, la FIFA interdit à ses membres de jouer contre cette équipe. Les Anglais, qui entretiennent désormais de bonnes relations avec la FIFA et les 3 autres associations britanniques, sont très impressionnés par la fermeté de cette attitude.

Les choses se confirment au Congrès de Berne en 1906. C'est Victor E. Schneider qui mène les débats en l'absence du Président de la FIFA, Robert Guérin. L'Anglais Daniel Burley Woolfall est le nouveau Président élu. C'est un pragmatique qui a acquis une longue expérience au conseil d'administration de la Football Association. Sous sa conduite, le football anglais et continental se rapprochent. En outre, il lancera une inexorable bataille pour l'uniformité des Lois du Jeu.

L'idée d'organiser une grande compétition internationale est toujours dans l'air et c'est ainsi que la Football Association assume finalement la responsabilité administrative et organisationnelle d'un tournoi qui aura lieu à Londres dans le cadre des Jeux olympiques de 1908. Des problèmes surgissent dans l'organisation, qui ne sont toujours pas résolus quatre ans plus tard, lors du tournoi de Stockholm en 1912. Ce nouveau sport, quasiment inconnu, est considéré avec suspicion lors des Jeux olympiques et il est davantage perçu comme un show que comme une compétition. Surgit également le problème des joueurs professionnels en rapport avec les Jeux olympiques - un problème épineux qui se poursuivra durant les décennies à venir. L'Angleterre remporte les tournois de 1908 et 1912.

Le Congrès qui, aux termes des Statuts, doit avoir lieu chaque année dans une ville différente, est toujours présidé par Woolfall. La volonté d'imposer des règles du football uniformes à l'échelle internationale reste le principal point à l'ordre du jour. Cela a des effets très bénéfiques et contribue à jeter les fondements de l'organisation tels qu'on les connaît en partie aujourd'hui et qui ont permis à la FIFA de se donner une base solide et d'établir des directives strictes dès le début.

Sous la conduite du Président anglais, des progrès sensibles sont réalisés au niveau administratif. Le premier bulletin officiel de la FIFA est publié. Le Français est choisi comme langue officielle. L'application des Lois du Jeu strictement établies selon le modèle anglais devient obligatoire. Une définition précise est donnée des matches internationaux (sélections et interclubs) et il est interdit à des tiers d'organiser des matches à des fins lucratives.

Jusqu'en 1909, la FIFA ne compte que des associations européennes. Les premiers membres d'outre-mer la rejoignent dans l'ordre suivant: l'Afrique du Sud en 1909/1910, l'Argentine et le Chili en 1912, les Etats-Unis en 1913. Cela marque le début des activités internationales de la FIFA, ouvrant la voie vers une expansion globale.