C'est à Paris que Noël Ballay suit des études de mèdecine qu'il interrompt pendant la guerre de 1870. En 1874, il est externe médaillé des hôpitaux de Paris. En 1875, à la suite de sa rencontre avec Savorgnan de Brazza, il décide de partir pour l'Afrique. Les nombreuses observations d'ordre géographique qu'il consigne lors de l'expédition dans l'Ogooué constitueront la matière première de sa thèse de doctorat. Il représente les intérêts de la France à La Conférence de Berlin en 1885 puis le 5 janvier 1886 il démissionne du service de santé de la Marine pour rejoindre l'administration des colonies. Il devient alors le premier lieutenant-gouverneur du Gabon mais demande à être relevé de ses fonctions en 1889 en raison de profonds différents avec de Brazza, son supérieur. En 1890 il est chargé d'une mission spéciale aux Rivières du Sud et dépendances et est envoyé comme délégué de la France à la Conférence internationale de Bruxelles. Dans tous les postes où il est affecté (chargé de l'exercice du protectorat de la République du Fouta-Djallon, gouverneur de la Guinée française, gouverneur général de l'AOF) il accomplira sa tâche d'administrateur tout en restant dévoué aux questions de santé publique. Il meurt de maladie en service au Sénégal et la France lui offre des funérailles nationales dans la cathédrale de Chartres. Il était Commandeur de la légion d'honneur depuis le 15 juillet 1899.