Six mois après avoir été assermenté comme gouverneur général, Jules Léger est victime d'un accident cérébro-vasculaire à l'Université de Sherbrooke au Québec, où il devait y recevoir un doctorat honoris causa. Durant sa convalescence, Madame Léger jouera un rôle important. Remplaçant son époux en certaines occasions et l'aidant à s'acquitter de diverses tâches, c'est ainsi qu'elle lira une partie du discours du Trône. La contribution qu'elle apporte durant le mandat de son mari sera reconnue par sa présence, aux côtés de ce dernier, dans le portrait officiel de M. Léger qui se trouve dans le Salon de réception de Rideau Hall. Gabrielle Léger est le seul conjoint à figurer dans un portrait de gouverneur général.
En décembre 1974, Jules Léger reprend ses fonctions en présidant à la cérémonie d'investiture de l'Ordre du Canada, et un an plus tard il accueillera le prince Charles. En 1976, après l'incendie qui détruit plusieurs pièces de la Citadelle, résidence officielle du gouverneur général à Québec, Madame Léger participe activement au projet de restauration.
Après que le gouverneur général eut repris toutes ses activités, les Léger entreprennent des voyages qui les mènent partout au Canada. Leur désir d'encourager l'excellence dans le domaine culturel donnera naissance au Prix Jules Léger de la nouvelle musique de chambre, en 1978, et à la Médaille Gabrielle Léger pour la conservation du patrimoine, en 1979. Également en 1979, le gouvernement canadien rend hommage aux Léger en instituant la bourse Jules et Gabrielle Léger, qui est octroyée à des universitaires exceptionnels pour leurs recherches et leurs écrits sur le rôle, la fonction et la contribution historique de la Couronne et de ses représentants au Canada. En outre, la bourse Jules Léger est établie en 1974 à l'Université de Regina pour promouvoir l'excellence académique dans des programmes bilingues.
Le 19 octobre 1975, M. Léger reçoit un doctorat honorifique en droit de l'Université d'Ottawa, et lors de la même cérémonie, Madame Léger reçoit un doctorat honorifique de l'Université.
Les Léger apprécient également l'art canadien et encouragent constamment l'activité artistique. Ils comptent parmi leurs amis des peintres comme Jean Paul Lemieux, Alfred Pellan et Jean Dallaire.
Lorsqu'il prend sa retraite en 1979, Jules Léger laisse en héritage une oeuvre qui a consisté à encourager l'unité canadienne et l'humanisme, d'une part, et à donner un aspect intellectuel à la fonction de gouverneur général du Canada.
La vie avant et après Rideau Hall
Jules Léger est issu d'une famille où la spiritualité revêt une grande importance; il est le frère cadet du cardinal Paul-Emile Léger. Il épouse Gabrielle Carmel, le 13 août 1938, et le couple aura deux filles.
Après ses études au Collège de Valleyfield puis à l'Université de Montréal, il obtiendra son diplôme en droit avant de recevoir son doctorat de la Sorbonne, à Paris, en 1938. De 1938 à 1939, il est rédacteur adjoint au journal Le Droit à Ottawa et, de 1939 à 1942, il enseigne l'histoire de la diplomatie à l'Université d'Ottawa.
Jules Léger se joint au ministère des Affaires extérieures en 1940, ce qui marque le début d'une carrière de diplomate accompli. En 1953, il est nommé ambassadeur du Canada au Mexique. Il devient ensuite sous-secrétaire d'État aux Affaires extérieures et, en 1958, est désigné ambassadeur et représentant permanent au Conseil de l'Otan et représentant canadien à l'Organisation européenne de coopération économique à Paris. En 1962 et en 1964, il est successivement ambassadeur en Italie puis en France, avant d'être nommé ambassadeur en Belgique et au Luxembourg en 1973.
Après avoir quitté Rideau Hall, les Léger continueront d'habiter à Ottawa. Jules Léger meurt le 22 novembre 1980 et Gabrielle Léger, le 10 mars 1998.