Lord Dufferin a servi en qualité de gouverneur général du Canada durant une période de l'histoire canadienne caractérisée par des changements se succédant rapidement. Au cours de son mandat, l'Île-du-Prince-Édouard a été admise au sein de la Confédération, et plusieurs institutions canadiennes bien connues ont été établies, comme la Cour suprême du Canada, le Collège militaire royal du Canada et le chemin de fer Intercolonial.
Lord Dufferin axe ses efforts essentiellement sur la promotion de l'unité canadienne, et il effectue des visites dans chaque province, cherchant à rencontrer le plus grand nombre possible de Canadiens. Il est à l'aise devant des auditoires des plus variés, que ce soit lorsqu'il prend la parole, en anglais, au National Club à Toronto, qu'il s'adresse, en français, aux membres de la Société StJean-Baptiste à Montréal, ou qu'il s'entretienne avec des résidents d'établissements islandais au Manitoba et des travailleurs de la Colombie-Britannique. En tant qu'orateur et écrivain, lord Dufferin suit également de près le débat politique au Parlement, bien que son rôle de gouverneur général ne l'autorise pas à pénétrer dans la Chambre des communes. C'est lady Dufferin qui assistera alors aux débats et qui l'informera de ce qui s'y passe. Il installe toutefois un bureau du gouverneur général dans l'aile ouest des édifices du Parlement.
Convaincu de l'importance de reconnaître l'excellence parmi les Canadiens, il crée en 1873 les médailles académiques du Gouverneur général destinées aux élèves et étudiants canadiens ayant obtenu les meilleurs résultats – médailles qui sont décernées jusqu'à maintenant dans les écoles, les collèges et les universités. En cette même année est également créée la compétition de tir du gouverneur général, et, l'année suivante, le trophée de curling du gouverneur général est établi pour le « Royal Caledonian Curling Club. »
Lord Dufferin se rend compte qu'il n'y a pas assez d'espace à Rideau Hall pour la tenue de cérémonies, et le gouvernement décide donc d'ajouter la Salle de bal en 1873. Trois ans plus tard, il fait construire la Salle de la Tente pour donner un aspect plus équilibré à l'édifice et pour faciliter la tenue d'un nombre croissant de réceptions offertes par le gouverneur général. Lord et lady Dufferin organisent souvent des bals, des concerts, des dîners, des pièces de théâtre et des réceptions de toutes sortes -- et lady Dufferin aime beaucoup tenir le rôle principal dans les pièces de théâtre qui sont jouées à Rideau Hall. Leur enthousiasme accroît le rôle de Rideau Hall comme lieu de rencontres sociales.
D'autres changements sont apportés au domaine. En 1872-1873, lord Dufferin contribue pour 1 624,95 $, de sa poche, à la construction d'une patinoire, d'une piste de curling et d'une glissade pour toboggans à Rideau Hall. Il sera éventuellement remboursé par le gouvernement. Ces installations étaient accessibles aux membres du public, pourvu qu'ils soient « vêtus adéquatement ». Le gazomètre, maintenant appelé l'édifice du Dôme, sera construit en 1877-1878 pour y fabriquer du gaz à partir de pétrole brut destiné à alimenter Rideau Hall, évitant ainsi la nécessité de se fier sur l'approvisionnement irrégulier de la ville d'Ottawa.
Les Dufferin sont les premiers à utiliser la Citadelle, à Québec, comme seconde résidence vice-royale. À l'instar de bien d'autres gouverneurs généraux, lord Dufferin et sa famille trouvent cette ville magnifique. Lorsque des fonctionnaires municipaux proposent de raser les murs qui encerclaient la vieille capitale, vestiges de l'époque où Québec était une ville de garnison, afin de permettra à la ville de s'étendre, il les convainc d'abandonner cette idée. En sauvant ces murs, le caractère historique de la ville a pu être préservé, ce qui a été reconnu dans les années 1980, lorsque le Vieux Québec a été déclaré site du patrimoine mondial par l'UNESCO. En hommage à sa contribution dans la province de Québec, lord Dufferin est invité en octobre 1878, lors de sa dernière activité officielle, à poser la pierre angulaire de la terrasse Dufferin, une promenade surplombant le fleuve St-Laurent à Québec, construite d'après ses propres dessins.
Lady Dufferin est très active durant le mandat de son époux comme gouverneur général. Elle est la première épouse à accompagner le gouverneur général lors d'un séjour officiel, visitant l'Ontario en 1872. À la fin du mandat, elle aura visité chaque province avec son mari. Au cours d'un voyage au Manitoba en septembre 1877, lord et lady Dufferin enfoncent chacun un crampon dans la voie ferrée qui deviendra celle de la compagnie de chemin de fer du Canadien Pacifique. Et en mai 1874, lady Dufferin présente leur drapeau aux Governor General's Foot Guards.
Tout au long du mandat des Dufferin, lady Dufferin écrit chaque semaine à sa mère en Irlande. Ces lettres seront éventuellement publiées sous forme de compte rendu de leur séjour au Canada, intitulé « My Canadian Journal ». Dans ce livre, elle souligne que, de toutes ses expériences, c'est au Canada qu'elle a été le plus heureuse.
La vie avant et après Rideau Hall
Lord Dufferin succède à son père en 1841 et devient 5e baron Dufferin dans la pairie d'Irlande, après avoir fait ses études à Eton et Christ Church, à Oxford. Il est nommé gentil homme de service auprès de la reine Victoria en 1849. En 1850, il est créé baron Clandeboye, de Clandeboye, County Down, dans la pairie du Royaume-Uni. Sa nomination comme Commissaire en Syrie, en 1860, vient s'ajouter à l'expérience de l'administration outre-mer qu'il possède déjà, et est suivie en 1864 de sa nomination au poste de Sous-secrétaire pour l'Inde, puis de Sous-secrétaire de la Guerre, au sein du gouvernement britannique, en 1866. Il occupe également le poste de chancelier du duché de Lancaster en 1868, dans le gouvernement du premier ministre Gladstone et, en 1871, est élevé dans la pairie au rang de 1er comte de Dufferin, County Down et vicomte Clandeboye, de Clandeboye, County Down.
Lord Dufferin épouse Hariot Georgina Rowan Hamilton, le 23 octobre 1862. Ils auront sept enfants, dont les deux plus jeunes, un garçon et une fille, naîtront au Canada.
Après avoir quitté Ottawa en 1878 à la fin de son mandat, lord Dufferin retourne en Grande-Bretagne pour poursuivre sa carrière diplomatique. Il servira comme ambassadeur en Russie, de 1879 à 1881 et en Turquie, de 1881 à 1884, comme vice-roi des Indes de 1884 à 1888, puis comme ambassadeur en Italie de 1888 à 1891 et en France, de 1891 à 1896. Le 17 décembre 1888, il est promu marquis de Dufferin et d'Ava et comte d'Ava, dans le County Down, et en Birmanie. Lord Dufferin s'éteint le 12 février 1902, et lady Dufferin, le 25 octobre 1936.