Jean-Baptiste Tavernier (1605-1689) était un véritable globe-trotter, ce qui en faisait une personne d’exception au 17e siècle. Ce fils de cartographe avait certes des origines hollandaises, mais il avait grandi en France. Dès son adolescence, il fut attiré par l'ailleurs et quitta la France. A 25 ans, il pouvait se targuer de connaître toute l'Europe et de maîtriser la plupart des langues du continent. En 1631, il se concentra sur le Proche-Orient, d'abord à Constantinople, avant de se rendre en Arménie et de se mettre en route pour Ispahan et Bagdad.
La fascination du voyageur pour «l'Orient» venait de naître. Au fil des années, il voyagea jusqu'en Inde et à Java et rejoignit en 1632 l'horloger zurichois Johann Rudolf Stadler sur la route de la Perse. Marchand de bijoux en Inde, où il vécut à la cour du Grand Mogol, il acquit en 1668 à Hyderabad un fabuleux diamant de 45,52 carats. Il s'agit d'une pierre précieuse dont la légende veut qu'elle ait été volée sur le front d'une statue du dieu Vishnu. L'aventurier allait ramener en Europe le diamant d'un bleu profond et brillant, ainsi que de nombreuses autres pierres précieuses, et les présenta à Louis XIV.
Le roi de France, fasciné par les pierres exotiques, en acheta plusieurs, dont le célèbre «diamant bleu». En remerciement, il anoblit Tavernier. Avec ce nouveau titre et suffisamment d'argent dans sa valise, l’explorateur chercha une nouvelle patrie et la trouva au château d'Aubonne dans le canton de Vaud. En 1670, il acheta la seigneurie et fit remplacer l'ancien donjon par une tour blanche au toit en bulbe. La nouvelle partie du bâtiment rappela dès lors les voyages exotiques de Tavernier.
Ces voyages avaient rendu l'aventurier célèbre, car il tenait consciencieusement un journal de ses explorations qu’il publia sous le titre Les Six Voyages de J.B. Tavernier. Son œil avisé pour les us et coutumes des pays qu'il traversait fit d'un banal récit de voyage un morceau de littérature qui s'imprime et se vend encore aujourd'hui, et de Tavernier le quasi «père» du reportage du voyage moderne.
Le canton de Vaud plaisait au baron, mais avec les années, son envie de voyager revint. Ou était-ce sa fortune qui s'amenuisait? Tavernier vendit la propriété d'Aubonne en 1685 au marquis Henri du Quesne (1642-1722), un officier de marine protestant qui s'était réfugié en Suisse après la révocation de l'Édit de Nantes. On perd ensuite sa trace.
En 1689, Jean Baptiste Tavernier réapparaît en Russie. L'homme âgé de 84 ans devait s’y perdre et ne jamais en revenir. Comment et où exactement, cela n'est pas encore tout à fait clair aujourd'hui. La raison de ce dernier voyage, qui devait conduire l'ancien baron d'Aubonne en Perse, reste également obscure. La thèse selon laquelle Tavernier avait besoin d'argent semble être la plus concluante à ce jour.
Le destin du «diamant bleu» est en revanche plus connu. La pierre précieuse était restée dans la famille royale française et disparue dans la tourmente de la Révolution française en 1789. Au début du 19ᵉ siècle, la pierre a refait surface à Londres et a été achetée par le banquier anglais Thomas Hope. Son nouveau propriétaire donna un nouveau nom au joyau: «Diamant Hope». Par la suite, la pierre précieuse a changé plusieurs fois de propriétaire et est aujourd'hui conservée au National Museum of Natural History à Washington. On murmure qu'une malédiction pèse sur le diamant, car il aurait été «volé à un dieu», mais c'est une autre histoire.
En ce qui concerne le château, il devint en 1701 le siège du bailli bernois, qui gouvernait depuis là le bailliage d'Aubonne nouvellement créé. Lorsque les Français occupèrent le château en 1798, la domination de la ville de Berne prit fin. Ensuite, jusqu'en 1803, Aubonne allait faire partie du canton du Léman, un territoire de la République helvétique.
Avec le changement de gouvernement en 1803, la situation du château d'Aubonne a fait l'objet de vives discussions. En raison de son état de délabrement avancé, les autorités cantonales ont tenté de vendre le bâtiment un an plus tard déjà. Sans succès. Les tentatives de se séparer d'un domaine dont les coûts de restauration étaient particulièrement élevés se poursuivirent jusqu'en 1835. A cette date, la commune d'Aubonne acheta le bâtiment dans le but d'utiliser ses caves pour y stocker le vin issu des productions locales. Aujourd'hui, le bâtiment est inscrit comme bien culturel suisse d'importance nationale et abrite une école secondaire ainsi que plusieurs salles publiques.