Jean-Baptiste Tavernier (1605–1689) war ein wahrer Weltenbummler und damit im 17. Jahrhundert eine absolute Ausnahmeerscheinung. Der Sohn eines Kartografen hatte zwar holländische Wurzeln, wuchs jedoch in Frankreich auf. Schon als Jugendlicher zog es ihn in die Ferne. Mit 25 Jahren konnte er von sich behaupten, ganz Europa zu kennen und die meisten Sprachen des Kontinents zu beherrschen. 1631 richtete er seinen Fokus auf den Nahen Osten, zunächst auf Konstantinopel, bevor er nach Armenien reiste und sich auf den Weg nach Isfahan und Bagdad machte.
Die Faszination des Reisenden für den «Orient» war gerade erst entstanden. Im Laufe der Jahre reiste er bis nach Indien und Java und schloss sich 1632 dem Zürcher Uhrmacher Johann Rudolf Stadler auf dem Weg nach Persien an. Als Juwelenhändler in Indien, wo er am Hof des Grossmoguls lebte, erwarb er 1668 in Hyderabad einen sagenhaften Diamanten von 45,52 Karat. Es ist ein Edelstein, um den sich die Legende rankt, dass er von der Stirn einer Statue des Gottes Vishnu gestohlen worden war. Der Abenteurer brachte den tiefblau leuchtenden Diamanten und viele andere wertvolle Steine mit nach Europa und präsentierte sie Ludwig XIV.
Der König von Frankreich war von den exotischen Steinen fasziniert und kaufte mehrere davon, darunter den Blauen Diamanten. Zum Dank erhob er Tavernier in den Adelsstand. Mit dem neuen Titel und genügend Geld im Koffer suchte sich der Weltenbummler eine neue Heimat und fand sie auf Schloss Aubonne in der Waadt. 1670 kaufte er die Herrschaft und liess den alten Wachturm durch einen weissen Turm mit einem Zwiebeldach ersetzen. Der neue Gebäudeteil erinnerte fortan an Taverniers exotischen Reisen.
Diese Reisen hatten den Abenteurer berühmt gemacht, denn er führte auf seinen Entdeckungstouren gewissenhaft Tagebuch und publizierte seine Erfahrungen unter dem Titel «Les Six Voyages de J.B. Tavernier». Sein gutes Auge für die Sitten und Bräuche der Länder, welche er durchquerte, machten aus einer normalen Reisebeschreibung ein Stück Literatur, das bis heute gedruckt und verkauft wird und aus Tavernier quasi den «Urvater» der modernen Reisereportage.
Der Kanton Waadt gefiel dem Baron, doch mit den Jahren kehrte die Reiselust zurück. Oder war es das schwindende Vermögen? Tavernier verkaufte das Anwesen in Aubonne 1685 an Marquis Henri du Quesne (1642-1722), einen protestantischen Marineoffizier, der nach der Aufhebung des Edikts von Nantes in die Schweiz geflohen war. Danach verliert sich seine Spur.
1689 tauchte Jean Baptiste Tavernier noch einmal auf. In Russland verschwand der inzwischen 84-Jährige allerdings erneut. Wie und wo genau, ist bis heute nicht ganz geklärt. Auch der Grund dieser letzten Reise, die den ehemaligen Baron von Aubonne nach Persien führen sollte, bleibt im Dunkeln. Die These, dass Tavernier Geld brauchte, scheint die bis heute schlüssigste zu sein.
Bekannter ist hingegen das Schicksal des Blauen Diamanten. Der Edelstein war im französischen Königshaus geblieben und verschwand in den Wirren der Französischen Revolution 1789. Anfang des 19. Jahrhunderts tauchte der Stein in London wieder auf und wurde vom englischen Bankier Thomas Hope gekauft. Sein neuer Besitzer gab dem Prunkstück einen neuen Namen: Hope-Diamant. Danach wechselte der Edelstein mehrmals den Besitzer und wird heute im National Museum of Natural History in Washington aufbewahrt. Es wird gemunkelt, dass auf dem Diamanten ein Fluch liege, da er «einem Gott gestohlen wurde», aber das ist eine andere Geschichte.
Was das Schloss betrifft, so wurde es 1701 zum Sitz des Berner Landvogts, welcher die neu gegründete Vogtei Aubonne von dort aus regierte. Als die Franzosen das Schloss 1798 besetzten, endete die Herrschaft der Stadt Bern. Danach gehörte Aubonne bis 1803 zum Kanton Léman, einem Gebiet der Helvetischen Republik.
Mit dem Wechsel der Regierung 1803, wurde die Situation von Schloss Aubonne heiss diskutiert. Aufgrund des fortgeschrittenen Verfalls versuchten die kantonalen Behörden das Gebäude bereits ein Jahr später zu verkaufen. Ohne Erfolg. Die Versuche, sich von einem Anwesen zu trennen, dessen Restaurierungskosten besonders hoch waren, gingen bis 1835 weiter. Zu diesem Zeitpunkt kaufte die Gemeinde Aubonne das Gebäude mit dem Ziel, seine Keller zu nutzen, um dort den Wein aus den lokalen Produktionen lagern. Heute ist das Gebäude als Schweizer Kulturgut von nationaler Bedeutung eingetragen und beherbergt eine Sekundarschule sowie mehrere öffentliche Räume.