V roce 1550 dal postavit Château Haut Brion hrabě Jean de Pontac. Jeho šlechtická rodina pocházela z gaskoňského regionu Béarn poblíž města Pau na jihozápadě Francie a byla spojována s vinařstvím od 15. století.

Chateau Haut Brion zažilo v 17. století několik peripetií, včetně zástavy a znárodnění během francouzské revoluce. Poté, co majitel Joseph de Fumel našel pro vína odbytiště v Anglii, se dostal do potíží a byl nakonec zatčen a popraven.

Na začátku 19. století zakoupil panství Charles-Maurice de Talleyrand-Périgord, významný diplomat. Jeho spojení s vínem však netrvalo dlouho, když se dostal do finančních problémů a musel statek prodat. Rodina Larrieu, která Chateau Haut-Brion následně získala, ho rozšířila a posílila jeho postavení. Jejich práce byla oceněna v roce 1855, kdy se víno z Haut Brion stalo jediným vínem z Graves zařazeným mezi prestižní 1er Grand Cru Classé.

Pak však rodina Larrieu vymřela, a následující majitel, André Gilbert, se proslavil právními spory a bizarními vinařskými experimenty. Bez dědiců nabídl Chateau městu Bordeaux výměnou za zřízení muzea, avšak nabídka byla odmítnuta. V roce 1934 tedy prodal Chateau současným majitelům, rodině Dillonových.

Dillonovi provedli rozsáhlou rekonstrukci, zavedli moderní technologie a zlepšili půdu pro další rozvoj. V roce 1960 se Chateau Haut Brion stalo prvním 1er Cru Classé, které nahradilo dřevěné kvasné kádě za moderní nerezové tanky. Víno z Haut Brion září silou, dynamikou, lahodností a harmonií, ale k vrcholu dospívání musí urazit delší cestu než jakékoliv jiné víno.