eszcze Stefan Mikołaj Branicki rozpoczął przebudowę zamku obronnego, zbudowanego za czasów Piotra Wiesiołowskiego, na pałac. Jednakże Jan Klemens II Branicki nadał ostateczny kształt zespołowi pałacowemu i ogrodowi. Uczynił zeń wspaniałą rezydencję magnacką, którą już w XVIII wieku dzięki okazałości i urokowi nazywano „Wersalem Polskim” lub „Wersalem Północy”.

Zespół pałacowo-ogrodowy Branickich tworzy zwarty i harmonijny kompleks rezydencji w skład, której wchodzi sam pałac, zabudowania gospodarcze i pomocnicze oraz ogród górny i dolny. Choć kwestia twórców planów ogrodów nie jest do końca ustalona, to wymienia się Jana Z. Deybla, Jana H. Klemma, Pierre’a de Tirregailla oraz Jakuba Fontanę jako osoby związane z pracami projektowo-budowlanymi w rezydencji.

Integralną część zespołu pałacowego jest ogród utworzony na wzór francuski z wykorzystaniem efektów szkoły wersalskiej. Zieleń ogrodu stanowiła przedłużenie i uzupełnienie architektury pałacu. Prace przy jego urządzaniu rozpoczęto w latach 30-tych XVIII wieku. Pomimo znacznych zniszczeń, barokowe założenie zachowało wyraźny podział na ogród górny i dolny z rozwiniętym systemem wodnym.

Aleja główna ogrodów, stanowiąca oś kompozycyjną, prowadzi z wejścia pałacowego do trzyarkadowego mostu na kanale przekształconym z dawnej fosy. Pokrywa się ona z osią symetrii pałacu. Od 2006 roku nosi nazwę Bulwaru Tadeusza Kielanowskiego. Obecnie most zdobią dwie rzeźby sfinksów z amorkami na grzbietach, dłuta Jana Chryzostoma Redlera z 1752 roku. Wcześniej usytuowane tam były rzeźby gladiatorów.

Wzdłuż alei głównej urządzono osiem bukszpanowych, strzyżonych parterów haftowych, wysypywanych białym i czerwonym piaskiem, a w 1752 roku ustawiono kolekcję rzeźb. Aleja figur ozdobiona była aż około 200 elementami rzeźbiarskimi, których autorem był najprawdopodobniej Jan Chryzostom Redler. Wykonane były one z piaskowca i malowanego na biało drewna. Te ostatnie w okresie zimowym przechowywano w pomieszczeniach rezydencji.
W tej chwili cały zespół rzeźbiarski to 18 figur. Dwa to sfinksy z kobiecymi głowami przy wejściu na most, a kolejnych 16 figur to 6 wielkich waz z faunami, maszkaronami i smokami oraz postacie z mitologii antycznej. Spośród nich 12 to barokowe oryginały. Są to dwa sfinksy oraz sześć waz, Flora, Bachus, Diana i nimfa z orszaku Diany. Pozostałe dwie wazy oraz Apollo, Akteon, Adonis i Wenus to powojenne kopie z lat 50-tych. Zgodnie z osiemnastowieczną zasadą rzeźby zostały ustawione naprzeciw siebie parami, a figury w rzędzie – na przemian, kobieca i męska.

W południowej części ogrodu założono boskiety z alejkami. Stanowiły go specjalnie przycinane drzewa, tak aby po uformowaniu tworzyć regularne bryły zieleni. Dzisiaj rejon dawnych boskietów to zadrzewiona część ogrodu ze starym drzewostanem i nasadzeniami dokonanymi po drugiej wojnie światowej. Na zakończeniu głównej osi poprzecznej tej części ogrodu, przy murze zrekonstruowany został Pawilon Włoski z okazałymi filarami i trzema zakratowanymi, prostokątnymi otworami.

Taras górny ogrodu otoczono od strony parterów balustradą tralkową i wzmocniono murem oporowym biegnącym wzdłuż kanału. Ogród dolny zachował mało czytelny układ alejek. W jego narożniku północnym zrekonstruowano Pawilon Toskański z portykiem czterokolumnowym. Między nim, a galerią północną pałacu rozciągał się pierwotnie staw, po którym pozostało tylko zagłębienie terenu.

Oprócz wymienionych dwóch pawilonów za czasów Branickich istniał jeszcze Pawilon Chiński, Pawilon pod Orłem, Pawilon z Muru Chińskiego oraz altany.

Obecny wygląd ogrodów jest wynikiem jego częściowej odbudowy, przeprowadzonej w latach 1945-1962 pod kierownictwem Gerarda Ciołka i rozpoczętej po 2000 roku gruntownej pięcioetapowej rekonstrukcji. Choć nie przywrócono ogrodom jeszcze w pełni barokowej świetności, stanowiącej efekt realizacji sztuki ogrodowej Rzeczypospolitej XVIII wieku, to mimo wszystko stanowią one jeden z najlepiej zachowanych przykładów założeń ogrodowych tego okresu i z każdym dniem pięknieją i wyglądem zdecydowanie podążają w stronę pierwowzoru.

Pocieszający jest fakt, że w roku 1996 Ośrodek Ochrony Zabytkowego Krajobrazu w Warszawie zapoczątkował działania mające na celu rekonstrukcję barokowego Ogrodu Branickich w Białymstoku. Przy współudziale Wydziału Gospodarki Komunalnej Urzędu Miejskiego w Białymstoku i Podlaskiego Wojewódzkiego Konserwatora Zabytków opracowano pięcioetapowy plan rewaloryzacji i przystąpiono do jego realizacji.

W lipcu 2010 zakończono pierwszy etap rewaloryzacji, który dotyczył prac, na Dziedzińcu Wstępnym. Wygląd dziedzińca wstępnego odtworzono na podstawie widoku tego miejsca uwiecznionego w latach 1755-1756 na rysunku autorstwa Pierre’a Ricaud de Tirregaille’a. Odtworzono dwie fontanny, które znajdują się w zagłębieniach, powstały alejki wykładane polnym kamieniem, a wzdłuż ogrodzeń aleje z nasadzeniami prawie 60-ciu lip.

W czerwcu 2011 roku zakończono zasadnicze prace rewaloryzacyjne w Ogrodzie Górnym przywracając jego dawny barokowy charakter. Odtworzono osiem parterów bukszpanów, rośliny oranżeriowe, a także cztery fontanny. Zrekonstruowano kamienne balustrady i ławy ogrodowe. Przy alei głównej stanęło 18 rzeźb po gruntownej konserwacji. Do przestrzeni ogrodowej powrócił, na pierwotne miejsce z widokiem na kanał, odtworzony metalowo-drewniany Pawilon pod Orłem. Jest to jedyna w Polsce tego typu altana woliera. Kopułę jego zwieńcza wielki złocony orzeł z jabłkiem w dziobie, a w ozdobach są też popiersia antyczne Herkulesa i Aleksandra Wielkiego.

20 września 2012 Salon ogrodowy Pałacu Branickich został uhonorowany w prestiżowym konkursie Towarzystwa Urbanistów Polskich i zdobył wyróżnienie w kategorii „rewitalizowana przestrzeń publiczna w zieleni”.