Ves Velké Březno (139-142 m.n.m.) je poprvé zmiňována ve druhé polovině 12.století - přesněji v roce 1167 - jako „Brezina“ popř. „villa Nabrezine“, kdy oba labské břehy byly postupně kolonizovány řádem johanitů, jež zde získával rozsáhlá území od českého knížete. Název obce je bezesporu odvozen od pojmenování březového lesa (Brziezina, Bryzna, Brziezna) z let 1369 až 1399. Poslední zápis pochází z archivu českého z roku 1456 a řídí se již pozměněným pravopisem Husovým, kde je název obce uveden jako „Brezno“ a „Na welkém Březně“.
Na přelomu 13. a 14. století se stává majiteli Velkého Března a Svádova děčínská větev významného šlechtického rodu Vartenberků. Postupem času jsou Vartenberkové také jmenováni patrony Valtířovského kostelíku. Za zpronevěru králi je jim nakonec odňat Svádov a tak na ochranu zbývajícího území budují hrad Vartu. Šlechtický rod Salhausenů jehož historie sahá až do 12. století přišel do Čech na počátku 16. století ze sousedního Saska. Prvním pánem na Velkém Březně je Bedřich ze Salhausenu, který je nucen je roku 1523 prodat. V roce 1548 spojuje Velké Březno se Svádovem. Roku 1628 obec získává Karel Glich z Miltic. Umírá roku 1669 a jeho dcera roku 1676 prodává Velké Březno Žofii Anežce Mansfeldové provdané za Maxmiliána Dietrichstejna za 41 000 zlatých.
Zdrojem růstu bohatství pánů na Velkém Březně, byli především jejich poddaní. První podrobnější zpráva o nich pochází z roku 1654, kdy byl po celém království proveden soupis „osedlých,“ za příčinou vyměření daně. Tento soupis měl název „Berní rula,“ a generální visitáři měli za povinnost navštívit každé město, obec i každý dům. Díky této rule víme, že v roce 1654 se ve Velkém Březně nacházelo 21 usedlých chalupářů a 2 pusté usedlosti. Je zajímavé , že v obci se nenacházel ani jeden sedlák. Všichni usedlíci byli zařazeni jako chalupníci, přičemž zařazení záleželo na množství dobytka. Hospodáři byli dále rozdělováni na starousedlíky a novousedlíky, ti měli výhodu, že byli po 3 roky osvobozeni od placení daně. Mimo to byli zbaveni placení daně i ti, co ve válce vyhořeli. Z přehledu jmen usedlích je patrné, že všichni byli německé národnosti. Zámek ve Velkém Březně přestal být obýván panstvem a stal se obydlím zdejších úředníků a budovou pro vedení celého statku.
K držení Velkého Března se roku 1841 dostal šlechtický rod Chotků. Panství koupil za 170 tis. zlatých hrabě Karel Chotek. Karel Chotek byl roku 1826 císařem jmenován nejvyšším purkrabím v Čechách a v této funkci setrval až do roku 1843. Za státní služby jej císař vyznamenal řádem Svatého rouna. Karel Chotek nechal starý zámek ve druhé polovině 19. století přestavět a vybudovali zde tzv. zámek nový. Ten vznikl původně jako vila. Zámek byl roku 1843 rozšířen o postraní křídla a stal se trvalým sídlem rodiny Chotků. Přestavbou v letech 1885 až 1910, dostal podobu novorenesanční vily s anglickým parkem, tak jak jej známe dodnes. Chotkové byly poslední zdejší vrchností a Velkobřezenské panství spolu se zámkem a hospodářským zázemím se stalo předmětem znárodnění v roce 1945.