A gyökerek az első világháborúig nyúlnak vissza: a vasútállomás felé haladó széles úton, a Kossuth Lajos utca és a mai Ady Endre utca sarkán emelkedik egy kezdetben csendőrlaktanyának használt hosszú épület, melyben 1924-től hadiárvákat helyeztek el. Ezzel kezdődött a hajdan szebb napokat látott épületkomplexum fiatalokhoz kapcsolódó története. Az olaszországi eredetű Szalézi rend Trikál Józserf katolikus főpap meghívására Balassagyarmaton is megjelent 1934-ben. A nehéz helyzetű fiatalok tanulmányi, beilleszkedési, hitéleti segítését főhivatásuknak tekintő egyházi szakemberek átvették a Szent Imréről elnevezett árvaház vezetését, ahol hamarosan középiskolai internátust nyitottak. Ugyanitt 1935-től templomot, 1937-től pedig rendházat működtettek.
A második háború évei után agresszív társadalomátalakító, egyházellenes idő jött, Rákosi Mátyás államhatalma a szaléziakat is elüldözte innen. Állami kézbe került a fiúkollégium, új feladatokkal, új, gyakran változó vezetőkkel. Stabilabbá akkor vált a helyzet, amikor a Szolnokról idekerült Dubovszky Károly lett az igazgató majd két évtizedre. Rengeteg dolga volt: az elmaradott falvakból beáramlott középiskolás gyerekeknek a fogkefehasználattól a vízöblítéses vécéig minden újnak számított. Disznótartással, saját kerttel próbált segíteni magán a kollégium, a fürdőhelyiségben hetente egyszer felfűtötték a kazánt, ekkor fürödhettek a fiúk, hiszen melegvíz csak ilyenkor volt. A szaléziaktól örökölt , ma is látható harang kondulására ébredtek, a szilenciumra és a takarodóra is ez adott jelet.
Dubovszky Károly volt a kollégium történetében a leghosszabb ideig hivatalban lévő igazgató, 1971-ben ment nyugdíjba. Az ezt megelőző két évtized – mint a fentiekből már látszik – az intézmény legmozgalmasabb időszaka is egyben. A kavargó társadalmi változások a tanítóképzősöket is behozták a kollégium egy szomszédos épületébe: a szintén középiskolás korú képzősök 1951-től 1957-ig laktak itt, hogy gyors /de igényes/ oktatáson átesve új tanítók sokasága állhasson a „felemelni”, fejleszteni kívánt falu iskolai katedrájára.
Karcsi bácsira visszatérve: a felvidéki Kistúrról származott, így szlovákiai kapcsolatait felhasználta a kollégista gyerekek kirándultatására, kastélyok, műemlékek megismertetésére Nógrád- és Hont megye-szerte. Méltán volt népszerű, hiszen megvédte az 1956-os felvonuláson résztvevő diákjait, mint ahogy síkra szállt – a gombásodó faszerkezetű, életveszélyessé váló régi épület helyett – új, emeletes szálló építéséért . Nem sajnálta a fáradságot, Ortutay művelődési miniszterig elment kikényszeríteni a beruházást. A kollégium 1959 óta viseli Madách Imre nevét, jelezve és vállalva a nógrádi kulturális missziót.
A város középiskolás lányai a mai önkormányzati épülettel szemben, egy volt zárdában kaptak kollégiumi elhelyezést. A Dubovszky által kiharcolt új épület már alkalmas lett volna arra, hogy a fiú- és lánykollégiumot az ésszerűség jegyében egyesítve a fiúk és a lányok egy helyen lakjanak. Közbejött azonban egy olyan nagy kavarodást okozó esemény, amilyenre a város történetében még nem volt példa. A Pintye-ügyről van szó. 1972 januárjában ide, a központ helyen lévő kollégiumba tört be három fegyveres tizenéves, tetemes összegű pénzt és szabad nyugatra-távozást követelve. A kollégista lányokat azok hálótermében ejtették túszul napokra, míg a túszejtők fáradását kihasználva az egyiket kívülről lelőtték, a többit elfogták. A megrettent városvezetés a lányokat gyorsan kicserélte a fiúkkal: ők ide, a lányok pedig az addigi fiúinternátusba költöztek: feltehetően a szemben lévő laktanya és a közeli rendőrség védelmében bizakodtak a rendért aggódó illetékesek.
Balassagyarmat egyre több diákot fogadott be, a kollégiumi helyek bővítésére is idővel szükség lett – a fiúkat a fentebb tárgyalt Rákóczi úti szállásról a Hétvezér utcai Mikszáth Kálmánról elnevezett középiskolai intézmény egyik új épületébe költöztették, később itt már lányoknak is akadt hely.
Már a nyolcvanas évek elején járunk, amikor végre mód nyílik a széttagolt, ide-oda költöztetett intézmény végleges helyfoglalására: 1982-ben, az Ipolyhoz közel, a Régimalom utcában megépítették azt a négyemeletes, kiváló adottságokkal bíró épületet, amelyben a Madách Kollégium ma is található. Az építmény panelből van, de ami egy lakótelepi lakóháznál hátrány, az itt talán előnynek is felfogható: az egy kézben lévő intézmény üzemeltetése, karbantartása viszonylag áttekinthető, kevés embert igényel, helyiségei 30 év elteltével is célszerűen szolgálják az újabb és újabb diákgenerációk igényeit. Nagyobb felújításra négy éve került sor: új ablakokat, ajtókat kaptunk, a burkolatot több helyen felújították. Az aulában egy Madáchot ábrázoló freskó köszönti a belépőket. Az elmúlt évtized fontos, kollégiumi életünket is meghatározó eseménye, hogy a Balassi Bálint Gimnáziummal együtt bekapcsolódtunk az Arany János Tehetséggondozó Programba, diákjaink nagyobbik fele – még gyarmatiak is – részesei ennek. Lakóink lettek a rendszerváltás után, 97-ben újból létrehozott, majd anyagi okból nemrég megszűnt Szalézi Kollégium kollégistái is, még sokrétűbbé téve ezzel a nevelési feladatokat.
Végezetül köszönet illeti azokat, akik a kollégium nem épp egyszerű történetének rögzítéséhez információkat adtak, névszerint: Dubovszky Katalin, Dubovszky Lívia, Jászberényi Emil, Jászberényi Emilné, Kalocsay Frigyes, Kertész Gábor, Kontra Judit, Kovács Ferenc és Szabó Andrea.