Samotná budova predtým slúžila ako kaštieľ, ktorý pravdepodobne vznikol začiatkom 17. storočia v období renesancie, pričom pri jeho výstavbe boli využité aj prvky so staršej gotiky. Koncom 17. storočia vlastnila kaštieľ rodina Bánfiovcov. Zlý stav šľachtického sídla započal jeho rekonštrukciu, ktorá bola ukončená v roku 1700.  V druhej polovici 18. storočia tento kaštieľ získal barón Imrich Stáraj, ktorého portrét je možné vidieť v zbierkovom fonde múzea. Rod Stárajových mal tento kaštieľ vo svojom vlastníctve až do medzivojnového obdobia, do roku 1944. V spomínanom roku ho členovia rodiny pred príchodom frontu museli evakuovať. Po jeho prechode bol kaštieľ znárodnený.

Naposledy bol kaštieľ prestavaný v 30. rokoch 19. storočia, kedy dostal dnešnú podobu. Kaštieľ, bývalé hospodársko-správne objekty, ako aj rekonštruované základy významnej sakrálnej stavby - rotundy, nachádzajúce sa v areáli múzea, sú kultúrnymi pamiatkami. Zbierky a expozície múzea sú umiestnené v priestoroch barokovo-klasicistického kaštieľa šľachticov zo Starého a z Michaloviec.

Zemplínske múzeum dokumentuje živú a neživú prírodu a tiež celkový kultúrnohistorický a hospodársky vývoj zemplínskeho regiónu. Nachádzajú sa tu stále expozície, no často sa tu konajú aj ďalšie výstavy.

Jednou z najzaujímavejších je archeologická expozícia, ktorá v chronologickom slede prezentuje praveký a včasno stredoveký vývoj z regiónu Zemplína. K najvýznamnejším exponátom antropomorfné i zoomorfné neolitické plastiky. Z obdobia eneolitu je to súbor zlatých závezkov – najstarší doklad o spracovaní zlata na území Slovenska. Vystavujú sa tu aj najhodnotnejšie predmety z archeologického zbierkového fondu, ktorý obsahuje vyše 40 000 kusov.

Prírodovedná expozícia zase dokumentuje ekologické skupiny vtákov a cicavcov celého Zemplína. V tejto expozícii je vystavených 247 druhov vtákov a 46 druhov cicavcov. Umelecko-historická expozícia, ktorá je umiestnená v tzv. Starom kaštieli, obsahuje diela výtvarného umenia a umeleckých remesiel od románskeho obdobia až po súčasnosť. V historickej expozícii sa nachádzajú exponáty dokumentujúce atmosféru šľachtických, prípadne pompéznejších meštianskych interiérov od konca 18. a na začiatku 20. storočia. Záverečnou expozíciou je etnografická, dokumentujúca zaniknuté i zanikajúce ľudové remeslá obyvateľov vidieka.

Vstup do tejto pozoruhodnej galérie je možný od pondelka do nedele a pri väčšom počte návštevníkov je možné sa  telefonicky dohodnúť na objednávke termínu.