Zamek został zniszczony w czasach potopu szwedzkiego, a pod koniec XIX wieku teren wraz z ruinami przekazano nowopowstałemu Towarzystwu Gimnastycznemu „Sokół”, które zainicjowało budowę Pałacyku (1904-1906), według projektu Wincentego Koczarkiewicza. Od tego momentu zaczęło się tam skupiać życie towarzyskie i kulturalne mieszkańców.

W okresie międzywojennym w „Sokole” działały teatr i kino, a w pobliżu funkcjonowała strzelnica. W roku 1982 wokół Pałacyku został założony Park Miejski im. Józefa Piłsudskiego.

Po wojnie budynek stał się siedzibą klubu sportowego „Skawinka”, a po remoncie w latach 80. XX wieku swoje miejsce znalazł tu Miejski Dom Kultury „Sokół”, na bazie którego w 1992 roku powstało Centrum Kultury i Sportu.

Obecnie Pałacyk „Sokół” jest siedzibą Działu Realizacji Projektów Kultury CKiS w Skawinie. W reprezentacyjnej sali teatralnej organizowane są koncerty, spektakle, prezentacje artystyczne czy warsztaty muzyczne. W Pałacyku mieści się także otwierana okazjonalnie kawiarnia, będąca jednocześnie siedzibą Galerii „Pałacyk”, gdzie urządzane są wernisaże i wystawy prac z różnych dziedzin twórczości plastycznej.