W 1990 r. wysiłkiem państwa Alicji i Adama Sitarskich oraz pana Romualda Witkowskiego zostało otwarte muzeum historyczne w Puńsku. Początkowo eksponaty były gromadzone w prywatnym mieszkaniu państwa A. A. Sitarskich, z biegiem czasu zostały one przeniesione do pomieszczeń urzędu gminy. W 1997 r. eksponaty przewieziono do świetlicy przy ośrodku zdrowia. Muzeum jest ważną placówką kulturalną naszego regionu. Formalnie należy ono do Litewskiego Domu Kultury w Puńsku. 

Podstawowym zadaniem muzeum jest zbieranie eksponatów dotyczących przeszłości i teraźniejszości Litwinów regionu Suwalszczyzny oraz zaznajomienie z nimi zwiedzających. W muzeum są czynne dwie stałe wystawy: pierwsza archeologiczna o najstarszych mieszkańcach tych ziem - Jaćwingach i druga - eksponująca wydawnictwa w języku litewskim, wydane w Suwałkach, Sejnach oraz w Puńsku. 

Ekspozycję archeologiczną przygotowali pracownicy Wydziału Bałtyckiego Warszawskiego Muzeum Archeologicznego pod kierownictwem dyrektora J. Jaskanisa. Są tu kopie wykopalisk (zwłaszcza z grodzisk Szurpił i Jeglińca oraz kurhanów jaćwieskich w Szwajcarii), zdjęcia, krótkie opisy, bogatą literaturę. 

W drugiej ekspozycji znajdziemy przede wszystkim w Sejnach wydawane periodyki w latach 1906-1914 ("Saltinis", "Vadovas", "Spindulys") oraz książki i wszelkie wydawnictwa, jakie ukazały się w Polsce po drugiej wojnie światowej (większość z nich drukowana w wydawnictwie "Ausra"). 

W przyszłości muzeum będzie organizować wieczory i wystawy przeznaczone już zmarłym i jeszcze żywym osobistościom regionu: ks. Motiejusowi Simonaitisowi, ks. Simonasowi Norkusowi, bp. Antanasowi Baranauskasowi (oraz historii wznoszenia jego pomnika), poecie Juozasowi Kekstasowi, poecie Albinasowi Zukauskasowi, pisarzowi Anieliusowi Markeviciusowi, pisarzowi Albinasowi Morkusowi, agronomowi Motiejusowi Krauzlisowi, profesorowi geologowi Ceslovasowi Pachuckasowi, lituaniście nauczycielowi Jonasowi Stoskeliunasowi, pisarce Birute Jonuskaite-Augustiniene, poecie Sigitasowi Birgelisowi, nauczycielowi lituaniście Algisowi Uzdile.