Будинок, в якому знаходиться музей — двоповерховий кам'яний особняк, побудований в 1808—1811 роках генерал-губернатором Новоросії, герцогом Арманом Рішельє. Господар рідко бував в маєтку, більшу частину часу в ньому відпочивали його друзі і знайомі. Саме в ньому в серпні—вересні 1820 року зупинився О. С. Пушкін під час своєї подорожі по Криму. Пушкін приїхав з родиною генерала М. М. Раєвського, героя Вітчизняної війни 1812 року. Тут він працював над поемою «Кавказький бранець», написав декілька ліричних віршів; деякі з них присвячені дочкам М. М. Раєвського — Олені та Марії. Тут виник у поета задум поеми «Бахчисарайський фонтан», а також задум роману «Євгеній Онєгін». В кінці життя він згадував про Крим: «Там колиска мого Онєгіна».

Рішення про створення музею було прийнято в 1922 році, однак у тому році він так і не відкрився. Сталося це тільки 1938 року, за ініціативою вченого-пушкініста Бориса Вікторовича Томашевського, якого називали «пушкіністом за покликанням, кримчанином за духом». Довоєнний музей проіснував всього три роки. У роки радянсько-німецької війни — закрив свої двері для відвідувачів, експонати були евакуйовані і вивезені в невідомому напрямку. Відновив свою роботу музей 4 червня 1989 року.

Основна експозиція розповідає про перебування Пушкіна в Криму, про його творчість і про історію Південного Берега на початку XIX століття. В ній представлені рідкісні портрети, гравюри і літографії видів Криму першої половини XIX століття, предмети побуту пушкінської епохи.

Діють виставка «Пушкін і Крим», меморіальний кабінет Бориса Томашевського — вченого-пушкініста, а також експозиція, присвячена історії курорту Гурзуф.