Народився у Волинській губернії (Волинь) в небагатій родині. У 1915 р. вступив до Московського ветеринарного інституту, тоді ж приєднався до есерівського руху. На III з'їзді УПСР Олександр Шумськийбув кооптований до складу її ЦК, а згодом до складу Української Центральної Ради. Він був одним із лідерів лівої течії УПРС, після її саморозпуску О. Шумський став членом КП(б)У, згодом членом її ЦК, займав відповідальні партійні та державні посади. У 1924—1927 pp. — нарком освіти УСРР, активно проводив політику українізації, виступав за розвиток і поглиблення національного відродження.
Під час зустрічі з Й. Сталіним у жовтні 1925 р. він поставив питання про усунення Л. Кагановича з посади генерального секретаря ЦК КП(б)У та заміщення його українцем В. Чубарем. У листі «Тов. Кагановичу та іншим членам політбюро ЦК КП(б)У» від 26 квітня 1926 р.
Й. Сталін поклав на Олександра Шумського відповідальність за поширення антиросійських настроїв в Україні. У лютому березні 1927 р. на об'єднаному пленумі ЦК і ЦКК КП(б) з ініціативи Л. Кагановича Олександр Шумський був звинувачений у «націоналістичному ухилі» (т. зв. «шумськізмі») і направлений у розпорядження ЦК ВКП(б). У 1931—1933 pp. він працював головою ЦК профспілки працівників освіти, був членом президії ВЦРПС. У 1933 р. його було засуджено на 10 років виправно-трудових таборів, з 1935 р. — на засланні. У 1946 р. Шумський був вбитий за особистим розпорядженням Й. Сталіна по орозі з Саратова до Києва.