K Městskému muzeu Rýmařov náleží také knihovna. Čtenář zde nalezne na 3000 svazků. Jedná se o literaturu regionální, historickou, kulturní, přírodovědeckou a další. Kromě monografických publikací je zde možné nalézt také různé sborníky (Střední Morava, Severní Morava ad.) či periodika (Rýmařovský horizont, Vpřed, Römerstadter Ländchen aj.), která se nejčastěji vztahují k regionu. Od roku 2012 přibilo v knihovně oddělení německé dobové literatury. Jedná se především o klasickou literaturu z druhé poloviny 19. a první poloviny 20. století, která zde zůstala po původním německém obyvatelstvu. Tato sbírka čítá na 800 svazků.