Niewątpliwie najważniejszym zabytkiem współczesnego Rýmařova, którego znaczenie wykracza daleko poza ramy regionu, jest kościół filialny Nawiedzenia NMP. Świątynia, od niepamiętnych czasów nazywana kaplicą V Lipkách, nie bez powodu uznawana jest za perłę północnomorawskiego baroku.
Autorem projektu i budowniczym kościoła był dziadek pierwszego znanego kronikarza miasta Jana Josefa Langera (1729–1812), mistrz budowniczy Friedrich Höβler. 1 października rozpoczął budowę na niezwykle obszernym planie elipsy. Trzy lata później, w 1713 roku, sam gmach był już dokończony. Autorem fresków zdobiących kaplicę jest mistrz malarski z Ołomuńca Ferdinand Naboth. Tematem jego prac były wersy znanej i popularnej w tamtych czasach modlitwy ku czci Najświętszej Maryi Panny Salve Regina (Witaj Królowo). Nabothowi udało się przygotować niemal cały projekt, ale podczas realizacji nienajlepszy już wcześniej stan jego zdrowia dodatkowo się pogorszył i zmuszony był przerwać prace. Szczęśliwie na krótko przed śmiercią przyjął na czeladnika nieznanego jeszcze wówczas Jana Kryštofa Handke, który dobrze znał okolice Rýmařovska – urodził się bowiem w 1694 roku w Janovicach. Jedyny autorski fresk Handke z 1715 roku znajduje się nad głównym wejściem i pod względem koncepcji, monumentalnej kompozycji i doboru kolorystyki znacząco różni się od prac Nabotha. Na wystrój wnętrza składa się też zespół czterech zdobionych rzeźbami ołtarzy (poświęconych św. Janowi Nepomucenowi, św. Antoniemu z Padwy, Czternastu Świętym Wspomożycielom i Maryi Pannie) z ołomunieckiej pracowni mistrza rzeźbiarskiego Davida Johanna Zürna. Zürn jest również autorem monumentalnego ołtarza głównego z rzeźbami czterech patronów kraju (św. Prokopa, św. Wacława, św. Wojciecha i św. Zygmunta), który dopełnia obraz ołtarzowy z 1724 roku przedstawiający Nawiedzenie NMP autorstwa J. K. Handke.
W pobliżu kościoła znajdowała się pustelnia. Ostatnim rýmařovskim eremitą był Antonín Skolaut, który zamieszkiwał pustelnię aż do 1772 roku, kiedy zmarł dożywszy imponującego wieku 92 lat. W przedpolu kościoła w XVII i XVIII wieku funkcjonowały tzw. cmentarze morowe, gdzie grzebano ofiary epidemii z okolicznych wsi. Franz Brixel w swej kronice pisze, że przy kaplicy znajdował się też drugi cmentarz miasta.
Kaplica miała to szczęście, że przez dziesięciolecia omijały ją klęski żywiołowe i katastrofy. W roku 1883 w dzwonnicę uderzył piorun. W wyniku powstałego pożaru spłonął wówczas oryginalny kryty strzechą dach, ogień na szczęście udało się jednak ugasić nim zdążyłby zniszczyć cenne freski Nabotha i Handke. Na początku XX wieku na terenie przed kaplicą utworzono park (Karlsplatz) z rabatami kwiatowymi. Pod koniec drugiej wojny światowej, kiedy Rýmařov ostrzeliwała armia sowiecka, w pobliżu kaplicy wybuchło kilka granatów. Ślady po eksplozjach były widoczne jeszcze wiele lat później, statyka budynku nie została jednak naruszona. Wiele uwagi kaplicy V Lipkách poświęcał proboszcz rýmařovskiej parafii František Vaňák, któremu udało się zorganizować środki na odrestaurowanie fresków. Prace konserwacyjne w latach 1959–1961 prowadził malarz akademicki z Kromieryża František Sysel, restaurowanie ścian zewnętrznych, posadzki i innych części budynku ciągnęło się aż do 1974 roku. W późniejszych latach w związku z ciężarem sklepienia i ekspansją ścian kościół musiał zostać obwiedziony dwiema stalowymi linami. (Przed kilkoma laty dzięki staraniom rzymskokatolickiej parafii w Rýmařovie odrestaurowany został również herb nad głównym portalem oraz drzwi wejściowe świątyni).
W 1990 roku František Vaňák już jako biskup ołomuniecki celebrował w kaplicy jedną ze swych ostatnich mszy w Rýmařovie. Od 2013 roku zabytek, znany wcześniej głównie parafianom i pielgrzymom, został udostępniony także odwiedzającym miasto turystom. Już od 2011 roku przestrzeń kaplicy stała się miejscem kilku organizowanych przez muzeum wydarzeń kulturalnych, czy to muzycznych, jak np. koncert lutniowy Richarda Závady, występ organistki Jany Havlíčkovej i flecisty Tomáša Pelikána czy też regularne koncerty miejscowych chórów Vox montana, Variacei i Bernardini, czy też wystaw (np. wystawy fotografii czeskich i polskich zabytków kościelnych oraz wystawy Krzyże Rýmařovska). Parafia rzymskokatolicka Rýmařov we współpracy z muzeum organizuje też corocznie obchody Nocy Kościołów. Kaplica V Lipkách stała się dzięki temu nie tylko ważnym centrum życia duchowego, ale też i kulturalnego.
galeria zdjęć