Geologicky se území Rýmařovska řadí k východní části Českého masivu, k oblasti moravskoslezské. V těsné západní blízkosti Rýmařova probíhá ve směru SSV-JJZ rozhraní dvou významných geologických jednotek; západní jednotkou je komplex metamorfovaných (přeměněných) hornin tzv. silesika starohorního a prvohorního stáří, východní jednotku tvoří komplex slabě metamorfovaných až nemetamorfovaných sedimentů moravskoslezského paleozoika. Hlavními horninami pestrého souboru silesika, které je v naší oblasti representováno tzv. desenskou klenbou, jsou různé typy rul, migmatitů, svorů a amfibolitů, obalovou část této klenby pak tvoří horniny vzniklé asi před 360 - 400 milióny léty v geologickém období nazývaném devon, v době, kdy se na zemi objevil první hmyz. V té době existovalo na území dnešních Jeseníků moře, na jehož dně se usazovaly štěrky, písky, jíly a vápnité kaly, v nichž lze nalézt stopy tehdejšího života v moři - zkameněliny mlžů, trilobitů, korálů, mechovek... Výsledkem dramatického vývoje sopečné činnosti a s ní spojených jevů na dně tohoto moře byla nejen pestrá škála vulkanických a smíšených hornin, ale zejména také četné výskyty a ložiska rud železa, zinku, olova, stříbra a mědi. Komplex usazených i sopečných hornin včetně výskytů rud, označovaný jako vrbenská skupina, byl i se svým podložím později zvrásněn a přeměněn mohutným, tzv. variským horotvorným procesem. S přeměnou, kterým z původních horniny vznikly dnešní fylity, kvarcity, různé typy zelených břidlic, vápence a pestrá série poměrně málo přeměněných hornin spilit-keratofyrové formace, jsou spojeny i různé deformace a přeměny vlastních ložisek rud a také vznik zlatonosných žil.
S výskytem nerostných surovin a zpracováním rud je úzce spojeno i osídlování Rýmařovska a vznik a vývoj samotného města. Již od 12. století byla známa a těžena významná naleziště stříbra a zlata - Zlaté Hory, Zlatý Chlum u Jeseníku, Andělská Hora, Soukenná a také Horní Město. Později se zájem prospektorů a těžařů přesunul zejména na ložiska železných rud a také na měď a olovo.
V blízkém rudním revíru Horní Město se v počátcích těžby získávalo stříbro ze stříbronosného galenitu a z dalších sirníků s obsahem stříbra a také z ryzího stříbra. Později převládala těžba železných rud (krevel a magnetit), v létech 1965 - 1970 byly těženy rudy olova a zinku. Mezi sběrateli minerálů je z doby těžby znám zejména medově zbarvený čirý sfalerit (ZnS) a z širšího okolí výskyt modrého berylu v křemen-kalcitových čočkách. Geologický průzkum prováděný až do konce osmdesátých let prokázal existenci poměrně značných zásob relativně chudých rud s obsahem kolem 2 % olova a zinku a s cca 22 gramy stříbra na tunu rudy v pokračování dříve těženého ložiska i v okolí.
V těsné blízkosti Rýmařova, v prostoru tzv. hornoměstské zatáčky, bylo těženo významné ložisko železných rud zvané Pittenwald, zaznamenané již i na historické Komenského mapě Moravy. Předmětem zájmu bylo 700 m dlouhé pásmo s polohami krevele o mocnosti až 4 m (v průměru 1,2 m). Těžba, která byla ukončena v r.1878, zasahovala až do hloubky 120 m. Železné rudy byly těženy na mnoha jiných místech v jjz. i ssv. pokračování produktivní části vrbenských hornin. Ložisko v oblasti Malé Morávky s více ne jedním stem těžených dolů bylo vůbec nejrozsáhlejším jesenickým železnorudným revírem.
Severozápadně od Nové Vsi se nachází největší historický důl na stříbronosný galenit na severní Moravě. Těžba do hloubek až 100 m zde probíhala s různými přestávkami od středověku až do roku 1959. Ložisko bylo známou mineralogickou lokalitou s hojným výskytem sekundárních minerálů (pyromorfit, anglesit, cerussit a další).
Asi před 350 milióny let, na konci devonu a v dalším období prvohor - karbonu, se v moři, které obklopovalo hory tvořené přeměněnými horninami silesika, začaly usazovat mohutné komplexy písčítých, prachovitých a jílovitých hornin označovaných souborně jako kulm Nízkého Jeseníku. Tyto horniny byly a jsou využívány jako zdroje velmi kvalitního drceného i lomového kameniva pro stavebnictví - zejména droby, což je odborný výraz pro masivní, špatně vytříděné jílovité pískovce, v současné době těžené např.na ložisku Valšov, nebo jako známé pokrývačské břidlice dobývané v minulosti na mnoha místech ve východním okolí Rýmařova (Ondřejov, Jamartice, Malá Štáhle). Horotvorné procesy na konci prvohor ukončily zásadní vývoj stavby našeho území. Po celé další období až do současnosti, vnější geologické síly, voda, vítr, změny teploty, postupně obrušovaly a zarovnávaly tehdy vzniklé pohoří. Na současný vzhled našeho území měly výrazný vliv tektonické pohyby spojené s tzv. alpinským vrásněním v mladších třetihorách, tedy před pouhými několika milióny let, kdy došlo k rozčlenění území na řadu bloků s rozdílnými nadmořskými výškami. Zvedání masívu Hrubého Jeseníku způsobilo výrazné oživení eroze a vznik hluboce zařezaných údolí a příkrých okrajových svahů Nízkého Jeseníku. Příkladem výrazné eroze jsou i Rešovské vodopády na říčce Huntavě, cca 8 km od Rýmařova. V úzké soutěsce, lemované skalisky o výšce až 20 m, zde na styku méně odolných bazických vulkanitů a pevných křemenných keratofyrů vznikly kaskády, z nichž nejvyšší má výšku 10 m.
Jeden z výrazných zlomů, na kterých docházelo k pohybů jednotlivých bloků, je i tzv. klepáčovský zlom procházející z okolí Loučné nad Desnou přes Vernířovice, Skřítek, Žďárský potok, Starou Ves a Rýmařov dále směrem k jihovýchodu. Na výrazných tektonických liniích pak došlo asi před 1,5 miliónem let k projevům sopečné činnosti, v okolí dnešního Bruntálu bylo v té době pět činných sopek. Ve stěně bývalého lomu na Uhlířském vrchu je možno vidět celou paletu sopečných vyvrženin, od popele a strusky až po velké sopečné pumy, na nedaleké Venušině sopce čedičové sloupce. S touto aktivitou je také spojen výskyt četných pramenů minerálních vod (v nejbližším okolí například v Dolní Moravici) a bohatý vývěr oxidu uhličitého na soutoku Podolského potoka a řeky Moravice.
Řada morfologických tvarů současné jesenické krajiny má svůj původ v působení ledovců, větru, mrazu a dalších procesů spojených s čtvrtohorními ledovými dobami, které skončily před 10 - 12 tisíci léty. Kromě známých projevů existence horského ledovce ve Velké Kotlině jsou to kamenná moře a izolovaná skaliska v hřebenových částech Jeseníků, mrazové klíny, polygonové půdy, ale např. také sprašové hlíny, které byly v minulosti v Rýmařově využívány pro výrobu cihlářského zboží. S koncem glaciálního období jsou také spojovány počátky vzniku rašelinišť ve Skalách, na Skřítku a v dalších místech.
S nejmladším geologickým obdobím je spojeno i rozrušování primárních výskytů a ložisek zlata. Transportem a tříděním vznikají v říčních sedimentech ekonomicky zajímavé akumulace užitkových složek. O zájmu dávných prospektorů o tato naleziště v naší oblasti svědčí pozůstatky po rýžování zlata na Podolském potoce mezi Rýmařovem a Jamarticemi a zejména v údolní nivě Moravice.
Půdy jsou horské, kamenité, jen na málo místech hlinité, vesměs podzolové. Dotvářeny byly ve středověku z lesních půd žďářením. Ke zhoršení stavu těchto půd přispěly nedávné necitlivé zásahy do krajiny meliorací pramenišť, narovnáním toků, rozoráním mezí na svazích a dusáním velkoplošných pozemků těžkou technikou. Eroze koná své. Zemědělský půdní fond zabírá 53% území a lesní půdní fond 30,9%.
Vegetačně přísluší území středoevropské lesní květeně v obvodu květeny sudetské.