Erősen kötődik a múlthoz, Valentin és Ruhl szobrászok tanítványa, ennek ellenére 1797-ben a porosz királyi udvarnál komornyik lett és csak szabad óráiban foglalkozhatott művészetével. 1802-ben azonban Lujza királyné mellszobrával olyan tetszést keltett, hogy elküldték Rómába tanulni. Itt sokat forgott Wilhelm von Humboldt, Antonio Canova és Bertel Thorvaldsen társaságában, buzgón tanulmányozta az ókori szobrászat remekeit. Már néhány kisebb domborművet és mellszobrot készített, mikor 1811-ben a porosz király Berlinbe hivatta és Lujza királyné márványsíremlékének elkészítésével bízta meg. Még Rómában készítettel el ezt a híres, tipikusan klasszikus egyszerűségű és szépségű művét, amelyet 1815-ben a charlottenburgi mauzóleumban állítottak föl. 1819-ben végleg Berlinben telepedett le. Kitűnő mellszobrok hosszú sorozatán kívül elkészítette Gerhardt von Scharnhorst, Bülow, York, Gneisenaz és Blücher, a német szabadságharc hőseinek emlékszobrait Berlinben (a két elsőt márványból, a többi bronzból), Blücher bronzszobrát Boroszlóban, Dürer bronzszobrát Nürnbergben, Frankénak a hallei árvaház alapítójának szobrát Hallében, I. Miksa bajor király emlékszobrát Münchenben, III. Frigyes Vilmos porosz király síremlékét Charlottenburgban stb. A nagy egyéniségek megörökítésére szánt emlékműveiben fokozatosan felszabadul az antikos formálás kötöttsége alól és miközben nagy érzéke van a jellemábrázolás szobrászi eszközeinek alkalmazására, kialakítja, főleg hadvezér szobraival, a romantika lendületes, pátosztól és szenvedélyességtől fűtött szobortípusát.

Műveinek mintegy betetőzését képezi Nagy Frigyes porosz király hatalmas lovas szobra Berlinben (1839-51), amelyen nemcsak a nagy királyt, hanem korának legnevezetesebb embereit is megörökítette. Magasított talapzatával, tolongó gazdagságú talapzatalakjaival elindít egy plasztikai szempontból vitatható megoldást, amelynek hatásosságát azonban nem lehet tagadni (a szobor egykor a berlini Királyi palota előtt állt, jelenleg a potsdami parkban került felállításra). Eszményi alakjai közül a Regensburg melletti Walhallának 6 világhírű Victoria - szobra a legjobb alkotások közé tartozik e nemben. Rauch műveiben a történelem nagy alakjainak történeti, eszményi, soha nem köznapi fölfogása nyilatkozik. Akár a valóságnak, a kornak megfelelő, akár stilizált, klasszikus öltözetben ábrázolja őket, föléje emeli a közönséges emberiségnek. Nem akart pillanatnyi hangulattal hatni; híven, de általánosságban jellemzett.