Életéről nagyon keveset tudunk. Családnevének eredetkutatói szerint valószínűleg kézműves családból származott. Születési helye ismeretlen, de egyesek Moszkva környékére teszik. Születésének valószínűsíthető időpontjára életének ismert adataiból következtettek. Valódi keresztneve is ismeretlen, hiszen megvált tőle, amikor belépett a szerzetesrendbe. Az a kevés forrás, ami fennmaradt, bölcs, erkölcsös, engedelmes, alázatos és igen tiszteletreméltó embernek mutatja be. Nevét először egy 1405 körül írt moszkvai évkönyv említi, amikor Feofan Grekkel és Gorogyeci Prohorral a Kremlben a Blagovescsenszkij székesegyház freskóinak festését elkezdték. Már az a tény, hogy nevét együtt említették a kor legnevesebb festőivel, kiemelve a sok ikonfestő közül, jelzi, hogy ekkor már ismert mester volt. Mivel neve az utolsó a mesterek listáján, feltételezhető, hogy ő volt a legfiatalabb. A krónikákban a következő alkalommal 1408-ban merült fel a neve, amikor Danyiil Csornijjal a vlagyimiri Uszpenszkij székesegyházat festették ki. A két festő valószínűleg szoros baráti kapcsolatban lehetett, mert 20 évvel később, 1425 és 1427 között szintén együtt dolgoztak a Szentháromság–Szergij kolostorban. Danyiil halála után Andrej a moszkvai Andronnyikov kolostorban élt, és ott festette utolsó művét, a Szpasz székesegyház freskóit. Ez a mű nem maradt fenn. Ebben a kolostorban halt meg és temették el 1430 telén.

Első azonosítható művei a Blagovescsenszkij székesegyház ikonosztázának egyes darabjai. Feofan Grek festette az úgynevezett Deiszisz rendet és néhány szent arcképét, Rubljov és Prohor pedig a ünnep-sor Krisztus életéről szóló ikonjait. Miután beazonosították a képek festőit, Rubljovét megkülönböztette Prohor műveitől élénk koloritja, kevésbé merev alakjai, kompozícióinak arányossága. Már ezeken az ikonokon is érződött művészetének frissessége, kifogástalan színérzéke. A következő feladata az Uszpenszkij székesegyház kifestése. Csak az Utolsó ítélet néhány részlete élte túl az évszázadokat, a többit tönkretette a meszelés és a kontár restaurálás. R. művét a pontos rajz, a nyugodt, letisztult kompozíció, kecses, bájos alakok jellemzik. A hagyományos bizánci ábrázolásoktól eltérően itt a humanitás, a derű a jellemző. A rideg szentek helyére munkájában az emberek iránt segítőkész, nyájas szentek, angyalok léptek. A székesegyház ikonosztázának a kompozíciója is tőle származik. Rubljovra jellemző a tökéletes körvonal, a mozgás ritmusa és az általa igen kedvelt romboid alakú kompozíció, amely segítségével az ábrázolt testek légies hatásúvá válnak. Az ikonok színezése is jellegzetes: nagy távolságról is jól látható, kevés színből álló, de nem unalmas, hanem harmonikus és lírai hangulatú. A Deiszisz rendhez tartozó, több, mint 3 méter magas ikonok alakjainak színeit nagy felületekben rakták fel, s így egy pillantással átfoghatóvá váltak, mindemellett megőrizték monumentalitásukat. Az ikonok közül sokat nem R., hanem a tanítványai festettek. A mestertől egyetlen ikon származik, a Mennybe menetel, amely amellett, hogy tökéletesen megfelel az ikonfestés szabályainak, színskálájában teljesen egyéni, hiszen mestere volt a lágy, finom, költői színeknek, amellyel a ikonok hagyományos drámai feszültségét líraisággal váltja fel. Leghíresebb műve, és a művészettörténészek szerint az ikonfestészet csúcspontja az 1411 körül készült Szentháromság, amelyet Szergij Radonyezsszkij, az orosz egyház nagy szentjének emlékére készített. A szentéletű ember sírja fölé fatemplomot emeltek, amelyet az ikonnak szenteltek. Később a fatemplom helyére kőtemplomot építettek, és itt őrizték a festményt egészen addig, amíg a Tretyakov képtárba nem került. A művész azt a bibliai történetet örökítette meg, mi szerint Ábrahám és Sára három ifjút látott vendégül, mert megsejtették bennük az isteni háromság három személyét. R. leegyszerűsítette a szituációt, az ő képén csak a három angyal szerepel körülvéve a történetben szereplő tölgyfával, házzal, sziklával, a kehellyel és az áldozati bárányt jelképező borjúfejjel. A festmény bonyolult szimbolikájának feltárása után kiderül, hogy a középső angyal maga Krisztus, a bal oldali angyal az Atya, a jobb oldali pedig a Szentlélek. Az angyalok némán, szinte mozdulatlanul ülnek, arcukon szomorúság és átszellemültség. Örökérvényűvé a művet nem csak teológiai oldala, az atya feláldozza fiát tanítása, hanem a szereplők közötti szeretet és barátság ábrázolása teszi, s ez mélyebb hatású, mint a vallási szimbólumok összessége. Utolsó művei egyike a Trojicko-Szergijeva kolostor Troickij székesegyházának ikonosztáza. A megbízó, apát sok mestert hívatott erre a feladatra, mert érezte közelgő halálát, és szerette volna még látni az elkészült festményeket. Így nemcsak sok művész, hanem sok ikonfestő iskola is találkozott ennél a műnél. Rubljovnak három ikont tulajdonítanak, amely kétségbevonhatatlanul magán viseli a művész keze nyomát: a Keresztelés, a Pál apostol és a Gábriel arkangyal. Mindhárom színeivel, magas fokú művészi megoldásával tűnik ki. Szinte mindegyik ikonfestő átvett tőle valamit, de művészetének egységességét egyikük sem tudta megközelíteni. Egész életében Moszkvában és környékén tevékenykedett, így a moszkvai festőiskola kialakulásában döntő szerepet játszott. Olyan erőteljesen formálta át a bizánci hagyományokat, hogy az többé nem volt jelentős az orosz ikonfestészetben, amely Rubljov munkássága által nyerte el valódi, nemzeti arculatát. Megszabadította a művészetet a bizánci aszkétizmustól, és becsempészte a derűt, a nemesen egyszerű antik gondolkodásmódot. A hagyományos színeket lecserélte a környezetéből ismertekre: az ég kékjére, a nyírfára emlékeztető fehérre, az őszi aranyra. Művészete életében csak Moszkva környékén volt ismert, de a 15. század második felére már teljes orosz jelentőségűvé vált. A Sztoglav-i (Százcikkelyes) zsinat 1551-ben kimondta: "Az ikonfestők fessenek régi példák alapján úgy, ahogy a görögök festettek, úgy, ahogy Andrej Rubljov és más híres ikonfestő festett..."

1959-ben az Andronnyikov kolostorban megnyitották az Andrej Rubljov múzeumot. 1988-ban az orosz ortodox egyház Andrej Rubljov ikonfestőt szentté avatta.