Ő volt az első szerző, aki a munkásosztályról írt, és egyben a dán kommunista szépirodalom első képviselője is. Népes családba született Koppenhága egyik legszegényebb negyedében. Apja kőműves volt, vidékről került a fővárosba, anyja német családból származott. 1877-ben családjával együtt a bornholmi Nexöbe költözött (innen vette fel a Nexö nevet is). Tuberkulózisban szenvedett, de végül sikerült kigyógyulnia. Rövid ideig munkásként dolgozott, majd népfőiskolára járt és újságíróként kezdett dolgozni. Az 1890-es évek közepén dél-európába utazott, 1903-ban megjelent Soldage című regénye nagyrészt az ott szerzett élményeken alapul. Johannes Vilhelm Jensenhez hasonlóan Nexö eleinte a századvégi pesszimizmus jegyében alkotott, ám nézőpontja fokozatosan kifelé fordult, majd a szociáldemokrata mozgalomhoz csatlakozott. Ettől kezdve legtöbb regénye valamiféle társadalmi feszültséget hordozott magában. Minden bizonnyal legismertebb és legtöbb nyelvre lefordított műve a Hódító Pelle, melynek utolsó kötete 1910-ben készült el. A regény első részét 1987-ben Bille August rendezésében filmesítették meg. A Hódító Pelle befejezése után Andersen Nexö évekig nem kezdett nagyobb munkába. Az állandó erőfeszítés után egyelőre pihenni akart, másrészt a napi újságírás foglalta le, aztán egészsége ismét annyira megromlott, hogy többször külföldön kellett üdülnie. Ezalatt néhány kisebb könyvet adott ki; legkülönbek a novellagyűjtemények, A mélység énekei és A gyermekkor partján; valamint a Szerencse című hosszabb elbeszélés és a különös dráma, a Dangaardi emberek. Aki költészetét teljes sokrétűségében meg akarja ismerni, kisebb elbeszéléseit se teheti félre. Nexö ugyanis kitűnő novellista; összegyűjtött novellái megjelentek három testes kötetben, Vakondtúrás közös címmel. Ennek kapcsán meg kell említeni, a Versek szép és ragyogóan egyéni veretű kötetét (1926). 

Másik fontos műve az 1917 és 1921 között íródott Ditte, az ember lánya, mely egy munkásnő anyai önfeláldozásáról szól. A regény első részének dán filmváltozata 1946-ban jelent meg. A sokat vitatott 1929-es Midt i en Jarntid az első világháború dán földműveseinek szatírája. 1944-től kezdve Nexö egy (el nem készült) trilógián dolgozott, mely részben a Hódító Pelle folytatása, részben egy álcázott önéletrajz. A trilógia részei: A vörös Morten, Elveszett nemzedék és Jeanette. Nexö később belépett a Dán Kommunista Pártba, bár 1933-ig nem szakított a szociáldemokratákkal. Lelkesen támogatta a Szovjetuniót, ami később több baloldali íróra is hatással volt. 1940-ben Dánia náci megszállás alá került, 1941-ben kommunista meggyőződése miatt bebörtönözték. Szabadulása után a semleges Svédországba ment, onnan pedig a Szovjetunióba távozott, ahonnan Dániába és a szintén náci megszállás alatt álló Norvégiába intézett rádióüzeneteket. A második világháború után az akkor NDK-beli Drezdába költözött, ahol tiszteletbeli állampolgárságot kapott. Több más intézmény mellett a drezdai Martin Andersen Nexö Gimnázium őrzi a nevét. 1954. június 1-jén halt meg Drezdában. Az írót a Koppenhága Nörrebro kerületében található Assistens temetőben helyezték örök nyugalomra. Életében nemzetközi elismertségnek örvendett, különösen a kelet-európai országokban, egészen a szocialista rendszerek összeomlásáig. Bár hírneve idővel megfakulhat, Nexö kétségtelenül az egyik legnagyobb európai társadalmi író.