Toulouse-Lautrec testi állapotát már kortársai is a szülők közeli rokonságával magyarázták. Henri szülei első fokú unokatestvérek voltak. De amit nem is sejtettek: egy ritka betegség hordozói, amely bennük csak heterozigóta, recesszív génként rejtett marad, de a házasságukból született gyermekek 25%-a várhatóan beteg lesz. Fiukban a két azonos recesszív gén dominánssá vált, és a betegség — a tömött csontúság megjelent. (Az orvosi genetikai szakirodalomban e fejlődési zavar neve pyknodysostosis, aminek a kiejtése püknodizosztozisz). Ilyenkor ugyanis a csontok ürege, ahol a csontvelő is található, jórészt elcsontosodik. Toulouse-Lautrec viselte a betegség összes jellemző tünetét. A csontok kóros felépítése miatt hajlamos volt a csonttörésre. Testmagassága mindössze 152 cm volt, és teste erősen aránytalan: a törzs méretei megfeleltek egy egészséges felnőtt törzsméreteinek, de végtagjai feltűnően rövidek, kezei, lábai kicsik, ujjai tömpék. Koponyáján a kutacsok nem záródtak tökéletesen, ezért abnormális nagyságúra nőtt. Toulouse-Lautrec orvosi tanácsra mindig kalapot viselt, a szakállával pedig az álla fejletlenségét próbálta takarni, ami szintén a betegség jele. gyakorolta.

A művész groteszk törpeségét okozó betegsége meghatározó hatással volt élete alakulására. A gnómszerű, alacsony festő világa így azokhoz kapcsolódott, akik nem gúnyolták, befogadták, az utca nyomorultjaihoz, a Moulin Rouge táncosaihoz, a lebujok abszintet fogyasztó nincstelenjeihez. Állapotát egész életében sajátságos öniróniával kezelte. Önmagát sokkal jobban el tudta fogadni, mint környezete, elsősorban apja őt. Ez a kirekesztettség-érzet vezetett alkoholizmusához, amelyet elvonókúrákkal sem tudott leküzdeni. Az utolsó éveiben jelentkező idegbántalmak részben erre, részben valószínűleg szifiliszes megbetegedésére vezethetők vissza.