1814-ben született Székesfehérváron, édesapja Ybl Miklós székesfehérvári kereskedő, a megyei választmány tagja, édesanyja Eiman Anna. 1825-től a párizsi Császári és Királyi Polytechnikai Intézetben végezte tanulmányait, 1832-től Pollack Mihály, 1836-tól Koth Henrik építész irodájában dolgozott. 1840-től a müncheni Királyi Művészeti Akadémián, majd Itáliában képezte tovább magát. Hazatérésekor szembesült a ténnyel, hogy családjának anyagi gondjai adódtak, eladni kényszerültek székesfehérvári házukat. Ybl ezután Pesten próbált szerencsét, ahol Helybeli Polgári Szabadalmas Építő Czéh Mesterei első ízben elutasította építőmesteri folyamodványát. Következő alkalommal, 1843. január 16-án Szepesi Ferenc tanácsnok aláírásával kebelbeli kőmíves mesterré jelölték. Egy 1841. november 30-án kelt újsághirdetés szerint Pollack Mihály fia, Pollack Ágoston és Ybl Miklós megnyitották az Építészeti Intézetet a pesti Dorottya utcában. 1845-ben megbízást kapott Károlyi Istvántól, hogy építse át fóti kastélyát, valamint tervezze meg a templomot. Előtte még tett egy látogatást Itáliában tél idején, s utána munkához fogott. Egyhamar Károlyi uradalmi építésze lett. 1851-ben költözött vissza Pestre, Fóton feleségül vette a grazi születésű Lafite Ida nevelőnőt. 1860-ben Széchenyi István is Yblt kérte fel hogy cenki birtokára templomot tervezzen, ám a gróf a terveket már nem láthatta meg. Ebben a korszakban készült a Múzeum körúti átjáró ház, a jelenlegi Bajcsy-Zsilinszky út 17. sz. alatti bérház a második világháború során elpusztult Nemzeti Lovarda. 1864-ben megszületett fia, Félix. Hamarosan céhtag lett, a romantikus stílusnak búcsút intett, s ezután neoreneszánsz stílusban tervezte épületeit. Ekkortájt épült fel a Bródy Sándor utca 8. alatti Képviselőház, az építkezés 1865. szeptember 11-én kezdődött meg. A ház néhány hónap leforgása alatt elkészült, Ybl pedig elnyerte a Ferenc József-rend lovagkeresztjét. 1870-ben hozzáfogott a Fővámház megtervezésének, mely elkészülte után számos negatív kritikát kapott. Ney Béla miniszteri főmérnök azonban korszakalkotónak nevezte az épületet. Podmaniczky Frigyes az Operaház megtervezésére 1873 szeptemberében meghívásos pályázatot hirdetett meg, melynek pályadíját Ybl terve nyerte el. A kivitelezés 1875 októberében indult, hamarosan Ybl Miklóst építésvezetőnek nevezték ki. 1878. december 7-én tartották meg a bokrétaünnepet, majd 1887. szeptember 27-én a Bánk bán előadásával nyílt meg az Operaház, melyen a királyi család is részt vett. Egyidejűleg a Várkert-bazár megvalósításán is dolgozott (1875-1882), mely olasz, német és francia függőkertek mintájára készült. Belépett a Közmunkatanácsba, 1882-ben megkapta a Lipót-rend lovagkereszjét, 1885. június 21-én pedig a király a főrendiház tagjává nevezte ki. Folytatta a Hild József által tervezett Szent István Bazilika építését is, majd a budai Vár kiépítésén fáradozott. Unokaöccse, Ybl Lajos is segédkezett: ő tervezte a krisztinavárosi szárnyat. Ybl Miklós ezt a művét már nem tudja befejezni, 1891. január 22-én elhunyt.

Sokat foglalkoztatott, nagy hatású művész, akit életében is elismertek. Nagy fájdalma volt, hogy ugyan közreműködött a Magyar Tudományos Akadémia székházának felépítésében, az akadémia nem választotta a tagjai sorába. Első megbízását, az ikervári kastély átépítését, Pollack Mihály fiával, Ágosttal együtt teljesítette. Számos alkotása közül a fő művének az Andrássy úton az Operaház (Magyar Állami Operaház) neo reneszánsz épülete számít. Emlékezetére 1953-ban évenként kiosztásra kerülő Ybl-dlj elnevezésű építészeti díjat alapítottak. Szegeden, a Nemzeti Emlékcsarnokban (Dóm téren a körbefutó árkádok alatt) őrzik portrészobrát hazánk számos kiváló építészének, tudósának, művészének, politikusának szobraival együtt. Ybl Miklós szobrának alkotója August Sommer. Róla nevezték el a 2002-ben magyar csillagászok által felfedezett 166886 jelű kisbolygót.