Az MTA tagja. 1836–1846 között Miskolcon járt gimnáziumba (az evangélikus líceumba), majd Késmárkon jogot hallgatott. 1847-ben Miskolcon joggyakornok lett. Szemere Bertalan írnokaként részt vett az 1848-as pozsonyi országgyűlésen. A forradalom alatt végig Szemere mellett maradt, csak Aradon váltak el. 1850 februárjáig szüleinél bujkált, majd Pestre utazott, és Bátor Miklós álnév alatt újságíró volt. Ekkoriban ismerkedett meg Arany Jánossal, akivel életre szóló barátságot kötöttek, és ebben az időszakban jelentek meg első versei is. 1852-ben visszatért Miskolcra, és 1860-ig a református gimnázium magyar-latin szakos tanára volt. Ekkor Borsod vármegye alispánja lett, de a tanítással csak 1865-ben hagyott fel teljesen, amikor a főispán főjegyzővé nevezte ki. 1895-ben Borsod vármegye alispánja lett, de 1896 elején nyugdíjba vonult. 1918-ban halt meg; végakaratának megfelelően a sajószentpéteri református temetőben, szülei mellett helyezték örök nyugalomra.

Bár költői munkássága az utókor szemében nem jelentős, korának népszerű és elismert művésze volt. Műfordítóként Robert Burns verseit, Seneca műveit, két Moliere-darabot, Shakespeare-től többek között A makrancos hölgyet, a IV. Henrik egyes részeit, a Vízkereszt vagy amit akartok című darabokat fordította magyarra. Költészete a közhangulatnak megfelelően idillikus hangot ölt. Noha falusi eredetű, a falu és népe az ő számára mindig megmarad a népszínművek problémátlan, üde költői színhelyének. Együtt él a polgárosuló ország minden illúziójával. Legismertebb verse a Mikes c. elégia. Már életében elhalmozták a megbecsülés jeleivel: 1890-ben aranytollal köszöntötték főjegyzősége 25. évfordulóján, 1910-ben Miskolc díszpolgárává választották. 1895-ben nyugalomba vonul: "Így élem a nyugalom napjait most már a hivatalos élettől távol itt Miskolcon, szerény, de nekem eléggé kényelmes körülmények között. Olykor kirándulok Szent Péterre s egy-két napot szentelek a kegyeletnek a Szüleimtől örökölt kis fészekben, ahol velük együtt életemnek oly sok boldog óráját élveztem.... Feldobott kő voltam, mely végre is oda esett vissza, ahonnan régen feldobták." 93 éves korában halt meg. Emlékét Miskolcon egykori lakóházán tábla, Szentpéteren szobra, emléktábla és emlékszobája őrzi. Miskolcon könyvtár viseli a nevét és a Lévay-hagyaték a Herman Ottó Múzeum egyik legnagyobb dokumentum és tárgyi együttese. Borúth Andor festőművész készített portrét róla. Megjelent kötetei: Lévay József összes költeményei. I–II. 1881. – L. J. újabb költeményei. 1898. – A múzsa búcsúja. 1909. – L. J. utolsó versei. 1925.