En la escuela elemental de la calle "Cukor" (1927-1931) empezó sus estudios, que continuó en el instituto escolapio de Budapest (1931-1939). Allí se bachilleró en 1939. Finalizados sus estudios medios empieza a estudiar derecho en la Universidad de Ciencias Péter Pázmány, pasándose luego a la facultad de letras, especialidad de húngaro-italiano-historia del arte. Finalizó la universidad en 1944 pero sin diplomarse.
Sus primeras poesías aparecen entre 1938 y 1938 en los periódicos "Napkelet", "Élet" y "Vigilia". Entre 1941 y 1944 fue ayudante de redactor. En noviembre de 1944 es llamado a filas. En febrero de 1945 llega al pueblo alemán de Harbach, donde (enfermando en éste y otros campos) llega a ver el espantoso mundo de los campos de concentración, que define toda su vida y poesía. En otoño de 1945 puede volver a su ciudad natal. Entre 1946 y 1948 fue redactor colaborador de "Újhold", pero fuertes lazos le unen a los equipos de "Vigilia" y "Válasz". "Válasz" y "Magyarok" publicaron sus poemas. Su primer volumen de poesía lo publicó la compañía "San Esteban" en 1946, con el que obtuvó el premio Baumgarten el siguiente año. Entre 1947 y 1948 con beca romana pasó varios meses en Italia. Desde 1949 no pudo publicar. Durante este tiempo escribió cuentos en verso, y con un libro del tipo "Aranymadár" pudo regresar a la vida literaria. El 12 de octubre de 1955 se casa con la actriz Márkus Anna, pero varios meses después se divorcian.
Anna tras la revolución húngara de 1956 emigra a París, donde vuelve a casarse, pero mantiene buenas relaciones con Pilinszky. En 1956 fue por poco tiempo lector de la editorial "Magvető Kiadó". A partir de 1957 fue colaborador interno del semanario católico "Új ember". En gran parte aquí aparecen sus folletines, reflexiones religiosas y filosóficas y criticas artísticas.
A principios de los años 60 viajó repetidas veces a Europa occidental (Polonia, Suiza, Bélgica, Viena, Londres, Roma) especialmente en París pasó bastante tiempo, incluso llegó a los Estados Unidos. El suicido de su hermana mayor en 1974 quizás contribuyó a que no escribiera mas poesía. A finales de los años 70 conoció a Jutta Scherrer, historiador de la religión alemán.
En 1971 fue distinguido con el premio Attila József, y en 1980 con el Lajos Kossuth. En 1978 conoció en París a Ingrid Ficheux, con quien en junio de 1980 contrajo matrimonio. Falleció a la edad de 60 años a consecuencia de un segundo infarto. La muerte lo alcanzó inesperadamente, lleno de planes. El 4 de junio una multitud lo acompañó en su último viaje en el cementerio de Farkasrét.
