Como ocorre com quase todos os papas dos primeiros séculos, pouco se sabe da vida de São Zeferino antes dele subir à Cátedra de Pedro. Isso ocorreu após a morte do papa São Vítor I, em 198.
Este papa descrito por Hipólito, na “Philosophymena”, como um homem simples, sem educação. Isso é, evidentemente, para ser entendido como significando que Zeferino não tinha recebido os estudos superiores e tinha se dedicado à administração prática da Igreja e não ao aprendizado teológico.
São Zeferino enfrentou um período difícil e tumultuado na Igreja, pois, além das perseguições aos cristãos, várias heresias abalavam a Igreja mais que os próprios martírios. A divindade de Cristo era negada pelos gnósticos. Teodoro subordinou de tal modo Jesus ao Pai que acabou por fazer Dele uma simples criatura, enquanto Montano fazia profecias e pregava sobre o fim do mundo a partir da consciência de ser a revelação do Espírito Santo.
Entretanto, apesar de não ser teólogo, São Zeferino foi muito sensato e, amparado pelo poder do Espírito Santo, combateu tenazmente as heresias. Para isso, uniu-se aos grandes sábios da época, como Santo Irineu, Hipólito e Tertuliano, dando um fim ao tumulto e livrando os cristãos da mentira e dos rigorismos.
Seu grande aliado foi o diácono Calisto, que seria seu sucessor. O Papa determinou que Calisto organizasse cemitérios cristãos, onde os fiéis pudessem sepultar seus mortos e prestar homenagens aos mártires. Isso resultou nas catacumbas romanas, lugar histórico que testemunha grande parte da história cristã, sendo que uma leva o nome deste santo.
Durante os primeiros anos do governo do imperador Sétimo Severo (193-211), os cristãos tiveram relativa paz. Mas, depois, por um seu edito, em 202 ou 203, começou uma implacável perseguição ao cristianismo, que foi proibido no Império, sob as penas mais severas. Nada é conhecido quanto à execução do decreto em Roma nem dos mártires da Igreja Romana nessa época.
Foi durante seu pontificado que ocorreu a admirável conversão de Natalis, que era do número dos confessores e tinha sustentado sua fé diante dos tribunais. Entretanto, deixando-se seduzir pela avareza e pela vaidade, ele acabou aderindo à heresia de Teodoto que, mediante grande soma, conseguiu que ele fosse seu bispo. Acontece que, por meio de sonhos, Deus lhe mostrava sua cegueira e o conjurava a voltar ao seio da Igreja. Conta que ele, como ainda vacilasse em tomar esse passo salutar, foi chicoteado por anjos durante toda a noite. Isso fez com que Natalis abrisse enfim os olhos para sua pérfida situação e se lançasse aos pés de São Zeferino vestido de cilício, cinzas na cabeça, pedindo-lhe humildemente que o perdoasse de seu pecado e que, depois da devida penitência, o recebesse de volta como membro da Igreja.
Acontece que o célebre Tertuliano não quis aceitar a indulgência usada pelo Papa, nem nessa ocasião, nem em outras semelhantes. Ora, esse santo pontífice usava do rigor quando era necessário, mas, zelando pela salvação dos seus fiéis, usava de misericórdia.
São Zeferino proibiu o uso de cálices de madeira para a consagração do Corpo e Sangue de Nosso Senhor Jesus Cristo, como era usado nessa época devido à pobreza, ordenando que se servissem em cálices de vidro. Mas como esses eram muito frágeis, ordenou que fossem de ouro ou prata ou, quando não, de estanho.
Ele estipulou também que os fiéis comungassem no dia de Páscoa, e que um bispo não podia ser condenado a não ser pelo Romano Pontífice ou por sua autoridade. Que os sacerdotes e diáconos estivessem presentes quando o bispo celebrasse, como o papa Evaristo já havia ordenado. Que os padres fossem sagrados publicamente, na presença dos clérigos e do povo, a fim de que sua inocência e bons costumes, sendo sem censura, pudessem servir utilmente à Igreja. Ele fez também outros decretos tocantes à disciplina eclesiástica e, depois de ter governado santamente a Igreja durante 19 anos, dois meses e dez dias, segundo o Liber Pontificalis, foi receber a recompensa de seus trabalhos por meio de um glorioso martírio ocorrido no dia 26 de agosto de 217, sob o império de Antonino Caracala.
Seu corpo foi sepultado no cemitério perto da catacumba de Calisto, na Via Ápia.
