Como ocorre com quase todos os Papas dos primeiros séculos, pouco se sabe da vida de São Zeferino antes dele subir à Cátedra de Pedro, o que ocorreu após a morte do papa São Vitor I, em 198.
Esse papa é descrito por Santo Hipólito, bispo e mártir do início do século III, em sua obra “Philosophumena”, ou “Refutação de todas as Heresias”, como homem simples, sem educação. Isto é, que não tinha tido os estudos superiores. O que supõe que ele foi dedicado à administração prática da Igreja, e não ao aprendizado teológico.
Seu grande aliado foi o diácono Calisto, seu conselheiro e confidente, que seria seu sucessor. Pouco antes de Zeferino assumir o Papado, seu antecessor São Vitor havia comprado locais para o sepultamento dos cristãos na Via Ápia. O novo papa confiou-os então a Calisto. Isto resultou nas catacumbas romanas, lugar histórico que testemunha grande parte da história cristã, sendo que uma leva o nome de São Calisto.
Pois ocorrera que a posição dos cristãos, que tinha permanecido favorável nos primeiros anos do governo do imperador Sétimo Severo (193-211), foi se deteriorando gradualmente, até que, no ano de 202 ou 203, surgiu um edito de perseguição que punia a conversão ao cristianismo com penas muito severas. Entretanto, nada se sabe da execução desse edito em Roma, nem de mártires da Igreja romana nesse tempo.
São Zeferino enfrentou um período difícil e tumultuado na Igreja pois, além das perseguições dos cristãos, várias heresias abalavam a Esposa Mística de Cristo mais que os próprios martírios. A divindade de Jesus Cristo era negada pelos gnósticos. Teodoro subordinou de tal modo Jesus ao Pai, que acabou por fazer dele uma simples criatura, enquanto Montano fazia profecias e pregava sobre o fim do mundo alegando revelação do Espírito Santo.
Entretanto São Zeferino, apesar de não ser teólogo, foi muito sensato e, amparado pelo poder do Espírito Santo, combateu tenazmente as heresias. Para isto, se uniu aos grandes sábios da época, como Santo Irineu, Hipólito e Tertuliano, dando um fim ao tumulto, e livrando os cristãos da mentira e dos rigorismos.
Foi durante seu pontificado que ocorreu a admirável conversão de Natalis, que era do número dos confessores, e sido torturado por ter sustentado a Fé diante dos tribunais. Entretanto, deixando-se seduzir pela avareza e pela vaidade, ele acabou aderindo à heresia de Teodoto que, mediante grande soma, conseguiu que ele fosse seu bispo. Acontece que, por meio de sonhos, Deus lhe mostrava sua cegueira, e o conjurava a voltar ao seio da Igreja. Consta que ele, como ainda vacilasse em tomar esse passo salutar, foi chicoteado por anjos durante a noite. Isso fez com que Natalis abrisse enfim os olhos para sua pérfida situação, e foi se lançar aos pés de São Zeferino vestido de cilício, cinzas na cabeça, pedindo-lhe humildemente que o perdoasse de seu pecado e que, depois da devida penitência, o recebesse de volta no seio da Igreja.
Acontece que o célebre Tertuliano não quis aceitar a indulgência usada pelo Papa nessa ocasião, nem em outras semelhantes. Ora, esse santo pontífice usava do rigor quando era necessário mas, zelando pela salvação dos seus fiéis, usava de misericórdia quando julgava apropriado. Tertuliano acabaria aderindo à seita dos montanistas, excluindo-se da Igreja.
São Zeferino proibiu o uso de cálices de madeira para a consagração do Corpo e Sangue de Nosso Senhor Jesus Cristo como era uso nessa época devido à pobreza, ordenando que fossem utilizados cálices de vidro. Mas como estes eram muito frágeis, ordenou que fossem de ouro ou prata ou, quando não, de estanho.
Ele estipulou também que os fiéis comungassem no dia de Páscoa, e que um bispo não podia ser condenado a não ser pelo Romano Pontífice ou por sua autoridade. Que os sacerdotes e diáconos estivessem presentes quando o Bispo celebrasse, como o papa Evaristo já havia ordenado. Que os padres fossem sagrados publicamente, na presença dos clérigos e do povo, a fim de que, sendo sua inocência e bons costumes sem censura, eles pudesse servir utilmente à Igreja. Ele fez também outros decretos tocantes à disciplina eclesiástica e, depois de ter governado santamente a Igreja durante 19 anos, dois meses e dez dias, segundo o Liber Pontificalis, foi receber a recompensa de seus trabalhos por um glorioso martírio ocorrido no dia 26 de agosto de 217, sob o império de Antonino Caracala.
Seu corpo foi sepultado no cemitério cerca da catacumba de Calisto, na Via Ápia.
O Martirológio Romano Monástico, da célebre Abadia de Solesmes, na França, diz dele neste dia: “No ano de 217, o sepultamento de São Zeferino, papa, que governou a Igreja Católica durante dezoito anos com o apoio de seu diácono Calisto, e lutou vigorosamente contra os hereges que ameaçavam desunir a comunidade cristã”.