Werner Haller era o mais velho de quatro filhos de uma família modesta de Cham, no cantão de Zug; seu pai era soldador de latas de leite condensado na fábrica local da Nestlé. Depois da Escola de Transportes de Lucerna, ingressou no PTT, inicialmente como agente móvel. Ele trabalhou em vários correios em toda a Suíça.
Em 1938, passou três meses na Itália, enviado pelo PTT para aprender italiano. No regresso, com dois colegas, fez um "desvio" à Líbia para conhecer o país. Finalmente, ele se candidatou a um emprego em Basileia, na gerência distrital dos Correios. Lá, tocando violino em uma pequena orquestra de câmara amadora, conheceu sua pianista. Eles se casaram em 27 de abril de 1943.
Muito antes da guerra, Werner conhecera pessoas envolvidas no então chamado Grupo de Oxford. Pouco depois que o Rearmamento Moral comprou o Palácio de Caux, foi anunciado o cargo de funcionário dos correios em Caux. Werner se candidatou e ele e sua esposa se mudaram para Caux em 1951 com seus dois filhos. Em Caux, teve três paixões: o correio, a imensa horta e, sempre a música, ele ao violino e a mulher ao piano. Por mais de 25 anos, ele viveu para e através dessas três paixões. Mais tarde, depois que sua esposa sofreu um derrame, ele cuidou dela por 10 anos.
