Werner Haller était l'aîné des quatre enfants d'une famille modeste de Cham, dans le canton de Zoug ; son père était soudeur de boîtes de lait condensé dans l'usine Nestlé locale. Après l'école des transports de Lucerne, il entre aux PTT, d'abord comme agent mobile. Il a travaillé dans différents bureaux de poste dans toute la Suisse.
En 1938, il passe trois mois en Italie, envoyé par les PTT pour apprendre l'italien. A son retour, avec deux de ses collègues, il a fait un "détour" en Libye pour voir le pays. Enfin, il postule à un emploi à Bâle, à la direction de district de la Poste. Là, jouant du violon dans un petit orchestre de chambre amateur, il rencontre leur pianiste. Ils se sont mariés le 27 avril 1943.
Bien avant la guerre, Werner avait rencontré des personnes impliquées dans ce qu'on appelait alors le groupe d'Oxford. Peu de temps après que le Réarmement Moral ait acheté le Caux-Palace, le poste de commis des postes à Caux a été annoncé. Werner a postulé et lui et sa femme ont déménagé à Caux en 1951 avec leurs deux enfants. A Caux, il avait trois passions : sa poste, son immense potager et, toujours, la musique, lui au violon et sa femme au piano. Pendant plus de 25 ans, il a vécu pour et à travers ces trois passions. Plus tard, après que sa femme ait subi un accident vasculaire cérébral, il s'est occupé d'elle pendant 10 ans.
