Fils de Georges, Edmond Herzig, qui était alors élève à l’école des Arts, avait été condamné en octobre 1904 avec le compagnon Henri Bartholdi, à 2 mois de prison et un an de privation des droits civiques pour avoir refusé de se présenter à un examen préparatoire au recrutement. Lors de sa défense et après avoir dénoncé le patriotisme et le rôle de l’armée, il avait motivé son refus en ces termes : « . L’armée n’étant destinée qu’à maintenir un ordre des choses que je réprouve, qu’à maintenir la suprématie politique et économique d’une classe de la société au détriment d’u e autre classe à laquelle j’appartiens, je ne remplirai jamais le rôle que vous faites jouer à grand nombre de travailleurs. Tous vos actes, toutes vos levées de troupe en temps de grèves n’ont en fait que confirmer ce que je pensais déjà… Notre ennemi n’est pas celui qui, comme on l’affirme souvent, est l’habitant d’un pays voisin, mais que c’est la classe qui, sans distinction de nationalité, possédant toute la richesse sociale, est de ce fait le seul ennemi des dépossédés, du prolétariat… J’ai refusé aussi, car c’est par notre indifférence criminelle que des centaines de milliers d’hommes ont été tués ; qu’aujourd’hui d’autres le sont encore… J’ai compris que si j’acceptais d’être soldat, je me ferais e soutien de l’ordre social actuel, j’en approuverais par conséquent tous les crimes, toutes les hontes et tous les mensonges. Oui, soldats, pauvres sots, qui n’avez su jusqu’à présent, qu’être les soutiens de l’esclavage de vos frères de travail, il suffirait de faire volte face pour voir pâlir les tristes personnages qui nous oppriment et nous exploitent. Et nous tous, qui souffrons et qu’on outrage, nous sommes la foule immense, nous sommes l’Océan qui peut tout engloutir, dès que nous en aurons la volonté, un moment suffira pur que justice se fasse ». (cf. Le Réveil 12 novembre 1904). Le groupe antimilitariste avait alors organisé un grand meeting intitulé « les condamnations du tribunal militaire : la fin des armées ».
En 1906 il fut avec son père l’un des 112 signataires du manifeste « Les antimilitaristes suisses aux travailleurs » publié dans Le Réveil (28 avril). Il demeurait alors 18 rue Dassier et était le secrétaire du Groupe antimilitariste de Genève en contact avec l’Association internationale antimilitariste (AIA) dont le secrétaire était F. Domela Nieuenwuis à Amsterdam.
De nouveau appelé sous les drapeaux, il passa en France et le 11 mai 1907 fut condamné par contumace à 8 mois de prison et 4 ans de privation de droits civiques par le tribunal militaire de Lausanne.