En 1879 Geroges Herzig, avec Dumartheray et Kropotkine, avait fondé à Genève Le Révolté, dont il fut directeur jusqu’à ce que le journal soit repris par Jean Grave.
Le 12 septembre 1880, il fut présent à Vevey (Vaud) à la réunion des partisans de la Freiheit de Johann Most et aurait été l’un des rédacteurs avec Otter d’un programme établissant l’autonomie des groupes et la propagande par le fait comme moyen d’action. Les 9 et 10 octobre, il participa au congrès de la Fédération jurassienne pour la section de propagande de Genève, puis fut délégué de la Fédération jurassienne au congrès international anarchiste de Londres (14-19 juillet 1881). Il participa également à la réunion internationale organisée à Genève par la Fédération Jurassienne des 13-14 août 1882 à laquelle assistèrent une cinquantaine de délégués - dont Reclus, Dejoux, Bordat, Tcherkesoff, Vaillat, les deux frères Trenta, Boriasse, Valadier, Morel, Cyvoct, J. Bareis, Léglise, Mertens, Eymerich, Oreste Vaccari et Michel - et dont il assura le secrétariat. A l’issue de cette réunion fut publié un Manifeste refusant le suffrage universel pour renverser les institutions, recommandant la séparation totale d’avec tout parti politique et adoptant le communisme comme but final.
Il collaborait à d’autres organes libertaires, comme le bimensuel L’Avenir (organe ouvrier indépendant de la Suisse romande) de Genève, publié du 8 octobre 1893 au 30 juillet1894.
Le 19 septembre 1894, il avait été l’objet d’un arrêté d’expulsion "préventif" de France à lui "notifier en cas de découverte".
Avec Bertoni, Steiger et d’autres, il fut l’un des fondateurs en juillet 1900 du Réveil socialiste anarchiste, auquel il collabora régulièrement et assidûment jusqu’en 1916, puis de 1918 à sa mort ; il peut être considéré comme un de ses meilleurs polémistes.
Herzig fut l’un des 113 signataires du tract « Les antimilitaristes suisses aux travailleurs », appelant à la désobéissance, publié dans le Réveil du 28 avril 1906, avec entre autres son fils Edmond, réfractaire passé à l’étranger.
En juillet 1907, il fut l’un des orateurs du meeting contre l’expulsion de Bertoni du canton de Genève, avec Charles Fulpius de la Libre Pensée, le socialiste Adrien Wyss, Louis Avennier, Bérard, Margarethe Faas-Hardegger.
Il collabora aussi à La Voix du Peuple, hebdomadaire de la FUOSR (Fédération des unions ouvrières de Suisse romande) publié à Lausanne, sous le pseudonyme de Georges Sergy (nom de sa femme) de 1906 à 1914.
Pendant la guerre, il rédigea le manifeste « Aux soldats de tous les pays », qui sera distribué dans la Suisse entière. Il avait pris parti pour la tendance interventionniste, et avait abandonné Le Réveil pour écrire dans La Libre Fédération, le périodique lausannois (1915-1919) de Jean Wintsch.
Lorsque Bertoni fut emprisonné en 1918-1919, il prit avec A. Amiguet la responsabilité de la partie française, et continuera d’y écrire jusqu’à sa mort survenue le 10 mars 1923.