Joseph Karly travaillait depuis 1900 comme typographe à la Litographie du Simplon à Lausanne. A partir de 1904 il milita à l’Union ouvrière de Lausanne avec notamment Henri Baud. Il collabora notamment au Réveil socialiste anarchiste –série d’articles intitulée « essai sur la pratique anarchiste » —, à La Voix du Peuple (Lausanne) et à L’almanach du travailleur. Il fut l’un des promoteurs de la FUOSR pouir laquelle il rédigea avec L. Bertoni et A. Rouiller les statuts. Il rédigea également les premiers statuts de l’imprimerie communiste de Pully/Lausanne, qui imprimait La Voix du peuple : « L’imprimerie… fonctionnera comme une coopérative égalitaire généralisée de tous les producteurs quelles que soient leurs fonctions. Cela implique l’égalité des droits et des devoirs ».

Il collabora également à la brochure « Centralisme et fédéralisme », publiée par Jean Wintsch. De 1906 à 1908 il fut membre du conseil d’administration de la Maison du peuple de Lausanne, malgré les critiques qu’il exprimait à ses promoteurs. En mars 1908 il devint secrétaire de l’Union ouvrière de Lausanne (syndicaliste révolutionnaire) où Henry Bornand était le secrétaire aux cours et conférences, Louis Baud à la bibliothèque et J. Wintsch chargé des institutions et coopératives.

Licencié en 1909 et inscrit sur les listes noires des patrons imprimeurs, il quitta Lausanne pour Lyon où il devint bibliothécaire bénévole du syndicat des typographes. Joseph Karly est décédé à Lyon le 2 décembre 1911.