Colporteur sans domicile fixe, Joseph Tournay exerça de nombreux petits métiers (vendeur de papier à lettres et d’enveloppes, chanteur ambulant, fabricant de brosses pour bouteilles…)
Fin août 1901 Joseph Tournay avait été arrêté par la gendarmerie de Castelnau du Médoc (Gironde) alors qu’il demandait la charité. Selon le journal La Libre parole, après une forte résistance il fut conduit au poste où il fut constaté qu’il portait de nombreux tatouages et notamment : un portrait du Président Carnot portant l’inscription « Carnot 1er dit le coupeur de têtes, exécuté le 22 juin 1894 par le vaillant Caserio Santo, à bientôt le tour d’autres, Vive l’Anarchie ! » ; divers portraits d’anarchistes avec les inscriptions « Honneur à Ravachol !, Honneur à Vaillant !, Honneur à Émile Henry, à Caserio, Bresci » et autres tatouages dont un « Mort aux vaxhes ». Il était également porteur d’un couteau et de diverses notes dont l’une disait “Mon testament. Mes frères soyez fiers de moi. J’ai suivi vos traces. Je viens de loin et je vais où ma mission m’appelle”. Tous faits qui entraînèrent son incarcération à Bordeaux par la police qui le soupçonna aussitôt de pouvoir perpétrer un attentat.
Figurant à l’état vert n°4 des anarchistes, Joseph Tournay, venant des Ardennes, fut signalé de passage dans la Marne au printemps 1905 et se rendant à pieds au Mans pour y chercher du travail.
En 1910-1911 il circulait en Seine-et-Marne avec une petite voiture à 3 roues vendant des chansons, des écouvillons et des brosses pour nettoyer les bouteilles et les armes.
Entre 1905 et 1912 il fut signalé à de nombreuses reprises comme sillonnant les routes de l’Ain entre Mâcon et Lyon, accompagné des compagnons Bazin ou Linguenon avec lesquels il en profitait pour diffuser des brochures anarchistes et anti militaristes et les journaux Le Libertaire et La Voix du peuple. Souvent arrêté pour "vagabondage" il se proclamait ouvertement anarchiste et entonnait parfois L’Internationale dans les chambres de sûreté où il était enfermé.
En 1912 il était accompagné dans ses tournées par Jean-Auguste Helene, chanteur ambulant.
A l’automne 1913 plusieurs rapports signalaient qu’il avait quitté l’Isère, qu’il continuait de se déplacer à pied et qu’il couchait dans des fermes ou au poste municipal.