Fils de Vincent Etienne Toche, aubergiste, et de Marie Catherine Bigon, ménagère, Joseph Toche était en 1881 à Marseille membre duClub International avec notamment Etienne Desnier, Jusrin Mazade, Henry, Blanc, Emile Maurin, Charles Cival, Alexandre tressaud, Raffaele Moncada.
En janvier 1882 il était délégué chargé d’une causerie à Saint-Antoine (quartier de Marseille) organisée par le Cercle Esquiros. Les autres délégués étaient Sauveur Couloubrier, Mazade, José Torrens.

Puis il était allé à Bordeaux où il était le gérant du mensuel Revue anarchiste internationale(Bordeaux, 5 numéros, novembre 1884-mars 1885) dont le rédacteur principal était Victorin Dépombs. A cette époque le groupe avait son siège 25 rue Planterose. En juin 1885, Le Révolté, annonçait que par suite des "difficultés administratives la Revue anarchiste internationale avait dû suspendre sa publication et qu’une nouvelle administration avait étéconstituée. Le mensuel devait réapparaître bientôt. En conséquence nous invitons nos abonnés qui n’ont pas encore réglé leurabonnement de le faire" et de s’adresser "au compagnon Toche rue Citran, 17".
A la mi août 1886 Toche revenait t à Marseille chez son ami Mazade au 1 place de l’Observance. Il ne devait y rester que quelques jours afin de serendre ensuite à Lyon pour d’offrir ses services à la rédaction du journal anarchiste La lutte sociale (Lyon, 6 numéros du 28 août au 2 octobre 1886)suite à la condamnation de Toussaint Bordat à 4 moisde prison. Malheureusement, il tomba malade et dû entrer à l’Hôtel – Dieu (hôpital
de Marseille) d’où il ne sorti que le 13 septembre pour aller loger en garni au 7 boulevard Guigou. Atteint d’une phtisie galopante, sans ressources, il bénéficia de l’aide des compagnons, mais décédait peu après le 31 octobre 1886. Les Amis de la Libre Pensée appelèrent à participer à son enterrement.
L’organe marseillais L’International anarchiste annoça son décès en ces termes : "L’anarchisme a perdu un de ses plus ardents, sincères et dévouiés adeptes, et nous, un ami spirituel, intelligent et généreux" (cf. n°4, 6 novembre 1886)