Son père, républicain et libre penseur, dirigeait à Londres la succursale d’une petite fabrique d’horlogerie de Fleurier (Neuchâtel). La crise des années 1848 l’obligea à retourner en Suisse avec sa famille et James Guillaume fit ses études à Neuchâtel, puis à Zurich. Il devint en 1864 professeur de français et d’histoire à l’École industrielle du Locle.
Il fonda en 1866, avec Constant Meuron, la section locale de l’Internationale dont il devient l’un des principaux dirigeants dans le Jura. Il se détacha bien vite du parti radical et trouva, avec l’arrivée de Bakounine dans la région, les bases théoriques qui lui faisaient défaut. En raison de ses activités politiques, il fut renvoyé de son poste au début d’août 1869. Il reprit alors l’imprimerie paternelle à Neuchâtel (1869-1872).
En avril 1870, il devint rédacteur de La Solidarité, (Neuchâtel, 22 numéros du 11 avril au 3 septembre 1870, puis Genève, 4 numéros du 28 mars au 12 mai 1871) organe suisse romand de l’AIT et organe officieux de l’Alliance bakouniniste ; en novembre de l’année suivante, il contribua grandement à la création de la Fédération jurassienne à Sonvilier, ce qui entraîna son exclusion de l’Internationale au congrès de La Haye (1872), en compagnie de Bakounine. Avec ses amis jurassiens, il organisa alors en septembre 1872 à Saint-Imier la réunion de toutes les sections et fédérations opposées au Conseil général, qui constituèrent l’Internationale fédéraliste (anti-autoritaire).
Il fut rédacteur principal du Bulletin de la Fédération jurassienne du 15 février 1872 au 25 mars 1878 (Sonvillier — Le Locle — La Chaux-de-Fonds, 283 numéros) dont les collaborateurs principaux furent P. Brousse, C. Cafiero, A. Costa, Farga Pellicer, Kropotkine, G. Lefrançais, B. Malon, P. Robin et A. Schwitzguebel. Au congrès « anti-autoritaire » de Genève, en septembre 1873, il proposa comme moyen d’action la grève générale, « La seule grève réellement efficace pour réaliser l’émancipation complète du travail ». L’année suivante, il composa sous le pseudonyme de Jacques Glady (nom de sa mère) la musique de La Jurassienne, dont les paroles (« Ouvrier, prends la machine, prends la terre, paysan ») sont de l’alsacien Charles Keller. En 1876 il publia les Idées sur l’organisation sociale.
Sa participation à la manifestation commémorative de la Commune à Berne, le 18 mars 1877, lui valut d’être poursuivi et condamné à 40 jours de prison. Il mena durant quelques années une vie militante et difficile, puis partit pour Paris en mai 1878.
Durant plus de vingt ans, il abandonna alors toute activité politique, se consacrant, aux côtés de Ferdinand Buisson, qu’il avait connu à Neuchâtel, aux questions pédagogiques et au développement de l’école laïque. Il fut naturalisé français en 1889.
La mort de sa fille en 1897 puis de sa femme en 1901 l’atteignirent dans sa santé psychique, et il dut faire des séjours en clinique. Mais c’est à cette époque aussi qu’il fit la connaissance de Max Nettlau, auquel il fournit des informations pour la biographie de Bakounine. Il publia avec Nettlau les Œuvres de Bakounine en six volumes (Paris, Stock) puis se consacra à la rédaction de L’Internationale, documents et souvenirs, 1864-1878 (Paris, 1905-1910), qui constitue aujourd’hui encore une source indispensable et inégalée d’informations sur cette période. Il sympathisait activement avec le mouvement syndicaliste révolutionnaire de la CGT, dans lequel il voyait l’héritier de la Première Internationale.
Le 3 juillet 1907 il avait été l’un des orateurs du meeting international tenu à Paris, 190 avenue de Choisy, pour commémorer la mort de Bakounine, et dans lequel avaient également pris la parole un camarade chinois, le géorgien Andronikov (Zabrezhnev ?), Cornelius en allemand et Samoulov en hébreu. Ce meeting avait été présidé par Pietrov assisté de Maria Goldsmith qui en assurait la traduction en russe.
Collaborateur actif de La Vie ouvrière de P. Monatte, il renoua avec d’anciens compagnons de l’Internationale et recommença à s’intéresser au mouvement ouvrier de son pays, où, chaque année, il revenait passer les vacances ; il écrivit aussi dans La Voix du Peuple (Pully et Genève, 1906-1914) syndicaliste révolutionnaire et organe de la Fédération des unions ouvrières de Suisse romande.
En 1914, comme beaucoup de syndicalistes, de socialistes et d’anarchistes, il se prononça en faveur de « l’Union sacrée ».
Atteint d’une maladie nerveuse, Guillaume se retira en Suisse. Il mourut le 20 novembre 1916 et fut inhumé à Paris au cimetière Montparnasse.
A l’époque où Guillaume était le rédacteur du Bulletin de la fédération jurassienne, Kropotkine en aait fait le portrait suivant : « Maigre et sec il avait quelque chose de la raideur et de l’esprit résolu de Robespierre, et un vrai cœur d’or qui ne s’ouvrait qu’à ses seuls vrais amis intimes ; sa prodigieuse puissance de travail et son activité infatigable en faisaient un vrai meneur d’hommes. Pendant huit ans il lutta contre toutes sortes d’obstacles pour faire vivre le journal, prenant la part la plus active aux moindres détails de la Fédération ».
Œuvre : — Le collectivisme de l’Internationale (Neuchâtel, 1904).