Mécanicien lyonnais, membre d’une section clandestine de l’Association internationale des Travailleurs (AIT), Ballivet fut délégué des mécaniciens de Lyon au IIe congrès national ouvrier qui s’ouvrit à Lyon le 28 janvier 1878. L’année précédente il avait pris part au congrès de La Chaux-de-Fonds de la fédération jurassienne.

Bien que la très grande majorité des délégués au deuxième congrès ait été composée de modérés, certaines interventions furent nettement collectivistes antiautoritaires, celle de Ballivet, par exemple, qui avant le congrès s’était rendu en Suisse où il avait mis son rapport au point avec les Jurassiens Brousse et Kropotkine. Ballivet, « communiste-anarchiste », ainsi que le qualifiait L’Avant-Garde du 23 février 1878, prit la parole sur la 5e question : « La représentation directe du prolétariat au Parlement » :
« Ne devons-nous pas, déclara-t-il, être anti-autoritaires et antiétatistes ? Les deux principes […] qu’il faut donc propager […] sont le principe de la propriété collective et celui de la négation de l’État » (Séances du congrès ouvrier de France. C. rendu, p. 337).

Sur la question des « Chambres syndicales, association et coopération », il intervint encore et, avec Dupire, délégué de Paris, présenta l’amendement suivant :
« … Le congrès invite toutes les associations ouvrières, en général, à étudier les moyens pratiques pour mettre en application le principe de la propriété collective du sol et des instruments de travail ». L’amendement fut repoussé « à une très grande majorité » (Séances du congrès… p. 595).

Quoique peu nombreux — une dizaine — les minoritaires révolutionnaires de ce congrès firent preuve d’une grande activité et Ballivet figura parmi les onze délégués chargés de veiller à l’exécution des résolutions votées.