A la fin des années 1880, Henry Dupont dit Souvarine, était l’un des orateurs de la Ligue des antipatriotes avec notamment Joutant Rozier, Octave Jahn et Ferdinand Niquet. Comme ces derniers il s’était insoumis au service militaire et ce fut sans doute à cette époque qu’il alla une première fois en Angleterre.
Revenu en France, Henry Dupont, qui habitait 29 boulevard de Clichy, avait émis l’intention en novembre 1891 de publier un petit journal antimilitariste intitulé Le Troubade et sous-titré Journal des insoumis et des révoltés dont nous ignorons s’il est paru. Il avait sans doute collaboré aux trois numéros du journal Le faubourg (Paris, 1891) et était en 1892 l’imprimeur du journal affiche La Chronique Sociale (Paris, au moins un numéro le 17 mars 1892) rédigé par Paul Martinet. Individualiste il avait collaboré au journal publié à Londres par Bordes, Parmeggiani et Molas, L’International (Londres, 9 numéros de mai 1890 à janvier 1891). Dans le numéro 2, il écrivait “il semble juste, même aux yeux des plus ignorants que celui qui a faim doive prendre ce qu’il lui faut, là où il se trouve et tuer au besoin quiconque tenterait de s’opposer à son acte réparateur » et dans le numéro 3 “Vole, c’est ton devoir”. Ce journal, pour échapper à son interdiction de circulation en France, était paru sous des titres d’autres journaux existant tels La Tribune libre, L’Industrie française à Londres (n°8) ou supplément à Le Courrier de Londres et de l’Europe (n°9) (cf rapport de la direction de la sureté, 13 juin 1892).
Suite à une série de réunions publiques à l’été et l’automne 1892 (Epernay, Saint-Quentin, Roubaix, Lille, etc.) dont il avait été l’orateur et où il avait appelé à supprimer les patrons, à brûler les usines et, les conscrits, à tirer sur leurs officiers, Victor Dupont, avait été condamné par défaut le 11 novembre (cour d’assises de la Marne) avec Meunier (condamné à 6 mois), le 19 novembre (cour d’assises de l’Aisne) à Laon avec Fortuné Henry et le 23 novembre 1892 (Cour d’assises du Nord) à 2 ans de prison et 3000 francs d’amende pour « provocation au meurtre, au pillage et à la désobéissance de militaires ».
Le 27 août 1892, lors d’une réunion tenue sale du Cirque à Saint-Quentin, il avait notamment déclaré : " Je veux parler des grèves de Cool-Creak, en Amérique… Ceux-ci se sont révoltés quand même, et l’un d’eux, plus hardi que les autres, est allé, armé d’un pistolet, trouver le directeur et lui a brûlé la gueule, ce que vous ferez ici, dans quelques mois, j’en suis certain. A quoi ont abouti les grèves en France depuis quelque temps ? C’est tout au plus, si comme résultat, on peut citer Decazeville où Watrin a été tué Si vous n’arrivez pas à comprendre que toute grève doit être une grève de révolte, qu’il ne faut quitter l’atelier qu’après avoir tout brisé, le patron qu’après l’avoir tué, vous n’obtiendrez rien… Il faut être lâche pour accepter des galons, et encore le jour est proche où l’on tuera tous les traîneurs de sabre. Tuez l’armée, c’est-à-dire le Ministre, les officiers supérieurs, et épargnez les autres, nous ferons la révolution après … Le jour où on fusillera sur la place de Saint-Quentin, le général Lamorelle, on fusillera en même temps à Metz, le Lamorelle de là-bas”, propos qui lui valurent en novembre d’être condamné par défaut à 2 ans de prison et 500 frans d’amende.
Lors d’une autre réunion tenue le 11 septembre à Damery (Marne) organisée par le compagnon Anon sur le thème "socialisme et anarchie", il avait développé les idées émises par Le Père Peinard, avait appelé à la violence et à l’assassinat déclarant notamment : " Prenons les armes, fusillons tous les riches, tous les banquiers… débarrassons nous des magistrats et des fonctionnaires, brûlons les casernes et les prisons ; pillons les banques et les châteaux”. I aurait été à ctte époque rédacteur au Père Peinard.
Il fut arrêté le 18 janvier 1893 à Armentières au moment où il se rendait à une réunion publique. Remis en liberté après que le procureur lui ait notifié les condamnations, auxquelles il fit opposition, il continua de faire de la propagande dans la région et fut condamné un peu plus tard à 6 mois pour une lettre injurieuse écrite aux juges. La peine de 2 ans fut confirmée en appel le 10 février 1893. Ce même mois de février il tenait des propos particulièrement violents lors de réunions à Lille et, le 16 février à Armentières avant de passer le lendemain en Belgique. Le 7 mars 1893 il fut arrêté à Bruxelles pour infraction à un arrêté d’expulsion dont il avait été l’objet dès le 24 février précédent.
Dupont s’était alors réfugié à Londres où il résidait 29 Alfred Place, Bedford Square et faisait paraître une nouvelle série de L’International (Londres, au moins 3 numéros entre mai et juin 1893). Mais ce journal était dénoncé par Louis Matha en ces termes : “Les camarades de Londres, préviennent les compagnons du continent que le mouchard Coulon, démasqué dans le procès de Walsall (Angleterre), fait paraître un nouveau journal, L’Internationale (sic), avec la collaboration du nommé Dupont. Avis aux camarades ! ». (cf. La Révolte, 20 mai 1893). Dans une lettre adressée à Jean Grave, Dupont répondait le 27 mai : “Je n’en suis plus à faire mes preuves d’anarchisme, c’est assez dire que l’International est et reste anarchiste, sans chapelle. »
En 1894 la police pensait qu’il se dirigeait vers la frontière espagnole en faisant le photographe ambulant. Début 1896 il aurait habité Fitzroy Street à Londres avec Constant Martin.
Revenu à Paris, H. Dupont était à partir d’avril 1896 le gérant du quotidien individualiste La renaissance (Paris, 117 numéros du 24 décembre 1895 au 27 juillet 1896) dont le fondateur et principal animateur était Paul Martinet.