Fils d’Élisée et de Marie Désirée Roussel, Henry Dupont aurait appartenu à une riche famille bourgeoise. Il avait fait ses études au Lycée Condorcet où à l’âge de quinze ans il avait organisé une révolte des collégiens et avait fondé le journal Le Franc moineau qui « malmenait les pions, les recteurs et l’administration ».
En 1885 il résidait à Levallois-Perret, au 3 rue Danton, chez sa tante la veuve Bonnefonds. Il aurait hérité de ses parents décédés une assez importante somme d’argent. Cette même année 1886 1886 Henry Dupont dit Souvarine, était l’un des orateurs de la Ligue des antipatriotes avec notamment Joutant Rozier, Octave Jahn et Ferdinand Niquet. Comme ces derniers il s’était insoumis au service militaire et début décembre 1886 avait gagné Bruxelles où il s’était dit journaliste.
Début 1887 il demeurait à Ixelles, rue de Dublin. Il était alors dans une grande misère et l’Union des groupes anarchistes avait fait une collecte en sa faveur. Cette année 1887 il avait collaboré à plusieurs journaux bruxellois et aurait fondé en décembre avec l’aide de Sicard un éphémère journal d’informations Le Rapide. Selon les raports de la police belge « C’est un blond de petite taille qui a les manières d’un homme du monde ». En avril 1888 la police signalait qu’il était « sans le sou, à charge de son ami Gilles ». Le mois suivant Le journal Le Peuple (18 mai) annonçait que Dupont venait de s’associer avec Raphaël Adam, ancien pensionnaire du Théâtre Molière, pour créer un Théâtre libre à Bruxelles. Avec Sicart il aurait également fondé une éphémère agence téléphonique de presse.
En 1888, suite à l’intervention d’amis influents, il aurait été nommé attaché d’ambassade (comme secrétaire du gouverneur de la Sibérie ?), poste qu’il occupa pendant quarante huit heures. Le jour même de la publication de sa nomination au Journal Officiel il avait organisé avec Louise Michel une réunion à Saint-Ouen. Au cours de la réunion deux mouchards avaient été rossés, des coups de feu tirés et Dupont arrêté, poursuivi mais non condamné faute de preuves.
A la fin des années 1880 il avait été embauché à l’ Agence de presse Dalziel où il fut l’organisateur d’une grève et collaborait étroitement avec le compagnon Marius Tournadre (voir ce nom). Avec ce dernier, il avait, selon la police, pris en charge et fourni du travail à plusieurs illégalistes dont Letellier, Grenotté et Schouppe.
A l’automne 1892 et début 1893 il faisait une tournée de propagande dans le Nord (Lille, Ropubaix, Armentières…).
Le 28 octobre 1892 il avait été condamné pour outrages au commissaire de police dans une réunion publique. En novembre 1892 il avait été condamné par défaut à Douai (Nord) à 2 ans de prison et 3000 francs d’amende pour, avoir appelé au « pillage et à l’incendie » et les soldats à la désobéissance à leurs chefs. Vers le 20 janvier 1893 il avait été arrêté à Armentières où il devait tenir une réunion à la Brasserie Humanitaire, puis, après qu’il lui ait été notifié les condamnations par défaut dont il était l’objet, avait été remis en liberté le 22 janvier. A Roubaix, en février 1893, il avait notamment déclaré que « L’armée était une bande d’inconscients menée par des crapules qu’il faut tuer au plus vite ». Il avait ajouté que si des tirés au sort devaient être soldats « si un jour ils doivent mettre une balle dans leur fusil, que ce soit pour les officiers qui les commandent et qu’ils en aient d’autres pour la bourgeoisie. »
Revenu en France, Henry Dupont, qui habitait 29 boulevard de Clichy, avait émis l’intention en novembre 1891 de publier un petit journal antimilitariste intitulé Le Troubade et sous-titré Journal des insoumis et des révoltés dont nous ignorons s’il est paru. Il avait sans doute collaboré aux trois numéros du journal Le Faubourg (Paris, 1891) et était en 1892 l’imprimeur du journal affiche La Chronique sociale (Paris, au moins un numéro le 17 mars 1892) rédigé par Paul Martinet. Individualiste il avait collaboré au journal publié à Londres par Bordes, Parmeggiani et Molas, L’International (Londres, 9 numéros de mai 1890 à janvier 1891). Dans le numéro 2, il écrivait « il semble juste, même aux yeux des plus ignorants que celui qui a faim doive prendre ce qu’il lui faut, là où il se trouve et tuer au besoin quiconque tenterait de s’opposer à son acte réparateur » et dans le numéro 3 « Vole, c’est ton devoir ». Ce journal, pour échapper à son interdiction de circulation en France, était paru sous des titres d’autres journaux existant tels La Tribune libre, L’Industrie française à Londres (n°8) ou supplément à Le Courrier de Londres et de l’Europe (n°9) (cf rapport de la direction de la sureté, 13 juin 1892).
Suite à une série de réunions publiques à l’été et l’automne 1892 (Epernay, Saint-Quentin, Roubaix, Lille, etc.) dont il avait été l’orateur et où il avait appelé à supprimer les patrons, à brûler les usines et, les conscrits, à tirer sur leurs officiers, Victor Dupont, avait été condamné par défaut le 11 novembre (cour d’assises de la Marne) avec Meunier (condamné à 6 mois), le 19 novembre (cour d’assises de l’Aisne) à Laon avec Fortuné Henry et le 23 novembre 1892 (Cour d’assises du Nord) à 2 ans de prison et 3000 francs d’amende pour « provocation au meurtre, au pillage et à la désobéissance de militaires ».
Le 27 août 1892, lors d’une réunion tenue sale du Cirque à Saint-Quentin, il avait notamment déclaré : « Je veux parler des grèves de Cool-Creak, en Amérique… Ceux-ci se sont révoltés quand même, et l’un d’eux, plus hardi que les autres, est allé, armé d’un pistolet, trouver le directeur et lui a brûlé la gueule, ce que vous ferez ici, dans quelques mois, j’en suis certain. A quoi ont abouti les grèves en France depuis quelque temps ? C’est tout au plus, si comme résultat, on peut citer Decazeville où Watrin a été tué Si vous n’arrivez pas à comprendre que toute grève doit être une grève de révolte, qu’il ne faut quitter l’atelier qu’après avoir tout brisé, le patron qu’après l’avoir tué, vous n’obtiendrez rien… Il faut être lâche pour accepter des galons, et encore le jour est proche où l’on tuera tous les traîneurs de sabre. Tuez l’armée, c’est-à-dire le ministre, les officiers supérieurs, et épargnez les autres, nous ferons la révolution après … Le jour où on fusillera sur la place de Saint-Quentin, le général Lamorelle, on fusillera en même temps à Metz, le Lamorelle de là-bas », propos qui lui valurent en novembre d’être condamné par défaut à 2 ans de prison et 500 frans d’amende.
Lors d’une autre réunion tenue le 11 septembre à Damery (Marne) organisée par le compagnon Anon sur le thème « socialisme et anarchie », il avait développé les idées émises par Le Père Peinard, avait appelé à la violence et à l’assassinat déclarant notamment : « Prenons les armes, fusillons tous les riches, tous les banquiers… débarrassons nous des magistrats et des fonctionnaires, brûlons les casernes et les prisons ; pillons les banques et les châteaux ». Il aurait été à cette époque rédacteur au Père Peinard.
Il fut arrêté le 18 janvier 1893 à Armentières au moment où il se rendait à une réunion publique. Remis en liberté après que le procureur lui ait notifié les condamnations, auxquelles il fit opposition, il continua de faire de la propagande dans la région et fut condamné un peu plus tard à 6 mois pour une lettre injurieuse écrite aux juges. La peine de 2 ans fut confirmée en appel le 10 février 1893. Ce même mois de février il tenait des propos particulièrement violents lors de réunions à Lille et, le 16 février à Armentières avant de passer le lendemain en Belgique : le 9 février 1893, après avoir signé un pourvoi en cassation, Dupont était repassé en Belgique et s’était nstallé au hameau de Ploegsteert — Haute Loge, au hameau de la Petite Flandre (à quelques mètres de Houplines, Nord) où il avait l’intention d’ouvrir un estaminet appelé Au Château La Dêche. Il aurait été rejoint à cette époque par l’ancienne compagne de Marc Druard (voir ce nom). Toutefois, selon une lettre du bourgmestre, il avait pour concubine Hubertine Winbomont, épouse Minet (née le 3 juin 1856). Dans une note du 21 février le bourgmestre demandait à « en être débarrassé le plus tôt possible, il fait la trreur des habitants ». Le 24 février il lui était enjoint de « quitter immédiatement le Royaume avec défense d’y rentrer à l’avenir », arrêté qui lui fut notifié le 1er mars. Le 6 mars il avait écrit au Ministre de la justice belge pour demander un sursis, arguant qu’il était expulsé sur « La demande du gouvernement français » et qu’il avait « pendant trois ans habité le Royaume sans qu’aucun reproche puisse m’être adressé. ».
Le 7 mars 1893 il fut arrêté à Bruxelles pour infraction à un arrêté d’expulsion dont il avait été l’objet dès le 24 février précédent, après avoir obtenu un sursis de 15 jours, il avait été obligé de partir pour l’Angleterre via Ostende. Le 8 mars à Ostende il était embarqué sur le paquebot Prince Albert à destination de Douvres.
Dupont s’était alors réfugié à Londres où il résidait 29 Alfred Place, Bedford Square et faisait paraître une nouvelle série de L’International (Londres, au moins 3 numéros entre mai et juin 1893). Mais ce journal était dénoncé par Louis Matha en ces termes : « Les camarades de Londres, préviennent les compagnons du continent que le mouchard Coulon, démasqué dans le procès de Walsall (Angleterre), fait paraître un nouveau journal, L’Internationale (sic), avec la collaboration du nommé Dupont. Avis aux camarades ! ». (cf. La Révolte, 20 mai 1893). Dans une lettre adressée à Jean Grave, Dupont répondait le 27 mai : « Je n’en suis plus à faire mes preuves d’anarchisme, c’est assez dire que L’International est et reste anarchiste, sans chapelle. »
En 1894 la police pensait qu’il se dirigeait vers la frontière espagnole en faisant le photographe ambulant. Début 1896 il aurait habité Fitzroy Street à Londres avec Constant Martin.
Revenu à Paris, H. Dupont était à partir d’avril 1896 le gérant du quotidien individualiste La Renaissance (Paris, 117 numéros du 24 décembre 1895 au 27 juillet 1896) dont le fondateur et principal animateur était Paul Martinet.