La présence d’Ernest Soulage avait été signalée dans la Seine au début des années 1890. Il était considéré comme « dangereux ». Fin février 1893 son domicile, 12 rue Pernel, avait été l’objet d’une perquisition tandis qu’il était arrêté pour « association de malfaiteurs ». Le 1er janvier 1894, lors des rafles suivant l’attentat de Vaillant à la Chambre des députés, il avait été l’objet d’une nouvelle perquisition où la police avait saisi une photo de Ravachol, mais avait été laissé libre. Puis il s’était réfugié à l’été 1894 à Londres où il avait notamment été hébergé par Delebecque. Son nom figurait en 1894 sur une liste d’anarchistes établie par la police des chemins de fer en vue d’une surveillance aux frontières. En 1896 il fut arrêté à Paris rue de Turenne. Fin avril 1897 il s’était marié avec avec Marie, Angèle Assier, couturière.
En 1898 il fut signalé dans diverses réunions en faveur de Dreyfus.