Goullencourt, qui résidait 4 rue Sénefontaine à Beauvais, avait été le 7 mars 1894 l’objet d’une perquisition à l’issue de laquelle il avait été maintenu en état d’arrestation. Il fut par la suite vendeur à la criée du Père Peinard. En novembre 1893 il avait effectué une période de 28 jours de service à Laon.
En février 1898 il avait été arrêté à Amiens avec une dizaine de compagnons — dont Desprez, Pechin, Bordenave, Pasquet, Dumont, Morel, Segard, Lebrun, Warin, Carlier — après avoir déclenché une bagarre lors d’une conférence organisée par les catholiques. Fin février il fut condamné à 1 mois de prison et ses camarades à des peines de 2 mois à 15 jours.
Le dimanche 10 mars 1901, à l’occasion de la mi-carême à Amiens, accompagné notamment de Calazel et sa compagne A. Marcellin, Lemaire, Dubourguet, les frères Émilien et Camille Tarlier, Carpentier, Pépin et Péchin, Goullencourt avait parcouru les rues de la ville à bord d’un char représentant Le Capital écrasant le travail d’où étaient jetés des papillons multicolores portant les inscriptions « A Bas le capital, Ni maître, ni valet !”, “A bas l’autorité, Vive l’anarchie !”, “L’armée est l’école du crime”, “La femme est l’égale de l’homme”, “La propriété c’est le vol, A bas la propriété ».