Goullencourt, qui résidait 4 rue Sénefontaine à Beauvais, avait été le 7 mars 1894 l’objet d’une perquisition à l’issue de laquelle il avait été maintenu en état d’arrestation. Il fut par la suite vendeur à la criée du Père Peinard. En novembre 1893 il avait effectué une période de 28 jours de service à Laon.
En février 1898 il avait été arrêté à Amiens avec une dizaine de compagnons – dont Desprez, Pechin, Bordenave, Pasquet, Dumont, Morel, Segard, Lebrun, Warin, Carlier – après avoir déclenché une bagarre lors d’une conférence organisée par les catholiques. Fin février il fut condamné à 1 mois de prison et ses camarades à des peines de 2 mois à 15 jours.
Le dimanche 10 mars 1901, à l’occasion de la mi-carême à Amiens, accompagné notamment de Calazel et sa compagne A. Marcellin, Lemaire, Dubourguet, les frères Émilien et Camille Tarlier, Carpentier, Pépin et Péchin, Goullencourt avait parcouru les rues de la ville à bord d’un char représentant Le Capital écrasant le travail d’où étaient jetés des papillons multicolores portant les inscriptions “A Bas le capital, Ni maître, ni valet !", "A bas l’autorité, Vive l’anarchie ! ", "L’armée est l’école du crime", "La femme est l’égale de l’homme", "La propriété c’est le vol, A bas la propriété”.