Né de père inconnu, sa mère se nommait Joséphine, Clémentine Gay. Antoine Gay participa à la Commune insurrectionnelle de Marseille en mars-avril 1871 et dut ensuite quitter la ville pour éviter la répression. En raison de sa participation à la Commune de Marseille, il fut condamné, le 16 janvier 1872, par le 8e conseil de guerre, à la déportation dans une enceinte fortifiée. À la Nouvelle-Calédonie, Antoine Gay fut encore une fois condamné, à un an de prison cette fois, pour tentative d’évasion. Le 17 mai 1879, il bénéficia de la remise de sa peine et rentra sur le navire La Loire. Revenu à Marseille, il y travailla comme colleur de papiers peints, puis séjourna, en 1891, à Sète, La Grand-Combe, Saint-Étienne, Genève où il était signalé au mois de mars.
Lors de son passage à Genève iavait fréquenté les compagnons Bordat et Philippot. Selon la police, ne trouvant pas de travail il jouait "de la mandoline avait mis à profit son talent de musicien et donnait chaque soir au Café Berthet, un concert avec quête, en compagnie de deux autres individus qu’il avait racolés à Carouge, mais la police étant intervenue ", il ait dû cesser ses concertes et avait décidé de renrer en France.

En janvier 1894, il fréquentait les milieux anarchistes marseillais et fut notamment l’assesseur de Sébastien Faure à l’occasion des conférences données par ce dernier. En 1897, il était alors devenu chanteur et musicien ambulant et était toujours surveillé par la police.

On retrouve sa trace après la Grande Guerre. Il adhéra alors au Parti communiste auquel il resta fidèle jusqu’à son décès à Moscou dans la nuit du 6 au 7 juin 1930 (Voir sa notice complète dans le Maitron)