Bernstein était l’un des 12 ouvriers qui, le 9 octobre 1886, jour même de la condamnation à mort des anarchistes de Chicago (affaire de Haymarket), fondèrent le groupe Pionire der Frayhayt (Pionniers de la liberté), le premier groupe anarchiste juif de New York. Du 15 février au 15 juillet 1889, le groupe publia l’hebdomadaire Di Varhayt (La Vérité), le premier journal anarchite en yiddish aux États-Unis.