In die Kritik geraten ist § 129 StGB insbesondere wegen der Weite des Tatbestandes. Nahezu jede Tätigkeit, die eine kriminelle Vereinigung in irgendeiner Weise unterstützt, ist unter Strafe gestellt. Dabei musste die Vereinigung weder existieren noch jemals aktiv geworden sein. Auch was als kriminell, beziehungsweise terroristisch im Sinne der §§ 129, 129 a StGB angesehen wird, ist nicht klar definiert und hängt, wie die Geschichte zeigt, häufig von den politischen und gesellschaftlichen Rahmenbedingungen ab. Wegen der Konturenlosigkeit des Tatbestandes ist es unter Strafjuristen ein gängiger Witz, von Zusammentreffen eines Steuerberaters mit einem GmbH-Geschäftsführer und einem Rechtsanwalt abzuraten, da allein ein solches Treffen schon den Anfangsverdacht der Bildung eines Vereinigungsdelikts nach § 129 StGB beinhalte, was zu erheblichen Folgen bei den am Treffen Beteiligten führen könne:
In der Tat werden durch den Anfangsverdacht einer Straftat nach §§ 129, 129 a StGB die Befugnisse der Strafverfolgungsbehörden (Staatsanwaltschaft, Polizei) im Ermittlungsverfahren stark ausgeweitet. Häufig wird der Verdacht einer Kriminellen Vereinigung dazu benutzt, umfangreiche Ermittlungen einzuleiten. Ergebnis dieser Ermittlungen sind häufig aber nur Anklagen wegen „normaler“ Delikte durch die bei den Ermittlungen gewonnenen Zufallsfunde. § 129(2)1 StGB nimmt explizit politische Parteien davon aus, solange sie nicht für verfassungswidrig befunden wurden. Die bloße Gründung einer politischen Partei müsste demnach immer den Anfangsverdacht des § 129 StGB erfüllen. Hier werden der Kritik zufolge Grenzen der Wehrhaftigkeit einer freiheitlich orientierten Demokratie erreicht, die ständiger Auslotung bedürfen, insbesondere wenn die Wehrhaftigkeit sich totalitärer Mittel bedient (siehe auch die Diskussion um die Tätigkeiten ausländischer Geheimdienste in Europa und die juristische Behandlung dieser Tatbestände).

Der § 129 StGB zählt zu den Katalogstraftaten im Ausländergesetz, Asylverfahrensgesetz, Vereinsgesetz, Betäubungsmittelgesetz und Waffengesetz. Zu den Sonderbefugnissen, die der Anfangsverdacht bei §§ 129, 129 a StGB eröffnet, gehören insbesondere die Postkontrolle und Telefonüberwachung (§ 100a StPO), langfristige Observationen (§§ 100c StPO Abs. 1 a b und 163f StPO), der systematische Einsatz von V-Leuten und verdeckten Ermittlern (§ 110a StPO bzw. § 110c StPO), die Rasterfahndung, des Weiteren die 1994 eingeführte und 1999 ausgelaufene Kronzeugenregelung (§ 129 Abs. 2 StGB alte Fassung) und seit 1998 auch der Große Lauschangriff in und aus Wohnungen (§ 100c Abs. 1, Nr. 3 StPO). Darüber hinaus unterliegt das Vermögen des Beschuldigten bei Erhebung der Klage der Beschlagnahme (§ 443 StPO).

Auch das politische Ungleichgewicht bei den Ermittlungen wird immer wieder kritisiert. Hierzu stellte die Bundestagsfraktion von Bündnis 90/Die Grünen 1996 eine Kleine Anfrage im Bundestag. Dabei ergab sich, dass zwischen 1990 und 1996 1116 Ermittlungsverfahren gegen linke Gruppierungen, aber nur 23 Ermittlungsverfahren nach § 129 StGB gegen rechte Gruppen eingeleitet wurden.