Influenciado por las enseñanzas de Mubarek el-Mili y deseoso de profundizar sus conocimientos culturales y políticos, partió hacia Constantina. En 1945 Ben M'hidi se unió al Movimiento de Amigos del Manifiesto y la Libertad y participó en el congreso de marzo de 1945.
Durante la manifestación del 8 de mayo de 1945, Ben M'hidi fue arrestado y encarcelado en la prisión de Constantina. Tras su liberación, retomó su actividad revolucionaria, sin escatimar esfuerzos para sensibilizar a la causa nacional practicando, en particular, un teatro comprometido. Durante la década de 1950, dejó Constantina para trasladarse a Argel y luego a Orán. Al final de lo que el enemigo llamó el "complot de 1950", la policía lanzó una búsqueda en su busca.
Fue condenado in absentia a diez años de prisión, diez años de exilio y a la privación de sus derechos civiles durante diez años. Para escapar de la policía, Ben M'hidi tuvo que cambiar constantemente de identidad, lo que le valió el apodo de "El hombre de las veinte caras". En abril de 1954, Ben M'hidi participó en la constitución del Comité Revolucionario de Unidad y Acción (CRUA), del que pasó a ser uno de los 22 miembros.
Durante el congreso de este organismo en Argel, relativo a la organización política y militar del país, Ben M'hidi es nombrado jefe de la región occidental. Partidario del trabajo sobre el terreno, era el típico ejemplo de político activo. Además de su calidad de teórico de la revolución, estuvo omnipresente, organizando a la gente, repartiendo tareas, fijando objetivos...
Durante los años 1955 y 1956, Ben M'hidi partió hacia Marruecos y El Cairo como emisario de la revolución argelina. Su actividad se extendió al periodismo activista como miembro activo de la redacción de El Moudjahid. Sus numerosos artículos y análisis constituyen hoy documentos valiosos para comprender la revolución argelina.
Representó a Oranie en el Congreso de Soummam (20 de agosto de 1956), del que presidió la primera reunión. Al final del congreso, fue elevado al rango de coronel, nombrado miembro del Comité de Coordinación y Ejecución y se le confió la zona de Argel. Desde el principio, trabajó para consolidar los grupos fedayines, fortalecer la conciencia política de los líderes locales y organizar la red de bombas.
Se desarrollaron varias reuniones en la Casbah en las que Ben M'hidi repetía constantemente: “Argelia debe convertirse en un segundo Diên Bien Phu. » También afirmó: “Pon la Revolución en las calles y la verás retomada y llevada por doce millones de hombres. » Con este espíritu fue uno de los principales iniciadores de la famosa “huelga general de ocho días” en enero de 1957.
El 23 de febrero de 1957, Larbi Ben M'hidi fue detenido por los hombres de Bigeart en un apartamento de la avenida Claude-Debussy, por donde se encontraba de paso.
El 6 de marzo de 1957, el portavoz del gobierno general dio una conferencia de prensa e indicó que: “Ben M'hidi se suicidó en su celda ahorcándose con jirones de su camisa. »
Su suicidio fue en realidad una farsa para encubrir su asesinato por parte de los hombres de Bigeart, que supuestamente tuvo lugar la noche del 3 al 4 de marzo de 1957.
El 20 de agosto del mismo año, el periódico EI-Maudjahid le rindió homenaje en estos términos: “El enemigo no miró bien a Ben M'hidi. Habría comprendido la inutilidad de esta tortura, la imposibilidad de sacudir a este revolucionario durante días y noches.
Ben M'hidi fue torturado atrozmente, se le aplicaron todos los inventos franceses, todas las técnicas sádicas de los torturadores. El cuerpo de Ben M'hidi, magullado, roto y dislocado, se desplomó pero hoy sabemos que su dignidad intacta, su coraje inquebrantable y su energía llenaron de vergüenza al enemigo."