Influenzato dagli insegnamenti di Mubarek el-Mili e desideroso di approfondire le sue conoscenze culturali e politiche, partì per Costantino. Nel 1945 Ben M'hidi aderì al Movimento degli Amici del Manifesto e della Libertà e partecipò al congresso del marzo 1945.
Durante la manifestazione dell'8 maggio 1945, Ben M'hidi fu arrestato e incarcerato nella prigione di Constantine. Dopo il suo rilascio, riprese la sua attività rivoluzionaria, non risparmiando sforzi per sensibilizzare la causa nazionale, praticando in particolare il teatro impegnato. Negli anni Cinquanta lasciò Costantina per Algeri e poi Orano. Al termine di quello che il nemico definì il "complotto del 1950", la polizia si mise alla ricerca.
Fu condannato in contumacia a dieci anni di prigione, dieci anni di esilio e dieci anni di privazione dei diritti civili. Per sfuggire alla polizia, Ben M'hidi ha dovuto cambiare costantemente la sua identità, cosa che gli è valsa il soprannome di Uomo dai venti volti. Nell'aprile 1954, Ben M'hidi partecipò alla costituzione del Comitato Rivoluzionario di Unità e Azione (CRUA) di cui divenne uno dei 22 membri.
Durante gli anni 1955 e 1956, Ben M'hidi partì per il Marocco e il Cairo come emissario della rivoluzione algerina. La sua attività si estese al giornalismo attivista come membro attivo della redazione di El Moudjahid. I suoi numerosi articoli e analisi costituiscono oggi documenti preziosi per comprendere la rivoluzione algerina. Rappresentò Oranie al Congresso di Soummam (20 agosto 1956), di cui presiedette la prima riunione. Al termine del congresso fu elevato al grado di colonnello, nominato membro del Comitato di coordinamento ed esecuzione e gli fu affidata la zona di Algeri. Fin dall'inizio lavorò per consolidare i gruppi dei fedayn, per rafforzare la coscienza politica dei leader locali e per organizzare la rete degli artificieri. Alla Casbah si sono svolti diversi incontri in cui Ben M'hidi ripeteva costantemente: "L'Algeria deve diventare un secondo Diên Bien Phu." Affermava anche: "Metti la Rivoluzione nelle strade e la vedrai raccolta e portata avanti da dodici milioni di uomini. » Fu con questo spirito che fu uno dei principali promotori del famoso "sciopero generale di otto giorni" nel gennaio 1957. Il 6 marzo 1957, il portavoce del governo generale ha tenuto una conferenza stampa e ha precisato che: “Ben M'hidi si è suicidato nella sua cella impiccandosi con brandelli della sua camicia. »
Il suo suicidio fu in realtà una mascherata per nascondere il suo assassinio da parte degli uomini di Bigeart, avvenuto presumibilmente nella notte tra il 3 e il 4 marzo 1957. Il 20 agosto dello stesso anno, il quotidiano EI-Maudjahid gli rende omaggio in questi termini: “Il nemico non ha guardato bene Ben M'hidi. Avrebbe capito l'inutilità di questa tortura, l'impossibilità di scuotere questo rivoluzionario per giorni e notti. Ben M'hidi è stato torturato atrocemente, su di lui sono state applicate tutte le invenzioni francesi, tutte le tecniche sadiche dei torturatori. Il corpo di Ben M'hidi, contuso, rotto e lussato, crollò, ma oggi sappiamo che la sua dignità intatta, il suo coraggio incrollabile e la sua energia riempirono di vergogna il nemico."
Il 23 febbraio 1957, Larbi Ben M'hidi fu arrestato dagli uomini di Bigeart in un appartamento in Avenue Claude-Debussy, dove stava passando.