Strana vznikla v roce 1990 jako nástupce Komunistické strany Československa (KSČ). Ta byla zákonem o protiprávnosti komunistického režimu a o odporu proti němu prohlášena za organizaci zločinnou a zavrženíhodnou.
Po jejím vzniku probíhala veřejná diskuse o legálnosti KSČM jako přímé nástupkyně KSČ. Václav Havel byl přesvědčen, že problematiku komunistické strany vyřeší čas a současné průzkumy naznačují, že měl pravdu.
Na sjezdu KSČM v roce 1993 byl zvolen předsedou Miroslav Grebeníček. Sjezd také rozhodl o zachování názvu strany.
Mezi lety 1993 a 1997 se počet členů KSČM propadl o více než 50% z 310 000 členů nanecelých 155 tisíc.
V únoru 1999 hlasovali poslanci KSČM pro zamítnutí novely zákona o mimosoudních rehabilitacích, jež by řešila navrácení majetku lidem, kteří neměli české občanství a trvalý pobyt, ale kterým byl v letech 1948–1990 majetek státem zkonfiskován.
V témže roce se snažili zabránit vstupu ČR do NATO, rovněž neúspěšně hlasovali proti poskytnutí českých letišť silám Severoatlantické aliance.
Roku 1995 se předsednické funkce ujímá současný předseda Vojtěch Filip.
V září 2009 byli místopředsedové KSČM Jiří Dolejš a Čeněk Milota tajně nahráni provokatérem deníku MF DNES, který se vydával za majitele sítě heren Jackpot. Oba byli údajně ochotni prosazovat změnu zákona o loteriích za úplatek ve výši jednoho milionu korun. Po zveřejnění kauzy Dolejš a Milota rezignovali na funkce místopředsedů KSČM.
V prosinci 2011 zemřel vůdce Severní Koreje Kim Čong-il. KSČM reagovala slovy svého předsedy Vojtěcha Filipa na úmrtí Kim Čong-ila kondolencí, ve které vyjádřila uznání, že se snažil o blaho Korejců.
Na konci roku 2013 měla KSČM zhruba 51 000 členů. Členskou základnu si strana přináší z doby před rokem 1989, průměrný věk členů byl 74 let a průměrný věk voliče byl 60 let.