Svoje první karikatury vytvořil Sempé v roce 1951, publikovat začal o tři roky později. Od roku 1959 spolupracoval se scenáristou René Goscinnym, který vytvořil texty jeho slavného Malého Mikuláše (Le Petit Nicolas). Poprvé načrtl svým lehkým stylem postavičku kluka na kole v první polovině padesátých let minulého století pro belgický časopis Le Moustique.
„Když jsme ve čtyřiadvaceti začínali, byli jsme šťastní, že máme vůbec nějakou práci. Zprvu jsme příběhy dělali pro malý provinční deník,“ vzpomínal před lety na návštěvě pražského veletrhu Svět knihy Sempé na zrození Malého Mikuláše a jeho přátel s tím, že pro něj už je to celé dávná historie.
Od úspěchu Malého Mikuláše a od roku 1962, kdy vydal své první album humoristických kreseb Nic není jednoduché, vydával Sempé každý rok novou knihu kresleného humoru. Malý Mikuláš byl přeložen do čtyřiceti jazyků a alba kresleného humoru vycházely ve dvaceti zemích.
Na dráhu ilustrátora se přitom Jean-Jacques Sempé dal vlastně náhodou. „Jako mladík jsem pracoval v továrně na žárovky, pak přišla vojna, a když jsem se vrátil, dlouho jsem nemohl najít práci. Abych nezešílel, začal jsem kreslit a pokoušel se vnutit své kresby do nejrůznějších časopisů,“ vzpomínal na dobu, kdy mu bylo 19 let a teprve hledal svůj strohý, ale na první pohled rozeznatelný styl. Jak sám říká, příliš talentu nepobral, svůj úspěch si musel odpracovat.
Ke knížkám o Mikulášovi choval později jejich spoluautor – který měl z partičky nejradši šprta Celestýna, otloukánka třídy – spíš rezervovaný vztah. „Pro mě mají stejný význam jako kterákoliv jiná kniha,“ řekl ilustrátor.