בעיצומה של מלחמת העולם השנייה, שפרצה כשהיה ילד בן תשע, הצטרף יוסף שפירא לחבורת הילדים היהודים שמכרו סיגריות לחיילים גרמנים בכיכר שלושת הצלבים בוורשה. שפירא ניצל את העובדה כי שיערו ועיניו היו בהירים, וקיווה כי המראה החיצוני שלו יגן עליו מפני הגרמנים שארבו ליהודים בכל פינה.
את "עסקיו" ביצע בחלק הכיכר שהיה "גרמני טהור", כדבריו. שכנו שם בית החייל, בית קולנוע שהקרין סרטים גרמניים, רחוב שאיכלס גרמנים והוביל למסעדה גרמנית ושדרות שהובילו למטה הגסטפו."בחירת הכיכר היתה מוצלחת מבחינת ביטחוננו האישי, כי איש לא העלה על דעתו שבמקום כזה יעזו נערים יהודים לסחור בסיגריות עם חיילים גרמנים", כתב בספר זכרונותיו, "מעבר לחומות". מכירת הסיגריות סיפקה לו מקור פרנסה וגם כיסוי טוב. "כשאתה מוכר סיגריות אתה כבר לא משוטט. גם כששוטר תופס אותך, אז מקסימום הוא לוקח ממך את הסיגריות", אמר בראיון ל"הארץ" ב-2005.
הוא נולד ב-1930 למשפחה חרדית בת שישה ילדים. ב-1940, כשהוקם גטו ורשה, הוא ואחותו נהגו לצאת מהגטו ולהבריח לחם למשפחתם המורעבת. בהמשך מתו הוריו, אחותו ואחיו מטיפוס ומרעב. אחות נוספת שלו נשלחה באחת האקציות לטרבלינקה.
בסתיו 1943 יוסף ז'מיאן, שהיה מראשי אי"ל (ארגון יהודי לוחם) הבחין בשפירא ובחבריו בשעת עבודתם. ז'מיאן הופתע למצוא ילדים יהודים שחיים באזור גרמני בתקופה בה ורשה היתה אמורה להיות "נקייה מיהודים". הוא אימץ את שפירא וחברו, סייע להם למצוא מסתור ולקבל מסמכים מזויפים וכך שרדו את השואה.
"גבורה לא הספיקה כדי לשרוד, כי אחרי שעשית מעשה גבורה היית צריך להתמודד עם התוצאות", אמר שפירא ל"הארץ". ל"גבורה" הוא ביקש להוסיף את המילים "תעוזה", "מזל" ו-"אינסטינקטים" כהסבר אפשרי לכך ששרד.
"היו הרבה ילדים כמוני שברחו מהאקציות. היו עשרות קבוצות כאלה, אבל מרביתן לא שרדו. למה? כי מספיק שפולני אחד בסביבה היה אנטישמי והיה מודיע למשטרה וזהו, היו עושים מצוד ותופסים אותם", סיפר ל"הארץ". "אנחנו ניצלנו כי הבנו שאסור להתבלט ואסור לשוטט. אם רואים אותך משוטט בשכונה, אתה חשוד", הוסיף.
שלושה מבין הנערים שהיו חברים בחבורת מוכרי הסיגריות נתפסו על ידי הנאצים לקראת סוף המלחמה, ונרצחו. האחרים שרדו ורובם עלו לארץ. שפירא היה אחד מהם. את סיפורם תיעד ז'מיאן בספר "מוכרי הסיגריות מכיכר שלושת הצלבים", שיצא בהוצאת יד ושם ב-1962, וזכה להצלחה רבה. כך נחשפו ישראלים רבים לשפירא, שכונה בספר "קרנף" וכן לעלילותיהם של חבריו "שור", "בעל-שן" ובולוש הקטן.
אחרי המלחמה יצא בדרכו לארץ עם עליית הנוער. הניסיון הראשון נכשל, והוא גורש לקפריסין, אך בדצמבר 1947, אחרי ההצבעה ההיסטורית בכ"ט בנובמבר, הוא נכנס בשערי הארץ. כאן התאחד עם שתי אחיותיו, דבורה ומנוחה, ששרדו אף הן את השואה. עם אסתר, ניצולת שואה שהכיר בארץ, הקים משפחה. בצבא שירת כמכונאי בחיל הים ובהמשך עבר ב"אל על".
הוא הותיר את אשתו אסתר, שלוש בנות , שמונה נכדים ושלושה נינים.
