ירמי נולד ב- 4 לדצמבר 1932 בברטיסלבה שבצ'כוסלובקיה, להוריו לידיה ויוחנן וייס, ונקרא בשם רוברט. עד פרוץ מלחמת העולם השניה התנהלו חייו בנחת ובאושר. עם פרוץ המלחמה עברו ההורים והילד הצעיר להונגריה, ובכך החלה מסכת נדודים ארוכה, כשהם בורחים מהגרמנים ממדינה למדינה.
בשנת 1944 נלקח האב למחנה ריכוז שממנו לא שב. ירמי, אמו וחמישה קרובי משפחה הסתתרו במרתף אצל גוי, בעיר ניטְרָה, במשך שבעה חודשים, תוך סיכון חייהם וחיי מצילם. אחרי המלחמה קיבל הגוי המציל תעודת "חסיד אומות העולם" ועץ ניטע על שמו בשדירת חסידי אומות העולם שב"יד ושם".
תנאי החיים במרתף היו קשים מאד. אי-אפשר היה לעמוד, רק לשבת או לשכב, בחשיכה מוחלטת. מצילם הביא להם אוכל פעם ביום ועדכן אותם בחדשות מהמלחמה.
לאחר השחרור מהגרמנים החלו החיים לחזור למסלולם. ירמי למד בבי"ס תיכון והצטרף לתנועת השומר הצעיר, שם קיבל את שמו העברי – ירמיהו.
בשנת 1949, כאשר המשטר הקומוניסטי עלה לשלטון, עלה ירמי ארצה במסגרת עליית הנוער, והגיע עם קבוצתו "אל-על", שמנתה 70 נערים ונערות, לקיבוץ מענית. הנערים והנערות למדו ועבדו עד גיוסם לצה"ל. לאחר השחרור מהצבא חזר ירמי לקיבוץ והקים משפחה עם מרים, שאותה הכיר עוד במושבות הקיץ והחורף של השומר הצעיר בצ'כוסלובקיה, ואיתה עלה ארצה.
1