יוסף נולד ביום י”ב בחשוון תרצ”ג, 11 בנובמבר 1932 בירושלים. אביו, שלמה, היה קבלן בניין ואִמו, אסתר, עקרת־בית שגידלה את ששת ילדיה. יוסף סיים שמונה כיתות יסודי בבית־ספר “למל” ואחר־כך השלים לימודיו בבית־ספר ערב. היה חבר תנועת הנוער העובד.
חברו, שהשתייך ללח”י, שיכנע אותו להצטרף ואכן, בשנת 1946, בטרם מלאו לו 13, גויס לתנועה. היה בעל גוף חסון וחזות בוגרת והציג עצמו כבן 16, מחשש פן לא יתקבל בשל גילו הצעיר. הוא עסק בהדבקת כרוזים ועבר קורס לנשק־קל וחומרי חבלה. באחת מפעולות ההדבקה ברחוב הנביאים הופתעו, הוא וחבריו, על־ידי שוטרים בריטים. הם פתחו באש על הנערים הנמלטים ויוסף נפצע משני כדורים ברגלו הימנית. הוא נעצר ואושפז בבית־חולים כשמוצבת עליו שמירה. בטרם החלים, הועבר לבית־הסוהר המרכזי במגרש הרוסים, נחקר בעינויים קשים שבמהלכן איבד שתי שיניים. למרות גילו הצעיר, הוחזק במאסר שִבעה חדשים, אך לאחר שיחרורו המשיך לפעול במסגרת לח”י.
עם קום המדינה, בעודו בן 16, בלבד. התגייס לצה”ל, שרת בחיל־הרגלים והגיע לדרגת רב־סמל. אחרי שיחרורו החל לעבוד בבניין ובהמשך נעשה קבלן עצמאי. במשך עבודתו הדריך מתלמדים מטעם משרד העבודה במקצועות בניין שונים.
בשנת 1973 נשא לאִשה את מרים לבית סבגי, ולהם שלושה ילדים: דן, עתליה ואיתן.
יוסף פרש מעבודה והתגורר בירושלים.