יוסף נולד בשנת 1926 בתימן להוריו חנה ומחפוז. משפחתו עלתה לארץ בשנת 1933 ממניעים דתיים ולאומיים, היו להם ארבעה ילדים. המשפחה גרה ביפו, האב עסק במסחר.
בפרוץ המאורעות בשנת 1936, עברה המשפחה לכפר סבא, שם עסק האב בחקלאות ובבניין. האם הייתה עקרת בית ועבדה במשק בית. כאשר סיים יוסף את לימודיו בבית הספר העממי למד ועבד בליטוש יהלומים בנתניה, וכנער צעיר עזר בפרנסת המשפחה. בשנת 1938 הצטרף לבית”ר, בשנת 1939 התגייס לאצ”ל ועם הפילוג הצטרף ללח”י.
יוסף פעל בכפר סבא ובסביבה, עסק בהדבקת כרוזים והפצת חומר הסברה, עבר קורס לנשק ועסק בהעברת נשק ובמעקב אחר חיילים בריטים. הוריו ובני משפחתו לא ידעו על פעילותו במחתרת. נעצר בנתניה בבית החרושת ליהלומים, בו עבד, בעקבות הלשנה. הועבר לטול־כרם ומשם לירושלים והוחזק כשנה בלטרון.
הוגלה על ידי הבריטים בשילוח ה־8 של עצורים מן הארץ לאפריקה, בקבוצה של 55 גולים. היה במעצר בגלות החל מיום 20 בדצמבר 1945 הוחזק במחנות סמבל ליד אסמרה, באריתריאה, בגילגיל בקניה. שוחרר מן המחנה בקניה ביום 11 במרץ 1948 והוחזר לארץ.
התגייס לצה”ל בגיוס הכללי של לח”י בשייח־מוניס ושירת בגדוד 82, בשריון. השתתף בקרבות לוד ורמלה, בפריצה לנגב, בכיבוש באר שבע, ועוד. נפצע בראשו ביהודייה, כאשר המשוריין בו היה נפגע. אחרי טיפול ושהייה בבית חולים חזר לשרת ביחידתו. הוכר כנכה צה”ל.
לאחר שחרורו מצה”ל חזר לעסוק בליטוש יהלומים בנתניה. בשנת 1960 נשא יוסף לאִשה את יונה לבית כורש, בת כפר סבא, שעבדה בקופת חולים לאומית. להם חמישה ילדים.
יוסף נפטר ביום ט”ז בטבת תשע”ח, 3 בינואר 2018 והובא למנוחות בבית העלמין בנתניה, חלקת אצ”ל וניל”י