יוסף נולד ב־1926 בתימן להוריו חנה ומחפוז. משפחתו עלתה לארץ ב־1933 ממניעים דתיים ולאומיים, היו להם ארבעה ילדים. המשפחה גרה ביפו, האב עסק במסחר.
בפרוץ המאורעות ב־1936, עברה המשפחה לכפר־סבא, שם עסק האב בחקלאות ובבניין. האם היתה עקרת־בית ועבדה במשק־בית. כאשר סיים יוסף את לימודיו בבית־הספר העממי למד ועבד בליטוש יהלומים בנתניה, וכנער צעיר עזר בפרנסת המשפחה.
בשנת 1938 הצטרף לבית”ר, ב־1939 התגייס לאצ”ל ועם הפילוג הצטרף ללח”י.
יוסף פעל בכפר־סבא ובסביבה, עסק בהדבקת כרוזים והפצת חומר הסברה, עבר קורס לנשק ועסק בהעברת נשק ובמעקב אחר חיילים בריטים. הוריו ובני משפחתו לא ידעו על פעילותו במחתרת. נעצר בנתניה בבית־החרושת ליהלומים, בו עבד, בעקבות הלשנה. הועבר לטול־כרם ומשם לירושלים והוחזק כשנה בלטרון.
הוגלה על־ידי הבריטים בשילוח ה־8 של עצורים מן הארץ לאפריקה, בקבוצה של 55 גולים. היה במעצר בגלות החל מ־20 בדצמבר .1945 הוחזק במחנות סמבל ליד אסמרה, באריתריאה, בגילגיל בקניה. שוחרר מן המחנה בקניה ב־11 במרץ 1948 והוחזר לארץ.
התגייס לצה”ל בגיוס הכללי של הלח”י בשייח־מוניס ושירת בגדוד 82, בשריון. השתתף בקרבות לוד ורמלה, בפריצה לנגב, בכיבוש באר־שבע, ועוד. נפצע בראשו ביהודיה, כאשר המשורין בו היה נפגע. אחרי טיפול ושהייה בבית־חולים חזר לשרת ביחידתו. הוכר כנכה צה”ל.
לאחר שיחרורו מצה”ל חזר לעסוק בליטוש יהלומים בנתניה. בשנת 1960 נשא יוסף לאִשה את יונה לבית כורש, בת כפר־סבא, שעבדה בקופת־חולים לאומית. להם חמישה ילדים.