יוסף נולד בחודש יוני 1929 (תרפ”ט) בפתח תקוה להוריו אסתר ושלמה מזרחי. האב, שלמה, יליד כורדיסטאן, עלה לארץ ישראל בתקופת העלייה השנייה. היה כורם בזיכרון יעקב ולאחר מכן שומר בפתח תקוה. האם, אסתר, ילידת אור־כשדים (אורפא, כיום) שבתורכיה, הייתה עקרת בית וגידלה את חמשת ילדיהם. ההורים היו ציונים, מסורתיים, עם נטיה לימין המפה הפוליטית, וברוח זו חינכו את ילדיהם. יוסף למד בבית הספר היסודי־חרדי “שארית ישראל”, המשיך בבית הספר הלאומי־דתי “נצח ישראל”, ולאחר מכן בבית ספר מקצועי.
היה חבר בתנועת בית”ר ושימש כמדריך בתנועה. בשנת 1947, בהיותו בן 16, התגייס ללח”י. האחראי על האזור היה חגי אשד. יוסף השתתף בהדבקת כרוזים ובכמה פעולות התרמה. עבר אימונים בנשק בשעריה, ליד מחנה יהודה, ובפרדסים ליד תל־ליטוינסקי.
אחיו הבכור, דוד, היה שומר, והתגייס לחיל הנוטרים. אחיו אברהם היה חבר באצ”ל, נתפס בליל ההלקאות, ועונה למות באותו לילה. אחיו השלישי, מיכאל, נרצח בידי פורעים ערבים.
בשנת 1948 גויס לצה”ל יחד עם חברי לח”י בשייח־מוניס. במלחמת העצמאות שרת בחטיבה 8, גדוד 82, בדרגת סמל. השתתף במבצע “דני”, כיבוש שדה התעופה לוד, בני עטרות, יהודיה, סקיה א’ ו־ב’ (כיום אור יהודה). השתתף בפריצת הדרך לנגב, כיבוש משטרת עיראק סואידן, כיבוש באר שבע ועוג’ה אל חפיר. שוחרר משירותו בצה”ל בשנת 1949 עם תום מלחמת העצמאות. במילואים שרת באותו גדוד, ומאוחר יותר בגדוד אבטחה של חיל האויר. שוחרר משירות מילואים בגיל מבוגר.
בחודש מרס 1954 נישא למרים לבית לביא, עולה חדשה מטוניס, שהכיר במעברה. להם חמישה ילדים ושבעה נכדים. בנם דניאל נפל במלחמת “שלום הגליל” ולזכרו הוקם בית הכנסת “יד דניאל” בפתח תקוה, שבו, בנוסף לתפילה יום־יומית, מתקיימים גם שיעורי תורה.
אחרי השחרור מצה”ל, עבד בבית החרושת “טית־בית” לייצור שמנים, וכיהן כמזכיר ועד העובדים במפעל.
יוסף היה חדור אידאולוגיה ציונית ואהבת המולדת. חבר הליכוד. כאדם דתי, חש קירבה רבה למפד”ל. עסק בפעילות התנדבותית, עזר לידידיו והיה אב מסור וחם לילדיו.
נפטר ביום כ”ד בשבט תש”ס, 31 בינואר 2000 והובא למנוחות בבית העלמין “סגולה” בפתח תקוה, עיר הולדתו.