יוסף נולד בשנת 1912 בכפר טאלמאן במחוז בנדר בבסרביה, לאביו פסח ולאמו רוזה, משפחת איכרים יהודית. הוא גדל ולמד בעיר בנדר. מילדותו היה פעיל בתנועת הנוער מכבי ונמנה על צוות המדריכים הצעירים והמצטיינים שלה. מאז הלך והשתלב בחיים הציבוריים הלאומיים ובשנת 1929 היה בין מייסדיו של קן בית”ר בעיר ומפקדו. במסירותו הרבה הצליח להעלות את הסניף לרמה של אחד הסניפים הטובים ביותר בתנועת בית”ר העולמית.
בשנת 1933 עלה יוסף ארצה והשתקע בנתניה. הוא עבד בבניין, היה בין מייסדי הסתדרות העובדים הלאומיים ועמד בראש הסניף בנתניה עד פרוץ מלחמת העולם השנייה. יוסף היה בין המתנגדים הנחרצים לקו שיתוף הפעולה של הצה”ר והאצ”ל עם האנגלים, וכתוצאה מהתנגדותו זו, פרש מהמפלגה הרוויזיוניסטית, בה היה חבר שנים רבות. בשנת 1939 נשא לאשה את יוציקה יהודית לבית ויצן ולזוג נולד בן, נדיב.
יוסף היה בין הראשונים שתמכו ביאיר ובתורתו ובמשך כל שנות המחתרת סייע ככל יכולתוֹ ללח”י. הוא היווה במידה רבה בסיס מוצק של המחתרת בנתניה. תמך במחתרת תמיכה חומרית, ביתו שימש מקלט למבוקשים על ידי הבולשת הבריטית, כן פעל לגיוס חברים וליצירת קשרים עם גורמים שלמחתרת היה עניין בהם לצרכיה. למרות פעילותו, כל החיפושים שנערכו בביתו ובמשרדו, לא הביאו למאסרו, כי תמיד ידע להתחמק מהבריטים.
סמוך לקום המדינה היה יוסף לאחד הפעילים בהקמת “מפלגת הלוחמים”, מיסודה של לח”י בנתניה. הוא נאסר על ידי משטרת ישראל ב־18 בספטמבר 1948, בגל מאסר חברי לח”י ברחבי הארץ, בעקבות הריגתו של מתווך האו”ם, הרוזן השוודי פולקה ברנדוט, בירושלים, על ידי קבוצת חברי לח”י. יחד עם יתר חברי לח”י אשר נעצרו עמו, עבר את גלגולי המעצר, תחילה ביפו, ואחר בעכו ובכלא ג’למה. לאחר שביתת הרעב והחנינה שניתנה לכל העצורים, חזר לפעילותו בנתניה.
יוסף היה אדם בעל מזג טוב, מלא אהבת חיים ותמיד עליז. ביום כ”ו בתמוז תש”ט, 23 ביולי 1949, יצא לשחות בימה של נתניה, לא הרחק מביתו, עם אשתו ובנו הקטן, ומצא את מותו בטביעה. הובא למנוחות בבית העלמין בנתניה.