יוסף נולד ביום י’ בתשרי תרס”ט, 5 באוקטובר 1908 בשכונת “בתי הונגרן” בירושלים לאמו רבקה ולאביו מאיר. הוא התחנך במוסדות החינוך של הישוב הישן, אך לאחר־מכן רכש לעצמו השכלה כללית וגם המשיך את לימודיו באוניברסיטה כשומע חופשי. מגיל צעיר היה נאמן לרעיון הלאומי ובפרעות תרפ”ט הצטרף לארגון ההגנה. מאוחר יותר היה פעיל במחנה הלאומי.

בשנת 1928 (תרפ”ח) נשא לאשה את מרים לבית אליאך ולזוג נולדו חמישה ילדים ונכדים.

בימי מלחמת המחתרות בשלטון הבריטי, התגייס ללח”י. במשך שנים רבות היה מתנדב למשטרה המוספת בירושלים.

מגיל צעיר עסק רבות בכתיבה, בחקר ובאיסוף ידיעות על הארץ, עברה ותושביה. במיוחד התעניין בעיר ירושלים. הודות לשליטתו המלאה בשפה הערבית, למד להכיר את העיר העתיקה באופן יסודי ביותר וספק אם רבים הכירוה ביסודיות כשלו. הוא היה המזכיר הראשון של ‘החברה לחקירת ארץ־ישראל ועתיקותיה’, עסק גם בגאולת אדמות באזור ירושלים.

לאחר קום המדינה ושחרורו מצה”ל, המשיך יוסף בפעילותו במסגרות אחרות ובין היתר היה מזכיר “ברית ידידי הגר” (ארגון שעסק בטיפול בגרים). כן היה מפעילי “נאמני הר הבית”, ועוד פעילויות נוספות. יוסף אהב את ירושלים אהבה עזה ונאמנה במשך כל ימי חייו ולא נטש אותה אפילו ליום אחד, עד יום מותו בכ’ באדר תשל”ה, 3 במרץ 1975. הוא הובא למנוחת עולמים בבית־העלמין בהר הזיתים.