יוסף נולד ביום כ”ד בחשון תרס”ט, 18 בנובמבר 1908 בעיר אורדאה ברומניה לאמו אסתר ולאביו חיים שלמה גלדשטיין. המשפחה הייתה דתית מאוד (אביו היה בנו של סופר סת”ם). יוסף קיבל חינוך יהודי דתי, אבל במקביל גם למד וסיים בית־ספר תיכון. בגיל צעיר הצטרף לבית”ר בה היה פעיל מאוד. הוא אירגן את בית”ר בעירו והתמנה למזכיר התנועה. שאיפתו היתה לעלות לארץ־ישראל והוא חיפש כל הזמן דרכים להגשים שאיפה זו. ואכן, בשנת 1933 הצליח סוף־סוף להשיג סרטיפיקאט ועלה ארצה. זמן קצר אחרי בואו הצטרף להגנה.
לפרנסתו החל יוסף לעסוק באלקטרוניקה, הקים לו עסק קטן ובית־מלאכה לתיקונים ולחלפים, ובמשך הזמן הפך חלוץ יבואני חלקי ואביזרי אלקטרוניקה לארץ־ישראל.
בשנת 1932, עוד בהיותו ברומניה, נשא לאִשה את לאה לבית יוסט. לזוג נולדו שלושה ילדים: שני בנים – אחינועם ויהושפט, ובת – עפרה. להם תשעה נכדים וארבעה נינים.
השקפתו הפוליטית הייתה שיש להילחם בשלטון הבריטי עד לסילוקו מהארץ, ובשנות הארבעים הצטרף למחתרת לוחמי חרות ישראל. יוסף פעל רבות לקידום נושא האלקטרוניקה, אם לצורכי בניית תחנות שידור חשאיות, או לפיתוח אמצעי הפעלה אחרים. שידורי הרדיו החשאי של לח”י התאפשרו לא מעט הודות לסיועו ולעצתו המקצועית.
הוא הקים עסק בתל־אביב, שבמשך השנים הפך למפעל שנקרא “גבעון אלקטרוניקה”, בשנת 1950 הפך למפעל “יוסף גבעון ובניו” ובשנת 1972 ל”גבעון אלקטרוניקה בע”מ” וכן “גבעון סוכנויות בע”מ”. אחרי קום המדינה החל לעסוק כתחביב בבלשנות (21 מילים שחידש נתקבלו על־ידי האקדמיה למדעים). כתחביב רב שנים הוא עסק באיסוף וסידור הקיצורים (ראשי תבות) בשפה האנגלית בתחום החשמל, האלקטרוניקה, הטלקומוניקציה והמחשבים וערך מילון בן כחמשת אלפים קיצורים. במשך שנים רבות היה חבר ועד לשכת המסחר.
לאחר פטירת אשתו, נישא בשנית. יוסף נפטר ביום י”ג בתמוז תשנ”ז, 18 ביולי 1997, בשיבה טובה והובא למנוחות בבית־העלמין בקרית־שאול.
