יהושע נולד ביום ט”ז בתשרי תר”ף, 10 באוקטובר 1919 בתל אביב לאביו אלתר, יליד רוסיה ולאמו מרים לבית פרטקובסקי, ילידת שפיה, ממשפחת חקלאים. יהושע היה ה־8 מבין 9 ילדי המשפחה. בית אביו היה בית דתי, רב המשפחה היה הרב קוק.
סבו, דוד זליבנסקי עלה מרוסיה ב־1880 מהעיירה נַווַרֶדוֹק, בה הייתה הישיבה המפורסמת “נַווַרֶדוֹקֶר ישיבה”. היה בין מקימי השכונה נווה צדק בצפון יפו, בה הקים את המאפיה הראשונה, שהפכה לימים לתעשיית המצות הגדולה בארץ “מצות דוד זליבנסקי ובניו”.
יהושע למד בתלמוד תורה “שערי תורה” בנווה שלום והמשיך בבית הספר התיכון למסחר “גאולה”. בגיל 15 היה שחקן כדורגל בתנועת “המכבי”, ולאחר שהצטרף לתנועת בית”ר, עבר גם לשחק בקבוצת בית”ר, ושיחק בה במשך כ־10 שנים. לימים זכתה בית”ר בליגה ובגביע הארצישראלי, ועל אף כך קיבלו מברק ברכה מז’בוטינסקי. היה חבר ב”ברית נוער המרי” של “ברית הבריונים”, בהנהגתו של אבא אחימאיר והיה בין הראשונים ששברו את ההבלגה.
בשנות השלושים, הגה יאיר תכנית, שדנו בה בישראל, להקים “צבא עברי” שיתאמן בפולין במטרה לכבוש את הארץ. בעניין זה נפגש יהושע יחד עם צ’סלר – מפקד קורס הסמלים של בית”ר, עם הקונסול הפולני אוליאניצקי.
תכנית זו החלה לקרום עור, וגידים ומספר קורסים של האצ”ל התקיימו בהרי הטטְרה בפולין. אך עם פרוץ מלחמת העולם ה־II בא הקץ לחלום זה.
עם ייסודה של לח”י הצטרף עם מספר חברים. יחד עם חברו “שמואל” – יהודה הלוי, פיתח חומר נפץ שהפך לתעשייה של לח”י, וגרם למפנה כביר במלחמה בבריטים ואחר כך בערבים. פעילות זו נעשתה בחדר על גג בית הוריו ברחוב שבזי 65 בתל אביב, מהחומר הזה גם נתנו 2 טונות ל”הגנה” בירושלים. כל העת הזאת היה בית הוריו בסכנה.
בשנת 1942 נשא לאשה את חברת לח”י פנינה לבית וכטל, ילידת פולין, אותה הכיר בפעילותם המשותפת בבית”ר. היא ציירת ידועה, נשיאת כבוד של “ארגון הפסלים והציירים” – רמת־גן, גבעתיים. להם 3 בנים ונכדים.
יהושע התגייס לצה”ל במסדר ההתגייסות של לח”י בשייח מוניס, שירת בגדוד 82 של חטיבה 8 והקים את קבוצת הכדורגל בחטיבה.
לפרנסתו עבד בבית החרושת למצות של המשפחה. כתב ספר על תולדות משפחתו: “תל אבי – תל אביב”. לאחר מכן עסק בפיסול קרמי. בחצר ביתו בגבעתיים ממוקמים פסלים בגודל טבעי, ביניהם הפסלים של פיינשטיין וברזני וכן של חכים ובית צורי.
יהושע נפטר ביום ג’ בכסלו תשס”ח, 23 בנובמבר 2007 והובא למנוחות בבית העלמין בנחלת יצחק.