יוסף נולד בתימן בשנת 1924 לאביו עמרם ולאִמו לאה. המשפחה עלתה ארצה בשנת 1935 והתיישבה בתל־אביב, בכרם התימנים. שנה לאחר הגיעם ארצה פרצו מאורעות תרצ”ו (1936), שהחלו בשכונות ספר והתפשטו על־פני כל הארץ. כרם התימנים ותושביו היו מיעדי ההתנקשויות של הפורעים הערבים, וכך, בדרך הקשה, ספגו בני משפחת שרעבי פרק בתולדות יחסי ישראל–ערב.
יוסף למד את מקצוע הריצוף ועסק בו עד אשר התגייס לצבא הבריטי בימי מלחמת העולם השניה. דווקא השרות בצבא הבריטי הבהיר לצעירים יהודים ארצישראלים רבים, וביניהם גם יוסף שרעבי, כי לא את טובת עם ישראל – שנטבח למיליוניו בעת ההיא בעוד שערי הארץ נעולים – דורש השלטון הבריטי. וכך, לאחר שפשט את מדי הצבא הזר, הובילה דרכו של יוסף אל לוחמי חרות ישראל. כאן, במחתרת, הוסיף יוסף לשמו התימני גם שם עברי: ניצני, נוסף על כינויו המחתרתי: יחיאל.
מלחמת יוסף וחבריו בשלטון הזר צלחה, ושלטון המנדט הבריטי בארץ הגיע לסוף דרכו. עתה פרצה המלחמה נגד האויב הערבי. יוסף פעל עם חבריו נגד הכנופיות הערביות במסגרת החטיבה העצמאית של לח”י, ולאחר קום המדינה התגייס יחד עם אנשי לח”י לצבא ההגנה לישראל.
יוסף הוצב בפלוגה א’ בגדוד הקומנדו 81 – שהוסב מאוחר יותר ל־89 – שבחטיבה 8, בפיקודו של “הזקן”, יצחק שדה. מפקד פלוגה א’ היה דב, “הבלונדיני הגבוה” של לח”י, שאגדות הילכו על תעוזתו וגבורתו, ואילו מפקד הגדוד היה משה דיין.
במסגרת “מבצע דני” לחמה גם חטיבה 8. תוך קרבות קשים נכבשו טירה, קולא ודיר־טריף, ומאוחר יותר נפלה בידי כוחותינו גם בית־נבאללה, המחנה והכפר. רוב הכוחות עזבו אז את האזור במטרה להסתער על לוד, ופלוגה א’ הושארה על המשלטים הצופים אל עבר כוחות הלגיון העבר־ירדני, ללא הזחל”מים שלה וללא הנשק המסייע. אנשי הלגיון, שנוכחו בדילול הכוחות, ערכו התקפת נגד עם שריוניות ותותחים ואילצו את לוחמי פלוגה א’ – שתחמושתם הלכה ואזלה – לסגת, לא לפני שנפלו מהם שִשה לוחמים ובראשם המ”מ, וכן 18 פצועים.
בין הנופלים היה גם יוסף שרעבי ניצני, הוא “יחיאל”. נפטר ביום ד’ בתמוז תש”ח, 11 ביולי 1948 והובא למנוחת עולמים בחלקה הצבאית בבית העלמין בנחלת יצחק שבתל אביב.
