יוסף נולד בשנת 1920 לאביו, מוחמד, ולאִמו, שפיקה. משפחה מיוחסת, שהכפר אבו גוש נושא את שמה מדורי דורות. ריב שרר בין משפחה זו לבין משפחת החוסיינים של המופתי הירושלמי וקשרים הדוקים שררו בינה לבין הישוב היהודי. היא מכרה לקרן הקיימת את הקרקעות שעליהן הוקם קיבוץ נוה אילן.

יוסף סבר שיש לסלק תחילה את האנגלים מהארץ, ואז כבר תימָצא הדרך לחיות בשכנות טובה עם היהודים. כך הגיע למחתרת לח"י והיה פעיל בה. הוא גייס חברים נוספים מבין ערביי הכפר, העמיד את ביתו לרשות המחתרת, רכש נשק וחומרי נפץ והשיג מידע.

אחד ממבצעיו, שזכה להד תקשורתי רב, היה הסיוע לבריחתה של גאולה כהן מבית החולים של בית הכלא במגרש הרוסים בירושלים. באפריל 1947 תפסו כמה מאנשיו עמדות בבית החולים וברגע הנכון עוררו מהומה שאיפשרה לגאולה לחמוק משומריה. בעקבות המעשה, נעצר יוסף, נחקר, ועונה קשות על ידי הבריטים. הוא שוחרר רק לקראת צאתם מהארץ ב־1948.

בספטמבר 1948, לאחר שיוצאי לח"י הרגו את הרוזן השוודי ברנדוט, נעצר שייך יוסף בתור חבר לח"י לשעבר, הוא זכה ליחס משפיל מצד שלטונות ישראל: שעה שחברי לח"י הוחזקו ביחד, נכלא יוסף עם ערבים שונאי נפשו. רק אחרי התערבויות והשתדלויות, צורף אל חבריו לנשק.

לאחר החנינה הכללית בשנת 1949, חזר לכפרו ושיתף פעולה עם הכוחות הלוחמים בהעברת אספקה לירושלים ובכיבוש משטרת אבו גוש.
בתום המלחמה החלו הבעיות: שייח יוסף נחשף לתככי הפוליטיקה המפלגתית הישראלית. בכפרו שלט המוכתר החדש מחמד רשיד, שנתמנה על ידי מפא"י ועשה כל שביכולתו כדי להיפטר מיוסף. שנושל מנכסיו, ביתו ורכושו הוחרמו, ובעקבות תיגרה עם נוגשיו, נאסר, שוחרר בערבות ונצטווה להתייצב פעמיים ביום במשטרה (יש לזכור, שבקום המדינה, הייתה כל האוכלוסייה הערבית שרויה במימשל צבאי).

במשך הזמן ובקשיים רבים הצליח לחזור עם משפחתו לביתו, אך נשאר ללא פרנסה. הוא פתח בית קפה, אך הלקוחות לא ביקרו בו והעסק נכשל.

בשנת 1971 בהיותו בן 51 זכה לקבל את אות על"ה (עיטור לוחמי המדינה), את אות לח"י, ובשנת 1984 קיבל את עיטור אסירי השלטון הבריטי.

הוא נפטר בה' בשבט תשנ"ז , 15 בדצמבר 1996. בן 76. הניח אשה זקיה, בן, שתי בנות ונכדים. הובא למנוחות בבית העלמין באבו-גוש.