המשפחה והחברים
אביו של יוסף, מוריץ גוטמן, היגר מרוסיה לשוויץ בתחילת המאה ה-20, ונשא לאשה את רוזי ויינברגר, בת למשפחת סוחרים אמידה. מוריץ עסק במסחר במוצרי אופנה ורוזי ניגנה על פסנתר, ושניהם יחד ניהלו משפחה יהודית בורגנית שיש לה כל טוב, וחיה חיים נעימים בשוויץ, המדינה הנייטרלית והשליווה ביותר באירופה.
שני בנים נולדו להם - הצעיר הוא יוסף, והבכור, ששמו לא ידוע, אך גם הוא לא הביא נחת להוריו ובגיל צעיר הפך לאנרכיסט באחת המדינות הלטיניות ביבשת אמריקה.
כמו רבים מיהודי שוויץ, גם מוריץ ורוזי עסקו בהצלת נפשות, בתקופת השואה ומלחמת העולם השנייה. רוזי אספה את לילי, בת אחותה, ואירחה אותה בביתם עד סיום המלחמה. ההורים גם עודדו את יוסף בפעילותו למען ילדים יתומים.
ברבות השנים, כמה מאותם ילדים טרחו לפרסם עובדה זו, כשהיו כבר מבוגרים, וציינו זאת לזכותו של יוסף גוטמן, באומרם כי הם חבים את חייהם לו ולמשפחתו. אחד מהם היה עיתונאי מעריב, שלמה גבעון ( אין קשר משפחתי ביניהם ).
מוריץ גוטמן ולילי זיגמן,
אחייניתה של אשתו, 1946
יוסף גוטמן, הנער הבוגר, לא הסב נחת למשפחתה האמידה של אימו.
מאז שהחלו להתפרסם הכתבות בעיתונים, בשנות ה-50, משפחת הוריה של רוזי נידתה את הנכד הסורר. מעבר לעלילות שפורסמו אודותיו, הרגיזה אותם בעיקר הנטייה שלו אל הקומוניזם. העובדה שהוא משתף פעולה עם המדינות בגוש המזרחי, הוסיפה לכל הבושות שהביאו הסתבכויותיו האחרות, וגרמה להם לנתק ממנו כל מגע.
ההורים, לעומתם, בכל זאת עשו ככל שביכולתם "לעזור לילד המסכן".
מלכתחילה, שלחו אותו לישראל עוד בהיותו נער, בתקווה שייגמל מ"התנהגויות מוזרות", כהגדרת אימו.
אחר כך, כשהסתבך, הם באו לקחת אותו מישראל כשנותר בה בלי פרוטה. מאוחר יותר הם אספו אותו אל ביתם אחרי כל מאסר שלו, ולא שיתפו פעולה עם התקשורת, למעט פעמים בודדות בהן היללו את הבן היקר שלהם, וסיפרו עליו רק מילים חמות.
אחת השמועות על יוסף, טענה כי המימון לכל נסיעותיו בעולם מגיע מהוריו העשירים.
האמת היא כי עסקיו של מוריץ לא שגשגו, ואחרי מלחמת העולם השנייה פשט רגל ונאלץ לעבוד כסוכן של חברה אחרת, עובר מדלת לדלת ומוכר את מוצריה. הוא נפטר כשהוא שבור-לב בלי שיהיה לו רגע נחת משני בניו.
רוזי נותרה כל חייה "האמא היהודייה" שליבה לא נותן לה לדחות את הילד שלה. היא עזרה לו כמיטב יכולתה, ובשנות חייה האחרונות תמכה בו כספית, ככל הנראה בסיוע עקיף של בני משפחתה הענפה, שכמה מהם עסקו במסחר במוצרי חשמל.
אחרי מותה, הם השיבו לחיקם את יוסף החולה והשבור. סידרו לו, יחד עם חברי הקהילה היהודית, מקום טוב בבית אבות סיעודי, ואחרי מותו דאגו לארגן לו הלוויה רבת משתתפים.
הנשים בחייו הן תעלומה.
במשך כל שנות פעילותו המפורסמת הוא נראה בחברת נשים יפות, ומלבדן, סיפר על כיבושיו הרבים, וביניהן: ביתו של שליט ברית המועצות, ברז'נייב, וביתו של הסופר היהודי הרוסי ברגלסון, ונערה יהודיה מפראג אותה הציל ונישא לה.
הוא עצמו טען כי היה נשוי חמש פעמים אך מהפרסומים עליו ידוע כי נישא פעמיים. במפגשים אחדים שוחח עם כמה מהן בטלפון בנוכחות עיתונאים, אך מעולם לא נראתה יחד איתו בפומבי אף אשה שנחשבה לאשתו החוקית.
חברים של ממש לא היו לו, ליוסף.
אף אדם לא התארח בבית בו התגורר, אף אחד לא ידע בדיוק ממה הוא חי, ומלבד הסיפורים של יוסף עצמו, הוא לא לקח איתו איש למסעותיו. לעומת זאת, כמה מאלה שפגשו אותו, ידעו לספר על סצנה הזויה מהמפגש איתו: אחרי שסיים להתפאר בעסקיו חובקי עולם, ולפני שנפרדו ממנו, ביקש הלוואה קטנה של כמה מטבעות כדי לחזור הביתה במונית, או כדי לקנות משהו לאכול.
על כסא הגלגלים האחרון שלו, אמר יוסף על "החברים" ועל העיתונאים שהתפרנסו מסיפוריו: "כולם זונות, שכחו אותי ואת מה שעשיתי בשבילם".
היחידי שעימו שמר על קשר כלשהו במשך עשרות שנים, היה העיתונאי שלמה גבעון.
למרות שם המשפחה הזהה, לא היתה ביניהם קרבה משפחתית, אלא חברות שנוצרה אחרי מלחמת העולם השנייה. שלמה שהה כפליט במחנה עקורים יחד עם ניצולי שואה כמוהו. במחנה פגש את יוסף גוטמן שהופיע במדי "השומר הצעיר", ידע לעודד אותם ולהכין אותם לקראת החיים בארץ ישראל. הוא שמר על קשר עם הניצולים ואף הזמין אותם להתארח בבית הוריו שבציריך.
שלמה, הניצול שעלה לארץ, התחתן, הקים משפחה והיה לעיתונאי ב"מעריב". הוא שמר ליוסף חסד נעורים, ונהג לארח אותו בביתו ביישוב עומר, על יד באר שבע, ואף ביקר אותו בשנות חייו האחרונות, בהיות יוסף משותק, בודד ומדוכא על מיטת חוליו בבית האבות בשוויץ. רעייתו של העיתונאי אמרה בראיון כי "היא ובעלה אוהבים את יוסף כמו שהוא ולא יקלקלו גם את האגדה".
עם חיים גורי הקשר היה סבוך יותר.
בכתבה בעיתון הארץ נכתב כי "בין גורי לבין יוסף ג'י נוצרו יחסי תלות משותפים עד שקשה לקבוע בוודאות מי ה'אלטר אגו' של מי". זו היתה חברות של אינטרסים - גורי המציא גיבור ספרותי והעניק לו את תשומת הלב לה היה זקוק כל השנים. מדי פעם ארח אותו בביתו בשכונת טלביה בירושלים, שם קיבל את פניו יחד עם עליזה רעייתו, או פגש אותו בבתי קפה לשמוע על קורותיו האחרונים.
אחת לכמה חודשים היה מצלצל הטלפון בבית משפחת גורי, ועל הקו היה יוסף "שנמצא כעת בפריז" או "במלון בוורשה" או "במשרד בקייב". מדי פעם נחתו בתיבת הדואר שלהם, גלויות "דואר אויר" שנשלחו על ידי יוסף, ממקומות שונים בהם שהה בפינות שונות ברחבי העולם. לפעמים היו אלה מכתבים שהגיעו במעטפה ובתוכה מצורפת גם תמונה – פה עם מנהיג בינלאומי, ושם עם אשה חדשה שהכיר.