הכיוון שאליו פנה הרחיק ממנו את קהל הבית ואת מתווי הדרך של הציבור הדתי.

הם האזינו לשיריו על גבי תקליטים והמשיכו לשיר אותם בישיבות ובבתי כנסת, בטקסים דתיים, ובסעודות שבת וחגים. אבל נמנעו ללכת להופעותיו. מי שנשאר צמודים אליו היו "פְרִיקִים", ילדי פרחים שהתבגרו והקימו בעצמם משפחות, עלו לארץ והקימו קהילות ששימרו את מורשת הרב שכבש את ליבם ונשמתם.

הוא בעצמו התחתן בגיל מבוגר, הקים משפחה עם אשה ושתי בנות, עזב את ביתו בניו-יורק ועבר להתגורר איתם בקנדה. 

אבל

נפשו יצאה אל בתי האהבה והתפילה, אל הנשמות התועות, אל המעריצים שראו בו גורו. עבורם הוא פיתח משנה סדורה ששילבה את הרעיונות האוטופיים של תרבות הנגד משנות השישים. את הרעיונות האלה עידן ותיבל בהם מסרים יהודיים ברוח החסידות שגדל על ברכה. בעשורים האחרונים של חייו כתב גם ספרים שנועדו לקהל הנאמן שלו, ובהם סיפורים חסידיים ופרשנויות משלו לחיים על פי התורה והיהדות, עם התאמה למאה ה-20.

בעשור האחרון לחייו איבד את כל מה שהיה לו – משפחה, כסף, קהל.

האיש שכל חייו קשר את גורלו עם מטוסים ונדודים מנקודה לנקודה על פני כדור הארץ, סיים את חייו על מושב במטוס, רגע אחרי שהמריא אל היעד הבא בנדודיו.

כמו שקרה לחלוצים ופורצי דרך אחרים, איש ממעריציו לא היה לידו ברגעיו האחרונים.

גם אחרי שרופא הכריז על מותו, לא היה מי שיטפל בקבורתו, אלא כמה חסידים קרובים שנאלצו לקבץ תרומות, דולר לדולר, עד שיכלו לאסוף מספיק כסף כדי לממן את הטסת גופתו לקבורה ראויה בירושלים.

וכמו שקרה לחלוצים ופורצי דרך אחרים, הלוויה סיפקה לחסידיו הזדמנות להחיות את מורשת קרליבך – מורשת מוזיקלית ורוחנית שנולדה מחדש, והתנחלה במגזרים רבים בחברה היהודית בארץ ובעולם, גם (ובמיוחד) אצל אלה שדחו אותו בחייו.