در شیراز، شهری که نام حافظ و غزل‌هایش در کوچه‌ها و محله‌های آن پیچیده بود، حسادت و کینه نیز وجود داشت. شاه شجاع که به شعر و شخصیت حافظ علاقه داشت، می‌دانست که فضای پرتنش شهر ممکن است آرامش او را بر هم بزند. ازاین‌رو، او را به سفری به یزد دعوت کرد؛ شهری که در کنار رونق تجارت، به عرفان و معنویت نیز شهرت داشت.
حافظ این دعوت را پذیرفت و راهی یزد شد. او با دور شدن از هیاهوی شیراز، به دنبال فرصتی برای آرامش و خلوت بیشتر بود؛ سفری که او را با فضای عرفانی و معنوی یزد آشنا می‌کرد.
مقصد حافظ، خانقاه شیخ تقی‌الدین محمد دادا در بندرآباد بود؛ مکانی که عارفان و سالکان در آن به عبادت، ذکر و سیر و سلوک می‌پرداختند. گفته می‌شود شیخ تقی‌الدین پیش از رسیدن حافظ درگذشته بود، اما پسرش که سرپرستی خانقاه را بر عهده داشت، پذیرای مهمانان بود.
حافظ در این فضای معنوی، در کنار اهل عرفان و معرفت روزگار می‌گذراند. روزها به عبادت و گفت‌وگوهای عرفانی مشغول بود و شب‌ها را در خلوت و اندیشه سپری می‌کرد. خانقاه بندرآباد نیز در آن روزگار، افزون بر محل عبادت، از مراکز فعالیت‌های عرفانی و برگزاری مراسم سماع به شمار می‌رفت.
امروزه نیز مردم محلی با احترام از اتاقی در این مجموعه با نام «حجره حافظ» یاد می‌کنند. بر اساس روایت‌های محلی، گفته می‌شود حافظ در این اتاق اقامت داشته و در خلوت خود به اندیشه و سرودن شعر می‌پرداخته است.
هرچند درباره حضور حافظ در بندرآباد و سرودن غزل‌هایش در این مکان، برای اظهارنظر قطعی به اسناد تاریخی نیاز است، این روایت همچنان بخشی از خاطره و باورهای محلی مردم منطقه است؛ روایتی که پیوندی دلنشین میان نام حافظ، عرفان و تاریخ بندرآباد برقرار می‌کند.
