یکی از نوادگان حاج خلیفه علی رهبر در مصاحبه‌ای در روزنامه سرمایه درباره نام شیرینی« حاج بادام» اینطور بیان می‌کند که وقتی حاج خلیفه به سفر حج مشرف می‌شود، مقداری خوراکی برای توشه راه از یزد با خود میبرد که یکی از این خوراکی‌ها شیرینی بادامی بوده است، وقتی حاج خلیفه از سفر حج باز می‌گردد متوجه می‌شود که مقداری شیرینی بادامی در جیب‌شان باقی مانده است و اصطلاحا می‌گویند این شیرینی‌ها نیز حاجی شده‌اند.
البته نقل قول دیگر آن است که، این نوع شیرینی بعلت سبکی و ماندگاری که داشته است، افرادی که به سفر زیارتی حج مشرف می شدند آن را به همراه خود می بردند و به” حاجی بادام ” یعنی شیرینی بادامی که حاجی به سفر حج می برده نامیده شده است.
