מבחינה עקרונית - מותר. מבחינה מעשית, שהציבור ידע ויבין מדוע הוא בלי תפילין, כדי שלא יהיה מבין המתמיהין, ולא מבין אלו שחושדים בהם.