はじめまして、初投稿で慣れていないので不快でしたらすみません

飲食店で帽子をかぶったままお食事を頂いていると、やはり周りからみれば感じが悪いでしょうか？
私は持病のために頭５００円玉程度のはげた部分が複数あり、外出時は帽子をかぶっています
ニットの帽子はかぶれてかゆみが出るので、３６０度つばのある普通の帽子です
つばは大きくないですし、黒髪なので少しでも目立たないように黒かグレーの帽子を選んでいます

冠婚葬祭とかドレスコードがあるようなお店の場合はフォーマルな帽子をかぶって隠しているのですが、
一般的な飲食店ではやっぱりマナー違反なのかなと最近急に気になり始めました
２０代女性なのですが、周りから見たら帽子ぐらいとりなさいという不愉快な気持ちにさせてしまいますか？

帽子をとれないなら行くな言われればそれまでですが、たまには外食もしたいし家族ともおでかけしたいなぁと思うので・・・
ご意見いただければ幸いです
長文でごめんなさい