壇ノ浦の戦いで平家が敗北した際、当時まだ幼かった安徳天皇が入水したと見せかけ、平家の公家に連れられ九州に逃れたこの地で藁の中に隠れていたという言い伝えがあり、その言い伝えが隠蓑（かくれみの）の地名の由来となっています。