甘呂は古くは「甘露」とも書きました。京都の三千院に伝わる古文書には、正中2年（1325年）の西南院新御堂領の1つとして「近江国甘露庄」と記されています。西南院は高野山の別格本山西南院のこと。当時、甘呂は西南院の新御堂の荘園でした。その後、甘呂の地は梶井井門跡領の荘園として維持されました。
この甘呂にいつごろ城が築かれるようになったのか明確なことは不明ですが、「江州佐々木南北諸士帳」には、「甘呂往　佐々木随兵　河瀬大和守秀宗」とあります。甘呂には近江源氏佐々木一族の家臣であった河瀬大和守秀宗が住んでおり、この河瀬氏のもとで甘呂に城が築かれたのでしょう。河瀬氏は、もともと荘園の現地管理をゆだねられた荘官であったと推定されますが、しだいに甘呂の地を本拠として武士化し、城を築くようになったと考えられます。
甘呂の集落に付された小字名に留意すると、集落の南端に「城畑」「城田」「城南」「城の西」など城の字を冠した小字名が集中しています。「城畑」「城田」の辺りを中心に、かつて河瀬氏ゆかりの平地城館が広がっていたと推測されます。
さらに現集落の中央付近は、条里地割の南北を二分するように走る直線的な道路や水路が設けられ、間口を等しくする計画的な屋敷割となっています。このあたりに町屋が形成されていたと推測されます。
そして、集落の周囲には現存する甘呂神社のほかにも、社寺にちなんだ小字名が散見されます。また、甘呂神社の南方に存在した細長い薮は、城を取り囲んでいた土塁の一部であり、甘呂神社の北方を流れる水路は堀の役割を担っていたと伝えています。
これらのことから、甘呂集落の南端付近に城館を構え、その北に町屋を形成し、周囲には社寺を点在させ土塁や堀を巡らせた甘呂城の姿が想定されます。甘呂の地は、近くを下街道(古代の巡礼街道)が走っており、街道を押さえる要所でもありました。