galleryは 「画廊」「美術館」「見物人」等々、多くの意味を持つ、いわゆる多義語ですが、何かをじっと見つめるといったイメージで捉えたらどうでしょうか。芸術作品をじっと見る場所がart galleryでしょう。画廊にしてもゴルフの見物人にしても、作品や競技をじっと見つめることでは同じです。court galleryといえば、裁判の成り行きをじっと見守る傍聴席の意味になります。