大正6年（1917年）、横浜開港50周年を記念し、市民からの寄付金を基に「開港記念横浜会館」として開館。ネオ・ルネッサンス様式の赤レンガの建物は、高さ36mの時計塔を有し、横浜の代表的建造物のひとつとして親しまれている。また、関東大震災復旧時に設置された、非常に歴史的価値の高いステンドグラスがある。