宝物館は、文部省技師の久留正道の設計により明治３８年（１９０５）に建てられました。香川県産の花崗石造による二層建、屋根は入母屋造で「青木石」の瓦葺、玄関は唐破風造（からはふうづくり）の銅葺、という和洋折衷の重厚な建物です。

初期は「金刀比羅宮 博物館 一号館」という名称でした。明治２７年に片山東熊によって建設された奈良国立博物館と同じく、我が国最初期の博物館です。久留正道は明治２６年（１８９３）のシカゴ万博で日本館を設計しています。これを見てフランク・ロイド・ライトは日本建築の良さを認識したといわれています。

館内には当宮の宝物が陳列されています。三十六歌仙額、重要文化財十一面観音像は特に有名です。