普陀宗乘之廟是外八廟中最大的一座，俗稱“小布達拉官”。乾隆三十五年(1770 年)正值乾隆帝60大壽，次年又值皇太後80 壽誕，乾隆為慶祝這兩大節日時，能使前來慶賀的少數民族領袖在這裡也能看到南海大寺的普陀道場，借以榮耀自己，于是便授意仿建。按佛教學說，佛教世界有三個普陀，一在印度，一在拉薩，一在浙江定海。然而印度的普陀難以考察，因此效法西藏布達拉官，依樣興建。