克里姆林宫内的牧首宫

莫斯科克里姆林宫17世纪初的施工图纸上可以清楚地看到牧首宫。牧首宫当时有3座小礼拜堂，分别是建于1566年的圣母法衣存放教堂和索洛维茨显圣者教堂，以及1597年奠基的莫斯科的彼得、阿列克谢、约纳三圣徒教堂。居室和正厅沿圣母升天大教堂西北墙而建，止于索洛维茨显圣者教堂。牧首宫与沙皇宫邸之间总有一条通道相连。

波兰立陶宛入侵期间，牧首宫和科尔里姆林宫的其他建筑都遭到荒废。大牧首菲拉列特（罗曼诺夫王朝首位沙皇米哈伊尔一世的父亲）上任后，不得不重建牧首宫，1626年火灾后又对已本快完成的建筑做出修缮。经过1627至1633年间的修缮，牧首宫的富丽堂皇已不输沙皇宫邸。大牧首约阿萨夫1643年展开了新一轮建筑工作，十字厅、金厅、修道厅、后厅，以及多个附属建物都在这一时期建成。

大牧首尼孔的任期中，牧首宫发生了很大变化。1652年起开始拆除旧楼、索洛维茨显圣者教堂，及毗邻牧首宫、沙皇阿列克谢赐赠的鲍里斯·戈都诺夫宫邸。1655年底新的厅室和小礼拜堂建成，但接下来的室内装修又耗费了3年时间，一直持续到尼孔辞任。1653至1655年改建了十字厅（即大牧首的接待贵宾的大厅），将其和其他房间贯通后，十字厅的面积扩大至280平米，超越了沙皇宫邸中与用途相似的多棱宫。除非居住用房外，1655年还在内院还建造了2层的用于居住的修道室（没有保存下来），与牧首宫的多个房间由通道相连。

牧首宫的建筑群在大牧首约阿基姆的任期中得到进一步完善和改建。约阿基姆1680年下令改建尼孔任期中修建的小礼拜堂。小礼拜堂被粉饰一新，于1681年9月13日重新举行圣化仪式，将其改名为十二使徒教堂。

大牧首安德里安的任期中，为牧首宫加盖了第4层，先后在这一层建造了彼得罗夫厅和用于管理大牧首事务的厅室。这是牧首宫经历的最后一次改建。1700年大牧首一职的代理人离开后，牧首宫被闲置下来。