由于他的这些行动遭到了时任国王乔治三世的大力反对，格雷伯爵在当时内阁垮台后，他在此后的 。
而在威灵顿公爵由于《天主教解放法案》导致托利党内部分裂，其内阁也迅速垮台后，蛰伏了 。
但事实上，格雷伯爵并没有忘记他的初心和愿景。只不过他非常聪明的将爱尔兰和天主教问题这块最难啃的骨头放在了时间表的最末端，先是议会改革，然后是工厂法和完全废除奴隶制等等，在做完了这一切之后，他终于开始向爱尔兰动刀了。
《爱尔兰捐税法案》的提出无异于在英国政坛引爆了一颗重磅炸弹。
这份法案的重点主要集中在三个方面：
首先，英国政府将减少对爱尔兰国教会的财政拨款，并将爱尔兰的国教主教数量从 。
其次，占据爱尔兰人口80%的天主教徒将无需再向爱尔兰的国教会缴纳捐税。
最后，爱尔兰国教会占据的土地也将会被重新分配和管理，以确保其资源得到更合理的利用。
单是看这几个条款也知道国教的教士们会产生何种程度的应激反应。
财政支持大幅削减，爱尔兰的主教席位被砍一半，捐税少了八成，就连吃到嘴里的土地租金也得吐出来。
按照教士们的话来说：像是格雷伯爵这样不虔诚的人，将来是一定要下地狱的。
身为保守派的托利党成员们自然是对此表示了强烈反对，他们认为这一改革削弱了国教会的传统地位，并且给国家带来了宗教改革的不稳定性。俗话说得好，人比人得死，货比货得扔。与格雷伯爵这么一比，好像老首相威灵顿公爵的《天主教解放法案》也没有那么不可接受了。
甚至不止是托利党，哪怕是代表了自由派的辉格党内也有许多人站出来提出了批评意见，他们认为首相的新法案看起来疑似有点太自由了。他们虽然是辉格党人，但与此同时也是虔诚的国教徒，对于任何国教支持者来说，这种形式的让步都被视为对教会权威的挑战。
至于国王威廉四世，那更是不用提了。
作为国教圣公会的宗教领袖，他是无论如何都不能接受奉他为领袖的教会受到如此严重的打击的。
威廉四世现在成天对外放话，虽然国王的言论有不少，但总结起来只有一个意思：议会改革也便罢了，现在又搞《爱尔兰捐税法案》，你们这帮人他妈的是不是想造反？
国王犯了疑心病，而格雷伯爵的内阁也因为这份法案出现了分裂。
在首相再一次向内阁成员申明了他推动改革的意志决不动摇后，财政大臣德比伯爵、海军大臣詹姆斯·格雷厄姆爵士、战争及殖民事务大臣里士满公爵和掌玺大臣里彭伯爵都向首相表达了强烈异议，并向首相集体请辞。
掌玺大臣里彭伯爵甚至公开撂下狠话说，如果格雷伯爵执意如此，那他只能用退党来表达抗议。
就因为这份法案，辉格党顿时陷入了几年前托利党那副四分五裂的境地，而格雷伯爵也品尝到了威灵顿公爵当年在上下两院遭到集体包围的滋味儿。
虽然他在几位大臣请辞后，便立刻着手寻找愿意填补他们空缺的人选。
但是正如议会改革前夕，威灵顿公爵组阁屡屡碰壁一样，所有在辉格党有头有脸的人物都明白，这时候内阁大臣可称不上是什么好差事。因此，那些有资格出任大臣的人物纷纷婉拒，而愿意搏一搏的年轻人又没有能力服众。
