他们在朝廷里面有很多人，可是，杨愔这么一整顿，把他们都整顿了，直接威胁到了他们的权力。
乾明元年，公元560年，杨愔和高殷密议委任高演、高湛为刺史，实际上就是要架空他们亲王势力，加强皇权。
平秦王高归彦开始也是高殷、杨愔同党，可是后来，他背叛了！因为，他权衡利害，觉得高殷年幼，势孤力单，因而背叛，将高殷和杨愔的密谋，全部告诉了高演和高湛。
高演和高湛听了这消息，勃然大怒，决定将计就计，利用去尚书省“拜职”赴任的机会，带兵数千，在宴席上动手！
杨愔不知道，以为他们乖乖去任职刺史，非常的高兴。
哪里知道，他们在宴席上，突然暴动，把杨愔拿下，并且对他拳杖交加，把他打得血流满面！
高演和高湛打完杨愔，然后披坚执锐，押着杨愔等人去见高殷。
他们走到东阁门，都督成休宁拔出宝剑，厉声阻止二王等人闯入。
但周围的卫士一见二王到来，平时收了他们的好处，同时知道高殷不是高演和高湛的对手，当下纷纷扔下手中的兵器。
成休宁一看孤掌难呜，只好长叹一声作罢。
高演和高湛等人进入大殿，向太皇太后娄昭君条陈杨愔等人的“罪状”。
太皇太后和高演他们是一伙的，听了他们的话，气得大骂高殷的母亲李祖娥说：“我们鲜卑人，难道还要受你这个汉人老妇的摆布！”
李祖娥赶忙跪在太皇太后面前谢罪。
高殷见杨愔被抓，自己仓促不知所措，更兼兵临城下，太皇太后也站在高演和高湛那一边，更加不知道该怎么办了！
八月初三，太皇太后娄昭君下令废黜年少的皇帝高殷为济南王，食邑一郡，出居别宫，高演即位为帝。
不久，孝昭帝高演密令高归彦去将高殷杀害，时年十七岁。
高殷做皇帝仅一年时间，就被杀了，以他的为人和好学，实在可惜。他的死，就在于他完全不了解形势，就敢做违背形势的事情。
高洋可以乱杀人，可以夺取了任何人的职位，那是因为他早年征战南北，手里有实力，别人都不敢惹他。高殷新上位，什么实力都没有，就敢做出罢免高演和高湛权力的行为，那简直就是去捅马蜂窝，有死无生！
所以，一个人，做出什么决定的时候，一定要掂量一下眼前的形势。如果形势不允许你这样做的，你强行去做了，除了给自己带来危害之外，一点好处也捞不到的。人的成功，总是因为他掌握了形势，然后，顺势而为。
李百药在《北齐书》中评价他说：“帝聪慧夙成，宽厚仁智，天保间雅有令名。”对他最后的结局，深为惋惜。
李延寿在《北史》中认为高殷致败的原因是：“济南继业，大革其弊，风教粲然，搢绅称幸。股肱辅弼，虽怀厥诚，既不能赞弘道德，和睦亲懿；又不能远虑防身，深谋卫主。应断不断，自取其灾。臣既诛夷，君寻废辱，皆任非其器之所致尔。” 说高殷虽然有雄心壮志，要改革，可惜所任之人，不是真正的人才，这才导致了失败。
实际上，杨愔等人，确实是害死皇帝的人。高殷年纪还小，只有十六岁。你要他十六岁的孩子就掌握了形势，那是很难的。可是，杨愔做宰辅半辈子，应该了解形势，不能做出违背形势的事情啊！所以，归根结底，还是杨愔“非其器”，直接把皇帝给害死了！