1964年10月11日，苏共中央主席团召开了讨论撤换赫鲁晓夫的会议。国家安全委员会对赫采取了特殊的保安措施，从最初的预备会议开始起，到14日最后决议通过为止，对赫鲁晓夫进行了隔离。当时，赫鲁晓夫正在南方黑海边皮聪大的中央别墅中度假，这也是他度过自己政治生涯的最后几天。当时米高扬也在离赫鲁晓夫不远处的中央别墅休假，因此预备会议一开始也没有参加， 1957年6月全会时，反对马林科夫、莫洛托夫、卡冈诺维奇所谓“反党集团”的事件中，挽救了赫鲁晓大的重要人物柯兹洛夫(是当时为赫鲁晓夫调兵遣将、派飞机从全国各地接中央委员会成员来莫斯科开会，与朱可夫、谢罗夫主持三人小组之一），这次也因心脏病较严重，未参加苏共主席团会议。苏共中央在主席团会议上作出决定，将来在中央全会上由苏斯洛夫作主要发言人；并已内定选举勃列日涅夫为第一书记。
10月11日，勃列日涅夫在莫斯科和赫鲁晓夫通了个电话，通知他主席团正在开会，说主要讨论赫鲁晓夫关于划分农业机构的计划草案。赫鲁晓夫起初拒绝在如此仓促的情况下返回莫斯科参加会议，当时正在黑海边度假的米高扬也接到了电话，被告知返回莫斯科参加会议，米高扬立刻动身前往。隔了一段时间，勃列日涅夫再度用电话通知赫鲁晓夫，如他拒绝前来莫斯科，主席团将在他缺席的情况下开会。讨论议事日程，这样赫鲁晓夫才同意去莫斯科。飞机到莫斯科机场后，未让赫回家。
这次撤换赫鲁晓夫的事件，苏共中央主席团是事前作了周密考虑的。原准备保留赫鲁晓夫的中央委员职务，但是后来赫鲁晓夫在主席团会议上态度粗暴，且带有污辱性的发言举动，因而苏共主席团最终决定不保留他的中委职位。
苏共中央主席团会议一直进行到10月13日深夜。就在10月6日夜间会议休息时，米高扬说服了赫鲁晓夫，要他自愿递交退休声明，即后来在报上发表的辞职申请书，称赫鲁晓夫因年龄和健康原因，已根据本人要求被解除职务，由于赫鲁晓夫最终与苏共中央主席团会议能采取合作的态度，才决定于10月14日召开的中央全会上，不对赫鲁晓夫本人展开广泛的讨论或尖锐的公开谴责。
苏共中央主席团会议10月14日上午继续开会，下午就转入举行经过充分准备的中央全会。中央全会由勃列日涅夫宣布开会，米高扬主持会议，苏斯洛夫作了关于撤销赫鲁晓夫的职务及其原因的报告。苏斯洛夫的报告，着重批评了赫鲁晓大国内政策的错误，主要是有关农业政策、经济政策的错误，在有关组织问题方面，指责赫鲁晓夫搞个人迷信，任用亲朋当顾问，以听取亲朋顾问的意见来代替征询主席团的意见。在外交政策方面，指责他任用《消息报》总编辑、赫的女婿阿朱别依，让阿以类似非正式外交部长身份行使职权，许多外交政策的制订都未征求外长葛罗米柯的意见。随后未经中央全会开展讨论，一致通过了撤销赫鲁晓夫的第一书记和部长会议主席职务，以及职消他的中央委员资格的提案。
1960年联合国大会上，赫鲁晓夫(坐在他旁边的是苏联外长安德烈·葛罗米柯)发表了著名的“让帝国主义见鬼去吧！”的演讲，由于他有悖常理的行为和无遮拦的攻击而在西方声名狼藉。他甚至在联大上将皮鞋当众脱下猛击讲台