朱可夫的这番话令赫鲁晓夫感到胆颤心惊,于是赫鲁晓夫在巩固了自己的地位后,便开始采取措施清洗军队。1957年10月26日,朱可夫访问南斯拉夫和阿尔巴尼亚回到莫斯科,一下飞机,就在机场听到撤掉他国防部长职务的决定,朱可夫还被清出了党中央主席团,革除了军藉,只是未开除党籍,并让他保留了一个元帅的空衔。根据部长会议的一项“特别决议”,每月给他5500卢布的退休金。这笔退休金并不是什么大数目,按当时卢布折算的价格,一双较好的皮鞋就要400卢布了。
赫鲁晓夫对不同意他的罗科索夫斯基和铁木辛哥等元帅,也采取减薪的办法。另一位元帅索科洛夫斯基于1960年曾去见赫鲁晓夫,要求提高军人的待遇,被赫鲁晓夫拒绝后被迫辞职。布尔加宁元帅和伏罗希洛夫元帅则被划进“反党集团”,因为他们两个在赫鲁晓夫把莫洛托夫、马林科夫打成“反党集团”时,保持了中立,实际上是消极反对。