2017年国乒管理模式进行改革，不再设总教练、主教练岗位，改为设男女两个国家队教练组，刘国梁从国家队总教练变成了男队教练组组长，明显被降级，于是在执教15年之后，刘国梁选择了从国家队离任、只挂了一个乒协副主席的虚职。从2002年退役当教练到从国家队离任，刘国梁执教的这些年，简直堪称封神时刻。2002年，国际乒联改革小球改大球，并推行发球无遮挡规则，这项规则一颁布，中国的球迷们便看出了这其中的缘由，刘国梁的遮挡式发球曾横扫天下，每次都打得老外一脸懵，这项规则明显就是在针对刘国梁实行的。

 

于是，在这样的状况之下，刘国梁十分不屑地选择了退役，接替蔡振华成了国乒男队最年轻的主教练。紧接着，在退役第二年，他便带着国乒男队为自己的执教生涯赢得了一个开门红。第47届多哈世乒赛上，刘国梁带领的国乒队顺利地拿到了男团冠军，从此又开启了他一路收割冠军的执教生涯。在刘国梁当上教练之后，中国乒乓球队几乎在世界上成垄断的地位，不管是奥运会还是世乒赛有多少项目就拿几个冠军，金牌全部由中国队包揽，甚至还经常出现包揽金、银、铜的情况。

 

2008年北京奥运会上，国乒队一下子包揽了金、银、铜三枚奖牌，这使别的国家颗粒无收，只能败兴而归。于是，2012年伦敦奥运会开始之后，乒联再次改制，为了避免再出现同一个国家包揽前三名的现象，一个国家仅能派两名选手出战个人赛，从此三面五星红旗再也无法在乒乓球赛场上同时升起。

 

除此之外，在刘国梁执教期间，他还培养出了张继科、马龙两位大满贯球员，加上樊振东、许昕，四人也一度被称为乒乓男团。而作为中国乒乓男队的主教练，刘国梁也极其护犊子。2016年里约奥运会上，许昕对战日本球员水谷隼失不幸落败。看到水谷隼在镜头前一脸神气的表情，刘国梁气不打一处来。不过彼时他没有责怪许昕，反而是对着即将上场的张继科说，别让他们活。最终张继科将日本队打得节节败退，顺利击败了日本队，拿到了团体金牌儿。随后更加搞笑的是，在水谷隼接受采访时，张继科在他背后将金牌挂在了刘国梁的脖子上，这一幕也同时被记录在了镜头里，一度被网友们称为神来之笔。也是在这场奥运会上，中国队横扫来自中国台北的选手，彼时台湾的网友不认识刘国梁，评价说，整场就这个胖子不懂球，因此刘国梁也有了“不懂球的胖子”这一昵称。事实上，刘国梁不仅是最懂球的那一个，在他执教期间，他从未错过任何一场重大赛事，也没有让冠军旁落别国，光是这一点，就足以说明刘国梁的成绩有多傲人。