1954年9月28日，中共中央政治局作出关于成立党的军事委员会的决议。决议指出，中央政治局认为，必须同过去一样，在中央政治局和书记处之下成立一个党的军事委员会，担负对整个军事工作的领导。决议决定由毛泽东、朱德、彭德怀、林彪、刘伯承、贺龙、陈毅、邓小平、罗荣桓、徐向前、聂荣臻、叶剑英组成中共中央军事委员会，毛泽东任主席，彭德怀主持中共中央军委的日常工作。
1954年10月31日，黄克诚被任命为军委秘书长，萧向荣为副秘书长；1956年11月，中共中央军委再次扩大，粟裕、黄克诚、陈赓、谭政、萧劲光、王树声、许光达、萧华、刘亚楼、洪学智等被增选为委员。