研究生院成立以后，由于种种原因，研究生院的研究生教育未被纳入国民教育体系，影响了中国科学院研究生教育的发展速度，使得中国科学院的研究生教育规模远不能适应科学研究发展的需要、国家创新体系建设的需要、国家经济建设和社会发展的需要。随着知识创新工程的不断深入开展，中国科学院并未形成适应创新体系所需要的研究生教育管理体系，健全教育管理机构成为一项重要工作。在这种背景下，中国科学院于2000年6月在上海召开教育工作会议，会上全院形成了创办新研究生院的共识。
2000年7月，中国科学院成立“中国科学院研究生院筹建工作小组”，开始新研究生院的筹建工作。
2000年9月20日，中国科学院向国务院提交《关于中国科技大学研究生院（北京）更名为中国科学院研究生院的报告》，将当时全院109个研究所的研究生教育进行体制机制改革和资源整合，在中国科技大学研究生院（北京）的基础上，更名组建中国科学院研究生院。
2000年12月29日，国务院学位委员会、教育部下发《关于同意调整中国科学院研究生培养和学位授权管理体制及更名的批复》，中国科学院研究生院正式更名组建，并将中国科学院5个学部和作为学位授予单位各研究所的18个一级学科博士学位授权点、24个二级学科博士学位授权点、23个二级学科硕士学位授权点归入中国科学院研究生院。从此，中国科学院的研究生教育进入了一个崭新的发展阶段。
2001年2月，中国科学院下发文件，明确了研究生院“三统一、四结合”的办学方针，即“统一招生、统一教育管理、统一学位授予”的职能和“院所结合的领导体制，院所结合的师资队伍，院所结合的管理制度，院所结合的培养体系”的组织形式。同年5月22日，新研究生院更名成立的揭牌仪式在北京玉泉路园区隆重举行，标志着研究生院的建设与发展从此进入一个新的历史时期。
