随着国家经济建设和各项事业的蓬勃发展，对计量科技人才提出了迫切需求。1978年9月10日，国家计量总局向国务院申请提出筹建计量学校；10月5日，国务院批转国家科委《关于国家计量总局工作任务和机构设置的报告》，批准国家计量总局在杭州筹建计量学校，目标是为全国培养既有一定理论基础、又有较好实际操作技能的计量技术人员。

1979年7月27日，国家计量总局批文同意浙江省标准计量局代拟的《杭州计量学校基本建设计划任务书》，杭州计量学校定为中等计量专业学校，学校暂先设置长度、热学、力学、电磁、无线电计量五个专业，学制四年，面向全国招生，毕业后全国分配，在校学生1200人，教职工300人；学校直属国家计量总局，实行以总局领导为主的总局和浙江省双重领导体制；成立筹建处，负责学校基建工作。

1979年9月1日，杭州计量学校筹建处印章正式启用，开始办公，办公地点设在曙光路黄龙洞口浙江省标准计量局内。学校干部、人事、党务工作暂由浙江省科委党组代管，其他业务工作由浙江省标准计量局代管。

1980年7月2日，杭州市规划局同意，杭州计量学校校址定点在西湖区古荡公社境内和尚圩（教工路以西，天目山路以北）。

随着国家经济建设和改革开放的发展，中等专业学校已不能适应形势发展的需要。1982年，国家计量总局多次向国家计委、教育部提出筹建计量测试学院、培养高级计量科技人才的报告。1983年5月10日，教育部（83）以教计字79号文，同意国家计量局原筹建的杭州计量学校改建为杭州计量测试专科学校，设置几何量计量与测试等五个专业，学校规模750人，实行由国家计委和浙江省人民政府双重领导，以国家计委为主的领导体制。

1983年12月，国家计量局请示教育部和国家计委，要将原批准的“杭州计量测试专科学校”校名改为“计量专科学校”并正式建校，于1984年秋季正式招生。

1984年2月6日，教育部以（84）教计字016号文，通知国家计量局，同意计量专科学校正式建校并招生。学校建在杭州市，设置几何量计量与测试、电磁计量与测试、力学计量与测试、电子计量与测试、热工计量与测试五个专业，学校规模750人；学校由国家计量局、浙江省双重领导，以国家计量局为主。6月1日，计量专科学校印章正式启用。

1984年8月，计量专科学校招收首批大专学生257人。1985年8月，招收首批函授专科学生136人。

1985年3月16日，国家计量局基于计量科技队伍知识老化、高级计量科技人才严重匮乏，向教育部提出建立本科学院；5月16日学校正式向教育部呈报了《关于建立中国计量学院的申请报告》。经过严格的论证评审，1985年10月18日，国家教委以（85）教计字134号文，通知国家计量局、浙江省人民政府，批准建立中国计量学院。中国计量学院以计量专科学校为基础建立，继续实行国家计量局与浙江省人民政府双重领导、以局为主的领导体制；学院发展规模为3000人；在发展规模中，专科生要保持一定比例；本、专科的修业年限为：本科四年、专科二年。

1986年8月，中国计量学院根据国家教委批准的几何量计量测试、力学计量测试、热工计量测试、电磁测量及仪表、无线电计量测试五个专业，招收首批本科学生200名。

1986年10月，中共中央总书记胡耀邦同志为学院题写校名“中国计量学院”。

1988年9月，学院与中国计量科学研究院联合招收首届研究生5名；1989年10月，首次招收2名法国留学生。

2000年5月，经国务院批准，学院由国家质量技术监督局管理为主调整为“省部共建、以省为主”的管理体制，纳入浙江省高等教育发展总体规划。同年，学院制定了到2005年全日制本科在校生规模达到12000人的规划；学院取得浙江省人民政府重点扶持，首批进入下沙高教园区办学，新校区征地面积1180亩，投资5.35亿元，规划建设校舍面积21万平方米。

2001年，学院制定了《中国计量学院十年发展规划（2001-2010年）》，提出“到2010年，把学校建设成以质量监督检验检疫为特色，多学科协调发展、教学研究型的浙江省重点大学”的发展目标。

2003年8月，学院整体搬迁至下沙高教园区办学。9月，经国务院学位委员会批准，新增列为硕士学位授权单位。

2016年3月1日，教育部发文《关于同意中国计量学院更名为中国计量大学的函》，同意中国计量学院更名为中国计量大学，学校系多科性本科学校，以本科教育为主，同时承担研究生培养任务。3月28日，浙江省人民政府发文通知，中国计量学院更名为中国计量大学。4月6日，中国计量大学新校名正式启用。