新浪新闻客户端

主播看数博丨刘磊:通过“东数西算”解决算力分布式使用面临的挑战是数据移动的开销

主播看数博丨刘磊:通过“东数西算”解决算力分布式使用面临的挑战是数据移动的开销
2022年05月26日 18:37 新浪网 作者 贵阳网

  “东数西算”大家谈-2021年12月国家发改委、中央网信办、工信部和国家能源局四部委联合下文,正式批复同意《全国一体化算力网络国家(贵州)枢纽节点建设方案》,2022年2月国发〔2022〕2号文明确提出支持贵州加快推进“东数西算”工程,面对机遇与挑战并存的新征程,市大数据公司策划推出“东数西算”系列专访,邀请相关专家对“东数西算”工程热议问题和技术难点作深度解读,使大家更充分了解实施“东数西算”工程的重大战略意义和技术路径。

  “东数西算”大家谈之一

  专家简介:刘磊,北京航空航天大学计算机学院教授。曾任中科院计算所副研究员。曾兼任国家超算中心(深圳)总工程师。美国罗彻斯特大学访问学者(2017/05-2018/04)。

  他的研究涉及“云原生”的一系列关键领域,包括现代操作系统、新型内存系统、新计算机系统结构(量子计算机)、系统性能评测、优化及可扩展性等多个方面。相关研究成果以第一作者、通讯作者发表于ISCA, HPCA, PACT, IEEE TC, TPDS, ACM TACO, ICCD等领域内权威学术会议和刊物,并在业内产生了影响力;近十年,刘磊主持多项国家级项目(包括自然科学基金、重点研发计划、省重点研发等),及多项企业级项目(华为、OPPO等),成果应用广泛。

  问题一、“东数西算”算力调度如何通过一个平台进行实现?调度平台实际调度的内容是什么?算力调度平台需要分建国家级和地方级调度平台吗?

  专家解读: 算力调度的内容,从供给侧看是算力资源,而从需求侧看则是数据,将东部各地产生的数据,分批量,分时间,分线路的导入西部各地的计算中心,关键看谁的算力强,谁的处理饱和度怎么样,等等,这些情况都要考虑;这就像是交通管理一样,就像东部的汽车要开往西部各省一样,也需要调度。我个人觉得需要分建国家级和地方级调度平台。

  问题二、通过“东数西算”解决算力分布式使用面临的挑战是什么?“东数西算”落地之后,用户原本完整应用可能被分割成了几个部分,枢纽节点间如何规划算力资源?如何提升资源使用效率?

  专家解读:在我看来,挑战主要是数据移动的开销,在移动的过程中会不会有损耗?如果出现断点怎么办?数据传输和结果返回是否及时?等等,这些都是问题。枢纽节点如何规划算力,这就需要建立国家级和地方级调度平台,既有宏观把握,又有局部的调控调度。

  至于如何提升资源利用率,这个问题是一个长久存在的问题,目前看来,针对这个问题,建立高效的、实时的、及时的、准确的调度平台是提升使用效率的关键;再就是,需要建立稳定可靠的数据移动网络,这个网络需要比较大的带宽,因为需要移动的数据可能比较多,而且对实时性的要求很高。

  编辑:宋德政

特别声明:以上文章内容仅代表作者本人观点,不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与新浪网联系。
权利保护声明页/Notice to Right Holders

举报邮箱:jubao@vip.sina.com

Copyright © 1996-2024 SINA Corporation

All Rights Reserved 新浪公司 版权所有