欢迎访问特米网-生活知识百科|生活百科小窍门|生活小常识大全|日常生活小窍门|生活常识百科宝典

特米网-生活知识百科|生活百科小窍门|生活小常识大全|日常生活小窍门|生活常识百科宝典

特米网 > 科技 >

0.36秒即可完成一次高分辨率全球海洋预报!国防科技大学推出「羲和」大模型,性能超越主流

www.zhundei.com 2024-10-22 16:25 科技

在日前举行的第 20 届 CCF HPC China 2024 大会上,第六届海洋数值预报与高性能计算平台圆满落幕。在该平台中,国防科技大学气象海洋学院汪祥课题组助理研究员韩毅以「羲和:数据驱动的全球涡可分辨海洋环境预报大模型」为主题带来了深度推荐。Hyper人工智能超神经在不违原意的首要条件下,整理了演讲的核心内容,以下为演讲实录。

「碳」基智能进化「硅」基智能,海洋环境智能预报大模型蓄势待发

天气预报一直是大家平时生活必不可少的一部分。过去,基于物理驱动的数值预报可以通过接收全球天、地、海、空的各种气象观测资料,并在超级计算机上对这类资料进行融合处置,进而求解一组描述大方运动的偏微分方程,从而预报将来天气变化。

严格来讲,被叫做「优美的」、「天才的」数值预报技术已有近 120 年的历史。1980 年代以来,伴随卫星、雷达、飞机和地面观测系统的日趋成熟,大方数据激增,除此之外,高性能计算机算力也不断提高,数值天气预报的准确率得到了显著提升。

自 2020 年以来,伴随AI技术的飞速发展,通过融合高分辨率遥感观测技术、再剖析技术和物联网观测技术等,AI预报大模型开始在气象预报范围脱颖而出。

对此,韩毅博士形象地将这两种办法称为「碳」基智能、「硅」基智能,在他看来,传统物理方程是基于人脑概括各类数据提出,而智能预报大模型则是基于人工神经互联网自动学习蕴含于很多数据中的物理规律。

近年来,以深度学习为代表的AI技术在气象预报范围获得了要紧进展,涌现了一系列气象智能预报大模型,譬如英伟达的 FourCastNet、Google的 GraphCast、华为的盘古、上海AI实验室的风乌和复旦大学的伏羲等。

尽管气象预报范围的智能模型获得了显著收获,但在海洋环境预报方面,仍然缺少可以与现有业务系统相媲美的全球海洋环境预报大模型。然而,海洋预报的重要程度毋庸置疑,它不只影响着航海与渔业,也是保障沿海区域安全和经济进步的重点原因,构建海洋大模型势在必行。

目前海洋环境智能大预报面临的主要挑战有两个方面。第一,海洋被国内和岛屿分割成多个具备不同特点的相对独立地区,准确建模这类地区的内部变化规律和相互影响机制颇具挑战。第二,海洋过程与现象的尺度小于气象,怎么样在有效的计算开销和时间本钱内,模拟更小尺度的海洋过程现象是当下的难题。

聚焦主流数据集,「羲和」可达成 1/12° 高分辨率海洋环境预报

为了应付这类挑战,国防科技大学气象海洋学院联合复旦大学大方与海洋科学系、中南大学计算机学院等单位,成功研制了首个数据驱动的全球 1/12° 高分辨率海洋环境预报大模型「羲和」,该模型预报准确率可达世界先进数值预报业务系统水平,现在已在多个有关业务单位部署应用。有关研究成就以「XiHe: A Data-Driven Model for Global Ocean Eddy-Resolving Forecasting」为题已发表预印版。

为了多维度对模型的性能进行深入探索,韩毅博士重点强调了团队对于数据集选择的考虑。他表示,「羲和」通过借助 1993 年至 2017 年的 25 年 GLORYS12 海洋再剖析数据、ERA5 海表面风场数据,与 CMEMS 提供的海表面温度卫星观测数据进行练习,从很多数据中学习海洋环境运行规律。

「羲和」可以预报海表面温度、海表面高度,与 23 层的海温、盐度、海流等多种海洋要点。

「羲和」在 Swin-Transformer 构造的基础上,引入了 Ocean-Land Mask 机制和组传播机制,由 Ocean-specific Transformer 模块、下采样模块和上采样模块等部分构成。

具体来看,Ocean-specific Transformer 模块是「羲和」海洋预报大模型的核心,它由 5 个连续的 Ocean-Specific Block、1 个 down-sampling block、1 个 up-sampling block 构成。每一个 block 中包含多个连续的局部空间信息提取模块 (Local Spatial Information Extraction) 和全局空间信息提取模块 (Global Spatial Information Extraction),用于从样本中抽取局部和全局海洋信息。

在功能达成上,局部空间信息提取模块 (local spatial information extraction module) 借助窗口注意力机制,将自注意力的计算范围限定在局部窗口内,大大降低计算高分辨率数据全局自注意力的高额开销。

全局空间信息提取模块 (Global Spatial Information Extraction module) 允许跨窗口的信息交换,以捕获远距离地区间的全局关联信息学习(海洋过程之间的遥有关信息)。除此之外,它基于 Gpvit 可达成特点相似区块的分组聚合,从而对具备相同特质的海域进行一同建模。

值得一提的是,「羲和」海洋预报大模型还特别设计了 Ocean-land Masking 机制,用于在自注意力机制的计算过程中排除陆地部分数据的干扰,使模型更专注于海洋规律的学习,并且减少模型练习的计算量。

各项测评均超越数值预报系统,「羲和」预报时长可达 30 天

在测评方面,「羲和」以法国麦卡托预报中心的 GLORYS12 再剖析数据作为初始场,进行了为期两年 (2019 年-2020 年) 的预报实验。

同时,「羲和」还对印度洋、大西洋、太平洋等重点地区的海洋指标进行预测。测评结果表明,「羲和」与观测数据的有关性较高,可以达成有效的预报成效,进一步证明了其在海洋预报范围的先进性和实用性。

具体而言,研究职员用权威的世界海洋环境业务预报系统测评框架 IV-TT,与浮标阵列和卫星等观测数据等进行模型测评。

以 IV-TT 测评为例,「羲和」在海水温度剖面、盐度剖面、海表流场、海平面高度等重点测评要点上,相较于法国 PSY4、加拿大 G每秒的输入输出量、澳大利亚 OceanMPAS (BLK)、英国 FOAM 等目前世界主流的业务预报系统,可达成更高的精度,预报时长可达 30 天。

在 IV-TT 测评中,「羲和」在海洋温度变量、盐度变量预报的所有空闲段均优于其所对比的数值预报系统。

「羲和」对 2019 年 1 月 1 日至 2020 年 12 月 31 日的时间范围内的 15m 深度洋流经纬向分量,进行不同时间的预报,结果发现,相比于 PSY4,「羲和」在纬向与经向分量预报成效分别提高 9.95% 和 11.16%。

在海洋温度盐度变量预报,海表面异常预报中,「羲和」智能预报模型的 RMSE 总体最小,优于其他数值预报系统。

在温度廓线方面,研究发现,100m 以下时,「羲和」优于其他用于对比的数值预报系统;但在 0-100m 内,「羲和」稍弱于 FOAM 和 G每秒的输入输出量,和 BLK 水平相当,并略强于 PSY4。

在盐度廓线方面,「羲和」在所有测评内容上均优于用于对比的数值预报系统。

在海表面温度 (SST) -大尺度分布特点剖析方面,「羲和」30 天预报结果的海表温度、大尺度特点,与所观测数据一致。

在海流测评中,研究职员对阿古拉斯洋流、黑潮、北大西洋环流进行预测,结果发现,「羲和」对海流方向和流速的预报成效同样出色,这证明了其对大尺度海洋现象的拟合能力。

海流流速预报对比结果,箭头指示海洋流动方向,颜色深浅代表海洋流速强度

韩毅博士表示,「羲和」凭着其高性能、迅速推理、长期时效和新颖构造等革新特征,在各项测评标准中表现出了卓越的性能,只需要 0.36 秒即可完成一次全球海洋预报,但海洋大模型的预报准确度仍然需要提升。

比如,可以提升大模型的参数目,让其从十亿级向百亿级进步;也可以提升模型分辨率,让其从 10 公里向公里级不断进步;还可以进步端到端预报模型,让其从卫星、浮标、潜标的观测数据直接跳跃到预报;亦或在模型中融合物理机制,让模型更好地反应中小尺度物理过程与现象。而以上这类,需要更大的算力,更高分辨率、更高时间跨度的数据,更需要业界的一块努力。

Tags:深度学习

热点排行
热门推荐
热门tag
抽脂瘦脸 活鹅 家乡 婆婆丁 高校毕业生 胶囊 习惯性 何艳娟 杏皮 旅游 乌恰县 丰年 金凤 免费 期内 阿城 后传 犯人 Song Chunli 养老金 飞鹰 游轮 钙质 理科 烈士 大雁 字书 内有 丁苡柔 伊米妮 豇豆 鱼体 葡萄干 颈肋 信息泄露 于芊惠 遮阴 位置 交往 养源斋 动物孽 症状有哪些 万宝路 恶化 孟子义 方向和 爸爸 胃肠 太白 喂养 编辑 于小冬 热水 澳洲杉 胶原蛋白粉 疑问 增温率 斗鱼 器材 冉彦