预测太阳风暴并开发针对这些极端事件的早期响应系统是一项艰巨的任务。其中,考虑到太阳风暴的罕见程度,可用于训练算法的历史案例非常少。这使得常见的机器学习方法(如监督学习)不足以预测太阳风暴。此外,现存的卫星在地球的不同位置收集太空天气信息,导致数据量巨大。
NASA 正在与亚马逊云科技专业服务和Amazon ML Solutions Lab合作,使用无监督学习和异常检测来探索与太阳风暴等极端事件。借助亚马逊云科技强大的技术,可以一次筛选多达 1,000 组数据集来进行预测超级风暴的分析,并训练计算机模型,以识别太阳风暴即将爆发的信号。NASA的方法将太阳风驱动因素和地球周围的磁场水平联系起来,从而在数据中找出异常。
如何使用亚马逊云科技来监测?
NASA 使用 Amazon SageMaker 中内置的Random Cut Forest (RCF) 算法与各种地面和卫星仪器编译的太阳物理学数据集来训练并检测异常模型,这样更易于观察,因为当在图中查看时,这些异常数据很容易与典型的数据区分开;对于每个数据点,RCF 都会关联一个异常分数,低分值表示数据点被认为是正常的,高分值则表示数据中存在异常。
Amazon ML Solutions Lab 使用无服务器流式数据管道应用程序来实现实时监控;该管道处理来自航天器的现场观测数据,以实时检测异常情况并发出警报,流式传输管道利用 Amazon Kinesis Data Streams 来确定异常分数。
Amazon Kinesis Firehose可以将实时数据流式传输到 Amazon S3,用于记录传输和模式转换为 Parquet。除了实时警报之外,模型结果还永久存储在 Amazon S3 中,可以在其中使用 Amazon SageMaker 进一步分析它们,并使用 Amazon QuickSight 进行可视化,从而允许创建和发布包含 ML Insights 的交互式仪表板。