谷歌研究推出SensorFM：基于一万亿分钟传感器数据预训练的可穿戴健康基础模型

由Google Research、Google DeepMind及大学合作者共同开发的可穿戴健康基础模型SensorFM，采用ViT-1D掩码自动编码器架构，在来自500万同意参与者的超过一万亿分钟未标记传感器信号上预训练。研究展示了四种模型规模和四种数据量的协同扩展结果，包括容量超出数据的情况。冻结嵌入加PCA-50线性探针在35个任务中的34个上超越了基于特征工程的基线。此外，还回顾了搜索30516个预测头的代理教室，以及临床医生评估的个人健康代理基础。