transformer+mamba2预测组合模型,将mamba2模型插入到transformer 前,对数据进行特征的权重学习

transformer+mamba2预测组合模型,将mamba2模型插入到transformer 前,对数据进行特征的权重学习

Mamba 是一类新的基础模型,最显著的特点是它不是基于 Transformer 架构。

相反,它属于状态空间模型(SSM)系列,以 RNN 的方式通过隐藏状态映射序列。

这种方法可以在训练过程中实现计算和内存与序列长度的线性扩展(与变换器的二次复杂性不同),并在推理过程中实现每步时间恒定。

Mamba-2 建立在 Mamba-1 的基础上,对某些 SSM 参数施加了额外的限制,使其状态维度更大,训练速度显著提高。

1.pytorch框架,不需要配mamba ssm环境,都写在代码里了。

需要自己调参数哈,直接运行主py即可。

2.多输入单输出,也可以自己改单对单。

3.有指标对比结果,有图。

4.形成了简洁的端对端 mamba2模型,更加高效,且无需配复杂环境。

ID:6336

详询客服 微信shujuqudong1 或shujuqudong6 或 qq68823886 或 27699885

图文详情请查看: http://matup.cn/822310361192.html

QQ客服:27699885 微信客服:shujuqudong1 微信客服:shujuqudong6


本站资料较杂,精品资料单独做了汇总,可查阅 https://liruan.net/ 里面资源更优秀