Skip to content

Resolve certain issues that arise when using the FC framework within PaddleFormers. #3069

@zty-king

Description

@zty-king

问题描述

  • 目前反馈FC框架在PaddleFormers上实际使用时遇到了一些问题需要解决,问题列表如下:
序号 任务描述 是否完成 ✅ 对应 PR 链接
0 权重加载时报错信息过少 & 当权重与模型 state_dict 不匹配时,缺少对 missing keys 和 unexpected keys 的报错信息,同时多处assert信息报错信息过少,调试不友好 PaddlePaddle/Paddle#76813
1 save_pretrained 每个卡把收集来的 tensor 暂存在显存上,改成暂存在 CPU 上 #3055
2 在PaddleFormers中,模型load/save配置了 flex_checkpoint 但实际没有 aoaconfig,需要拦截 #3055
3 loadsave 需要写两份 aoaconfig,是否可以简化 #3055
4 当前 aoaconfig 写法较为复杂且不同模型写法大多数部分类似,是否后续可以简化
5 文档中缺少对模型为 tie weight 和 qkv fused(phi4 模型)的补充文档
6 处理 safetensor 文件缺失或 safetensor 文件更改场景

Metadata

Metadata

Assignees

Labels

No labels
No labels

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions