解析Q K V. ,Wq. Wk. Wv

发布于 2025-07-31 23:22:16
本质上就是求最小公倍数,即QKV的最小公倍数,然后会得到体积。 为了进行缩小体积方便计算,以及压缩到一维度,即一条线纬度,则除以K的纬度,即Dx。而后进行归一化,再进行前反馈,即对照目标修正。从而得到改善后的内容,也就是Nlp里的一句话。
0
0
0
分享
0 回复
暂无评论
关注:644
文章:44
人工智能
加作者好友
推荐群聊
AI不乱斗
MikuFans
01科技新闻技术Ai
AI开发讨论群
电脑/网络科技闲聊站
关注:644
文章:44
人工智能
加作者好友
推荐群聊
AI不乱斗
MikuFans
01科技新闻技术Ai
AI开发讨论群
电脑/网络科技闲聊站
京ICP备20012521号-7 增值电信业务经营许可证:京B2-20210468
Copyright © 2025 北京九万智达科技有限公司