可溯源性
可解释性
幻像可控性
多模态/跨模态
深思考Dongni.ai
产品
优势
/ Product Advantages /
可溯源性
可解释性
幻像可控性
多模态/跨模态
技术
参数
/ Technical Parameter /
架构：DongniForCausalLM
隐藏层维度： 10240，可以处理更多的细节
最大上下文： 128K tokens
注意力头数量： 每层80个的注意力头，模型在每一层可以处理更多的上下文信息
隐藏层数量：96，更多的隐藏层让模型能够深入理解复杂的语义结构
键值头数： 8
RMS标准化： 1e-06，确保计算稳定
词汇表大小：183542，以支持更多语言和领域的表达
