Grok-1是xAI公司发布的大型语言模型,其架构是在2023年10月使用自定义训练堆栈在JAX和Rust上开发的。这个模型是基于Transformer的自回归模型,经过人类和早期Grok-0模型的大量反馈微调而成。Grok-1具备8192个tokens的上下文长度,旨在处理包括问答、信息检索、创意写作和编码辅助在内的自然语言处理任务。
此外,Grok-1的开发使用了Apache-2.0许可证,这意味着其基本模型权重和网络架构对外开放,任何人都可以自由获取和使用。这一开放举措为人工智能技术的发展和应用带来了新的可能性,也为开发者提供了广泛的应用前景。