时间:2025-08-25 09:40:44来源:投资界阅读量:16864
马斯克一手开源动作,引发了大伙儿的高度关注——
xAI现在正式开源Grok 2.5,Grok 3将在半年后开源。
其实早在本月初的时候,马斯克就公开表示过:
是时候开源Grok了,将会在下周。
虽然开源的时间已经超过了他说的节点,但也正如网友所说:
迟到总比没有的好。
42个文件,500个G
目前,Grok已经可以在HuggingFace中下载:
xAI官方建议用SGLang来运行Grok 2,具体步骤如下。
*步,下载权重文件。
你可以把 /local/grok-2 换成任何你喜欢的文件夹名字:
hfdownload xai-org/grok-2—local-dir /local/grok-2
官方表示,这个下载过程中可能会遇到一些错误,如果出错了,可以多试几次直到下载成功。
下载成功后,文件夹里应该有42个文件,大小约为500GB。
第二步,启动服务器。
xAI官方建议安装最新版的SGLang推理引擎。
然后用下面的命令来启动推理服务器:
python3-m sglang.launch_server —model /local/grok-2—tokenizer-path /local/grok-2/tokenizer.tok.json —tp8—quantization fp8 —attention-backend triton
值得一提的是,这个模型需要8个GPU才能运行。
最后一步,就是发送请求。
这是一个经过预训练的模型,所以我们需要确保使用的是正确的聊天模板:
python3 -m sglang.test.send_one —prompt “Human: Whatisyour name?lt;
发送请求后,我们就应该能看到模型会回复它的名字了,即Grok。
那么xAI最新开源的Grok 2,到底是什么水平?
虽然其能力定然是不及当下的各种*进的主流模型,但我们可以从去年xAI发布的Grok 2相关模型的技术博客中略知一二。
当时,它在LMSYS排行榜上,总体Elo分数已经超越了Claude和GPT-4。
并且在一系列学术基准测试中,Grok 2系列在研究生级别科学知识、一般知识(MMLU、MMLU-Pro)和数学竞赛问题(MATH)等领域达到了与其他前沿模型相竞争的性能水平。
不过有一说一,网友们虽然觉得马斯克开源的动作还挺好的,但也有不少诟病的言论。
例如在HuggingFace中,我们并没有看到xAI明确指出开源模型的参数权重。
因此网友们就只能根据以往的信息,猜测它是2690亿个参数的MoE模型。
其次,就是开源协议的问题,因为xAI在HuggingFace中的表述是这样的:
用网友的话来说,这基本上就是一个非商业许可的:
Mistral、Qwen、DeepSeek、微软,甚至是OpenAI都在用MIT或Apache 2.0许可来开源模型。
以及,也是最重要的一点,就是运行这个开源模型的条件:
谢谢,我现在只需要8块显存超40GB的GPU……
Two More Thing:
除了开源动作之外,马斯克还发布了Grok APP上的一些新功能。
这次的更新主要是聚焦在了AI视频生成,具体效果如下:
感兴趣的小伙伴可以在APP上体验喽。
以及马斯克还发了一段有趣的言论:
xAI很快就会超越除谷歌外的任何公司,但中国公司才是*对手。
参考链接:
声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。