对话盛颖：xAI、SGLang与AI基础设施的浪漫——“Infra本身在我眼中就是产品”

大家好，欢迎来到《硅谷101》，我是陈茜。本期节目的嘉宾是 xAI 前推理系统负责人、开源推理引擎 SGLang 的发起人盛颖。

盛颖本科毕业于上海交通大学 ACM 班，随后在哥伦比亚大学获得计算机科学硕士学位，并在斯坦福大学获得计算机科学博士学位。她的研究经历横跨算法、形式化验证和大模型系统。

大模型浪潮兴起之后，她成为 LMSYS 开源社区的核心成员，参与推动了一系列具有行业影响力的项目，并创办了推理引擎 SGLang。之后，盛颖加入 xAI 并共同领导 Grok 的推理团队，将开源研究带入全球最前沿的大模型工程实践。

如今，她从 SGLang 开源生态中孵化出创业公司 RadixArk，希望把只有少数科技巨头才能拥有的前沿 AI 基础设施，变成整个行业都可以使用的开放技术底座。RadixArk 创立之初便完成了 1 亿美元的种子轮融资，投资方几乎集齐了硅谷所有的算力巨头和技术领袖人物。

RadixArk 的最终使命是要做下一代 AI。盛颖表示，她想要构建的未来是一个跟强力 AI 共存的未来。以模型为目标的这些公司在 infra 的美感上有所妥协，但在她与 infra 之间的浪漫关系中，infra 不是一个辅助的角色，infra 本身在她眼中就是产品。

问： 你本身是一个喜欢高强度（intense）的人吗？

答： 我是个必须保持高强度（intense）的人。

问： 你是注意力缺陷多动障碍（ADHD）吗？

答： 它不是一个疾病，而是一个特点、一个手册。我突然明白了，我应该顺着自己的天性去做事情。

一旦悟到这一点，很多事情就迎刃而解了。比如看电视剧看到一半，突然觉得自己知道怎么解决这个问题了，就会暂停去写证明。

问： 你还记得是什么电视剧吗？

答： 《甄嬛传》。

世界上存在那么纯粹、那么好的导师，存在那么好的投资人，存在那么好的采访者。那些好东西都存在，但你要非常相信它，相信到即使你身边没有这样的人，你也依然相信它。然后有一天，那个跟你一样相信的人就会与你相遇。

这期视频播客，我建议大家配合我们上一期的解释性视频一起看。上个视频我们从 SGLang 的技术入手，解释了 AI Infra 的作用，以及软件层怎么能把“硅”的极限榨出来。相信对 AI Infra 的技术比较了解之后，再来看这期我和盛颖的对话，可能会有不一样的感受。还有就是嘉宾在美国多年，谈到技术的时候有些词汇用英文表达，我们也在字幕上给出了翻译，请大家多担待。那么以下就是我与盛颖的视频播客，非常感谢盛颖，欢迎做客《硅谷101》。

答： 感谢你们的采访。

问： 我看你们是刚刚搬来这个新的办公室是吗？

答： 对，6 月 1 号刚搬过来。

问： 你们现在大概多少人？

答： 现在有 40 多人。

问： 扩张会非常迅速吗？

答： 其实比我预期的快。因为事实上我们扩张规模增长得也比想象的快，各个地方都需要人，我们能招进来的人也比我想象的有更多合格候选人。所以我们也稍微有点压力，但是我们已经在控制。

问： 今天会讲一讲你整个的学生时代，到你之后的研究时代，再到你出来在 xAI，还有你自己现在的初创公司，我们可以按照这个顺序来讲。首先你其实是大学在上海交大...

你本科在上海交大上了 ACM 荣誉班，2017 年来到美国哥伦比亚大学读硕士学位。当时出国是因为大家都要出国吗？为什么选这条路呢？

确实是因为当时很多人要出国，但我对出国的概念知道得很晚。从江西到读本科，我经历了很强的文化冲击。我身边的同学更理解职业发展和人生发展，他们有更多规划，而我当时处在无知状态。

我本科刚毕业时，申请美国的大学一开始并没有拿到录取通知，反而接到了香港中文大学的 PhD 录取通知。在过了君子协议日期的第二天，我突然收到了哥大发来的普通硕士录取通知。虽然这是一个很多人都能拿到的普通项目，但我当时就想接触一些新的东西。

因为那时的学术中心还在美国，我想出去看看。哪怕哥大的硕士项目不是特别顶尖，但我希望去看看。当时我还给我爸打电话，问能不能毁掉前面的 PhD 录取通知，虽然还需要交一笔违约金，但我真的很想出去看看。我犹豫着打完电话，我爸非常快地在一分钟内说好，让我去，于是就交了违约金。

问： 你说你从江西到上海有一段文化冲击，你从上海到美国，是不是也经历了文化冲击？

答： 也有吧，我觉得我确实是每一段都在打破舒适圈。

但在纽约的感受不一样。纽约是一个很包容的城市，这个冲击其实不太冲击，我感到不一样，但觉得极大地被包容了。

问： 具体体现在什么方面？

答： 纽约当时的文化让我觉得没有人盯着我看，没有人在乎我穿什么、想什么、做什么、想要什么。我在纽约感受到的冲击更多的是不需要被评判，也不需要评判别人的冲击。这个冲击是从一个被限制状态到一个完全自由状态的冲击，它虽然是个冲击，但其实是个更放松的过程。

我看你在哥大硕士阶段发表的论文比较偏理论，主要是测试函数、线性回归的数学性质，后来到了斯坦福读 PhD 的时候选择了形式化验证方向。能不能先跟我们说一下，在哥大从事的这些研究，对你后来的研究有产生任何影响吗？

我刚上研究生的时候是没有想要做研究的，但第一学期上了计算复杂性的课，觉得很有趣，又碰巧交了一些做理论的博士生朋友，就觉得这个领域非常有意思。我找老师和同学们看能不能有一些问题可以研究，研究了一段时间觉得很有趣也有成果，所以自然而然地就到了斯坦福。

问： 就是你研究生毕业的时候，有考虑过我要工作，还是说我要申请博士吗？

答： 我一开始是没有想要申请博士，或者说我也没有觉得我不会申请博士，但我没有对着这个目标去。我觉得它是开放的，所以我也保留了这个选项探索了一下。但我后来发现这个理论的问题非常有意思，我自己也非常享受。我当时甚至觉得我也不需要赚很多钱，我想 stay poor（保持清贫），想找一个没有人的地方。我当时有一次去普林斯顿...

我去参加一个 workshop，直接被普林斯顿校园的那个环境包围了。进到里面就突然觉得与世无争，非常学术。

它跟哥大不一样，不是那种学术感，就是一种与世无争。

进到那里会觉得，你人世间在乎的很多东西、平时挣扎沉浮的东西都非常没有意义。

问： 是学校的环境给你这样的感觉，还是那边的人他的氛围是那样的？

答： 应该也还是那个 workshop 带来的。环境加上 workshop 里的人，大家讨论的氛围感让我觉得所有事情都是不重要的，人的想法和七情六欲甚至看上去有点荒诞。

问： 那什么是重要的？ 答： 就是什么都不重要是重要的。

是一种虚无，你觉得虚无才是真实的东西，就只有真实是重要的。

数学在那个环境下就会显得特别美好、特别优美，因为它具有确定性，而且是绝对化的。

你在跟它打交道时，没有其他东西需要思考，它可以让你非常沉浸和专注。

或者说你可以在这个环境里进入心流状态，思考问题时进入心流状态。

这个心流状态与人无关，与其他所有事情都无关。大脑被完全调转起来时，会进入一种生理性愉悦。

我有点描述不出那个感觉。

问： 我能理解到你的意思，但是这个状态我觉得非常纯粹，很像会成为一个数学家的人的状态。 答： 但是你后来为什么没有成为一个数学家呢？

问： 对，我当时就是很想成为一个数学家，我觉得我就要成为一个数学家，我觉得我只想做数学。

但是事情的发展总是没那么简单，毕竟我还是有生活上的各种干扰。

到了斯坦福之后第一年也确实没有再，我觉得到了斯坦福我就没有那个感觉了。

问： 所以斯坦福不如普林斯顿纯粹吗？

答： 普林斯顿那个只是一场旅行，我人在哥大。但我在哥大时也能感受到这个氛围，我甚至现在觉得，是不是西海岸和东海岸其实有点这种文化的差异性在。

西海岸就是慢慢你会感觉到更多的这种关于成功与否的 noise（噪音），你想要参与世界的推动，我又开始觉得我跟世界有关，我又觉得我不想跟世界无关。

但我在东海岸时，我觉得我希望我跟世界无关，我希望我被世人遗忘，是很不一样的一种感受。

我在斯坦福第一年想做理论，那个时候斯坦福是有 PhD rotation program（博士轮转制度）要配导师，配到了之后才决定你后面 5 年 PhD 的旅程怎么走。

前面几期我觉得是因为各种各样比较复杂的原因，没有再遇到很让我觉得能够进入心流状态的问题，也没有跟哪个老师能够双向地都觉得很兴奋。可能老师们也觉得我对他的问题不是特别感兴趣，有一些情况有时我也觉得那个老师我们没有完全匹配上。

最后到了第四轮，跟我后来的导师 Clark 匹配上时，就已经进入到一个新的课题了。

问： 是 Clark Barrett 教授，对吧？他其实是做形式化验证的一个方向。

问： 能不能跟我们的观众来解释一下什么是形式化验证？

答： 这个领域也很大，但我可以简单讲我当时做的一部分课题。我们当时一部分的课题是，要把我们人写出来的代码进行拆解和映射。

我们将人写出的代码拆解和映射，把它映射到底层的数学逻辑上一阶逻辑。在此之后，你可以从数学角度去证明你写的代码是否具备某一个性质。

具体来说，隐藏地来看我们有一个称为 specification（规范） 的概念。Spec 说明了代码应满足什么前驱条件、会有什么样的 invariant（不变量），以及代码执行完之后要满足的条件。你可以用这样一套语言去描述程序，而你要证明的就是：在有 spec 的情况下，代码是否真的符合这样一套逻辑。从代码映射到逻辑公式之后，公式之间的证明和推理，就是我做的研究领域。

这是 SMT solver（SMT求解器） 做的事情。我的研究大部分是在 SMT 求解器本身的优化上。优化一方面跟效率有关，一方面跟正确性有关，但更多的是跟你怎么定义语义有关——即定义什么样的语义空间，去表达一份代码所做的事情。

在斯坦福开始深入形式化验证之后，我们开始不断产出论文：2020年拿到了 IJCAR（自动推理国际联合会议）的最佳论文奖，2022年拿到了 IJCAR 的提名，后来作为 cvc5 的贡献者之一，拿到了 TACAS 的最佳工具论文奖。

问： 太高产了，对。

问： 你觉得这段时间，你的一个研究状态是什么样子的？

答： 其实真实过程比简历上看到的要干瘪、无聊很多。我在斯坦福前几年的经历并不顺利，刚进来第一年找导师就不顺利，被动地进入了形式化方向。因为要读 PhD，我需要不停地做研究、产出论文，其实处于比较被动的状态。

当然，在做的过程中我慢慢欣赏到了它的美感，理解了这件事情为什么有意思，并且觉得它有一个很有意思的未来。不过最开始做第一篇拿 IJCAR 最佳论文的论文时，是非常非常意外的。

我当时是一个完全小白的状态，对这个领域并不了解，只是导师给了一个问题我去解决。做完时我没有任何认知，不知道什么样是领域里最好的论文，因为读的论文还不够多。所以当奖项出来、别人向我祝贺时，我完全没有想到那是进这个领域发的第一篇论文。

但发完这篇论文之后，我重新进入了一个很低落的状态，没有找到想做的下一个令人兴奋的问题在哪。那篇文章做完之后正好进入疫情，我有长达一年接近一年的时间没有做任何事情，处于 depression（低落） 状态中。

但我遇到了非常好的导师 Clark。他非常支持我，完全理解我需要调整状态，只关心我的精神状态是不是能够走出来，没有给我施加继续产出论文或做研究的压力。他说我可以去上一些课、做 TA（助教） 这种轻量级的事情。那段时间我还回国待了半年，算是一个疗愈期。虽然我没有产出论文，但 Clark 从来没有断过我的经费，确实是非常好的导师。

一年之后，我慢慢走出来，并完成了 Sequence 那篇论文。

我们在证明过程中经历了很多挣扎，证明写了20多页，来来回回改了四五次。有两次我几乎是全部推翻重写，因为花了一两个星期、十几页推导出来的证明，只要发现最初的一个基点错了，后面所有的后续推理就全错了，必须从前面一直修正到全部推翻重来。

但是这个过程走完之后非常有成就感。最后完全写完的证明，比一开始设想的要复杂得多，我们都觉得这段证明和经历非常有满足感（accomplished）。

我记得当时 Clark 自己也说，那篇论文里的证明是他过去一年的高光时刻。当时这也是最佳论文提名，虽然没有公开选上，但非常接近。

如果说我在做形式化工作，这篇论文可能是我觉得最愉悦的一段时间。从这篇论文开始，我看见了形式化理论的一些深刻含义和它的优美之处。

它的优美之处在于，它让我从数学的角度去理解程序语言设计。我和程序语言打交道已经20年了，但从来没有以这样的角度看待过它，这给了我一个全新的视角。

你会发现程序语言里面也有很多的 权衡（trade-off）：有些语言更接近数学，有些语言更接近硬件。你很难找到一个支点让某种语言同时离数学和硬件都很近。接近数学的语言更容易被验证、更容易被形式化；而接近硬件的语言则更灵活、更高效，更接近人的思维习惯，在编程硬件的具体运算时映射也更直接。

最后没有在这个领域继续走下去，是因为我看到了它的局限性：它在现实中实际被应用的场景太少了，验证一个程序太贵，能验证的又很少，无法产生足够大的影响。我觉得自己想离世界更近一点，想要做更接近真实生活的东西，所以当时开始探索 AI，寻求双向转化。

探索 AI 的过程其实不太顺利，我大概又经历了一年时间的空窗期。外界看到的发表论文没有停，和自己定义的空窗期是不一样的。我对自己定义的空窗期是指那段时间我没有取得任何进展。

在转 AI 的时候，又有大概一年的时间我没有任何新的想法，实际上没有做成任何事情。可能长达一年之后，我突然在某个时间找到事情可做了，然后用了三个月产出一项成果。但在外人看来，会觉得那是过去一年的成果，实际上它只是过去一年里最后三个月的成果，前面九个月我都在零状态、完全不知道自己在干什么的状态里。

问： 我非常理解这个过程，就像我们记者写稿子也是一样的，你给我一个月的时间，前面29天都在做调研、放空或者采访，稿子其实就是用一天时间写出来的。所以你看上去，比如我形式化可能发了3篇论文。

虽然我形式上可能三年发了三篇论文，但每篇论文真正推动其实都只花了三个月左右的时间。这三年里，我每年都有九个月不知道在做什么，或者说是在迷茫中想要去找到你想解决的问题。

问： 去找到一个你真正感兴趣的问题并且解决它，真的是你的一个驱动力？

答： 是的，这个是的。我确实有一些特点，就是我没有办法妥协，我后来服从了我的这个特点。原来在不理解我自己的时候，我尝试努力去适应过一些规则，但是我后来发现我自己是不能被勉强的，我没有办法做我不感兴趣的事情，也没有办法做好。我能做，但其实我没有办法做好。我只有在这个事情让我觉得非常兴奋时，我才有可能把它做好。

问： 你当时什么时候发现这个性格就是这样了，必须要去服从我这个性格呢？

答： 这是一个缓慢发展的过程，倒也没有某一个时间点突然顿悟，而是我慢慢意识到，以及终于有一天完全接受它的一个状态。我完全接受它可能是在博士的最后一两年吧。

问： 你本身是一个喜欢 intense（高强度）的人吗？

答： 我是个必须高强度的人，从小就是这样的。

问： 我觉得从你发论文的数量跟节奏就能看出来。

答： 对，我没有办法。我哪怕睡觉的时候也会一直做梦，就是我没有办法停下来。

问： 你做梦也会梦到跟你研究或者工作相关的事？

答： 那肯定会，大家都会吧。

有时候的梦是完全无关的，但我还是挺有关的。

问： 就说明你在睡觉的时候，你的潜思维其实还是在工作？

答： 也可能是生活，就工作生活。但它一般来说都不是没有任何关系的东西，肯定会有虚假的成分，会有想象的空间，但是它不会是毫无关联的。

我觉得我 PhD 经历的那段低落的时期，就是因为那段时间太无聊了。因为疫情的时候大家都放慢了，我根本没有办法在一个慢速的环境里面保持我精神的健康，所以就是一定要忙起来，才能让你健康地运作。

我不一定要忙起来。我硕士做那个理论研究、做数学研究的时候是不忙的，那个时候你是很沉浸的。因为那个问题除了看着一张纸在那想，其实没什么能做的，我看上去很闲，每天可能也就想 4 个小时，工作 4 个小时我就去打游戏了。

其实我硕士期间打了好多游戏，因为那个问题都太难了，你没什么事可做，你只能空想。

问： 打游戏的时候也很高强度，对吧？

答： 其实也没有。我觉得做理论非常不一样，做理论就是有很多灵感，你只能等它来，其实你没什么事情可做，你只能在那等，等着那一刻来临，所以我有大量的时间去打游戏。

问： 在游戏中灵感来了，然后去写一写，是吗？

答： 其实我当时那个题目解出来，就是在我看电视的时候想到的主意。我也不知道为什么，但确实那个情境是，我看电视之前看了一篇论文，然后我就开始看电视去了。看到中段的时候，不知道为什么那个论文里的东西突然回响、回声出来，然后突然又想到了论文的那个点，突然意识到这个地方可能是一个解法突破点，那个就是关键点，就是你那个问题被解了。

就发生的那个瞬间，那个真的是有一个 phase transition（状态转变），那个是一瞬间的事情。好神奇，那个问题被解掉了。

问： 你那个电视剧看到那一半，你突然……

答： 我怎么突然开始知道怎么解决这个问题了？暂停，去写证明。

问： 你还记得是什么电视剧吗？

答： 《甄嬛传》，我是真的记得。太神了！

我一般是在洗澡的时候会有灵感突然击中，这种也会有，对。但是电视剧我觉得我很少，因为看电视剧你还是要很沉浸的。看起来你看电视剧的时候，你的潜思维感觉还是在一直在思考一些。

我会……

就前面说到我跟我自己和解，我是怎么和解的？就是我以前不知道 ADHD（注意力缺陷多动障碍）这个东西，有一天我就慢慢地了解到有个东西叫做 ADHD。然后我看完各种症状，深入理解之后我发现好多东西都可以被解释。

问： 就你觉得你是 ADHD 吗？

答： 我确实是，我定期要看心理医生。

但它不是一个疾病，而是一个特点。学习之后我发现好多事情被解释了，它给我带来最大的帮助是通过理解它而理解了我自己，像是找到了怎么使用我自己的一把钥匙，手册有了，对，它是一个手册。

我突然知道了我不应该逆着我的短处和天性去做事情，我应该顺着我的天性去做事情。它告诉我这件事情，你一旦悟到了这个之后，很多事情就迎刃而解。

其实很多事情你是不要勉强的，是没有必要勉强的，所以我前面说我只能做我喜欢做的事情。当你把这个当成真理的时候，你就不再跟它对抗了，特别棒。

问： 然后我们聊？ 答： 我刚刚说这个是因为可能我已经开始有点这个症状显现。它的这个特点之一，就是我看电视的时候也是不专注的。 问： 你是不专注的？ 答： 对。

就我看电视时候，我也会跟不上那个电视的内容，我经常要回退，我经常要往回拉，刚刚讲了什么。30分钟视频，我经常看四五十分钟才把它看完。

问： 比如说你自己在做研究，或者你在工作的时候，就是什么样的时候你会非常专注，什么样的时候你其实是没有办法专注的？

答： 就是我自己特别被它吸引的时候，我非常专注。它这个是两极化的，我专注的时候非常专注，专注的时候我会听不见别人叫我的名字，不记得时间，不知道外面发生的事情，会错过很多个会议。不专注就是根本没办法专注，就是哪怕这事情很重要我也无法专注。

问： 看《甄嬛传》都没有办法专注，是吧？ 答： 说明《甄嬛传》不够吸引人。

它如果够吸引人，我就会非常专注。打游戏会非常专注，打游戏非常专注，有些竞技性运动也会。它需要非常地高强度，对，它要非常高强度，它要非常激烈，它要竞争。游戏的话你是对打，有输赢，球类运动也是，你有输赢，这个时候我就会非常专注。

问： 所以你是一个好胜心很强的人？

答： 我觉得我不是真的很在乎输赢，但是我在乎那个高强度的感觉，我喜欢那个感觉。我其实不在乎输赢，我游戏可以输，打比赛也可以输，没关系，我也不会觉得我非要赢。

但是你这个机制设计进去了之后，我会很享受那个心流状态，就是还是那个，我喜欢心流状态。你的大脑被抓住，就是心流吧，人非常专注的时候那个应该就叫心流状态，是很享受的。 问： 所以打游戏、研究、学习，这个上面你都可以获得你的心流状态？ 答： 对，学我喜欢的东西可以。

问： 再提一个你大学的问题，我们聊到这个公司上面来。就竞赛圈，它其实是一个很有那种天才标签的这样的一个圈子，对，你觉得天才这个词在你身上安得多吗？

答： 很多人会跟你说，你从小是个天才。不多。

问： 甚至你拿了这个竞赛的金牌之后都没有吗？

答： 我没有拿金牌，首先。 问： 对，你是拿了全国信息学奥林匹克的银牌。 答： 但是我记得你好像是在纽约的一个…… 问： 纽约那个区域赛冠军。 答： 区域赛冠军，好。区域赛冠军也是组队，就是三个人一个小队，也没有说是我个人成就，我的队友其实非常强。

我非常运气好，有非常强的队友把我带飞了。虽然小时候有这种情况，但后来不常有了。虽然拿了这些奖项，但比方说银牌不算什么，还有很多金牌选手。就看你跟谁比，我在的ACM班里面有比我更强的，有很多比我更强的。问： 所以你觉得努力这件事情更重要，还是天分这件事情更重要？

答： 我赞同天分。

问： 你觉得在研究上面，天分它主要表现在什么样的方向？

答： 天分是指当外界人不把研究当回事，不觉得研究是件伟大的事情的时候，你还想做它，那就是你的天分。那叫兴趣，我觉得大部分时候天分和兴趣相关性还是蛮强的。

问： 那这么说吧，可能很多人想当研究员，但不是很多人都能研究出来，或者解决这个问题，就你能解决这个问题肯定是有你的天分在？

答： 对，是有天分的。

但我其实首先不觉得大多数人真的想成为研究员。我见过太多的人他们想做研究、想成为研究员，是因为他们觉得这件事情酷，是因为外界的环境让他们觉得这件事情很酷，或者当教授是一个铁饭碗，类似吧反正就一些原因。但这个并不是——如果说当所有人都开始觉得当教授是一个被人唾弃的职业时候，他们马上就不会想做了，这你能识别出来。

但是在我当时想要做这件事情的时候，其实我是——比方说我在的环境里面，其实大家也没有觉得做理论是件多么伟大的事情，你赚的钱也很少。但是你还是想，你还是觉得它有意思。我想做一件事情，是因为我希望跟别人无关，是因为我享受无关，那个时候才是你真正的所谓的兴趣和天分所在的时候。我也不敢说我有天分，我毕竟也没有发明过什么，也没有什么巨大的数学成就，我也不能算有天分。

问： 你肯定是算有天分的，不然的话你论文怎么能发那么多？

答： 有很多人论文发得很多，比我发论文多的人还有很多，那可能就是更有天分的。

发论文只是一个——发论文是有套路的。发论文其实你如果掌握了发论文，发论文本身是一个技能。发论文跟做研究是两件事情，发论文跟人们定义的做研究和真正意义上的科学家是三件事情。

发论文是有套路的，你完全可以一个人根本就不怎么懂研究他也能发很多论文。就像是一个什么命题作文一样，是不是，你套着它那个框去写就可以了。对，就是你只要掌握了这个规则，你掌握这个体系的规律，在同样的规律里面不停地产出，你就可以一直发很多的论文。

问： 但是顶刊也很少。

答： 不少了，现在顶刊一年都几千篇、上万篇。这么多人去投稿的话，顶刊还是算少的。

对，那肯定是有范围的，那我可能还是比平均要有天分一些。对，掌握这个套路本身就是一件有天分的事情。所以你说发论文跟做研究，跟当科学家是三件事情，发论文跟打工人是一样的，跟打工人是一样的。

发论文其实是一件非常平凡的事情。

问： 做研究跟当科学家这两者有什么区别吗？

答： 做研究有很多其实是不突破、也不关键的，但它并不是没有价值。做研究仍然是个职业，只不过是我作为一个研究员喜欢享受做研究，所以在这里做，并不是我比别人更有天分。我没有天分也可以是个研究员，所以研究员只是一个职业。

但我所说的科学家——这个名词我可能也用错了——是指真正在推动人类知识边界的人，这非常少。在我眼中，真正的推动是指如果不是他，这个事情会晚很长时间发生。

绝大多数的教授可能都不是，他们还是属于第二类研究员。

问： 所以 Geoffrey Hinton、Yann LeCun 还有 Yoshua Bengio，就是图灵奖的这三个人，你觉得他们是科学家吗？或者是你定义的第三类人吗？

答： 应该是吧。不过我没跟他们直接接触过，所以还是不给我的直接定论。我非常在乎一手信息和求真，不想评价我没接触过的人。但既然他们世俗成就这么高，他们应该是的。

问： 你在谷歌实习是什么时候？

答： 应该是2022年的暑假。

问： 在谷歌实习之后，你想要转去做AI，还是在谷歌实习之前，你就看到了这个方面有非常大的前景，发展很快了？

答： 我是在去谷歌之前就想要转AI，我是因为想转AI所以找了那份实习。那份实习是AI for code（编程）。我之前也尝试了一些其他的纯AI岗，他们都不收我，我都没有拿到机会。这一个岗位跟程序分析有一点关系，我因为这个背景被招进去了，所以我接触到了AI，但我其实是因为想接触AI进去的。

但是我进去之后发现，当时的人们做AI for coding（编程）的时候，还企图利用一些原来的程序分析里面的技术或者工具什么的，非常的无力，其实什么忙都帮不上。AI人的幻想说我是不是可以利用另外一个领域的工具，交叉学科的这种希望，利用另外一个领域的工具来帮助更好地解决这个问题。但是我作为从另一个领域过来的人，我其实发现这个工具非常地无力。

当时就是看到了那个大模型已经是编程直出，相反，我反而看到的大模型其实已经把传统这个领域里的技术都完全覆盖了。

问： 那个时候其实还挺早的，2022年，应该ChatGPT它还没有出来，但是在谷歌内部，大家其实已经看到了这个方向了，是吗？

答： 我估计其他的公司肯定也是有的，但是确实ChatGPT还没有出来。那个时候是谷歌刚出PaLM，内部有那个LaMDA，就大家其实已经有所感觉了，只是没有到全民爆发的阶段。

问： 当时好像有个谷歌的程序员，他号称LaMDA是有意识的？

答： 对，就是那个时候。那个时候我们还做了个报道，还讨论了一下AI是不是有意识的，对，就是那个时候的事情。

我相信很多程序员，他们可能也是第一次或者是很新鲜的一个感觉去接触AI，才会有它到底是不是有意识的这种讨论。在那个时候，对，其实确实已经很多人是已经看见了那个很大的潜力，但是当时的模型潜力离真的生产代码还有挺大距离的。

我记得当时都是做一些生成一两百行的代码。

问： 当时你们那个小组有多少人？AI for code（编程）那个小组，那个也是谷歌内部孵化的创业项目，就Google X里面？

答： 全职应该，我其实有点不记得，但好像一二十个人吧。那个暑假他们非常激进，他们想要尝试很多方向，所以他们招了跟全职等量的实习生，让这些实习生全都去疯狂尝试不同的方向，他们希望能从中看到一点东西。

问： 后来这个实习结束的时候，大家看到了什么东西？

答： 我觉得当时那批人其实很多人后面还是，很多人就还在做编程。那段经历对我的影响很大，它让我看见了，因为我原来是不知道AI是什么事情的一个人，我进来之后看见了AI原来这么的强大，我发现原来根本就不需要什么显式的推理，我是被震惊到的那个人。它让我非常坚定地进入了这个新的课题，我就要做大模型。

问： 但大模型其实有很多分支，跟不同的垂直领域，但是你选择了做infra（基础设施）的那个赛道，为什么呢？

答： 其实也不是我选择，我其实也尝试了不是infra赛道的，就是分析一下算法上的事情，但我发现我更适合infra。我那边可能没有太成功，infra成功了，所以最后发现，就是我爆发都在infra这一侧。做infra跟我的思维习惯更接近。

基础设施的开发是协同推理的、确定性的，并且基于数学和代码，这两者我都非常熟悉。

问： 能不能说一下你最开始做 SGLang 是什么样的一个契机？

答： 我转入 AI 领域后，博士最后两年一直在做大模型推理相关的研究。从 FlexGen 开始，连续的一系列研究最终延伸到 SGLang，它类似于我的博士毕业收官之作。我当时觉得已经做了很多不同角度、但相对局部的研究，而 SGLang 是希望把它们集大成于一体的作品。

因此在开发 SGLang 之初，我们就希望将其开源，从一开始就定位为能够被广泛和大规模使用的、部署就绪的推理引擎。

问： 其实你在做 SGLang 之前，vLLM 已经推出半年多了，你之前也在 vLLM 做过一些项目。为什么在已经有这样一个项目的情况下，你自己还是想要做 SGLang 呢？

答： 这个历史比较长。当时我听到 vLLM 项目时，他们的想法跟我们当时思考的另一个想法类似，于是我被说服合并进了 vLLM 项目，在我的视角里，我是被合并进去的，因为该项目已经在做我想做的事情。不过，vLLM 做开源是在论文之后的另一个节点，并不是在发表论文时就是一个开源项目。

真正把它推成开源之后，就需要做很多除了研究和创新之外的事情，包括项目维护、社区维护以及许多工程细节的琐事。那段时期我没有过多参与，而是继续做我自己的其他研究，包括 S-LoRA、SGLang、Fairness 等推理领域的其他问题。

SGLang 旨在将我的思想在一个地方继续推向深入，它本来也是以某一个创新为起点去做成一个通用引擎。在我看来，当时有许多这样的服务引擎，SGLang 只是其中之一，并不存在我将 vLLM 的引擎整个搬到了 SGLang 里的情况。

问： 那么 SGLang 跟 vLLM 的核心差异性有吗？还是说其实大家都差不多？

答： 不同的团队做出来的肯定不一样。如果不把时间维度放进去，它们会是类似的，因为团队之间会相互学习、趋同，有好东西一定会互相借鉴。

但如果把时间放进去，每个时刻大家的侧重点会有所不同。比方说，SGLang 更早地进军了规模化方向，把千卡、万卡甚至百万卡级别的生产和大规模服务做好了；而 vLLM 可能在社区覆盖和长尾模型的支持上做得更早。因此大家的专注点有所不同，但现在去看，两方又在互相学习、补齐短板。

你 2024 年在 Databricks...

问： 你在Databricks不是也做过五个月的时间吗？当时公司的联合创始人之一 Ion Stoica 也是之前伯克利的教授，他跟你有什么样的合作吗？

答： 他是我在伯克利访问时的教授，我们在伯克利一起做过很多研究。

问： 他对你有什么样的影响吗？

答： 在专业水平上给我带来了很多启发。

我和 Ion Stoica 一直保持联系。除了是我当时研究的导师外，他也是我终身的导师。

问： Ion Stoica 是个很特别的人，当然他这么成功，肯定很特别。你觉得他的特别之处在哪里？

答： 他其实是个很立体的人，同时开很多公司又是一个教授。但如果靠近他，会发现他骨子里自我认同感最高的还是教授这个身份。教授和学生这个身份，追溯到根源，就是他的根源所在。

他很在乎 making impact（产生影响力）。Impact 可能是他做所有事情的动力之源，他也把这个精神传递给了他的学生和共事的人。

问： 但你其实不一样？

答： 对，我其实在另一个价值观里面，但我能理解这套价值观。

问： 所以 making impact 不是你的价值观吗？

答： 对，不是同一类价值观。

问： 那你的价值观是什么？

答： 我在乎的不是 making impact 本身，而是在乎我想要 make 的 impact。如果有一种 impact、有一种价值观我希望它被执行和推向世界，我就会非常努力地去推动它和希望它发生。我会尽一切努力，其实我不是完全在意这件事情是不是我推动的，别人推动也可以，如果有人愿意帮我推动，那就太好了。

但一般来说不会有这样一个人。我慢慢学会的是，我真正自己想做的事情没有人会代劳，因为别人有别人想做的事情。最后你自己真正想做的事情，只有自己去坚持不断，长时间地为那件事情奋斗、让它发生。所以在这个逻辑上，我觉得是有一些微妙的不同——我在乎的是 impact，而不是 making。

问： 所以在另外一个价值观看来，making impact 有可能是非常地希望我个人有 impact，但你更在乎的是这件事情？

答： 对，我更在乎有一些我觉得正确的事情发生。这个有时候会让我显得很 opinionated（有强烈主张的），因为我对一些事情有观点，会非常希望我的观点发生，但我其实不是在乎它是不是我的观点，而是不知怎地就被这个观点给吸引了。

我们说一下你在 xAI 的一些经历。

问： 你是 2024 年 10 月份加入的 xAI，当时为什么选择 xAI 呢？

答： 我当时刚 PhD 毕业，想要推广 SGLang 这个项目。从我开始做 SGLang 之后，我的整个规划都跟它紧密相关。我刚去 Databricks 时是想在里面推广 SGLang，或者至少找到一块地方可以好好开发它。我并不是说它能取代所有的技术栈，但希望有这样一个空间。

刚加入时，Databricks 告诉我 Databricks 有这样的自由，但实际上其业务模式不那么一样。而且 Databricks 毕竟是一个很成熟的公司，做每件事情都需要充分的理由。我作为一个新毕业的研究员，没有太大的权力，自己也不够成熟，还不会怎么在一个成熟企业里推动大项目。所以那几个月的尝试不算特别成功，也可能造成了一些影响。

而 xAI 给的机会是它愿意支持我。我的丈夫 Lianmin 当时已经在 xAI 做训练，正好 xAI 到了一个需要做 production inference（生产推理）的节点，于是就有了这样一个机会：我和 Lianmin 可以去 xAI 共同建立整个推理技术栈、推理解决方案和团队。因此它能给我两样东西：**Support（支持）**和 Freedom（自由）。只有同时拥有 support 和 freedom 时，我才能做这件事情，所以我加入了 xAI。当时有些其他的机会只给 support 或只给 freedom，能同时提供这两者的机会其实是蛮罕见的。

问： 是不是也是因为 xAI 那个时候比较早期，所以才有这样的机会？ 答： 是的。

问： 那个时候的 xAI 是什么样子的呢？在你能够说的范围内给我们描述一下。

答： xAI 是我生命中非常重要的一部分。虽然我工作的时间不是特别特别长，但在很多地方工作过，xAI 时光是我回忆最美好的。

我离开 xAI 时其实非常不舍。我离开是因为 SGLang 开源的需求到了一个节点，我不得不出来把新公司 RadixArk 扶起来，让社区能够很好地继续发展；如果不是因为这个原因，我非常非常不希望、也不舍得离开 xAI。而且我觉得这个想法不是我一个人有的，早期的很多员工都有类似的想法。有些人甚至在 xAI 的工作已经有点承受不住，因为压力和强度都很大，但他们还一直坚持，就是因为不想离开这群人。我的想法也是类似的。

问： 所以是这群人，你们形成了一个非常好的团队的感觉？ 答： 对，我觉得是。早期的 xAI 给我体验到的是个个都是人才。

里面个个都是人才，大家互相之间也很支持、很友善、很懂感恩、很谦逊，这是当时 xAI 给我的印象，跟你的价值观很像。

我觉得当时在 xAI 能够非常专心地做事情，没有太多的杂念。而且大家都是这样的，能够非常直白地做事情，都知道把事情做成最重要。

我经历过那么多公司，在加入 RadixArk 之前，那是我第一次经历到一个团队、一个公司里面完全没有任何人际博弈、没有任何办公室政治。当然后面可能慢慢地也会有，公司大了就肯定会有。

问： 那个时候 xAI 有多少人？

答： 我加入的时候不到 100 人吧。

问： 100 人没有办公室政治还是挺难得的。

答： 可能也有，我没有看见，但是至少在我看见的范围里面，我没有看见办公室政治。

我很幸运地在一个能够非常好的思考问题的环境氛围里面，我只要思考怎么做事情，我身边的人他们也在思考怎么做事情。大家也会有一些摩擦，那很正常，但是是一些不影响团结的摩擦，这些摩擦不影响我们始终在一起。

我觉得现在我们在 RadixArk 是把这个氛围带过来了。

问： 那好棒！

你把你在 xAI 的时候描述是 v1.0 版本，没加入之前是 v0.0 版本，可能现在是多少？v3.0、v4.0 版本？

答： 我也不知道大家怎么定义的，因为后面我也不在了，我只能听大家的说法。但是我能够感觉出有那么几个阶段，所以 v0.0 跟 v1.0 的时候是非常美好的。

问： 那个时候 Elon 的重心也不在你们身上，就 v0.0 的时候应该是 Elon 不怎么在？

答： v0.0 是我听说的，我不在 v0.0 里。v0.0 的时候 Elon 对大家都非常好，v0.0 应该是非常非常美好，像一个家庭一样。

v1.0 的时候其实已经开始生长了，已经开始有这个生长痛。v1.0 的中途 Elon 回来了，但是我觉得就算在那个时候，v1.0 里面产生的阵痛，大家也还是共同克服难关的。我没有感觉到军心有什么动摇，我觉得大家都非常团结，也彼此照顾，我觉得那个时候是彼此照顾的状态。

构建了一段战友情的这种感觉。这段故事特别珍贵，是因为它跟现在大众对 xAI 的一个认知差距是非常大的。因为现在大家的认知说，前段时间 xAI 的联合创始人全部都离开了，要么被解雇或者被裁员，或者自己辞职的，就感觉这两个叙事就好像在说两个不同的公司一样。

确实很不一样，因为后面公司大了，我觉得 xAI 是没有过那个阵痛期的，是没有过那个从很小的、很团结的一个创业公司变成一个需要靠体制来运转、而不是靠人来运转的大公司的状态。它这个过渡期的阵痛是没有很好地抚平掉，所以产生了这些巨大的变化。

但有天它可能又会找到一个新的解决方案，因为 xAI 还在那里，新的人员在新的组织架构，有天它可能会找到一个新的解决方案，但是就是可能是一个另一家公司。从人员上来看的话，反正 Elon 还在。

问： 对，这是最重要的，又被 SpaceX 收了，上市了。

这段我觉得就是对组织架构的一些震动期。因为你肯定有你的观察，你觉得对你之后做初创公司——因为你们现在也是几十个人，对吧，可能很快你们会上百个人、几百个人的一个规模——会对你有什么样的经验教训吗？

问： 对你之后做初创公司，比如你们现在也是几十个人，可能很快会上百个人、几百个人的规模，会对你有什么样的经验教训吗？

答： 有的。我觉得我们现在就在一个很美好的时期，这段时间一定会成为我们所有人以后人生中非常珍贵的一段回忆，但也一定会面临扩大规模的挑战。

人在少的时候可以通过文化和人的管理去实现运转，但规模化上去之后，文化、人和个人能力都会变得很脆弱。那个时候能不能把公司做大、把事情推动好，更多的是看系统搭建得怎么样、体系构建得怎么样。最后是靠体系去支撑的，而不是靠人去支撑的。

这个转变我其实不知道正确答案，因为我没有经历过，但我能学到的经验是，这个过程要非常有意识地思考（intentionally thinking）。它不是一个会自然发生的事情，不是说只要公司计划有、往前推进、有业务范围（scope）有事可做，你就理所当然会得到的东西。如果你不上心，它是会破裂的。

问： 你当时主要任务是什么？

答： 当时在 xAI 给 Grok 构建推理系统的时候，我们是负责引擎那一块，要同时服务其他很多组：

• 产品服务（Product Serving）： 他们负责部署（deployment），我们需要跟他们对接；他们遇到问题会报给我们说引擎里有什么问题，我们也要帮忙做部署上的协调和配置（configuration）等。
• 研究团队： 我们也要跟研究团队合作。研究团队做评估、跑强化学习试验（RL rollout）用的也是我们的推理引擎，所以我们也要去支持他们业务（workload）里面的各种适配。

问： 当时在 xAI 的时候，因为它整个算力系统也是非常庞大，后来又买了非常多这样的卡，你是不是在里面受到了全栈的训练？这对你来说产生了什么样的影响？

答： 对。

在 xAI 的机会就是能看到所有东西，因为当时团队小，而且 Elon 还是设置了一个我很喜欢的文化。Elon 有他的一些问题，但他有一些很突出的地方，就是能设置一个没有边界的文化。

在 xAI 里面，至少我还在的时候，我觉得任何事情我都是可以接触到的。组与组之间虽然被隔开，你不会只限制在一个很小的范围、只做这一件事情而不知道外面发生了什么。xAI 里面没有特别多的人员管理，都是技术性的，并且它非常重工程师文化，所以你做事情可以非常直接。

这样一个文化就使得我能够看见很多个层面和很多个模块之间大家是怎么合作的，事情是怎么发生的，它作为一个整体是怎么发生的。这个给我带来非常大的成长，因为原来我确实没有办法看到这么多的东西。

并且在 xAI 因为强度很大、压力很大，人都是被训练出来的。你一定要经历过那个高强度，你的成长就像健身一样——你一定要很累了、感觉到痛了，才开始长肌肉。xAI 这个高强度给我们带来的成长就是，你在那里待一年，可能在外面是好几年才能拿到的成长。

问： 当时决定将 SGLang 商业化并成立 RadixArk，是在一个什么样的时机点？

答： 2025 年有几波浪潮将 SGLang 推到了很高的关注度，大量的使用与共建需求随之涌来。

纯社区项目的运作模式

SGLang 最早源于大学研究，但很早就演化为一个纯社区项目。核心开发者都是在网上结识的网友，有些共同协作了两年甚至不知道彼此的长相。大家开过很多次会却从不开摄像头，形成了“只凭代码识人”的默契。

问： 大家不开摄像头是因为都是“i人”吗？

答： 倒没有内向到抗拒开摄像头，只是大家自然到完全想不起来这件事。

社区带宽透支与交付危机

然而，这种松散的社区模式缺乏组织纪律性。尽管大家很有热情，但都有各自的全职工作，只能靠熬夜、周末和假期写代码来维持。随着项目爆发式增长，兼职维护已无法支撑高质量的产品标准。

强撑了几个月后，由于团队带宽受限，许多合作只能勉强低空飞过甚至无法交付。到了七月份，焦虑感达到了顶峰：如果再不全职出来填补背后的空白，项目就会陷入中空并让外界失望，因此我决定离开 xAI。

问： 从 xAI 离开应该放弃了许多经济利益吧？

答： 倒也还好。不过我在 xAI 待了 10 个月，距离一年的 cliff（悬崖期）只差两个月，只要再待两个月就能拿到第一年的 vesting（股权兑现），但我连这两个月都等不了了。

因为确实等不了了。等到7月份已经是等了很久了，其实可能5月份就已经有点受不了，到7月份时已经是实在是受不了了，如果不出来的话，可能这个社区就……

问： 两个月都等不了了，是吗？

答： 对，大概是那样的结论。

我的心理状态到了无法专注做 xAI 事情的程度，已经没办法高效地生产我对 xAI 的价值。但我不能忍受自己在一个地方上班却觉得对它没有用，否则我就会觉得自己不配在这个地方。所以我当时已经到了一个觉得自己不配再继续待下去的心理状态，这不是我能控制的。

问： 刚才忘了问一个问题，你觉得金钱对你有任何的重要性吗？

答： 有必须性，没有重要性。它的必须性来自于有金钱可以让我解决很多事情更容易，这个我承认。我没有追逐过它，但你真的说它不重要吧，我也没有到那个程度。它能够给你带来的底气就是，比如说我想创立这个公司，如果有一天我融不到钱我自己还有钱，这是它对我的意义。

问： 忘了提一段经历，你在哥大毕业之后……

问： 你在哥大毕业之后，其实是到了华尔街的一个对冲基金叫Two Sigma，里面工作了有几个月吧？是不是没有到一年，有半年6个月？那段经历是什么样子的？

答： 大家觉得纽约华尔街纸醉金迷，在一个对冲基金里面，好像跟之前做研究的氛围完全不一样。但我们那个对冲基金是一个技术对冲基金。我当时确实想要接触金融，觉得挺有意思的、有点好奇。那时候量化大家的说法就是里面的人很聪明，都是PhD、学物理的。我就是喜欢聪明的、跟聪明的人说话，喜欢做有挑战的、跟智商挑战的事情，所以它这个特点当时吸引我，当然这也是吸引很多其他人的原因。那个时候我也就21岁、22岁，单纯地被这东西吸引，我觉得我要去体验一把，要是不体验的话以后我会一直想着它。但是我又觉得金融不是我的人生追求，天天在那玩钱没啥意思。所以刚好PhD中间隔了半年的间隙期，完成一个体验挺好的，我就去那里做了半年，那半年的回忆也非常好。

如果要我排序的话，我工作过的所有公司，排第一的是xAI，排第二是Two Sigma。

问： 评价这么高？但我听说Two Sigma……

答： 我在的时候又是它最好的时候，我很幸运，每次在都是它最好的时候。虽然后来可能就有些变化了，但在的时候是Two Sigma最蓬勃发展，甚至拥抱开源的那段时间。Two Sigma那段时间是做开源项目的，非常拥抱科技，也拥抱新技术、AI、大数据什么的。里面的人非常地互相帮助，我没有感受到任何多余的东西，所有人都只是在做事情，非常地开放、非常喜欢分享，质量也很高。里面当时交到的很多朋友到现在也还是我的朋友，大部分人还继续在华尔街量化里面，或者也都会出来开始做AI。

Two Sigma让我看到一个非常有组织的公司的样子，至少在当时。我当时不觉得，但后来去了其他公司之后我再回想，就觉得原来其他地方这么乱。Two Sigma它都不是一个技术公司，但是Two Sigma的基础设施跟其他的比起来是最稳定的一个地方。

问： 有意思，你觉得原因是什么？公司文化就是这样的吗，就让它非常地干净？

答： 我觉得是它的聚变不多，它的业务模式比较稳定，所以大家可以在那里一直做维护，大量的维护。

问： 所以对于做一个金融，追逐那个回报的数字，赚钱这个事情，在你这边就不是优先事项，你只是想体验一下？

答： 对，我只想体验一下，我一开始就知道那不是我的优先事项。体验还不错，挺好的。

问： 你们的 LLM infra（大模型基础设施）在做什么样的事情？在解决什么样的问题？

答： Infra 分好几个模块，我们长远的目标是希望整个 infra 的结构性思考能在 RadixArk 这样的地方提供很好的基础知识。让大家根据不同的使用场景、数据形式、产品目标和探索目标，去源源不断地产生适应不同目标的最好的模型。我们希望把这个基础做出来，我统称为 infra（基础设施）。

它除了包括传统意义上大家理解的推理、训练和后训练之外，基座模型在我看来也是 infra。整个基础里面包括了所有需要的要素：代码库、工具、工具箱、沙盒、环境和中间状态的模型检查点。它们在一起变成一个工具箱，你可以在这里进行组合，不断产生更适用于你的场景和目标的特异化模型。整个工具箱和基础，就是我们要做的 infra 的部分。

现在我们要聚焦、一步一步来，所以目前聚焦在 Inference（推理）和 RL（强化学习）。它们处在生产模型整个流程的末端。假设基础模型预训练已经做完，有了基本的 checkpoint（检查点），现在开始要适应不同的任务。后训练时大家开始用 RL，这个地方已经开始开枝散叶。

因为 AI 进入了人生活的各个方面，有不同的场景需求，这时不再是一个模型解决所有问题，你可以通过多次训练产生多个模型来解决各种各样的问题，并且多个企业可能都想有自己的模型，所以 post-train RL（后训练的强化学习） 在这个地方是一个 fan-out（散开）的状态。

它比较适合做我们想要的这种给所有人分享技术、做一套基础设施让所有人都使用的模式。而在后训练完之后，模型的推理就更加 fan-out 了。

推理是真的到了末端，模型架构和 weights（权重）都已经有了，我需要让你的模型在硬件上跑起来，跑起来之后有一个 end point（接口）可以被 cover（包含），别人可以来使用这个模型。推理就是在那个更末端、贴近用户的部分。整个 Infra LLM Serving 的版图，其实中间涵盖了蛮多领域。

比如说：

• vLLM 是解决内存管理；
• H2O 是做 KV cache 的压缩；
• S-LoRA 是解决多适配器的并发；
• Chatbot Arena 做测评；
• SGLang 做结构化生成。 非常多不同的方向。

问： 对这部分的研究，你是有一个什么样的方法论在解决这些问题？还是说你有一个很完整的路线图，说这些东西都是我要一起去解决的，还是这些东西是你一步一步地去慢慢地解决这些问题的？

答： 我觉得是一次性看见，短时间内一下看见了很多问题，但你做的时候得一件一件做。想法肯定是跑得比手要快，也不是我一个人看见，很多人都看见了。上来一下看见很多问题，然后大家慢慢地把每件事情都解决掉。

问： 在解决这些问题的时候，你觉得有哪个点是最难的？

答： 我觉得没有哪个点是难的，就是去做掉就可以了。

问： 那你的优先级是怎么排序的？

答： 哪一个能给你带来最大的边际收益，哪一个是最大的瓶颈，就先解决最大的瓶颈。也有些是依赖关系的，比方说你要先解决内存的、KV cache的碎片化问题和管理问题，然后你才能解决前缀缓存的问题。

问： 所以你觉得现在这些问题完全被解决了吗？还是有继续优化的潜力？

答： 肯定总是有优化的潜力。Attention现在有这么多的变种，Sparse Attention还可以做得更激进，然后新的创新是不会停止的。

问： 这一块其实应该是一个很大的市场，但这个市场为什么最开始从开源的生态里面跑出来的呢？

答： 也不能说是开源跑出来的，因为推理已经很长时间了。Inference provider，你看从Fireworks、Together这些公司，已经存在好几年了。这些公司都很不错，有很大的使用量，而且你看推理的领域有这么多的竞争者。这么多的跟推理有关的公司，层出不穷，每年都在不停地出，但是你会发现这个游戏里面没有输家。所有的 inference player 不停地出来，有这么多，但是没有任何一个因为竞争的存在而消减下去了，所有人都是同步增长的。

问： 我之前其实跟你联合创始人邦华聊的时候，他就说做infra的人他需要的taste跟做比如说预训练的研究者他的taste是不一样的。比如说做infra的人他的taste是表现在什么样的方面？

答： 我其实不确定是不是真的不一样。

问： 是吗？

答： 我觉得本质可能是相通的。

问： 那你觉得taste表现在什么样的方向？

答： 不论是在做预训练算法，还是在做infra，你做一件事情时候是不是喜欢精益求精？它是一个很细节的活，就因为它这个效率要做到非常极致。不光是效率，如果你是追求一个目标的话，可能就不在taste这个维度上；你如果要的是一个最终目标，Taste其实就是你关注的不仅仅是最终目标，并且还有这个最终目标的组成。就是我的系统不仅能跑，我并且知道它是怎么跑起来的，它是以一个设计良好的形式形态跑起来的，还是它是一个豆腐渣工程跑起来的？他们有可能有同样的最终目标，有taste就是说我更在乎它是一个很优美的形式跑起来的，而不是很粗糙的方式跑起来的。

问： 那你在乎吗？

答： 我非常在乎，这是RadixArk的文化之一，我们非常强调这一点。我们想要成立RadixArk，想要好好地做一家基础设施优先公司。

因为我觉得在很多其他的，我之前工作过的其他地方，或者是听大家讨论，以产品、以模型为目标的这些公司，在基础设施的美感上有所妥协。他们在基础设施的功能上还是很追求的，但是在美感上是有所妥协的。然后基础设施的人在整个这个全栈里面，可能长期处于一个被低估的状态。就他们需要被迫去不停地支持其他的组件，他们需要去支持研究者去很好地使用基础设施工具，然后把实验跑起来去迭代，他们也需要支持产品端的人能够把自己的产品运行得又稳又快。但是基础设施自己，以我跟基础设施之间这个浪漫的关系，我觉得基础设施它不是一个支持的角色，基础设施本身在我眼中就是产品。你在推一个产品的时候，因为产品面向用户，你会去想我这个产品不是只有功能，我会想这个产品美，我希望它好看、好用。

我希望它能够被人所喜欢，击中用户心里的痛点与人性。虽然没有人会说希望基础设施击中人性，但在我的视角里，基础设施同样能击中人性。它只是没有那么直接的联系，但它产生的深远影响是从底层开始往上传递的。

问： 刚才你说的两个词非常有意思：第一是基础设施的美，第二是你跟基础设施的关系是浪漫的。这两个词其实我很少听到。

答： 我倒是没有仔细想过为什么是这个词，但它自然而然存在于我的脑中。

写基础设施的人都是能理解这种追求的。你在写基础设施时，会追求代码的质量。我虽然不知道怎么更细地拆解，但我不是特例，有一批这样的人都很在乎基础设施构建时的系统优美度和稳定性。然后他们总是被迫去做一些粗糙的事情来达成目标，其实他们都会在一个被拉扯的状态里。

问： 我明白你的意思。比如你看一些大厂，OpenAI有自己的基础设施团队，之前你在xAI，xAI也有自己的基础设施团队。是不是在这种大厂的时候，基础设施团队总是一个支持者的角色，有很多你需要去妥协的地方？但是如果你自己出来做一个原生基础设施，就可以达到你所说的基础设施优先这种美感？

答： 对，比如说在RadixArk，其实我们是反过来的。比方说我们也有训练任务，但我们并不是说需要一个基础设施团队去一直支持这个训练任务跑得按计划进行。我们希望这个训练任务可以没有压力，只需要跑；一旦训练任务被卡住了、遇到问题的时候，我们希望大家的注意点是把这个问题系统化地解决，而不是打一个补丁上去让训练任务必须跑。任务是可以跳过的，我们刷分也不着急，也不是非要刷一个非常好的基准测试分数，这个在我们这里不是第一优先级。当然如果能刷高是好的，我们不会说这事情不重要，但是在时间线上，它不是紧迫感的来源。我们的紧迫感的来源是，当任务不能被迭代的时候，这个问题本身应该怎么样从深层次地解决它。

问： 我们先再回去一点点，让我们的观众更加了解一下基础设施的赛道。比如说我们在技术的细节上面看到这个 RadixAttention，它其实是 SGLang 的核心技术之一，是用基数树来做前缀的缓存，避免重复地计算 KV cache。能不能用比较通俗的语言，给我们的观众来解释一下这个技术？

答： 这个技术其实也比较简单，就是当你有很多的请求发到引擎这边需要处理的时候，如果你的请求有一个公共前缀，那我们就不需要重新计算这个公共前缀所对应的 KV cache，而是可以复用你第一次一个请求进来已经计算过的 KV cache。第二个请求进来，如果他们共享的话，我可以复用已经计算出来的 KV cache。所以这套内存管理系统，就是对前缀的共享结构做了索引和存储。首先一个是你对进来的请求之间的前缀的关系，要建立前缀树来做索引；做完索引之后，你需要把已经计算的 KV cache 存在 KV 内存池里面。

然后把这个索引跟KV内存池进行映射。

如果假设用户每次发的问题都是全新的、没有什么共同的前缀，比如长文档摘要或者创意写作，这套机制是不是就有一定的局限性？

由于智能体场景和复杂场景的出现，大部分情况都会有前缀共享。只要进入多轮对话，后面的对话都要复用前面已有的对话历史，因此前缀复用在几乎所有的场景中都大量存在。

问： 是不是说智能体来了之后，这个问题更需要被解决或者更需要被优化？

答： 它一直都是需要被解决的。智能体来了之后，确实可能变得更受大家关注了。

在SGLang论文刚出来两三年前的时候，我们确实是以智能体为入口进来的，探讨为什么要新设计SGLang这套体系。当时还设计了一个前端语言，都是为了智能体的用例所设计的。因为我们觉得大语言模型AI将来变得非常强大之后，需要构建一套人与AI之间交互的界面，SGLang最初创作的动机其实就是想要去定义和构建这套界面，让人和AI可以更好地交互。

但发展到今天，由于推理是后端、推理挑战的重点更为突出，大量的开发精力便移到了后端的运行时优化上。

但我觉在未来的某个时刻，我们还是应该回顾最初的想法，即为什么要设计SGLang。SGLang的原初设计是希望它是一个语言，我觉得有一天我们会重新审视这个部分，最终它还是应该是一个语言的形式，作为人与AI之间交互的窗口。

问： 在看你们社交媒体的时候，你们经常说某个模型发布之后我们是Day-0，也就是从第0天开始兼容的。能不能跟我们解释一下，为什么这件事情很重要？

答： 这件事情很重要是因为市场觉得它很重要。我们做事情还是很务实的，做开源哪些事情重要和不重要，是由市场所决定的，而不是完全由我们自己定义的。人性好像就是很希望东西刚出来时就能用上，这个愿望从用户端一直传递到了我刚提到的推理服务商，推理服务商进而传递给我们，又进而再传递到了模型厂商。所以这个链条式的传递，满足的其实就是产品刚发布就想第一天去抢购的心态。

问： 比如前段时间发布DeepSeek v4之后，你们马上就是Day-0兼容。要达到这个Day-0兼容，你们需要去做什么样的事情？

答： 这个跟模型的复杂度很相关。DeepSeek v4他们在架构上做了很多创新，所以我们团队花了特别大的精力去支持这个模型和做各种优化。我们对DeepSeek的Day-0兼容做得非常全，因为花了大量时间，非常多的功能在第一天就兼容了。并且这也是我们第一次有强化学习的Day-0，Miles是我们的强化学习框架，很多的算子层和实现都要重写，大部分代码基本上是重写的，因为DeepSeek v4的架构设计跟之前已经存在的模型有太多的不一样。

问： 是不是每一代新的模型出来，其实都需要有一个重新适配的过程？只是说如果模型架构变得非常大，工作量就会更大一些？

如果模型的架构调整或升级较小，你这边其实就没有必要去做非常大的一些适配。

对，如果它的架构完全不变，甚至都不用适配；如果它只是更新权重（weights），那甚至几乎不用适配。

最近有一些研究在探索模型直接在潜空间（latent space）里面推理，而不是逐字地去生成 token，比如说我们看到之前 Meta 的 Coconut 还有字节的 Cola DLM 等等。

问： 如果这个方向成熟，你觉得在推理引擎的很多优化假设是不是可能会发生一些变化或者重写呢？

答： 如果这个成熟的话，那确实很多事情是会变的，因为它推理的过程形态不一样了。但是我觉得这个也本来就是你写推理引擎的一环，世界在变，结构在变，然后你的事情又一直在变，这是一个本来就持续存在的过程，我觉得这个不是真正的变革本身。

问： 不同的团队，或者是不同的 AI Infra 的玩家，适应变化的能力，这个东西重要吗？

答： 重要，我觉得团队更重要。再提一句，尤其是现在有 AI 了，AI 写代码写得这么快，实际上变一点，就技术上来说，不是真正产生巨大变革的地方，技术上总是能做的，我觉得真正的难点从来都还是在回归人和团队本身。

问： 那为什么你们的人、你们的团队就更好呢？

答： 我觉得我们的人和团队团结、谦逊、又聪明、又努力。那可能其他团队也会这么跟我说，我觉得其他团队也挺好的，大家都挺好，但是你每个群体都会最终形成一个自己的文化，大家各有所长。

问： 你强调的公司内部的企业文化是什么样子的？

答： 我希望大家是专注、谦逊，专注且谦逊、精益求精。这个是我们追求极高的审美，我们追求把事情做扎实，我们希望 RadixArk 的人都是对自己、对自己的作品特别挑剔的人。

在今年年初的时候，我们看到这个 vLLM 的核心团队也是商业化了，成立了 Inferact 公司，也是融资了 1.5 亿美元，估值 8 亿美元。问： 这个产业之后会有更多的竞争对手吗？更多的公司会商业化来做这个事情吗？

答： 我觉得完全有可能，而且其实它就是持续不断在发生的。Inferact 和 RadixArk 这两家之后，还有新的推理的公司在不断地涌现。

问： 谁会变成赢家呢？核心的竞争点、团队的竞争点会在什么样的方向呢？

答： 我其实不觉得我们在这个赛道，虽然我们有 SGLang，SGLang 是推理引擎，但我觉得 RadixArk 的那个长远使命其实是不属于这个赛道的。

问： 能不能详细来说一下？

答： 我如果按照前面说法，我觉得 RadixArk 我说的目的是我们想把最好的 AI 带给大家，这是我们非常朦胧的一个目标。RadixArk 接下来一年要做的事情，三年要做的事情，五年和十年，其实讲出来都会非常的不一样。我们最终想要——我不想透露，我不想披露，但是我可以大概地说，我认为 RadixArk 最终使命是要做下一代 AI。

问： 下一代 AI 是什么意思？

答： 下一代 Next Generation AI，我们的本质还是不是单纯的 Infra implementation（基础设施实施）？

问： 意思是你们想要做模型吗？

答： 也不一定是模型，它是下一个形式，我现在我不讲它是什么，但我可以说我们并不是停在这个地方，只是说这个推理或者是基础设施只是一个起点。

答： 对，它是一个前提条件，但我们想我们要做的也不是模型。我们将来想做的事情，不是一个现在世界上已经存在的东西。

所以我其实不觉得我们跟现有的这些推理公司是一个类别里面的。

问： 它还不存在，但是你觉得它一定会发生的？

答： 我觉得它会发生，我希望它发生，我想看到它发生。

问： 我就很好奇，你能跟我说一下……我们后期把它哔掉吗？

答： 不能。

答： 对，但我可以说，推理不是我们的长远核心，它只是一个起点。所以我们其实跟其他的推理公司都是保持良好的关系，我们的引擎是全开源的，SGLang也不是RadixArk的所有物。

SGLang是LMSYS下面，它是属于社区的，但是我们公司的所有贡献在SGLang都是开源的，我们是没有私有派生仓库的。

我们的愿望也很简单，我们其实只是希望这些东西被所有人使用，并没有想要通过这个地方制造一个差异然后去获取利益，所以公司的命脉其实是不在这里的。

问： 我们看到其实有不少做推理引擎的创业公司，虽然有些公司他们自己不做引擎，但是也是在这个引擎上面去做服务的，而且现在体量也不小了。比如说Baseten最近完成了3亿美元的融资、估值50亿美元，Fireworks AI现在估值有40亿美元，Together AI现在也是在寻求10亿美元的新融资；同时我们看到AWS、Google这些大的云厂商也是在提供托管推理服务。整个的AI infra的生态链最近在发生什么样的事情，能不能给我们梳理一下？

答： 我觉得推理这件事情其实很早就存在也发展了很久，但是今年AI可能在变得更加成熟，尤其是Anthropic这个爆点大家都看到了。AI变得更有用之后，整个市场的投入可能会有更多的从训练转向推理，开始需要让它盈利和兑现，这个转化就会使得推理市场本来就已经很爆发，现在迎来更大的爆发。

所以你会看到很多这种雨后春笋般冒出来的各种各样的推理公司，但同时所谓的AI native公司它们也开始感受到了你继续使用现有模型去做提示词工程的局限性。

与此同时，也有更多的公司开始需要利用好自己的数据去做定制化的需求，这个需求从另一方面也在推动强化学习这一块的市场化。一方面你看到有很多新的推理公司出来，另一方面你会看到一个已建立的推理公司在往强化学习那边移动、扩张，这可能是这一批公司里面最大的两个趋势、最明显的两个趋势。

问： Baseten还有Fireworks也是你们的客户？

答： 我们的用户。

问： 你觉得以后会发展成竞争对手吗？

答： 我不知道，他们有可能觉得我们是某种意义上的竞争对手，但是我们不把他们当成竞争对手，我们是更想和谐相处的。

一个是我们其实重点、重心并不在这个地方，不然我们就不会把我们的推理给大家随意使用，我还去支持他们使用。

第二点是因为我们这个开源的意愿，我们希望被大家都使用，所以我们也不想跟他们成为竞争对手，我们希望这些都是我们的盟友。我们更希望的是聚焦在AI本身的一些技术迭代上，我们希望把这些技术可以跟他们所共同发展，促成他们的业务模式的增长。

我们希望将这些技术与他们共同发展，促成他们业务模式的增长。

问： 现在你们服务的客户大概是什么样类型的企业？或者是他们有没有一个什么比较典型的使用场景可以分享的？

答： 我们各个类型的客户都有：

• 云服务提供商（Cloud Provider）： 从数据中心、新云（Neocloud）到超大规模云服务商（Hyper scaler），他们拥有GPU，我们希望跟他们合作或帮他们销售GPU。
• 推理服务提供商（Inference Provider）： 我们希望他们成为客户，目前是用户的关系。
• AI公司： 他们想要使用AI infra来训练或服务模型，这些也是我们的客户。
• 传统大公司： 虽然不是纯AI公司，但希望用AI助力原有业务，我们也希望在这里提供价值。

SGLang之后还开发了Miles，这个主要是用在RL（强化学习）上面的。

问： 你们为什么同时要做推理跟强化学习训练？

答： 因为我们做的是整个AI infra。推理和强化学习是刚才所说最靠近用户的两个末端的步骤，所以我们从末端步骤开始布局，但我们要做到的是整个能够把AI制造出来的能力。

问： 这两个东西同时做难度大吗？

答： 还好，因为它们非常相关。RL里面很大一部分的挑战来自于reward engine（奖励引擎），它其实也是inference engine（推理引擎）。如果是RL的话，更多是要做调配上的工作，以及可能weights transfer（权重转移）之类的胶水性工作。Scheduling（调度）算法也有一些新的东西，但在系统层面它们有非常大的重叠。

问： 刚刚讲了两个很好的、非常教科书级别的教授，有没有哪个管理者是你觉得遇到过是最好的管理者？他们的特质是什么样子的？

答： 其实“管理”这个词很宽泛，不同位置的管理者功能也是不一样的。管理与被管理其实也不是一个单纯的关系，而是一个职能分工的关系。

一件大事要做成，背后一定要有一个人与这件事情深度绑定，不遗余力地推动事情发生。这个人可以是创始人或CEO，但一定是以某种形式跟这件事情被绑定了。这个角色需要有很清晰的想法，知道我们从哪里来、要到哪里去，为什么要做这件事情，团队为什么要做这件事情。他需要有坚持，并且能看见未来，有一个他想推动的未来——也许没有他就不会发生，但一定是一个他能看见的未来，有远见，这些东西是最重要的。

但是，有远见的这个人并不一定需要具备管理者需要的所有特质。与此同时，公司里还需要其他的管理者来执行不同的职能，比如真正把远见变成真实、变得可执行，把人与人之间的合作关系调度得很好，这可能都是不同人的功能。

管理者非常重要，架构制度也非常重要。不过我现在的想法都很初级，确切地说——

目前我们正处在从“我一个人能看清所有事情”过渡到“看不清”的阶段。我最近一直在思考这个问题，目前看到的都是挑战，还没有找到答案。

问： 这个挑战跟你刚加入 xAI 时面临的挑战相似吗？你当时也把 xAI 视作自己的心血，并且加入时还没有推理团队，是你一手搭建起来的核心成员。回顾当时的局面和挑战，跟现在有什么不同？

答： 完全不一样。在 xAI 我并不是所有者，即使我把它当成自己的心血，其他人并不这么看。我并没有被赋权，虽然有想法和观察，但很多事情无法改变，也没办法做决定去影响他人，责任无法拓展到那么大的边界。

我在 xAI 学到了一句话。当时 xAI 的两位联合创始人 Tony Wu 和 Guodong Zhang 都对我说过：权力（authority）与责任（responsibility）要匹配。在 xAI 我没有权力，只是一个小团队负责人，没有权力做决定，自然也就无法承担责任——不能决定事情就负不了责，做错担不了责，做对了也不是我能控制的。

但现在自己做公司，做决定成了我的义务。无论结果好坏，责任都在我身上：做好了是团队的功劳，做坏了是我的责任。这与之前的角色完全不同，挑战也截然不同。

创业定位与身份转变

问： 从研究员到大厂，再到自己出来创业，你对自己的定位有什么样的转变吗？

答： 我其实没想过这个问题。我觉得我一直都只想做我想做的事情，这件事情能够借用的身份也好、资源也好，当时的我觉得什么是最好选择，我就会去做什么选择，但它们都只有一个目的，就是我要做我想做的那件事情。

两年前的时候，我可能觉得我想要创造那个未来，教授是一条路；两年后的今天，我觉得教授这条路走不通，我就开始开公司创业。不管我是做教授还是开公司，它都只是途径，我没有想过这个身份本身意味着什么，我不是很在乎那个身份。

但是因为你选择的路不一样，你要做一些其他的事情，来辅佐你最终想做的事情。比如说你现在是一个非常明星初创公司的创始人，你要去融资，你要去招人，你可能要去做一些其他以前你也没有想过要去做的事情。

问： 所以比如说融资跟投资人聊这件事情，对你来说是负担吗？还是这个事情……

答： 我觉得融资这个事情我以前确实不懂，就是被迫去做的。这些事情总是要做，First principle thinking（第一性原理思考），我如果要做我的目标，这件事情该做，那我就去做它。我们当时融资还是挺曲折的，具体我就不讲了，但是挺曲折的。

但是我现在觉得，我经历了这么长时间之后，我现在对这个行业有些更多的理解了。我其实觉得我在跟他们打完交道之后，昨天我们聊完之后我又做了更多的思考，我现在觉得我对投资人有更多的尊重，我觉得我更理解他们的一些想法，为什么整个行业是一个这样的状态。当然 Sand Hill（硅谷沙丘路，指风投聚集地） 有一套它的游戏规则，这套游戏规则我理解，其实跟之前做研究的时候是完全不一样的。

问： 你觉得你自己，在适应这一套新的游戏规则的……

答： 我觉得没有真的不一样。

问： 没有不一样吗？

答： 本质逻辑是一样的，肯定是不一样的事情，但是本质逻辑都是……就是不同的体系，然后还是人，还是人性，你追根到底还是所有的人性。本质逻辑没有不一样，就是你把东西做好，你追求的一个真的东西，你把它给做出来，说出来是吗？

我觉得它体系不一样，学术界的体系跟投资人体系肯定是不一样的，所以你的规则不一样，那你的这个机制不一样，你做事的方式肯定不一样。但是归根结底，所有事情再次说下去都是人，人与人之间是共通的，所以当你进入另一个体系的时候，其实只是要学习那个体系是怎么回事，怎么运转，各种利益点是怎么样的一个平衡关系。你如果还是以同样的人的根本作为推理基点的话，你对这整个体系的理解，还是可以被推理出来的。

这个点有意思，就像发论文一样，它是有套路的，你学到了这个套路，那其实你也很快。所有普通的东西都是有套路的，所有常见的事情都是有套路的。

投资人的青睐与背书

问： 最后的这个投资人，应该是说结果非常非常好了，英伟达、AMD、英特尔这几个最大的半导体公司，都罕见的集体地投了你们。除此之外，你们也是拿到了非常硬核的很多投资人的背书，你觉得他们为什么投你们？他们看中了你们的什么？

答： 我也很想问投资人这个问题，我觉得我很难为他们代言，就是他们看中了我们什么。但如果现在让我推销一下的话……

答： 我很难为他们代言，但如果要推销一下，我们是在这个赛道里跑出速度的玩家。我们跑出的速度让大家能看到未来，我们有机会创造新市场、助力现有市场，并赋能其他AI公司或想进入AI的公司，让它们具备制造AI的能力，更接近AI并利用AI创造更多价值。如果我们能提供这部分价值，这就是我们值得被投资的原因，他们确实看重这件事情是关键的。

我觉得肯定很多人是看重事情的，当然早期投资也看人。我其实更喜欢看人的投资，但接下来的A轮、B轮、C轮之后的投资人就会看数字跟业绩了。但是我们第一轮因为有开源基础在，他们肯定是人和事一起看的，至于具体看中了什么，我就不替他们回答了。

问： 你为什么对开源这么执着？

问： 你为什么对开源这么执着？

答： 我其实想纠正一下，我不是对开源执着或刻意在乎它，这一切都是自然发生的。当然，我从这里获得的价值观确实跟我以前的经历有关。我出生在江西这样一个中部、不是很发达的省份。虽然我在江西受到了很好的教育，但如果放眼全国甚至国际去比，当时受到的教育还是很朴素的。

当时我想要学编程，其实没有太多的资源，大部分的学习都是从互联网上拿到的。计算机在那个时候也不是最火的专业，计算机竞赛更不是大家追捧的竞赛，所以能够在市面上搜集到的教材和各种资源都非常稀少，而且都是未经加工的。当时我的学习全都是来自于我去互联网上看到的那些非常随机、别人留下的帖子、CSDN、各种当时在线评测系统的网上题库。我从那些地方学到的东西，都来源于一群我至今也不知道是谁、当时也不知道是谁的人。我只是很自私地把代码拿走回家研究，我都不知道写这个代码、把它生出来的人是谁。

我是被互联网上不知道在世界上哪里的这样一群人给 raise（养）起来的，我是被他们教会的。所以分享开放的文化对我来说就像生活中的空气一样存在，我从小到大它就一直在我身边，我觉得理所应当。你有一个想法，你做了一件事情，你不分享出来那才觉得奇怪，我其实是这样一个状态。

问： 你觉得开源社区在最近几年有发生什么变化吗？一个好的变化，一个不那么好的变化。

答： 好的变化是开源越来越多了，大家越来越追求开源、越来越愿意开源、越来越相信开源的价值。不管是大家的思维模式、人对开源的欣赏，还是资本对开源的认可，都是上升状态的。

但不那么好的变化是，这种追捧和上升中也开始掺杂一些不是那么纯粹的东西。这会带来两方面影响：

• 破坏美好本身： 会破坏原来我们所想象的开源带来美好的事情本身。
• 引发信任危机： 如果有这样的东西存在，会让原来相信这件事情的人变得不那么相信。开源里面混进了一些功利主义者，使得那些本来不是功利主义的人分不清楚开源里面的成分哪些是纯粹的、哪些是不纯粹的。阴阳总是共存的，他们在变好的过程中，也同时开始出现了一种平衡。

问： 大家最近对开闭源之争也聊得蛮多的，你觉得整个AI的走向会慢慢地往闭源那边去迁移吗，还是说以后……

答： 我觉得应该还是共存状态。开源不会停，而且根据我的了解它也没有停，有更多的人一直在想要进来贡献自己的力量。但我也不觉得所有东西都应该开源，因为你不能没有规则，你也不能没有界限。完全地开放开源这个状态，如果你没有掺杂太多可套利的空间……

如果开源完全打开，人性的恶也会被放大。因此这两种论点都是正确的。

我不认为AI应该完全展现在所有人面前，因为确实有风险；但我也反对AI被完全握在一小批人手上。我认为AI应该均等地被握在不同的人手中，这正是我们想做的事情。

RadixArk其实并非纯粹为开源服务，虽然我们有开源文化，但也为闭源模型服务。我们所说的民主化，是指开源与闭源共存，但我们希望闭源存在但不要中心化。

问： 理解，但这个怎么实现呢？

答： 我们希望提供能创造最好闭源模型的工具链，让所有人都拥有制造属于自己的AI的能力，并且制造出来的AI属于你自己。

Anthropic昨天呼吁大家都停止AI的研究，但又附加条件说等确保大家都停了他才停。你现在能接受这些最强大的模型都被握在这么几个闭源模型的玩家手中这件事情吗？这件事情它能被打破吗？

答： 我觉得这件事情很难发生，它是违背人性的。

问： 你是说所有人停下来AI研究这种事情是违背人性？

答： 因为大家没有在这样一个体系里面拿到同样的资源，所有人都想要接收到最好的AI。如果有一个非常强力的上帝下来安排每一个人做什么，那这件事情是可以发生的，我也并不觉得那种世界结局极度差。但世界不可能停在那个地方，因为没有这样的上帝把所有人安排得按部就班，一定会有人在里面起义，所以它不可能发生。

问： 那这个事情会往哪里走呢？终局可能不知道是不是一个非常美好、每个人都能有自己的AI的去中心化终局，但你觉得接下来是什么？

答： 如果想到很远的未来，我觉得现有的AI还没有强到会真的完全控制和威胁到人类，所以在可见的未来里人类还是安全的。在这样一个前提下，大家还是会互相追逐，AI会变得越来越强。这种强是生产力上去取代人类的一些功能性的强，它不能完全取代人类，但这个变革肯定会对人类的社会结构、权力结构产生巨大的动荡，跟过往发生过的每次工业革命一样的席卷性动荡，可能比以往更加工业革命，但它是个可以理解的范畴。

更远的未来如果AI真的强到可以操控人类、超越并统治人类，能做人类做的任何事情，如果那天真的来临，我们是阻止不了的。而且你阻止它的方式，绝不是通过呼吁所有人类停止，这不太可能发生。你阻止它的方式一定是发明、发现另一条路径，使得你允许AI继续前进，而人类还不会输。

问： 你在这中间想做什么事情吗？

答： 我想要构建的未来，是一个跟强力AI共存的未来。

我们现在说要把最好的AI带给所有人，人类需要这个公平。你不太可能通过一小部分人把好的AI握在手里，而让其他人无能，来维护表面的和平，这是不可能的。

如果AI一定要往前走，那所有人都往前走，都能够去……不一定是所有人，不是字面意思的所有人，但大家都不是被这样关联共处的。

如果你有这个想法和潜力，在往前走时能够接触到最好的人类知识，你需要在这样的竞争环境中往前走。它是一个健康的与AI共存和大战的状态。

你先要有这样一个假设，然后整个人类才能团结在一起去寻找解决方案，所以这件事情是必然的。如果到了有一天需要让人类寻找一个新的解决方案，这也是个前提：先要让所有人类平等共处、团结一致，然后才能再寻找一个人类与AI共存的世界。

问： LMSYS你想说一下那段经历吗？

LMSYS 最初是我和 Lianmin 想要成立一个机构，让不同学校的人参与研究。到今天，虽然它是一个非盈利组织，大家都在里面兼职帮忙，但这是我们想要非常严肃去做的事情。如果 RadixArk 有一天不在了，LMSYS 也是我终生会做的事业。它们有共同的价值观，就是关于平等和平权。

LMSYS 的平权来自于我们希望能够孵化优秀的人才做的项目，即便他们没有充分的背景、后台和品牌。这来源于我自己的个人经历，我经历过很低谷的时期，也经历过很高昂的时期。同样的经历，在高昂时期做的事情非常容易被大家关注到、记住甚至夸大，但在低谷时期做的事情尽管不错，却很难被看见或认可。我觉得这个不同是没有必要存在的，并且它是破坏社会公平竞争结构的。LMSYS 希望做的是抹平这个差异，希望好的项目真的能够被托举出来，把功劳分到做事情的人身上，保护未建立声望的真实开发者的掌控权。

问： 我看你在开源社区的时候，还做了蛮多其他的一些项目，比如说 LM Arena，这个东西在行业里面影响挺大的。那段时间，你其实主要还是一个主线，只是说不同的项目在不同的 project 这样来推进，是吗？

答： Arena 是当时我们做 LMSYS 那段时间其中的一个有趣的项目，当时觉得挺有意思就做了一下，它意外地得到了挺多的关注。大家当时可能觉得排行榜本身具有一定的娱乐性。Arena 确实是我们开始做的，但要说把它壮大并做成公司，后来我们交给了 Wei-Lin Chiang 他们。后面有新的人加进来，是这个新的团队把它们真的做成商业级别规模的项目。

问： 刚才你说每个人要公平、要平权，平权更多的是说相同的机会，特别是对于程序员或研究员而言。你对这件事情的在乎，是因为什么样的契机或者什么样的经历？可以跟我们分享一下吗？

答： 一部分是我觉得我好像天生就是这样的，生下来就是在乎这个事情。另一部分也是一种延伸，我从小到大经历和看见了很多性别歧视。虽然这个话题有一定的可争议性，你怎么鉴定是或者不是，但我还是要很明显地说，这个事情存在，你无法回避它存在。而且我非常切身地经历过无数这样子的例子，每一个例子单拎出来都非常小，但它是那种在你生命中无时无刻每天发生的平凡小事。所以它对被影响到的人造成的冲击，不是你听到一个例子时候所感受到的冲击，而是把那一件小事的冲击乘上一亿倍，那才是对那个人人生的真实冲击。你再把它扩大到整个群体，它所造成的影响，是刻在所有人共同认知里面的影响，是没有办法用一个例子去说清楚的。我觉得这就是为什么我特别在乎平权、公平、平等这些东西的原因。

这些东西的一个性格特质的原因。

第三个就是我刚跟你讲的，我自己经历过，我能感受到。包括我自己做的、我发的那些论文，有些论文其实我觉得也就一般，但是那个论文可能就是因为是我发的，或者是我在斯坦福、伯克利发的，大家就会觉得它是一个标准。但其实同期可能有一些跟我做的论文差不多的论文。我其实只是一个研究者，我不是那个科学家，但是因为这样一个身份，让我这篇论文被定义了。但是我觉得这个事情它本不应该这样子。虽然我是获益者，但是当我是获益者的时候，我觉得我现在终于有力量可以，因为我是获益者，我终于有力量把这个事情往外推动一点。

LMSYS想要以什么样的形式去把这个权力很公平地分给每个人？

很难。首先我们都知道这是个结构性问题，它不是我能做的或者是一个机构能做的。

我记得有一次我跟Ion Stoica聊天，我忘记是具体聊的什么内容了，但是我跟他说我想改变一些东西。他聊到一个什么事情，我说这个事情我想改变，他说你改变不了，或者是来问我说你觉得你能改变吗，改变得了吗？然后我就说，我说不能改变，我确实没办法改变。但是如果我能改变1%的话，我愿意用我的一生去改变这1%。

一样的答案，我觉得我改变不了，这个挑战对于我来说，在这个挑战面前我太渺小了。但是我觉得我能改变一点点，或者是改变我身边的一点点人，这个一点点人，他们会把这个精神再传递到更多的人身上，它就发生一点点变化，那我就觉得它值得我用一生去做。

但是这个里面有一个很微妙的地方，就是当我们想要改变一件事情，推广一个价值观，或者你想改变身边的人的时候，这个传递是非常容易出错和被人利用的。其实真正最后你能够传递的是，你是不是能够把……

你要挑选的人非常重要。有很多人他就不在这个里面，他根本就不在这个体系里面，所以不是所有人都可以被教育的。所以你要找的那些人不是，打个比方说，我现在想帮助弱势群体，但不是说我真的去帮助弱势群体，这事情就能被解决，解决不了。你要解决的是，你要找到那些跟你一样想去找到想帮助弱势群体的人的人。你只能去找到那个能把这东西散布出去的人，而不是直接去做到。

就比方说，哪怕你培养更多的学生成为老师，都是不够的，你要培养的是想要去把学生培养成老师的老师。你需要把那个 recursive（递归） 的链条建起来才有用。

这个事情它会非常的慢，它非常非常的慢。

所以我觉得我做不了多少事情，但是它的好处是，你如果能做到一点，它就做到了。它不是个会回退的边，它不是个会回退的改变，它是一个渐进的，就是你往前推了，它就是往前推了，它至少是扎实的一个改进。我觉得所有的改进，只要它是扎实的话就可以，如果它不扎实，但是看上去是个跃升，但它不扎实，那你这个跃升就是没有意义的。

就我们平时推项目，我也这么跟他们说的，我说不用着急，我们不用到那个目标，但是我们重要的是，你团队能不能训练出来一套系统化方法，我的每一小步的移动是不是扎实的，哪怕我就动了一点点，比你那个动了很大一部分，将来还要退回来，要好很多。

问： 在研究界也会有性别歧视吗？

答： 它也不能叫歧视，其实没有那么严重。

问： 在研究界会有性别歧视吗？ 答： 它可能还达不到歧视的程度，更准确地说是性别不平等，很多微妙的意识层面不对称是无处不在的。

我给你举个微妙的例子，微妙到你会觉得这不是个事。比方说我小时候竞赛打得很好，如果我是个男生，大家就会说我是天才；如果我是个女生，大家就会说“她很努力”、“她很听话”、“你很用功”或者“你运气好”。

我小时候的经历是，有一年的竞赛我成绩一直是各种大赛里顶尖最好的，比同龄人好很多，但我身边的人会找无数个理由来解释我为什么好。

他们觉得你赢是不应当的，否认你是天才这件事情。换一个人赢是理所应当的，但如果是我赢了，他们会觉得你的赢需要被解释。正常情况下一个人赢是不需要被解释的，他厉害呀。

但是我的每一场赢都要被解释，背后都有个原因解释我为什么赢，而不是解释对手为什么输。比如解释为“她的对手最近状态不好”、“她押中题了”、“这个题她以前做过”（其实我并没有做过）。当你感受到这种并非故意的恶意时，会觉得很窒息。

这些微妙的存在会源源不断地出现在你之后的做研究、读博士和做项目过程中。大家会给你找理由，研究她为什么可以，为什么能发这么多论文，甚至归结为“因为没有看《甄嬛传》”。

一旦有一个男性合作方，或者他是被公认的，别人就会觉得这个想法会不会不是她的。这些微妙的小事每天每分每秒都在发生，而且会波及到群体里的每一个人。

确实如此，你根本没有办法跳出这个框架，因为一旦你跳出，别人就会觉得你小气、格局小。

我年轻的时候对这件事情的态度会更极端一些，但后来觉得这不需要被讨论。解决这一点只有一个方法，就是让所谓的弱势群体、让女性真正拥有权力，除此之外没有别的办法，你就是不断去赢就好了。而且这个权力是人类真正头部0.001%、0.01%、0.1%、1%里面全部平权，她们只有真正获得权利，事情才会被改变，通过教育是达不到任何目标的。

问： 你觉得在过去10年有好一点点吗？还是没有？ 答： 肯定有好一点点，社会是在向前的。但如果拆分到不同的方面，有些地方也不是都在变好，价值观是一个很波动的状态，但总体来说我觉得是在变好。

好的，我觉得我们覆盖了大部分的东西。

问： 你让我再看一看有没有什么问题，你觉得有什么问题我们漏掉的吗？

答： 我没有想过有什么问题要问，但是结尾的时候我倒是可以有一件事情想说。

昨天你们过来，你给我看那个文档的第一眼，我其实当时挺打动。就是那个文档里面已经有很多对我的描述，就感觉你们已经对我……我不知道这是AI生成的还是人做的。

问： 没有，我们看了很多论文。

答： 是人做的，挺详尽的。

我觉得很多投我的投资人，都没有这么样地去看过我的经历。在我跟他们聊天中，我发现他们不了解我的经历，他们不了解发生过什么。他们可能在别的侧面去打听了，但是这份文档还是我当时印象很深刻。

我觉得包括融资的这段经历，给我的一些成长。很多职业本身，我们觉得会做的事情，其实它们不是自然发生的。

也许我原来觉得一个做采访的人，他就应该对被采访者先有一个深度的研究，但事实上很多的采访者，他们并不一定真的会做这件事情。

也许我们觉得投资人他应该给创始人做个很深度的调查，但实际上大多数投资人都没有去做深度的调查。

也许我们觉得一个PhD应该好好做研究，大多数PhD未必真的好好在做研究。有很多事情它在定义里面该发生的，其实不会发生。我后来发现，一个人只要能把职业里面该做的事情做完，其实就已经非常稀有。

我觉得我昨天看那个文档的时候，我不喜欢采访，本来我们也差点就要推掉了。但是我昨天看那个文档时候，其实我觉得我愿意好好做一下采访，因为我觉得你们做了这个劳动，我是尊重的，我就想说一句尊重。

谢谢，我也很尊重你。

我觉得很多，就刚刚聊到的，比方说我的PhD，其实前面也有很多波折；融资时候有很多波折；我们这个开源项目做起来也有很多波折。但我现在，你真的要我说结局怎么样的话，其实这三段波折，或者说过往，包括童年很多波折，他们波折之后的那个终点都非常的好。

• 我的PhD第一年Rotate找导师不是很顺利，但是最后我找到那个导师，他是一个教科书般完美的导师。
• 我们这个开源项目一开始也有各种各样的被打击，但走到今天，我们有了一个这么好的团队，团队大家都这么的有能量、这么的热情还这么团结。
• 融资我前面也经历了很多各种各样的事情，但我觉得最后我们容纳进来的这些投资人，也是教科书般完美的投资人。

是。

我在当时刚出来融资之前对融资一无所知，所以我想去学点东西，我就去看了一些书，理解了一下融资的书、怎么去融资的书。类似吧，可能创始人跟投资人之间相关的一些书，Fundraising 101差不多。然后我想理解这是什么东西，那个时候我很多名词都不知道的。

我不知道什么叫term sheet，我是在一个这样的状态下出来融资的。我也不知道什么叫做估值，什么叫做Seed轮，我都可能都没有概念。很多基本概念我都不知道、都不理解。Pitch deck是什么？Pitch deck这个词我都没有听说过，什么叫pitch，Deck是什么，要写多少页，每页写什么？对，是完全没有概念。就是没有概念到，Pitch deck这个词我都没听说过，Term sheet是什么东西？有个人跟我说，你们有没有拿term sheet，我说啥是term sheet。我是在这样一个状态里面。

在对商业术语毫无概念的状态下，我尝试去学习这些知识。书本里描绘的投资人与创始人关系非常美好，被定义为终身友谊和并肩作战的伙伴。尽管我早有心理准备，明白现实远比童话复杂，但现实的落差依然存在。

然而，最终与我们匹配的投资合伙人，恰恰重现了教科书中那种理想的关系。读博之前，许多人向我描绘的导师与学生关系看似过于美好，但我最终也遇到了那样纯粹、优秀的导师。那些美好的描述并未骗人，世上确实存在纯粹的导师、优秀的投资人和出色的采访者。

绝大多数人未能坚持走完跌宕起伏的过程，没有耐心等待理想状态显露、让非理想的沙砾自行脱落，中途便开始怀疑并放弃。

所有美好的事物都是真实存在的，并非凭空捏造。前提是你要给予足够的信任——哪怕身边尚未出现这样的人，依然坚信其存在，最终才会与同样怀抱信念的人相遇。

问： 你是一个逻辑如此缜密的人，但现实世界充满随机与混乱，甚至被视为“草台班子”。面对这种逻辑上不成立的现实，你能够自洽吗，还是会感到痛苦？

答： 我在自己的逻辑体系里是完全自洽的，我的逻辑不受所见事物干扰。痛苦确实存在，我本质上是一个非常情绪化的人，微小的事情也会带来巨大的情绪波动，但我能将情绪影响与价值观构建清晰地分离开。

面对不想看到、不希望发生却依然发生的事情，我虽不快，但绝不会因此认同那是常态。我依然坚信尚未亲眼得见但坚信为真的美好世界，哪怕需要等待数年甚至十年，这种信念也很难被动摇。

过往经历不断验证了这些美好事物的存在，为我带来了充分的正反馈循环。虽然不能苛求缺乏正反馈的人盲目坚持，但正是这些逐步拉长的正反馈——从等待数月、数年到十年——让我确信它们终将得到验证，并赋予了我等待二十年乃至更久的耐心。

人生可能等不到，但至少我等到了，我觉得别人也能等到。

问： 你有没有想过，因为你是对的人，你是正确地去做这件事情的人，所以你等到了？

比如有些人可能对自己的认知有误，不是最正确的那个人，也不是有天分的那个人，可能他等下去就是等不到的。

需要找到这种自洽。比方说我等了十年最后等到了，但是我其实自己心里的一些认知跟世界一直是不吻合的，这十年里我一直都是很割裂的存在。我觉得也可以，我也可以一直就很割裂地存在，就算我整个人生都很割裂，我也不想妥协。

能不能找到那个边界是重要的。我想说，有这个割裂其实是完全可以的，它不会真的很痛苦，人们只是害怕而已。

但如果说有个人告诉你说，就这样，就这么回事，没关系，其实就真的没关系。

首先这世上也没有绝对的正确，我也不能说我是正确的人，大家都是正确的人。但我只说每个人都有你自己的想法，你所谓的正确在别人的眼中不正确，也是可以的，也是完全可以，没有任何问题。

但是它的唯一重点就是，你是不是按照你自己的想法去认知和行动，还是你其实是被别人牵着走的，或者你觉得自己在妥协。你只要不觉得自己在妥协，都没关系，哪怕你真的错了就错了吧，也没关系。

但是我非常不喜欢的是，大家都变成了不能执行自己意志，这样是不好的。如果所有人都执行自己的意志，哪怕你不和谐，那也是自然存在的，其实本来就合理。

以上就是我们所有的问题了，非常感谢，谢谢盛颖。

以上就是我和盛颖的视频播客栏目了。这一期节目我们录制于6月初，当时RadixArk刚宣布融资。不到两个月的时间，AI市场经历了开源模型爆发，而SGLang等推理引擎作为AI Infra的重要技术框架，正在成为AI时代新的核心技术层，链接英伟达、AMD还有谷歌TPU等芯片与各大模型和应用。

而我们也很期待盛颖口中保密的、目前还不存在的“下一代AI”是如何的形态。

好，以上就是这期视频的全部内容了。你们的点赞、评论和转发，是支持我们硅谷101做好深度科技和商业内容的最佳动力。我是陈茜，那我们就下期视频再见啦。