Article Detail

内容详情

围绕文章主旨、阅读节奏与信息层次进行优化,让读者进入正文前就能快速理解主题重心与阅读价值。

十万行代码白写了:一次升级逼他们推倒重来详情展示图

十万行代码白写了:一次升级逼他们推倒重来

尊龙娱乐互动专区 632 阅读 约 5.5 分钟

Respan 花了两年时间,在 LiteLLM 之上堆出超过 10 万行 封装代码。本周二,这家公司发布了一个用 Rust 写的开源 AI 网关,把过去那套东西整个换掉。 新网关的思路是"小核心 + 插件":模型供应商、路由、MCP 工具、实时语音、安全控制,全部拆成插件来处理。这套结构借的是 Nginx 的思路——核心保持小,功能往外挪,开发者用同一套接口自己写插件,不用动底层代码。 触发这场重写的,是一次例行升级。 2026 年 1 月,一次常规的 LiteLLM 升级导致间歇性连接失败。Respan 回滚了更新,但始终没搞清楚问题出在哪。公司在 Hacker News 的发布帖里说:"我们至今仍未查明原因。"从那以后,工程师们不再直接升级 LiteLLM,而是把上游修复一个一个单独摘出来用。 插件化带来的直接好处是体积。Respan 称它的 Mistral 供应商插件只有 22 行代码 ;像 Groq 把 token 用量报在另一个字段这类怪癖,也能单独处理。更新一家供应商时,不必牵动网关的其他部分。 请求通过 HTTP 或 WebSocket 进来后,网关按顺序跑一遍插件。插件可以决定由哪个模型处理、改写响应、发起额外调用,或者在请求到达供应商之前把它拦下。两边格式一致时,原始请求和供应商专属字段可以原样保留;格式不一致时,网关负责协议转换——比如为 OpenAI Realtime API 写的应用,不改客户端就能连上 Gemini Live,不过部分功能可能无法带过去。 代价也有,而且不小。 自定义插件要编译进网关,加一个插件意味着维护代码、重新构建二进制文件。 插件跑在网关进程内部,能接触到模型请求和其他敏感数据。 插件顺序决定行为:把缓存放在安全检查前面,缓存响应就可能整个绕过检查。 Rust 能挡内存安全类 bug,挡不住恶意依赖和有缺陷的应用逻辑。发布后的 Hacker News 讨论里就有人提出这一点,一位评论者质疑编译进去的 crate 到底该不该叫插件,理由是它逼开发者维护构建流水线,还引入供应链风险。Respan 创始人承认了这个担忧,同时指出开发者至少可以检查自己正在编译的源码。 在"AI 网关该用 Rust 写"这件事上,Respan 不是独一份。LiteLLM 自己也在把网关往 Rust 迁,但路径完全相反:Respan 是从核心重建,LiteLLM 是一条路由一条路由地搬,Rust 核心默认关闭,处理不了的请求回落到原有的 Python 路径,这样打开开关也不会弄坏 Python 已经能服务的东西。LiteLLM 在 6 月公布了这一计划,目标是一个纯 Rust 服务器,跑所有热路径、鉴权和限流,目前的 beta 还没做到。 LiteLLM 还公布过一组基准测试,称其 Rust 网关的开销比 Bifrost 低约 7 倍 、内存占用低 9 倍 。这些数字来自 LiteLLM 自己的测试,用的是该公司自己开发的基准测试工具。 Respan 的网关目前仍是 pre-alpha 阶段。开发者可以从 GitHub 下载预编译二进制文件,不依赖该公司的付费平台直接运行;自定义插件则仍需自行编译构建。 特别

about image
觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读

Search
热点新闻
日本名宿石川佳纯在富士电视台把话挑明了,张本美和就算拿冠军,也还是打不过孙颖莎!
日本名宿石川佳纯在富士电视台把话挑明了,张本美和就算拿冠军,也还是打不过孙颖莎!

石川佳纯在富士电视台把话挑明了:张本美和就算拿了冠军,也还是打不过孙颖莎。 这话从别人嘴里说出来,可能要被骂“长他人志气”。 但偏偏从石川佳纯嘴里说出来,日本球迷圈直接炸了锅。 因为她自己,就是当年被孙颖莎亲手打服的那个人。 2019年韩国公开赛,石川佳纯正值巅峰,3比1领先孙颖莎,决胜局手握赛点。 结果被18岁的孙颖莎连追四分翻盘。 从那以后,石川佳纯再也没赢过孙颖莎。 她说,孙颖莎的球太快了,

2990mm轴距、双电机四驱,阿维塔07L增程版申报
2990mm轴距、双电机四驱,阿维塔07L增程版申报

工信部第412批新车公示里,阿维塔07L增程版现身。这台车由重庆长安汽车股份有限公司生产,定位插电式增程混合动力多用途乘用车,额定载客5人。 先看尺寸:车长 4910 mm 、车宽 1980 mm 、轴距 2990 mm ,车身高度提供1650 mm与1670 mm两种可选。整备质量2380 kg,最高车速200 km/h。 动力是这次申报的重点。增程器型号JL469ZQ1,同样由重庆长安汽车生产

冈田武史辞任日本足协副主席:无法接受世界杯相关决定
冈田武史辞任日本足协副主席:无法接受世界杯相关决定

据日本媒体Goal Japan报道,日本足协(JFA)宣布,前日本国家队主教练冈田武史已于10月24日正式辞去日本足协副主席职务。冈田武史在声明中表示,围绕本届世界杯的一系列应对措施与自己的信念存在巨大分歧,作为一名体育人,他无法接受,因此决定辞职。 冈田武史曾两度执教日本国家队,并在2010年南非世界杯上率领日本队闯入16强,帮助球队首次在境外举办的世界杯中晋级淘汰赛。 2022年3月,冈田武史

男篮世预赛临近,集训名单消息传出,郭士强带队,12 人名单引热议
男篮世预赛临近,集训名单消息传出,郭士强带队,12 人名单引热议

在近期的篮球讨论中,中国男篮的选人策略引发了热烈的争议。10月1日,国家队公布了一份强调年轻化的名单,未包含多位经验丰富的老将。这一决策最初被解读为教练郭士强的大胆尝试,意在培养新生力量。然而,随着即将到来的重要比赛压力加大,名单在短短几周内发生了变化,周琦等老将重新回归,显示出在成绩压力面前,教练的决策有时不得不做出调整。 在国家队面临客场挑战之际,郭士强的选择显得尤为关键。面对沙特和黎巴嫩这两

波切蒂诺接手曼联过程揭秘!自曝违约金主动请缨,苦等10年终圆梦
波切蒂诺接手曼联过程揭秘!自曝违约金主动请缨,苦等10年终圆梦

大部分球队都是先解雇主帅再寻找替代者,曼联反其道而行之,还没正式宣布卡里克下课,就已经谈妥毛里西奥·波切蒂诺的执教。 红魔过去半个月先是试探了安东尼奥·孔蒂、埃迪·豪和尤利安·纳格尔斯曼,得到了肯定的答案;随后,他们被乌奈·埃梅里和法比安·许尔泽勒拒绝。于是,吉姆·拉特克里夫爵士的管理团队果断选择了波切蒂诺。 英媒曾说,卡里克不知道即将发生什么,其实不然。他的经纪人早已得到曼联俱乐部的暗示,了解即