Contents

Affordable LLM for Everyone

背景

自从OpenAI在2022年底发布具有跨时代意义的chatGPT3.5以来,生成式人工智能(Generative AI)领域的革新进程得到了显著推动,这类大语言模型(Large Language Model,LLM)的诞生影响了整个社会。在商业层面,它通过重塑业务模式和优化决策流程,显著提升了组织效能;在个人生活中,生成式AI同样发挥了革命性作用,无论是日常交流的智能化提升,还是内容创作的创新潜能,都极大地简化了信息获取路径,激发了无尽的创新思维。用户普遍体验到这些技术带来的生活便利性和智能化服务的提升,这实质上是科技力量对社会生活的实质性赋能,预示着一个更加触手可及、高度智能化的未来。

尽管国际上领先的T0级大语言模型,如GPT和Claude,凭借其卓越表现有口皆碑,但在中国,因为【法规】、【数据】还有【国家】安全的严格要求,无法直接使用这些“先进模型”。

即使通过某些科技途径得以接触,如ChatGPT或Claude,用户的账户也可能因为网络IP问题,OpenAI和Anthropic可根据其用户协议,封禁用户账号(哪怕用户是订阅用户)。

我的Claude账户去年底不知道因为什么原因,就问了Hello who are you之类的测试问题,过了两天就变成了违反用户协议无法使用

OpenAI直接封禁了中国区的信用卡,提高了用户的订阅门槛,但是即便如此,OpenAI 也会定期发疯,封禁用户。

OpenAI发送给用户的邮件,7/9起停止来自中国的API请求服务

LLM的普适性愿景

【miboy】小米的梦想是“让全球每个人都能享受科技带来的美好生活”

同样地,我坚信,LLM的核心使命在于其普适性,致力于让每个个体都能无障碍地领略人工智能所带来的前所未有的便捷与高效,超越地域、文化的界限,让科技的乐趣触手可及。

【天下大势,合久必分,分久必合】

目前的逆全球化趋势、中美对抗、去风险化的时代背景下,人与人,国家与国家的隔阂越来越深,全世界就像一个火药桶,一点就炸。 实现LLM的普适性和包容性目标似乎变得更加遥远。全球化曾经是推动科技和信息自由流动的强大力量,但如今,随着保护主义和地缘政治紧张的抬头,这种力量正在受到挑战。

尽管面临诸多挑战,科技的力量不容忽视,它本应作为驱动全球共同进步的核心动力。即便在国际关系紧张的背景下,技术的创新精神和灵活性依然能够穿透隔阂,催生跨文化交流与社区融合的新途径。然而,当国际合作的空间受到限制,创新资源的互补与优化变得更加艰难,研究者们在孤立的环境中进行探索,可能因缺失多元视角和互补技术而限制了成果的广度和深度。同时,技术的快速发展要求即时跟进,否则可能导致国家在关键领域的竞争力下滑,影响整个科技界的协同进步。

此外,当前大语言模型的兴起,如同电动汽车行业对续航里程的焦虑,引发了科技界的另一场“AI算力军备赛”。各大企业与研究机构竞相追求更高运算能力,以维系竞争优势。然而,这种竞赛不仅加剧了资源消耗,还可能催生短暂的经济效益泡沫,长远来看不利于科研的可持续发展。

现状

今年开始,国内大语言模型在过去一年的不断迭代下,整体的能力效果已有了进一步的效果提升。近期也开始了价格战

网页端-Affordable

国内厂商的大模型,在网页端的使用基本都是免费的,并且提供了诸如agent、智能角色、聊天、代码生成、文档问答等功能。此外,这些服务还支持多种终端,比如手机端APP、小程序等。

日常使用均能满足日常需求,且目前无需承担订阅费用,从而降低了使用的门槛。

国内厂商推出的产品包括:

  1. 通义千问:访问链接
  2. 智谱清言:访问链接
  3. 面壁Luca:访问链接
  4. 幻方Deepseek:访问链接
  5. 字节豆包:访问链接
  6. 讯飞星火:访问链接
  7. 月之暗面Kimi:访问链接
  8. 腾讯元宝:访问链接
  9. 紫东太初:访问链接

Personal Recommendation

  • 日常使用,通义千问,各方面能力都比较均衡,水桶型选手!
  • 新出的腾讯元宝,有微信公众号高质量内容作为RAG加持,搜索增强能力夸张! 因而,kimi的知乎RAG,我认为相比之下并无显著优势。

目前的网页版大模型,已然卷向趋同,互相活成了对方的样子!【手动狗头】多教教OpenAI做产品😹

推荐AI工具导航网站:AI Bot

API-群魔乱舞

API的应用场景主要都是toB,也是各家厂商主要的营收来源。目前处于价格群魔乱舞的阶段。

这里不点名批评一下kimi: 最便宜的moonshot-v1-8k,1M tokens,¥12.00 / 百万 tokens

为了计算方便,将输入、输出token价合并计算。

个人使用的情况下,推荐幻方Deepseek,其提供了针对聊天和代码编写的特调模型,具体定价信息可参考幻方Deepseek API文档

  • deepseek-chat (1) 擅长通用对话任务,上下文长度为 128K, ¥3 / 百万 tokens
  • deepseek-coder (1) 擅长处理编程和数学任务,上下文长度为 128K, ¥3 元 / 百万 tokens

商用稳定性(虽然可能,也没有多稳定),推荐通义系列:

  1. 模型功能多样
  2. 价格比较合适
  3. 阿里云base
  • qwen-long ¥2.5 / 百万 tokens
  • qwen-turbo ¥8 / 百万 tokens
  • qwen-plus ¥16 / 百万 tokens

API 使用场景

  1. 自建的AI platform【主要】
  2. 编程IDE【生产力爆发】

目前,各家大语言厂商大家都在做自己的Programming Copilot,并作为一个独立的产品,每家都有。形成了新时代的 “Copilot巴别塔”。 而我作为一个用户,对某一个大语言模型并无死忠粘性,反而是希望在Copilot时,可以切换不同的模型,横向比较效果。

最近发现了一个开源项目 Continue,特点如下:

  1. 可以自由切换模型,并且可接入本地部署的模型
  2. 能自己定制prompt。
  3. 支持Visual Studio Code和Jetbrains IDE 这两员大将

挖坑Todo: Continue插件的入门使用