AI信息差
华为昇腾推理对决：开源vLLM vs 官方MindIE，数据说话「Qwen与DeepSeek推理实测」
在昇腾 NPU 上进行大模型推理，长期以来都是国内开发者面临的一项挑战。虽然华为官方提供了性能表现良好的 MindIE 推理引擎，并原生支持 Atlas 800 A2 系列和 Atlas 300i Duo（昇腾 910B 和 310P），但其使用门槛较高，环境配置复杂，限制了非官方团队在实际项目中部署和调试的效率。 开源社区也在积极推进对昇腾 NPU 的支...
性能比肩DeepSeek-R1，MiniMax仅花380万训出推理大模型性价比新王｜开源
梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 国产推理大模型又有重磅选手。 MiniMax开源MiniMax-M1，迅速引起热议。 这个模型有多猛？直接上数据： 原生支持100万token的输入长度，是DeepSeek R1的约8倍。 同时支持8万输出token，超过Gemini 2.5 Pro的6.4万，成为世界最长输出。 生成10万token时...
Kimi新模型拿下代码开源SOTA，仅仅72B，发布即开源
克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 深夜，沉寂已久的Kimi突然发布了新模型—— 开源代码模型Kimi-Dev，在SWE-bench Verified上以60.4%的成绩取得开源SOTA。 参数量只有72B，但编程水平比最新的DeepSeek-R1还强，和闭源模型比较也表现优异。 有网友看到后表示，感觉月之暗面的实力被低估了，其水平应该...
酒店如何用AI吃下演唱会“流量红利”？
作者_｜李楠 邮箱｜_linan@pingwest.com 才推出不需要懂代码的AI coding工具“NoCode”，让普通人可以“一句话，呈所想”地开发网站页面或实用工具，然后又拿出业内首个面向酒店商家的AI工具，让酒店业可以享受AI演进带来的技术红利。在AI这件事上，美团的脚步越拉越快。 6月5日，美团召开住宿生态伙伴大会，发布“美团既白”垂类AI产...
苹果AI新进展：Qwen3已全面“登陆”苹果MLX框架
作者_｜summer 邮箱｜_huangxiaoyi@pingwest.com 在苹果AI中国版一片静默之际，阿里出牌了。 2024年6月16日，阿里巴巴Qwen团队对外宣布，推出支持苹果MLX架构的 Qwen3 模型，包含4种精度，用户可以根据硬件资源选择合适的模型。搭载对应芯片的苹果设备可以更流畅、更高效地在本地运行这款来自中国的开源大模型。 看似是...
新的OCR模型 MonkeyOCR-3B
这个新的OCR模型 MonkeyOCR-3B 好猛啊，官方评测比 MinerU 分数都高。有大量 文档 OCR 需求的同学可以下载试试了，就3B大小，很容易运行。 参考文献： [1] 地址：https://huggingface.co/echo840/MonkeyOCR 知识星球服务内容：Dify源码剖析及答疑，Dify对话系统源码，NLP电子书籍...
PaddleOCR3.0全面开源！文档解析PP-StructureV3：PDF秒变高质量结构化文件！
背景介绍 在大模型与RAG技术快速发展的当下，结构化数据对于智能系统的重要性日益凸显。将文档图像、PDF等非结构化数据精准地转换成结构化数据（如Markdown、JSON）已成为行业待解决的关键问题。 目前众多开源方案在处理复杂文档情形时，都会遇到文字识别能力差、阅读顺序无法正确恢复、表格识别不准、长难公式无法解析等问题。基于广大用户的反馈和对行业痛点的分...
小红书上周发布的大模型 dots.llm1 已经被 llama.cpp 支持
小红书上周发布的大模型 dots.llm1 已经被 llama.cpp 支持了, 有本地想生成小红书体的朋友可以直接使用 llama.cpp 作为推理引擎了。 参考文献： [1] https://www.reddit.com/r/LocalLLaMA/comments/1lbva5o/rednotehilab\_dotsllm1\_support\_has...
Keller Jordan的一篇博文，介绍了自己写的一种名为Muon的优化器
Keller Jordan的一篇博文，介绍了自己写的一种名为Muon的优化器，它专门用于优化神经网络中的隐藏层参数。Muon在NanoGPT和CIFAR-10的速度记录中得到了应用，并显著提高了训练速度。文章详细讨论了Muon的设计原理、实现方法、实验结果以及与其他优化器的比较。 参考文献： [1] https://kellerjordan.github...
使用 LoRA 和QLoRA 微调大模型的教程
这个教程很适合新手看，一步步按照教程来就行。如果有不懂的地方，直接把链接扔给AI，打开联网功能，直接提问即可。 参考文献： [1] http://www.mercity.ai/blog-post/guide-to-fine-tuning-llms-with-lora-and-qlora 知识星球服务内容：Dify源码剖析及答疑，Dify对话系统源码...