（；
Multi AI-communications
现代AI开发面临严重的结构性挑战：被巨大模型及其支持计算资源垄断。许多优秀的研究人员和开发者被黑盒API的延迟和成本所限制，无法访问模型的内部行为。这种情况无非意味着创新机会的丧失。
我们对这种中心化的范式举起了明确的反叛旗帜。基于我们坚定的信念，即AI的真正价值不在于参数的大小，而在于其"资源效率"，我们引领着下一代AI革命。我们的使命是将AI执行环境从大型数据中心解放出来，使其在边缘、移动甚至个人设备中随处可用。这不仅仅是成本削减的故事，而是对AI开发民主化和创造新应用生态系统的根本挑战。
我们研发的核心在于先进技术，这些技术将计算成本（FLOPs）和内存占用减少数个数量级，同时保持或提高模型精度。具体包括不仅是静态结构剪枝和非均匀量化（INT4/INT2），还有动态稀疏优化，在推理过程中动态优化计算路径。
这些技术突破开启了以前是幻想产品的应用领域：实时性能绝对至关重要的交互系统，在离线环境中进行自主情况评估的现场代理，以及最重要的是，在用户手中以完全隐私操作的个人AI。
标准向量搜索成本高且延迟高。我们构建"分层语义聚类"，根据查询动态约束向量空间。通过将粗糙聚类搜索与子空间内的详细搜索相结合，我们将计算复杂度降低数个数量级，即使在小资源上也能实现高速、高精度搜索。
LLM中的自回归令牌生成涉及冗余计算路径。我们研究"推理路径蒸馏"，其中专家决策逻辑作为计算图预训练到模型中。这种方法结合INT8/INT4量化，以避免推理期间基于零的推理并最大化响应性能。
单体巨大模型存在可靠性问题，如幻觉。我们设计轻量级LLM代理的集群，专门从事搜索、分析和验证等任务。它们在分布式黑板系统上共享和协调知识，通过共识构建生成稳健可靠的输出。
轻量级高速推理引擎
协作多LLM系统
现代AI开发已在少数拥有大规模GPU集群和巨额资本的组织中得到巩固。许多开发者被限制通过API使用模型。这意味着由于技术和经济障碍造成的"AI主权"丧失。
我们的研究提供了打破这种中心化结构的技术基础。我们的目标是创建一个生态系统，其中每个人都可以基于自己的数据构建和运营专用的"主权AI"，就像构建网站一样。
超高效的推理引擎使先进的AI执行在消费硬件上成为可能。智能索引提供了将领域知识输入AI而无需重新训练成本的框架。这不仅仅是模型开发，而是尝试为AI开发构建新标准：向分布式、民主化开发范式的转变。