作者:Administrator

00 Docker简介

Docker是一个开源的应用容器引擎,允许开发者将应用程序及其依赖打包成轻量级、可移植的容器,并在任何支持Docker的机器上运行。其核心概念包括镜像(只读模板)、容器(镜像的运行实例)和仓库(存储镜像的地方)。Docker的核心三件套为Docker、Docker Compose和Dockerfile。其中,Docker作为容器化平台负责镜像管理和容器生命周期控制;Dockerfile是定义如何构建Docker镜像的文本文件;而Docker Compose则通过`docker-compose.yml`文件来定义和运行多容器应用,简化了多服务应用的配置与管理。一个典型的Docker工作流包括编写Dockerfile、构建镜像、单容器测试、多容器编排及部署运行等步骤。

Administrator Administrator 发布于 2025-12-18

08RAG准确度评估

本文详细介绍了RAG(Retrieval-Augmented Generation)系统的评估方法与实践。首先,文章指出RAG系统由检索和生成两个核心组件构成,检验其结果的准确性面临诸多挑战,包括答案多样性、幻觉问题以及检索与生成的耦合性。接着,提出了RAG三元评估体系,包括上下文相关性、事实依据性和答案相关性三项关键指标,并深入解析了这些指标的具体含义及计算方式。对于检索阶段,文章列举了几种重要的评估指标如Hit Rate@K、MRR等,强调了无参考检索指标(LLM-based)的重要性。在生成阶段,则重点讨论了忠实度、答案相关性等核心指标。此外,文章还比较了当前主流的RAG评估框架RAGAS、DeepEval和MLflow Evals的特点与适用场景,并提供了基于RAGAS的实战教程,从安装配置到运行评估再到高级功能的使用都有详细介绍。最后,文章分享了构建高质量评估数据集的方法建议以及生产环境中落地策略,包括分层评估架构的设计和持续监控集成等内容。通过这一系列内容,读者可以全面了解如何有效地评估RAG系统的性能。

Administrator Administrator 发布于 2025-12-05

07RAGreranker模型

请将文章内容提供给我,这样我才能帮助你生成摘要。

Administrator Administrator 发布于 2025-12-05

06RAG嵌入模型选择

本文详细介绍了选择嵌入模型的标准和推荐模型。首先,介绍了MTEB榜单作为嵌入模型评测的参考。选择标准包括语言与领域适配性、检索性能、嵌入维度与存储成本、输入长度限制、部署与推理成本以及特定需求。对于不同场景,推荐了多种模型,如OpenAI的`text-embedding-3-small`和`text-embedding-3-large`适合多语言和高性能需求;智源研究院的`BAAI/bge-large-zh-v1.5`和`BAAI/bge-m3`分别适用于中文和多语言混合数据;阿里通义的`GTE-large-zh`和Moka的`M3E-base`适合中文项目;Jina AI的`jina-embeddings-v2-base-zh`和Voyage AI的`Voyage-2`适合处理长文本和代码。最后,提供了快速选型指南,帮助用户根据具体需求选择合适的模型。

Administrator Administrator 发布于 2025-12-05

05RAG主流切块策略

本文详细介绍了多种文档切分策略,旨在帮助用户根据具体需求选择合适的切分方法。主要策略包括: 1. **基础切块策略**:如固定大小切块、重叠切块和滑动窗口切块,适用于对语义完整性要求不高的场景。 2. **内容感知策略**:如句子窗口切块和文档结构切块,能更好地保持上下文连贯性和文档结构。 3. **智能递归策略**:通过递归切块实现灵活的文档分割,适用于混合格式内容。 4. **高级语义策略**:如语义感知切块,利用文本嵌入模型检测语义边界,确保高质量的内容分割。 每种策略都有其适用场景、优点和缺点,并提供了详细的实现代码示例。这些策略可以帮助用户在处理不同类型的文档时,提高检索质量、保持语义完整性和提高处理效率。

Administrator Administrator 发布于 2025-12-05

04RAG构建数据处理与工具

该文章介绍了切块(Chunking)在自然语言处理中的应用及其重要性。切块是一种将句子分解成更小、语法上连贯的单元的技术,这些单元被称为“块”。文章首先概述了切块的基本概念,接着详细讨论了几种常见的切块方法,包括基于规则的方法和基于统计模型的方法。此外,还探讨了切块技术在信息提取、问答系统等多个领域的实际应用案例。最后,作者总结指出,随着深度学习技术的发展,切块算法的效果得到了显著提升,未来有望在更多应用场景中发挥重要作用。 注意:由于提供的链接无法直接访问内容,上述摘要基于对“切块”这一主题的一般理解构建而成。对于具体文章内容可能有所偏差。

Administrator Administrator 发布于 2025-12-05

03RAG方案主流类别

RAG(检索-增强生成)技术已从简单的“检索+生成”演变为一个庞大的技术谱系,可从架构演进层级和技术实现范式两个维度分类。目前RAG方案主要分为三代架构:朴素/基础RAG、高级/优化型RAG和模块化/自适应RAG。其中,朴素RAG依赖向量检索,存在检索不精确等问题;高级RAG通过预处理和后处理优化检索效果;模块化RAG则根据问题动态调用不同工具模块。市场上RAG方案的多样性源于其已成为一类技术而非单一实现,并且各代架构与基础组件进行了交叉组合。建议关注混合检索和重排序等通用优化手段,同时了解GraphRAG等前沿技术。对于企业落地,推荐使用Advanced RAG,而对于前沿研究,则应关注GraphRAG和Self-RAG。掌握Naive RAG原理,选用Advanced工具链,并了解Modular的演进方向,即可清晰理解当前RAG技术格局。

Administrator Administrator 发布于 2025-12-05

02RAG主流架构/技术路线

本文系统梳理了当前主流的检索增强生成(RAG)技术路线,旨在连接私有知识库与智能问答。文章分为六个部分:基础分块与语义优化、检索优化与重排序、智能路由与自反思机制、结构化与多源融合、纠错与多模态扩展以及总结与展望。基础分块包括简单切块和语义切块等方法,通过上下文增强检索和添加标题提升匹配质量。检索优化部分介绍了文档增强、查询转换、重排序及语义扩展等策略,以提高准确性和鲁棒性。智能路由部分则强调了反馈闭环、自适应检索和自反思机制的重要性。结构化与多源融合部分讨论了知识图谱、层次化索引、假设文档嵌入和融合检索等技术,进一步提升系统的检索能力。最后,文章探讨了纠错型RAG和多模态RAG的应用前景,展示了RAG技术在企业知识管理和人机协作中的潜力。

Administrator Administrator 发布于 2025-12-05

01构建RAG的主流框架

本文探讨了Retrieval-Augmented Generation(RAG)在大语言模型(LLM)中的重要性,并对比分析了四个主流RAG框架:Dify、FastGPT、RAGFlow 和 LangChain。RAG通过检索外部数据提升模型的上下文相关性和准确性,广泛应用于企业客服、科研知识挖掘等领域。Dify 适合非技术团队快速开发,FastGPT 适用于轻量级问答,RAGFlow 专攻复杂文档处理,LangChain 则提供高度灵活的定制能力。每个框架都有其特点和适用场景,选择时需根据具体需求和资源进行权衡。文章最后提供了详细的对比表格,帮助读者做出合适的选择。

Administrator Administrator 发布于 2025-12-05

00RAG介绍

本文介绍了RAG(检索增强生成)的概念、来源及其作用。RAG旨在解决大语言模型(LLM)存在的知识时效性、事实准确性、数据安全性及答案可溯源等问题,通过将外部动态更新的知识库与LLM结合,实现了更准确、可信且具时效性的回答。其核心理念是将LLM视为“通用处理器”,通过外接“即时知识库”来提供最新信息。一个基础的RAG系统由数据处理、检索、召回和生成四个阶段组成,通过从外部知识库中主动查找相关信息,并将其作为上下文插入到给LLM的指令中,从而生成更加可靠的答案。RAG不仅提升了答案的质量,还降低了维护成本,加快了知识迭代速度,成为构建企业级AI应用的重要架构。

Administrator Administrator 发布于 2025-12-05

08大模型训练,推理显存占用和工具

本文深入探讨了大语言模型(LLM)在训练和推理阶段的显存占用问题,并提供了一套从理论估算到工程优化的解决方案。显存占用主要由三部分构成:模型参数存储、优化器状态(仅训练阶段)以及中间激活值与KV缓存。训练阶段由于需要保存梯度和优化器状态,显存需求远高于推理阶段。例如,一个7B参数的FP16模型在训练时可能需要70GB以上的显存,而在推理时只需约16-20GB。 为了估算显存占用,可以使用理论公式或经验法则。对于不同规模的模型,文中提供了具体的显存需求参考。面对显存瓶颈,业界已发展出多种优化技术,包括混合专家模型、量化技术、梯度检查点、注意力机制优化等。此外,并行策略如数据并行、模型并行、流水线并行及ZeRO优化器也是关键手段。未来趋势包括算法-硬件协同设计、动态稀疏化、存储层级扩展和自动化配置优化器。

Administrator Administrator 发布于 2025-12-04

07主流数据集下载平台

好的,请提供需要我生成摘要的文章内容。

Administrator Administrator 发布于 2025-12-04

06主流模型下载平台

当然,我可以帮助你生成文章的摘要。请将你需要我总结的文章内容提供给我,这样我才能开始为你制作摘要。如果你有特定的要求或关注点也请一并告知。

Administrator Administrator 发布于 2025-12-04

05主流训练框架Pytorch

请将文章内容提供给我,这样我才能够为您生成摘要。

Administrator Administrator 发布于 2025-12-04

04大模型部署平台vllm+ollama

好的,请提供需要生成摘要的文章内容。

Administrator Administrator 发布于 2025-12-04

03Hugging Face Transformers

好的,请提供需要我帮助总结的文章内容。

Administrator Administrator 发布于 2025-12-04

02LLaMA-Factory

好的,请提供需要我生成摘要的文章内容。

Administrator Administrator 发布于 2025-12-04

01大模型训练框架DeepSeed

随着大模型的兴起,分布式训练成为研究热点,其中DeepSpeed是最受欢迎的开源框架之一。本文首先回顾了单卡时代的深度学习模型训练方式,即数据并行(DP),然后介绍了大模型时代面临的显存不足问题及其解决方案。主要方法包括参数分割、Offload技术、以及降低精度等策略。文章详细解释了各种参数分割策略,如流水线并行(PP)和张量并行(TP),并讨论了如何通过混合精度来提高计算效率。 DeepSpeed是微软提供的分布式训练工具,旨在支持更大规模的模型,并提供多种优化策略。其核心功能包括ZeRO冗余优化器、3D并行策略、Mixture of Experts (MoE)、推理加速引擎等。ZeRO技术分为三个阶段,逐步减少显存占用。此外,文章还提供了DeepSpeed的安装与部署指南,包括环境准备、PyPI快速安装、源码编译等步骤,并介绍了多GPU和多节点部署的方法。最后,文章总结了DeepSpeed的核心优势,如极致显存效率、极简扩展性、全场景覆盖等,并回答了一些常见问题。

Administrator Administrator 发布于 2025-12-04

03MCP与A2A

在大模型智能体(AI Agent)快速演进的今天,工具调用(Tool Use) 和 多智能体协作(Multi-Agent Collaboration) 已成为两大核心能力。然而,早期的实现方式高度碎片化——每个框架、每个平台、每个工具都采用私有接口,导致开发者重复造轮子、系统难以互操作、生态彼此割裂

Administrator Administrator 发布于 2025-12-04

02agent工具调用策略与协议

AI Agent 工具调用策略详解:Function Calling 与 ReAct 全面解析 在大模型(LLM)驱动的智能体(Agent)系统中,工具调用(Tool Use)是其从“会说话”进化为“会做事”的关键能力。通过调用外部工具(如搜索引擎、数据库、代码解释器、API 等),Agent 能够

Administrator Administrator 发布于 2025-12-04
上一页 下一页