通义千问-通义千问是阿里云推出的强大AI助手,具备多模态交互、长上下文理解和文档处理等多项新功能。它广泛应用于办公、学习、创意写作和编程等领域,旨在提升用户的工作和学习效率。通义千问以其智能化服务和便捷的使用体验,正在改变人们的生活方式。...
AI大模型  ·  2025-05-14 20:46
AI大模型  ·  2025-05-14 15:25
文章浏览阅读2.3k次,点赞7次,收藏12次。像GPT-4o这样的模型通过语音与大型语言模型(LLMs)实时互动,显著提升了用户体验,相比传统的基于文本的互动方式。然而,关于如何基于开源LLMs构建语音交互模型,仍然缺乏探索。为解决这一问题,作者提出了一种名为LLaMA-Omni的新颖模型架构,用于...
文章浏览阅读1.2w次,点赞48次,收藏82次。在使用LlamaFactory进行模型微调时,理解和合理设置各个参数至关重要。确保了输入序列的合理长度,优化了注意力机制的实现,和则通过低秩矩阵和权重更新比例来提高微调效率和效果,而和则进一步细化了模型的训练策略。通过这些参数设置,您可以在计算资源有限...
AI大模型  ·  2025-05-14 15:25
文章浏览阅读5.8k次,点赞34次,收藏50次。【04】LLaMA-Factory微调大模型——数据准备_llama-factory数据集格式
AI大模型  ·  2025-05-14 15:24
AI大模型  ·  2025-05-14 15:24
Learn Llama facts for kids
文章浏览阅读2.4w次,点赞12次,收藏48次。本文介绍了运行大型语言模型LLaMA的硬件要求,包括不同GPU如RTX3090对于不同大小模型的VRAM需求,以及CPU如Corei7-12900K和Ryzen95900X的选择。文章还讨论了模型量化对GPU内存和计算需求的影响,以及双GPU设置的适用...
AI大模型  ·  2025-05-14 15:24
文章浏览阅读7.1k次,点赞48次,收藏63次。上期我们已经成功的训练了模型,让llama3中文聊天版知道了自己的名字这次我们从合并模型开始,然后使用llama.cpp量化成gguf格式,并且调用api。_gguf模型合并...
AI大模型  ·  2025-05-14 15:23
文章浏览阅读2.8k次,点赞30次,收藏12次。如何高效地微调和部署大型语言模型(LLM)?LLaMA-Factory作为一个开源的微调框架,应运而生,为开发者提供了一个简便、高效的工具,以便在现有的预训练模型基础上,快速适应特定任务需求,提升模型表现。LLaMA-Factory作为一个功能强大且高...
AI大模型  ·  2025-05-14 15:23
LlamaIndex使用指南 核心上,LlamaIndex包含一个工具包,旨在轻松地将LLM与您的外部数据连接起来。 以下指南旨在帮助您充分利用LlamaIndex。 它提供了以下内容的高级概述: LlamaIndex的一般使用模式(从数据摄取到数据结构,到查询界面) 每个索引的工作原理 Llam...
AI大模型  ·  2025-05-14 15:22
文章浏览阅读3.6k次,点赞17次,收藏33次。设置嵌入模型和语言模型Settings.embed_model = OllamaEmbedding(model_name="yxl/m3e:latest") # 使用指定的嵌入模型Settings.llm = Ollama(mode...
AI大模型  ·  2025-05-14 15:22