开源AI工作流项目，这些项目的GitHub星标数量均超过一万。它们的共同特点包括：1. 提供友好的图形化界面，支持拖拉拽操作，适合没有编程基础的业务人员；2. 支持自定义知识库、工作流、自定义插件和大型模型；3. 提供多种预设的应用模板和API工具。其中，前三个项目均由国内公司开发，Dify和Flo
Published on 2024-09-15
在当今数据驱动的时代，计算能力已成为科技进步的重要推动力。GPU曾经专注于图形渲染，但如今已成为高性能计算的核心力量。这一转变离不开英伟达革命性的技术——CUDA。 什么是CUDA？ CUDA，全称为Compute Unified Device Architecture，即统一计算设备架构，是英伟达
Published on 2024-09-15
什么是CUDA CUDA（Compute Unified Device Architecture）是英伟达推出的基于其GPU的通用高性能计算平台和编程模型。通过CUDA，开发者能够有效利用英伟达GPU的强大计算能力，以加速各种计算任务。 软件生态的基石 CUDA构成了英伟达软件生态的基础，许多前沿技
Published on 2024-09-15
Introduction Understanding the Basics of CUDA GPU programming involves multiple components such as the CPU, GPU, memory, and video memory. It's crucia
Published on 2024-09-15
在动态环境中，大型语言模型（LLMs）在持续决策、长期记忆和有限上下文窗口等方面仍存在诸多挑战： 通过元学习和多任务学习等方法，增强LLMs的迁移能力和适应性； 针对有限记忆存储的问题，MemGPT和MemoryBank采用了不同的策略进行记忆管理； 然而，这些方法通常专注于特定任务或场景，缺乏通用
Published on 2024-09-15
环境介绍 在本指南中，我们将使用三台设备进行FRP内网穿透的搭建，包括：本地攻击机、远程跳板机和远程目标服务器。首先，请根据目标服务器的操作系统环境下载相应版本的FRP（推荐为0.46.0版本）。 请确保下载安装Proxifier，并使用工具 python Proxifier_Keygen.py -
Published on 2024-09-15
欢迎阅读本期文章！ LitServe是一款灵活且易于使用的服务引擎，专为基于FastAPI构建的AI模型而设计。其具备批处理、流式处理和GPU自动扩缩等功能，无需为每个模型重复搭建FastAPI服务器。 LitServe的优势特性
Published on 2024-09-15
近年来，随着人工智能技术的不断演进，尤其是深度学习模型的广泛应用，GPU（图形处理单元）作为加速计算的重要硬件在AI领域发挥着越来越重要的作用。AI推理即已训练好的模型对新数据进行预测的过程，其对GPU的需求与训练阶段有所不同，更加关注能效比、延迟及并发处理能力。本文将基于这些因素，对NVIDIA的
Published on 2024-09-15
概述 AutoGen是一个开源编程框架，旨在构建AI Agent并促进多个Agent之间的协作，以解决各种任务。该框架的目标是为人工智能开发和研究提供一个灵活且易于使用的环境，类似于深度学习领域的PyTorch。AutoGen具备多个功能，包括可交互的Agent、LLM和工具的支持、自主与人机循环工
Published on 2024-09-15
PyTorch最近推出了TorchChat，一个允许用户在本地台式机、笔记本电脑或移动设备上下载和运行大型语言模型的框架。这不禁让人联想到Ollama。TorchChat的设计旨在增强在多种硬件平台上大型语言模型（LLMs）的效率，使其能够在各种设备上高效运行本地模型。此框架通过支持GGML生态系统
Published on 2024-09-15
Neo4j与LangChain的集成概述 自从Neo4j宣布与LangChain的整合以来，许多使用Neo4j和大语言模型（LLM）构建检索增强生成（RAG）系统的用例纷纷涌现。这一整合促使知识图谱在RAG中的应用急剧增加。基于知识图谱的RAG系统在处理幻觉问题时，似乎表现得更加优越于传统RAG系统
Published on 2024-09-15
近期，民政部发布了2024年上半年结婚对数的数据。 根据往年数据，上半年结婚对数通常占全年结婚对数的约51%。如果我们假设2024年上半年结婚对数同样占全年结婚对数的51%，那么可以推算出全年结婚对数的预期。 考虑到大多数人在结婚后通常会在次年生育，因此，可以将每年结婚对数与下一年的出生人口数建立关
Published on 2024-09-15
我们都知道，日本在1990年出现过房价泡沫。因此，我收集了东京历史上各年的房价、租金以及日本民众收入情况，并尝试进行图表绘制。 这是一份1955-2023年东京的房价图表。
Published on 2024-09-15
一、引言 2024 年被广泛认为是 AI 硬件的元年。随着大模型成本的持续降低，边缘设备上的大模型解决方案也不断涌现。此外，私有化部署大模型的过程已经变得相对简单（如使用 Ollama、Docker 和 Open WebUI）。因此，本文将探讨是否可以在参数量大约为 7B 的 LLM 上成功部署在边
Published on 2024-09-15
玻璃态（Glassmorphism）是一种视觉设计趋势，自2020年以来逐渐流行，并在苹果和微软的设计系统中占据了重要位置。这种设计风格模拟了磨砂玻璃的外观，巧妙地利用透明度和模糊效果来构建前景和背景元素之间的层级感和对比度。适当使用玻璃态可以有效提升界面的视觉层次，但若缺乏设计原则的指导或过度使用
Published on 2024-09-15
介绍 Mistral NeMo Mistral与Nvidia最新推出的Mistral NeMo是一款拥有12亿参数和128K上下文限制的开源模型。在我的测试中，它超越了Qwen-2、DeepSeek-V2和Llama-3等多个竞品，表现十分出色。 在编码任务中的优势 Mistral NeMo在编码任
Published on 2024-09-15
在经典剧作《甄嬛传》中，有一个情节让我印象深刻。 准格尔摩格进京朝见雍正帝，设下“九连环”之局，意在让雍正颜面尽失。 这九连环由西域巧匠精心制作，环环相扣，没有缝隙，根本无法正常解开。 果然，满朝文武竭尽全力却无计可施。 就在摩格准备趁机发难时，胧月小公主却大胆一摔，玉环瞬间散开。 世间许多人和事，
Published on 2024-09-15
在使用 ChatGPT 的过程中，我发现了授权认证失效的情况，系统提示我需要重新登录。当我尝试重新登录时，却遇到了如下错误信息： We ran into an issue while signing you in, please take a break and try again soon. 起
Published on 2024-09-15
