Farfalle：开源 AI 驱动搜索引擎，支持本地，云端大模型，支持自部署

本文更新于: 2024年6月16日

APP喵前言：这是一款开源的 AI 问答引擎，与其它 AI 搜索引擎类似，也是帮助我们搜索并给出最佳总结，并列出引用的相关链接。可持续追问。

网站简介

Farfalle 是一个开源的 AI 驱动搜索引擎项目，被称为 Perplexity 的克隆版。支持本地大型语言模型（LLM），如 llama3, gemma, mistral, phi3。支持云模型，如 Groq/Llama3, OpenAI/gpt4-o。

用户可以运行自己的本地 LLM 或使用云模型。提供了使用 phi3 在 M1 Macbook Pro 上回答问题的演示视频。

截图

功能

• 支持使用多个搜索提供商（Tavily, Searxng, Serper, Bing）进行搜索。
• 支持使用云模型（OpenAI/gpt4-o, OpenAI/gpt3.5-turbo, Groq/Llama3）回答问题。
• 支持使用本地模型（llama3, mistral, gemma, phi3）回答问题。

使用

• 需要 Docker 和 Ollama（如果运行本地模型）。
• 需要下载支持的模型，并启动 Ollama 服务器。
• 提供了获取 API 密钥的指南，包括 Tavily、Serper、OpenAI、Bing 和 Groq。
• 提供了快速开始指南和 Docker 运行命令。

部署

• 后端一键部署：Render
  • 注意拷贝后端地址备用
• 前端一键部署：Vercel
  • 环境变量 NEXT_PUBLIC_API_URL，值为后端地址

技术栈

• 前端：使用 Next.js。
• 后端：使用 FastAPI。
• 搜索 API：支持 SearXNG, Tavily, Serper, Bing。
• 日志记录：使用 Logfire。
• 限流：使用 Redis。
• 组件：使用 shadcn/ui。

网站地址

网站链接：https://www.farfalle.dev/
开源地址：https://github.com/rashadphz/farfalle