open webui: AICHAT 前端

open-webui 是一种可扩展、功能丰富、用户友好的自托管 web UI，支持各种 LLM 运行程序，包括与 Ollama 和 openai 兼容的 api。

介绍

• 功能类似于 ChatGPT 的 AI 对话 Web 实现
• open-webui 采用 Svelte 前端框架开发
  • 基于角色的访问控制(RBAC)
  • 多语言支持
  • 移动渐进式 Web 应用程序(PWA)
  • 响应式设计，支持 Markdown 和 LaTeX
• 支持集成 OpenAI 兼容的 API
• 多模型对话，与 Ollama 模型一起进行多功能对话
• 支持模型（Models）、提示词（Prompts）、工具（Tools）、函数（Function），有自己的市场 https://openwebui.com/#open-webui-community
• 支持 Pipelines Plugin Framework 将自定义逻辑和 Python 库无缝集成到 Open web 中
• 支持本地 RAG 集成
  • 支持 Web Search for RAG
• 图像生成集成
  • 使用 AUTOMATIC1111 API 或 ComfyUI(本地)和 OpenAI 的 DALL-E(外部)等选项无缝地整合图像生成功能，通过动态视觉内容丰富您的聊天体验

安装

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

• 配置
  • 环境变量
  • 减少运行时内存

使用

与 vscode 集成

F&Q

模型默认英文应该回答怎么办？

• 修改系统提示词 (System Prompt) 为 使用中文回答，除代码和专用名词外尽量不使用英文

huggingface.co 失败导致启动失败

OSError: We couldn't connect to 'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like sentence-transformers/all-MiniLM-L6-v2 is not the path to a directory containing a file named config.json.
Checkout your internet connection or see how to run the library in offline mode at 'https://huggingface.co/docs/transformers/installation#offline-mode'

• 使用国内代理 https://hf-mirror.com

docker run -d -p 3000:8080 -e HF_ENDPOINT=https://hf-mirror.com ... --name open-webui --restart always ghcr.io/open-webui/open-webui:main