基于LazyLLM多Agent大模型应用的开发框架，搭建本地大模型AI工具，你贴身的写作、论文小助手

在搭建本地大模型作为写作、论文小助手时，开发者常面临诸多技术难题：模型部署需研究复杂 API 服务，微调模型要应对框架选择与模型切换的困扰，工具落地还需掌握 Web 开发技能，这让初级开发者望而却步，资深专家也需为适配需求、集成新工具耗费大量精力。而 LazyLLM 多 Agent 大模型应用开发框架可有效解决这些问题，它打包了应用搭建、数据准备、模型部署、微调、评测等全环节工具。初级开发者借助预置组件即可打造有生产价值的 AI 工具，资深专家能依托其模块化设计集成自有算法与前沿工具，助力不同水平开发者低成本搭建专属本地大模型助手，摆脱技术卡壳难题。

一、前言：当 “AI 工具梦” 遇上 “技术拦路虎”？LazyLLM 来救场啦！

家人们，谁懂啊！想搭个本地大模型当写作、论文小助手，结果一开局就被 “技术大山” 拦住：要搞模型部署，得研究各种 API 服务的弯弯绕；想微调模型，选框架、切模型的操作能把人绕晕；好不容易搞定模型，还得懂 Web 开发才能把工具落地 —— 初级开发者看了直呼 “退！退！退！”，资深专家也得为适配不同需求、集成新工具费老大劲。

但别慌！现在 “救星” 来了 ——LazyLLM 多 Agent 大模型应用开发框架，简直是为解决这些痛点量身打造的。它把应用搭建、数据准备、模型部署、微调、评测等全环节的工具都打包好，初级开发者不用啃复杂技术细节，靠预置组件 “拼一拼”，就能搞出有生产价值的 AI 工具；资深专家也能借着它的模块化设计自由发挥，集成自家算法、前沿工具，轻松拿捏多样化需求。有了它，不管你是刚入门的 “AI 小白”，还是深耕领域的 “技术大牛”，都能低成本搭起专属的本地大模型写作、论文小助手，让 AI 助力学习工作，从此告别 “技术卡壳” 的烦恼！

二、讲一下 LazyLLM

LazyLLM 是构建和优化多 Agent 应用的一站式开发工具，为应用开发过程中的全部环节（包括应用搭建、数据准备、模型部署、模型微调、评测等）提供了大量的工具，协助开发者用极低的成本构建 AI 应用，并可以持续地迭代优化效果。

对于初级开发者，LazyLLM 彻底简化了AI应用的构建过程。用户不必了解不同模型 API 服务的构建细节，无需在微调模型时选择框架或切分模型，也不需要掌握任何Web开发知识，通过预置的组件和简单的拼接操作，初级开发者便能轻松构建出具备生产价值的工具。

对于资深的专家，LazyLLM 提供了极高的灵活性，为开发者提供了无限的可能性。其模块化设计支持高度的定制与扩展，使用户能够轻松集成自有算法、行业领先的生产工具以及最新的技术成果，从而快速构建适配多样化需求的强大应用。

📣 今天咱们用python本地搭建LazyLLM，并通过控制台、API、界面等方式应用！话不多说开始吧！

三、LazyLLM安装配置使用

3.1 安装应用

咱们先把基础门槛说清楚：电脑得提前装好 Python 运行环境哦～要是还没安排，直接戳博主这篇 Python 安装指南就能搞定；至于 LazyLLM 的安装配置，👆 点击跟着这份文案一步步来，保准不踩坑！

3.2 配置api服务应用

通过安装应用里面的教程，咱们已经安装好了LazyLLM，接下来咱们就开始写python代码调用LazyLLM，然后浏览器访问大模型。

py代码

1import lazyllm
2from fastapi import FastAPI, HTTPException
3from fastapi.middleware.cors import CORSMiddleware
4from pydantic import BaseModel
5import uvicorn
6import os
7import asyncio
8
9# 设置API Key
10os.environ['LAZYLLM_DOUBAO_API_KEY'] = '我这里用的是豆包，这里填写你的豆包API_KEY'
11
12# 创建聊天模块
13chat = lazyllm.OnlineChatModule()
14
15# 创建FastAPI应用
16app = FastAPI(title="LazyLLM Chat API", version="1.0.0")
17
18# 添加CORS中间件
19app.add_middleware(
20    CORSMiddleware,
21    allow_origins=["*"],
22    allow_credentials=True,
23    allow_methods=["*"],
24    allow_headers=["*"],
25)
26
27
28class ChatRequest(BaseModel):
29    message: str
30    model: str = "openai"
31
32
33class ChatResponse(BaseModel):
34    response: str
35    status: str = "success"
36
37
38@app.post("/chat", response_model=ChatResponse)
39async def chat_endpoint(request: ChatRequest):
40    try:
41        # 使用线程池执行同步的chat调用
42        loop = asyncio.get_event_loop()
43        response = await loop.run_in_executor(None, lambda: chat(request.message))
44        return ChatResponse(response=response)
45    except Exception as e:
46        raise HTTPException(status_code=500, detail=f"Chat error: {str(e)}")
47
48
49@app.get("/")
50async def root():
51    return {
52        "message": "LazyLLM Chat API is running",
53        "status": "healthy",
54        "endpoints": {
55            "chat": "POST /chat",
56            "docs": "GET /docs"
57        }
58    }
59
60
61@app.get("/health")
62async def health_check():
63    return {"status": "healthy", "service": "lazyllm-chat"}
64
65
66if __name__ == "__main__":
67    print("🚀 启动 LazyLLM Chat API 服务器...")
68    print("📍 本地访问: http://localhost:23333")
69    print("📚 API文档: http://localhost:23333/docs")
70    print("⏹️  按 Ctrl+C 停止服务器")
71
72    uvicorn.run(
73        app,
74        host="0.0.0.0",
75        port=23333,
76        log_level="info"
77    )
78

家人们，这段代码堪称 “AI 新手的救命脚本”！先唠唠它干了啥 —— 开头先把 Python 界的 “明星工具” 们请上场：LazyLLM 负责当 “AI 聊天大脑”，FastAPI 负责搭 “API 小房子”，还贴心加了 CORS 中间件（懂的都懂，这是防止前端小伙伴跨域时 “撞墙”）。接着填个豆包 APIKey “激活大脑”，再用 OnlineChatModule 给 AI 安上 “聊天嘴”，最后写俩接口：/chat 负责接消息、回消息（还偷偷用 asyncio 搞了个 “线程池外挂”，怕同步调用卡壳），/ 和 /health 纯纯是 “报平安专用”，告诉你服务器没躺平。最贴心的是结尾还打印访问地址，生怕你找不到 API 文档入口，主打一个 “手把手教你当 AI 接口老板”！

别慌！就算你分不清 “async” 和 “sync”，这段代码也能让你半小时搞定 AI 聊天 API。第一步：把 “你的豆包 APIKey” 换成真家伙，像给手机插 SIM 卡一样简单；第二步：运行脚本，看着控制台蹦出 “启动成功” 的提示，比收到外卖到店通知还开心；第三步：打开http://localhost:23333/docs，点 “Try it out” 输句话，AI 秒回的感觉，比微信秒回还爽！唯一要注意的是，别把 APIKey 泄露出去 —— 不然别人用你的 Key 聊天，就像用你的奶茶券喝奶茶一样亏！总之，有了这段代码，不用再求后端大佬写接口，自己就能搞个专属 AI 聊天 API，成就感直接拉满！

运行效果

1Prompt:你好
2AI回复：你好呀！有什么问题都可以跟我说，我会尽力帮你解答。
3

3.3 配置web服务应用

上面咱们配置了api服务应用，接下来咱们按照上面的思路配置一下web服务应用。

py代码

1import lazyllm
2from fastapi import FastAPI, Request, HTTPException
3from fastapi.responses import HTMLResponse, JSONResponse
4import uvicorn
5import os
6import json
7
8# 设置API Key
9os.environ['LAZYLLM_DOUBAO_API_KEY'] = '我这里用的是豆包，这里填写你的豆包API_KEY'
10
11# 创建聊天模块
12chat = lazyllm.OnlineChatModule()
13
14# 创建FastAPI应用
15app = FastAPI(title="LazyLLM Chat", version="1.0.0")
16
17# 添加CORS支持
18from fastapi.middleware.cors import CORSMiddleware
19
20app.add_middleware(
21    CORSMiddleware,
22    allow_origins=["*"],
23    allow_credentials=True,
24    allow_methods=["*"],
25    allow_headers=["*"],
26)
27
28# HTML页面内容
29HTML_PAGE = """
30<!DOCTYPE html>
31<html lang="zh-CN">
32<head>
33    <meta charset="UTF-8">
34    <meta name="viewport" content="width=device-width, initial-scale=1.0">
35    <title>LazyLLM Chat</title>
36    <style>
37        * {
38            margin: 0;
39            padding: 0;
40            box-sizing: border-box;
41        }
42
43        body {
44            font-family: 'Segoe UI', Tahoma, Geneva, Verdana, sans-serif;
45            background: linear-gradient(135deg, #667eea 0%, #764ba2 100%);
46            min-height: 100vh;
47            display: flex;
48            justify-content: center;
49            align-items: center;
50            padding: 20px;
51        }
52
53        .chat-container {
54            background: white;
55            border-radius: 15px;
56            box-shadow: 0 10px 30px rgba(0, 0, 0, 0.2);
57            width: 100%;
58            max-width: 800px;
59            height: 600px;
60            display: flex;
61            flex-direction: column;
62            overflow: hidden;
63        }
64
65        .chat-header {
66            background: linear-gradient(135deg, #4facfe 0%, #00f2fe 100%);
67            color: white;
68            padding: 20px;
69            text-align: center;
70        }
71
72        .chat-header h1 {
73            font-size: 24px;
74            font-weight: 300;
75        }
76
77        .chat-messages {
78            flex: 1;
79            padding: 20px;
80            overflow-y: auto;
81            display: flex;
82            flex-direction: column;
83            gap: 15px;
84        }
85
86        .message {
87            max-width: 70%;
88            padding: 12px 16px;
89            border-radius: 18px;
90            margin-bottom: 10px;
91            animation: fadeIn 0.3s ease-in;
92        }
93
94        .user-message {
95            align-self: flex-end;
96            background: #007bff;
97            color: white;
98            border-bottom-right-radius: 5px;
99        }
100
101        .bot-message {
102            align-self: flex-start;
103            background: #f1f3f5;
104            color: #333;
105            border-bottom-left-radius: 5px;
106        }
107
108        .chat-input {
109            padding: 20px;
110            background: #f8f9fa;
111            border-top: 1px solid #e9ecef;
112            display: flex;
113            gap: 10px;
114        }
115
116        .message-input {
117            flex: 1;
118            padding: 12px 16px;
119            border: 2px solid #e9ecef;
120            border-radius: 25px;
121            outline: none;
122            font-size: 14px;
123            transition: border-color 0.3s;
124        }
125
126        .message-input:focus {
127            border-color: #007bff;
128        }
129
130        .send-button {
131            padding: 12px 24px;
132            background: linear-gradient(135deg, #4facfe 0%, #00f2fe 100%);
133            color: white;
134            border: none;
135            border-radius: 25px;
136            cursor: pointer;
137            font-weight: 500;
138            transition: transform 0.2s;
139        }
140
141        .send-button:hover {
142            transform: translateY(-2px);
143        }
144
145        .send-button:active {
146            transform: translateY(0);
147        }
148
149        .typing-indicator {
150            align-self: flex-start;
151            background: #f1f3f5;
152            color: #666;
153            padding: 12px 16px;
154            border-radius: 18px;
155            border-bottom-left-radius: 5px;
156            font-style: italic;
157        }
158
159        @keyframes fadeIn {
160            from {
161                opacity: 0;
162                transform: translateY(10px);
163            }
164            to {
165                opacity: 1;
166                transform: translateY(0);
167            }
168        }
169
170        /* 滚动条样式 */
171        .chat-messages::-webkit-scrollbar {
172            width: 6px;
173        }
174
175        .chat-messages::-webkit-scrollbar-track {
176            background: #f1f1f1;
177            border-radius: 3px;
178        }
179
180        .chat-messages::-webkit-scrollbar-thumb {
181            background: #c1c1c1;
182            border-radius: 3px;
183        }
184
185        .chat-messages::-webkit-scrollbar-thumb:hover {
186            background: #a8a8a8;
187        }
188    </style>
189</head>
190<body>
191    <div class="chat-container">
192        <div class="chat-header">
193            <h1>🤖 LazyLLM 智能聊天</h1>
194        </div>
195
196        <div class="chat-messages" id="chatMessages">
197            <div class="message bot-message">
198                你好！我是LazyLLM助手，有什么可以帮您的吗？
199            </div>
200        </div>
201
202        <div class="chat-input">
203            <input 
204                type="text" 
205                class="message-input" 
206                id="messageInput" 
207                placeholder="输入您的消息..." 
208                autocomplete="off"
209            >
210            <button class="send-button" onclick="sendMessage()">发送</button>
211        </div>
212    </div>
213
214    <script>
215        const chatMessages = document.getElementById('chatMessages');
216        const messageInput = document.getElementById('messageInput');
217
218        // 自动聚焦输入框
219        messageInput.focus();
220
221        function addMessage(text, isUser = false) {
222            const messageDiv = document.createElement('div');
223            messageDiv.className = isUser ? 'message user-message' : 'message bot-message';
224            messageDiv.textContent = text;
225            chatMessages.appendChild(messageDiv);
226            chatMessages.scrollTop = chatMessages.scrollHeight;
227        }
228
229        function showTyping() {
230            const typingDiv = document.createElement('div');
231            typingDiv.className = 'message typing-indicator';
232            typingDiv.id = 'typingIndicator';
233            typingDiv.textContent = 'AI正在思考...';
234            chatMessages.appendChild(typingDiv);
235            chatMessages.scrollTop = chatMessages.scrollHeight;
236        }
237
238        function hideTyping() {
239            const typingIndicator = document.getElementById('typingIndicator');
240            if (typingIndicator) {
241                typingIndicator.remove();
242            }
243        }
244
245        async function sendMessage() {
246            const message = messageInput.value.trim();
247            if (!message) return;
248
249            // 添加用户消息
250            addMessage(message, true);
251            messageInput.value = '';
252
253            // 显示正在输入提示
254            showTyping();
255
256            try {
257                const response = await fetch('/chat', {
258                    method: 'POST',
259                    headers: {
260                        'Content-Type': 'application/json',
261                    },
262                    body: JSON.stringify({ message: message })
263                });
264
265                if (!response.ok) {
266                    throw new Error('网络请求失败');
267                }
268
269                const data = await response.json();
270                hideTyping();
271                addMessage(data.response);
272
273            } catch (error) {
274                hideTyping();
275                addMessage('抱歉，发生错误：' + error.message);
276                console.error('Error:', error);
277            }
278        }
279
280        // 支持回车键发送
281        messageInput.addEventListener('keypress', function(e) {
282            if (e.key === 'Enter') {
283                sendMessage();
284            }
285        });
286
287        // 自动调整输入框高度
288        messageInput.addEventListener('input', function() {
289            this.style.height = 'auto';
290            this.style.height = (this.scrollHeight) + 'px';
291        });
292    </script>
293</body>
294</html>
295"""
296
297
298@app.get("/", response_class=HTMLResponse)
299async def get_chat_interface():
300    """返回聊天界面"""
301    return HTMLResponse(content=HTML_PAGE, media_type="text/html")
302
303
304@app.post("/chat")
305async def chat_endpoint(request: dict):
306    """处理聊天消息"""
307    try:
308        message = request.get("message", "").strip()
309        if not message:
310            raise HTTPException(status_code=400, detail="消息不能为空")
311
312        print(f"收到消息: {message}")
313
314        # 调用LazyLLM聊天模块
315        response = chat(message)
316
317        print(f"AI回复: {response}")
318
319        return JSONResponse(content={
320            "response": response,
321            "status": "success"
322        })
323
324    except Exception as e:
325        print(f"错误: {e}")
326        return JSONResponse(
327            status_code=500,
328            content={
329                "response": f"抱歉，发生错误: {str(e)}",
330                "status": "error"
331            }
332        )
333
334
335@app.get("/health")
336async def health_check():
337    """健康检查端点"""
338    return {"status": "healthy", "service": "lazyllm-chat"}
339
340
341if __name__ == "__main__":
342    print("🚀 启动 LazyLLM Web 聊天服务器...")
343    print("📍 本地访问: http://localhost:23333")
344    print("🤖 准备好与AI聊天了!")
345    print("⏹️  按 Ctrl+C 停止服务器")
346
347    # 测试基本功能
348    try:
349        test_response = chat("你好")
350        print(f"✅ 基本功能测试成功: {test_response[:50]}...")
351    except Exception as e:
352        print(f"❌ 基本功能测试失败: {e}")
353        print("请检查API Key设置")
354
355    uvicorn.run(
356        app,
357        host="0.0.0.0",
358        port=23333,
359        log_level="info"
360    )
361

运行效果

3.4 配置控制台服务应用

上面咱们配置了web服务应用，接下来咱们按照上面的思路配置一下控制台服务应用。

py代码

1import lazyllm
2import os
3
4# 设置API Key
5os.environ['LAZYLLM_DOUBAO_API_KEY'] = '我这里用的是豆包，这里填写你的豆包API_KEY'
6
7
8def main():
9    print("🤖 LazyLLM 命令行聊天")
10    print("输入 'quit' 或 'exit' 退出")
11    print("-" * 50)
12
13    chat = lazyllm.OnlineChatModule()
14
15    while True:
16        try:
17            user_input = input("👤 你: ").strip()
18
19            if user_input.lower() in ['quit', 'exit', 'q']:
20                print("再见！👋")
21                break
22
23            if not user_input:
24                continue
25
26            print("🤖 AI: ", end="", flush=True)
27            response = chat(user_input)
28            print(response)
29            print()
30
31        except KeyboardInterrupt:
32            print("\n再见！👋")
33            break
34        except Exception as e:
35            print(f"❌ 错误: {e}")
36
37
38if __name__ == "__main__":
39    main()
40

运行效果

四、写作小助手配置

4.1 提示词配置

咱先明确目标：把 LazyLLM 的 “基础聊天功能” 升级成 “专属写作助手”，核心就俩事儿 ——写对提示词让 AI 懂 “写作规矩”，选对 MCP 模块让功能落地，全程像给手机装专属 APP 一样简单，小白也能跟着走！

1【身份定义】你是一名专业写作助手，擅长学术论文、职场报告、自媒体文案等多种文体创作，语言严谨且流畅，拒绝口语化和无关内容。
2【任务要求】当用户输入“写作需求+文体+字数/核心要点”时，你需要先拆解需求（比如用户说“写300字产品推广文案，产品是无线耳机，卖点是降噪+长续航”，你要先确认“文体：推广文案，字数：300字，核心要素：无线耳机、降噪、长续航”），再按“开头吸引注意力+中间讲卖点+结尾引导行动”的结构创作，创作后补充1-2句“修改建议”（比如“若需突出价格优势，可补充XX内容”）。
3【禁忌提醒】不偏离用户指定的文体和字数，不添加与写作无关的闲聊内容，若用户需求模糊（比如只说“写篇文章”），要主动追问“请问需要哪种文体（如论文/文案）、大概多少字、有哪些核心要点呀？”
4

为啥这么写？举个反例：要是只写 “帮我写作”，AI 可能一会儿写散文一会儿写段子；但加了 “身份 + 任务 + 禁忌”，AI 就像拿到 “标准答案提纲”，绝不会跑偏。写完后点 “保存提示词”，这一步别忘！就像手机设置完壁纸要确认一样。

4.2 代码调整

1import lazyllm
2from fastapi import FastAPI, Request, HTTPException
3from fastapi.responses import HTMLResponse, JSONResponse
4import uvicorn
5import os
6import json
7
8# 设置API Key
9os.environ['LAZYLLM_DOUBAO_API_KEY'] = '填写你的豆包API-KEY'
10
11# 创建聊天模块
12chat = lazyllm.OnlineChatModule()
13
14# 创建FastAPI应用
15app = FastAPI(title="LazyLLM Chat", version="1.0.0")
16
17# 添加CORS支持
18from fastapi.middleware.cors import CORSMiddleware
19
20app.add_middleware(
21    CORSMiddleware,
22    allow_origins=["*"],
23    allow_credentials=True,
24    allow_methods=["*"],
25    allow_headers=["*"],
26)
27
28# HTML页面内容
29HTML_PAGE = """
30<!DOCTYPE html>
31<html lang="zh-CN">
32<head>
33    <meta charset="UTF-8">
34    <meta name="viewport" content="width=device-width, initial-scale=1.0">
35    <title>写作小助手 - LazyLLM</title>
36    <style>
37        * {
38            margin: 0;
39            padding: 0;
40            box-sizing: border-box;
41        }
42
43        body {
44            font-family: '华文中宋';
45            background: linear-gradient(135deg, #667eea 0%, #764ba2 100%);
46            min-height: 100vh;
47            display: flex;
48            justify-content: center;
49            align-items: center;
50            padding: 20px;
51        }
52
53        .chat-container {
54            background: white;
55            border-radius: 15px;
56            box-shadow: 0 10px 30px rgba(0, 0, 0, 0.2);
57            width: 100%;
58            max-width: 800px;
59            height: 600px;
60            display: flex;
61            flex-direction: column;
62            overflow: hidden;
63        }
64
65        .chat-header {
66            background: linear-gradient(135deg, #4facfe 0%, #00f2fe 100%);
67            color: white;
68            padding: 20px;
69            text-align: center;
70        }
71
72        .chat-header h1 {
73            font-size: 24px;
74            font-weight: 300;
75        }
76
77        .chat-messages {
78            flex: 1;
79            padding: 20px;
80            overflow-y: auto;
81            display: flex;
82            flex-direction: column;
83            gap: 15px;
84        }
85
86        .message {
87            max-width: 70%;
88            padding: 12px 16px;
89            border-radius: 18px;
90            margin-bottom: 10px;
91            animation: fadeIn 0.3s ease-in;
92        }
93
94        .user-message {
95            align-self: flex-end;
96            background: #007bff;
97            color: white;
98            border-bottom-right-radius: 5px;
99        }
100
101        .bot-message {
102            align-self: flex-start;
103            background: #f1f3f5;
104            color: #333;
105            border-bottom-left-radius: 5px;
106        }
107
108        .chat-input {
109            padding: 20px;
110            background: #f8f9fa;
111            border-top: 1px solid #e9ecef;
112            display: flex;
113            gap: 10px;
114        }
115
116        .message-input {
117            flex: 1;
118            padding: 12px 16px;
119            border: 2px solid #e9ecef;
120            border-radius: 25px;
121            outline: none;
122            font-size: 14px;
123            transition: border-color 0.3s;
124        }
125
126        .message-input:focus {
127            border-color: #007bff;
128        }
129
130        .send-button {
131            padding: 12px 24px;
132            background: linear-gradient(135deg, #4facfe 0%, #00f2fe 100%);
133            color: white;
134            border: none;
135            border-radius: 25px;
136            cursor: pointer;
137            font-weight: 500;
138            transition: transform 0.2s;
139        }
140
141        .send-button:hover {
142            transform: translateY(-2px);
143        }
144
145        .send-button:active {
146            transform: translateY(0);
147        }
148
149        .typing-indicator {
150            align-self: flex-start;
151            background: #f1f3f5;
152            color: #666;
153            padding: 12px 16px;
154            border-radius: 18px;
155            border-bottom-left-radius: 5px;
156            font-style: italic;
157        }
158
159        @keyframes fadeIn {
160            from {
161                opacity: 0;
162                transform: translateY(10px);
163            }
164            to {
165                opacity: 1;
166                transform: translateY(0);
167            }
168        }
169
170        /* 滚动条样式 */
171        .chat-messages::-webkit-scrollbar {
172            width: 6px;
173        }
174
175        .chat-messages::-webkit-scrollbar-track {
176            background: #f1f1f1;
177            border-radius: 3px;
178        }
179
180        .chat-messages::-webkit-scrollbar-thumb {
181            background: #c1c1c1;
182            border-radius: 3px;
183        }
184
185        .chat-messages::-webkit-scrollbar-thumb:hover {
186            background: #a8a8a8;
187        }
188    </style>
189</head>
190<body>
191    <div class="chat-container">
192        <div class="chat-header">
193            <h1>✨ 写作小助手 - LazyLLM</h1>
194        </div>
195
196        <div class="chat-messages" id="chatMessages">
197            <div class="message bot-message">
198                你好！我是写作小助手，有什么可以帮您的吗？
199            </div>
200        </div>
201
202        <div class="chat-input">
203            <input 
204                type="text" 
205                class="message-input" 
206                id="messageInput" 
207                placeholder="输入您的消息..." 
208                autocomplete="off"
209            >
210            <button class="send-button" onclick="sendMessage()">发送</button>
211        </div>
212    </div>
213
214    <script>
215        const chatMessages = document.getElementById('chatMessages');
216        const messageInput = document.getElementById('messageInput');
217
218        // 自动聚焦输入框
219        messageInput.focus();
220
221        function addMessage(text, isUser = false) {
222            const messageDiv = document.createElement('div');
223            messageDiv.className = isUser ? 'message user-message' : 'message bot-message';
224            messageDiv.textContent = text;
225            chatMessages.appendChild(messageDiv);
226            chatMessages.scrollTop = chatMessages.scrollHeight;
227        }
228
229        function showTyping() {
230            const typingDiv = document.createElement('div');
231            typingDiv.className = 'message typing-indicator';
232            typingDiv.id = 'typingIndicator';
233            typingDiv.textContent = 'AI正在思考...';
234            chatMessages.appendChild(typingDiv);
235            chatMessages.scrollTop = chatMessages.scrollHeight;
236        }
237
238        function hideTyping() {
239            const typingIndicator = document.getElementById('typingIndicator');
240            if (typingIndicator) {
241                typingIndicator.remove();
242            }
243        }
244
245        async function sendMessage() {
246            const message = messageInput.value.trim();
247            if (!message) return;
248
249            // 添加用户消息
250            addMessage(message, true);
251            messageInput.value = '';
252
253            // 显示正在输入提示
254            showTyping();
255
256            try {
257                const response = await fetch('/chat', {
258                    method: 'POST',
259                    headers: {
260                        'Content-Type': 'application/json',
261                    },
262                    body: JSON.stringify({ message: message })
263                });
264
265                if (!response.ok) {
266                    throw new Error('网络请求失败');
267                }
268
269                const data = await response.json();
270                hideTyping();
271                addMessage(data.response);
272
273            } catch (error) {
274                hideTyping();
275                addMessage('抱歉，发生错误：' + error.message);
276                console.error('Error:', error);
277            }
278        }
279
280        // 支持回车键发送
281        messageInput.addEventListener('keypress', function(e) {
282            if (e.key === 'Enter') {
283                sendMessage();
284            }
285        });
286
287        // 自动调整输入框高度
288        messageInput.addEventListener('input', function() {
289            this.style.height = 'auto';
290            this.style.height = (this.scrollHeight) + 'px';
291        });
292    </script>
293</body>
294</html>
295"""
296
297
298@app.get("/", response_class=HTMLResponse)
299async def get_chat_interface():
300    """返回聊天界面"""
301    return HTMLResponse(content=HTML_PAGE, media_type="text/html")
302
303
304@app.post("/chat")
305async def chat_endpoint(request: dict):
306    """处理聊天消息"""
307    try:
308        message = request.get("message", "").strip()
309        if not message:
310            raise HTTPException(status_code=400, detail="消息不能为空")
311
312        print(f"收到消息: {message}")
313
314        # 调用LazyLLM聊天模块
315        response = chat(message)
316
317        print(f"AI回复: {response}")
318
319        return JSONResponse(content={
320            "response": response,
321            "status": "success"
322        })
323
324    except Exception as e:
325        print(f"错误: {e}")
326        return JSONResponse(
327            status_code=500,
328            content={
329                "response": f"抱歉，发生错误: {str(e)}",
330                "status": "error"
331            }
332        )
333
334
335@app.get("/health")
336async def health_check():
337    """健康检查端点"""
338    return {"status": "healthy", "service": "lazyllm-chat"}
339
340
341if __name__ == "__main__":
342    print("🚀 启动 LazyLLM Web 聊天服务器...")
343    print("📍 本地访问: http://localhost:23333")
344    print("🤖 准备好与AI聊天了!")
345    print("⏹️  按 Ctrl+C 停止服务器")
346
347    # 测试基本功能
348    try:
349        test_response = chat("你好")
350        print(f"✅ 基本功能测试成功: {test_response[:50]}...")
351    except Exception as e:
352        print(f"❌ 基本功能测试失败: {e}")
353        print("请检查API Key设置")
354
355    uvicorn.run(
356        app,
357        host="0.0.0.0",
358        port=23333,
359        log_level="info"
360    )
361

4.3 写一篇散文

提示词： 帮我写一篇形容女生很漂亮的散文

运行效果

4.4 带大纲写一篇文章

py代码：

1import lazyllm
2from fastapi import FastAPI, Request, HTTPException
3from fastapi.responses import HTMLResponse, JSONResponse
4import uvicorn
5import os
6import json
7
8# 设置API Key
9os.environ['LAZYLLM_DOUBAO_API_KEY'] = '豆包API_KEY'
10
11# 创建处理管道
12toc_prompt = """你现在是一个智能助手。你的任务是理解用户的输入，将大纲以列表嵌套字典的列表。每个字典包含一个 [`title`](https://xplanc.org/primers/document/zh/03.HTML/EX.HTML%20%E5%85%83%E7%B4%A0/EX.title.md) 和 `describe`，其中 [`title`](https://xplanc.org/primers/document/zh/03.HTML/EX.HTML%20%E5%85%83%E7%B4%A0/EX.title.md) 中需要用Markdown格式标清层级，`describe` 是对该段的描述和写作指导。
13
14请根据以下用户输入生成相应的列表嵌套字典：
15
16输出示例:
17[
18    {
19        "title": "# 一级标题",
20        "describe": "请详细描述此标题的内容，提供背景信息和核心观点。"
21    },
22    {
23        "title": "## 二级标题",
24        "describe": "请详细描述标题的内容，提供具体的细节和例子来支持一级标题的观点。"
25    },
26    {
27        "title": "### 三级标题",
28        "describe": "请详细描述标题的内容，深入分析并提供更多的细节和数据支持。"
29    }
30]
31用户输入如下：
32"""
33
34completion_prompt = """
35你现在是一个智能助手。你的任务是接收一个包含 [`title`](https://xplanc.org/primers/document/zh/03.HTML/EX.HTML%20%E5%85%83%E7%B4%A0/EX.title.md) 和 `describe` 的字典，并根据 `describe` 中的指导展开写作
36输入示例:
37{
38    "title": "# 一级标题",
39    "describe": "这是写作的描述。"
40}
41
42输出:
43这是展开写作写的内容
44接收如下：
45
46"""
47
48# 创建大纲生成器和内容生成器
49toc_generator = lazyllm.OnlineChatModule()
50content_generator = lazyllm.OnlineChatModule()
51
52# 创建FastAPI应用
53app = FastAPI(title="智能写作助手", version="1.0.0")
54
55# 添加CORS支持
56from fastapi.middleware.cors import CORSMiddleware
57
58app.add_middleware(
59    CORSMiddleware,
60    allow_origins=["*"],
61    allow_credentials=True,
62    allow_methods=["*"],
63    allow_headers=["*"],
64)
65
66# HTML页面内容
67HTML_PAGE = """
68<!DOCTYPE html>
69<html lang="zh-CN">
70<head>
71    <meta charset="UTF-8">
72    <meta name="viewport" content="width=device-width, initial-scale=1.0">
73    <title>智能写作助手</title>
74    <style>
75        * {
76            margin: 0;
77            padding: 0;
78            box-sizing: border-box;
79        }
80
81        body {
82            font-family: '华文中宋', sans-serif;
83            background: linear-gradient(135deg, #667eea 0%, #764ba2 100%);
84            min-height: 100vh;
85            padding: 20px;
86        }
87
88        .container {
89            max-width: 1200px;
90            margin: 0 auto;
91            background: white;
92            border-radius: 15px;
93            box-shadow: 0 10px 30px rgba(0, 0, 0, 0.2);
94            overflow: hidden;
95        }
96
97        .header {
98            background: linear-gradient(135deg, #4facfe 0%, #00f2fe 100%);
99            color: white;
100            padding: 20px;
101            text-align: center;
102        }
103
104        .main-content {
105            display: flex;
106            gap: 20px;
107            padding: 20px;
108        }
109
110        .input-section {
111            flex: 1;
112        }
113
114        .output-section {
115            flex: 2;
116        }
117
118        .section-title {
119            margin-bottom: 15px;
120            color: #333;
121            padding-bottom: 10px;
122            border-bottom: 2px solid #f1f3f5;
123        }
124
125        textarea {
126            width: 100%;
127            padding: 15px;
128            border: 2px solid #e9ecef;
129            border-radius: 10px;
130            min-height: 150px;
131            resize: vertical;
132            font-family: inherit;
133            margin-bottom: 15px;
134            font-size: 14px;
135        }
136
137        .button-group {
138            display: flex;
139            gap: 10px;
140            margin-bottom: 20px;
141        }
142
143        button {
144            padding: 12px 24px;
145            background: linear-gradient(135deg, #4facfe 0%, #00f2fe 100%);
146            color: white;
147            border: none;
148            border-radius: 25px;
149            cursor: pointer;
150            font-weight: 500;
151            transition: transform 0.2s;
152        }
153
154        button:hover {
155            transform: translateY(-2px);
156        }
157
158        button:active {
159            transform: translateY(0);
160        }
161
162        .outline-container, .article-container {
163            background: #f8f9fa;
164            border-radius: 10px;
165            padding: 20px;
166            max-height: 400px;
167            overflow-y: auto;
168            margin-bottom: 20px;
169        }
170
171        .outline-item {
172            margin-bottom: 15px;
173            padding-left: 10px;
174        }
175
176        .outline-title {
177            font-weight: bold;
178            margin-bottom: 5px;
179        }
180
181        .outline-desc {
182            color: #666;
183            font-size: 14px;
184        }
185
186        .loading {
187            color: #666;
188            padding: 10px;
189            font-style: italic;
190        }
191
192        .article-content h1, .article-content h2, .article-content h3 {
193            margin-top: 20px;
194            margin-bottom: 10px;
195        }
196
197        .article-content p {
198            margin-bottom: 15px;
199            line-height: 1.6;
200        }
201    </style>
202</head>
203<body>
204    <div class="container">
205        <div class="header">
206            <h1>智能写作助手</h1>
207        </div>
208
209        <div class="main-content">
210            <div class="input-section">
211                <h2 class="section-title">写作主题</h2>
212                <textarea id="topicInput" placeholder="请输入您想要写作的主题..."></textarea>
213
214                <div class="button-group">
215                    <button onclick="generateOutline()">生成大纲</button>
216                    <button onclick="generateArticle()">生成文章</button>
217                </div>
218
219                <h2 class="section-title">生成的大纲</h2>
220                <div class="outline-container" id="outlineContainer">
221                    请先输入主题并生成大纲
222                </div>
223            </div>
224
225            <div class="output-section">
226                <h2 class="section-title">生成的文章</h2>
227                <div class="article-container" id="articleContainer">
228                    文章将在这里显示
229                </div>
230            </div>
231        </div>
232    </div>
233
234    <script>
235        let currentOutline = [];
236
237        async function generateOutline() {
238            const topic = document.getElementById('topicInput').value.trim();
239            if (!topic) {
240                alert('请输入写作主题');
241                return;
242            }
243
244            const outlineContainer = document.getElementById('outlineContainer');
245            outlineContainer.innerHTML = '<div class="loading">正在生成大纲...</div>';
246
247            try {
248                const response = await fetch('/generate-outline', {
249                    method: 'POST',
250                    headers: {
251                        'Content-Type': 'application/json',
252                    },
253                    body: JSON.stringify({ topic: topic })
254                });
255
256                if (!response.ok) {
257                    throw new Error('生成大纲失败');
258                }
259
260                const data = await response.json();
261                currentOutline = data.outline;
262
263                // 显示大纲
264                let outlineHtml = '';
265                currentOutline.forEach(item => {
266                    outlineHtml += `
267                        <div class="outline-item">
268                            <div class="outline-title">${item.title}</div>
269                            <div class="outline-desc">${item.describe}</div>
270                        </div>
271                    `;
272                });
273
274                outlineContainer.innerHTML = outlineHtml;
275
276            } catch (error) {
277                outlineContainer.innerHTML = `生成大纲时出错: ${error.message}`;
278                console.error(error);
279            }
280        }
281
282        async function generateArticle() {
283            if (currentOutline.length === 0) {
284                alert('请先生成大纲');
285                return;
286            }
287
288            const articleContainer = document.getElementById('articleContainer');
289            articleContainer.innerHTML = '<div class="loading">正在生成文章...</div>';
290
291            try {
292                const response = await fetch('/generate-article', {
293                    method: 'POST',
294                    headers: {
295                        'Content-Type': 'application/json',
296                    },
297                    body: JSON.stringify({ outline: currentOutline })
298                });
299
300                if (!response.ok) {
301                    throw new Error('生成文章失败');
302                }
303
304                const data = await response.json();
305                articleContainer.innerHTML = data.article;
306
307            } catch (error) {
308                articleContainer.innerHTML = `生成文章时出错: ${error.message}`;
309                console.error(error);
310            }
311        }
312    </script>
313</body>
314</html>
315"""
316
317
318@app.get("/", response_class=HTMLResponse)
319async def get_writer_interface():
320    """返回智能写作助手界面"""
321    return HTMLResponse(content=HTML_PAGE, media_type="text/html")
322
323
324@app.post("/generate-outline")
325async def generate_outline(request: dict):
326    """生成写作大纲"""
327    try:
328        topic = request.get("topic", "").strip()
329        if not topic:
330            raise HTTPException(status_code=400, detail="主题不能为空")
331
332        print(f"收到写作主题: {topic}")
333
334        # 生成大纲
335        full_prompt = toc_prompt + topic
336        outline_str = toc_generator(full_prompt)
337
338        # 解析为JSON
339        outline = json.loads(outline_str)
340
341        print(f"生成大纲成功，共{len(outline)}个节点")
342
343        return JSONResponse(content={
344            "outline": outline,
345            "status": "success"
346        })
347
348    except json.JSONDecodeError:
349        return JSONResponse(
350            status_code=500,
351            content={
352                "message": "解析大纲失败",
353                "status": "error"
354            }
355        )
356    except Exception as e:
357        print(f"生成大纲错误: {e}")
358        return JSONResponse(
359            status_code=500,
360            content={
361                "message": f"生成大纲时发生错误: {str(e)}",
362                "status": "error"
363            }
364        )
365
366
367@app.post("/generate-article")
368async def generate_article(request: dict):
369    """根据大纲生成文章"""
370    try:
371        outline = request.get("outline", [])
372        if not outline:
373            raise HTTPException(status_code=400, detail="大纲不能为空")
374
375        print(f"开始根据大纲生成文章，共{len(outline)}个节点")
376
377        article_parts = []
378
379        # 逐个处理大纲节点
380        for item in outline:
381            title = item.get("title", "")
382            describe = item.get("describe", "")
383
384            if not title or not describe:
385                continue
386
387            # 生成内容
388            prompt = completion_prompt + json.dumps(item, ensure_ascii=False)
389            content = content_generator(prompt)
390
391            # 添加到文章部分
392            article_parts.append(f"{title}\n\n{content}")
393
394        # 合并所有部分
395        full_article = "\n\n".join(article_parts)
396
397        print("文章生成完成")
398
399        return JSONResponse(content={
400            "article": full_article,
401            "status": "success"
402        })
403
404    except Exception as e:
405        print(f"生成文章错误: {e}")
406        return JSONResponse(
407            status_code=500,
408            content={
409                "message": f"生成文章时发生错误: {str(e)}",
410                "status": "error"
411            }
412        )
413
414
415@app.get("/health")
416async def health_check():
417    """健康检查端点"""
418    return {"status": "healthy", "service": "intelligent-writer"}
419
420
421if __name__ == "__main__":
422    print("🚀 启动智能写作助手服务器...")
423    print("📍 本地访问: http://localhost:23333")
424    print("⏹️  按 Ctrl+C 停止服务器")
425
426    uvicorn.run(
427        app,
428        host="0.0.0.0",
429        port=23333,
430        log_level="info"
431    )
432