LLM

在使用AutoModelForCausalLM加载本地的HuggingFace .safetensors模型时,Jupyter内核崩溃

我正在尝试在JupyterLab中使用transformers加载一个本地的大型Hugging Face模型(./ltx-2-19b-dev.safetensors,.safetensors格式),但在from_pretrained() 调用时内核会立即崩溃,且没有任何Python回溯信息。 当我运行这段代码时: from transformers import AutoModelForCausalLM, AutoTokenizer model_id = "./ltx-2-19b-dev.safetens

使用从Hugging Face下载的大语言模型,并结合LangGraph

我从Hugging Face下载了一个llama模型的权重。它能完成一些简单任务,但我不知道如何将它与langgraph结合以创建智能体,或如何绑定工具。 下面是我下载它的方式: model_id = "meta-llama/Llama-3.2-3B-Instruct" pipeline = transformers.pipeline( "text-generation", model=model_id, token="hf_XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX", mod

在对消息调用invoke时,实际发送给LLM的是什么?

AIMessage包含 "content" 和 "tool_calls"。在后续的调用中,"tool_calls" 也会被发送给LLM吗? 我之所以问这个,是因为我想在调用LLM之前把消息尽量精简。具体来说,我对write_file工具调用可能包含的非常长的输入或参数(即要写入的内容)感到担心。而这个非常长的输入位于tool_calls字典中,可能会被发送给LLM。 我做了一个测试,似乎AIMessage中的 "tool_calls" 字典确实会被发送给LLM(我是通过观察改动前后input_tokens

LangChain:在chatPromptTemplate中放入一个base64编码的图像

我正在使用 langchain==0.3.24. 我把一张图片转换成base64,现在想把它放进chatPromptTemplate: ... image_data = ... #converting image to base64 and store it in the variable generation_prompt = ChatPromptTemplate.from_messages( [ ( "system", """ You are an expert assistant. Your tas

如何实现被大型语言模型代理识别的自定义指令文件(例如MYTOOL.md)

解决方案 AI工具,像 copilot 和 codex,对像 DESIGN.md、AGENT.md 和 SKILL.md 这样的文件有特殊处理。在哪里可以获得一个框架/流程来创建我自己的 MYTOOL.md? 就我目前的探索来看,如果我创建 MYTOOL.md 并在提示中持续引用它,LLM就能够使用它。或者如果把它发布为一个技能,它也能使用,但感觉仍然是在朝着更前端的方向将像 SKILL.md / AGENT.md 这样的文件紧密整合在一起,以赋予它们在AI Agent中的特殊含义/处理方式。 我已经查看