평가 지표 예시：툴이 호출되었는지 확인
중급
이것은Engineering, AI분야의자동화 워크플로우로, 15개의 노드를 포함합니다.주로 Set, Evaluation, Agent, HttpRequestTool, EvaluationTrigger 등의 노드를 사용하며인공지능 기술을 결합하여 스마트 자동화를 구현합니다. 평가 지표 예시: 도구 호출 여부 확인
사전 요구사항
- •대상 API의 인증 정보가 필요할 수 있음
- •OpenAI API Key
사용된 노드 (15)
워크플로우 미리보기
노드 연결 관계를 시각적으로 표시하며, 확대/축소 및 이동을 지원합니다
워크플로우 내보내기
다음 JSON 구성을 복사하여 n8n에 가져오면 이 워크플로우를 사용할 수 있습니다
{
"meta": {
"instanceId": "bf40384a063e00f3b983f4f9bada22b57a8231a04c0fb48d363e26d7b0f2b7e7",
"templateCredsSetupCompleted": true
},
"nodes": [
{
"id": "ffd0cca6-4a60-4058-b3fb-c92d949ea864",
"name": "AI 에이전트",
"type": "@n8n/n8n-nodes-langchain.agent",
"position": [
-960,
-120
],
"parameters": {
"options": {
"returnIntermediateSteps": true
}
},
"typeVersion": 1.9
},
{
"id": "73055399-e667-45cb-8a32-accb83dd74f8",
"name": "OpenAI 채팅 모델",
"type": "@n8n/n8n-nodes-langchain.lmChatOpenAi",
"position": [
-1000,
140
],
"parameters": {
"model": {
"__rl": true,
"mode": "list",
"value": "gpt-4o-mini"
},
"options": {}
},
"credentials": {
"openAiApi": {
"id": "Ag9qPAsY7lpIGkvC",
"name": "JPs n8n openAI key"
}
},
"typeVersion": 1.2
},
{
"id": "54ffa0e9-dbf7-4406-9952-485ca46d1172",
"name": "계산기",
"type": "@n8n/n8n-nodes-langchain.toolCalculator",
"position": [
-840,
140
],
"parameters": {},
"typeVersion": 1
},
{
"id": "09dcce53-ce33-4263-b903-655db12d13dd",
"name": "도구 호출 확인",
"type": "n8n-nodes-base.set",
"position": [
-340,
-240
],
"parameters": {
"options": {},
"assignments": {
"assignments": [
{
"id": "58c48e6f-4a12-4bf6-94ae-705244273a84",
"name": "tool_called",
"type": "boolean",
"value": "={{ $json.intermediateSteps.filter(x => x.action.tool == $('When fetching a dataset row').item.json.tool_to_call).length > 0 }}"
}
]
}
},
"typeVersion": 3.4
},
{
"id": "62fb0980-6c8e-4ab6-b914-59339b4b385f",
"name": "웹페이지 가져오기",
"type": "n8n-nodes-base.httpRequestTool",
"position": [
-700,
140
],
"parameters": {
"url": "={{ /*n8n-auto-generated-fromAI-override*/ $fromAI('URL', ``, 'string') }}",
"options": {}
},
"typeVersion": 4.2
},
{
"id": "ec4c82df-8804-49f2-a8ba-348f29b97cd6",
"name": "스티커 노트",
"type": "n8n-nodes-base.stickyNote",
"position": [
-980,
-200
],
"parameters": {
"color": 7,
"width": 300,
"height": 220,
"content": "Make sure to enable 'Return intermediate steps' in the agent, to get the list of executed tools"
},
"typeVersion": 1
},
{
"id": "f6fa8aef-4362-4691-85fc-2612eb1dee63",
"name": "채팅 메시지 수신 시",
"type": "@n8n/n8n-nodes-langchain.chatTrigger",
"position": [
-1440,
-240
],
"webhookId": "c4dc43bf-4625-4821-bd9d-ca22a2f34170",
"parameters": {
"options": {}
},
"typeVersion": 1.1
},
{
"id": "d1274230-aa4d-4456-93ea-8123e263df7d",
"name": "채팅 형식 매칭",
"type": "n8n-nodes-base.set",
"position": [
-1220,
40
],
"parameters": {
"options": {},
"assignments": {
"assignments": [
{
"id": "e6e064bb-ac06-40ca-97bf-42f682b30065",
"name": "chatInput",
"type": "string",
"value": "={{ $json.question }}"
}
]
}
},
"typeVersion": 3.4
},
{
"id": "474a2321-7a4c-41be-a8fa-718f5a093171",
"name": "스티커 노트1",
"type": "n8n-nodes-base.stickyNote",
"position": [
-380,
-320
],
"parameters": {
"color": 7,
"width": 180,
"height": 240,
"content": "Check whether the list of executed tools contains the target tool"
},
"typeVersion": 1
},
{
"id": "3351706d-e7e9-4701-9224-b4c873167c0d",
"name": "채팅 응답 반환",
"type": "n8n-nodes-base.noOp",
"position": [
-340,
40
],
"parameters": {},
"typeVersion": 1
},
{
"id": "e7beb2d8-f864-4aea-84f2-0d82987f52f8",
"name": "스티커 노트3",
"type": "n8n-nodes-base.stickyNote",
"position": [
-1740,
-280
],
"parameters": {
"width": 200,
"height": 500,
"content": "## How it works\nThis template shows how to calculate a workflow evaluation metric: **whether a specific tool was called** by an agent.\n\nYou can find more information on workflow evaluation [here](https://docs.n8n.io/advanced-ai/evaluations/overview), and other metric examples [here](https://docs.n8n.io/advanced-ai/evaluations/metric-based-evaluations/#2-calculate-metrics)."
},
"typeVersion": 1
},
{
"id": "a990cca2-7ea5-4d43-9cc2-b6257299bcc1",
"name": "스티커 노트4",
"type": "n8n-nodes-base.stickyNote",
"position": [
-1500,
-60
],
"parameters": {
"color": 7,
"width": 220,
"height": 260,
"content": "Read in [this test dataset](https://docs.google.com/spreadsheets/d/1uuPS5cHtSNZ6HNLOi75A2m8nVWZrdBZ_Ivf58osDAS8/edit?gid=969651976#gid=969651976) of questions and the tools that should be called when answering them"
},
"typeVersion": 1
},
{
"id": "f0f7e18c-029f-4e0a-ac2f-168e10b5f51f",
"name": "데이터셋 행 가져오기 시",
"type": "n8n-nodes-base.evaluationTrigger",
"position": [
-1440,
40
],
"parameters": {
"sheetName": {
"__rl": true,
"mode": "url",
"value": "https://docs.google.com/spreadsheets/d/1uuPS5cHtSNZ6HNLOi75A2m8nVWZrdBZ_Ivf58osDAS8/edit?gid=969651976#gid=969651976"
},
"documentId": {
"__rl": true,
"mode": "url",
"value": "https://docs.google.com/spreadsheets/d/1uuPS5cHtSNZ6HNLOi75A2m8nVWZrdBZ_Ivf58osDAS8/edit?gid=969651976#gid=969651976"
}
},
"credentials": {
"googleSheetsOAuth2Api": {
"id": "bpr2LoSELMlxpwnN",
"name": "Google Sheets account David"
}
},
"typeVersion": 4.6
},
{
"id": "e0c49dc5-a06b-4552-b53c-e5dfc51017e0",
"name": "평가",
"type": "n8n-nodes-base.evaluation",
"position": [
-120,
-240
],
"parameters": {
"metrics": {
"assignments": [
{
"id": "66ed21d5-a10a-47a3-993d-459aa4a4fbba",
"name": "tool_called",
"type": "number",
"value": "={{ $json.tool_called.toNumber() }}"
}
]
},
"operation": "setMetrics"
},
"typeVersion": 4.6
},
{
"id": "5b14c47b-2dae-4ca7-882c-d0ec722eadab",
"name": "평가 중?",
"type": "n8n-nodes-base.evaluation",
"position": [
-580,
-120
],
"parameters": {
"operation": "checkIfEvaluating"
},
"typeVersion": 4.6
}
],
"pinData": {},
"connections": {
"ffd0cca6-4a60-4058-b3fb-c92d949ea864": {
"main": [
[
{
"node": "5b14c47b-2dae-4ca7-882c-d0ec722eadab",
"type": "main",
"index": 0
}
]
]
},
"54ffa0e9-dbf7-4406-9952-485ca46d1172": {
"ai_tool": [
[
{
"node": "ffd0cca6-4a60-4058-b3fb-c92d949ea864",
"type": "ai_tool",
"index": 0
}
]
]
},
"5b14c47b-2dae-4ca7-882c-d0ec722eadab": {
"main": [
[
{
"node": "09dcce53-ce33-4263-b903-655db12d13dd",
"type": "main",
"index": 0
}
],
[
{
"node": "3351706d-e7e9-4701-9224-b4c873167c0d",
"type": "main",
"index": 0
}
]
]
},
"62fb0980-6c8e-4ab6-b914-59339b4b385f": {
"ai_tool": [
[
{
"node": "ffd0cca6-4a60-4058-b3fb-c92d949ea864",
"type": "ai_tool",
"index": 0
}
]
]
},
"d1274230-aa4d-4456-93ea-8123e263df7d": {
"main": [
[
{
"node": "ffd0cca6-4a60-4058-b3fb-c92d949ea864",
"type": "main",
"index": 0
}
]
]
},
"73055399-e667-45cb-8a32-accb83dd74f8": {
"ai_languageModel": [
[
{
"node": "ffd0cca6-4a60-4058-b3fb-c92d949ea864",
"type": "ai_languageModel",
"index": 0
}
]
]
},
"09dcce53-ce33-4263-b903-655db12d13dd": {
"main": [
[
{
"node": "e0c49dc5-a06b-4552-b53c-e5dfc51017e0",
"type": "main",
"index": 0
}
]
]
},
"f6fa8aef-4362-4691-85fc-2612eb1dee63": {
"main": [
[
{
"node": "ffd0cca6-4a60-4058-b3fb-c92d949ea864",
"type": "main",
"index": 0
}
]
]
},
"f0f7e18c-029f-4e0a-ac2f-168e10b5f51f": {
"main": [
[
{
"node": "d1274230-aa4d-4456-93ea-8123e263df7d",
"type": "main",
"index": 0
}
]
]
}
}
}자주 묻는 질문
이 워크플로우를 어떻게 사용하나요?
위의 JSON 구성 코드를 복사하여 n8n 인스턴스에서 새 워크플로우를 생성하고 "JSON에서 가져오기"를 선택한 후, 구성을 붙여넣고 필요에 따라 인증 설정을 수정하세요.
이 워크플로우는 어떤 시나리오에 적합한가요?
중급 - 엔지니어링, 인공지능
유료인가요?
이 워크플로우는 완전히 무료이며 직접 가져와 사용할 수 있습니다. 다만, 워크플로우에서 사용하는 타사 서비스(예: OpenAI API)는 사용자 직접 비용을 지불해야 할 수 있습니다.
관련 워크플로우 추천
평가 지표 예시：정확성（AI에 의해 판단）
평가 지표 예시: 정확성 (AI가 판단)
Set
Evaluation
Agent
+
Set
Evaluation
Agent
13 노드David Roberts
엔지니어링
평가 지표 예시：RAG 문서 관련성
평가 지표 예시: RAG 문서 관련성
Set
Evaluation
Google Sheets
+
Set
Evaluation
Google Sheets
26 노드David Roberts
엔지니어링
평가 지표 예시：분류
평가 지표 예시: 분류
Set
Webhook
Evaluation
+
Set
Webhook
Evaluation
13 노드David Roberts
엔지니어링
OpenAI와 RAGAS 방법을 사용하여 AI 대리자 응답 정확성 평가
OpenAI와 RAGAS 방법을 사용하여 AI 대리자 응답 정확성을 평가
Set
Code
Merge
+
Set
Code
Merge
27 노드Jimleuk
엔지니어링
OpenAI와 코사인 유사도를 사용하여 AI 대리자 응답 관련성 평가
OpenAI와 코사인 유사도를 사용하여 AI 대리자 응답 관련성을 평가
Set
Code
Evaluation
+
Set
Code
Evaluation
20 노드Jimleuk
엔지니어링
OpenAI를 사용하여 RAG 응답 정확성을 평가합니다：문서 기본 지표
OpenAI를 사용하여 RAG 응답 정확성을 평가: 문서 기본 지표
Set
Evaluation
Http Request
+
Set
Evaluation
Http Request
25 노드Jimleuk
엔지니어링
