Bright Data 웹 스크레이퍼를 사용한 구조화된 대량 데이터 추출
고급
이것은Engineering, Product분야의자동화 워크플로우로, 16개의 노드를 포함합니다.주로 If, Set, Wait, Function, Aggregate 등의 노드를 사용하며. Bright Data 및 Webhook 알림을 사용한 비동기 배치 웹 스크래핑
사전 요구사항
- •대상 API의 인증 정보가 필요할 수 있음
워크플로우 미리보기
노드 연결 관계를 시각적으로 표시하며, 확대/축소 및 이동을 지원합니다
워크플로우 내보내기
다음 JSON 구성을 복사하여 n8n에 가져오면 이 워크플로우를 사용할 수 있습니다
{
"id": "OjwmaLrXhW4pO5ph",
"meta": {
"instanceId": "885b4fb4a6a9c2cb5621429a7b972df0d05bb724c20ac7dac7171b62f1c7ef40"
},
"name": "Structured Bulk Data Extract with Bright Data Web Scraper",
"tags": [
{
"id": "Kujft2FOjmOVQAmJ",
"name": "Engineering",
"createdAt": "2025-04-09T01:31:00.558Z",
"updatedAt": "2025-04-09T01:31:00.558Z"
},
{
"id": "ZOwtAMLepQaGW76t",
"name": "Building Blocks",
"createdAt": "2025-04-13T15:23:40.462Z",
"updatedAt": "2025-04-13T15:23:40.462Z"
}
],
"nodes": [
{
"id": "1bdca5ae-1e56-4cf2-a8dc-e135a6a2dfec",
"name": "'워크플로 테스트' 클릭 시",
"type": "n8n-nodes-base.manualTrigger",
"position": [
-900,
-395
],
"parameters": {},
"typeVersion": 1
},
{
"id": "533968cd-1329-4a86-8875-478600ed82b7",
"name": "조건문",
"type": "n8n-nodes-base.if",
"position": [
200,
-470
],
"parameters": {
"options": {},
"conditions": {
"options": {
"version": 2,
"leftValue": "",
"caseSensitive": true,
"typeValidation": "strict"
},
"combinator": "and",
"conditions": [
{
"id": "6a7e5360-4cb5-4806-892e-5c85037fa71c",
"operator": {
"type": "string",
"operation": "equals"
},
"leftValue": "={{ $json.status }}",
"rightValue": "ready"
}
]
}
},
"typeVersion": 2.2
},
{
"id": "83991fdf-0402-4de3-bbb5-7050e3e9fb62",
"name": "스냅샷 ID 설정",
"type": "n8n-nodes-base.set",
"position": [
-240,
-395
],
"parameters": {
"options": {},
"assignments": {
"assignments": [
{
"id": "2c3369c6-9206-45d7-9349-f577baeaf189",
"name": "snapshot_id",
"type": "string",
"value": "={{ $json.snapshot_id }}"
}
]
}
},
"typeVersion": 3.4
},
{
"id": "408a36af-decb-49b3-a95e-a2df0b6eea5f",
"name": "스냅샷 다운로드",
"type": "n8n-nodes-base.httpRequest",
"position": [
640,
-520
],
"parameters": {
"url": "=https://api.brightdata.com/datasets/v3/snapshot/{{ $json.snapshot_id }}",
"options": {
"timeout": 10000
},
"sendQuery": true,
"authentication": "genericCredentialType",
"genericAuthType": "httpHeaderAuth",
"queryParameters": {
"parameters": [
{
"name": "format",
"value": "json"
}
]
}
},
"credentials": {
"httpHeaderAuth": {
"id": "kdbqXuxIR8qIxF7y",
"name": "Header Auth account"
}
},
"typeVersion": 4.2
},
{
"id": "9d6cd882-c287-46ca-bc1e-df6b995fc422",
"name": "대기",
"type": "n8n-nodes-base.wait",
"position": [
420,
-295
],
"webhookId": "631cd5de-36b3-4264-88ae-45b30e2c2ccc",
"parameters": {
"amount": 30
},
"typeVersion": 1.1
},
{
"id": "c9cf847a-6399-4c93-a901-30f1c0e7408a",
"name": "오류 확인",
"type": "n8n-nodes-base.if",
"position": [
420,
-520
],
"parameters": {
"options": {},
"conditions": {
"options": {
"version": 2,
"leftValue": "",
"caseSensitive": true,
"typeValidation": "strict"
},
"combinator": "and",
"conditions": [
{
"id": "b267071c-7102-407b-a98d-f613bcb1a106",
"operator": {
"type": "string",
"operation": "equals"
},
"leftValue": "={{ $json.errors.toString() }}",
"rightValue": "0"
}
]
}
},
"typeVersion": 2.2
},
{
"id": "b648614e-c33e-4818-8348-e95df56928c7",
"name": "스냅샷 상태 확인",
"type": "n8n-nodes-base.httpRequest",
"position": [
-20,
-395
],
"parameters": {
"url": "=https://api.brightdata.com/datasets/v3/progress/{{ $json.snapshot_id }}",
"options": {},
"sendHeaders": true,
"authentication": "genericCredentialType",
"genericAuthType": "httpHeaderAuth",
"headerParameters": {
"parameters": [
{}
]
}
},
"credentials": {
"httpHeaderAuth": {
"id": "kdbqXuxIR8qIxF7y",
"name": "Header Auth account"
}
},
"typeVersion": 4.2
},
{
"id": "408a1584-666f-471e-bfcd-c4d857319688",
"name": "Webhook 알림 시작",
"type": "n8n-nodes-base.httpRequest",
"position": [
1080,
-520
],
"parameters": {
"url": "https://webhook.site/daf9d591-a130-4010-b1d3-0c66f8fcf467",
"options": {},
"sendBody": true,
"bodyParameters": {
"parameters": [
{
"name": "response",
"value": "={{ $json.data[0] }}"
}
]
}
},
"typeVersion": 4.2
},
{
"id": "6548a794-a4fd-4050-b07d-bc7ca4517882",
"name": "JSON 응답 집계",
"type": "n8n-nodes-base.aggregate",
"position": [
860,
-520
],
"parameters": {
"options": {},
"aggregate": "aggregateAllItemData"
},
"typeVersion": 1
},
{
"id": "c84e195c-edd2-4f59-8986-516d116b7352",
"name": "데이터셋 ID, 요청 URL 설정",
"type": "n8n-nodes-base.set",
"position": [
-680,
-400
],
"parameters": {
"options": {},
"assignments": {
"assignments": [
{
"id": "c16061c8-c829-4bd3-b335-e79c605665f2",
"name": "dataset_id",
"type": "string",
"value": "gd_l7q7dkf244hwjntr0"
},
{
"id": "a4594c55-e39e-4a9e-80d6-d39370001e20",
"name": "request",
"type": "string",
"value": "[{ \"url\": \"https://www.amazon.com/Quencher-FlowState-Stainless-Insulated-Smoothie/dp/B0CRMZHDG8\" }]"
}
]
}
},
"typeVersion": 3.4
},
{
"id": "ceae108e-ed78-40c5-8e58-7013591ccaad",
"name": "메모지",
"type": "n8n-nodes-base.stickyNote",
"position": [
-900,
-700
],
"parameters": {
"width": 520,
"height": 280,
"content": "## Note\n\nDeals with the Amazon web scraping by utilizing Bright Data Web Scraper Product.\n\n\n**Please make sure to set the Bright Data \n -> Dataset Id, Request URL and update the Webhook Notification URL**\n\nRefer \n- https://brightdata.com/products/web-scraper/ai\n- https://brightdata.com/products/web-scraper"
},
"typeVersion": 1
},
{
"id": "1f55cffa-abd9-437b-bc9d-3fe0d8b02454",
"name": "메모지1",
"type": "n8n-nodes-base.stickyNote",
"position": [
-120,
-600
],
"parameters": {
"color": 5,
"width": 720,
"height": 500,
"content": "## Wait until the Snapshot is ready"
},
"typeVersion": 1
},
{
"id": "d8ba0f62-80a9-4e66-b70c-086ee5992df6",
"name": "메모지2",
"type": "n8n-nodes-base.stickyNote",
"position": [
-900,
-220
],
"parameters": {
"color": 4,
"width": 660,
"content": "## Who can benefit?\nData analysts, scientists, engineers, and developers seeking efficient methods to collect and analyze web data for AI, ML, big data applications, and more will find Scraper APIs particularly beneficial."
},
"typeVersion": 1
},
{
"id": "7fdffafd-f256-4760-b001-a42b5198dbad",
"name": "이진 데이터 생성",
"type": "n8n-nodes-base.function",
"position": [
1100,
-720
],
"parameters": {
"functionCode": "items[0].binary = {\n data: {\n data: new Buffer(JSON.stringify(items[0].json, null, 2)).toString('base64')\n }\n};\nreturn items;"
},
"typeVersion": 1
},
{
"id": "934ab31a-cfb9-4e97-8d86-92cd95dd219c",
"name": "디스크에 파일 쓰기",
"type": "n8n-nodes-base.readWriteFile",
"position": [
1320,
-720
],
"parameters": {
"options": {},
"fileName": "d:\\bulk_data.json",
"operation": "write"
},
"typeVersion": 1
},
{
"id": "1130523a-b598-425e-acf1-417ae8699f66",
"name": "지정된 URL로 HTTP 요청",
"type": "n8n-nodes-base.httpRequest",
"position": [
-460,
-395
],
"parameters": {
"url": "https://api.brightdata.com/datasets/v3/trigger",
"method": "POST",
"options": {},
"jsonBody": "={{ $json.request }}",
"sendBody": true,
"sendQuery": true,
"sendHeaders": true,
"specifyBody": "json",
"authentication": "genericCredentialType",
"genericAuthType": "httpHeaderAuth",
"queryParameters": {
"parameters": [
{
"name": "dataset_id",
"value": "={{ $json.dataset_id }}"
},
{
"name": "format",
"value": "json"
},
{
"name": "uncompressed_webhook",
"value": "true"
}
]
},
"headerParameters": {
"parameters": [
{}
]
}
},
"credentials": {
"httpHeaderAuth": {
"id": "kdbqXuxIR8qIxF7y",
"name": "Header Auth account"
}
},
"typeVersion": 4.2
}
],
"active": false,
"pinData": {},
"settings": {
"executionOrder": "v1"
},
"versionId": "8fb2eb85-ffd6-4632-9668-00f29bc91c34",
"connections": {
"533968cd-1329-4a86-8875-478600ed82b7": {
"main": [
[
{
"node": "c9cf847a-6399-4c93-a901-30f1c0e7408a",
"type": "main",
"index": 0
}
],
[
{
"node": "9d6cd882-c287-46ca-bc1e-df6b995fc422",
"type": "main",
"index": 0
}
]
]
},
"9d6cd882-c287-46ca-bc1e-df6b995fc422": {
"main": [
[
{
"node": "b648614e-c33e-4818-8348-e95df56928c7",
"type": "main",
"index": 0
}
]
]
},
"83991fdf-0402-4de3-bbb5-7050e3e9fb62": {
"main": [
[
{
"node": "b648614e-c33e-4818-8348-e95df56928c7",
"type": "main",
"index": 0
}
]
]
},
"408a36af-decb-49b3-a95e-a2df0b6eea5f": {
"main": [
[
{
"node": "6548a794-a4fd-4050-b07d-bc7ca4517882",
"type": "main",
"index": 0
}
]
]
},
"c9cf847a-6399-4c93-a901-30f1c0e7408a": {
"main": [
[
{
"node": "408a36af-decb-49b3-a95e-a2df0b6eea5f",
"type": "main",
"index": 0
}
]
]
},
"7fdffafd-f256-4760-b001-a42b5198dbad": {
"main": [
[
{
"node": "934ab31a-cfb9-4e97-8d86-92cd95dd219c",
"type": "main",
"index": 0
}
]
]
},
"b648614e-c33e-4818-8348-e95df56928c7": {
"main": [
[
{
"node": "533968cd-1329-4a86-8875-478600ed82b7",
"type": "main",
"index": 0
}
]
]
},
"6548a794-a4fd-4050-b07d-bc7ca4517882": {
"main": [
[
{
"node": "408a1584-666f-471e-bfcd-c4d857319688",
"type": "main",
"index": 0
},
{
"node": "7fdffafd-f256-4760-b001-a42b5198dbad",
"type": "main",
"index": 0
}
]
]
},
"c84e195c-edd2-4f59-8986-516d116b7352": {
"main": [
[
{
"node": "1130523a-b598-425e-acf1-417ae8699f66",
"type": "main",
"index": 0
}
]
]
},
"1130523a-b598-425e-acf1-417ae8699f66": {
"main": [
[
{
"node": "83991fdf-0402-4de3-bbb5-7050e3e9fb62",
"type": "main",
"index": 0
}
]
]
},
"1bdca5ae-1e56-4cf2-a8dc-e135a6a2dfec": {
"main": [
[
{
"node": "c84e195c-edd2-4f59-8986-516d116b7352",
"type": "main",
"index": 0
}
]
]
}
}
}자주 묻는 질문
이 워크플로우를 어떻게 사용하나요?
위의 JSON 구성 코드를 복사하여 n8n 인스턴스에서 새 워크플로우를 생성하고 "JSON에서 가져오기"를 선택한 후, 구성을 붙여넣고 필요에 따라 인증 설정을 수정하세요.
이 워크플로우는 어떤 시나리오에 적합한가요?
고급 - 엔지니어링, 제품
유료인가요?
이 워크플로우는 완전히 무료이며 직접 가져와 사용할 수 있습니다. 다만, 워크플로우에서 사용하는 타사 서비스(예: OpenAI API)는 사용자 직접 비용을 지불해야 할 수 있습니다.
관련 워크플로우 추천
API 아키텍처 추출기
API 아키텍처 추출기
If
Set
Code
+
If
Set
Code
88 노드Polina Medvedieva
엔지니어링
Bright Data 스크래핑 및 Google Gemini를 사용한 Etsy 데이터 마이닝 자동화
Bright Data 스크래핑과 Google Gemini를 사용한 Etsy 데이터 마이닝 자동화
Set
Function
Split Out
+
Set
Function
Split Out
19 노드Ranjan Dailata
제품
Bright Data 및 OpenAI 4o mini를 사용하여 DNB 회사 검색 및 추출
Bright Data와 OpenAI 4o mini를 기반으로 한 DNB 회사 검색 및 추출
Set
Function
Mcp Client
+
Set
Function
Mcp Client
18 노드Ranjan Dailata
제품
구글 트렌드 데이터 추출, 브라이트데이터와 구글 제미니를 사용하여 요약 생성
Bright Data와 구글 제미니를 사용한 구글 트렌드 데이터 추출 및 요약 생성
Set
Gmail
Function
+
Set
Gmail
Function
16 노드Ranjan Dailata
엔지니어링
브라이트데이터 MCP 서버와 구글 제미니를 사용하여 링크드인 웹 페이지 크롤링
Bright Data MCP 서버와 Google Gemini를 사용하여 LinkedIn 데이터를 추출 및 변환합니다.
Set
Code
Merge
+
Set
Code
Merge
20 노드Ranjan Dailata
인공지능
Bright Data와 Google Gemini를 사용하여 Google Maps 기업 추출 및 리드 풍부화
Bright Data와 Google Gemini를 사용한 Google Maps 기업 추출 및 리드 풍부 도구
Set
Code
Wait
+
Set
Code
Wait
29 노드Ranjan Dailata
리드 생성
