Firecrawl
Firecrawl API によるウェブクロールとデータ抽出。単一 URL のスクレイプ、サイト全体のマッピング、検索、構造化抽出に対応。
このノードは資格情報(Firecrawl APIトークン)で接続します。資格情報を接続する を参照してください。
アクション
このノードが実行できる処理です。ステップを追加 からノードを追加し、アクションを選びます。
クロールジョブ開始
Web サイトを再帰的にクロールする(非同期操作、ジョブ ID を返す)
設定項目
| 項目 | 型 | 必須 | 説明 |
|---|---|---|---|
| URL | テキスト | はい | クロールする Web サイトの URL |
| プロンプト | テキスト | Web サイトをクロールするためのプロンプト | |
| ページ上限 | 数値 | クロールする最大ページ数 既定値: 100 |
出力
後続のステップでは、$ の一覧でこのステップを選んでデータを使います。たとえば id は $.<ステップID>.output.id です。
{
"id": "string",
"success": false,
"url": "string"
}例の値はデータの形を示すもので、実際の値ではありません。前のステップのデータを使う を参照してください。
フィールドの説明
| 項目 | 型 | 説明 |
|---|---|---|
id | テキスト | ステータス確認用のクロールジョブ識別子 |
success | はい / いいえ | |
url | テキスト | クロールジョブのステータス確認用 URL |
クロールジョブのキャンセル
実行中のクロールジョブをキャンセルする
設定項目
| 項目 | 型 | 必須 | 説明 |
|---|---|---|---|
| クロールジョブ ID | テキスト | はい | キャンセルするクロールジョブの ID |
出力
後続のステップでは、$ の一覧でこのステップを選んでデータを使います。たとえば status は $.<ステップID>.output.status です。
{
"status": "cancelled",
"success": false
}例の値はデータの形を示すもので、実際の値ではありません。前のステップのデータを使う を参照してください。
フィールドの説明
| 項目 | 型 | 説明 |
|---|---|---|
status | テキスト | キャンセル後のクロール状態(例: cancelled) |
success | はい / いいえ | Firecrawlがクロールをキャンセルした場合は true |
クロールステータスの確認
実行中または完了したクロールジョブのステータスを確認する
設定項目
| 項目 | 型 | 必須 | 説明 |
|---|---|---|---|
| ジョブ ID | テキスト | はい | 確認するクロールジョブの ID |
出力
後続のステップでは、$ の一覧でこのステップを選んでデータを使います。たとえば completed は $.<ステップID>.output.completed です。
{
"completed": 0,
"creditsUsed": 0,
"data": [
{
"actions": {
"javascriptReturns": [],
"pdfs": [],
"scrapes": [],
"screenshots": []
},
"changeTracking": {
"changeStatus": "string",
"diff": "string",
"json": {},
"previousScrapeAt": "string",
"visibility": "string"
},
"html": "string",
"links": [
"string"
],
"markdown": "string",
"metadata": {
"description": "string",
"error": "string",
"keywords": "string",
"language": "string",
"ogLocaleAlternate": [],
"sourceURL": "string",
"statusCode": 0,
"title": "string"
},
"rawHtml": "string",
"screenshot": "string",
"summary": "string",
"warning": "string"
}
],
"next": "string",
"status": "string",
"success": false,
"total": 0
}例の値はデータの形を示すもので、実際の値ではありません。前のステップのデータを使う を参照してください。
フィールドの説明
| 項目 | 型 | 説明 |
|---|---|---|
completed | 数値 | |
creditsUsed | 数値 | |
data[] | リスト | クロール済みページの内容配列 |
data[].actions | オブジェクト | スクレイプ中に実行されたアクション |
data[].actions.javascriptReturns[] | リスト | JavaScript 実行結果 |
data[].actions.javascriptReturns[].type | テキスト | |
data[].actions.javascriptReturns[].value | any | |
data[].actions.pdfs[] | リスト | 生成された PDF ファイル |
data[].actions.scrapes[] | リスト | ネストされたスクレイプ操作 |
data[].actions.scrapes[].html | テキスト | |
data[].actions.scrapes[].url | テキスト | |
data[].actions.screenshots[] | リスト | 取得したスクリーンショット |
data[].changeTracking | オブジェクト | 変更追跡情報 |
data[].changeTracking.changeStatus | テキスト | 変更ステータス: new/updated/unchanged |
data[].changeTracking.diff | テキスト | 前回スクレイプとの差分 |
data[].changeTracking.json | オブジェクト | 追加の変更追跡データ |
data[].changeTracking.previousScrapeAt | テキスト | 前回スクレイプのタイムスタンプ |
data[].changeTracking.visibility | テキスト | ページの可視性ステータス |
data[].html | テキスト | HTML コンテンツ |
data[].links[] | リスト | ページ上で見つかったリンク |
data[].markdown | テキスト | Markdown 形式のコンテンツ |
data[].metadata | オブジェクト | タイトルや説明などのページメタデータ |
data[].metadata.description | テキスト | ページの説明 |
data[].metadata.error | テキスト | エラーメッセージ(ある場合) |
data[].metadata.keywords | テキスト | ページのキーワード |
data[].metadata.language | テキスト | ページの言語 |
data[].metadata.ogLocaleAlternate[] | リスト | OpenGraph の代替ロケール |
data[].metadata.sourceURL | テキスト | ソース URL |
data[].metadata.statusCode | 数値 | HTTP ステータスコード |
data[].metadata.title | テキスト | ページタイトル |
data[].rawHtml | テキスト | 生の HTML コンテンツ |
data[].screenshot | テキスト | スクリーンショットの URL もしくはデータ |
data[].summary | テキスト | コンテンツの要約 |
data[].warning | テキスト | 警告メッセージ(ある場合) |
next | テキスト | 次にクロールする URL |
status | テキスト | ジョブの状態: scraping/completed/failed |
success | はい / いいえ | |
total | 数値 |
構造化データ抽出
URL から AI で構造化データを抽出(非同期操作、ジョブ ID を返す)
設定項目
| 項目 | 型 | 必須 | 説明 |
|---|---|---|---|
| URL 一覧 | リスト | はい | データ抽出対象の URL リスト |
| 抽出プロンプト | テキスト | 抽出したいデータの自然言語による説明 | |
| JSON スキーマ | オブジェクト | 抽出データの構造を定義する JSON スキーマ |
出力
後続のステップでは、$ の一覧でこのステップを選んでデータを使います。たとえば id は $.<ステップID>.output.id です。
{
"id": "string",
"success": false,
"url": "string"
}例の値はデータの形を示すもので、実際の値ではありません。前のステップのデータを使う を参照してください。
フィールドの説明
| 項目 | 型 | 説明 |
|---|---|---|
id | テキスト | 抽出ジョブの識別子 |
success | はい / いいえ | |
url | テキスト |
抽出ステータスの確認
実行中または完了した抽出ジョブのステータスを確認する
設定項目
| 項目 | 型 | 必須 | 説明 |
|---|---|---|---|
| ジョブ ID | テキスト | はい | 確認する抽出ジョブの ID |
出力
後続のステップでは、$ の一覧でこのステップを選んでデータを使います。たとえば data は $.<ステップID>.output.data です。
{
"data": {},
"status": "string",
"success": false
}例の値はデータの形を示すもので、実際の値ではありません。前のステップのデータを使う を参照してください。
フィールドの説明
| 項目 | 型 | 説明 |
|---|---|---|
data | オブジェクト | URL から抽出された構造化データ |
status | テキスト | ジョブの状態: processing/completed/failed/cancelled |
success | はい / いいえ |
Web サイトのマッピング
Web サイト上のすべての URL を素早く発見し、スクレイプ対象を特定する
設定項目
| 項目 | 型 | 必須 | 説明 |
|---|---|---|---|
| URL | テキスト | はい | マッピングする Web サイトの URL |
| 検索キーワード | テキスト | URL をフィルタする任意のキーワード(例: 'blog'、'product') | |
| 上限 | 数値 | 返す URL の最大数 既定値: 5000 | |
| サイトマップモード | 選択 | サイトマップの扱い: include(使用)/skip(無視)/only(サイトマップのみ使用) 選択肢: サイトマップを含む, サイトマップをスキップ, サイトマップのみ | |
| キャッシュ 有効 | はい / いいえ | この URL の結果をキャッシュして、冗長なクロールやスクレイプ リクエストを避けます 既定値: false | |
| キャッシュの継続時間 | 選択 | はい | 結果を保存する期間 新しいクロールを実行する前に 選択肢: 1 時, 6 時間, 1 日 |
出力
後続のステップでは、$ の一覧でこのステップを選んでデータを使います。たとえば links[0].url は $.<ステップID>.output.links[0].url です。
{
"links": [
{
"url": "string"
}
],
"success": false
}例の値はデータの形を示すもので、実際の値ではありません。前のステップのデータを使う を参照してください。
フィールドの説明
| 項目 | 型 | 説明 |
|---|---|---|
links[] | リスト | 発見された URL の配列 |
links[].url | テキスト | 発見された URL |
success | はい / いいえ | 操作が成功したかどうか |
URL スクレイプ
単一 URL から複数形式(Markdown、HTML、スクリーンショット等)でコンテンツを抽出
設定項目
| 項目 | 型 | 必須 | 説明 |
|---|---|---|---|
| URL | テキスト | はい | スクレイプ対象の URL |
| 出力形式 | 複数選択 | 返却形式(デフォルト: markdown) 選択肢: Markdown, HTML, Raw HTML, コンテンツ, リンク, スクリーンショット, フルページスクリーンショット | |
| キャッシュ 有効 | はい / いいえ | この URL の結果を キャッシュ して 無駄な クロール と スクレイピング のリクエスト を避ける 既定値: false | |
| キャッシュ期限 | 選択 | はい | 新しいクロールを行う前 に 結果 を キャッシュ する 期間 選択肢: 1 時間, 6 時間, 1 日 |
出力
後続のステップでは、$ の一覧でこのステップを選んでデータを使います。たとえば actions.javascriptReturns[0].type は $.<ステップID>.output.actions.javascriptReturns[0].type です。
{
"actions": {
"javascriptReturns": [
{
"type": "string",
"value": "string"
}
],
"pdfs": [
"string"
],
"scrapes": [
{
"html": "string",
"url": "string"
}
],
"screenshots": [
"string"
]
},
"changeTracking": {
"changeStatus": "string",
"diff": "string",
"json": {},
"previousScrapeAt": "string",
"visibility": "string"
},
"html": "string",
"links": [
"string"
],
"markdown": "string",
"metadata": {
"description": "string",
"error": "string",
"keywords": "string",
"language": "string",
"ogLocaleAlternate": [
"string"
],
"sourceURL": "string",
"statusCode": 0,
"title": "string"
},
"rawHtml": "string",
"screenshot": "string",
"summary": "string",
"warning": "string"
}例の値はデータの形を示すもので、実際の値ではありません。前のステップのデータを使う を参照してください。
フィールドの説明
| 項目 | 型 | 説明 |
|---|---|---|
actions | オブジェクト | スクレイプ中に実行されたアクション |
actions.javascriptReturns[] | リスト | JavaScript 実行結果 |
actions.javascriptReturns[].type | テキスト | |
actions.javascriptReturns[].value | any | |
actions.pdfs[] | リスト | 生成された PDF ファイル |
actions.scrapes[] | リスト | ネストされたスクレイプ操作 |
actions.scrapes[].html | テキスト | |
actions.scrapes[].url | テキスト | |
actions.screenshots[] | リスト | 取得したスクリーンショット |
changeTracking | オブジェクト | 変更追跡情報 |
changeTracking.changeStatus | テキスト | 変更ステータス: new/updated/unchanged |
changeTracking.diff | テキスト | 前回スクレイプとの差分 |
changeTracking.json | オブジェクト | 追加の変更追跡データ |
changeTracking.previousScrapeAt | テキスト | 前回スクレイプのタイムスタンプ |
changeTracking.visibility | テキスト | ページの可視性ステータス |
html | テキスト | HTML コンテンツ |
links[] | リスト | ページ上で見つかったリンク |
markdown | テキスト | Markdown 形式のコンテンツ |
metadata | オブジェクト | タイトルや説明などのページメタデータ |
metadata.description | テキスト | ページの説明 |
metadata.error | テキスト | エラーメッセージ(ある場合) |
metadata.keywords | テキスト | ページのキーワード |
metadata.language | テキスト | ページの言語 |
metadata.ogLocaleAlternate[] | リスト | OpenGraph の代替ロケール |
metadata.sourceURL | テキスト | ソース URL |
metadata.statusCode | 数値 | HTTP ステータスコード |
metadata.title | テキスト | ページタイトル |
rawHtml | テキスト | 生の HTML コンテンツ |
screenshot | テキスト | スクリーンショットの URL もしくはデータ |
summary | テキスト | コンテンツの要約 |
warning | テキスト | 警告メッセージ(ある場合) |
ウェブ検索
Web 検索を実行し、結果からスクレイプした内容を取得
設定項目
| 項目 | 型 | 必須 | 説明 |
|---|---|---|---|
| 検索クエリ | テキスト | はい | 検索語句またはクエリ |
| 検索ソース | 複数選択 | 含める検索結果の種類 選択肢: ウェブ, ニュース, 画像 | |
| 結果上限 | 数値 | 返す検索結果の最大数(既定: 5、最大: 100) 既定値: 5 | |
| 地域 | オブジェクト | 検索結果の地理的な対象地域 |
出力
後続のステップでは、$ の一覧でこのステップを選んでデータを使います。たとえば data.images[0].imageHeight は $.<ステップID>.output.data.images[0].imageHeight です。
{
"data": {
"images": [
{
"imageHeight": 0,
"imageUrl": "string",
"imageWidth": 0,
"position": 0,
"title": "string",
"url": "string"
}
],
"news": [
{
"date": "string",
"html": "string",
"imageUrl": "string",
"links": [],
"markdown": "string",
"metadata": {},
"position": 0,
"rawHtml": "string",
"screenshot": "string",
"snippet": "string",
"title": "string",
"url": "string"
}
],
"web": [
{
"description": "string",
"markdown": "string",
"position": 0,
"title": "string",
"url": "string"
}
]
},
"success": false
}例の値はデータの形を示すもので、実際の値ではありません。前のステップのデータを使う を参照してください。
フィールドの説明
| 項目 | 型 | 説明 |
|---|---|---|
data | オブジェクト | ソース別に整理された検索結果 |
data.images[] | リスト | 画像検索結果 |
data.images[].imageHeight | 数値 | 画像の高さ |
data.images[].imageUrl | テキスト | 画像結果の URL |
data.images[].imageWidth | 数値 | 画像の幅 |
data.images[].position | 数値 | 結果の順位 |
data.images[].title | テキスト | 結果の URL |
data.images[].url | テキスト | 結果の URL |
data.news[] | リスト | ニュース検索結果 |
data.news[].date | テキスト | 公開日 |
data.news[].html | テキスト | HTML コンテンツ |
data.news[].imageUrl | テキスト | 記事画像の URL |
data.news[].links[] | リスト | 記事内で見つかったリンク |
data.news[].markdown | テキスト | Markdown 形式のコンテンツ |
data.news[].metadata | オブジェクト | 記事のメタデータ |
data.news[].metadata.description | テキスト | ページの説明 |
data.news[].metadata.error | テキスト | エラーメッセージ(ある場合) |
data.news[].metadata.sourceURL | テキスト | ソース URL |
data.news[].metadata.statusCode | 数値 | HTTP ステータスコード |
data.news[].metadata.title | テキスト | ページタイトル |
data.news[].position | 数値 | 結果の順位 |
data.news[].rawHtml | テキスト | 生の HTML コンテンツ |
data.news[].screenshot | テキスト | スクリーンショット URL |
data.news[].snippet | テキスト | 記事の短いスニペット |
data.news[].title | テキスト | ニュース記事のタイトル |
data.news[].url | テキスト | 記事の URL |
data.web[] | リスト | ウェブ検索結果 |
data.web[].description | テキスト | ページの説明/スニペット |
data.web[].markdown | テキスト | Markdown 形式のコンテンツ |
data.web[].position | 数値 | 結果の順位 |
data.web[].title | テキスト | ページタイトル |
data.web[].url | テキスト | 結果の URL |
success | はい / いいえ | 検索が成功したかどうか |