Skip to content

Firecrawl ​

Firecrawl API によるウェブクロールとデータ抽出。単一 URL のスクレイプ、サイト全体のマッピング、検索、構造化抽出に対応。

このノードは資格情報(Firecrawl APIトークン)で接続します。資格情報を接続する を参照してください。

アクション ​

このノードが実行できる処理です。ステップを追加 からノードを追加し、アクションを選びます。

クロールジョブ開始 ​

Web サイトを再帰的にクロールする(非同期操作、ジョブ ID を返す)

設定項目

項目型必須説明
URLテキストはいクロールする Web サイトの URL
プロンプトテキストWeb サイトをクロールするためのプロンプト
ページ上限数値クロールする最大ページ数
既定値: 100

出力

後続のステップでは、$ の一覧でこのステップを選んでデータを使います。たとえば id は $.<ステップID>.output.id です。

json
{
  "id": "string",
  "success": false,
  "url": "string"
}

例の値はデータの形を示すもので、実際の値ではありません。前のステップのデータを使う を参照してください。

フィールドの説明
項目型説明
idテキストステータス確認用のクロールジョブ識別子
successはい / いいえ
urlテキストクロールジョブのステータス確認用 URL

クロールジョブのキャンセル ​

実行中のクロールジョブをキャンセルする

設定項目

項目型必須説明
クロールジョブ IDテキストはいキャンセルするクロールジョブの ID

出力

後続のステップでは、$ の一覧でこのステップを選んでデータを使います。たとえば status は $.<ステップID>.output.status です。

json
{
  "status": "cancelled",
  "success": false
}

例の値はデータの形を示すもので、実際の値ではありません。前のステップのデータを使う を参照してください。

フィールドの説明
項目型説明
statusテキストキャンセル後のクロール状態(例: cancelled)
successはい / いいえFirecrawlがクロールをキャンセルした場合は true

クロールステータスの確認 ​

実行中または完了したクロールジョブのステータスを確認する

設定項目

項目型必須説明
ジョブ IDテキストはい確認するクロールジョブの ID

出力

後続のステップでは、$ の一覧でこのステップを選んでデータを使います。たとえば completed は $.<ステップID>.output.completed です。

json
{
  "completed": 0,
  "creditsUsed": 0,
  "data": [
    {
      "actions": {
        "javascriptReturns": [],
        "pdfs": [],
        "scrapes": [],
        "screenshots": []
      },
      "changeTracking": {
        "changeStatus": "string",
        "diff": "string",
        "json": {},
        "previousScrapeAt": "string",
        "visibility": "string"
      },
      "html": "string",
      "links": [
        "string"
      ],
      "markdown": "string",
      "metadata": {
        "description": "string",
        "error": "string",
        "keywords": "string",
        "language": "string",
        "ogLocaleAlternate": [],
        "sourceURL": "string",
        "statusCode": 0,
        "title": "string"
      },
      "rawHtml": "string",
      "screenshot": "string",
      "summary": "string",
      "warning": "string"
    }
  ],
  "next": "string",
  "status": "string",
  "success": false,
  "total": 0
}

例の値はデータの形を示すもので、実際の値ではありません。前のステップのデータを使う を参照してください。

フィールドの説明
項目型説明
completed数値
creditsUsed数値
data[]リストクロール済みページの内容配列
data[].actionsオブジェクトスクレイプ中に実行されたアクション
data[].actions.javascriptReturns[]リストJavaScript 実行結果
data[].actions.javascriptReturns[].typeテキスト
data[].actions.javascriptReturns[].valueany
data[].actions.pdfs[]リスト生成された PDF ファイル
data[].actions.scrapes[]リストネストされたスクレイプ操作
data[].actions.scrapes[].htmlテキスト
data[].actions.scrapes[].urlテキスト
data[].actions.screenshots[]リスト取得したスクリーンショット
data[].changeTrackingオブジェクト変更追跡情報
data[].changeTracking.changeStatusテキスト変更ステータス: new/updated/unchanged
data[].changeTracking.diffテキスト前回スクレイプとの差分
data[].changeTracking.jsonオブジェクト追加の変更追跡データ
data[].changeTracking.previousScrapeAtテキスト前回スクレイプのタイムスタンプ
data[].changeTracking.visibilityテキストページの可視性ステータス
data[].htmlテキストHTML コンテンツ
data[].links[]リストページ上で見つかったリンク
data[].markdownテキストMarkdown 形式のコンテンツ
data[].metadataオブジェクトタイトルや説明などのページメタデータ
data[].metadata.descriptionテキストページの説明
data[].metadata.errorテキストエラーメッセージ(ある場合)
data[].metadata.keywordsテキストページのキーワード
data[].metadata.languageテキストページの言語
data[].metadata.ogLocaleAlternate[]リストOpenGraph の代替ロケール
data[].metadata.sourceURLテキストソース URL
data[].metadata.statusCode数値HTTP ステータスコード
data[].metadata.titleテキストページタイトル
data[].rawHtmlテキスト生の HTML コンテンツ
data[].screenshotテキストスクリーンショットの URL もしくはデータ
data[].summaryテキストコンテンツの要約
data[].warningテキスト警告メッセージ(ある場合)
nextテキスト次にクロールする URL
statusテキストジョブの状態: scraping/completed/failed
successはい / いいえ
total数値

構造化データ抽出 ​

URL から AI で構造化データを抽出(非同期操作、ジョブ ID を返す)

設定項目

項目型必須説明
URL 一覧リストはいデータ抽出対象の URL リスト
抽出プロンプトテキスト抽出したいデータの自然言語による説明
JSON スキーマオブジェクト抽出データの構造を定義する JSON スキーマ

出力

後続のステップでは、$ の一覧でこのステップを選んでデータを使います。たとえば id は $.<ステップID>.output.id です。

json
{
  "id": "string",
  "success": false,
  "url": "string"
}

例の値はデータの形を示すもので、実際の値ではありません。前のステップのデータを使う を参照してください。

フィールドの説明
項目型説明
idテキスト抽出ジョブの識別子
successはい / いいえ
urlテキスト

抽出ステータスの確認 ​

実行中または完了した抽出ジョブのステータスを確認する

設定項目

項目型必須説明
ジョブ IDテキストはい確認する抽出ジョブの ID

出力

後続のステップでは、$ の一覧でこのステップを選んでデータを使います。たとえば data は $.<ステップID>.output.data です。

json
{
  "data": {},
  "status": "string",
  "success": false
}

例の値はデータの形を示すもので、実際の値ではありません。前のステップのデータを使う を参照してください。

フィールドの説明
項目型説明
dataオブジェクトURL から抽出された構造化データ
statusテキストジョブの状態: processing/completed/failed/cancelled
successはい / いいえ

Web サイトのマッピング ​

Web サイト上のすべての URL を素早く発見し、スクレイプ対象を特定する

設定項目

項目型必須説明
URLテキストはいマッピングする Web サイトの URL
検索キーワードテキストURL をフィルタする任意のキーワード(例: 'blog'、'product')
上限数値返す URL の最大数
既定値: 5000
サイトマップモード選択サイトマップの扱い: include(使用)/skip(無視)/only(サイトマップのみ使用)
選択肢: サイトマップを含む, サイトマップをスキップ, サイトマップのみ
キャッシュ 有効はい / いいえこの URL の結果をキャッシュして、冗長なクロールやスクレイプ リクエストを避けます
既定値: false
キャッシュの継続時間選択はい結果を保存する期間 新しいクロールを実行する前に
選択肢: 1 時, 6 時間, 1 日

出力

後続のステップでは、$ の一覧でこのステップを選んでデータを使います。たとえば links[0].url は $.<ステップID>.output.links[0].url です。

json
{
  "links": [
    {
      "url": "string"
    }
  ],
  "success": false
}

例の値はデータの形を示すもので、実際の値ではありません。前のステップのデータを使う を参照してください。

フィールドの説明
項目型説明
links[]リスト発見された URL の配列
links[].urlテキスト発見された URL
successはい / いいえ操作が成功したかどうか

URL スクレイプ ​

単一 URL から複数形式(Markdown、HTML、スクリーンショット等)でコンテンツを抽出

設定項目

項目型必須説明
URLテキストはいスクレイプ対象の URL
出力形式複数選択返却形式(デフォルト: markdown)
選択肢: Markdown, HTML, Raw HTML, コンテンツ, リンク, スクリーンショット, フルページスクリーンショット
キャッシュ 有効はい / いいえこの URL の結果を キャッシュ して 無駄な クロール と スクレイピング のリクエスト を避ける
既定値: false
キャッシュ期限選択はい新しいクロールを行う前 に 結果 を キャッシュ する 期間
選択肢: 1 時間, 6 時間, 1 日

出力

後続のステップでは、$ の一覧でこのステップを選んでデータを使います。たとえば actions.javascriptReturns[0].type は $.<ステップID>.output.actions.javascriptReturns[0].type です。

json
{
  "actions": {
    "javascriptReturns": [
      {
        "type": "string",
        "value": "string"
      }
    ],
    "pdfs": [
      "string"
    ],
    "scrapes": [
      {
        "html": "string",
        "url": "string"
      }
    ],
    "screenshots": [
      "string"
    ]
  },
  "changeTracking": {
    "changeStatus": "string",
    "diff": "string",
    "json": {},
    "previousScrapeAt": "string",
    "visibility": "string"
  },
  "html": "string",
  "links": [
    "string"
  ],
  "markdown": "string",
  "metadata": {
    "description": "string",
    "error": "string",
    "keywords": "string",
    "language": "string",
    "ogLocaleAlternate": [
      "string"
    ],
    "sourceURL": "string",
    "statusCode": 0,
    "title": "string"
  },
  "rawHtml": "string",
  "screenshot": "string",
  "summary": "string",
  "warning": "string"
}

例の値はデータの形を示すもので、実際の値ではありません。前のステップのデータを使う を参照してください。

フィールドの説明
項目型説明
actionsオブジェクトスクレイプ中に実行されたアクション
actions.javascriptReturns[]リストJavaScript 実行結果
actions.javascriptReturns[].typeテキスト
actions.javascriptReturns[].valueany
actions.pdfs[]リスト生成された PDF ファイル
actions.scrapes[]リストネストされたスクレイプ操作
actions.scrapes[].htmlテキスト
actions.scrapes[].urlテキスト
actions.screenshots[]リスト取得したスクリーンショット
changeTrackingオブジェクト変更追跡情報
changeTracking.changeStatusテキスト変更ステータス: new/updated/unchanged
changeTracking.diffテキスト前回スクレイプとの差分
changeTracking.jsonオブジェクト追加の変更追跡データ
changeTracking.previousScrapeAtテキスト前回スクレイプのタイムスタンプ
changeTracking.visibilityテキストページの可視性ステータス
htmlテキストHTML コンテンツ
links[]リストページ上で見つかったリンク
markdownテキストMarkdown 形式のコンテンツ
metadataオブジェクトタイトルや説明などのページメタデータ
metadata.descriptionテキストページの説明
metadata.errorテキストエラーメッセージ(ある場合)
metadata.keywordsテキストページのキーワード
metadata.languageテキストページの言語
metadata.ogLocaleAlternate[]リストOpenGraph の代替ロケール
metadata.sourceURLテキストソース URL
metadata.statusCode数値HTTP ステータスコード
metadata.titleテキストページタイトル
rawHtmlテキスト生の HTML コンテンツ
screenshotテキストスクリーンショットの URL もしくはデータ
summaryテキストコンテンツの要約
warningテキスト警告メッセージ(ある場合)

Web 検索を実行し、結果からスクレイプした内容を取得

設定項目

項目型必須説明
検索クエリテキストはい検索語句またはクエリ
検索ソース複数選択含める検索結果の種類
選択肢: ウェブ, ニュース, 画像
結果上限数値返す検索結果の最大数(既定: 5、最大: 100)
既定値: 5
地域オブジェクト検索結果の地理的な対象地域

出力

後続のステップでは、$ の一覧でこのステップを選んでデータを使います。たとえば data.images[0].imageHeight は $.<ステップID>.output.data.images[0].imageHeight です。

json
{
  "data": {
    "images": [
      {
        "imageHeight": 0,
        "imageUrl": "string",
        "imageWidth": 0,
        "position": 0,
        "title": "string",
        "url": "string"
      }
    ],
    "news": [
      {
        "date": "string",
        "html": "string",
        "imageUrl": "string",
        "links": [],
        "markdown": "string",
        "metadata": {},
        "position": 0,
        "rawHtml": "string",
        "screenshot": "string",
        "snippet": "string",
        "title": "string",
        "url": "string"
      }
    ],
    "web": [
      {
        "description": "string",
        "markdown": "string",
        "position": 0,
        "title": "string",
        "url": "string"
      }
    ]
  },
  "success": false
}

例の値はデータの形を示すもので、実際の値ではありません。前のステップのデータを使う を参照してください。

フィールドの説明
項目型説明
dataオブジェクトソース別に整理された検索結果
data.images[]リスト画像検索結果
data.images[].imageHeight数値画像の高さ
data.images[].imageUrlテキスト画像結果の URL
data.images[].imageWidth数値画像の幅
data.images[].position数値結果の順位
data.images[].titleテキスト結果の URL
data.images[].urlテキスト結果の URL
data.news[]リストニュース検索結果
data.news[].dateテキスト公開日
data.news[].htmlテキストHTML コンテンツ
data.news[].imageUrlテキスト記事画像の URL
data.news[].links[]リスト記事内で見つかったリンク
data.news[].markdownテキストMarkdown 形式のコンテンツ
data.news[].metadataオブジェクト記事のメタデータ
data.news[].metadata.descriptionテキストページの説明
data.news[].metadata.errorテキストエラーメッセージ(ある場合)
data.news[].metadata.sourceURLテキストソース URL
data.news[].metadata.statusCode数値HTTP ステータスコード
data.news[].metadata.titleテキストページタイトル
data.news[].position数値結果の順位
data.news[].rawHtmlテキスト生の HTML コンテンツ
data.news[].screenshotテキストスクリーンショット URL
data.news[].snippetテキスト記事の短いスニペット
data.news[].titleテキストニュース記事のタイトル
data.news[].urlテキスト記事の URL
data.web[]リストウェブ検索結果
data.web[].descriptionテキストページの説明/スニペット
data.web[].markdownテキストMarkdown 形式のコンテンツ
data.web[].position数値結果の順位
data.web[].titleテキストページタイトル
data.web[].urlテキスト結果の URL
successはい / いいえ検索が成功したかどうか