Etsyは、ユニークでクリエイティブな商品のグローバルマーケットプレイスです。このガイドでは、Firecrawlを使って商品リスト、ショップ情報、レビュー、トレンド商品を抽出する方法を紹介します。
npm install @mendable/firecrawl-js zod
Etsy をスクレイピングする場合は、通常次のようなデータを取得します:
- 商品一覧とバリエーションを抽出する
- ショップ情報と評価を取得する
- トレンドの商品やカテゴリを監視する
- 価格と売上データを追跡する
- 顧客レビューを抽出する
Zodスキーマを使って、構造化されたリスティングデータを抽出します。
import FirecrawlApp from '@mendable/firecrawl-js';
import { z } from 'zod';
// Zodスキーマを定義
const ListingSchema = z.object({
title: z.string(),
price: z.string(),
shopName: z.string(),
rating: z.number()
});
const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });
const result = await firecrawl.scrape('https://www.etsy.com/listing/1844315896/handmade-925-sterling-silver-jewelry-set', {
formats: [{
type: 'json',
schema: z.toJSONSchema(ListingSchema)
}],
});
// Zodでパースして検証
const jsonData = typeof result.json === 'string' ? JSON.parse(result.json) : result.json;
const validated = ListingSchema.parse(jsonData);
console.log('✅ 検証済みリスティングデータ:');
console.log(validated);
Etsy マーケットプレイスで商品を検索する。
import FirecrawlApp from '@mendable/firecrawl-js';
const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });
const searchResult = await firecrawl.search('handmade jewelry site:etsy.com', {
limit: 10,
sources: [{ type: 'web' }], // { type: 'news' }, { type: 'images' }
scrapeOptions: {
formats: ['markdown']
}
});
console.log(searchResult);
Etsy の商品ページを 1 件スクレイピングします。
import FirecrawlApp from '@mendable/firecrawl-js';
const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });
const result = await firecrawl.scrape('https://www.etsy.com/listing/1844315896/handmade-925-sterling-silver-jewelry-set', {
formats: ['markdown'], // 例: html, links など
onlyMainContent: true
});
console.log(result);
Etsy のショップまたはカテゴリ内で利用可能なすべての URL を取得します。注意: Map はコンテンツではなく URL のみを返します。
import FirecrawlApp from '@mendable/firecrawl-js';
const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });
const mapResult = await firecrawl.map('https://www.etsy.com/shop/YourShopName');
console.log(mapResult.links);
// コンテンツなしでURLの配列を返します
Etsyのショップまたはカテゴリ配下の複数ページをクロールします。
import FirecrawlApp from '@mendable/firecrawl-js';
const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });
const crawlResult = await firecrawl.crawl('https://www.etsy.com/c/jewelry', {
limit: 10,
scrapeOptions: {
formats: ['markdown']
}
});
console.log(crawlResult.data);
複数のEtsy出品URLを同時にスクレイピングします。
import FirecrawlApp from '@mendable/firecrawl-js';
const firecrawl = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY });
// 完了を待つ
const job = await firecrawl.batchScrape([
'https://www.etsy.com/listing/1844315896/handmade-925-sterling-silver-jewelry-set',
'https://www.etsy.com/market/handmade_jewelry',
'https://www.etsy.com/market/jewelry_handmade'],
{
options: {
formats: ['markdown']
},
pollInterval: 2,
timeout: 120
}
);
console.log(job.status, job.completed, job.total);
console.log(job);