Firecrawl:轻松实现网站API化,任意网站变身API接口
irecrawl 号称 可以抓取任何网站并将其转换为干净的 markdown 或结构化数据。并且可以直接通过 Node 进行部署。
看这样的描述有点厉害了,所以,咱们今天就来看看这个 firecrawl
01:什么是 firecrawl
firecrawl 是一种 API 服务,它获取 URL、对其进行抓取并将其转换为干净的 markdown 或结构化数据。我们会抓取所有可访问的子页面并为您提供每个子页面的干净数据。无需站点地图。
目前 Firecrawl 开源 3周 的时间,已经有了 7.9K 的 star 数,可以说是一个优秀的项目了
02:如何使用 firecrawl
想要使用 firecrawl ,那么首先需要获取 API 秘钥。秘钥分为 收费 和 免费 两种,大家如果不在商业项目中使用,通过 免费计划 即可
获取秘钥在这里注册并获取:https://www.firecrawl.dev/pricing
有了秘钥之后,可以直接基于 Node 包创建项目即可:
- 安装依赖包 npm install @
作者:奔向理想的星辰大海