PHP使用CURL同时抓取多个URL地址

抓取多个URL地址是Web开发中常见的需求，使用PHP的curl库可以简化这个过程。本文将详细介绍如何使用PHP的curl库同时请求多个URL地址，并提供具体的代码案例和注释。

curl库介绍

curl是一个常用的开源网络传输工具，可以通过各种协议（如HTTP、FTP、TELNET）在不同的平台上进行数据传输。PHP中的curl库允许我们利用curl功能在PHP中进行网络通信。它提供了一系列的函数，可以发送HTTP请求并获取响应。

准备工作

在开始使用curl之前，需要确保你的PHP环境已经安装并启用了curl扩展。可以通过在php.ini文件中取消以下行的注释来启用curl扩展：

;extension=curl

如果你的PHP环境已经启用了curl扩展，那么我们就可以开始编写curl请求多个URL的代码。

使用curl同时请求多个URL

首先，我们需要创建一个包含所有待请求URL的数组。每个URL都是一个数组元素，我们可以在后面的代码中遍历这个数组来发送请求。

$urls = [
    'http://example.com/api/1',
    'http://example.com/api/2',
    'http://example.com/api/3',
];

接下来，我们循环遍历URL数组，使用curl库来发送请求并获取响应。

// 创建一个curl多个句柄
$mh = curl_multi_init();

// 创建一个句柄数组，用于存储每个请求的句柄
$handles = [];

foreach ($urls as $url) {
    // 创建一个新的curl句柄
    $handle = curl_init();
  
    // 设置curl选项
    curl_setopt($handle, CURLOPT_URL, $url);
    curl_setopt($handle, CURLOPT_RETURNTRANSFER, true);
  
    // 将句柄添加到多个句柄中
    curl_multi_add_handle($mh, $handle);
  
    // 将句柄添加到句柄数组中
    $handles[] = $handle;
}

// 执行所有请求
$running = null;
do {
    curl_multi_exec($mh, $running);
} while ($running > 0);

// 获取所有请求的响应数据
$responses = [];
foreach ($handles as $handle) {
    $response = curl_multi_getcontent($handle);
    $responses[] = $response;
  
    // 移除句柄
    curl_multi_remove_handle($mh, $handle);
  
    // 关闭句柄
    curl_close($handle);
}

// 关闭curl多个句柄
curl_multi_close($mh);

// 打印所有响应数据
foreach ($responses as $response) {
    echo $response . "\n";
}

代码分析：

首先，我们使用curl_multi_init()方法创建一个curl多个句柄。

然后，我们使用curl_init()方法创建一个新的curl句柄，并设置其选项。这些选项包括URL地址和一个标志位CURLOPT_RETURNTRANSFER，用于指定curl请求时返回原始的响应数据。

接下来，我们使用curl_multi_add_handle()方法将每个curl句柄添加到多个句柄中。

在添加完所有句柄后，我们使用curl_multi_exec()方法执行所有请求，直到所有请求都完成。

然后，我们使用curl_multi_getcontent()方法获取每个请求的响应数据，并将其存储在一个数组中。

最后，我们使用curl_multi_remove_handle()方法和curl_close()方法分别从多个句柄中移除和关闭每个句柄，然后使用curl_multi_close()方法关闭整个多个句柄的curl会话。

最后一步，我们遍历响应数组，并使用echo语句打印每个响应。

通过上述代码，我们可以同时发送多个curl请求，并获得每个请求的响应数据。可以根据具体需求对代码进行修改，比如设置超时时间、设置其他curl选项等。

总结

PHP的curl库是一个非常强大的工具，可以用来进行网络通信。本文中，我们介绍了如何使用curl库来同时请求多个URL地址。通过创建多个curl句柄，并使用curl_multi_close()方法执行所有请求，我们可以方便地进行并发请求。这对于需要同时抓取多个URL的Web开发任务非常有帮助。

拓展

具体应用案例：
php接口优化 使用curl_multi_init批量请求