主页 / 问题 / 736823
Accepted
newProgrammer
Asked:2020-10-27 23:57:59 +0000 UTC2020-10-27 23:57:59 +0000 UTC

加载页面速卖通

  • 772

我试图解析aliexpress 产品卡，起初我以为我会通过 Simple HTML DOM 进行解析，但是当我切换到移动版本时，我看到所有响应都是通过 ajax 接收的：

在此处输入图像描述

但curl我无法通过。

function file_get_contents_curl($url) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_URL, $url);
    $data = curl_exec($ch);
    curl_close($ch);
    return $data;
}
print_r(file_get_contents_curl('https://m.ru.aliexpress.com/ajaxapi/product/ajaxDetail.do?productId=32832914406'));

在这里，我认为是 cookie 或标头。即使是这样，从哪里获取它们以及如何正确发送它们？

php

3 个回答

  1. Best Answer

    对于未来：在 chrome 中，您可以右键单击请求 => Copy=> Copy as cUlr，整个 curl 命令将出现在缓冲区中。它仍然只是将其粘贴到控制台并观察结果。

    通过逐步清理不必要的标头的方法，我想出了一个最小的请求表单。实际上添加一个标题就足够了：

    CURLOPT_HTTPHEADER => [
    'referer: https://m.ru.aliexpress.com/',
]

    然后速卖通会给你你需要的一切。

    这是要检查的命令：

    curl 'https://m.ru.aliexpress.com/ajaxapi/product/ajaxDetail.do?productId=32679283205' -H 'referer: https://m.ru.aliexpress.com/' --compressed
    • 5

  2. 不要忘记https。
    正如上面已经说过的，完整的代码看起来像这样，它可以工作：

    function file_get_contents_curl($url)
{
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
    curl_setopt($ch, CURLOPT_REFERER, 'https://m.ru.aliexpress.com/');
    curl_setopt($ch, CURLOPT_URL, $url);
    $data = curl_exec($ch);
    curl_close($ch);
    return $data;
}

echo file_get_contents_curl('https://m.ru.aliexpress.com/ajaxapi/product/ajaxDetail.do?productId=32832914406');

    粘贴到命令行，得到一些不清楚的东西

    不要把它放在那里。

    • 3

  3. 正如您正确指出的那样，它与 cookie 和标头有关，并且可能通过 POST 请求进行数据传输：

        $options = array(
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_HEADER => true,
        CURLOPT_HTTPHEADER=>array('Content-Type: ...', 'Cookie: ...'),
        CURLOPT_POST => true,
        CURLOPT_POSTFIELDS => http_build_query($post_fields),
        CURLOPT_CONNECTTIMEOUT => 20,
        CURLOPT_SSL_VERIFYPEER => false,
        CURLOPT_TIMEOUT => 20,
        CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'
    );

    $curl = curl_init();
    curl_setopt_array($curl, $options);
    $data = curl_exec($curl);
    curl_close($curl);

    在 CURLOPT_HTTPHEADER 中，您传递所有标头（包括 cookie，因为从服务器的角度来看，后者只是标头），在 CURLOPT_USERAGENT 中，您传递用户代理的标头（最好是接收 cookie 的标头）。

    • 1

相关问题