在電商領域，淘寶商品的 SKU（庫存單位）詳細信息對于商家優(yōu)化庫存管理、制定價格策略以及進行市場分析具有重要價值。本文將詳細介紹如何利用 PHP 爬蟲技術獲取淘寶商品的 SKU 詳細信息，并提供完整的代碼示例。
一、前期準備
（一）環(huán)境搭建
確保你的開發(fā)環(huán)境中已經(jīng)安裝了 PHP 7.4+，并配置了環(huán)境變量。
（二）安裝必要的 PHP 庫
通過 Composer 安裝以下庫，用于發(fā)送 HTTP 請求和解析 HTML 數(shù)據(jù)：
- GuzzleHttp：用于發(fā)送 HTTP 請求。
- DOMDocument：用于解析 HTML 頁面。
- 在 composer.json 文件中添加以下依賴：
- JSON
{
"require": {
"guzzlehttp/guzzle": "^7.0"
}
}
運行 composer install 命令來安裝依賴。二、編寫爬蟲代碼
（一）發(fā)送 HTTP 請求
使用 GuzzleHttp 庫發(fā)送 GET 請求，獲取商品評論頁面的 HTML 內(nèi)容：
php
<?php
require 'vendor/autoload.php';
use GuzzleHttp\Client;
function getHtml($url) {
$client = new Client();
$response = $client->request('GET', $url, [
'headers' => [
'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
]
]);
return $response->getBody()->getContents();
}
?>
（二）解析 HTML 內(nèi)容
使用 DOMDocument 和 DOMXPath 解析 HTML 內(nèi)容，提取評論數(shù)據(jù)：
php
<?php
function parseHtml($html) {
$doc = new DOMDocument();
@$doc->loadHTML($html);
$xpath = new DOMXPath($doc);
$comments = [];
$items = $xpath->query('//div[@class="comment-list"]/div[@class="comment-inner"]');
foreach ($items as $item) {
$content = $xpath->query('.//div[@class="comment-content"]/p', $item)->item(0)->nodeValue;
$comments[] = trim($content);
}
return $comments;
}
?>
（三）按關鍵字搜索商品評論
根據(jù)商品 ID 構建評論請求 URL，并獲取評論數(shù)據(jù)：
php
<?php
function getTaobaoComments($itemId, $page = 1) {
$url = "https://rate.taobao.com/feedRateList.htm";
$params = [
'auctionNumId' => $itemId,
'currentPageNum' => $page,
'pageSize' => 20,
'rateType' => 1, // 1-全部評價 2-好評 3-中評 4-差評
'orderType' => 'sort_weight' // 排序方式
];
$headers = [
'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
'Referer: https://item.taobao.com/item.htm?id='.$itemId,
'Accept: application/json'
];
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url.'?'.http_build_query($params));
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_COOKIEFILE, 'taobao_cookies.txt');
curl_setopt($ch, CURLOPT_COOKIEJAR, 'taobao_cookies.txt');
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
$response = curl_exec($ch);
curl_close($ch);
// 處理 JSONP 響應
$response = preg_replace('/^jsonp\d+(/', '', rtrim($response, ')'));
return json_decode($response, true);
}
?>
（四）解析評論數(shù)據(jù)
解析返回的 JSON 數(shù)據(jù)，提取評論內(nèi)容：
php
<?php
function parseComments($rawData) {
$comments = [];
if (!isset($rawData['comments'])) {
return $comments;
}
foreach ($rawData['comments'] as $item) {
$comment = [
'id' => $item['id'],
'author' => $item['user']['nick'],
'content' => $item['content'],
'date' => $item['date'],
'rate' => $item['rate'],
'photos' => [],
'append' => null
];
if (isset($item['photos']) && is_array($item['photos'])) {
foreach ($item['photos'] as $photo) {
$comment['photos'][] = 'https:'.$photo['url'];
}
}
if (isset($item['appendComment'])) {
$comment['append'] = [
'content' => $item['appendComment']['content'],
'date' => $item['appendComment']['date']
];
}
$comments[] = $comment;
}
return $comments;
}
?>
（五）整合代碼
將上述功能整合到主程序中，實現(xiàn)完整的爬蟲程序：
php
<?php
require 'vendor/autoload.php';
$goodsId = '1005006'; // 商品 ID
$pageNum = 1; // 評論分頁頁碼
$rawData = getTaobaoComments($goodsId, $pageNum);
$comments = parseComments($rawData);
foreach ($comments as $comment) {
echo "昵稱: " . $comment['author'] . "\n";
echo "評論內(nèi)容: " . $comment['content'] . "\n";
echo "評論時間: " . $comment['date'] . "\n";
echo "----------------------\n";
}
?>
三、注意事項與優(yōu)化建議
（一）遵守法律法規(guī)
在進行爬蟲操作時，必須嚴格遵守相關法律法規(guī)，尊重網(wǎng)站的 robots.txt 文件規(guī)定。
（二）合理設置請求頻率
避免過高的請求頻率導致對方服務器壓力過大，甚至被封禁 IP。
（三）應對反爬機制
淘寶平臺可能會采取一些反爬措施，如限制 IP 訪問頻率、識別爬蟲特征等?？梢酝ㄟ^使用動態(tài)代理、模擬正常用戶行為等方式應對。
（四）數(shù)據(jù)存儲與分析
將抓取到的評論數(shù)據(jù)存儲到數(shù)據(jù)庫或文件中，以便后續(xù)分析和使用。
四、總結(jié)
通過上述步驟和代碼示例，你可以高效地利用爬蟲技術獲取淘寶商品評論數(shù)據(jù)。無論是用于市場調(diào)研、競品分析還是用戶體驗優(yōu)化，這些數(shù)據(jù)都將為你提供強大的支持。希望本文的示例和策略能幫助你在爬蟲開發(fā)中更好地應對各種挑戰(zhàn)，確保爬蟲程序的高效、穩(wěn)定運行。
