sverde1's blog

Ko parsamo kakšno stran so nam lahko zanimivi tudi meta tagi. PHP ima v ta namen posebno funkcijo get_meta_tags(), ki nam avtomatsko sparsa meta tage na strani (če jih le-ta ima) in jih vrne v array-u.

Uporaba je preprosta:

<?php
// URL strani, ki jo želimo sparsati
$url = 'http://example.tld/file.php';
 
// sparsamo tage
$tags = get_meta_tags($url);
 
print_r($tags);

Za moj blog (http://blog.sverde1.com/) vrne funkcija sledeč rezultat:

Array
(
    [generator] => WordPress 2.3.1
    [keywords] => PHP,fopen,file_get_contents,...
    [now-reading-version] => 4.3.6
)

Glede na to da je v PHP-ju vgrajena funkcija get_meta_tags, pa bi človek pričakoval da je vgrajena tudi funkcija, ki sparsa link tage get_link_tags() ampak le te na žalost ni, čeprav bi v primeru, da želimo izvedeti URL RSS feeda neke strani prišla še kako prav.

Zahteve:

• PHP4 ali novejši

Pred kratkim sem delal na crawlerju (za en projekt, ki naj zaenkrat še ostane skrivnost), ki se sprehaja po RSS-jih blogov. Hotel sem uporabiti navadno branje datotek z funkcijo file_get_contents(), ampak sem se spomnil, da bi bilo koristno (in se je že izkazalo za koristno ) lastniku bloga pustiti sled, da bo vedel, kdo ga je poskeniral. Zato sem prišel na idejo, da bi uporabil CURL extension, ampak ta ideja se je izkazala za slabo, takoj ko sem naložil testno aplikacijo na moj hosting. Zakaj? Ker sem moral, zato da je crawler deloval pravilno, uporabiti tole vrstico, ki pove CURL-ju, da naj sledi preusmeritvam (kar je pomembno predvsem pri blogih, ki imajo preusmeritev na feedburner):

<?php
// ...
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
?>

Ampak ta vrstica vrže ven error, če je na hostu vklopljen safe mode (ker naj bi bila nevarna). Torej imel sem na izbiro 2 možnosti: zadevo urediti z socketi in se zajebavati z rekurzijo pri redirectih itd. ali pa uporabit začetno idejo z funkcijo file_get_contents(), ki mimogrede tudi samodejno sledi preusmeritvam. Ker sem malce len sem opcijo z socketi hitro dal v predal, kjer piše “uporabi v sili” .

Torej da preidem k bistvu… ker sem se odločil za uporabo funkcije file_get_contents() sem iskal način kako z uporabo te funkcije poslati header lastniku bloga in odgovor sem našel v tretjem parametru te funkcije, ki se imenuje context:

<?php
$feed_url = 'http://blog.sverde1.com/feed/';
$opts = array(
    'http' => array(
        'header' => "User-Agent: ExampleCrawler.tld 1.0-beta\r\n"
    )
);
 
$context = stream_context_create($opts);
 
echo file_get_contents($feed_url, false, $context);
?>

Funkcija stream_context_create() nam torej ustvari resource z našim context-om, kjer je zapisan dodaten header, ki ga pošlje funkcija zraven requesta za datoteko $feed_url.

Sedaj lahko skorajda pozabimo na sockete in CURL, saj nam ta funkcija omogoča tudi da v kombinaciji z file_get_contents, fopen,… pošiljamo POST zahtevke:

<?php
$data = 'user=sverde1&pass=neki&login=Login';
$opts = array (
    'http' => array (
        'method' => 'POST',
        'header'=> "Content-type: application/x-www-form-urlencoded\r\n"
                 . "Content-Length: " . strlen($data) . "\r\n",
        'content' => $data
    )
);
 
// ...
?>

Zahteve:

• PHP4 >= 4.3.0