寫一隻php cron parser(以ubuntu為例)

有時候你可能需要寫一隻定期會爬某個網站的parser,然後將自己想要的Data匯入資料庫,例如中央氣象局的天氣…等等諸如此類,以下是一個簡單的步驟,寫一隻php cron parser的步驟:

基本上就算是cron的環境,你還是可以用一下mvc framework,但以下這個例子為不用任何framework下的方式,僅供參考

一.先將Lamp環境建立好
可以參考敝人這篇文章

二.新增一個cron資料夾
以後全部的parse script都放在這裡面,

mkdir cron

三.新增db.inc.php
用來做資料庫連線


<?php
define('MYSQL_HOST','hostname');
define('MYSQL_USER','usrname');
define('MYSQL_PASSWORD','password');
define('MYSQL_DB','dbname');
?> 

四.使用php simple dom parser寫一隻script
這裡使用php simple html dom parser寫script,大致上開頭可以如下


<?php
require 'db.inc.php';
$db = mysql_connect(MYSQL_HOST ,MYSQL_USER , MYSQL_PASSWORD) or die('有錯');
mysql_select_db(MYSQL_DB,$db) or die(mysql_error);
mysql_query('set names utf8');
...
...
...
接下來請參考php dom parser去爬自己想要的網頁資料

因為這篇文章的範例沒有使用framework做輔助,所以如果妳要向本篇範例這樣做,你需要對sql language有一定的熟悉度

五.最後改一下/etc/crontab
寫完後只要在到/etc目錄下修改一下crontab即可,相關請參考鳥哥的文章,讓linux定期去執行這隻script

 

以上只是一個很簡單的範例,基本上我還是比較偏好採用framework來寫cron,比較有效率也不用再回去摸sql language
以上僅供參考~