PHP每次读取多个URL函数

时间:13-02-01 栏目:网站开发 作者:admin 评论:0 点击: 5,853 次

/**
 * 每次读取多个URL函数
 * @param $urls array 要读取的URL列表
 * @param $num int 每次读取个数
 * @param $head_only bool 是否只读取HTTP头
 * @return array 所有读取到的内容或HTTP头
 */	
function MultiRequest($urls,$num=5,$head_only=false){

	$urls2=array();
	while(count($urls)){			
		$urls2[] = array_splice($urls,0,$num);		
	}

	$datas=array();

	if($head_only){
		foreach($urls2 as $urls){
			$m = new Http_MultiRequest();
			$m->setUrls($urls);
			$data = $m->exec_head();
			$datas =array_merge ($datas, $data);
		}

		foreach($datas  as $k=>$v){
				//错误的页面
				if($v['http_code'] == $error_http_code && $v['download_content_length'] == $error_length) {
					$v['http_code'] ='404';
					//continue;
				}
				$v2=array(
					'url'=>$v['url'],
					'content_type'=>$v['content_type'],
					'http_code'=>$v['http_code'],
					'content_length'=>$v['download_content_length'],			
				);
				$datas[$k] = $v2;
				//if($v['http_code']!='200')unset($data[$k]);
		}
	}else{
		foreach($urls2 as $urls){
			$m = new Http_MultiRequest();
			$m->setUrls($urls);
			$data = $m->exec();
			$datas =array_merge ($datas, $data);
		}
	}
	return $datas;

}

PHP 批量抓取内容 Http_MultiRequest   类参考:http://liulipeng01.blog.163.com/blog/static/1957710582012710104322244/

声明: 本文由( admin )原创编译,转载请保留链接: PHP每次读取多个URL函数

PHP每次读取多个URL函数:等您坐沙发呢!

发表评论


------====== 本站公告 ======------
联系信息:
电话:19970108113(微信同号) QQ:3142401606
支付宝:https://me.alipay.com/lxq73061
相关插件程序等信息均会在站内发布,敬请关注。

读者排行