全球彩票平台_全球彩票注册平台|官网下载地址

热门关键词: 全球彩票平台,全球彩票注册平台,全球彩官网下载地址

多线程处理强化版,网络爬虫

C#网络爬虫--二十八线程管理强化版,

上次做了贰个帮集团妹子做了爬虫,不是相当的小巧,本次集团项目里要利用,于是有做了一番修改,作用增添了网站图片收集,下载,线程管理分界面网站图片下载等。

说说思路:首相获取开首网址的全部内容 在开班网站收集图片 去开首网站收集链接 把访谈到的链选择入队列 继续收罗图片,然后继续访谈链接,Infiniti循环

要么上海教室片大家看一下,在上代码!

图片 1

 

管理网页内容抓取跟网页网站爬取都做了革新,下边依然大家来探问代码,有不足之处,还请之处!

网页内容抓取HtmlCodeRequest,

网页网站爬取GetHttpLinks,用正则去筛选html中的Links

图表抓取GetHtmlImageUrlList,用正则去筛选html中的Img

都写进了一个封装类里面 HttpHelper

    /// <summary>   
        /// 取得HTML中所有图片的 URL。   
        /// </summary>   
        /// <param name="sHtmlText">HTML代码</param>   
        /// <returns>图片的URL列表</returns> 
public static string HtmlCodeRequest(string Url)
        {
            if (string.IsNullOrEmpty(Url))
            {
                return "";
            }
            try
            {
                //创建一个请求
                HttpWebRequest httprequst = (HttpWebRequest)WebRequest.Create(Url);
                //不建立持久性链接
                httprequst.KeepAlive = true;
                //设置请求的方法
                httprequst.Method = "GET";
                //设置标头值
                httprequst.UserAgent = "User-Agent:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705";
                httprequst.Accept = "*/*";
                httprequst.Headers.Add("Accept-Language", "zh-cn,en-us;q=0.5");
                httprequst.ServicePoint.Expect100Continue = false;
                httprequst.Timeout = 5000;
                httprequst.AllowAutoRedirect = true;//是否允许302
                ServicePointManager.DefaultConnectionLimit = 30;
                //获取响应
                HttpWebResponse webRes = (HttpWebResponse)httprequst.GetResponse();
                //获取响应的文本流
                string content = string.Empty;
                using (System.IO.Stream stream = webRes.GetResponseStream())
                {
                    using (System.IO.StreamReader reader = new StreamReader(stream, System.Text.Encoding.GetEncoding("utf-8")))
                    {
                        content = reader.ReadToEnd();
                    }
                }
                //取消请求
                httprequst.Abort();
                //返回数据内容
                return content;
            }
            catch (Exception)
            {

                return "";
            }
        }
/// <summary>
        /// 提取页面链接
        /// </summary>
        /// <param name="html"></param>
        /// <returns></returns>
public static List<string> GetHtmlImageUrlList(string url)
        {
            string html = HttpHelper.HtmlCodeRequest(url);
            if (string.IsNullOrEmpty(html))
            {
                return new List<string>();
            }
            // 定义正则表达式用来匹配 img 标签   
            Regex regImg = new Regex(@"<imgb[^<>]*?bsrc[strn]*=[strn]*[""']?[strn]*(?<imgUrl>[^strn""'<>]*)[^<>]*?/?[strn]*>", RegexOptions.IgnoreCase);

            // 搜索匹配的字符串   
            MatchCollection matches = regImg.Matches(html);
            List<string> sUrlList = new List<string>();

            // 取得匹配项列表   
            foreach (Match match in matches)
                sUrlList.Add(match.Groups["imgUrl"].Value);
            return sUrlList;
        }


        /// <summary>
        /// 提取页面链接
        /// </summary>
        /// <param name="html"></param>
        /// <returns></returns>
        public static List<string> GetHttpLinks(string url)
        {
            //获取网址内容
            string html = HttpHelper.HtmlCodeRequest(url);
            if (string.IsNullOrEmpty(html))
            {
                return new List<string>();
            }
            //匹配http链接
            const string pattern2 = @"http(s)?://([w-] .) [w-] (/[w- ./?%&=]*)?";
            Regex r2 = new Regex(pattern2, RegexOptions.IgnoreCase);
            //获得匹配结果
            MatchCollection m2 = r2.Matches(html);
            List<string> links = new List<string>();
            foreach (Match url2 in m2)
            {
                if (StringHelper.CheckUrlIsLegal(url2.ToString()) || !StringHelper.IsPureUrl(url2.ToString()) || links.Contains(url2.ToString()))
                    continue;
                links.Add(url2.ToString());
            }
            //匹配href里面的链接
            const string pattern = @"(?i)<as[^>]*?href=(['""]?)(?!javascript|__doPostBack)(?<url>[^'""s*#<>] )[^>]*>"; ;
            Regex r = new Regex(pattern, RegexOptions.IgnoreCase);
            //获得匹配结果
            MatchCollection m = r.Matches(html);
            foreach (Match url1 in m)
            {
                string href1 = url1.Groups["url"].Value;
                if (!href1.Contains("http"))
                {
                    href1 = Global.WebUrl   href1;
                }
                if (!StringHelper.IsPureUrl(href1) || links.Contains(href1)) continue;
                links.Add(href1);
            }
            return links;
        }    

图片抓取GetHtmlImageUrlList,用正则去筛选html中的Img

说说思路:首相获取开头网站的拥有内容 在起来网站搜集图片 去初阶网站收罗链接 把访问到的链选择入队列 继续收罗图片,然后继续访问链接,Infiniti循环

网页网站爬取GetHttpLinks,用正则去筛选html中的Links

说说思路:首相获取开端网站的富有剧情 在开端网站收集图片 去早先网站收罗链接 把募集到的链选用入队列 继续访问图片,然后继续访问链接,Infiniti循环

那边下载图片有个任务条数限制,限制是200条。倘使超过的电话线程等待5秒,这里下载图片是异步调用的信托

public string DownLoadimg(string url)
        {
            if (!string.IsNullOrEmpty(url))
            {
                try
                {
                    if (!url.Contains("http"))
                    {
                        url = Global.WebUrl   url;
                    }
                    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
                    request.Timeout = 2000;
                    request.UserAgent = "User-Agent:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705";
                    //是否允许302
                    request.AllowAutoRedirect = true;
                    WebResponse response = request.GetResponse();
                    Stream reader = response.GetResponseStream();
                    //文件名
                    string aFirstName = Guid.NewGuid().ToString();
                    //扩展名
                    string aLastName = url.Substring(url.LastIndexOf(".")   1, (url.Length - url.LastIndexOf(".") - 1));
                    FileStream writer = new FileStream(Global.FloderUrl   aFirstName   "."   aLastName, FileMode.OpenOrCreate, FileAccess.Write);
                    byte[] buff = new byte[512];
                    //实际读取的字节数
                    int c = 0;
                    while ((c = reader.Read(buff, 0, buff.Length)) > 0)
                    {
                        writer.Write(buff, 0, c);
                    }
                    writer.Close();
                    writer.Dispose();
                    reader.Close();
                    reader.Dispose();
                    response.Close();
                    return (aFirstName   "."   aLastName);
                }
                catch (Exception)
                {
                    return "错误:地址"   url;
                }
            }
            return "错误:地址为空";
        }

 

话非常的少说,更加多的须求我们本人去改进咯!应接读者来与楼主实行交流。假使本文对你有参照他事他说加以考察价值,应接帮博主点下小说下方的引荐,多谢

上面源码送上:嘿嘿要分的啊!

 

上次做了贰个帮集团妹子做了爬虫,不是很精美,本次集团项目里要选择,于是有做了一番修改,功用添...

上次做了二个帮公司妹子做了爬虫,不是很精妙,此番集团项目里要使用,于是有做了一番修改,成效增加了网站图片搜聚,下载,线程管理分界面网址图片下载等。

上次做了一个帮公司妹子做了爬虫,不是很精致,本次公司项目里要采纳,于是有做了一番修改,作用增添了网站图片采撷,下载,线程管理分界面网站图片下载等。

都写进了几个封装类里面 HttpHelper

那边下载图片有个任务条数限制,限制是200条。假使超过的电话线程等待5秒,这里下载图片是异步调用的信托

网页内容抓取HtmlCodeRequest,

都写进了四个封装类里面 HttpHelper

 

拍卖网页内容抓取跟网页网站爬取都做了改革,上面依然咱们来探视代码,有不足之处,还请之处!

 

图片 2

图表抓取GetHtmlImageUrlList,用正则去筛选html中的Img

public string DownLoadimg(string url)
    {
      if (!string.IsNullOrEmpty(url))
      {
        try
        {
          if (!url.Contains("http"))
          {
            url = Global.WebUrl   url;
          }
          HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
          request.Timeout = 2000;
          request.UserAgent = "User-Agent:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705";
          //是否允许302
          request.AllowAutoRedirect = true;
          WebResponse response = request.GetResponse();
          Stream reader = response.GetResponseStream();
          //文件名
          string aFirstName = Guid.NewGuid().ToString();
          //扩展名
          string aLastName = url.Substring(url.LastIndexOf(".")   1, (url.Length - url.LastIndexOf(".") - 1));
          FileStream writer = new FileStream(Global.FloderUrl   aFirstName   "."   aLastName, FileMode.OpenOrCreate, FileAccess.Write);
          byte[] buff = new byte[512];
          //实际读取的字节数
          int c = 0;
          while ((c = reader.Read(buff, 0, buff.Length)) > 0)
          {
            writer.Write(buff, 0, c);
          }
          writer.Close();
          writer.Dispose();
          reader.Close();
          reader.Dispose();
          response.Close();
          return (aFirstName   "."   aLastName);
        }
        catch (Exception)
        {
          return "错误:地址"   url;
        }
      }
      return "错误:地址为空";
    }

本文由全球彩票平台发布于全球彩票注册平台编程,转载请注明出处:多线程处理强化版,网络爬虫

TAG标签: 全球彩票平台
Ctrl+D 将本页面保存为书签,全面了解最新资讯,方便快捷。