实战种类之天气预先报告实时采集

前言:

今天
CYQ.Data 框架  框架群里,“路过冬天”问了个天气预先报告的题材,问哪个地方有webservice调用?于是随性就有了那篇文章了。

 

天气预先报告,回想中做过那么二遍。

 

率先次的做法是:

技术高管写了个采访后台,天天早晚各采一回,从tq121站里采集大批量的天气新闻到数据库,笔者就直接从数据Curry读数据了。

 

总结:

那种做法很劳累,每一天要开后台采数据,做成活动的,还要不半路程序自动驾鹤归西才行,而且数据库会时有产生大堆垃圾过时的数目。

亮点是:能够搜集很多消息,做成很规范的气象预先报告站,那时候做旅游站,天气也是非同一般模块,所以那种办法也很有分寸。

 

第二次:

友好做结业设计,都没采访后台,自身又写不出采集来,没多少读了,只能四处百度查寻“天气预告Webservice”调用。

 

总结:

那种做法也很窝囊,首先Webservice不佳找,第③找到的借使小站提供的,随时又会挂掉了,若是居家挂掉,你要另找二个?

可取是:找到就调用,什么也不用管,菜鸟也能飞。

 

第三次:

是电子商务平台在首页展现下气候,那时候恰恰蒙受刚做完web版的征集系统,于是顺理直接行使搜集类库现采现显。

 

总结:

亮点是:不用和数据库打交道,现采现显,减弱数据库压力,速度快,每一日只采3次,丁点消息,缓存即可。对于天气只是装饰性的极适用。

症结是:数据量少,无法做能专业性天气预告站。

 

以下介绍现采现显的兑现方式

 

1:既然要采,当然找到有天气预告的站了,那一个很好找,网上随处都以能源,只要你会采。

例如百度,你追寻城市如迈阿密,即会并发气象音信了,如图:

 

澳门葡京 1

 

譬如说腾讯soso,如下图。当然还有此外众多广大,只要看收获的,都得以采,但是最好找大站,稳定。

 

澳门葡京 2

 

2:采集类,一个好的采集类,一矢双穿,以下出二个简化版,丰硕采集天气音讯

澳门葡京 3澳门葡京 4

using System;
using System.Text;
using System.Net;
using System.Text.RegularExpressions;

namespace CYQ.Tool
{
    /// <summary>
    /// 作者:路过白藏
    /// 博客:http://cyq1162.cnblogs.com
    /// </summary>
    public class GatherHelper
    {
        /// <summary>
        /// 重临获取的靶子地址HTML全体代码
        /// </summary>
        /// <param name=”strUrl”>目的地方</param>
        /// <returns></returns>
        public static string GetHtmlCode(string pageUrl, Encoding encoding)
        {
            try
            {
                //重返目的页HTML代码
                WebClient webclient = new WebClient();
                webclient.Credentials = CredentialCache.DefaultCredentials;
                byte[] buffer = webclient.DownloadData(pageUrl);
                string HtmlCode = encoding.GetString(buffer);
                webclient.Dispose();    //释放WebClient资源
                return HtmlCode;
            }
            catch
            {
                return string.Empty;
            }

        }

        #region 内容截取分析
        /// <summary>
        /// 再次来到依照故事情节初阶及告竣代码分析出内容
        /// </summary>
        /// <param name=”ContentCode”>内容代码</param>
        /// <param name=”StartCode”>内容所在起先代码</param>
        /// <param name=”EndCode”>内容所在停止代码</param>
        /// <param name=”index”>取第几条[从1开始]</param>
        /// <returns></returns>
        public static string GetContent(string contentCode, string startCode, string endCode, int index)
        {
            string[] matchItems = null;
            return GetContent(contentCode, startCode, endCode, index, out matchItems);
        }
        public static string GetContent(string contentCode, string startCode, string endCode, int index, out string[] matchItems)
        {
            matchItems = null;
            if (string.IsNullOrEmpty(startCode) && string.IsNullOrEmpty(endCode))
            {
                return contentCode;
            }
            Regex regObj = new Regex(startCode + @”([\S\s]*?)” + endCode, RegexOptions.Compiled | RegexOptions.IgnoreCase);
            MatchCollection matchItemList = regObj.Matches(contentCode);
            if (matchItemList != null && matchItemList.Count >= index)
            {
                matchItems = new string[matchItemList.Count];
                for (int i = 0; i < matchItemList.Count; i++)
                {
                    matchItems[i] = matchItemList[i].Groups[1].Value;
                }
                index = index > 0 ? index – 1 : 0;
                return matchItemList[index].Groups[1].Value;
            }
            return string.Empty;
        }
        #endregion
    }
}

 

3:编写天气预告实体类,将采访的音信以实体再次来到,如若采集七个,再次回到正是List<实体>了

澳门葡京 5澳门葡京 6

  public class WeatherInfo
    {
        private string imgUrl;
        /// <summary>
        /// 天气图片地址
        /// </summary>
        public string ImgUrl
        {
            get { return imgUrl; }
            set { imgUrl = value; }
        }
        private string wind;
        /// <summary>
        /// 气候风力
        /// </summary>
        public string Wind
        {
            get { return wind; }
            set { wind = value; }
        }
        private string cityName;
        /// <summary>
        /// 天气城市名称
        /// </summary>
        public string CityName
        {
            get { return cityName; }
            set { cityName = value; }
        }
        private string temperature;
        /// <summary>
        /// 空气温度
        /// </summary>
        public string Temperature
        {
            get { return temperature; }
            set { temperature = value; }
        }
        private string description;
        /// <summary>
        /// 天气表达
        /// </summary>
        public string Description
        {
            get { return description; }
            set { description = value; }
        }

 

4:编写采集Soso的天气预告类

 

A:新建采集天气预告类:WeatherSearch

澳门葡京 7澳门葡京 8

    /// <summary>
    /// 笔者:路过高商
    /// 博客:http://cyq1162.cnblogs.com
    /// </summary>
    public class WeatherSearch
    {
        /// <summary>
        /// 数据搜集来源于腾信搜搜天气预先报告
        /// </summary>
        /// <param name=”cityName”></param>
        /// <returns></returns>
        public static WeatherInfo Get(string cityName)
澳门葡京,        {
              //待实现
        }

        private static WeatherInfo GetFormCache(string cityName,string key)
        {
            object weather = HttpContext.Current.Cache.Get(key);
            if (weather!=null)
            {
                return weather as WeatherInfo;
            }
            return null;
        }

    }

 

重中之重表达:

采访一遍后,记得缓存起来,否则老是访问都现采,刷刷就被soso给封了,切身经历啊。

 

B:Get函数分解:

1:先读取缓存,注意缓存Key用日期做key,可以方便缓存后天和删除后日的缓存。

澳门葡京 9澳门葡京 10

        public static WeatherInfo Get(string cityName)//中文城市称号
        {
            if (string.IsNullOrEmpty(cityName))
            {
                return null;
            }
            string todayKey = cityName + DateTime.Now.ToString(“yyyyMMdd”);
            WeatherInfo weather = GetFormCache(cityName, todayKey);
            if (weather == null)
            {
                //待实现
            }
        }

2:读不到缓存就现采了,调用采集类

澳门葡京 11澳门葡京 12

 if (weather == null)
  {
                weather = new WeatherInfo();
                weather.CityName = cityName;
                cityName = System.Web.HttpUtility.UrlEncode(cityName + “天气”, Encoding.GetEncoding(“gb2312”));
                string url = “http://www.soso.com/q?num=1&w=” + cityName;

                //采集所有html
                string html = GatherHelper.GetHtmlCode(url, Encoding.GetEncoding(“gb2312”));
                //接下来待完结
  }

说明:

这边都会要用中文编码传过去,至于url,是自家发觉的最精简的参数,现在已把搜搜的摸索页面包车型客车全html抓回去了,接下去正是分手出想要的音信。

3:分析html,减弱范围,对于一大堆html,大家只要这一片段

澳门葡京 13澳门葡京 14

<!–上边的被不难–>
<div class=”w_main”>
                                            <ol>
                                                <li class=”w_space” title=”北风4-5级”><span>今天(周五)</span>
                                                    <img src=”http://cache.soso.com/zdq/wea/s\_a3.png” onload=”setPng(this,48,48)” />
                                                    <span>21 / 28<em>°</em>C</span><span class=”w_w”>卷多云转小雨</span> </li>
                                                <li title=”北风3-4级”><span>明天(周六)</span>
                                                    <img src=”http://cache.soso.com/zdq/wea/s\_a3.png” onload=”setPng(this,48,48)” />
                                                    <span>22 / 28<em>°</em>C</span><span class=”w_w”>多云转大雨</span> </li>
                                                <li title=”微风”><span>后天(周日)</span>
                                                    <img src=”http://cache.soso.com/zdq/wea/s\_a33.png” onload=”setPng(this,48,48)” />
                                                    <span>18 / 29<em>°</em>C</span><span class=”w_w”>多云</span> </li>
                                            </ol>
</div>
<!–上面包车型地铁也被略去–>

说明:

我们选取GetContent方法能够至极便宜的减弱范围,只要找到唯一的初阶标签和终止标签,不会正则,也如出一辙截取。

4:使用GetContent步步截取所急需新闻

澳门葡京 15澳门葡京 16

if (string.IsNullOrEmpty(html)) { return null; }
                //减少范围
                html = GatherHelper.GetContent(html, “<div class=\”w_main\”>”, “</div>”, 1);
                if (string.IsNullOrEmpty(html)) { return null; }

                //说明
                weather.Description = GatherHelper.GetContent(html, “<span class=\”w_w\”>”, “</span>”, 1);
                //图片
                weather.ImgUrl = GatherHelper.GetContent(html, “<img src=\””, “\””, 1);
               
                //风向
                weather.Wind=GatherHelper.GetContent(html, “title=\””, “\””, 1);

                //温度
                weather.Temperature = GatherHelper.GetContent(html, “/> <span>”, “<em>”, 1);

5:存入缓存并排除后天的缓存音讯[看要求呈现几天的消息了]

澳门葡京 17澳门葡京 18

                HttpContext.Current.Cache.Insert(todayKey, weather);
                string yesterdayKey = cityName + DateTime.Now.AddDays(-1).ToString(“yyyyMMdd”);

                if (HttpContext.Current.Cache.Get(yesterdayKey)!=null)
                {
                    HttpContext.Current.Cache.Remove(yesterdayKey);
                }

 

5:界面调用

澳门葡京 19澳门葡京 20

 protected void Page_Load(object sender, EventArgs e)
    {
        WeatherInfo info = WeatherSearch.Get(“广州”);
        if (info != null)
        {
            litCity.Text = info.CityName;
            litDescprtion.Text = info.Description;
            imgUrl.ImageUrl = info.ImgUrl;
            litWind.Text = info.Wind;
            litTemperature.Text=info.Temperature;
        }
    }

 

6:调用结果

澳门葡京 21

 

 

末尾结言:

本博没有不慢评论通道,大伙积极点入手。

再不济手动复制-》“此文不错,值的引荐”!!

-_-…!!!

IE6好卡,鼠标又发疯,单击双击混在一齐,本文写起来好辛勤~~

 

 

本文示例下载地址:CYQ.Data 轻量数据层之路
bug反馈、优化提出、最新框架下载