实战系列的天气预报实时采集

前言:

今天
CYQ.Data 框架  框架群里,“路过冬天”问了个天气预报的问题,问哪里有webservice调用?于是随性就发了这篇稿子了。

 

天气预报,回忆中召开过那么三次。

 

先是软的做法是:

术总监写了个采访后台,每天必每采一不良,从tq121站里集大量底气候信息到数据库,我就径直由数据库里读数据了。

 

总结:

这种做法非常麻烦,每天要起来后台采数据,做成活动的,还要无半路程序自动死亡才行,而且数据库会发生大堆垃圾过时的数。

优点是:可以收集很多消息,做成很正规的天气预报站,那时候做旅游站,天气为是至关重要模块,所以这种方法啊甚适用。

 

第二次:

祥和开毕业设计,都没有采访后台,自己并且写不发出采集来,没多少读了,只好到处百度搜索“天气预报Webservice”调用。

 

总结:

这种做法为异常闹心,首先Webservice不好找,第二找到的假设小站提供的,随时又见面挂掉了,要是每户挂掉,你要另找一个?

优点是:找到就调用,什么吗未用无,菜鸟也克飞。

 

第三次:

举凡电子商务平台在首页显示下天气,那时候恰恰碰到刚做完web版的征集系统,于是顺理直接用搜集类库现采现显。

 

总结:

亮点是:不用和数据库打交道,现采现显,减少数据库压力,速度快,每天只有采一潮,丁点信息,缓存即可。对于天就是装饰性的极适用。

症结是:数据量少,不可知举行能专业性天气预报站。

 

以下介绍现采现显的贯彻方式

 

1:既然要募,当然找到有天气预报的站了,这个好好找,网上到处都是资源,只要您会采。

按百度,你追寻城市如广州,即会面世气象信息了,如图:

 

图片 1

 

随腾讯soso,如下图。当然还来其他众多丛,只要看收获的,都得搜集,不过最好好找好立,稳定。

 

图片 2

 

2:采集类,一个好的采集类,事半功倍,以下出一个简化版,足够采集天气信息

图片 3图片 4

using System;
using System.Text;
using System.Net;
using System.Text.RegularExpressions;

namespace CYQ.Tool
{
    /// <summary>
    /// 作者:路过秋天
    /// 博客:http://cyq1162.cnblogs.com
    /// </summary>
    public class GatherHelper
    {
        /// <summary>
        /// 返回获取之靶子地点HTML全部代码
        /// </summary>
        /// <param name=”strUrl”>目标地址</param>
        /// <returns></returns>
        public static string GetHtmlCode(string pageUrl, Encoding encoding)
        {
            try
            {
                //返回目标页HTML代码
                WebClient webclient = new WebClient();
                webclient.Credentials = CredentialCache.DefaultCredentials;
                byte[] buffer = webclient.DownloadData(pageUrl);
                string HtmlCode = encoding.GetString(buffer);
                webclient.Dispose();    //释放WebClient资源
                return HtmlCode;
            }
            catch
            {
                return string.Empty;
            }

        }

        #region 内容截取分析
        /// <summary>
        /// 返回根据情节开始和竣工代码分析有内容
        /// </summary>
        /// <param name=”ContentCode”>内容代码</param>
        /// <param name=”StartCode”>内容所在开始代码</param>
        /// <param name=”EndCode”>内容所在结束代码</param>
        /// <param name=”index”>取第几长达[从1开始]</param>
        /// <returns></returns>
        public static string GetContent(string contentCode, string startCode, string endCode, int index)
        {
            string[] matchItems = null;
            return GetContent(contentCode, startCode, endCode, index, out matchItems);
        }
        public static string GetContent(string contentCode, string startCode, string endCode, int index, out string[] matchItems)
        {
            matchItems = null;
            if (string.IsNullOrEmpty(startCode) && string.IsNullOrEmpty(endCode))
            {
                return contentCode;
            }
            Regex regObj = new Regex(startCode + @”([\S\s]*?)” + endCode, RegexOptions.Compiled | RegexOptions.IgnoreCase);
            MatchCollection matchItemList = regObj.Matches(contentCode);
            if (matchItemList != null && matchItemList.Count >= index)
            {
                matchItems = new string[matchItemList.Count];
                for (int i = 0; i < matchItemList.Count; i++)
                {
                    matchItems[i] = matchItemList[i].Groups[1].Value;
                }
                index = index > 0 ? index – 1 : 0;
                return matchItemList[index].Groups[1].Value;
            }
            return string.Empty;
        }
        #endregion
    }
}

 

3:编写天气预报实体类,将采的音讯以实体返回,如果采集多只,返回就是List<实体>了

图片 5图片 6

  public class WeatherInfo
    {
        private string imgUrl;
        /// <summary>
        /// 天气图片地址
        /// </summary>
        public string ImgUrl
        {
            get { return imgUrl; }
            set { imgUrl = value; }
        }
        private string wind;
        /// <summary>
        /// 天气风力
        /// </summary>
        public string Wind
        {
            get { return wind; }
            set { wind = value; }
        }
        private string cityName;
        /// <summary>
        /// 天气都名称
        /// </summary>
        public string CityName
        {
            get { return cityName; }
            set { cityName = value; }
        }
        private string temperature;
        /// <summary>
        /// 天气温度
        /// </summary>
        public string Temperature
        {
            get { return temperature; }
            set { temperature = value; }
        }
        private string description;
        /// <summary>
        /// 天气说明
        /// </summary>
        public string Description
        {
            get { return description; }
            set { description = value; }
        }

 

4:编写采集Soso的天气预报类

 

A:新建采集天气预报类:WeatherSearch

图片 7图片 8

    /// <summary>
    /// 作者:路过秋天
    /// 博客:http://cyq1162.cnblogs.com
    /// </summary>
    public class WeatherSearch
    {
        /// <summary>
        /// 数据收集来源于腾信搜搜天气预报
        /// </summary>
        /// <param name=”cityName”></param>
        /// <returns></returns>
        public static WeatherInfo Get(string cityName)
        {
              //待实现
        }

        private static WeatherInfo GetFormCache(string cityName,string key)
        {
            object weather = HttpContext.Current.Cache.Get(key);
            if (weather!=null)
            {
                return weather as WeatherInfo;
            }
            return null;
        }

    }

 

主要说明:

采一涂鸦后,记得缓存起来,不然老是访都现采,刷刷就受soso给封了,切身经历什么。

 

B:Get函数分解:

1:先念博缓存,注意缓存Key用日期做key,可以好缓存今天跟去昨天之休息存。

图片 9图片 10

        public static WeatherInfo Get(string cityName)//中文城市称号
        {
            if (string.IsNullOrEmpty(cityName))
            {
                return null;
            }
            string todayKey = cityName + DateTime.Now.ToString(“yyyyMMdd”);
            WeatherInfo weather = GetFormCache(cityName, todayKey);
            if (weather == null)
            {
                //待实现
            }
        }

2:读不交缓存就现采了,调用采集类

图片 11图片 12

 if (weather == null)
  {
                weather = new WeatherInfo();
                weather.CityName = cityName;
                cityName = System.Web.HttpUtility.UrlEncode(cityName + “天气”, Encoding.GetEncoding(“gb2312”));
                string url = “http://www.soso.com/q?num=1&w=” + cityName;

                //采集所有html
                string html = GatherHelper.GetHtmlCode(url, Encoding.GetEncoding(“gb2312”));
                //接下来要实现
  }

说明:

此都会如为此汉语编码传过去,至于url,是本身意识的最精简之参数,现在已经将搜搜的搜页面的全html抓回了,接下去就是分手有想使的消息。

3:分析html,缩小范围,对于一大堆html,我们如果这同有的

图片 13图片 14

<!–上面的吃略去–>
<div class=”w_main”>
                                            <ol>
                                                <li class=”w_space” title=”北风4-5级”><span>今天(周五)</span>
                                                    <img src=”http://cache.soso.com/zdq/wea/s\_a3.png” onload=”setPng(this,48,48)” />
                                                    <span>21 / 28<em>°</em>C</span><span class=”w_w”>多云转阵雨</span> </li>
                                                <li title=”北风3-4级”><span>明天(周六)</span>
                                                    <img src=”http://cache.soso.com/zdq/wea/s\_a3.png” onload=”setPng(this,48,48)” />
                                                    <span>22 / 28<em>°</em>C</span><span class=”w_w”>多云转阵雨</span> </li>
                                                <li title=”微风”><span>后天(周日)</span>
                                                    <img src=”http://cache.soso.com/zdq/wea/s\_a33.png” onload=”setPng(this,48,48)” />
                                                    <span>18 / 29<em>°</em>C</span><span class=”w_w”>多云</span> </li>
                                            </ol>
</div>
<!–下面的为给简单–>

说明:

我们应用GetContent方法好十分有利的紧缩范围,只要找到唯一的起首标签及了结标签,不会见正则,也一致截取。

4:使用GetContent步步截取所欲信息

图片 15图片 16

if (string.IsNullOrEmpty(html)) { return null; }
                //缩小范围
                html = GatherHelper.GetContent(html, “<div class=\”w_main\”>”, “</div>”, 1);
                if (string.IsNullOrEmpty(html)) { return null; }

                //说明
                weather.Description = GatherHelper.GetContent(html, “<span class=\”w_w\”>”, “</span>”, 1);
                //图片
                weather.ImgUrl = GatherHelper.GetContent(html, “<img src=\””, “\””, 1);
               
                //风向
                weather.Wind=GatherHelper.GetContent(html, “title=\””, “\””, 1);

                //温度
                weather.Temperature = GatherHelper.GetContent(html, “/> <span>”, “<em>”, 1);

5:存入缓存并清除昨天之复苏存信息[圈用出示几上之信了]

图片 17图片 18

                HttpContext.Current.Cache.Insert(todayKey, weather);
                string yesterdayKey = cityName + DateTime.Now.AddDays(-1).ToString(“yyyyMMdd”);

                if (HttpContext.Current.Cache.Get(yesterdayKey)!=null)
                {
                    HttpContext.Current.Cache.Remove(yesterdayKey);
                }

 

5:界面调用

图片 19图片 20

 protected void Page_Load(object sender, EventArgs e)
    {
        WeatherInfo info = WeatherSearch.Get(“广州”);
        if (info != null)
        {
            litCity.Text = info.CityName;
            litDescprtion.Text = info.Description;
            imgUrl.ImageUrl = info.ImgUrl;
            litWind.Text = info.Wind;
            litTemperature.Text=info.Temperature;
        }
    }

 

6:调用结果

图片 21

 

 

末尾结言:

本博没有很快评论通道,大伙积极点下手。

再不济手动复制-》“此文是,值的引进”!!

-_-…!!!

IE6好卡,鼠标又发疯,单击双击混在一块,本文写起好烦~~

 

 

本文示例下载地址:CYQ.Data 轻量数据层之路
bug反馈、优化建议、最新框架下载