? ? ? ? 没及时处理看见文章区意见反馈的难题,有误对不起,拉下标识符看了呵呵如果是Pyecharts中Map的data_pair正则表达式出现了变动,谢鲁瓦dic_items转化成为list方可。
? ? ? ? 大部份聚合的csv、禽流感世界地图、建模图象均在工程项目子产品目录。
? ? ?受2019-nCoV的负面影响,这场没烽烟四起的禽流感防卫防卫战早已开打。在全省国民团结一心的不懈努力下,禽流感情形在逐渐趋于平稳,但他们依然无法盲目乐观。
? ? 禽流感没早已开始暴发的这时候,我就每晚高度关注禽流感情形,不光是全省禽流感世界地图。后,就始终想著领到统计数据他们做两个,但没秉持做那个事,前两天用Python爬了呵呵战绩查阅中文网站,顺著下来,把那个市场需求给做出。
? 话不多说,先上图吧:
我国禽流感世界地图
各县详细情形
武汉市各县禽流感曲线拟合情形
产品目录
全文
统计数据来源分析
统计数据整理
标识符部分
? ? 标识符中要使用的第三方库如下:
一、截取全省各县禽流感信息,聚合csv文件 基础
二、利用pyecharts绘出我国禽流感世界地图? 进阶
三、 截取全省各县市区禽流感统计数据并进行统计数据建模? 扩展?
?总结
? ? ? 统计数据来源于 丁香医生:https://ncov.dxy.cn/ncovh5/view/pneumonia?
? ? ? 丁香医生统计数据见下图:
? ? ?? ? ? ? ? ? ? ? ? ? ? ? ?
? ? ?看见这,可能会想,这统计数据如果直接放tr,td或者ul,li里的啊,直那接发送请求,获取页面DOM中的文本就行了
? ? ?最早已开始我也这样想的,看完网页源标识符后,才发现并不是-_-||
? ? ?实际上,我国各县统计数据都存储在id为getAreaStat的script标签中,然后动态渲染到view上。
? ? 所以他们要做的就是截取id为getAreaStat的script标签中的文本内容
很容易看出,script标签中的统计数据是以json形式存储的,他们把json串进行验证、格式化,整理好里面的统计数据。?
左边密密麻麻的统计数据经过格式化后,就很直观看见json串内部的存储情形,大致如下:整个json串中,每个省是两个dict,每个省里面的cities是两个子list存储该省各县统计数据。?
?requests 发送http请求,处理url资源?pyquery? 提取页面dom中统计数据 (或者:Beautiful Soup4)?pandas? 将统计数据聚合csv表格?pyecharts 绘出图象
?1.标识符分析:
?2.源码:
?3.运行效果:
说到绘出表格,最先想到的就是Apache开源的echarts框架,效果好、功能强大。因为对Matplotlib库不熟悉,本想领到统计数据后,用echarts框架前端他们画两个,然后了解到有专门的pyecharts,所以很nice!
建议不了解echarts或者是pyecharts的同学,一定要先阅读官方API,了解基本图象类型和各种参数,要不写起来一段链式操作里面各种各样的参数,会有点懵o((⊙﹏⊙))o!
1.标识符分析:
2.源码:
3.运行效果:
?
? ? ? 他们以上都只使用了各个省的统计数据,而最早已开始分析了,每个省的dict中还包含该省个市(区)的统计数据,他们无法把这些统计数据浪费了,爬取到了就要把它们好好利用起来,所以他们把全省各县市区大部份禽流感统计数据进行分类建模。
? ? 这里要说的是:他们对每个省(直辖市)下面市(区)禽流感统计数据进行建模时也可以用pyecharts中的Map,但为了更加熟悉pyecharts他们这里换一种表格类型 Pie 饼图。?
? ?看起来很麻烦,请求各个省还要包括市的统计数据,最后还要绘图,太麻烦了吧,实则不然(*^▽^*)? 短短30行标识符方可
1.标识符分析
?
2.源码
3.运行效果:
短短1.1s他们就爬取到了全省大部份省市的禽流感统计数据、整理并且聚合统计数据图象
随机打开两个饼图查看效果:?
四川省各县禽流感统计数据
? 至此,他们就完成了全省各县市禽流感动态统计数据的截取和处理,同时绘出了我国禽流感世界地图。在此之上,他们又进一步扩展, 对我国省、自治区、直辖市的禽流感统计数据进行了批量归整和建模。在这期间温习了requests库、pandas、pyquery库等,同时也认识和学习了强大的图象绘出pyecharts库,可谓收获颇深!故在此分享共同了解和学习!
? ? ? 最后,武汉加油,我国加油!禽流感终会过去,春天必会到来!
图片来源于网络
? ?希望下次再运行这段标识符时,看见的禽流感世界地图会是这样的:
发表评论