[各省新增疫情是多少人]Python爬虫小记(2):抓取全国各省市疫情实时数据绘制2019-nCoV疫情地图

 admin   2022-09-10 20:57   77 人阅读  0 条评论

? ? ? ? 没及时处理看见文章区意见反馈的难题,有误对不起,拉下标识符看了呵呵如果是Pyecharts中Map的data_pair正则表达式出现了变动,谢鲁瓦dic_items转化成为list方可。

? ? ? ? 大部份聚合的csv、禽流感世界地图、建模图象均在工程项目子产品目录。

? ? ?受2019-nCoV的负面影响,这场没烽烟四起的禽流感防卫防卫战早已开打。在全省国民团结一心的不懈努力下,禽流感情形在逐渐趋于平稳,但他们依然无法盲目乐观。

? ? 禽流感没早已开始暴发的这时候,我就每晚高度关注禽流感情形,不光是全省禽流感世界地图。后,就始终想著领到统计数据他们做两个,但没秉持做那个事,前两天用Python爬了呵呵战绩查阅中文网站,顺著下来,把那个市场需求给做出。

? 话不多说,先上图吧:

我国禽流感世界地图

各县详细情形

武汉市各县禽流感曲线拟合情形

产品目录

全文

统计数据来源分析

统计数据整理

标识符部分

? ? 标识符中要使用的第三方库如下:

一、截取全省各县禽流感信息,聚合csv文件 基础

二、利用pyecharts绘出我国禽流感世界地图? 进阶

三、 截取全省各县市区禽流感统计数据并进行统计数据建模? 扩展?

?总结

? ? ? 统计数据来源于 丁香医生:https://ncov.dxy.cn/ncovh5/view/pneumonia?

? ? ? 丁香医生统计数据见下图:

? ? ?? ? ? ? ? ? ? ? ? ? ? ? ?

? ? ?看见这,可能会想,这统计数据如果直接放tr,td或者ul,li里的啊,直那接发送请求,获取页面DOM中的文本就行了

? ? ?最早已开始我也这样想的,看完网页源标识符后,才发现并不是-_-||

? ? ?实际上,我国各县统计数据都存储在id为getAreaStat的script标签中,然后动态渲染到view上。

? ? 所以他们要做的就是截取id为getAreaStat的script标签中的文本内容

很容易看出,script标签中的统计数据是以json形式存储的,他们把json串进行验证、格式化,整理好里面的统计数据。?

左边密密麻麻的统计数据经过格式化后,就很直观看见json串内部的存储情形,大致如下:整个json串中,每个省是两个dict,每个省里面的cities是两个子list存储该省各县统计数据。?

?requests 发送http请求,处理url资源?pyquery? 提取页面dom中统计数据 (或者:Beautiful Soup4)?pandas? 将统计数据聚合csv表格?pyecharts 绘出图象

?1.标识符分析:

?2.源码:

?3.运行效果:

说到绘出表格,最先想到的就是Apache开源的echarts框架,效果好、功能强大。因为对Matplotlib库不熟悉,本想领到统计数据后,用echarts框架前端他们画两个,然后了解到有专门的pyecharts,所以很nice!

建议不了解echarts或者是pyecharts的同学,一定要先阅读官方API,了解基本图象类型和各种参数,要不写起来一段链式操作里面各种各样的参数,会有点懵o((⊙﹏⊙))o!

1.标识符分析:

2.源码:

3.运行效果:

?

? ? ? 他们以上都只使用了各个省的统计数据,而最早已开始分析了,每个省的dict中还包含该省个市(区)的统计数据,他们无法把这些统计数据浪费了,爬取到了就要把它们好好利用起来,所以他们把全省各县市区大部份禽流感统计数据进行分类建模。

? ? 这里要说的是:他们对每个省(直辖市)下面市(区)禽流感统计数据进行建模时也可以用pyecharts中的Map,但为了更加熟悉pyecharts他们这里换一种表格类型 Pie 饼图。?

? ?看起来很麻烦,请求各个省还要包括市的统计数据,最后还要绘图,太麻烦了吧,实则不然(*^▽^*)? 短短30行标识符方可

1.标识符分析

?

2.源码

3.运行效果:

短短1.1s他们就爬取到了全省大部份省市的禽流感统计数据、整理并且聚合统计数据图象

随机打开两个饼图查看效果:?

四川省各县禽流感统计数据

? 至此,他们就完成了全省各县市禽流感动态统计数据的截取和处理,同时绘出了我国禽流感世界地图。在此之上,他们又进一步扩展, 对我国省、自治区、直辖市的禽流感统计数据进行了批量归整和建模。在这期间温习了requests库、pandas、pyquery库等,同时也认识和学习了强大的图象绘出pyecharts库,可谓收获颇深!故在此分享共同了解和学习!

? ? ? 最后,武汉加油,我国加油!禽流感终会过去,春天必会到来!

图片来源于网络

? ?希望下次再运行这段标识符时,看见的禽流感世界地图会是这样的:

本文地址:http://51ac.top/post/15138.html
版权声明:本文为原创文章,版权归 admin 所有,欢迎分享本文,转载请保留出处!

 发表评论


表情

还没有留言,还不快点抢沙发?