城乡规划大数据应用基础知识

2016-09-14 11:56:26         来源:规划前沿观察     浏览次数:

  近十年来,随着信息技术的迅速发展与移动互联网的广泛普及,大数据技术的应用与规划行业的结合,为现代城乡规划发展带来了前所未有的机遇和挑战。鉴于新事物的特点,规划编制与管理者在实际的工作中常常遇到一些新概念、新方法及新应用领域问题,本文拟从常用术语、数据来源以及数据处理三个方面进行简单介绍,希望能对实际工作者理解大数据在规划领域的应用有所帮助。

  △常用术语及含义

  (1)POI(PointOfInterest),兴趣点,是指各类地表设施的位置和属性信息集合而成的地理空间数据,每个POI一般包括名称、类别、业务描述、经纬度等方面信息,多来源于百度、高德、新浪等互联网公司。

  (2)SoLoMo,Social-Location-Mobile的简称,即社交本地移动。其中Social表示社交网络,用于帮助人们建立社交性的互联网应用服务,比如微博、微信、Facebook等。Location表示基于位置的服务,获取个体的空间位置和行为,实现各类与位置相关的业务,比如微博、微信中的实时位置。Mobile,表示以平板电脑和智能手机等为代表的移动互联网应用,是实时、动态跟踪用户行为的基础。

  (3)API(ApplicationProgrammingInterface),应用程序编程接口,开放的API使开发人员不用访问源代码或者理解内部工作机制的细节,就可以高效地调用该程序的相应功能。

  (4)OSM(OpenStreetMap),开源街道地图,是一个内容自由且所有人可编辑的地图。OSM数据开源,可自由下载使用,拓展了规划师的矢量空间数据来源,如城市道路网等。

  (5)手机数据,包括信令数据和话单数据,基本原理是手机信号需要定时和最近的通信基站发生联系,且通信基站是空间固定的且具有经纬度坐标。信令数据,依托运营商建立的信令监测平台,记录手机匿名ID、事件类别、时间、基站编号等信息;话单数据,依托运营商建立的计费系统,记录手机匿名ID、计费有关的通话、短信事件信息、发生时间、基站编号等信息。

  (6)数据库,当数据量过大,为了准确、快捷、人性化的管理所有数据,就需要用到数据库,可分为关系型数据库和非关系型数据库。关系型数据是指把所有数据通过二维表格的形式表示出来,比如Oracle、MicrosoftSQLServer和MySQL等数据库软件;非关系型数据库(NoSQL=NotOnlySQL),意即“不仅仅是SQL”,用于超大规模文档等数据的存储,NoSQL数据库软件有MongoDB、CouchDB等,谷歌和Facebook每天万亿比特[1]的用户数据即是采用NoSQL数据库存储的。

  (7)云计算(CloudComputing),把分散在世界各地的高性能计算机连接起来构成具有强大计算处理能力的资源池,用户可按需付费、按需使用,是处理大数据的未来发展趋势。Hadoop作为当前常用的基础云计算平台,是一个开源的分布式系统基础框架,适合大数据集的高速运算与存储,目前已广泛应用于包括Facebook、Twitter和Yahoo!等公司。

  △城乡规划中大数据来源主要包括互联网和智慧设施数据

  (1)互联网数据,包括导航地图类POI(百度地图、高德地图等)、大众点评类POI、微博数据(新浪微博POI、签到数据)、游记文本数据(携程网、蚂蜂窝、去哪儿网、同程网和艺龙网等旅游网站)、人口热图数据(百度热力图、腾讯热力图等)、房价数据(链家、搜房网、安居客等)和企业基础数据(龙信企业数据)等。

  (2)智慧设施数据,包括公交刷卡、出租车GPS、智能水电气表、手机数据(含手机信令、手机话单、手机上网)等。

  △城乡规划中大数据常用技术处理方法主要包括数据获取和数据分析两个方面

  (1)数据获取方法:一是对于大众点评类POI数据、游记文本数据、人口热图数据和房价数据等,可以通过网络爬虫的方式获取。网络爬虫,又称网页蜘蛛,指的是程序员基于python、Java等计算机语言编写程序或脚本,能够自动地访问互联网并将网站内容下载下来。另外,有些网站数据由于规律性较强,也可通过成熟的爬取软件(如火车头、八爪鱼)获取。二是对于导航类地图POI数据(百度地图POI、高德地图POI等)和微博数据(新浪微博POI和签到数据)等,必须通过编程调用官方开放的API接口获取。三是智慧设施数据通过相关部门或官方开放网站获取。

  (2)数据分析方法:一是数据预处理,比如数据清洗、数据变换等。其中,数据清洗是按照一定的规则把“脏数据”“洗掉”,发现并纠正数据文件中可识别的错误;数据变换即把原始数据转换成适合数据分析的形式,比如多种坐标系的统一,通常获取的数据为火星坐标系(GCJ-02)、百度坐标系(BD-09)、地球坐标系(WGS84)等,在具体的数据分析过程中,需要进行坐标转换统一至相同的空间平台。二是数据挖掘,将数据提炼为信息和价值的提升过程,主要包括统计分析、模式识别、机器学习和深度学习等处理方法,通过研究算法、确定模型、编写程序等方式,从大量数据中探索隐藏其中的信息、规律、分布特征等。

编辑:lianqi

凡注明“ ”的所有文章、项目案例等内容,版权归属本网,未经本网授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权者,应在授权范围内使用,并注明“来源: ”。违反上述声明者,本网将追究其相关法律责任。

相关阅读

兰州理工大学建筑与城乡规划专业展开幕

  5月26日上午,兰州理工大学【详细】

乡村规划师的人才困局:有情怀缺归属感

  原本城市才有的规划工作,8年前就走进了成都的乡村。今年4月,成都第八批乡村规划师开始招募了。【详细】

素描在设计表现中的应用

  不管是纪实性的摄影还是创作性的摄影,摄影师都要学会组织画面。新闻摄影的选材在于角度和距离,而策划性的摄影在于组织人物和道具。速写也是这样的。画家的眼睛不是照相机的镜头而是像一个调度员,选取合适的、对应【详细】

摩拜大数据:开启城市规划新想象

  为城市统筹规划提供依据【详细】

Baidu
map