讲座报道丨刘政：新经济与大数据
日期：2019-09-17 来源：深圳市民文化大讲堂
新经济与大数据
编者按：2019年9月8日，深圳市委宣传部、深圳市社科联联合邀请刘政老师作客深圳市民文化大讲堂，为市民朋友们做了一场题为“新经济与大数据”的讲座。
精彩演讲内容回顾：
世界上的任何事物、过程演变都可以用数据记载下来。这些数据中隐含了事物的内在规律。挖掘事物的内部真相，就是数据分析的过程。这些分析的结果能够帮助人们认识真相，做出决策。
大数据对人们的影响是全方位的，涵盖了各行各业，包括科学研究、社会形态、政府管理、新兴行业等。用大数据解决经济和社会问题，改变了经济学在大众心中的印象、乃至改变经济学教育本身的意义，它把经济学作为工具，将这些工具应用于城市、教育、住房、医疗等具体问题的展示，这就是新经济。例如淘宝，就是互联网所带来的新经济。
大数据能够推动实现巨大经济效益，全球大数据直接和间接拉动信息技术支出将达1200亿美元，同时大数据能够推动和增强社会管理水平。
一、经济学与数据分析技术
哈佛大学经济学教育对全世界经济学的教育有举足轻重的影响。哈佛的经济学教授曼昆的《经济学原理》一书更是经济学界的经典著作，享誉全球。
但最近，曼昆教授，在教了14年“经济学原理”之后，不再教授此课程。
与此同时，经济学界的后起之秀哈吉·柴提教授在哈佛开设了一门经济学课程，课程代号Economics 1153，名为“用大数据解决经济和社会问题”。开设第一学期，该课程就吸引到374名学生(包括363名本科生)，受欢迎程度直逼曼昆的“经济学原理”课程。
大数据是当代流行词，经济和社会问题的日益突出亦是不言而喻，但是把两者结合起来、并作为入门级课程教给学生可谓绝非易事。柴提做的正是这样一件事，具有改变经济学在学生和大众心中的印象、乃至改变经济学教育本身的意义。
从历史上看，有一门学科叫计量经济学，它是以一定的经济理论和统计资料为基础，运用数学、统计学方法与电脑技术，以建立经济计量模型为主要手段，定量分析研究具有随机性特性的经济变量关系的一门经济学学科。甚至1969年时的诺贝尔经济奖就颁给了计量经济学的两位创始人，因此大数据与经济学之间在很早之前便有了联系。
还有一个是时间序列（或称动态数列），是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列。时间序列分析的主要目的是根据已有的历史数据对未来进行预测。
比如一国经济GDP的变化，每一年或每一个季度GDP的变化，可以通过对旧的数据分析，建立出一个数学模型，红线是实际真正发生的历史数据，通过历史数据推导出一个数学模型，这样便可推测出将来要发生的事情，蓝线部分就是根据红线的模型预测出来的，所以通过时间序列的方法可以对将来发生的事情进行推测、进行预测。2003年的诺贝尔经济学奖颁给了时间序列经济学的奠基人。
最后还有运筹学，华罗庚的优选法便属于运筹学内容，把二者相结合，能解决生产中出现的许多问题。例如如何使得生产效益最大化，生产成本最小化。运筹学就是优化过程，类似于求曲线的最大、最小值，但是，实际生活中的最大、最小值则受到很多因素影响，因而运筹学相对较复杂。在运筹学领域中甚至有12人获得了诺贝尔经济学奖。
二、数据分析技术的产生和发展
第二次世界大战中，美英两国使用运筹学的方法解决当时迫切需要把各种稀少的资源以最有效的方式分配给各个战场和军事单位的问题。
1962年， John W. Tukey发表了《数据分析的将来》，系统化地总结了数据分析，随后，数据分析正式成为一个行业。
上个世纪60年代，计算机被用来辅助决策支持。统计分析的算法开始逐渐被程序化，计算效率极大地提高，使得对数据的复杂计算成为了可能，比如，当时美国农业部要分析大量的农业数据以提高粮食产量、健康研究所分析医学数据、和政府分析人口普查的数据等。
随后，统计分析的软件逐渐被人们所接受，并出现了一部分以数据分析为主的公司，而计量经济学、时间序列的系列软件也慢慢出现。当时，整个的计算机硬件和软件都在快速变化，新的操作系统出现，同时要求相应的软件。开始支持IBM的操作系统DOS。
随着更多的操作系统的出现，要求软件的兼容性，开始有适合于小型机的软件。 80年代中出现了个人机 PC。后来又建立了PC与大型机的连接，使得运行程序的PC可以使用存储在大型机上的数据。
当互联网出现以后，要求支持互联网的软件，使得这种软件在商业领域更具竞争性。世界和市场需求驱动公司的软件发展。欧洲的巴塞尔协议和美国爱国者法案的出现，使得商业世界要求软件能够帮助金融机构管理风险，反洗钱，和反欺诈。这种专用的解决方案在金融领域获得了广泛的应用。
几十年来，由于计算机和互联网的发展，人们的生活发生了巨大的改变，日益与数据联系在一起，并随之进入了大数据时代。
大数据有着容量大、种类多、增速快的特点。随着数据量呈爆炸式的增长，传统的数据处理技术已经无法满足需要。高性能分析架构形成了今后数据分析的骨干架构，内存分析，库内分析和网格计算。这种架构可以根据需要加以扩展。
这些技术可以解决数据量大的问题。我们通常讲的数据分析技术主要处理结构化的数据，对于非结构化的数据，比如，文本、图片、语音和视频数据，还需要使用机器学习和深度学习的算法。
前段时间很火的阿尔法狗就使用的机器学习方法。机器学习指通过算法，机器从大量的历史数据中学习规律，从而对新的情况做出判别和决策。比如阿尔法狗首先学习围棋的规则、棋谱以及运行规律，之后便能根据情况进行对弈。
文本分析，指从文章中抽取相关信息，挖掘和分类信息以揭示文本中词语之间的模式，情感和关系。比如新华社想要了解国外媒体对于一个事件的态度、看法，通过机器学习方法对各种报道进行文本分析，即可很快得出结论；另外政府可对社交媒体上的数据，对民众的观点进行分析，了解民众的政治倾向。
深度学习则是指模拟人脑进行分析学习的神经网络，它模仿人脑的机制来分析数据，例如文本、声频和视频等，用于人脸识别、语音识别、视频分析以及自然语言处理等。
深度学习在图像处理、文本分析和语音识别等多个领域产生了较大的影响。但仍有其局限性：一是缺少理论支持，深度学习方法常常被视为黑盒，大多数的结论确认都由经验而非理论来确定；二是缺乏推理能力；三是缺乏短时记忆能力；四是缺乏执行无监督学习的能力。
因此，深度学习的未来方向为无监督学习；深度学习在机器视觉和自然语言理解上的突破；深度学习与复杂推理的结合。
既然对数据进行了分析，那么分析的结果就需要展示。传统的统计图表只能呈现数据的基本信息，条形图、饼状图、柱状图、散布图、曲线图，以及用不同颜色对不同省份进行标注的地图等等。面对复杂或大规模异型数据集，比如商业分析、财务报表、人口状况分布、媒体效果反馈、用户行为数据等，则需要数据可视化进行展示。
可视化分析技术自动化程度较高，对使用者的要求不高，就像是用“傻瓜相机”，只要会按按钮就行了，使得数据分析更加地平民化。
大数据、物联网、人工智能以及云计算，它们之间如何结合在一起呢？
新一代的数据分析平台可以将这几项技术糅合在一起。数据保存在云端，数据分析软件也在云端进行；处理的数据有结构化的、非结构化的、甚至包括数据流，而数据流则来自于物联网的传感器；各种人工智能的算法都包括在数据分析的算法中，某些算法也可以对物联网数据、大数据进行分析。真正做到了把四种技术统一到一起的平台。
那么上文所提到的计算机技术、大数据以及互联网又是怎样的联系呢？计算机技术最先出现，对各行各业产生了很大影响。后来互联网出现，带来了很多的新型经济，让大家可以逛淘宝，在网络中看小说、社交等等。由此产生了很多的数据，大数据也就相应而生。这三项技术都具有普适性，对各行各业有着广泛的影响。
物联网、人工智能、金融科技等都是以这三项技术为基础。我们可以说现在处在互联网时代，可以说处在计算机时代，也可以说处在大数据时代。
三、大数据时代
大数据时代特点鲜明。首先，数据可创造价值、可进行买卖，是生产资料；过去做决策都是定性的，有了数据分析，人们的决策就成为了定性+定量，可以提高准确性；人工智能、智慧城市，物联网，会帮助我们进入到智能化社会；科学研究有三大范式：理论推导、科学实验、模拟。模拟的方法就是对于无法实现的环境可通过模拟、虚拟现实的方式进行科学研究，比如超高温，有违伦理的药物实验等；有了大数据以后，人们进行科学研究就有了第四范式，那就是数据分析的方法；在社会治理方面，数据分析的方法可以为反恐、防止犯罪带来高效率和准确性。
大数据时代的十个发展趋势则是：数据分析技术和方法快速发展；数据分析使得物联网、机器智能化成为可能；数据资产的出现需要新的法律条款；出现社会治理新手段；大数据会改变人们的思维方式；数据分析平民化、普遍化；形成新的生活模式；新的商业机会和就业形式；军队变革以及政治、军事手段的延伸。
1975年时第四届人大会议上，周总理提出2000年的时候实现四个现代化，即农业现代化、工业现代化、科学技术现代化、国防现代化。第五个现代化则是社会治理现代化，通过大数据分析，改进决策体制，提高科学决策水平；增强国家治理能力-公共安全；提高政府服务效能（数字政府）。
大数据时代是互联网之后又一次IT革命，云计算将彻底改变网络架构模式，软件无需再单机安装，云端的软件将是浏览器化的，各种软件要重写，开源软件将对传统的商业软件造成冲击，这是中国软件赶超的好机会。中国要抓住大数据+云计算时代，争取在基础软件和大数据分析方面出现几个世界级的公司，带动全国的经济发展。数据分析将是智能机器实用的基础，智能机器将是下一波的经济增长点。
但这对于中国来说是机遇也是挑战。在数据分析软件方面，中国公司仍然没有优质产品，目前仍是国外跨国公司居多；欠缺有丰富经验的相关人才；国家安全方面，如美国的棱镜计划和社交媒体分析；数据安全方面，中国公司还是要将数据放在可靠的云产品上；公共安全方面，当代社会，有预谋的犯罪越来越高科技，安全部门相应的挑战越来越高等等。
数据人才十分短缺，中国目前的人才缺口也在百万级别。同时，也缺少经验丰富的人员，还有很多计算机人员需要增加数据分析能力。
数据分析职业是一个有较高难度的职业，要求有很好的数学和统计分析的知识，计算机技能，业务知识和多年的经验积累。对数据的敏感度和感知是优秀分析师必须要具备的素质。要培养高质量的数据分析人才，还要从大学教育开始。我国很多大学都设定了相关专业，开设了相应的课程。
四、大数据带来的新经济
大数据对经济活动的影响是多方面的，但是主要有这么几点：对现有产业的改进、促进作用，提高效益；带来新兴的产业；产生新的经济模式；增加就业。
大数据分析的并不是单单指一种简单的方法，其分析水平可分为八个级别。
这是数据分析在各个领域使用的比例，其中应用度最高的是银行。
上图则是各种实际应用，其中38%与客户有关，随后才是银行业、反欺诈、金融业等。
数据驱动营销在过去十多年里快速地发展演进。所列为数据驱动营销的能力，但并非后者取代前者，可依业务目标操作不同的营销方式，或搭配使用。现在应延续过去分析线索，挖掘模型或各类型营销活动产生，在业务面与技术应用层面支撑营销闭环自动化与优化之外，未来更应丰富多样数据，发展实时客户交互联系, 实现全渠道的客户体验, 以及整合性营销。
巴塞尔协议中提到了市场风险、信用风险和操作风险等。
其中，大数据在信贷领域发挥着重要作用，其覆盖信贷领域各个流程，重点是获客、身份验证和授信环节。
大数据还应用于反欺诈，反欺诈是全球性的，包括社保欺诈、保险欺诈，故意制造事端后索赔，还有社会救助欺诈。
要应对新的欺诈手段，反欺诈系统就要把政府部门的数据集成到大型中央数据仓库，同时要包括外部数据和购买的数据，因为欺诈者经常倾向于提供不精确，不完整和不一致的数据，以防止分析人员在不相干系统做匹配，发现他们的勾当。同时，反欺诈系统要有混合分析能力找出欺诈模式，为调查人员提供有意义的信息和分析报告。
包括大数据分析在反洗钱中的应用。有一个人的孩子在美国上学，他想寄一些钱过去，但是寄超过一万元美元的话，美国银行会对其进行监控，为了防止监控，他每次寄不到一万，分多次寄，而这就是一个洗钱的场景，后来被软件发现并被控告。反洗钱的软件内设有多种特定场景，若符合特定场景，它就会对这个账户进行监控。
上图是美国做的关于大数据在医疗保健方面的应用。通过获取了十几个州的数据进行分析，分析到5%的公民却用掉到60%的社保；21%-47%的医保都是浪费掉的；10个病逝的人有7个是由于慢性病。
另外，大数据在通信内的应用最关键在于如何找到客户，找到后如何留住客户。
上文也提到过大数据还支持着金融科技、人工智能、物联网、以及生物工程等等。金融发展与科技是密切相关的，回顾其发展历程，金融机构一直是信息技术最积极的应用者。从这个意义上来说，科技驱动金融，并非始于当今，而是早已有之。总体来看，科技驱动金融经历了金融电子化和信息化、金融网络化和移动化、金融自动化和智能化三个阶段。目前，我们正处于金融自动化和智能化阶段。
人工智能中的人脸识别，语音识别，文本分析，机器翻译等等都需要通过对数据的分析使用来支持与应用。
可疑性交易其实也是物联网应用的一部分，指人员在进行交易的时候可发现他的违规和不违规，如有一个人是基金经理，通过卖他手中的股票，让股价下来以后，再用自己的钱把股票买回来，又通过大量收购股票，使得股票价格上涨，他又把股票卖掉，这是违规的，可以监控的。
大数据也可应用于故障预测。在墨西哥湾的深海钻探中，检测电子潜水器泵的有效性和油井表现。
大数据还可预测财产保养，通过每辆卡车60多个传感器发出的数据，预测故障发生前的保养期，在恰当的时间提前保养卡车，提供新的服务。
还有区块链的应用，区块链是实现网络-现实社会系统平行社会的基础架构之一，其主要贡献是为分布式社会系统和分布式人工智能研究提供了一套行之有效的去中心化的数据结构、交互机制和计算模式，并为实现平行社会奠定了坚实的数据基础和信用基础。区块链技术具有高度透明、去中心化、无须信任系统、去中介化、不可篡改（全节点维护）、加密安全等性质。其中最大的应用便是比特币。
智慧城市不单单要考虑网络、人工智能等硬件条件，还需要考虑文化、生态等。
关于重大事故调查与灾害保障系统。英国在这个系统上就做的很好。
接下来是刑事司法数据集成与分析，可以将来自整个刑事司法系统内外的各种来源的数据组合成一个准确、一致、完整的罪犯视图。然后，地方法官、办事员、执法人员和惩教人员就可以以一种广泛、易于理解的视角获取这些信息。
在医疗领域，大数据将各种资源集中在一起，为公众提供统一的健康医疗服务。
还有应用于产业融合、制造业的发展等等。
大数据分析可以帮助人们做很多事， 但是，大数据分析也是有欺骗性的。如Google（GFT）预测的流感样病例门诊超过了美国国家疾病和控制预防中心基于全美各实验室检测报告得出的预测结果两倍多。还有辛普森悖论和安斯库姆四重奏等等。
大数据和计算机技术一样，具有普适性和通用性，各行各业都需要，传统行业需要，而且是新兴行业的依托。目前，机器学习和深度学习算法在不断地丰富数据分析方法，是解决非结构化数据分析、人工智能的主要方法。大数据改变了社会形态，促进经济发展。而对于大数据分析，数据、软件、平台要协调一致。在对大数据进行分析的过程中，需要确保数据的真实性，分析方法的正确性以及分析结果的适用性。
有些图示来自于网络，在此表示感谢！