大数据应用调研报告(精选7篇)由刀豆文库小编整理,希望给你工作、学习、生活带来方便,猜你可能喜欢“大数据调研报告”。
第1篇:大数据调研报告
大数据技术市场调查报告:“BigData浪潮”迫使企业做出抉择
发表于2012-02-06 13:26| 2517次阅读| 来源CSDN| 0 条评论| 作者李智
数据中心浪潮数据挖掘数据分析大数据
摘要:大数据时代的数据格式特性 首先让我们先来了解一下大数据时代的数据格式特性。从IT角度来看,信息结构类型大致经历了三次浪潮。必须注意这一点,新的浪潮并没取代旧浪潮,它们仍在不断发展,三种数据结构类型一直存在,只是其中一种结构类型往往主导于其他结构: 结构化信息这种信息可以在关...根据IDC的调查报告预测到2020年全球电子设备存储的数据将暴增30倍,达到35ZB(相当于10亿块1TB的硬盘的容量)。大数据浪潮的到来也为企业带来了新一轮的挑战。对于有准备的企业来说这无疑是一座信息金矿,能够合理的将大数据转换为有价值信息成为未来企业的必备技能。恰逢此时,CSDN专门针对企业相关人员进行了大规模问卷调研,并在数千份的调查报告中总结出现今企业大数据业务的现状。在此我们也将调研结果展示与此以供大家参考。
大数据时代的数据格式特性 首先让我们先来了解一下大数据时代的数据格式特性。从IT角度来看,信息结构类型大致经历了三次浪潮。必须注意这一点,新的浪潮并没取代旧浪潮,它们仍在不断发展,三种数据结构类型一直存在,只是其中一种结构类型往往主导于其他结构:
结构化信息——这种信息可以在关系数据库中找到,多年来一直主导着IT应用。这是关键任务OLTP系统业务所依赖的信息,另外,还可对结构数据库信息进行排序和查询; 半结构化信息——这是IT的第二次浪潮,包括电子邮件,文字处理文件以及大量保存和发布在网络上的信息。半结构化信息是以内容为基础,可以用于搜索,这也是谷歌存在的理由; 非结构化信息——该信息在本质形式上可认为主要是位映射数据。数据必须处于一种可感知的形式中(诸如可在音频、视频和多媒体文件中被听或被看)。许多大数据都是非结构化的,其庞大规模和复杂性需要高级分析工具来创建或利用一种更易于人们感知和交互的结构。
企业内部大数据处理基础设施普遍落后
从调查结果可以看出,接近50%的企业服务器数量在100台以内,而拥有100至500台占据了22%的比例。500至2000台服务器则占据剩下28.4%的比例。可以看出面对大数据现今大部分企业还没有完善其硬件基础架构设施。以现阶段企业内大数据处理基础设施的情况来看50%的企业面临大数据处理的问题(中小企业在面对大数据的解决之道应遵循采集、导入/处理、查询、挖掘的流程)。
但这只是暂时状况,“廉价”服务器设施会随着企业业务的发展逐渐被淘汰出历史的舞台,在未来企业基础架构体系的硬件选用上,多核多路处理器以及SSD等设备会成为企业的首选。Facebook的Open Compute Project就在业界树立了榜样,Open Compute Project利用开源社区的理念改善服务器硬件以及机架的设计。其数据中心PUE值也是领先与业内的其他对手。
而在具有大数据处理需求的企业中52.2%的日数据生成量在100GB以下,日数据生成量100GB到50TB占据了43.5%,而令人惊讶的是,日数据生成量50TB以上也有4.4%的份额。数据量持续的增长,公司将被迫增加基础设施的部署。专利费用将一直增加,而开源技术,则省了这笔一直持续的专利费。对于急需改变自己传统IT架构的企业而言,传统的结构化数据与非结构化数据的融合,成了所有人关心的问题。
企业面对大数据处理的挑战与问题
现今大数据呈现出“4V + 1C”的特点。既Variety:一般包括结构化、半结构化和非结构化等多类数据,而且它们处理和分析方式有区别;Volume:通过各种设备产生了大量的数据,PB级别是常态;Velocity:要求快速处理,存在时效性;Vitality:分析和处理模型必须快速变化,因为需求在变;Complexity:处理和分析的难度非常大。
从图中我们可以看出资源利用率低、扩展性差以及应用部署过于复杂是现今企业数据系统架构面临的主要问题。其实大数据的基础架构首要需要考虑就是前瞻性,随着数据的不断增长,用户需要从硬体、软件层面思考需要怎样的架构去实现。而具备资源高利用率、高扩展性并对文件存储友好的文件系统必将是未来的发展趋势。
应用部署过于复杂也催生了大数据处理系统管理员这一新兴职业,其主要负责日常Hadoop集群正常运行。例如直接或间接的管理硬件,当需要添加硬件时需保证集群仍能够稳定运行。同时还要负责系统监控和配置,保证Hadoop与其他系统的有机结合。
而多格式数据、读写速度(读写速度是指数据从端点移动到处理器和存储的速度)以及海量数据是企业面临大数据处理急需解决的技术挑战。众所周知随着大容量数据(TB级、PB级甚至EB级)的出现,业务数据对IT系统带来了更大的挑战,数据的存储和安全以及在未来访问和使用这些数据已成为难点。同时大数据不只是关于数据量而已。大数据包括了越来越多不同格式的数据,这些不同格式的数据也需要不同的处理方法。充分利用有用的数据,废弃虚伪无用的数据,是数据挖掘技术的最重要的应用。
企业内部数据分析与挖掘工具应用现状
云时代企业数据挖掘面临如下三点挑战。挖掘效率:进入云计算时代后,BI的思路发生了转换。以前是基于封闭的企业数据进行挖掘,而面对引入互联网应用后海量的异构数据时,目前并行挖掘算法的效率很低;多源数据:引入云计算后,企业数据的位置有可能在提供公有云服务的平台上,也可能在企业自建的私有云上,如何面对不同的数据源进行挖掘也是一个挑战;异构数据:Web数据的最大特点就是半结构化,如文档、报表、网页、声音、图像、视频等,而云计算带来了大量的基于互联网模式提供的SaaS应用,如何梳理有效数据是一个挑战。抛去价格因素之外可以看出反应速度慢、操作不方便、数据不准确、分析不准确这四项是企业数据分析与数据挖掘面临的主要问题。商业化解决方案固然成熟,但成本也是显而易见的。而具备在开源平台之上处理分析大数据能力的数据科学家则成为另外的一种选择。数据科学家具备专业领域知识并具备研究利用相应算法分析对应问题的能力,可帮助创建推动业务发展的相应的大数据产品和大数据解决方案。
从调查结果中我们可以看出Hadoop占据了半壁江山,而同为开源的HBase也有将近四分之一的占有率。而商业化的数据分析与挖掘平台(如Teradata、Netezza、Greenplum等)总共只有13.9%的份额。短期来讲,开源分析将越来越广泛的使用,并且增长迅速。长期来看,混合技术的应用将在高度竞争的市场上出现,两者将同样有巨大的需求。可以预见的是,Hadoop作为企业级数据仓库体系结构核心技术,在未来的10年中它将会保持增长。随着云时代的到来,企业面临的应用方式更加多元化,通过云的手段提供海量数据挖掘的方法,提高了挖掘的效率,增加了挖掘的精度,更利于挖掘应用的推广以及专业的行业知识库的构建。同时收集、存储庞大的新型数据充满了挑战,然而分析这些数据的新方法才是帮助最成功企业甩开竞争对手的利器。
第2篇:大数据审计调研报告
大数据审计调研报告
胡泽君审计长曾多次强调指出,要积极推进大数据审计,坚持科技强审,通过信息化、数字化,努力提高审计监督的质量和效率。新形势下,审计工作特别离不开大数据的支撑,利用大数据进行审计,或将成为审计机关应对复杂社会经济管理形势、提升审计工作质量的重要手段。以“金审工程”为基础的审计信息系统经过多年的建设发展,目前正逐步建立和完善。同时,在政府各部门中社会保障大数据既具有较高的完整性,也兼具较高的准确性。这些得天独厚的条件,不仅使审计对“大数据”监督管理成为可能,更为实施以“大数据”为基础的审计“全覆盖”奠定了基础。
一、大数据技术在财政审计方面的运用
(一)运用大数据开展财政审计是时代发展的必然要求。大数据不仅是信息技术的重大进步,更是发展理念的重大创新,对经济社会发展起到重要作用,对与数据密切相关的审计工作也必将产生深刻影响。当前,财政、税务、人民银行等部门普遍进行信息系统建设,财政部门开展的“金财工程”覆盖财政收支管理的业务应用系统,涵盖了预算管理、国库集中收付等业务,对财政部门的审计单位信息化的发展,迫切要求运用大数据开展财政审计。
(二)运用大数据开展财政审计是推动完善国家治理的迫切需要。财政审计的范围突破了传统的财政收支概念,囊括了政府性收支的全部内容。全口径预算的审查监督付诸实施,如何在有限的时间内查找和发现问题,运用大数据开展财政审计成为推动完善国家治理的迫切需要。
(三)运用大数据开展财政审计是财政精细化管理的要求。在精细化管理要求之下,财政预算审查、预算执行差异分析、预算与决算的对比分析都是使用系统大数据来完成的。相应地,财政预算执行审计要实现全口径分析,必须使用系统数据。如利用国库支付系统的数据,通过对指标来源、资金性质、资金流向的跟踪分析,实现所有财政资金全过程跟踪审计。(四)大数据审计现在的运用情况。按照审计署的要求,建立了财政数据定期报送机制,每半年收集一次财政数据,并对收集的数据进行整理,生成审计人员可以使用的标准表。财政科联合信息科,对预算编报系统、预算指标系统、非税征管系统、决算编报系统等的财务和业务数据,集中进行多系统关联、大数据比对。将数据分析形成的审计中间表和疑点表作为重点进行审计,提高了效率和增强指导性。审计结束后,强化经验总结,形成数据采集转换指南,归集整理形成财政大数据审计模型方法体系表,为进一步深化大数据审计积累经验。
二、社保审计大数据信息管理现状
(一)社保部门数据管理情况。一是社保业务实现网络化。随着金保工程的推进,社会保险“六险”统征已经实现,社会保障业务办理正逐步向社区(村)、单位及个人延伸,社会保障业务一体化架构正逐渐完善。二是社保资金使用服务实现规范化。卫生三级医疗服务网初步实现信息化,市级、县级医院、乡镇卫生院医疗业务管理系统已经平稳运行,乡村卫生管理一体化正逐步规范,居民人口及流动人口信息统计系统已趋于成熟。三是民政事业实现信息化。民政城乡居民低保、医疗救助及优抚等业务完成了由手工到信息化的转变,数据也由纸质向信息化转换。
(二)审计机关对社保数据的审计情况。审计机关在工作中采集了大量的财务数据和业务数据,但没有对这些数据进行统一和规范地管理,一般是保存在审计人员的电脑中,很难实现与局内其他审计人员和所属部门的数据共享,导致工作中出现重复采集数据的现象。由于大数据信息化环境下社保系统的特殊性,内部控制转变为对人和系统两方面的控制,而且多数情况是以计算机自动控制为主。数据网络安全存在隐患,大数据技术本身的技术架构,决定了采用“大数据”技术架构的系统安全防护的难度。
审计局在社保资金审计中,收集了医保、养老、低保、公积金等民生资金的业务数据,建立了审计数据库,信息技术人员和社保审计人员联合对各类数据进行了深入分析。在审计分析中,首先明确所面临问题的类型,然后根据类型的不同选择具体的处理方法。例如,在做参保对象的信用分析时,首先明确该问题类型属于分类,如果该问题类型无法用数据挖掘工具解决,那么就应当选择另外更加适合的方法来进行解决。建立审计方法,对采集的业务数据、财政财务数据以及相关外部数据进行综合分析,生成审计中间表和疑点分析数据,采取业务跟踪、内控测试、数据比对等方式,发现审计疑点并进行分析、筛查和分类。运用“互联网+”思维,注重外部数据的搜集和运用,包括企业登记信息、税务征缴信息、车辆信息、房产信息等与社保审计相关的数据。注重发票查询系统、企业信用公示系统等在公开资源的使用,积极挖掘和构建内、外部数据间潜在的关联,寻找相关的线索和突破口,搭建多维度、立体式审计工作大数据平台。(三)当前在社保审计中需解决的几个问题。一是解决数据价值认识和利用问题。在审计机关还存在着有些对于数据价值观念不强,不注重基础社保数据的积累和分类工作,对于历年的重要数据只是简单记录储存,从不进行仔细分析进而指导工作实践。对于多样复杂的大体量的社保数据,要么简要进行汇总统计,要么不知所措,甚至直接置之不理。就数据的分析方法而言,分析手段有限,专业性数据分析能力欠缺,不能够深度挖掘数据价值,加以充分吸收利用。二是解决架构模式改变问题。随着“大数据”、“云计算”在各行业的不断应用,数据架构与以往相比有了很大的变化,对数据的采集利用提出了新的、更高的要求。三是解决高端数据人才培养问题。多培养通晓相关专业知识和信息技术的复合型的人才,培养一批懂得大数据,收集大数据,并且善于研究大数据,深挖大数据的专家。加大对现有信息管理人员的大数据培训力度,掌握大数据相关技术。
三、大数据审计发展方向 面对大数据时代对审计工作带来的挑战,审计方式和途径将实现以下四个方面的转变。
(一)应用大数据分析技术,实现审计方法从数据验证性分析向数据挖掘性分析转变。
传统的计算机审计,是通过电子数据采集转换对数据进行验证,通过构建查询分析、多维分析等方法模型进行数据分析,而应用大数据分析技术,则能够使审计数据分析逐步由传统的验证性分析向挖掘性分析转变。挖掘性分析是指采用大数据处理技术,利用数据仓库、数据挖掘和模型预测工具进行审计分析,从大量数据中发现蕴涵的数据模式和规律。
(二)应用大数据分析模式,实现审计方式从发现问题向风险预警转变。
传统审计工作以发现问题为主,对经济形势进行预测分析,因而须等到相关事件发生并且形成一定规模后,再根据搜集到的足够数据进行分析研究,具有滞后性。而大数据技术可通过对跨领域的大规模经济、社会行为数据进行分析,对经济社会相关异常动态实现早期关注,利用其对异常数据的敏感性实现早期预警。审计可以运用大数据相关技术,对宏观经济社会风险问题展开初步分析。(三)应用大数据审计作业平台,实现单机审计向云审计转变。
以审计大数据为中心建设“云审计”平台,实现远程存储和移动计算,使审计机关能够通过网络接入“云”实施审计,利用大数据分析、人工智能等信息技术,解决数据采集分析和管理中存在的问题,实现审计成果共享。其次,应完善联网审计系统,逐步建立预算、执行、财政、地税、社会保障、医疗机构、公积金等重要行业和部门的审计实时监督系统。再次,应建设审计数据综合分析平台,运用大数据技术,加大业务数据与财务数据、单位数据与行业数据,以及跨行业、跨领域数据的综合比对和关联分析,提高运用信息化技术查核问题、评价判断、宏观分析的能力。最后,应推广“总体分析、发现疑点、分散核实、系统研究”的审计模式。
(四)构建专业的审计分析队伍,实现传统纸质账本审计向大数据审计转变。
审计工作应实现“六大转变”,即由单点离散审计向多点联动审计转变、由局部审计向全覆盖审计转变、由静态审计向静态与动态审计相结合转变、由事后审计向事后与事中审计相结合转变、由现场审计向现场审计与非现场审计相结合转变、由微观审计向微观与宏观审计相结合转变。为此,需要在组织方式、人员结构、思维方式等方面与之相适应。在组织方式上,应尝试开展无项目审计,依托审计数据中心积累的数据资源,横向关联比对分析,纵向深入挖掘分析,从数据中发现审计疑点和线索。在人员结构上,应不断提升“四种能力”,即大数据分析能力、综合研究能力、创新能力和跨领域知识运用能力,不断加强对大数据先进理念和前沿技术的学习,掌握大数据分析方法,提升审计人员综合素质。在思维方式上,应培养“数据先行”意识,以数据为核心,使数据分析在审计工作开展前先行实施,根据数据分析结果,有重点、有步骤、有深度地在审计实施过程中进行核查验证、追踪线索、发现问题,全面深化大数据技术在审计工作中的应用。
第3篇:银行大数据应用
大数据在未来发展中的应用
第一方面:客户分析。客户分析主要分为个人客户分析和企业客户分析。个人客户分析包括人口统计学特征、消费能力数据、兴趣数据、风险偏好等;企业客户分析包括企业的生产、流通、运营、财务、销售和客户数据、相关产业链上下游等数据。比如:
(1)客户在社交媒体上的行为数据(如光大银行建立了社交网络信息数据库)。通过打通银行内部数据和外部社会化的数据可以获得更为完整的客户拼图,从而进行更为精准的营销和管理;
(2)客户在电商网站的交易数据,如建设银行则将自己的电子商务平台和信贷业务结合起来,阿里金融为阿里巴巴用户提供无抵押贷款,用户只需要凭借过去的信用即可;
(3)企业客户的产业链上下游数据。如果银行掌握了企业所在的产业链上下游的数据,可以更好掌握企业的外部环境发展情况,从而可以预测企业未来的状况;
(4)其他有利于扩展银行对客户兴趣爱好的数据,如网络广告界目前正在兴起的互联网用户行为数据。
第二方面:精准营销。
(1)实时营销。实时营销是根据客户的实时状态来进行营销,比如客户当时的所在地、客户最近一次消费等信息来有针对地进行营销(某客户刷卡采购孕妇用品,可以通过建模推测怀孕的概率并推荐孕妇类喜欢的业务);或者将改变生活状态的事件(换工作、改变婚姻状况、置居等)视为营销机会;
(2)交叉营销。即不同业务或产品的交叉推荐,如招商银行可以根据客户交易记录分析,有效地识别小微企业客户,然后用远程银行来实施交叉销售;
(3)个性化推荐。银行可以根据客户的喜欢进行服务或者银行产品的个性化推荐,如根据客户的年龄、资产规模、理财偏好等,对客户群进行精准定位,分析出其潜在金融服务需求,进而有针对性的营销推广;
(4)客户生命周期管理。客户生命周期管理包括新客户获取、客户防流失和客户赢回等。如招商银行通过构建客户流失预警模型,对流失率等级前20%的客户发售高收益理财产品予以挽留,使得金卡和金葵花卡客户流失率分别降低了15个和7个百分点。
第三方面:风险管控。银行可通过企业的产、流通、销售、财务等相关信息结合大数据挖掘方法进行贷款风险分析,量化企业的信用额度,更有效的开展中小企业贷款。
第四方面:运营优化。
(1)市场和渠道分析优化。通过大数据,银行可以监控不同市场推广渠道尤其是网络渠道推广的质量,从而进行合作渠道的调整和优化。同时,也可以分析哪些渠道更适合推广哪类银行产品或者服务,从而进行渠道推广策略的优化。
(2)产品和服务优化:银行可以将客户行为转化为信息流,并从中分析客户的个性特征和风险偏好,更深层次地理解客户的习惯,智能化分析和预测客户需求,从而进行产品创新和服务优化。如兴业银行目前对大数据进行初步分析,通过对还款数据挖掘比较区分优质客户,根据客户还款数额的差别,提供差异化的金融产品和服务方式。
(3)舆情分析:银行可以通过网络社区上关于银行以及银行产品和服务的相关信息,并通过自然语言处理技术进行正负面判断,尤其是及时掌握银行以及银行产品和服务的负面信息,及时发现和处理问题;对于正面信息,可以加以总结并继续强化。同时,银行也可以抓取同行业的银行正负面信息,及时了解同行做的好的方面,以作为自身业务优化的借鉴。
第4篇:大数据中心选址调研报告
大数据中心选址调研报告
一、数据中心概念
大数据中心,是指服务于大数据存储、挖掘、分析和应用的数据中心。大数据(big data,mega data),或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。目前我国的数据中心总数已接近100万。
二、行业分布
作为信息化建设的核心内容,数据中心始终是金融、政府、能源、交通等行业的投入重点;而伴随着电信行业的转型和移动互联网的发展,IDC也成为电信行业重点投资领域。此外IPDC互联网数据中心成为市场的热点,互联网提供商大规模建设云数据中心。
三、发展前景
十二五”规划中明确了战略新兴产业是国家未来重点扶持的对象,其中信息技术被确立为七大战略性新兴产业之一,将被重点推进。新一代信息技术分为六个方面,分别是下一代通信网络、物联网、三网融合、新型平板显示、高性能集成电路和以云计算为代表的高端软件。
四、选址要素
1.数据中心属于高能耗产业,一个10万台服务器级别的数据中心需要两路或更多合共50-60MW的电力支持。且数据中心用电负荷必须持续稳定,因此需要选择建设在能源充裕,并且能源的价格相对便宜的区域,以降低数据中心的运营成本; 2.为了满足(1)的用电要求,周边配电站设施也需要完善。条件包括配电站等级,配电站与场地距离,配电站变压器的供电余量,变压器目前的用户类别(如共用),上级电网的联系;
通常情况下,如果数据中心用户单独自建用户站,可选择的电压等级有以下几种: a)380V:适合于小型数据中心,不在考虑范围内
b)10KV:适用于两路市电进入用户站的总容量不超过20MVA的容量项目;即,每一路10KV市电进线容量不超过10MVA;当用户的进线容量需求超过这个范围时,可以考虑多路10KV进线的方式。对于数据中心的安全等级要求超过TIER2以上级别时,两路、或多路10KV进线应来自不同上级变电站,或同一变电站的不同的变压器。(目前,国内数据中心用户最多选用的一个电压等级。全国各个省市在具体设计和管理上略有不同。)
c)35 KV:不是所有地方都有该电压等级,在已有的可以选用的35 KV用户站中,其每一路的容量一般不超过20MVA d)110 KV:当用户的单一回路用电负荷超过20MVA级别时,需要考虑110 KV变电站,或66 KV变电站(在我国部分地区有分布)。监狱在中国采用大工业用电方式计费时,要按照变压器的装机容量记收基础电费(或按照最大装机容量记收基础电费),对于冗余度要求高的数据中心,如TIRE3或以上级别,需要双路市电供电,双路变压器设计的数据中心,过高的变压器装机量冗余度,将使得数据中心本身的基础电费成本过高,在单一回路市电需求功率30MVA以上级别时,尽可能独立考虑独立的110 KV变电站。
(备注:需要和当地国家电网规划和管理部门具体落实。)
3.数据中心里大部分IT和电气设备的耗电会转换为大量的热,所以需要一套有效的散热体系。通常情况下,数据中心更适合建设在室外环境温度常年比较低的区域;以便于数据中心的散热可以尽可能地使用自然冷源或延长使用自然冷源的时间,减少机械制冷的能耗。
4.以目前所掌握的制冷技术来看,采用离心式冷冻水机组的制冷系统能效比(COP)最高,大规模数据中心,通常会考虑采用这种制冷系统,以尽可能地提高机械制冷时期的效率;但是,这个系统利用了室外的湿球温度散热,需要有长期,稳定的洁净水(包括再生水)资源做保障,对于水资源匮乏的区域,或者水资源昂贵的区域,建设大规模数据中心是不太适宜的。如果在电力资源非常便宜的情况下,可以适当考虑采用完全干式的冷却系统来替代水蒸发散热系统,以牺牲少量低价格的能耗,来换取针对昂贵的(或者可靠性低的)水资源的以来;
5.针对我国网络带宽资源的现状,除非骨干网上的地区,需要根据可开发的带宽资源、带宽质量来确定数据中心的建设规模策略;对于无法解决带宽的偏远地区,不适合建设大规模的数据中心;
6.数据中心建设目前还是一个高投入,高风险也是高产出的产业;对于选址方面,需要地方政府在政策上能够给予足够的扶持力度;包括:a)土地:地方政府在土地,位置、及土地性质继续协助安排;
b)电价:数据中心属于高能耗产业,由于本身对现场环境基本没有严重污染问题,相对其他高能耗产业,可以申请政府在电价上给予补贴;通常政府换届会影响,前期会有帮助,另外,对于项目后期的融资也会有影响。
c)税收:地方政府通常在在地税部分,主要是服务类吸纳灌木,给予政策上的N年减n年免;
d)科技补贴:地方政府可以针对技术含量比较高的数据中心行业,提供一定的科技补贴,以吸引投资。
e)贴息贷款:针对数据中心的高投入部分,地方政府可以协助减少项目的后期大规模建设的融资成本;
7.数据中心的建设,运行维护需要多专业,多工种人才的协作工作。这里面包括了(且不限于): a)中压电力 b)低压电力 c)暖通空调 d)给排水 e)消防 f)安保
g)BMS自动化控制 h)动力环境的监控 i)网络
j)IT硬件服务,软件服务等一系列人才 k)各主要设备供应商的技术支持人才
目前在我国,这些专业的有经验的人才大部分聚集在一线城市里,最多可以布局的部分发达的二线城市;而我国能源充裕的地区,恰恰缺乏这方面的人才,是的在这些地区,数据中心交付时旺旺很难找齐合适人才来源,并在数据中心建设阶段,运维人员就应该陆续到岗,并需要跟进项目的建设,针对各专业系统,深入了解;在数据中心的测试验收阶段,需要基本全员到岗,并一同参与所有的测试,验收和接收工作;对于远离一线城市的偏远地区,如果不能落实人才问题,3 数据中心的选址需要慎重考虑。
五、标准要求
(一)自然地理环境 1.避免地质灾害区域
a)地震,尽可能避免选址在地震带上,即使建筑物有足够的抗震等级,地震发生似的振动也会对服务器硬盘的性能产生影响,严重时,服务器的工作能力迅速衰减
b)洪灾,数据中心在选址时,要考察附近的河流,湖泊的流域状况,了解50年以上级别的洪水水位位置,流向;应尽可能避免在洪水水线以下的位置;数据中心的基础层为孩子应高于周边最高水位为止,并周边没有发生过洪涝灾害,且需要考虑地哪里,供排水等基础设施、路由是否能够在灾害发生时,确保安全。如场地在沿海或接近河口,也需要考虑大潮时对城市排水系统或河流排水能力影响 c)海啸,数据中心在选址时,如果是在海边,应选择在位置足够高的位置,且需要考虑电力,供排水等基础设施、路由是否能够在灾害发生时,确保安全。d)塌陷、泥石流、雪崩等自然灾害,数据中心选址应避免在如上风险的区域 e)火山,附近处于活火山的区域,且火山有处于活跃状态的风险
2.尽可能选择有便于自然冷却的气候条件的地区,这取决于所选择区域的维度,及海拔高度,鉴于部分设备在海拔高度超过2500平米是,性能会受到影响,数据中心的选址时,应避免在海拔高度超过2500米的地区;
3.对空气污染的注意,尤其对于空气里的硫化物(如二氧化硫、硫化氢)含量污染。
4.不建议靠近高速公路,交通干道,铁路,飞机场,码头;这些区域都会产生硫化污染问题,且同时还要考虑在意外情况下的安全防护问题;
5.远离危险品生产、储存、运输环境;(包括化工厂,炼油厂,加油站,储油罐,弹药库,烟花生产厂等)
6.远离军事基地,演戏、实验基地
7.避开垃圾填埋、焚烧厂地,火力发电站等容易产生硫化污染的区域 8.在开采(或预计开采)的矿山,会产生震动影响
9.避免在有民族矛盾、军事冲突、社会治安不稳定的地区及附近建设数据中心10.当数据中心建设在水源地时,还要考虑柴油发电机的储存燃油一旦发生泄漏时,不能外流污染水源
11.地下水位关注,会影响往后地库(电缆槽,补水池)施工难度,成本和地库设施的寿命
(二)配套设施
数据中心的业务特点以及其质量和容量的要求,决定了数据中心对当地供电能力的要求,供电量必须保证充足和稳定。我们需要了解的因素包括:可用性——在了解当地电力供应情况的同时,我们需要权衡备选地点是否有多个成熟的电网;成本因素——我们还需要比较各种电力成本。也就是说,每千瓦时的动力源的成本应该足够低;具备替代的能源——决策管理层还需要考虑备选地点是否有诸如太阳能、风能、空气等可再生的能源,这将有助于企业打造更加绿色的企业形象。
双电源供电
电对数据中心的重要性就像水对鱼儿的重要性一样,一旦数据中心发生断电情况,若没有很好的备份供电系统,诸多设备承载的业务就会发生中断,给数据中心带来严重损失。现在的数据中心供电都要考虑冗余,确保用电可靠性。
供电方案
这是传统数据中心普遍采用的供电方案,数据中心采用两套供电输入系统,一套市电,一套备用电,备用电可以是蓄电池或柴油发电机组,市电是主用供电系统,当市电故障时,通过ATS自动切换到备用电上,这样断电故障不会对后端设备产生影响。高精度的UPS供电切换时间可以在30MS以下,可以满足绝大部分设备持续供电。
(三)成本因素
对于一个建设项目来说,成本必然是一个必须反复权衡的因素。成本涉及到当地规划及土地价格、房屋建筑价格、租赁和物业价格、网络通讯费用、用电价格、5 用水价格等多发因素。数据中心选址时,需要从通信基础设施的角度需要考虑各种因素。如:光纤主干线路及其距数据中心选址的距离。这将有助于衡量从光纤主干线路到数据中心选址所需投资的确切数据;光纤类型,这会影响传输速度;所在地通讯服务运营商的类型及其支持的服务模式;延迟因素,传输和交付延迟时间也将是一个重要的因素。
(四)政策环境
良好的政策环境将有利于一个基地气候的形成,促进客户的选择和落户。需要考虑的因素包括:物业税、企业税和销售税。
(五)高科技人才环境
人力资源主要包括:高校数据、IT人员数量,其他科技教育机构数量。主要考察当地经济文化发展水平、科技教育环境、交通便利条件、人力资源供应及水平等方面,数据中心作为信息技术的集中体现,对各种社会资源的要求都非常高。
1、人员配置:
针对于不同的数据中心管理目标,相应的人员配置决策显然将会不同。对于C4 的数据中心,要求运维人员做到全年7X24 小时的值守。UI 在美国的数据统计表明,全天候的值守可以将数据中心故障的发生率降低50%,对于提升整体数据中心的可用性有相当大的影响。为了实现全天候的值守,13个人的运维团队是最基本的配置,其中包括了数据中心机房经理1人,3名二线技术支持人员(覆盖电气、空调和弱电专业,可以在必要的时候顶替日常值班人员),1名运维主管以及8名一线的运维技术人员。8名一线的运维人员分为4个班组,采用8小时或者12小时一班进行轮值。在这8名运维人员中,每一班需要有至少一名资深人员,具备对于现场紧急情况进行快速处置的能力。当然,这13人的运维团队只是最基本的配置人数,随着数据中心功率和设备数量的增长,运维人员在各个专业也应该有相应人数的补充,从而与工作量相匹配。
2、组织结构
组织结构通常包括两方面内容:一是对机房内所有活动的角色和他们的工作职责进行准确的定义;二是呈现各角色之间的汇报关系以及运维团队与建筑工程、IT系统、安防系统之间的工作界面。对角色和职责的准确定义可以将工作 6 内容细分到每个人身上,做到责任到岗、责任到人;各级之间的汇报关系是处理数据中心事件,尤其是紧急事件的方式依据,对不同等级的事件要明确上报的途径和终点。
(六)社会及当地的人力资源条件
主要考察当地经济文化发展水平、科技教育环境、交通便利条件、人力资源供应及水平等方面,数据中心作为信息技术的集中体现,对各种社会资源的要求都非常高。
六、区域发展倾向
目前全国性的数据中心和灾难备份中心主要集中在北京、上海和广东这几个地区,北京是各行业主管机关的所在地,全国众多的主要金融机构总部所在地,因此也是多数总部级数据中心的天然所在地。上海目前已经成为全国银行业数据中心的集中地,广东作为中国经济最发达地区之一,也是数据中心/灾备中心的集聚地。
造成数据中心选址倾向性有几个原因:一个是总部所在地的原因。第二是银行数据中心选址,对其它行业有影响。第三,由于信息不对称,很多领导决策的时候没有充分地考虑很多问题,凭感觉或者经验就决定了。第四,我们比较缺乏系统的考察指标。
七、建设方式
(一)企业自建数据中心
很多大型企业都拥有自己的数据中心,然后通过租用运营商的广域网线路,实现多个内部数据中心的互联。比如:军网、公安网、平安工程、银行行业、石油行业 等,这些专网使用的都是专有的数据中心,由各大政府部门、企业主导自行创建的。
优势:自建的数据中心,使用非常灵活,可以根据自己需求任意改动,灵活性高,尤其这种自建的数据中心安全度最高,信息泄露,受攻击的可能性大为减少。劣势:这种数据中心投入大,建设成本高,具有封闭性,专为单个企业或部门提供服务。由于建设数据中心要申请工业建筑用地、要得到供电部门、建设部门的同意,手续非常繁琐。而且建成后到投入使用,往往需要几年的时间,建设周期长。
(二)租用运营商数据中心
运营商提供场地、机柜、网络带宽和供电,互联网企业直接将设备放入运营商网络中即可。
优势:一般只要一周就可以建设完一个数据中心并投入使用,速度非常快,这种方式在互 联网企业中非常普遍,这样互联网企业只需要关注自己的应用设备(主要是网络设备和服务器)运行状况即可,不必关心机房环境、空调、供电等一系列问题。虽然 要向运营商支付不菲的租用金额,但仍可为互联网企业节省了大量的人力和物力。互联网企业而且可以根据自己的业务实际情况,在运营商的各级省市都去租用数据 中心机房,迅速部署业务。
劣势:使用仍有一些限制,比如机房环境的维护、设备出入管理都受到运营商的限制。租用期限、新增机 房面积都要和运营商沟通,需要运营商的同意才能实施。这些互联网企业要想发展的好首先就要和这些运营商搞好关系。
(三)租用数据中心提供的服务
通过直 接租用大型数据中心的服务,就可以部署自己企业的业务。比如可以根据自己的业务需求,向阿里云租用100GT的硬盘和200G的内存,10G的带宽,对于中小企业,满足这些性能的物理硬件完全不可见。
优势:这样企业用户可以完全聚焦于自己的应用业务,不必关心数据中心底层实现,也为企业节省了人力。
劣势:
1、故障恢复性难度大。当然这样的形式使得企业的核心业务稳定性与租用的数据中心运行稳定性关系较大,有时出现故障,由于企业自身看不到数据中心底层实现,只能甘等业务恢复。
2、有时还会出现互相推诿的情况,而由于租用方处于技术弱势方,往往故障所带来的损失很难得到补偿。
3、安全性无保障。除了上层应用,数据中心底层实现都不受自己控制,受到攻击都没有任何手段,因此安全性完全取决于承租的数据中心。因此在选择租用数据中心服务时,要对其数据中心的安全性进行充分考量。现在提供数据中心应用服务的还比较少,只有几家,竞争还不充分,这给中小企业选择的余地较少。
八、大数据产业园
(一)陕西西咸新区沣西新城:西新城大数据产业园区规划占地3平方公里,包括基础数据产业区、数据应用研发区和数据叠加拓展区3大板块,预计到2020年实现500亿元产值,成为国家政务资源后台处理与备份中心和国家级大数据处理中心。目前引进了四大运营商,中国联通、中国电信、中国移动和陕西广电网络,以及一个国家部委国家计生委的灾备中心。通过大数据的引领发展,带动信息产业的发展,带动软件包括装备制造产业的发展。
(二)重庆西永微电子产业园区:园区于2005年8月正式设立,规划面积30平方公里,其中产业区20平方公里,配套服务区(西部新城的城市中心区)10平方公里。园区产业以集成电路产业和软件及信息服务产业为主导,着力打造集设计、研发、制造、封装测试、应用以及配套于一体的集成电路产业和软件与信息服务产业集群。
(三)天津市滨海新区:部署建设大数据产业园区。一期规划布局1个大数据产业示范基地和3个大数据产业园区。其中,开发区云计算产业基地作为大数据产业示范基地;保税区数字出版基地、高新区软件与服务外包基地、塘沽海洋高新区作为3个大数据产业园区,争取成为国家级大数据产业基地。
(四)中关村大数据产业园:设立中关村软件园和清华科技园两个分园,建筑面积2.5万余平方米,已吸引了10余家符合条件的企业入驻。
第5篇:大数据发展情况调研报告
2015年大数据发展情况调研报告
2015年大数据发展情况调研报告 一、发展现状
(一)电子政务建设成效明显。我盟电子政务建设一直居于全国前列,电子政务专网上接自治区政府专网,带宽为155m,备用线路带宽为20m;向下已延 伸至各旗县市区政府,带宽为100m,主要用于开展公文交换、会务管理、应急管理、政法法制、政务信息和督查以及各部门业务等应用。2003年,xxxx 政务门户网站上线运营。2005年全国首家蒙文政府网站——xxxx蒙文政务门户网站正式开通。2007年,我盟对盟、旗县市(区)、苏木(乡镇)三级党 委、人大、政府、政协机关,盟、旗县市(区)两级党委、政府直属部门及盟、旗两级部分事业进行了集中建站,建立起了全盟三级政府网站群体系架构,政务网站 群实现了全覆盖。目前全盟纳入普查范围的各类政府网站共计519个。建立了盟、旗县市(区)、苏木(乡镇)、嘎查村“四级联动”行政审批服务体系,并全面 开展电子效能监察工作,对进入盟旗两级政务服务中心的行政审批项目,全部实行了实时监察监控。
(二)社会管理领域取得实质性进展。建立智能在线全员人口信息综合业务应用平台,将全盟117.91万人口信息数据全部录入全员人口信息数据库,实现 了全盟全员人口信息数据基本的全覆盖。建设“平安锡盟”社会治理数字化工程,以建设“三网三平台一张图”为基础,分别将社会公共监控资源、视频专网监控资 源、公安内网视频监控资源进行整合,实现了社会治理事前预防控制、事中指挥调度以及事后研判应用。
xx浩特市积极推进网格化管理,将城区内45个社区合理划分为180个网格单元,以网格为单位进行社会管理和服务。整合“户籍、住房、计生、就业、社 保、民政、党建、司法、流动人口”等各类基础信息,构建全市人口基础信息系统,初步实现人口信息从静态管控到动态管控,从单一管理到综合管理利用。xx浩 特数字城市指挥中心利用地理信息系统、全球定位系统以及遥感技术等手段,建立起统一的城市数字化信息共享、协调处置、监督实施的指挥平台。通过群众拨打12319服务热线、网上举报等渠道,受理园林绿化、环境保护、环境卫生、市容市貌、给水排水、私搭乱建、公共设施、集中供热、交通治安、户外广告、市场 建设等城市管理的多方面问题,共涉及锡市规划局、住建局、环保局、公安局、城管局等17个部门26个成员单位。
(三)民生服务领域发展步伐加快。积极推进教育、卫生、环保、农牧业等领域信息化平台建设工作。持续开展“三通两平台”工程,目前156所学校及相关 教育部门共计200多个单位已实现互联互通;搭建了区域卫生信息协同平台,累计为全盟95万城乡居民建立了健康档案,为全盟37个苏木乡镇卫生院和10个 社区卫生服务中心建立了医院信息管理系统,为242个嘎查村卫生室安装使用了嘎查村卫生室信息系统,实现了基本医疗、基本公共卫生和基本药物的电子化管 理;建成了污染源在线监控平台、空气质量自动监测系统、重污染天气预报预警系统、机动车尾气检测机构在线监控平台,形成了对全盟重点污染源的在线监控;建 立xxxx羊肉全产业链追溯体系综合服务平台,将肉羊养殖、屠宰加工、精加工、物流配送、销售五个环节信息集成,目前已累计为7413户牧户的161万只 羔羊建立可追溯档案,基本实现了“来源可追溯、去向可查证、责任可追究”。
(四)经济运行管理领域发展初具规模。为更好地监管市场,食药工商局为107192户市场主体建立电子档案信息。建立企业信用公示平台,截至10月,全盟已对90591户企业信用信息进行备案,备案率为84.53%。建设xxxx盟金财一期工程,覆盖所有财政性资金,辐射各级财政部门和预算单位,进一 步提高财政资金分配和使用的安全性、规范性和有效性。
(五)大数据应用初见端倪。建立中小企业公共服务平台,并实现与自治区枢纽平台的互联互通,目前,各旗县市(区)共有383户企业通过审核注册成功。建设xxxx盟蒙古文综合服务平台,蒙古族同胞可以利用手机查询国家政策、法规、综合新闻以及市场动态、农牧业补贴、气象、生活助手等内容。同时,由私人 投资建设的“锡盟信息港”、“xx123信息网”、“上都在线”等公共咨询服务平台建成运行,主要发布招聘、出租、家政、出售等咨询信息。此外,全盟已有 各类电子商务平台19个,包括大宗商品销售、农牧民赶集采购、团购、社区电商以及跨境电商等类别,特色鲜明,发展前景广阔。
二、存在问题
(一)数据共享程度低。全盟大数据建设缺乏统一规划和有力的领导,各个委办局信息系统基本都属于独立纵向系统,数据平台并未实现横向互通;数据资源整合力度不够,共享程度低,政府部门间重复建设现象严重。
(二)建设缺乏统一标准。目前,各平台数据采集的基本要素、数据的来源、数据采集的方法及要求没有统一标准,导致产生“信息孤岛”。
(三)网络基础设施建设有待完善。我盟地域辽阔,牧区人口居住比较分散,现有宽带网络无法满足牧区信息化需求,全盟移动通讯信号以覆盖面积计算嘎查村覆盖率不足60%,宽带不足30%,宽带网络基础设施建设规模仍有待提高。
(四)专业队伍建设有待加强。现有人员年龄结构断层,知识结构不合理,严重缺乏专业技术人才,因此迫切建立一支稳定的高素质、专业化信息建设队伍。
三、下一步工作重点
(一)高起点规划布局,建立我盟大数据中心。按照“顶层设计,分布实施”的原则,委托权威机构编制我盟大数据建设规划,对我盟大数据建设进行总体规划,并 研究出台具体技术实施方案,明确工作内容、时间节点,促进大数据建设工作顺利推进。高标准规划大数据中心,涵盖数据整合、共享与分析、网络服务、数据存储 及可视化运维等多方面内容,并在“两地三中心”进行容灾备份,保护数据的安全和业务连续性。逐步整合撤并各部门现有自建机房和设备,原则上各部门不再建设新的机房,实现资源集约化管理。
(二)推进数据信息资源共享,推动社会管理科学可控。在充分利用现有数据资源的基础上,进一步完善人口基础信息库、法人单位信息资源库、自然资源和空间地 理信息库和宏观经济数据库等核心数据库,完成数据资源整合与共享,实现部门间信息互联互通。建立大数据交换与共享平台,实现对数据集约化采集、网络化汇聚 及统一化管理,推动政府职能转变,提高政府服务效率。建立数据标准和统计标准体系,有计划、分层次地推进各领域的应用。
(三)做好商品追溯防伪系统平台项目。引进大连声鹭科技有限公司开发的商品追溯防伪系统平台建设项目,打造以“商品追溯防伪”为主题的互联网经济示范平 台,并带动芯片封装和手持终端检测设备生产基地建设,逐步培养辐射全国的商品追踪防伪系统技术创新研发基地。成立创新研发中心,针对不同品类商品、不同包 装方式、应用场景,推进相关芯片应用和标准体系建立,并率先对我盟原产地白酒、食用油、食用盐等品牌产品提供商品追踪防伪示范服务。
(四)推动智慧社区、智慧旅游、智慧农牧业项目建设。进一步推动社区网格化管理,加强社区周边服务资源的集中整合,大力建设覆盖社区管理、社区服务、社 区安全、智慧家居、养老服务的智慧社区生活服务圈。结合我盟旅游产业发展现状,建立基于互联网的旅游信息服务体系、构建多部门信息共享、联动协调的智慧旅 游管理体系、应用多种营销手段打造特色旅游品牌,全面推动旅游业向智能化转型提升。推行农牧业养殖过程中的自动化、集成化、网络化管理,加大特色农产品品牌营销力度,鼓励农牧业电子商务发展。
四、相关建议
(一)加强组织领导、强化政策扶持。行署尽快成立由主要领导任组长,行署常务副盟长、分管副盟长任副组长,有关部门、单位为成员单位的大数据发展推进 领导小组,领导小组下设办公室,并建议设在行业主管部门,保证工作有序推进。建立大数据建设发展专项资金,实行专款专用。
(二)依托智慧应用,加快产业发展。推动云计算、物联网、互联网与大数据等新一代信息技术产业集约集聚发展,加快新一代信息技术在政务、经济运行、社 会管理和民生服务领域的深化应用、共享应用和融合应用,培育一批具有自主产权、自主品牌的智能项目和智慧服务,切实提高居民幸福指数。
(三)夯实基础设施、强化信息安全。光纤网络实现百兆入户、千兆到楼、t级出口。进一步实施“宽带锡盟”战略,加快推进光纤入户到企、进村入园,推动4g网络对城区的深度覆盖,并进一步提高农村牧区网络覆盖面。完善网路安全保障体系,进一步加强信息安全测评认证体系、网络信任体系、信息安全监控体系及 容灾备份体系建设,建立网络和信息安全监控预警、应急响应联动机,增强信息采集、处理、传播和利用安全能力。
(四)加强人才引进、注重宣传推广。加快引进大数据领军人才、创业人才和掌握前沿技术的专业人才,落实好人才保障措施,推进大数据人才队伍建设。推进企业 与高校、科研院所的合作,实现科技人才交流、科研成果共享。依托我盟高校、园区和企业,联合建立各类智慧人才教育培训基地,提供教育、培训和考试等服务。建立xxxx智慧城市创新体验中心,积极推广大数据发展成果,提升城市活力的同时成为我盟招商引资、引智窗口。
第6篇:大数据发展情况调研报告
2015年大数据发展情况调研报告
2015年大数据发展情况调研报告
一、发展现状
(一)电子政务建设成效明显。我盟电子政务建设一直居于全国前列,电子政务专网上接自治区政府专网,带宽为155m,备用线路带宽为20m;向下已延 伸至各旗县市区政府,带宽为100m,主要用于开展公文交换、会务管理、应急管理、政法法制、政务信息和督查以及各部门业务等应用。2003年,xxxx 政务门户网站上线运营。2005年全国首家蒙文政府网站——xxxx蒙文政务门户网站正式开通。2007年,我盟对盟、旗县市(区)、苏木(乡镇)三级党 委、人大、政府、政协机关,盟、旗县市(区)两级党委、政府直属部门及盟、旗两级部分事业进行了集中建站,建立起了全盟三级政府网站群体系架构,政务网站 群实现了全覆盖。目前全盟纳入普查范围的各类政府网站共计519个。建立了盟、旗县市(区)、苏木(乡镇)、嘎查村“四级联动”行政审批服务体系,并全面 开展电子效能监察工作,对进入盟旗两级政务服务中心的行政审批项目,全部实行了实时监察监控。
(二)社会管理领域取得实质性进展。建立智能在线全员人口信息综合业务应用平台,将全盟117.91万人口信息数据全部录入全员人口信息数据库,实现 了全盟全员人口信息数据基本的全覆盖。建设“平安锡盟”社会治理数字化工程,以建设“三网三平台一张图”为基础,分别将社会公共监控资源、视频专网监控资 源、公安内网视频监控资源进行整合,实现了社会治理事前预防控制、事中指挥调度以及事后研判应用。
xx浩特市积极推进网格化管理,将城区内45个社区合理划分为180个网格单元,以网格为单位进行社会管理和服务。整合“户籍、住房、计生、就业、社 保、民政、党建、司法、流动人口”等各类基础信息,构建全市人口基础信息系统,初步实现人口信息从静态管控到动态管控,从单一管理到综合管理利用。xx浩 特数字城市指挥中心利用地理信息系统、全球定位系统以及遥感技术等手段,建立起统一的城市数字化信息共享、协调处置、监督实施的指挥平台。通过群众拨打12319服务热线、网上举报等渠道,受理园林绿化、环境保护、环境卫生、市容市貌、给水排水、私搭乱建、公共设施、集中供热、交通治安、户外广告、市场 建设等城市管理的多方面问题,共涉及锡市规划局、住建局、环保局、公安局、城管局等17个部门26个成员单位。
(三)民生服务领域发展步伐加快。积极推进教育、卫生、环保、农牧业等领域信息化平台建设工作。持续开展“三通两平台”工程,目前156所学校及相关 教育部门共计200多个单位已实现互联互通;搭建了区域卫生信息协同平台,累计为全盟95万城乡居民建立了健康档案,为全盟37个苏木乡镇卫生院和10个 社区卫生服务中心建立了医院信息管理系统,为242个嘎查村卫生室安装使用了嘎查村卫生室信息系统,实现了基本医疗、基本公共卫生和基本药物的电子化管 理;建成了污染源在线监控平台、空气质量自动监测系统、重污染天气预报预警系统、机动车尾气检测机构在线监控平台,形成了对全盟重点污染源的在线监控;建 立xxxx羊肉全产业链追溯体系综合服务平台,将肉羊养殖、屠宰加工、精加工、物流配送、销售五个环节信息集成,目前已累计为7413户牧户的161万只 羔羊建立可追溯档案,基本实现了“来源可追溯、去向可查证、责任可追究”。
(四)经济运行管理领域发展初具规模。为更好地监管市场,食药工商局为107192户市场主体建立电子档案信息。建立企业信用公示平台,截至10月,全盟已对90591户企业信用信息进行备案,备案率为84.53%。建设xxxx盟金财一期工程,覆盖所有财政性资金,辐射各级财政部门和预算单位,进一 步提高财政资金分配和使用的安全性、规范性和有效性。
(五)大数据应用初见端倪。建立中小企业公共服务平台,并实现与自治区枢纽平台的互联互通,目前,各旗县市(区)共有383户企业通过审核注册成功。建设xxxx盟蒙古文综合服务平台,蒙古族同胞可以利用手机查询国家政策、法规、综合新闻以及市场动态、农牧业补贴、气象、生活助手等内容。同时,由私人 投资建设的“锡盟信息港”、“xx123信息网”、“上都在线”等公共咨询服务平台建成运行,主要发布招聘、出租、家政、出售等咨询信息。此外,全盟已有 各类电子商务平台19个,包括大宗商品销售、农牧民赶集采购、团购、社区电商以及跨境电商等类别,特色鲜明,发展前景广阔。
二、存在问题
(一)数据共享程度低。全盟大数据建设缺乏统一规划和有力的领导,各个委办局信息系统基本都属于独立纵向系统,数据平台并未实现横向互通;数据资源整合力度不够,共享程度低,政府部门间重复建设现象严重。
(二)建设缺乏统一标准。目前,各平台数据采集的基本要素、数据的来源、数据采集的方法及要求没有统一标准,导致产生“信息孤岛”。
(三)网络基础设施建设有待完善。我盟地域辽阔,牧区人口居住比较分散,现有宽带网络无法满足牧区信息化需求,全盟移动通讯信号以覆盖面积计算嘎查村覆盖率不足60%,宽带不足30%,宽带网络基础设施建设规模仍有待提高。
(四)专业队伍建设有待加强。现有人员年龄结构断层,知识结构不合理,严重缺乏专业技术人才,因此迫切建立一支稳定的高素质、专业化信息建设队伍。
三、下一步工作重点
(一)高起点规划布局,建立我盟大数据中心。按照“顶层设计,分布实施”的原则,委托权威机构编制我盟大数据建设规划,对我盟大数据建设进行总体规划,并 研究出台具体技术实施方案,明确工作内容、时间节点,促进大数据建设工作顺利推进。高标准规划大数据中心,涵盖数据整合、共享与分析、网络服务、数据存储 及可视化运维等多方面内容,并在“两地三中心”进行容灾备份,保护数据的安全和业务连续性。逐步整合撤并各部门现有自建机房和设备,原则上各部门不再建设新的机房,实现资源集约化管理。
(二)推进数据信息资源共享,推动社会管理科学可控。在充分利用现有数据资源的基础上,进一步完善人口基础信息库、法人单位信息资源库、自然资源和空间地 理信息库和宏观经济数据库等核心数据库,完成数据资源整合与共享,实现部门间信息互联互通。建立大数据交换与共享平台,实现对数据集约化采集、网络化汇聚 及统一化管理,推动政府职能转变,提高政府服务效率。建立数据标准和统计标准体系,有计划、分层次地推进各领域的应用。
(三)做好商品追溯防伪系统平台项目。引进大连声鹭科技有限公司开发的商品追溯防伪系统平台建设项目,打造以“商品追溯防伪”为主题的互联网经济示范平 台,并带动芯片封装和手持终端检测设备生产基地建设,逐步培养辐射全国的商品追踪防伪系统技术创新研发基地。成立创新研发中心,针对不同品类商品、不同包 装方式、应用场景,推进相关芯片应用和标准体系建立,并率先对我盟原产地白酒、食用油、食用盐等品牌产品提供商品追踪防伪示范服务。
(四)推动智慧社区、智慧旅游、智慧农牧业项目建设。进一步推动社区网格化管理,加强社区周边服务资源的集中整合,大力建设覆盖社区管理、社区服务、社 区安全、智慧家居、养老服务的智慧社区生活服务圈。结合我盟旅游产业发展现状,建立基于互联网的旅游信息服务体系、构建多部门信息共享、联动协调的智慧旅 游管理体系、应用多种营销手段打造特色旅游品牌,全面推动旅游业向智能化转型提升。推行农牧业养殖过程中的自动化、集成化、网络化管理,加大特色农产品品牌营销力度,鼓励农牧业电子商务发展。
四、相关建议
(一)加强组织领导、强化政策扶持。行署尽快成立由主要领导任组长,行署常务副盟长、分管副盟长任副组长,有关部门、单位为成员单位的大数据发展推进 领导小组,领导小组下设办公室,并建议设在行业主管部门,保证工作有序推进。建立大数据建设发展专项资金,实行专款专用。
(二)依托智慧应用,加快产业发展。推动云计算、物联网、互联网与大数据等新一代信息技术产业集约集聚发展,加快新一代信息技术在政务、经济运行、社 会管理和民生服务领域的深化应用、共享应用和融合应用,培育一批具有自主产权、自主品牌的智能项目和智慧服务,切实提高居民幸福指数。
(三)夯实基础设施、强化信息安全。光纤网络实现百兆入户、千兆到楼、t级出口。进一步实施“宽带锡盟”战略,加快推进光纤入户到企、进村入园,推动4g网络对城区的深度覆盖,并进一步提高农村牧区网络覆盖面。完善网路安全保障体系,进一步加强信息安全测评认证体系、网络信任体系、信息安全监控体系及 容灾备份体系建设,建立网络和信息安全监控预警、应急响应联动机,增强信息采集、处理、传播和利用安全能力。
(四)加强人才引进、注重宣传推广。加快引进大数据领军人才、创业人才和掌握前沿技术的专业人才,落实好人才保障措施,推进大数据人才队伍建设。推进企业 与高校、科研院所的合作,实现科技人才交流、科研成果共享。依托我盟高校、园区和企业,联合建立各类智慧人才教育培训基地,提供教育、培训和考试等服务。建立xxxx智慧城市创新体验中心,积极推广大数据发展成果,提升城市活力的同时成为我盟招商引资、引智窗口。
第7篇:中国大数据应用发展报告精读
近日,中国管理科学学会大数据管理专委会、国务院发展研究中心产业互联网课题组、社会科学文献出版社共同举办的《大数据应用蓝皮书:中国大数据应用发展报告No.1(2017)》发布会在北京举行。本书是国内首本研究大数据应用的蓝皮书。
蓝皮书旨在描述当前中国大数据在相关行业及典型代表企业应用的状况,分析当前大数据应用中存在的问题和制约其发展的因素,并根据当前大数据应用的实际情况,对其未来发展趋势做出研判。
蓝皮书认为,从应用的角度看,大数据并非一个全新的产业,而是与已有产业融合,对已有模式的改造、升级和替代。制约大数据发展的往往并不是大数据本身,而是大数据所应用的行业和领域原本存在的问题,如行业管制、行政垄断、要素不能自由流动,等等。因此,推动大数据应用的发展,需对不当的行业管理模式进行改革,对既有利益格局进行调整。即便在企业内部,大数据应用也不仅仅是个技术问题,而且是涉及业务流程重组和管理模式变革的问题,是对企业管理能力的一个考验。
大数据应用的三个关键点
大数据应用的三个关键点是数据从哪里来?数据怎么用?成果谁买单? 数据从哪里来?
关于数据来源,普遍认为互联网及物联网是产生并承载大数据的基地。互联网公司是天生的大数据公司,在搜索、社交、媒体、交易等各自核心业务领域,积累并持续产生海量数据。物联网设备每时每刻都在采集数据,设备数量和数据量都与日俱增。这两类数据资源作为大数据金矿,正在不断产生各类应用。国外关于大数据的成功经验介绍,大多是这类数据资源应用的经典案例。还有一些企业,在业务中也积累了许多数据,如房地产交易、大宗商品价格、特定群体消费信息,等等。从严格意义上说,这些数据资源还算不上大数据,但对商业应用而言,却是最易获得和比较容易加工处理的数据资源,也是当前在国内比较常见的应用资源。
在国内还有一类是政府部门掌握的数据资源,普遍认为质量好、价值高,但开放程度差。许多官方统计数据通过灰色渠道流通出来,经过加工成为各种数据产品。《大数据纲要》把公共数据互联开放共享作为努力方向,认为大数据技术可以实现这个目标。实际上,长期以来政府部门间信息数据相互封闭割裂是治理问题而不是技术问题。面向社会的公共数据开放愿望虽十分美好,但恐怕一段时间内可望而不可即。在数据资源方面,国内“小数据”、“中数据”应用并不充分,试图一步跨入大数据时代,借机一并解决前期信息化过程中没能解决的问题,前景并不乐观。另外,由于中国互联网公司业务主要在国内,其大数据资源也不是全球性的。
蓝皮书分析指出,数据从哪里来是我们评价大数据应用的第一个关注点。一是要看这个应用是否真有数据支撑,数据资源是否可持续,来源渠道是否可控,数据安全和隐私保护方面是否有隐患。二是要看这个应用的数据资源质量如何,是“富矿”还是“贫矿”,能否保障这个应用的实效。对于来自自身业务的数据资源,具有较好的可控性,数据质量一般也有保证,但数据覆盖范围可能有限,需要借助其他资源渠道。对于从互联网抓取的数据,技术能力是关键,既要有能力获得足够大的量,又要有能力筛选出有用的内容。对于从第三方获取的数据,需要特别关注数据交易的稳定性。数据从哪里来是分析大数据应用的起点,如果一个应用没有可靠的数据来源,再好、再高超的数据分析技术都是无本之木。
数据怎么用?
数据怎么用是我们评价大数据应用的第二个关注点。《大数据纲要》规划了许多大数据应用领域和方向,包括公共部门和产业领域,实际上是提出了许多需要大数据解决的问题或期待大数据完成的任务。如何解决这些问题,如何把数据资源转化为解决方案,实现产品化,这是我们特别关注的问题。大数据只是一种手段,并不能无所不包、无所不用。我们关注大数据能做什么、不能做什么,现在看来,大数据主要有以下几种较为常用的功能。
追踪。互联网和物联网无时无刻不在记录,大数据可以追踪、追溯任何一个记录,形成真实的历史轨迹。追踪是许多大数据应用的起点,包括消费者购买行为、购买偏好、支付手段、搜索和浏览历史、位置信息,等等。
识别。在对各种因素全面追踪的基础上,通过定位、比对、筛选,可以实现精准识别,尤其是对语音、图像、视频进行识别,使可分析内容大大丰富,得到的结果更为精准。
画像。通过对同一主体不同数据源的追踪、识别、匹配,形成更立体的刻画和更全面的认识。对消费者画像,可以精准推送广告和产品;对企业画像,可以准确判断其信用及面临的风险。
提示。在历史轨迹、识别和画像基础上,对未来趋势及重复出现的可能性进行预测,当某些指标出现预期变化或超预期变化时给予提示、预警。以前也有基于统计的预测,大数据大大丰富了预测手段,对建立风险控制模型有深刻意义。
匹配。在海量信息中精准追踪和识别,利用相关性、接近性等进行筛选比对,更有效率地实现产品搭售和供需匹配。大数据匹配功能是互联网约车、租房、金融等共享经济新商业模式的基础。
优化。按距离最短、成本最低等给定的原则,通过各种算法对路径、资源等进行优化配置。对企业而言,提高服务水平、提升内部效率;对公共部门而言,节约公共资源、提升公共服务能力。
上述概括并不一定完备,大数据肯定还有其他更好的功能。当前许多貌似复杂的应用,大都可以细分成以上几种类型。例如,贵州推行的“大数据精准扶贫项目”,从大数据应用角度,通过识别、画像,可以对贫困户实现精准筛选和界定,找对扶贫对象;通过追踪、提示,可以对扶贫资金、扶贫行为和扶贫效果进行监控和评估;通过配对、优化,可以更好发挥扶贫资源的作用。这些功能也并不都是大数据所特有的,只是大数据远远超出以前的技术,可以做得更精准、更快、更好。当然,技术无法左右利益,贵州扶贫目标的完成,并不是有了大数据就万事大吉了。
成果谁买单? 成果谁买单是我们评价大数据应用的第三个也是最后一个关注点。道理很简单,不创造价值的应用不是好应用。能不能创造价值,关键看谁买单。我们不需要那些靡费公帑的“样板”工程、“面子”工程,也不需要那些炫耀神技、制造概念的创富故事。我们关注大数据的应用是否实实在在提升能力、改善绩效。如果大数据用于自身的产品设计、营销推广、资源配置,那就看企业竞争力是不是提升了,看企业最终是不是比以前更赚钱了。如果大数据用于为第三方提供服务,那就看是不是有人愿意付费、愿意持续付费。但如果是用于公共领域,还要看政府或公共部门的付费值不值,不仅仅是从出资方的视角看值不值,还要从老百姓的视角看值不值。
当我们面对一项大数据应用时,只要简单问一问上面三个问题——数据哪里来、数据怎么用、成果谁买单——就能揭开许多“伪装”。比如,许多应用并没有可靠的数据来源,或者数据来源不具备可持续性;还有些应用并没有技术或市场支撑,只是借助大数据风口套取政府部门或一些投资者的“傻钱”罢了。当然,如果经得起上述“大数据三问”,也并不一定算得上优秀,但也离优秀的大数据应用不远了。表1列举了本书中收集的几个案例,从数据来源、应用方式和创值空间三个角度,可以清晰揭示大数据是如何应用的。当然,这些案例反映的大数据应用既非面面俱到,也不是尽善尽美。我们希望通过这些实际的案例表明大数据应用踌躇前行的步伐和未来发展的前景。
工业大数据面临三大制约因素
1.工业大数据安全和开放体系亟待建立
数据安全和数据开放体系建立是工业大数据大规模应用的两个重要前提。如前所述,我国多数工业企业的信息化建设基本上均是由业务部门在业务开展过程中根据自身的局部需求出发,开展建设,缺少统一规划,形成了部门割据的信息化烟囱,导致数据编码不一致,系统之间不能相互通信,业务流程不能贯通。因此,我国工业企业无论在数据的总量上,还是数据的质量上,均和欧美发达国家制造企业存在较大差距,且由于行业垄断或商业利益等原因,数据的开放程度也不高。
另一个制约我国工业大数据应用发展的重要因素是政策法规体系不健全。工业大数据的开发和利用既要满足工业企业典型应用场景的业务发展需求,也要防止涉及国家、企业秘密的数据发生泄露。而目前,我国在工业大数据的利用、评价、交换以及信息安全保护方面的法律法规尚有待进一步健全,这在很大程度上抑制了工业大数据应用的广度和深度,不利于工业大数据生态系统的建设和培育。
2.基于工业大数据的企业管理理念和运作模式变革
随着智能设备、物联网技术、智能传感器、工业软件以及工业企业管理信息系统等在工业企业的广泛应用,综合利用各种感知、互联、分析以及决策技术,通过实时感知、采集、监控现场制造加工状况、物流情况、生产准备情况、技术状态管理情况,并开展数据挖掘分析,急需工业大数据平台和相关技术的支撑。
工业大数据应用目的是推动工业企业基于对内外部环境相关数据的采集、存储和分析,实现企业与内外部关联环境的感知和互联,并利用工业大数据分析技术开展挖掘分析,支撑工业企业基于数据进行决策管控,提升企业决策管控的针对性、有效性。3.工业大数据人才缺乏制约产业发展
工业大数据技术应用的关键是揭示各种典型工业应用场景下,各种数据的内在关联关系,因此,工业大数据技术的应用者不但要掌握工业大数据的相关知识和工具,还需要深刻了解制造业典型业务场景,并结合工业大数据的分析和可视化展示情况,结合业务场景进行合理解读,此外,还需要结合业务场景进行解决方案的制订和管理决策,以上工业大数据人才的要求将大大制约工业大数据产业发展进程。
整体上,工业大数据对复合型人才的能力需求更强烈,目前我国工业大数据的高级管理决策人才、数据分析人才、平台架构人员、数据开发工程师、算法工程师等多个方向均存在较大缺口,极大阻碍了工业大数据产业的发展。
工业大数据技术和应用的四大发展趋势
1.工业大数据应用的外部环境日益成熟
以工业4.0和工业互联网为代表的智能化制造技术已成为制造业发展的趋势,智能化制造技术的研究和应用推动了工业传感器、控制器等软硬件系统和先进技术在工业领域的应用,智能制造应用不断成熟,一方面正在逐步打破数据孤岛壁垒,实现人与机器、机器与机器的互联互通,为工业数据的自由汇聚奠定基础,另一方面进一步增强了工业大数据的应用需求,使得工业大数据应用的外部环境日益成熟。
2.人工智能和工业大数据融合加深
工业大数据的广泛深入应用,离不开机器学习、数据挖掘、模式识别、自然语言理解等人工智能技术清理数据、提升数据质量和实现数据分析的智能化,工业大数据的应用和安全保障都离不开人工智能技术,而人工智能的核心是数据支持,工业大数据反过来又促进人工智能技术的应用发展,两者的深度融合成为发展的必然趋势。
3.云平台成为工业大数据发展的主要方向
工业大数据云平台是推动工业大数据发展的重要抓手。传统的互联网大数据处理方法、模型和工具难以直接使用,增加了工业大数据的技术壁垒,导致工业大数据解决方案非常昂贵,云平台的出现,为工业企业特别是中小型工业企业随时、按需、高效地使用工业大数据技术和工具提供了便宜、可扩展、用户友好的解决方案,大大降低了工业企业拥抱工业大数据的门槛和成本。
4.工业大数据将催生新的产业
除了云平台,新的大数据可视化和自动化软件也能大大简化工业大数据的数据处理、分析过程,打破了大数据专家和外行之间的壁垒。这些软件的出现使得企业可以自主利用工业大数据,做相对简单的工业大数据分析,以及外包复杂的工业大数据应用需求给专业工业大数据服务公司,从而催生新产业,包括工业大数据存储、清理、分析、可视化等相关的软件开发、外包服务等。
国防大数据:抢占未来战争制高点的基石
大数据时代的国防建设需要新的国防战略思想体系来指导。未来作战是各军种一体化行动的联合作战,国防大数据生之于此,并可以更好地为未来联合作战服务。国防大数据是大数据在国防与军事领域的应用,是保卫国家主权、统一,领土完整和安全而展开的军事活动所生成的各种数据资源,是综合了国防和大数据的需求,表现了国防大数据主要的内涵和特点。
国防大数据要求处理数据更高效、数据来源更可靠、数据安全系数更高,注重将重大国防和军事任务进行数据融合,注重信息防御和数据安全管理,例如国防动员数据、军事情报、战场的实时动态、武器使用维护数据等。掌握国防与军事大数据的优势,才能打赢未来信息化战争,真正地把握未来战场的主动权。
与传统的大数据概念相比,国防大数据综合了大数据定义和国防应用需求,它具有大数据的一般特征,又具有其独特的军事特性。归纳起来,它继承了传统大数据“4V”特点,又具有其独特的“6S”特性。
从规模(Volume)上讲,大量的国防大数据研发项目提供了丰富的情报来源,随着现代数据获取手段和能力的提高,国防数据已经达到了PB级规模;
从种类(Variety)上说,国防数据包括国防战略数据、国防动员数据、国防科技数据、军事训练数据、装备保障数据等多种类型的数据,包含文本、图像、视频、音频、光电信等多种表现形式,种类混杂、处理难度高;
从速度(Velocity)上看,各类传感器、雷达、卫星产生的高速数据流,相比当前民用数据管理系统,写入速度大大加快;从数据价值(Value)方面分析,国防大数据对于国家安全、作战指挥、军事训练、行动决策、装备保障、军事人力资源管理等方面起着至关重要的作用。
一是超复杂性(SuperComplexity),国防大数据涉及面广、种类多样、信息维度高、冗余度大,分析处理难度远大于民用大数据;
二是超保密性(SuperSecrecy),军用数据直接关乎国家的安全,是敌方窃取的重点,需要更安全高效的保障;
三是高机动性(SpeedDeployment),当前战场形势瞬息万变,战场环境复杂,国防大数据应具备陆海空天电网空间灵活调配和互联互通的能力;
四是高安全性(Security),国防大数据在处理、存储过程中更多地考虑是否遭受打击等问题,因此其环境保障能力应较强;
五是强对抗性(StrongCountermeasures),国防大数据在情报侦察、武器控制、军事训练等方面体现了非合作的特征,也时常出现数据伪装欺骗、数据非法窃取等现象;六是强实时性(Sooner),战场机会稍纵即逝,处理数据速度越快、指挥链越短,越能更快地抢占先机,赢得战争的胜利。
习近平主席曾在网络安全和信息化会议上指出:没有信息化就没有现代化,没有网络安全就没有国家安全,要制定实施国家网络安全和信息化发展战略、宏观规划和重大政策,不断增强网络安全保障能力,信息技术十分重要,在国防军事领域运用大数据技术势在必行,也是实现中国梦、强军梦的具体战略举措。因此,在数据日益开源的情况下,充分利用国防大数据的价值,对于国防和军事现代化建设具有重大意义。首先,大数据是制订国防和军事战略计划的基础,构建国防和军事大数据技术平台,是科学制定国家战略的重要环节。大数据的重要特点之一是全数据,而不是样本数据,建立国防大数据仓库,可以详细记录和获取国防和军事领域所需要的全部数据,避免出现以偏概全的情况;通过对大量数据采集、分析、处理和配置,结合人工智能、计算分析等方法挖掘分析,可以发现有价值的规律,完成科学的预测,帮助制订合理有效的国防战略规划。
其次,大数据是进行信息化战争研究的重要手段,在战场情报获取、作战指挥决策等方面能够发挥重要作用。对战争的传统研究模式可以感知交战过程和作战结果,却无法模拟复杂多变的战场态势,无法呈现战争内在的关联和规律。运用大数据分析技术可以对各渠道得来的海量信息进行实时化、智能化处理和仿真模拟,更加科学地分配兵力兵器,形成高效的打击方案。
最后,大数据是打破体系内壁垒的有效方法。我军刚刚进行了一体化联合作战的改革,很多体制机制还不健全,原有的各军兵种之间的差异和壁垒很大。此前,各军兵种之间各自为战,各自拥有自主的指挥平台,没有实现互联互通,数据规模不等、格式不
一、质量各异,无法实现共享。通过大数据加强一体化指挥作战平台的建设和数据共享,加强各基层部队搜集数据、存储数据、共享数据的意识,可大大提高体系作战能力。
当前,依靠经验直觉进行作战指挥的优势正在急剧下降,大多数军事强国已经认识到利用国防大数据的意义,将大数据技术作为国防科技发展的重要方向。美军投入巨额资金,确定了“数据支持决策、弹性系统设计、网络空间战、电子战与电子防护、反大规模杀伤性武器、自主系统和人工系统”等重点研究领域。对于我国来说,加强国防军事数据的发展建设也刻不容缓。充分利用国防大数据的潜在价值,树立大数据理念、完善制度机制、加强数据专业技术人才培养、构建大数据决策支持系统,对推动我国国防和军队建设具有重要的战略意义。
金融大数据将成为宏观决策和监管的新工具
目前业内的金融大数据强调在微观层面的应用,例如评价消费者的信用风险、支持投资决策、识别金融主体的身份等。随着大数据分析和挖掘技术的不断提高,微观的金融大数据可以经过整合、匹配和建模,来支持宏观的金融监管和决策。传统的金融监管和决策以定性为主,辅助以简化的量化指标,对实际情况缺乏充分的把握,而大数据技术可以充分利用底层的细粒度的微观数据,整合分散的信息,融合不同维度的信息,带来具有及时性、前瞻性和更为准确的决策支持,提高监管水平和决策能力。本节将以金融系统性风险管理、银行存款保险费率的计算、对欺诈交易的检测和经济结构变化四个方面为例介绍金融大数据在宏观金融决策和监管中的应用。
(一)金融关联的系统性风险管理
金融危机之后,全球金融市场的关联性远胜于过去。市场的互动性一旦大大加强,就会导致流动性风险和系统性风险,造成市场恐慌。国内的信贷担保圈(多家企业通过互相担保或联合担保而产生的特殊利益群体)就是金融关联的典型代表。由于信贷市场的发展,关联的企业越来越多,互相形成担保圈,甚至形成一张巨大的网。在经济平稳增长期,担保圈会降低中小企业融资的难度,推动民营经济的发展。然而,一旦经济下行,担保圈就会显露其负面影响——加剧信贷风险。如若处理不当,极易引发系统性金融风险。过去几年,在南方企业担保流行的省份,往往一家企业出现信贷不良,一群企业遭殃,一个行业陷入泥潭,整个地区面临系统性风险,一些本来毫不相干,资金链正常,经营良好的企业也由于担保关联,跌入破产的深渊。
信贷市场担保圈问题一度愈演愈烈,传统的担保圈分析方法对理解、处理担保圈问题作用有限。企业之间担保贷款本来是一种中性的信用增进方式,恰当地使用会产生风险释缓作用,由于担保圈风险迭出,银行和监管部门把问题归结到担保贷款本身,目前各家银行采取了比较严格的限制条款来避免担保贷款的发生。
任何信贷产品都存在风险,金融机构本身就是经营风险的专业机构。本文的研究认为,从专业角度来说,担保圈风险发生的根本原因,是缺乏合适的风险管理工具,没有对担保圈进行正确的风险管理。
目前对于担保圈的量化风险分析存在以下问题。
首先是缺乏担保圈全量的大数据,没有足够的信息支撑。各家银行和当地的监管机构只有局部的企业担保关联数据,构不成完整的担保圈视图,风险信息有缺漏。无法了解整个担保圈相关企业的详细信息,因此处理具有系统性风险特点的担保圈风险具有很大的局限性。
其次是无法对担保圈风险进行建模,对风险进行正确的量化描述。传统的风险分析工具都是对单个企业进行风险建模,适合对企业的贷款金额、贷款质量以及信贷行为建模,对于企业之间的关联关系无法进行量化描述和风险分析。
因此我国有必要借助大数据的复杂系统分析方法,启动对担保圈的深入分析,为化解因担保圈引发的金融风险创造条件。要考虑到如下条件:一是央行征信系统已收集了大量丰富的企业担保关系数据。截至2015年底,中国人民银行征信中心为2146万企业建立了信用档案,有信贷记录的企业超过596万家,关联关系信息(仅限于有贷款卡的用户)超过2亿条。二是复杂网络技术已日趋成熟。复杂网络是由数量巨大的节点(研究对象)和节点之间错综复杂的关系(对象之间的关系)共同构成的网络结构。复杂网络分析技术针对越来越多、越来越复杂的事物之间的关联关系进行非线性建模,可以较好地解决大数据的数据量(Volume)、数据复杂程度(Variety)和处理速率(Velocity)等基本问题。
随着金融市场的创新和发展,金融风险变得越来越复杂,需要更多的数据支撑和复杂的数学模型来量化描述,大数据技术将成为未来金融风险管理的利器。
(二)银行存款保险费率的计算
2015年5月,作为金融市场化进一步深入的重大举措,银行存款保险制度正式开始实施,这不仅有利于稳定宏观金融,也对利率市场化后商业银行的稳健经营和有序竞争有利。存款保险费率的厘定是存款保险制度的一个核心,而保费的估算是设计存款保险方案中的难题之一。保费结构的设计,在很大程度上决定了存款保险对于参保银行的可接受度。想降低道德风险并减少逆向选择,取决于合理的保费结构。国内对于银行存款保险的研究以定性为主,对保险费率计算的量化分析比较欠缺。
从国外信贷数据的应用情况来看,信贷数据有助于银行监管者准确评估监管对象的信用风险状况。对于建立了公共征信系统的国家来说,风险分析技术可以成为有效的监管工具,由于银行业的危机通常和高的不良贷款率相关,信贷数据常常用于信贷市场监控和银行监管,是银行监管统计数据的补充。因此,央行信贷大数据不仅可以帮助商业银行管理信用风险,还可以支持监管和宏观经济分析。未来的研究可以利用信贷大数据,基于预期损失模型来计算银行存款保险费率,从最基础的信贷数据单元开始计算,给保费制定提供更加及时、准确的决策支持。
(三)进行精细化的金融监管
技术进步加上日益复杂的市场,会使得金融监管机构的工作变得艰难复杂,但大数据技术的发展提供了化解之道,让金融市场维持良性运转成为可能。如金融监管机构正利用计算和“机器学习”算法的最新进展,扫描金融市场信息和公司财报,从中找出欺诈或市场滥用行为的蛛丝马迹。这些基于大数据分析技术的新型监管工具是金融交易欺诈侦查的未来,有越多的数据积累,其功能就将越强大。美国证交会几年前就推出了一个被称为“机械战警(Robocop)”的计算机程序(学名“会计质量模型”),用证交会的金融数据库检查企业利润报告,从中搜寻可能隐藏的异常行为——激进的会计手法或赤裸裸的欺诈。“机械战警”的具体情况、手法,透露给外界的信息甚少,但其基本思路是:通过大数据分析,发现多个可能暗示着潜在会计问题的重要指标。
(四)观测产业结构调整的新角度
金融大数据的深入挖掘还可以反映宏观经济变化的规律。例如,可以通过信贷大数据来观测产业结构的调整。截至2015年底,2146万户企业及其他组织被收录进企业征信系统,有596万户拥有信贷记录,该系统累计提供信用报告查询服务6.1亿次。该系统数据有三大特点:
一、全面,数据采集覆盖了国内绝大部分金融机构;
二、真实,所采集数据来自金融机构实际发生的每笔信贷业务,统计结果得自每笔业务数据汇总相加,数据可追溯从而可还原每笔明细;
三、时间跨度长,企业征信系统始自银行信贷登记咨询系统,2005年起提供对外服务,已运行了十年有余,意味着系统收集的数据超过十年,因此,对于分析国内企业的行业行为和行业情况很有价值。例如可以将这些账户级的信贷数据,逐层整合成企业级和行业级,利用大数据挖掘、分析,从信贷市场角度剖析产业结构的变化。
蓝皮书指出,金融大数据分析可以成为宏观金融决策和监管的有力工具,可以在市场化金融发展的过程中发挥重要的作用。与微观金融大数据的应用方面很多金融科技公司没有足够的金融大数据的情况不同,国内的金融大数据都掌握在政府和监管部门的手中,金融大数据的宏观应用有着良好的数据条件,更容易见到成效。
旅游大数据将支持智慧旅游城市建设加快推进
蓝皮书指出,大数据城市建设,核心是要打破信息壁垒,通过信息共享互通,提高效率,将一个个“信息孤岛”有效地串联起来,将信息高速公路转化为现实的产业生态体系建设,形成“线上一条路,线下一个圈”的线上线下联合发展模式,充分体现出“智慧”的特点。依托旅游大数据,形成以智慧城市基础设施为依托,以各级旅游集散中心为枢纽,以旅游大数据平台为信息中枢,以智慧旅游技术产品应用为媒介的分析系统,为旅游者提供导航、导游、导览、导购的全程式旅游服务。同时,通过基于大数据“云+端”的架构处理,确保旅游监管系统、旅游信息发布系统、景区管理系统数据的统一。例如遵义市重点开发了旅游资源基础数据库和旅游大数据分析系统,并在景区的游客中心、宾馆饭店大堂、大型商场影院、机场、汽车站、火车站等客流密集区或重要节点安装智慧旅游多媒体查询显示屏。通过这种面向市场一线的架构处理,监管部门可确保多种系统运营的同步性、统一性和即时性。
旅游大数据平台可以收集互联网,例如论坛、博客、微博、微信、电商平台、点评网等有关旅游评论数据,通过网评大数据库进行分词、聚类、情感分析,了解游客的消费习惯、价值取向,从而全面掌握旅游目的地的供需状况及市场评价,为政府和涉旅企业做决策提供依据。如百度大数据产品百度预测已初步具备类似功能,可以预测景区未来两日的人流及舒适度,为游客出行提供指导。