大数据整体生态环境分析报告1107由刀豆文库小编整理，希望给你工作、学习、生活带来方便，猜你可能喜欢“生态环境大数据分析”。
大数据整体生态环境分析报告
一、背景介绍
2008年末，“ 大数据 ”得到部分美国知名计算机科学研究人员的认可，业界组织计算社区联盟(Computing Community Consortium)，发表了一份有影响力的白皮书《大数据计算：在商务、科学和社会领域创建革命性突破》。它使人们的思维不仅局限于数据处理的机器，并提出：大数据真正重要的是新用途和新见解，而非数据本身。此组织可以说是最早提出大数据概念的机构。
2016年，中国已经全面进入了大数据时代，大数据时代的出现简单的讲是海量数据同完美计算能力结合的结果。确切的说是移动互联网、物联网产生了海量的数据，大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。
随着移动互联网、电子地图、电商的崛起，所产生的大量数据及用户所使用的流量及其内容更成为一个个大数据应用的主战场！如何分析加工应用这些大数据，及整体的大数据是有哪些发展趋势，有哪些应用场景本文将一一介绍！
二、大数据的应用场景
大数据时代最有意义就是利用大数据及大数据技术创造价值，大数据的企业应用场景就是介绍大数据在行业的应用，体现大数据商业价值。大数据的应用场景会将提升企业对大数据的关注，鼓励企业大数据产业中投入更多的资源，利用大数据这个工具，为人类社会造福。大数据的应用可以分为企业应用和政府应用，其关注点有所不同，我们分开介绍，先从大数据在企业应用开始谈起。1）医疗行业 医疗行业拥有大量的病例，病理报告，治愈方案，药物报告等等。如果这些数据可以被整理和应用将会极大地帮助医生和病人。我们面对的数目及种类众多的病菌、病毒，以及肿瘤细胞，其都处于不断的进化的过程中。在发现诊断疾病时，疾病的确诊和治疗方案的确定是最困难的。在未来，借助于大数据平台我们可以收集不同病例和治疗方案，以及病人的基本特征，可以建立针对疾病特点的数据库。如果未来基因技术发展成熟，可以根据病人的基因序列特点进行分类，建立医疗行业的病人分类数据库。在医生诊断病人时可以参考病人的疾病特征、化验报告和检测报告，参考疾病数据库来快速帮助病人确诊，明确定位疾病。在制定治疗方案时，医生可以依据病人的基因特点，调取相似基因、年龄、人种、身体情况相同的有效治疗方案，制定出适合病人的治疗方案，帮助更多人及时进行治疗。同时这些数据也有利于医药行业开发出更加有效的药物和医疗器械。医疗行业的数据应用一直在进行，但是数据没有打通，都是孤岛数据，没有办法起大规模应用。未来需要将这些数据统一收集起来，纳入统一的大数据平台，为人类健康造福。政府和医疗行业是推动这一趋势的重要动力。2）生物技术
主要是指大数据技术在基因分析上的应用，通过大数据平台人类可以将自身和生物体基因分析的结果进行记录和存储，利用建立基于大数据技术的基因数据库。大数据技术将会加速基因技术的研究，快速帮助科学家进行模型的建立和基因组合模拟计算。基因技术是人类未来战胜疾病的重要武器，借助于大数据技术的应用，人们将会加快自身基因和其它他生物的基因的研究进程。未来利用生物基因技术来改良农作物，利用基因技术来培养人类器官，利用基因技术来消灭害虫都即将实现。3）金融行业
大数据在金融行业应用范围较广，典型的案例有花旗银行利用IBM沃森电脑为财富管理客户推荐产品，美国银行利用客户点击数据集为客户提供特色服务，如有竞争的信用额度。，招商银行利用客户刷卡、存取款、电子银行转帐、微信评论等行为数据进行分析，每周给客户发送针对性广告信息，里面有顾客可能感兴趣的产品和优惠信息。大数据在金融行业的应用可以总结为以下五个方面：
精准营销：依据客户消费习惯、地理位置、消费时间进行推荐
风险管控：依据客户消费和现金流提供信用评级或融资支持，利用客户社交行为记录实施信用卡反欺诈
决策支持：利用抉策树技术进抵押贷款管理，利用数据分析报告实施产业信贷风险控制 效率提升：利用金融行业全局数据了解业务运营薄弱点，利用大数据技术加快内部数据处理速度
产品设计：利用大数据计算技术为财富客户推荐产品，利用客户行为数据设计满足客户需求的金融产品 4）零售行业
零售行业大数据应用有两个层面，一个层面是零售行业可以了解客户消费喜好和趋势，进行商品的精准营销，降低营销成本。另一层面是依据客户购买产品，为客户提供可能购买的其它产品，扩大销售额，也属于精准营销范畴。另外零售行业可以通过大数据掌握未来消费趋势，有利于热销商品的进货管理和过季商品的处理。零售行业的数据对于产品生产厂家是非常宝贵的，零售商的数据信息将会有助于资源的有效利用，降低产能过剩，厂商依据零售商的信息按实际需求进行生产，减少不必要的生产浪费。5）电商
电商是最早利用大数据进行精准营销的行业，除了精准营销，电商可以依据客户消费习惯来提前为客户备货，并利用便利店作为货物中转点，在客户下单15分钟内将货物送上门，提高客户体验。马云的菜鸟网络宣称的24小时完成在中国境内的送货，以及京的刘强东宣传未来京东将在15分钟完成送货上门都是基于客户消费习惯的大数据分析和预测。电商可以利用其交易数据和现金流数据，为其生态圈内的商户提供基于现金流的小额贷款，电商业也可以将此数据提供给银行，同银行合作为中小企业提供信贷支持。由于电商的数据较为集中，数据量足够大，数据种类较多，因此未来电商数据应用将会有更多的想象空间，包括预测流行趋势，消费趋势、地域消费特点、客户消费习惯、各种消费行为的相关度、消费热点、影响消费的重要因素等。依托大数据分析，电商的消费报告将有利于品牌公司产品设计，生产企业的库存管理和计划生产，物流企业的资源配制，生产资料提供方产能安排等等，有利于精细化社会化大生产，有利于精细化社会的出现。6）农牧业
大数据在农业应用主要是指依据未来商业需求的预测来进行农牧产品生产，降低菜贱伤农的概率。同时大数据的分析将会更见精确预测未来的天气气候，帮助农牧民做好自然灾害的预防工作。大数据同时也会帮助农民依据消费者消费习惯决定来增加哪些品种的种植，减少哪些品种农作物的生产，提高单位种植面积的产值，同时有助于快速销售农产品，完成资金回流。牧民可以通过大数据分析来安排放牧范围，有效利用牧场。渔民可以利用大数据安排休渔期、定位捕鱼范围等。1）交通
交通的大数据应用主要在两个方面，一方面可以利用大数据传感器数据来了解车辆通行密度，合理进行道路规划包括单行线路规划。另一方面可以利用大活数据来实现即时信号灯调度，提高已有线路运行能力。科学的安排信号灯是一个复杂的系统工程，必须利用大数据计算平台才能计算出一个较为合理的方案。科学的信号灯安排将会提高30％左右已有道路的通行能力。在美国，政府依据某一路段的交通事故信息来增设信号灯，降低了50%以上的交通事故率。机场的航班起降依靠大数据将会提高航班管理的效率，航空公司利用大数据可以提高上座率，降低运行成本。铁路利用大数据可以有效安排客运和货运列车，提高效率、降低成本。2）天气预报
借助于大数据技术，天气预报的准确性和实效性将会大大提高，预报的及时性将会大大提升，同时对于重大自然灾害，例如龙卷风，通过大数据计算平台，人们将会更加精确地了解其运动轨迹和危害的等级，有利于帮助人们提高应对自然灾害的能力。天气预报的准确度的提升和预测周期的延长将会有利于农业生产的安排。
三.大数据主流技术介绍
主流的大数据厂商分为大数据分析基础设施，大数据操作基础设施，大数据基础云服务，传统结构化数据库，商业智能，可视化领域等 1)大数据分析基础设施
主要指Hadoop的发行版本产品，主要厂商有Cloudera,Hortonworks,MapR.其他还包括HP的Vertica,EMC的GreenplumHD,IBM的BigInsights 2)大数据操作基础设施
主要是指企业级的NoSQL数据库和SQLonHadoop产品。主要产品有Caouchbase,Hadapt,Teredata,Marklogic等 3)大数据基础云服务（IAAS）
基于大数据基础设施提供云服务的有AmazonWebServiceElasticMapReduce、GoogleBigQuery、Infochimps、MicrosoftWindowsAzure,阿里云等 4)关系型数据库
关系型数据库产品Oracle、MicrosoftSQLserver、SAPSybase、IBMDB2、MySQL、PostgreSAL,MemSQL等 5)数据云服务（DAAS）
DaaS的服务主要有WindowsAzureMarketplace、Datasift、SpaceCurve、Factual等 6)商业智能产品
BI产品主要有Oracle的Hyperion、SAPBusineObjects,MicrosoftBusineIntelligence、IBMCongnos,SAS,HP的Autonomy、QlikView等这些产品通常具有分析和可视化能力。
7)分析和可视化应用
主要产品有SAS,TeraDataAster,EMCGreenplum,TableauSoftware,Tibco等。8)日志应用
主要产品有Splunk、Loggly、SumoLogic。其中Splunk是一个可运行于各种平台的IT数据、日志分析软件。9)广告／媒体应用
主要产品有MediaScience、BlucefinLaps、RocketFuelDataXu,RecordedFuture.其中RocketFuel是一家广告优化公司，每天处理15亿次品牌广告展示，广告效果完全基于数据来改善。10)垂直应用
主要有PredictivePliciing、BloomReach,Myrrix,Atigeo.其中BloomReach公司面向市场开发大数据应用（BDA）,通过机器学习，网络爬虫和搜索技术来挖掘数据，对网站的数据进行分析，然后为网站带来更多的流量，从而给他们的客户带来更多的利润。
国内的互联网企业在大数据应用和研发方面处于较好的水平例如淘宝、百度、腾讯、新浪等。但是在大数据产品和技术服务领域却落后于国际厂商。国际主流大数据产商包括Cloudera、Hortonworks、MapR,IBM,Oracle,EMC,Intel,SAP,Teredata。四.大数据产业链介绍
由于大数据及大数据技术是一个工具，无法像互联网企业那样形成一个大数据生态圈，形成闭环。但是从数据的收集，存贮，处理，分析，销毁等方面分析，可以形成大数据产业链。数据的收集
主要是指各种数据通过传感器或其他方式被采集，大数据的的采集除了传统的互连网入口、社交平台、搜索引擎、电商交易数据、在线问答、企业业务数据外，移动互联网的App将是一个重要的数据入口，例如通过手机APP内嵌的SDK将手机App上的用户行为数据集中进行收集和处理，TalkingData目前是这一领域的领先的大数据厂商，他们既有大数据又有数据管理平台DMP。摄像头采集的数据、导航地图的轨迹数据、物流信息、移动互联网App的LBS位置数据等都大数据的重要来源。在这个阶段主要是指拥有大数据的公司例如BAT，通讯行业、互联网企业、物流行业、零售行业、医疗行业等，它们需要大数据采集和存储产品。数据的存储
主要是指利用何种方式进行数据存贮，对于中小企业，云存储是以个不错的原则，对于金融行业和其他对数据保有权较为重视的企业，私有云将是一个不错的选择。政府主导的大数据存储平台可以作为参考。如果认为云平台无法采用时，采用低端的并行计算机可能是一个经济的方案，但是由于没有云操作系统，其存储的效率是个较大的挑战。EMC、NetAPP、日立的NAS存储可以考虑。SAN存储由于成本过高，不建议用于大数据存储，但是土豪除外。数据处理
数据处理主要是指数据处理平台，采用了SAAS概念的大数据处理平台都可以考虑，企业在考虑处理平台时建议，循序渐进，以未来2年内的数据处理量为参考，千万不要一次投资到位，因为数据处理的技术发展是几何级数的，两年后采用新的技术平台，其ROI将会大大降低，采用Cloudera,Hortonworks,MapR的Hadoop产品都可以，如果其在中国没有成熟团队建议考虑IBM,HP,Oracle的解决方案，他们的案例较多。数据分析
主要是指如何对处理完的数据进行商业分析，业务需求和技术需求必须有本企业技术和商业人员主导，外部厂商很难了解企业自身的商业需求，但是数据展现形式和分析方式可以交给厂商来做，主要涉及的厂商是传统的商业智能产品和可视化应用，包括Oracle的Hyperion、Teredata、SAPBusineObjects,IBMCongnos,SAS,HP的Autonomy、QlikView等。数据销毁
主要是指数据如何进行安全管理，对于不再需要的数据如何进行销毁，鉴于数据的数量较大，存储需要重用，因此数据索引删除、数据空间7次重写，数据混淆、数据对称加密等方式都可以用作数据销毁，目前此阶段市场需求不多，因此还没有较为成熟的方案和厂商，未来将会用安全厂商进入此领域。
由于目前大数据产业的商业模式和盈利模式还在探索之中，大数据带来的直接收益还没有明确，目前主要的商业形式还是大数企业自身的大数据应用（例如，大数据计算平台，大数据采集和分析，数据分析报告），行业应用处于一个探索的阶段，在大数据较为集中的电信行业，并没有成立数据事业部，数据被当作资产良好的保存起来，国外的大数据投资`在2005年就开始了，很多高科技企业已经大数产业链上投入巨资进行技术开发和行业应用。
五．大数据隐私保护
大数据的隐私和伦理已经争论了很多年，由于其涉及我们每个人的自身利益，大数据隐私保护是大数据产业需要正面面对的问题。大数据在采集过程中必定会涉及到隐私数据，的收集，如果其保护的不好将会造成严重的后果，成为大数据产业发展的瓶颈。过度强调大数据的商业应用而忽视了大数据产业的隐私保护，将会产生灾难性的后果，大数据产业的发展可能会因此被禁止。过度强调隐私保护而不发展大数据产业也是一个错误的选择，人类可能会错失一个高速发展的机遇。大数据产业发展要建立在隐私保护基础之上，同时隐私保护也将通过适当约束来助推大数据产业的发展。
大数据企业在采集外部数据时，应该注意尽量不要收集可以识别出个人的PII信息，参照美国个人隐私定义者，PII信息包括姓名、地址、手机号码、身份证号、驾驶证号、银行帐号、借记卡／信用卡号。大数据企业在使用自身拥有的信息时也要注意保护敏感信息例如民族、政治意见、宗教信仰、健康／医疗信息，婚姻状况、性生活、年龄、性别、犯罪记录、个人喜好、标准IP地址等。
大数据企业应该在其公司的章程和文件中体现对个人隐私数据的保护，坚持遵守全球隐私保护7条原则；
1)知晓权（透明性）：应该通知本人关于所收集信息的目的2)选择权：提供机会选择或放弃所提供的个人信息是否被使用或如何被使用 3)同意权：再符合知晓权和选择权的情况下才可以向第三方透露个人数据信息
4)安全权：采取负责的措施保护个人信息免受丢失、滥用、未授权获取、泄露、篡改、毁坏的威胁
5)数据完整性：确保个人信息在最终用途、合理防护方面的可靠性，确保信息精确、完整、无误。
6)可查询：提供本人查询个人信息的途径
7)责任性：企业有责任遵守上述法则，并应确保合规的机制。
大数据企业面对的数据分为公开数据，授权数据，隐私数据。公开数据来源于公共媒体因此可以无须强调保护，授权数据来源于数据收集过程中，客户对企业的授权，需要依据签订的协议使用范围来使用，不能过越权进行数据转让和贩卖，大数据企业仅能在签署的授权范围内部进行使用，企业在使用大数据时尽量使用分类数据、群体数据、趋势数据、统计数据。不要使用针对个体的数据，同时在数据分析是需要注意关注隐私数据保护。大数据企业在利用隐私数据时将要特别注意对其的保护，即使在客户授权的前提下，也要注意数据的使用场合和揭示方式，不要向外泄露受保护的PII信息。
大数据隐私保护应该从企业法律意识、国家法律法规、数据保护技术等几个方面入手进行大数据隐私保护，其是大数据产业发展的一个重要前提，解决了大数据隐私保护问题才能打开大数据产业发展的空间，大数据产业发展才有明确的未来。
