加入收藏 | 设为首页 | 会员中心 | 我要投稿 | RSS
您当前的位置:首页 > 服务

《金融大数据区块链标准与评测》(PPT干货实录)

时间:2019-01-11 13:22:45  来源:本站  作者:

  数据观微信小编获悉,不久前,在“2018中国金融科技产业峰会”上,中国信息通信研究院大数据研究部主任魏凯发表了《金融大数据&区块链标准与评测》的主题演讲,详情参看下方PPT干货实录!s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  凯:我今天给大家介绍的结合我们这次论坛的主题,是我们院在金融大数据和区块链方面一些观察和做的工作。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  首先是大数据,大数据火了好多年,在我们金融界一致认为大数据能够带来非常大的价值,不管在金融界还是其他行业。但是大数据如何带来大的价值,中间的路径大家其实不是特别清晰。这几年的调研过程中也发现大家有很多的困惑,主要从三个方面看,这三个方面解释了大数据大的含义。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  第一个是大分析,前面所有大数据应用的探索和技术的研发,其实是围绕着如何分析挖掘海量信息中的信息和价值。数据如果不经过登记、加工、维护变成一种资产,其实这种分析很难产生价值,必须把大数据作为一种大资产来看待。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  还有一个事情可能被大家忽略过一段时间,大事务,大概所有银行这几年都面临着网银流量的激增,这个是来自于国内互联网目前支付带给银行业后台的压力,基本上都是几倍,每年翻一番或者百分之七八十的增长,对后系统核心银行系统的事务性的处理、事务数据库带来很大的压力。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  下一阶段,大分析成为重要的热点。我们认为大数据要解决几个问题,大分析、大事务,最后产生一个大资产,才能带来大的价值,这是我对大数据含义的理解,这也是我们这几年在金融科技方面、大数据方面做的几个工作的代表。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  首先来看大分析,划分成几个阶段,2000年以前,其实银行业是最早引入数据仓库、数据分析的行业,银行业传统上是一个数据密集型行业,我们看到一个报告,每单位产值里,金融业的数据投资是最多的,在2000年之前,我们银行业金融业就开始使用数据挖掘的技术,主要依靠的是专用的数据库、专用的硬件,现在看来还是非常简单的一些应用,主要是报表,主要是经营分析给监管产生的一些报表。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  接下来发生了颠覆性的变化,从互联网开始的,从前台业务看到我们金融业的发展。这个是从后台看到的,在2000年开始,互联网公司走了完全另外一条路,用分布式的技术来解决数据分析的问题,他们在软件上去创新,用廉价的机器来做大分析。然后又进入到金融业,进入到传统行业,进入到电信、公安、医疗、交流,大家看到大数据热起来从2010年以后才看到在社会上各方面广泛渗透,这个时候产生了很强的技术基础,比如Hadoop、Spark等,这是支撑大数据非常坚强的基础。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  总结起来,可以看到大分析这几年的变化,在互联网业务的推动下,不得不做的一件事就是分析系统的分布式转型,单机无法承受了,必须采用分布式架构,并不是钱的问题,钱是一方面,另外是性能和扩展性都撑不住了,分析系统、数据挖掘系统首先有分布式的迁移。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  另外是这些理念从互联网一直在往金融业拓展,每一家商业银行或者金融机构上大数据分析系统的时候,肯定会基于分布式的,这是毫无疑问的。几个原因,一个原因是大分析的技术在这几年突飞猛进的发展,互联网给大家创造了一些开源的福利。另外是分析事务一致性的要求相对来说比较简单,所以它比较好做。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  回过来看大分析这些后技术的演进,我们画一张图,上半边是软件层次的演进,大家可以看到在2003年-2016年,技术更迭变换周期越来越短,软件创新的活跃程度越来越高。从2008年Hadoop1.0出来以后,生产系统开始用,到2012年、2013年Spark出来,现在Spark已经成为生产系统的一个标配。最近深度学习、Tensorflow还有最近UC伯克利又发了一个新的分布式框架,能够支持深度学习等等软件的创新是非常快的,让我们做大分析变得越来越容易。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  还有下边的图,这也是我们看到的在未来几年可能会发生的事情,在大分析上,有几个驱动力,我们的内存越来越便宜、越来越快,这会导致我们以前软件设计的假设已经变了,所以大家这几年在拼命开发如何让系统能够适应比如SSD、非易失的存储器,比如内存计算,如何把内存用足了。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  这几年还有一个变化,内存比CPU的进度要快,计算拖了后退,这个是很明显的变化。现在计算方面,因为不同的任务用不同的硬件去算是最优的,比如我们用GPU去算机器学习,现在很多数据库厂商用ASIC去加速SQL的操作。这是我们看到的分析技术的软件和硬件的变化,非常快,从分布式的开端到后来一系列的演进,和未来新硬件驱动下的软件的变化。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  对应这些大分析产品的评测,我们主要是从运维的管理能力、可用性、功能、安全、兼容性、多租户、可扩展性这些角度去评价一个产品,看它是不是能够在金融的生产场景里去使用,这是我们分析产品。现在已经有大概50多款产品参与了分析平台的评测。这是我理解的大数据的一个大,大分析。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  第二个大是资产,如果数据是垃圾,我们的分析结果肯定靠不住,这是大家所有人的共识。在传统的金融机构里一直在专注于花了很大资金去请咨询公司做数据治理的项目,这是前几年做的很多事情,数据需要管理,需要去养数据,不是说你的系统,平台建好以后,应用就能运行很顺畅,数据还需要去管理、治理、运维。这是前几年已经有的概念,在这几年数据管理也发生了很大的变化,应该有一个概念上的升级。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  变化这里我总结了几个方面,第一个方面,数据应用对象已经发生了很大变化,我们原来的数据管理都是面向一些给领导做报表的一些任务,所以数据的应用对象主要是以少数人。现在很多银行他的数据应用是基层员工,是柜员,甚至是最终的用户,数据应用的范围发生了很大的变化,我们的手段也发生很大变化,以前数据的管理靠人工,现在越来越靠智能,靠人工智能做语义字段的匹配。职能也发生了变化,以前我们的数据管理部和业务条线泾渭分明,甚至有些是在信息科技下,现在数据和业务是越来越分不开,所以他的管理职能也发生了很大的变化。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  另外数据架构也发生很大变化,从经典的数据仓库类型的架构,现在正在朝数据湖的方向发展,数据不需要去清洗转换加载,而是数据线加载,我使用的时候再转换,这是一个架构上的变化。同时数据种类发生变化,原来的数据主要是结构化的数据为主,现在有很多的数据,比如语音的客服的数据,未来要做机器学习训练的,不是做报表的。这五个层次的变化导致了数据的管理需要向下一代去演进。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  最重要的,数据要成为资产,经济学人今年有一篇非常著名的文章,数据是未来的石油,肯定是资产,也有很多人说未来数据要进入资产负债表。上周我们何所长到银行业协会讲课的时候,未来如果不会管数据的行长不是个称职的行长,这都反映出一个现象,数据像我们现在桌椅板凳这种实物资产一样管理起来。我们也定义了很多数据资产管理的方法论,希望能够给业界一个指引,在大数据的时代下,如何把大资产管好。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  比如我们可以反向把机器学习用到数据管理上,我最近了解银行业一般一个数据治理项目大概七八百万都算比较正常的,如果能用一些新的技术,能不能给大家节省一点成本,让这个事情做得更好。数据资产管理这块是非常重要的未来大数据应用的一个点。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  我们院数据中心联盟也做了很多工作,我们建立了一套数据作为资产的方法论,去年12月份发布了第一版的数据资产管理的白皮书,我们也启动了一系列的标准的研究和评测的活动。前期的活动主要是聚焦在数据作为资产,在不同的机构之间流动的时候,你不要侵害第三人,不要损害用户的权益。后续我们还会有很多其他相关的研究。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  第三个大是大事务,每年双十一的时候,淘宝和相关的电商他们背后的峰值一直在变化,每年基本上翻一番。这里我也回顾了一下,处理用户交易的时候,其实是金融业的生命线,每家银行的订单、一个账单的生成、业务的流程,每一笔记账的事务数据的体系。也经历了很大的变化,在80年代、90年代数据库逐渐成熟起来以后,大家很快的在很多银行、很多金融机构在发展。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  颠覆也同样来自于互联网,他们的小额高频这种交易是原来金融界没有的。比如现在很多银行线下的网点都在收缩,但是业务量在增长,因为每个人就是一个网点,背后事务数据的处理量增长很快,我们最近调研了很多股份制银行和城商行,他们也告诉我们未来时间可能会在两年左右,他的小型机的峰值就已经满了,再加也加不上去了,迫不得已必须要走分布式的发展,要用分布式的技术处理大事务。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  但是也存在问题,挑战非常大,第一,业务不想更改他的逻辑,这是最大的问题。大家看互联网公司的事务处理能力非常好,他做分布式事务做得非常好,是因为互联网公司的逻辑复杂,数据库比较简单。但是我们银行业的数据库逻辑很复杂,业务非常简单。如果套用原来的互联网公司的成功经验,其实是难以复制的,银行业不想改业务逻辑。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  第二,对一致性要求非常高,CAP的取舍,但是是保A还是保C。还有可靠性,核心系统是生命线,绝对不能出一点差错。还有标准和评价指标缺失,没有人走过这条路,在整个国际上不具有参照性,其他国家网银的支付比例非常少,只有我们国家的银行才面临这样的问题,所以我们没有国际经验可以参考,没有相关的标准可以参照。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  所以我们也在做事务的研究,今年非常热,我们也在支付清算协会在丁主任这边的委员会下在开发相关的标准,很快会推出分布式事务数据库的标准和相关的评测工作,这才是刚需,这是银行业的刚需,这是金融机构的刚需,没有这个,他业务就做不了,不像数据分析。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  现在金融机构也在尝试,国内每家银行和金融机构都在做区块链的PoC或者试验系统的发展,其实大家面临很多问题,比如说不可篡改,跟法律的判决或者监管的要求如何回滚,这个之间如何调和。还有升级,区块链必然是联盟链,背后节点之间怎么达成步调一致的升级,这是很多现实的问题。还有去中心化,是不是必须要去中心化。还有弱性能,现在区块链的性能和我们双十一的峰值可能是没法比的,但是如何提升这样的性能,在一些场景做权衡,还有待审查。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

  我们跟支付清算协会全面合作,正在做支付清算行业可信区块链相关的标准,一系列的标准,主要有几层,一层是基础链,基础链的业务要扎实,要让这个链作为一个可信赖的设施。第二步是支付清算结算这些业务场景上在区块链这个上面的逻辑是样。最上层是一些支付清算行业应用的标准,大概是这样一个逻辑结构,主要是基于我们院牵头,在数据中心联盟下面做的一套标准叫可信区块链的基础标准,它是对于区块链底层的技术做一个全面的信息披露、全面的体检。s9T安圈网-B2B免费发布分类信息平台,让生意飞起来!

来顶一下
返回首页
返回首页
[!--temp.pl--]
推荐资讯
相关文章
    无相关信息
栏目更新
栏目热门