金融服务业一直依赖于数据和准确的记录保存. 在本文中(基于我的数据管理峰会主题), 我将关注最新的数据趋势,以及它们如何影响(或即将影响)像你们这样的金融机构.

1. 数据量

十年前,谷歌前首席执行官埃里克·施密特评论道:welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜每两天生产的内容就相当于20个人生产的全部内容,2003年之前的000年.“今天,(主要是非结构化)数据创建的速度要高得多.

相应的, 管理每天创建的以艾字节计的大数据, welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜需要更好的工具——特别是在自动化和云计算方面——因为有太多的数据需要人工处理. 自动化还包括人工智能(AI)和机器学习, 哪些可以帮助组织根据数据自动化智能决策.

2. 不断变化的社会

COVID-19是社会变革的重要贡献者, 这一发展也影响了数据. welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜对这一大流行病的反应表明,远程工作的规模在十年前是不可想象的. 现在welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜有了网络, 带宽, 工具和能力使不同的劳动力成为一种好的力量.

对于许多在办公室工作的人来说,虚拟生活并没有太大改变他们一天的基本工作. 无论如何,welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜的生活数字化,每天产生越来越多的数据. 随着welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜在网上花费的时间越来越多,数据隐私就成为了优先考虑的问题. 隐私和安全必须无缝地构建到welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜所有的数据工具和技术中. 也, 数据的重要性和可见性日益增强,正促使监管机构给予更多关注.

3. 改变加速度

随着数据量的增加, 不断升级的技术进步正在推动组织中新的、更广泛的变革.

在这里, we're not just dealing with vast and monolithic datasets; there's a hoard of smaller and more detailed sources of information in so-called "small and wide" datasets. 再一次, 这推动了灵活的工具和设计的发展,以应对大型和小型单片数据集, 宽的.

掌握加速变化, welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜需要自动化数据管理本身, 部署元数据工具可以帮助welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜大规模地管理数据(例如.g.、数据编目、数据沿袭等.).

事实上,welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜需要尽可能多地实现自动化. 有些元素仍然很难操作——人工智能, 特别是机器学习和模型管理. 虽然有很多先进的工具, 完全自动化仍然不是整个过程中最容易的部分. 因此,这种情况推动了对标准化和灵活性的需求.

数据应该驱动工具,而不是反过来. 例如, 在21世纪初, 数据产业处理高度结构化的SQL数据库, 这给welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜收集数据的方式带来了一定的严谨. welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜的方法是, “welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜摄取或创建的数据必须满足以下需求和要求, 根据这个预定义的模式."

组织不再那么多地决定数据的结构——数据本身决定形式. 所以现在, welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜收到大量非结构化的数据, welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜需要弄清楚该怎么做,并决定如何从中提取信息和价值. 因此,数据工具正变得更加灵活,以帮助welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜实现这一目标.

4. 无处不在

数据无处不在. 似乎几乎所有东西都能产生这种物质——你的门铃, 你的自行车, 甚至你的跑鞋.

所有这些数据的处理现在几乎可以在任何地方进行. 在智能设备, 物联网的, 边网络, 容器和api, 越来越多地, 无论数据位于何处,处理数据都更加实际.

因此,welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜不应该将数据工具绑定到特定的位置. 几年前, 这导致了各种与容器相关的技术的发展,以便用户可以在任何地方处理任何事情, 相对容易. 今天, 这促使welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜使用结构——分布式和可互操作的工具和服务集合——而不是一个特定的工具或集群.

数据转换的驱动因素

由于各种不同的原因,组织进行数据管理转型之旅.

越来越多地 监管要求 比如GDPR正在推动数据系统的改进, 如果不能正确管理数据,将受到严重的惩罚.

生产力 ——旨在让数据发挥作用——是另一个重要的驱动因素. 超过60% 大量的企业数据无法用于分析, 在潜在的和实际的商业洞察力之间造成了差距. 在许多机器学习的概念验证中, 与有价值的工作相比,花在与正确数据对接上的时间要多得多. So, welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜可以做任何事情来提高数据生产力, 无论是通过改善数据湖还是增强基于人工智能的数据交互, 会有助于盈利吗.

治理 你感兴趣的领域在增加吗. 确保welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜掌握好数据是至关重要的. 例如, 对于组织来说,备份数据并能够重新创建数据在过去任何时刻的状态变得越来越重要. 这些行动导致了welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜的发展,如最新的ISO/ANSI SQL:2016数据库标准或亚马逊的量子账本数据库(QLDB)。, 这几乎给了你“数据时间旅行”的能力.

金融服务行业正更加重视人工智能和机器学习治理, 确保公正的, 非歧视性和公平的人工智能. 监管机构正在顺应这一趋势(立法正在进行中).

传统技术 它的替代是变革的最终驱动力. 仍然有大量的遗留技术存在, 特别是在金融服务行业. 大型机, 例如(并非所有的都是遗产, 当然), 工具和体系结构通常几年都没有更新. 事实上, 您需要严格且一致的流程和策略来处理遗留数据, 确保QA是构建在你的过程中的. 任何新的结构和架构都必须为未来的扩展而设计.

数据策略——转型之旅

让welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜看看金融机构涌现的数据策略,它们推动了金融数据空间的演变. Some are generic; some are more specific to the financial industry — such as strategies for compliance with new data regulations.

大多数组织在数据成熟、分析和人工智能方面都会遵循类似的路径:
  • 数据管理:整合和管理 
  • 数据民主化 
  • 数据可视化:自助分析 
  • 全企业范围的AI、机器学习和决策支持
在初始数据管理阶段, 该组织应将其数据合并到一个地方. 连接到一个位置并使用它比连接到多个不同的数据源要便宜得多. 然后,团队可以使用自动化工具在持续的基础上整理数据.

在适当的时候,会有一个数据民主化的过程. 组织中任何需要数据的人都应该能够在他们选择的工具中访问和使用它, 无论是Excel, 一个可视化包或其他东西. 方便访问还可以通过Power BI等软件包实现自助服务数据分析和可视化, Cognos和表.

下一步是自助(可视化)分析. 成功与否取决于您的可视化包所附加的数据模型的质量. 获得正确的数据模型(或数据环境)对于成功推出自助可视化分析至关重要. 换句话说, 如果用户要创建仪表板, 他们期望底层数据模型是正确的, 很容易理解,并且“照罐头上写的去做”.如果情况并非如此(e.g., 数据不正确或标签不良), 用户信任将会失去,而重新获得失去的信任是一个漫长的过程.

最后, 数据基础对于实现人工智能和机器学习至关重要, 自助可视化分析也是如此. 简单地说, 如果一个组织不能使用正确和实质性的底层数据模型创建可靠的自助服务模型, 那么构建企业级的人工智能和机器学习能力的机会就非常渺茫.

编织您的数据结构

数据结构是由统一的体系结构和运行在该体系结构之上的服务或技术组成的单一环境. 来自许多不同提供者的堆栈现在将自己描述为数据结构. 但基本的想法是把事情集中起来,这样就更容易管理和管理, 你复制的不必要的服务更少.

目标是使数据价值最大化, 尽可能减少知识差距,加速正在进行的数字化转型.

定义交付方法

welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜如何交付这种数据转换? 组织正在外包越来越多的数据基础设施和结构. 十年前, 移动到Azure, AWS或谷歌云平台被认为是最先进的创新. 现在, 云平台只是另一种服务, 基础设施和结构是可以运作的, 商品化和外包, 很容易.

另一方面,洞察力和知识产权(IP)产生的数量也在增加. 而且公司在内部控制这些知识,比过去严格得多.

这是交付的两种方法. 组织对数据洞察保持更严格的控制,但乐于将数据基础设施外包.

数据管理交付的要素

数据管理交付的结构有三个关键组成部分:
  1. IT交付 
  2. 数据和模型交付 
  3. 法规和遵从性交付
IT交付 这是一个welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜大多数人都很熟悉的领域吗. 越来越多地,这正在转向与DevOps流程相结合的敏捷模型.

数据和模型交付 主要是关于你的分析模型——这是一个正在迅速成熟的领域. 新问题涉及如何管理和交付数据、人工智能和机器学习策略. 例如, 监管机构正对数据版本管理施加越来越大的压力, 因此,您可以重现机器学习之前的训练结果,并审核任何数据更改. 也, 你需要能够解释你是如何得到你的机器学习模型的,以及你是否对它们进行了诸如歧视偏见之类的测试.

法规和遵从性交付 也在迅速发展. 2022年将有一系列新法规出台,包括新的欧盟法规. 因此,以合规的方式管理数据隐私和安全,并具有可审计性是至关重要的.

把它们联系在一起

welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜可以将所有这些与一个目标操作模型联系在一起,该模型考虑:
  • 人 
  • 流程 
  • 技术 
  • 治理
需要更广泛的技能. 光说自己是DevOps专家已经不够了. 你需要就不同司法管辖区和条件下的监管问题进行培训. 并且了解身份验证和授权需求是正确的, 对司法管辖权等问题要有敏锐的认识.

流程 必须整体考虑而不是孤立地考虑. So, 如果你有一个数据分析交付项目, 你必须超越模型, 准确性和混淆矩阵,以各种IT, 法规和合规方面. 我相信你也知道, 如果没有大量的遵从性检查和围绕数据治理的问题,就无法交付涉及消费者数据的分析项目. 您应该将这些方面考虑到整个项目中.

技术 转型的重点应该是增加商品化. 组织需要专注于能增加最大商业价值的技术,并将其他一切外包出去. 探索如何廉价有效地外包元素, 确保内部组件和外包组件之间的接口是无缝的和安全的.

治理 是关键的,而失败的惩罚正在增加. 需要关注的关键领域包括数据质量评估、编目、管理、沿袭等.

这是一个融合和改变的旅程

简而言之, 成功的现代数据管理依赖于跨更广泛学科的集成.

而不变的主题是将会有改变——而且是大量的改变.

向数据转换迈出下一步

要了解更多有关最新数据管理方法的信息, 联系welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜 要继续讨论.




更多关于银行和资本市场的见解,请访问LinkedIn上的welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜


关注welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜


保罗·休伊特
welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜公司AI、机器学习和大数据总监兼实践主管
Paul领导EMEA银行和资本市场咨询公司的数据和分析业务. 他的职责包括数据和分析方面的所有咨询和咨询, 交付从PoCs到大型多年项目的所有项目. 他在welcome皇冠地址-welcome皇冠旧版-apple app store皇冠销量排行榜-皇冠汽车有限公司排行榜工作了3年,拥有超过20年的行业经验.