实时大数据分析的综合指南

数据分析部门负责人,SCIENCESTOFT

Published:

虽然实时分析和大数据都是trending,似乎实时大数据分析是他们的组合,应该是一个非常有前途的倡议,许多企业应该是渴望的。让我们发现这真的是如此。

您会发现本文丰富地提供了实时客户大数据分析的示例。我们已经完成了放心和一致性的原因。虽然可以应用实时数据分析的更多领域。

实时大数据 analytics

让我们从定义这个术语

如果你要跳过这个部分,因为你认为没有两个实时定义,请不要惊讶 - 有。事实上,实时定义非常模糊,它与公司到公司的很多不同,或者更加确切,从业务任务到商业任务。

Our 大数据咨询团队提出以下定义:

实时大数据 analytics 意味着在到达的情况下处理大数据,并且业务用户在不超过分配的时间段或分析系统触发动作或通知的情况下,商业用户可以获得消耗的洞察,而不超过分配的时间段。

由于实时通常与瞬间混淆,让我们澄清数据输入和响应的时间框架。就数据输入而言,实时处理引擎可以设计为推动或拉动数据。最广泛的示例是具有不断流动的大容量数据的推送选项(也称为流)。然而,实时处理引擎并不总是能够摄取流数据。或者,它可以设计为通过询问是否已到达任何新数据来提取数据。此类查询之间的时间取决于业务需求,并且可以从毫秒到几小时变化。

相应地,响应时间也有所不同。例如,自驾驶汽车需要一个非常快的响应时间 - 只需几毫秒。如果我们处理安装的传感器,比如向风力涡轮机进行传达,它们仍然低于临界水平但高于正常的瞬间,我们需要一分钟的响应时间来改变刀片间距,从而卸下涡轮和防止机器故障甚至火灾。但是,银行的分析系统将允许几分钟评估申请人的信誉;零售商的动态定价可能需要一个小时才能更新。尽管如此,所有这些例子都被认为是实时的。

实时大数据分析作为竞争优势

虽然一般来说 组织将实时管理数据,并非所有公司都用于实时大数据分析。原因可能不同: 缺乏专业知识或资金不足,担心相关挑战或整体管理团队的不情愿。但是,那些实施实时分析的公司可以获得竞争优势。

实时大数据分析作为竞争优势:用例

假设您是一家时尚零售商,他们希望通过提供顶级客户服务来实现优势。实时分析大数据可以帮助将这种巨大的主动性带入生活中。例如,一旦客户通过零售商的商店传递,他们就会在他们的智能手机上推送通知,以便激励他们进入。通常,这是一个个性化的促销优惠,基于客户的购买甚至在网站上冲浪历史。一旦客户在商店中,工作人员就会在其移动应用程序中获得通知。这使他们意识到客户的最新购买,整体风格偏好,促销兴趣,典型的花费等。它看起来像客户和零售商的双赢局面,不是吗?

电子商务零售商也可以通过实时分析大数据来实现更好的性能。例如,他们可以减少被遗弃的推车的数量。 说,客户已经走了,但由于某种原因,他们决定不确定他们的购买。尽管如此,有很大的机会可以激励他们改变主意。该系统正在转向客户的个人资料数据,以及购买和冲浪历史,以比较客户的行为与其他客户的行为从相同的段中的行为及其对不同情况下的不同行动的响应。基于分析结果,系统选择最适合所有可能的动作 - 例如,提供折扣。

实时大数据分析的典型架构

让我们来看看如何典型的实时大数据分析解决方案。为了使解释更加生动,我们将陪同它与每个人的一个例子,如今,现在又一次地,我们都承担了客户的作用。

实时大数据分析架构

想象一家旨在提供个性化客户体验的零售商。这漫长的道路上的第一步是识别客户,一旦他们在商店里。零售商可以以多种方式实现这一点,例如,通过实现人脸识别。

只有这样data source,零售商可以进行简单的分析,比如计算商店里有多少男性和女性客户。但是,零售商将不满足一个数据源。甚至知道有多少客户首次出现,并且常规是多少,则需要另一个数据源,例如CRM。例如,常规背景也将有用,例如有关商店的开放时间的信息。

处理后,实时数据找到了它的方式实时仪表板或变成一个notification or a 系统的动作。我们已经提供了第一个案例的示例,当时零售商可以了解在商店里有多少客户。让我们详细看看另一种选择。例如,客户在移动应用程序中形成了购物清单,并在商店周围移动。基于客户的当前位置数据(由信标收集并由相同的实时分析处理),该应用程序可以促使沿销售地板最佳的方式,以便他们可以抓住他们列表中的所有内容。

让我们继续上述例子来解释贡献机器学习。顺便说一下,机器学习本身不会实时发生。这是一个精心制作的过程,系统需要分析巨大的数据量,这些数据通常涵盖从不同角度提出有价值的模型和模式的1年以上的数据。这些模型有助于系统进行实时决策。现在,到了示例:系统已经分析了他们所属的客户配置文件和段,他们的行为模型,购买历史,对营销活动的响应等,并建立了一种实现个性化建议的型号。虽然客户在过道中行走,但系统可以通知他们客户将找到有趣的促销优惠或相关产品。

机器学习的概念也需要模型验证应用程序,因为它们能够持续提高模型的准确性。另外,它们通过允许从错误或嘈杂的数据中进行基本过滤来提高输入数据的质量。

现在让我们把眼睛转向数据存储。它由两个组成部分组成:adata lake and a 数据仓库。前者是存储所有原始数据的地方或已经过度处理的数据。数据仓库允许通过从数据湖中提取,转换和加载一些数据来制作大数据2-10倍。

总之,零售商不能单独通过实时分析生活。您可以看到实时下降的计划的其他一些重要组成部分。尽管如此,如果零售商想要获得有价值和深刻的见解,他们仍然至关重要。例如,一个数据分析我们尚未提及的模块负责通过应用由数据分析师驱动的精心算法和统计模型运行复杂分析。实际上,这个过程可能需要几个小时或更长时间,但结果值得等待。相应地,零售商的分析仪表板将始终包含实时还有历史数据。

To sum it up

如果彻底规划和适当实施,实时大数据分析肯定可以成为竞争优势。考虑到实时解释的解释如何,很重要的是对公司对分析系统的要求有所了解。

在文章中,我们已经描述了一个实时典型的架构 数据分析解决方案。在以此为例之前,请检查它是否会涵盖您的短期和长期业务需求。如果由于某种原因,它没有,您可以随时轮到关于如何定制它的专业建议。

大数据是您的业务成功的另一个步骤。我们将帮助您采用高数据的先进方法,以释放其全部潜力。