10个国家广告频道分析的大数据实现

10个国家广告频道分析的大数据实现

行业
营销& Advertisement
技术
Hadoop,Python,Scala,Spark,AWS,大数据,云,Azure

顾客

客户是一家领先的市场研究公司。

挑战

虽然具有强大的分析系统,但客户认为,它无法满足公司的未来需求。承认这种情况,客户正在为未来的创新解决方案保持睁大眼睛。系统待应对持续增长的数据量,以更快地分析大数据并实现全面的广告渠道分析。

在决定系统的架构之后,客户正在寻找高素质和经验丰富的团队来实施项目。客户对与SCIENCESTOFT进行了持久的合作,客户向我们的顾问解决了从旧分析系统的整个迁移到新的顾问。

解决方案

在该项目期间,客户的商业智能建筑师与密切合作Sciencesoft的大数据团队。前者设计了一个想法,后者负责其实施。

对于新的分析系统,客户的架构师选择以下框架:

亚马逊Web服务和Microsoft Azure被选为云计算平台。

在客户的请求后,在迁移期间,旧系统和新的系统并行运行。

总的来说,解决方案包括五个主要模块:

  • 数据准备
  • 宿舍
  • 数据仓库1
  • 数据仓库2.
  • 桌面应用程序

数据准备

系统已从多个来源提供的原始数据,例如电视视图,移动设备浏览历史,网站访问数据和调查。为了使系统能够处理超过1,000种不同类型的原始数据(归档,XLS,TXT等),数据准备包括在Python中编码的以下阶段:

  • 数据转换
  • 数据解析
  • 数据合并
  • 数据加载到系统中。

宿舍

Apache Hive形成了该模块的核心。在该阶段,数据结构类似于原始数据结构,并且来自不同来源的受访者之间没有建立的连接,例如电视和互联网。

数据仓库1

类似于前一个块,那个也基于Apache Hive。那里,数据映射发生了。例如,该系统根据映射规则处理了来自不同数据源的无线电,电视,互联网和报纸源的数据,并将用户的ID联系起来。对于该块的ETL是用Python编写的。

数据仓库2.

使用Apache Hive和Spark作为核心,块保证了根据业务逻辑的动态数据处理:它计算了总和,平均值,概率等。Spark的DataFrames用于处理桌面应用程序的SQL查询。 ETL编码在Scala。此外,Spark允许根据向系统用户授予的访问权限过滤查询结果。

桌面应用程序

新系统启用了近30,000个属性的跨分析,并构建了不同市场的多角度数据分析的交叉矩阵。除了标准报告之外,例如REACH模式,达到排名,时间花费,时间等等,客户都可以创建特设报告。客户选择了几个感兴趣的参数(例如,特定的电视频道,客户组,一天的时间),系统以易于理解的图表的形式返回快速回复。客户还可以从预测中受益。例如,根据预期的范围和计划的广告预算,系统将预测收入。

结果

在项目关闭阶段,新系统能够处理多个查询,比过时的解决方案快100倍。随着有价值的见解,即近30,000个属性的分析,客户能够为不同市场开展全面的广告渠道分析。

技术和工具

Apache Hadoop.,Apache Hive,Apache Spark,Python(ETL),Scala(Spark,ETL),SQL(ETL),亚马逊Web服务(云存储),Microsoft Azure(云存储),.NET(桌面应用程序)。

需要帮助一个类似的项目?

向我们删除一条线,我们的代表将在30分钟内与您联系,安排初步讨论。

我们的联系方式

更多案例研究

The World’s Largest PLM Software Development

The product lifecycle management solution, powering 20,000 retailers, manufacturers and suppliers in 110 countries, is a unique system that drives the development of products with $300+ bln in annual sales. The cloud-based platform helps all the industry players to conjoin their efforts, knowledge and clients, providing faster communication, more accurate data and transparency in their ventures.

LEARN MORE

Development of Push-to-Talk Feature for Viber Mobile App

A backend service for a popular messenger app with over 900 mln users to process and store Push-To-Talk PTT messages, which ensures smooth user experience and the fastest possible data transfer.

LEARN MORE
">