当前位置:  软件>java软件

腾讯分布式数据仓库 TDW

    来源:    发布时间:2015-01-16

    本文导语:  腾讯分布式数据仓库项目,在Hadoop和hive的基础上开发的腾讯内部最大的离线数据处理平台。TDW支持Oracle功能兼容的SQL语法,支持PB及的存储和TB及的计算等。 这个项目主要的应用场景是构建低成本的数据仓库。我们知道传统的...

腾讯分布式数据仓库项目,在Hadoop和hive的基础上开发的腾讯内部最大的离线数据处理平台。TDW支持Oracle功能兼容的SQL语法,支持PB及的存储和TB及的计算等。

这个项目主要的应用场景是构建低成本的数据仓库。我们知道传统的数据仓库需要专用的硬件和昂贵的软件授权,使用TDW,可以基于廉价的PC Server构建数据仓库。我们希望通过开源的TDW,降低数据仓库的成本和建设门槛,促进企业对数据价值的发掘,提升国内企业的信息化水平。

TDW在过去几年的设计思路一直是“开源软件”+“腾讯定制和优化”。使用开源软件,大大节省了我们的研发成本和时间,可以快速搭建起原型,比如TDW核 心的查询引擎,是基于apache hive这个开源软件。但是仅仅使用开源软件,又不能完全满足腾讯的业务需求,因此,我们需要再开源软件基础上,根据腾讯的业务特点,进行定制和优化。在 TDW的研发过程中,我们基于hive和hadoop,依次经历了数据仓库功能完善、易用性建设、高可用和稳定性加强,性能和成本优化,安全建设等定制和 优化。

TDW是腾讯海量数据处理平台中最核心的模块,它有以下几个作用:

  • 提供海量的离线计算和存储服务。TDW是腾讯内部规模最大的离线数据处理平台,公司内大多数业务的产品报表、运营分析、数据挖掘等的存储和计算都是在TDW中进行。这是TDW提供的最基础的服务。

  • 数据集中于共享功能。腾讯产品线较长,数据丰富,为了挖掘数据价值,经常需要访问多个产品的数据。TDW是腾讯公司级的数据仓库,这里集中了大多数业务的数据,业务在这里可以方便的进行数据共享和管理。

  • TDW为其他大数据服提供基础和平台。这 有两个含义,首先是TDW对腾讯内部开放各种API接口,很多业务的数应用、数据处理平台可以基于TDW之上,由TDW提供最基础的存储于计算,业务在 TDW之上定制个性化的数据产品。其次,TDW内存放了腾讯大量有价值的数据,对于这些数据,各个业务有可能有一些不同的需求,这些需求可以抽象出一些固 定的数据服务,如海量数据点查询、快速多维分析、流式计算等,这些服务是TDW衍生出来的精细化的服务。

  • 与其他商业数据库比,当然是成本优势。与社区的hive+hadoop比,TDW包含了大量功能,稳定性和性能优化,并且经过了腾讯生产环境的验证。

    在架构上,TDW并没有对开源软件做大的修改。TDW的存储和计算,主要采用hadoop的HDFS和MapReduce,TDW的SQL查询引擎主要基于Hive。


        
     
     

    您可能感兴趣的文章:

     
    本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术,将尽最大努力为读者提供更好的信息聚合和浏览方式。
    本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。












  • 相关文章推荐
  • 腾讯彻底阻止在linux上使用QQ,大家一起抵制腾讯呀!
  • 腾讯开源微博系统 iWeibo
  • 浏览器 腾讯TT
  • 腾讯微博的Java开发包 qq-t-java-sdk
  • 在腾讯工作的话,linux都用在什么地方啊?期待回答
  • 腾讯微博API的问题
  • 谁有腾讯面试题目,请提供以下,谢谢~其他的也可以,谢谢~
  • 寻求类似“腾讯通”的即时通软件的源代码转让或技术合作!
  • Linux下有QQ能用的么?腾讯的QQ,ICQ有了吧?
  • 腾讯急聘高级软件工程师
  • 腾讯微博android客户端
  • linux下如何使用腾讯公司的QQ for linux和MSN?
  • 腾讯云排序 CTaxis
  • 新浪/腾讯微博分享的统一接口SDK android-share-sdk
  • Python3实现的腾讯微博自动发帖小工具
  • php利用腾讯ip分享计划获取地理位置示例分享
  • 一个腾讯面试题,如何设计服务进程,让业务进程重启后,服务进程可以自动继续重启前的服务?
  • (腾讯面试)服务器如果和客户端在连接时假如连接被突然切断,服务器会立即感知到么
  • php腾讯ip分享计划获取IP地理位置
  • [菜鸟提问]关于腾讯将要发布的QQ for linux的一个疑问


  • 站内导航:


    特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

    ©2012-2021,,E-mail:www_#163.com(请将#改为@)

    浙ICP备11055608号-3