个人介绍:专家工程师,2011年加入腾讯,先后主导开发了腾讯云Redis、腾讯云云数据库HBase,目前专注于EMR技术工作。
演讲议题介绍:威胁感知是典型的安全场景,随着流量的迅速膨胀,对检验测试能力提出了非常高的要求,如何可以在一定程度上完成大容量低延迟的检测?如何使检验测试框架能够很好的满足高可用可扩展的要求?通过在检验测试框架中引入分布式计算框架以及高效规则匹配引擎,构建了一整套满足现在以及未来流量检测需求的分布式检测解决方案。
个人简介:工作9年,熟悉后端开发和分布式计算,目前负责公司实时计算和Doris开发。
演讲议题:通过数据组织优化加速基于Apache Iceberg的大规模数据分析
演讲议题介绍:基于Apache Iceberg介绍通过多维数据聚合和实时小文件合并等技术,以实现在大规模数据集上满足交互式的分析查询需求。
个人简介:腾讯大数据专家,目前从事于大数据存储格式相关的开发和优化工作。
演讲议题介绍:分享实时平台建设过程中要解决的问题,第一阶段围绕Flink作业生命周期进行建设,第二阶段围绕稳定性及降本提效进行建设,第三阶段围绕布道推广提供整体解决方案进行建设,第四阶段围绕分钟级数仓进行建设。
听众收益:了解实时平台建设过程中要解决的问题及落地能轻松实现的解决方案。
新技术/实用技术点:Flink作业开发、平台作业监控、平台作业容错、混合云部署方案、实时数仓等。
个人简介:毛祥溢 负责好未来数据中台实时平台建设,曾负责学而思网校实时数仓建设、负责京东金融实时平台早期建设。个人长期关注企业数据分析实时化建设工作,有过电商推荐系统、广告系统、大数据平台搭建经验。
演讲议题介绍:基于yarn on k8s的离在线混合部署和弹性伸缩等技术,以实现在大数据分析中降本增效的需求。
听众收益:基于k8s混合部署技术,yarn标签表达式及异构调度技术等,提升用户计算资源利用率,在保证大数据计算稳定的前提下,降低大数据计算的成本。
个人简介:腾讯高级工程师,专注大数据开发,目前从事大数据容器化方向相关工作。
演讲议题介绍:介绍汽车之家离线计算平台的建设过程,怎么样应对集群大规模增长带来的性能和稳定能力的挑战,怎么样才能解决多租户情况下集群面临的运维难题以及如何提升服务器资源利用率问题等问题。
个人简介:2015年加入汽车之家,主导之家离线计算平台的建设;目前专注离线计算有关技术栈研究,对大规模集群的建设和管理有丰富的技术和实战经验。
演讲议题介绍:为满足Bigo不同业务场景对离线、实时、OLAP等计算引擎的需求,计算平台提供了多种计算引擎,并贴近业务,搭建了不同的解决方案。本次分享讲介绍各个计算引擎建设的方向及主要优化。
听众收益:听众能了解到在Spark、Flink、Presto、ClichHouse等多个计算引擎方向上的建设经验,以及一些核心的优化方向。
个人简介:毕业于哈尔滨工业大学,在阿里巴巴飞天、广告、计算平台等团队一共工作10年,目前负责Bigo计算平台团队。
新闻推荐
【2024-10-29】
【2024-10-29】
【2024-10-27】
【2024-10-27】
【2024-10-25】
【2024-10-25】
【2024-10-23】
【2024-10-23】
【2024-10-23】
【2024-10-21】
【2024-10-21】
【2024-10-21】