业界最大数据湖0故障迁上阿里云!数据量达500PB

2024-11-06 21:23:14来源:快科技编辑:时寒峰

扫一扫

分享文章到微信

扫一扫

关注鹿财经网微信公众号

  原标题:业界最大数据湖0故障迁上阿里云!数据量达500PB

  11月6日消息,今天阿里云宣布,小红书技术团队近日完成了一项业界前所未有的壮举,将业界最大数据湖0故障迁移至阿里云。

  作为中国头部互联网公司之一,小红书月活用户已超过3亿,其数据湖存储了过去11年的所有原始数据,包括结构化、半结构化和非结构化数据。

  随着业务的高速增长,小红书对在线处理数据的需求不断增加,同时离线处理所积累的历史问题也提高了切换的难度。

业界最大数据湖0故障迁上阿里云!数据量达500PB

  2023年11月,小红书共有1500人参与迁云项目——计划一年内,把小红书的数据湖搬上阿里云,彼时即便是业界体量最大的案例,也远小于小红书的本次迁移。

  2024年5月,项目正式进入双跑阶段,作为切换到正式环境前最后的测试,是稳定性最大的保障。

  在这一阶段,团队需要解决的问题数不胜数,每周平均新增500多个问题。

  在阿里云团队的全力保障下,小红书技术团队顺利完成了割接,没有发生任何一个P2及以上故障。

  2024年11月,小红书迁云项目正式宣告结束,在没有故障的情况下,迁移数据500PB,任务11万,参与人数1500人,涉及部门40多个。

     投稿邮箱:lukejiwang@163.com   详情访问鹿财经网:http://www.lucaijing.com.cn

相关推荐
腾讯发布开源MoE大语言模型Hunyuan-large:总参数 腾讯发布开源MoE大语言模型Hunyuan-large:总参数

原标题:腾讯发布开源MoE大语言模型Hunyuan-large:总参数398B为业内最大 11月5日消

科技说2024-11-05

酷睿Ultra 200K规格完全定了!基础频率大涨、最大 酷睿Ultra 200K规格完全定了!基础频率大涨、最大

原标题:酷睿Ultra 200K规格完全定了!基础频率大涨、最大功耗250W Intel将在10月

科技说2024-09-13

年内最大降幅!今晚国内油价下调:加满一箱少 年内最大降幅!今晚国内油价下调:加满一箱少

原标题:年内最大降幅!今晚国内油价下调:加满一箱少花12元 8月8日消息,据

科技说2024-08-08

谷歌搜索被判垄断:受影响最大却是Firefox! 谷歌搜索被判垄断:受影响最大却是Firefox!

原标题:谷歌搜索被判垄断:受影响最大却是Firefox! 8月7日消息,近日美国法

科技说2024-08-07

2024年Q2国产手机占据出货前五:华为增幅最大 苹 2024年Q2国产手机占据出货前五:华为增幅最大 苹

原标题:2024年Q2国产手机占据出货前五:华为增幅最大 苹果成其它 根据国际数

科技说2024-07-29

史上最大规模IT故障!850万台微软Win电脑蓝屏死机 史上最大规模IT故障!850万台微软Win电脑蓝屏死机

原标题:史上最大规模IT故障!850万台微软Win电脑蓝屏死机:全球损失恐超10亿

科技说2024-07-22

华为全球最大研发中心全部建成!正式命名为练 华为全球最大研发中心全部建成!正式命名为练

原标题:华为全球最大研发中心全部建成!正式命名为练秋湖 7月11日消息,据

科技说2024-07-11

iPhone 16家族前瞻:Pro系列升级最大 iPhone 16家族前瞻:Pro系列升级最大

原标题:iPhone 16家族前瞻:Pro系列升级最大 最近关于iPhone 16系列的爆料愈发多

科技说2024-06-18

华为成最大赢家!工信部:推进现有5G网向5G-A升 华为成最大赢家!工信部:推进现有5G网向5G-A升

原标题:华为成最大赢家!工信部:推进现有5G网向5G-A升级 网速快10倍 6月7日消

科技说2024-06-07

3850吨B24!我国最大单船用生物燃料油加注成功 3850吨B24!我国最大单船用生物燃料油加注成功

原标题:3850吨B24!我国最大单船用生物燃料油加注成功 6月5日消息,据媒体报

科技说2024-06-05