小红书将业界最大数据湖迁至阿里云
我要评论记者获悉，小红经过一年奋战，书将数据小红书已把业界体量最大的业界数据湖0故障迁上阿里云。据统计，最大至该项目共有1500人参与，湖迁迁移数据500PB。小红
作为中国头部互联网公司之一，书将数据小红书月活已过3亿，业界其数据湖存储了过去11年的最大至所有原始数据，包括结构化、湖迁半结构化和非结构化数据。小红近年来，书将数据随着业务的业界高速增长，小红书在线处理数据的最大至需求不断增加，同时离线处理所积累的湖迁历史问题，也会在未来的切换中带来更多成本与风险。
为此，2023年11月，小红书发起迁云项目——计划一年内，把小红书的数据湖搬上阿里云。
迁移至阿里云上后，数据湖可通过多个OSS Bucket支持纳入统一资源池，实现多个Bucket共享资源池内的OSS吞吐及QPS能力。这样的流控能力在面向小红书复杂业务场景，可灵活调配资源，高效利用吞吐性能，降低不同业务租户间的互相影响。阿里云原生HDFS+DLA元数据可实现无缝对接Hadoop EMR体系，支持元数据线性扩展能力，轻松应对小红书数百PB数据下的元数据线性增长。
较于过往业界体量最大的案例，小红书的本次迁移的数据体量更大。
*注：任务=数据处理过程
（图片来自小红书官方公众号）
据介绍，小红书的迁云项目经历了三个阶段。第一步，项目组首先解决标准问题，然后根据标准进行治理；第二步，完成治理后，项目在2024年5月正式进入双跑阶段。把数据拷贝到阿里云上，两边同时跑数，验证正确性与及时性；第三步，2024年8月，项目结束双跑，进入割接阶段。阿里云团队全程在现场保障，顺利完成了割接。
2024年11月，小红书迁云项目正式宣告结束。在0故障的情况下，迁移数据500PB，任务11万，参与人数1500人，涉及部门40多个。项目涉及产品之多和数据体量之大均创下业界记录。
相关文章
今日趣图：收手吧，史一教！罗德里的含金量被你捧得比梅西都高了
巴萨：报告！榜首位置失守！弗圣，几天没见，怎么变嗨啦？怎么回事，运动战进这么多？因为圣诞到了，耶稣回来了场内场外都进球！耶稣回来了，萨卡却伤了...唉，其实早晚的事儿圣诞快到啦，送三分咯~你有份，他有2024-12-28
欧冠联赛阶段第6轮的一场较量已经开始，摩纳哥正在客场挑战强敌阿森纳。本场比赛成为了摩纳哥队史上的一场里程碑之战，因为这正是他们在欧冠正赛阶段当中的第100场比赛，这也使得他们成为了第四家迎来了这一里程2024-12-28
记者：拜仁外租前锋萨拉戈萨跖骨骨折需要手术，预计明年2月复出
12月5日讯 在奥萨苏纳客平塞维利亚的比赛中，拜仁外租前锋萨拉戈萨受伤被换下场。据德国天空体育记者Kerry Hau报道，萨拉戈萨是跖骨骨折，他将在未来几天内在西班牙接受手术。记者表示，萨拉戈萨预计将2024-12-28
买到就是赚！余承东：每卖一辆智界R7最高亏3万 销量增长上去成本就下来了
12月19日消息，在今日鸿蒙智行年度直播中，奇瑞控股集团党委书记、董事长尹同跃透露，今年奇瑞的出口量约115万台。华为常务董事、终端BG董事长、智能汽车解决方案BU董事长余承东则表示，每卖出一部智界R2024-12-28
[流言板]势不可挡！火箭近期豪取4连胜，目前战绩21胜9负高居西部第2
[流言板]势不可挡！火箭近期豪取4连胜，目前战绩21胜9负高居西部第2由篮球资讯发表在篮球资讯 50212月27日讯 NBA常规赛，火箭128-111战胜鹈鹕。本场比赛取胜后，火箭近期豪取4连胜，目2024-12-28
大差价手慢无：361°卫衣/长裤39元官方清仓（65款可选）
361°卫衣/长裤标价为300元，下单立减40元，领取221元优惠券，到手价为39元。购买链接：天猫(券后39元)男女款共有65款可选，加绒款同价，包含卫衣/运动裤/休闲裤等。下单赠送退货宝，2024-12-28
最新评论