Netflix如何相结合实时数据基础架构?
2024-10-09 通信
除了资源限制和不成熟的生态种系统外,工作团队起初期还不得不面对这个事实:研究疑问和维修服务于疑问不一样。研究型引处理暴力事件热衷于于正确适度和可预测适度,维修服务于型引处理暴力事件更为热衷于于成本效益、提前和最简单适度。
此外,对有状态信息的跨平台来说,云原生弹适度疑问有些棘手。在第一阶段开始时,Netflix 从未在 AWS 泊村运行了几年。但是,它是前身将有状态信息跨平台搬到容器化云中都间件上的公司,这助长了巨大的应用再一。
在下单起初期的 Keystone 最简解决办法的产品(MVP)并迁移几个内部买家之后,Xu 的工作团队日益给予了信任,也给予其他工程工作团队认可。因为很更为易旋转存档用于研究处理暴力事件、根据并能给予维修服务于洞察力,引媒体在 Netflix 受到追捧。今日是时候为比如说买家拓展数量了,而这助长了一系列更进一步再一。
第一个再一是维修服务于负担免除。起初期他们为新浏览器备有细致入微的一同,但是随着原材料力激增,这再一难以为继。MVP 不得不与时俱进,只反对十几个买家是毕竟的。
第二个再一是出现了多样化原材料力,出现了值得一提买家群。一群更为喜欢易于用于的完以外托管地维修服务,另一群更为爱紧凑一些,并能多样的计算技能来解决更为极低级的业务疑问。Xu 表明,这值得一提买家群的原材料力很难同时兼具。
第三个再一是,由于数量强大,工作团队几乎旋即中都断了所有贫乏的维修服务:从亚马逊的 S3 到 Apache Kafka 和 Apache Flink,不一而足。不过,以前做出的战略适度可选择之一是,要与应用合作伙伴共同蓬勃发展,即使状态并不理想成熟。
这些伙伴都有业内许多为首引处理暴力事件临时工的品牌,比如领英,Apache Kafka 和 Samza 值得一提项目正是诞生于此,Kafka 也由他们商业性;此外还有更为名为 Ververica 的 Data Artisans,他们将 Apache Flink 商业性。
可选择合作途径使工作团队并能在利用社七区重大突破的同时,按原材料力为开源软体做贡献。该工作团队在促使与容器化云中都间件相关的再一多方面与 Titus 工作团队进行了合作。
Xu 还详述了早期做出的更为多关键性决策,比如紧密建构热衷于几个早期买家的 MVP 的产品。在揭示起初期的的产品市场契合时,一不留神就可能会分心。然而,他们最终设法几个极低优不须级、信息存量大的内部买家,以后才行拓展买家群。
第三阶段:反对定制原材料力,拓展海量用例(2017 年 – 2019 年)在整个第二阶段,Xu 的工作团队再度做出了一些关键性决策,这对他们大有助益。
他们可选择不须热衷于于简单适度,而不是将中都间件的多样适度暴露在浏览器眼前,因为这让工作团队并能反对大多数信息旋转和简单的引式 ETL 用例,同时使浏览器并能热衷于于业务逻辑。
他们最终完成完以外托管地的多食肆自助维修服务,而不是在此之后备有细致入微的人工反对。在第一阶段,他们可选择完成于紧密建构一个预料短路,并检测所有维修服务于的种系统,而不是提前完成。在第二阶段,他们在此之后完成于 DevOps,旨在根据并能每天多次发布跨平台变更为。2017 年数,工作团队忽视已建立了稳固的维修服务于基础:买家甚少在他们待命期间送达请示,所有中都间件疑问都由跨平台工作团队密切监控和处理暴力事件。强大的下单跨平台已实施难以借助于,在几分钟内就能设法买家将变更为加进原材料环境。
Xu 尤其表明,他们上架的 Keystone 的产品在借助于起初期设想上非常出色:已成为一个易于用于、几乎可以无限拓展的引信息路由跨平台。不过,很明显引处理暴力事件的潜力远未以外部发挥出来。Xu 的工作团队不断碰到新原材料力,并能对多样的处理暴力事件技能享有更为精细化的控制。Xu 说道,Netflix 有与众不同的自由和责任多元文化,每个工作团队准许做出自己的应用决策。该工作团队最终拓展跨平台的范围,同时在此过程中都遇到了一些更进一步再一。
第一个再一是快捷键用例并能有所不同的联合开发团队和维修服务于体验。举例,Netflix 延揽的;也可以都有接下来要电视直播的具体内容、个适度化的艺术作品,以及最佳展现七区域等一系列具体内容。
这些用例并能更为极低级的引处理暴力事件有助于,比如多样的暴力事件 / 处理暴力事件时间和过道语义、受限制的提前和大状态安以外地管理。它们还并能更为多的维修服务于反对、更为紧凑的编程端口以及并能管理 TB 信息中都本地状态的中都间件。
第二个再一是兼具紧凑适度和简单适度。针对所有更进一步快捷键用例,工作团队须要对暴露水准进行合理控制。此外,反对快捷键用例要求降低跨平台的自由度,而这也是第三个再一:维修服务于多样适度降低。
最后,工作团队的权责是备有一个集中都式引处理暴力事件跨平台。但由于以前的策略热衷于于简单适度,一些工作团队已用于不受反对的应用完成到了他们的本地引处理暴力事件跨平台——用 Netflix 的话来说,就是“舍近求远”。Xu 的工作团队不得不说服他们搬来到托管地跨平台。这也是第四个再一:集中都跨平台与本地跨平台之争。
在第三阶段,Flink 被加进进来,由 Xu 的工作团队管理。他们最终紧密建构一个更进一步的产品入口点,这是对现有架构的重构,而不是孤立地紧密建构更进一步产品。Flink 充当这个入口点,重构借以尽量减少实用性疑问。
另一个关键性决策是不须从引式 ETL 和可观察适度用例形式从,而不是一次适度处理暴力事件所有快捷键用例。由于这些用例重复性大、数量大,极具再一适度,Xu 忽视不须处理暴力事件最吃力的用例并从中都带入专业知识是明智之举。
这时候做出的最后一个关键性决策是,一开始与买家分担维修服务于责任,然后随着时间的演进,日益指使创新,以减轻负担。早期采用者自给自足,细致入微的反对设法了那些并能做到的人。久而久之,自动拓展和托管地部署等维修服务于完成也相继难以借助于。
第四阶段:拓展引处理暴力事件多方面的权责(2020 年至今)随着引处理暴力事件用例拓展到 Netflix 的所有行政部门,人们发现了以外新模式,工作团队也给予了早期的成功。但随着 Netflix 在此之后揭示新各个领域,并大力完成于具体内容制作和游戏上,一系列更进一步再一随之而来。
第一个再一是工作团队地方政府的流弊。由于工作团队准许做出自己的最终,因此 Netflix 许多工作团队用于的信息应用各种各样,迥异的信息应用使协调愈发吃力。Xu 说道,有许多应用可则有,人们自然可能会将应用分门别类,而有归入的存在就可能会不利于组织往前推进。第二个再一是修习重复性更为大。由于最简单的信息方法更为多,制度化程度不断加剧,浏览器修习和最终什么应用适合特定的用例愈发吃力重重。
Xu 尤其表明,第三个再一是机器修习概念化无法发挥作用信息跨平台的力量。所有上述的再一则可能会对机器修习概念化导致影响。信息科学家的反馈环路较长,信息工程师的原材料力受到影响,的产品工程师在共享MVP的信息多方面遇到了再一。最终,许多企业失去了抓住市场瞬息变化的大好希望。
第四个再一是中都央跨平台数学方法的数量限制。Xu 尤其表明,由于中都央信息跨平台以超线适度的速度拓展用例,用于一般而言联系点来反对是无以为继的。应审计着重于反对紧密建构在中都央跨平台上的本地跨平台的模式,今日正是最佳时机。
Xu 在此过程中都带入了宝贵的专业知识,一些专业知识有可能的产品负责人也很熟悉,并受限制于引信息除此以外的各个领域。比如唯美不甘心也无法关系的氛围、最终不联合开发什么具体内容、提倡浏览器成为跨平台忠粉,以及在压力下保持镇定。有兴趣的读者可以参看()。
在第四阶段及除此以外,Xu 也看到了即时信息处理暴力事件的多种不同希望。信息引可以连接世界,并可以通过建构简单适度和紧凑适度来提极低抽象适度,更为好地满足机器修习的原材料力。
。邯郸白癜风最好医院治白癜风那家医院专业
酒泉治白癜风哪里最好
吃什么可补肾精抗衰老
艾拉莫德片有哪些作用功效
小孩能吃阿莫西林治鼻窦炎吗
再林牌阿莫西林胶囊怎么样
腹泻吃新必奇蒙脱石散和益生菌管用吗
- 06-08如果结婚请不到新娘怎么办?
- 06-08老实人。。
- 06-08幽默笑话:和男朋友同居的第二天,我把齐腰的辫子剪了放在盘子里
- 06-08调升快报:东方嘉盛(002889)4月11日9点30分封涨停板
- 06-08心情不好的时候,没用这三句话
- 06-08《大宅门》白玉芬的一次善举,酿成了杨九红一生的悲剧性2
- 06-08开心一刻:发现怀孕后,赶紧给丈夫打电话,哪知打给了杰西……
- 06-08异动号外:栖霞建设(600533)4月11日9点30分封跌停板
- 06-08美文写就(1)
- 06-08开心笑话:最近天非常旱,今天回老家浇地