有爱,有技术,有你^_^)y
╱人◕‿‿◕人╲订下契约(注册新用户)

合作站点账号登陆

QQ登录

只需一步,快速开始

快捷导航
查看: 588|回复: 2
收起左侧

[互联网] 向死而生:Netflix跌跌撞撞的长成之路

[复制链接]

该用户从未签到

56

主题

143

好友

4万

积分

第二章

积分
41714
发表于 2013-5-23 12:57:28 | 显示全部楼层 |阅读模式

╱人◕‿‿◕人╲定下契约

您需要 登录 才可以下载或查看,没有账号?╱人◕‿‿◕人╲订下契约(注册新用户)

x
本帖最后由 動動Hiko 于 2013-5-23 13:02 编辑

编者按:你很可能看过《纸牌屋》,也或许听过一两则关于 Netflix 如何借助大数据使《纸牌屋》火起来的分析,但你未必知道如今名气在外的 Netflix 因 Qwikster 而遭遇过的窘境,它五年前或由 IBM 引发底层框架全线崩溃的故事更鲜有人知。这篇文章讲述的就是 Netflix 背后跌跌撞撞的长成之路。


                               
登录/注册后可看大图

每个普通的工作日夜晚,北美三分之一的流量会经由网络汇入 Netflix。这个数字多于大名鼎鼎的视频网站 YouTube、Hulu 以及 Amazon.com、HBO Go、BitTorrent 流量的相加之和。汇入 Netflix 的流量通常在每晚 10 点左右登顶,如果能拟物来看的话,正如蟒蛇吞没巨象一般。随之午夜到来,人潮尽皆散去,一切又重归沉寂。

但 1 月 31 日的晚上,Netflix 内部却弥漫着异样的紧张气氛。这是美剧《纸牌屋》(House of Cards)首播的夜晚,以华盛顿发生的一系列政斗为噱头的情节,正等待着它滚滚而来的拥簇者。

将近午夜时,40 位 Netflix 工程师聚集在 Netflix 总部的会议室里,面前悬挂的监控器显示着 Netflix 实时的流量数据。会议桌上,几十台装有 Netflix app 的平板电脑、智能手机等设备,正等待着激动人心的时刻到来。

“咣!”零点的钟声响起,属于《纸牌屋》的季节在屏幕里缓缓铺开——一辆 SUV 撞上一只老狗,又马上逃逸。一刻钟后,当老戏骨 Kevin Spacey 说出“我都快气疯了”,Netflix 的工作人员们才松了口气,他们知道一切已步入正轨。“所以我们就开香槟庆祝了”,Netflix 掌管云计算业务的副总裁 Yury Izrailevsky 如此说道,那天夜里,他待到天将亮时,确信观众们无比享受这一季的视听盛宴,没有意外发生,才安心地回了家。

而这一幕的盛宴,在 4 月 19 日《铁杉树丛》(Hemlock Grove)播出时再次重演,Netflix 的野心是,5 月 26 日《发展受阻》的首播也能有如此迅猛之势。

Netflix是什么?

Netflix 是一间付费用户已经超过 3600 万的在线影片租赁网站,它的用户每季会用 1000 多种设备收看超过 40 亿小时的节目。而为了满足这 40 亿小时的需求,Netflix 得用上遍布世界的定制视频服务器。当一个用户点下“播放”按钮,Netflix 必须在半秒内计算出哪一台含有这部影片资源的电脑离这位用户最近,然后要筛选上千个视频,直到选出最适合这位用户所用的播放设备的那一个。而在 Los Gatos 的 Netflix 总部里,数学家和设计师团队则负责写出可以计算用户观影口味的算法,通过不断的精准推荐让用户们持续在 Netfilx 上待下去。

Netflix 还是世界上最大的云计算用户之一,它根据小时向 AWS 租借服务器、存储资源以及计算能力。而 Amazon.com 自身的流媒体视频服务,正是 Netflix 的有力对手。多年以来,这两个巨头在敌友关系间保持着微妙的平衡:Netflix 打造了成熟的工具以使自己的软件可以在 Amazon 云上运转良好。而 Amazon 则模仿着 Netflix 的先进之处,并将模仿的成果作为服务提供给企业用户。比如奥巴马总统选举的所有大数据运算都是在 Amazon 上完成的,而这项运算的源代码却是出自 Netflix 工程师之手。

如果说起初 Netflix 想做好的仅仅是在线 DVD 租赁服务的话,那么现在你已经不能这么定义这家网站了,Netflix 想做的是拥有和 HBO 质量比肩的娱乐内容,或者更进一步,和时代华纳并肩而立。它正计划着引领传统电视节目触网的潮流,并且已经研发出成熟的技术来实现这一计划。“我们把技术看成是好内容诞生的孵化器,技术能让我们为用户带来更符合时代潮流的用户体验。”CEO Reed Hastings 说,“因为我们争夺的不是其它,正是用户的时间。”

过往风云

但回头来看,Netflix 的前进之路颇有逆袭之势。大约 18 个月前,Hastings 还在为如何保留 Netflix 的颜面而苦恼不已——Netflix 做了两项如今看来非常愚蠢的举动,一是宣布要提高服务价格,二是计划将公司一分为二,一间成为 DVD 邮购服务提供商 Qwikster,另一间则仍挂在 Netflix 名下提供流媒体视频服务。计划一出,Netflix 的股价瞬间从 298 美元跌落至 52.81 美元。

一阵接一阵地向公众道歉后,Netflix 终于在《纸牌屋》上看到了逆袭的曙光。《纸牌屋》成为了评价最高的剧集,引来投资人对 Netflix 一季度收益的强烈好奇,谜底最终揭晓出来,Netflix 的盈利从去年同期的 10.2 亿美元又上升了 18 个百分点。Netflix 还在美国又收获了 200 万付费订户,股价回升到 200 美元以上,是今年表现最好的股票之一,笼罩在投资人心头的阴霾被驱散了。


                               
登录/注册后可看大图

CEO Hastings 没有属于自己的办公室。他奔波于各栋办公大楼之间,和各种各样的人碰面,或者直接坐上有空位的桌子,处理邮件。他也有某些时候需要一个人独处的安静空间,那时候他就会到顺着一把梯子登上屋顶,然后走过摆着空调主机和其它器械的小道去到属于他自己的“瞭望塔”。这个被玻璃环绕的“瞭望塔”一般都十分闷热,因为它本质上是一间温室,只不过有人会事先把空调打开,以降低室温。Hastings 很享受从这里眺望 Santa Cruz 山脉的时刻。

一天傍晚,52 岁的 Hastings 坐在他的山羊皮椅上,散发出平和的气质。他身材极瘦,蓄着山羊胡,一口浓重的加利福尼亚口音,和同事们在空调的轰鸣声中讨论者 Netflix 的前景。“我们应该尝试把 Netflix 变成一个有持续学习能力的组织”,他嘴里边嚼着燕麦边说,“我的任务就是带头来创造这种学习氛围。”

而在 Qwikster 期间,他们确实有很多经验需要学习。讽刺剧 Saturdat Night Live 以戏剧化的表达方式说出了这一点——Jason Sudeikis 一面以 Hastings 似的口吻向观众道着歉,一面和影片销售商向大家诉说自身商业模式探索的不易,“我们知道你们并不喜欢我们”,他讲的是 Hastings 想讲的话。

Qwikster 的的确确是一次惨败,但如果和 08 年的事件相比,就有些小巫见大巫的意味了。2008 年 8 月,Netflix 的基础技术架构全线崩溃,彼时还是以 DVD 邮寄服务闻名的 Netflix,却无法在三天内寄出 DVD——因为他们存放数据的 Oracle 数据库一直无法运行,最后甚至引起了记者和用户的注意。

Netflix 后来追查到系统崩溃的起因,是由于第三方的存储系统在一次软件升级后彻底崩溃了。这次事件至今仍是 Hastings 回忆里的一个禁区,他不爱谈论此事,一旁的首席产品经理 Neil Hunt 则暗示他们不便说出当时那家存储系统服务商的名字。Hastings 接过话茬对记者说 :“你就当是 IBM 呗。”(IBM 发言人没有回应此事。)


                               
登录/注册后可看大图

微妙的Netflix与Amazon

Hastings 和 Hunt 在过去 25 年间断断续续的有过合作,他们最初是在为油田技术服务公司 Schlumberger 的调研部门工作时结识的。据 Hastings 的说法,Hunt 负责 Netflix 所有的技术,“技术上基本都听Neil 的”,他说道,“该不该改进某项技术,都是由 Neil 来判断。并不是我认为什么东西好,他就一定会答应去做。”

不过据 Netflix 的工程师回忆,其实 2008 年技术框架崩溃之后,Hastings 事实上主导了好几场技术会议。他不断强调这些技术事故如果不是发生在邮寄服务上,而是发生在流媒体视频服务中,那么带来的就将是毁灭性的打击。

后来,随着 Netflix 流媒体视频服务用户的不断增长,Hastings 感觉到 Netflix 需要更强大的运算能力,他有两个选择——一是组建一批精英工程师的团队,建立 Netflix 自己的云计算中心,就像 Google 和微软做的那样;另外一个选择则是,把一切计算都交给云服务提供商。

Hastings 恰好是 Amazon 和微软董事会的成员,于是 Netflix 开始试用 Amazon 和 Microsoft 的云服务,到了 2009 年,Hastings 最终决定把赌注押在 AWS 上。但在此之前,Netflix 还从未把如此重要的技术放到 Amazon 系统过,所以 Hastings 给 Jeff Bezos 写了封电邮,言明了自己的计划。

“我问 Bezos 他是否会对我的计划感到不快(注:因为 Amazon 有跟 Netflix 相竞争的业务)”,Hastings 说,“如果他会的话,那我没有任何理由继续我的计划。”不过,Bezos 爽快地同意了。

和 Amazon 合作后,Netflix 几乎每时每刻都会调用到 Amazon 数据中心一万到两万台的服务器,这些计算机需要控制用户资料的存储、视频推荐、数字版权管理、视频文件转码以及控制不同系统中的播放效果。当有最新的 Xbox 或者 Samsung 智能手机面市,Netflix 还需要调用额外的服务器来转换视频格式,以保证这些新设备上的用户可以正常观看视频。所以每一个白天,服务器得忙着流媒体视频的传送分发,而到了晚上,这些服务器又得转身变为数据分析的计算机。

Netflix 几乎把 AWS 的功能发挥到了它的极致。“我们对 AWS 的利用比 Amazon 零售部门自己的人用得还要好,”Netflix 的云架构师 Adrian Cockcroft 说,“我们十分确信这一点。”

放眼望去,行业里可能再没有什么比 Netflix 和 Amazon 之间更复杂更微妙的关系了。一方面,Netflix 是 Amazon 最大的客户之一,它为此获得了优惠的报价以及和 Amazon 顶级工程师直接沟通的权利,每当 Netflix 需要一项什么新的软件功能时,Amazon 都会很快为 Netflix 做好,当然这些新功能也惠及了其它一些 Amazon 的客户。“毫无疑问,在和 Netflix 的合作中我们的平台变得更强大、功能更完善了。”Amazon 云事业部的负责人 Andy Jassy 说道。

由于 Netflix 依赖着 Amazon 的数据中心,所以 700 位 Netflix 工程师必须不断开发软件工具,让数以千机的云服务器可以自动实现启动并且完成配置。在硅谷,人们还为 Netflix 用来测试系统恢复能力的应用起了一系列外号,简直可以组成一个“猿猴军团”了。比如人们把随机关闭一下服务以模拟小故障的应用称作 Chaos Monkey(捣蛋猴子),而把会关掉整个数据系统的应用称为 Chaos Kong(捣蛋王)。

后来诸如 EBay 和 Intel 都开始在自己的云计算系统里用起了 Netflix 开发的这些工具。奥巴马选举时的云计算架构也同样得益于此。负责选举背后数据架构的 Scott VanDenPlas 提到了 Netflix 一个叫 Asgard 的软件工具,这个系统管理应用可以自动寻找服务器群组,并把需要执行特殊工作的软件匹配过去,让程序员需要做几个小时甚至几天的工作在几秒内完成。

“这个工具为我们节省了很多时间,同时也帮我们加快了决策的速度。”VanDenPlas 如此说,当 Sandy 飓风在选举前两周席卷美国时,VanDenPlas 及时地把 Obama 选举的基础框架从 Amazon 东海岸的数据中心转移到了西海岸的系统中。“如果没有 Asgard,我们根本无法做到如此快速的反应,Netflix 开发的这个工具让我们的执行效率获得前所未有的提升。”

Hastings与他的员工

你看到的 Hastings 通常会在两种极端的状态间切换:不是专心致志兴致勃勃,就是闲散随意不屑一顾。当他讨论他在意的事情时,他会显得无比精力旺盛,而对其它事情则几乎置之不理。他说他没有参与过 Netflix 总部的设计,只在办公设备都布置好了的时候才走进去逛了逛。“这就表示设计方面的事情不是我关注的,”Hastings 说,但如果你想跟他聊诸如分布式标签数据库或者关键值存储的优势等等现代计算机科学技术,他会和你很有话说。

Hastings 有着非常 geek 的一面。2005 年 12 月,Hastings 确信 Netflix 的打分系统可以为用户喜好预测系统提供所有必需信息,而公司内部的其他人则坚持认为光靠打分系统是不够的,还需要其它参考指标,比如用户点开视频和终止播放间的时间间隔,比如用户在搜索哪些明星等等。Hasting 不服气,就把他圣诞假期的两周时间都花在了撰写 Excel 表格上——他要基于百万用户的评分写一套可以打败其他工程师认可的推荐算法。


                               
登录/注册后可看大图

事实证明,他输了,但却激发他设立了“Netflix 奖”,以 100 万美元的奖金鼓励个人或团队来完善打分系统的算法。这个奖项为 Netflix 赢得不少关注度,因为最后 Netflix 把奖项颁给了一支由独立工程师组建的团队,他们为 Netflix 打造了一个更好预测引擎。而这次活动让凭借 DVD 邮购服务闻名的 Netflix,第一次以创新殿堂的形象崭露头角。

因为 Netflix 在计算机科学上的成就,以及硅谷最高的薪酬,现在的 Netflix 已经可以招到它所想要的任何一位工程师。Netflix 的管理者们每个月都会调查一下硅谷的薪酬水平,然后为自己的员工提供高于这个水平 10% 到 20% 的工资。甚至那些被炒鱿鱼的员工也能拿到丰厚的酬劳——这样老板在开除员工的时候就可以少些负罪感了。

说到招聘,Netflix 还有一个特殊的倾向——更愿意招年长的而不是年轻的工程师。“我们雇佣的工程师几乎都到达了成熟稳重的年龄,”Cockcroft 说,“在把他们招进来之前,通常先让他们在 Google 历练五年。”我在 Netflix 总部转了一圈,亲眼证实了这一点。Netflix 工程师们的办公环境几乎是硅谷上世纪的格局,高高的隔板把每个人的工位围成一个半封闭的小方块,而今天的硅谷早就采用开放式的设计了。

Netflix 办公室唯一还算符合潮流的一点是:浴室门上贴着经典娱乐节目的装饰画(类似动画《辛普森一家》里的人物),而 Netflix 的会议室是用影视节目来命名的,玻璃墙上还写着一两句经典台词。比如某次会议是在墙上标有“我不认为我正在失去它,Bob”台词的“Office Space”会议室里进行的。


                               
登录/注册后可看大图

永不停止的计算

Netflix 总有做不完的测试。测试通常是这么进行的——从成千上万的用户中选出几组人,然后像做小白鼠实验一样做起测试来。Netflix 会让一组用户为自己的家庭成员创建头像,为此给予个性化推荐的奖励以作回报。而另一组通过索尼 PS 看 Netflix 的用户,则会收到一声语音问候,并被询问想看什么节目。

如你所闻,关于推荐的测试是 Netflix 最严阵以待的部分。尽管 Netflix 有着极为广泛的片源,但其中很多内容都已过时且吸引力有限。而 Netflix 为了让自己的服务看起来更值,算是下足了功夫。比方说,Netflix 会去研究每种不同设备带来的不同观影距离下,分辨率应该调成多少才能有最佳收看效果。

Netflix 有一位数学家被称作“10 英尺设计师”,因为这位数学家的责任就是控制好视频的分辨率,让它在电视上(人一般坐在距离电视屏幕 10 英尺外,大约 3 米左右的地方)播放的效果能和电影院媲美。同样的,也有员工专门研究笔记本和平板上最佳的视频分辨率。
而 Netflix 的技术,不仅改变了自身处境,还影响着传统影视剧制作厂商。在过去,好莱坞工作室都是用光盘向 Netflix 提供正版拷贝的,按照这种传统的方法,大约要 3.14PB 的空间才能存放 Netflix 所有片源。而现在,这些传统的影视剧厂商都通过 Netflix 的 Backlot 系统来传输已加密的片源。Netflix 接收后,会将这些文件进行压缩,并且转换成 100 多种版本,每一种版本对应一种带宽、设备或是用户的语言环境。这些文件最后就从 3.14PB 被压缩成了 2.75PB。


                               
登录/注册后可看大图

这些在白天播放的剧集,都在深夜成为 Netflix 计算的一部分。它要知道某个地区当天最火的片子是哪部,并且提前为下一天预备好片源。比如说,如果周二 Barttlestar Galactica 在 Houston 很火,Houston 所在的德克萨斯州的服务器就会预先装载更多的剧集,为周三晚上做准备。最热的剧集会得到高速闪存驱动的配备,而其它不那么热的内容,则会存放在相对廉价和低速的硬盘里。

“我们用这个预测系统来保证用户在他自己说出自己的需求之前,就能看到他自己想要的东西。”Netflix 内容分发副总裁 Ken Florance 如此说。

不过如今,Netflix 最大的筹码已经押在了原创内容上。虽然它至今没有披露为两季的《纸牌屋》一共投入了多少资金,但 Deadline.com 估计这个数字在 1 亿美元左右。最吊诡的是,Netflix 一反常态地让《纸牌屋》一连放出 13 集,而不是拍成周播剧来吊足观众的胃口。

“如果你尝试给出观众更有创造力、更多元的形式,他们给你的反馈会比你预想的积极得多。”Netflix 内容负责人 Ted Sarandos 说道。他觉得,Netflix 的目标是超越 HBO,而且要在 HBO 有余地变成 Netflix 之前就超越它。

“HBO 确实有很多很多观众喜爱的节目。但我们不可复制的优势是什么呢?是我们的视频分发技术,我们优雅的交互界面,还有视频和不同设备的完美融合。”

某种程度上,Netflix 已经离成功很近了,《铁杉树丛》在宣传力度小于《纸牌屋》的情况下,斩获了比《纸牌屋》更高的收视率,而即将播出的《发展受阻》更有可能一举超越两者。《单身毒妈》(weeds)的主创 Jenji Kohan 正盘算着把她最新的黑色喜剧《女子监狱》(Orange Is the New Black)放在 Netflix 上首播,因为 Kohan 眼中的 Netflix 是再好不过的合作伙伴了,“Netflix 不会干涉我任何地方。”她甚至还为见过 Hastings 就有了如此的信任。

很多人认为 Netflix 为了取胜,会不惜一切代价疯狂买入剧集,但 Sarandos 认为,Netflix 对于要买入什么内容是有着深远考量的。Netflix 会用自己独特的算法计算出某部影片的演员最多有可能吸引多少观众,“这就是我们对自己购入的剧集非常有自信的原因,而这是电视联播网绝对做不到的。”

“它绝对是科学和艺术的最佳结合。”Sarandos 说,他表示 Netflix 会用数据来为未来的剧集挑选主演,并选择该由谁来执导影片。

不过,《纸牌屋》的编剧 Beau Willimon 表示,该剧的所有演员都是在 Netflix 买下剧本前就确定好的。“这个故事的所有内容都是以艺术手法创造的,”Willimon 还极力避免听到任何和收视有关的数据,“数据是个十分危险的东西,如果你太在意数据,就很有可能掉入无限取悦观众的陷阱。”

而至今为止,Netflix 都不愿公布收视率数据。和电视联播网不同,Netflix 不需要发布收视率以让广告主安心。而当其它电视联播网都花重金宣传这一季不得不看的剧集来吸引观众时,Netflix 却觉得只要让业内人士知道 Netflix 将会有什么动作就足够了。Kohan 觉得 Netflix 不公布数据一意孤行的做法已经惹恼了不少人,但反过来说,“这也是 Netflix 的聪明之处,这使得人人都在谈论 Netflix。”

负面声音

唱衰 Netflix 的人也不在少数。云计算创业公司 Pivotal 的 CEO Paul Martize 就觉得 Netflix 过于依赖 Amazon,以至于丧失了对自身技术和数据的掌控权,一旦 Netflix 需要搬家,会发现自己举步维艰。而 Hastings 对此说法的回应是——吃不到葡萄说葡萄酸。

另一些担心则来自 Netflix 自己做原创内容和好莱坞制片厂的冲突,这可能导致好莱坞不再向 Netflix 提供内容。好莱坞一向谨防任何一个潜在对手变得过于庞大,而随着 Netflix 向海外的扩张,它极有可能寻求全球通用版权的授权,而不是一个一个国家去敲定合作关系。从以此带来的盈利空间和能力来说,这是任意一个区域性的内容提供商都无法比拟的。


                               
登录/注册后可看大图

过去五年间,Netflix 的股价从一条平稳的直线,变成了上下震荡的曲线,但 Hastings 依旧那么镇定。无论是大如合作关系的敲定,或小如个人在技术上的尝试,Hastings 觉得这些都不过是尝试而已。他可以在一个月之内只用苹果的产品,然后下个月又只用 Windows 手机、平板以及笔记本。到了五月,他又把装备换成了 Google 系,把玩着 Chromebook Pixel 笔记本。“时常换换嘛。”Hastings 说道。

他对 Netflix 低迷徘徊于 200 美元左右的股价也不以为然,甚至还将过去的崎岖坎坷都轻描淡写了,“我们经历过 Blockbuster,经历过自己决策失误引发的 Qwikster 事件,而现在,似乎没什么比那两件更坎坷的事了。”Hastings 如此说道,他把 Netflix 期间跌宕起伏的情节以及濒死的经历,都隐在了话语的空白里。



via: http://www.36kr.com/p/203383.html
换了头像的窝是不是又更赛气了! 液!
回复

使用道具 举报

该用户从未签到

56

主题

143

好友

4万

积分

第二章

积分
41714
 楼主| 发表于 2013-5-30 20:38:58 | 显示全部楼层
ZWZWZW
换了头像的窝是不是又更赛气了! 液!
回复 支持 反对

使用道具 举报

该用户从未签到

69

主题

30

好友

1万

积分

第一章

积分
12439
发表于 2014-12-10 11:14:39 | 显示全部楼层
感谢楼主分享   
签名被小宅喵吞掉了~~~~(>_<)~~~~
回复 支持 反对

使用道具 举报

本版积分规则

小黑屋|手机版|技术宅(基宅) ( 粤ICP备18082987号-1 | 浙公网安备 33010902001746号 )

GMT+8, 2024-4-28 20:33 , Processed in 0.143161 second(s), 13 queries , Redis On.

Copyright © 2018 技术宅社区

Powered by Discuz! X3.5

快速回复 返回顶部 返回列表