从Facebook的GitHub账户中可以看到，Facebook已经开源的开源项目有近300个，领域涉及移动、前端、Web、后端、大数据、数据库、工具和硬件等。Facebook开源项目负责人James Pearce曾在OSCON解释过Facebook究竟为何要使用、支持和发布开源项目。具体如下：
下面是InfoQ编辑整理的Facebook现有的比较活跃的开源项目列表，欢迎交流讨论。 React Native是Facebook在2015年开源的基于React.js的移动开发框架，它的设计理念是让移动应用既拥有Native的用户体验，同时又可以保留React的开发效率，提高代码的复用率。React Native的宗旨是，学习一次，高效编写跨平台原生应用。开发者可以使用JavaScript编写应用，并利用相同的核心代码就可以创建Web、iOS 和Android平台的原生应用，目前已经实现了对iOS和Android两大平台的支持。
GraphQL是Facebook开源的数据查询语言。Facebook在构建移动应用程序时，需要用API获取足够强大的数据来描述所有的脸谱，同时简单易学易用，于是开发了GraphQL，并支持每天千亿级的调用。GraphQL不是像MySQL或Redis这样直接面向数据的接口，而是面向已经存在的应用代码的接口。你可以把GraphQL看作是为了调用应用服务器上的方法的一些内嵌的RPC。
Presto是Facebook开发的一款分布式SQL引擎，主要用于针对各种大小的数据源（从GB到PB）来运行交互式分析查询。Facebook创建Presto的主要目的在于帮助他们更快地分析数据，因为Facebook的数据量一直在持续增长，产品周期的节奏也变得越来越快。自从2013年11月开源后，Presto的用户量呈现了爆发式增长。诸如Airbnb、京东、Dropbox以及Netflix等公司都将Presto作为自己的交互式查询引擎。
HHVM（HipHop Virtual Machine）是Facebook于2013年开源的PHP执行引擎。它采用一种JIT（just-in-time）的编译机制实现了高性能，同时又保持对 PHP 语法的充分支持。HHVM常常用作独立的服务器，用于替代Apache与mod_php，旨在执行使用Hack与PHP所编写的程序。它使用了即时编译方法来实现超高的性能，同时又保持了PHP开发者所习惯的灵活性。
React是Facebook开发的用于构建用户界面的JavaScript库，现已为很多公司所用，因为它采用了一种不同的方式来构建应用：借助于React，开发者可以将应用分解为彼此解耦的独立组件，这样就可以独立维护并迭代各种组件了。2015年，React有两个主要的发布，同时还发布了React Native，并且发布了新的开发者工具。现在已经有越来越多的公司（包括Netflix与WordPress）开始使用React构建自己的产品了。
RocksDB是Facebook开源的嵌入式、可持久化键值存储系统，它基于Google的LevelDB，但提高了扩展性可以运行在多核处理器上，可以有效使用快速存储，支持IO绑定、内存和一次写负荷。过去一段时间，RocksDB在社区非常流行，Facebook分析其原因在于它能够对由于网络延迟等原因造成的慢查询响应时间起到消除的作用，RocksDB非常灵活，完全可以针对各种新兴的硬件发展趋势进行定制。LinkedIn与Yahoo都是RocksDB的重度使用者。
近些年，人工智能和机器学习方向取得了长足的发展。据Kevin Lee透露，Facebook的AI软件已经能够阅读故事、回答相关场景的问题、玩游戏以及通过一些例子来学习非指定的内容。作为计算密集型的应用，AI软件的性能与数据集规模/硬件性能密切相关。尤其是硬件方面，高性能微处理器、存储器以及图形处理器（Graphics Processing Unit，GPU）的发展为AI算法的快速运行提供了坚实基础。为了进一步更好地服务大规模AI计算，Facebook推出了基于GPU的、用于训练神经网络的“Big Sur”硬件系统。 了解更多：http://www.infoq.com/cn/news/2015/12/Facebook-BigSur-OpenSource Augmented Traffic Control（ATC）能够利用Wi-Fi网络模拟2G、2.5G（Edge）、3G以及LTE 4G移动网络环境，测试工程师们可以快速在各种不同的模拟网络环境中切换，从而实现对智能手机和App在不同国家地区和应用环境下的性能表现进行测试。ATC是Facebook内部团队在2013年的一次Hackathon活动上开发出来的工具，其原理实际是利用了Linux流量控制系统，通过纯Python的网络库pyroute2调用netlink的API控制，而开发其的目的是为了确保更多的用户获得最好的应用体验。
HydraBase是HBase数据库的升级版。Facebook是HBase的重度用户，Facebook的HBase数据库系统存储着Facebook的很多关键业务数据，包括内部监控系统、搜索索 引、流数据分析以及数据抓取等。HydraBase相比HBase稳定性和可用性更高，可以减少服务器宕机时间。HydraBase能够让一个数据域分布在多个域服务器中，域服务器之间能相互备份，因此能够大大减少数据恢复所用的时间。Facebook声称HydraBase能将Facebook全年的宕机时间缩减到不到5分钟。 Facebook已经将HydraBase捐赠给Apache，目前很多代码都已经被合并到HBase中。 WebScaleSQL是基于MySQL 5.6 社区版本改编的MySQL通用分支，基于GPL开源协议发布。WebScaleSQL目前已经做了很多性能改进工作，包括：客户端异步协调、逻辑预读、查询限流、服务端线程池优化、InnoDB大页支持等等。WebScaleSQL上的功能都是很“Web Scale”和接地气的。比如线程池优化，WebScaleSQL基于Mariadb的线程池实现进行重写并优化，对读写队列进行分离，重新设计队列优先级策略，避免了饿死现象。要知道线程饿死在有些场景下是很严重的。尤其是在并发连接数往往很大的互联网应用里面。
代码审查方面，Facebook开源了可视化工具Phabricator。工程师可以在页面上非常方便的针对每一段（单行或者多行）代码进行交互讨论；负责审查的工程师可以接受代码改变，可以提出疑问要求原作者继续修改，可以提出自己不适合以推出该代码审查，等等。只有代码被明确接受之后才能被工程师提交到服务器端的代码库，这一点集成到提交工具中强制执行。
Proxygen是一款Facebook开源的支持SPDY 3.1的HTTP框架。其目的不是替换Apache，而是有能力创建一个专用的高性能Web服务器，使其可以嵌入到Facebook提供Web服务的现有应用中。Facebook从2011年开始构建一款代理服务器（Proxygen这个名字也是由此而来），在该项目演进并在生产环境中测试了数年之后，Facebook将其代码开源了。 Facebook内部做的基准测试表明，在一个Proxygen echo服务器上，每秒可以支撑多达304 197次基于SPDY 3.1的内存GET请求。
Pop是Facebook推出的一个可扩展的iOS 和OS X动画库，其新闻聚合阅读应用Paper背后的核心技术就是由Pop支持。除了增加基本的静态动画外，还支持Spring和衰变动态动画，可非常方便的构建现实的、基于物理的交互。Pop动画库的动画效果非常流畅，因为它使用了CADisplayLink来刷新画面（帧），一秒钟刷新帧数为60帧，接近于游戏开发引擎。Pop动画的自成体系，与系统的CoreAnimation有很大的区别，但使用上非常相似。
Infer是Facebook的开发团队在代码提交内部评审时，用来执行增量分析的一款静态分析工具，在代码提交到代码库或者部署到用户的设备之前找出bug。由OCaml语言编写的Infer目前能检测出空指针访问、资源泄露以及内存泄露，可对C、Java或Objective-C代码进行检测。Facebook使用Infer自动验证iOS和安卓上的移动应用的代码，bug报告的正确率达80%。Infer通过捕获编译命令，把要被编译的文件转换为可用于分析潜在错误的中间语言格式。整个过程是增量进行的，意味着通常只有那些有修改过并提交编译的文件才会被Infer分析。Infer还集成了大量的构建或编译工具，包括Gradle、Maven、Buck、Xcodebuild、clang、make和javac。
osquery是一款面向OSX和Linux的操作系统检测框架。它将操作系统暴露为一个高性能的关系型数据库，允许用户编写SQL查询查看操作系统数据。在osquery中，SQL表代表像下面这样的抽象概念：
虽然osquery利用了非常底层的操作系统API，但它允许用户在Ubuntu、CentOS和Mac OS X上构建并使用它。osquery性能极高，内存占用小，支持用户在整个基础设施上执行查询。
Flow是Facebook出品的一个JavaScript代码的静态类型检查工具，该工具采用开放源码的OCaml（Objective Caml）语言开发,。Flow能够帮助开发人员查找出JavaScript代码中的类型错误，从而提高开发效率和代码质量。Flow已经能够捕获JavaScript代码中的常见问题，如静态类型转换不匹配、空指针引用等问题。同时，Flow还为JavaScript新增了类型语法，如类型别名。
Facebook认为MVC无法满足他们的扩展需求，因此他们决定使用另一种模式：Flux。由于Facebook非常巨大的代码库和庞大的组织，所以MVC真的很快就变得非常复杂，于是他们得出结论，认为MVC不适合于大规模应用。 每次Facebook工程师努力增加一项新特性时，系统的复杂性成级数增长，代码变得“脆弱和不可预测”。对于刚接触某个代码库的开发人员来说，这正成为一个严重的问题。Flux是一个Facebook开发的、利用单向数据流实现的应用架构，用于 React。Flux应用有三个主要的部分组成：调度程序、存储和视图（React 组件）。
Stetho是一个Android应用的调试工具。当Android应用集成Stetho时，开发者可以通过访问Chrome，在Chrome Developer Tools中查看应用布局、网络请求、sqlite、preference等等，可视化一切应用操作（更重要的是不用root）。开发者也可通过它的dumpapp工具提供的命令行接口来访问应用内部。
从GitHub上可以看出，到目前为止，由腾讯微信团队发起的开源项目已经有6个，并且这其中大部分都是在2016年开源的，领域涉及移动、数据库、基础类库、框架。中国大公司的开源曾经给社区留下不好的印象，比如有人就这么说，大公司的开源，开源也就意味着结束。也有人说，大公司的开源大部分都是KPI项目，开源与业务不能相得益彰，所以根本无法持续投入。 开源不仅是一种态度，更是一种能力，微信希望通过开源打通内部团队和外部社区，一方面可以把微信的顶级技术输出给了社区，另一方面也可以把外部的优秀的思想传递到内部团队。 Libco是微信后台大规模使用的C/C 协程库，2013年至今稳定运行在微信后台的数万台机器上。Libco提供了完善的协程编程接口、常用的Socket族函数Hook等，使得业务可用同步编程模型快速迭代开发。 早期微信后台因为业务需求复杂多变、产品要求快速迭代等需求，大部分模块都采用了半同步半异步模型。接入层为异步模型，业务逻辑层则是同步的多进程或多线程模型，业务逻辑的并发能力只有几十到几百。随着微信业务的增长，系统规模变得越来越庞大，每个模块很容易受到后端服务/网络抖动的影响。基于这样的背景，微信开发了Libco，实现了对业务逻辑非侵入的异步化改造。
PhxPaxos是微信后台团队自主研发的一套基于Paxos协议的多机状态拷贝类库。它以库函数的方式嵌入到开发者的代码当中，使得一些单机状态服务可以扩展到多机器，从而获得强一致性的多副本以及自动容灾的特性。PhxPaxos在微信服务里面经过一系列的工程验证和大量的恶劣环境下的测试，在一致性的保证上极为健壮。 PhxPaxos的特性包括使用基于消息传递机制的纯异步工程架构、每次写盘使用fsync严格保证正确性、支持Checkpoint以及对PaxosLog的自动清理、使用点对点流式协议进行快速学习、支持跨机器的Checkpoint自动拉取、内置Master选举功能、自适应的过载保护等。
PhxSQL是一个兼容MySQL、服务高可用、数据强一致的关系型数据库集群。PhxSQL以单Master多Slave方式部署，在集群内超过一半机器存活的情况下、即可提供服务，并且自身实现自动Master切换、保证数据一致性。PhxSQL不依赖于ZooKeeper等任何第三方做存活检测及选主。PhxSQL基于MySQL的一个分支Percona 5.6开发，功能和实现与MySQL基本一致。 MySQL主备在主机上支持完整SQL、全局事务、以repeatable read和serializable级别的事务隔离，在金融、帐号等关键业务中有巨大的价值。但是MySQL传统主备方案也有其缺点。最明显的就是主机故障后的自动换主和新旧主数据一致性，即所谓的一致性和可用性。为了解决这个问题，并同时完全兼容MySQL，微信在MySQL的基础上应用Paxos，设计和开发了PhxSQL。
PhxRPC是微信后台团队推出的一个简洁小巧的RPC框架，编译生成的库只有450K（编译只依赖第三方库Protobuf）。PhxRPC的特性如下：
Mars是微信官方的终端基础组件，是一个结合移动应用所设计的基于Socket层的解决方案，在网络调优方面有更好的可控性，采用C 开发。目前已接入微信 Android、iOS、Mac、Windows、WP 等客户端。 在微信中，任何网络实现的bug都可能导致重大事故。例如微信的容灾实现，如果因为版本的实现差异，导致某些版本上无法进行容灾恢复，将会严重的影响用户体验。微信研发了统一的跨平台的网络基础库Mars来满足发展的需要，一方面，基础组件可以提高研发效率，另外一方面，也可以提高系统的稳健性。 在设计上，Mars以跨平台、跨业务为前提，遵从高可用，高性能，负载均衡的设计原则。以网络的可用性为例，移动互联网有着丢包率高、带宽受限、延迟波动、第三方影响等特点，使得网络的可用性，尤其是弱网络下的可用性变得尤为关键。Mars 的STN组件作为基于 socket 层的网络解决方案，在很多细节设计上会充分考虑弱网络下的可用性。
Tinker是微信官方的Android热补丁解决方案，它支持动态下发代码、So库以及资源，让应用能够在不需要重新安装的情况下实现更新。 当前市面的热补丁方案有很多，其中比较出名的有阿里的AndFix、美团的Robust以及QZone的超级补丁方案，但它们都存在无法解决的问题，所以微信研发了自己的解决方案。总的来说，AndFix作为native解决方案，首先面临的是稳定性与兼容性问题，更重要的是它无法实现类替换，它是需要大量额外的开发成本的。而Robust兼容性与成功率较高，但是它与AndFix一样，无法新增变量与类只能用做的bugFix方案。Qzone方案可以做到发布产品功能，但是它主要问题是插桩带来Dalvik的性能问题，以及为了解决Art下内存地址问题而导致补丁包急速增大的。 Tinker的具体设计目标如下：
从Twitter的GitHub账户中可以看到，Twitter已经开源的开源项目有近200个，领域涉及分布式架构、大数据、异步网络传输（客户端、服务端）、Web、工具等。Twitter可以称为构建于开源项目之上，该公司开源负责人Chris Aniszczyk表示，如果没有开源软件，Twitter将不会存在，用户在移动端和PC端发送和接收的每一条推文都会需要开源软件。 Twitter从开源社区中获得了大量的好处，而Twitter也在不断地回馈社区，开源了大量基础设施和工具，使得其他企业和开发者不必重新发明轮子，在这些开源项目的基础上更加快速地实现自己所需。可以看到，Twitter在开源社区的贡献是显著的，甚至其贡献的某些开源项目在一定程度上比Twitter本身带来的影响力更大。 下面是InfoQ编辑整理的Twitter现有的比较活跃的开源项目列表，欢迎交流讨论。 Typeahead.js是Twitter的一个jQuery插件，支持远程和本地的数据集。比较有特色的地方在于，你可以将数据集使用本地存储（local storage）来保存在本地，有效的提高用户体验。同时也拥有很多远程数据集的处理选项，例如请求频率，最大的并发请求数，等等。它的主要特性有：
Twemoji是Twitter于2014年开源的完整的Emoji表情图片，T |
|
声明：文章版权归原作者所有 部分文章转自互联网 如有侵权请联系
[邮箱地址] 删除
|
注册
登录
