首页 存档 技术 查看内容

心大手抖,GitLab 系统管理员 rm -rf 误删300GB 数据,备份数据均失效

2018-3-30 13:00 |来自: 互联网 328 0

摘要: 各位亲 还一身的节后综合症吗 没状态的话家里鸡血打一打 因为春节家里鸡鸭死了十几只 吃的是高兴,可是桑心啊~~ 大年三十晚上早早地就把一直隐身状态的QQ设置为在线状态,等待着好友们跟我说新年快乐,22点过去了, ...

各位亲

还一身的节后综合症吗

没状态的话家里鸡血打一打

因为春节家里鸡鸭死了十几只

吃的是高兴,可是桑心啊~~

大年三十晚上早早地就把一直隐身状态的QQ设置为在线状态,等待着好友们跟我说新年快乐,22点过去了,23点过去了,0点过去了,0:35分,于是我又默默地将QQ设置为隐身状态…

鸡鸭吃多了,不仅长肉撑大了肚皮,有些人把心都给撑大了。这不GitLab 系统管理员心大得连300GB 数据都误删了。


“从删库到跑路”,这句程序员用来自嘲的话差点成为现实,所幸的是,这次删库的小哥没有跑路。


从2月1日下午开始,朋友圈被GitLab误删数据事件给刷爆了,业务中断时间超过10小时。


这家号称已为超过10万家企业提供代码托管私有部署方案的初创公司,在16年9月份刚获得2000万美金的B轮融资,这样的事故必将让客户和投资人担心。


据说出现该事故的原因是,太平洋时间周二晚上,一名疲惫不堪的GitLab系统管理员在荷兰工作到深夜,他在令人沮丧的数据库复制过程中不小心删除了一台不该删除的服务器上的目录:他彻底删除了一个含有300GB活动生产数据的文件夹,等他反应过来,取消rm -rf命令时,已只剩下了区区4.5GB数据。

更要命的是,GitLab尝试了五重备份机制的恢复,但最终依然失败。GitLab 号称的五重备份机制,分别是:

  • 常规备份(24小时做一次)

  • 自动同步LVM快照(24小时做一次)

  • Azure备份(只对 NFS 启用,对数据库无效)

  • S3备份


上一套可能切实可行的备份是在事先六个小时所做的,Gitlab 方面已经试图该方式来逐步恢复数据:

最后他们索性在YouTube上直播工程师恢复数据,围观者众多,甚是热闹:

对此,程序员们评价不一,有的觉得Gitlab 也许用了假的备份,有的感慨开夜车应注意安全,有的吐槽运维加班苦,应该涨工资,甚至国外社交网络上有不少网友觉得应该将2月1日设立为“世界备份日”。


马后炮一下,每年总会有几起知名公司因为误操作引起的系统宕机,前有携程,今有GitLab,我相信没有曝光出来的此类事件几乎每天都在上演。


备份恢复在公司通常很难引起重视,大家总是存有侥幸心理,认为我们的工程师都很专业,不会误操作,我们服务器不会有硬件故障,我们的系统很安全,不会有人攻击。往往只有在吃亏上当之后才会对数据容灾重视。


小编觉得如果给这个程序猿一个月光宝盒,他肯定会大喊一声:给我来500T的易备安,立刻!马上!

易备安融合十余年数据安全保护实践经验,专门打造针对企业的数据资产保护方案。根据不同企业不同场景的数据保护需求,整合了多点容灾、智能监控、快速恢复、实时记录、全面覆盖、集中管理、全程加密等多项服务能力,具备可视化、高可用、免运维、强兼容、超安全、大回报等优势。

易备安全面支持网站、文档、文件、文件夹、主流数据库SQL Server、MySQL、Oracle等全量数据,无论用户的系统发生任何意外(如:恶意的程序破坏、文件损毁、人为误删误改、操作系统宕机、硬件故障,甚至整个机房毁于意外),都能保证企业数据不丢失。

曾经有一份珍贵的数据摆在我的面前我没有珍惜,

等我失去的时候才追悔莫及,

人间最痛苦的事莫过于此!

如果上天能给我一次再来一次的机会,

我会对纳网科技说一句话:给我来500T的易备安,

如果非要在这个服务上加一个期限,

我希望是一万年!


来,点击“阅读原文”了解易备安让你永不后悔!


长按识别二维码
关注“公众号”


本文转载于微信公众号: 纳网(hlwqdlm),更多微信文章请扫描关注公众号:

声明:文章版权归原作者所有 部分文章转自互联网 如有侵权请联系 [邮箱地址] 删除

路过

雷人

握手

鲜花

鸡蛋

相关分类

返回顶部