Home > 企业案例
  • 【案例】唯品会NoSQL平台自动化发展及运维经验分享

    作者:赵新宇  /
     / 企业案例, 数据存储
    整个分享的提纲大概是这样一个过程:前半部主要围绕自动化运维进行介绍,后半部围绕Twemproxy改造及负载均衡相关,最后分享两个不好排查的运维问题。 在介绍自动化运维之前先看一下我们目前的平台背景。目前我们托管的业务主要是MC和Redis、中间层以及load balance服务。从图中可以看到,2015年上半年的增长超过了过去几年的积累,其中14年下半年的增长也占前几年积累的一半。全部的NoSQL实例已经接近3000,绝大多数业务是Redis.   整个一年里规模翻了3倍,业务的快速发展,导致运维DBA疲于奔命,持续重复...
    阅读全文 →
  • 【案例】 魅族多机房部署方案

    何伟  /
     / 企业案例, 技术思维
    我们为什么要做多机房部署 对于阿里投资魅族大家都知道了,魅族也放开了手机从原来的小而美,真正走向大众需求,屏幕也从15:9走向了16:9,这也带来了业务的高速增长,用户量暴增,应用商店日PV达到了2.5亿、在线音乐达到了2.3亿、同步数据量也达到了300亿条记录。    面对关键业务量的暴增,单机房扩展困难,同时还面临着单机房无法容灾的问题,所谓技术再强,扛不住挖掘机,因此多机房部署迫在眉睫。 技术挑战 多机房面临的挑战   想要部署多机房,面临着数据一致性难以保障、跨机房专线昂贵、无保障、流量怎么...
    阅读全文 →
  • 【案例】大数据量下,58同城mysql实践

    微信号:架构师之路  /
     / 企业案例, 数据存储
    WOT(World Of Tech)2015,互联网运维与开发者大会将在北京举行,会上58同城将分享《大数据量下,58同城mysql实战》的主题,干货分享抢先看。 零、分享提纲 1)基本概念 2)常见问题及解决思路 3)拆库实战 4)拆库后业务实战 5)总结 一、基本概念 二、大数据量下,mysql常见问题及解决思路 1)常见问题 如何保证可用性? 各色各异的读写比,怎么办? 如何做无缝倒库,加字段,扩容? 数据量大,怎么解决? 2)解决思路 2.1)可用性解决思路:复制 读库可用性 从库复制多个,例如:1主2从 从库挂了读主库,例...
    阅读全文 →
  • 【案例】大众点评运维架构的图文详解

    作者: 张冠宇:花名关羽,目前在大众点评做运维架构师一职。在大众点评这几年时间,见证了点评运维从无到有,从低效向高效的转变过程。 分享内容 今天分享专题大纲如图所示,从5个方面跟大家一起探讨: 1、点评运维团队的配置 目前我们运维分为4个组,相信跟大部分公司一样,运维团队分为:应用运维、系统运维、运维开发和监控运维,当然还有DBA团队和安全团队,这里就不一一罗列了。整个运维团队全算上目前是不到40人规模。 我们团队分工是这样的: 应用运维:负责支持线上业务,各自会负责对应的业务线,...
    阅读全文 →
  • 【案例】平台化管理MySQL数据库:拉手网DBMP平台介绍

    作者:常纯  /
     / 企业案例, 数据存储
    常纯 拉手网运维团队负责人 拉手网运维团队负责人,十余年运维工作经验(在日本从事系统运维工作三年)曾就职于日本Thrust公司、高朋网(Groupon)、拉手网、热爱研究开源技术,对互联网网站架构及自动化运维有丰富经验。 主题介绍 为什么要有DBMP平台 DBMP平台架构及功能介绍 DBMP平台页面展示 DBMP平台后期优化方向 一、为什么要有DBMP平台 公司业务不断增长,需要管理的MySQL数据库也在不断增长,DBA手里的活越来越多,从安装MySQL数据库再到线上数据修复、数据迁移、SQL审核等一些日常琐碎的事情就占...
    阅读全文 →
  • 【案例】单表60亿记录等大数据场景的MySQL优化和运维之道

    作者:杨尚刚  /
     / 企业案例, 数据存储
    此文是根据杨尚刚在【QCON高可用架构群】中,针对MySQL在单表海量记录等场景下,业界广泛关注的MySQL问题的经验分享整理而成,转发请注明出处。 杨尚刚,美图公司数据库高级DBA,负责美图后端数据存储平台建设和架构设计。前新浪高级数据库工程师,负责新浪微博核心数据库架构改造优化,以及数据库相关的服务器存储选型设计。 前言 MySQL数据库大家应该都很熟悉,而且随着前几年的阿里的去IOE,MySQL逐渐引起更多人的重视。 MySQL历史 1979年,Monty Widenius写了最初的版本,96年发布1.0 1995-2000年,MyS...
    阅读全文 →
  • 【案例】魅族资深DBA:利用MHA构建MySQL高可用平台

    作者:龙启东  /
     / 企业案例, 数据存储
    本次分享主要包括以下几方面: 如何利用MHA 改造MHA适应MySQL高可用场景 构建MySQL高可用平台的出发点 如何构建MySQL高可用平台 一、背景和目标 以前几十台DB服务器,人工登陆服务器就能维护好,也没有高可用,当master挂了,通知业务将IP切换到slave然后重启也能基本满足业务要求,但是业务迅速发展,实例数不断增加,复制集不断增加,数据库架构多样化,而这种人工维护方式显然大大增加了DBA工作量,而且效率低下、容易出错。 DB规模的增大,机器故障、SQL故障、实例故障出现的概...
    阅读全文 →
  • 【案例】每天200亿次查询 – MongoDB在奇虎360

    作者:TJ  /
     / 企业案例, 数据存储
    100多个应用,1,500多个实例,每天200亿次查询 奇虎是中国最大的安卓移动发布平台。奇虎也是中国最顶尖的病毒软件防护公司,同时为网络以及移动平台提供产品。自从2011年成为MongoDB的用户之后,奇虎已经在MongoDB上构建了100多个不同的应用,其中包括新服务以及从MySQL和Redis上迁移过来的服务——每天都会在MongoDB上运行超过1, 500个实例并且支持200亿次查询。 我很高兴能够有一个机会与奇虎的高级DBA——杨艳杰进行交流,了解更多关于他们使用MongoDB的过程及原因、他们的最佳实践以及为那些刚开始使用MongoDB的用...
    阅读全文 →
  • 【案例】达达后端系统上线流程演进

    上线流程演进 第一阶段 - 上线流程从无到有 作为达达研发团队的首位测试工程师,在我加入之前研发团队规模比较小(大概4个后端工程师和2个Android工程师)。当时后端代码上线的流程比较简单,从开发工程师Coding到代码最终上线一共会经过3个环境: 工程师本地开发环境 DEV测试环境 生产环境 开发工程师完成代码开发,在DEV测试环境自测后会把代码Push到对应仓库的Master分支上,等晚上9点上线。 上线流程(最初) 开发工程师提交Branch分支到Git Server 测试工程师在DEV环境部署Branch分支测试 代码测试通过后...
    阅读全文 →
  • 【案例】达达日志系统(一)收集

    背景 随着达达业务迅猛发展,访问量的节节攀升,每天产生大量的日志,单日日志量从原来的约20G/天涨到超过500G/天,我们面临着新的架构设计挑战。 在提出解决方案之前,我们先来了解一下达达当前的日志现状: 1. 日志种类繁多 需要收集的日志包含: Nginx的访问日志 Tomcat的访问日志 应用程序的业务日志 其他日志:移动App的日志,达达快递员位移的日志等等 2. 海量的日志记录,接近TB级别 随着系统功能越来越多,访问量的增长,记录的日志也越来越多,越来越大。高峰时期,单日日志文件大小超过500G,接近TB...
    阅读全文 →
  • 【案例】达达-高性能服务端优化之路

    提纲 业务场景 最初的技术选型 读写分离 垂直分库 水平分库(sharding) 总结 业务场景 达达是全国领先的最后三公里物流配送平台。 达达的业务模式与滴滴以及Uber很相似,以众包的方式利用社会闲散人力资源,解决O2O最后三公里即时性配送难题。 达达业务主要包含两部分:商家发单,配送员接单配送,如下图所示。   达达的业务规模增长极大,在1年左右的时间从零增长到每天近百万单,给后端带来极大的访问压力。压力主要分为两类:读压力、写压力。读压力来源于配送员在APP中抢单,高频刷新查询周围的订单...
    阅读全文 →
  • 【案例】雪球的Docker实践

    一、背景 雪球(http://xueqiu.com)是一家涉足证券行业的互联网金融公司,成立于2010年,去年获得 C 轮融资。雪球的产品形态包括社区、行情、组合、交易等,覆盖沪深港美市场的各个品种。 与传统社交网络的单一好友关系不同,雪球在用户、股票基金及衍生品、组合三个维度上都进行深度的相互连接。同时雪球的用户活跃度和在线时长极高,以致我们在进行技术方案选型和评估的时候必须提出更高的要求。 目前雪球的 DAU 为1M,带宽为1.5G,物理机数量为200+,云虚拟机数量约50个。雪球采用了 Docker 容器作为线上服务的...
    阅读全文 →
  • 【案例】亿级用户下的新浪微博平台架构

    序言 新浪微博在2014年3月公布的月活跃用户(MAU)已经达到1.43亿,2014年新年第一分钟发送的微博达808298条,如此巨大的用户规模和业务量,需要高可用(HA)、高并发访问、低延时的强大后台系统支撑。 微博平台第一代架构为LAMP架构,数据库使用的MyIsam,后台用的php,缓存为Memcache。 随着应用规模的增长,衍生出的第二代架构对业务功能模块化、服务化、组件化,后台系统从php替换为Java,逐渐形成面向服务的SOA架构,在很长一段时间支撑微博平台业务发展。 在此基础上又经过长时间的重构、线上运行、思索与沉...
    阅读全文 →
  • 【案例】京东Nginx平台化实践

    Nginx是优秀的HTTP和反向代理服务器,京东各部门都在广泛使用,但普遍都面临着一些问题: 配置复杂,专业性强。 配置文件无法批量修改且配置变更依赖重启操作。 不同应用依赖不同模块、配置项,管理混乱。 同一应用的Nginx无法批量、快速扩容。 所有问题的根源在于Nginx是一个单机系统,虽然模块化、高性能,但在互联网高速发展的今天,像京东这样拥有大规模Nginx、业务集群的场景下,所有问题都有可能被无限放大,针对这种现状我们设计研发了JEN(JD EXTENDED NGINX),截止目前JEN已覆盖京东金融大部分核心业...
    阅读全文 →
  • 【案例】从0到100——知乎架构变迁史

    作者: 臧秀涛  /
     / 企业案例
    也许很多人还不知道,知乎在规模上是仅次于百度贴吧和豆瓣的中文互联网最大的UGC(用户生成内容)社区。知乎创业三年来,从0开始,到现在已经有了100多台服务器。目前知乎的注册用户超过了1100万,每个月有超过8000万人使用;网站每个月的PV超过2.2亿,差不多每秒钟的动态请求超过2500。 在ArchSummit北京2014大会上,知乎联合创始人兼 CTO 李申申带来了知乎创业三年多来的首次全面技术分享(幻灯片下载)。本文系根据演讲内容整理而成。 初期架构选型 在2010年10月真正开始动手做知乎这个产品时,包含李申申在内,...
    阅读全文 →
  • 【案例】新浪微博千万级规模高性能、高并发的网络架构经验分享

    微信号:运维帮  /
     / 企业案例
    作者简介: 卫向军,毕业后在微软工作五年,接着去了金山云,做的金山快盘,然后去了新浪微博做平台架构师,现在在三好网,做在线教育的创业公司。 正文: 大家下午好。感谢大家支持今天的沙龙,也感谢梦想加给我们提供场地。麦思博是一家软件研发培训公司,2007年成立,我们一直专注于软件研发快速成长,今天Into100沙龙是第14期了,我们每次主题都偏向技术,每次分享是由三个嘉宾分享。这个模式实际上跟全球软件案例峰会是一致的,用50分钟时间给你解读长尾价值。今天第14期主题是千万级规模高性能,高并发的...
    阅读全文 →