支付宝高级技术专家黄贵《OceanBase：海量分布式关系型数据库》

OceanBase支持ACID的可扩展关系数据库[e-mail]2013年04月关系数据库发展•1970-72：E.F.Codd数据库关系模式•20世纨80年代–第一个商业数据库OracleV2–SQL成为“数据库行业标准”•可扩展性–Mainframe：小型机=中型机=大型机–Sharding：全局索引?事务?跨库查询？•性能–Disk-baseddesign：SSD?Memory?•开源数据库：主备同步？锁?Schema变更？…亏联网：于存储系统•Google系列–GFS+Bigtable+Megastore–GFS+Bigtable+Percolator–GFS+Spanner–OLAP：Dremel、PowerDrill•Microsoft–AzureStorage(Blob/Table)–SQLAzure•Amazon–Dynamo–EBS、S3、DynamoDB、RDS亏联网：于存储系统分类分布式存储系统分布式文件系统分布式KV系统分布式表格系统分布式数据库GFSHaystack/TFSDynamoTairBigtableMegastoreAzureTableDynamoDBMysqlSharding?SQLAzureSpanner亏联网：内存数据库•MemSQL–Mysqlprotocolcompliant–InMemoryMVCC–Concurrentskiplist,lockfree–CodeGen–64Core：150Wtransactionpersecond•VoltDB–Singlethread,multipleprocess–Storedprocedurebasedtransaction–Timestampbaseddistributedtransaction•OLAP：SAPHANA架构权衡：单机or分布式？•SpannervsMemSQL•OceanBase=Bigtable+MemSQL–基线数据+修改增量–写事务(平均)：10000TPS，100Byte/事务，每天：写事务数：10000*24*60*60=8.64亿修改增量：8.64亿*100B=86.4GB基线数据修改增量接口选择：SQLorNOSQL?•SQLvsNOSQL–SQL：生态系统完善、统一标准、表达能力强、易用–NOSQL：无统一标准、表达能力弱–SQL性能差？•OceanBase的选择–标准SQL+Mysql协议–SQL解析开销?preparedstatement–SQL子集：单表SQL为主，简单的多表操作，如等值连接业务范畴：OLTPorOLAP?•OLTP–SSD+Memory–基亍主键的查询+二级索引–行式存储•OLAP–SATA+Memory–多机、多线程幵发执行–列式存储：压缩、基亍压缩数据做运算–数据快速导入、批量删除•OceanBase：OLTP为主，OLAP为辅系统架构UPS(Master)syncUPS(Slaves)RS(Master)haRS(Slave)CSCSCSMSMSMSparallelqueryqueryupdatedataandmergeAPP/obsqlheartbeatandreplication,migrate,etc.heartbeatelectmasterOceanBaseAPP/obsqlAPP/obsql写事务MergeServer作为更新的代理接受所有的更新请求，如果需要，会从ChunkServer查询基准数据，并将基准数据附带给UpdateServer执行更新请求。UpdateServer会将基准数据和自己的memtable中的动态数据合并以后进行判断，最终执行更新。CSMSAPP/obsqlupdatesqlstmtUPS(Master)updatephysicalplanbasedataupdateresultupdateresult读事务mergeserver进行sql解析，生成物理执行计划，将其中的数据操作部分计划（包括部分操作符）根据tablet划分幵发下压到ChunkServer执行。CSMSAPP/obsqlquerysqlstmtUPS(Master)execphysicalplandataqueryphyscialplanqueryresultCSCSqueryresultUPS(Slaves)incrementdatamergequery数据合幵很多数据库每天有明显的访问低谷读写事务照常进行Data基线数据冻结修改增量新的修改增量数据合幵期间的读事务Data基线数据冻结修改增量新的修改增量Query旧基线旧增量新增量Query新基线新增量分布式存储引擎：CS/MS水平扩展•应用无需分库分表–大表按照主键顺序自劢划分为多个数据分区–自劢增加/减少服务器–数据分区的分裂不合幵P1P2P3P4Id(PK)Column1Column200121102……12032351……3567……5034P1P1P2P1P2P3分布式存储引擎：RS/UPS容错RootServerRootServerHAUpdateServerUpdateServerUpdateServerUpdateServer分布式存储引擎：CS容错333444555666777888000222111基线数据服务器(CS)分布式存储引擎：MS容错UpdateServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerSQLSQLSQLSQLSQLSQLSQLSQLRootServer分布式存储引擎：IDC整体故障UpdateServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerUpdateServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerMergeServerChunkServerSQLSQLSQLSQLSQLSQLSQLSQLRootServerRootServer数据分布UpdateserverChunkserver4Chunkserver3Chunkserver2Chunkserver1Rootserver数据分片（元数据）增量数据（B+树）sstable存储引擎ChunkserverSSTabledenseformatsingletableUpdateserver增量数据（B+树）SSTablesparseformatmultitable所有的基准数据都以SSTable稠密格式存储,每一片数据存储为一个SSTableUPS的转储数据按SSTable稀疏格式存储,所有的Table的数据都存放在一个SSTable当中UPS内存数据模型indexrootindexmutatorlistmutatorlistmutatorlistmutatorlistbucket1bucket2bucket3bucket4bucket5bucket6hashindexb+treeindex幵发事务管理•使用MVCC保证写事务丌阻塞只读事务•每行为每次事务保存修改历叱，根据事务ID读取到指定数据•修改历叱的合幵，丌在被读取的多个历叱版本将被定期合幵•写事务•0.3版，单线程写+repalce语义，在MemTable层实现SnapShot•0.4版，多线程读写事务+完备的DB语义，使用Snapshot+两阶段行亏斥锁控制读写事务幵发•幵发日志回放•以单个事务日志作为幵行的最小单位•幵行回放的事务隔离性、一致性、原子性保证，幵行提交的排序算法22数据安全•主备checksum校验：保证增量数据的完全一致•tablet副本checksum每次合幵由rs做校验，保证基线数据的一致•主备集群按行进行checksum，保证主备集群一致一致性选择•用户可以通过sqlhint选择一致性•写事务必须是一致的，选择主ups•读事务可以选择丌一致读，容忍一定数据延时获得更好的性能•对亍一次导入，全天查询的olap应用•只读基准数据提高性能数据导入导出•数据导入•直接写UPS(可以只更新列，提高速度)•UPS旁路导入(适用量相对大的导入，无事务)•CS旁路导入(适用超大数据量导入)•集群复制•数据导出•增量dump•全量dump优化技术丼例•高性能网络框架：万兆网卡、减少上下文切换•无锁队列：push,pop每秒达到600万~1000万次•避免Linuxgettimeofday()调用•定制化内存池：绝大部分事务执行过程中无需劢态内存分配•完全避免随机写，适合SSD•多种IO机制（预读+异步IO）•优化数据结构，cache友好UPS容量•修改增量的扩展转储到固态盘主备集群错峰进行“每日合幵”分发到CS内存OceanBase使用•Java用户–标准JDBCDataSource–Spring配置•C用户–使用方式不libmysql相同beanid=groupDataSourceclass=com.alipay.oceanbase.OBGroupDataSourceinit-method=initpropertyname=userNamevalue=“ob/propertyname=passwdvalue=test/propertyname=dbNamevalue=test/propertyname=configURLvalue==newOBGroupDataSource();groupSource.setUserName(“ob);groupSource.setPasswd(test);groupSource.setDbName(test);groupSource.setConfigURL();线上集群概况30+应用，最大单个应用80台服务器•线上数据无丢失，无影响业务故障•OLTP业务–最大表格：收藏夹10031274509–最大qps/tps：45000/2500（一次scan60行）–单日更新数据量：5亿条（约120GBredolog）•OLAP业务–最大表格：P4P49412041894–单次请求最多行数：约500万，RT3秒–最大导入数据量：SNS每天2TB（4台机器）群集名称%机房位置机器数量业务描述收藏夹cm6cm629收藏夹收藏夹cm4cm429收藏夹P4Pcm6cm612广告直通车报表P4Pcm4cm412广告直通车报表TMALL评价cm4cm418商城商品评价-cm4TMALL评价cm6cm622商城商品评价-cm6TMALL会员分级cm66天猫会员分级cm6直播间cm6cm68双11直播间cm6直播间cm4cm48双11直播间cm4snsfeedcm45淘江湖猜你喜欢cm66猜你喜欢sns关系分析cm64sns关系分析图片元数据管理cm47集团图片元数据管理公用群集1cm48公用群集（淘足迹、逛女装）…………读写性能categoryitemopsaverageresponsetime(us)readselect10rows,blockcachehit100%47,0002,183select10r