注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

风轻扬

活着就是为了追求幸福

 
 
 

日志

 
 
关于我

关注互联网应用架构、分布式与海量数据处理技术、云计算、数据库技术

网易考拉推荐

NTSE最近的进展及随想  

2011-08-10 18:20:54|  分类: NTSE/TNT |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

一、NTSE 0.7发布
几天前NTSE 0.7发布了,核心功能有基于字典的记录压缩和在线建索引两个。在线建索引功能能够在不影响事务并发读写时建索引,并且是由基于排序的高性能索引创建算法,对提高数据库的可用性很有帮助。在线建索引比较简单,重点要说的是基于字典的记录压缩。首先来看模拟博客日志模块的blogbench测试结果。
NTSE最近的进展及随想 - 风轻扬 - 风轻扬
上图是NTSE 0.7和NTSE 0.5及InnoDB的性能对比,纵坐标是TPS,横坐标是内存占数据量的比例。可以看出NTSE 0.7比0.5在小内存配置下又有了近一倍的性能提升。与InnoDB相比小内存时的吞吐率达到15倍以上。第二个数据是压缩后记录占用的存储空间也节约了将近一半。这样,对部分应用无论从任何角度考虑,用NTSE 0.7都可以比用NTSE 0.5时节约一半硬件资源。相比InnoDB,大约可以只用1/4的硬件。这一结果可谓非常理想。看来记录压缩对提升WEB应用的数据库性能还是很有帮助的。

NTSE的记录压缩基于表全局字典来做,不同记录和页面中的记录都共享一个字典,多个属性可以组合压缩成一个单词,一个属性内部也可能被切分成多个单词来压缩,压缩率远高于InnoDB的页面级zip压缩(只能说InnoDB的页面级zip压缩太烂了)。在内存中也是压缩格式因此能够显著的优化缓存效率减少IO。压缩和解压以记录中的属性组为单位(默认记录中所有属性都是一个属性组),压缩和解压都非常快并且粒度非常细,因此启用压缩对性能的影响非常小,纯内存blogbench测试开不开压缩对吞吐率几乎没影响。
 
二、NTSE又添新应用
大部分反垃圾数据库,有10多个节点近1T数据已经用上了NTSE。在用NTSE之前用InnoDB,数据已经几T,每台机器上数据好几百G快到瓶颈了,一用NTSE一下子压缩到1/3至1/4,这样这些机器又可以撑很久了。对WEB应用来说,什么内存数据库就是胡扯。

三、其它
嗯,基于NTSE的事务支持日见明朗,感觉今年差不多能搞出来,之后NTSE就可以大行其道了。另外多属性组合查询的事,感觉也能通过NTSE很好的解决(而且顺便可以把与数据库集成的实时全文检索也搞定)。今年有盼头了。再好好规划,来年做基于NTSE的超级可伸缩、高容错的分布式解决方案。做好后,线上数据库和实时搜索、融合搜索的问题有望完美解决了。
  评论这张
 
阅读(2815)| 评论(9)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017