注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

风轻扬

活着就是为了追求幸福

 
 
 

日志

 
 
关于我

关注互联网应用架构、分布式与海量数据处理技术、云计算、数据库技术

网易考拉推荐

NTSE 0.3发布啦  

2009-12-31 16:18:55|  分类: NTSE/TNT |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
经大量测试,发现并解决大量bug之后,NTSE 0.3终于在圣诞节当天发布。NTSE 0.3在性能、可用性、功能和可管理性四个方面都有了显著的提升:
1. 性能:性能是本版本最主要的工作之一,NTSE 0.3消除了0.2测试时发现的两个主要的性能瓶颈,即MMS与索引的并发性能问题,解决这两个问题后,NTSE 0.3中已经没有明显的并发性能问题。
2. 可用性:可用性是本版本另一项最主要的工作。NTSE 0.3增加了完全在线的索引创建和OPTIMIZE功能,执行这些操作的过程中读写操作仍可继续进行。不但如此,NTSE 0.3也已经为在线增加、删除字段作好了准备,只不过由于MySQL 5.1暂时没有对外提供的在线增删字段的接口,这一功能对外仍不可用而已(实际上OPTIMZE功能即是通过一个增加0个字段的特殊增/删字段操作实现的)。
3. 功能:增加了时间日期、二进制、DECIMAL等数据类型,已经可以满足杭研应用的数据类型需求;
4. 可管理性:数据库对象级的操作统计和连接级的操作统计让确定系统性能瓶颈更容易。

原先预计可在1个月之内发布NTSE 0.3,结果在22天之后发布,看来估计还比较准确。NTSE 0.3还不是正式版,稳定性可能不太好,有可能会崩溃。但在保证数据即便崩溃也不会丢失这一点上我们还是有一定信心的,在运行模拟博客日志行为的blogbench期间曾经测试杀死NTSE后能不能恢复,备份数据库后从备份恢复能否成功,早期曾发现问题多个,但临近发布时,已经杀死NTSE数十次,备份数据库多次,都能成功恢复。而这个blogbench既有大对象,又有MMS和MMS缓存更新,主要的功能都测试到了。

接下来将全力以赴保证NTSE的正确性和稳定性。正确性方面首先需要解决MySQL的binlog与NTSE不同步问题,然后就是测试、测试、再测试。

稳定性中最重要的是保证数据库不会损坏到不可恢复的地步。NTSE偶尔coredump还是可以接受的,但如果coredump后数据无法恢复,导致数据丢失则是绝对不行的。为此,我们将使出“绝招”,构造一个测试全方位的操作,然后不断的随机构造各类恢复初始条件来恢复,这样的测试跑它个十天八天,基本上所有的恢复问题都会被暴露出来。

计划将于明年3月发布NTSE 0.4,这将是NTSE 1.0发布之前最后的一个开发进程碑,接下来就会进入beta/rc迭代直到正式release。版本号就不叫0.x了,叫1.0.5、1.0.6之类的吧,好听点。

NTSE 1.0之后将并行开展NTSE 1.1和TNT 2.0的工作。NTSE 1.1的主题是优化,TNT 2.0的主题是多版本事务。1.1的优化最重要的是基于全局数据字典的记录压缩,据初步估计,大概可以将记录占用的空间压缩到50%以下。而且记录在内存中还是压缩形式存储的,所以空间就是磁盘,就是内存哪,而磁盘和内存就是服务器数,就是钱哪。TNT 2.0的多版本事务就不说了。

提前预祝NTSE/TNT在来年一路走好!

最最最担心的不是NTSE/TNT内核本身,这些我都有9成的把握能做好(时间上的掌握确实难些),但NTSE/TNT与MySQL对接才是难。最近才发现MySQL原有的binlog机制根本不适应NTSE,这类东东在存储引擎API里根本没有,手册里也语焉不详。还有各种各样奇奇怪怪的SQL语句真难对付,测试时就发现问题不少,这个情况太多,处理的不好就可能coredump。怎么办呢,要不开源让别人去测去,呵呵。
  评论这张
 
阅读(1751)| 评论(1)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017