实验室自主开发的云存储系统简介

实验室于2007年开始开发了WFS,WFS是WEB-based File System的缩写,基本的思想是基于WEB界面提供文件存储服务,与云存储的在线存储服务思想一致,在云存储被广大用户接受后,我们的新版本也直接改名为云存储系统,目前应用在建立企业的私有云存储系统。WFS支持多种存储设备的统一数据存储平台,在该平台之上开发了在线存储、云同步、云备份、云共享等应用。

1

图   WFS云存储系统层次结构

WFS分为四个层次:

(1)存储资源层:存储资源层是WFS的基础部分。典型的存储设备包括:廉价服务器的本地存储资源,磁盘阵列,网络存储设备等。在这一层,我们实验室自主研发了MPX多协议(FCP、iSCSI、NFS/CIFS)存储系统可作为存储资源层的有力支撑。

(2)存储管理层:核心是分布式文件系统,实现四个方面的管理:系统维护和扩展、系统内数据分布管理、安全管理、数据统计。系统维护和扩展:主要维护分布式文件系统本身的稳定,当节点故障时进行替换,空间不足时进行扩容;系统内数据分布管理:根据上层应用的不同,对系统内分布的数据进行手动和自动的数据迁移,实现节点存储资源的高效利用;安全管理:对存储资源访问的安全控制,对存储在系统内的资源进行加密存储等;数据统计,对用户使用存储资源空间、带宽进行统计。

(3)统一接口层:存储资源通过标准化的接口,提供给第三方的应用。WFS参照CDMI接口标准进行接口设计,提供基于HTTP/HTTPS协议的Restful接口,对数据进行GRUD操作。

(4)云存储应用层:目前开发了四种典型的云存储应用:在线存储、云同步、云备份和云共享。

WFS支持多种终端的接入,包括WEB、PC端和移动端。存储资源以不同的应用和服务提供给用户,最基本、最重要的是在线存储和多机同步。

在线存储提供的服务是通过浏览器基于WEB界面对文件进行存取和管理。基于文件可视化技术设计了WEB操作界面,用户可以直接通过浏览器基于WEB界面对文件进行操作,包括文件的存储(上传、下载)、管理(重命名、复制、移动和删除)、搜索和共享。

多机同步提供一个以文件为单位、基于目录的多主机同步服务。用户通过终端应用程序来访问云存储中的资源,并在本地生成一个虚拟盘,以文件目录结构组织用户数据,支持文件操作:当用户在一个终端上修改文件,修改文件会自动地“同步”到云存储中,随后,文件会自动同步到用户的其他终端中。

发表在 未分类 | 留下评论

IDC&EMC“数字宇宙”研报告的重要结论

2010年报告部分内容:

•2010年全球信息突破了ZB大关。
•每两年翻一番。
•信息量继续以惊人的速度增长。这样的增长和“大数据”正在改变企业和社会的各个方面。

2010年报告部分内容:

•到2020年,数字宇宙将会膨胀到40000EB,或40万亿GB(也就是说每个人可以均摊到5200GB以上)。
•到2020年,数字宇宙中约三分之一的数据(超过13000EB)将具有大数据价值,但只有当其被标签、被分析时这种价值才会显现。
两个报告最重要的结论是:全球信息快速增长的速度块,数据量极其巨大,这对人类社会产生很大的影响;很多数据有价值,但需要分析才能发现价值,这就需要发展大数据技术。
发表在 未分类 | 留下评论

存储研究人员需关注的网站

1.Storage labs of University

(1)PARALLEL DATA LAB, Carnegie Mellon University(*****)

http://www.pdl.cmu.edu/

(2)Storage Systems Research Center @ UC Santa Cruz(*****)

http://www.ssrc.ucsc.edu/

(3)Data Storage Systems Center, Carnegie Mellon University(***)

http://www.dssc.ece.cmu.edu/research/

(4)Distributed Systems & Storage Laboratory, Virginia Polytechnic Institute and State University

http://research.cs.vt.edu/dssl/index.html

2.Conference

(1)FAST :USENIX Conference on File and Storage Technology(*****)

https://www.usenix.org/conference/fast13

(2)MSST:IEEE Conference on Massive Data Storage(*****)

http://storageconference.org/

3. consortium

(1)The Storage Networking Industry Association(****)

http://www.snia.org/

Storage Developer Conference(***)

Technology Communities

Technology Standards

Technical Work

Draft Technical Work for Public Review(***)

I/0 Traces, Tools & Analysis Repository(***)

(2)Technical Committee T10(SCSI) (***)

http://www.t10.org/index.html

4.Indusrty Leaders

(1)IBM Storage Redbooks(***)

http://www.redbooks.ibm.com/portals/storage

(2)IBM Research – Haifa

https://www.research.ibm.com/haifa/projects/storage/datastores/index.html

(3)IBM Research — Almaden Storage Systems

http://researcher.watson.ibm.com/researcher/view_project.php?id=4203

(4)HP LAB: storage systems(***)

http://www.hpl.hp.com/research/ssp/

5. Portal Sits

(1)TechTarget Storage Media Group (***)

http://searchstorage.techtarget.com/

(2)StorageSearch.com

http://www.storagesearch.com/

(3)SourceForge(***)

http://sourceforge.net/

发表在 未分类 | 留下评论

中国计算机学会将发布《中国计算机学会推荐国际学术会议和期刊目录》(第三版)

中国计算机学会将发布《中国计算机学会推荐国际刊物会议列表征求意见稿》,此次发布的版本是在2011年第二版的基础上,根据广大CCF会员的反馈和建议,由CCF学术工委修订而成。本目录包括计算机系统与高性能计算、计算机网络、网络与信息安全、计算机科学理论、软件工程/系统软件/程序设计语言、数据库/数据挖掘/内容检索、计算机图形学与多媒体、人工智能与模式识别、人机交互与普适计算、前沿/交叉/综合等十个方向的重要国际学术会议及期刊。

发表在 未分类 | 留下评论

云存储简析

从技术层次来看,云存储是通过存储虚拟化、集群或分布式文件系统等技术,将大量的存储设备集合起来协同工作,通过应用软件对外提供数据存储功能的一个系统。

可以说,云存储并没有什么新技术,我们实验室从2006年开始设计和开发的WFS(WEB-based File System)主要思想是基于WEB界面提供文件存储服务,与在线存储服务思想一致,算是国内最早云存储系统了。

从使用方式来看,云存储是一种新型的网络存储服务。云存储的运营方建造巨大的存储资源池,为用户提供数据存储服务;而用户按需购买存储空间和服务,便可以将数据存储到云存储中。

从上看,云存储与传统存储区别不在技术,而在购买和使用方式,传统存储是买设备,云存储是买服务。

 

发表在 未分类 | 留下评论

实验室获2012年度中国电子学会电子信息科学技术奖

2012年度中国电子学会电子信息科学技术奖评选结果本月揭晓,实验室申报的“存储产品及系统测试评价平台” 荣获三等奖。“存储产品及系统测试评价平台”是科技部信息领域“十一五”重大专项研究课题,由中国电子科技集团公司第十五研究所与我校及其他单位完成,实验室在研究工作中完成了最重要的研究任务、贡献最大,阳小珊、郑良、邱全伟三位同学分配国家电子计算机质量监督检验中心工作,成为我国第一个国家存储测评中心的技术骨干,实验室获此奖仍名至实归。

中国电子学会电子信息科学技术奖于2003年经国家奖励办批准设立,面向全国电子信息技术领域在全国范围内进行评选,主要奖励在电子信息领域科学研究、技术创新与开发、科技成果推广应用和实现产业化方面取得卓越成就或作出突出贡献的个人和集体。

中国传媒大学新闻链接:朱立谷教授荣获2012年度中国电子学会电子信息科学技术奖

 

发表在 未分类 | 留下评论

华中科技大学做博士后研究

2003年到华中科技大学计算机外存储系统国家重点专业实验室暨教育部重点实验室做博士后研究,这是我从事存储研究的又一个里程碑。

hust1

谢长生教授是我的合作导师,谢老师在存储领域德高望重,为人又非常和善,是非常难得的良师益友;我在的实验室和张江陵教授的实验室(冯丹老师也这实验室)仅一门之隔,故可得到华工多位名师的指点;同时,结识大批从事存储技术研究的兄弟,并建立友谊,真是人生之幸事。

发表在 未分类 | 留下评论

最早发表的存储技术论文

发表的第一篇存储技术论文,是在同有公司从事存储技术工作的总结,写得也很青涩,被引用了17次,说明有点用。

朱立谷.基于备份、复制和镜像的数据库高可用技术的研究[J].计算机应用研究,2002-04-28

【摘要】 分析和研究了在相同用户环境下采用备份、复制和镜像技术时所能获得的不同效果 ,通过实例阐明了这三种技术如何配合使用来达到企业数据库高可用的目的 ,同时指出了新技术对它们的影响。

 

发表在 未分类 | 留下评论

存储研究之路

1998年,我到同有公司担任技术部经理,开始从事存储领域的技术工作;2001年在湘潭大学带领几个本科学生做存储研究,不知不觉已经有14年了,一起做研究的学生已经成为顶级存储技术人才。值实验室新网站发布之际纪念一下:第一篇存储研究论文,被引用19次。

朱立谷 赵青梅 等.iSCSI协议的研究[J].计算机工程与应用,2002,(15):44.

【摘要】该文详细描述了iSCSI的定义和原理,在Linux 2.4.0内核下采用动态加截模块的方式实现了iSCSI的启动器和目标器,测试了iSCSI的性能,并与NFS进行了比较。

夫妻作坊,青涩作品,博大家一笑!

发表在 未分类 | 留下评论