云存储“有效”应用和云存储“无效”应用——2009-1-15 CTO俱乐部第一次聚会“云计算”后记
CTO俱乐部第一次聚会的主题是“云计算”,也有幸认识了北京美地森科技创始人游峰先生,聆听游峰先生关于云存储方面进展的介绍。后来吕建伟老师还针对这次聚会专门写了一篇文章:
http://lvjianwei.cto.csdn.net/Hot_Discuss.aspx?Name=lvjianwei&pointid=97
其中涉及到了我们目前的业务,由于聚会时间短暂,我没有详细解释很多细节,下面我将就此问题展开说明。我昨天半夜写了一篇CTO俱乐部第一次聚会的文章:
http://blog.csdn.net/hu_zhenghui/archive/2009/01/16/3793180.aspx
其中依据我们自身的业务情况,我提出了从存储(特指硬盘存储)、带宽和CPU这三方面考察资源使用率,并优化资源使用率。在资源达到或接近上限时,就不得
不将一个应用从一个计算单元迁移到另一个计算单元。这样在切换时,就会影响到服务。我在举这个例子时,主要是针对云计算和网格计算两个概念之间的辨析,并
没有展开说明这个问题所涉及的细节,所以一个直观的思路就是,在硬盘存储充裕的情况下,就可以减少甚至消除这种迁移,但是在实际应用中,还需要考虑更多方
面的细节。
由于硬盘存储是持久数据,而带宽和CPU都是随着使用的情况而变化的,也就是说,当没有用户使用时,带宽和CPU的消耗几乎为零。如果借助于云存储共享硬
盘存储,那么存储资源就不会到达上限,也就不会因为存储资源达到上限导致应用在计算单元中迁移。而且在计算单元中迁移应用时,也不需要迁移硬盘存储。更进
一步,由于带宽和CPU是依赖于用户使用的,只需要将用户的访问交给另一台计算单元处理,就可以完成计算单元间的迁移。如果再配合一个统一的网络入口来控
制用户访问的计算单元,就可以实现无缝迁移。但是在实际生产环境中,还需要考虑更多的细节。
首先就是应用的类型,从云存储的角度来看应用的类型,可以先从两个极端的典型应用开始,第一个典型应用是NFS网络文件系统,对于云存储来说,网络文件系
统只是云存储的一个特例,但是在实际应用中,仍需要考虑几个问题,首先要有journal日志特性,即便云存储能实现单点故障的容错,但是并不能解决使用
云存储的应用故障,因此在使用基于云存储的网络文件系统的应用出现故障时,网络文件系统应当具备自动恢复一致性和数据完好性的能力。其次需要考虑文件夹的
实现以及ACL访问控制列表的实现。虽然有这些问题,但是对于云存储来说,NFS仍是一个轻量级应用。
另一个极端的典型应用就是关系型数据库。目前为止,关系型数据库仍不能通过云存储来实现其负荷的扩展。而是通过集群来实现,而且这个集群上限的瓶颈很
快也将达到。虽然目前数据库中应用最广泛的是关系型数据库,但是由于关系型数据库的集群瓶颈导致其负荷极限的瓶颈。因此在需要更高负荷的时候,会将关系型
数据库按表放置在不同的服务器上,当一台服务器不能容纳一个表时,又会将表中的数据分区切片存放在不同的服务器上。这样看来,似乎解决了关系型数据库的负
荷瓶颈,但是这种实现方式也极大的限制了关系型数据库的使用,很多简单的SQL查询都不能实现,或者对性能有极大的影响。
通过这两个极端的例子可以看出,不是所有的应用都适用于云存储,但是数据库又是应用中必不可少的一部分,如果寻找云存储和数据库的结合点呢?还是回到前
面关系型数据库的例子继续看,在关系型数据库的优势无法展现的时候,不妨考虑其他类型的数据库,此时,常见的选择就是通过文件分别保存索引的数据库(由于
文件型数据库也经常指通过访问文件而不是网络端口的关系型数据库,例如ACCESS或SQLite,所以在这里没有使用文件型数据库这个容易混淆的名
词)。文件索引的数据库适合保存树型结构数据、大容量文件和没有表间关系的小型数据表等数据结构。文件索引数据库同时也符合云存储的特性。因此,文件索引
数据库能满足要求的应用,也必然是可以借助于云存储扩展负荷,例如邮件存储应用(包括POP3、IMAP或者其他借助于HTTP等通讯协议实现类似于
IMAP的协议),UGC应用(用户创造内容,包括文本、图片、视频和文件等)
因此在尝试借助于云存储扩展负荷时,首先需要判断应用本身是云存储“有效”应用,还是云存储“无效”应用,对于云存储“无效”应用,就需要借助于其他方式来扩容。当然本文讨论的是无间断服务扩容,在允许间断服务的情况下,借助于云存储可以有更为灵活的负荷扩容方案。
最后,再次感谢CSDN和《程序员》杂志组织CTO俱乐部的聚会,感谢吕建伟老师和游峰先生对于我们业务的关注。
[2009-1-15 CTO俱乐部第一次聚会 - 云计算]
2009-1-15 CTO俱乐部第一次聚会, http://blog.csdn.net/hu_zhenghui/archive/2009/01/16/3793180.aspx
云存储“有效”应用和云存储“无效”应用, http://blog.csdn.net/hu_zhenghui/archive/2009/01/17/3808511.aspx
分享到:
相关推荐
首席技术官—CTO 对云计算的权威讲解 云计算04-云计算企业架构 一共5讲
首席技术官—CTO 对云计算的权威讲解 云计算03-云计算的管控架构 一共5讲
首席技术官—CTO 对云计算的权威讲解 云计算02-云计算关键技术 一共5讲
, 主要内容:, 演示如何为移动应用程序实现合适的外观和感觉, 重点介绍增强用户体验的方式, 解释应用程序缓存、触摸事件和数据存储, 详细介绍如何创建像本机应用程序一样运行的混合应用程序,讲解如何...
请勿用于商业用途!请勿用作非法用途!请大家支持正版,此版本仅供交流,对于造成的问题,本作者概不负责! 破解版SQLyog-12.2.6-0_51cto_x64
首席技术官—CTO 对云计算的权威讲解 云计算05-人才需求与学习 一共5讲
推荐一个Github上很酷的开源项目——The Octo-BouncerThe Octo-Bouncer零部件清单原理介绍关于结构件完 The Octo-Bouncer Gitub上的开源项目中,不乏一些软硬件结合的个人DIY项目,虽然是很多都是一个人完成,但不...
小红书CTO郄小虎:云计算的价值在于解放工程师.pdf
MYSQL OCP 8.0 1Z0-908-20211129_51CTO通用版.exe
杭州又拍云CTO黄慧攀发表了题为《什么是云加速》的演讲。他首先介绍了到底什么是云加速,他认为其本质还是网络加速,之后,他还分享了UPYUN云计算的系统架构。虽然云加速会带来硬件成本、系统开发以及网络运营方面的...
为什么传统的MVC模式已经不满足业务的快速变化?如何从传统的MVC框架转移到微服务架构?又应该如何制定相应的微服务架构?...容器云是微服务治理的最好方案吗?本次演讲将和大家一起探讨这些问题。
"云"其实是互联网的一个隐喻,"云计算"其实就是使用互联网来接入存储或者运行在远程服务器端的应用,数据,或者服务。 任何一个使用基于互联网的方法来计算,存储和开发的公司,都可以从技术上叫做从事云的公司。...
王者归来-单兴华校长CTO-之scratch小游戏库源码-投篮
王者归来-单兴华校长CTO-之scratch小游戏库源码-飞机大战(1)
王者归来-单兴华校长CTO-之scratch小游戏库源码-水果忍者2.0
王者归来-单兴华校长CTO-之scratch小游戏库源码-数字魔法球
SQLyog-12.2.6-0_51cto含注册码。。。。。。。。。。。。。。。。。
1.下载了最新的opencv_python-3.2.0.7-cp35-cp35m-win_amd64.whl,使用pip安装成功 2. import cv2 失败,ImportError: DLL load failed: 找不到指定的模块 3. 按照网上博客提示,下载 Visual C++ Redistributable ...
王者归来-单兴华校长CTO-之scratch小游戏库源码-2048