365担保网

解讀雲計算的8項核心技術

2020-05-26 16:46:56分类:云服務端开发6424

  虛擬化支撐基礎架構層面存儲技術擺脫硬件設備限制,擴展性更好編程模式保證良好用戶體驗處理技術保證數據存儲和訪問資源管理保證系統狀態穩定安全是首要解決問題三種部署模式:公共雲、私有雲和混合雲提高資源利用率並節省大量能源。

  雲計算的“橫空出世”讓很多人將其視爲一項全新的技術,但事實上它的雛形已出現多年,只是最近幾年才開始取得相對較快的發展。確切地說,雲計算是大規模分布式計算技術及其配套商業模式演進的産物,它的發展主要有賴于虛擬化、分布式數據存儲、數據管理、編程模式、信息安全等各項技術、産品的共同發展。近些年來,托管、後向收費、按需交付等商業模式的演進也加速了雲計算市場的轉折。雲計算不僅改變了信息提供的方式,也顛覆了傳統ICT系統的交付模式。與其說雲計算是技術的創新,不如說雲計算是思維和商業模式的轉變。
 

解讀雲計算的8項核心技術
 

  下面詳細談一談雲計算的核心技術。

  雲計算是一種以數據和處理能力爲中心的密集型計算模式,它融合了多項ICT技術,是傳統技術“平滑演進”的産物。其中以虛擬化技術、分布式數據存儲技術、編程模型、大規模數據管理技術、分布式資源管理、信息安全、雲計算平台管理技術、綠色節能技術最爲關鍵。

  1、虛擬化技術

  虚拟化是云计算最重要的核心技术之一,它为云计算服務提供基础架构层面的支撑,是ICT服務快速走向云计算的最主要驱动力。可以说,没有虚拟化技术也就没有云计算服務的落地与成功。随着云计算应用的持续升温,业内对虚拟化技术的重视也提到了一个新的高度。与此同时,我们的调查发现,很多人对云计算和虚拟化的认识都存在误区,认为云计算就是虚拟化。事实上并非如此,虚拟化是云计算的重要组成部分但不是全部。

  从技术上讲,虚拟化是一种在软件中仿真计算机硬件,以虚拟资源为用户提供服務的计算形式。旨在合理调配计算机资源,使其更高效地提供服務。它把应用系统各硬件间的物理划分打破,从而实现架构的动态化,实现物理资源的集中管理和使用。虚拟化的最大好处是增强系统的弹性和灵活性,降低成本、改进服務、提高资源利用效率。

  从表现形式上看,虚拟化又分两种应用模式。一是将一台性能强大的服務器虚拟成多个独立的小服務器,服務不同的用户。二是将多个服務器虚拟成一个强大的服務器,完成特定的功能。这两种模式的核心都是统一管理,动态分配资源,提高资源利用率。在云计算中,这两种模式都有比较多的应用。

  2、分布式數據存儲技術

  云计算的另一大優勢就是能够快速、高效地处理海量数据。在数据爆炸的今天,这一点至关重要。为了保证数据的高可靠性,云计算通常会采用分布式存储技术,将数据存储在不同的物理设备中。这种模式不仅摆脱了硬件设备的限制,同时扩展性更好,能够快速响应用户需求的变化。

  分布式存储与传统的网络存储并不完全一样,传统的网络存储系统采用集中的存储服務器存放所有数据,存储服務器成为系统性能的瓶颈,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服務器分担存储负荷,利用位置服務器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

  在當前的雲計算領域,Google的GFS和Hadoop開發的開源系統HDFS是比較流行的兩種雲計算分布式存儲系統。

  GFS(GoogleFileSystem)技术:谷歌的非开源的GFS(GoogleFileSystem)云计算平台满足大量用户的需求,并行地为大量用户提供服務。使得云计算的数据存储技术具有了高吞吐率和高传输率的特点。

  HDFS(HadoopDistributedFileSystem)技術:大部分ICT廠商,包括Yahoo、Intel的“雲”計劃采用的都是HDFS的數據存儲技術。未來的發展將集中在超大規模的數據存儲、數據加密和安全性保證、以及繼續提高I/O速率等方面。

  3、編程模式

  从本质上讲,云计算是一个多用户、多任务、支持并发处理的系统。高效、简捷、快速是其核心理念,它旨在通过网络把强大的服務器计算资源方便地分发到终端用户手中,同时保证低成本和良好的用户体验。在这个过程中,编程模式的选择至关重要。云计算项目中分布式并行编程模式将被广泛采用。

  分布式并行编程模式创立的初衷是更高效地利用软、硬件资源,让用户更快速、更简单地使用应用或服務。在分布式并行编程模式中,后台复杂的任务处理和资源调度对于用户来说是透明的,这样用户体验能够大大提升。MapReduce是当前云计算主流并行编程模式之一。MapReduce模式将任务自动分成多个子任务,通过Map和Reduce两步实现任务在大规模计算节点中的高度与分配。

  MapReduce是Google開發的java、Python、C++編程模型,主要用于大規模數據集(大于1TB)的並行運算。MapReduce模式的思想是將要執行問題分解成Map(映射)和Reduce(化簡)的方式,先通過Map程序將數據切割成不相關的區塊,分配(調度)給大量計算機處理,達到分布式運算的效果,再通過Reduce程序將結果彙整輸出。

  4、大規模數據管理

  处理海量数据是云计算的一大優勢。那么如何处理则涉及到很多层面的东西,因此高效的数据处理技术也是云计算不可或缺的核心技术之一。对于云计算来说,数据管理面临巨大的挑战。云计算不仅要保证数据的存储和访问,还要能够对海量数据进行特定的检索和分析。由于云计算需要对海量的分布式数据进行处理、分析,因此,数据管理技术必需能够高效的管理大量的数据。

  Google的BT(BigTable)數據管理技術和Hadoop團隊開發的開源數據管理模塊HBase是業界比較典型的大規模數據管理技術。

  BT(BigTable)數據管理技術:BigTable是非關系的數據庫,是一個分布式的、持久化存儲的多維度排序Map.BigTable建立在GFS,Scheduler,LockService和MapReduce之上,與傳統的關系數據庫不同,它把所有數據都作爲對象來處理,形成一個巨大的表格,用來分布存儲大規模結構化數據。Bigtable的設計目的是可靠的處理PB級別的數據,並且能夠部署到上千台機器上。

  開源數據管理模塊HBase:HBase是Apache的Hadoop項目的子項目,定位于分布式、面向列的開源數據庫。HBase不同于一般的關系數據庫,它是一個適合于非結構化數據存儲的數據庫。另一個不同的是HBase基于列的而不是基于行的模式。作爲高可靠性分布式存儲系統,HBase在性能和可伸縮方面都有比較好的表現。利用HBase技術可在廉價PCServer上搭建起大規模結構化存儲集群。

  5、分布式資源管理

  雲計算采用了分布式存儲技術存儲數據,那麽自然要引入分布式資源管理技術。在多節點的並發執行環境中,各個節點的狀態需要同步,並且在單個節點出現故障時,系統需要有效的機制保證其它節點不受影響。而分布式資源管理系統恰是這樣的技術,它是保證系統狀態的關鍵。

  另外,云计算系统所处理的资源往往非常庞大,少则几百台服務器,多则上万台,同时可能跨跃多个地域。且云平台中运行的应用也是数以千计,如何有效地管理这批资源,保证它们正常提供服務,需要强大的技术支撑。因此,分布式资源管理技术的重要性可想而知。

  全球各大云计算方案/服務提供商们都在积极开展相关技术的研发工作。其中Google内部使用的Borg技术很受业内称道。另外,微软、IBM、Oracle/Sun等云计算巨头都有相应解決方案提出。

  6、信息安全調查

  數據表明,安全已經成爲阻礙雲計算發展的最主要原因之一。數據顯示,32%已經使用雲計算的組織和45%尚未使用雲計算的組織的ICT管理將雲安全作爲進一步部署雲的最大障礙。因此,要想保證雲計算能夠長期穩定、快速發展,安全是首要需要解決的問題。

  事实上,云计算安全也不是新问题,传统互联网存在同样的问题。只是云计算出现以后,安全问题变得更加突出。在云计算体系中,安全涉及到很多层面,包括网络安全、服務器安全、软件安全、系统安全等等。因此,有分析师认为,云安全产业的发展,将把传统安全技术提到一个新的阶段。

  現在,不管是軟件安全廠商還是硬件安全廠商都在積極研發雲計算安全産品和方案。包括傳統殺毒軟件廠商、軟硬防火牆廠商、IDS/IPS廠商在內的各個層面的安全供應商都已加入到雲安全領域。相信在不久的將來,雲安全問題將得到很好的解決。

  7、雲計算平台管理

  云计算资源规模庞大,服務器数量众多并分布在不同的地点,同时运行着数百种应用,如何有效地管理这些服務器,保证整个系统提供不间断的服務是巨大的挑战。云计算系统的平台管理技术,需要具有高效调配大量服務器资源,使其更好协同工作的能力。其中,方便地部署和开通新业务、快速发现并且恢复系统故障、通过自动化、智能化手段实现大规模系统可靠的运营是云计算平台管理技术的关键。

  對于提供者而言,雲計算可以有三種部署模式,即公共雲、私有雲和混合雲。三種模式對平台管理的要求大不相同。對于用戶而言,由于企業對于ICT資源共享的控制、對系統效率的要求以及ICT成本投入預算不盡相同,企業所需要的雲計算系統規模及可管理性能也大不相同。因此,雲計算平台管理方案要更多地考慮到定制化需求,能夠滿足不同場景的應用需求。

  包括Google、IBM、微軟、Oracle/Sun等在內的許多廠商都有雲計算平台管理方案推出。這些方案能夠幫助企業實現基礎架構整合、實現企業硬件資源和軟件資源的統一管理、統一分配、統一部署、統一監控和統一備份,打破應用對資源的獨占,讓企業雲計算平台價值得以充分發揮。

  8、綠色節能技術

  節能環保是全球整個時代的大主題。雲計算也以低成本、高效率著稱。雲計算具有巨大的規模經濟效益,在提高資源利用效率的同時,節省了大量能源。綠色節能技術已經成爲雲計算必不可少的技術,未來越來越多的節能技術還會被引入雲計算中來。

  CarbonDisclosureProject(碳排放披露項目,簡稱CDP)近日發布了一項有關雲計算有助于減少碳排放的研究報告。報告指出,遷移至雲的美國公司每年就可以減少碳排放8570萬噸,這相當于2億桶石油所排放出的碳總量。

上一篇:下一篇: