Aspera速鉑高性能海量數(shù)據(jù)傳輸解決方案
來(lái)源:中廣互聯(lián) 作者:cofee 編輯:數(shù)字音視工程 2010-08-04 00:00:00 加入收藏
概述
Aspera速鉑的核心技術(shù)faspTM是一種全新的軟件技術(shù)。它徹底克服了傳統(tǒng)數(shù)據(jù)傳輸軟件例如FTP, HTTP以及Windows CIFS中的固有瓶頸,實(shí)現(xiàn)了在各種共享和私有網(wǎng)絡(luò)環(huán)境中傳輸速度的最大化。這種技術(shù)可以獲得完美的傳輸效率,不為網(wǎng)絡(luò)延遲和丟包所限制。并且,用戶享有對(duì)傳輸速度以及不同傳輸流之間帶寬共享的無(wú)以倫比的控制。不管網(wǎng)絡(luò)距離和動(dòng)態(tài)性能如何,即便是在最困難的網(wǎng)絡(luò)條件下(例如衛(wèi)星,無(wú)線和洲際遠(yuǎn)程鏈接),文件傳輸時(shí)間仍然可以得到保障。FASP具有內(nèi)置的,完整的安全性,包括連接節(jié)點(diǎn)安全驗(yàn)證,傳輸中數(shù)據(jù)加密以及數(shù)據(jù)完整性驗(yàn)證。
高速文件傳輸?shù)奶魬?zhàn)
和傳統(tǒng)的基于磁帶的郵件遞送相比,通過(guò)數(shù)字化網(wǎng)絡(luò)傳輸來(lái)實(shí)現(xiàn)海量數(shù)據(jù)的遞送具有經(jīng)濟(jì)高效的特點(diǎn)。在理想情況下,數(shù)據(jù)文件可以通過(guò)現(xiàn)有應(yīng)用程序例如FTP文件傳輸,HTTP網(wǎng)上遞送以及Windows CIFS拷貝實(shí)現(xiàn)在全世界IP網(wǎng)絡(luò)間快速經(jīng)濟(jì)的傳輸。但是在實(shí)際網(wǎng)絡(luò)中,傳統(tǒng)的手段無(wú)一不陷入速度的瓶頸中,以至于無(wú)法利用已有網(wǎng)絡(luò)帶寬的一小部分。這是由于這些應(yīng)用都基于同一種協(xié)議—傳輸控制協(xié)議(TCP)。
TCP有一個(gè)根本的速度瓶頸,這個(gè)瓶頸隨著傳輸延遲和網(wǎng)絡(luò)丟包率的增加而變得愈發(fā)明顯。速度瓶頸的形成和TCP控制數(shù)據(jù)流量速率的機(jī)制密切相關(guān)。TCP發(fā)送端需要得到數(shù)據(jù)接收端收到每個(gè)數(shù)據(jù)包的確認(rèn)消息才向網(wǎng)絡(luò)中注入新的數(shù)據(jù)。但是由此產(chǎn)生的傳輸速率的增加卻隨傳輸延遲的增加而減小。當(dāng)遇到丟包時(shí),TCP簡(jiǎn)單的認(rèn)為所有丟包都是因?yàn)榫W(wǎng)絡(luò)擁塞造成的,而無(wú)法區(qū)分擁塞造成的丟包和信道本身差錯(cuò)造成的丟包。在這種情況下,TCP就會(huì)迅速的減低自身的傳輸速率。簡(jiǎn)而言之,TCP的傳輸速率在丟包時(shí)下降過(guò)多,而在正常情況時(shí)增加又太過(guò)緩慢,以至在高速?gòu)V域網(wǎng)上無(wú)法充分利用已有帶寬。對(duì)于所有基于TCP之上的應(yīng)用而言,它們無(wú)一不受以下幾個(gè)方面的限制:
速率緩慢以及帶寬利用率低下
基于TCP的文件傳輸帶寬利用率極低。在局域和校園網(wǎng)這些延遲和丟包率都較小的環(huán)境中(10微秒/0.1%),TCP在千兆網(wǎng)上的最大吞吐率僅為50兆位/秒。當(dāng)在廣域網(wǎng)上傳輸時(shí),這個(gè)問(wèn)題變得更加突出。在典型的洲際網(wǎng)絡(luò)或衛(wèi)星鏈接上,傳輸吞吐率可能僅為已有帶寬的百分之0.1到1。
傳輸速率不穩(wěn)定
如前所述,TCP采用一種基于丟包的速率控制機(jī)制。其依賴(lài)于丟包來(lái)實(shí)現(xiàn)減速,而在其他時(shí)候線性加速。當(dāng)信道本身沒(méi)有丟包時(shí),TCP只有短暫超出網(wǎng)絡(luò)帶寬以至產(chǎn)生丟包的情況下才能減速。這樣的設(shè)計(jì)決定了即使在最理想的情況下,TCP也只能在最優(yōu)速率上下震蕩。當(dāng)網(wǎng)絡(luò)加載負(fù)荷變化時(shí),TCP的傳輸速率也隨之劇烈震蕩。
缺少安全性和可監(jiān)控性
除了被TCP緩慢和不穩(wěn)定的傳輸速率所限制以外,傳統(tǒng)的文件傳輸應(yīng)用往往不具備現(xiàn)代商業(yè)所必需的安全性和可管理性。FTP沒(méi)有內(nèi)置的安全機(jī)制,往往需要額外的機(jī)制來(lái)確保內(nèi)容不被竊取和篡改。而且有關(guān)性能和傳輸?shù)慕y(tǒng)計(jì)數(shù)據(jù)也常常無(wú)法得到。這對(duì)管理傳輸進(jìn)程極為不利。
速鉑FASP解決方案
速鉑的文件傳輸產(chǎn)品線完全基于fasp高速傳輸協(xié)議。fasp是一種全新的應(yīng)用層協(xié)議,特別為企業(yè)關(guān)鍵型文件傳輸所設(shè)計(jì),可以滿足其所需的高速度,可預(yù)測(cè)性和百分之百的安全可靠性。fasp出眾的性能對(duì)所有的網(wǎng)絡(luò)傳輸媒體皆適用。
高速可靠
和TCP吞吐率的特性相比,fasp的傳輸速率完全不受網(wǎng)絡(luò)延遲的影響,并且對(duì)網(wǎng)絡(luò)丟包也有很好的魯棒性。如圖1所示,在OC-3(155Mbps)網(wǎng)絡(luò)鏈接上,fasp實(shí)現(xiàn)了傳輸速率的最大化,在某些情況下可以比TCP快千倍。而TCP的傳輸速率性能隨網(wǎng)絡(luò)延遲的增加和丟包率的增大而迅速減小。在典型的洲際網(wǎng)絡(luò)或衛(wèi)星鏈接上,TCP的傳輸吞吐率可能僅為已有帶寬的百分之0.1到1。fasp的傳輸速率具有可預(yù)測(cè)性。在10%的丟包情況下,fasp的吞吐率可以達(dá)到網(wǎng)絡(luò)鏈接帶寬的90%。在極端情況下,fasp的吞吐率僅為終端系統(tǒng)的吞吐能力(通常是磁盤(pán)吞吐能力)所限制。
fasp是在用戶數(shù)據(jù)報(bào)協(xié)議(UDP)之上開(kāi)發(fā)的應(yīng)用層協(xié)議。和那些基于并行TCP的應(yīng)用不同,fasp在單個(gè)數(shù)據(jù)流上實(shí)現(xiàn)了速度最大化。借助于革新性的文件流線化技術(shù),fasp的傳輸速率在分發(fā)大批小文件時(shí)同樣可以得到保障。例如在從美國(guó)到新西蘭的OC-3鏈接上傳輸一千個(gè)2MB的小文件,傳輸速率同樣可以接近155Mbps(圖2)。所以fasp實(shí)現(xiàn)了在高速?gòu)V域網(wǎng)上傳輸海量數(shù)據(jù)(和文件大小無(wú)關(guān))的傳輸速率最大化。相反,并行TCP技術(shù)往往在有丟包的環(huán)境下無(wú)法實(shí)現(xiàn)速率最大化,在傳輸大量小文件時(shí)速率也不穩(wěn)定,而且需要耗費(fèi)大量系統(tǒng)資源。
作為一種數(shù)據(jù)傳輸協(xié)議,fasp具有應(yīng)用層傳輸?shù)耐耆煽啃?。fasp的可靠性設(shè)計(jì)是基于一種負(fù)反饋的機(jī)制:接收端檢測(cè)到丟包并把需要重傳的信息反饋給發(fā)送端。通過(guò)理論優(yōu)化,fasp的重傳機(jī)制只針對(duì)真正的丟包,沒(méi)有冗余傳輸和帶寬浪費(fèi)。其重傳效率接近百分之一百。
自適應(yīng)速率控制
在理論上fasp沒(méi)有速率上限,可以完全利用任意速度網(wǎng)絡(luò)的帶寬。fasp采用和TCP完全不同的速率控制機(jī)制,從而實(shí)現(xiàn)帶寬利用的最大化以及和已有TCP數(shù)據(jù)流公平分享帶寬。
有效而公平的自動(dòng)速率控制
和TCP不同,fasp的速率控制是基于網(wǎng)絡(luò)中的排隊(duì)延遲。當(dāng)網(wǎng)絡(luò)沒(méi)有負(fù)荷(檢測(cè)不到排隊(duì)延遲或排隊(duì)延遲很小)時(shí),fasp可以迅速提速以充分利用帶寬。當(dāng)網(wǎng)絡(luò)擁塞時(shí),fasp可以迅速減速以獲得應(yīng)有的帶寬。fasp的這套速率控制機(jī)制還具有帶寬共享的公平性。當(dāng)已有TCP數(shù)據(jù)流不能充分利用鏈路帶寬時(shí)(圖3),fasp可以自動(dòng)提速占據(jù)余下的帶寬。當(dāng)鏈路因?yàn)橛卸鄠€(gè)數(shù)據(jù)流存在而變得擁擠時(shí)(圖4),fasp數(shù)據(jù)流可以實(shí)現(xiàn)和TCP數(shù)據(jù)流等量公平共享鏈路帶寬。
響應(yīng)終端速度瓶頸
在超高速網(wǎng)絡(luò)環(huán)境例如千兆網(wǎng)中,速度瓶頸往往不在網(wǎng)絡(luò)鏈路本身而在終端系統(tǒng),尤其是存儲(chǔ)設(shè)備的吞吐能力。fasp自適應(yīng)速率控制不僅可以自動(dòng)發(fā)現(xiàn)現(xiàn)有的網(wǎng)絡(luò)帶寬,而且也能對(duì)存儲(chǔ)設(shè)備動(dòng)態(tài)吞吐率的作出理想的響應(yīng)。當(dāng)存儲(chǔ)設(shè)備成為瓶頸時(shí),fasp可以自動(dòng)減速以避免其超速運(yùn)轉(zhuǎn)所造成的丟包。當(dāng)檢測(cè)到存儲(chǔ)設(shè)備不再繁忙時(shí),fasp自動(dòng)提速以充分利用其數(shù)據(jù)吞吐能力。
可靈活設(shè)置的帶寬策略
用戶可以對(duì)每個(gè)fasp數(shù)據(jù)流獲取帶寬的能力進(jìn)行設(shè)置。除了和其他數(shù)據(jù)流對(duì)等共享帶寬外,fasp還支持其他帶寬共享機(jī)制。比如用戶可以選定用固定速率傳輸,從而使傳輸速率不受網(wǎng)絡(luò)負(fù)荷的變化而變化。此外,用戶還可以選定后臺(tái)傳輸模式,以便在檢測(cè)到TCP數(shù)據(jù)流后減到最低速。
完整的安全機(jī)制
fasp提供完整的內(nèi)置安全機(jī)制。fasp的安全模式完全基于開(kāi)放標(biāo)準(zhǔn)的密碼體系,包括了:1)通過(guò)標(biāo)準(zhǔn)安全外殼(SSH)對(duì)傳輸終端進(jìn)行驗(yàn)證;2)對(duì)傳輸中數(shù)據(jù)加以128位強(qiáng)密碼(AES-128)加密;3)對(duì)每個(gè)數(shù)據(jù)塊進(jìn)行完整性驗(yàn)證以抵御象中間人以及匿名UDP之類(lèi)的惡意攻擊。在不同系統(tǒng)間進(jìn)行fasp傳輸不會(huì)改變文件本身的安全屬性。引進(jìn)以上安全機(jī)制對(duì)傳輸性能并沒(méi)有削弱。在加密模式下,fasp可以在P4或單處理器工作站上實(shí)現(xiàn)100-150Mbps的傳輸,在雙核或雙處理器工作站上實(shí)現(xiàn)200-400Mbps的高速傳輸。
評(píng)論comment