分散式系统简介

1分散式系統簡介第十八章分散式檔案系統中正資工即時系統實驗室2第十八章分散式檔案系統系統設計檔案服務介面目錄服務介面命名通透檔案共享系統實作快取檔案複製摘要中正資工即時系統實驗室3系統設計分散式檔案系統的重點就是將各部電腦的儲存裝置整合在一起分散式檔案系統架構中有兩個重要的概念檔案服務檔案伺服器分散式檔案系統必須讓使用者感覺上是在使用傳統的集中式檔案系統典型的分散式檔案系統服務可以分為兩部份檔案服務目錄服務中正資工即時系統實驗室4檔案服務介面分散式檔案系統是使用存取控制清單來記錄所有可以使用此檔案的使用者檔案服務可分為上兩類傳／下載模式，系統只提供讀取檔案和寫入檔案遠端存取模式，伺服端提供大量的檔案操作功能中正資工即時系統實驗室5上傳／下載與遠端存取模式示意圖檔案檔案當客戶端確定寫入檔案時，檔案才回傳給伺服端檔案傳到客戶端客戶端伺服端(a)上傳／下載模式所有修改動作皆在客戶端完成(b)遠端存取模式檔案伺服端客戶端修改檔案是藉由大量的操作訊息通知伺服端，由伺服端代為完成中正資工即時系統實驗室6目錄服務介面目錄服務介面主要是提供建立與刪除目錄、檔案命名與改名、檔案搬移等功能集中式檔案系統中的目錄介面可在目錄下建立子目錄而形成樹狀結構在分散式環境下檔案很可能分散在不同電腦上，所以分散式檔案系統的目錄結構又更為複雜中正資工即時系統實驗室7集中式檔案系統與分散式檔案系統示意圖ABCDE12110(a)集中式檔案系統(b)分散式檔案系統ABCDE伺服器Ａ伺服器Ｂ計數器中正資工即時系統實驗室8目錄服務介面(續)是否要讓所有客戶端都看到相同的目錄結構是設計分散式目錄服務時一個重要議題基本上有兩種做法一種做法是讓客戶端看到相同的目錄結構另一種做法是讓客戶端看到不同的目錄結構中正資工即時系統實驗室9分散式目錄服務示意圖檔案伺服器1客戶端1客戶端1(c)顯示不同的目錄結構ABCDEFGABCDEFGABCDEFGABCDEFGABCD客戶端2客戶端2EFG檔案伺服器2(a)兩部檔案伺服器(b)顯示相同的目錄結構根目錄根目錄根目錄根目錄中正資工即時系統實驗室10命名通透性命名通透性就是檔案的命名（包含路徑）是否會影響檔案系統的設計分散式檔案系統中設計目錄結構有以下二種考量位置通透性檔案路徑並不會顯示出檔案伺服器的實際位置位置獨立性當檔案實際所在位置搬移時，不必更改檔案路徑也可以使用原本的檔案中正資工即時系統實驗室11命名通透性(續)在分散式檔案系統中實作檔案和目錄命名有三種常用的方法掛載遠端檔案系統到本地端檔案目錄結構中電腦名稱加上路徑名稱系統將所有資源整合起來，使用統一的目錄結構，讓所有電腦看到的會是相同的目錄結構中正資工即時系統實驗室12檔案共享集中式檔案系統中允許檔案共享，並且利用檔案指標來達成分散式檔案系統只要客戶端沒有檔案快取的機制、並且將檔案的操作都集中到同一部伺服器中處理，就可模擬成集中式檔案系統的操作方式中正資工即時系統實驗室13檔案共享(續)在分散式檔案系統中，對於檔案共享問題所提出的幾種解決方法UNIX語意Session語意Immutable語意不可分割交易中正資工即時系統實驗室14集中式與分散式檔案系統示意圖(b)分散式檔案系統1.讀取de3.讀取deＡＢＣdedefg行程1.寫入f2.寫入g3.讀取defg原始的檔案defgＡ2.寫入defg客戶端1de檔案伺服器deＢ客戶端2(a)集中式檔案系統中正資工即時系統實驗室15第十八章分散式檔案系統系統設計系統實作檔案與目錄結構服務形式快取檔案複製摘要中正資工即時系統實驗室16系統實作在實作分散式檔案系統時，必需考慮以下的問題檔案目錄架構服務形式快取檔案取代檔案一致性中正資工即時系統實驗室17檔案與目錄結構解決檔案與目錄結構的有兩種做方將檔案服務和目錄服務整合在一起，由單一個伺服器作檔案及目錄服務，所有使用者都與這個伺服器溝通檔案服務與目錄服務分開在不同的伺服器，當有檔案操作的要求時，先跟提供目錄服務的伺服器查詢，再利用這個編號資料跟檔案伺服器溝通中正資工即時系統實驗室18檔案與目錄結構(續)系統如果是使用目錄服務與檔案服務分開的做法，系統可以有二種做法查詢的方式反覆查詢的方式動查詢的方式系統採用快取的機制，把最近查詢的檔案資訊儲存在快取中，之後如有對相同檔案的操作，即可馬上回應檔案資訊中正資工即時系統實驗室19反覆與主動查詢方式示意圖客戶端/Ａ//Ｂ//Ｃ/目錄伺服器客戶端/Ａ//Ｂ//Ｃ/目錄伺服器查詢/Ａ/Ｂ/Ｃ/g.txt回應/B/C/查詢/C/g.txt回應檔案資訊回應檔案資訊(a)反覆查詢方式(b)主動查詢方式查詢/B/C/g.txt查詢/Ａ/Ｂ/Ｃ/g.txt中正資工即時系統實驗室20服務形式檔案服務可分為兩類具備狀態服務不具狀態服務具備狀態服務的優點與不具狀態服務的比較表具備狀態服務的優點不具狀態服務的優點檔案操作訊息較短容錯能力較佳系統效能較佳不需特殊的開檔和關檔可預讀資訊伺服器不用維護狀態紀錄如一的操作較容易達成可開檔案數目無限可將檔案上鎖客戶端當機不影響系統運作中正資工即時系統實驗室21第十八章分散式檔案系統系統設計系統實作快取快取機制快取一致性檔案複製摘要中正資工即時系統實驗室22快取傳統的集中式檔案系統中，採用快取是為了降低磁碟I/O次數，以此達到提昇系統效能的目的分散式檔案系統中，採用快取主要是降低網路傳輸的負擔中正資工即時系統實驗室23快取機制快取的基本想法是將伺服器或客戶端的主記憶體或是客戶端磁碟當成快取，把最近使用過的檔案存入使用快取降低伺服器的磁碟I/O次數和網路傳輸的負擔客戶端和伺服端較常採用主記憶體當作快取主記憶體快取會比磁碟快取有效率得多。使用主記憶體當快取，客戶端就可以不需要磁碟伺服端用主記憶體當快取可減少磁碟I/O次數中正資工即時系統實驗室24客戶端／伺服器的架構伺服器主記憶體伺服器磁碟客戶端主記憶體客戶端磁碟（選擇性的）網路中正資工即時系統實驗室25快取機制(續)採用快取有二個衍生的問題必須解決快取的基本單位是什麼如何處理快取被填滿的問題中正資工即時系統實驗室26快取一致性處理快取一致性的問題大致有四種方法中控伺服端統一處理同步的問題關寫關檔時才傳送更新訊息給伺服端延寫延遲傳送更新訊息給伺服端寫穿每次寫檔立即傳送更新訊息給伺服端中正資工即時系統實驗室27第十八章分散式檔案系統系統設計系統實作快取檔案複製基本概念複製方法摘要中正資工即時系統實驗室28檔案複製檔案複製功能可以增加分散式系統的可靠性系統效能雖然系統必須提供更多的儲存空間來存放這些多餘的檔案複本，但是在許多的分散式系統中仍會提供檔案複製的功能中正資工即時系統實驗室29基本概念提供檔案複製的服務主要理由如下複製檔案到不同電腦存放可以增加系統的可靠性系統中若某部檔案伺服器毀損，因檔案已經備份到另一部檔案伺服器，所以程式仍然能使用檔案可以分擔檔案伺服器的負擔檔案複製的服務可增加系統的可靠性及系統效能中正資工即時系統實驗室30複製方法有三種處理檔案複製的方法程式自行處理檔案複製延遲式的檔案複製利用群組的方式達到檔案複製功能檔案複製時，目錄伺服器會記錄檔案在各個伺服器上取得的檔案識別代號，讓客戶端或系統知道這些檔案被複製到什麼地方中正資工即時系統實驗室31各種檔案複製形式與目錄伺服器上的複製檔案識別代號表FS1FS2FS3客戶端檔案伺服器(a)客戶端式的檔案複製FS1FS2FS3客戶端檔案伺服器(b)延遲式的檔案複製中正資工即時系統實驗室32各種檔案複製形式與目錄伺服器上的複製檔案識別代號表FS1FS2FS3客戶端群組(c)群組式的檔案複製dis.txtpda.txt1.331.521.221.873.224.11檔案名稱檔案識別代號FS1FS2FS3(d)目錄伺服器中正資工即時系統實驗室33第十八章分散式檔案系統系統實作快取檔案複製摘要中正資工即時系統實驗室34摘要分散式檔案系統能讓多使用者共享網路上的儲存裝置，並對這些儲存裝置作有效的管理檔案共享是檔案系統所提供的一個重要功能，但是這個功能會引發一致性的問題，目前有幾個解決方法UNIX語意session語意immutable語意不可分割交易中正資工即時系統實驗室35摘要(續)實作分散式系統時必須考量的議題檔案系統要使用具備狀態服務還是不具狀態服務系統是否採用快取採用快取，則需要解決快取所引發的問題中控關寫延寫寫穿中正資工即時系統實驗室36摘要(續)檔案複製的功能有三種處理方法客戶端式延遲式群組式