新世代クラスタストレージ・システムとは

EpochPOWER Clusterストレージ・システムはノード間通信にOmniBus(PCIe)*
を採用した新世代クラスタ・システムです。

EpochPOWER Clusterストレージ・システムは既存のクラスタ上の問題を解決する画期的なシステム
TGIは米国GateStor社が開発したEpochPOWER Clusterストレージ・ソフトウエア (EP-Cluster® v1.0)を高速ストレージSolidPOWER7000(SP7K)上に搭載。システムの最大の特長はアプリケーションサーバー上のOmniBus(PCIe)とクラスタ接続を実現したこと、PCIeを介してクラスタを接続することで全ノードは他のすべてのノードとリソースの共有を実現、従来のシステムに比べてはるかに優れた性能を発揮します。

EpochPOWER Clusterストレージ・システムのコア技術

OmniBusはPCIe-Gen3バス上で以下の通信をサポートします。

  1. クラスタ/ノード間通信
  2. ストレージI/O通信
  3. TCP/IP通信



  • EpochPOWER Clusterストレージはサーバのマザーボード間でPCIe接続を実現
  • クライアントサーバ用にPCIe用HBA(ホストバスアダプタ)を提供
  • 各ノードとクライアントサーバを単一のOmniBusに配置、全てのコンピュータリソースを共有
  • ダイナミックなクラスタ構成の変更によりノード障害時でも該当データへのアクセスが可能
  • リモートリプリケーション(5km以上)ではTCP/IP通信を実行

cluster3.png

1.クラスタノード間通信に、OmniBus(PCIe Gen3)バスを採用

  • より多くのリソース(メモリーやファイルシステム空間)利用が可能
  • OmniBusブロードキャスティングによるノード間通信
  • 最新ハードウエアの適応が可能

2.巨大なストレージプールを構築

  • 1クラスタあたり最大2000ノード,1ノードあたり最大600 ドライブをサポート、クラスタ全体で1,200,000ドライブをサポート。 

3.各ノードの接続形態は以下の2種類をサポート                  

a)ツリー型接続(PCIeスイッチが必要)
b)リング型接続

4.ラインの2重化

ノード間結線をOmniBus(PCIeバス)で2重化、耐障害性を向上させます。

5.投資コストの大幅な削減

IAサーバに標準装備されているOmniBus(PCIeバス)を使用することで投資コストを大幅削減


Epochw.png


EpochPOWER®クラスタストレージの管理手法

1.ノード間通信にOmniBusブロードキャスティング(特許取得済)を採用

a)メタデータおよびロック(制御、データ)通信の最小化によるI/O処理のシンプル化
b)ノード障害時のデータ冗長性を向上(障害時のレプリケーション不要)
c)高速化を実現

2.ストレージプールによるストレージの一元管理

a)ハードディスクドライブ、SSD, フラッシュメモリーの一元管理
b)ダイナミックにストレージクラスタを構成しクライアントのリクエストに柔軟に対応

EpochPOWER®ホワイトペーパー

従来のクラスタシステムの構成



CLUSTER1.png

従来のクラスタシステムではGigabit EthernetやInfiniBand等の外部コミュニケーションネットワークを通じてクライアントサーバと接続、クラスタ間通信は主にTCP/IPによって実行、各ノードは個別に配下のストレージを管理しているため管理が複雑でクラスタの性能を著しく劣化

新世代クラスタストレージ・システムの構成



EpochCONNECTION2.png





OmniBusはPCIe-Gen3上のクラスタノード間通信、ストレージI/O通信、TCP/IP通信をサポート
特にノード間通信では新しいネットワーク通信プロトコル(ブロードキャスティング)でレプリケーション性能を向上

*PCIe3.0(PCI Express Gen3) (2010年11月18日にPCI-SIGが制定)では当初は1レーンあたりの物理帯域10Gbpsを目標にしていたが、技術的困難が予想されたので8Gbpsに改め、その代わりにエンコード方式を128b/130bに変更して転送効率を向上させた(但しPCI Express 3.0ではそれまでの1.1や2.0の機器とも接続互換性があるように規格が作られている)。その結果実効データ転送速度を当初の目標としていたPCI Express 2.0 の約2倍にすることができ、1レーンあたりの実効データ転送速度は片方向1.0Gbyte/secで双方向2.0Gbyte/secとなった。PCI Express 3.0の場合にポートは規格上最大32レーンまで束ねられるので、1ポートの最大の実効データ転送レートは片方向32Gbyte/sec、双方向64Gbyte/secである。エンコードの変更による分かりにくさを回避するため、PCI Express 3.0以降では#物理レイヤの帯域をGbps(ギガビット毎秒)ではなくGT/s(ギガトランスファ毎秒)で表記することが多くなった。(ウィキペディアより)