連載
» 2015年11月25日 11時00分 公開

前田真一の最新実装技術あれこれ塾:第45回 イーサネット (3/4)

[前田真一,実装技術/MONOist]

3.サーバのバックプレーン

 ネットワークサーバをはじめとするHPCではコンピュータ間、コンピュータとハードディスク(HD)や半導体ディスク(SSD)のようなデータ記憶装置間で高速データ転送を行う必要があります。

 サーバやHPCは目的に応じて処理能力やデータストレージの容量を変化させて最適のコストパフォーマンスを得られるするようにするのが効率的です。このため、プロセッサや、記憶装置は規格化された基板にして、目的に応じて最適の構成に組み上げるようにします。

 このような、規格化された基板モジュールを使い、基板の追加や交換で自由に最適な機能を構築できるコンピュータを「ブレードコンピュータ」と呼びます(図3)。

図3:ブレードコンピュータ(出典:NEC)

 このブレードコンピュータの基板サイズや、コネクタのピン配置、および基板間の信号接続などを標準化した規格としてCompact TCA規格と、ATCA(Advanced TCA=Telecom Computing Architecture)と呼ばれる規格があります。

 ブレードコンピュータにはCompact TCAが使われますが、ラックなど大型化システムにはATCA規格が使われます。

 このATCAでは標準サイズのラックを使い、システムの構成を自由に変更できるようになっています。

 ATCA規格での構造は「バックプレーン」と「キャリアカード」と呼ばれる基板、基板に搭載される「メザニンカード」と呼ばれるサブ基板などと、階層化されています(図4図5)。

図4:ATCAの階層
図5:ATCAの構成

 ラックは、おのおの独自の電源を持ちます。システムは各ラック内の基板の数や構成を自由に構成できますし、このラックを複数接続して大規模なシステムを構築できます(図6)。

図6:大規模システム(出典:Google Data Centers

 ATCAではシェルフのバックプレーンでの基板間接続、シェルフ間接続、ラック間の接続などピン配置や信号配置が規格化されています。しかし、データ転送方式については、イーサネットやPCI Express、InfiniBandなど、それぞれのシステムに応じて、最適な方法を使うことができる規格になっています。

 このため、システム構築者はおのおのの接続に対して、システムの規模、転送速度や転送距離のパーフォマンス、コスト、将来の拡張性などから、転送方法を決定します。

 ATCA規格を使うにせよ、その他の方式を使うにせよ、大規模なシステムでは、多くの基板間や基板内で高速データ転送を行う必要があります。やはり基板間の接続には、データ転送能力がシステムの性能に直結しますので、PCI Expressをはじめとし、イーサネットやインフィニバンド、ファイバーチャネルなどの高速シリアル転送規格がよく使われます。

 ファイバーチャネル規格は、やはり、高速シリアルデータ転送の規格です。ファイバーチャネルの名の通り、当初は光転送の規格でしたが、現在では銅線の規格も含まれています。

 また、これらの規格は伝送距離に応じて銅ケーブルやファイバーケーブル、基板配線が使えるようになっています。

 これらの接続にはできるだけ銅配線を使いたいという要望があります。これがファイバーチャネル規格にも銅配線規格が追加されたり、イーサネット規格にバックプレーン規格が追加された背景です。この銅配線に対する要望は、単にコストの問題だけではなく、信頼性や拡張性の問題もあります。

 複数の基板を自由に組み合わせて最適のシステムを構築する場合、基板によるバックプレーン配線が有利となります。光にせよ、銅線にせよ、ケーブルを使う方法では、システムの規模を変更するためにケーブルの接続を変更する必要があります。

 多くのケーブルをその都度接続しなおすのは、手間もかかりますし、誤配線が生じる危険性が常にあります。また、当然のことですが、多くの基板を使う大規模システムになればなるほど故障が発生する可能性も高くなります。

 例えばスーパーコンピュータである中国の「天河」はMTBF(Mean Time between Failures=平均故障間隔)が6時間であるといわれています。

 同じスーパーコンピュータの「京」(図7)ではこの信頼性を上げるため、どこかのノードが故障してもシステムがダウンしないようにノード間の接続に特に気を配った設計がされました(図8)。

図7:「京」(出典:富士通)
図8:京のモジュール間配線(出典:富士通技報 2012年5号)

 このように、システムとしては、何段もの並列稼働により、故障によるシステムダウンは発生しないように気を配っていますが、基板の故障に対しては、速やかな交換、故障復旧がされる必要があります。

 基板交換の都度、ケーブルを接続しなおすのは、これも手間と信頼性の問題となります(図9)。

図9:大規模ケーブル接続(出典:“100G CLR4 Industry Alliance” by Andy Bechtolisheim, ARISTA and Mario Panicccia, Intel)

 これをバックプレーンにすると、複雑な基板間接続がなされているので、基板の追加、交換は非常に簡単で、信頼性も上がります。このため、イーサネット規格をはじめ、高速シリアル転送規格にバックプレーンの規定が加わるようになってきました。

 表2に、ハイ・パーフォーマンス・コンピュータ(HPC)でよく使われるシリアル転送方式の概要をAlteraの資料より引用して紹介します。

表2:代表的な高速シリアル転送方式(出典:Altera「28nm トランシーバ技術におけるリーダーシップの拡大」)

Copyright © ITmedia, Inc. All Rights Reserved.