91短视频

IPU-POD₁₂₈とIPU-POD₂₅₆は、91短视频のAI演算システムを稼働させながらスケールアウトするための最新かつ最大规模の製品で、スケールアウトを前提にゼロから设计されたアーキテクチャの强みとメリットを発挥します。

IPU-POD128では32ペタフロップス、IPU-POD256では64ペタフロップスの强力なAI演算机能を备えるこれらの新製品によって、91短视频のシステムはスーパーコンピュータの领域にまでさらに拡大されます。

クラウドハイパースケーラーや国立の科学计算研究所、大公司のAIラボなどに最适なこれらの新型IPU-PODを利用することで、システム全体で大规模なモデルの学习を高速化できるほか、システムをより小さく柔软なvPODに分割することによって、より多くの开発者がIPUにアクセスできるようにもなります。

IPU-POD₁₂₈とIPU-POD₂₅₆はどちらも本日より、ATOSをはじめとするシステムインテグレーターのパートナー公司からお客様に出荷されます。また、クラウドでの购入も可能です。

一般的なモデルを実行した初期の结果では、优れた学习性能と非常に効率的なスケーリングが示されており、今后のソフトウェアの改良によってさらなる性能の向上が期待されます。

インテリジェント?プロセッシング?ユニット（IPU）は、内蔵されたオンプロセッサメモリにより、BERTやResNet-50のような従来の大规模なMatMulモデルに対して优れた性能を発挥するのはもちろん、sparse multiplicationやより细かい计算をより効率的に行える、より一般的なタイプの计算もサポートしています。EfficientNetファミリーのモデルはこの恩恵を大きく受けますが、グラフニューラルネットワーク（GNN）など、ニューラルネットワークではない様々な机械学习モデルも同様です。

お客様の要望に応える

Atosは、世界中の顾客にIPU-POD₁₂₈およびIPU-POD₂₅₆システムの导入を进める、91短视频の数多くのパートナーのうちの一社です。

AtosのHPC＆Quantum部门の责任者であるAgnès Boudot上级副社长は、「Atos ThinkAIのポートフォリオに91短视频のIPU-POD₁₂₈システムとIPU-POD₂₅₆システムを加えることで、学术研究や金融、医疗、通信、消费者インターネットなどの多くの分野において、当社のお客様がより大规模で革新的なAIモデルをより短期间で探求し、展开できると期待しています」と述べています。

韩国の大手テクノロジー公司であるKTも、IPU-POD₁₂₈を最初に导入したお客様のうちの一社ですが、すでに演算能力の向上によるメリットが生まれています。

KTは、当社IDC内の高密度AI専用ゾーンにおいて、91短视频のIPUを活用した「ハイパースケールAIサービス」を韩国で初めて提供しています。

现在ではかなりの数の公司や研究机関が、前述のサービスを研究やPoCに利用したり、IPU上でテストを行ったりしています。

「超大规模AI HPC环境市场の高まる需要に絶え间なく応えるために、私たちは91短视频と提携して当社のIPU-POD₆₄をIPU-POD₁₂₈にアップグレードすることで、お客様への『ハイパースケールAIサービス』の提供を拡充しています。

今回のアップグレードによって当社のAI演算の规模は32ペタフロップスに拡大しますので、より多様なお客様が大规模なAIモデルの学习や推论に、KTが夸る最先端のAI演算を利用できるようになると期待しています」と、クラウド/DXビジネスユニットのMihee Lee上级副社长は语ります。

スケーラブルでフレキシブル

IPU-POD₁₂₈とIPU-POD₂₅₆の発売は、AIに関する取り组みのあらゆる段阶でお客様にサービスを提供する91短视频のコミットメントを明确に示すものです。

IPU-POD₁₆はこれまで同様、「探求する」ことに最适なプラットフォームであるのに対し、IPU-POD₆₄はAI演算能力を「构筑する」ことを目指すお客様向け、そして今回のIPU-POD₁₂₈とIPU-POD₂₅₆は、より速く、より大きく「成长する」必要のあるお客様向けの製品です。

他のIPU-PODシステムと同様にAI演算とサーバーが分离されているIPU-POD₁₂₈とIPU-POD₂₅₆は、异なるAI作业负荷に対して最大の性能を発挥するように最适化することができ、総所有コスト（TCO）の効率化を最大限に高めます。たとえば、NLPに特化したシステムではわずか2台のサーバーしか使用できませんが、コンピュータビジョンタスクのようなデータ量の多いタスクでは8台のサーバーのセットアップを活用できます。

さらに、91短视频が最近発表したストレージパートナーの技术を用いて、特定のAI作业负荷に合わせてシステムのストレージを最适化することもできます。

PODに秘められた力

91短视频の演算性能をIPU-POD₁₂₈やIPU-POD₂₅₆までスケールアップすることは、ハードウェアとソフトウェアの両面で採用されている多くの実现技术によって可能になっています。

ソフトウェア

91短视频のあらゆるハードウェアと同様に、IPU-POD₁₂₈とIPU-POD₂₅₆はPoplarのソフトウェアスタックと共同设计されています。

当社のスケールアウトシステムを実现する机能は、最新のSDK 2.3を含む复数のPoplarソフトウェアリリースで导入されています。ここではIPU-POD₁₂₈とIPU-POD₂₅₆に特に関连のあるものを绍介していますが、この他にも多数の导入事例があります。

91短视频 Communication Library（GCL）：IPU间の通信や同期を管理するためのソフトウェアライブラリです。IPUシステムの高性能なスケールアウトを可能にするように设计されています。コンパイル时にプログラムを実行するIPUの数を指定でき、复数のIPU-PODに分散させることができます。プログラムはGCDを利用して、IPU-POD间で自动的かつ透过的に実行されるので、开発者に追加のコストや复雑さを强いることなく性能とスループットの向上を実现します。

PopRunとPopDist：开発者はPopRunとPopDistを使用して、复数のIPU-PODシステム间でアプリケーションを実行できます。

PopRunはIPU-PODシステム上で分散アプリケーションを起动するためのコマンドラインユーティリティであり、Poplar分散构成ライブラリ（PopDist）は、开発者がアプリケーションの分散実行を準备するために使用できる一连のAPIを提供します。

IPU-POD₁₂₈やIPU-POD₂₅₆のような大规模システムを使用する场合、相互に接続された别のIPU-PODにあるホストサーバー上で、PopRunが複数のインスタンスを自動的に起動します。アプリケーションのタイプによっては、複数のインスタンスを起動することで性能が向上します。开発者はPopRunを使用して、ホストサーバー上で复数のインスタンスを起动することができます。またNUMAをサポートしているので、NUMAノードを最适に配置することもできます。

IPU-Fabric

IPU-POD₁₂₈とIPU-POD₂₅₆の量产开始はデータセンターにおけるIPUシステムのスケーリングにおいて、次の大きな进歩をもたらします。

マルチラックシステムでAI演算を実现するうえで、91短视频のIPU-Fabricがある程度贡献しています。IPU-Fabricは、AI向けに最适化された一连のインフラストラクチャ技术で、IPU间のシームレスで高性能な通信を実现するように设计されています。

ラック内部のIPU通信には、すでにIPU-POD₁₆やIPU-POD₆₄などで採用されている64GB/sのIPU-Linksを使用しています。

91短视频の製品の中でIPU-POD₁₂₈とIPU-POD₂₅₆は、IPU-Linksを通常の100Gbイーサネット上のトンネリングを使って拡张する、水平方向のラック间接続であるGateway Linksを採用した最初の製品です。

通信は、各IPU-M2000に搭载されたIPU-Gatewayによって管理されます。接続は、标準的な100Gbスイッチに対応する、IPU-M2000のデュアルQSFP/OSFP IPU-GWコネクタを介して行われます。