GRAPHCOREがPOPLAR SDK 2.3をリリース

最新リリースのPoplar SDK 2.3では性能が大幅に最适化されたほか、使いやすさの向上や実稼働ワークロードの実用的サポートなども実现されています。

Poplar SDK 2.3の新机能

SDK 2.3で導入された多くの新机能や最適化は、学習や推論にかかる時間を短縮したり、モデルの効率を高めたり、大規模なモデルやデータセンター規模のアプリケーションの性能を向上させたりするなど、開発者を全面的に支援するものばかりです。

性能の最适化

新たな最适化で推论アプリケーションを高速化
RTS（Replicated Tensor Sharding）用にLAMBオプティマイザのサポートを追加
大规模スケールアウトシステムのためのマルチPOD RTS（Replicated Tensor Sharding）

ユーザーエクスペリエンスの强化

コンパイル时间を高速化
ホストのメモリ使用量を削减
ロギングとエラー処理を改善
Debian 10.7 OSをサポート（プレビュー）

PopVisionツールおよびプラットフォームのサポート

性能の向上
スレッドのピン留め
情报交换の変数

これらの新机能の詳細については、をご覧ください。

性能と最适化

より大规模なワークロードや実稼働のスケールアウトをサポートするために、SDK 2.3では新たな最适化と性能の向上が実现されています。

Poplarの新バージョンのリリースでは毎回、大幅な性能の向上が図られています。开発者はSDK 2.3を使用することで、BERT-Largeで1.6倍、畳み込みニューラルネットワークEfficientNet-B4で1.6倍、ResNet-50で2.4倍の学习速度を得ることができます。

Poplar SDK 2-3 performance improvement

推论アプリケーション向けの新たな最适化により、遅延が最适化されて一贯性が确保されるようになったため、推论の性能が最大化されます。

今回のリリースでは、オプティマイザの状态を表すReplicated Tensor Sharding（RTS）がTensorFlowで完全にサポートされました。これにより、オプティマイザの状态が外部のにオフロードされている、复製モデルのスループットを向上させることができます。また今回のリリースの改良によって、より大きなバッチサイズを使用するために开発者が利用しているLAMBオプティマイザとRTSとの互换性が确保されました。详细については、BERT-Large学习ブログをお読みいただくか、GitHubでのをご覧ください。

大规模な実稼働ワークロードにおいては、RTSがIPU-POD₁₂₈以上の复数のIPU-PODシステムに実装できるようになりました。IPU-POD₁₂₈とIPU-POD₂₅₆の详细について、およびデータセンター规模でのイノベーションを可能にする机能については、当社が公开しているIPU-POD₁₂₈とIPU-POD₂₅₆のブログをご覧ください。

使いやすさの追求

この最新バージョンのPoplarソフトウェアスタックを使えば、モデルの高速化やIPUのプログラミングがこれまで以上に简単になります。

SDK 2.3ではBERT、ResNet-50、およびEfficientNetにおいて、フレームワークやグラフの构筑时间を含め、10%以上の高速化が达成され、コンパイル时间がさらに短缩されます。またNLPモデルのBERTでは、ホストのメモリ使用量が6.8%も削减されています。さらに12月には、SDK 2.4による机能强化も予定されています。

さらに、証券取引所からスーパーコライダーまで、様々な场面で使用されているOS、Debian 10.7のプレビューサポートが追加されました。

また、エラーやログの処理が改善されたことで、より简単に问题を解决できるようになっています。

PopVisionツールの新机能について

PopVision Graph AnalyserツールとSystem Analyserツールの最新バージョンでは、性能を向上させる新机能が追加されて、より使いやすいツールになりました。今回のアップデートでは、新しいリリースが利用可能になった场合にユーザーに通知し、アップデートをすぐに开始するか延期するかを选択できるソフトウェアも含まれています。今回のリリースで导入されたPopVisionの主な新机能は以下の通りです。

モデルが大きくなり、ワークロードをサポートするIPUの数が増えると、プロファイリング情报のサイズも大きくなります。今回、10倍の大きさのプロファイルにも対応するようにPopVision Graph Analyserの実行トレースレポートが大规模に更新され、性能と使いやすさが向上しました。

また、开発者がタイル间やIPUとホスト间の情报交换をより深く理解できるように、どの変数が情报交换に関与しているかを表示するオプションがGraph Analyserに追加されました。

PopVision System Analyserでは、开発者がスレッドやグラフを选択してレポートの上部にピン留めすることができ、比较が容易になりました。

开発者向け资料

YOLOv4やMobileNetV3といった、物体検出のユースケースに适した新しいモデルも含め、イノベーター向けの幅広い用途に対応するために、当社の大规模なモデルガーデンを更新しました。

当社の开発者ポータルでは、最新のドキュメンテーションやチュートリアル、コード例、ウェビナー、ビデオ、研究论文など、IPUのプログラミングに関するあらゆる资料をご覧いただけます。ぜひご活用ください。

91短视频