TensorFlowでTITAN RTXのディープラーニング性能を比較

スペック比較

今回のベンチマークではTITAN RTXの比較対象として、同じTU102コアを搭載したGeForce RTX 2080 Tiと比較となります。
前回の記事(https://www.pc-koubou.jp/magazine/34308)と同じ検証環境を使用しました。前回と同じく、ベンチマーク時の設定は、別記の無い場合Batch Sizeは32に設定しました。スコアは誤差を少なくする為に5回計測した平均値を出しています。単位はimage/secとなり、1秒で何枚の画像を学習処理したかを表し、数値が高い程速く処理が出来るという事になります。

使用した各ソフトウェアのバージョンは以下の通りです。

使用した各ソフトウェアのバージョン一覧

各グラフィックカードのスペックは以下の通りです。同じTU102コアを使用していますが、各コア数からクロック、メモリ容量まで異なります。

グラフィックカードスペック一覧

TITAN RTXとGeForce RTX 2080 Tiを比較すると、CUDAコアで5%、Tensorコアでも5%程度の差があります。また特徴としてメモリバス幅もTITAN RTXの方が帯域が広くなっています。動作クロックも定格は同じですが、ブースト時のクロックはTITAN RTXの方が14%ほど高く設定されています。これらの差がどの程度実際プログラムを動作させた際に差となって出てくるかを見ていきます。

なお検証に使用したハードウェア構成は記事末尾に記載しておりますので、別途ご確認ください。

TITAN RTXをGeForce RTX 2080 Tiと比較

ResNet50（fp32）

ResNet50(fp32)での比較です。TITAN RTXはGeForce RTX 2080 Tiと比較してシングル、SLIいずれも概ね8%程度の増加となっています。

TITAN RTXとGeForce RTX 2080 TiのResNet50(fp32)スコア比較

ResNet50(fp16)

次はResNet50(fp16)での比較です。平均して16%程度の増加となりました。

TITAN RTXとGeForce RTX 2080 TiのResNet50(fp16)スコア比較

VGG16(fp32)

続いてVGG16(fp32)での比較です。NVLink時の性能差が大きく、15%もスコアが増加しました。TITAN RTXのGeForceRTX 2080 Tiと比較したスコア自体の増加率は約10%となっています。

TITAN RTXとGeForce RTX 2080 TiのVGG16(fp32)スコア比較

inception-V3(fp32)

Inception-V3での比較です。他のスコアと同様にスコアは8%程度の増加となり、傾向も一致しています。

TITAN RTXとGeForce RTX 2080 Tiのinception-V3(fp32)スコア比較

消費電力を比較

ワットチェッカーを使用して消費電力を比較してみました。計測結果はシステム全体での消費電力となります。

計測時の消費電力一覧

TITAN RTXとGeForce RTX 2080 Tiではアイドル時の消費電力は同じですが、ベンチマーク時には約10%消費電力が増加していました。ワットパフォーマンスで換算すると以下のようになります。

ワットパフォーマンス一覧

こちらはスコア1点出すのに何Wかかるかという表になりますので、数値の低い方がワットパフォーマンスが良いという事になりますので、この中ではTITAN RTXを2枚刺した時が一番ワットパフォーマンスが高い事になります。
ただし、TITAN RTX を2枚刺した際にはアイドルこそ低めですが、ベンチマーク時には600Wを超えています。CPUがほぼ稼働していない状態で600Wの消費なので、実際に積む電源を選ぶ際には余裕を見て1000Wクラスの電源を用意する必要があります。

コストパフォーマンスを比較

最後にコストパフォーマンスを比較してみました。前回作成した表と同じく、スコア1点あたり何円かかるかという表になるので、数値の低い方がコストパフォーマンスが高いという事です。
そもそもコスト面を考慮してTITAN RTXを選択する事はなかなか無いとは思うのですが、やはり2倍以上のコストがかかっています。

コストパフォーマンス比較

メモリ量の差が最大のポイント

ではTITAN RTXのメリットは何かというと、Deep Learningにおいてはメモリの量が最大のメリットになります。
GeForce RTX 2080 Tiの11GB に対しTITAN RTXは24GBものメモリを搭載しています。メモリが多いということは扱えるデータ量が単純に増えるという事ですので、プロジェクトの規模によってはTITAN RTXも有力な選択肢となります。もっとメモリが必要になる場合はQuadro RTX 8000（ビデオメモリ48GB）が候補となってきます。
また、動作クロックの差や、CUDAコア、Tensorコアの差もあり、パフォーマンスは向上します。コスト度外視で少しでも時間を短くしたいといった場合にもTITAN RTXが検討候補に入ってくると思います。

もしTITAN RTXを検討する事があれば参考にして頂ければと思います。

今回の検証環境

ライタープロフィール 職人11号