最先端テレワーク！3D会議立体映像 遠隔システム「HOLO-COMMUNICATION」とは

株式会社ホロラボについて

「株式会社ホロラボ」は2017年1月に初代「HoloLens」が日本上陸した日に生まれたMR特化の研究開発型企業です。「Windows Mixed Reality」に代表される最新技術をいち早く使いこなし、調査研究、システム・アプリケーション開発、啓発活動を行っています。

ホロラボについては過去の記事で詳しくご紹介しておりますので、こちらもご覧ください。
https://www.pc-koubou.jp/magazine/18467

株式会社ホロラボメンバー

HOLO-COMMUNICATIONとは

HOLO-COMMUNICATIONの特徴

HOLO-COMMUNICATION（ホロコミュニケーション）は株式会社イトーキのオフィス空間デザインにおける多様な取り組みに、株式会社ホロラボが得意とするMixed Realityや3Dセンサー技術を加えて開発された、次世代遠隔コミュニケーションシステムです。
2017年から共同開発が進められ、最新のHoloLens 2やAzure Kinect DKに対応しています。

HOLO-COMMUNICATIONには以下のような特徴があります。
・Azure Kinect DK を使った 3D 立体映像のリアルタイム配信（メッシュ生成した映像）
・HoloLens 2 の Mixed Reality テクノロジーによる 3D 立体映像の臨場感のある投影
・Azure クラウドサービスを活用することで、いつでもどこでも利用可能
・高性能な音声サービスを使用した遅延の少ない音声通信の実現

HOLO-COMMUNICATIONの仕組み

HOLO-COMMUNICATIONは遠隔参加者の前に設置した 3D センサー (Azure Kinect DK) により立体的に映像を取り込みます。Azure Kinect DKは、1台から使用することができ、複数台を使用することにより対象をより立体的に捉えることができます。
中継サーバーを経由し、取得された3D 立体映像は、HoloLens 2により映像をリアルタイムで目の前に出現させ、音声やジェスチャーでコミュニケーションできます。
中継サーバーの配置場所として Microsoft Azure クラウドサービスを採用しており、インターネット経由でのリアルタイムでの配信の他、事前収録した録画映像やコンテンツの再生ができます。

HOLO-COMMUNICATIONのしくみ

HOLO-COMMUNICATIONのシステムは、双方向での通信の他、ひとつの発信地に対して、複数個所での受信などにも対応しておりますので様々な用途に対して柔軟に対応することができるようになっています。

HOLO-COMMUNICATIONでは以下の機材およびパソコンのスペックが必要とされています。
Microsoft HoloLens 2 : 1 台～
Microsoft Azure Kinect DK : 1台～
Windows PC : 1台
[推奨環境]
OS: Windows 10 64bit（Version1903で動作確認）
CPU: Core i7 第7世代以降
メモリ: 16GB 以上
GPU: GeForce GTX970以降

HOLO-COMMUNICATIONで提供されるプラン

このシステムは、HOLO-COMMUNICATIONシステムを検証・デモ用途として導入を希望される企業向けのシステム一式 提供プランと、Azure Kinect DK 及び HoloLens 2 のアプリケーション開発を行う企業向けのシステム一式＋開発パッケージ 提供プランの2つの形態で提供されます。

「システム一式 提供プラン」は、HOLO-COMMUNICATIONシステムを検証・デモ用途として導入を希望される企業向けプランになります。HoloLens 2 用 HOLO-COMMUNICATION アプリケーションと配信PC用アプリケーション、各企業に Azure 配信サーバーを提供 (月単位)、必要なハードウェアの選定支援となります。自社や業界内での3D立体映像のニーズ調査や、自社サービスをこのシステムを利用して展示会で紹介したい企業を対象としており、例えば、遠方勤務社員とのテレカンや、海外本社スタッフによる自社製品説明等の用途が期待されています。

もう一つのプラン、「システム一式＋開発パッケージ 提供プラン」は、Azure Kinect DK及びHoloLens 2のアプリケーション開発を行う企業向けプランになります。システム一式提供プランの内容(Azure 配信サーバーの提供は年単位)に加えて、ホロラボが開発した HOLO-COMMUNICATION システムの HoloLens 2 用 Unitypackage が提供されます。
UnityプロジェクトにこのシステムのUnitypackageをインポートすることで自社アプリケーションに機能を組み込むことができます。3D立体映像配信機能を新規開発することなく活用できますので、アプリケーションのメインとなるコンテンツに注力した開発ができます。

HOLO-COMMUNICATIONの提供プラン

システムを導入するにあたり必要となる機材(PC、HoloLens 2、Azure Kinect DK)の調達支援も行われるとのことです。なお機材購入費用は上記プランには含まれないそうですので、別途必要となります。

HOLO-COMMUNICATION開発者インタビュー！

HOLO-COMMUNICATIONのシステムを開発した株式会社ホロラボ　プロジェクトマネージャーの江口　将史さんにお話を伺ってみました。同じく株式会社ホロラボ　プロジェクトマネージャーの平山　智予さんに実演していただきました。

株式会社ホロラボ　平山さん（中央）と江口さん（右）

イトーキのコンセプトとホロラボの技術が融合して生まれたHOLO-COMMUNICATION

HOLO-COMMUNICATIONはどういった背景で開発がすすめられたのでしょうか？

江口：オフィス家具メーカーであるイトーキでは、空間をデザインするというテーマのひとつとしてXRを使用した空間の提供ができないかということで、ホロラボが Microsoft Mixed Reality の技術提供をすることになり、3年前より開発が進められています。

イトーキといえばあの会議室のテーブルなどの会社ですよね？

江口：そうです。「働く場所の活性化」がメインテーマとなっており、その活性化方法としてリモートワークしている方が、3D立体映像の形で「働く場所に参加する」ことができるようオフィスでの働き方を意識してHOLO-COMMUNICATIONのシステムが開発されました。

まさに次世代ですね。

江口：ソフトウェアだけでなく、3DセンサーのAzure Kinect DKやPCをオフィス家具にあらかじめ組みこんでおき、色味やライティング、深度センサーなど最適な設定で座ったらすぐに使えるという「フォーカスルーム（エリア）」というソリューションの形でも提供できればとも考えております。

それはすごく便利そうですね！

HoloLens 2での動作を実演する江口さん

HOLO-COMMUNICATIONは5G通信でも実績あり！

江口：HOLO-COMMUNICATIONについて昨年から色々な所からお声をかけていただく機会が増えまして、ここ最近ではDOCOMO PACIFIC様からドコモ5Gオープンラボ®　GUAMで展示、2020年1月には DOCOMO Open House 2020 で 5G コンテンツの1つとして展示しました。データ帯域が広い5G通信には従来のような2Dのビデオ通信よりも、3Dの方がデータ量が多いため実証に最適ということで、お声掛けをいただきました。実際にグアムと東京をつないで、現地の方を3D立体映像で投影して実際にコミュニケーションのデモを行いました。

グアムの実際の現地の方とですか？

江口：グアム現地のチャモロ人の方とですね。全く知らない海外の方とのコミュニケーションも3Dであることで、ただ手を振るようなジェスチャーだけでも目の前で立体的に見えると親近感もとても高く感じることができ、コミュニケーションもスムーズに進みます。初対面であっても電話などとは違い実際に人にあって人となりが分かる、存在感が分かるようになっています。遅延もほぼなく携帯電話などで話すよりも使いやすくなっています。

グアムとHOLO-COMMUNICATIONで接続

ドコモ5Gオープンラボ®　GUAM
＊「ドコモ５Ｇオープンラボ」は、株式会社ＮＴＴドコモの登録商標です。

HOLO-COMMUNICATIONは使い勝手も良好

開発者としてのHOLO-COMMUNICATIONの推しポイントはどういったところでしょうか？

江口：HOLO-COMMUNICATIONを開発し始めた当初は機材が大がかりでした。3DセンサーのKinect DK自体も大型でしたし、これらのデータを処理できるスペックを持ったノートパソコンも大きいものでした。現在では、センサーもノートパソコンも非常にコンパクト化しており、それこそスーツケースひとつで済むくらいで、モビリティも向上しました。設置も15分程度あればできます。

たしかに初代のKinectはものすごく大きかったですよね。ソフトウェア面ではいかがでしょうか？

HOLO-COMMUNICATIONで必要な機材は写真でうつる3点のみ

江口：HOLO-COMMUNICATIONの開発にあたって3年間色々な取り組みを行ってきて、こうしたシステムやホログラフィックの良し悪しも把握しています。積み重ねてきたノウハウを駆使して開発してきていますので、他社の同じようなソフトウェアと比べても作りこまれており、また、すぐに覚えて使えることができるのもポイントです。

江口さんにHOLO-COMMUNICATIONの解説をしていただきました

HOLO-COMMUNICATIONを通して様々なユースケースを集めたい

HOLO-COMMUNICATIONの今後の展望などはいかがでしょうか？

江口：Azure Kinect DKから得られる3Dセンサーのデータ量は非常に多いため、パソコンのスペックがそれなりに必要になるのですが、最近のモデルであれば処理できるパソコンスペックも十分にありますので、複数台のAzure Kinect DKを接続して使えるというのはすごくメリットです。1台では120°程度までしかキャプチャできませんが、2台以上を組み合わせるとその範囲が広がり立体感を増すことができるのでリアリティが増します。
あと、多少デジタル感があった方が「らしさ」がでるので登場時のエフェクトも作ろうとしています。複数のAzure Kinect DKからの映像の合成部分などと合わせて、こうしたソフトウェア的なところを詰めていきたいと考えています。

アバターなどはどうでしょうか？

江口：イトーキさんにアバターを使用することについてはどうですか？と提案したことがあります。アバターを使用したコミュニケーションシステムでも、十分にコミュニケーションを取ることができますが、イトーキさんとしては生身の人間を推したいというコンセプトがあったので、Azure Kinect DKを使用するという方法にこだわっています。

ユーザーの方に開発者としてお願いしたい事などはありますか？

江口：今回のHOLO-COMMUNICATIONの発表は、ユースケースを募集していますという要素が強いです。うちだったらこういう使い方ができますといったユースケースが集まればより具体的な利用価値が出てくるのではと期待しています。
イトーキさんのフォーカスとしては、いかに人と人が触れ合うオフィスとしてソリューションを展開するかといった点にあり、いままでの電話や映像などの2Dでは対話をするというツールが、HOLO-COMMUNICATIONでは3Dで対話する人の存在感がある、存在感を感じる、共有できるといった事をアピールし、ニーズとして作り上げていきたいと考えています。

ちょっと脱線するかもしれませんが、HoloLens 2を触って思ったのですが、音の鳴り方もかなり立体感がありますよね。ASMRとかバーチャルライブとか講演とかできたら面白そうですよね。

江口：HoloLens 2は立体音響がつかえるので、アバターや3D映像が見える位置から聞こえてきたらおもしろいですよね。目を完全に覆ってしまうVRと違って、ARなら現実世界に人を出すことができるし、存在感も出てきます。私もよく行っているバーチャル講演とかではアバターを使いますけど、HoloLens 2なら「存在感」がキーワードになってくるだろうと思います。
今回のHOLO-COMMUNICATIONでは、Azure上にデータが保存できるので、たとえばライブとかを配信すると1対1でライブを見ることができます。あとはアーティストの方、例えば画家で絵を描いている様子を配信すれば、見る人は憧れのアーティストが目の前で絵を描いてくれる、それも自宅で見ることができる。あ、ここで筆を洗うんだ！とか存在感がある配信が楽しめます。

1対1でって考えるとファンにはすごくうれしいですよね。

江口：Azure Kinect DKが何台かとPCがあればこうしたコンテンツ配信1対多でできるので、こうした使い方も期待したいですね。

ありがとうございました！

前モデルに比べ小型化したMicrosoft Azure Kinect DK

前モデルよりもスリム化しパワーアップしたHoloLens 2

HOLO-COMMUNICATIONに最適なハードウェアスペック

3DスキャンをおこなうAzure Kinect DKのデータ処理でパソコンにかける負荷が高いため、処理できるパソコンのスペックが必要となります。
規模や想定する使用方法にもよりますが、1台から複数台の接続があるため、これに耐えられるスペックはどの程度なのか検証しました。

結果
・USB
Azure Kinect DKは3Dセンサー情報の取得を行うため、USB 3.0(USB 3.1 Gen 1)のほぼ全帯域（おおよそ625 MB/s）を必要とします。そのためUSBコントローラーは高負荷に対応できる必要があり、インテル チップセット内蔵USB 3.0コントローラーとRenesas製USB 3.0コントローラーで動作確認されています。

・CPU
3Dセンサー情報の大量のデータ処理のため、CPUはCore i5やCore i7などの4コア以上のCPUが必要です。Azure Kinect DKを2台以上、複数台を接続する場合は、接続する台数や使用する解像度に応じてCPU負荷が高まります。3台以上を接続する場合は6コア、8コアなどのコア数の多いCPUを使用することがおすすめです。

・GPU
モーションセンシングを使うため、グラフィックスカードにはCUDAに対応するGeForceシリーズの搭載が必要で、GeForce GTX 1660 Tiなどのミドルレンジ以上のグラフィックスカードが最適です。

・メモリ、ストレージ
大量のデータの処理のため、キャッシュとして使用されるメモリは16GB以上、ストレージはSSDが良く、開発として使用する場合では容量は500GB程度が最適です。

HOLO-COMMUNICATION推奨パソコン

パソコン工房ではホロラボの協力により、このHOLO-COMMUNICATIONの使用と開発に最適なスペックを検証しモデル化しました。1台ないしは複数台のAzure Kinect DKを接続してセンサー入力を高速処理することができるスペックを備え、HOLO-COMMUNICATIONで快適に遠隔通話することができます。

使用方法に応じて、端末を持ち歩いて使用することができるノートモデルと、会議室などに設置して稼働させるデスクトップモデルをラインナップ、ポイントとなるスペックを抑えつつも、コストパフォーマンスに優れたモデルとなっています。

HOLO-COMMUNICATION推奨パソコン:HOLO-COMMUNICATIONおすすめノート

HOLO-COMMUNICATION推奨パソコン:設置して使用想定のデスクトップ

HOLO-COMMUNICATION推奨パソコン:複数のAKDK接続対応ハイスペックノート

ライタープロフィール 職人3号