JP7429861B2 - マルチディスプレイシステムとその制御方法 - Google Patents

Description

本開示は、複数の表示装置（ディスプレイ装置）を、ネットワークを介して接続し、単一の表示装置のように機能させるマルチディスプレイシステムとその制御方法に関する。

近年、バーチャルリアリティと呼ばれる仮想現実の分野などにおいて、ヘッドマウントディスプレイ等の個人で楽しむシステム以外に、複数のプロジェクタなどのディスプレイから構成される包囲型映像システムによって複数人で楽しむマルチディスプレイシステムが提案されている。こうしたマルチディスプレイシステムでは、１枚で３６０度全方向の画像情報を含むパノラマ画像を、ディスプレイの配置に応じてディスプレイ毎に切り出して拡大表示させるのが一般的である。

一方で、パノラマ画像では、興味を引く対象が必ずしもパノラマ画像の中心にあるとは限らず、表示装置で最初に表示させた際にその対象が含まれていないことが考えられるため、それを補足するための手段として、パノラマ画像から指定された対象を含む領域を検出し、位置を特定することで、それを表示装置で最初に表示させる際に、その対象を含む領域から表示させるような手法が提案されている。

例えば特許文献１では、パノラマ画像から術野箇所を特定し、スマートホンでそのパノラマ画像を表示させた際に、その術野箇所から表示させることでそれを実現している。

国際公開第２０１９／０９８０５２号パンフレット

しかしながら、特許文献１の方法では、画像の中で、常に注視領域の画像（以下、注視画像という。）が動いてその画像位置が変わるような動画像の場合、特にマルチディスプレイシステムにおいては、その注視画像を含めて表示させ続けることができないという課題があった。

本開示の目的は、複数の表示装置を備えるマルチディスプレイシステムにおいて、注視画像が動いても、所定の表示装置に表示することにある。

第１の開示に係るマルチディスプレイシステムは、
互いに接続された複数の表示装置を備え、パノラマ画像を表示するように制御する制御部を備えるマルチディスプレイシステムであって、
前記制御部は、
注視画像を含むパノラマ画像データを、正距円筒図法を用いて正距円筒図の画像データに変換し、
前記正距円筒図の画像データの画像において、画像認識法を用いて所定の注視画像を特定し、前記特定した注視画像の位置情報を算出し、前記注視画像の位置情報に対して前記画像データの表示開始時刻を付加して前記各表示装置に通知し、
前記注視画像の位置情報及び前記表示開始時刻に基づいて、前記注視画像を、前記複数の表示装置のうち正面表示装置として設定された表示装置において表示する。

第２の開示に係るマルチディスプレイシステムの制御方法は、
互いに接続された複数の表示装置を備え、パノラマ画像を表示するように制御する制御部を備えるマルチディスプレイシステムの制御方法であって、
前記制御方法は、前記制御部が、
注視画像を含むパノラマ画像データを、正距円筒図法を用いて正距円筒図の画像データに変換するステップと、
前記正距円筒図の画像データの画像において、画像認識法を用いて所定の注視画像を特定し、前記特定した注視画像の位置情報を算出し、前記注視画像の位置情報に対して前記画像データの表示開始時刻を付加して前記各表示装置に通知するステップと、
前記注視画像の位置情報及び前記表示開始時刻に基づいて、前記注視画像を、前記複数の表示装置のうち正面表示装置として設定された表示装置において表示するステップとを、
含む。

従って、本開示に係るマルチディスプレイシステム等によれば、パノラマ画像の中の所定の注視領域を常に正面の表示装置に投写させ続けることが可能となる。

実施形態１に係るマルチディスプレイシステム１００の構成例を示すブロック図である。 図１の表示装置１の構成例を示すブロック図である。 図１の表示装置２，３の構成例を示すブロック図である。 図１のマルチディスプレイシステム１００により実行される時刻同期処理を示すフローチャートである。 図１のマルチディスプレイシステム１００においてユーザの顔の向きを判定するための顔パターンの第１の例を示す正面図である。 図５Ａの顔パターンにおいてパターン認識すべき注目部分を示す正面である。 図１のマルチディスプレイシステム１００においてユーザの顔の向きを判定するための顔パターンの第２の例を示す正面図である。 図６Ａの顔パターンにおいてパターン認識すべき注目部分を示す正面である。 図１のマルチディスプレイシステム１００においてユーザの顔の向きを判定するときの顔の向きの第１の例を示す図である。 図１のマルチディスプレイシステム１００においてユーザの顔の向きを判定するときの顔の向きの第２の例を示す図である。 図１のマルチディスプレイシステム１００においてユーザの顔の向きを判定するときの顔の向きの第３の例を示す図である。 図１のマルチディスプレイシステム１００においてユーザの顔の向きを判定するときの顔の向きの第４の例を示す図である。 図１の表示装置１，２，３により実行される動画ダウンロード（ＤＬ）処理、及びサーバ装置９により実行される動画配信処理を示すフローチャートである。 図２のフレーム単位画像認識部１１２及び経緯度算出部１１３の具体的な学習フェーズ処理を示すブロック図である。 図２のフレーム単位画像認識部１１２及び経緯度算出部１１３の具体的な認識フェーズ処理を示すブロック図である。 図２の経緯度算出部１１３の具体的な算出処理を示す画像の正面図である。 図２及び図３の映像表示視点切替部１１５，２０９の具体的な処理を示す概略図である。 図２及び図３の映像表示視点切替部１１５，２０９の具体的な処理を行うための構成斜視図である。 図１の表示装置１，２，３によって実行されるシーケンス処理を示すフローチャートである。 実施形態２に係るマルチディスプレイシステム２００の構成例を示すブロック図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するものであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施形態１）
以下、図１～図１１を参照して、実施形態１に係るマルチディスプレイシステム１００について以下に説明する。

図１は実施形態１に係るマルチディスプレイシステム１００の構成例を示すブロック図である。

図１において、マルチディスプレイシステム１００は、例えば３個である複数の表示装置１，２，３と、スクリーン１Ｓ，２Ｓ，３Ｓと、カメラ４と、マイクロホン５と、ルータ装置７と、サーバ装置９とを備えて構成される。表示装置１，２，３は、ローカルエリアネットワーク（ＬＡＮ）６、ルータ装置７及び、インターネットなどのワイドエリアネットワーク（ＷＡＮ）８を介してサーバ装置９に接続される。なお、ＷＡＮ８はＬＡＮ６又は別のＬＡＮであってもよい。サーバ装置９は例えばコンピュータにより構成された、例えばＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）を用いたＷＷＷサーバ装置であり、表示装置１，２，３等からの配信要求信号に応答して、動画又は静止画の画像データを配信する。

表示装置１，２，３は例えばプロジェクタ（投写型表示装置）であって、それぞれ表示画像をスクリーン１Ｓ，２Ｓ，３Ｓに投写して表示することで、所定のパノラマ画像（動画又は静止画）を表示し、これにより、例えば複数のユーザ８０に対してパノラマ画像を提供してその包囲空間を形成する。本実施形態では、表示装置１は例えばマスタ装置として設定され、表示装置２，３はスレーブ装置として設定される。

図２は図１の表示装置１の構成例を示すブロック図である。

図２において、表示装置１は、表示装置１の動作を制御するための制御部１０と、表示装置１の動作に必要なデータ及びサーバ装置９からの画像データを格納する記憶部１１と、サーバ装置９及び他の表示装置２，３とＬＡＮ６等を介して通信を行う通信部１２と、動画像データ等を表示する表示部１３と、ユーザ８０の小型端末装置１５と無線通信を行う無線通信部１４とを備える。小型端末装置１５は例えばスマートホン、タブレットなどの端末装置であって、パノラマ画像における検索対象物を入力して表示装置１に転送する。

制御部１には、カメラ４及びマイクロホン５が接続される。カメラ４はユーザ８０を撮像して制御部１０に出力し、マイクロホン５はユーザ８０の発声音声（例えば、検索対象物に係る）を音声信号に変換して制御部１０に出力する。

記憶部１１は、例えばフラッシュメモリ、ハードディスク又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録媒体である。通信部１２は、例えばインターネットプロトコルを用いて、サーバ装置９及び表示装置２，３と通信を行う通信モジュール回路を含む。無線通信部１４は、所定の通信規格（Ｗｉ－Ｆｉ等）を用いて無線通信を行う通信モジュール回路を含む。

制御部１０は、
（１）所定のＬＡＮの設定を行うＬＡＮ設定部１０１と、
（２）検索要求信号を用いて、他のプロジェクタである表示装置２，３を検索するプロジェクタ検索部１０２と、
（３）パノラマ画像を表示するため、他の表示装置２，３との相対的な位置関係で、表示部１３における画像表示の配置位置（例えば、図１の例では、パノラマ画像から切り出した所定の注視画像を正面スクリーン（１Ｓ，２Ｓ，３Ｓのうちの１つ）に設定した場合における、パノラマ画像での配置位置（パノラマ画像を例えば三分割した分割画像（正面、正面から±１８０度又は±２７０度）のうちのいずれを表示部１３に表示するか）を設定する。）を設定する配置設定部１０３と、
（４）表示装置１，２，３間で行う時刻同期処理において、表示装置１をマスタ装置として設定する時刻同期マスタ設定部１０４と、
（５）表示装置１，２，３間で行う時刻同期処理を実行する時刻同期部１０５と、
（６）ユーザ８０の顔向きを検出して、その検出結果に基づいて、注視画像を表示する画像表示装置に対応する正面スクリーンを判定する顔向き検出及びスクリーン正面判定部１０６と、
（７）ユーザ８０が入力した検索対象物に応答してサーバ装置９に対して動画データを検索する動画検索部１０７と、
（８）自装置１及び他の表示装置２，３に対して所定の制御コマンド（例えばサーバ装置９に対して動画配信のためのアクセスの指示）を一斉配信する制御コマンド一斉配信部１０８と、
（９）一斉配信された制御コマンドを受信して、例えばサーバ装置９に対して動画配信のためのアクセスを行う制御コマンド受信アクセス部１０９と、
（１０）サーバ装置９から動画データを受信する動画受信部１１０と、
（１１）受信した動画データをフレーム毎にデコードする動画デコード部１１１と、
（１２）デコードされた動画データを、フレーム単位で注視画像を画像認識するフレーム単位画像認識部１１２と、
（１３）画像認識された注視画像の重心の経緯度を算出する経緯度算出部１１３と、
（１４）タイムスタンプを生成するタイムスタンプ生成部１１４と、
（１５）複数の表示装置１，２，３で同期して同時に画像を表示するように切り替える映像表示視点切替部１１５と、
を備える。

制御部１０はＣＰＵと所定のプログラムで構成される。ＣＰＵが所定のプログラムを実行することで、上述した制御部１０の各処理部１０１～１１５の機能が実現される。なお、制御部１０の各処理部１０１～１１５の機能をハードウェア回路のみで実現してもよい。すなわち、制御部１０はＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等で構成することができる。

図３は図１の表示装置２，３の構成例を示すブロック図である。ここで、各表示装置２，３は互いに同一の構成を有する。

図３において、表示装置２，３は、表示装置２，３の動作を制御するための制御部２０と、表示装置２，３の動作に必要なデータ及びサーバ装置９からの画像データを格納する記憶部２１と、サーバ装置９及び表示装置１とＬＡＮ６等を介して通信を行う通信部２２と、動画像データ等を表示する表示部２３とを備えて構成される。

記憶部２１は、例えば、フラッシュメモリ、ハードディスク又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録媒体である。通信部２２は、例えばインターネットプロトコルを用いて、サーバ装置９及び表示装置１と通信を行う通信モジュール回路を含む。

制御部２０は、
（１）所定のＬＡＮの設定を行うＬＡＮ設定部２０１と、
（２）表示装置１からの検索要求信号に応答して、自分の表示装置の存在を通知する検索通知信号を返信するプロジェクタ検索応答部２０２と、
（３）パノラマ画像を表示するため、他の表示装置１，２又は３との相対的な位置関係で、表示部２３における画像表示の配置位置（例えば、図１の例では、注視画像を正面スクリーン（１Ｓ，２Ｓ，３Ｓのうちの１つ）に設定した場合における、パノラマ画像での配置位置（パノラマ画像を例えば三分割した分割画像（正面、正面から±１８０度又は±２７０度）のうちのいずれを表示部２３に表示するか）を設定する。）配置設定部２０３と、
（４）表示装置１，２，３間で行う時刻同期処理において、表示装置２，３をスレーブ装置として設定する時刻同期スレーブ設定部２０４と、
（５）表示装置１，２，３間で行う時刻同期処理を実行する時刻同期部２０５と、
（６）一斉配信された制御コマンドを受信して、例えばサーバ装置９に対して動画配信のためのアクセスを行う制御コマンド受信アクセス部２０６と、
（７）サーバ装置９から動画データを受信する動画受信部２０７と、
（８）受信した動画データをフレーム毎にデコードする動画デコード部２０８と、
（９）複数の表示装置１，２，３で同期して同時に画像を表示するように切り替える映像表示視点切替部２０９と、
を備える。

制御部２０はＣＰＵと所定のプログラムで構成される。ＣＰＵが所定のプログラムを実行することで、上述した制御部２０の各処理部２０１～２０９の機能が実現される。なお、制御部２０の各処理部２０１～２０９の機能をハードウェア回路のみで実現してもよい。すなわち、制御部１０はＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等で構成することができる。

図４は図１のマルチディスプレイシステム１００により実行される時刻同期処理を示すフローチャートである。以下、図４のフローチャートを参照して、時刻同期処理（図１１のＳ６５，Ｓ６５Ａ，Ｓ６５Ｂ）の詳細を説明する。以下の処理は主として、マスタ装置である表示装置１の時刻同期部１０５及びスレーブ装置である表示装置２，３の時刻同期部２０５により実行される。時刻同期部１０５，２０５はＩＥＥＥ１５８８のプロトコルに従って時刻同期処理を実行する。

図４において、表示装置１はまず現在時刻（ｔ１）を取得する（Ｓ１１）。一方、表示装置２，３は、自装置を、通信部２２を介してＩＥＥＥ１５８８のＳｙｎｃパケットを受信可能な状態に設定する（Ｓ２１）。

次いで、表示装置１は、通信部１２を介して、時刻ｔ１を示す時刻情報を含むＳｙｎｃパケットを表示装置２，３に送信する（Ｓ１２）。表示装置２，３は、Ｓｙｎｃパケットを受信すると（Ｓ２２）、現在時刻（ｔ２）を取得する（Ｓ２３）。その後、表示装置２，３は、自装置を、通信部２２を介してＩＥＥＥ１５８８のＦｏｌｌｏｗ Ｕｐパケットを受信可能な状態に設定する（Ｓ２４）。

次いで、表示装置１は、通信部１２を介して、時刻ｔ１を示す時刻情報を含むＦｏｌｌｏｗＵｐパケットを表示装置２，３に送信する（Ｓ１３）。その後、表示装置１は、自装置を、通信部１２を介してＩＥＥＥ１５８８のＤｅｌａｙ Ｒｅｑｕｅｓｔパケットを受信可能な状態に設定する（Ｓ１４）。

表示装置２，３は、通信部２２を介してＦｏｌｌｏｗ Ｕｐパケットを受信すると（Ｓ２４）、受信したＦｏｌｌｏｗ Ｕｐパケットから時刻情報（ｔ１）を取得する（Ｓ２５）。その後、表示装置２，３は、装置毎にそれぞれ異なるランダム時間（Ｔｗ）だけ待機する（Ｓ２６）。このように、ランダム時間（Ｔｗ）をスレーブ端末毎に異なる時間に設定することで、遅延時間の計測のためのＤｅｌａｙ Ｒｅｑｕｅｓｔパケット（後述）やＤｅｌａｙ Ｒｅｓｐｏｎｓｅパケット（後述）の送信タイミングを表示装置毎に異ならせることができる。これにより、パケットの衝突や干渉を回避でき、遅延時間の計測値のばらつきを低減できる。

ランダム時間（Ｔｗ）経過後、表示装置２，３は、現在時刻（ｔ３）を取得する（Ｓ２７）。次に、表示装置２，３は、ＩＥＥＥ１５８８のＤｅｌａｙ Ｒｅｑｕｅｓｔパケットを送信する（Ｓ２８）。その後、表示装置２，３は、自装置を、通信部２２を介してＩＥＥＥ１５８８のＤｅｌａｙ Ｒｅｓｐｏｎｓｅパケットを受信可能な状態に設定する（Ｓ２９）。

表示装置１は、表示装置２，３からＤｅｌａｙ Ｒｅｑｕｅｓｔパケットを受信すると（Ｓ１５）、現在時刻（ｔ４）を取得する（Ｓ１６）。表示装置１は、時刻ｔ５を示す時刻情報を含むＤｅｌａｙ Ｒｅｓｐｏｎｓｅパケットを、通信部１２を介して送信する（Ｓ１７）。

表示装置２，３は、表示装置１から通信部２２を介してＤｅｌａｙ Ｒｅｓｐｏｎｓｅパケットを受信すると（Ｓ３０）、受信したＤｅｌａｙ Ｒｅｓｐｏｎｓｅパケットから時刻情報（ｔ４）を取得する（Ｓ３１）。各表示装置２，３は、取得した時刻情報に基づき、各表示装置２，３が管理する時刻と表示装置１が管理する時刻との時間差ΔＴを算出する（Ｓ３２）。ここで、時間差ΔＴは次式で算出される。

ΔＴ＝｛（ｔ２－ｔ１）＋（ｔ３－ｔ４）｝／２ （１）

そして、各表示装置２，３は、各装置２，３の現在時刻にそれぞれの時間差ΔＴｄを加算して現在時刻を修正する（Ｓ３３）。これにより、マスタ装置である表示装置１と、スレーブ装置である表示装置２，３との間で時刻同期が実現される。

以上説明したように、本実施形態に係る時刻同期方法によれば、専用のＬＡＮアクセスやパケットの送受信の際の事前ネゴシエーションを行う必要なく、従来技術に比較して高い精度で時刻同期を行うことができる。

図５Ａは図１のマルチディスプレイシステム１００においてユーザの顔の向きを判定するための顔パターンの第１の例を示す正面図であり、図５Ｂは図５Ａの顔パターンにおいてパターン認識すべき注目部分を示す正面図である。また、図６Ａは図１のマルチディスプレイシステム１００においてユーザの顔の向きを判定するための顔パターンの第２の例を示す正面図であり、図６Ｂは図６Ａの顔パターンにおいてパターン認識すべき注目部分を示す正面である。さらに、図７Ａ～図７Ｄは図１のマルチディスプレイシステム１００においてユーザの顔の向きを判定するときの顔の向きの各一例を示す図である。以下、図５Ａ～図７Ｄを参照して、図２の制御部１０の顔向き検出及びスクリーン正面判定部１０６の処理について以下に説明する。

顔向き検出及びスクリーン正面判定部１０６は、図５Ａ又は図６Ａのユーザ８０の顔画像を、カメラ４を用いて撮影し、当該撮影した顔画像のうち、図５Ｂ又は図６Ｂに示す例えば目、鼻、耳、口を例えばパターン認識法等の画像錦により目、鼻、耳、口の各位置を認識する。次いで、これらのうちの少なくとも複数の位置関係からユーザ８０の顔の向きを判定する。

図７Ａはユーザ８０が顔の向きが前向きである場合の一例であり、図７Ｂはユーザ８０が顔の向きが左向きである場合の一例であり、図７Ｃはユーザ８０が顔の向きが右向きである場合の一例であり、図７Ｄはユーザ８０が顔の向きが後向きである場合の一例である。複数のユーザ８０の各個人の顔の向きを判定した後、そのうちの多数のユーザ８０の顔の向きを判定して、当該顔の向きを正面スクリーン（１Ｓ，２Ｓ，３Ｓのうちの１つ）として判定する。

ユーザ８０がマルチディスプレイシステム１００において現在見ているパノラマ画像の中で検索したい動画（又は静止画）について、動画等を検索し、これを例えば注視画像として設定することについて以下に説明する。

ユーザ８０は例えば以下のいずれかの方法を用いて、動画検索部１０７により動画検索を行う。
（１）ユーザ８０は、小型端末装置１５のディスプレイキーボード等を用いて、動画検索すべき検索対象物のキーワードの文字を入力し、音声入力し、もしくは表示画像中で位置指定する。当該データは小型端末装置１５により認識された後、小型端末装置１５から無線通信部１４を介して動画検索部１０７に入力される。
（２）ユーザ８０は、マイクロホン５に対して、動画検索すべき検索対象物のキーワードを発声して入力する。当該データは、音声認識された後、動画検索部１０７に入力される。

その後の処理は、図８を参照して説明する。

図８は図１の表示装置１，２，３により実行される動画ダウンロード（ＤＬ）処理、及びサーバ装置９により実行される動画配信処理を示すフローチャートである。ここで、動画ダウンロード（ＤＬ）処理は、表示装置１による動画ダウンロード（ＤＬ）処理（図１１のＳ７０）と、表示装置２による動画ダウンロード（ＤＬ）処理（図１１のＳ７０Ａ）と、表示装置３による動画ダウンロード（ＤＬ）処理（図１１のＳ７０Ｂ）とを含む。

図８において、まず、ユーザ８０は、小型端末装置１５又はマイクロホン５を用いて、動画検索すべき検索対象物のキーワードを入力し（Ｓ４１）、動画検索部１０７は、入力された検索対象物のキーワードを含むデータの検索指示を、図２の通信部１２、ＬＡＮ６、ルータ装置７及びＷＡＮ８を介してサーバ装置９に対して行う（Ｓ４２）。これに応答して、サーバ装置９は、ダウンロード（ＤＬ）用ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）情報を、ＷＡＮ８、ルータ装置７、ＬＡＮ６及び表示装置１の通信部１２を介して、動画検索部１０７に対して通知する（Ｓ５１）。なお、表示装置１の通信部１２とサーバ装置９との間の通信経路は上記の通りであり、以下詳細説明を省略する。これに応答して、動画検索部１０７は、ダウンロード（ＤＬ）用ＵＲＬ情報を受信する（Ｓ４３）。

次いで、制御コマンド受信アクセス部１０９は、ダウンロード（ＤＬ）用ＵＲＬ情報を自装置及び表示装置２，３の制御コマンド受信アクセス部２０６に対して、ＬＡＮ６を介して一斉送信する（Ｓ４４）。表示装置１の制御コマンド受信アクセス部１０９は、上記ダウンロード（ＤＬ）用ＵＲＬを含む例えばＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）の制御信号をサーバ装置９に対して送信してアクセスする（Ｓ４５）。これに応答して、サーバ装置９は表示装置１に対して対応する動画データを配信し（Ｓ５２）、表示装置１の動画受信部１１０がこれを受信することで完了する（Ｓ４６）。

また、表示装置２，３の制御コマンド受信アクセス部２０６は、上記ダウンロード（ＤＬ）用ＵＲＬを含む例えばＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）の制御信号を、図３の通信部２２、ＬＡＮ６、ルータ装置７及びＷＡＮ８を介して、サーバ装置９に対して送信してアクセスする（Ｓ４５Ａ，Ｓ４５Ｂ）。これに応答して、サーバ装置９は表示装置２，３に対して対応する動画データを、ＷＡＮ８、ルータ装置７、ＬＡＮ６及び表示装置２，３の通信部２２を介して配信し（Ｓ５２）、表示装置２，３の動画受信部２０７がこれを受信することで完了する（Ｓ４６Ａ，Ｓ４６Ｂ）。なお、表示装置２，３の通信部２２とサーバ装置９との間の通信経路は上記の通りであり、以下詳細説明を省略する。さらに、表示装置２，３の動画受信部２０７は、前記の動画データの受信完了通知を、ＬＡＮ６を介して表示装置１の動画受信部１１０に対して通知する（Ｓ４６Ｃ，Ｓ４６Ｄ）。これにより、動画受信部１１０は、自装置及び表示装置２，３がすべて動画データの受信完了したことを確認し（Ｓ４７）、当該ダウンロード処理が終了する。

次いで、図２のフレーム単位画像認識部１１２及び経緯度算出部１１３の具体的な処理について、図９Ａ～図９Ｃを参照して以下に説明する。ここで、フレーム単位画像認識部１１２は、動画検索された動画データに対してデコードされた動画データを、フレーム単位で注視画像を画像認識し、経緯度算出部１１３は前記画像認識された画像データに基づいて、注視画像に係る経緯度情報を算出することを特徴とする。すなわち、フレーム単位画像認識部１１２及び経緯度算出部１１３は、例えば人工知能（ＡＩ）を用いた深層学習法を用いて、注視画像の経緯度を算出する。

図９Ａは図２のフレーム単位画像認識部１１２及び経緯度算出部１１３の具体的な学習フェーズ処理を示すブロック図であり、図９Ｂは図２のフレーム単位画像認識部１１２及び経緯度算出部１１３の具体的な認識フェーズ処理を示すブロック図である。

図９Ａにおいて、フレーム単位画像認識部１１２は、集合データメモリ３１と、データ処理部３２と、学習用データセットメモリ３３と、機械学習部３４と、学習済みモデルメモリ３５とを備えて構成される。

図９Ａの学習フェーズでは、動画検索に用いられる複数のデータを予め収集して集合データメモリ３１に格納する。次いで、データ処理部３２は、集合データメモリ３１内の複数のデータに対して、例えば画像パターンを用いた画像認識法を用いて所定の注視画像を抽出した後、当該注視画像の重心位置の経緯度を算出することで、複数の注視画像とそれに対応する正解の重心位置の経緯度を含む学習用データセットを作成して学習用データセットメモリ３３に格納する。次いで、機械学習部３４は、学習用データセットメモリ３３に格納された複数の学習用データセットを用いて、例えば注視画像を入力することでその重心位置の経緯度を出力可能な学習済みモデルを作成して学習済みモデルメモリ３５に格納する。そして、当該学習済みモデルを用いて、認識及び経緯度算出処理を行う図９Ｂの学習済みモデル部４０を作成する。

図９Ｂの認識フェーズでは、例えばパノラマ画像等の画像を学習済みモデル部４０に入力することで、学習済みモデル部４０は、所定の注視画像の重心位置の経緯度を含む画像を出力する。すなわち、学習済みモデル部４０は、例えばパノラマ画像等の画像を入力するのみで、画像認識された注視画像の重心の経緯度を算出することができる。

図９Ｃは図２の経緯度算出部１１３の具体的な算出処理を示す画像の正面図である。また、図１０Ａは図２及び図３の映像表示視点切替部１１５，２０９の具体的な処理を示す概略図であり、図１０Ｂは図２及び図３の映像表示視点切替部１１５，２０９の具体的な処理を行うための構成斜視図である。

図１０Ｂにおいて、カメラ６２から撮影される画像は、その視野７１内で、近面７３における表示域７２ｎ、近面７３から視錐台７５の遠近面距離７５ｄだけ遠方の遠面７４における表示域７２ｆ等が存在する。図１０Ａに示すように、カメラ６２を球体６０の中心６１に載置して球体６０の表面方向に所定の表面領域のみを撮影して、球体６０の外側にある矩形の表示域７２での画像を撮影した画像が、公知の正距円筒図法を用いて変換された表示画像である。

前記のフレーム単位画像認識部１１２及び経緯度算出部１１３では、図９Ｃの例えばＡ城の注視画像を含むパノラマ画像５０は、図１０Ａ及び図１０Ｂに示すように、前記正距円筒図法を用いて正距円筒図のパノラマ画像に変換される。次いで、当該パノラマ画像の中で、ユーザ８０が検索したいＡ城の注視画像５１を、画像パターン認識法を用いて画像認識し、かつその重心５１Ｐの位置を算出することができる。

なお、図１０Ａ及び図１０Ｂでは、映像表示視点切替部１１５，２０９の処理も図示しており、球体６０の中心６１に載置されたカメラ６２の方向を変更することで、表示すべきパノラマ画像の視点を切り替えることができ、切り替え後の表示画像を生成することができる。

なお、以上の実施形態では、注視画像の重心位置を図９Ａ及び図９Ｂの深層学習による機会学習法を用いた学習済みモデル部４０により算出しているが、本開示はこれに限らず、注視画像の重心位置を所定の数式を用いて算出してもよい。

図１１は図１の表示装置１，２，３によって実行されるシーケンス処理を示すフローチャートである。図１１のシーケンス処理は、表示装置１の制御部１０により実行されるシーケンス処理と、表示装置２，３の制御部２０によって実行される各シーケンス処理とを含む。

図１１において、まず、表示装置１のＬＡＮ設定部１０１はＬＡＮ６内でのＩＰアドレスの設定等の所定のＬＡＮ設定を行う（Ｓ６１）。一方、各表示装置２，３のＬＡＮ設定部２０１はＬＡＮ６内でのＩＰアドレスの設定等の所定のＬＡＮ設定を行う（Ｓ６１Ａ，Ｓ６１Ｂ）。次いで、制御部１０は、マルチディスプレイシステム１００内のプロジェクタ（ＰＪ）の台数を確定するために、プロジェクタ検索信号を表示装置２，３の制御部２０に対してＬＡＮ６を介して送信する（Ｓ６２）。これに応答して、各表示装置２，３の制御部２０は、自装置の存在を示すプロジェクタ（ＰＪ）検索応答信号を、ＬＡＮ６を介して表示装置１の制御部１０に返信する。これに応答して、表示装置１の制御部１０は、マルチディスプレイシステム１００内でのプロジェクタの台数を確定する（Ｓ６３）。

次いで、表示装置１の時刻同期マスタ設定部１０４は、自装置をマスタ装置として起動した後（Ｓ６４）、図４の時刻同期処理を実行し（Ｓ６５）、図５Ａ～図７Ｄの顔向き検出処理及びスクリーン正面判定処理を実行し（Ｓ６６）、表示装置１，２，３のうちどの表示装置が正面スクリーンを表示するものであるかを判定して通知する（Ｓ６７）。一方、各表示装置２，３の時刻同期スレーブ設定部２０４は、自装置をスレーブ装置として起動した後（Ｓ６４Ａ，Ｓ６４Ｂ）、図４の時刻同期処理を実行する（Ｓ６５Ａ，Ｓ６５Ｂ）。

ここで、表示装置１の制御部１０は、配置設定部１０３に対して表示装置１を、パノラマ画像を例えば三分割した画像のうち例えば「正面＋２７０度」の位置範囲の分割画像を表示するように表示装置１の表示配置を設定するように指示し（Ｓ６７）、これに応答して、配置設定部１０３が指示内容に基づいて表示装置１の表示配置を設定する（Ｓ６８）。また、表示装置１の制御部１０は、表示装置２の配置設定部２０３に対して表示装置２を、パノラマ画像を例えば三分割した画像のうち例えば「正面＋１８０度」の位置範囲の分割画像を表示するように表示装置２の表示配置を設定するように指示し（Ｓ６７）、これに応答して、配置設定部２０３が指示内容に基づいて表示装置２の表示配置を設定する（６８Ａ）。さらに、表示装置１の制御部１０は、表示装置３の配置設定部２０３に対して表示装置３を、パノラマ画像を例えば三分割した画像のうち例えば「正面」の位置範囲の分割画像を表示するように表示装置３の表示配置を設定するように指示し（Ｓ６７）、これに応答して、配置設定部２０３が指示内容に基づいて表示装置３の表示配置を設定する（Ｓ６８Ｂ）。

次いで、表示装置１の動画検索部１０７は図８の動画検索処理を実行し（Ｓ６９）、動画受信部１１０は図８の動画ダウンロード（ＤＬ）処理を実行して動画データを受信し（Ｓ７０）、動画デコード部１１１はダウンロードされた動画データを１フレームずつデコードする（Ｓ７１）。また、表示装置２の動画受信部２０８は図８の動画ダウンロード（ＤＬ）処理を実行して動画像データを受信し（Ｓ７０Ａ）、動画デコード部２０８はダウンロードされた動画データを１フレームずつデコードする（Ｓ７１Ａ）。
さらに、表示装置３の動画受信部２０８は図８の動画ダウンロード（ＤＬ）処理を実行して動画像データを受信し（Ｓ７０Ｂ）、動画デコード部２０８はダウンロードされた動画データを１フレームずつデコードする（Ｓ７１Ｂ）。

次いで、表示装置１のフレーム単位画像認識部１１２及び経緯度算出部１１３は、図９Ａ～図９Ｃのフレーム単位画像認識及び経緯度算出処理を実行し（Ｓ７２）、算出された経緯度情報に対して、動画データの再生開始時刻を示すタイムスタンプを付加して自装置及び表示装置２，３に対して通知する（Ｓ７３）。

表示装置１の映像表示視点切替部１１５は、受信したタイムスタンプの指定時刻で動画データの再生を開始して図１０Ａ～図１０Ｂの映像表示視点切替処理を実行する（Ｓ７４）。そして、すべての動画データをダウンロードしたか否かが判断され（Ｓ７５）、ＮＯのときはステップＳ７１に戻る一方、ＹＥＳのときは当該シーケンス処理を終了する。また、表示装置２の映像表示視点切替部２０９は、受信したタイムスタンプの指定時刻で動画データの再生を開始して図１０Ａ～図１０Ｂの映像表示視点切替処理を実行する（Ｓ７４Ａ）。そして、すべての動画データをダウンロードしたか否かが判断され（Ｓ７５Ａ）、ＮＯのときはステップＳ７１Ａに戻る一方、ＹＥＳのときは当該シーケンス処理を終了する。さらに、表示装置３の映像表示視点切替部２０９は、受信したタイムスタンプの指定時刻で動画データの再生を開始して図１０Ａ～図１０Ｂの映像表示視点切替処理を実行する（Ｓ７４Ｂ）。そして、すべての動画データをダウンロードしたか否かが判断され（Ｓ７５Ｂ）、ＮＯのときはステップＳ７１Ｂに戻る一方、ＹＥＳのときは当該シーケンス処理を終了する。

以上説明したように、本実施形態によれば、パノラマ画像の中の所定の注視領域を常に正面の表示装置に投写させ続けることが可能となる。

（実施形態２）
図１２は実施形態２に係るマルチディスプレイシステム２００の構成例を示すブロック図である。図１２のマルチディスプレイシステム２００は、図１のマルチディスプレイシステム１に比較して以下の点が異なる。
（１）プロジェクタである表示装置１及びスクリーン１Ｓに代えて、モニタ装置である表示装置１Ａを備える。
（２）プロジェクタである表示装置２及びスクリーン２Ｓに代えて、モニタ装置である表示装置２Ａを備える。
（３）プロジェクタである表示装置３及びスクリーン３Ｓに代えて、モニタ装置である表示装置３Ａを備える。

ここで、各表示装置１Ａ，２Ａ，３Ａの表示部は、例えば、液晶ディスプレイパネル、有機ＥＬディスプレイパネル又はＬＥＤパネルなどのモニタ装置で構成される。

以上のように構成された実施形態２に係るマルチディスプレイシステム２００は、実施形態１に係るマルチディスプレイシステム１００と同様の作用効果を有する。

（変形例）
以上の実施形態１及び２では、３個の表示装置１，２，３又は１Ａ，２Ａ，３Ａについて説明しているが、本開示はこれに限らず、２個の以上の表示装置を備えるマルチディスプレイシステムを構成してもよい。なお、表示装置の個数に応じてパノラマ画像の分割個数が設定される。

以上の実施形態において、パノラマ画像における注視画像の重心の経緯度情報を算出しているが、本開示はこれに限らず、パノラマ画像における注視画像の所定の箇所（四角のうちの少なくとも１つなど）の位置情報であってもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。

従って、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

以上詳述したように、本開示によれば、本実施形態によれば、パノラマ画像の中の所定の注視領域を常に正面の表示装置に投写させ続けることに有用である。

１，２，３，１Ａ，２Ａ，３Ａ 表示装置
１Ｓ．２Ｓ．３Ｓ スクリーン
４ カメラ
５ マイクロホン
６ ローカルエリアネットワーク（ＬＡＮ）
７ ルータ装置
８ ワイドエリアネットワーク（ＷＡＮ）
９ サーバ装置
１０ 制御部
１１ 記憶部
１２ 通信部
１３ 表示部
１４ 無線通信部
１５ 小型端末装置
２０ 制御部
２１ 記憶部
２２ 通信部
２３ 表示部
３１ 集合データメモリ
３２ データ処理部
３３ 学習用データセットメモリ
３４ 機械学習部
３５ 学習済みモデルメモリ
４０ 学習済みモデル部
５０ パノラマ画像
５１ 注視画像
５１Ｐ 重心
６０ 球体
６１ 中心
６２ カメラ
７１ 視野
７２，７２ｆ，７２ｎ 表示域
７３ 近面
７４ 遠面
７５ 視錐台
７５ｄ 遠近面距離
８０ ユーザ
１０１ ＬＡＮ設定部
１０２ プロジェクタ検索部
１０３ 配置設定部
１０４ 時刻同期マスタ設定部
１０５ 時刻同期部
１０６ 顔向き検出及びスクリーン正面判定部
１０７ 動画検索部
１０８ 制御コマンド一斉配信部
１０９ 制御コマンド受信アクセス部
１００，２００ マルチディスプレイシステム
１１０ 動画受信部
１１１ 動画デコード部
１１２ フレーム単位画像認識部
１１３ 経緯度算出部
１１４ タイムスタンプ生成部
１１５ 映像表示視点切替部
２０１ ＬＡＮ設定部
２０２ プロジェクタ検索応答部
２０３ 配置設定部
２０４ 時刻同期スレーブ設定部
２０５ 時刻同期部
２０６ 制御コマンド受信アクセス部
２０７ 動画受信部
２０８ 動画デコード部
２０９ 映像表示視点切替部

Claims (11)

1. 互いに接続された複数の表示装置を備え、パノラマ画像を表示するように制御する制御部を備えるマルチディスプレイシステムであって、
   前記制御部は、
   注視画像を含むパノラマ画像データを、正距円筒図法を用いて正距円筒図の画像データに変換し、
   前記正距円筒図の画像データの画像において、画像認識法を用いて前記注視画像を特定し、前記特定した注視画像の位置情報を算出し、前記注視画像の位置情報に対して前記画像データの表示開始時刻を付加して前記各表示装置に通知し、
   前記注視画像の位置情報及び前記表示開始時刻に基づいて、前記注視画像が、前記複数の表示装置のうち正面表示装置として設定された表示装置において表示されるように、前記パノラマ画像を、前記各表示装置を用いて表示させる、マルチディスプレイシステム。
2. 前記パノラマ画像は、前記複数の表示装置全体で表示される、
   請求項１に記載のマルチディスプレイシステム。
3. 前記注視画像の位置情報は、前記パノラマ画像の正距円筒図の画像データにおける経緯度情報である、
   請求項１に記載のマルチディスプレイシステム。
4. 前記制御部は、複数のユーザの向きを検出し、前記複数のユーザのうちの多数のユーザが向いている表示装置を正面表示装置として設定して、前記表示開始時刻から時間同期して前記複数の表示装置全体で前記パノラマ画像を表示する、
   請求項１～３のうちのいずれか１つに記載のマルチディスプレイシステム。
5. 前記表示装置はプロジェクタである、請求項１～４のうちのいずれか１つに記載のマルチディスプレイシステム。
6. 前記表示装置はモニタ装置である、請求項１～４のうちのいずれか１つに記載のマルチディスプレイシステム。
7. 互いに接続された複数の表示装置を備え、パノラマ画像を表示するように制御する制御部を備えるマルチディスプレイシステムの制御方法であって、
   前記制御方法は、前記制御部が、
   注視画像を含むパノラマ画像データを、正距円筒図法を用いて正距円筒図の画像データに変換するステップと、
   前記正距円筒図の画像データの画像において、画像認識法を用いて前記注視画像を特定し、前記特定した注視画像の位置情報を算出し、前記注視画像の位置情報に対して前記画像データの表示開始時刻を付加して前記各表示装置に通知するステップと、
   前記注視画像の位置情報及び前記表示開始時刻に基づいて、前記注視画像が、前記複数の表示装置のうち正面表示装置として設定された表示装置において表示されるように、前記パノラマ画像を、前記各表示装置を用いて表示させるステップとを、
   含むマルチディスプレイシステムの制御方法。
8. 前記パノラマ画像は、前記複数の表示装置全体で表示される、
   請求項７に記載のマルチディスプレイシステムの制御方法。
9. 前記注視画像の位置情報は、前記パノラマ画像の正距円筒図の画像データにおける経緯度情報である、
   請求項７又は８に記載のマルチディスプレイシステムの制御方法。
10. 前記制御部が、複数のユーザの向きを検出し、前記複数のユーザのうちの多数のユーザが向いている表示装置を正面表示装置として設定して、前記表示開始時刻から時間同期して前記複数の表示装置全体で前記パノラマ画像を表示するステップをさらに含む、
    請求項７～９のいずれか１つに記載のマルチディスプレイシステムの制御方法。
11. 互いに接続された複数の表示装置を備え、パノラマ画像に含まれる注視画像の表示位置を制御する制御部を備えるマルチディスプレイシステムであって、
    前記制御部は、
    画像認識法を用いて前記パノラマ画像における前記注視画像を特定し、前記特定した注視画像の位置情報を算出し、前記注視画像の位置情報に対して前記パノラマ画像の前記複数の表示装置での表示開始時刻を付加して前記各表示装置に通知し、
    前記注視画像の位置情報及び前記表示開始時刻に基づいて、前記注視画像を、前記複数の表示装置のうち正面表示装置として設定された表示装置において表示する、マルチディスプレイシステム。

Images