JP6702779B2

JP6702779B2 - データ分配装置、画像表示システム及びデータ分配方法

Info

Publication number: JP6702779B2
Application number: JP2016081491A
Authority: JP
Inventors: 弘樹松島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-04-14
Filing date: 2016-04-14
Publication date: 2020-06-03
Anticipated expiration: 2036-04-14
Also published as: JP2017192079A

Description

本発明は、複数の表示装置に対して表示すべき画像データを転送する技術に関する。

近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルーＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）を利用するものがある。この技術では、まず、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像する。そして、その撮像画像にＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）を重畳表示した画像を液晶や有機ＥＬ等の表示デバイスを介して表示し、その表示画像をＨＭＤ装着者が観察できる。

ビデオシースルーＨＭＤは、眼鏡またはゴーグルに似た外観形状を有し、その内部に例えば液晶ディスプレイで構成された左眼用表示デバイスと右眼用表示デバイスとが配置されている。また、ステレオ画像を取得するために、例えば装着者の視点位置に近い位置にステレオビデオカメラとして左カメラ、右カメラが設けられる。そして、取得したステレオ画像を提示するために、左眼用画像および右眼用画像といった視差のある１対の画像を生成し、各画像を左眼用表示デバイスおよび右眼用表示デバイスに表示させる。視差のある画像を生成するためには、左眼と右眼の視差、つまり左カメラと右カメラの位置姿勢関係を求める必要がある。これを求める方法として、複数のテスト画像を左カメラおよび右カメラで撮影を行い、取得した撮影画像から位置姿勢関係を求めるといったことが知られている。

このようなシステムにおいてステレオ画像を提示する場合、左右両眼の２視点分の複合現実画像を描画する必要がある。これによる計算負荷を分散させるため、特許文献１には、ステレオ画像の左眼用画像および右眼用画像それぞれに対してＰＣを１台割り当てるという手法が提案されている。この構成においては、１台のＰＣは片目の視点から見た１画面分の複合現実画像を生成すればよいため、処理負荷が軽減される。このような構成では、ＨＭＤの左眼表示の入力には左眼画像用ＰＣ（マスター）からの画像出力を、ＨＭＤの右眼表示の入力には右眼画像用ＰＣ（スレーブ）からの画像出力を接続することになる。視点の位置姿勢の取得に関しては、例えば左眼視点の位置姿勢を計測する位置センサから得られた値を右眼用ＰＣに通知し、これに予め計測されている左右眼間のオフセットを加算することで計算可能である。左右の表示タイミングの同期に関しても、互いにタイミングを通信し合うことで可能である。

特開２００８−２７７９２０号公報

撮像された画像にＣＧを重畳する際の位置合わせのために、外界に配置されたマーカーを撮像し、撮像したマーカーに基づいてＨＭＤの位置姿勢を推定する技術が知られている。また、外界空間を撮像した画像中の特徴点（壁と天井の境、机の端など）を元に、ＣＧ画像の位置合わせを行うことが知られている。

このような手法によって位置合わせを行う場合、複合現実感を表現する各表示画像の生成を行う各ＰＣで相対位置を計算しＣＧ画像と使用者の位置姿勢の位置合わせを行う必要がある。つまり、マスター、スレーブ各々に対応した撮像画像を送るだけではなく、ＣＧ画像の位置合わせのための撮像画像を送る必要があるが、上述の従来技術においては、このような位置合わせの方法に対応した構成とはなっていなかった。そこで、本発明は、複数台の画像処理装置によりＣＧ画像を重畳した表示画像を生成する際に、各画像処理装置において位置合わせのための画像に基づいて、重畳するＣＧの位置合わせを行えるようにすることを目的とする。

上記課題を解決するために、本発明は、第１の表示部に表示すべき第１の表示用画像データを生成する第１の画像処理装置および、第２の表示部に表示すべき第２の表示用画像データを生成する第２の画像処理装置に接続されたデータ分配装置であって、
異なる視点より空間を撮像したことで得られる第１の画像データおよび第２の画像データと、前記第１の画像データに基づいて前記第１の表示用画像データを生成する処理に用いられる第３の画像データと、前記第２の画像データに基づいて第２の表示用画像データを生成する処理に用いるための第４の画像データと、を取得する取得手段と、
前記第１の画像データと前記第３の画像データと前記第４の画像データとを前記第１の画像処理装置に送信し、前記第２の画像データと前記第４の画像データとを前記第２の画像処理装置に送信する送信手段と、を有し、前記第１の表示用画像データおよび第２の表示用画像データを生成する処理は、前記第１の画像データおよび前記第２の画像データに対してＣＧ（Computer Graphics）を重畳する処理であって、前記第３の画像データ及び前記第４の画像データは、前記第１の画像データおよび前記第２の画像データにおいてＣＧが重畳される位置を調整するのに用いられることを特徴とする。

以上の構成によれば、本発明は、各画像処理装置において位置合わせのための画像に基づいて、重畳するＣＧの位置合わせを行うことができる。

第１の実施形態に係る画像表示システムの全体構成を示す概略図。第１の実施形態に係るＨＭＤのハードウェア構成を示すブロック図。第１の実施形態に係る分配ユニットのハードウェア構成を示すブロック図。第１の実施形態に係る画像処理装置およびコントローラのハードウェア構成を示すブロック図。第１の実施形態に係る撮像分離処理部のハードウェア構成を示すブロック図。第１の実施形態に係る撮像分離処理部による分離処理を示すフローチャート。第２の実施形態に係る分配ユニットのハードウェア構成を示すブロック図。

［第１の実施形態］
以下、本発明の第１の実施形態について、図面を参照しながら説明する。図１は、本実施形態に係る画像表示システムの全体構成を示す概略図である。本実施形態の画像表示システムは、ヘッドマウントディスプレイ（ＨＭＤ）１０、分配ユニット２０、画像処理装置３０、４０により構成される。ＨＭＤ１０に備えられた左眼用、右眼用それぞれの表示部に表示するステレオ画像は２台の画像処理装置３０、４０によって生成される。本実施形態の画像表示システムでは、画像処理装置３０が左眼用画像を生成する第１の画像処理装置（マスター）、画像処理装置４０が右眼用画像を生成する第２の画像処理装置（スレーブ）に相当する。

ＨＭＤ１０は、伝送部５０を介して分配ユニット２０に接続されている。また、分配ユニット２０は伝送部６０を介して画像処理装置３０に接続され、伝送部７０を介して画像処理装置４０に接続されている。伝送部５０、６０、７０はそれぞれ有線ケーブルに相当し、専用の通信規格に準じた高速シリアル通信が行われる。その通信には、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）規格やＤＰ（ＤｉｓｐｌａｙＰｏｒｔ）規格等の通信技術を用いればよい。なお、ＨＭＤ１０、分配ユニット２０、画像処理装置３０、４０は、Ｗｉ−Ｆｉ（ＷｉｒｅｌｅｓｓＦｉｄｅｌｉｔｙ）等のＩＥＥＥ８０２．１１規格、Ｂｌｕｅｔｏｏｔｈ（登録商標）などＩＥＥＥ８０２．１５規格で策定される無線通信を用いて接続されてもよい。

ＨＭＤ１０は、使用者の観察している視界の現実空間の撮像画像を取得するための撮像部を備える。また、撮像画像や画像処理装置３０、４０からの入力画像、また撮像画像に画像処理装置３０、４０で生成したＣＧ画像を重畳した合成画像などの表示用画像を使用者に提供するための表示部を備える。さらに、ＨＭＤ１０は、位置姿勢検出用の磁気センサやジャイロセンサ等を備えるようにしてもよい。

画像処理装置３０、４０は、コントローラ３１、４１と伝送部３２、４２を介して接続される。画像処理装置３０、４０とコントローラ３１、４１との接続形式はこのような構成に限定されるものではなく、例えば、コントローラ３１、４１を画像処理装置３０、４０のＰＣＩスロットに挿入しＰＣＩｅｘを用いて通信を行う構成としても構わない。コントローラ３１、４１は、ＨＭＤ１０から受信した撮像画像や画像処理装置３０、４０から受信した表示画像などの通信制御、および画像処理を行う。すなわち、コントローラ３１、４１は、画像の解像度変換、色空間変換、光学系の歪み補正などの各種画像処理機能、およびどの装置に画像を転送するか決定する通信制御機能を有する。

画像処理装置３０、４０は、ＨＭＤ１０から受信した撮像画像や位置姿勢情報を元にステレオ画像を生成するための位置合わせ処理部を有する。さらに、位置合わせ情報を元に使用者の視点から観察されるＣＧ画像の描画、合成を行うＣＧ描画合成部を有する。本実施形態に係る画像処理装置の詳細に関しては、後述する。なお、図１では、画像処理装置３０、４０とコントローラ３１、４１とを別々のハードウェア構成としているが、画像処理装置３０、４０とコントローラ３１、４１とが有する機能を集め、専用の画像処理装置として構成することもできる。

図２は、ＨＭＤ１０のハードウェア構成を示す図である。同図において、ＨＭＤ１０は、各機能部を制御する制御部１００を有するとともに、制御部１００に接続される左眼撮像部１０１、右眼撮像部１０２、位置合わせ画像撮像部１０３、１０４を有する。また、ＨＭＤ１０の制御部１００には、頭部位置検知部１０５、左眼表示部１０６（第１の表示部）、右眼表示部１０７（第２の表示部）などが接続されている。

左眼撮像部１０１（第１の撮像部）および右眼撮像部１０２（第２の撮像部）は、使用者の視線方向に合わせてＨＭＤ１０に取り付けられており、例えば、ＣＭＯＳイメージセンサーなどによりＨＭＤ１０の外界の画像を撮像する。位置合わせ画像撮像部１０３、１０４（第３の撮像部、第４の撮像部）は、外界に配置されたシンボル（以下、ＭＲマーカー）や空間の特徴点を撮像するためにＨＭＤ１０に取り付けられており、例えば、ＣＭＯＳイメージセンサー等が使用される。位置合わせ画像撮像部１０３、１０４によって撮像された画像は、画像処理装置３０、４０へと伝送され、特徴点抽出による位置検出、ＭＲマーカーの位置検出などに供される。そして、ＭＲマーカーを用いるシステムの場合には、ＭＲマーカーが検出された位置とＭＲマーカーのＩＤ情報とに基づき、撮像画像に合成するＣＧデータの選択やＣＧデータの重畳された表示画像の生成などが行われる。左眼撮像部１０１、右眼撮像部１０２と、位置合わせ画像撮像部１０３、１０４とは、それぞれ同じイメージセンサーを用いてもよいし、フレームレート、解像度が異なるイメージセンサーを用いても構わない。

ここで、位置姿勢関係の求める別の手法として、既知の指標（ＭＲマーカー）を用いずに、撮影画像上で輝度勾配のあるエッジや角点など自然特徴を検出し、その検出した情報を元にカメラの位置姿勢関係を推定することも知られている。例えば、自然特徴として特徴点を画像から検出する方法としては、２つの画像から特徴点を追跡する方法がある。先ず、ある位置からカメラを移動させ、初期画像で検出した特徴点から２次元的に特徴点を追跡し、初期画像と現画像の２つの画像間で特徴点周りの８×８の画素パッチを対応付ける。そして、画像座標の対応点から、２つの画像を撮影したカメラの相対的な位置姿勢と対応付けた特徴点群の３次元情報である位置とを推定する。ここで、特徴点群の３次元情報である位置と、その周辺の画像パッチを合わせてマップと呼ぶ。さらに、初めの２つの画像から算出されるマップを初期マップと呼ぶ。

算出したマップ（ここでは３次元の位置情報を持つ特徴点群）を、現在のカメラの位置姿勢に基づいて画像面に投影し、検出した特徴点と投影された特徴点との誤差を最小化するように、カメラの位置姿勢を更新する。カメラの位置姿勢が推定されており、特徴点を十分推定しているときに、キーフレームと呼ばれる画像を動画像から取得する。そして、各キーフレームで検出された特徴点を、エピポーラ線上を探索して対応付けを行う。各キーフレームのカメラ位置姿勢と特徴点群の３次元位置とを各キーフレーム上での投影誤差が最小化されるようにバンドル調整を行い、非線形最適化計算によってマップを高精度に算出する。このようにして、２つの画像から特徴点を抽出し位置姿勢を求める手法もあり、本実施形態において、このような方法を適用してもよい。

頭部位置検知部１０５は、ＨＭＤ１０の位置、姿勢を検知するものであり、例えば、ジャイロセンサ、加速度センサ、地磁気センサなどにより構成される。頭部位置検知部１０５で検知したデータは、撮像送信部１３０、１３１を経て画像処理装置３０、４０へ送信される。そして、例えば、位置合わせ画像撮像部１０３、１０４の撮影範囲外にＭＲマーカーが出た場合のＣＧ重畳位置を調整するために使用することができる。

左眼表示部１０６および右眼表示部１０７は、ＨＭＤ１０を装着した使用者に画像を提供する表示装置であり、例えば、有機ＥＬパネル、液晶パネルなどにより構成される。画像処理装置３０、４０でＣＧの合成された表示画像は、分配ユニット２０を介してＨＭＤ１０へと伝送される。そして、この表示画像を、左眼表示部１０６および右眼表示部１０７に表示することで、使用者にステレオ画像を提供する。

次に、ＨＭＤ１０の内部動作について説明する。左眼撮像部１０１、右眼撮像部１０２、位置合わせ画像撮像部１０３、１０４から制御部１００に入力される画像信号は、それぞれ画像処理部１１０、１１１、１１２、１１３を経て多重化部１２０、１２１へと送信される。画像処理部１１０、１１１、１１２、１１３は、各撮像デバイスに合わせた画像処理（例えば、色補間処理、ホワイトバランス処理、ガンマ補正処理など）を行う。

ＣＰＵ１１４は、頭部位置検知部１０５からの頭部位置検知データを入力とし、画像処理装置３０、４０への制御信号を生成する演算処理装置である。ＣＰＵ１１４は、頭部位置検知部１０５からの頭部位置検知データに基づき、画像処理装置３０、４０への通信データを生成し、多重化部１２０、１２１へと送信する。

なお、図２では、説明の簡略化のためにＣＰＵ１１４への接続は頭部位置検知部１０５のみとなっているが、構成はこれに限定されない。例えば、他のＣＭＯＳイメージセンサーやマイクなど頭部位置検知部１０５以外の外部装置が接続されている構成としてもよい。さらに、多重化部１２０、１２１へ通信データとして頭部位置検知データを用いているが、通信データとしてはこれに限定されない。例えば、音声データやＧＰＳ情報、温度湿度情報などの種々のデータが画像処理装置３０、４０と通信可能である。

多重化部１２０は、左眼撮像部１０１からの画像データと、位置合わせ画像撮像部１０３からの画像データと、ＣＰＵ１１４からの通信データの合計３系統の入力データを時分割多重化し、１つの転送信号として撮像送信部１３０へと送信する。同様に、多重化部１２１は、右眼撮像部１０２からの画像データと、位置合わせ画像撮像部１０４からの画像データと、ＣＰＵ１１４からの通信データの合計３系統の入力データを時分割多重化し、１つの転送信号として撮像送信部１３１へと送信する。ここでは、上述のような多重化部１２０、１２１を備える構成を示しているが、例えば、撮像部１０１〜１０４からの映像データを単一の多重化部へ入力する構成としてもよい。

撮像送信部１３０、１３１は、多重化部１２０、１２１にて多重化されたデジタル信号を、伝送部５０を介して分配ユニット２０へと送受信する機能を有する通信インターフェースである。本実施形態では、専用の高速シリアルインターフェースにより構成される。表示受信部１４０、１４１は、伝送部５０を介して受信にした画像データを復号化し、分配ユニット２０から受信された画像データを左眼表示部１０６および右眼表示部１０７へと送信する。これにより、ステレオ画像が左眼表示部１０６、右眼表示部１０７によって表示されるようになる。

このように、本システムでは、ＨＭＤ１０に取り付けられた撮像部１０１〜１０４によって撮像された撮像データは、分配ユニット２０を介して画像処理装置３０、４０へと伝送される。そして、撮像画像の特徴点抽出による位置情報やＭＲマーカー位置および頭部位置検知データに基づき、撮像データ（撮像画像）にＣＧデータが合成される。ＣＧデータが合成された画像は、再び分配ユニット２０を介してＨＭＤ１０へと送信され、この表示画像が左眼表示部１０６、右眼表示部１０７により表示される。これにより、使用者に現実世界と仮想世界がリアルタイムに融合した複合現実感を提供することができる。

図３は、分配ユニット２０のハードウェア構成を示す図である。分配ユニット２０は、本発明のデータ分配装置に相当し、ＨＭＤ１０から伝送部５０を介して受信された撮像画像データを受信する撮像受信部２０１、２０２と、ＨＭＤ１０へ伝送部５０を介して表示画像データを送信する表示送信部２１０、２１１とを有する。また、画像処理装置３０、４０へ撮像画像データを送信する撮像送信部２０３、２０４、２０６と、画像処理装置３０、４０から表示画像データを受信する表示受信部２１２、２１３とを有する。また、画像処理装置４０から撮像画像データを受信する撮像受信部２０５を有する。ここでは、上記の各送信部、受信部は高速シリアルを受けることのできるバッファ素子として説明するが、他の機能を搭載したＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）などの機能チップを用いても構わない。また、基板上の信号伝搬が可能なものであれば、金属メッキにより成形されたパターンのみでデータの伝送を行う方法でも構わない。

次に、分配ユニット２０の内部動作について説明する。撮像受信部２０１（第１の受信手段）は、伝送部５０を介してＨＭＤ１０から左眼撮像部１０１と位置合わせ画像撮像部１０３で撮像された画像データとが多重化されたデータを受信する。そして、撮像受信部２０１が受信したデータは、撮像送信部２０３（第１の送信手段）に送信され、伝送部６０を介して画像処理装置３０へと送信される。同様に、撮像受信部２０２（第２の受信手段）は、伝送部５０を介してＨＭＤ１０から右眼撮像部１０２と位置合わせ画像撮像部１０４で撮像された画像データとが多重化されたデータを受信する。そして、撮像受信部２０２が受信したデータは、撮像送信部２０６により、伝送部７０を介して画像処理装置４０に送信される。

撮像取得部２０５（第３の取得手段）は、伝送部７０を介して画像処理装置４０から位置合わせ画像撮像部１０４で撮像された画像データが分離された多重化データを取得する。撮像取得部２０５が取得したデータは、撮像送信部２０４（第２の送信手段）により、伝送部６０を介して画像処理装置３０に送信される。

次に、表示受信部２１２は、伝送部６０を介して画像処理装置３０から左眼表示用にＣＧを合成された画像データが多重化されたデータを受信する。表示送信部２１０が受信したデータは、伝送部５０を介してＨＭＤ１０に送信される。表示受信部２１３は伝送部７０を介して画像処理装置４０から右眼表示用にＣＧを合成された画像データが多重化されたデータを受信する。表示送信部２１０が受信したデータは、伝送部５０を介してＨＭＤ１０に送信される。

このように、分配ユニット２０は、ＨＭＤ１０から送信された撮像画像データを受信し、画像処理装置３０、４０に必要な画像データを適切に送信する。また、画像処理装置３０、４０から受信した表示画像データをＨＭＤ１０に送信し、画像処理装置４０から受信した右眼用の位置合わせ画像データを画像処理装置３０に送信する。

図４（ａ）は、本実施形態に係る画像処理装置３０およびコントローラ３１のハードウェア構成を示すブロック図であり、図４（ｂ）は本実施形態に係る画像処理装置４０およびコントローラ４１のハードウェア構成を示すブロック図である。まず、図４（ａ）において、画像処理装置３０は、伝送部６０を介して送受信された画像データの通信制御および画像処理を行うコントローラ３１と伝送部３２により接続され、受信したデータから使用者の位置情報を算出し、ＣＧ画像の描画、合成を行う。本実施形態では、伝送部３２はＰＣＩｅｘ、ＤＰインターフェースとして説明するが、そのインターフェースはＴｈｕｎｄｅｒｂｏｌｔやＵＳＢ３．１など他の高速シリアルインターフェースであってもよい。

コントローラ３１の撮像受信部３０１は、伝送部６０を介して分配ユニット２０からＨＭＤ１０の左眼撮像部１０１で撮像された画像データと位置合わせ画像撮像部１０３で撮像された画像データとが多重化されたデータを受信する。受信したデータは撮像分離処理部３０２に送信され、撮像分離処理部３０２によって左眼撮像部１０１と位置合わせ画像撮像部１０３で撮像された画像に各々分割される。なお、この画像の分離処理のフローの詳細については後述する。

分割された画像データは、各々撮像画像処理部３０３に送信され、ノイズ処理、ガンマ補正、画像フォーマット変換などの撮像画像処理が施される。その後、ＰＣＩｅｘ規格に準じたフォーマットで伝送部３２に送信される。コントローラ３１の撮像受信部３０４は、伝送部６０を介して分配ユニット２０からＨＭＤ１０の位置合わせ画像撮像部１０４で撮像された画像データが多重化されたデータを受信する。受信したデータは撮像分離処理部３０５に送信され、撮像分離処理部３０５によって位置合わせ画像撮像部１０４で撮像された画像とダミーデータとに分割される。この分離処理のフローの詳細については、後述する。

分割された画像データのうち、ダミーデータについては破棄される。なお、ダミーデータを右眼撮像部１０２で撮像データとして処理し、画像処理装置３０側で破棄するような処理にしても構わない。位置合わせ画像撮像部１０４の画像データは、撮像画像処理部３０６に送信され、ノイズ処理、ガンマ補正、画像フォーマット変換などの撮像画像処理が施される。その後、画像処理後の撮像画像はＰＣＩｅｘ規格に準じたフォーマットで伝送部３２に送信される。

次に、画像処理装置３０の位置合わせ処理部３０７は、伝送部３２を介して受信された位置合わせ画像撮像部１０３、１０４の画像データに基づいて、左眼撮像部１０１で撮像された画像のどの位置、どの向きでＣＧ画像を重畳すべきかの算出を行う。このとき算出されたパラメータは、図示しない伝送部、例えばＵＳＢやＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）等を介して画像処理装置３０から画像処理装置４０に送信され、右眼表示用の位置合わせ処理に使用される。なお、画像処理装置３０で算出されたパラメータは、分配ユニット２０等を介して画像処理装置４０に送信されるようにしてもよい。

位置合わせ処理部３０７で算出されたパラメータはＣＧ生成部３０８に送信され、ＣＧ生成部３０８はパラメータを元に描画するＣＧ画像および向き等を決定し、ＣＧ画像の生成を行う。生成されたＣＧ画像は表示合成部３０９に送信され、表示合成部３０９は、左眼撮像部１０１で撮像された画像にＣＧ生成部３０８で生成された画像を合成し、左眼用表示画像（第１の表示用画像データ）を生成する。その後、生成された合成画像はＤＰ規格に準じたフォーマットで伝送部３２に送信される。

表示画像処理部３１０は、伝送部３２を介してコントローラ３１から左眼用表示画像を受信する。表示画像処理部３１０は、ガンマ補正やシェーディング補正、歪曲収差補正など表示画像処理を施し、表示送信部３１１に送信する。表示送信部３１１は、受信した画像を専用の高速シリアルインターフェースに準じたフォーマットに変換し、伝送部６０を介して分配ユニット２０に送信する。

このように、画像処理装置３０は、受信した撮像画像を元に位置合わせパラメータの算出とＣＧ生成および左眼表示用画像の合成を行い、分配ユニット２０に左眼表示用画像を送信する。

次に、図４（ｂ）の画像処理装置４０について説明する。画像処理装置４０は、伝送部７０を介して送受信された画像データの通信制御および画像処理を行うコントローラ４１と伝送部４２により接続され、受信したデータから使用者の位置情報を算出し、ＣＧ画像の描画、合成を行う。本実施形態では、伝送部４２はＰＣＩｅｘ、ＤＰインターフェースとして説明するが、使用するインターフェースはＴｈｕｎｄｅｒｂｏｌｔやＵＳＢ３．１など他の高速シリアルインターフェースであってもよい。

コントローラ４１の撮像受信部４０２は、伝送部７０を介して分配ユニット２０からＨＭＤ１０の右眼撮像部１０２で撮像された画像データと位置合わせ画像撮像部１０４で撮像された画像データとが多重化されたデータを受信する。受信したデータは撮像分離処理部４０３に送信され、撮像分離処理部４０３によって右眼撮像部１０２と位置合わせ画像撮像部１０４で撮像された画像に各々分割される。なお、この分離処理のフローの詳細については後述する。

分割された画像データは、右眼撮像部１０２の撮像画像データは撮像送信部４０４に送信され、位置合わせ画像撮像部１０４で撮像された画像は撮像画像処理部４０１に送信される。撮像送信部４０１は、撮像分離処理部４０３から取得した画像データを専用の高速シリアルインターフェースに変換し、伝送部７０を介して分配ユニット２０に送信する。このとき、右眼撮像部１０２の撮像画像データに対応するデータ領域に関してはダミーデータ（例えば零埋め等）を付与する。また、ダミーデータではなく、後段処理で右眼撮像部１０２の撮像画像データに対応するデータ領域を無視する構成としてもよい。

撮像画像処理部４０４は、撮像分離処理部４０３から受信した右眼撮像部１０２の撮像画像データに対して、ノイズ処理、ガンマ補正、画像フォーマット変換などの撮像画像処理を施す。その後、処理された画像データは、ＰＣＩｅｘ規格に準じたフォーマットで伝送部４２に送信される。

次に、画像処理装置４０の位置合わせ処理部４０５は、図示しない伝送部を介して画像処理装置３０から受信された位置合わせパラメータを元に、右眼撮像部１０２で撮像された画像のどの位置、どの向きでＣＧ画像を重畳すべきかの算出を行う。位置合わせ処理部４０５で算出されたパラメータはＣＧ生成部４０６に送信され、ＣＧ生成部４０６はパラメータを元に描画するＣＧ画像および向き等を決定し、ＣＧ画像の生成を行う。生成されたＣＧ画像は表示合成部４０７に送信され、表示合成部４０７は、右眼撮像部１０２で撮像された画像にＣＧ生成部４０６で生成された画像を合成し、右眼用表示画像（第２の表示用画像データ）を生成する。その後、生成された合成画像はＤＰ規格に準じたフォーマットで伝送部４２に送信される。

表示画像処理部４０８は、伝送部４２を介して画像処理装置４０から右眼用表示画像を受信する。表示画像処理部４０８は、ガンマ補正やシェーディング補正、歪曲収差補正など表示画像処理を施し、表示送信部４０９に送信する。表示送信部４０９は、受信した画像を専用の高速シリアルインターフェースに準じたフォーマットに変換し、伝送部７０を介して分配ユニット２０に送信する。

このように、画像処理装置４０は、受信した撮像画像、位置合わせパラメータを元にＣＧ生成および右眼表示用画像の合成を行い、分配ユニット２０に右眼表示用画像を送信する。

図５は、コントローラ３１、４１に構成されている撮像分離処理部３０２のハードウェア構成を示すブロック図である。ここでは、撮像分離処理部３０２、３０５、４０３は同一の構成であるため、撮像分離処理部３０２について説明する。撮像分離処理部３０２は、受信した撮像画像データを分割、分離する画像分離処理部５０１と、分離された画像データをバッファリングするＦＩＦＯ５０２、５０３と、ＦＩＦＯ５０３に格納された画像データの送信先を制御する送信制御部５０４とを有する。

次に、撮像分離処理部３０２の内部動作の処理フローについて、図６を用いて説明する。図６は、本実施形態に係る撮像分離処理部３０２による分離処理を示すフローチャートである。まず、ステップＳ１０１において、撮像分離処理部３０２は、画像分離処理部５０１に受信画像があるか判断する。

受信画像がない場合（ステップＳ１０１でＮｏ）、画像データを受信するまで画像データ受信の検知を行う。受信画像がある場合（ステップＳ１０１でＹｅｓ）、処理はステップＳ１０３に進み、画像分離処理部５０１は、受信画像を第１の送信画像と第２の送信画像とに分割する。画像の分割には、多重化時に決められた識別子を判断して分割してもよいし、決められた該当のビット数をカウントし判断して分割してもよい。また、本実施形態では、第１の送信画像は左眼撮像部１０１、右眼撮像部１０２で撮像した画像データであり、第２の送信画像は位置合わせ画像撮像部１０３、１０４で撮像した画像データである。

続いてステップＳ１０５において、画像分離処理部５０１は、第１の送信画像をＦＩＦＯ５０２に送信し、第２の送信画像をＦＩＦＯ５０３に送信する。ＦＩＦＯ５０２は、第１の送信画像を受信すると、順次、撮像画像処理部３０３に送信する。なお、撮像分離処理部３０５、４０３の場合には、撮像画像処理部３０６、４０４に順次、第１の送信画像を送信する。

一方、ＦＩＦＯ５０３は、送信制御部５０４の指示に応じて送信先を選択する。送信制御部５０４には、制御信号として、ＨＭＤ１０もしくは分配ユニット２０から伝送部６０、７０を介して、電気的にＨｉ，Ｌｏｗ切り替え可能な物理的なビット入力とするデジタル信号が直接入力される。なお、制御信号は、送信された多重化データに付与されて送信される構成としても構わない。ステップＳ１０７において、送信制御部５０４は、入力される制御信号が‘０’であるかを判断する。

入力される制御信号が‘０’の場合（ステップＳ１０７でＹｅｓ）、送信制御部５０４は、ＦＩＦＯ５０３に第２の送信画像を撮像送信部４０１に送信するように指示をする。そして、指示を受けたＦＩＦＯ５０３は、ステップＳ１０９で、バッファした画像データを撮像送信部４０１に送信する。一方、入力される制御信号が‘１’の場合（ステップＳ１０７でＮｏ）、送信制御部５０４は、ＦＩＦＯ５０３に第２の送信画像を撮像画像処理部３０３、３０６、４０４に送信するように指示をする。指示を受けたＦＩＦＯ５０３は、ステップＳ１１１で、バッファした画像データを撮像画像処理部３０３（または、３０６、４０４）に送信する。以上で、撮像分離処理部３０２による分離処理を終了する。

以上、本実施形態の構成によれば、分配ユニット２０によって画像処理装置３０に位置合わせ用の右眼表示画像を送信することが可能となり、特徴点抽出等による位置合わせによって仮想空間と現実空間との合成画像を使用者に提供することができる。

なお、本実施形態では、ＨＭＤに使用される左眼、右眼の画像をそれぞれ多重化して送信する構成を例にして説明を行ったが、本発明はすべての画像をまとめて多重化する構成にも適用可能である。また、ＨＭＤに限らずプロジェクタやディスプレイなど複数の表示装置を使用するシステムにも広く適用できる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。上述の第１の実施形態では、コントローラ３１、４１が撮像分離処理部を有する構成について説明をしたが、本実施形態は、分配ユニットに撮像分離処理部を有するものである。なお、第１の実施形態において既に説明をした構成については同一の符号を付し、その説明は省略する。

図７は、第２の実施形態に係る分配ユニット２０のハードウェア構成を示すブロック図である。分配ユニット２０は、ＨＭＤ１０から伝送部５０を介して受信された撮像画像データを受信する撮像受信部２０１、２０２と、ＨＭＤ１０へ伝送部５０を介して表示画像データを送信する表示送信部２１０、２１１とを有する。また、画像処理装置３０、４０へ撮像画像データを送信する撮像送信部２０３、２０４、２０６と、画像処理装置３０、４０から表示画像データを受信する表示受信部２１２、２１３とを有する。そして、受信した撮像画像データを分割する撮像分離処理部６０１を有する。

次に、分配ユニット２０の内部動作について説明する。撮像取得部２０１は、伝送部５０を介してＨＭＤ１０から、左眼撮像部１０１で撮像された画像データと位置合わせ画像撮像部１０３で撮像された画像データとが多重化されたデータを取得する。撮像取得部２０１が取得したデータは、撮像送信部２０３に送信され、伝送部６０を介して画像処理装置３０に送信される。撮像取得部２０２は、伝送部５０を介してＨＭＤ１０から、右眼撮像部１０２で撮像された画像データと位置合わせ画像撮像部１０４で撮像された画像データとが多重化されたデータを取得する。撮像取得部２０２が取得したデータは、撮像分離処理部６０１に送信され、図６で説明したフローの通りに処理が行なわれる。撮像分離処理部６０１は、分割したデータのうち、右眼撮像部１０２の撮像画像データを撮像送信部２０６に送信する。その後、その撮像画像データは伝送部６０を介して画像処理装置３０に送信される。また、位置合わせ画像撮像部１０４で撮像された画像は、撮像送信部２０４に送信され、伝送部７０を介して画像処理装置４０に送信される。その他の動作は、第１の実施形態と同様であるため説明を省略する。

なお、本実施形態において説明した構成は、ＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）やＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）によって構成することができる。

このように、本実施形態では、分配ユニット２０はＨＭＤ１０から送信された撮像画像データを受信し、画像処理装置３０、４０に必要な画像データを適切に送信する。また、画像処理装置３０、４０から受信した表示画像データをＨＭＤ１０に送信し、画像処理装置４０から受信した右眼用の位置合わせ画像データを画像処理装置３０に送信することができる。

［その他の実施形態］
本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読出し実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０ＨＭＤ
２０分配ユニット
３０、４０画像処理装置
１０１左眼撮像部
１０２右眼撮像部
１０３、１０４位置合わせ画像撮像部
２０１、２０２撮像受信部
２１０、２１１撮像送信部

Claims

第１の表示部に表示すべき第１の表示用画像データを生成する第１の画像処理装置および、第２の表示部に表示すべき第２の表示用画像データを生成する第２の画像処理装置に接続されたデータ分配装置であって、
異なる視点より空間を撮像したことで得られる第１の画像データおよび第２の画像データと、前記第１の画像データに基づいて前記第１の表示用画像データを生成する処理に用いられる第３の画像データと、前記第２の画像データに基づいて第２の表示用画像データを生成する処理に用いるための第４の画像データと、を取得する取得手段と、
前記第１の画像データと前記第３の画像データと前記第４の画像データとを前記第１の画像処理装置に送信し、前記第２の画像データと前記第４の画像データとを前記第２の画像処理装置に送信する送信手段と、
を有し、
前記第１の表示用画像データおよび第２の表示用画像データを生成する処理は、前記第１の画像データおよび前記第２の画像データに対してＣＧ（Computer Graphics）を重畳する処理であって、
前記第３の画像データ及び前記第４の画像データは、前記第１の画像データおよび前記第２の画像データにおいてＣＧが重畳される位置を調整するのに用いられることを特徴とするデータ分配装置。
前記第１の表示部および前記第２の表示部を有する画像表示装置に更に接続され、
前記画像表示装置は、使用者の頭部に装着されて使用されることを特徴する請求項１に記載のデータ分配装置。
前記画像表示装置において、前記第１の表示部および前記第２の表示部は、いずれかが左眼用もう片方が右眼用に設置されたディスプレイであることを特徴する請求項２に記載のデータ分配装置。
前記第１の画像処理装置は、前記第３の画像データおよび第４の画像データから検出された前記空間に設けられたマーカーの情報に基づいて、前記第１の画像データに対してＣＧを重畳する位置を調整することを特徴とする請求項１から３のいずれか１項に記載のデータ分配装置。
前記第１の画像処理装置は、前記第３の画像データおよび第４の画像データから検出された前記空間の特徴点の情報に基づいて、前記第１の画像データに対してＣＧを重畳する位置を調整することを特徴とする請求項１から３のいずれか１項に記載のデータ分配装置。
前記第１の画像処理装置は、前記第１の画像データに対してＣＧを重畳する位置を調整した際のパラメータを前記第２の画像処理装置に送信し、
前記第２の画像処理装置は、前記パラメータに基づいて、前記第２の画像データに対してＣＧを重畳する位置を調整することを特徴とする請求項１から５のいずれか１項に記載のデータ分配装置。
前記取得手段は、前記第１の画像データと前記第３の画像データとが多重化されたデータを取得する第１の取得手段と、前記第２の画像データと前記第４の画像データとが多重化されたデータを取得する第２の取得手段と、を有することを特徴とする請求項１から６のいずれか１項に記載のデータ分配装置。
前記第２の画像処理装置は、前記第２の画像データと前記第４の画像データとが多重化されたデータを分離する分離処理手段を有し、
前記データ分配装置は、前記分離された第４の画像データを取得する第３の取得手段を有し、
前記送信手段は、前記第１の画像データと前記第３の画像データとを前記第１の画像処理装置に送信する第１の送信手段と、前記分離された第４の画像データを前記第１の画像処理装置に送信する第２の送信手段と、を有することを特徴とする請求項７に記載のデータ分配装置。
前記第２の画像データと前記第４の画像データとが多重化されたデータを分離する分離処理手段と、
前記分離された第４の画像データを取得する第３の取得手段と、を更に有し、
前記送信手段は、前記第１の画像データと前記第３の画像データとを前記第１の画像処理装置に送信する第１の送信手段と、前記分離された第４の画像データを前記第１の画像処理装置に送信する第２の送信手段と、を有することを特徴とする請求項７に記載のデータ分配装置。
第１の表示部および第２の表示部を有する画像表示装置と、
前記第１の表示部に表示すべき第１の表示用画像データを生成する第１の画像処理装置と、前記第２の表示部に表示すべき第２の表示用画像データを生成する第２の画像処理装置と、データ分配装置と、を備え、
前記データ分配装置は、
異なる視点より空間を撮像したことで得られる第１の画像データおよび第２の画像データと、前記第１の画像データに基づいて前記第１の表示用画像データを生成する処理に用いられる第３の画像データと、前記第２の画像データに基づいて第２の表示用画像データを生成する処理に用いるための第４の画像データと、を取得する取得手段と、
前記第１の画像データと前記第３の画像データと前記第４の画像データとを前記第１の画像処理装置に送信し、前記第２の画像データと前記第４の画像データとを前記第２の画像処理装置に送信する送信手段と、
を有し、
前記第１の表示用画像データおよび第２の表示用画像データを生成する処理は、前記第１の画像データおよび前記第２の画像データに対してＣＧ（Computer Graphics）を重畳する処理であって、
前記第３の画像データ及び前記第４の画像データは、前記第１の画像データおよび前記第２の画像データにおいてＣＧが重畳される位置を調整するのに用いられることを特徴とする画像表示システム。
前記画像表示装置は、使用者の頭部に装着されて使用されるヘッドマウントディスプレイであって、前記第１の表示部および前記第２の表示部は、いずれかが左眼用もう片方が右眼用に設置されたディスプレイであることを特徴する請求項１０に記載の画像表示システム。
第１の表示部に表示すべき第１の表示用画像データを生成する第１の画像処理装置、および、第２の表示部に表示すべき第２の表示用画像データを生成する第２の画像処理装置に接続された装置における情報処理方法であって、
異なる視点より空間を撮像したことで得られる第１の画像データおよび第２の画像データと、前記第１の画像データに基づいて前記第１の表示用画像データを生成する処理に用いられる第３の画像データと、前記第２の画像データに基づいて第２の表示用画像データを生成する処理に用いるための第４の画像データと、を取得するステップと、
前記第１の画像データと前記第３の画像データと前記第４の画像データとを前記第１の画像処理装置に送信し、前記第２の画像データと前記第４の画像データとを前記第２の画像処理装置に送信するステップと、
を有し、
前記第１の表示用画像データおよび第２の表示用画像データを生成する処理は、前記第１の画像データおよび前記第２の画像データに対してＣＧ（Computer Graphics）を重畳する処理であって、
前記第３の画像データ及び前記第４の画像データは、前記第１の画像データおよび前記第２の画像データにおいてＣＧが重畳される位置を調整するのに用いられることを特徴とする情報処理方法。
前記第１の表示部および前記第２の表示部は、いずれかが、使用者の頭部に装着されて使用されるヘッドマウントディスプレイにおいて左眼用に設置されたディスプレイであって、もう片方が前記ヘッドマウントディスプレイにおいて右眼用に設置されたディスプレイであることを特徴する請求項１２に記載の情報処理方法。