[第1の実施形態]
以下、本発明の第1の実施形態について、図面を参照しながら説明する。図1は、撮像機能付表示装置を利用したMRシステムの装置構成を示す図である。
撮像機能付表示装置を利用したMRシステムは、HMD(Head Mounted Display)101、コントローラ102、PC103から構成される。HMD101は、使用者の観察している視界の現実空間の撮像画像を取得するための撮像部を有する。また、撮像画像やPC103からの入力画像、または撮像画像にPC103で生成したCG画像を重畳した合成画像などの表示用画像を装着者に提供するための表示部を有する。図1では、HMD101とコントローラ102間を有線接続としているが、これは無線接続でもよい。HMD101は、コントローラ102からの電源供給を受けて駆動することも、バッテリーで駆動することも可能である。HMD101、コントローラ102、PC103のいずれかには、HMD装着者の三次元位置姿勢情報を生成するための位置姿勢情報生成部を有する。三次元位置姿勢情報は、HMDの撮像部、あるいは別途設置した客観カメラで取得した画像情報や、加速度センサやジャイロセンサ、磁気センサ等の各種センサ情報を用いて生成する。コントローラ102と接続されたPC103は、三次元位置姿勢情報に基づき、HMD装着者の視点から観察されるCG画像の描画、合成を行うCG描画合成部を有する。コントローラ102は、画像の解像度変換、色空間変換、光学系の歪み補正、画像符号化等の各種画像処理機能、及び伝送機能を備えている。図1では、コントローラ102とPC103を別々のハードウェア構成としているが、コントローラ102とPC103がそれぞれ有する機能を集め、専用の画像処理装置104として構成することも可能である。以降の説明では機能的な観点から、コントローラ102とPC103がそれぞれ有する機能を組み合わせたものを画像処理装置104として表記して説明する。
図2は、MRシステムにおける画像合成について説明する図である。撮像画像201はHMDの撮像部で現実空間を撮像した画像である。MRシステム用のHMDにおいては、撮像部の撮像範囲の中心光軸が、HMD装着者の視線方向に略一致するように配置されることが好ましい。撮像画像中のマーカー202は、HMD装着者の位置姿勢を算出するために用いられる指標である。CG画像203は、画像処理装置内のCG描画合成部で位置姿勢情報に基づいて描画された画像であり、仮想空間のCGオブジェクト204が描画されている。CG描画合成部において、撮像画像201にCG画像203を重畳して、MR画像205を生成し、HMDの表示部で表示することにより、HMD装着者にMR空間を提供することができる。画像合成の際に、三次元空間上の奥行きに関する情報を利用することにより、CG画像を透過させた半透明合成画像を生成することも可能である。
図3は、本発明の第1の実施形態における画像処理システムの構成の一例を示す図である。本発明の第1の実施形態における画像処理システムは、以下の構成を有するHMD101、及び画像処理装置104で構成される。HMD101は、撮像部301、位置姿勢センサ302、HMD側撮像画像処理部303、HMD側間引処理部304、HMD側撮像画像制御部305、HMD側共通撮像画像処理部306を有する。また、HMD側I/F(インタフェース)307、HMD側共通表示画像処理部320、HMD側表示画像制御部321、表示フレームメモリ322、HMD側表示画像処理部323、表示部324を有する。
画像処理装置104は、装置側I/F308、装置側共有撮像画像処理部309、装置側撮像画像制御部310を有する。また、撮像フレームメモリ311、装置側撮像画像処理部312、位置姿勢情報生成部313、コンテンツDB(データベース)314、CG描画合成部315、装置側表示画像処理部316を有する。また、装置側間引処理部317、装置側表示画像制御部318、装置側共通表示画像処理部319を有する。
HMD側I/F307及び装置側I/F308は、それぞれ送信部と受信部を有する。また、各ブロック名の末尾のL、またはRの表記は、それぞれ左目用動画像データの処理、右目用動画像データの処理を行うことを意味する。
HMD101の撮像部301は、HMD装着者の左目、右目のそれぞれの視線位置と略一致した視差を有するステレオ画像として、現実空間の撮像画像を取得する。撮像部は撮像デバイスと撮像光学系から構成され、撮像デバイスとしては、例えば、CMOSイメージセンサ、CCDイメージセンサなどが使用される。
位置姿勢センサ302は、HMD装着者の視点の位置、方向に関する三次元位置姿勢情報を算出するための情報を取得する。この位置姿勢センサ503としては、例えば、客観カメラや、磁気センサ、加速度センサ、角速度センサ等が使用される。位置姿勢センサ503は、必ずしもHMD101内に有している必要はなく、例えば、HMD装着者の周囲に設置した客観カメラの撮像画像から必要な情報を得る構成でもよい。
HMD側撮像画像処理部303は、撮像部で取得された左目用撮像画像、右目用撮像画像に対して、複数の画像処理回路によって画像処理を行う。左目用撮像画像に対する画像処理と右目用撮像画像に対する画像処理は、別々の処理回路によって並列処理により実行される。ここで行われる画像処理としては、左目用撮像画像と右目用撮像画像で別々のパラメータを用いる処理が望ましい。例えば、画素欠陥補正やガンマ補正、あるいは撮像光学系の歪み補正といった撮像デバイスや撮像光学系の個体バラツキを補正する処理が挙げられる。
HMD側間引処理部304は、左目用撮像画像、右目用撮像画像に対して、データ量を削減するためのフレーム間引処理を行う。フレーム間引処理は、いわゆるフレームレート変換のようなデータ量削減と同時にフレームの周期自体が変更されるものではなく、フレーム周期は入出力間で変更せずに、後段へ送るフレーム数を削減することにより動画像データ量を削減するものである。
HMD側撮像画像制御部305は、HMD側間引処理部によるフレーム間引処理の間隔、タイミングの制御、及びフレーム間引処理後の左目用、右目用の撮像画像をフレーム単位での時分割で後段のHMD側共通撮像画像処理部306へ送る制御を行う。ここで、フレーム間引処理後の左目用、右目用の撮像画像のフレーム数の合計は、後段の画像処理部で処理可能なフレーム数、及びHMD側I/F307で送信可能なフレーム数に収まるように制御される。
HMD側共通撮像画像処理部306は、フレーム間引処理後の左目用、右目用の撮像画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、例えば、解像度変換や色空間変換、あるいは画像符号化などのような左目用撮像画像と右目用撮像画像で同一のパラメータを用いることのできる処理が望ましい。
HMD側I/F307は、画像処理装置104の装置側I/F308との通信により、左目用撮像画像、右目用撮像画像、及び位置姿勢センサ302で取得したセンサ情報の送信を行う。また、表示部324で表示するための表示画像の受信、その他制御信号の送受信も行う。
HMD側共通表示画像処理部320は、フレーム間引処理後の左目用、右目用の表示画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、例えば、解像度変換や色空間変換、あるいは画像復号化などのような左目用表示画像と右目用表示画像で同一のパラメータを用いることのできる処理が望ましい。
HMD側表示画像制御部321は、フレーム間引処理後の左目用、右目用の表示画像から、表示部324において表示可能なフレームレートを有する左目用、右目用の表示画像の再構成を行う。具体的には、フレーム間引処理後の左目用、右目用の表示画像を、それぞれ左目用、右目用の表示フレームメモリ322に分配、格納し、表示部324でのフレームレートに合わせて、最新の表示画像を表示フレームメモリから出力する制御を行う。
表示フレームメモリ322は、左目用表示画像、右目用表示画像をそれぞれ格納し、HMD側表示画像制御部321の制御に基づき、HMD側表示画像処理部323に表示画像を出力する。
HMD側表示画像処理部323は、左目用表示画像、右目用表示画像に対して、複数の画像処理回路によって画像処理を行う。左目用表示画像に対する画像処理と右目用表示画像に対する画像処理は、別々の処理回路によって並列処理により実行される。ここで行われる画像処理としては、左目用表示画像と右目用表示画像で別々のパラメータを用いる処理が望ましい。例えば、オフセット調整やゲイン調整、あるいは表示光学系の歪み補正といった表示デバイスや表示光学系の個体バラツキを補正する処理が挙げられる。
表示部324は、CGが重畳されたMR画像をHMD装着者の左目、右目にそれぞれ表示するものである。図3では省略しているが、表示部324は、表示デバイスと表示光学系から構成される。この表示デバイスとしては、例えば、小型の液晶ディスプレイや有機ELディスプレイ、MEMSによる網膜スキャンタイプのデバイスなどが使用される。
画像処理装置104の装置側I/F308は、HMD101のHMD側I/F307との通信により、左目用撮像画像、右目用撮像画像、及び位置姿勢センサ302で取得したセンサ情報の受信を行う。また、表示部324で表示するための表示画像の送信、その他制御信号の送受信を行う。
装置側共通撮像画像処理部309は、フレーム間引処理後の左目用、右目用の撮像画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、例えば、解像度変換や色空間変換、あるいは画像復号化などのような左目用撮像画像と右目用撮像画像で同一のパラメータを用いることのできる処理が望ましい。
装置側撮像画像制御部310は、フレーム間引処理後の左目用、右目用の撮像画像をそれぞれ左目用、右目用の撮像フレームメモリ311に分配する。そして、表示部324において表示可能なフレームレートに合わせて、撮像フレームメモリ311から撮像画像を出力する制御を行う。
撮像フレームメモリ311は、左目用撮像画像、右目用撮像画像をそれぞれ格納し、装置側撮像画像制御部310の制御に基づき、装置側撮像画像処理部312に撮像画像を出力する。
装置側撮像画像処理部312は、撮像フレームメモリ311から出力された左目用撮像画像、右目用撮像画像に対して、複数の画像処理回路によって画像処理を行う。左目用撮像画像に対する画像処理と右目用撮像画像に対する画像処理は、別々の処理回路によって並列処理により実行される。ここで行われる画像処理としては、HMD側撮像画像処理部303と同様に、左目用撮像画像と右目用撮像画像で別々のパラメータを用いる処理が望ましい。また、処理負荷や処理順序を鑑みて、装置側撮像画像処理部312と、HMD側撮像画像処理部303との間で実行する画像処理をそれぞれ分散させてもよい。
位置姿勢情報生成部313は、位置姿勢センサ302で取得したセンサ情報や、撮像部301で取得した撮像画像情報、あるいはその両方の情報からHMD101の三次元位置姿勢情報を算出する。
コンテンツDB314は、CG描画用のコンテンツを格納するデータベースである。CG描画合成部315は、三次元位置姿勢情報に基づいて、CG画像の描画、及び撮像画像とCG画像の合成を実行し、MR体験用の表示画像を生成する。
装置側表示画像処理部316は、CG描画合成部で生成された左目用表示画像、右目用表示画像に対して、複数の画像処理回路によって画像処理を行う。左目用表示画像に対する画像処理と右目用表示画像に対する画像処理は、別々の処理回路によって並列処理により実行される。ここで行われる画像処理としては、HMD側表示画像処理部323と同様に、左目用表示画像と右目用表示画像で別々のパラメータを用いる処理が望ましい。また、処理負荷や処理順序を鑑みて、装置側表示画像処理部316と、HMD側表示画像処理部323との間で実行する画像処理をそれぞれ分散させてもよい。
装置側間引処理部317は、左目用表示画像、右目用表示画像に対して、データ量を削減するためのフレーム間引処理を行う。
装置側表示画像制御部318は、装置側間引処理部によるフレーム間引処理の間隔、タイミングの制御、及びフレーム間引処理後の左目用、右目用の表示画像をフレーム単位での時分割で後段の装置側共通表示画像処理部319へ送る制御を行う。ここで、フレーム間引処理後の左目用、右目用の表示画像のフレーム数の合計は、後段の画像処理部で処理可能なフレーム数、及び装置側I/F308で送信可能なフレーム数に収まるように制御される。
装置側共通表示画像処理部319は、フレーム間引処理後の左目用、右目用の表示画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、HMD側共通表示画像処理部320と同様に、左目用表示画像と右目用表示画像で同一のパラメータを用いることのできる処理が望ましい。また、処理負荷や処理順序を鑑みて、装置側共通表示画像処理部319と、HMD側共通表示画像処理部320との間で実行する画像処理をそれぞれ分散させてもよい。
以上の構成により、HMD101の装着者は、撮像画像とCG画像が合成された臨場感の高いMR画像を体験することが可能となる。
なお、画像処理システムの構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。
図4は、フレームレートの異なる動画像データに対する画像処理における遅延の蓄積について説明する図である。
図4では、撮像部で取得された撮像画像に対して、画像処理A、画像処理B、伝送、画像処理Cを介して、表示部で表示する処理が行われた場合について説明を行う。
図4(a)はフレームレート60fpsの動画像データに対する画像処理における遅延の蓄積を示している。撮像部における撮像画像C1の撮像の開始時刻を0とした場合、撮像画像C1の取得の完了時刻は1/60秒後となる。続く、画像処理Aは画像1面分のフレームメモリを必要とする画像処理とした場合、画像処理Aが開始される、すなわち処理画像PA1が出力されるのは撮像画像C1の取得完了後からとなる。画像処理Bは画像1/3面分のラインメモリを必要とする処理とした場合、画像処理Bによる処理画像PB1が出力されるのは、処理画像PA1を1/3面分出力後からとなる。同様に伝送、画像処理C、表示でそれぞれ必要なフレームメモリ、ラインメモリ等を考慮して、それぞれの処理遅延を蓄積していった場合、撮像画像C1が、最終的に表示部で表示画像D1として表示開始される時刻はT1となる。
図4(b)はフレームレート30fpsの動画像データに対する画像処理における遅延の蓄積を示している。撮像部における撮像画像C1の撮像の開始時刻を0とした場合、撮像画像C1の取得の完了時刻は1/30秒後となる。続く、画像処理Aでは、上述したように画像1面分のフレームメモリを必要とするため、処理画像PA1が出力されるのは1/30以降となる。60fpsの場合と同様に画像処理B、伝送、画像処理C、表示でそれぞれ必要なフレームメモリ、ラインメモリ等を考慮して、各処理遅延を蓄積していった場合、撮像画像C1が、最終的に表示部で表示画像D1として表示開始される時刻はT2となる。
以上のように、フレームレートが異なる動画像データに対して各種画像処理を行うことで、T2とT1の差分ΔTが生じることが確認できる。また、図4では省略して図示を行っているが、実際には、各処理ごとに必要となるメモリ分の遅延に加えて、各処理でかかる処理時間も遅延時間として蓄積される。例えば、各画像処理において動画像データのピクセルクロックを用いて処理が行われ、ピクセルクロック単位での処理遅延が生じるような場合には、ΔTの値はさらに大きくなる。
図5は、本発明の第1の実施形態における画像処理システムの撮像部から位置姿勢情報生成部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
本実施の形態における画像処理システムは、HMD101の撮像部301のフレームレート、及び表示部324のフレームレートを60fpsとして説明を行う。
撮像部301では左目用撮像画像CLn、右目用撮像画像CRn(nは1以上の整数)の撮像が行われる。1枚目の左目用撮像画像CL1、1枚目の右目用撮像画像CR1の撮像開始時刻を0とした場合、撮像画像CL1、CR1の取得の完了時刻は1/60秒後となる。
続く、HMD側撮像画像処理部303で左目用、右目用の撮像画像処理が並行して行われ、処理画像P1Ln、P1Rn(nは1以上の整数)が生成される。
HMD側間引処理部304では、HMD101から画像処理装置104への撮像画像の伝送データ量を削減するために左目用処理画像P1Lnから偶数フレームを、右目用処理画像P1Rnから奇数フレームをそれぞれ間引く処理を行う。この処理によって間引かれた処理画像P1L(2n-1)、P1R2n(nは1以上の整数)は後段の処理ブロックに時分割で出力される。ここでは、データ量を1/2に削減するために左右で偶数、奇数フレームをそれぞれ間引いて、交互に出力を行っているが、本実施の形態における間引処理はこれに限るものではなく、時分割出力が可能な範囲において任意のフレーム間引処理を行ってもよい。
HMD側共通撮像画像処理部306では、時分割出力される左目用撮像画像、右目用撮像画像に対して、共通の画像処理が実行され、処理画像P2L(2n-1)、P2R2n(nは1以上の整数)が生成される。このように、左目用撮像画像、右目用撮像画像に対して共通に実行される画像処理を間引処理の後段で行うことにより、時分割処理による回路の共通化、省電力化を実現することが可能となる。
続いて、HMD側インタフェース307、装置側インタフェース308を介して、伝送画像T1L(2n-1)、T1R2n(nは1以上の整数)の伝送が行われる。
装置側共通撮像画像処理部309では、HMD側共通撮像画像処理部306と同様に時分割で伝送されるT1L(2n-1)、T1R2n(nは1以上の整数)に対して、共通の画像処理が実行される。それにより、処理画像P3L(2n-1)、P3R2n(nは1以上の整数)が生成される。
続く、撮像フレームメモリ311Lには左目用処理画像P3L(2n-1)が、撮像フレームメモリ311Rには右目用処理画像P3R2nがそれぞれ格納される。撮像フレームメモリ311からは60fpsの周期で処理画像が出力されるため、後段の処理ブロックにはおなじ処理画像が2回続けて出力される。
装置側撮像画像処理部312では、HMD側撮像画像処理部303と同様に左目用、右目用の撮像画像処理が並行して行われ、処理画像P4L(2n-1)、P4R2n(nは1以上の整数)が生成される。
位置姿勢情報生成部313では、処理画像P4L(2n-1)、P4R2n、及び位置姿勢センサ302で取得されたセンサ情報を用いてHMD101の三次元位置姿勢情報を算出する。そして、処理画像P5L(2n-1)、P5R2n(nは1以上の整数)が後段へ出力される。
以上の撮像画像処理の流れによって、撮像部で左目用の撮像画像CL1の取得が開始されてから、位置姿勢情報生成部で位置姿勢情報と対応づけられた処理画像P5L1の出力が開始されるまでの処置遅延はTCとなる。
図6は、本発明の第1の実施形態における画像処理システムのCG描画合成部から表示部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
CG描画合成部315では、三次元位置姿勢情報に基づいたCG画像の描画と、左目用、右目用処理画像P5L(2n-1)、P5R2nとの合成処理を行い、左目用MR画像MRL(2n-1)、右目用MR画像MRR2n(nは1以上の整数)を生成する。
装置側表示画像処理部316では、左目用、右目用の表示画像処理が並行して行われ、処理画像P6L(2n-1)、P6R2n(nは1以上の整数)が生成される。
装置側間引処理部317では、画像処理装置104からHMD101への表示画像の伝送データ量を削減するために左目用処理画像P6L(2n-1)、右目用処理画像P6R2nから偶数フレームをそれぞれ間引く処理を行う。この処理によって間引かれた処理画像P6L(2n-1)、P6R2nは後段の処理ブロックに時分割で出力される。
装置側共通表示画像処理部319では、時分割出力される左目用表示画像、右目用表示画像に対して、共通の画像処理が実行され、処理画像P7L(2n-1)、P7R2n(nは1以上の整数)が生成される。
続いて、装置側インタフェース308、HMD側インタフェース307を介して、伝送画像T2L(2n-1)、T2R2n(nは1以上の整数)の伝送が行われる。
HMD側共通表示画像処理部320では、装置側共通表示画像処理部319と同様に時分割で伝送されるT2L(2n-1)、T2R2nに対して、共通の画像処理が実行され、処理画像P8L(2n-1)、P8R2n(nは1以上の整数)が生成される。
続く、表示フレームメモリ322Lには左目用処理画像P8L(2n-1)が、表示フレームメモリ322Rには右目用処理画像P8R2nがそれぞれ格納される。表示フレームメモリ322からは60fpsの周期で処理画像が出力されるため、後段の処理ブロックにはおなじ処理画像が2回続けて出力される。
HMD側表示画像処理部323では、装置側表示画像処理部316と同様に左目用、右目用の表示画像処理が並行して行われ、処理画像P9L(2n-1)、P9R2n(nは1以上の整数)が生成される。
表示部324では、処理画像P9L(2n-1)、P9R2nが、それぞれ左目用表示画像DL(2n-1)、右目用表示画像DR2n(nは1以上の整数)として表示される。
以上の表示画像処理の流れによって、撮像部で左目用の撮像画像CL1の取得が開始されてから、最終的に表示部において表示画像DL1として表示が開始されるまでの処置遅延はTDとなる。
ここで注目するべきは、HMD101と画像処理装置104間で伝送される画像データ量は撮像画像、表示画像ともに30fpsと同等に落とされているということである。しかしながら、撮像から表示に至るまでの全ての処理は60fpsで実行されているため、フレームレート変換後に30fpsで画像処理を行った場合に比べ、フレームメモリやラインメモリによる遅延時間の蓄積を抑えることが可能となっている。
以上の構成を有することにより、本実施の形態における画像処理システムは、左目用、右目用画像間でのフレーム間引処理、及び時分割出力を行い、各処理における遅延時間の蓄積を抑えつつ、動画像データの伝送データ量を削減することが可能である。また、間引処理後の動画像データは時分割出力されているため、後段の画像処理を左目用画像と右目用画像で共用することが可能となり、回路規模の削減、省電力化を実現することができる。
[第2の実施形態]
本発明を実現するのに好適な第2の実施の形態を図に従って説明する。第1の実施形態では、左目用画像データの偶数フレーム、右目用画像データの奇数フレームをそれぞれ間引処理していた。しかし、第1の実施形態では、位置姿勢情報生成部において三次元位置姿勢情報算出に用いられる左目用撮像画像と右目用撮像画像、及び表示部において表示される左目用表示画像と、右目用表示画像の生成時刻にズレが生じるという問題がある。これを解決する手段として、本実施形態では、間引処理のタイミングを左目用画像と右目用画像で同期させる例を説明する。なお、第1の実施形態と重複する部分については説明を省略する。
図7は、本発明の第2の実施形態における画像処理システムの構成の一例を示す図である。本発明の第2の実施形態における画像処理システムは、以下の構成を有するHMD101、及び画像処理装置104で構成される。HMD101は、撮像部301、位置姿勢センサ302、HMD側撮像画像処理部303、HMD側間引処理部304、HMD側撮像画像制御部305、HMD側共通撮像画像処理部306を有する。また、HMD側I/F(インタフェース)307、HMD側共通表示画像処理部320、HMD側表示画像制御部321、表示フレームメモリ322、HMD側表示画像処理部323、表示部324を有する。
画像処理装置104は、装置側I/F308、装置側共有撮像画像処理部309、装置側撮像画像制御部310、撮像フレームメモリ311、装置側撮像画像処理部312、位置姿勢情報生成部313を有する。また、奥行情報生成部701、コンテンツDB(データベース)314、CG描画合成部315、装置側表示画像処理部316、装置側間引処理部317、装置側表示画像制御部318、装置側共通表示画像処理部319を有する。
HMD側I/F307及び装置側I/F308は、それぞれ送信部と受信部を有する。また、各ブロック名の末尾のL、またはRの表記は、それぞれ左目用動画像データの処理、右目用動画像データの処理を行うことを意味する。
本実施の形態における画像処理システムは、画像処理装置104に奥行情報生成部701を有しており、奥行情報を考慮して撮像画像とCG画像の合成を行うことを特徴としている。以下、この点に関して説明する。
画像処理装置104の位置姿勢情報生成部313は、HMD101の位置姿勢センサ302で取得したセンサ情報、撮像部301で取得した撮像画像、あるいはその両方の情報からHMD101の三次元位置姿勢情報を算出する。
奥行情報生成部701は、左目用、右目用の撮像画像の中から奥行検出対象となる任意の被写体を抽出し、三角測量の原理を用いたステレオ法により被写体の奥行情報を算出する。撮像画像の中から被写体を検出する方法としては、マーカー形状や特徴点等を検出して用いる方法や、カラーマーカーや衣服、肌色等の色情報を検出して用いる方法などがあり、それらを組み合わせて検出精度をより向上させることも可能である。
CG描画合成部315は、三次元位置姿勢情報と奥行情報に基づいてCG画像の描画、撮像画像との合成を実行し、MR体験用の表示画像を生成する。
以上の構成により、HMD101の装着者は、撮像画像中の任意の被写体とCG画像との奥行関係を考慮して合成された臨場感の高いMR画像を体験することが可能となる。
なお、画像処理システムの構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。
図8は、奥行情報を考慮した画像合成について説明する図である。図8(a)は、MR体験の対象となるシーンを模式的に示した図である。体験者が手801を動かしてCGオブジェクト802とインタクラクションしているところをHMD101の撮像部で撮像している。なお、以下では、CGオブジェクト802とのインタラクションを行う被写体が手801だとして説明を行うが、本発明はこれに限定されず、任意の被写体に適用可能である。
図8(b)、及び図8(c)は、MR体験においてHMD101の表示部に表示される映像を模式的に示す図である。MR体験において、体験者が実際にCGオブジェクト802が存在しているように感じるには、手801とCGオブジェクト802との前後関係を考慮した上で、CGオブジェクト802のCG画像を描画、合成する必要がある。つまり、HMD101から見て、手801がCGオブジェクト802よりも手前にある場合は、図2(b)のように手801でCGオブジェクト802を隠して表示する必要がある。一方で、手801がCGオブジェクト802よりも奥にある場合には、図2(c)のようにCGオブジェクト802で手801を隠して表示する必要がある。本発明では、このような表示を行うためにHMD101の撮像部で取得された撮像画像の中から手801の領域を抽出し、その領域の奥行情報に応じて、その領域にCGオブジェクト802のCG画像を上書き描画するか否かを判定する。手801の領域の抽出では、事前に手801の色領域を登録しておき、映像中に登録した色の画素が現れた時に、その画素を手801として抽出する。
図9は、左目用、右目用の撮像画像中に含まれる任意の被写体の奥行情報生成を説明する図である。図9では、HMD101の左目用の撮像部301Lにより取得された左目用撮像画像901L、及びHMD101の右目用の撮像部301Rにより取得された右目用撮像画像901Rをそれぞれ示している。
ここで、左目用撮像画像901Lにおける任意の被写体902の点Pl1の撮像画像面内における座標を(Xl1,Yl1)とする。同様に右目用撮像画像901Rにおける前記左目用撮像画像内の点Pl1に相当する対応点を点Pr1とし、点Pr1の撮像画像面内の座標を(Xr1,Yr1)とする。前記対応点は画像処理による各種ステレオマッチング手法を用いることで探索可能である。ここで、左目用の撮像部301Lと右目用の撮像部301R間の基線長をB、各撮像デバイスに光学像を結像している撮像光学系の焦点距離をfとする。この時、点Pl1及びPr1の奥行情報Z1は、三角測量の原理を用いたステレオ法によりZ1=B・f/|Xl1-Xr1|の関係式で求めることができる。上記の奥行情報生成を行うためには、左目用撮像画像901Lと右目用撮像画像901Rの取得タイミングが同時であることが求められる。
図10は、本発明の第2の実施形態における画像処理システムの撮像部から奥行情報生成部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
本実施の形態における画像処理システムは、第1の実施の形態と同様、HMD101の撮像部301のフレームレート、及び表示部324のフレームレートを60fpsとして説明を行う。
撮像部301、HMD側撮像画像処理部303における処理は第1の実施の形態と同様のため説明を省略する。
HMD側間引処理部304では、HMD101から画像処理装置104への撮像画像の伝送データ量を削減するために左目用処理画像P1Ln、右目用処理画像P1Rnから偶数フレームをそれぞれ間引く処理を行う。この処理によって間引かれた処理画像P1L(2n-1)、P1R(2n-1)(nは1以上の整数)は後段の処理ブロックに時分割で出力される。ここでは、左目用処理画像P1L(2n-1)と右目用処理画像P1R(2n-1)が同じタイミングで処理される。そのため、後段の処理ブロックに時分割で出力するために左目用処理画像P1L(2n-1)出力中に、右目用処理画像P1R(2n-1)を不図示のフレームメモリへ格納する処理を行う。そして、左目用処理画像P1L(2n-1)の出力後に、右目用処理画像P1R(2n-1)をフレームメモリから読み出して出力することで、左目用と右目用の処理画像の時分割出力を実施する。また、データ量を1/2に削減するために左右ともに偶数フレームを間引いて、交互に出力を行っているが、本実施の形態における間引処理はこれに限るものではなく、時分割出力が可能な範囲において任意のフレーム間引処理を行ってもよい。
HMD側共通撮像画像処理部306では、時分割出力される左目用処理画像P1L(2n-1)、右目用処理画像P1R(2n-1)に対して、共通の画像処理が実行され、処理画像P2L(2n-1)、P2R(2n-1)(nは1以上の整数)が生成される。このように、左目用撮像画像、右目用撮像画像に対して共通に実行される画像処理を間引処理の後段で行うことにより、時分割処理による回路の共通化、省電力化を実現することが可能となる。
続いて、HMD側インタフェース307、装置側インタフェース308を介して、伝送画像T1L(2n-1)、T1R(2n-1)(nは1以上の整数)の伝送が行われる。
装置側共通撮像画像処理部309では、HMD側共通撮像画像処理部306と同様に時分割で伝送されるT1L(2n-1)、T1R(2n-1)(nは1以上の整数)に対して、共通の画像処理が実行される。これにより、処理画像P3L(2n-1)、P3R(2n-1)(nは1以上の整数)が生成される。
続く、撮像フレームメモリ311Lには左目用処理画像P3L(2n-1)が、撮像フレームメモリ311Rには右目用処理画像P3R(2n-1)がそれぞれ格納される。撮像フレームメモリ311からは60fpsの周期で処理画像が出力されるため、後段の処理ブロックにはおなじ処理画像が2回続けて出力される。
装置側撮像画像処理部312では、HMD側撮像画像処理部303と同様に左目用、右目用の撮像画像処理が並行して行われ、処理画像P4L(2n-1)、P4R(2n-1)(nは1以上の整数)が生成される。
位置姿勢情報生成部313では、処理画像P4L(2n-1)、P4R(2n-1)、及び位置姿勢センサ302で取得されたセンサ情報を用いてHMD101の三次元位置姿勢情報を算出する。そして、処理画像P5L(2n-1)、P5R(2n-1)(nは1以上の整数)が後段へ出力される。
奥行情報生成部701では、左目用、右目用の処理画像P5L(2n-1)、P5R(2n-1)を用いて、撮像画像中の任意の被写体の奥行情報を算出し、処理画像P6L(2n-1)、P6R(2n-1)(nは1以上の整数)が後段へ出力される。
以上の撮像画像処理の流れによって、撮像部で左目用の撮像画像CL1の取得が開始されてから、奥行情報生成部で奥行情報と対応づけられた処理画像P6L1の出力が開始されるまでの処置遅延はTCとなる。
図11は、本発明の第2の実施形態における画像処理システムのCG描画合成部から表示部までの処理におけるフレーム間引処理と遅延の蓄積について説明する図である。
CG描画合成部315では、三次元位置姿勢情報に基づいたCG画像の描画と、左目用、右目用処理画像P6L(2n-1)、P6R(2n-1)との合成処理を行う。これにより、左目用MR画像MRL(2n-1)、右目用MR画像MRR(2n-1)(nは1以上の整数)を生成する。
装置側表示画像処理部316では、左目用、右目用の表示画像処理が並行して行われ、処理画像P7L(2n-1)、P7R(2n-1)(nは1以上の整数)が生成される。
装置側間引処理部317では、画像処理装置104からHMD101への表示画像の伝送データ量を削減するために左目用処理画像P7L(2n-1)、右目用処理画像P7R(2n-1)から偶数フレームをそれぞれ間引く処理を行う。この処理によって間引かれた処理画像P7L(2n-1)、P7R(2n-1)は後段の処理ブロックに時分割で出力される。
装置側共通表示画像処理部319では、時分割出力される左目用表示画像、右目用表示画像に対して、共通の画像処理が実行され、処理画像P8L(2n-1)、P8R(2n-1)(nは1以上の整数)が生成される。
続いて、装置側インタフェース308、HMD側インタフェース307を介して、伝送画像T2L(2n-1)、T2R(2n-1)(nは1以上の整数)の伝送が行われる。
HMD側共通表示画像処理部320では、装置側共通表示画像処理部319と同様に時分割で伝送されるT2L(2n-1)、T2R(2n-1)に対して、共通の画像処理が実行される。これにより、処理画像P9L(2n-1)、P9R(2n-1)(nは1以上の整数)が生成される。
続く、表示フレームメモリ322Lには左目用処理画像P9L(2n-1)が、表示フレームメモリ322Rには右目用処理画像P9R(2n-1)がそれぞれ格納される。表示フレームメモリ322からは60fpsの周期で処理画像が出力されるため、後段の処理ブロックにはおなじ処理画像が2回続けて出力される。
HMD側表示画像処理部323では、装置側表示画像処理部316と同様に左目用、右目用の表示画像処理が並行して行われ、処理画像P10L(2n-1)、P10R(2n-1)(nは1以上の整数)が生成される。
表示部324では、処理画像P10L(2n-1)、P10R(2n-1)が、それぞれ左目用表示画像DL(2n-1)、右目用表示画像DR(2n-1)(nは1以上の整数)として表示される。
以上の表示画像処理の流れによって、撮像部で左目用の撮像画像CL1の取得が開始されてから、最終的に表示部において表示画像DL1として表示が開始されるまでの処置遅延はTDとなる。
ここでも、第1の実施形態における画像処理システムと同様に、HMD101と画像処理装置104間で伝送される画像データ量は撮像画像、表示画像ともに30fpsと同等に落とされている。しかしながら、撮像から表示に至るまでの全ての処理は60fpsで実行されているため、フレームレート変換後に30fpsで画像処理を行った場合に比べ、フレームメモリやラインメモリによる遅延時間の蓄積が抑えられる。
さらに、本実施の形態における画像処理システムでは、フレーム間引処理のタイミングを左目用画像と右目用画像で同期させていることに特徴を有する。これにより、位置姿勢情報生成部、及び奥行情報生成部において情報算出に用いられる左目用と右目用の撮像画像、及び表示部において表示される左目用と右目用の表示画像の生成時刻を1/30秒の周期で一致させることができる。左目用と右目用の撮像画像の生成時刻が一致することで、撮像画像中の任意の被写体の奥行情報が算出でき、HMD101の装着者は、
以上の構成を有することにより、本実施の形態における画像処理システムは、第1の実施形態における画像処理システムと同様に、各処理における遅延時間の蓄積を抑えつつ、動画像データの伝送データ量を削減することが可能である。また、間引処理後の動画像データは時分割出力されているため、後段の画像処理を左目用画像と右目用画像で共用することが可能となり、回路規模の削減、省電力化を実現することができる。さらに、左目用と右目用の画像データの生成タイミングが一致するように、フレーム間引処理のタイミング制御を行うことで、被写体とCGオブジェクトとの奥行関係が考慮された臨場感の高いMR画像を体験することが可能となる。
[第3の実施形態]
本発明を実現するのに好適な第3の実施の形態を図に従って説明する。なお、第1、第2の実施形態と重複する部分については説明を省略する。
第1、第2の実施形態ではHMD101と画像処理装置104間のデータ伝送に関して、有線、無線の接続方式を問わず、伝送データ量を削減するためにHMD101、画像処理装置104内でそれぞれフレーム間引処理を行う構成について説明を行った。本実施形態では、HMD101と画像処理装置104間の接続をケーブルを用いた有線接続と、無線ボックスを介しての無線接続のどちらも行うことが可能な構成について説明する。無線接続では、HMD101、画像処理装置104間を直接接続するケーブルが不要となり、HMD装着者の移動の自由度を向上させることができるというメリットがある。一方で有線接続では、無線接続と比較して一般的に広帯域伝送が可能なため、画像符号化やフレームレート変換等のデータ量削減手法を用いることなく、より高画質なMR画像を提供することができるというメリットがある。
図12、13は、本発明の第3の実施形態における画像処理システムの構成の一例を示す図である。
本発明の第3の実施形態における画像処理システムは、HMD101とHMD側無線ボックス1301、装置側無線ボックス1302、画像処理装置104で構成される。HMD101、HMD側無線ボックス1301、装置側無線ボックス1302、画像処理装置104は、それぞれ以下の構成を有する。
HMD101は、撮像部301、位置姿勢センサ302、HMD内撮像画像処理部1201、HMD内有線I/F1202、HMD内表示画像処理部1203、表示部324を有する。
HMD側無線ボックス1301は、HMD側有線I/F1303、HMD側撮像画像処理部303、HMD側間引処理部304、HMD側撮像画像制御部305、HMD側共通撮像画像処理部306を有する。また、HMD側無線I/F1304、HMD側共通表示画像処理部320、HMD側表示画像制御部321、表示フレームメモリ322、HMD側表示画像処理部323、表示部324を有する。
装置側無線ボックス1302は、装置側無線I/F1305、装置側共有撮像画像処理部309、装置側撮像画像制御部310、撮像フレームメモリ311、装置側撮像画像処理部312、装置側有線I/F1306を有する。また、装置側表示画像処理部316、装置側間引処理部317、装置側表示画像制御部318、装置側共通表示画像処理部319を有する。
画像処理装置104は、装置内有線I/F1204、装置内撮像画像処理部1205、位置姿勢情報生成部313、コンテンツDB314、CG描画合成部315、装置内表示画像処理部1206を有する。
HMD内有線I/F1202、装置内有線I/F1204、HMD側有線I/F1303、HMD側無線I/F1304、装置側無線I/F1305、装置側有線I/F1306は、それぞれ送信部と受信部を有する。また、各ブロック名の末尾のL、またはRの表記は、それぞれ左目用動画像データの処理、右目用動画像データの処理を行うことを意味する。
図12は、本発明の第3の実施形態における画像処理システムのHMDと画像処理装置間のデータ伝送をケーブルを用いた有線伝送で行う構成について説明する図である。
HMD101の撮像部301は、HMD装着者の左目、右目のそれぞれの視線位置と略一致した視差を有するステレオ画像として、現実空間の撮像画像を取得する。
位置姿勢センサ302は、HMD装着者の視点の位置、方向に関する三次元位置姿勢情報を算出するための情報を取得する。
HMD内撮像画像処理部1201は、撮像部で取得された左目用撮像画像、右目用撮像画像に対して、複数の画像処理回路によって画像処理を行う。
HMD内有線I/F1202は、画像処理装置104の装置内有線I/F1204との通信により、左目用撮像画像、右目用撮像画像、及び位置姿勢センサ302で取得したセンサ情報の送信を行う。また、表示部324で表示するための表示画像の受信、その他制御信号の送受信を行う。
HMD内表示画像処理部1203は、左目用表示画像、右目用表示画像に対して、複数の画像処理回路によって画像処理を行う。
表示部324は、CGが重畳されたMR画像をHMD装着者の左目、右目にそれぞれ表示するものである。
画像処理装置104の装置内有線I/F1204は、HMD101のHMD内有線I/F1202との通信により、左目用、右目用の撮像画像、及びセンサ情報の受信と、表示部324で表示するための表示画像の送信、その他制御信号の送受信を行う。
装置内撮像画像処理部1205は、左目用撮像画像、右目用撮像画像に対して、複数の画像処理回路によって画像処理を行う。装置内撮像画像処理部1205と、HMD内撮像画像処理部1201とで実行する画像処理は、処理負荷や処理順序を鑑みて、それぞれに分散させることが望ましい。
位置姿勢情報生成部313は、位置姿勢センサ302で取得したセンサ情報や、撮像部301で取得した撮像画像情報、あるいはその両方の情報からHMD101の三次元位置姿勢情報を算出する。
コンテンツDB314は、CG描画用のコンテンツを格納するデータベースである。CG描画合成部315は、三次元位置姿勢情報に基づいて、CG画像の描画、及び撮像画像とCG画像の合成を実行し、MR体験用の表示画像を生成する。
装置内表示画像処理部1206は、CG描画合成部で生成された左目用表示画像、右目用表示画像に対して、複数の画像処理回路によって画像処理を行う。装置内表示画像処理部1206と、HMD内表示画像処理部1203との間で実行する画像処理は、処理負荷や処理順序を鑑みて、をそれぞれ分散させることが望ましい。
以上の構成により、HMD101と画像処理装置104間のデータ伝送をケーブルを用いた広帯域な有線伝送で実現することが可能となる。これにより、例えば、60fpsのフレームレートを有する撮像画像、及び表示画像のフレームレートを低下させることなく伝送することが可能となり、HMD101の装着者は、より臨場感の高いMR画像を体験することが可能となる。
なお、本実施の形態における画像処理システムは、第2の実施の形態における画像処理システムと同様に、画像処理装置104に奥行情報生成部を有する構成としてもよい。また、画像処理システムの構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。
図13は、本発明の第3の実施形態における画像処理システムのHMDと画像処理装置間のデータ伝送をHMD側無線ボックス、装置側無線ボックス介しての無線伝送で行う構成について説明する図である。なお、HMD101、画像処理装置104に関して、図12の構成と同様の説明については省略する。
HMD101のHMD内有線I/F1202は、HMD側無線ボックス1301のHMD側有線I/F1303との通信により、左目用、右目用の撮像画像、及びセンサ情報の送信を行う。また、表示部324で表示するための表示画像の受信、その他制御信号の送受信を行う。
HMD側無線ボックス1301のHMD側有線I/F1303は、HMD101のHMD内有線I/F1202との通信により、左目用、右目用の撮像画像、及びセンサ情報の受信を行う。また、表示部324で表示するための表示画像の送信、その他制御信号の送受信を行う。
HMD側撮像画像処理部303は、撮像部で取得された左目用撮像画像、右目用撮像画像に対して、複数の画像処理回路によって画像処理を行う。ここで行われる画像処理としては、HMD側無線ボックス1301、及び装置側無線ボックス1302に固有の処理で、かつ左目用撮像画像と右目用撮像画像で別々のパラメータを用いる処理であることが望ましい。
HMD側間引処理部304は、左目用撮像画像、右目用撮像画像に対して、データ量を削減するためのフレーム間引処理を行う。
HMD側撮像画像制御部305は、HMD側間引処理部によるフレーム間引処理の間隔、タイミングの制御、及びフレーム間引処理後の左目用、右目用の撮像画像をフレーム単位での時分割で後段のHMD側共通撮像画像処理部306へ送る制御を行う。
HMD側共通撮像画像処理部306は、フレーム間引処理後の左目用、右目用の撮像画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、HMD側無線ボックス1301、及び装置側無線ボックス1302に固有の処理で、かつ左目用撮像画像と右目用撮像画像で同一のパラメータを用いることのできる処理が望ましい。例えば、解像度変換や色空間変換、あるいは画像符号化などのような処理が挙げられる。
HMD側無線I/F1304は、装置側無線ボックス1302の装置側無線I/F1305との無線通信により、左目用撮像画像、右目用撮像画像、及びセンサ情報の送信と、表示部324で表示するための表示画像の受信、その他制御信号の送受信を行う。
HMD側共通表示画像処理部320は、フレーム間引処理後の左目用、右目用の表示画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、HMD側無線ボックス1301、及び装置側無線ボックス1302に固有の処理で、かつ左目用表示画像と右目用表示画像で同一のパラメータを用いることのできる処理が望ましい。例えば、解像度変換や色空間変換、あるいは画像復号化などのような処理が挙げられる。
HMD側表示画像制御部321は、フレーム間引処理後の左目用、右目用の表示画像をそれぞれ左目用、右目用の表示フレームメモリ322に分配する。そして、表示部324において表示可能なフレームレートに合わせて、表示フレームメモリから表示画像を出力する制御を行う。
表示フレームメモリ322は、左目用表示画像、右目用表示画像をそれぞれ格納し、HMD側表示画像制御部321の制御に基づき、HMD側表示画像処理部323に表示画像を出力する。
HMD側表示画像処理部323は、左目用表示画像、右目用表示画像に対して、複数の画像処理回路によって画像処理を行う。ここで行われる画像処理としては、HMD側無線ボックス1301、及び装置側無線ボックス1302に固有の処理で、かつ左目用表示画像と右目用表示画像で別々のパラメータを用いる処理が望ましい。
装置側無線ボックス1302の装置側無線I/F1305は、HMD側無線ボックス1301のHMD側無線I/F1304との無線通信により、左目用、右目用の撮像画像、及びセンサ情報の受信を行う。また、表示部324で表示するための表示画像の送信、その他制御信号の送受信を行う。
装置側共通撮像画像処理部309は、フレーム間引処理後の左目用、右目用の撮像画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、HMD側無線ボックス1301、及び装置側無線ボックス1302に固有の処理で、かつ左目用撮像画像と右目用撮像画像で同一のパラメータを用いることのできる処理が望ましい。
装置側撮像画像制御部310は、フレーム間引処理後の左目用、右目用の撮像画像をそれぞれ左目用、右目用の撮像フレームメモリ311に分配する。そして、表示部324において表示可能なフレームレートに合わせて、撮像フレームメモリ311から撮像画像を出力する制御を行う。
撮像フレームメモリ311は、左目用撮像画像、右目用撮像画像をそれぞれ格納し、装置側撮像画像制御部310の制御に基づき、装置側撮像画像処理部312に撮像画像を出力する。
装置側撮像画像処理部312は、撮像フレームメモリ311から出力された左目用撮像画像、右目用撮像画像に対して、複数の画像処理回路によって画像処理を行う。ここで行われる画像処理としては、HMD側撮像画像処理部303と同様に、HMD側無線ボックス1301、及び装置側無線ボックス1302に固有の処理で、かつ左目用撮像画像と右目用撮像画像で別々のパラメータを用いる処理であることが望ましい。また、処理負荷や処理順序を鑑みて、装置側撮像画像処理部312と、HMD側撮像画像処理部303との間で実行する画像処理をそれぞれ分散させてもよい。
装置側有線I/F1306は、画像処理装置104の装置内有線I/F1204との通信により、左目用、右目用の撮像画像、及びセンサ情報の送信と、表示部324で表示するための左表示画像の受信、その他制御信号の送受信を行う。
装置側表示画像処理部316は、CG描画合成部で生成された左目用表示画像、右目用表示画像に対して、複数の画像処理回路によって画像処理を行う。ここで行われる画像処理としては、HMD側表示画像処理部323と同様に、HMD側無線ボックス1301、及び装置側無線ボックス1302に固有の処理で、かつ左目用表示画像と右目用表示画像で別々のパラメータを用いる処理が望ましい。また、処理負荷や処理順序を鑑みて、装置側表示画像処理部316と、HMD側表示画像処理部323との間で実行する画像処理をそれぞれ分散させてもよい。
装置側間引処理部317は、左目用表示画像、右目用表示画像に対して、データ量を削減するためのフレーム間引処理を行う。
装置側表示画像制御部318は、装置側間引処理部によるフレーム間引処理の間隔、タイミングの制御、及びフレーム間引処理後の左目用、右目用の表示画像をフレーム単位での時分割で後段の装置側共通表示画像処理部319へ送る制御を行う。
装置側共通表示画像処理部319は、フレーム間引処理後の左目用、右目用の表示画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、HMD側共通表示画像処理部320と同様に、HMD側無線ボックス1301、及び装置側無線ボックス1302に固有の処理で、かつ左目用表示画像と右目用表示画像で同一のパラメータを用いることのできる処理が望ましい。また、処理負荷や処理順序を鑑みて、装置側共通表示画像処理部319と、HMD側共通表示画像処理部320との間で実行する画像処理をそれぞれ分散させてもよい。
画像処理装置104の装置内有線I/F1204は、装置側無線ボックス1302の装置側有線I/F1306との通信により、左目用、右目用の撮像画像、及びセンサ情報の受信を行う。また、表示部324で表示するための表示画像の送信、その他制御信号の送受信を行う。
以上の構成を有することにより、本実施の形態における画像処理システムは、HMD101と画像処理装置104間の接続をケーブルを用いた有線接続と、無線ボックスを介しての無線接続のどちらも行うことが可能となる。無線接続では、HMD101、画像処理装置104間を直接接続するケーブルが不要となり、HMD装着者の移動の自由度を向上させることができるというメリットがある。一方で有線接続では、無線接続と比較して一般的に広帯域伝送が可能なため、画像符号化やフレームレート変換等のデータ量削減手法を用いることなく、より高画質なMR画像を提供することができるというメリットがある。
[第4の実施形態]
本発明を実現するのに好適な第4の実施の形態を図に従って説明する。なお、第1~第3の実施形態と重複する部分については説明を省略する。
第1~第3の実施形態ではHMD101の左目用撮像部301L、右目用撮像部301Rで取得される撮像画像の間引処理を行う構成について説明を行った。本実施形態では、HMD101に追加でオプション撮像部を有しており、左目用撮像部、右目用撮像部、オプション撮像部で取得される3つの撮像画像の間引処理行う構成について説明する。
図14は、本発明の第4の実施形態における画像処理システムの構成の一例を示す図である。
本発明の第4の実施形態における画像処理システムは、以下の構成を有するHMD101、及び画像処理装置104で構成される。HMD101は、撮像部301、位置姿勢センサ302、HMD側撮像画像処理部303、HMD側間引処理部304、HMD側撮像画像制御部305、HMD側共通撮像画像処理部306を有する。また、HMD側I/F(インタフェース)307、HMD側共通表示画像処理部320、HMD側表示画像制御部321、表示フレームメモリ322、HMD側表示画像処理部323、表示部324を有する。また、オプション撮像部1401、オプション用HMD側撮像画像処理部1402、オプション用HMD側間引処理部1403を有する。
画像処理装置104は、装置側I/F308、装置側共有撮像画像処理部309、装置側撮像画像制御部310、撮像フレームメモリ311、装置側撮像画像処理部312、位置姿勢情報生成部313、コンテンツDB(データベース)314を有する。また、CG描画合成部315、装置側表示画像処理部316、装置側間引処理部317、装置側表示画像制御部318、装置側共通表示画像処理部319、オプション用撮像フレームメモリ1404、オプション用装置側撮像画像処理部1405を有する。
HMD側I/F307及び装置側I/F308は、それぞれ送信部と受信部を有する。また、各ブロック名の末尾のL、RまたはOPの表記は、それぞれ左目用動画像データの処理、右目用動画像データの処理、オプション撮像部用動画像データの処理を行うことを意味する。
HMD101のオプション撮像部1401は、左目用撮像部301L、右目用撮像部301Rで撮像される現実空間上の範囲とは異なる範囲のオプション撮像画像を取得する。オプション撮像部1401は、左目用、右目用撮像部301と同じ撮像デバイス、撮像光学系を用いてもよく、また、左目用、右目用撮像部301と解像度や撮像範囲等を異ならせるために異なる撮像デバイス、撮像光学系を用いてもよい。また、オプション撮像部1401で撮像される現実空間上の範囲は、左目用撮像部301L、右目用撮像部301Rで撮像される範囲の一部、あるいは全部を含んでいてもよい。さらには、オプション撮像部1401は、HMD101に内蔵してもよいし、HMD101に外付けで取り付けることが可能な構成としてもよい。
オプション用HMD側撮像画像処理部1402は、オプション撮像部1401で取得されたオプション撮像画像に対して、画像処理を行う。ここで行われる画像処理としては、左目用、右目用の撮像画像やオプション撮像画像で別々のパラメータを用いる処理が望ましい。例えば、画素欠陥補正やガンマ補正、あるいは撮像光学系の歪み補正といった撮像デバイスや撮像光学系の個体バラツキを補正する処理が挙げられる。
オプション用HMD側間引処理部1403は、オプション撮像画像に対して、データ量を削減するためのフレーム間引処理を行う。
HMD側撮像画像制御部305は、HMD側間引処理部304、オプション用HMD側間引処理部1403によるフレーム間引処理の間隔、タイミングの制御を行う。また、フレーム間引処理後の各撮像画像を、時分割で後段のHMD側共通撮像画像処理部へ送る制御を行う。撮像画像のフレーム間引処理制御の例としては、第1の実施形態と同様にそれぞれ異なる時刻のフレームを順次間引いて出力する方法や、第2の実施形態と同様に同じ時刻のフレームを間引いて、フレームメモリを利用して時分割で出力する方法等が挙げられる。また、フレーム間引処理制御は上記に限られるものではなく、左目用撮像画像、右目用撮像画像、オプション撮像画像の用途、必要とされるフレーム数等を考慮し、優先度に応じて間引処理の間隔を異ならせてもよい。
HMD側共通撮像画像処理部306は、フレーム間引処理後の左目用、右目用の撮像画像、オプション撮像画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、例えば、解像度変換や色空間変換、あるいは画像符号化などのような左目用撮像画像と右目用撮像画像で同一のパラメータを用いることのできる処理が望ましい。
HMD側I/F307は、画像処理装置104の装置側I/F308との通信により、左目用、右目用の撮像画像、オプション撮像画像、及びセンサ情報の送信と、表示部324で表示するための表示画像の受信、その他制御信号の送受信を行う。
画像処理装置104の装置側I/F308は、HMD101のHMD側I/F307との通信により、左目用、右目用の撮像画像、オプション撮像画像、及びセンサ情報の受信、表示部324で表示するための表示画像の送信、その他制御信号の送受信を行う。
装置側共通撮像画像処理部309は、フレーム間引処理後の左目用、右目用の撮像画像、オプション撮像画像に対して時分割で画像処理を行う。ここで行われる画像処理としては、例えば、解像度変換や色空間変換、あるいは画像復号化などのような左目用撮像画像と右目用撮像画像で同一のパラメータを用いることのできる処理が望ましい。
装置側撮像画像制御部310は、フレーム間引処理後の左目用、右目用の撮像画像、オプション撮像画像をそれぞれ左目用、右目用の撮像フレームメモリ311、オプション用撮像フレームメモリ1404に分配して格納する。また、表示部324において表示可能なフレームレートに合わせて、撮像フレームメモリ311、オプション用フレームメモリ1404から撮像画像を出力する制御を行う。
オプション用撮像フレームメモリ1404は、オプション撮像画像を格納し、装置側撮像画像制御部310の制御に基づき、オプション用装置側撮像画像処理部1405に撮像画像を出力する。
オプション用装置側撮像画像処理部1405は、オプション用撮像フレームメモリ1404から出力されたオプション撮像画像に対して、画像処理を行う。ここで行われる画像処理としては、オプション用HMD側撮像画像処理部1402と同様に、左目用、右目用の撮像画像とオプション撮像画像で別々のパラメータを用いる処理が望ましい。また、処理負荷や処理順序を鑑みて、オプション用装置側撮像画像処理部1405と、オプション用HMD側撮像画像処理部1402との間で実行する画像処理をそれぞれ分散させてもよい。
位置姿勢情報生成部313は、位置姿勢センサ302で取得したセンサ情報や、撮像部301、オプション撮像部1401で取得した各撮像画像情報、あるいはその両方の情報からHMD101の三次元位置姿勢情報を算出する。
以上の構成を有することにより、本実施の形態における画像処理システムは、画像処理装置104の位置姿勢情報生成部313において、HMD101のオプション撮像部1401で取得されたオプション撮像画像を用いることが可能となる。これにより、HMD装着者の視界の範囲外、すなわち左目用撮像部301L、右目用撮像部302Rの撮像範囲外に存在するマーカー等の情報も位置姿勢情報の生成に利用することができ、位置姿勢情報の精度、及びマーカー等の設置の自由度が向上する。
[その他の実施形態]
また、本発明は、上記実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(CPUやMPU等)がプログラムを読出し実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形(各実施例の有機的な組合せを含む)が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。