JP5260705B2 - ３次元拡張現実提供装置 - Google Patents

Description

本発明は、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、ＡＲ）を実現する拡張現実データ処理及び３次元拡張現実を提供する映像処理技術を用いる３次元拡張現実提供装置及び方法に関する。
関する。

拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、ＡＲ）とは、実際の環境で仮想事物や情報を合成して、元の環境に存在する事物のように見えるようにするコンピュータグラフィックの技法をいう。

拡張現実は、仮想の空間と事物のみを対象とする従来の仮想現実とは異なり、現実世界の基盤の上に仮想の事物を合成して、現実世界だけでは得ることが難しい付加的な情報等を補強して提供することに特徴がある。拡張現実は、単純にゲームのような分野だけに限定された適用が可能な既存の仮想現実とは異なり、様々な現実環境での応用が可能で、特に、ユビキタス環境に適合した次世代ディスプレイ技術として脚光を浴びている。

通常、拡張現実は一台のカメラから入力された映像にタグ（ｔａｇ）やマーカ（ｍａｒｋｅｒ）を利用した仮想の客体（オブジェクト）を合成して、２次元上で遠近や映像の深さとは関係がない映像を提供している。しかし、最近の３次元ディスプレイに多くの関心が集まり、この拡張現実も３次元的に提供するための方法に関する研究が多数行われている。

本発明は、映像内の客体に対応される拡張現実データを、３次元映像に変換する３次元拡張現実提供装置および方法を提供する。

本発明の一実施形態に係る３次元拡張現実提供装置は、客体に関する第１映像を獲得する第１カメラと、前記客体に関する前記第１映像と相違する第２映像を獲得する第２カメラとを含む映像獲得部と、前記客体が第１客体と第２客体とを含む場合に、前記第１映像および前記第２映像を用いて前記第１客体までの距離情報を獲得し、獲得した前記距離情報を用いて前記第１客体の３次元位置情報を算出し、前記第１客体に対応する拡張現実データを前記３次元位置情報に応じて変換し、前記第２客体に対応する拡張現実データを前記第１客体より近いか遠いかの相対的関係に応じて変換し、前記第１客体および前記第２客体に対応する前記拡張現実データと前記第１映像と前記第２映像とを用いて、前記第１客体に対応する前記拡張現実データと前記第２客体に対応する前記拡張現実データとの３次元映像での前後関係が前記相対的関係となるように、３次元拡張現実イメージを生成する映像処理部とを含む。

本発明の３次元拡張現実提供装置および方法によれば、拡張現実データが映像と合成される時に、拡張現実データに対応する客体の３次元位置情報に応じて、拡張現実データが変換された後合成することで、３次元的に拡張現実イメージがユーザに提供することができる。

本発明の一実施形態に係る３次元拡張現実提供装置を示すブロック図である。 本発明の一実施形態に係る映像処理部を示すブロック図である。 本発明の一実施形態に係る３次元位置情報の獲得方法を示す図である。 本発明の一実施形態に係る３次元拡張現実イメージの生成処理を示す図である。 本発明の一実施形態に係る３次元拡張現実提供方法を示すフローチャートである。 本発明の一実施形態によって客体までの距離を獲得する原理を示す図である。

以下、添付された図面を参照して本発明の実施形態の具体例を詳細に説明する。

図１は、本発明の一実施形態に係る３次元拡張現実提供装置１００を示すブロック図である。

図１を参照すると、本実施形態に係る３次元拡張現実提供装置１００は３次元映像を表示することが可能な様々な機器に適用することができる。たとえば、カメラモジュールおよびディスプレイモジュールを具備したスマートフォンに、本実施形態に係る３次元拡張現実提供装置１００を適用する場合、カメラモジュールを使って撮影した映像をディスプレイモジュールに３次元的に表示することが可能になる。また、本実施形態に係る３次元拡張現実提供装置１００は、映像を３次元的に表示する時に、その映像内の特定の客体（オブジェクト）とその客体に関する拡張現実データをまとめて表示することが可能である。たとえば、３次元拡張現実提供装置１００によってある木が撮影されてその木が表示されるとき、その木の名前、主な生息地、生態学的特徴などを表す拡張現実データがその木のイメージとともに３次元的に表示することが可能である。３次元映像の表示方法においてはメガネ方式と無メガネ方式とを用いてもよく、無メガネ方式においてはパララックスバリア方式やレンチキュラースクリーン方式を用いてもよい。

図１に示すように、本実施形態に係る次元拡張現実提供装置１００は映像獲得部１０１、映像処理部１０２、および映像表示部１０３を含み、さらにセンサ部１０４、および拡張現実データ記憶部１０５を含む。

映像獲得部１０１は、少なくとも一つ以上の客体を含み、映像を獲得するカメラまたはイメージセンサである。例えば、映像獲得部１０１は３次元映像を生成するための左映像を撮影する第１カメラと、３次元映像を生成するための右映像を撮影する第２カメラと、で構成される。第１カメラによって得られた左映像と第２カメラによって得られた右映像を映像処理部１０２が合成して、映像表示部１０３に表示すると、ユーザは立体的に映像を鑑賞することができる。

映像処理部１０２は映像獲得部１０１から受信された映像を処理して、映像表示部１０３に表示される３次元拡張現実イメージを生成する映像処理プロセッサ（ＩＳＰ）、またはこの映像処理プロセッサで実行されるソフトウェアモジュールであってもよい。

本実施形態に係る映像処理部１０２は映像から客体を検出する。客体は映像内に存在する様々な人、事物、またはマーカ（ｍａｒｋｅｒ）である。映像処理部１０２はさまざまな客体検出のアルゴリズムに基づいて客体を検出することが可能である。また選択に応じて、センサ部１０４によって測定された現在位置、現在時刻、映像の方位角などを活用して、映像で客体を検出することが可能である。

センサ部１０４はＧＰＳセンサ、加速度センサ、および地磁気センサのうち少なくとも一つを含む。

また、映像処理部１０２は映像に含まれた客体の３次元位置情報を計算する。３次元位置情報は３次元拡張現実提供装置１００から客体までの距離に対する情報を含む。そのため、映像内に二つの客体があり、各客体がお互いに別の位置に存在している場合、各客体は固有の３次元位置情報を持っている。そのため、３次元位置情報、例えば、客体までの距離はさまざまな方法で得ることができる。

一例として、映像獲得部１０１が３次元映像獲得のために第１カメラおよび第２カメラが一定の間隔で離隔設置されて構成された場合、映像処理部１０２は第１カメラと第２カメラとの離隔距離と、その客体を撮影したときの第１カメラと第２カメラとの角度を獲得して、獲得した離隔距離および角度を基にした三角法を適用することによって客体までの距離を計算することが可能である。

別の例として、図６は本実施形態に応じて客体までの距離を獲得するための方法を説明するための図である。図６を参照すると、人の目のように左カメラと右カメラが結合されたステレオカメラを用いて客体までの距離を計算することがわかる。図６においては、たとえば、Ｃ点に左側のカメラが位置して、Ｃ’点に右側のカメラが位置する。すなわち、符号６０１は左側のカメラから得られた第１映像になり、符号６０２は右側のカメラから得られた第２映像になる。このとき、第１映像６０１または第２映像６０２から特定の地点Ｍまでの距離は、次のような式（１）によって求められることができる。
ｚ＝（Ｂ／ｄ）×Ｆ・・・（１）

上記の式（１）において、ｚはＭ点までの距離を示す。そして、ＢはＣ点とＣ’点の間の距離を示し、ｄは第１映像６０１及び第２映像６０２でのＭ点の位置座標の差異、すなわち、Ｘ_１とＸ_２の差異を示し、Ｆはカメラのレンズの焦点距離を示す。Ｂの値は定数（ｃｏｎｓｔａｎｔ）で与えられるか、測定が可能な値であり、ｄの値はＳＳＤ（ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅ）技法によって求めることができ、Ｆはカメラのレンズに応じて決定される値であり、二つの映像から各客体までの距離ｚの値を求めることが可能である。

客体までの距離を計算する例として、映像獲得部１０１が３次元映像獲得のために第１カメラおよび第２カメラが一定の間隔で離隔設置されて構成され、第１カメラおよび第２カメラに自動焦点調整機能（ａｕｔｏ−ｆｏｃｕｓｉｎｇ）が備わっている場合、映像処理部１０２は第１カメラおよび第２カメラが自動で焦点を合わせたときの距離、および第１カメラと第２カメラとの間の離隔距離を利用して客体までの距離を計算することが可能である。

再び図１を参照すると、映像処理部１０２は客体に対応する３次元位置情報の拡張現実データを獲得する。拡張現実データとは、客体に関連する様々な情報になり、たとえば、客体がある木である場合、その木の名前、主な生息地、生態学的特徴などを所定のタグイメージ（ｔａｇ ｉｍａｇｅ）で表す。映像処理部１０２は拡張現実データ記憶部１０５に記憶された拡張現実のデータの中から、客体に対応する拡張現実データを抽出することが可能である。拡張現実データ記憶部１０５は３次元拡張現実提供装置１００内部に構成され、内部に形成された後ネットワークを介して、３次元拡張現実提供装置１００と接続される。

また、映像処理部１０２は客体とその客体の拡張現実データが共に表示されるように、獲得された映像と獲得された拡張現実データを合成して、映像表示部１０３に表示される３次元拡張現実イメージを生成する。ところが、拡張現実データ記憶部１０５に記憶された第１客体の拡張現実データと、第２客体の拡張現実データは、距離の情報や空間情報をもたないので、映像処理部１０２が拡張現実データをそのまま合成する場合、第１客体と第２客体が立体的に表示されても、すなわち、第１客体が第２客体よりも近くに表示されても、第１客体の拡張現実データと第２客体の拡張現実データは３次元的に表示がされない場合がある。従って、映像処理部１０２は、拡張現実データも対応する客体と共に３次元的に表示されるように、拡張現実データをその客体の３次元位置情報に基づいて変換して、変換された拡張現実データと獲得された映像を合成して、３次元拡張現実イメージを生成することが可能である。

このように本実施形態に係る３次元拡張現実提供装置１００は、拡張現実データを映像に合成するときに対応する客体の３次元位置情報に応じて拡張現実データを変換した後合成するので、３次元的に拡張現実イメージをユーザに提供することは可能である。

図２は、本発明の一実施形態に係る映像処理部１０２を示すブロック図である。

図２を参照すると、本実施形態に係る映像処理部１０２は３次元位置情報検出部２０１、拡張現実データ変換部２０２、および拡張現実イメージ生成部２０３を含み、さらに客体検出部２０４を含む。

客体検出部２０４は獲得された映像でユーザの関心の対象、またはユーザが関心を持つことだろうと予測される対象を検出する。客体検出部２０４が映像で客体を検出する方法は様々な方法を用いることができる。たとえば、客体検出部２０４は映像で個別のセンシング情報、例えば、現在時刻、現在位置、撮影方向などを用いて映像で特定の領域を指定して、指定された特定の領域で客体の検出ができる。図２では、得られた映像に第１客体と、第１客体よりも遠く離れた第２客体が存在すると仮定する。

３次元位置情報検出部２０１は検出された客体の３次元位置情報を算出する。一例として、３次元位置情報検出部２０１は、客体に関する左映像を獲得する第１カメラと客体に関する右映像を獲得する第２カメラとの間の離隔距離と、第１カメラと第２カメラとの方向を利用して、客体までの距離を求めることが可能である。別の例として、３次元位置情報検出部２０１は、第１カメラと第２カメラの離隔距離と各カメラの自動焦点調整機能を基にして、客体までの距離を求めることが可能である。たとえば、３次元位置情報検出部２０１は、第１客体と第２客体までの距離を獲得して、第２客体が第１客体に比べて相対的に遠くのところにあることを認識することが可能である。

拡張現実データ変換部２０２は、第１客体に対応する第１客体の拡張現実データと、第２客体に対応する第２客体の拡張現実データとを獲得する。たとえば、拡張現実データ変換部２０２は拡張現実データ記憶部１０５からの関連情報を抽出することが可能である。また、拡張現実データ変換部２０２は、第１客体の拡張現実データと第２客体の拡張現実データを、各客体の３次元位置情報に応じて変換する。したがって、最終的な３次元映像が生成されるときに拡張現実データも３次元的に表示されるようにすることが可能である。例えば、第１客体が第２客体よりも相対的に近くに位置している場合、拡張現実データ変換部２０２は第１客体の拡張現実データが第２客体の拡張現実データよりも相対的に前方に位置するようにイメージを変換することが可能である。第１客体に対してだけ見ると、３次元拡張現実イメージの生成のため、第１カメラの左映像と合成される第１客体の第１拡張現実データと、第２カメラの右映像と合成される第１客体の第２拡張現実データがそれぞれ生成される。

拡張現実イメージ生成部２０３は変換された拡張現実のデータと得られた映像を合成して、３次元拡張現実イメージを生成する。たとえば、拡張現実イメージ生成部２０３は、第１カメラの左映像と第１客体の第１拡張現実データを合成して、第２カメラの右映像と第１客体の第２拡張現実データをそれぞれ合成した後、合成された左映像と右映像をまた合成して、最終的な３次元拡張現実イメージを生成することができる。

図３は、本発明の一実施形態に係る３次元位置情報の獲得方法を示す図である。

図３を参照すると、本実施形態に係る映像獲得部１０１は、第１カメラ３０１と第２カメラ３０２を含む。そして、第１カメラ３０１と第２カメラ３０２の間の距離は固定された距離ｄを示す。映像獲得部１０１は３次元映像を生成するために、第１カメラ３０１で、第１客体３０３及び第２客体３０４の左眼映像を撮影して、第２カメラ３０２で、同一の第１客体３０３及び第２客体３０４の右眼映像を撮影する。本実施形態では、第１客体３０３およびこれらの第１客体３０３とは異なる位置にある第２客体３０４が含まれた空間を撮影した場合において、第１客体３０３と第２客体３０４の３次元位置情報を獲得する方法を説明する。

一例として、３次元位置情報は、第１カメラ３０１と第２カメラ３０２は同一な対象物、例えば、第１客体３０３を同時に撮影して、それぞれの第１カメラ３０１及び第２カメラ３０２はその撮影方向を調節できるように構成する。すなわち、第１客体３０３を撮影したときの第１カメラ３０１の撮影角度θ_１と第２カメラ３０２の撮影角度θ_２を求めることができる。第１カメラ３０１と第２カメラ３０２間の距離ｄは固定された値を持つので、第１カメラ３０１の撮影角度θ_１、第２カメラ３０２の撮影角度θ_２、および距離ｄを介して第１客体３０３までの距離Ｌｍを求めることができる。

別の例として、３次元位置情報は、第１カメラ３０１と第２カメラ３０２が自動焦点調節機能を持つ場合、自動焦点調節機能を通じて同じ対象物、例えば、第１客体３０３を撮影したときの第１カメラ３０１の撮影距離ｆ_１と第２カメラ３０２の撮影距離ｆ_２を求めることもできる。同様に、第１カメラ３０１と第２カメラ３０２間の距離ｄが固定された値を持つので、第１カメラ３０１の撮影距離ｆ_１、第２カメラ３０２の撮影距離ｆ_２、および距離ｄを介して第１客体３０３までの距離Ｌｍを求めることができる。

この方法では、第１客体３０３までの距離Ｌｍが求められると、同じ方法で第２客体３０４までの距離Ｌｎを求めることができる。また、選択的に第２客体３０４においては、距離Ｌｎを求めることなく、第１客体３０３との相対的距離の関係、すなわち、第１客体３０３に比べて近いのか、または遠いのかのみを求めることができる。

図３においては、二つの第１客体３０３及び第２客体３０４に対してだけ説明したが、これは単純に説明の便宜のためのもので、他にも複数の客体が存在する場合にも同様の方法が適用できることは当業者に自明である。また、得られた映像からどのような客体を抽出して関心の対象とするかは、センサ部１０４のセンシング情報を活用することもできる。

図４は、本発明の一実施形態に係る３次元拡張現実イメージの生成処理を示す図である。

図４を参照すると、３次元映像を生成するためには、左眼映像４０１と右眼映像４０２が必要である。たとえば、左眼映像４０１は映像獲得部１０１の第１カメラ３０１によって撮影して、右眼映像４０２は映像獲得部１０１の第２カメラ３０２によって撮影することが可能である。

図４に示すように、左眼映像４０１および右眼映像４０２には、第１客体４０３と第２客体４０４が存在する。たとえば、第１客体４０３は相対的に近くに位置した松の木であり、第２客体４０４は相対的に遠くに位置した教会である。左眼映像４０１と右眼映像４０２が獲得されると、映像処理部１０２は第１客体４０３と第２客体４０４の３次元位置情報、例えば、距離または位置座標を上述した図３のように獲得することができる。この時、第１客体４０３と第２客体４０４すべての距離を計算することもでき、一つの第１客体４０３を基準物体に決めておいて、残りの第２客体４０４はその基準物体との相対的な距離だけを計算することも可能である。

第１客体４０３と第２客体４０４の３次元位置情報が得られると、映像処理部１０２は拡張現実データ記憶部１０５から関連情報を抽出する。たとえば、第１客体４０３に関連付けられた松の木の拡張現実データ４０５と、第２客体４０４に関連付けされた教会の拡張現実データ４０６とが抽出される。

拡張現実データ４０５及び４０６が抽出されると、映像処理部１０２はそれぞれの拡張現実データ４０５及び４０６が対応する第１客体４０３及び第２客体４０４の３次元位置情報に応じて変換する。たとえば、第１客体４０３が第２客体４０４に比べて相対的に前側に位置するので、第１客体４０３の拡張現実データ４０５が第２客体４０４の拡張現実データ４０６よりも前側に位置するように、拡張現実データ４０５及び４０６に変換することが可能である。第１客体４０３の拡張現実データ４０５では、左眼映像４０１に合成される第１拡張現実データ４０５−１と、右眼映像４０２に合成される第２拡張現実データ４０５−２がそれぞれ生成される。

拡張現実データ４０５及び４０６が変換されると、映像処理部１０２は変換された拡張現実データ４０５−１、４０５−２、４０６−１、４０６−２をそれぞれの左眼映像４０１及び右目映像４０２に合成して、合成された映像４０７、４０８を再合成して、最終的な３次元映像４０９を生成する。

生成された３次元映像４０９では、第１客体４０３が第２客体４０４よりも前側に表示され、第１客体４０３の拡張現実データ４０５も第２客体４０４の拡張現実データ４０６よりも前側に表示される。３次元映像４０９において、第１客体４０３、第２客体４０４、拡張現実データ４０５及び４０６はすべて左眼映像４０１および右眼映像４０２に基づいて生成されているので、ここで言及される前または後ろとは、２次元的に表現される遠近技法を言うのではなく、３次元映像での前または後ろを意味する。

図５は本発明の一実施形態に係る３次元拡張現実提供方法を示すフローチャートである。図５に示す３次元拡張現実提供方法は、図１の３次元拡張現実提供装置１００によって実行される。図１および図５を参照して本実施形態に係る方法を以下に説明する。

最初に、客体を含む映像を獲得する（オペレーション５０１）。たとえば、映像獲得部１０１が３次元映像のための客体の左映像および右映像をそれぞれ撮影する。

映像を撮影すると、映像に含まれた客体の３次元位置情報を算出する（オペレーション５０２）。たとえば、映像処理部１０２が図３に示すように、各客体までの距離を測定することが可能である。

３次元位置情報が算出されると、客体に対応する拡張現実データを抽出して、抽出された拡張現実データを算出した３次元位置情報に応じて変換する（オペレーション５０３）。たとえば、映像処理部１０２が３次元位置情報に基づいて、左映像と合成される第１拡張現実データと、右映像と合成される第２拡張現実データをそれぞれ生成することが可能である。

拡張現実データが変換されると、変換された拡張現実データと獲得された映像を用いて、３次元拡張現実イメージを生成する（オペレーション５０４）。たとえば、映像処理部１０２が第１拡張現実データと左映像を合成して、第２拡張現実データと右映像を合成して、合成された左映像と右映像を用いて３次元拡張現実イメージを生成することが可能である。

３次元拡張現実イメージが生成されると、生成された３次元拡張現実イメージを表示する（オペレーション５０５）。たとえば、生成された拡張現実イメージが第１客体に関する第１客体のイメージおよび第１客体よりも遠くに位置する第２客体に関する第２客体のイメージを含む場合、第１客体に対応する拡張現実データが第２客体に対応する拡張現実データよりも相対的に近くに感じられるように映像表示部１０３が３次元拡張現実イメージを表示することが可能である。

以上、説明したように、開示された装置及び方法によれば、拡張現実データが客体の３次元位置情報に応じて提供されるので、より現実感がある３次元拡張現実を具現することができる。

一方、本発明の実施形態は、コンピュータで読める記憶媒体にコンピュータが読めるコードとして具現することが可能である。コンピュータが読める記憶媒体は、コンピュータのシステムによって読むことができるデータが記憶されるすべての種類の記憶装置を含む。

コンピュータが読める記憶媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フレキシブルディスク、光データ記憶装置などがあり、また、キャリアウェーブ（たとえば、インターネットを通じた伝送）の形態で具現することを含む。また、コンピュータが読める記憶媒体は、ネットワークに接続されたコンピュータのシステムに分散されて、分散方式でコンピュータが読めるコードが記憶されて実行されることができる。そして、本発明を具現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コードおよびコードセグメント等は、本発明の属する技術分野のプログラマたちによって容易に推論される。

以上から、本発明の実施のための具体的な例を調べてみた。前述した実施例たちは本発明を例示的に説明するためのもので、本発明の権利範囲が特定の実施例に限定されないのである。

本発明は、拡張現実の具現のための拡張現実データ処理および映像処理技術に適用可能である。

Claims (5)

1. 客体に関する第１映像を獲得する第１カメラと、前記客体に関する前記第１映像と相違する第２映像を獲得する第２カメラとを含む映像獲得部と、
   前記客体が第１客体と第２客体とを含む場合に、前記第１映像および前記第２映像を用いて前記第１客体までの距離情報を獲得し、獲得した前記距離情報を用いて前記第１客体の３次元位置情報を算出し、前記第１客体に対応する拡張現実データを前記３次元位置情報に応じて変換し、前記第２客体に対応する拡張現実データを前記第１客体より近いか遠いかの相対的関係に応じて変換し、前記第１客体および前記第２客体に対応する前記拡張現実データと前記第１映像と前記第２映像とを用いて、前記第１客体に対応する前記拡張現実データと前記第２客体に対応する前記拡張現実データとの３次元映像での前後関係が前記相対的関係となるように、３次元拡張現実イメージを生成する映像処理部と、
   を含むことを特徴とする３次元拡張現実提供装置。
2. 前記映像処理部は、
   前記３次元位置情報に基づいて、前記第１映像と合成される第１拡張現実データと前記第２映像と合成される第２拡張現実データとをそれぞれ生成して、生成された前記第１拡張現実データと前記第１映像を合成して、生成された前記第２拡張現実データと前記第２映像を合成した後、前記３次元拡張現実イメージを生成することを特徴とする請求項１に記載の３次元拡張現実提供装置。
3. ＧＰＳセンサ、加速度センサおよび地磁気センサのうち少なくとも一つを含むセンサ部と、
   を含むことを特徴とする請求項１に記載の３次元拡張現実提供装置。
4. 前記映像処理部は、
   前記センサ部のセンシング情報を用いて、前記獲得された映像の中から関心領域を指定して、前記関心領域により前記客体を検出することを特徴とする請求項３に記載の３次元拡張現実提供装置。
5. 前記拡張現実イメージを３次元的に表示する映像表示部と、
   を含むことを特徴とする請求項１に記載の３次元拡張現実提供装置。