JP5644862B2 - 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム - Google Patents

Description

本発明は、立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラムに関する。

隣接した２つのカメラで撮影した画像の視差を利用して立体視が可能な画像を生成する立体視画像生成装置がある。立体視画像生成装置は、例えば、隣接した２つのカメラで撮影した画像のうち、一方のカメラによる画像を左眼用画像として、他方のカメラによる画像を右眼用画像として、生成して表示し、視聴者に立体的な画像を感じさせる。

同一の対象物に対して、左眼用画像における位置と、右眼用画像における位置との差を、視差という。画像内に存在する２つの対象物で、視差量が異なることにより、一方の対象物が他方の対象物に対して手前または奥に存在するように見える。視差量は、視差の大きさである。

図１は、立体視画像の例を示す図である。図１において、画像９１０が左眼用画像であり、画像９２０が右眼用画像である。ここで、左眼用画像である画像９１０、及び、右眼用画像である画像９２０には、それぞれ、物体Ａ、物体Ｂ、物体Ｃが存在する。画像９１０及び画像９２０との間における、これらの物体の視差により、図１の立体視画像を見る者には、手前から、物体Ａ、物体Ｂ、物体Ｃが存在するように見える。

特開２００８−９２５５５号公報 特開２０００−７８６１１号公報 特開２００４−２０７７７３号公報

動画像が視聴される際、動きのある対象物が注目されることが多い。隣接した２つのカメラで撮影した動画像の視差を利用した立体視画像（立体視動画像）では、動きのある対象物が左右方向や上下方向に動いてもこの対象物の視差量はほとんど変化しない。この対象物の視差量は、カメラとこの対象物と間の距離に依存するからである。この場合、視聴者の眼は疲れにくい。しかし、この動きのある対象物が、奥行き方向に動くと、この対象物の視差量が変化する。視聴者がこのような動画像を長時間視聴すると、視聴者の眼が疲れやすくなる。

また、注目される動きのある対象物に対して、一旦、視差量がゼロになるように調整されたとしても、注目される動きのある対象物とカメラとの距離が変化することにより、この対象物の視差量が変化し、視聴者の目が疲れやすくなる。

よって、立体視動画像において、注目される動きのある対象物の視差量の変化を緩和することが求められる。例えば、立体視動画像において、注目する対象物の視差量を所定値未満に調整することが求められる。

本件開示の装置は、右眼用動画像と左眼用動画像との間の視差量を動的に調整する立体視動画像生成装置を提供することを課題とする。

開示の立体視動画像生成装置は、上記課題を解決するために、以下の手段を採用する。

即ち、開示の一態様は、
それぞれ時刻情報と対応付けられる複数の画像を含む第１動画像、それぞれ前記時刻情報と対応付けられる複数の画像を含む第２動画像、および、所定画像を格納する格納部と、
同一の時刻情報と対応付けられる第１動画像の第１画像および第２動画像の第２画像と、前記所定画像とを前記格納部から抽出し、前記第１画像における前記所定画像の存在位置である第１位置を算出し、前記第２画像における前記所定画像の存在位置である第２位置を算出し、前記第１位置と前記第２位置との差分である第１差分量を算出し、前記第１画像における前記所定画像の第１位置および前記第２画像における前記所定画像の第２位置のうち少なくとも一方を、前記第１差分量に基づいて平行移動し、新たな第１画像および新たな第２画像を生成する演算部と、
を備える立体視動画像生成装置とする。

開示の装置によれば、右眼用動画像と左眼用動画像との間の視差量を動的に調整する立体視動画像生成装置を提供することができる。

図１は、立体視画像の例を示す図である。 図２は、立体視画像における視差を説明する図である。 図３は、ＭＰＥＧ２データの構造の例を示す図である。 図４は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの関係を示す図である。 図５は、立体視動画像生成装置の例を示す図である。 図６は、情報処理装置のハードウェア構成例を示す図である。 図７は、立体視動画像生成装置の動作フローの例（１）を示す図である。 図８は、立体視動画像生成装置の動作フローの例（２）を示す図である。 図９は、ステップＳ１０４の処理を説明する図である。 図１０は、ステップＳ１０７の処理を説明する図である。

以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、開示の実施形態の構成に限定されない。

ここでは、主として、隣接する２つのカメラで撮影された画像による立体視動画像を使用して説明しているが、立体視動画像は、これに限定されず、例えば、人工的に生成された２つの動画像によるもの等であってもよい。

〔実施形態１〕
（視差）
図２は、立体視画像における視差を説明する図である。図２において、例えば、同一の対象物に対して、隣接する２つのカメラで撮影された画像のうち、左眼用画像を画像１０、右眼用画像を画像２０とする。図２の例では、画像１０及び画像２０に、同一の対象物である、物体１が含まれている。ここで、点Ｐ１は、画像１０において物体１の位置を代表する点とする。点Ｐ２は、画像２０において、物体１の位置を代表する点とする。物体１の位置を代表する点は、例えば、物体１の中心点としてもよいし、物体１の右端かつ下端の点としてもよい。物体１の位置を代表する点は、これらに限定されない。点Ｐ１及び点Ｐ２は、それぞれ、物体１において同一位置を示す点である。点Ｐ１および点Ｐ２は、それぞれ、画像１０における物体１の位置および画像２０における物体１の位置ともいう。

立体視画像における視差は、同一の対象物の、左眼用画像における位置と右眼用画像における位置との差である。視差量は、視差の大きさである。

図２の画像１０及び画像２０において、物体１の視差量は、画像１０における物体１の位置（点Ｐ１）と、画像２０における物体１の位置（点Ｐ２）との差である。即ち、画像１０における点Ｐ１の座標を（ＸＬ，ＹＬ）、画像２０における点Ｐ２の座標を（ＸＲ，ＹＲ）とすると、物体１の視差量は、次のように表される。

ここで、ΔＸは、横方向の視差量を示し、ΔＹは縦方向の視差量を示す。

例えば、右眼用画像を、この視差量分、平行移動することにより、立体視画像における物体１の視差がなくなる。

（データ構造の例）
〈ＭＰＥＧ２〉
ここでは、ＭＰＥＧ２フォーマットについて説明する。

ＭＰＥＧ２フォーマットでは、動画像は、時間情報を有する複数の画像（静止画像）を含む。この動画像は、時間情報の時間順に再生される。ＭＰＥＧ２フォーマットにおける各画像データは、所定の数の画像データ毎に圧縮される。

図３は、ＭＰＥＧ２データの構造の例を示す図である。図３のＭＰＥＧ２データは、階層構造になっている。図３のＭＰＥＧ２データは、画像出力フレームレイヤ、ＧＯＰ（Group of Pictures）レイヤ、ピクチャレイヤ、ラインレイヤ、ＭＢ（Micro Block）レイヤを含む。

画像出力フレームレイヤは、１つの映像に対応するＭＰＥＧ２データである。画像フレームレイヤは、ＧＯＰ（Group of Pictures）、及び、これに対応するＳＨ（Sequence Header；シーケンスヘッダ）を含む。画像出力フレームレイヤは、複数のＧＯＰおよびＳＨを含む。

ＧＯＰは、フレームを効率的に管理するために必要なフレーム（ピクチャ）の集合である。フレームは、動画データにおいて編集可能な最小単位である。ＳＨは、ＧＯＰの画像の開始ポイント等の情報を含む。ＳＨには、時間情報やフレームレートが含まれ得る。

ＧＯＰレイヤは、単独で再生可能なＩ（Intra-coded）ピクチャ、過去のＩピクチャまたはＰピクチャを用いて再生されるＰ（Predicted）ピクチャ、及び、過去及び未来のＩピクチャまたはＰピクチャを用いて再生されるＢ（Bi-directional Predicted）ピクチャを含む。Ｉピクチャは、最初に符号化されるフレームである。復号は、Ｉピクチャから始められる。

ピクチャレイヤは、複数のラインブロックを含む。図３の例では、ピクチャレイヤはｎ個のラインブロックを含む。ピクチャレイヤに含まれるラインブロックの数は、ピクチャのサイズに依存する。

ラインレイヤは、複数のマクロブロック（ＭＢ；Macro Block）を含む。マクロブロックは、輝度情報（Ｙ情報）、色差情報（Ｃｒ情報、Ｃｂ情報）を含む。

図４は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの関係を示す図である。図４の例では、左のピクチャから順に、時間が古い（過去の）ピクチャである。Ｉピクチャは、単独で再生可能である。Ｐピクチャは、過去のＩピクチャまたはＰピクチャから情報を得て再生される。Ｂピクチャは、過去のＩピクチャまたはＰピクチャ、および、未来のＰピクチャから情報を得て再生される。ここで、情報とは、ピクチャ内の領域（例えば、マクロブロック）、および、この領域の動き予測（動きベクトル）である。

Ｉピクチャのデータには、移動する画像および移動しない画像のデータが含まれる。Ｉピクチャのデータでは、移動する画像と移動しない画像とが区別される。移動しない画像は、このピクチャの次の時刻のピクチャでも変化しない背景等である。移動しない画像は、動きベクトルがゼロベクトルである領域の画像である。移動する画像は、このピクチャの次の時刻のピクチャにおいて移動する物体等を含む画像である。移動する画像は、動きベクトルがゼロベクトルでない領域の画像である。Ｐピクチャのデータには、移動する画像および移動しない画像のデータが含まれる。Ｐピクチャのデータでは、移動する画像と移動しない画像とが区別される。Ｂピクチャのデータには、移動する画像のデータが含まれる。即ち、Ｂピクチャのデータには、動きベクトルがゼロベクトルでない領域の画像が含まれる。各ピクチャのデータは、移動する画像のデータを含む。ただし、画像全体で動きがない場合は、各ピクチャのデータは、移動する画像のデータを含まない。

〈ＡＶＩ〉
ここでは、ＡＶＩフォーマットについて説明する。

ＡＶＩフォーマットでは、動画像は、時間情報を有する複数の画像（静止画像）を含む。この動画像は、時間情報の時間順に再生される。ＡＶＩフォーマットにおける各画像データは、画像データ毎に圧縮される。ＡＶＩフォーマットにおける各画像データは、先に説明したＩピクチャのように単独で再生可能である。また、各画像データは、移動する画像と移動しない画像との区別を有しない。

処理しようとする画像とこの画像の直前の時刻の画像とで差分を取り、差分が０である領域が移動しない画像であり、差分が０でない領域が移動する領域とすることができる。あらかじめ、時間的に隣接する画像同士で差分を算出しておくことにより、動画像が、ＡＶＩフォーマットであっても、画像全体を、移動する画像と、移動しない画像とに、分けることができる。移動する画像（領域）と移動しない画像（領域）とは、あらかじめ算出されて、格納部等に格納されてもよい。

（構成）
図５は、立体視画像生成装置の例を示す図である。立体視画像生成装置１００は、取得部１１０、演算部１２０、格納部１３０を含む。

取得部１１０は、外部または内部の入力装置から、動画像を取得する。取得部１１０が取得する動画像は、立体視動画像の、左眼用動画像、及び、右眼用動画像である。取得部１１０が取得した動画像は、格納部１３０に格納される。左眼用動画像及び右眼用動画像は、それぞれ、対応付けられて、格納部１３０に格納される。動画像は、例えば、連続する、複数の、時間情報が付加された画像（静止画像）を含む。動画像に含まれる各画像は、画像内の点毎に画素値を有する。画素値は、点の色などを示す情報である。画素値は、例えば、ＲＧＢ表色系のＲ（Red）値、Ｇ（Green）値、Ｂ（Blue）値で表される。ＲＧＢ表色系の代わりに、他の表色系（例えば、ＹＵＶ表色系）によるパラメータ（値）が使用されてもよい。ＹＵＶ表色系によるパラメータが使用された場合、輝度値として、Ｙ（Yellow）値が使用されてもよい。

演算部１２０は、取得部１１０が取得した動画像に含まれる１つ１つの画像に対して、視差量の算出を行い、立体視画像を生成する。演算部１２０が生成した立体視画像は、格納部１３０に格納される。

格納部１３０は、取得部１１０が取得した動画像、及び、演算部１２０が生成した立体視画像、演算部１２０が算出した視差量、基準オブジェクト等を格納する。

表示部１４０は、格納部１３０に格納される動画像等を表示する。

受信部１５０は、基準オブジェクトの選択等の、ユーザからの入力を受け付ける。

図６は、情報処理装置３００のハードウェア構成例を示す図である。立体視画像生成装置１００は、例えば、図６に示すような情報処理装置３００によって、実現される。情報処理装置３００は、ＣＰＵ（Central Processing Unit）３０２、メモリ３０４、記憶部３０６、入力部３０８、出力部３１０、通信部３１２を含む。

情報処理装置３００は、ＣＰＵ３０２が記録部３０６に記憶されたプログラムをメモリ３０４の作業領域にロードして実行し、プログラムの実行を通じて周辺機器が制御されることによって、所定の目的に合致した機能を実現することができる。

ＣＰＵ３０２は、記憶部３０６に格納されるプログラムに従って処理を行う。メモリ３０４は、ＣＰＵ３０２がプログラムやデータをキャッシュしたり作業領域を展開したりする。メモリ３０４は、例えば、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。

記憶部３０６は、各種のプログラム及び各種のデータを読み書き自在に記録媒体に格納する。記憶部３０６としては、ソリッドステートドライブ装置、ハードディスクドライブ装置、ＣＤ（Compact Disc）ドライブ装置、ＤＶＤ（Digital Versatile Disk）ドライブ装置、＋Ｒ／＋ＲＷドライブ装置、ＨＤ ＤＶＤ（High-Definition Digital Versatile Disk）ドライブ装置、または、ＢＤ（Blu-ray Disk）ドライブ装置がある。また、記録媒体としては、不揮発性半導体メモリ（フラッシュメモリ）を含むシリコンディスク、ハードディスク、ＣＤ、ＤＶＤ、＋Ｒ／＋ＲＷ、ＨＤ ＤＶＤ、または、ＢＤがある。ＣＤとしては、ＣＤ−Ｒ（Recordable）、ＣＤ−ＲＷ（Rewritable）、ＣＤ−ＲＯＭがある。ＤＶＤとしては、ＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ（Random Access Memory）がある。ＢＤとしては、ＢＤ−Ｒ、ＢＤ−ＲＥ（Rewritable）、ＢＤ−ＲＯＭがある。

入力部３０８は、ユーザ等からの操作指示等を受け付ける。入力部３０８は、キーボード、ポインティングデバイス、ワイヤレスリモコン、マイクロフォン、複数のカメラ等の入力デバイスである。入力部３０８から入力された情報は、ＣＰＵ３０２に通知される。

出力部３１０は、ＣＰＵ３０２で処理されるデータやメモリ３０４に記憶されるデータを出力する。出力部３１０は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electroluminescence）パネル、プリンタ、スピーカ等の出力デバイスである。

通信部３１２は、外部装置とデータの送受信を行う。通信部３１２は、例えば、信号線を介して、外部装置と接続される。通信部３１２は、例えば、ＬＡＮ（Local Area Network）インタフェースボードや、無線通信のための無線通信回路である。

情報処理装置３００は、記憶部３０６に、オペレーティングシステム、各種プログラム、各種テーブル、を記憶している。

オペレーティングシステムは、ソフトウェアとハードウェアとの仲介、メモリ空間の管理、ファイル管理、プロセスやタスクの管理等を行うソフトウェアである。オペレーティングシステムは、通信インタフェースを含む。通信インタフェースは、通信部３１２を介して接続される他の外部装置等とデータのやり取りを行うプログラムである。

立体視画像生成装置１００を実現できる情報処理装置３００は、ＣＰＵ３０２が記憶部３０６に記憶されているプログラムをメモリ３０４にロードして実行することによって、取得部１１０、演算部１２０、受信部１５０としての機能を実現する。また、格納部１３０は、メモリ３０４、記憶部３０６等の記憶領域に設けられる。表示部１４０は、ＣＰＵ３０２、出力部３１０等によって実現される。受信部１５０は、ＣＰＵ３０２、入力部３０８等によって実現される。

（動作例）
立体視動画像生成装置１００の動作例について説明する。以下の説明では、左眼用動画像および右眼用動画像が使用されるが、左眼用動画像と右眼用動画像との間には、優劣はなく、互いに入れ替えることができる。同様に、左眼用画像および右眼用画像が使用されるが、左眼用画像と右眼用画像との間には、優劣はなく、互いに入れ替えることができる。

図７および図８は、立体視動画像生成装置１００の動作フローの例を示す図である。図７の「Ａ」は、図８の「Ａ」と接続する。図７の動作フローは、例えば、立体視道画像生成装置１００の電源が投入されることを契機に開始される。

立体視動画像生成装置１００は、左眼用動画像および右眼用動画像を取得し、基準オブジェクトを選択させ、先頭の画像の基準オブジェクトの視差量を算出する。また、立体視動画像生成装置１００は、当該視差量に基づいて、動画像に含まれるすべての画像について、画像全体を平行移動する（Ｓ１０１〜Ｓ１０４）。動画像は、連続した複数の静止画像（フレーム、ピクチャ）を含む。さらに、立体視動画像生成装置１００は、静止画像毎に基準オブジェクトの視差量を算出し、当該視差量に基づいて、基準オブジェクトを平行移動し基準オブジェクトの視差量を調整する（Ｓ１０５〜Ｓ１０８）。立体視画像生成装置１００は、調整後の画像を立体視動画像の画像として出力する左眼用画像および右眼用画像は、通常、時刻情報の時刻順に再生される。動画像は、例えば、ＭＰＥＧ２フォーマットにより圧縮される。ただし、立体視動画像生成装置１００の処理は、これらのような処理に限定されるものではない。

左眼用動画像および右眼用動画像は、それぞれに含まれる１つ１つの画像（静止画像）毎に、時刻情報に対応付けられる。左眼用動画像および右眼用動画像は、それぞれに含まれる画像毎に、共通する時間情報に対応付けられる。画像と時間情報との対応付けは、例えば、各画像が時間情報を有することにより実現される。また、画像と時間情報との対応付けは、例えば、各画像に振られる再生順の通し番号と、先頭画像の時間情報と、フレームレート（単位時間あたりの画像数）とにより、実現される。さらに、画像と時間情報との対応付けは、例えば、再生順に並べられた各画像と、先頭画像の時間情報と、フレームレート（単位時間あたりの画像数）とにより、実現される。また、先頭画像の時間情報はなくてもよい。

図７および図８の動作フローについて、詳細に説明する。

取得部１１０は、左眼用動画像および右眼用動画像を取得する（Ｓ１０１）。取得部１１０は、左眼用動画像および右眼用動画像を、立体視動画像生成装置１００に内蔵されるカメラから取得してもよいし、外部装置から取得してもよい。取得された左眼用動画像および右眼用動画像は、格納部１３０に格納される。左眼用動画像および右眼用動画像は、あらかじめ、格納部１３０に格納されていてもよい。

演算部１２０は、基準となるオブジェクト（基準オブジェクト）を特定する（Ｓ１０２）。

例えば、演算部１２０は、取得した左眼用動画像から、時刻情報の時刻が最も古い、画像（左眼用画像）を取り出す。また、同様に、演算部１２０は、時刻情報の時刻が最も古い、画像（右眼用画像）を取り出す。これらの最も古い時刻情報の時刻は、同じである。ここで取り出される画像は、動画像の先頭の画像である。演算部１２０は、表示部１４０に、取り出した左眼用画像および右眼用画像を表示する。演算部１２０は、ユーザに対し、表示部１４０に表示された画像から、基準オブジェクトとする範囲を選択させる。ユーザは、表示部１４０に表示された画像から、基準オブジェクトとする範囲を選択し、受付部１５０により選択した範囲を入力する。演算部１２０は、選択された範囲の画像を抽出し、基準オブジェクトとして、格納部１３０に格納する。これにより、演算部１２０は、基準オブジェクトを特定できる。また、基準オブジェクトしての画像が、あらかじめ、格納部１３０に格納されていてもよい。左眼用画像と、右眼用画像とで、それぞれ、基準オブジェクトの範囲が選択されてもよい。このとき、ユーザは、左眼用画像と、右眼用画像とで、同一の対象物について、基準オブジェクトの範囲として選択する。基準オブジェクトは、所定画像の一例である。

演算部１２０は、ステップＳ１０２で特定した基準オブジェクトの、左眼用画像と右眼用画像との間の視差量を算出する（Ｓ１０３）。演算部１２０は、取得した左眼用動画像から、時刻情報の時刻が最も古い、画像（左眼用画像）を取り出す。また、同様に、演算部１２０は、時刻情報の時刻が最も古い、画像（右眼用画像）を取り出す。即ち、演算部１２０は、取得した動画像から、最初の左眼用画像および最初の右眼用画像を取り出す。演算部１２０は、左眼用画像と右眼用画像とで、同一の時刻情報の画像について視差量の算出を行う。ここで処理する画像は、例えば、ＭＰＥＧ２フォーマットでは動画像ファイルの先頭のＩピクチャの画像である。また、ここで処理する画像は、例えば、ＡＶＩフォーマットでは動画像ファイルの先頭の画像である。

演算部１２０は、左眼用画像における基準オブジェクトの位置を求める。また、演算部１２０は、右眼用画像における基準オブジェクトの位置を求める。画像における基準オブジェクトの位置は、例えば、基準オブジェクトの中心の座標である。左眼用画像および右眼用画像の基準オブジェクトは、ステップＳ１０２で特定されている。

演算部１２０は、例えば、格納部１３０に格納される基準オブジェクトの画像と、左眼用画像（または右眼用画像）とを、パターンマッチングすることにより、左眼用画像（または右眼用画像）における基準オブジェクトの位置を求めることができる。左眼用画像（または右眼用画像）における基準オブジェクトの位置の情報は、時刻情報と対応付けられて格納部１３０に格納される。

パターンマッチングは、例えば、次のように実行される。演算部１２０が、左眼用画像と基準オブジェクトの画像とをある位置で重ねあわせ、両画像の基準オブジェクトの画像の範囲における画素値の差分をとる。演算部１２０は、左眼用画像上で基準オブジェクトを任意に平行移動させて、同様に、各位置で差分を取る。演算部１２０は、差分が０または所定値未満である基準オブジェクトの位置を、左眼用画像における基準オブジェクトの位置とすることができる。右眼用画像についても同様である。なお、パターンマッチングの手法として、上記に限定されず他の周知の方法が適用されうる。

演算部１２０は、左眼用画像における基準オブジェクトの位置と右眼用画像における基準オブジェクトの位置との差を、算出する。この求めた差が、視差量となる。この求めた差のうち、横方向の差が視差量ΔＸ、縦方向の差が視差量ΔＹである。演算部１２０は、この横方向の視差量ΔＸおよび縦方向の視差量ΔＹを、格納部１３０に格納する。

また、演算部１２０は、左眼用画像と右眼用画像とを重ねあわせ、ステップＳ１０２で特定した基準オブジェクトの範囲が、左眼用画像と右眼用画像とで一致するように、一方の画像（例えば、右眼用画像）を平行移動させて、視差量を求めてもよい。視差量は、当該一方の画像（例えば、右眼用画像）の平行移動した距離（Ｘ軸方向の移動量及びＹ軸方向の移動量）となる。このとき、演算部１２０は、平行移動した距離の、横方向の距離を横方向の視差量ΔＸ、縦方向の距離を縦方向の視差量ΔＹとして、格納部１３０に格納する。視差量は、正負号を含む。即ち、例えば、−Ｘ方向に平行移動した場合は、視差量ΔＸは、負の量になる。

さらに、演算部１２０は、次のように視差量を求めてもよい。演算部１２０は、左眼用画像と右眼用画像とを重ねあわせて表示部１４０に表示する。ユーザが、表示部１４０に表示された画像を見ながら、受付部１５０により一方の画像を平行移動して、ステップＳ１０２で特定した基準オブジェクトの範囲が、左眼用画像と右眼用画像とで一致するようする。視差量は、当該一方の画像（例えば、右眼用画像）の平行移動した距離となる。演算部１２０は、平行移動した距離の、横方向の距離を横方向の視差量ΔＸ、縦方向の距離を縦方向の視差量ΔＹとして、格納部１３０に格納する。

演算部１２０は、立体視動画像を生成する（Ｓ１０４）。Ｓ１０４の処理では、演算部１２０は、例えば、格納部１３０から右眼用動画像を取り出す。そして、演算部１２０は、右眼用動画像において、すべての時刻の画像について、画像全体を、視差量分だけ平行移動した画像を、新たな右眼用動画像とする。視差量として、ステップＳ１０３で格納部１３０に格納した視差量（ΔＸおよびΔＹ）が使用される。このように、右眼用動画像の画像全体を、Ｓ１０３の処理で求めた視差量分（ΔＸおよびΔＹ）だけ平行移動すると、画像の最初の時刻の右眼用画像における基準オブジェクトの位置が、同じ時刻の左眼用画像における基準オブジェクトの位置と同一になる。即ち、最初の時刻における左眼用画像と右眼用画像との間の基準オブジェクトの視差が、ほぼなくなる。演算部１２０は、左眼用動画像および新たな右眼用動画像を、立体視動画像として、格納部１３０に格納する。ここで格納される左眼用動画像を、新たな左眼用動画像と称してもよい。 格納された左眼用動画像及び右眼用動画像は、立体視用の表示装置において、表示されうる。立体視用の表示装置は、左眼用動画像を左眼に、右眼用動画像を右眼に入力するような、表示装置である。また、格納された左眼用動画像及び右眼用動画像は、表示部１４０に表示されてもよい。

図９は、ステップＳ１０４の処理を説明する図である。図９には、最初の時刻における左眼用画像、最初の時刻における処理前の右眼用画像、最初の時刻における処理後の右眼用画像が示されている。ここで、図９の各画像における中心付近の三角形形状のオブジェクトを基準オブジェクトとする。左眼用画像における基準オブジェクトの位置は、（ＸＬ，ＹＬ）である。処理前の右眼用画像における処理前の基準オブジェクトの位置は、（ＸＲ，ＹＲ）である。ここで、横方向の視差量は、ΔＸ＝ＸＬ−ＸＲであり、縦方向の視差量は、ΔＹ＝ＹＬ−ＹＲである。ここで、右眼用画像を視差量だけ平行移動すると、処理後の右眼用画像のようになる。処理後の右眼用画像における基準オブジェクトの位置は、（ＸＬ，ＹＬ）であり、左眼用画像における基準オブジェクトの位置と同一になる。処理前の右眼用画像と処理後の右眼用画像との間で、基準オブジェクトと他のオブジェクト等との位置関係は、変わらない。即ち、処理前の右眼用画像と処理後の右眼用画像との間で、基準オブジェクトと他のオブジェクト等との横方向の距離および縦方向の距離は変わらない。

また、上記の説明では、一方の画像全体を平行移動して新たな画像としている。ここで、演算部１２０は、それぞれの動画像（左眼用動画像、右眼用動画像）において、基準オブジェクトの視差量の１／２の量で動画像の画像全体を平行移動することにより、基準オブジェクトの位置を最初の時刻の左眼用画像と右眼用画像とで同一にしてもよい。即ち、演算部１２０は、視差量をΔＸ及びΔＹとすると、左眼用画像の点のＸ座標及びＹ座標をそれぞれ−ΔＸ／２及び−ΔＹ／２だけ平行移動した点を新たな左眼用画像の点とする。同様に、演算部１２０は、右眼用画像の点のＸ座標及びＹ座標をそれぞれ＋ΔＸ／２及び＋ΔＹ／２だけ平行移動した点を新たな右眼用画像の点とする。また、演算部１２０は、一方の動画像において基準オブジェクトの視差量の１／３の量で動画像の画像全体を平行移動し、他方の動画像において基準オブジェクトの視差量の２／３の量で動画像の画像全体を平行移動してもよい。この平行移動する際の視差量に対する割合は、自由に設定され得る。ただし、左眼用動画像と右眼用動画像とにおける平行移動の量が、全体として基準オブジェクトの視差量に一致することが求められる。このとき、演算部１２０は、新たな左眼用動画像および新たな右眼用動画像を生成し、格納部１３０に格納することになる。

演算部１２０は、ステップ１０３で格納部１３０に格納された左眼用画像および右眼用画像の基準オブジェクトの位置の情報を、ステップＳ１０４での処理を加味して、変更する。

ステップＳ１０４では、動画像におけるすべての時刻の画像が、ステップＳ１０３で求められた視差量（ΔＸおよびΔＹ）に基づいて、処理される。

以降の処理において、ステップＳ１０４で処理された左眼用動画像、および、右眼用動画像が使用される。

ステップＳ１０５では、演算部１２０は、直前に処理した画像（直前のステップＳ１０３または直前のステップＳ１０５で処理した画像）と、この画像の次の時刻の画像とで、基準オブジェクトが移動したか否かを判定する（図８：Ｓ１０５）。即ち、演算部１２０は、直前に処理した左眼用画像と、この画像の次の時刻の左眼用画像とで、基準オブジェクトが移動したか否かを判定する。また、演算部１２０は、直前に処理した右眼用画像と、この画像の次の時刻の右眼用画像とで、基準オブジェクトが移動したか否かを判定する。

演算部１２０は、直前に処理した画像の次の時刻の画像（左眼用画像および右眼用画像）を、格納部１３０から取り出す。取り出された、左眼用画像および右眼用画像は、既に、ステップＳ１０３で算出された視差量に基づいて、処理されている。

演算部１２０は、取り出された左眼用画像における基準オブジェクトの位置を求める。演算部１２０は、求めた左眼用画像における基準オブジェクトの位置を、時刻情報と対応付けて格納部１３０に格納する。基準オブジェクトは、ステップＳ１０２で特定されている。演算部１２０は、ステップＳ１０３における処理と同様に、格納部１３０に格納される基準オブジェクトの画像と、左眼用画像とを、パターンマッチングすることにより、左眼用画像における基準オブジェクトの位置を求めることができる。演算部１２０は、ここで求められた基準オブジェクトの位置と、直前に処理した左眼用画像の基準オブジェクトの位置との距離を算出する。演算部１２０は、右眼用画像についても同様に処理する。演算部１２０は、左眼用画像および右眼用画像のうち、少なくとも一方の画像の基準オブジェクトの位置と直前の画像の基準オブジェクトの位置との距離が、所定値以上である場合、基準オブジェクトが移動したと判定する。演算部１２０は、左眼用画像および右眼用画像の両方の画像の基準オブジェクトの位置と直前の画像の基準オブジェクトの位置との距離が０または所定値未満である場合、基準オブジェクトが移動していないと判定する。

また、演算部１２０は、直前に処理した画像の次の時刻の画像のデータに含まれる、移動する画像（領域）に、基準オブジェクトの画像が含まれるか否かを判定することにより、基準オブジェクトが移動したか否かを判定してもよい。この判定には、パターンマッチングが使用されてもよい。移動する画像（領域）は、移動している物体等を含む画像である。よって、移動する画像に基準オブジェクトの画像が含まれる場合、演算部１２０は、基準オブジェクトが移動していると判定する。

基準オブジェクトが移動していると判断された場合（Ｓ１０５；ＹＥＳ）、演算部１２０は、ステップＳ１０５で取り出された左眼用画像および右眼用画像において、基準オブジェクトの、左眼用画像と右眼用画像との間の視差量を算出する（Ｓ１０６）。演算部１２０は、ステップＳ１０５で求めた、左眼用画像の基準オブジェクトの位置と、右眼用画像の基準オブジェクトの位置との差を算出する。この求めた差が、ここでの視差量となる。この求めた差のうち、横方向の差を視差量ΔＸ１、縦方向の差を視差量ΔＹ１とする。演算部１３０は、この横方向の視差量ΔＸ１および縦方向の視差量ΔＹ１を、格納部１３０に格納する。視差量ΔＸ１および視差量ΔＹ１の初期値は、共に、０である。

基準オブジェクトが移動していないと判断された場合（Ｓ１０５；ＮＯ）、処理がステップＳ１０７に進む。

ステップＳ１０７では、演算部１２０は、立体視画像を生成する（Ｓ１０７）。演算部１２０は、取り出された右眼用画像において、基準オブジェクトを、Ｘ軸（横）方向、および、Ｙ軸（縦）方向に、それぞれ、格納部１３０に格納される視差量ΔＸ１、および、視差量ΔＹ１分だけ平行移動した画像を、新たな右眼用画像とする。視差量として、格納部１３０に格納される視差量（ΔＸ１およびΔＹ１）が使用される。右眼用画像の基準オブジェクトを、視差量（ΔＸ１およびΔＹ１）分だけ平行移動すると、右眼用画像における基準オブジェクトの位置が、同じ時刻の左眼用画像における基準オブジェクトの位置と同一になる。即ち、左眼用画像と右眼用画像との間の基準オブジェクトの視差が、ほぼなくなる。演算部１２０は、左眼用動画像および新たな右眼用動画像を、立体視動画像の１つ（１組）の画像として、ステップＳ１０５で処理した画像の時刻情報と対応付けて格納部１３０に格納する。基準オブジェクト以外の部分についての視差量は、変更されない。ここで格納される左眼用動画像を、新たな左眼用動画像と称してもよい。

図１０は、ステップＳ１０７の処理を説明する図である。図１０には、左眼用画像、処理前の右眼用画像、処理後の右眼用画像が示されている。ここで、図１０の各画像における中心付近の三角形形状のオブジェクトを基準オブジェクトとする。左眼用画像における基準オブジェクトの位置は、（ＸＬ１，ＹＬ１）である。処理前の右眼用画像における処理前の基準オブジェクトの位置は、（ＸＲ１，ＹＲ１）である。基準オブジェクトの横方向の視差量は、ΔＸ１＝ＸＬ１−ＸＲ１であり、縦方向の視差量は、ΔＹ１＝ＹＬ１−ＹＲ１である。ここで、右眼用画像における基準オブジェクトを視差量（横方向にΔＸ１、横方向にΔＹ１）だけ平行移動すると、処理後の右眼用画像のようになる。処理後の右眼用画像における基準オブジェクトの位置は、（ＸＬ１，ＹＬ１）であり、左眼用画像における基準オブジェクトの位置と同一になる。処理前の右眼用画像と処理後の右眼用画像との間で、基準オブジェクト以外のオブジェクト等の位置は、変わらない。即ち、例えば、処理前の右眼用画像と処理後の右眼用画像との間で、四角形形状や円形形状のオブジェクトの位置は、変わらない。

また、上記の説明では、一方の画像の基準オブジェクトを平行移動して新たな画像としている。ここで、演算部１２０は、それぞれの画像（左眼用画像、右眼用画像）において、基準オブジェクトの視差量（ΔＸ１およびΔＹ１）の１／２の量で画像の基準オブジェクトを平行移動することにより、基準オブジェクトの位置を左眼用画像と右眼用画像とで同一にしてもよい。即ち、演算部１２０は、視差量をΔＸ１及びΔＹ１とすると、左眼用画像の基準オブジェクトの点のＸ座標及びＹ座標をそれぞれ−ΔＸ１／２及び−ΔＹ１／２だけ平行移動した点を新たな左眼用画像の基準オブジェクトの点とする。同様に、演算部１２０は、右眼用画像の基準オブジェクトの点のＸ座標及びＹ座標をそれぞれ＋ΔＸ１／２及び＋ΔＹ１／２だけ平行移動した点を新たな右眼用画像の基準オブジェクトの点とする。また、演算部１２０は、一方の動画像において基準オブジェクトの視差量の１／３の量で当該基準オブジェクトを平行移動し、他方の動画像において基準オブジェクトの視差量の２／３の量で当該基準オブジェクトを平行移動してもよい。この平行移動する際の視差量に対する割合は、自由に設定され得る。ただし、左眼用動画像と右眼用動画像とにおける平行移動の量が、全体として基準オブジェクトの視差量に一致することが求められる。全体として基準オブジェクトの視差量に一致しないと、基準オブジェクトの位置が左眼用画像と右眼用画像とで同一にならないからである。このとき、演算部１２０は、新たな左眼用画像および新たな右眼用画像を生成し、立体視動画像の１つ（１組）の画像として、ステップＳ１０５で処理した画像の時刻情報と対応付けて格納部１３０に格納することになる。

演算部１２０は、ステップＳ１０５で処理した画像の時刻情報の時刻の次の時刻情報の時刻を有する画像が存在するかを確認する。即ち、演算部１２０は、ステップＳ１０５で処理した画像が、最後の画像であるか否かを判断する（Ｓ１０８）。ステップＳ１０５で処理した画像が最後の画像である場合（Ｓ１０８；ＹＥＳ）、演算部１２０は、処理を終了する。ステップＳ１０５で処理した画像が最後の画像でない場合（Ｓ１０８；ＮＯ）、演算部１２０は、処理をステップＳ１０５に戻す。

上記の例では、画像の右眼用画像における基準オブジェクトの位置が、同じ時刻の左眼用画像における基準オブジェクトの位置と同一となるようにしている。ここで、画像の右眼用画像における基準オブジェクトの位置と同じ時刻の左眼用画像における基準オブジェクトの位置とが、所定の位置関係を所定の範囲に維持するようにしてもよい。例えば、画像の右眼用画像における基準オブジェクトの位置と同じ時刻の左眼用画像における基準オブジェクトの位置とが、ステップＳ１０３で算出した視差量（ΔＸおよびΔＹ）を維持するようにしてもよい。ステップＳ１０３で算出した視差量（ΔＸおよびΔＹ）を維持する場合、ステップＳ１０４で平行移動をしなくてもよい。

（実施形態の作用効果）
立体視動画像生成装置１００は、左眼用動画像および右眼用動画像の最初の時刻の画像について、画像全体を平行移動することにより、基準オブジェクトの左眼用画像と右眼用画像との間の視差量を所定値未満又は所定の範囲にするようにする。立体視動画像生成装置１１００は、基準オブジェクトが移動した場合、基準オブジェクトを平行移動することにより、基準オブジェクトの視差量が所定値未満又は所定の範囲になるようにする。

立体視動画像生成装置１００は、最初の時刻の画像について基準オブジェクトの視差量を所定値未満又は所定の範囲にした後は、左眼用動画像と右眼用動画像との間で、基準オブジェクの以外の部分についての視差量を変更しない。

立体視動画像生成装置１００によれば、基準オブジェクトが奥行方向に動いた場合でも、基準オブジェクト以外の領域の立体感を変えることなく、左眼用動画像と右眼用動画像との間における基準オブジェクトの視差量を所定値未満又は所定の範囲に維持することができる。立体視動画像生成装置１００は、右眼用動画像と左眼用動画像との間の視差量を動的に調整することができる。

１００ 立体視動画像生成装置
１１０ 取得部
１２０ 演算部
１３０ 格納部
１４０ 表示部
１５０ 受信部
３００ 情報処理装置
３０２ ＣＰＵ
３０４ メモリ
３０６ 記憶部
３０８ 入力部
３１０ 出力部
３１２ 通信部

Claims (3)

1. それぞれ時刻情報と対応付けられる複数の画像を含む第１動画像、それぞれ前記時刻情報と対応付けられる複数の画像を含む第２動画像、および、所定画像を格納する格納部と、
   同一の時刻情報と対応付けられる第１動画像の第１画像および第２動画像の第２画像と、前記所定画像とを前記格納部から抽出し、前記第１画像における前記所定画像の存在位置である第１位置を算出し、前記第２画像における前記所定画像の存在位置である第２位置を算出し、前記第１位置と前記第２位置との差分である第１差分量を算出し、前記第１画像における前記所定画像の第１位置および前記第２画像における前記所定画像の第２位置のうち少なくとも一方を、前記第１差分量が所定の範囲内となるように平行移動し、新たな第１画像および新たな第２画像を生成する演算部と、を備え、
   前記演算部は、前記新たな第１画像および前記新たな第２画像を生成する前に、時刻情報の時刻が先頭の時刻である前記第１動画像の第３画像、時刻情報の時刻が先頭の時刻である前記第２動画像の第４画像を前記格納部から抽出し、前記第３画像における前記所定画像の存在位置である第３位置を算出し、前記第４画像における前記所定画像の存在位置である第４位置を算出し、前記第３位置と前記第４位置との差分である第２差分量を算出し、前記第１動画像に含まれるすべての画像および前記第２動画像に含まれるすべての画像のうち少なくとも一方について、それぞれの画像全体を前記第２差分量に基づいて平行移動し、新たな第１動画像および新たな第２動画像とし、当該新たな第１動画像を前記第１動画像とし、当該新たな第２動画像を前記第２動画像として前記格納部に格納する、
   立体視動画像生成装置。
2. コンピュータが、
   それぞれ時刻情報と対応付けられる複数の画像を含む第１動画像、それぞれ前記時刻情報と対応付けられる複数の画像を含む第２動画像、および、所定画像を格納する記憶装置から、同一の時刻情報と対応付けられる第１動画像の第１画像および第２動画像の第２画像と、前記所定画像とを抽出し、
   前記第１画像における前記所定画像の存在位置である第１位置を算出し、前記第２画像における前記所定画像の存在位置である第２位置を算出し、前記第１位置と前記第２位置との差分である第１差分量を算出し、前記第１画像における前記所定画像の第１位置およ
   び前記第２画像における前記所定画像の第２位置のうち少なくとも一方を、前記第１差分量が所定の範囲内となるように平行移動し、新たな第１画像および新たな第２画像を生成し、
   前記新たな第１画像および前記新たな第２画像を生成する前に、時刻情報の時刻が先頭の時刻である前記第１動画像の第３画像、時刻情報の時刻が先頭の時刻である前記第２動画像の第４画像を前記記憶装置から抽出し、
   前記第３画像における前記所定画像の存在位置である第３位置を算出し、前記第４画像における前記所定画像の存在位置である第４位置を算出し、前記第３位置と前記第４位置との差分である第２差分量を算出し、前記第１動画像に含まれるすべての画像および前記第２動画像に含まれるすべての画像のうち少なくとも一方について、それぞれの画像全体を前記第２差分量に基づいて平行移動し、新たな第１動画像および新たな第２動画像とし、当該新たな第１動画像を前記第１動画像とし、当該新たな第２動画像を前記第２動画像として前記記憶装置に格納することを実行する立体視動画像生成方法。
3. コンピュータが、
   それぞれ時刻情報と対応付けられる複数の画像を含む第１動画像、それぞれ前記時刻情報と対応付けられる複数の画像を含む第２動画像、および、所定画像を格納する記憶装置から、同一の時刻情報と対応付けられる第１動画像の第１画像および第２動画像の第２画像と、前記所定画像とを抽出し、
   前記第１画像における前記所定画像の存在位置である第１位置を算出し、前記第２画像における前記所定画像の存在位置である第２位置を算出し、前記第１位置と前記第２位置との差分である第１差分量を算出し、前記第１画像における前記所定画像の第１位置および前記第２画像における前記所定画像の第２位置のうち少なくとも一方を、前記第１差分量が所定の範囲内となるように平行移動し、新たな第１画像および新たな第２画像を生成し、
   前記新たな第１画像および前記新たな第２画像を生成する前に、時刻情報の時刻が先頭の時刻である前記第１動画像の第３画像、時刻情報の時刻が先頭の時刻である前記第２動画像の第４画像を前記記憶装置から抽出し、
   前記第３画像における前記所定画像の存在位置である第３位置を算出し、前記第４画像における前記所定画像の存在位置である第４位置を算出し、前記第３位置と前記第４位置との差分である第２差分量を算出し、前記第１動画像に含まれるすべての画像および前記第２動画像に含まれるすべての画像のうち少なくとも一方について、それぞれの画像全体を前記第２差分量に基づいて平行移動し、新たな第１動画像および新たな第２動画像とし、当該新たな第１動画像を前記第１動画像とし、当該新たな第２動画像を前記第２動画像として前記記憶装置に格納することを実行するための立体視動画像生成プログラム。

Images