JP5655862B2 - 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム - Google Patents

Description

本発明は、立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラムに関する。

隣接した２つのカメラで撮影した画像の視差を利用して立体視が可能な画像を生成する立体視画像生成装置がある。立体視画像生成装置は、例えば、隣接した２つのカメラで撮影した画像のうち、一方のカメラによる画像を左眼用画像として、他方のカメラによる画像を右眼用画像として、生成して表示し、視聴者に立体的な画像を感じさせる。

同一の対象物に対して、左眼用画像における位置と、右眼用画像における位置との差を、視差という。画像内に存在する２つの対象物で、視差量が異なることにより、一方の対象物が他方の対象物に対して手前または奥に存在するように見える。視差量は、視差の大きさである。

図１は、立体視画像の例を示す図である。図１において、画像９１０が左眼用画像であり、画像９２０が右眼用画像である。ここで、左眼用画像である画像９１０、及び、右眼用画像である画像９２０には、それぞれ、物体Ａ、物体Ｂ、物体Ｃが存在する。画像９１０及び画像９２０との間における、これらの物体の視差により、図１の立体視画像を見る者には、手前から、物体Ａ、物体Ｂ、物体Ｃが存在するように見える。

国際公開第２００４／０４３０７９号 特開２００９−１３５６８６号公報 特開２００８−１６０３８２号公報

動画像が視聴される際、動きのある対象物（オブジェクト、物体）が注目されることが多い。この動きのある対象物の視差量が、動画像の再生時もしくは生成（録画）時の異常等により、大きくなる場合がある。このとき、立体視動画像を視聴するユーザは、この視差量が大きい対象物を、右眼用動画像と左眼用動画像とで、同一の対象物として、認識できなくなることがある。

本件開示の装置は、右眼用動画像と左眼用動画像との間の視差量を動的に調整する立体視動画像生成装置を提供することを課題とする。

開示の立体視動画像生成装置は、上記課題を解決するために、以下の手段を採用する。

即ち、開示の一態様は、
それぞれ時刻情報と対応付けられる複数の画像を含む第１動画像、それぞれ前記時刻情報と対応付けられる複数の画像を含む第２動画像、所定画像、および、所定値を格納する格納部と、
第１時刻情報と対応付けられる第１動画像の第１画像および第２動画像の第２画像と、前記所定画像とを前記格納部から抽出し、前記第１画像における前記所定画像の存在位置である第１位置を算出し、前記第２画像における前記所定画像の存在位置である第２位置を算出し、前記第１位置と前記第２位置との差分である第１差分量を算出し、
前記第１動画像における前記第１時刻情報の次の時刻である第２時刻情報と対応付けられる第１動画像の第３画像および第２動画像の第４画像と、前記所定値を前記格納部から抽出し、前記第３画像における前記所定画像の存在位置である第３位置を算出し、前記第４画像における前記所定画像の存在位置である第４位置を算出し、前記第３位置と前記第４位置との差分である第２差分量を算出し、
前記第２差分量の大きさが前記所定値以上である場合、前記第２画像、前記第３画像、および、前記第１差分量に基づいて、新たな第４画像を生成する演算部と、
を備える立体視動画像生成装置とする。

開示の装置によれば、右眼用動画像と左眼用動画像との間の視差量を動的に調整する立体視動画像生成装置を提供することができる。

図１は、立体視画像の例を示す図である。 図２は、立体視画像における視差を説明する図である。 図３は、ＭＰＥＧ２データの構造の例を示す図である。 図４は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの関係を示す図である。 図５は、立体視動画像生成装置の例を示す図である。 図６は、情報処理装置のハードウェア構成例を示す図である。 図７は、立体視動画像生成装置の動作フローの例（１）を示す図である。 図８は、立体視動画像生成装置の動作フローの例（２）を示す図である。 図９は、立体視動画像生成装置の動作フローの例（３）を示す図である。 図１０は、ステップＳ１０８の処理を説明する図である。

以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、開示の実施形態の構成に限定されない。

ここでは、主として、隣接する２つのカメラで撮影された画像による立体視動画像を使用して説明しているが、立体視動画像は、これに限定されず、例えば、人工的に生成された２つの動画像によるもの等であってもよい。

〔実施形態１〕
（視差）
図２は、立体視画像における視差を説明する図である。図２において、例えば、同一の対象物に対して、隣接する２つのカメラで撮影された画像のうち、左眼用画像を画像１０、右眼用画像を画像２０とする。図２の例では、画像１０及び画像２０に、同一の対象物である、物体１が含まれている。ここで、点Ｐ１は、画像１０において物体１の位置を代表する点とする。点Ｐ２は、画像２０において、物体１の位置を代表する点とする。物体１の位置を代表する点は、例えば、物体１の中心点としてもよいし、物体１の右端かつ下端の点としてもよい。物体１の位置を代表する点は、これらに限定されない。点Ｐ１及び点Ｐ２は、それぞれ、物体１において同一位置を示す点である。点Ｐ１および点Ｐ２は、それぞれ、画像１０における物体１の位置および画像２０における物体１の位置ともいう。

立体視画像における視差は、同一の対象物の、左眼用画像における位置と右眼用画像における位置との差である。視差量は、視差の大きさである。

図２の画像１０及び画像２０において、物体１の視差量は、画像１０における物体１の位置（点Ｐ１）と、画像２０における物体１の位置（点Ｐ２）との差である。即ち、画像１０における点Ｐ１の座標を（ＸＬ，ＹＬ）、画像２０における点Ｐ２の座標を（ＸＲ，ＹＲ）とすると、物体１の視差量は、次のように表される。

ここで、ΔＸは、横方向の視差量を示し、ΔＹは縦方向の視差量を示す。

例えば、右眼用画像を、この視差量分、平行移動することにより、立体視画像における物体１の視差がなくなる。

（データ構造の例）
〈ＭＰＥＧ２〉
ここでは、ＭＰＥＧ２フォーマットについて説明する。

ＭＰＥＧ２フォーマットでは、動画像は、時間情報を有する複数の画像（静止画像）を含む。この動画像は、時間情報の時間順に再生される。ＭＰＥＧ２フォーマットにおける各画像データは、所定の数の画像データ毎に圧縮される。

図３は、ＭＰＥＧ２データの構造の例を示す図である。図３のＭＰＥＧ２データは、階層構造になっている。図３のＭＰＥＧ２データは、画像出力フレームレイヤ、ＧＯＰ（Group of Pictures）レイヤ、ピクチャレイヤ、ラインレイヤ、ＭＢ（Micro Block）レイヤを含む。

画像出力フレームレイヤは、１つの映像に対応するＭＰＥＧ２データである。画像フレームレイヤは、ＧＯＰ（Group of Pictures）、及び、これに対応するＳＨ（Sequence Header；シーケンスヘッダ）を含む。画像出力フレームレイヤは、複数のＧＯＰおよびＳＨを含む。

ＧＯＰは、フレームを効率的に管理するために必要なフレーム（ピクチャ）の集合である。フレームは、動画データにおいて編集可能な最小単位である。ＳＨは、ＧＯＰの画像の開始ポイント等の情報を含む。ＳＨには、時間情報やフレームレートが含まれ得る。

ＧＯＰレイヤは、単独で再生可能なＩ（Intra-coded）ピクチャ、過去のＩピクチャまたはＰピクチャを用いて再生されるＰ（Predicted）ピクチャ、及び、過去及び未来のＩピクチャまたはＰピクチャを用いて再生されるＢ（Bi-directional Predicted）ピクチャを含む。Ｉピクチャは、最初に符号化されるフレームである。復号は、Ｉピクチャから始められる。

ピクチャレイヤは、複数のラインブロックを含む。図３の例では、ピクチャレイヤはｎ個のラインブロックを含む。ピクチャレイヤに含まれるラインブロックの数は、ピクチャのサイズに依存する。

ラインレイヤは、複数のマクロブロック（ＭＢ；Macro Block）を含む。マクロブロックは、輝度情報（Ｙ情報）、色差情報（Ｃｒ情報、Ｃｂ情報）を含む。

図４は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの関係を示す図である。図４の例では、左のピクチャから順に、時間が古い（過去の）ピクチャである。Ｉピクチャは、単独で再生可能である。Ｐピクチャは、過去のＩピクチャまたはＰピクチャから情報を得て再生される。Ｂピクチャは、過去のＩピクチャまたはＰピクチャ、および、未来のＰピクチャから情報を得て再生される。ここで、情報とは、ピクチャ内の領域（例えば、マクロブロック）、および、この領域の動き予測（動きベクトル）である。

Ｉピクチャのデータには、移動する画像および移動しない画像のデータが含まれる。Ｉピクチャのデータでは、移動する画像と移動しない画像とが区別される。移動しない画像は、このピクチャの次の時刻のピクチャでも変化しない背景等である。移動しない画像は、動きベクトルがゼロベクトルである領域の画像である。移動する画像は、このピクチャの次の時刻のピクチャにおいて移動する物体等を含む画像である。移動する画像は、動きベクトルがゼロベクトルでない領域の画像である。Ｐピクチャのデータには、移動する画像および移動しない画像のデータが含まれる。Ｐピクチャのデータでは、移動する画像と移動しない画像とが区別される。Ｂピクチャのデータには、移動する画像のデータが含まれる。即ち、Ｂピクチャのデータには、動きベクトルがゼロベクトルでない領域の画像が含まれる。各ピクチャのデータは、移動する画像のデータを含む。ただし、画像全体で動きがない場合は、各ピクチャのデータは、移動する画像のデータを含まない。

〈ＡＶＩ〉
ここでは、ＡＶＩフォーマットについて説明する。

ＡＶＩフォーマットでは、動画像は、時間情報を有する複数の画像（静止画像）を含む。この動画像は、時間情報の時間順に再生される。ＡＶＩフォーマットにおける各画像データは、画像データ毎に圧縮される。ＡＶＩフォーマットにおける各画像データは、先に説明したＩピクチャのように単独で再生可能である。また、各画像データは、移動する画像と移動しない画像との区別を有しない。

処理しようとする画像とこの画像の直前の時刻の画像とで差分を取り、差分が０である領域が移動しない画像であり、差分が０でない領域が移動する領域とすることができる。あらかじめ、時間的に隣接する画像同士で差分を算出しておくことにより、動画像が、ＡＶＩフォーマットであっても、画像全体を、移動する画像と、移動しない画像とに、分けることができる。移動する画像（領域）と移動しない画像（領域）とは、あらかじめ算出されて、格納部等に格納されてもよい。

（構成）
図５は、立体視画像生成装置の例を示す図である。立体視画像生成装置１００は、取得部１１０、演算部１２０、格納部１３０を含む。

取得部１１０は、外部または内部の入力装置から、動画像を取得する。取得部１１０が取得する動画像は、立体視動画像の、左眼用動画像、及び、右眼用動画像である。取得部１１０が取得した動画像は、格納部１３０に格納される。左眼用動画像及び右眼用動画像は、それぞれ、対応付けられて、格納部１３０に格納される。動画像は、例えば、連続する、複数の、時間情報が付加された画像（静止画像）を含む。動画像に含まれる各画像は、画像内の点毎に画素値を有する。画素値は、点の色などを示す情報である。画素値は、例えば、ＲＧＢ表色系のＲ（Red）値、Ｇ（Green）値、Ｂ（Blue）値で表される。ＲＧＢ表色系の代わりに、他の表色系（例えば、ＹＵＶ表色系）によるパラメータ（値）が使用されてもよい。ＹＵＶ表色系によるパラメータが使用された場合、輝度値として、Ｙ（Yellow）値が使用されてもよい。

演算部１２０は、取得部１１０が取得した動画像に含まれる１つ１つの画像に対して、視差量の算出を行い、立体視画像を生成する。演算部１２０が生成した立体視画像は、格納部１３０に格納される。

格納部１３０は、取得部１１０が取得した動画像、及び、演算部１２０が生成した立体視画像、演算部１２０が算出した視差量、生成する立体視動画像に対してあらかじめ定められたオフセット量等を格納する。

表示部１４０は、格納部１３０に格納される動画像等を表示する。

受信部１５０は、基準オブジェクトの選択等の、ユーザからの入力を受け付ける。

図６は、情報処理装置３００のハードウェア構成例を示す図である。立体視画像生成装置１００は、例えば、図６に示すような情報処理装置３００によって、実現される。情報処理装置３００は、ＣＰＵ（Central Processing Unit）３０２、メモリ３０４、記憶部３０６、入力部３０８、出力部３１０、通信部３１２を含む。

情報処理装置３００は、ＣＰＵ３０２が記録部３０６に記憶されたプログラムをメモリ３０４の作業領域にロードして実行し、プログラムの実行を通じて周辺機器が制御されることによって、所定の目的に合致した機能を実現することができる。

ＣＰＵ３０２は、記憶部３０６に格納されるプログラムに従って処理を行う。メモリ３０４は、ＣＰＵ３０２がプログラムやデータをキャッシュしたり作業領域を展開したりする。メモリ３０４は、例えば、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。

記憶部３０６は、各種のプログラム及び各種のデータを読み書き自在に記録媒体に格納する。記憶部３０６としては、ソリッドステートドライブ装置、ハードディスクドライブ装置、ＣＤ（Compact Disc）ドライブ装置、ＤＶＤ（Digital Versatile Disk）ドライブ装置、＋Ｒ／＋ＲＷドライブ装置、ＨＤ ＤＶＤ（High-Definition Digital Versatile Disk）ドライブ装置、または、ＢＤ（Blu-ray Disk）ドライブ装置がある。また、記録媒体としては、不揮発性半導体メモリ（フラッシュメモリ）を含むシリコンディスク、ハードディスク、ＣＤ、ＤＶＤ、＋Ｒ／＋ＲＷ、ＨＤ ＤＶＤ、または、ＢＤがある。ＣＤとしては、ＣＤ−Ｒ（Recordable）、ＣＤ−ＲＷ（Rewritable）、ＣＤ−ＲＯＭがある。ＤＶＤとしては、ＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ（Random Access Memory）がある。ＢＤとしては、ＢＤ−Ｒ、ＢＤ−ＲＥ（Rewritable）、ＢＤ−ＲＯＭがある。

入力部３０８は、ユーザ等からの操作指示等を受け付ける。入力部３０８は、キーボード、ポインティングデバイス、ワイヤレスリモコン、マイクロフォン、複数のカメラ等の入力デバイスである。入力部３０８から入力された情報は、ＣＰＵ３０２に通知される。

出力部３１０は、ＣＰＵ３０２で処理されるデータやメモリ３０４に記憶されるデータを出力する。出力部３１０は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electroluminescence）パネル、プリンタ、スピーカ等の出力デバイスである。

通信部３１２は、外部装置とデータの送受信を行う。通信部３１２は、例えば、信号線を介して、外部装置と接続される。通信部３１２は、例えば、ＬＡＮ（Local Area Network）インタフェースボードや、無線通信のための無線通信回路である。

情報処理装置３００は、記憶部３０６に、オペレーティングシステム、各種プログラム、各種テーブル、を記憶している。

オペレーティングシステムは、ソフトウェアとハードウェアとの仲介、メモリ空間の管理、ファイル管理、プロセスやタスクの管理等を行うソフトウェアである。オペレーティングシステムは、通信インタフェースを含む。通信インタフェースは、通信部３１２を介して接続される他の外部装置等とデータのやり取りを行うプログラムである。

立体視画像生成装置１００を実現できる情報処理装置３００は、ＣＰＵ３０２が記憶部３０６に記憶されているプログラムをメモリ３０４にロードして実行することによって、取得部１１０、演算部１２０、受信部１５０としての機能を実現する。また、格納部１３０は、メモリ３０４、記憶部３０６等の記憶領域に設けられる。表示部１４０は、ＣＰＵ３０２、出力部３１０等によって実現される。受信部１５０は、ＣＰＵ３０２、入力部３０８等によって実現される。

（動作例）
立体視動画像生成装置１００の動作例について説明する。以下の説明では、左眼用動画像および右眼用動画像が使用されるが、左眼用動画像と右眼用動画像との間には、優劣はなく、互いに入れ替えることができる。同様に、左眼用画像および右眼用画像が使用されるが、左眼用画像と右眼用画像との間には、優劣はなく、互いに入れ替えることができる。

図７、図８および図９は、立体視動画像生成装置１００の動作フローの例を示す図である。図７の「Ａ」は、図８の「Ａ」と接続する。図８の「Ｂ」及び「Ｃ」は、それぞれ、図９の「Ｂ」及び「Ｃ」と接続する。図７の動作フローは、例えば、立体視動画像生成装置１００の電源が投入されることを契機に開始される。

立体視動画像生成装置１００は、左眼用動画像および右眼用動画像を取得する。立体視動画像生成装置１００は、生成しようとする立体視動画像に対して定められたオフセット量がある場合には、当該オフセット量に基づいて、動画像に含まれるすべての画像について、画像全体を平行移動する（Ｓ１０１〜Ｓ１０３）。動画像は、連続した複数の静止画像（フレーム、ピクチャ）を含む。さらに、立体視動画像生成装置１００は、静止画像毎に移動しているオブジェクトの視差量を算出する。当該視差量が、所定値未満でない場合、例えば、左眼用画像等に基づいて、右眼用画像を生成する（Ｓ１０４〜Ｓ１１０）。立体視画像生成装置１００は、調整後の画像を立体視動画像の画像として出力する。左眼用画像および右眼用画像は、通常、時刻情報の時刻順に再生される。動画像は、例えば、ＭＰＥＧ２フォーマットにより圧縮される。ただし、立体視動画像生成装置１００の処理は、これらのような処理に限定されるものではない。

左眼用動画像および右眼用動画像は、それぞれに含まれる１つ１つの画像（静止画像）毎に、時刻情報に対応付けられる。左眼用動画像および右眼用動画像は、それぞれに含まれる画像毎に、共通する時間情報に対応付けられる。画像と時間情報との対応付けは、例えば、各画像が時間情報を有することにより実現される。また、画像と時間情報との対応付けは、例えば、各画像に振られる再生順の通し番号と、先頭画像の時間情報と、フレームレート（単位時間あたりの画像数）とにより、実現される。さらに、画像と時間情報との対応付けは、例えば、再生順に並べられた各画像と、先頭画像の時間情報と、フレームレート（単位時間あたりの画像数）とにより、実現される。また、先頭画像の時間情報はなくてもよい。

図７、図８および図９の動作フローについて、詳細に説明する。

取得部１１０は、左眼用動画像および右眼用動画像を取得する（Ｓ１０１）。取得部１１０は、左眼用動画像および右眼用動画像を、立体視動画像生成装置１００に内蔵されるカメラから取得してもよいし、外部装置から取得してもよい。取得された左眼用動画像および右眼用動画像は、格納部１３０に格納される。左眼用動画像および右眼用動画像は、あらかじめ、格納部１３０に格納されていてもよい。

演算部１２０は、生成しようとする立体視動画像に対してあらかじめ定められているオフセット量を取得する。（Ｓ１０２）。演算部１２０は、例えば、格納部１３０から、生成しようとする立体視動画像に対してあらかじめ定められているオフセット量を抽出する。オフセット量は、一方又は両方の動画像の全体を、あらかじめ移動させる量である。オフセット量を定めることにより、例えば、画像内の特定のオブジェクトの最初の画像における視差量を０にすることができる。また、オフセット量を定めることにより、例えば、左眼用画像と右眼用画像とで、高さを揃えることができる。当該オフセット量が格納部に格納されていない場合、当該オフセット量は０であるとする。演算部１２０は、ユーザに対し、オフセット量を入力させ、この入力された値をオフセット量としてもよい。ここで、横方向のオフセット量をΔＸ０、縦方向のオフセット量をΔＹ０とする。

演算部１２０は、立体視動画像を生成する（Ｓ１０３）。Ｓ１０３の処理では、演算部１２０は、例えば、格納部１３０から右眼用動画像を取り出す。そして、演算部１２０は、右眼用動画像において、すべての時刻の画像について、画像全体を、ステップＳ１０２で取得したオフセット量分だけ平行移動した画像を、新たな右眼用動画像とする。視差量として、ステップＳ１０２で取得したオフセット量（ΔＸ０およびΔＹ０）が使用される。演算部１２０は、左眼用動画像および新たな右眼用動画像を、立体視動画像として、格納部１３０に格納する。ここで格納される左眼用動画像を、新たな左眼用動画像と称してもよい。

また、上記の説明では、一方の画像全体を平行移動して新たな画像としている。ここで、演算部１２０は、それぞれの動画像（左眼用動画像、右眼用動画像）において、オフセット量の１／２の量で動画像の画像全体を平行移動してもよい。また、演算部１２０は、一方の動画像においてオフセット量の１／３の量で動画像の画像全体を平行移動し、他方の動画像においてオフセット量の２／３の量で動画像の画像全体を平行移動してもよい。この平行移動する際のオフセット量に対する割合は、自由に設定され得る。ただし、左眼用動画像と右眼用動画像とにおける平行移動の量が、全体としてオフセット量に一致することが求められる。このとき、演算部１２０は、新たな左眼用動画像および新たな右眼用動画像を生成し、格納部１３０に格納することになる。

格納された左眼用動画像及び右眼用動画像は、立体視用の表示装置において、表示されうる。立体視用の表示装置は、左眼用動画像を左眼に、右眼用動画像を右眼に入力するような、表示装置である。また、格納された左眼用動画像及び右眼用動画像は、表示部１４０に表示されてもよい。

ステップＳ１０３では、動画像におけるすべての時刻の画像が、ステップＳ１０２で取得したオフセット量（ΔＸ０およびΔＹ０）に基づいて、処理される。

以降の処理において、ステップＳ１０３で処理された左眼用動画像、および、右眼用動画像が使用される。スッテプＳ１０３におけるオフセット量分だけ平行移動する処理は、ステップＳ１０４において、画像毎に処理されてもよい。

ステップＳ１０４では、演算部１２０は、直前に処理した画像の次の時刻の画像（左眼用画像および右眼用画像）を、格納部１３０から取り出す。取り出された左眼用画像および右眼用画像は、既に、ステップＳ１０２で取得されたオフセット量に基づいて、処理されている。演算部１２０は、直前に処理した画像（直前のステップＳ１０３または直前のステップＳ１０４で処理した画像）と、この画像の次の時刻の画像とで、画像内のいずれかのオブジェクトが移動したか否かを判定する（図８：Ｓ１０４）。即ち、演算部１２０は、直前に処理した左眼用画像と、この画像の次の時刻の左眼用画像とで、いずれかのオブジェクトが移動したか否かを判定する。また、演算部１２０は、直前に処理した右眼用画像と、この画像の次の時刻の右眼用画像とで、いずれかのオブジェクトが移動したか否かを判定する。

具体的には、演算部１２０は、例えば、直前に処理した画像の次の時刻の画像のデータに、移動する画像（領域）が存在するか否かにより、いずれかのオブジェクトが移動したか否かを判定する。移動する画像（領域）は、移動している物体（オブジェクト）等を含む画像である。移動する画像（領域）が存在しない場合、画像内に移動している部分はない。よって、移動する画像（領域）が存在しない場合、画像内のいずれのオブジェクトも移動していないと考えられる。また、移動する画像が存在する場合、演算部１２０は、いずれかのオブジェクトが移動していると判定する。

また、演算部１２０は、例えば、直前に処理した画像とこの次の時刻の画像との間で、各画素の差分をとり、差分が０でない領域が存在するか否かにより、いずれかのオブジェクトが移動したか否かを判定してもよい。差分が０でない領域は、移動している物体（オブジェクト）等を含む画像である。演算部１２０は、直前に処理した画像上で、差分が０でない領域を、移動している物体の画像としてもよい。差分が０でない領域が存在しない場合、画像内に移動している部分はない。よって、差分が０でない領域が存在しない場合、画像内のいずれのオブジェクトも移動していないと考えられる。また、差分が０でない領域が存在する場合、演算部１２０は、いずれかのオブジェクトが移動していると判定する。

いずれかのオブジェクトが移動していると判断された場合（Ｓ１０４；ＹＥＳ）、演算部１２０は、ステップＳ１０４で取り出された左眼用画像および右眼用画像において、２つの移動する画像内で共通する物体（オブジェクト）を抽出する（Ｓ１０５）。また、一方の画像（左眼用画像または右眼用画像）内にのみ移動する画像が存在する場合、演算部１２０は、当該移動する画像と、移動する画像が存在しない画像とで、共通する物体（オブジェクト）を抽出する。これらの共通するオブジェクトは、移動するオブジェクトである。共通するオブジェクトの抽出には、例えば、パターンマッチングが使用される。演算部１２０は、共通する物体（移動するオブジェクト）のそれぞれの画像（左眼用画像及び右眼用画像）における位置を、格納部１３０に格納する。また、演算部１２０は、共通するオブジェクトの画像を格納部１３０に格納する。

パターンマッチングは、例えば、次のように実行される。演算部１２０が、左眼用画像の移動する画像と右眼用画像の移動する画像とをある位置で重ね合わせ、重ね合わせられた領域の画素値の差分をとる。演算部１２０は、重ね合わせられた領域のうち差分が０である領域の位置及びその大きさを求める。領域の位置は、例えば、各画像における領域の中心位置とすることができる。また、演算部１２０は、重ね合わせる位置を任意に平行移動させて、同様に、各位置で重ね合わされた領域の差分をとり、重ね合わせられた領域のうち差分が０である領域の位置及びその大きさを求める。演算部１２０は、差分が０である領域の大きさが最も大きいものを抽出する。演算部１２０は、差分が０である領域の大きさが最も大きい領域（差分が０である領域）が、移動するオブジェクト（共通する物体）であり、その領域（差分が０である領域）の位置が移動するオブジェクトの位置であるとすることができる。この領域は、左眼用画像と右眼用画像とで、同一の形態の同一のオブジェクトであると考えられる。なお、パターンマッチングの手法として、上記に限定されず他の周知の方法が適用されうる。これらの共通する物体（移動するオブジェクト）は、立体視動画像において同一のオブジェクトとして、立体視動画像を視聴するユーザに認識されるものである。

ここで、共通する物体の画像（所定画像とする）は、あらかじめ格納部１３０に格納されていてもよい。このとき、演算部１２０は、格納部１３０に格納される所定画像と、左眼用画像および右眼用画像とを、パターンマッチングして、共通する物体を抽出してもよい。また、一度抽出された共通する物体の画像が、所定画像として格納部１３０に格納されてもよい。

ステップＳ１０６では、演算部１２０は、移動するオブジェクトの間の視差量を算出する（Ｓ１０６）。演算部１２０は、ステップＳ１０５で求めた、左眼用画像の移動するオブジェクトの位置と、右眼用画像の移動するオブジェクトの位置との差を算出する。この求めた差が、ここでの視差量となる。この求めた差のうち、横方向の差を視差量ΔＸ１、縦方向の差を視差量ΔＹ１とする。演算部１２０は、この横方向の視差量ΔＸ１および縦方向の視差量ΔＹ１を、時刻情報と共に格納部１３０に格納する。視差量ΔＸ１および視差量ΔＹ１の初期値は、共に、０である。

演算部１２０は、ステップＳ１０６で算出された視差量の大きさが所定値未満であるか否かを判定する（Ｓ１０７）。視差量の大きさＡは、次の式で示される。

演算部１２０は、視差量の大きさＡが、所定値未満であるか否かを判定する。当該所定値は、あらかじめ、格納部１３０に格納される。当該所定値は、適宜、演算部１２０によって格納部１３０から取り出される。当該所定値は、立体視動画像を視聴するユーザが、左眼用画像および右眼用画像に表示される共通する物体を同一のオブジェクトとして認識できるか否かに基づいて定められる。当該所定量は、例えば、画像（左眼用画像または右眼用画像）の横幅に対して３％の量とすることができる。左眼用画像および右眼用画像に表示される共通する物体の視差量の大きさが画像の横幅の３％以内であれば、ユーザは、左眼用画像および右眼用画像に表示される共通する物体を同一の物体と認識できる。当該所定量は、画像の横幅の３％に限定されるものではなく、他の値であってもよい。ここで想定される画像は、横と縦との比率が１６：９程度の画像である。したがって、横と縦との比率がこの比率から離れた画像である場合、当該所定値は、画像の横幅の３％よりも大きくなったり、小さくなったりし得る。また、当該所定値は、画像の縦幅に対する比率であってもよい。視差量の大きさＡが所定値未満であれば、ユーザは左眼用画像および右眼用画像に表示される共通する物体を同一のオブジェクトとして認識できる。視差量の大きさＡが所定値以上の場合、ユーザは左眼用画像および右眼用画像に表示される共通する物体を同一のオブジェクトとして認識できないおそれがある。

視差量の大きさが所定値以上である場合（Ｓ１０７；ＹＥＳ）、演算部１２０は、右眼用画像を新たに生成する（Ｓ１０８）。演算部１２０は、ステップＳ１０４における直前に処理した右眼用画像の移動しない画像と、ステップＳ１０４で処理した左眼用画像の移動するオブジェクトと、直前の画像における視差量とにより、新たな右眼用画像を生成する。即ち、演算部１２０は、直前に処理した右眼用画像の移動しない画像に、ステップＳ１０４で処理した左眼用画像の移動するオブジェクトを重ね合わせて新たな右眼用画像とする。重ねあわせる位置は、ステップＳ１０４で処理した左眼用画像の移動するオブジェクトの、左眼用画像における位置から、直前に処理した画像における移動するオブジェクトの視差量分、平行移動した位置となる。演算部１２０は、右眼用画像の代わりに左眼用画像を新たに生成してもよい。また、演算部１２０は、共通する物体の移動量を算出し、移動量が大きい方の画像（左眼用画像または右眼用画像）を新たに生成する画像としてもよい。逆に、演算部１２０は、共通する物体の移動量を算出し、移動量が小さい方の画像（左眼用画像または右眼用画像）を新たに生成する画像としてもよい。共通する物体の移動量は、ステップＳ１０４における直前に処理した画像とこの次の時刻の画像とにおける移動するオブジェクトの位置の差によって算出される。

図１０は、ステップＳ１０８を説明する図である。図１０では、時刻ｔ＝ｔ１における左眼用画像１００１Ｌ及び右眼用画像１００１Ｒ、時刻ｔ＝ｔ２における左眼用画像１００２Ｌ、右眼用画像１００２Ｒ及び新たな右眼用画像１００２Ｒ１が示される。時刻ｔ１における画像は、時刻ｔ２における画像の直前の画像である。ここで、物体１０１１Ｌ、物体１０１１Ｒ、物体１０１２Ｌ、物体１０１２Ｒは、同一の移動しない物体である。同様に、物体１０２１Ｌ、物体１０２１Ｒ、物体１０２２Ｌ、物体１０２２Ｒは、同一の移動しない物体である。これらの移動しない物体は、それぞれの画像（左眼用画像１００１Ｌ等）の移動しない画像に存在する。また、物体１０３１Ｌ、物体１０３１Ｒ、物体１０３２Ｌ、物体１０３２Ｒは、同一の移動する物体である。これらの移動する物体は、それぞれの画像（左眼用画像１００１Ｌ等）の移動する画像に存在する。

時刻ｔ１における移動する物体１０３１Ｌの左眼用画像１００１Ｌにおける位置を（ＸＬ１，ＹＬ１）、物体１０３１Ｒの右眼用画像１００１Ｒにおける位置を（ＸＲ１，ＹＲ１）とする。この移動する物体の視差量は、次のように求められる。

同様にして、時刻ｔ２における移動する物体１０３２Ｌの左眼用画像１００２Ｌにおける位置を（ＸＬ２，ＹＬ２）、物体１０３２Ｒの右眼用画像１００２Ｒにおける位置を（ＸＲ２，ＹＲ２）とする。この移動する物体の視差量は、次のように求められる。

また、これから、時刻ｔ２における移動する物体１０３２（物体１０３２Ｌ及び物体１０３２Ｒ）の視差量の大きさＡ（ｔ２）は、次のように求まる。

ここで、視差量の大きさＡ（ｔ２）が所定値以上である場合、演算部１２０は、右眼用画像を新たに生成する。演算部１２０は、時刻ｔ１における右眼用画像１００１Ｒの移動しない画像と、時刻ｔ２における左眼用画像の移動する物体１０３２Ｌと、時刻ｔ１における物体１０３１（物体１０３１Ｌ及び物体１０３１Ｒ）の視差量とにより、新たな右眼用画像を生成する。即ち、演算部１２０は、時刻ｔ１における右眼用画像１００１Ｒの移動しない画像に、時刻ｔ２における左眼用画像の移動する物体１０３２Ｌを重ね合わせて新たな右眼用画像１００２Ｒ１とする。重ねあわせる位置は、時刻ｔ２における左眼用画像の移動する物体１０３２Ｌの位置（ＸＬ１，ＹＬ２）から、時刻ｔ１における移動する物体１０３１（物体１０３１Ｌ及び物体１０３１Ｒ）の視差量分（ΔＸ１（ｔ１）及びΔＹ１（ｔ１））、平行移動した位置となる。時刻ｔ２の右眼用画像における移動後の物体１０３２の位置は、新たな右眼用画像１００２Ｒ１の物体１０３２Ｒ１の位置となる。また、ここで、演算部１２０は、視差量の大きさＡ（ｔ２）はＡ（ｔ１）であるとして、格納部１３０に格納する。この視差量の大きさＡ（ｔ２）（＝Ａ（ｔ１））は、時刻ｔ２における左眼用画像の移動する物体の位置と新たな右眼用画像の移動する物体の位置との間の視差量の大きさである。

図８に戻って、いずれかのオブジェクトが移動していないと判断された場合（Ｓ１０４；ＮＯ）、または、視差量の大きさが所定値未満である場合（Ｓ１０７；ＹＥＳ）、処理がステップＳ１０９に進む。

ステップＳ１０９では、演算部１２０は、立体視画像を生成する（Ｓ１０９）。演算部１２０は、ステップＳ１０４で抽出した左眼用画像及び右眼用画像を、立体視動画像の１つ（１組）の画像として、ステップＳ１０４で処理した時刻情報と対応づけて、格納部１３０に格納する。演算部１２０は、ステップＳ１０８で、右眼用画像（または、左眼用画像）を生成した場合は、演算部１２０は、この画像を、右眼用画像（または、左眼用画像）とする。

ステップＳ１１０では、演算部１２０は、ステップＳ１０４で処理した画像の時刻情報の時刻の次の時刻情報の時刻を有する画像が存在するかを確認する。即ち、演算部１２０は、ステップＳ１０４で処理した画像が、最後の画像であるか否かを判断する（Ｓ１１０）。ステップＳ１０４で処理した画像が最後の画像である場合（Ｓ１１０；ＹＥＳ）、演算部１２０は、処理を終了する。ステップＳ１０４で処理した画像が最後の画像でない場合（Ｓ１１０；ＮＯ）、演算部１２０は、処理をステップＳ１０４に戻す。

（実施形態の作用効果）
立体視動画像生成装置１００は、移動するオブジェクトの左眼用画像と右眼用画像との間の視差量を算出する。立体視動画像生成装置１００は、算出した視差量の大きさが所定値未満でない場合、直前に処理した画像、直前に処理した画像における視差量、及び、移動するオブジェクトに基づいて、新たな画像を生成する。

立体視動画像生成装置１００は、画像処理の異常等により、左眼用画像と右眼用画像とで共通するオブジェクトが同一のオブジェクトとして認識できない可能性がある場合、新たな画像を生成する。立体視動画像生成装置１００は、新たな画像を生成することで、共通するオブジェクトが同一のオブジェクトとして認識できる違和感のない立体視動画像を生成できる。

１００ 立体視動画像生成装置
１１０ 取得部
１２０ 演算部
１３０ 格納部
１４０ 表示部
１５０ 受信部
３００ 情報処理装置
３０２ ＣＰＵ
３０４ メモリ
３０６ 記憶部
３０８ 入力部
３１０ 出力部
３１２ 通信部

Claims (9)

1. それぞれ時刻情報と対応付けられる複数の画像を含む第１動画像、それぞれ前記時刻情報と対応付けられる複数の画像を含む第２動画像、所定画像、および、所定値を格納する格納部と、
   第１時刻情報と対応付けられる第１動画像の第１画像および第２動画像の第２画像と、前記所定画像とを前記格納部から抽出し、前記第１画像における前記所定画像の存在位置である第１位置を算出し、前記第２画像における前記所定画像の存在位置である第２位置を算出し、前記第１位置と前記第２位置との差分である第１差分量を算出し、
   前記第１動画像における前記第１時刻情報の次の時刻である第２時刻情報と対応付けられる第１動画像の第３画像および第２動画像の第４画像と、前記所定値を前記格納部から抽出し、前記第３画像における前記所定画像の存在位置である第３位置を算出し、前記第４画像における前記所定画像の存在位置である第４位置を算出し、前記第３位置と前記第４位置との差分である第２差分量を算出し、
   前記第２差分量の大きさが前記所定値以上である場合、前記第４画像における前記所定画像の存在位置が前記第３位置から前記第１差分量だけ平行移動した位置になるように、新たな第４画像を生成する演算部と、
   を備える立体視動画像生成装置。
2. 前記所定画像は、前記第１画像上で、前記第１画像と前記第３画像との間で、各画素の差分が０でない領域の画像、または、前記第２画像上で、前記第２画像と前記第４画像との間で、各画素の差分が０でない領域の画像である、
   請求項１に記載の立体視画像生成装置。
3. 前記所定値は、前記第１画像の横幅に対する所定の割合の大きさとする、
   請求項１または２に記載の立体視画像生成装置。
4. コンピュータが、
   それぞれ時刻情報と対応付けられる複数の画像を含む第１動画像、それぞれ前記時刻情報と対応付けられる複数の画像を含む第２動画像、所定画像、および、所定値を格納する記憶装置から、第１時刻情報と対応付けられる第１動画像の第１画像および第２動画像の
   第２画像と、前記所定画像とを抽出し、前記第１画像における前記所定画像の存在位置である第１位置を算出し、前記第２画像における前記所定画像の存在位置である第２位置を算出し、前記第１位置と前記第２位置との差分である第１差分量を算出し、
   前記記憶装置から、前記第１動画像における前記第１時刻情報の次の時刻である第２時刻情報と対応付けられる第１動画像の第３画像および第２動画像の第４画像と、前記所定値を抽出し、前記第３画像における前記所定画像の存在位置である第３位置を算出し、前記第４画像における前記所定画像の存在位置である第４位置を算出し、前記第３位置と前記第４位置との差分である第２差分量を算出し、
   前記第２差分量の大きさが前記所定値以上である場合、前記第４画像における前記所定画像の存在位置が前記第３位置から前記第１差分量だけ平行移動した位置になるように、新たな第４画像を生成することを実行する、
   立体視動画像生成方法。
5. 前記所定画像は、前記第１画像上で、前記第１画像と前記第３画像との間で、各画素の差分が０でない領域の画像、または、前記第２画像上で、前記第２画像と前記第４画像との間で、各画素の差分が０でない領域の画像である、
   請求項４に記載の立体視画像生成方法。
6. 前記所定値は、前記第１画像の横幅に対する所定の割合の大きさとする、
   請求項４または５に記載の立体視画像生成方法。
7. コンピュータが、
   それぞれ時刻情報と対応付けられる複数の画像を含む第１動画像、それぞれ前記時刻情報と対応付けられる複数の画像を含む第２動画像、所定画像、および、所定値を格納する記憶装置から、第１時刻情報と対応付けられる第１動画像の第１画像および第２動画像の第２画像と、前記所定画像とを抽出し、前記第１画像における前記所定画像の存在位置である第１位置を算出し、前記第２画像における前記所定画像の存在位置である第２位置を算出し、前記第１位置と前記第２位置との差分である第１差分量を算出し、
   前記記憶装置から、前記第１動画像における前記第１時刻情報の次の時刻である第２時刻情報と対応付けられる第１動画像の第３画像および第２動画像の第４画像と、前記所定値を抽出し、前記第３画像における前記所定画像の存在位置である第３位置を算出し、前記第４画像における前記所定画像の存在位置である第４位置を算出し、前記第３位置と前記第４位置との差分である第２差分量を算出し、
   前記第２差分量の大きさが前記所定値以上である場合、前記第４画像における前記所定画像の存在位置が前記第３位置から前記第１差分量だけ平行移動した位置になるように、新たな第４画像を生成することを実行するための、
   立体視動画像生成プログラム。
8. 前記所定画像は、前記第１画像上で、前記第１画像と前記第３画像との間で、各画素の差分が０でない領域の画像、または、前記第２画像上で、前記第２画像と前記第４画像との間で、各画素の差分が０でない領域の画像である、
   請求項７に記載の立体視画像生成プログラム。
9. 前記所定値は、前記第１画像の横幅に対する所定の割合の大きさとする、
   請求項７または８に記載の立体視画像生成プログラム。

Images