JP4179938B2 - 立体画像生成装置、立体画像生成方法、立体画像生成プログラムおよび立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
立体画像生成装置、立体画像生成方法、立体画像生成プログラムおよび立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4179938B2 JP4179938B2 JP2003206566A JP2003206566A JP4179938B2 JP 4179938 B2 JP4179938 B2 JP 4179938B2 JP 2003206566 A JP2003206566 A JP 2003206566A JP 2003206566 A JP2003206566 A JP 2003206566A JP 4179938 B2 JP4179938 B2 JP 4179938B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- pixel value
- region
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、単一の画像から擬似立体視が可能となる画像を生成する立体画像生成装置に関する。
【０００２】
【従来の技術】
従来の立体画像生成装置は、単一の２次元画像を用い、視差を与えることにより擬似立体視を可能とする画像を生成する。たとえば、単一の２次元画像の入力画像を右目用の画像とし、入力画像中の各領域に視差を与えて左目用の画像を生成する。
【０００３】
第１の従来例としては、２次元画像の３次元化方法として、既存の２次元画像の情報のみからでも違和感の少ない３次元画像化を実現できる方式について以下のような構成が公知である（特許文献１を参照）。すなわち、この第１の従来例では、２次元画像から３次元画像用の左目画像あるいは右目画像を作成する２次元画像の３次元化方法であって、背景画像やそれより手前の人物像等からなる手前画像からなる２次元画像から該手前画像を抽出するステップと、視差や遠近感に応じて前記手前画像を水平方向に移動させるステップと、前記手前画像の移動によって生じる無画像情報領域を補填するように移動後の前記手前画像を拡大するステップと、前記手前画像と背景画像とを合成するステップとよりなる構成が開示されている。
【０００４】
また、第２の従来例としては、２次元画像の３次元化方法について、以下のような構成が公知である（特許文献２を参照）。すなわち、この第２の従来例では、２次元画像から３次元画像用の左目画像あるいは右目画像を作成する２次元画像の３次元化方法であって、２次元画像の立体化しようとする所定領域の周囲の画像を拡大あるいは縮小することにより、前記所定領域を左右に移動させて左目画像あるいは右目画像を作成する。この場合、前記２次元画像を水平方向に複数に分割し、分割された領域の一つあるいは複数の領域を立体化する際、該立体化しようとする領域の左右の領域の画像を拡大あるいは縮小する。もちろん、前記立体化しようとする領域は任意の基本図形であってもよいし、前記立体化しようとする領域は任意の形状であってもよい。
【０００５】
【特許文献１】
特許第３０８６５７７号公報明細書
【０００６】
【特許文献２】
特許第３０９１６４４号公報明細書
【０００７】
【発明が解決しようとする課題】
しかしながら、これらの手法は、背景と対象物の分離や、拡大縮小などの処理が必要である。したがって、たとえば、動画等など高速に画像を生成する必要がある場合には不適である。
【０００８】
本発明は、上記のような問題点を解決するためになされたものであって、その目的は、高速に立体画像生成が可能となる立体画像生成装置、立体画像生成方法、立体画像生成プログラムおよび立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体を提供するものである。
【０００９】
【課題を解決するための手段】
この発明のある局面に係る立体画像生成装置は、画面を構成する各画素に対する画素値の集合に対応する画像を格納するための記憶手段と、画面を分割した複数の領域にそれぞれ対応するように、画像を複数の部分画像に分割するための領域分割手段とを備え、各部分画像は、領域内の各画素に対する画素値の集合に対応し、各領域に対応する視差に応じて、各部分画像の画素に対応する画素値を平行にずらした位置の画素に対応付けするための平行移動手段と、視差の相違により生じる、画素に対応付けされる画素値のない空白領域において、空白領域に含まれる画素に対応する画素値を生成するための画像処理手段とをさらに備え、画像処理手段は、空白領域において、隣接する複数の部分画像のうちの少なくとも一つの部分画像の端部の画素に対応する画素値に基づいて、空白領域の画素に対応する画素値を生成するための画像補間手段を含む。
【００１０】
好ましくは、複数の部分画像は、第１の部分画像と、視差の相違により、第１の部分画像と同じ画素に重複して画素値が対応付けされる重複領域を有する第２の部分画像とを含み、画像処理手段は、重複領域において、同じ画素に対応する第１の部分画像および第２の部分画像にそれぞれ含まれる画素値に基づいて、重複領域に含まれる画素に対応する画素値を生成するための画像混合手段をさらに含む。
【００１１】
好ましくは、画像混合手段は、第１の部分画像および第２の部分画像にそれぞれ対応する視差に応じて、第１の部分画像および第２の部分画像のうちの何れかを選択して、選択された部分画像に含まれる画素値に基づいて、重複領域に含まれる画素に対応する画素値を生成する。
【００１２】
好ましくは、画像混合手段は、重複領域において、同じ画素に対応する第１の部分画像に含まれる第１の画素値と、第２の部分画像に含まれる第２の画素値とを交互に選択して、重複領域に含まれる画素に対応する画素値を生成する。
【００１３】
好ましくは、画像混合手段は、重複領域において、同じ画素に対応する第１の部分画像に含まれる第１の画素値と、第２の部分画像に含まれる第２の画素値とをαブレンディングして、重複領域に含まれる画素に対応する画素値を生成する。
【００１４】
好ましくは、記憶手段は、予め複数の領域分割モデルを記憶し、領域分割手段は、領域分割モデルを特定可能な情報に応じて、複数の領域分割モデルのうちの一つを選択するための領域分割モデル選択手段を含み、選択された領域分割モデルに基づいて、画面を領域分割する。
【００１５】
好ましくは、領域分割モデルは、少なくとも奥行き方向と上下方向とに有限距離で仕切られる空間の静止画における奥行き方向および上下方向の境界面の領域の各々に対応するように画面を３分割するための領域分割モデルを含み、領域分割手段は、外部からの入力による３分割するための領域分割モデルの選択に応じて、３分割の領域のそれぞれの大きさを変更するための領域微調整手段をさらに含む。
【００１６】
好ましくは、領域分割モデルは、少なくとも奥行き方向と上下方向と左右方向とに有限距離で仕切られる空間の静止画における上下方向と左右方向との境界面を奥行き方向にそれぞれ２分割した領域の各々と奥行き方向の境界面の領域とに対応するように画面を９分割するための領域分割モデルを含み、領域分割手段は、外部からの入力による９分割するための領域分割モデルの選択に応じて、９分割の領域のそれぞれの大きさを変更するための領域微調整手段をさらに含む。
【００１７】
好ましくは、複数の領域分割モデルは、画面を鉛直方向および水平方向のうちいずれか一方に所定数の画素毎の複数の領域に分割した領域分割モデルを含む。
【００１８】
好ましくは、視差に関連する情報を複数の部分画像にそれぞれ対応する視差に変換する視差変換手段をさらに備える。
【００１９】
好ましくは、画像は、動画の１フレームである。
この発明のある局面に係る立体画像生成方法は、画面を構成する各画素に対する画素値の集合に対応する画像を、画面を分割した複数の領域にそれぞれ対応するように、複数の部分画像に分割するステップを備え、各部分画像は、領域内の各画素に対する画素値の集合に対応し、各領域に対応する視差に応じて、各部分画像の画素に対応する画素値を平行にずらした位置の画素に対応付けするステップと、視差の相違により生じる、画素に対応付けされる画素値がない空白領域において、空白領域に含まれる画素に対応する画素値を生成するステップとをさらに備え、画素値を生成するステップは、空白領域に含まれる画素に対応する画素値を、空白領域に隣接する複数の部分画像のうちの少なくとも一つの部分画像の端部の画素に対応する画素値に基づいて、生成するステップを含む。
【００２０】
好ましくは、複数の部分画像は、第１の部分画像と、視差の相違により、第１の部分画像と同じ画素に重複して画素値が対応付けされる重複領域を有する第２の部分画像とを含み、画素値を生成するステップは、重複領域において、同じ画素に対応する第１の部分画像および第２の部分画像にそれぞれ含まれる画素値に基づいて、重複領域に含まれる画素に対応する画素値を生成するステップをさらに含む。
【００２１】
好ましくは、重複領域に含まれる画素に対応する画素値を生成するステップは、第１の部分画像および第２の部分画像にそれぞれ対応する視差に応じて、第１の部分画像および第２の部分画像のうち何れかを選択して、選択された部分画像に含まれる画素値に基づいて、重複領域に含まれる画素に対応する画素値を生成する。
【００２２】
好ましくは、重複領域に含まれる画素に対応する画素値を生成するステップは、重複領域において、同じ画素に対応する第１の部分画像に含まれる第１の画素値と、第２の部分画像に含まれる第２の画素値とを交互に選択して、重複領域に含まれる画素に対応する画素値を生成する。
【００２３】
好ましくは、重複領域に含まれる画素に対応する画素値を生成するステップは、重複領域において、同じ画素に対応する第１の部分画像に含まれる第１の画素値と、第２の部分画像に含まれる第２の画素値とをαブレンディングして、重複領域に含まれる画素に対応する画素値を生成する。
【００２４】
好ましくは、複数の画像に分割するステップは、記憶領域に予め格納された、領域分割モデルを特定可能な情報に応じて、複数の領域分割モデルのうちの一つを選択するステップと、選択された領域分割モデルに基づいて、画面を領域分割するステップとをさらに含む。
【００２５】
好ましくは、視差に関連する情報を複数の部分画像にそれぞれ対応する視差に変換するステップをさらに備える。
【００２６】
この発明のある局面に係る立体画像生成プログラムは、画面を構成する各画素に対する画素値の集合に対応する画像を、画面を分割した複数の領域にそれぞれ対応するように、複数の部分画像に分割するステップを備え、各部分画像は、領域内の各画素に対する画素値の集合に対応し、各領域に対応する視差に応じて、各部分画像の画素に対応する画素値を平行にずらした位置の画素に対応付けするステップと、視差の相違により生じる、画素に対応付けされる画素値がない空白領域において、空白領域に含まれる画素に対応する画素値を生成するステップとをさらに備え、画素値を生成するステップは、空白領域に含まれる画素に対応する画素値を、空白領域に隣接する複数の部分画像のうちの少なくとも一つの部分画像の端部の画素に対応する画素値に基づいて、生成するステップを含む。
【００２７】
好ましくは、複数の部分画像は、第１の部分画像と、視差の相違により、第１の部分画像と同じ画素に重複して画素値が対応付けされる重複領域を有する第２の部分画像とを含み、画素値を生成するステップは、重複領域において、同じ画素に対応する第１の部分画像および第２の部分画像にそれぞれ含まれる画素値に基づいて、重複領域に含まれる画素に対応する画素値を生成するステップをさらに含む。
【００２８】
好ましくは、重複領域に含まれる画素に対応する画素値を生成するステップは、第１の部分画像および第２の部分画像にそれぞれ対応する視差に応じて、第１の部分画像および第２の部分画像のうち何れかを選択して、選択された部分画像に含まれる画素値に基づいて、重複領域に含まれる画素に対応する画素値を生成する。
【００２９】
好ましくは、重複領域に含まれる画素に対応する画素値を生成するステップは、重複領域において、同じ画素に対応する第１の部分画像に含まれる第１の画素値と、第２の部分画像に含まれる第２の画素値とを交互に選択して、重複領域に含まれる画素に対応する画素値を生成する。
【００３０】
好ましくは、重複領域に含まれる画素に対応する画素値を生成するステップは、重複領域において、同じ画素に対応する第１の部分画像に含まれる第１の画素値と、第２の部分画像に含まれる第２の画素値とをαブレンディングして、重複領域に含まれる画素に対応する画素値を生成する。
【００３１】
好ましくは、複数の画像に分割するステップは、記憶領域に予め格納された、領域分割モデルを特定可能な情報に応じて、複数の領域分割モデルのうちの一つを選択するステップと、選択された領域分割モデルに基づいて、画面を領域分割するステップとをさらに含む。
【００３２】
好ましくは、視差に関連する情報を複数の部分画像にそれぞれ対応する視差に変換するステップをさらに備える。
【００３３】
この発明のある局面に係る立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体は、画面を構成する各画素に対する画素値の集合に対応する画像を、画面を分割した複数の領域にそれぞれ対応するように、複数の部分画像に分割するステップを備え、各部分画像は、領域内の各画素に対する画素値の集合に対応し、各領域に対応する視差に応じて、各部分画像の画素に対応する画素値を平行にずらした位置の画素に対応付けするステップと、視差の相違により生じる、画素に対応付けされる画素値がない空白領域において、空白領域に含まれる画素に対応する画素値を生成するステップとをさらに備え、
画素値を生成するステップは、空白領域に含まれる画素に対応する画素値を、空白領域に隣接する複数の部分画像のうちの少なくとも一つの部分画像の端部の画素に対応する画素値に基づいて、生成するステップを含む。
【００３４】
好ましくは、複数の部分画像は、第１の部分画像と、視差の相違により、第１の部分画像と同じ画素に重複して画素値が対応付けされる重複領域を有する第２の部分画像とを含み、画素値を生成するステップは、重複領域において、同じ画素に対応する第１の部分画像および第２の部分画像にそれぞれ含まれる画素値に基づいて、重複領域に含まれる画素に対応する画素値を生成するステップをさらに含む。
【００３５】
好ましくは、重複領域に含まれる画素に対応する画素値を生成するステップは、第１の部分画像および第２の部分画像にそれぞれ対応する視差に応じて、第１の部分画像および第２の部分画像のうち何れかを選択して、選択された部分画像に含まれる画素値に基づいて、重複領域に含まれる画素に対応する画素値を生成する。
【００３６】
好ましくは、重複領域に含まれる画素に対応する画素値を生成するステップは、重複領域において、同じ画素に対応する第１の部分画像に含まれる第１の画素値と、第２の部分画像に含まれる第２の画素値とを交互に選択して、重複領域に含まれる画素に対応する画素値を生成する。
【００３７】
好ましくは、重複領域に含まれる画素に対応する画素値を生成するステップは、重複領域において、同じ画素に対応する第１の部分画像に含まれる第１の画素値と、第２の部分画像に含まれる第２の画素値とをαブレンディングして、重複領域に含まれる画素に対応する画素値を生成する。
【００３８】
好ましくは、複数の画像に分割するステップは、記憶領域に予め格納された、領域分割モデルを特定可能な情報に応じて、複数の領域分割モデルのうちの一つを選択するステップと、選択された領域分割モデルに基づいて、画面を領域分割するステップとをさらに含む。
【００３９】
好ましくは、視差に関連する情報を複数の部分画像にそれぞれ対応する視差に変換するステップをさらに備える。
【００４０】
【発明の実施の形態】
以下に本発明の実施の形態について図面を用いて詳細に説明する。以下の説明では、同一の構成部分には同一の符号を付してあり、それらの名称および機能も同じである。したがって、それらについて詳細な説明は繰り返さない。
【００４１】
本発明の実施の形態における立体画像生成装置は、右目用画像を入力画像とする。すなわち、右目用画像の入力により左目用画像を生成するものとする。ただし、入力画像は右目用画像に限定しない。たとえば、左目用画像を入力画像としてもよい。左目用画像を入力画像とした場合には、下記に説明する平行移動の方向を逆にすればよい。
【００４２】
［実施の形態１］
図１は、本発明の実施の形態１における立体画像生成装置として機能するコンピュータシステム１００の一例の外観を示す。
【００４３】
図１を参照して、コンピュータシステム１００は、ＦＤ（Flexible Disk)１１４へのデータまたは、プログラム等の格納と読み出しを可能とするＦＤ駆動装置１０６と、ＣＤ―ＲＯＭ（Compact Disc-Read Only Memory）１１６に格納されているデータまたは、プログラム等の読み出しを可能とするＣＤ―ＲＯＭ駆動装置１０８とを含むコンピュータ１０２と、コンピュータ１０２からの出力を表示するためのモニタ１０４と、ユーザが入力を行なうためのキーボード１１０と、マウス１１２とを備える。
【００４４】
なお、図１で示したコンピュータシステム１００の動作は周知であるので、ここではその詳細な説明は繰り返さない。
【００４５】
図２は、本発明の実施の形態１における立体画像生成装置として機能するコンピュータシステム１００の構成を示す機能ブロック図である。
【００４６】
図２を参照して、コンピュータシステム１００は、演算処理を行なうためのＣＰＵ（Central Processing Unit）１１８と、データまたは、プログラム等を記憶するためのメモリ１２０と、固定ディスク１２２と、ＦＤ駆動装置１０６と、ＣＤ−ＲＯＭ駆動装置１０８と、外部の通信網（図示せず）と接続するための通信インターフェイス１２４を含むコンピュータ１０２と、モニタ１０４と、キーボード１１０と、マウス１１２とを備える。
【００４７】
ＦＤ駆動装置１０６には、ＦＤ１１４が装着可能である。また、ＣＤ―ＲＯＭ駆動装置１０８には、ＣＤ―ＲＯＭ１１６が装着可能である。
【００４８】
ＦＤ１１４または、ＣＤ―ＲＯＭ１１６には、所定のプログラムが格納されている。ＣＰＵ１１８は、ソフトウェアに対応するプログラムに基づいて、コンピュータシステム１００を構成するハードウェアの制御を行なう。
【００４９】
ここで、ＦＤ１１４または、ＣＤ―ＲＯＭ１１６に格納されたプログラムをＣＰＵ１１８が実行するときの動作について説明する。
【００５０】
ＦＤ１１４または、ＣＤ―ＲＯＭ１１６に格納された所定のプログラムは、ＦＤ駆動装置１０６または、ＣＤ―ＲＯＭ駆動装置１０８により読み取られる。そして、読み取られたプログラムは、直接メモリ１２０に読み出される。あるいは、一旦、固定ディスク１２２に格納されてからメモリ１２０に読み出されてもよい。ＣＰＵ１１８は、メモリ１２０に読み出されたプログラムに基づいて演算処理を行なう。
【００５１】
このようなプログラムを含むソフトウェアは、一般的に、ＦＤ１１４やＣＤ―ＲＯＭ１１６のような記録媒体に格納されて流通している。
【００５２】
本発明の実施の形態１におけるコンピュータシステム１００は、ハードウェアとハードウェアを制御するためのソフトウェアとで動作する。
【００５３】
一般的なコンピュータのハードウェアは、ＣＰＵ１１８を含む制御部と、メモリ１２０と固定ディスク１２２とを含む記憶部と、マウス１１２とキーボード１１０とを含む入力部と、モニタ１０４を含む出力部と、ＯＳ（Operating System）とを含む。
【００５４】
本発明の実施の形態１において、コンピュータシステム１００は、立体画像を生成するためのプログラムを動作させることにより、立体画像生成装置として機能する。
【００５５】
したがって、本発明において最も本質的な発明は、ＦＤ、ＣＤ―ＲＯＭ、メモリカード、固定ディスクなどの記録媒体に記録された立体画像を生成するためのプログラムである。
【００５６】
なお、図２に示したコンピュータシステム１００の動作は周知であるので、ここではその詳細な説明は繰り返さない。
【００５７】
次に、本発明の実施の形態１におけるコンピュータシステム１００上でプログラムにより機能する立体画像生成装置の構成を説明する。
【００５８】
図３は、本発明の実施の形態１における立体画像生成装置２００の制御機能ブロック図である。
【００５９】
図３を参照して、本発明の実施の形態１における立体画像生成装置２００は、画像の入力を受けるための画像入力部２０２と、画像入力部２０２に入力された画像を格納するための記憶部２１８と、領域分割モデルを選択するための領域分割モデル選択部２０４と、画像を複数の部分画像に分割するための領域分割部２０８と、視差モデルを選択するための視差モデル選択部２０６と、領域に対応する視差に応じて部分画像の画素に対応する各画素値を平行にずらした位置の画素に対応付けさせるための平行移動部２１２と、視差の相違により生じる、空白領域の画素に対応する画素値を生成するための画像補間部２１６と、視差の相違により生じる、重複領域に含まれる画素に対応する画素値を生成するための画像混合部２１４とを含む。
【００６０】
画像は、画面を構成する各画素に対する画素値の集合に対応する。
領域分割モデル選択部２０４において、画像入力部２０２に領域分割モデルの特定可能な情報が入力される。そして、その情報に応じて領域分割モデルが選択される。ここで、領域分割モデルを特定可能な情報とは、たとえば、領域分割された画像、もしくは、領域分割モデル番号等である。領域分割モデル番号を指定して領域分割モデルを選択する場合、記憶部２１８に含まれるＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等に領域分割モデルを保持しておいてもよい。指定された領域分割モデル番号に応じてＲＡＭ等に保持された領域分割モデルとの対応付けが行なわれる。そして、領域分割モデル番号に応じた領域分割モデルが選択される。
【００６１】
領域分割部２０８においては、選択された領域分割モデルに基づいて、画面が分割される。そして、分割された複数の領域にそれぞれ対応するように、画像を複数の部分画像に分割される。
【００６２】
視差モデル選択部２０６において、画像入力部２０２に視差モデルの特定可能な情報が入力される。そして、その情報に応じて視差モデルが選択される。ここで、視差モデルを特定可能な情報とは、たとえば、視差画像、デプスマップ、視差モデル番号、領域分割モデル番号に対応した視差テーブルに基づく視差データ等である。
【００６３】
デプスマップは、視差ではなく、距離を表わす。デプスマップは、計算により視差に変換が可能である。
【００６４】
また、視差モデル番号を指定して視差モデルを選択する場合、記憶部２１８に含まれるＲＡＭ等に視差モデルを保持しておいてもよい。指定された視差モデル番号に応じてＲＡＭ等に保持された視差モデルとの対応付けが行なわれる。そして、視差モデル番号に応じた視差モデルが選択される。
【００６５】
あるいは、領域分割モデルと対応付けされた視差モデルをＲＡＭ等に保持しておいてもよい。選択された領域分割モデルに応じて視差モデルの対応付けが行なわれる。その結果、視差モデルが選択される。選択された視差モデルに基づいて、分割された各領域に対応する視差が決定される。
【００６６】
または、各領域に対応する視差は、ユーザによる入力により決定されてもよい。
【００６７】
そして、平行移動部２１２により、視差に応じて各領域に含まれる画素に対応する画素値を平行にずらした位置の画素に対応付けさせる。
【００６８】
各領域に対応する視差の相違により、画素に対応付けされる画素値のない空白領域が生じる。画像補間部２１６において、空白領域に隣接する複数の部分画像のうち少なくとも一つの部分画像の端部に対応する画素値に基づいて、空白領域の画素に対応する画素値が生成される。
【００６９】
また、各領域に対応する視差の相違により、同じ画素に重複して対応付けされる画素値を含む重複領域が生じる。画像混合部２１４において、各領域にそれぞれ含まれる、同じ画素に重複して対応付けされるそれぞれの画素値に基づいて、重複領域の画素に対応する画素値が生成される。
【００７０】
以上のような構成において本発明の実施の形態１における右目用画像の入力から左目用画像を生成する動作について説明する。
【００７１】
図４は、本発明の実施の形態１において右目用画像の入力から左目用画像を生成するまでの動作のフローチャートである。
【００７２】
図４を参照して、まず、右目用画像が画像入力部２０２へ入力される（ステップＳ２１）。
【００７３】
入力された画像は、記憶部２１８に格納される。このとき、本発明の実施の形態１において入力される画像は、静止画とする。ただし、入力画像は、静止画に限定しない。たとえば、入力画像は、動画の１フレームでもよい。
【００７４】
次に、ＣＰＵ１１８を含む制御部（図示せず）は、領域分割モデルの特定可能な情報が画像入力部２０２に入力されたかを判定する（ステップＳ２２）。
【００７５】
ステップＳ２２において、領域分割モデルの特定可能な情報が入力された場合、制御部は、領域分割モデル選択部２０４に入力された情報に応じて、予め記憶部２１８に格納された領域分割モデルと対応づけさせる。
【００７６】
そして、制御部は、選択された領域分割モデルに基づいて、領域分割部２０８により画面を複数の領域に分割させる（ステップＳ２５）。
【００７７】
このとき、領域分割部２０８は、各領域に対応するように画像を複数の部分画像に分割する。
【００７８】
一方、ステップＳ２２において、領域分割モデルの特定可能な情報が入力されない場合、制御部は、表示部（図示せず）によりユーザに対して領域分割モデルの表示が行なわれる（ステップＳ２３）。
【００７９】
つづいて、制御部は、ユーザによる領域分割モデルの選択および微調整のための入力が行なわれたかを判定する（ステップＳ２４）。
【００８０】
ステップＳ２４において、領域分割モデルの選択および微調整が行なわれた場合、制御部は、選択された領域分割モデルに基づいて、領域分割部２０８により画面を複数の領域に分割させる（ステップＳ２５）。
【００８１】
そして、領域分割部２０８は、各領域に対応するように画像を部分画像に分割させる。
【００８２】
なお、本発明の実施の形態１において領域分割モデルが予め格納される記憶部２１８は、たとえば、ＲＡＭおよびＲＯＭ等を含む。ただし、領域分割モデルは、たとえば、固定ディスク１２２等の外部記憶装置に格納されていてもよい。
【００８３】
また、本発明の実施の形態１において領域の分割は、領域分割モデルに基づいて行なっているが、たとえば、記憶部２１８から読み出した画像を解析して求める特徴量を用いて領域分割を行なってもよい。
【００８４】
次に、制御部は、視差モデルを特定することが可能な情報が画像入力部２０２に入力されたかを判定する（ステップＳ２６）。
【００８５】
ステップＳ２６において、視差モデルの特定可能な情報が入力された場合、制御部は、視差モデル選択部２０６に入力された情報に応じて予め記憶部２１８に格納された視差モデルと対応づけさせる。または、指定された領域分割モデル番号または、選択された領域分割モデルに応じて記憶部２１８に格納された視差モデルと対応づけてもよい。
【００８６】
そして、制御部は、選択された視差モデルに基づいて、分割された各領域に対応する視差の大きさ分、右に分割された領域に対応する部分画像を平行移動させる（ステップＳ２８）。
【００８７】
すなわち、制御部は、部分画像に対応する画素値を平行にずらした位置の画素に対応付けさせる。
【００８８】
一方、ステップＳ２６において、視差モデルの特定可能な情報が入力されていない場合、制御部は、ユーザにより視差が入力されるまで待機する（ステップＳ２７）。
【００８９】
ユーザにより各領域の視差が入力された場合、制御部は、入力された各領域に対応する視差の大きさ分、右に分割された領域に対応する部分画像を平行移動させる（ステップＳ２８）。
【００９０】
すなわち、制御部は、部分画像に対応する画素値を平行にずらした位置の画素に対応付けさせる。
【００９１】
なお、本発明の実施の形態において視差モデルが予め格納される記憶部２１８は、たとえば、ＲＡＭおよびＲＯＭ等を含む。ただし、視差モデルは、たとえば、固定ディスク１２２等の外部記憶装置に格納されていてもよい。
【００９２】
また、本発明の実施の形態１における視差の決定は、外部からの入力または、視差モデルに基づいて行なっているが、たとえば、記憶部２１８から読み出した画像を解析して求める特徴量を用いた視差の算出を行なってもよい。
【００９３】
次に、制御部は、分割された領域に対応する部分画像を視差に応じて平行移動させた際に、各領域に対応する視差の相違により生じる、空白領域を画像補間部２１６により補間させる（ステップＳ２９）。
【００９４】
そして、制御部は、平行移動部２１２により各領域に対応する部分画像を平行移動させた際に生じる重複領域において、画像混合部２１４により同じ画素に重複して対応付けられる各部分画像に含まれる画素値に基づいて、重複領域に含まれる画素に対応する画素値を生成する（ステップＳ３０）。
【００９５】
以下、本発明の実施の形態１において、画像を水平方向に３分割された領域のうちの特定の領域を立体化する方法を一例として図面に基づいて詳細に説明する。ただし、領域分割モデルの分割数は、３分割に特に限定しない。
【００９６】
図５は、本発明の実施の形態１における画像を水平方向に３分割する領域分割モデルの一例を示す図である。
【００９７】
図５を参照して、図５に示す領域分割モデルは、画像を水平方向に３分割している。分割された領域のうち特定の領域を立体化することが可能となる。たとえば、画像の中心の物体の立体画像を生成する際に、背景、物体、背景というように３分割の領域に分けられる。このとき、水平方向の細い領域に細分化して各領域毎に立体画像生成処理を行なうことにより画像の中心の物体の輪郭に沿って領域を分割することができる。そのため、画像の中心の物体に特定して立体画像を生成することが可能となる。
【００９８】
図６は、本発明の実施の形態１における画像を水平方向に３分割する領域分割モデルに対応する視差モデルの例を示す図である。また、この領域分割モデルの各領域に対応する視差モデルの例を図６（ａ）および図６（ｂ）に示す。
【００９９】
図６（ａ）を参照して、図６（ａ）に示す視差モデルは、画像を水平方向に領域１、領域２および領域３の３領域に分割されている。領域上部の矢印は、視差の大きさを表している。そして、領域１、領域２および領域３の視差をそれぞれ、ｄ、２ｄおよびｄとする。図６（ａ）に示す視差モデルにおいて、右目用画像と右目用画像から生成した左目用画像とにより形成される立体画像において領域２は、領域１および領域３と比較して視差が大きいため、前面に飛び出て見えることとなる。
【０１００】
一方、図６（ｂ）を参照して、図６（ｂ）に示す視差モデルは、画像を水平方向に領域１、領域２および領域３の３領域に分割されている。そして、領域１、領域２および領域３の視差をそれぞれ、２ｄ、ｄおよび２ｄとする。図６（ｂ）に示す視差モデルにおいて、右目用画像と右目用画像から生成した左目用画像とにより形成される立体画像において領域２は、領域１および領域３と比較して視差が小さいため、奥に引っ込んで見えることとなる。
【０１０１】
図７は、本発明の実施の形態１において、画像を水平方向に３分割して、各領域の視差に応じて平行移動した際に生ずる空白領域および重複領域の一例を示す図である。
【０１０２】
図７（ａ）は、画像を水平方向に３分割された領域１、領域２および領域３の３領域と各領域に対応する視差を示す図である。
【０１０３】
図７（ａ）を参照して、領域１および領域３の視差は、０である。そのため、領域１および領域３は、平行移動量は０である。
【０１０４】
一方、領域２の視差は、ｄである。したがって、平行移動部２１２おいては、領域２に対応する視差ｄに応じた大きさ分だけ右に領域２に対応する部分画像を平行移動させる。すなわち、視差に応じて平行にずらした位置の画素に、領域２に対応する部分画像に含まれる画素値を対応付けさせる。
【０１０５】
図７（ｂ）は、領域２に対応する部分画像に含まれる画素値を視差に応じて平行にずらした位置の画素への対応付けを示す図である。
【０１０６】
図７（ｂ）を参照して、領域１２は、領域２に対応する部分画像の平行移動により生じる画素に対応する画素値のない空白領域である。空白領域に含まれる画素に対応する画素値の補間は、空白領域に隣接する両端の領域に対応する部分画像に含まれる画素値に基づいて行なわれる。すなわち、領域１に対する部分画像の右端列の画素に対応する画素値と領域２に対する部分画像の左端列の画素に対応する画素値とで空白領域を補間する。ただし、両端の領域に含まれる画素値に基づいて、空白領域を補間することに限定しない。たとえば、空白領域に隣接する領域のうち少なくとも一つの領域に含まれる画素値に基づいて、空白領域の補間を行なってもよい。または、移動前の領域２に含まれる画素値に基づいて空白領域の補間を行なってもよい。
【０１０７】
一方、領域２３は、領域２に対応する部分画像の平行移動により生じる領域２および領域３に対応する部分画像に含まれる画素値が同じ画素に対応付けられる重複領域である。重複領域に含まれる画素値は、同じ画素に重複して対応付けられる領域２および領域３に対応するそれぞれの部分画像に含まれる画素値に基づいて、画像混合部２１４により生成される。
【０１０８】
図８は、本発明の実施の形態１において画素補間部２１６による空白領域の両端の領域にそれぞれ含まれる画素値に基づいた、空白領域の補間を示す概念図である。図中の記号は画素値を表すものとする。
【０１０９】
図８を参照して、領域２が領域２に対応する視差に応じて４画素分右に平行移動したときに領域１２の空白領域が生じる。この空白領域を領域１２の左半分は、領域１２の左に隣接する領域１に対する部分画像の最右端列の画素に対応する画素値で補間する。そして、領域１２の右半分は、領域１２の右に隣接する領域２に対する部分画像の最左端列の画素に対応する画素値で補間する。
【０１１０】
また、平行移動が奇数画素分であるために奇数画素列の空白領域が生じる場合は、特に限定されないが右側の領域２の視差が大きいため、すなわち、領域２の方が手前にあるため、右側の画素数を左側の画素数よりも多く配置してもよい。
【０１１１】
図９は、本発明の実施の形態１において画像混合部２１４により重複する各領域に対応する部分画像に含まれる画素値に基づいた、重複領域に含まれる画素値の生成を示す概念図である。
【０１１２】
図９（ａ）は、平行移動前の領域２および領域３である。図中の記号は画素値を表すものとする。図９（ｂ）は、領域２の水平方向に４画素分の平行移動により生じる重複領域において、手前にある部分画像に含まれる画素値を配置することによる画素値の生成を示す図である。図９（ｃ）は、領域２の水平方向に４画素分の平行移動により生じる重複領域において、重複する各部分画像の画素列に対応する画素値を交互に配置することによる画素値の生成を示す図である。
【０１１３】
図９（ａ）を参照して、領域２は、平行移動部２１２により水平方向に４画素分の平行移動する。そのときに領域２と領域３との間に、４列の画素の重複が生じるものとする。
【０１１４】
図９（ｂ）を参照して、４画素分の平行移動により領域２および領域３が重複する領域２３が生じる。右方向の平行移動により重複が生じるということは、領域２の視差の方が大きいことを意味している。すなわち、領域２が領域３よりも手前に存在することを意味している。したがって、重複領域は、領域２により領域３が隠される領域であるため、領域２を優先的に表示する。すなわち、画像混合部２１４は、領域２に対応する部分画像に含まれる画素値を重複領域の画素に対応する画素値とする。これにより、視差の小さな領域はより後ろに存在するため、重複領域の視差が小さな部分をオクルージョン（隠れ部分）であるとして、自然な重複領域の解消が可能となる。
【０１１５】
図９（ｃ）を参照して、４画素分の平行移動により領域２および領域３に対応する部分画像が重複する領域２３が生じる。画像混合部２１４は、領域２３に含まれる画素に対応する画素値を、重複する各部分画像の画素列に対応する画素値を交互に配置して、重複領域の画素に対応する画素値としてもよい。これにより、より見やすい立体画像を生成することが可能となる。
【０１１６】
また、平行移動が奇数画素分であるために奇数画素列の重複領域が生じる場合、特に限定されないが右側または、左側の領域に対する部分画像の画素列に対応する画素値を多く配置してもよい。あるいは、中央列を右側および左側の領域に対応する部分画像に含まれる画素値を交互に配置してもよい。
【０１１７】
ただし、画素に対応する画素値の生成の方法として、上記図９（ｂ）および図９（ｃ）に示した方法に限定しない。たとえば、領域２３に含まれる画素値を同じ画素に重複して対応付けされるそれぞれの部分画像に含まれる画素値をαブレンディングすることにより求めてもよい。
【０１１８】
αブレンディングとは、０≦α≦１なる定数αを用いて、α×Ｉ２＋（１−α）×Ｉ３により画素値を生成する手法である。ここで、Ｉ２およびＩ３は同じ画素に重複して対応付けされるそれぞれの部分画像に含まれる画素値である。
【０１１９】
以上のように、本発明の実施の形態１における立体画像生成装置によれば、右目用の画像を入力してから領域分割と、領域に対応した視差に基づく分割された部分画像の平行移動と、平行移動により生じる空白領域の画素に対応する画素値の補間と、重複領域の画素に対応する画素値の生成とを行なうことにより、左目用の画像を生成することが可能となる。
【０１２０】
また、重複するそれぞれの部分画像に含まれる画素値に基づいて重複領域に含まれる画素値を生成することにより、左目用画像を高速に生成することが可能となる。
【０１２１】
あるいは、空白領域に隣接する領域に対応する部分画像に含まれる画素値に基づいて、空白領域の画素に対応する画素値を補間することにより、左目用画像を高速に生成することが可能となる。
【０１２２】
そして、入力画像を動画の１フレームとすることにより、２次元動画の立体画像生成が可能となる。
【０１２３】
また、画像を水平方向に３分割する領域分割モデルに基づいて、立体画像生成の処理を行なうことにより、左目用画像を高速に生成することが可能となる。
【０１２４】
あるいは、画像に応じて画像を水平方向に３分割する領域分割モデルを用いることにより、画像の提供者が意図した立体画像を生成することが可能となる。
【０１２５】
［実施の形態２］
本発明の実施の形態２における立体画像生成装置として機能するコンピュータシステムは、本発明の実施の形態１における図１および図２に示したコンピュータシステム１００の構成と同じである。そのため、コンピュータシステム１００の構成および動作の説明は繰り返さない。
【０１２６】
また、本発明の実施の形態２における、コンピュータシステム１００上で機能する立体画像生成装置の構成および動作については、図３および図４に示した本発明の実施の形態１における立体画像生成装置２００の機能ブロック図および右目用画像の入力から左目用画像を生成するまでの動作のフローチャートと同じである。そのため本発明の実施の形態２における立体画像生成装置２００の構成および動作の説明は繰り返さない。
【０１２７】
以下、本発明の実施の形態２において、画像を鉛直方向に４分割された領域のうちの特定の領域を立体化する方法の一例として図面に基づいて詳細に説明する。ただし、領域分割モデルの分割数は、４分割に特に限定しない。
【０１２８】
図１０は、本発明の実施の形態２における画像を鉛直方向に４分割する領域分割モデルの一例を示す図である。
【０１２９】
図１０を参照して、図１０に示す領域分割モデルは、画像を鉛直方向に４分割している。分割された領域のうち特定の領域を立体化することが可能となる。たとえば、画像を鉛直方向に４分割し、下の領域から順次視差を小さく設定する。このとき、立体画像を生成する際に一番下の領域が最も手前に見えることとなる。そして、上の３領域が順次距離が遠ざかるように見えることとなる。そのため、図１０に示す領域分割モデルは、たとえば、風景等の画像を立体画像とする際の領域分割モデルとして適している。
【０１３０】
図１１は、本発明の実施の形態２において、画像を鉛直方向に４分割して、各領域に対応する視差に応じて平行移動した際に生ずる空白領域および切り取り領域の一例を示す図である。
【０１３１】
図１１（ａ）は、画像を鉛直方向に４分割された領域１、領域２、領域３、領域４と各領域に対応する視差を示す図である。
【０１３２】
図１１（ａ）を参照して、画像を鉛直方向に４分割した領域に領域１より順次小さい視差が対応している。領域１、領域２、領域３、領域４の視差を３ｄ、２ｄ、ｄ、０とする。領域１より順次視差を小さくしていくことにより、立体画像を生成した際に、領域１が最も手前で、順次領域の距離が遠ざかるように見せることができる。風景画像等から立体画像を生成する際の領域分割モデルに適している。
【０１３３】
図１１（ｂ）は、領域１、領域２、領域３、領域４の各領域に対応する部分画像を各領域に対応する視差に応じて平行移動するときに生じる空白領域と切り取り領域を示す図である。
【０１３４】
図１１（ｂ）を参照して、図１１（ａ）に示す領域に対応する部分画像を各領域に対応する視差に応じて右方向に平行移動させている。そのため、画素に対応する画素値のない空白領域が生じる。さらに、領域１、領域２および領域３に対応する各部分画像は、平行移動により画面よりはみ出すため、画面外に切り取り領域が生じる。
【０１３５】
空白領域の補間は、空白領域の左端の領域に対応する部分画像が存在しないため、空白領域に隣接する右側の領域に対応する部分画像に含まれる画素値に基づいて行なう。または、空白領域に隣接する右側の領域と移動前の領域とに対応するそれぞれの部分画像に含まれる画素値に基づいて、空白領域を補間してもよい。
【０１３６】
一方、各領域の平行移動により生じる切り取り領域は、記憶部２１８において、生成される左目用画像に含まれる画素値のうち画面外に対応づけられる画素値の除去により切り取られる。
【０１３７】
以上のように、本発明の実施の形態２における立体画像生成装置によれば、右目用の画像を入力してから領域分割と、領域に対応した視差に基づく分割された部分画像の平行移動と、平行移動により生じる空白領域の補間と、画面外にはみ出す切り取り領域の切り取りとを行なうことにより、左目用の画像を生成することが可能となる。
【０１３８】
また、空白領域の画素に対応する画素値を、隣接する領域に含まれる画素値に基づいて補間することにより、左目用画像を高速に生成することが可能となる。
【０１３９】
そして、入力画像を動画の１フレームとすることにより、２次元動画の立体画像生成が可能となる。
【０１４０】
また、画像を鉛直方向に４分割する領域分割モデルに基づいて立体画像生成の処理を行なうことにより、左目用画像を高速に生成することが可能となる。
【０１４１】
あるいは、風景等の画像に応じて鉛直方向に４分割する領域分割モデルを用いることで画像の提供者が意図した立体画像を生成することが可能となる。
【０１４２】
［実施の形態３］
本発明の実施の形態３における立体画像生成装置として機能するコンピュータシステムは、本発明の実施の形態１における図１および図２に示したコンピュータシステム１００の構成と同じである。そのため、コンピュータシステム１００の構成および動作の説明は繰り返さない。
【０１４３】
また、本発明の実施の形態３における、コンピュータシステム１００上で機能する立体画像生成装置の構成および動作については、図３および図４に示した本発明の実施の形態１における立体画像生成装置２００の機能ブロック図および右目用画像の入力から左目用画像を生成するまでの動作のフローチャートと同じである。そのため本発明の実施の形態３における立体画像生成装置２００の構成および動作の説明は繰り返さない。
【０１４４】
以下、本発明の実施の形態３において、画像の中央部を長方形で２分割された領域のうちの特定の領域を立体化する方法の一例として図面に基づいて詳細に説明する。
【０１４５】
図１２は、本発明の実施の形態３における画像の中央部を長方形で２分割する領域分割モデルの一例を示す図である。
【０１４６】
図１２を参照して、図１２に示す分割モデルは、画面の中央部を長方形で２分割している。分割された領域のうち特定の領域を立体化することが可能となる。たとえば、画面の中央の領域に対応する視差を周囲の視差よりも大きく設定する。このとき、立体画像を生成する際に中央の領域のみ飛び出して見えることとなる。一方、画面の中央の領域に対応する視差を周囲の視差よりも小さく設定する。このとき、立体画像を生成する際に中央の領域のみがへこんで見えることとなる。
【０１４７】
図１３は、本発明の実施の形態３において、画像の中央部を長方形により２分割して、各領域に対応する視差に応じて平行移動した際に生ずる空白領域および重複領域の一例を示す図である。
【０１４８】
図１３（ａ）は、画像の中央部を長方形により２分割された領域１と領域２とにそれぞれ対応する視差を示す。
【０１４９】
図１３（ａ）を参照して、領域１、領域２の視差を、０、ｄとする。そして、領域１および領域２に対応するそれぞれの部分画像を視差に応じて、平行移動部２１２により平行移動させる。すなわち、視差に応じて平行にずらした位置の画素に領域１および領域２に対応するそれぞれの部分画像に含まれる画素値を対応付けさせる。ただし、領域１の視差は０であるため、領域１に対応する部分画像の平行移動量は０である。
【０１５０】
図１３（ｂ）は、視差に応じて各領域に対応する部分画像に含まれる画素値を平行にずらした位置の画素への対応付けを示す図である。
【０１５１】
図１３（ｂ）を参照して、領域２に対応する部分画像の平行移動により画素に対応する画素値のない空白領域と、領域１および領域２に対応する部分画像に含まれる画素値が同じ画素に対応付けられる重複領域とが生じる。
【０１５２】
空白領域に含まれる画素値の補間は、空白領域に隣接する両端の領域に対応するそれぞれの部分画像に含まれる画素値に基づいて行なわれる。ただし、両端の領域に含まれる画素値に基づいて、空白領域を補間することに限定しない。たとえば、空白領域に隣接する領域のうち少なくとも一つの領域に含まれる画素値に基づいて、空白領域の補間を行なってもよい。または、移動前の領域２に含まれる画素値に基づいて空白領域の補間を行なってもよい。
【０１５３】
空白領域に含まれる画素値の補間については、本発明の実施の形態１における図８に示した空白領域に含まれる画素を両端の領域の画素を用いた補間を示す概念図の説明における空白領域に含まれる画素値の補間方法と同じである。そのため説明は繰り返さない。
【０１５４】
一方、領域２に対応する部分画像の平行移動により、領域１および領域２に対応する部分画像に含まれるそれぞれの画素値が同じ画素に対応付けられる重複領域が生じる。重複領域に含まれる画素値は、同じ画素に重複して対応付けられる領域１および領域２に対応するそれぞれの部分画像に含まれる画素値に基づいて、画像混合部２１４により生成される。
【０１５５】
重複領域に含まれる画素値の生成については、本発明の実施の形態１における図９に示した重複領域に含まれる画素を同じ画素に重複して対応付けられる各領域に含まれる画素値に基づいた、画素値の生成を示す概念図の説明における重複領域に含まれる画素値の生成方法と同じである。そのため説明は繰り返さない。
【０１５６】
以上のように、本発明の実施の形態３における立体画像生成装置によれば、右目用の画像を入力してから領域分割と、領域に対応した視差に基づく分割された部分画像の平行移動と、平行移動により生じる空白領域の画素に対応する画素値の補間と、重複領域の画素に対応する画素値の生成とを行なうことにより、左目用の画像を生成することが可能となる。
【０１５７】
また、重複するそれぞれの部分画像に含まれる画素値に基づいて重複領域に含まれる画素値を生成することにより、左目用画像を高速に生成することが可能となる。
【０１５８】
あるいは、空白領域に隣接する領域に対応する部分画像に含まれる画素値に基づいて、空白領域の画素に対応する画素値を補間することにより、左目用画像を高速に生成することが可能となる。
【０１５９】
そして、入力画像を動画の１フレームとすることにより、２次元動画の立体動画生成が可能となる。
【０１６０】
また、画像の中央部を長方形で２分割する領域分割モデルに基づいて、立体画像生成の処理を行なうことにより、左目用画像を高速に生成することが可能となる。
【０１６１】
あるいは、画像に応じて画像の中央部を長方形で２分割する領域分割モデルを用いることにより、画像の提供者が意図した立体画像を生成することが可能となる。
【０１６２】
［実施の形態４］
本発明の実施の形態４における立体画像生成装置として機能するコンピュータシステムは、本発明の実施の形態１における図１および図２に示したコンピュータシステム１００の構成と同じである。そのため、コンピュータシステム１００の構成および動作の説明は繰り返さない。
【０１６３】
また、本発明の実施の形態４における、コンピュータシステム１００上で機能する立体画像生成装置の構成については、図３に示した本発明の実施の形態１における立体画像生成装置２００の機能ブロック図と同じである。そのため、本発明の実施の形態６における立体画像生成装置２００の構成の説明は繰り返さない。
【０１６４】
以下、本発明の実施の形態４において、静止画内の特定の領域を立体化する方法の一例として図面に基づいて詳細に説明する。
【０１６５】
図１４は、本発明の実施の形態４において、破線領域を特定して、破線領域内の立体化を行なう静止画を説明するための図である。
【０１６６】
図１４を参照して、静止画は、部屋のような少なくとも奥行き方向と上下方向とに有限距離で仕切られた空間を表わす画像である。すなわち、静止画は、部屋の側面から部屋の中央を見ている視点の画像である。また、静止画にける正面の壁面には、窓が一つ設けられる。そして、静止画における正面の壁際に２人の人が立っている。破線領域は、一例として窓と２人の人と天井と床とを含む領域が特定されている。なお、この破線領域は、ユーザによるマウス１１２あるいはキーボード１１０への入力指示により特定されていてもよい。あるいは、破線領域は、予め記憶部２１８に格納された画面上の位置情報に基づいた領域であってもよい。
【０１６７】
次に、立体画像生成装置２００が図１４において説明した破線領域内の画像の画像入力部２０２への入力に応じて、左目用画像の生成を行なう動作についての説明を行なう。
【０１６８】
図４は、本発明の実施の形態４において右目用画像の入力から左目用画像を生成するまでの動作のフローチャートである。
【０１６９】
図４を参照して、ユーザにより特定された破線領域の画像が画像入力部２０２に入力される（ステップＳ２１）。
【０１７０】
このとき、入力された画像は、記憶部２１８に格納される。
次に、領域分割モデル選択部２０４は、領域分割モデルの特定可能な情報がユーザによりマウス１１２またはキーボード１１０を介して画像入力部２０２に入力されたかを判定する（ステップＳ２２）。
【０１７１】
そして、ステップＳ２２において、領域分割モデルの特定可能な情報が入力された場合、領域分割モデル選択部２０４は、入力された情報に基づいて、予め記憶部２１８に格納された領域分割モデルを対応づける。すなわち、領域分割モデル選択部２０４は、ユーザによる画像入力部２０２への領域分割モデルの特定可能な情報の入力に応じて領域分割モデルを選択する。
【０１７２】
ここで、領域分割モデル選択部２０４は、ユーザによるマウス１１２あるいはキーボード１１０への入力指示に基づいて、図１４において説明した静止画の破線領域内の奥行き方向および上下方向の境界面の領域の各々に対応する領域分割モデルを指定する。すなわち、領域分割モデル２０４は、図１４において説明した静止画の破線領域内の天井の領域、正面の壁面の領域および床の領域の各々に対応する領域分割モデルを指定する。
【０１７３】
そして、領域分割部２０８は、指定された領域分割モデルに基づいて、静止画の破線領域の分割を行なう（ステップＳ２５）。
【０１７４】
一方、ステップＳ２２において、領域分割モデルの特定可能な情報が入力されない場合、または、図１４の静止画の破線領域内の天井の領域、正面の壁面の領域および床の領域の各々に対応する領域分割モデルがない等により領域分割モデルが指定されない場合、たとえばモニタ１０４に記憶部２１８に格納される複数の領域分割モデルが表示される（ステップＳ２３）。
【０１７５】
そして、ユーザは、マウス１１２あるいはキーボード１１０への入力指示により、表示される複数の領域分割モデルの中から一つを選択する。そして、ユーザは、選んだ領域分割モデルを立体化の対象となる画像に対応するように微調整を行なう（ステップＳ２４）。
【０１７６】
ここで、微調整とは、選択された領域分割モデルの分割領域の大きさの変更を含む。たとえば、ユーザによるマウス１１２あるいはキーボード１１０への入力指示により、モニタ１０４より表示される複数の領域分割モデルの中から鉛直方向に画面を３分割した領域分割モデルが選択される。そして、ユーザによるマウス１１２あるいはキーボード１１０への入力指示により、図１４の静止画における天井と正面の壁面との境界線と床と正面の壁面との境界線とに対応するように、領域分割モデルにおける各領域の境界線の微調整が行なわれてもよい。
【０１７７】
次に、領域分割部２０８は、微調整された領域分割モデルに基づいて、正面の壁面と天井と床との３つの領域の各々に対応するように破線領域内の画像を分割する（ステップＳ２５）。
【０１７８】
なお、本発明の実施の形態４において領域分割モデルが予め格納される記憶部２１８は、たとえば、ＲＡＭおよびＲＯＭ等を含む。ただし、領域分割モデルは、たとえば、固定ディスク１２２等の外部記憶装置に格納されていてもよい。
【０１７９】
また、本発明の実施の形態４において領域の分割は、領域分割モデルに基づいて行なうが、たとえば、記憶部２１８から読み出した画像を解析して求める特徴量を用いて領域分割を行なってもよい。
【０１８０】
そして、視差モデル選択部２０５において、画像入力部２０２への視差モデルの特定可能な情報が入力されたか否かが判定される（ステップＳ２６）。
【０１８１】
ステップＳ２６において、視差モデルの特定可能な情報が入力されていない場合、ユーザによるマウス１１２あるいはキーボード１１０への入力指示により直接入力されるまで待機する（ステップＳ２７）。
【０１８２】
一方、ステップＳ２６において、視差モデルの特定可能な情報が入力された場合、視差モデル選択部２０５は、視差モデル選択部２０６に入力された情報に応じて、予め記憶部２１８に格納された視差モデルと対応づけさせる。
【０１８３】
すなわち、視差は、視差モデル選択部２０６によりユーザからの入力に応じて選択される視差モデルに基づく。視差モデルは、予め選択された領域分割モデルに対応づけられていてもよい。
【０１８４】
なお、本発明の実施の形態４において視差モデルが予め格納される記憶部２１８は、たとえば、ＲＡＭおよびＲＯＭ等を含む。ただし、視差モデルは、たとえば、固定ディスク１２２等の外部記憶装置に格納されていてもよい。
【０１８５】
また、本発明の実施の形態１における視差の決定は、外部からの入力または、視差モデルに基づいて行なっているが、たとえば、記憶部２１８から読み出した画像を解析して求める特徴量を用いた視差の算出を行なってもよい。
【０１８６】
そして、平行移動部２１２は、各領域に対応する部分画像を視差に基づいて、各領域に対応する部分画像に含まれる画素の平行にずらした位置への対応付けを行なう（ステップＳ２８）。
【０１８７】
そして、画像補間部２１６は、平行移動部２１２により各領域に対応する部分画像を視差に応じて平行移動させた際に、各領域に対応する視差の相違により生じる空白領域を補間する（ステップＳ２９）。
【０１８８】
なお、平行移動部２１２による各領域に含まれる画素を平行にずらした位置への対応付けは、各領域の画素値を一旦記憶部２１８に格納することにより行なわれてもよい。すなわち、各領域に含まれる画素を平行にずらした位置の画素値をすべて計算し、一旦記憶部２１８に格納した後に記憶部２１８に格納された移動前の画像の画素値を上書きしてもよい。
【０１８９】
あるいは、平行にずらした位置への対応付けは、１画素毎に行なわれてもよいものとする。すなわち、平行移動部２１２は、１画素毎に平行にずらして記憶部２１８に格納された移動前の画像の画素値を上書きしてもよい。
【０１９０】
また、ステップＳ３０において、画像混合部２１４は、各領域に対応する部分画像の視差に応じた平行移動により重複領域が生じない場合、画像の混合を行なわない。このとき、各領域に対応する部分画像の視差に応じた平行移動により切り取り領域が生じる場合、ステップＳ３０において、切り取り領域の除去、すなわち、画面外に対応付けられた画素値の除去が行なわれる。
【０１９１】
また、領域分割モデル選択部２０４と領域分割部２０８と視差モデル選択部２０６と平行移動部２１２と画像混合部２１４と画像補間部２１６とは、ＣＰＵ１１８を含む制御部（図示せず）において、プログラムを実行させることにより機能する。
【０１９２】
図１５は、静止画を領域分割モデルに基づいて鉛直方向に３つの領域に分割して、各領域に対応する部分画像の視差に応じた平行移動により生じる空白領域および切り取り領域を示す図である。
【０１９３】
図１５（ａ）は、図１４に示した静止画内の破線領域を３分割する領域分割モデルと各領域に対応する視差を示す図である。
【０１９４】
図１５（ａ）を参照して、図１５（ａ）に示す領域分割モデルは、画面を鉛直方向に３分割している。そして、静止画を鉛直方向に３分割した領域１、領域２、領域３に対応する部分画像の視差は、ユーザにより選択された視差モデル、あるいはユーザにより直接入力された視差に基づいて、それぞれ２ｄ、ｄ、２ｄとする。このとき、領域１は、図１４の静止画において床に対応する領域である。また、領域２は、図１４の静止画において正面の壁面に対応する領域である。そして、領域３は、図１４の静止画において天井に対応する領域である。領域２の視差を領域１および領域３と比較して小さくすることにより、立体画像を生成したときに、領域１および領域３が飛び出して見えることとなる。すなわち、図１４に示す静止画に基づいて、立体画像を生成したとき、天井と床に対応する領域が手前に見えることとなる。
【０１９５】
一方、図１５（ｂ）は、領域１、領域２、領域３の各領域に対応する部分画像を各領域に対応する視差に応じて平行移動するときに生じる空白領域と切り取り領域を示す図である。
【０１９６】
図１５（ｂ）を参照して、平行移動部２１２は、図１５（ａ）に示す領域に対応する部分画像を各領域に対応する視差に応じて右方向に平行移動させている。そのため、領域１、領域２および領域３の左側に画素に対応する画素値のない空白領域が生じる。さらに、領域１、領域２および領域３に対応する各部分画像は、平行移動により画面よりはみ出すため、画面外に切り取り領域を生じる。
【０１９７】
空白領域の補間は、画像補間部２１６において、空白領域の左端の領域に対応する部分画像が存在しないため、空白領域に隣接する右側の領域に対応する部分画像に含まれる画素値に基づいて行なわれる。または、空白領域に隣接する右側の領域と移動前の領域とに対応するそれぞれの部分画像に含まれる画素値に基づいて、空白領域を補間してもよい。
【０１９８】
または、このとき、空白領域の補間は、空白領域と隣接する特定された破線領域外の領域の含まれる画素値に基づいて行なってもよい。あるいは、特定した破線領域よりも大きい領域で立体画像を生成後に、破線領域を切り出してもよいし、破線領域を立体化した後に空白領域が生じている左端を除外してもよい。
【０１９９】
一方、各領域の平行移動により生じる切り取り領域は、記憶部２１８において、生成される左目用画像に含まれる画素値のうち画面外に対応づけられる画素値の除去により切り取られる。
【０２００】
以上のように、本発明の実施の形態４における立体画像生成装置によれば、静止画において領域を特定して、特定された領域を右目用の画像として入力してから領域分割と、領域に対応した視差に基づく分割された部分画像の平行移動と、平行移動により生じる空白領域の補間と、画面外にはみ出す切り取り領域の切り取りとを行なうことにより、左目用の画像を高速に生成することが可能となる。
【０２０１】
また、空白領域の画素に対応する画素値を隣接する領域に含まれる画素値に基づいて補間することにより、左目用画像を高速に生成することが可能となる。
【０２０２】
［実施の形態５］
本発明の実施の形態５における立体画像生成装置として機能するコンピュータシステムは、本発明の実施の形態１における図１および図２に示したコンピュータシステム１００の構成と同じである。そのため、コンピュータシステム１００の構成および動作の説明は繰り返さない。
【０２０３】
また、本発明の実施の形態５における、コンピュータシステム１００上で機能する立体画像生成装置の構成については、図３に示した本発明の実施の形態１における立体画像生成装置２００の機能ブロック図と同じである。そのため、本発明の実施の形態５における立体画像生成装置２００の構成の説明は繰り返さない。
【０２０４】
以下、本発明の実施の形態５において、静止画内の特定の領域を立体化する方法の一例として図面に基づいて詳細に説明する。
【０２０５】
図１６は、本発明の実施の形態５において、立体化を行なう静止画を説明するための図である。
【０２０６】
図１６を参照して、静止画は、部屋のような少なくとも奥行き方向と上下方向と左右方向とに有限距離で仕切られた空間を表わす画像である。すなわち、静止画は、部屋の側面から部屋の中央を見ている視点の画像である。また、静止画における右側の壁面には、窓が一つ設けられる。また、静止画における正面の壁際に２人の人が立っている。すなわち、この静止画は、右側に窓がある廊下を親子二人連れで歩いている情景の一例を表わしている。
【０２０７】
次に、立体画像生成装置２００が図１６において説明した静止画の画像入力部２０２への入力に応じて、左目用画像の生成を行なう動作についての説明を行なう。
【０２０８】
図４は、本発明の実施の形態５において右目用画像の入力から左目用画像を生成するまでの動作のフローチャートである。
【０２０９】
図４を参照して、ユーザにより図１５の画像が画像入力部２０２に入力される（ステップＳ２１）。
【０２１０】
このとき、入力された画像は、記憶部２１８に格納される。
次に、領域分割モデル選択部２０４は、領域分割モデルの特定可能な情報がユーザによりマウス１１２またはキーボード１１０を介して画像入力部２０２に入力されたかを判定する（ステップＳ２２）。
【０２１１】
そして、ステップＳ２２において、領域分割モデルの特定可能な情報が入力された場合、領域分割モデル選択部２０４は、入力された情報に基づいて、予め記憶部２１８に格納された領域分割モデルと対応づけさせる。すなわち、領域分割モデル選択部２０４は、ユーザによる画像入力部２０２への領域分割モデルの特定可能な情報の入力に応じて領域分割モデルを選択する。
【０２１２】
ここで、領域分割モデル選択部２０４は、ユーザによるマウス１１２あるいはキーボード１１０への入力指示に基づいて、図１６において説明した静止画の上下方向と左右方向との境界面を奥行き方向にそれぞれ２分割した領域の各々と奥行き方向の境界面の領域とに対応する領域分割モデルを指定する。すなわち、図１６において説明した静止画の天井の領域、床の領域および左右の壁面の領域を奥行き方向にそれぞれ２分割した領域の各々と正面の壁面の領域とに対応する領域分割モデルを指定する。
【０２１３】
そして、領域分割部２０８は、指定された領域分割モデルに基づいて、静止画の分割を行なう（ステップＳ２５）。
【０２１４】
一方、ステップＳ２２において、領域分割モデルの特定可能な情報が入力されない場合、または、図１６の静止画の天井の領域、床の領域および左右の壁面の領域を奥行き方向にそれぞれ２分割した領域の各々と正面の壁面の領域とに対応する領域分割モデルがない等により領域分割モデルが指定されない場合、たとえばモニタ１０４に記憶部２１８に格納される複数の領域分割モデルが表示される（ステップＳ２３）。
【０２１５】
そして、ユーザは、マウス１１２あるいはキーボード１１０への入力指示により、表示される複数の領域分割モデルの中から一つを選択する。そして、ユーザは、選んだ領域分割モデルを立体化の対象となる画像に対応するように微調整を行なう（ステップＳ２４）。
【０２１６】
ここで、微調整とは、選択された領域分割モデルの分割領域の大きさの変更を含む。たとえば、ユーザによるマウス１１２あるいはキーボード１１０への入力指示により、モニタ１０４より表示される複数の領域分割モデルの中から図１６のように天井の領域と床の領域と左右の壁面の領域とを奥行き方向で２分割した領域と正面の領域との９つの領域に分割された領域分割モデルが選択される。そして、ユーザによるマウス１１２あるいはキーボード１１０への入力指示により、図１６の静止画における天井と正面の壁面と床と左右の壁面のそれぞれの境界線に対応するように、領域分割モデルにおける各領域の境界線の微調整が行なわれる。
【０２１７】
このとき、たとえば、ユーザによるマウス１１２あるいはキーボード１１０への入力指示により、領域分割モデルにおける中央の領域の４隅を静止画における正面の壁面の４隅に対応づけることにより微調整が行なわれてもよい。
【０２１８】
次に、領域分割部２０８は、微調整された領域分割モデルに基づいて、図１６に示す静止画を９つの領域に分割する（ステップＳ２５）。
【０２１９】
なお、本発明の実施の形態５において領域分割モデルが予め格納される記憶部２１８は、たとえば、ＲＡＭおよびＲＯＭ等を含む。ただし、領域分割モデルは、たとえば、固定ディスク１２２等の外部記憶装置に格納されていてもよい。
【０２２０】
また、本発明の実施の形態５において領域の分割は、領域分割モデルに基づいて行なうが、たとえば、記憶部２１８から読み出した画像を解析して求める特徴量を用いて領域分割を行なってもよい。
【０２２１】
そして、視差モデル選択部２０５において、画像入力部２０２への視差モデルの特定可能な情報が入力されたか否かの判定をする（ステップＳ２６）。
【０２２２】
ステップＳ２６において、視差モデルの特定可能な情報が入力されていない場合、ユーザによるマウス１１２あるいはキーボード１１０への入力指示により直接入力されるまで待機する（ステップＳ２７）。
【０２２３】
一方、ステップＳ２６において、視差モデルの特定可能な情報が入力された場合、視差モデル選択部２０５は、視差モデル選択部２０６に入力された情報に応じて、予め記憶部２１８に格納された視差モデルと対応付けさせる。
【０２２４】
すなわち、視差は、視差モデル選択部２０６によりユーザからの入力に応じて選択される視差モデルに基づく。視差モデルは、予め選択された領域分割モデルに対応づけられていてもよい。
【０２２５】
なお、本発明の実施の形態５において視差モデルが予め格納される記憶部２１８は、たとえば、ＲＡＭおよびＲＯＭ等を含む。ただし、視差モデルは、たとえば、固定ディスク１２２等の外部記憶装置に格納されていてもよい。
【０２２６】
また、本発明の実施の形態１における視差の決定は、外部からの入力または、視差モデルに基づいて行なっているが、たとえば、記憶部２１８から読み出した画像を解析して求める特徴量を用いた視差の算出を行なってもよい。
【０２２７】
そして、平行移動部２１２は、各領域に対応する部分画像を視差に基づいて、各領域に対応する部分画像に含まれる画素の平行にずらした位置への対応付けを行なう（ステップＳ２８）。
【０２２８】
そして、画像補間部２１６は、平行移動部２１２により各領域に対応する部分画像を視差に応じて平行移動させた際に、各領域に対応する視差の相違により生じる空白領域を補間する（ステップＳ２９）。
【０２２９】
なお、平行移動部２１２による各領域に含まれる画素を平行にずらした位置への対応付けは、各領域の画素値を一旦記憶部２１８に格納することにより行なわれてもよい。すなわち、各領域に含まれる画素を平行にずらした位置の画素値をすべて計算し、一旦記憶部２１８に格納した後に記憶部２１８に格納された移動前の画像の画素値を上書きしてもよい。
【０２３０】
あるいは、平行にずらした位置への対応付けは、１画素毎に行なわれてもよいものとする。すなわち、平行移動部２１２は、１画素毎に平行にずらして記憶部２１８に格納された移動前の画像の画素値を上書きしてもよい。
【０２３１】
そして、画像補間部２１４は、各領域に対応する部分画像の視差に応じた平行移動により重複領域が生じる場合、画像の混合、すなわち、重複領域に対応する画素値の生成を行なう（ステップＳ３０）。
【０２３２】
このとき、各領域に対応する部分画像の視差に応じた平行移動により切り取り領域が生じる場合、切り取り領域の除去、すなわち、画面外に対応付けられた画素値の除去が行なわれる。
【０２３３】
また、領域分割モデル選択部２０４と領域分割部２０８と視差モデル選択部２０６と平行移動部２１２と画像混合部２１４と画像補間部２１６とは、ＣＰＵ１１８を含む制御部（図示せず）において、プログラムを実行させることにより機能する。
【０２３４】
図１７は、静止画を９つの領域に分割するときの領域分割モデルの一例を示す図である。
【０２３５】
図１７を参照して、図１７に示す領域分割モデルは、図１６において説明した静止画の天井の領域、床の領域および左右の壁面の領域を奥行き方向でそれぞれ２分割した領域の各々と正面の壁面の領域とに対応するように分割している。
【０２３６】
領域分割部２０８は、図１７に示す領域分割モデルにしたがって、領域１〜領域９に対応するように、図１６において説明した静止画を分割する。領域１〜領域９に対応する部分画像の視差は、たとえば、ユーザにより選択された視差モデルあるいはユーザにより直接入力された視差に基づいて、領域１、領域３、領域７、領域９の視差を２ｄとし、領域２、領域４、領域６、領域８の視差をｄとして、そして、領域５の視差を０とする。各領域に対応する部分画像を視差に応じて平行移動すると、立体画像において、より手前にあるものほど飛び出して見えることとなる。そのため、図１６において説明した静止画を立体化するとき、奥行きを持った部屋に見えるようになる。
【０２３７】
すなわち、図１７に示す領域分割モデルのように、領域を細かく分割することにより、よりなだらかに奥行きを作ることが可能となる。
【０２３８】
図１８は、領域分割された各領域に対応する部分画像を視差に応じて平行移動した際に生ずる空白領域、重複領域、切り取り領域の一例を示す図である。
【０２３９】
図１８を参照して、上述したように領域１〜領域９に対応する部分画像の視差は、たとえば、領域１、領域３、領域７、領域９の視差を２ｄとし、領域２、領域４、領域６、領域８の視差をｄとして、領域５の視差を０とする。つづいて、領域１〜領域９に対応するそれぞれの部分画像を視差に応じて、平行移動部２１２により平行移動させる。ただし、領域５の視差は０であるため、領域５に対応する部分画像の平行移動量は０である。
【０２４０】
各部分画像の平行移動により、画素に対応する画素値のない空白領域と、領域同士が重なる重複領域と、画面よりはみ出す切り取り領域とが生じる。
【０２４１】
領域３に対応する部分画像の平行移動により生じる平行移動後の領域３の左側に生じる空白領域の補間は、空白領域の左端の領域に対応する部分画像が存在しないため、空白領域に隣接する右側の領域に対応する部分画像に含まれる画素値に基づいて行なう。または、空白領域に隣接する右側の領域と移動前の領域とに対応するそれぞれの部分画像に含まれる画素値に基づいて、空白領域を補間してもよい。
【０２４２】
また、領域６および領域７に対応する部分画像の平行移動により生じる領域５と領域６との間の空白領域と領域６と領域７との間の空白領域とに含まれる画素値の補間は、空白領域に隣接する両端の領域に対応するそれぞれの部分画像に含まれる画素値に基づいて行なわれる。ただし、両端の領域に含まれる画素値に基づいて、空白領域を補間することに限定しない。たとえば、空白領域に隣接する領域のうち少なくとも一つの領域に含まれる画素値に基づいて、空白領域の補間を行なってもよい。または、移動前の領域６、または、領域７に含まれる画素値に基づいて空白領域の補間を行なってもよい。
【０２４３】
また、空白領域の両端の領域に含まれる画素値に基づいて、空白領域に含まれる画素値の補間の一例としては、本発明の実施の形態１における図８に示した空白領域に含まれる画素を両端の領域の画素を用いた補間を示す概念図の説明における空白領域に含まれる画素値の補間方法と同じである。そのため説明は繰り返さない。
【０２４４】
一方、領域２、領域３、領域４、領域８の平行移動により生じる領域３と領域４と領域２と領域８との重複領域と、領域４と領域５との重複領域に含まれる画素値は、同じ画素に重複して対応付けられる領域に対応するそれぞれの部分画像に含まれる画素値に基づいて、画像混合部２１４により生成される。
【０２４５】
重複領域に含まれる画素値の生成の一例としては、本発明の実施の形態１における図９に示した重複領域に含まれる画素を同じ画素に重複して対応付けられる各領域に含まれる画素値に基づいた、画素値の生成を示す概念図の説明における重複領域に含まれる画素値の生成方法と同じである。そのため説明は繰り返さない。
【０２４６】
また、各領域の平行移動により生じる切り取り領域は、記憶部２１８において、生成される左目用画像に含まれる画素値のうち画面外に対応づけられる画素値の除去により切り取られる。
【０２４７】
以上のように、本発明の実施の形態５における立体画像生成装置２００によれば、右目用の画像を入力してから領域分割と、領域に対応した視差に基づく分割された部分画像の平行移動と、平行移動により生じる空白領域の補間と、重複領域の混合と、画面外にはみ出す切り取り領域の切り取りとを行なうことにより、左目用の画像を生成することが可能となる。
【０２４８】
また、重複するそれぞれの部分画像に含まれる画素値に基づいて重複領域に含まれる画素値を生成することにより、左目用画像を高速に生成することが可能となる。
【０２４９】
あるいは、空白領域に隣接する領域に対応する部分画像に含まれる画素値に基づいて、空白領域の画素に対応する画素値を補間することにより、左目用画像を高速に生成することが可能となる。
【０２５０】
［実施の形態６］
本発明の実施の形態６における立体画像生成装置として機能するコンピュータシステムは、本発明の実施の形態１における図１および図２に示したコンピュータシステム１００の構成と同じである。そのため、コンピュータシステム１００の構成および動作の説明は繰り返さない。
【０２５１】
また、本発明の実施の形態６における、コンピュータシステム１００上で機能する立体画像生成装置の構成については、図３に示した本発明の実施の形態１における立体画像生成装置２００の機能ブロック図と同じである。そのため本発明の実施の形態６における立体画像生成装置２００の構成の説明は繰り返さない。
【０２５２】
以下、本発明の実施の形態６において、静止画内の特定の領域を立体化する方法の一例として図面に基づいて詳細に説明する。
【０２５３】
まず、本発明の実施の形態６の説明を行なう前提として、実施の形態４において説明した図１５において、視差ｄが１より大きい場合（たとえば、ｄを５とする。）を考慮する。このとき、領域１、領域２および領域３の視差は、それぞれ１０、５、１０となる。すなわち、各領域間の視差が不連続となる。予め不連続な視差が対応付けられる場合、立体画像の生成について問題とならない。しかしながら、たとえば、実施の形態５において説明した図１６のように廊下や壁面に対応する領域の立体画像を生成する場合、奥行きに応じて、連続的に視差が変化しなければ不自然な立体画像が生成されることとなる。そのために、領域分割の単位を所定の画素数の領域（たとえば、鉛直方向に１画素毎に分割する領域）とし、隣接する領域間の視差を連続的に変化させることにより、より自然な立体画像の生成が可能となる。
【０２５４】
すなわち、本発明の実施の形態６において、所定の画素数の領域の一例として鉛直方向に１画素毎に領域を分割した領域分割モデルにしたがって、画面を分割し、それぞれの領域に対応する部分画像を、連続的に変化させる視差に応じて、平行移動させる。
【０２５５】
ここで、所定の画素数は、１画素に特に限定されるものではない。ただし、より隣接する領域間の視差を連続的に変化させるためには、画面の領域を１画素毎に分割することが望ましい。
【０２５６】
ここで、本発明の実施の形態６における、コンピュータシステム１００上で機能する立体画像生成装置の動作については、図４に示した本発明の実施の形態１における立体画像生成装置２００が右目用画像の入力から左目用画像を生成する動作のフローチャートと以下の点で異なる。
【０２５７】
すなわち、本発明の実施の形態６において、選択される領域分割モデルは、鉛直方向に１画素毎に領域を分割した分割モデルである。
【０２５８】
図１９は、図１０において説明した領域分割モデルをさらに詳細に分割した領域分割モデルに基づいて分割した部分画像を視差に応じて平行移動させた図である。
【０２５９】
図１９を参照して、図１９に示す領域分割モデルは、実施の形態２において説明した図１０の鉛直方向に４分割した領域分割モデルをさらに詳細に分割した分割モデルである。すなわち、図１９に示す領域分割モデルは、画面を鉛直方向に１画素毎の領域に分割した分割モデルである。
【０２６０】
領域分割部２１８は、鉛直方向に１画素毎に領域を分割した領域分割モデルに基づいて、分割された画面の各領域に対応するように画像を分割する。そして、平行移動部２１２は、分割された各領域に対応する部分画像を視差に応じて、平行移動させる。このとき、視差は、下の領域から順次視差を小さく設定する。そのため、各領域に対応する部分画像の平行移動により生じる空白領域と平行移動後の各領域に対応する部分画像の左端との境界線は、図１９に示すように近似的に斜線となる。
【０２６１】
このとき、生成される立体画像において、一番下の領域が最も手前に見えることとなる。そして、上の領域になるほど順次距離が遠ざかるように見えることとなる。そして、実施の形態２において説明した図１０の鉛直方向に４分割の領域分割モデルに基づく立体画像と比較して、視差を連続的に変化させることにより、より自然な立体画像の生成を行なうことができる。
【０２６２】
一方、図２０は、図１５において説明した領域分割モデルをさらに詳細に分割した領域分割モデルに基づいて分割した部分画像を視差に応じて平行移動させた図である。
【０２６３】
図２０を参照して、図２０に示す領域分割モデルは、実施の形態４において説明した図１５の鉛直方向に３分割した領域分割モデルをさらに詳細に分割した分割モデルである。すなわち、図２０に示す領域分割モデルは、画面を鉛直方向に１画素毎の領域に分割した分割モデルである。
【０２６４】
領域分割部２１８は、鉛直方向に１画素毎に領域を分割した領域分割モデルに基づいて、分割された画面の各領域に対応するように画像を分割する。そして、平行移動部２１２は、分割された各領域に対応する部分画像を視差に応じて、平行移動させる。このとき、視差は、図１４における天井に対応する領域においては、上の領域から順次視差を小さく設定する。また、図１４における正面の壁面に対応する領域においては、視点から壁面までの距離が同じであるため同一の視差を設定する。そして、図１４における床に対応する領域においては、下の領域から順次視差を小さく設定する。そのため、各領域に対応する部分画像の平行移動により生じる空白領域と平行移動後の各領域に対応する部分画像の左端との境界線は、連続的な変化を示す。すなわち、図２０に示すように、図１４における天井の領域に対応する部分画像の左端と空白領域との境界線は、近似的に右上がりの斜線となる。そして、図１４における正面の壁面の領域に対応する部分画像の左端と空白領域との境界線は、鉛直方向の直線となる。そして、図１４における床の領域に対応する部分画像の左端と空白領域との境界線は、近似的に右下がりの斜線となる。
【０２６５】
このとき、生成される立体画像において、図１４における天井に対応する領域においては、上の領域になるほど手前に見える。また、図１４における床に対応する領域においては、下の領域になるほど手前に見える。すなわち、正面の壁面が一番奥となるような奥行きのある部屋に見える。そして、実施の形態４において説明した図１５の鉛直方向に３分割の領域分割モデルに基づく立体画像と比較して、視差を連続的に変化させることにより、より自然な立体画像の生成を行なうことができる。
【０２６６】
また、このとき、図１９および図２０において、領域の平行移動により生じる空白領域の補間は、空白領域の左端の領域に対応する部分画像が存在しないため、空白領域に隣接する右側の領域に対応する部分画像に含まれる画素値に基づいて行なう。または、空白領域に隣接する右側の領域と移動前の領域とに対応するそれぞれの部分画像に含まれる画素値に基づいて、空白領域を補間してもよい。
【０２６７】
一方、各領域の平行移動により生じる切り取り領域は、記憶部２１８において、生成される左目用画像に含まれる画素値のうち画面外に対応づけられる画素値の除去により切り取られる。
【０２６８】
また、画面を鉛直方向に１画素毎に分割されたそれぞれの領域への詳細な視差の設定により、平行移動後の各領域に対応する部分画像の左端の境界線を斜線だけでなく、矩形あるいは近似的に曲線とすることもできる。
【０２６９】
以上のように、本発明の実施の形態６における立体画像生成装置２００によれば、右目用の画像を入力してから領域分割と、領域に対応した視差に基づく分割された部分画像の平行移動と、平行移動により生じる空白領域の補間と、画面外にはみ出す切り取り領域の切り取りとを行なうことにより、左目用の画像を生成することが可能となる。
【０２７０】
また、画面を鉛直方向に１画素毎の領域に分割する領域分割モデルに基づいて連続的に変化する視差を対応付けて立体化を行なうことにより、より自然な立体画像の生成が可能となる。
【０２７１】
なお、実施の形態６における領域分割モデルは、鉛直方向に１画素毎の領域に分割した領域分割モデルとして説明したが、たとえば、実施の形態１において説明した図５の水平方向に３分割した領域分割モデルをさらに詳細に分割した領域分割モデルに基づいて立体化を行なってもよいものとする。すなわち、たとえば、領域分割モデルは、水平方向に１画素毎の領域に分割した分割モデルであってもよい。
【０２７２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０２７３】
【発明の効果】
以上説明したとおり、本発明における立体画像生成装置によれば、画像を入力してから領域分割と、領域に対応した視差に基づく分割された部分画像の平行移動と、平行移動により生じる空白領域に含まれる画素に対応する画素値の補間と、重複領域に含まれる画素に対応する画素値の生成とを行なうことにより、立体画像の生成を行なうことが可能となる。
【０２７４】
また、空白領域に隣接する領域に対応する部分画像に含まれる画素値に基づいて、空白領域の画素に対応する画素値を補間することにより、立体画像を高速に生成することが可能となる。
【０２７５】
あるいは、重複するそれぞれの部分画像に含まれる画素値に基づいて重複領域に含まれる画素値を生成することにより、立体画像を高速に生成することが可能となる。
【０２７６】
そして、入力画像を動画の１フレームとすることにより、２次元動画の立体画像生成が可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態における立体画像生成装置として機能するコンピュータシステム１００の一例の外観を示す。
【図２】 本発明の実施の形態における立体画像生成装置として機能するコンピュータシステム１００の構成を示す機能ブロック図である。
【図３】 本発明の実施の形態における立体画像生成装置２００の制御機能ブロック図である。
【図４】 本発明の実施の形態において右目用画像の入力から左目用画像を生成するまでの動作のフローチャートである。
【図５】 本発明の実施の形態１における画像を水平方向に３分割する領域分割モデルの一例を示す図である。
【図６】 本発明の実施の形態１における画像を水平方向に３分割する領域分割モデルに対応する視差モデルの例を示す図である。
【図７】 本発明の実施の形態１において、画像を水平方向に３分割して、各領域の視差に応じて平行移動した際に生ずる空白領域および重複領域の一例を示す図である。
【図８】 本発明の実施の形態１において画素補間部２１６による空白領域の両端の領域に含まれる画素値を用いた補間を示す概念図である。
【図９】 本発明の実施の形態１において画像混合部２１４により重複する各領域に対応する部分画像に含まれる画素値に基づいた、重複領域に含まれる画素値の生成を示す概念図である。
【図１０】 本発明の実施の形態２における画像を鉛直方向に４分割する領域分割モデルの一例を示す図である。
【図１１】 本発明の実施の形態２において、画像を鉛直方向に４分割して、各領域に対応する視差に応じて平行移動した際に生ずる空白領域および切り取り領域の一例を示す図である。
【図１２】 本発明の実施の形態３における画像の中央部を長方形で２分割する領域分割モデルの一例を示す図である。
【図１３】 本発明の実施の形態３において、画像の中央部を長方形により２分割して、各領域に対応する視差に応じて平行移動した際に生ずる空白領域および重複領域の一例を示す図である。
【図１４】 本発明の実施の形態４において、破線領域を特定して、破線領域内の立体化を行なう静止画を説明するための図である。
【図１５】 静止画を領域分割モデルに基づいて鉛直方向に３つの領域に分割して、各領域に対応する部分画像の視差に応じた平行移動により生じる空白領域および切り取り領域を示す図である。
【図１６】 本発明の実施の形態５において、立体化を行なう静止画を説明するための図である。
【図１７】 静止画を９つの領域に分割するときの領域分割モデルの一例を示す図である。
【図１８】 領域分割された各領域に対応する部分画像を視差に応じて平行移動した際に生ずる空白領域、重複領域、切り取り領域の一例を示す図である。
【図１９】 図１０において説明した領域分割モデルをさらに詳細に分割した領域分割モデルに基づいて分割した部分画像を視差に応じて平行移動させた図である。
【図２０】 図１５において説明した領域分割モデルをさらに詳細に分割した領域分割モデルに基づいて分割した部分画像を視差に応じて平行移動させた図である。
【符号の説明】
１００ コンピュータシステム、１０２ コンピュータ、１０４ モニタ、１０６ ＦＤ駆動装置、１０８ ＣＤ―ＲＯＭ駆動装置、１１０ キーボード、１１２ マウス、１１４ ＦＤ、１１６ ＣＤ―ＲＯＭ、１１８ ＣＰＵ、１２０メモリ、１２２ 固定ディスク、１２４ 通信インターフェイス、２００ 立体画像生成装置、２０２ 画像入力部、２０４ 領域分割モデル選択部、２０６視差モデル選択部、２０８ 領域分割部、２１２ 平行移動部、２１４ 画像混合部、２１６ 画像補間部、２１８ 記憶部。
【発明の属する技術分野】
本発明は、単一の画像から擬似立体視が可能となる画像を生成する立体画像生成装置に関する。
【０００２】
【従来の技術】
従来の立体画像生成装置は、単一の２次元画像を用い、視差を与えることにより擬似立体視を可能とする画像を生成する。たとえば、単一の２次元画像の入力画像を右目用の画像とし、入力画像中の各領域に視差を与えて左目用の画像を生成する。
【０００３】
第１の従来例としては、２次元画像の３次元化方法として、既存の２次元画像の情報のみからでも違和感の少ない３次元画像化を実現できる方式について以下のような構成が公知である（特許文献１を参照）。すなわち、この第１の従来例では、２次元画像から３次元画像用の左目画像あるいは右目画像を作成する２次元画像の３次元化方法であって、背景画像やそれより手前の人物像等からなる手前画像からなる２次元画像から該手前画像を抽出するステップと、視差や遠近感に応じて前記手前画像を水平方向に移動させるステップと、前記手前画像の移動によって生じる無画像情報領域を補填するように移動後の前記手前画像を拡大するステップと、前記手前画像と背景画像とを合成するステップとよりなる構成が開示されている。
【０００４】
また、第２の従来例としては、２次元画像の３次元化方法について、以下のような構成が公知である（特許文献２を参照）。すなわち、この第２の従来例では、２次元画像から３次元画像用の左目画像あるいは右目画像を作成する２次元画像の３次元化方法であって、２次元画像の立体化しようとする所定領域の周囲の画像を拡大あるいは縮小することにより、前記所定領域を左右に移動させて左目画像あるいは右目画像を作成する。この場合、前記２次元画像を水平方向に複数に分割し、分割された領域の一つあるいは複数の領域を立体化する際、該立体化しようとする領域の左右の領域の画像を拡大あるいは縮小する。もちろん、前記立体化しようとする領域は任意の基本図形であってもよいし、前記立体化しようとする領域は任意の形状であってもよい。
【０００５】
【特許文献１】
特許第３０８６５７７号公報明細書
【０００６】
【特許文献２】
特許第３０９１６４４号公報明細書
【０００７】
【発明が解決しようとする課題】
しかしながら、これらの手法は、背景と対象物の分離や、拡大縮小などの処理が必要である。したがって、たとえば、動画等など高速に画像を生成する必要がある場合には不適である。
【０００８】
本発明は、上記のような問題点を解決するためになされたものであって、その目的は、高速に立体画像生成が可能となる立体画像生成装置、立体画像生成方法、立体画像生成プログラムおよび立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体を提供するものである。
【０００９】
【課題を解決するための手段】
この発明のある局面に係る立体画像生成装置は、画面を構成する各画素に対する画素値の集合に対応する画像を格納するための記憶手段と、画面を分割した複数の領域にそれぞれ対応するように、画像を複数の部分画像に分割するための領域分割手段とを備え、各部分画像は、領域内の各画素に対する画素値の集合に対応し、各領域に対応する視差に応じて、各部分画像の画素に対応する画素値を平行にずらした位置の画素に対応付けするための平行移動手段と、視差の相違により生じる、画素に対応付けされる画素値のない空白領域において、空白領域に含まれる画素に対応する画素値を生成するための画像処理手段とをさらに備え、画像処理手段は、空白領域において、隣接する複数の部分画像のうちの少なくとも一つの部分画像の端部の画素に対応する画素値に基づいて、空白領域の画素に対応する画素値を生成するための画像補間手段を含む。
【００１０】
好ましくは、複数の部分画像は、第１の部分画像と、視差の相違により、第１の部分画像と同じ画素に重複して画素値が対応付けされる重複領域を有する第２の部分画像とを含み、画像処理手段は、重複領域において、同じ画素に対応する第１の部分画像および第２の部分画像にそれぞれ含まれる画素値に基づいて、重複領域に含まれる画素に対応する画素値を生成するための画像混合手段をさらに含む。
【００１１】
好ましくは、画像混合手段は、第１の部分画像および第２の部分画像にそれぞれ対応する視差に応じて、第１の部分画像および第２の部分画像のうちの何れかを選択して、選択された部分画像に含まれる画素値に基づいて、重複領域に含まれる画素に対応する画素値を生成する。
【００１２】
好ましくは、画像混合手段は、重複領域において、同じ画素に対応する第１の部分画像に含まれる第１の画素値と、第２の部分画像に含まれる第２の画素値とを交互に選択して、重複領域に含まれる画素に対応する画素値を生成する。
【００１３】
好ましくは、画像混合手段は、重複領域において、同じ画素に対応する第１の部分画像に含まれる第１の画素値と、第２の部分画像に含まれる第２の画素値とをαブレンディングして、重複領域に含まれる画素に対応する画素値を生成する。
【００１４】
好ましくは、記憶手段は、予め複数の領域分割モデルを記憶し、領域分割手段は、領域分割モデルを特定可能な情報に応じて、複数の領域分割モデルのうちの一つを選択するための領域分割モデル選択手段を含み、選択された領域分割モデルに基づいて、画面を領域分割する。
【００１５】
好ましくは、領域分割モデルは、少なくとも奥行き方向と上下方向とに有限距離で仕切られる空間の静止画における奥行き方向および上下方向の境界面の領域の各々に対応するように画面を３分割するための領域分割モデルを含み、領域分割手段は、外部からの入力による３分割するための領域分割モデルの選択に応じて、３分割の領域のそれぞれの大きさを変更するための領域微調整手段をさらに含む。
【００１６】
好ましくは、領域分割モデルは、少なくとも奥行き方向と上下方向と左右方向とに有限距離で仕切られる空間の静止画における上下方向と左右方向との境界面を奥行き方向にそれぞれ２分割した領域の各々と奥行き方向の境界面の領域とに対応するように画面を９分割するための領域分割モデルを含み、領域分割手段は、外部からの入力による９分割するための領域分割モデルの選択に応じて、９分割の領域のそれぞれの大きさを変更するための領域微調整手段をさらに含む。
【００１７】
好ましくは、複数の領域分割モデルは、画面を鉛直方向および水平方向のうちいずれか一方に所定数の画素毎の複数の領域に分割した領域分割モデルを含む。
【００１８】
好ましくは、視差に関連する情報を複数の部分画像にそれぞれ対応する視差に変換する視差変換手段をさらに備える。
【００１９】
好ましくは、画像は、動画の１フレームである。
この発明のある局面に係る立体画像生成方法は、画面を構成する各画素に対する画素値の集合に対応する画像を、画面を分割した複数の領域にそれぞれ対応するように、複数の部分画像に分割するステップを備え、各部分画像は、領域内の各画素に対する画素値の集合に対応し、各領域に対応する視差に応じて、各部分画像の画素に対応する画素値を平行にずらした位置の画素に対応付けするステップと、視差の相違により生じる、画素に対応付けされる画素値がない空白領域において、空白領域に含まれる画素に対応する画素値を生成するステップとをさらに備え、画素値を生成するステップは、空白領域に含まれる画素に対応する画素値を、空白領域に隣接する複数の部分画像のうちの少なくとも一つの部分画像の端部の画素に対応する画素値に基づいて、生成するステップを含む。
【００２０】
好ましくは、複数の部分画像は、第１の部分画像と、視差の相違により、第１の部分画像と同じ画素に重複して画素値が対応付けされる重複領域を有する第２の部分画像とを含み、画素値を生成するステップは、重複領域において、同じ画素に対応する第１の部分画像および第２の部分画像にそれぞれ含まれる画素値に基づいて、重複領域に含まれる画素に対応する画素値を生成するステップをさらに含む。
【００２１】
好ましくは、重複領域に含まれる画素に対応する画素値を生成するステップは、第１の部分画像および第２の部分画像にそれぞれ対応する視差に応じて、第１の部分画像および第２の部分画像のうち何れかを選択して、選択された部分画像に含まれる画素値に基づいて、重複領域に含まれる画素に対応する画素値を生成する。
【００２２】
好ましくは、重複領域に含まれる画素に対応する画素値を生成するステップは、重複領域において、同じ画素に対応する第１の部分画像に含まれる第１の画素値と、第２の部分画像に含まれる第２の画素値とを交互に選択して、重複領域に含まれる画素に対応する画素値を生成する。
【００２３】
好ましくは、重複領域に含まれる画素に対応する画素値を生成するステップは、重複領域において、同じ画素に対応する第１の部分画像に含まれる第１の画素値と、第２の部分画像に含まれる第２の画素値とをαブレンディングして、重複領域に含まれる画素に対応する画素値を生成する。
【００２４】
好ましくは、複数の画像に分割するステップは、記憶領域に予め格納された、領域分割モデルを特定可能な情報に応じて、複数の領域分割モデルのうちの一つを選択するステップと、選択された領域分割モデルに基づいて、画面を領域分割するステップとをさらに含む。
【００２５】
好ましくは、視差に関連する情報を複数の部分画像にそれぞれ対応する視差に変換するステップをさらに備える。
【００２６】
この発明のある局面に係る立体画像生成プログラムは、画面を構成する各画素に対する画素値の集合に対応する画像を、画面を分割した複数の領域にそれぞれ対応するように、複数の部分画像に分割するステップを備え、各部分画像は、領域内の各画素に対する画素値の集合に対応し、各領域に対応する視差に応じて、各部分画像の画素に対応する画素値を平行にずらした位置の画素に対応付けするステップと、視差の相違により生じる、画素に対応付けされる画素値がない空白領域において、空白領域に含まれる画素に対応する画素値を生成するステップとをさらに備え、画素値を生成するステップは、空白領域に含まれる画素に対応する画素値を、空白領域に隣接する複数の部分画像のうちの少なくとも一つの部分画像の端部の画素に対応する画素値に基づいて、生成するステップを含む。
【００２７】
好ましくは、複数の部分画像は、第１の部分画像と、視差の相違により、第１の部分画像と同じ画素に重複して画素値が対応付けされる重複領域を有する第２の部分画像とを含み、画素値を生成するステップは、重複領域において、同じ画素に対応する第１の部分画像および第２の部分画像にそれぞれ含まれる画素値に基づいて、重複領域に含まれる画素に対応する画素値を生成するステップをさらに含む。
【００２８】
好ましくは、重複領域に含まれる画素に対応する画素値を生成するステップは、第１の部分画像および第２の部分画像にそれぞれ対応する視差に応じて、第１の部分画像および第２の部分画像のうち何れかを選択して、選択された部分画像に含まれる画素値に基づいて、重複領域に含まれる画素に対応する画素値を生成する。
【００２９】
好ましくは、重複領域に含まれる画素に対応する画素値を生成するステップは、重複領域において、同じ画素に対応する第１の部分画像に含まれる第１の画素値と、第２の部分画像に含まれる第２の画素値とを交互に選択して、重複領域に含まれる画素に対応する画素値を生成する。
【００３０】
好ましくは、重複領域に含まれる画素に対応する画素値を生成するステップは、重複領域において、同じ画素に対応する第１の部分画像に含まれる第１の画素値と、第２の部分画像に含まれる第２の画素値とをαブレンディングして、重複領域に含まれる画素に対応する画素値を生成する。
【００３１】
好ましくは、複数の画像に分割するステップは、記憶領域に予め格納された、領域分割モデルを特定可能な情報に応じて、複数の領域分割モデルのうちの一つを選択するステップと、選択された領域分割モデルに基づいて、画面を領域分割するステップとをさらに含む。
【００３２】
好ましくは、視差に関連する情報を複数の部分画像にそれぞれ対応する視差に変換するステップをさらに備える。
【００３３】
この発明のある局面に係る立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体は、画面を構成する各画素に対する画素値の集合に対応する画像を、画面を分割した複数の領域にそれぞれ対応するように、複数の部分画像に分割するステップを備え、各部分画像は、領域内の各画素に対する画素値の集合に対応し、各領域に対応する視差に応じて、各部分画像の画素に対応する画素値を平行にずらした位置の画素に対応付けするステップと、視差の相違により生じる、画素に対応付けされる画素値がない空白領域において、空白領域に含まれる画素に対応する画素値を生成するステップとをさらに備え、
画素値を生成するステップは、空白領域に含まれる画素に対応する画素値を、空白領域に隣接する複数の部分画像のうちの少なくとも一つの部分画像の端部の画素に対応する画素値に基づいて、生成するステップを含む。
【００３４】
好ましくは、複数の部分画像は、第１の部分画像と、視差の相違により、第１の部分画像と同じ画素に重複して画素値が対応付けされる重複領域を有する第２の部分画像とを含み、画素値を生成するステップは、重複領域において、同じ画素に対応する第１の部分画像および第２の部分画像にそれぞれ含まれる画素値に基づいて、重複領域に含まれる画素に対応する画素値を生成するステップをさらに含む。
【００３５】
好ましくは、重複領域に含まれる画素に対応する画素値を生成するステップは、第１の部分画像および第２の部分画像にそれぞれ対応する視差に応じて、第１の部分画像および第２の部分画像のうち何れかを選択して、選択された部分画像に含まれる画素値に基づいて、重複領域に含まれる画素に対応する画素値を生成する。
【００３６】
好ましくは、重複領域に含まれる画素に対応する画素値を生成するステップは、重複領域において、同じ画素に対応する第１の部分画像に含まれる第１の画素値と、第２の部分画像に含まれる第２の画素値とを交互に選択して、重複領域に含まれる画素に対応する画素値を生成する。
【００３７】
好ましくは、重複領域に含まれる画素に対応する画素値を生成するステップは、重複領域において、同じ画素に対応する第１の部分画像に含まれる第１の画素値と、第２の部分画像に含まれる第２の画素値とをαブレンディングして、重複領域に含まれる画素に対応する画素値を生成する。
【００３８】
好ましくは、複数の画像に分割するステップは、記憶領域に予め格納された、領域分割モデルを特定可能な情報に応じて、複数の領域分割モデルのうちの一つを選択するステップと、選択された領域分割モデルに基づいて、画面を領域分割するステップとをさらに含む。
【００３９】
好ましくは、視差に関連する情報を複数の部分画像にそれぞれ対応する視差に変換するステップをさらに備える。
【００４０】
【発明の実施の形態】
以下に本発明の実施の形態について図面を用いて詳細に説明する。以下の説明では、同一の構成部分には同一の符号を付してあり、それらの名称および機能も同じである。したがって、それらについて詳細な説明は繰り返さない。
【００４１】
本発明の実施の形態における立体画像生成装置は、右目用画像を入力画像とする。すなわち、右目用画像の入力により左目用画像を生成するものとする。ただし、入力画像は右目用画像に限定しない。たとえば、左目用画像を入力画像としてもよい。左目用画像を入力画像とした場合には、下記に説明する平行移動の方向を逆にすればよい。
【００４２】
［実施の形態１］
図１は、本発明の実施の形態１における立体画像生成装置として機能するコンピュータシステム１００の一例の外観を示す。
【００４３】
図１を参照して、コンピュータシステム１００は、ＦＤ（Flexible Disk)１１４へのデータまたは、プログラム等の格納と読み出しを可能とするＦＤ駆動装置１０６と、ＣＤ―ＲＯＭ（Compact Disc-Read Only Memory）１１６に格納されているデータまたは、プログラム等の読み出しを可能とするＣＤ―ＲＯＭ駆動装置１０８とを含むコンピュータ１０２と、コンピュータ１０２からの出力を表示するためのモニタ１０４と、ユーザが入力を行なうためのキーボード１１０と、マウス１１２とを備える。
【００４４】
なお、図１で示したコンピュータシステム１００の動作は周知であるので、ここではその詳細な説明は繰り返さない。
【００４５】
図２は、本発明の実施の形態１における立体画像生成装置として機能するコンピュータシステム１００の構成を示す機能ブロック図である。
【００４６】
図２を参照して、コンピュータシステム１００は、演算処理を行なうためのＣＰＵ（Central Processing Unit）１１８と、データまたは、プログラム等を記憶するためのメモリ１２０と、固定ディスク１２２と、ＦＤ駆動装置１０６と、ＣＤ−ＲＯＭ駆動装置１０８と、外部の通信網（図示せず）と接続するための通信インターフェイス１２４を含むコンピュータ１０２と、モニタ１０４と、キーボード１１０と、マウス１１２とを備える。
【００４７】
ＦＤ駆動装置１０６には、ＦＤ１１４が装着可能である。また、ＣＤ―ＲＯＭ駆動装置１０８には、ＣＤ―ＲＯＭ１１６が装着可能である。
【００４８】
ＦＤ１１４または、ＣＤ―ＲＯＭ１１６には、所定のプログラムが格納されている。ＣＰＵ１１８は、ソフトウェアに対応するプログラムに基づいて、コンピュータシステム１００を構成するハードウェアの制御を行なう。
【００４９】
ここで、ＦＤ１１４または、ＣＤ―ＲＯＭ１１６に格納されたプログラムをＣＰＵ１１８が実行するときの動作について説明する。
【００５０】
ＦＤ１１４または、ＣＤ―ＲＯＭ１１６に格納された所定のプログラムは、ＦＤ駆動装置１０６または、ＣＤ―ＲＯＭ駆動装置１０８により読み取られる。そして、読み取られたプログラムは、直接メモリ１２０に読み出される。あるいは、一旦、固定ディスク１２２に格納されてからメモリ１２０に読み出されてもよい。ＣＰＵ１１８は、メモリ１２０に読み出されたプログラムに基づいて演算処理を行なう。
【００５１】
このようなプログラムを含むソフトウェアは、一般的に、ＦＤ１１４やＣＤ―ＲＯＭ１１６のような記録媒体に格納されて流通している。
【００５２】
本発明の実施の形態１におけるコンピュータシステム１００は、ハードウェアとハードウェアを制御するためのソフトウェアとで動作する。
【００５３】
一般的なコンピュータのハードウェアは、ＣＰＵ１１８を含む制御部と、メモリ１２０と固定ディスク１２２とを含む記憶部と、マウス１１２とキーボード１１０とを含む入力部と、モニタ１０４を含む出力部と、ＯＳ（Operating System）とを含む。
【００５４】
本発明の実施の形態１において、コンピュータシステム１００は、立体画像を生成するためのプログラムを動作させることにより、立体画像生成装置として機能する。
【００５５】
したがって、本発明において最も本質的な発明は、ＦＤ、ＣＤ―ＲＯＭ、メモリカード、固定ディスクなどの記録媒体に記録された立体画像を生成するためのプログラムである。
【００５６】
なお、図２に示したコンピュータシステム１００の動作は周知であるので、ここではその詳細な説明は繰り返さない。
【００５７】
次に、本発明の実施の形態１におけるコンピュータシステム１００上でプログラムにより機能する立体画像生成装置の構成を説明する。
【００５８】
図３は、本発明の実施の形態１における立体画像生成装置２００の制御機能ブロック図である。
【００５９】
図３を参照して、本発明の実施の形態１における立体画像生成装置２００は、画像の入力を受けるための画像入力部２０２と、画像入力部２０２に入力された画像を格納するための記憶部２１８と、領域分割モデルを選択するための領域分割モデル選択部２０４と、画像を複数の部分画像に分割するための領域分割部２０８と、視差モデルを選択するための視差モデル選択部２０６と、領域に対応する視差に応じて部分画像の画素に対応する各画素値を平行にずらした位置の画素に対応付けさせるための平行移動部２１２と、視差の相違により生じる、空白領域の画素に対応する画素値を生成するための画像補間部２１６と、視差の相違により生じる、重複領域に含まれる画素に対応する画素値を生成するための画像混合部２１４とを含む。
【００６０】
画像は、画面を構成する各画素に対する画素値の集合に対応する。
領域分割モデル選択部２０４において、画像入力部２０２に領域分割モデルの特定可能な情報が入力される。そして、その情報に応じて領域分割モデルが選択される。ここで、領域分割モデルを特定可能な情報とは、たとえば、領域分割された画像、もしくは、領域分割モデル番号等である。領域分割モデル番号を指定して領域分割モデルを選択する場合、記憶部２１８に含まれるＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等に領域分割モデルを保持しておいてもよい。指定された領域分割モデル番号に応じてＲＡＭ等に保持された領域分割モデルとの対応付けが行なわれる。そして、領域分割モデル番号に応じた領域分割モデルが選択される。
【００６１】
領域分割部２０８においては、選択された領域分割モデルに基づいて、画面が分割される。そして、分割された複数の領域にそれぞれ対応するように、画像を複数の部分画像に分割される。
【００６２】
視差モデル選択部２０６において、画像入力部２０２に視差モデルの特定可能な情報が入力される。そして、その情報に応じて視差モデルが選択される。ここで、視差モデルを特定可能な情報とは、たとえば、視差画像、デプスマップ、視差モデル番号、領域分割モデル番号に対応した視差テーブルに基づく視差データ等である。
【００６３】
デプスマップは、視差ではなく、距離を表わす。デプスマップは、計算により視差に変換が可能である。
【００６４】
また、視差モデル番号を指定して視差モデルを選択する場合、記憶部２１８に含まれるＲＡＭ等に視差モデルを保持しておいてもよい。指定された視差モデル番号に応じてＲＡＭ等に保持された視差モデルとの対応付けが行なわれる。そして、視差モデル番号に応じた視差モデルが選択される。
【００６５】
あるいは、領域分割モデルと対応付けされた視差モデルをＲＡＭ等に保持しておいてもよい。選択された領域分割モデルに応じて視差モデルの対応付けが行なわれる。その結果、視差モデルが選択される。選択された視差モデルに基づいて、分割された各領域に対応する視差が決定される。
【００６６】
または、各領域に対応する視差は、ユーザによる入力により決定されてもよい。
【００６７】
そして、平行移動部２１２により、視差に応じて各領域に含まれる画素に対応する画素値を平行にずらした位置の画素に対応付けさせる。
【００６８】
各領域に対応する視差の相違により、画素に対応付けされる画素値のない空白領域が生じる。画像補間部２１６において、空白領域に隣接する複数の部分画像のうち少なくとも一つの部分画像の端部に対応する画素値に基づいて、空白領域の画素に対応する画素値が生成される。
【００６９】
また、各領域に対応する視差の相違により、同じ画素に重複して対応付けされる画素値を含む重複領域が生じる。画像混合部２１４において、各領域にそれぞれ含まれる、同じ画素に重複して対応付けされるそれぞれの画素値に基づいて、重複領域の画素に対応する画素値が生成される。
【００７０】
以上のような構成において本発明の実施の形態１における右目用画像の入力から左目用画像を生成する動作について説明する。
【００７１】
図４は、本発明の実施の形態１において右目用画像の入力から左目用画像を生成するまでの動作のフローチャートである。
【００７２】
図４を参照して、まず、右目用画像が画像入力部２０２へ入力される（ステップＳ２１）。
【００７３】
入力された画像は、記憶部２１８に格納される。このとき、本発明の実施の形態１において入力される画像は、静止画とする。ただし、入力画像は、静止画に限定しない。たとえば、入力画像は、動画の１フレームでもよい。
【００７４】
次に、ＣＰＵ１１８を含む制御部（図示せず）は、領域分割モデルの特定可能な情報が画像入力部２０２に入力されたかを判定する（ステップＳ２２）。
【００７５】
ステップＳ２２において、領域分割モデルの特定可能な情報が入力された場合、制御部は、領域分割モデル選択部２０４に入力された情報に応じて、予め記憶部２１８に格納された領域分割モデルと対応づけさせる。
【００７６】
そして、制御部は、選択された領域分割モデルに基づいて、領域分割部２０８により画面を複数の領域に分割させる（ステップＳ２５）。
【００７７】
このとき、領域分割部２０８は、各領域に対応するように画像を複数の部分画像に分割する。
【００７８】
一方、ステップＳ２２において、領域分割モデルの特定可能な情報が入力されない場合、制御部は、表示部（図示せず）によりユーザに対して領域分割モデルの表示が行なわれる（ステップＳ２３）。
【００７９】
つづいて、制御部は、ユーザによる領域分割モデルの選択および微調整のための入力が行なわれたかを判定する（ステップＳ２４）。
【００８０】
ステップＳ２４において、領域分割モデルの選択および微調整が行なわれた場合、制御部は、選択された領域分割モデルに基づいて、領域分割部２０８により画面を複数の領域に分割させる（ステップＳ２５）。
【００８１】
そして、領域分割部２０８は、各領域に対応するように画像を部分画像に分割させる。
【００８２】
なお、本発明の実施の形態１において領域分割モデルが予め格納される記憶部２１８は、たとえば、ＲＡＭおよびＲＯＭ等を含む。ただし、領域分割モデルは、たとえば、固定ディスク１２２等の外部記憶装置に格納されていてもよい。
【００８３】
また、本発明の実施の形態１において領域の分割は、領域分割モデルに基づいて行なっているが、たとえば、記憶部２１８から読み出した画像を解析して求める特徴量を用いて領域分割を行なってもよい。
【００８４】
次に、制御部は、視差モデルを特定することが可能な情報が画像入力部２０２に入力されたかを判定する（ステップＳ２６）。
【００８５】
ステップＳ２６において、視差モデルの特定可能な情報が入力された場合、制御部は、視差モデル選択部２０６に入力された情報に応じて予め記憶部２１８に格納された視差モデルと対応づけさせる。または、指定された領域分割モデル番号または、選択された領域分割モデルに応じて記憶部２１８に格納された視差モデルと対応づけてもよい。
【００８６】
そして、制御部は、選択された視差モデルに基づいて、分割された各領域に対応する視差の大きさ分、右に分割された領域に対応する部分画像を平行移動させる（ステップＳ２８）。
【００８７】
すなわち、制御部は、部分画像に対応する画素値を平行にずらした位置の画素に対応付けさせる。
【００８８】
一方、ステップＳ２６において、視差モデルの特定可能な情報が入力されていない場合、制御部は、ユーザにより視差が入力されるまで待機する（ステップＳ２７）。
【００８９】
ユーザにより各領域の視差が入力された場合、制御部は、入力された各領域に対応する視差の大きさ分、右に分割された領域に対応する部分画像を平行移動させる（ステップＳ２８）。
【００９０】
すなわち、制御部は、部分画像に対応する画素値を平行にずらした位置の画素に対応付けさせる。
【００９１】
なお、本発明の実施の形態において視差モデルが予め格納される記憶部２１８は、たとえば、ＲＡＭおよびＲＯＭ等を含む。ただし、視差モデルは、たとえば、固定ディスク１２２等の外部記憶装置に格納されていてもよい。
【００９２】
また、本発明の実施の形態１における視差の決定は、外部からの入力または、視差モデルに基づいて行なっているが、たとえば、記憶部２１８から読み出した画像を解析して求める特徴量を用いた視差の算出を行なってもよい。
【００９３】
次に、制御部は、分割された領域に対応する部分画像を視差に応じて平行移動させた際に、各領域に対応する視差の相違により生じる、空白領域を画像補間部２１６により補間させる（ステップＳ２９）。
【００９４】
そして、制御部は、平行移動部２１２により各領域に対応する部分画像を平行移動させた際に生じる重複領域において、画像混合部２１４により同じ画素に重複して対応付けられる各部分画像に含まれる画素値に基づいて、重複領域に含まれる画素に対応する画素値を生成する（ステップＳ３０）。
【００９５】
以下、本発明の実施の形態１において、画像を水平方向に３分割された領域のうちの特定の領域を立体化する方法を一例として図面に基づいて詳細に説明する。ただし、領域分割モデルの分割数は、３分割に特に限定しない。
【００９６】
図５は、本発明の実施の形態１における画像を水平方向に３分割する領域分割モデルの一例を示す図である。
【００９７】
図５を参照して、図５に示す領域分割モデルは、画像を水平方向に３分割している。分割された領域のうち特定の領域を立体化することが可能となる。たとえば、画像の中心の物体の立体画像を生成する際に、背景、物体、背景というように３分割の領域に分けられる。このとき、水平方向の細い領域に細分化して各領域毎に立体画像生成処理を行なうことにより画像の中心の物体の輪郭に沿って領域を分割することができる。そのため、画像の中心の物体に特定して立体画像を生成することが可能となる。
【００９８】
図６は、本発明の実施の形態１における画像を水平方向に３分割する領域分割モデルに対応する視差モデルの例を示す図である。また、この領域分割モデルの各領域に対応する視差モデルの例を図６（ａ）および図６（ｂ）に示す。
【００９９】
図６（ａ）を参照して、図６（ａ）に示す視差モデルは、画像を水平方向に領域１、領域２および領域３の３領域に分割されている。領域上部の矢印は、視差の大きさを表している。そして、領域１、領域２および領域３の視差をそれぞれ、ｄ、２ｄおよびｄとする。図６（ａ）に示す視差モデルにおいて、右目用画像と右目用画像から生成した左目用画像とにより形成される立体画像において領域２は、領域１および領域３と比較して視差が大きいため、前面に飛び出て見えることとなる。
【０１００】
一方、図６（ｂ）を参照して、図６（ｂ）に示す視差モデルは、画像を水平方向に領域１、領域２および領域３の３領域に分割されている。そして、領域１、領域２および領域３の視差をそれぞれ、２ｄ、ｄおよび２ｄとする。図６（ｂ）に示す視差モデルにおいて、右目用画像と右目用画像から生成した左目用画像とにより形成される立体画像において領域２は、領域１および領域３と比較して視差が小さいため、奥に引っ込んで見えることとなる。
【０１０１】
図７は、本発明の実施の形態１において、画像を水平方向に３分割して、各領域の視差に応じて平行移動した際に生ずる空白領域および重複領域の一例を示す図である。
【０１０２】
図７（ａ）は、画像を水平方向に３分割された領域１、領域２および領域３の３領域と各領域に対応する視差を示す図である。
【０１０３】
図７（ａ）を参照して、領域１および領域３の視差は、０である。そのため、領域１および領域３は、平行移動量は０である。
【０１０４】
一方、領域２の視差は、ｄである。したがって、平行移動部２１２おいては、領域２に対応する視差ｄに応じた大きさ分だけ右に領域２に対応する部分画像を平行移動させる。すなわち、視差に応じて平行にずらした位置の画素に、領域２に対応する部分画像に含まれる画素値を対応付けさせる。
【０１０５】
図７（ｂ）は、領域２に対応する部分画像に含まれる画素値を視差に応じて平行にずらした位置の画素への対応付けを示す図である。
【０１０６】
図７（ｂ）を参照して、領域１２は、領域２に対応する部分画像の平行移動により生じる画素に対応する画素値のない空白領域である。空白領域に含まれる画素に対応する画素値の補間は、空白領域に隣接する両端の領域に対応する部分画像に含まれる画素値に基づいて行なわれる。すなわち、領域１に対する部分画像の右端列の画素に対応する画素値と領域２に対する部分画像の左端列の画素に対応する画素値とで空白領域を補間する。ただし、両端の領域に含まれる画素値に基づいて、空白領域を補間することに限定しない。たとえば、空白領域に隣接する領域のうち少なくとも一つの領域に含まれる画素値に基づいて、空白領域の補間を行なってもよい。または、移動前の領域２に含まれる画素値に基づいて空白領域の補間を行なってもよい。
【０１０７】
一方、領域２３は、領域２に対応する部分画像の平行移動により生じる領域２および領域３に対応する部分画像に含まれる画素値が同じ画素に対応付けられる重複領域である。重複領域に含まれる画素値は、同じ画素に重複して対応付けられる領域２および領域３に対応するそれぞれの部分画像に含まれる画素値に基づいて、画像混合部２１４により生成される。
【０１０８】
図８は、本発明の実施の形態１において画素補間部２１６による空白領域の両端の領域にそれぞれ含まれる画素値に基づいた、空白領域の補間を示す概念図である。図中の記号は画素値を表すものとする。
【０１０９】
図８を参照して、領域２が領域２に対応する視差に応じて４画素分右に平行移動したときに領域１２の空白領域が生じる。この空白領域を領域１２の左半分は、領域１２の左に隣接する領域１に対する部分画像の最右端列の画素に対応する画素値で補間する。そして、領域１２の右半分は、領域１２の右に隣接する領域２に対する部分画像の最左端列の画素に対応する画素値で補間する。
【０１１０】
また、平行移動が奇数画素分であるために奇数画素列の空白領域が生じる場合は、特に限定されないが右側の領域２の視差が大きいため、すなわち、領域２の方が手前にあるため、右側の画素数を左側の画素数よりも多く配置してもよい。
【０１１１】
図９は、本発明の実施の形態１において画像混合部２１４により重複する各領域に対応する部分画像に含まれる画素値に基づいた、重複領域に含まれる画素値の生成を示す概念図である。
【０１１２】
図９（ａ）は、平行移動前の領域２および領域３である。図中の記号は画素値を表すものとする。図９（ｂ）は、領域２の水平方向に４画素分の平行移動により生じる重複領域において、手前にある部分画像に含まれる画素値を配置することによる画素値の生成を示す図である。図９（ｃ）は、領域２の水平方向に４画素分の平行移動により生じる重複領域において、重複する各部分画像の画素列に対応する画素値を交互に配置することによる画素値の生成を示す図である。
【０１１３】
図９（ａ）を参照して、領域２は、平行移動部２１２により水平方向に４画素分の平行移動する。そのときに領域２と領域３との間に、４列の画素の重複が生じるものとする。
【０１１４】
図９（ｂ）を参照して、４画素分の平行移動により領域２および領域３が重複する領域２３が生じる。右方向の平行移動により重複が生じるということは、領域２の視差の方が大きいことを意味している。すなわち、領域２が領域３よりも手前に存在することを意味している。したがって、重複領域は、領域２により領域３が隠される領域であるため、領域２を優先的に表示する。すなわち、画像混合部２１４は、領域２に対応する部分画像に含まれる画素値を重複領域の画素に対応する画素値とする。これにより、視差の小さな領域はより後ろに存在するため、重複領域の視差が小さな部分をオクルージョン（隠れ部分）であるとして、自然な重複領域の解消が可能となる。
【０１１５】
図９（ｃ）を参照して、４画素分の平行移動により領域２および領域３に対応する部分画像が重複する領域２３が生じる。画像混合部２１４は、領域２３に含まれる画素に対応する画素値を、重複する各部分画像の画素列に対応する画素値を交互に配置して、重複領域の画素に対応する画素値としてもよい。これにより、より見やすい立体画像を生成することが可能となる。
【０１１６】
また、平行移動が奇数画素分であるために奇数画素列の重複領域が生じる場合、特に限定されないが右側または、左側の領域に対する部分画像の画素列に対応する画素値を多く配置してもよい。あるいは、中央列を右側および左側の領域に対応する部分画像に含まれる画素値を交互に配置してもよい。
【０１１７】
ただし、画素に対応する画素値の生成の方法として、上記図９（ｂ）および図９（ｃ）に示した方法に限定しない。たとえば、領域２３に含まれる画素値を同じ画素に重複して対応付けされるそれぞれの部分画像に含まれる画素値をαブレンディングすることにより求めてもよい。
【０１１８】
αブレンディングとは、０≦α≦１なる定数αを用いて、α×Ｉ２＋（１−α）×Ｉ３により画素値を生成する手法である。ここで、Ｉ２およびＩ３は同じ画素に重複して対応付けされるそれぞれの部分画像に含まれる画素値である。
【０１１９】
以上のように、本発明の実施の形態１における立体画像生成装置によれば、右目用の画像を入力してから領域分割と、領域に対応した視差に基づく分割された部分画像の平行移動と、平行移動により生じる空白領域の画素に対応する画素値の補間と、重複領域の画素に対応する画素値の生成とを行なうことにより、左目用の画像を生成することが可能となる。
【０１２０】
また、重複するそれぞれの部分画像に含まれる画素値に基づいて重複領域に含まれる画素値を生成することにより、左目用画像を高速に生成することが可能となる。
【０１２１】
あるいは、空白領域に隣接する領域に対応する部分画像に含まれる画素値に基づいて、空白領域の画素に対応する画素値を補間することにより、左目用画像を高速に生成することが可能となる。
【０１２２】
そして、入力画像を動画の１フレームとすることにより、２次元動画の立体画像生成が可能となる。
【０１２３】
また、画像を水平方向に３分割する領域分割モデルに基づいて、立体画像生成の処理を行なうことにより、左目用画像を高速に生成することが可能となる。
【０１２４】
あるいは、画像に応じて画像を水平方向に３分割する領域分割モデルを用いることにより、画像の提供者が意図した立体画像を生成することが可能となる。
【０１２５】
［実施の形態２］
本発明の実施の形態２における立体画像生成装置として機能するコンピュータシステムは、本発明の実施の形態１における図１および図２に示したコンピュータシステム１００の構成と同じである。そのため、コンピュータシステム１００の構成および動作の説明は繰り返さない。
【０１２６】
また、本発明の実施の形態２における、コンピュータシステム１００上で機能する立体画像生成装置の構成および動作については、図３および図４に示した本発明の実施の形態１における立体画像生成装置２００の機能ブロック図および右目用画像の入力から左目用画像を生成するまでの動作のフローチャートと同じである。そのため本発明の実施の形態２における立体画像生成装置２００の構成および動作の説明は繰り返さない。
【０１２７】
以下、本発明の実施の形態２において、画像を鉛直方向に４分割された領域のうちの特定の領域を立体化する方法の一例として図面に基づいて詳細に説明する。ただし、領域分割モデルの分割数は、４分割に特に限定しない。
【０１２８】
図１０は、本発明の実施の形態２における画像を鉛直方向に４分割する領域分割モデルの一例を示す図である。
【０１２９】
図１０を参照して、図１０に示す領域分割モデルは、画像を鉛直方向に４分割している。分割された領域のうち特定の領域を立体化することが可能となる。たとえば、画像を鉛直方向に４分割し、下の領域から順次視差を小さく設定する。このとき、立体画像を生成する際に一番下の領域が最も手前に見えることとなる。そして、上の３領域が順次距離が遠ざかるように見えることとなる。そのため、図１０に示す領域分割モデルは、たとえば、風景等の画像を立体画像とする際の領域分割モデルとして適している。
【０１３０】
図１１は、本発明の実施の形態２において、画像を鉛直方向に４分割して、各領域に対応する視差に応じて平行移動した際に生ずる空白領域および切り取り領域の一例を示す図である。
【０１３１】
図１１（ａ）は、画像を鉛直方向に４分割された領域１、領域２、領域３、領域４と各領域に対応する視差を示す図である。
【０１３２】
図１１（ａ）を参照して、画像を鉛直方向に４分割した領域に領域１より順次小さい視差が対応している。領域１、領域２、領域３、領域４の視差を３ｄ、２ｄ、ｄ、０とする。領域１より順次視差を小さくしていくことにより、立体画像を生成した際に、領域１が最も手前で、順次領域の距離が遠ざかるように見せることができる。風景画像等から立体画像を生成する際の領域分割モデルに適している。
【０１３３】
図１１（ｂ）は、領域１、領域２、領域３、領域４の各領域に対応する部分画像を各領域に対応する視差に応じて平行移動するときに生じる空白領域と切り取り領域を示す図である。
【０１３４】
図１１（ｂ）を参照して、図１１（ａ）に示す領域に対応する部分画像を各領域に対応する視差に応じて右方向に平行移動させている。そのため、画素に対応する画素値のない空白領域が生じる。さらに、領域１、領域２および領域３に対応する各部分画像は、平行移動により画面よりはみ出すため、画面外に切り取り領域が生じる。
【０１３５】
空白領域の補間は、空白領域の左端の領域に対応する部分画像が存在しないため、空白領域に隣接する右側の領域に対応する部分画像に含まれる画素値に基づいて行なう。または、空白領域に隣接する右側の領域と移動前の領域とに対応するそれぞれの部分画像に含まれる画素値に基づいて、空白領域を補間してもよい。
【０１３６】
一方、各領域の平行移動により生じる切り取り領域は、記憶部２１８において、生成される左目用画像に含まれる画素値のうち画面外に対応づけられる画素値の除去により切り取られる。
【０１３７】
以上のように、本発明の実施の形態２における立体画像生成装置によれば、右目用の画像を入力してから領域分割と、領域に対応した視差に基づく分割された部分画像の平行移動と、平行移動により生じる空白領域の補間と、画面外にはみ出す切り取り領域の切り取りとを行なうことにより、左目用の画像を生成することが可能となる。
【０１３８】
また、空白領域の画素に対応する画素値を、隣接する領域に含まれる画素値に基づいて補間することにより、左目用画像を高速に生成することが可能となる。
【０１３９】
そして、入力画像を動画の１フレームとすることにより、２次元動画の立体画像生成が可能となる。
【０１４０】
また、画像を鉛直方向に４分割する領域分割モデルに基づいて立体画像生成の処理を行なうことにより、左目用画像を高速に生成することが可能となる。
【０１４１】
あるいは、風景等の画像に応じて鉛直方向に４分割する領域分割モデルを用いることで画像の提供者が意図した立体画像を生成することが可能となる。
【０１４２】
［実施の形態３］
本発明の実施の形態３における立体画像生成装置として機能するコンピュータシステムは、本発明の実施の形態１における図１および図２に示したコンピュータシステム１００の構成と同じである。そのため、コンピュータシステム１００の構成および動作の説明は繰り返さない。
【０１４３】
また、本発明の実施の形態３における、コンピュータシステム１００上で機能する立体画像生成装置の構成および動作については、図３および図４に示した本発明の実施の形態１における立体画像生成装置２００の機能ブロック図および右目用画像の入力から左目用画像を生成するまでの動作のフローチャートと同じである。そのため本発明の実施の形態３における立体画像生成装置２００の構成および動作の説明は繰り返さない。
【０１４４】
以下、本発明の実施の形態３において、画像の中央部を長方形で２分割された領域のうちの特定の領域を立体化する方法の一例として図面に基づいて詳細に説明する。
【０１４５】
図１２は、本発明の実施の形態３における画像の中央部を長方形で２分割する領域分割モデルの一例を示す図である。
【０１４６】
図１２を参照して、図１２に示す分割モデルは、画面の中央部を長方形で２分割している。分割された領域のうち特定の領域を立体化することが可能となる。たとえば、画面の中央の領域に対応する視差を周囲の視差よりも大きく設定する。このとき、立体画像を生成する際に中央の領域のみ飛び出して見えることとなる。一方、画面の中央の領域に対応する視差を周囲の視差よりも小さく設定する。このとき、立体画像を生成する際に中央の領域のみがへこんで見えることとなる。
【０１４７】
図１３は、本発明の実施の形態３において、画像の中央部を長方形により２分割して、各領域に対応する視差に応じて平行移動した際に生ずる空白領域および重複領域の一例を示す図である。
【０１４８】
図１３（ａ）は、画像の中央部を長方形により２分割された領域１と領域２とにそれぞれ対応する視差を示す。
【０１４９】
図１３（ａ）を参照して、領域１、領域２の視差を、０、ｄとする。そして、領域１および領域２に対応するそれぞれの部分画像を視差に応じて、平行移動部２１２により平行移動させる。すなわち、視差に応じて平行にずらした位置の画素に領域１および領域２に対応するそれぞれの部分画像に含まれる画素値を対応付けさせる。ただし、領域１の視差は０であるため、領域１に対応する部分画像の平行移動量は０である。
【０１５０】
図１３（ｂ）は、視差に応じて各領域に対応する部分画像に含まれる画素値を平行にずらした位置の画素への対応付けを示す図である。
【０１５１】
図１３（ｂ）を参照して、領域２に対応する部分画像の平行移動により画素に対応する画素値のない空白領域と、領域１および領域２に対応する部分画像に含まれる画素値が同じ画素に対応付けられる重複領域とが生じる。
【０１５２】
空白領域に含まれる画素値の補間は、空白領域に隣接する両端の領域に対応するそれぞれの部分画像に含まれる画素値に基づいて行なわれる。ただし、両端の領域に含まれる画素値に基づいて、空白領域を補間することに限定しない。たとえば、空白領域に隣接する領域のうち少なくとも一つの領域に含まれる画素値に基づいて、空白領域の補間を行なってもよい。または、移動前の領域２に含まれる画素値に基づいて空白領域の補間を行なってもよい。
【０１５３】
空白領域に含まれる画素値の補間については、本発明の実施の形態１における図８に示した空白領域に含まれる画素を両端の領域の画素を用いた補間を示す概念図の説明における空白領域に含まれる画素値の補間方法と同じである。そのため説明は繰り返さない。
【０１５４】
一方、領域２に対応する部分画像の平行移動により、領域１および領域２に対応する部分画像に含まれるそれぞれの画素値が同じ画素に対応付けられる重複領域が生じる。重複領域に含まれる画素値は、同じ画素に重複して対応付けられる領域１および領域２に対応するそれぞれの部分画像に含まれる画素値に基づいて、画像混合部２１４により生成される。
【０１５５】
重複領域に含まれる画素値の生成については、本発明の実施の形態１における図９に示した重複領域に含まれる画素を同じ画素に重複して対応付けられる各領域に含まれる画素値に基づいた、画素値の生成を示す概念図の説明における重複領域に含まれる画素値の生成方法と同じである。そのため説明は繰り返さない。
【０１５６】
以上のように、本発明の実施の形態３における立体画像生成装置によれば、右目用の画像を入力してから領域分割と、領域に対応した視差に基づく分割された部分画像の平行移動と、平行移動により生じる空白領域の画素に対応する画素値の補間と、重複領域の画素に対応する画素値の生成とを行なうことにより、左目用の画像を生成することが可能となる。
【０１５７】
また、重複するそれぞれの部分画像に含まれる画素値に基づいて重複領域に含まれる画素値を生成することにより、左目用画像を高速に生成することが可能となる。
【０１５８】
あるいは、空白領域に隣接する領域に対応する部分画像に含まれる画素値に基づいて、空白領域の画素に対応する画素値を補間することにより、左目用画像を高速に生成することが可能となる。
【０１５９】
そして、入力画像を動画の１フレームとすることにより、２次元動画の立体動画生成が可能となる。
【０１６０】
また、画像の中央部を長方形で２分割する領域分割モデルに基づいて、立体画像生成の処理を行なうことにより、左目用画像を高速に生成することが可能となる。
【０１６１】
あるいは、画像に応じて画像の中央部を長方形で２分割する領域分割モデルを用いることにより、画像の提供者が意図した立体画像を生成することが可能となる。
【０１６２】
［実施の形態４］
本発明の実施の形態４における立体画像生成装置として機能するコンピュータシステムは、本発明の実施の形態１における図１および図２に示したコンピュータシステム１００の構成と同じである。そのため、コンピュータシステム１００の構成および動作の説明は繰り返さない。
【０１６３】
また、本発明の実施の形態４における、コンピュータシステム１００上で機能する立体画像生成装置の構成については、図３に示した本発明の実施の形態１における立体画像生成装置２００の機能ブロック図と同じである。そのため、本発明の実施の形態６における立体画像生成装置２００の構成の説明は繰り返さない。
【０１６４】
以下、本発明の実施の形態４において、静止画内の特定の領域を立体化する方法の一例として図面に基づいて詳細に説明する。
【０１６５】
図１４は、本発明の実施の形態４において、破線領域を特定して、破線領域内の立体化を行なう静止画を説明するための図である。
【０１６６】
図１４を参照して、静止画は、部屋のような少なくとも奥行き方向と上下方向とに有限距離で仕切られた空間を表わす画像である。すなわち、静止画は、部屋の側面から部屋の中央を見ている視点の画像である。また、静止画にける正面の壁面には、窓が一つ設けられる。そして、静止画における正面の壁際に２人の人が立っている。破線領域は、一例として窓と２人の人と天井と床とを含む領域が特定されている。なお、この破線領域は、ユーザによるマウス１１２あるいはキーボード１１０への入力指示により特定されていてもよい。あるいは、破線領域は、予め記憶部２１８に格納された画面上の位置情報に基づいた領域であってもよい。
【０１６７】
次に、立体画像生成装置２００が図１４において説明した破線領域内の画像の画像入力部２０２への入力に応じて、左目用画像の生成を行なう動作についての説明を行なう。
【０１６８】
図４は、本発明の実施の形態４において右目用画像の入力から左目用画像を生成するまでの動作のフローチャートである。
【０１６９】
図４を参照して、ユーザにより特定された破線領域の画像が画像入力部２０２に入力される（ステップＳ２１）。
【０１７０】
このとき、入力された画像は、記憶部２１８に格納される。
次に、領域分割モデル選択部２０４は、領域分割モデルの特定可能な情報がユーザによりマウス１１２またはキーボード１１０を介して画像入力部２０２に入力されたかを判定する（ステップＳ２２）。
【０１７１】
そして、ステップＳ２２において、領域分割モデルの特定可能な情報が入力された場合、領域分割モデル選択部２０４は、入力された情報に基づいて、予め記憶部２１８に格納された領域分割モデルを対応づける。すなわち、領域分割モデル選択部２０４は、ユーザによる画像入力部２０２への領域分割モデルの特定可能な情報の入力に応じて領域分割モデルを選択する。
【０１７２】
ここで、領域分割モデル選択部２０４は、ユーザによるマウス１１２あるいはキーボード１１０への入力指示に基づいて、図１４において説明した静止画の破線領域内の奥行き方向および上下方向の境界面の領域の各々に対応する領域分割モデルを指定する。すなわち、領域分割モデル２０４は、図１４において説明した静止画の破線領域内の天井の領域、正面の壁面の領域および床の領域の各々に対応する領域分割モデルを指定する。
【０１７３】
そして、領域分割部２０８は、指定された領域分割モデルに基づいて、静止画の破線領域の分割を行なう（ステップＳ２５）。
【０１７４】
一方、ステップＳ２２において、領域分割モデルの特定可能な情報が入力されない場合、または、図１４の静止画の破線領域内の天井の領域、正面の壁面の領域および床の領域の各々に対応する領域分割モデルがない等により領域分割モデルが指定されない場合、たとえばモニタ１０４に記憶部２１８に格納される複数の領域分割モデルが表示される（ステップＳ２３）。
【０１７５】
そして、ユーザは、マウス１１２あるいはキーボード１１０への入力指示により、表示される複数の領域分割モデルの中から一つを選択する。そして、ユーザは、選んだ領域分割モデルを立体化の対象となる画像に対応するように微調整を行なう（ステップＳ２４）。
【０１７６】
ここで、微調整とは、選択された領域分割モデルの分割領域の大きさの変更を含む。たとえば、ユーザによるマウス１１２あるいはキーボード１１０への入力指示により、モニタ１０４より表示される複数の領域分割モデルの中から鉛直方向に画面を３分割した領域分割モデルが選択される。そして、ユーザによるマウス１１２あるいはキーボード１１０への入力指示により、図１４の静止画における天井と正面の壁面との境界線と床と正面の壁面との境界線とに対応するように、領域分割モデルにおける各領域の境界線の微調整が行なわれてもよい。
【０１７７】
次に、領域分割部２０８は、微調整された領域分割モデルに基づいて、正面の壁面と天井と床との３つの領域の各々に対応するように破線領域内の画像を分割する（ステップＳ２５）。
【０１７８】
なお、本発明の実施の形態４において領域分割モデルが予め格納される記憶部２１８は、たとえば、ＲＡＭおよびＲＯＭ等を含む。ただし、領域分割モデルは、たとえば、固定ディスク１２２等の外部記憶装置に格納されていてもよい。
【０１７９】
また、本発明の実施の形態４において領域の分割は、領域分割モデルに基づいて行なうが、たとえば、記憶部２１８から読み出した画像を解析して求める特徴量を用いて領域分割を行なってもよい。
【０１８０】
そして、視差モデル選択部２０５において、画像入力部２０２への視差モデルの特定可能な情報が入力されたか否かが判定される（ステップＳ２６）。
【０１８１】
ステップＳ２６において、視差モデルの特定可能な情報が入力されていない場合、ユーザによるマウス１１２あるいはキーボード１１０への入力指示により直接入力されるまで待機する（ステップＳ２７）。
【０１８２】
一方、ステップＳ２６において、視差モデルの特定可能な情報が入力された場合、視差モデル選択部２０５は、視差モデル選択部２０６に入力された情報に応じて、予め記憶部２１８に格納された視差モデルと対応づけさせる。
【０１８３】
すなわち、視差は、視差モデル選択部２０６によりユーザからの入力に応じて選択される視差モデルに基づく。視差モデルは、予め選択された領域分割モデルに対応づけられていてもよい。
【０１８４】
なお、本発明の実施の形態４において視差モデルが予め格納される記憶部２１８は、たとえば、ＲＡＭおよびＲＯＭ等を含む。ただし、視差モデルは、たとえば、固定ディスク１２２等の外部記憶装置に格納されていてもよい。
【０１８５】
また、本発明の実施の形態１における視差の決定は、外部からの入力または、視差モデルに基づいて行なっているが、たとえば、記憶部２１８から読み出した画像を解析して求める特徴量を用いた視差の算出を行なってもよい。
【０１８６】
そして、平行移動部２１２は、各領域に対応する部分画像を視差に基づいて、各領域に対応する部分画像に含まれる画素の平行にずらした位置への対応付けを行なう（ステップＳ２８）。
【０１８７】
そして、画像補間部２１６は、平行移動部２１２により各領域に対応する部分画像を視差に応じて平行移動させた際に、各領域に対応する視差の相違により生じる空白領域を補間する（ステップＳ２９）。
【０１８８】
なお、平行移動部２１２による各領域に含まれる画素を平行にずらした位置への対応付けは、各領域の画素値を一旦記憶部２１８に格納することにより行なわれてもよい。すなわち、各領域に含まれる画素を平行にずらした位置の画素値をすべて計算し、一旦記憶部２１８に格納した後に記憶部２１８に格納された移動前の画像の画素値を上書きしてもよい。
【０１８９】
あるいは、平行にずらした位置への対応付けは、１画素毎に行なわれてもよいものとする。すなわち、平行移動部２１２は、１画素毎に平行にずらして記憶部２１８に格納された移動前の画像の画素値を上書きしてもよい。
【０１９０】
また、ステップＳ３０において、画像混合部２１４は、各領域に対応する部分画像の視差に応じた平行移動により重複領域が生じない場合、画像の混合を行なわない。このとき、各領域に対応する部分画像の視差に応じた平行移動により切り取り領域が生じる場合、ステップＳ３０において、切り取り領域の除去、すなわち、画面外に対応付けられた画素値の除去が行なわれる。
【０１９１】
また、領域分割モデル選択部２０４と領域分割部２０８と視差モデル選択部２０６と平行移動部２１２と画像混合部２１４と画像補間部２１６とは、ＣＰＵ１１８を含む制御部（図示せず）において、プログラムを実行させることにより機能する。
【０１９２】
図１５は、静止画を領域分割モデルに基づいて鉛直方向に３つの領域に分割して、各領域に対応する部分画像の視差に応じた平行移動により生じる空白領域および切り取り領域を示す図である。
【０１９３】
図１５（ａ）は、図１４に示した静止画内の破線領域を３分割する領域分割モデルと各領域に対応する視差を示す図である。
【０１９４】
図１５（ａ）を参照して、図１５（ａ）に示す領域分割モデルは、画面を鉛直方向に３分割している。そして、静止画を鉛直方向に３分割した領域１、領域２、領域３に対応する部分画像の視差は、ユーザにより選択された視差モデル、あるいはユーザにより直接入力された視差に基づいて、それぞれ２ｄ、ｄ、２ｄとする。このとき、領域１は、図１４の静止画において床に対応する領域である。また、領域２は、図１４の静止画において正面の壁面に対応する領域である。そして、領域３は、図１４の静止画において天井に対応する領域である。領域２の視差を領域１および領域３と比較して小さくすることにより、立体画像を生成したときに、領域１および領域３が飛び出して見えることとなる。すなわち、図１４に示す静止画に基づいて、立体画像を生成したとき、天井と床に対応する領域が手前に見えることとなる。
【０１９５】
一方、図１５（ｂ）は、領域１、領域２、領域３の各領域に対応する部分画像を各領域に対応する視差に応じて平行移動するときに生じる空白領域と切り取り領域を示す図である。
【０１９６】
図１５（ｂ）を参照して、平行移動部２１２は、図１５（ａ）に示す領域に対応する部分画像を各領域に対応する視差に応じて右方向に平行移動させている。そのため、領域１、領域２および領域３の左側に画素に対応する画素値のない空白領域が生じる。さらに、領域１、領域２および領域３に対応する各部分画像は、平行移動により画面よりはみ出すため、画面外に切り取り領域を生じる。
【０１９７】
空白領域の補間は、画像補間部２１６において、空白領域の左端の領域に対応する部分画像が存在しないため、空白領域に隣接する右側の領域に対応する部分画像に含まれる画素値に基づいて行なわれる。または、空白領域に隣接する右側の領域と移動前の領域とに対応するそれぞれの部分画像に含まれる画素値に基づいて、空白領域を補間してもよい。
【０１９８】
または、このとき、空白領域の補間は、空白領域と隣接する特定された破線領域外の領域の含まれる画素値に基づいて行なってもよい。あるいは、特定した破線領域よりも大きい領域で立体画像を生成後に、破線領域を切り出してもよいし、破線領域を立体化した後に空白領域が生じている左端を除外してもよい。
【０１９９】
一方、各領域の平行移動により生じる切り取り領域は、記憶部２１８において、生成される左目用画像に含まれる画素値のうち画面外に対応づけられる画素値の除去により切り取られる。
【０２００】
以上のように、本発明の実施の形態４における立体画像生成装置によれば、静止画において領域を特定して、特定された領域を右目用の画像として入力してから領域分割と、領域に対応した視差に基づく分割された部分画像の平行移動と、平行移動により生じる空白領域の補間と、画面外にはみ出す切り取り領域の切り取りとを行なうことにより、左目用の画像を高速に生成することが可能となる。
【０２０１】
また、空白領域の画素に対応する画素値を隣接する領域に含まれる画素値に基づいて補間することにより、左目用画像を高速に生成することが可能となる。
【０２０２】
［実施の形態５］
本発明の実施の形態５における立体画像生成装置として機能するコンピュータシステムは、本発明の実施の形態１における図１および図２に示したコンピュータシステム１００の構成と同じである。そのため、コンピュータシステム１００の構成および動作の説明は繰り返さない。
【０２０３】
また、本発明の実施の形態５における、コンピュータシステム１００上で機能する立体画像生成装置の構成については、図３に示した本発明の実施の形態１における立体画像生成装置２００の機能ブロック図と同じである。そのため、本発明の実施の形態５における立体画像生成装置２００の構成の説明は繰り返さない。
【０２０４】
以下、本発明の実施の形態５において、静止画内の特定の領域を立体化する方法の一例として図面に基づいて詳細に説明する。
【０２０５】
図１６は、本発明の実施の形態５において、立体化を行なう静止画を説明するための図である。
【０２０６】
図１６を参照して、静止画は、部屋のような少なくとも奥行き方向と上下方向と左右方向とに有限距離で仕切られた空間を表わす画像である。すなわち、静止画は、部屋の側面から部屋の中央を見ている視点の画像である。また、静止画における右側の壁面には、窓が一つ設けられる。また、静止画における正面の壁際に２人の人が立っている。すなわち、この静止画は、右側に窓がある廊下を親子二人連れで歩いている情景の一例を表わしている。
【０２０７】
次に、立体画像生成装置２００が図１６において説明した静止画の画像入力部２０２への入力に応じて、左目用画像の生成を行なう動作についての説明を行なう。
【０２０８】
図４は、本発明の実施の形態５において右目用画像の入力から左目用画像を生成するまでの動作のフローチャートである。
【０２０９】
図４を参照して、ユーザにより図１５の画像が画像入力部２０２に入力される（ステップＳ２１）。
【０２１０】
このとき、入力された画像は、記憶部２１８に格納される。
次に、領域分割モデル選択部２０４は、領域分割モデルの特定可能な情報がユーザによりマウス１１２またはキーボード１１０を介して画像入力部２０２に入力されたかを判定する（ステップＳ２２）。
【０２１１】
そして、ステップＳ２２において、領域分割モデルの特定可能な情報が入力された場合、領域分割モデル選択部２０４は、入力された情報に基づいて、予め記憶部２１８に格納された領域分割モデルと対応づけさせる。すなわち、領域分割モデル選択部２０４は、ユーザによる画像入力部２０２への領域分割モデルの特定可能な情報の入力に応じて領域分割モデルを選択する。
【０２１２】
ここで、領域分割モデル選択部２０４は、ユーザによるマウス１１２あるいはキーボード１１０への入力指示に基づいて、図１６において説明した静止画の上下方向と左右方向との境界面を奥行き方向にそれぞれ２分割した領域の各々と奥行き方向の境界面の領域とに対応する領域分割モデルを指定する。すなわち、図１６において説明した静止画の天井の領域、床の領域および左右の壁面の領域を奥行き方向にそれぞれ２分割した領域の各々と正面の壁面の領域とに対応する領域分割モデルを指定する。
【０２１３】
そして、領域分割部２０８は、指定された領域分割モデルに基づいて、静止画の分割を行なう（ステップＳ２５）。
【０２１４】
一方、ステップＳ２２において、領域分割モデルの特定可能な情報が入力されない場合、または、図１６の静止画の天井の領域、床の領域および左右の壁面の領域を奥行き方向にそれぞれ２分割した領域の各々と正面の壁面の領域とに対応する領域分割モデルがない等により領域分割モデルが指定されない場合、たとえばモニタ１０４に記憶部２１８に格納される複数の領域分割モデルが表示される（ステップＳ２３）。
【０２１５】
そして、ユーザは、マウス１１２あるいはキーボード１１０への入力指示により、表示される複数の領域分割モデルの中から一つを選択する。そして、ユーザは、選んだ領域分割モデルを立体化の対象となる画像に対応するように微調整を行なう（ステップＳ２４）。
【０２１６】
ここで、微調整とは、選択された領域分割モデルの分割領域の大きさの変更を含む。たとえば、ユーザによるマウス１１２あるいはキーボード１１０への入力指示により、モニタ１０４より表示される複数の領域分割モデルの中から図１６のように天井の領域と床の領域と左右の壁面の領域とを奥行き方向で２分割した領域と正面の領域との９つの領域に分割された領域分割モデルが選択される。そして、ユーザによるマウス１１２あるいはキーボード１１０への入力指示により、図１６の静止画における天井と正面の壁面と床と左右の壁面のそれぞれの境界線に対応するように、領域分割モデルにおける各領域の境界線の微調整が行なわれる。
【０２１７】
このとき、たとえば、ユーザによるマウス１１２あるいはキーボード１１０への入力指示により、領域分割モデルにおける中央の領域の４隅を静止画における正面の壁面の４隅に対応づけることにより微調整が行なわれてもよい。
【０２１８】
次に、領域分割部２０８は、微調整された領域分割モデルに基づいて、図１６に示す静止画を９つの領域に分割する（ステップＳ２５）。
【０２１９】
なお、本発明の実施の形態５において領域分割モデルが予め格納される記憶部２１８は、たとえば、ＲＡＭおよびＲＯＭ等を含む。ただし、領域分割モデルは、たとえば、固定ディスク１２２等の外部記憶装置に格納されていてもよい。
【０２２０】
また、本発明の実施の形態５において領域の分割は、領域分割モデルに基づいて行なうが、たとえば、記憶部２１８から読み出した画像を解析して求める特徴量を用いて領域分割を行なってもよい。
【０２２１】
そして、視差モデル選択部２０５において、画像入力部２０２への視差モデルの特定可能な情報が入力されたか否かの判定をする（ステップＳ２６）。
【０２２２】
ステップＳ２６において、視差モデルの特定可能な情報が入力されていない場合、ユーザによるマウス１１２あるいはキーボード１１０への入力指示により直接入力されるまで待機する（ステップＳ２７）。
【０２２３】
一方、ステップＳ２６において、視差モデルの特定可能な情報が入力された場合、視差モデル選択部２０５は、視差モデル選択部２０６に入力された情報に応じて、予め記憶部２１８に格納された視差モデルと対応付けさせる。
【０２２４】
すなわち、視差は、視差モデル選択部２０６によりユーザからの入力に応じて選択される視差モデルに基づく。視差モデルは、予め選択された領域分割モデルに対応づけられていてもよい。
【０２２５】
なお、本発明の実施の形態５において視差モデルが予め格納される記憶部２１８は、たとえば、ＲＡＭおよびＲＯＭ等を含む。ただし、視差モデルは、たとえば、固定ディスク１２２等の外部記憶装置に格納されていてもよい。
【０２２６】
また、本発明の実施の形態１における視差の決定は、外部からの入力または、視差モデルに基づいて行なっているが、たとえば、記憶部２１８から読み出した画像を解析して求める特徴量を用いた視差の算出を行なってもよい。
【０２２７】
そして、平行移動部２１２は、各領域に対応する部分画像を視差に基づいて、各領域に対応する部分画像に含まれる画素の平行にずらした位置への対応付けを行なう（ステップＳ２８）。
【０２２８】
そして、画像補間部２１６は、平行移動部２１２により各領域に対応する部分画像を視差に応じて平行移動させた際に、各領域に対応する視差の相違により生じる空白領域を補間する（ステップＳ２９）。
【０２２９】
なお、平行移動部２１２による各領域に含まれる画素を平行にずらした位置への対応付けは、各領域の画素値を一旦記憶部２１８に格納することにより行なわれてもよい。すなわち、各領域に含まれる画素を平行にずらした位置の画素値をすべて計算し、一旦記憶部２１８に格納した後に記憶部２１８に格納された移動前の画像の画素値を上書きしてもよい。
【０２３０】
あるいは、平行にずらした位置への対応付けは、１画素毎に行なわれてもよいものとする。すなわち、平行移動部２１２は、１画素毎に平行にずらして記憶部２１８に格納された移動前の画像の画素値を上書きしてもよい。
【０２３１】
そして、画像補間部２１４は、各領域に対応する部分画像の視差に応じた平行移動により重複領域が生じる場合、画像の混合、すなわち、重複領域に対応する画素値の生成を行なう（ステップＳ３０）。
【０２３２】
このとき、各領域に対応する部分画像の視差に応じた平行移動により切り取り領域が生じる場合、切り取り領域の除去、すなわち、画面外に対応付けられた画素値の除去が行なわれる。
【０２３３】
また、領域分割モデル選択部２０４と領域分割部２０８と視差モデル選択部２０６と平行移動部２１２と画像混合部２１４と画像補間部２１６とは、ＣＰＵ１１８を含む制御部（図示せず）において、プログラムを実行させることにより機能する。
【０２３４】
図１７は、静止画を９つの領域に分割するときの領域分割モデルの一例を示す図である。
【０２３５】
図１７を参照して、図１７に示す領域分割モデルは、図１６において説明した静止画の天井の領域、床の領域および左右の壁面の領域を奥行き方向でそれぞれ２分割した領域の各々と正面の壁面の領域とに対応するように分割している。
【０２３６】
領域分割部２０８は、図１７に示す領域分割モデルにしたがって、領域１〜領域９に対応するように、図１６において説明した静止画を分割する。領域１〜領域９に対応する部分画像の視差は、たとえば、ユーザにより選択された視差モデルあるいはユーザにより直接入力された視差に基づいて、領域１、領域３、領域７、領域９の視差を２ｄとし、領域２、領域４、領域６、領域８の視差をｄとして、そして、領域５の視差を０とする。各領域に対応する部分画像を視差に応じて平行移動すると、立体画像において、より手前にあるものほど飛び出して見えることとなる。そのため、図１６において説明した静止画を立体化するとき、奥行きを持った部屋に見えるようになる。
【０２３７】
すなわち、図１７に示す領域分割モデルのように、領域を細かく分割することにより、よりなだらかに奥行きを作ることが可能となる。
【０２３８】
図１８は、領域分割された各領域に対応する部分画像を視差に応じて平行移動した際に生ずる空白領域、重複領域、切り取り領域の一例を示す図である。
【０２３９】
図１８を参照して、上述したように領域１〜領域９に対応する部分画像の視差は、たとえば、領域１、領域３、領域７、領域９の視差を２ｄとし、領域２、領域４、領域６、領域８の視差をｄとして、領域５の視差を０とする。つづいて、領域１〜領域９に対応するそれぞれの部分画像を視差に応じて、平行移動部２１２により平行移動させる。ただし、領域５の視差は０であるため、領域５に対応する部分画像の平行移動量は０である。
【０２４０】
各部分画像の平行移動により、画素に対応する画素値のない空白領域と、領域同士が重なる重複領域と、画面よりはみ出す切り取り領域とが生じる。
【０２４１】
領域３に対応する部分画像の平行移動により生じる平行移動後の領域３の左側に生じる空白領域の補間は、空白領域の左端の領域に対応する部分画像が存在しないため、空白領域に隣接する右側の領域に対応する部分画像に含まれる画素値に基づいて行なう。または、空白領域に隣接する右側の領域と移動前の領域とに対応するそれぞれの部分画像に含まれる画素値に基づいて、空白領域を補間してもよい。
【０２４２】
また、領域６および領域７に対応する部分画像の平行移動により生じる領域５と領域６との間の空白領域と領域６と領域７との間の空白領域とに含まれる画素値の補間は、空白領域に隣接する両端の領域に対応するそれぞれの部分画像に含まれる画素値に基づいて行なわれる。ただし、両端の領域に含まれる画素値に基づいて、空白領域を補間することに限定しない。たとえば、空白領域に隣接する領域のうち少なくとも一つの領域に含まれる画素値に基づいて、空白領域の補間を行なってもよい。または、移動前の領域６、または、領域７に含まれる画素値に基づいて空白領域の補間を行なってもよい。
【０２４３】
また、空白領域の両端の領域に含まれる画素値に基づいて、空白領域に含まれる画素値の補間の一例としては、本発明の実施の形態１における図８に示した空白領域に含まれる画素を両端の領域の画素を用いた補間を示す概念図の説明における空白領域に含まれる画素値の補間方法と同じである。そのため説明は繰り返さない。
【０２４４】
一方、領域２、領域３、領域４、領域８の平行移動により生じる領域３と領域４と領域２と領域８との重複領域と、領域４と領域５との重複領域に含まれる画素値は、同じ画素に重複して対応付けられる領域に対応するそれぞれの部分画像に含まれる画素値に基づいて、画像混合部２１４により生成される。
【０２４５】
重複領域に含まれる画素値の生成の一例としては、本発明の実施の形態１における図９に示した重複領域に含まれる画素を同じ画素に重複して対応付けられる各領域に含まれる画素値に基づいた、画素値の生成を示す概念図の説明における重複領域に含まれる画素値の生成方法と同じである。そのため説明は繰り返さない。
【０２４６】
また、各領域の平行移動により生じる切り取り領域は、記憶部２１８において、生成される左目用画像に含まれる画素値のうち画面外に対応づけられる画素値の除去により切り取られる。
【０２４７】
以上のように、本発明の実施の形態５における立体画像生成装置２００によれば、右目用の画像を入力してから領域分割と、領域に対応した視差に基づく分割された部分画像の平行移動と、平行移動により生じる空白領域の補間と、重複領域の混合と、画面外にはみ出す切り取り領域の切り取りとを行なうことにより、左目用の画像を生成することが可能となる。
【０２４８】
また、重複するそれぞれの部分画像に含まれる画素値に基づいて重複領域に含まれる画素値を生成することにより、左目用画像を高速に生成することが可能となる。
【０２４９】
あるいは、空白領域に隣接する領域に対応する部分画像に含まれる画素値に基づいて、空白領域の画素に対応する画素値を補間することにより、左目用画像を高速に生成することが可能となる。
【０２５０】
［実施の形態６］
本発明の実施の形態６における立体画像生成装置として機能するコンピュータシステムは、本発明の実施の形態１における図１および図２に示したコンピュータシステム１００の構成と同じである。そのため、コンピュータシステム１００の構成および動作の説明は繰り返さない。
【０２５１】
また、本発明の実施の形態６における、コンピュータシステム１００上で機能する立体画像生成装置の構成については、図３に示した本発明の実施の形態１における立体画像生成装置２００の機能ブロック図と同じである。そのため本発明の実施の形態６における立体画像生成装置２００の構成の説明は繰り返さない。
【０２５２】
以下、本発明の実施の形態６において、静止画内の特定の領域を立体化する方法の一例として図面に基づいて詳細に説明する。
【０２５３】
まず、本発明の実施の形態６の説明を行なう前提として、実施の形態４において説明した図１５において、視差ｄが１より大きい場合（たとえば、ｄを５とする。）を考慮する。このとき、領域１、領域２および領域３の視差は、それぞれ１０、５、１０となる。すなわち、各領域間の視差が不連続となる。予め不連続な視差が対応付けられる場合、立体画像の生成について問題とならない。しかしながら、たとえば、実施の形態５において説明した図１６のように廊下や壁面に対応する領域の立体画像を生成する場合、奥行きに応じて、連続的に視差が変化しなければ不自然な立体画像が生成されることとなる。そのために、領域分割の単位を所定の画素数の領域（たとえば、鉛直方向に１画素毎に分割する領域）とし、隣接する領域間の視差を連続的に変化させることにより、より自然な立体画像の生成が可能となる。
【０２５４】
すなわち、本発明の実施の形態６において、所定の画素数の領域の一例として鉛直方向に１画素毎に領域を分割した領域分割モデルにしたがって、画面を分割し、それぞれの領域に対応する部分画像を、連続的に変化させる視差に応じて、平行移動させる。
【０２５５】
ここで、所定の画素数は、１画素に特に限定されるものではない。ただし、より隣接する領域間の視差を連続的に変化させるためには、画面の領域を１画素毎に分割することが望ましい。
【０２５６】
ここで、本発明の実施の形態６における、コンピュータシステム１００上で機能する立体画像生成装置の動作については、図４に示した本発明の実施の形態１における立体画像生成装置２００が右目用画像の入力から左目用画像を生成する動作のフローチャートと以下の点で異なる。
【０２５７】
すなわち、本発明の実施の形態６において、選択される領域分割モデルは、鉛直方向に１画素毎に領域を分割した分割モデルである。
【０２５８】
図１９は、図１０において説明した領域分割モデルをさらに詳細に分割した領域分割モデルに基づいて分割した部分画像を視差に応じて平行移動させた図である。
【０２５９】
図１９を参照して、図１９に示す領域分割モデルは、実施の形態２において説明した図１０の鉛直方向に４分割した領域分割モデルをさらに詳細に分割した分割モデルである。すなわち、図１９に示す領域分割モデルは、画面を鉛直方向に１画素毎の領域に分割した分割モデルである。
【０２６０】
領域分割部２１８は、鉛直方向に１画素毎に領域を分割した領域分割モデルに基づいて、分割された画面の各領域に対応するように画像を分割する。そして、平行移動部２１２は、分割された各領域に対応する部分画像を視差に応じて、平行移動させる。このとき、視差は、下の領域から順次視差を小さく設定する。そのため、各領域に対応する部分画像の平行移動により生じる空白領域と平行移動後の各領域に対応する部分画像の左端との境界線は、図１９に示すように近似的に斜線となる。
【０２６１】
このとき、生成される立体画像において、一番下の領域が最も手前に見えることとなる。そして、上の領域になるほど順次距離が遠ざかるように見えることとなる。そして、実施の形態２において説明した図１０の鉛直方向に４分割の領域分割モデルに基づく立体画像と比較して、視差を連続的に変化させることにより、より自然な立体画像の生成を行なうことができる。
【０２６２】
一方、図２０は、図１５において説明した領域分割モデルをさらに詳細に分割した領域分割モデルに基づいて分割した部分画像を視差に応じて平行移動させた図である。
【０２６３】
図２０を参照して、図２０に示す領域分割モデルは、実施の形態４において説明した図１５の鉛直方向に３分割した領域分割モデルをさらに詳細に分割した分割モデルである。すなわち、図２０に示す領域分割モデルは、画面を鉛直方向に１画素毎の領域に分割した分割モデルである。
【０２６４】
領域分割部２１８は、鉛直方向に１画素毎に領域を分割した領域分割モデルに基づいて、分割された画面の各領域に対応するように画像を分割する。そして、平行移動部２１２は、分割された各領域に対応する部分画像を視差に応じて、平行移動させる。このとき、視差は、図１４における天井に対応する領域においては、上の領域から順次視差を小さく設定する。また、図１４における正面の壁面に対応する領域においては、視点から壁面までの距離が同じであるため同一の視差を設定する。そして、図１４における床に対応する領域においては、下の領域から順次視差を小さく設定する。そのため、各領域に対応する部分画像の平行移動により生じる空白領域と平行移動後の各領域に対応する部分画像の左端との境界線は、連続的な変化を示す。すなわち、図２０に示すように、図１４における天井の領域に対応する部分画像の左端と空白領域との境界線は、近似的に右上がりの斜線となる。そして、図１４における正面の壁面の領域に対応する部分画像の左端と空白領域との境界線は、鉛直方向の直線となる。そして、図１４における床の領域に対応する部分画像の左端と空白領域との境界線は、近似的に右下がりの斜線となる。
【０２６５】
このとき、生成される立体画像において、図１４における天井に対応する領域においては、上の領域になるほど手前に見える。また、図１４における床に対応する領域においては、下の領域になるほど手前に見える。すなわち、正面の壁面が一番奥となるような奥行きのある部屋に見える。そして、実施の形態４において説明した図１５の鉛直方向に３分割の領域分割モデルに基づく立体画像と比較して、視差を連続的に変化させることにより、より自然な立体画像の生成を行なうことができる。
【０２６６】
また、このとき、図１９および図２０において、領域の平行移動により生じる空白領域の補間は、空白領域の左端の領域に対応する部分画像が存在しないため、空白領域に隣接する右側の領域に対応する部分画像に含まれる画素値に基づいて行なう。または、空白領域に隣接する右側の領域と移動前の領域とに対応するそれぞれの部分画像に含まれる画素値に基づいて、空白領域を補間してもよい。
【０２６７】
一方、各領域の平行移動により生じる切り取り領域は、記憶部２１８において、生成される左目用画像に含まれる画素値のうち画面外に対応づけられる画素値の除去により切り取られる。
【０２６８】
また、画面を鉛直方向に１画素毎に分割されたそれぞれの領域への詳細な視差の設定により、平行移動後の各領域に対応する部分画像の左端の境界線を斜線だけでなく、矩形あるいは近似的に曲線とすることもできる。
【０２６９】
以上のように、本発明の実施の形態６における立体画像生成装置２００によれば、右目用の画像を入力してから領域分割と、領域に対応した視差に基づく分割された部分画像の平行移動と、平行移動により生じる空白領域の補間と、画面外にはみ出す切り取り領域の切り取りとを行なうことにより、左目用の画像を生成することが可能となる。
【０２７０】
また、画面を鉛直方向に１画素毎の領域に分割する領域分割モデルに基づいて連続的に変化する視差を対応付けて立体化を行なうことにより、より自然な立体画像の生成が可能となる。
【０２７１】
なお、実施の形態６における領域分割モデルは、鉛直方向に１画素毎の領域に分割した領域分割モデルとして説明したが、たとえば、実施の形態１において説明した図５の水平方向に３分割した領域分割モデルをさらに詳細に分割した領域分割モデルに基づいて立体化を行なってもよいものとする。すなわち、たとえば、領域分割モデルは、水平方向に１画素毎の領域に分割した分割モデルであってもよい。
【０２７２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０２７３】
【発明の効果】
以上説明したとおり、本発明における立体画像生成装置によれば、画像を入力してから領域分割と、領域に対応した視差に基づく分割された部分画像の平行移動と、平行移動により生じる空白領域に含まれる画素に対応する画素値の補間と、重複領域に含まれる画素に対応する画素値の生成とを行なうことにより、立体画像の生成を行なうことが可能となる。
【０２７４】
また、空白領域に隣接する領域に対応する部分画像に含まれる画素値に基づいて、空白領域の画素に対応する画素値を補間することにより、立体画像を高速に生成することが可能となる。
【０２７５】
あるいは、重複するそれぞれの部分画像に含まれる画素値に基づいて重複領域に含まれる画素値を生成することにより、立体画像を高速に生成することが可能となる。
【０２７６】
そして、入力画像を動画の１フレームとすることにより、２次元動画の立体画像生成が可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態における立体画像生成装置として機能するコンピュータシステム１００の一例の外観を示す。
【図２】 本発明の実施の形態における立体画像生成装置として機能するコンピュータシステム１００の構成を示す機能ブロック図である。
【図３】 本発明の実施の形態における立体画像生成装置２００の制御機能ブロック図である。
【図４】 本発明の実施の形態において右目用画像の入力から左目用画像を生成するまでの動作のフローチャートである。
【図５】 本発明の実施の形態１における画像を水平方向に３分割する領域分割モデルの一例を示す図である。
【図６】 本発明の実施の形態１における画像を水平方向に３分割する領域分割モデルに対応する視差モデルの例を示す図である。
【図７】 本発明の実施の形態１において、画像を水平方向に３分割して、各領域の視差に応じて平行移動した際に生ずる空白領域および重複領域の一例を示す図である。
【図８】 本発明の実施の形態１において画素補間部２１６による空白領域の両端の領域に含まれる画素値を用いた補間を示す概念図である。
【図９】 本発明の実施の形態１において画像混合部２１４により重複する各領域に対応する部分画像に含まれる画素値に基づいた、重複領域に含まれる画素値の生成を示す概念図である。
【図１０】 本発明の実施の形態２における画像を鉛直方向に４分割する領域分割モデルの一例を示す図である。
【図１１】 本発明の実施の形態２において、画像を鉛直方向に４分割して、各領域に対応する視差に応じて平行移動した際に生ずる空白領域および切り取り領域の一例を示す図である。
【図１２】 本発明の実施の形態３における画像の中央部を長方形で２分割する領域分割モデルの一例を示す図である。
【図１３】 本発明の実施の形態３において、画像の中央部を長方形により２分割して、各領域に対応する視差に応じて平行移動した際に生ずる空白領域および重複領域の一例を示す図である。
【図１４】 本発明の実施の形態４において、破線領域を特定して、破線領域内の立体化を行なう静止画を説明するための図である。
【図１５】 静止画を領域分割モデルに基づいて鉛直方向に３つの領域に分割して、各領域に対応する部分画像の視差に応じた平行移動により生じる空白領域および切り取り領域を示す図である。
【図１６】 本発明の実施の形態５において、立体化を行なう静止画を説明するための図である。
【図１７】 静止画を９つの領域に分割するときの領域分割モデルの一例を示す図である。
【図１８】 領域分割された各領域に対応する部分画像を視差に応じて平行移動した際に生ずる空白領域、重複領域、切り取り領域の一例を示す図である。
【図１９】 図１０において説明した領域分割モデルをさらに詳細に分割した領域分割モデルに基づいて分割した部分画像を視差に応じて平行移動させた図である。
【図２０】 図１５において説明した領域分割モデルをさらに詳細に分割した領域分割モデルに基づいて分割した部分画像を視差に応じて平行移動させた図である。
【符号の説明】
１００ コンピュータシステム、１０２ コンピュータ、１０４ モニタ、１０６ ＦＤ駆動装置、１０８ ＣＤ―ＲＯＭ駆動装置、１１０ キーボード、１１２ マウス、１１４ ＦＤ、１１６ ＣＤ―ＲＯＭ、１１８ ＣＰＵ、１２０メモリ、１２２ 固定ディスク、１２４ 通信インターフェイス、２００ 立体画像生成装置、２０２ 画像入力部、２０４ 領域分割モデル選択部、２０６視差モデル選択部、２０８ 領域分割部、２１２ 平行移動部、２１４ 画像混合部、２１６ 画像補間部、２１８ 記憶部。
Claims (28)
- 画面を構成する各画素に対する画素値の集合に対応する画像を格納するための記憶手段と、
前記画面を分割した複数の領域にそれぞれ対応するように、前記画像を複数の部分画像に分割するための領域分割手段とを備え、
各前記部分画像は、前記領域内の各前記画素に対する前記画素値の集合に対応し、
各前記領域に対応する視差に応じて、各前記部分画像の前記画素に対応する前記画素値を平行にずらした位置の前記画素に対応付けするための平行移動手段と、
前記視差の相違により生じる、前記画素に対応付けされる前記画素値のない空白領域において、前記空白領域に含まれる前記画素に対応する前記画素値を生成するための画像処理手段とをさらに備え、
前記画像処理手段は、前記空白領域において、隣接する前記複数の部分画像のうちの少なくとも一つの前記部分画像の端部の画素に対応する前記画素値に基づいて、前記空白領域の前記画素に対応する前記画素値を生成するための画像補間手段を含み、
前記記憶手段は、予め複数の領域分割モデルを記憶し、
前記領域分割手段は、前記領域分割モデルを特定可能な情報に応じて、前記複数の領域分割モデルのうちの一つを選択するための領域分割モデル選択手段を含み、
選択された前記領域分割モデルに基づいて、前記画面を領域分割する、立体画像生成装置。 - 前記複数の部分画像は、
第１の部分画像と、
前記視差の相違により、前記第１の部分画像と同じ前記画素に重複して前記画素値が対応付けされる重複領域を有する第２の部分画像とを含み、
前記画像処理手段は、前記重複領域において、同じ前記画素に対応する前記第１の部分画像および前記第２の部分画像にそれぞれ含まれる前記画素値に基づいて、前記重複領域に含まれる前記画素に対応する前記画素値を生成するための画像混合手段をさらに含む、請求項１記載の立体画像生成装置。 - 前記画像混合手段は、前記第１の部分画像および前記第２の部分画像にそれぞれ対応する前記視差に応じて、前記第１の部分画像および前記第２の部分画像のうちの何れかを選択して、選択された前記部分画像に含まれる前記画素値に基づいて、前
記重複領域に含まれる前記画素に対応する前記画素値を生成する、請求項２記載の立体画像生成装置。 - 前記画像混合手段は、前記重複領域において、同じ前記画素に対応する前記第１の部分画像に含まれる第１の画素値と、前記第２の部分画像に含まれる第２の画素値とを交互に選択して、前記重複領域に含まれる前記画素に対応する前記画素値を生成する、請求項２記載の立体画像生成装置。
- 前記画像混合手段は、前記重複領域において、同じ前記画素に対応する前記第１の部分画像に含まれる第１の画素値と、前記第２の部分画像に含まれる第２の画素値とをαブレンディングして、前記重複領域に含まれる前記画素に対応する前記画素値を生成する、請求項２記載の立体画像生成装置。
- 前記領域分割モデルは、少なくとも奥行き方向と上下方向とに有限距離で仕切られる空間の静止画における奥行き方向および上下方向の境界面の領域の各々に対応するように画面を３分割するための領域分割モデルを含み、
前記領域分割手段は、外部からの入力による前記３分割するための領域分割モデルの選択に応じて、前記３分割の領域のそれぞれの大きさを変更するための領域微調整手段をさらに含む、請求項１記載の立体画像生成装置。 - 前記領域分割モデルは、少なくとも奥行き方向と上下方向と左右方向とに有限距離で仕切られる空間の静止画における上下方向と左右方向との境界面を奥行き方向にそれぞれ２分割した領域の各々と奥行き方向の境界面の領域とに対応するように画面を９分割するための領域分割モデルを含み、
前記領域分割手段は、外部からの入力による前記９分割するための領域分割モデルの選択に応じて、前記９分割の領域のそれぞれの大きさを変更するための領域微調整手段をさらに含む、請求項１記載の立体画像生成装置。 - 複数の前記領域分割モデルは、前記画面を鉛直方向および水平方向のうちいずれか一方に所定数の画素毎の複数の領域に分割した領域分割モデルを含む、請求項１記載の立体画像生成装置。
- 前記視差に関連する情報を前記複数の部分画像にそれぞれ対応する前記視差に変換する視差変換手段をさらに備える、請求項１記載の立体画像生成装置。
- 前記画像は、動画の１フレームである、請求項１記載の立体画像生成装置。
- 画面を構成する各画素に対する画素値の集合に対応する画像を、前記画面を分割した複数の領域にそれぞれ対応するように、複数の部分画像に分割するステップを備え、
各前記部分画像は、前記領域内の各前記画素に対する前記画素値の集合に対応し、
各前記領域に対応する視差に応じて、各前記部分画像の前記画素に対応する前記画素値を平行にずらした位置の前記画素に対応付けするステップと、
前記視差の相違により生じる、前記画素に対応付けされる前記画素値がない空白領域において、前記空白領域に含まれる前記画素に対応する前記画素値を生成するステップとをさらに備え、
前記画素値を生成するステップは、前記空白領域に含まれる前記画素に対応する前記画素値を、前記空白領域に隣接する前記複数の部分画像のうちの少なくとも一つの前記部分画像の端部の画素に対応する前記画素値に基づいて、生成するステップを含み、
前記複数の画像に分割するステップは、領域分割モデルを特定可能な情報に応じて、記憶領域に予め格納された複数の領域分割モデルのうちの一つを選択するステップと、
選択された前記領域分割モデルに基づいて、前記画面を領域分割するステップとをさらに含む、立体画像生成方法。 - 前記複数の部分画像は、
第１の部分画像と、
前記視差の相違により、前記第１の部分画像と同じ前記画素に重複して前記画素値が対
応付けされる重複領域を有する第２の部分画像とを含み、
前記画素値を生成するステップは、前記重複領域において、同じ前記画素に対応する前記第１の部分画像および前記第２の部分画像にそれぞれ含まれる前記画素値に基づいて、前記重複領域に含まれる前記画素に対応する前記画素値を生成するステップをさらに含む、請求項１１記載の立体画像生成方法。 - 前記重複領域に含まれる前記画素に対応する前記画素値を生成するステップは、前記第１の部分画像および前記第２の部分画像にそれぞれ対応する前記視差に応じて、前記第１の部分画像および前記第２の部分画像のうち何れかを選択して、選択された前記部分画像に含まれる前記画素値に基づいて、前記重複領域に含まれる前記画素に対応する前記画素値を生成する、請求項１２記載の立体画像生成方法。
- 前記重複領域に含まれる前記画素に対応する前記画素値を生成するステップは、前記重複領域において、同じ前記画素に対応する前記第１の部分画像に含まれる第１の画素値と、前記第２の部分画像に含まれる第２の画素値とを交互に選択して、前記重複領域に含まれる前記画素に対応する前記画素値を生成する、請求項１２記載の立体画像生成方法。
- 前記重複領域に含まれる前記画素に対応する前記画素値を生成するステップは、前記重複領域において、同じ前記画素に対応する前記第１の部分画像に含まれる第１の画素値と、前記第２の部分画像に含まれる第２の画素値とをαブレンディングして、前記重複領域に含まれる前記画素に対応する前記画素値を生成する、請求項１２記載の立体画像生成方法。
- 前記視差に関連する情報を前記複数の部分画像にそれぞれ対応する前記視差に変換するステップをさらに備える、請求項１１記載の立体画像生成方法。
- 画面を構成する各画素に対する画素値の集合に対応する画像を、前記画面を分割した複数の領域にそれぞれ対応するように、複数の部分画像に分割するステップを備え、
各前記部分画像は、前記領域内の各前記画素に対する前記画素値の集合に対応し、
各前記領域に対応する視差に応じて、各前記部分画像の前記画素に対応する前記画素値を平行にずらした位置の前記画素に対応付けするステップと、
前記視差の相違により生じる、前記画素に対応付けされる前記画素値がない空白領域において、前記空白領域に含まれる前記画素に対応する前記画素値を生成するステップとをさらに備え、
前記画素値を生成するステップは、前記空白領域に含まれる前記画素に対応する前記画素値を、前記空白領域に隣接する前記複数の部分画像のうちの少なくとも一つの前記部分画像の端部の画素に対応する前記画素値に基づいて、生成するステップを含み、
前記複数の画像に分割するステップは、領域分割モデルを特定可能な情報に応じて、記憶領域に予め格納された複数の領域分割モデルのうちの一つを選択するステップと、
選択された前記領域分割モデルに基づいて、前記画面を領域分割するステップとをさらに含む、立体画像生成プログラム。 - 前記複数の部分画像は、
第１の部分画像と、
前記視差の相違により、前記第１の部分画像と同じ前記画素に重複して前記画素値が対応付けされる重複領域を有する第２の部分画像とを含み、
前記画素値を生成するステップは、前記重複領域において、同じ前記画素に対応する前記第１の部分画像および前記第２の部分画像にそれぞれ含まれる前記画素値に基づいて、前記重複領域に含まれる前記画素に対応する前記画素値を生成するステップをさらに含む、請求項１７記載の立体画像生成プログラム。 - 前記重複領域に含まれる前記画素に対応する前記画素値を生成するステップは、前記第１の部分画像および前記第２の部分画像にそれぞれ対応する前記視差に応じて、前記第１の部分画像および前記第２の部分画像のうち何れかを選択して、選択
された前記部分画像に含まれる前記画素値に基づいて、前記重複領域に含まれる前記画素に対応する前記画素値を生成する、請求項１８記載の立体画像生成プログラム。 - 前記重複領域に含まれる前記画素に対応する前記画素値を生成するステップは、前記重複領域において、同じ前記画素に対応する前記第１の部分画像に含まれる第１の画素値と、前記第２の部分画像に含まれる第２の画素値とを交互に選択して、前記重複領域に含まれる前記画素に対応する前記画素値を生成する、請求項１８記載の立体画像生成プログラム。
- 前記重複領域に含まれる前記画素に対応する前記画素値を生成するステップは、前記重複領域において、同じ前記画素に対応する前記第１の部分画像に含まれる第１の画素値と、前記第２の部分画像に含まれる第２の画素値とをαブレンディングして、前記重複領域に含まれる前記画素に対応する前記画素値を生成する、請求項１８記載の立体画像生成プログラム。
- 前記視差に関連する情報を前記複数の部分画像にそれぞれ対応する前記視差に変換するステップをさらに備える、請求項１７記載の立体画像生成プログラム。
- 画面を構成する各画素に対する画素値の集合に対応する画像を、前記画面を分割した複数の領域にそれぞれ対応するように、複数の部分画像に分割するステップを備え、
各前記部分画像は、前記領域内の各前記画素に対する前記画素値の集合に対応し、
各前記領域に対応する視差に応じて、各前記部分画像の前記画素に対応する前記画素値を平行にずらした位置の前記画素に対応付けするステップと、
前記視差の相違により生じる、前記画素に対応付けされる前記画素値がない空白領域において、前記空白領域に含まれる前記画素に対応する前記画素値を生成するステップとをさらに備え、
前記画素値を生成するステップは、前記空白領域に含まれる前記画素に対応する前記画素値を、前記空白領域に隣接する前記複数の部分画像のうちの少なくとも一つの前記部分画像の端部の画素に対応する前記画素値に基づいて、生成するステップを含み、
前記複数の画像に分割するステップは、領域分割モデルを特定可能な情報に応じて、記憶領域に予め格納された複数の領域分割モデルのうちの一つを選択するステップと、
選択された前記領域分割モデルに基づいて、前記画面を領域分割するステップとをさらに含む、立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。 - 前記複数の部分画像は、
第１の部分画像と、
前記視差の相違により、前記第１の部分画像と同じ前記画素に重複して前記画素値が対応付けされる重複領域を有する第２の部分画像とを含み、
前記画素値を生成するステップは、前記重複領域において、同じ前記画素に対応する前記第１の部分画像および前記第２の部分画像にそれぞれ含まれる前記画素値に基づいて、前記重複領域に含まれる前記画素に対応する前記画素値を生成するステップをさらに含む、請求項２３記載の立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。 - 前記重複領域に含まれる前記画素に対応する前記画素値を生成するステップは、前記第１の部分画像および前記第２の部分画像にそれぞれ対応する前記視差に応じて、前記第１の部分画像および前記第２の部分画像のうち何れかを選択して、選択された前記部分画像に含まれる前記画素値に基づいて、前記重複領域に含まれる前記画素に対応する前記画素値を生成する、請求項２４記載の立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 前記重複領域に含まれる前記画素に対応する前記画素値を生成するステップは、前記重複領域において、同じ前記画素に対応する前記第１の部分画像に含まれる第１の画素値と、前記第２の部分画像に含まれる第２の画素値とを交互に選択して、
前記重複領域に含まれる前記画素に対応する前記画素値を生成する、請求項２４記載の立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。 - 前記重複領域に含まれる前記画素に対応する前記画素値を生成するステップは、前記重複領域において、同じ前記画素に対応する前記第１の部分画像に含まれる第１の画素値と、前記第２の部分画像に含まれる第２の画素値とをαブレンディングして、前記重複領域に含まれる前記画素に対応する前記画素値を生成する、請求項２４記載の立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 前記視差に関連する情報を前記複数の部分画像にそれぞれ対応する前記視差に変換するステップをさらに備える、請求項２３記載の立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003206566A JP4179938B2 (ja) | 2003-02-05 | 2003-08-07 | 立体画像生成装置、立体画像生成方法、立体画像生成プログラムおよび立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003028656 | 2003-02-05 | ||
| JP2003206566A JP4179938B2 (ja) | 2003-02-05 | 2003-08-07 | 立体画像生成装置、立体画像生成方法、立体画像生成プログラムおよび立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004295859A JP2004295859A (ja) | 2004-10-21 |
| JP4179938B2 true JP4179938B2 (ja) | 2008-11-12 |
Family
ID=33421309
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003206566A Expired - Fee Related JP4179938B2 (ja) | 2003-02-05 | 2003-08-07 | 立体画像生成装置、立体画像生成方法、立体画像生成プログラムおよび立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4179938B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8073292B2 (en) * | 2006-02-28 | 2011-12-06 | Koninklijke Philips Electronics N.V. | Directional hole filling in images |
| WO2011033668A1 (ja) | 2009-09-18 | 2011-03-24 | 株式会社 東芝 | 視差画像生成装置 |
| JP5197683B2 (ja) * | 2010-06-30 | 2013-05-15 | 株式会社東芝 | 奥行き信号生成装置及び方法 |
| JP5620202B2 (ja) * | 2010-09-08 | 2014-11-05 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体及び画像生成システム |
| JP5594067B2 (ja) * | 2010-11-02 | 2014-09-24 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| US20120262542A1 (en) * | 2011-04-15 | 2012-10-18 | Qualcomm Incorporated | Devices and methods for warping and hole filling during view synthesis |
| CN102972038B (zh) * | 2011-07-01 | 2016-02-10 | 松下电器产业株式会社 | 图像处理装置、图像处理方法、程序、集成电路 |
| JP5867128B2 (ja) * | 2012-02-08 | 2016-02-24 | 株式会社Ｊｖｃケンウッド | 画像処理装置、画像処理方法及び画像処理プログラム |
| WO2013186882A1 (ja) * | 2012-06-13 | 2013-12-19 | 株式会社エム・ソフト | 立体視画像生成方法および立体視画像生成システム |
-
2003
- 2003-08-07 JP JP2003206566A patent/JP4179938B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004295859A (ja) | 2004-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5160741B2 (ja) | ３ｄグラフィック処理装置及びこれを利用した立体映像表示装置 | |
| EP1582074B1 (en) | Video filtering for stereo images | |
| JP4214976B2 (ja) | 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム | |
| JP4966431B2 (ja) | 画像処理装置 | |
| JP4251952B2 (ja) | 立体画像表示装置および立体画像表示方法 | |
| CN102208115B (zh) | 基于三维医学图像而生成立体视图的技术 | |
| US20080106546A1 (en) | Method and device for generating 3d images | |
| US20070154070A1 (en) | Image processing apparatus, image signal generation method, information recording medium, and image processing program | |
| WO2004107764A1 (ja) | 画像表示装置及びプログラム | |
| KR20070042989A (ko) | 2차원 이미지들로부터 인공 부산물이 없는 3차원이미지들을 생성하는 방법 | |
| JP2004145832A (ja) | コンテンツ作成装置、コンテンツ編集装置、コンテンツ再生装置、コンテンツ作成方法、コンテンツ編集方法、コンテンツ再生方法、コンテンツ作成プログラム、コンテンツ編集プログラム、および携帯通信端末 | |
| JP2005073013A (ja) | 立体画像表示装置、立体画像表示方法、その方法をコンピュータに実行させるためのプログラム及びそのプログラムを記録した記録媒体 | |
| JP4179938B2 (ja) | 立体画像生成装置、立体画像生成方法、立体画像生成プログラムおよび立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2011199389A (ja) | 画像処理装置、画像変換方法、およびプログラム | |
| JP2006208767A (ja) | 画像再生装置、及び画像再生プログラム | |
| JPH11265461A (ja) | 動画像再生品質制御装置およびその制御方法 | |
| JP2020005202A (ja) | 映像処理装置 | |
| JP2005267655A (ja) | コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラム、コンテンツ再生プログラムを記録した記録媒体、および携帯通信端末 | |
| JP5396877B2 (ja) | 画像処理装置、プログラム、画像処理方法、および記録方法 | |
| WO2004107765A1 (ja) | 立体映像表示装置及びテキストデータ処理装置及びプログラム及び記憶媒体 | |
| JP4214529B2 (ja) | 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム | |
| US7009606B2 (en) | Method and apparatus for generating pseudo-three-dimensional images | |
| KR20140077398A (ko) | 입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법 | |
| US20130187907A1 (en) | Image processing apparatus, image processing method, and program | |
| JP5857606B2 (ja) | 奥行き製作支援装置、奥行き製作支援方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080418 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080520 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080717 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080826 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |