WO2012169217A1

WO2012169217A1 - 映像生成装置、映像表示装置、テレビ受像装置、映像生成方法及びコンピュータプログラム

Info

Publication number: WO2012169217A1
Application number: PCT/JP2012/052056
Authority: WO
Inventors: 健明末永; 正宏塩井; 健史筑波; 敦稔〆野
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2011-06-10
Filing date: 2012-01-31
Publication date: 2012-12-13
Anticipated expiration: 2013-12-10
Also published as: JP5047381B1; JP2013004989A

Abstract

２次元映像に基づいて自然な３次元映像を生成する映像生成装置、映像表示装置、テレビ受像装置、映像生成方法及びコンピュータプログラムを提供する。複数の画素によって構成される２次元映像の各画素に対応する奥行を示す奥行値を算出して３次元映像を生成する映像生成装置において、前記２次元映像を構成する各画素の画素値と該各画素に隣接する画素の画素値との差分を算出する第１差分算出部、該第１差分算出部で算出した差分が所定の第1閾値以上である画素を抽出する第1抽出部、前記２次元映像を構成する各画素の一のフレームにおける画素値と他のフレームにおける画素値との差分を算出する第２差分算出部、該第２差分算出部で算出した差分が所定の第２閾値以上である画素を抽出する第２抽出部及び前記第１抽出部及び第２抽出部の抽出結果に基づいて前記２次元映像の各画素に対応する奥行値を算出する奥行算出部を備えることを特徴とする映像生成装置を提供する。

Description

映像生成装置、映像表示装置、テレビ受像装置、映像生成方法及びコンピュータプログラム

　本発明は、２次元映像から３次元映像を生成する映像生成装置、映像表示装置、テレビ受像装置、映像生成方法及びコンピュータプログラムに関する。

　３次元映像を表示する表示装置が普及しつつあるが、３次元映像の量はまだ少なく、また、２次元で収録した映像を３次元映像として視聴したいという要望もある。

　そこで２次元映像から疑似的な３次元映像を生成することが考えられる。この場合は２次元映像に適切な奥行の情報を与えなければならない。例えば特許文献１には、２次元映像全体の構図から、画面全体について設定されている所定の３種類の基本奥行モデルを合成する比率を算出し、合成された基本奥行モデルに基づいて３次元映像の奥行値を２次元映像に与え、３次元映像を生成する映像生成装置が記載されている。

特開２００９－４４７２２号公報

　しかし、特許文献１における映像生成装置では画面全体に予め設定された基本奥行モデルを２次元映像に当てはめるのみである。従って奥行値が不適切なことがあり、不自然な３次元映像を生成することがあった。

　本発明は係る事情によりなされたものであり、自然な３次元映像の生成を目的とする映像生成装置、映像表示装置、テレビ受像装置、映像生成方法及びコンピュータプログラムを提供する。

　本発明における映像生成装置は、複数の画素によって構成される２次元映像の各画素に対応する奥行を示す奥行値を算出して３次元映像を生成する映像生成装置において、前記２次元映像を構成する各画素の画素値と該各画素に隣接する画素の画素値との差分を算出する第１差分算出部、該第１差分算出部で算出した差分が所定の第1閾値以上である画素を抽出する第1抽出部、前記２次元映像を構成する各画素の一のフレームにおける画素値と他のフレームにおける画素値との差分を算出する第２差分算出部、該第２差分算出部で算出した差分が所定の第２閾値以上である画素を抽出する第２抽出部及び前記第１抽出部及び第２抽出部の抽出結果に基づいて前記２次元映像の各画素に対応する奥行値を算出する奥行算出部を備えることを特徴とする。

　本発明によれば、２次元映像の一部の画素を抽出し、抽出結果に基づいて奥行値を算出するので、自然な３次元映像を生成することができる。

　本発明における映像生成装置は、前記第１差分算出部で算出した差分が前記第１閾値より大きい所定の第３閾値以上である画素を抽出する第３抽出部及び該第３抽出部で抽出した各画素が存在する位置の分散の程度を示す位置の分散値を算出する分散値算出部をさらに備え、前記奥行算出部は、前記分散値算出部で算出した位置の分散値と、前記第１抽出部又は第２抽出部で抽出された画素の総数とに基づいて前記奥行値を算出するよう構成してあることを特徴とする。

　本発明によれば、画素の位置の分散値に基づいて奥行値を算出するので、さらに２次元映像に応じた自然な３次元映像を生成することができる。

　本発明における映像生成装置は、前記第１差分算出部で算出した差分の分散値を算出する第２分散値算出部をさらに備え、前記奥行算出部は、前記第２分散値算出部で算出した各画素の差分の分散値と、前記第１抽出部又は第２抽出部で抽出された画素の総数とに基づいて前記奥行値を算出するよう構成してあることを特徴とする。

　本発明によれば、各画素の差分の分散値に基づいて奥行値を算出するので、さらに２次元映像に応じた自然な３次元映像を生成することができる。

　本発明における映像表示装置は、映像生成装置及び該映像生成装置により生成された前記３次元映像を表示する表示部を備えることを特徴とする。

　本発明によれば、前述した効果を映像表示装置にて実現することができる。

　本発明におけるテレビ受像装置は、２次元映像を含むテレビ放送波を受信するチューナ部、該チューナ部により受信した２次元映像に基づき３次元映像を生成する請求項1から３のいずれか１つに記載の映像生成装置及び該映像生成装置により生成された前記３次元映像を表示する表示部を備えることを特徴とする。

　本発明によれば、前述した効果をテレビ受像装置にて実現することができる。

　本発明における映像生成方法は、複数の画素によって構成される２次元映像の各画素に対応する奥行を示す奥行値を算出して３次元映像を生成する映像生成方法において、前記２次元映像を構成する各画素の画素値と該各画素に隣接する画素の画素値との差分を算出する第１差分算出ステップ、該第１差分算出ステップで算出した差分が所定の第1閾値以上である画素を抽出する第1抽出ステップ、前記２次元映像を構成する各画素の一のフレームにおける画素値と他のフレームにおける画素値との差分を算出する第２差分算出ステップ、該第２差分算出ステップで算出した差分が所定の第２閾値以上である画素を抽出する第２抽出ステップ及び前記第１抽出ステップ及び第２抽出ステップの抽出結果に基づいて前記２次元映像の各画素に対応する奥行値を算出する奥行算出ステップを備えることを特徴とする。

　本発明におけるコンピュータプログラムは、複数の画素によって構成される該２次元映像の各画素に対応する奥行を示す奥行値を算出して３次元映像を生成させるコンピュータプログラムにおいて、前記２次元映像を構成する各画素の画素値と該各画素に隣接する画素の画素値との差分を算出する第１差分算出ステップ、該第１差分算出ステップで算出した差分が所定の第1閾値以上である画素を抽出する第1抽出ステップ、前記２次元映像を構成する各画素の一のフレームにおける画素値と他のフレームにおける画素値との差分を算出する第２差分算出ステップ、該第２差分算出ステップで算出した差分が所定の第２閾値以上である画素を抽出する第２抽出ステップ及び前記第１抽出ステップ及び第２抽出ステップの抽出結果に基づいて前記２次元映像の各画素に対応する奥行値を算出する奥行算出ステップを含む処理をコンピュータに実行させることを特徴とする。

　本発明によれば、算出した２次元映像の各画素のエッジ強度が所定の閾値以上である画素を抽出し、また算出した２次元映像の１のフレームにおける画素値と他のフレームにおける画素値との差分が所定の閾値以上である画素を抽出し、それらの抽出結果に基づいて奥行値を算出するので、自然な３次元映像を提供することができる。

第1の実施の形態における映像生成装置により生成される映像を説明するための説明図である。第1の実施の形態における映像生成装置により生成される映像を説明するための説明図である。第1の実施の形態における映像生成装置により生成される映像を説明するための説明図である。第1の実施の形態におけるテレビ受像装置の一構成例を示すブロック図である。制御部1が処理を行う２次元映像を示す概念図である。ラプラシアンフィルタを表す説明図である。ラプラシアンフィルタを表す説明図である。エッジ強度平均及び強エッジ画素情報を示す模式図である。エッジ強度平均及び強エッジ画素情報を示す模式図である。高差分情報に基づく２値映像を示す模式図である。高差分情報に基づく２値映像を示す模式図である。高差分情報に基づく２値映像を示す模式図である。第ｎフレームの映像を領域ごとに区分した映像を示す模式図である。第ｎフレームの映像を領域ごとに区分した映像を示す模式図である。第ｎフレームの映像を領域ごとに区分した映像を示す模式図である。モフォロジー処理を示す説明図である。モフォロジー処理を示す説明図である。モフォロジー処理を示す説明図である。各構図における前景と背景とを示す説明図である。各構図における前景と背景とを示す説明図である。各構図における前景と背景とを示す説明図である。３次元映像を表示部で表示するための所定の方式の例を示す模式図である。３次元映像を表示部で表示するための所定の方式の例を示す模式図である。３次元映像を表示部で表示するための所定の方式の例を示す模式図である。３次元映像を表示部で表示するための所定の方式の例を示す模式図である。第１の実施の形態における制御部の処理手順を示すフローチャートである。制御部が強エッジ画素情報を算出する処理手順を示すフローチャートである。制御部が動物体構成画素情報を算出する処理手順を示すフローチャートである。制御部が２次元映像の構図を判別する処理手順を示すフローチャートである。制御部が奥行値を再設定する処理手順を示すフローチャートである。制御部が３次元映像を生成する処理手順を示すフローチャートである。第２の実施の形態における制御部の処理手順を示すフローチャートである。第２の実施の形態における制御部が奥行値を算出する処理手順を示したフローチャートである。第３の実施の形態における制御部が構図を判別する処理手順を示すフローチャートである。第４の実施の形態におけるテレビ受像装置のハードウェア各部を示すブロック図である。

　第１の実施の形態
　以下、第１の実施の形態を図を用いて説明する。図１Ａ、図１Ｂ、図１Ｃは第1の実施の形態における映像生成装置により生成される映像を説明するための説明図である。

　本実施の形態における映像生成装置は、図１Ａに示す鳥、木、太陽、空、雲、地面等の被写体により構成された２次元映像から３次元映像を生成するにあたり、一旦、２次元映像のエッジ強度及び動きの大きさに基づいて前景とその他の背景とを区分する。ここで前景とは、映像中で人が注目しやすい特徴量が高い領域と定義し、背景とは入力映像中の前景以外の領域と定義する。

　本実施の形態では、人が注目しやすい特徴量として、エッジの強度及び動きの大小を示す数値を用い、その数値が一定値以上か否かで前景か背景かを判定する。判定を行うことにより、図１Ｂに示すようにエッジが強い又は動きが大きい領域である鳥、及びエッジが強い領域である木が前景となり、背景と区分される。

　次に２次元映像の奥行値を設定する。まず２次元映像の全ての画素について、所定の計算により算出した基本奥行値を設定する。続いて、被写体の形状、大きさ又は動き等に合わせて設定された所定の奥行パタンに基づいて前景の奥行値を別途算出し、算出した奥行値を再設定する。設定及び再設定した奥行値に基づいて、視差の付いた３次元映像である左目用映像Ｌ及び右目用映像Ｒを生成する。

　また、図1Ｃに示すように動きの大きい領域である鳥を表す前景とその他の領域とを区分し、動きの強い領域について奥行値を再設定して３次元映像を生成する。

　奥行値の再設定の方法は、エッジ強度の強い画素の位置の分散値及び前景を構成する画素数等によって判別する。

　本実施の形態における映像生成装置、映像表示装置及びテレビ受像装置の構成について説明する。本実施の形態におけるテレビ受像装置及び映像表示装置は映像生成装置を含む。図２は、第1の実施の形態におけるテレビ受像装置の一構成例を示すブロック図である。

　制御部１は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）等で構成され、映像のデータを処理できる演算回路を備え、ＲＯＭ２に予め格納されている制御プログラムを適宜ＲＡＭ３に読み出して実行する。その他、制御部１は、ＲＯＭ２、ＲＡＭ３、映像記憶部４、入力部５及び出力部６の動作を制御する。なおこれらは、それぞれバスを介して相互に接続されている。

　ＲＯＭ２は、書き込み及び消去可能なＥＰＲＯＭ（Erasable Programmable ROM）又はフラッシュメモリ等で構成され、映像生成装置が動作するために必要な種々の制御プログラムを予め格納してある。

　ＲＡＭ３はＳＲＡＭ又はフラッシュメモリ等であり、制御部１による制御プログラムの実行時に発生する種々のデータを一時的に記憶する。

　制御部１は、放送波の２次元映像が図示しない放送波受信アンテナから、放送波受信用のチューナ７に接続された入力部５を介して入力された場合、２次元映像のデータをＲＡＭ又はフラッシュメモリ等で構成される映像記憶部４に記憶する。２次元映像は、記録メディアを再生する再生装置から入力される映像でもよく、通信装置から入力される通信波の映像等でもよい。また、ＭＰＥＧ－２(Moving Picture Expert Group phase2)、ＭＰＥＧ－４(Moving Picture Expert Group phase4) 又はＨ．２６４等の圧縮された形式でもよく、非圧縮の形式でもよい。

　制御部１は、映像記憶部４に記憶された２次元映像のデータを順次読み出す。２次元映像が地上デジタル放送又はＢＳデジタル放送等の映像である場合は限定受信方式（B-CAS : BS Conditional Access System）の標準暗号であるＭＵＬＴＩ２を復号する。２次元映像が圧縮された映像である場合は伸長し、アナログ映像である場合には、例えばＭＰＥＧ－２ＴＳのデジタル映像に変換する。

　制御部１は、後述する処理を行って３次元映像を生成する。また、３次元映像を表示部１０で表示するための所定の方式に変換し、出力部６を介して、映像を表示する表示部１０へ出力する。

　表示部１０は、テレビ、情報処理端末のモニタの他、携帯電話機、ＰＤＡ、ブックリーダ、ゲーム機又は音楽プレーヤのディスプレイ等であり、後述する処理により生成された映像を含む３次元映像を表示する。表示部１０は、３次元映像の他に２次元映像も表示することができ、この場合は２次元映像又は３次元映像を表示するよう映像を切り替える図示しない映像切替部を備える。

　制御部１について説明する。図３は制御部1が処理を行う２次元映像を示す概念図であり、時系列の第（ｎ－１）フレーム、第ｎフレーム及び第（ｎ＋１）フレームの映像を含む。

　各フレームの画素数は例えば１９２０×１０８０である。フレームの左上の点を原点とし、ｘ列ｙ行の位置における画素を（ｘ，ｙ）で表す。制御部１は２次元映像の各画素から、隣接する画素の濃淡の差が急激である画素を示す強エッジ画素を抽出する。

　第ｎフレームにおける画素（ｘ，ｙ）の画素値のＲＧＢ成分のうち、Ｒ成分をＳｎＲ（ｘ，ｙ）、Ｇ成分をＳｎＧ（ｘ，ｙ）、Ｂ成分をＳｎＢ（ｘ，ｙ）とする。制御部１は式（１）に示すように、ＳｎＲ（ｘ，ｙ）、ＳｎＧ（ｘ，ｙ）、ＳｎＢ（ｘ，ｙ）にデジタル放送におけるＩＳＤＢ－Ｔ方式の輝度信号と同様の重み付けをした加重平均を取ることにより、グレースケール値Ｇｎ（ｘ，ｙ）を算出する。

　制御部1は、Ｇｎ（ｘ，ｙ）についてラプラシアンフィルタによる処理を行う。図４Ａ及び図４Ｂはラプラシアンフィルタを表す説明図である。ラプラシアンフィルタはグレースケール値Ｇｎ（ｘ，ｙ）にＧｎ（ｘ，ｙ）を２次微分した値Ｇ”ｎ（ｘ，ｙ）を加えることにより映像のエッジを先鋭にする処理である。

　図４Ａに示すように例えば注目画素とその８近傍の画素からなる３×３の画素を考え、注目画素のグレースケール値Ｇｎ（ｘ，ｙ）をα０、８近傍の画素値をα１からα８とする。この画素に対し図４Ｂに示すように８方向のラプラシアンフィルタで処理を行う場合、２次微分値Ｇ”ｎ（ｘ，ｙ）は式（２）で示される。

　制御部1は、ラプラシアンフィルタで処理を行うと、行方向及び列方向に隣接する画素の差分を各々算出し、各々の差分の２乗の和の平方根を算出する。このエッジ強度Ｅｎ（ｘ，ｙ）を全ての画素について算出する。

　画素（x，ｙ）が列方向にｊ番目で行方向にｋ番目の５×５のブロックに属する場合、ブロックを構成する２５画素のエッジ強度Ｅｎ（ｘ，ｙ）の平均値をＥａｖｅ（ｊ，ｋ）で表す。なお、ｘは５ｊ－４から５ｊ列までの画素に属し、ｙは５ｋ－４から５ｋ行までの画素に属するので、ｘとｊ、ｙとｋには（４）及び（５）式が成り立つ。但し、ｊは０から３８４までの整数、ｋは０から２１６までの整数である。

　制御部1は、フレーム全体を５×５画素のブロックに分割し、Ｅａｖｅ（ｊ，ｋ）を算出する。このように５×５画素のブロックに分割する理由は処理を簡易にし、また、ノイズを低減させるためである。

　図５Ａ及び図５Ｂはエッジ強度平均Ｅａｖｅ（ｊ，ｋ）及び強エッジ画素情報Ｈｎ（ｘ，ｙ）を示す模式図である。図５Ａはブロック単位に分割した２次元映像を示した模式図である。ブロックａ１は鳥を表す映像を構成するブロックであり隣接する画素との画素値の差分が大きい。従ってブロックａ１はエッジ強度平均Ｅａｖｅ（ｊ，ｋ）の値が大きい。一方、ブロックａ２は空を構成するブロックであり、隣接する画素との画素値の差分が小さい。従ってブロックａ２はエッジ強度平均Ｅａｖｅ（ｊ，ｋ）の値は小さい。

　制御部１は、（６）及び（７）式に示すようにエッジ強度平均Ｅａｖｅ（ｊ，ｋ）が予め設定された閾値Ｔｈ０以上である画素は強エッジ画素情報Ｈｎ（ｘ，ｙ）を１とし、閾値Ｔｈ０未満である画素は強エッジ画素情報Ｈｎ（ｘ，ｙ）を０とする。

　強エッジ画素情報Ｈｎ（ｘ，ｙ）は後述する前景と背景との区分において用いられる。従って閾値Ｔｈ０はエッジの強さの観点から２次元映像を前景と背景とに区分するのに適した値に設定してある。

　これにより、強エッジ画素情報Ｈｎ（ｘ，ｙ）の値からエッジの強い画素である強エッジ画素を抽出することができる。図５Ｂでは強エッジ画素情報Ｈｎ（ｘ，ｙ）が１である画素を白色、０である画素を黒色で示してある。

　なお、強エッジ画素情報Ｈｎ（ｘ，ｙ）を算出する手順は上述した手順に限らない。例えば、ブロック中の全画素のうち、閾値Ｔｈ０以上のエッジ強度を持つ画素数が予め定められた数以上あるか否かによって強エッジ画素情報Ｈｎ（ｘ，ｙ）を算出してもよい。

　続いて、制御部１は、動きが大きい２次元映像を示す画素である動物体構成画素を抽出する。動きが大きい２次元映像は、画素値の変化が大きいと考えられる。従って、前後のフレームの画素値と比較して画素値の変化が大きい画素を、動きの大きい画素と考える。

　制御部１が動物体構成画素情報Ｍｎ（ｘ，ｙ）を算出する手順について説明する。まず、（８）式に示すように、既に算出したグレースケール値Ｇｎ（ｘ，ｙ）及び第（ｎ－１）フレームの画素の画素値をグレースケール変換したＧｎ－１（ｘ，ｙ）の差分の絶対値である絶対差分情報Ｄｎ（ｘ，ｙ）を算出する。

　続いて制御部１は、絶対差分情報Ｄｎ（ｘ，ｙ）が予め設定された閾値Ｔｈ１以上か否かを判定し、差分の絶対値が大きい画素であるか否かを示す高差分情報Ｂｎ（ｘ，ｙ）を算出する。（９）及び（１０）式に示すように閾値Ｔｈ１以上である画素は高差分情報Ｂｎ（ｘ，ｙ）を１とし、閾値Ｔｈ１未満である画素は高差分情報Ｂｎ（ｘ，ｙ）を０とする。高差分情報Ｂｎ（ｘ，ｙ）は後述する前景と背景との区分において用いられる。従って閾値Ｔｈ１は２次元映像における動きの大きさの観点から前景と背景とに区分するのに適した値に設定してある。

　図６Ａ、図６Ｂ、図６Ｃは高差分情報Ｂｎ（ｘ，ｙ）及びＢｎ＋１（ｘ，ｙ）に基づく２値映像を示す模式図であり、図６Ａは高差分情報Ｂｎ（ｘ，ｙ）が１である画素を白色、０である画素を黒色で示してある。

　次に、第（ｎ＋１）フレームについても前述した（８）（９）及び（１０）式と同様の演算を行い、絶対差分情報Ｄｎ＋１（ｘ，ｙ）を算出する。また、絶対差分情報Ｄｎ＋１（ｘ，ｙ）に基づいて高差分情報Ｂｎ＋１（ｘ，ｙ）を算出する。図６Ｂは高差分情報Ｂｎ＋１（ｘ，ｙ）が１である画素を白色、０である画素を黒色で示してある。

　最後に（１１）式に示すとおり、高差分領域Ｂｎ（ｘ，ｙ）及びＢｎ＋１（ｘ，ｙ）の論理積である動物体構成画素情報Ｍｎ（ｘ，ｙ）を算出する。

　制御部１は、動物体構成画素情報Ｍｎ（ｘ，ｙ）が１となる画素は画素値の変化が大きく、動物体構成画素情報Ｍｎ（ｘ，ｙ）が０となる画素は画素値の変化が小さい。従って動物体構成画素情報Ｍｎ（ｘ，ｙ）の値から動物体構成画素を抽出することができる。

　図６Ｃは動物体構成画素情報Ｍｎ（ｘ，ｙ）が１である領域を白色、０である領域を黒色で示してある。

　２次元映像における動きの大きい画素又はエッジの強い画素は、２次元映像を視る者が注目する被写体を示す画素であり、前景を構成すると考えられる。一方、その他の画素は背景を構成すると考えられる。

　制御部１は、動物体構成画素情報Ｍｎ（ｘ，ｙ）を求めた後、前景と背景とを区分し、前景を抽出するために、ラベリング処理を行う。制御部１は強エッジ領域情報Ｈｎ（ｘ，ｙ）が１である画素が連なった群に同じラベルを付ける。動物体構成画素情報Ｍｎ（ｘ，ｙ）が１である画素が連なった群にも同様の処理を行う。これにより前景を構成する画素を領域として抽出することができる。

　図７Ａ及び図７Ｂは第ｎフレームの映像を領域ごとに区分した映像を示す模式図である。制御部1は図７Ａに示すように強エッジ領域情報Ｈｎ（ｘ，ｙ）が１となる領域ｂ１からｂ４と、強エッジ領域情報Ｅｎ（ｘ，ｙ）が０となる領域ｂ５とに区分する。また、図７Ｂに示すように動物体構成画素情報Ｍｎ（ｘ，ｙ）の値が１となる領域ｂ６と強エッジ領域情報Ｈｎ（ｘ，ｙ）が０となる領域ｂ７とに区分する。

　次に、（１２）式に示すとおり、強エッジ領域情報Ｈｎ（ｘ，ｙ）及び動物体構成画素情報Ｍｎ（ｘ，ｙ）の論理和を取ることにより、前景情報Ｐｎ（ｘ，ｙ）を算出する。

　前景情報Ｐｎ（ｘ，ｙ）が１である画素は、強エッジ領域情報Ｈｎ（ｘ，ｙ）が１となるｂ１からｂ４を構成する画素又は動物体構成画素情報Ｍｎ（ｘ，ｙ）が１となるｂ６を構成する画素である。図７Ｃは、前景情報Ｐｎ（ｘ，ｙ）が１である領域を白色、０である領域を黒色で示してある。

　なお、上記処理を行う際、所望の前景すべてが抽出されない場合がある。例えば、被写体である「人の顔」にピントがあっている顔のアップが撮影されている場合、人が注目しやすい領域は、ピントが合った「人の顔」全体であり、これを前景として抽出するのが望ましい。しかし、エッジがはっきりしている輪郭は前景として検出されやすいが、一方でエッジが比較的弱い頬や額等の一部は、背景と判断されやすい。従って本来前景であると判定されるべき「人の顔」を構成する画素であるにもかかわらず、一部背景と判定された領域が穴のように存在する場合がある。

　こうした場合に対処するため、制御部1は、適時モフォロジー処理(Morphological Operations)を行う。図８はモフォロジー処理を示す説明図である。説明のため、０または１の２値で表される７×７の画素を考える。

　図８Ａのように画素値が１である画素の中に画素値０の画素がある場合、図８Ｂのように、一旦画素値が１である画素の４近傍にある画素の画素値を１に変更する膨張（Dilate）処理を行う。すると画素値が１である画素の群の中に存在した画素の画素値が０から１へと変更される。その後、図８Ｃに示すように、膨張させた画素値が１である画素の群における周辺を構成する画素の画素値を１から０へと変更する収縮（Erode）処理を行う。

　このモフォロジー処理により、穴のように存在する背景と判定された箇所を適切に前景とすることができる。なお、穴のように存在する背景と判定された箇所が大きい場合は、複数回膨張処理及び収縮処理を行うことにより前景とすることができる。

　続いて、制御部１は、２次元映像の構図を判別する。エッジの強い画素又は動きが大きい画素からなる領域は、映像の視聴者が注目する被写体が映っている領域であると考えてよい。制御部１は、エッジの強い画素又は動きが大きい画素の数または配置から、２次元映像における各被写体の大きさ、動き又は配置を判定し、映像の構図が複数のタイプのいずれであるかを判別する。

　本実施の形態では、構図には俯瞰から風景全体を被写体として収めた「俯瞰」タイプ、特定の被写体をクローズアップした「アップ」タイプ、及び前記「俯瞰」と「アップ」の中間であり、前景と背景をバランスよく収めた「バランス」タイプの３タイプがあると考える。

　「バランス」タイプは、人や動物又は建物等の主要な被写体が前景とそれ以外の背景が同程度存在している映像のタイプを指し、前景の画素数は比較的少ない。図９Ａ、図９Ｂ、図９Ｃは各構図における前景と背景とを示す説明図である。図９Ａは「バランス」タイプの映像を示す説明図であり、前景情報Ｐｎ（ｘ，ｙ）が１となる画素を白色、０となる画素を黒色で示している。

　一方、「アップ」タイプにおける被写体（例えば、人や動物の顔のアップ）は映像全体に占める割合が非常に大きいので、前景の画素数は比較的多い。図９Ｂは「アップ」タイプの映像を示す説明図であり、前景情報Ｐｎ（ｘ，ｙ）が１となる画素を白色、０となる画素を黒色で示している。

　また、「俯瞰」タイプにおける前景（例えば、街並み等の風景）の画素数も、「アップ」タイプ同様に比較的多いと判断される。図９Ｃは「俯瞰」タイプの映像を示す説明図であり、前景情報Ｐｎ（ｘ，ｙ）が１となる画素を白色、０となる画素を黒色で示している。

　そして、映像の構図が被写体のアップである場合は、被写体のアップが映る領域にエッジの強い画素が集中する。一方、映像の構図が俯瞰である場合は、多数の被写体が点在しているので、エッジの強い画素はフレーム全体に点在している。従って、エッジの強い画素の位置は「俯瞰」タイプの方が「アップ」タイプより分散している傾向が強い。

　制御部１が構図を判別する手順について説明する。制御部１は前景の画素を計数する。計数した結果、前景の画素数が予め設定された閾値Ｔｈ２未満である場合は、構図は「バランス」タイプであると判別する。閾値Ｔｈ２は前景を構成する画素の総数が、「アップ」タイプ及び「俯瞰」タイプの二者と、「バランス」タイプとを判別するのに適した値に設定してある。

　前景の画素数が閾値Ｔｈ２以上である場合は、エッジ強度Ｅｎ（ｘ，ｙ）の値が予め設定された閾値Ｔｈ３以上である画素を抽出する。閾値Ｔｈ３（＞Ｔｈ０）は、映像の特徴的な被写体を構成する画素とその他の画素とを判別するのに適した値に設定してある。

　抽出したエッジ強度Ｅｎ（ｘ，ｙ）の値が閾値Ｔｈ３以上である画素の座標の位置についての分散値σ１を算出する。エッジ強度Ｅｎ（ｘ，ｙ）の値が閾値Ｔｈ３以上である画素が（ｘ１，ｙ１）、（ｘ２，ｙ２）、…、（ｘｍ，ｙｍ）のｍ個ある場合、分散値σ１を以下の（１３）式によって算出する。

　制御部1は、分散値σ１が閾値Ｔｈ４以上か否かを判定する。制御部１は、分散値σ１が予め設定された閾値Ｔｈ４以上である場合は、構図が「アップ」タイプであると判別する。分散値σ１が閾値Ｔｈ４未満である場合は、構図が「俯瞰」タイプであると判別する。

　閾値Ｔｈ４は、映像の構図が「アップ」タイプか「俯瞰」タイプかを判別するために適切な値に設定してある。

　制御部１は、２次元映像の構図を判別した後、消失点及び消失線を算出し、算出した消失点及び消失線に基づいて、さらに２次元映像の基本奥行値を算出する。

　まず、消失点及び消失線を算出する手順について説明する。制御部１は、エッジ強度Ｅｎ（ｘ，ｙ）の大きい画素を抽出する。エッジ強度Ｅｎ（ｘ，ｙ）の大きい画素は前述したエッジ強度Ｅｎ（ｘ，ｙ）の値が閾値Ｔｈ３以上である画素と同じ画素である。

　制御部１は、エッジ強度Ｅｎ（ｘ，ｙ）の大きい画素のうち任意の１画素を選択して、その８近傍に在るエッジ強度Ｅｎ（ｘ，ｙ）の大きい画素を選択する。続いて、直近に選択した画素の８近傍にエッジ強度Ｅｎ（ｘ，ｙ）の大きい画素がある場合は、そのエッジ強度Ｅｎ（ｘ，ｙ）の大きい画素を選択する。８近傍にエッジ強度Ｅｎ（ｘ，ｙ）の大きい画素が複数ある場合は、最初に選択した１画素と最も遠い画素を選択する、という手順を繰り返す。

　このような手順により、選択した画素が線分状に並んだ群となった場合は、制御部１は画素の群の回帰直線を算出する。画素の群が２つ以上ある場合は、それら全ての回帰直線を算出する。

　算出した回帰直線のうち、任意の２本の回帰直線がなす角度が所定の角度以下の組み合わせがある場合は、２本の回帰直線は消失線であり、算出した複数の回帰直線の交点は消失点である。消失点及び消失線を算出した場合、制御部１は、基本奥行値を算出する。基本奥行値は０からｄの値であり、消失点にあたる画素の奥行値をｄとする。

　消失点はフレーム内に限らず、フレーム外に存在する場合もある。また、消失点から最も遠い位置にある画素（ｘ，ｙ）の奥行値が最も小さい。基本奥行値は各画素（ｘ，ｙ）の消失点からの距離を算出し、基本奥行値は消失点からの距離に反比例するように設定する。

　基本奥行値は他にも、構図やグレースケール値Ｇｎ（ｘ，ｙ）等に基づいて算出するようにしてもよい。例えば、水平線を境に海と空が映っている映像であれば、海と空とを構成する空間毎に異なる設定方法で奥行値を算出することが望ましい。一方、室内の映像であれば、映像全体について一律の設定方法でよい。従って、映像に応じて異なる基本奥行値の設定方法を行うことが望ましい。

　この場合、消失点以外の画素（ｘ，ｙ）の奥行値を算出するため、制御部１は、予めＲＯＭ２に記憶させてあるテンプレートを読み出す。テンプレートは消失点の奥行値をｄとし、また、消失点以外の２次元映像全体の各画素（ｘ，ｙ）における奥行値が設定されている。また、テンプレートは構図や、２次元映像の各画素のグレースケール値Ｇｎ（ｘ，ｙ）のヒストグラム等に関連付けられている。

　制御部１は、ＲＯＭ２から読み出したテンプレートのうち、構図やグレースケール値Ｇｎ（ｘ，ｙ）等を用いて最適なテンプレートを選択し、消失点の位置を選択したテンプレートに一致させ、消失点以外の画素（ｘ，ｙ）の奥行値を算出する。

　制御部１は、基本奥行値を設定すると、構図に基づいて奥行値を再設定する。以下、奥行値を再設定する手順について説明する。制御部１は、判別した結果、構図が「バランス」タイプである場合は、各前景ｂ１からｂ４及びｂ６にて、各前景を構成する画素（ｘ，ｙ）のうち、ｙの値が最も大きい１画素の基本奥行値及び予め設定された奥行値のパタンに従って前景の奥行値を再設定する。

　ＲＯＭ２には諸々の２次元の形状に奥行値が設定されてある複数のパタンのデータが記録されている。パタンの形状は、鳥、木、雲、人等を模した形状や、球形又は直方体等を２次元に投影した形状等があり、形状に合わせた奥行値が設定されている。

　再設定の際に、制御部１は、ＲＯＭ２よりパタンを読み出す。制御部１は、各前景ｂ１からｂ４及びｂ６毎にそれぞれの形状、大きさ又は動き等に基づいてパタンとのマッチングを行い、適切なパタンを選択する。

　ここで、パタンに設定されてある奥行値はパタン内の相対的な奥行値を示すだけである。従って２次元映像に奥行値を再設定するにあたっては、各前景の基準となる２次元映像の奥行値が必要になる。そこで、各前景ｂ１からｂ４及びｂ６毎に前景を構成する画素（ｘ，ｙ）のうちｙの値が最も大きい１画素の基本奥行値を基準値とし、各前景ｂ１からｂ４及びｂ６を構成する画素（ｘ，ｙ）の奥行値をパタンの奥行値を用いて再設定する。

　判別した結果、構図が「アップ」タイプである場合は、制御部１は、前景を構成する画素（ｘ，ｙ）の奥行値を第１奥行値ＤＰｆに再設定する。又背景を構成する画素（ｘ，ｙ）は奥行値を第２奥行値ＤＰｇに再設定する。

　前景を構成する各画素の基本奥行値の平均値を第１奥行値ＤＰｆ、背景を構成する各画素の基本奥行値の平均値を第２奥行値ＤＰｇとする。

　ここで、第１奥行値ＤＰｆ及び第２奥行値ＤＰｇは、各前景の画素数又は分散値σ１に基づいて重みづけをした、基本奥行値の加重平均によって算出した値を用いてもよい。この場合は、前景を構成する画素数が多い場合は前景が全体的に手前側にあると考え、第１奥行値ＤＰｆが小さい値となるように設定する。また、分散値σ１が大きい場合は被写体を遠くから撮影していると考え、第１奥行値ＤＰｆと第２奥行値ＤＰｇとの差が小さくなるように設定する。

　「アップ」タイプの映像では、前景に焦点が合っており、背景は焦点の合っていない映像となることが多い。このような奥行感及び立体感をもたせた映像を生成するためには、前景の奥行と背景の奥行値に大きな差を付ける必要があるため、「バランス」タイプとは奥行値の設定方法が異なるように設定してある。

　制御部１は、判別した結果、構図が「俯瞰」タイプである場合は、動物体構成画素からなる前景ｂ６のうち、例えばｙの値が最も大きい１画素の基本奥行値を基準値とし、基本奥行値及び予め設定された奥行値のパタンに従って前景の奥行値を再設定する。

　「俯瞰」タイプの映像では、フレーム全体に焦点が合ったいわゆる全焦点と呼ばれる映像が多い。この場合、木や建物などの被写体は、前景を構成していても背景と大きく異ならない奥行値をとると考えられる。従って、前景のうち動物体構成画素のみ奥行値を再設定すればよい。

　前景における奥行値の再設定にて、３次元映像では動きの速い領域は手前にある領域であると考えられる。従って動物体構成画素は、動きの速い領域ほど手前の奥行値となるように奥行値を算出し、再設定してもよい。

　また、複数の前景が重なる領域については処理の複雑さを回避するため、これら重なりのある各前景の奥行値のうち、最も手前側の奥行値を再設定してもよい。

　制御部１は、設定および再設定した奥行値に基づき、視差のある左目用映像Ｌ及び右目用映像Ｒの３次元映像を生成する。

　制御部１は、２次元映像の第ｎフレームにおける各画素について算出した奥行値に基づいて、視差の大きさを示すシフト量ＳＦＴｎ（ｘ，ｙ）を算出する。シフト量をＳＦＴｎ（ｘ，ｙ）とし奥行値をＤＰｎ（ｘ，ｙ）とすると、制御部1は、奥行値とシフト量との関係を表す（１４）式によりシフト量を算出する。シフト量ＳＦＴｎ（ｘ，ｙ）は－ｓからｓまでの値に設定されている。

　なお、ここでは説明の為、奥行値とシフト量の対応付けに（１４）式に示すような線形的変化を伴う式を用いたが、用いる式が非線形式であっても問題が無いことは言うまでも無い。また、予め０からｄの各奥行値に対応するシフト量を記したルックアップテーブルを作成し、これを用いることとしても良い。

　次に、算出したシフト量ＳＦＴｎ（ｘ，ｙ）に応じて左目用映像Ｌ及び右目用映像Ｒを生成する。シフトについて、左目用映像Ｌは、ＳＦＴｎ（ｘ，ｙ）の値が正の場合は右方向に画素のシフトを行い、負の場合は左方向に画素のシフトを行う。一方、右目用映像Ｒについては、ＳＦＴｎ（ｘ，ｙ）の値が正の場合は左方向に画素のシフトを行い、負の場合は右方向に画素のシフトを行う。

　映像によって映像の一部分に有効な画素値が得られなくなる画素が発生する場合があるが、この画素については周囲の画素から補間を行い、有効な画素値を設定する。

　制御部１は、３次元映像を表示部１０で表示するための所定の方式に変換し、出力部６を介して表示部１０に出力する。

　図１０Ａ、図１０Ｂ、図１０Ｃ、図１０Ｄは３次元映像を表示部１０で表示するための所定の方式の例を示す模式図である。図１０Ａは左目用映像Ｌ及び右目用映像Ｒを示す模式図である。所定の方式には図１０Ｂに示すように行方向の解像度を半分にした左目用映像Ｌ及び右目用映像Ｒを１つのフレームに収めたトップアンドボトム方式、図１０Ｃに示すように列方向の解像度を半分にした左目用映像Ｌ及び右目用映像Ｒを１つのフレームに収めたサイドバイサイド方式、図１０Ｄに示すように時間軸方向に左目用映像Ｌ及び右目用映像Ｒを重畳したフレームシーケンシャル方式等がある。

　第１の実施の形態における処理手順について説明する。図１１は第１の実施の形態における制御部１の処理手順を示すフローチャートである。

　制御部１には、図示しない放送波受信アンテナから２次元映像が入力される（ステップＳ１０）。すると制御部１は、映像記憶部４に２次元映像のデータを記憶させる（ステップＳ１２）。制御部１は、記憶させた２次元映像のデータを順次読み出す（ステップＳ１４）。

　制御部１は、２次元映像の各画素について強エッジ画素を抽出する（ステップＳ１６）。続いて、動物体構成画素を抽出する（ステップＳ１８）。

　制御部１は、２次元映像の前景にラベリング処理を行い、前景と背景とを区分する（ステップＳ２０）。

　制御部１は、２次元映像の構図を判別する（ステップＳ２２）。また、各画素（ｘ，ｙ）の基本奥行値を算出し、設定する（ステップＳ２４）。制御部１は構図に基づいて奥行値を再設定する（ステップＳ２６）。

　制御部１は、奥行値に基づき、左目用映像Ｌ及び右目用映像Ｒの３次元映像を生成する（ステップＳ２８）。

　制御部１は、生成した左目用映像Ｌ及び右目用映像Ｒを所定の方式に変換する（ステップＳ３０）。変換後の映像を出力部６を介して表示部１０へ出力する（ステップＳ３２）。

　こうした制御部１の処理手順のうち、一部の処理手順についてさらに説明する。まず、制御部１が強エッジ画素を抽出する処理手順（ステップＳ１６）について説明する。図１２は制御部１が強エッジ画素情報Ｈｎ（ｘ，ｙ）を算出する処理手順を示すフローチャートである。

　制御部１は、画素（ｘ，ｙ）のＲ成分ＳｎＲ（ｘ，ｙ）、Ｇ成分ＳｎＧ（ｘ，ｙ）、Ｂ成分ＳｎＢ（ｘ，ｙ）に（１）式で示すように一定の重み付けをして加重平均をとり、グレースケール値Ｇｎ（ｘ，ｙ）を算出する（ステップＳ１６１）。

　さらに制御部１は、（２）式で示すラプラシアンフィルタによる処理を行い（ステップＳ１６２）、２次元映像のエッジを強調する。制御部１は、（３）式で示すエッジ強度Ｅｎ（ｘ，ｙ）を全ての画素について算出する（ステップＳ１６３）。

　制御部１は、フレーム全体を所定数のブロックに分割する（ステップＳ１６４）。制御部１は、分割後に画素（x，ｙ）が属するブロックのエッジ強度Ｅｎ（ｘ，ｙ）の平均値であるＥａｖｅ（ｊ，ｋ）を算出する（ステップＳ１６５）。

　制御部１は、エッジ強度平均Ｅａｖｅ（ｊ，ｋ）が予め設定された閾値Ｔｈ０以上か否かを判定し、強エッジ画素情報Ｈｎ（ｘ，ｙ）を算出し、強エッジ画素情報Ｈｎ（ｘ，ｙ）が１である強エッジ画素を抽出する（ステップＳ１６６）。

　次に、制御部１が動物体構成画素情報Ｍｎ（ｘ，ｙ）を算出する処理手順（ステップＳ１８）について説明する。図１３は制御部１が動物体構成画素情報Ｍｎ（ｘ，ｙ）を算出する処理手順を示すフローチャートである。制御部１は、（８）式に示すようにグレースケール値Ｇｎ（ｘ，ｙ）及びＧｎ－１（ｘ，ｙ）の差分の絶対値を取り、絶対差分情報Ｄｎ（ｘ，ｙ）を算出する（ステップＳ１８１）。

　続いて制御部１は、絶対差分情報Ｄｎ（ｘ，ｙ）が予め設定された閾値Ｔｈ１以上か否かを判定し、差分の絶対値が大きい画素であるか否かを示す高差分情報Ｂｎ（ｘ，ｙ）を算出する（ステップＳ１８２）。

　制御部１は、同様の演算を行って、絶対差分情報Ｄｎ＋１（ｘ，ｙ）を算出する（ステップＳ１８３）。また、制御部１は、絶対差分情報Ｄｎ＋１（ｘ，ｙ）から高差分情報Ｂｎ＋１（ｘ，ｙ）を算出する（ステップＳ１８４）。制御部１は、高差分領域Ｂｎ（ｘ，ｙ）及びＢｎ＋１（ｘ，ｙ）の論理積である動物体構成画素情報Ｍｎ（ｘ，ｙ）を算出し、動物体構成画素情報Ｍｎ（ｘ，ｙ）が１である動物体構成画素を抽出する（ステップＳ１８５）。

　また、制御部１が２次元映像の構図を判別する処理手順（ステップＳ２２）について説明する。図１４は制御部１が２次元映像の構図を判別する処理手順を示すフローチャートである。

　制御部１は、前景を構成する画素を計数する（ステップＳ２２１）。制御部１は計数の結果に基づき、画素数が予め設定された閾値Ｔｈ２以上か否かを判定する（ステップＳ２２２）。前景の画素数が閾値Ｔｈ２未満である場合は（ステップＳ２２２でＮＯ）、第ｎフレームの構図は「バランス」タイプであると判別する（ステップＳ２２３）。

　前景を構成する画素数が閾値Ｔｈ２以上である場合は（ステップＳ２２２でＹＥＳ）、エッジ強度Ｅｎ（ｘ，ｙ）の値が予め設定された閾値Ｔｈ３以上である画素を抽出し（ステップＳ２２４）、（１３）式で示す画素の位置についての分散値σ１を算出する（ステップＳ２２５）。

　制御部１は、分散値σ１が閾値Ｔｈ４以上であるか否かを判定し（ステップＳ２２６）、分散値σ１が閾値Ｔｈ４未満である場合は（ステップＳ２２６でＮＯ）、構図が「アップ」タイプであると判別する（ステップＳ２２７）。分散値σ１が閾値Ｔｈ４以上である場合は（ステップＳ２２６でＹＥＳ）、構図が「俯瞰」タイプであると判別する（ステップＳ２２８）。

　続いて、制御部１が奥行値を再設定する処理手順（ステップＳ２６）について説明する。図１５は制御部１が奥行値を再設定する処理手順を示すフローチャートである。

　制御部１は前述した手順により決定した構図が「バランス」タイプか否かを判定する（ステップＳ２６１）。バランスタイプである場合は（ステップＳ２６１でＹＥＳ）、各前景ｂ１からｂ４及びｂ６毎にｙの値が最も大きい１画素を選択する（ステップＳ２６２）。選択した１画素の基本奥行値を基準として用い、各前景ｂ１からｂ４及びｂ６を構成する画素（ｘ，ｙ）の奥行値を再設定する（ステップＳ２６３）。

　構図が「バランス」タイプでない場合は（ステップＳ２６１でＮＯ）、構図が「アップ」タイプであるか否かを判定する（ステップＳ２６４）。

　制御部１は、構図が「アップ」タイプの場合は（ステップＳ２６４でＹＥＳ）、前景を構成する画素は奥行値を第１奥行値ＤＰｆに再設定する（ステップＳ２６５）。背景を構成する画素は奥行値を第２奥行値ＤＰｇに再設定する（ステップＳ２６６）。

　構図が「アップ」タイプでない場合は（ステップＳ２６４でＮＯ）、「俯瞰」タイプであり、この場合制御部１は、ｂ６を構成する動物体構成画素のｙの値が最も大きい１画素を選択する（ステップＳ２６７）。選択した１画素における基本奥行値及び予め設定された奥行値のパタンに従って、動物体構成画素の奥行値を再設定する（ステップＳ２６８）。

　制御部１が３次元映像を生成する処理手順（ステップＳ２８）について説明する。図１６は制御部１が３次元映像を生成する処理手順を示すフローチャートである。

　制御部１は、（１４）式に示すように奥行値ＤＰｎ（ｘ，ｙ）に対応する２次元映像のシフト量ＳＦＴｎ（ｘ，ｙ）を算出する（ステップＳ２８１）。次に、制御部１は、算出したシフト量ＳＦＴｎ（ｘ，ｙ）に応じて、２次元映像をシフトする（ステップＳ２８２）。ここで、画素のシフトによって映像の一部分に有効な画素値が得られなくなる画素を周囲の画素から補間を行い（ステップＳ２８３）、有効な画素値を設定する。

　本実施の形態における映像生成装置は、画面の構図、動きの大きさ、前景か背景かなどの要素を考慮して奥行値を算出するので、自然な３次元映像を生成することができる。

　第２の実施の形態
　第２の実施の形態について説明する。第２の実施の形態は構図が「アップ」タイプの場合、第１奥行値及び第２奥行値をそれぞれ常に一定の値に設定する。

　「アップ」タイプの映像では、前景を構成する画素における奥行値及び背景を構成する画素における奥行値に予め定められた一定の値を常に用いることで、奥行感及び立体感をもたせた映像を生成することができる場合がある。また、奥行値に常に一定値を用いることで制御部１の処理を簡易にすることができる。

　従って本実施の形態における制御部１は、構図が「アップ」タイプの場合は基本奥行値の設定を行わず、前景及び背景の奥行値をそれぞれ一定値に設定する。

　本実施の形態における制御部1について説明する。制御部１には、放送波受信アンテナから２次元映像が入力される。制御部１は、映像記憶部４に２次元映像のデータを記憶させる。制御部１は記録させた２次元映像のデータを順次読み出す。

　制御部１は、強エッジ画素及び動物体構成画素を抽出する。また２次元映像の前景にラベリング処理を行い、前景と背景とを区分する。制御部１は、前景情報Ｐｎ（ｘ，ｙ）及びエッジ強度Ｅｎ（ｘ，ｙ）に基づき、奥行値を設定する。

　制御部１は、前景の画素を計数し、画素数が予め設定された閾値Ｔｈ２以上か否かを判定する。前景の画素数が閾値Ｔｈ２未満である場合は、構図は「バランス」タイプであるので、制御部１は、基本奥行値を生成し、さらに前景の奥行値を再設定する。

　制御部１は、前景の画素数が閾値Ｔｈ２以上である場合は、エッジ強度Ｅｎ（ｘ，ｙ）の値が閾値Ｔｈ３以上である画素を抽出し、これらの画素の位置についての分散値σ１を算出する。

　制御部１は、分散値σ１が閾値Ｔｈ４以上であるか否かを判定し、分散値σ１が閾値Ｔｈ４以上である場合は、構図が「アップ」タイプである。従って前景を構成する画素には一定値である第１奥行値ＤＰｆを設定し、背景を構成する画素には一定値である第２奥行値ＤＰｇを設定する。

　分散値σ１が閾値Ｔｈ４未満である場合は、構図が「俯瞰」タイプであるので、制御部１は、基本奥行値を算出して設定し、さらに動物体構成画素の奥行値を再設定する。

　制御部１は、奥行値ＤＰｎ（ｘ，ｙ）に基づき、左目用映像Ｌ及び右目用映像Ｒの３次元映像を生成し、生成した左目用映像Ｌ及び右目用映像Ｒを適式な方式に変換し、出力部６を介して表示部に送信する。表示部１０は３次元映像を表示する。

　本実施の形態における制御部１の処理手順について説明する。図１７は第２の実施の形態における制御部１の処理手順を示すフローチャートである。放送波受信アンテナから２次元映像が入力されると（ステップＳ４０）、制御部１は、映像記憶部４に２次元映像のデータを記憶させる（ステップＳ４２）。制御部１は記憶させた２次元映像のデータを順次読み出す（ステップＳ４４）。

　制御部１は、２次元映像の各フレームの各画素について強エッジ画素を抽出する（ステップＳ４６）。また、制御部１は、動物体構成画素を抽出する（ステップＳ４８）。

　制御部１は、２次元映像の前景にラベリング処理を行う。また、制御部１は、強エッジ領域情報Ｈｎ（ｘ，ｙ）及び動物体構成画素情報Ｍｎ（ｘ，ｙ）の論理和を取ることにより、前景情報Ｐｎ（ｘ，ｙ）を算出し、前景と背景とを区分する（ステップＳ５０）。

　制御部１は、構図を判別し、判別した構図に基づいて奥行値を算出し、設定する（ステップＳ５２）。

　制御部１は、奥行値に基づき、左目用映像Ｌ及び右目用映像Ｒの３次元映像を生成する（ステップＳ５４）。制御部１は、生成した左目用映像Ｌ及び右目用映像Ｒを所定の方式に変換する（ステップＳ５６）。制御部１は、変換後の映像を出力部６を介して表示部１０へ出力する（ステップＳ５８）。

　制御部１が奥行値を設定する処理手順（ステップＳ５２）についてさらに説明する。図１８は第２の実施の形態における制御部１が奥行値を設定する処理手順を示したフローチャートである。

　制御部１は、前景を構成する画素を計数する（ステップＳ５２１）。制御部１は計数の結果に基づき、画素数が予め設定された閾値Ｔｈ２以上か否かを判定する（ステップＳ５２２）。

　制御部１は、前景の画素数が閾値Ｔｈ２未満である場合は（ステップＳ５２２でＮＯ）、構図は「バランス」タイプであるので、制御部１は基本奥行値を設定する（ステップＳ５２３）。また、制御部１は前景を構成する画素（ｘ，ｙ）のうち、ｙの値が最も大きい画素である1画素を選択する（ステップＳ５２４）。さらに前景の奥行値を再設定する（ステップＳ５２５）。

　制御部１は、前景の画素数が閾値Ｔｈ２以上である場合は（ステップＳ５２２でＹＥＳ）、エッジ強度Ｅｎ（ｘ，ｙ）の値が閾値Ｔｈ３以上である画素を抽出する（ステップＳ５２６）。抽出された画素の位置についての分散値σ１を算出する（ステップＳ５２７）。

　制御部１は、分散値σ１が閾値Ｔｈ４以上であるか否かを判定する（ステップＳ５２８）。分散値σ１が閾値Ｔｈ４以上である場合は（ステップＳ５２８でＹＥＳ）、構図が「アップ」タイプであるので、前景情報には奥行値ＤＰｆを設定する（ステップＳ５２９）。また、背景情報には奥行値ＤＰｇを設定する（ステップＳ５３０）。

　制御部１は、分散値σ１が閾値Ｔｈ４未満である場合は（ステップＳ５２８でＮＯ）、構図は「俯瞰」タイプであるので、基本奥行値を設定する（ステップＳ５３１）。また、制御部１は動物体構成画素のうち、ｙの値が最も大きい画素である1画素を選択する（ステップＳ５３２）。さらに動物体構成画素の奥行値を再設定する（ステップＳ５３３）。

　本実施の形態は、「アップ」タイプの映像では、前景の奥行値及び背景の奥行値にそれぞれ一定の値を用いることで奥行感及び立体感をもたせた映像を生成することができ、また、制御部１の処理を簡易にすることができる。

　第３の実施の形態
　第３の実施の形態について説明する。第３の実施の形態は、制御部１が行う構図を判別する処理手順が第１の実施の形態における処理手順（ステップＳ２２）と異なる。本実施の形態は、映像の構図を判別するにあたり、全画素のエッジ強度の分散値を用いるので、映像の構図を正確に判別することができる。

　本実施における制御部１は、２次元映像の構図を判別するにあたり、まず、前景を構成する画素の画素数を計数する。計数した画素数が予め設定された閾値Ｔｈ２以上か否かを判定する。前景の画素数が閾値Ｔｈ２未満である場合は、構図は「バランス」タイプであると判別する。

　制御部１は、前景の画素数が閾値Ｔｈ２以上である場合は、（１５）式に従い、全画素のエッジ強度Ｅｎ（ｘ，ｙ）の値の分散値σ２を算出する。

　映像が被写体のアップである場合は、被写体が映っている領域にエッジの強い画素が集中する。一方、映像が俯瞰の映像である場合は、多数の被写体が点在しているので、エッジの強い画素はフレーム全体に点在している。

　従って、被写体のアップの映像は俯瞰の映像よりもエッジ強度Ｅｎ（ｘ，ｙ）の分散値σ２が一般的に大きいと考えられる。

　制御部１は、分散値σ２が閾値Ｔｈ５以上であるか否かを判定し、分散値σ２が閾値Ｔｈ５以上である場合は、構図が「アップ」タイプであると判別する。分散値σ２が閾値Ｔｈ５未満である場合は、構図が「俯瞰」タイプであると判別する。

　次に、本実施の形態における、制御部１が構図を判別する処理手順について説明する。図１９は第３の実施の形態における制御部１が構図を判別する処理手順を示すフローチャートである。

　制御部１は、前景の画素を計数する（ステップＳ６２１）。制御部１は計数の結果に基づき、画素数が予め設定された閾値Ｔｈ２以上か否かを判定する（ステップＳ６２２）。一方、制御部１は前景の画素数が閾値Ｔｈ２未満である場合は（ステップＳ６２２でＮＯ）、第ｎフレームの構図は「バランス」タイプであると判別する（ステップＳ６２３）。

　制御部１は、前景の画素数が閾値Ｔｈ２以上である場合は（ステップＳ６２２でＹＥＳ）、全画素のエッジ強度Ｅｎ（ｘ，ｙ）の分散値σ２を算出する（ステップＳ６２４）。

　制御部１は、分散値σ２が閾値Ｔｈ５以上であるか否かを判定し（ステップＳ６２５）、分散値σ２が閾値Ｔｈ５未満である場合は（ステップＳ６２５でＮＯ）、構図が「アップ」タイプであると判別する（ステップＳ６２６）。一方、制御部１は分散値σ２が閾値Ｔｈ５以上である場合は（ステップＳ６２５でＹＥＳ）、構図が「俯瞰」タイプであると判別する（ステップＳ６２７）。

　本実施の形態によれば、映像の構図を判別するにあたり、全画素のエッジ強度の分散値を用いるので、映像の構図を正確に判別することができる。

　第４の実施の形態
　図２０は第４の実施の形態におけるテレビ受像装置のハードウェア各部を示すブロック図である。制御部１を動作させるためのプログラムは、ディスクドライブ等の読取部９に、ＣＤ－ＲＯＭ、ＤＶＤディスクまたはＵＳＢメモリ等の可搬型記録媒体２０Ａを読み取らせてＲＯＭ２に記憶する。

　ここで、当該プログラムは、当該プログラムを記憶したフラッシュメモリ等の半導体メモリ２０Ｂを制御部１内に実装してもよく、インターネット等の通信網Ｎを介して通信部８と接続される図示しない他のサーバコンピュータからダウンロードしてもよい。

　図２０に示す制御部１は、上述した各種ソフトウェア処理を実行するプログラムを可搬型記録媒体又は半導体メモリから読み取り、或いは、通信網Ｎを介して図示しない他のサーバコンピュータからダウンロードする。当該プログラムは制御プログラムとしてインストールされ、ＲＯＭ２にロードして実行される。これにより、上述した制御部１として機能する。

　今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

　例えば、本発明における構図は、前述した３つのタイプに限らず、被写体の大きさ、動き又は配置等に基づいて他の構図を設けてもよい。

　一方、制御部１は構図の判別を行わなくてもよい。この場合制御部１は、強エッジ領域情報Ｈｎ（ｘ，ｙ）及び動物体構成画素情報Ｍｎ（ｘ，ｙ）により前景を構成する画素を抽出し、抽出した画素の奥行値を前述した方法により再設定して、３次元映像を生成するようにしてもよい。

　また、強エッジ領域情報Ｈｎ（ｘ，ｙ）及び動物体構成画素情報Ｍｎ（ｘ，ｙ）は、グレースケール値Ｇｎ（ｘ，ｙ）の代わりに画素値ＳｎＲ（ｘ，ｙ）、ＳｎＧ（ｘ，ｙ）、ＳｎＢ（ｘ，ｙ）の一若しくは複数を用い、この画素値が所定の閾値以上か否かの判定を行うことにより算出してもよい。絶対差分情報Ｄｎ（ｘ，ｙ）は、３以上のフレームにおける画素（ｘ，ｙ）のグレースケール値に基づいて算出してもよいし、３以上のフレームにおけるＲ、Ｇ、Ｂ成分の画素値の一若しくは複数を用いて算出してもよい。勿論、ＳｎＲ（ｘ，ｙ）、ＳｎＧ（ｘ，ｙ）、ＳｎＢ（ｘ，ｙ）に示されるＲＧＢ色空間情報を、ＨＳＶやＹＵＶなどに代表される他の色空間に変換した上で用いることが可能なことは言うまでも無い。

１　制御部
２　ＲＯＭ
３　ＲＡＭ
４　映像記憶部
５　入力部
６　出力部
７　チューナ
８　通信部
９　読取部
１０　表示部
２０Ａ　可搬型記録媒体
２０Ｂ　半導体メモリ

Claims

　複数の画素によって構成される２次元映像の各画素に対応する奥行を示す奥行値を算出して３次元映像を生成する映像生成装置において、
　前記２次元映像を構成する各画素の画素値と該各画素に隣接する画素の画素値との差分を算出する第１差分算出部、
　該第１差分算出部で算出した差分が所定の第1閾値以上である画素を抽出する第1抽出部、
　前記２次元映像を構成する各画素の一のフレームにおける画素値と他のフレームにおける画素値との差分を算出する第２差分算出部、
　該第２差分算出部で算出した差分が所定の第２閾値以上である画素を抽出する第２抽出部及び
　前記第１抽出部及び第２抽出部の抽出結果に基づいて前記２次元映像の各画素に対応する奥行値を算出する奥行算出部
　を備えることを特徴とする映像生成装置。
　前記第１差分算出部で算出した差分が前記第１閾値より大きい所定の第３閾値以上である画素を抽出する第３抽出部及び
　該第３抽出部で抽出した各画素が存在する位置の分散の程度を示す位置の分散値を算出する分散値算出部をさらに備え、
　前記奥行算出部は、前記分散値算出部で算出した位置の分散値と、前記第１抽出部又は第２抽出部で抽出された画素の総数とに基づいて前記奥行値を算出するよう構成してある
　ことを特徴とする請求項１に記載の映像生成装置。
　前記第１差分算出部で算出した差分の分散値を算出する第２分散値算出部をさらに備え、
　前記奥行算出部は、前記第２分散値算出部で算出した各画素の差分の分散値と、前記第１抽出部又は第２抽出部で抽出された画素の総数とに基づいて前記奥行値を算出するよう構成してある
　ことを特徴とする請求項１に記載の映像生成装置。
　前記１から３のいずれか１つに記載の映像生成装置及び
該映像生成装置により生成された前記３次元映像を表示する表示部を備える
　ことを特徴とする映像表示装置。
　２次元映像を含むテレビ放送波を受信するチューナ部、
　該チューナ部により受信した２次元映像に基づき３次元映像を生成する請求項1から３のいずれか１つに記載の映像生成装置及び
　該映像生成装置により生成された前記３次元映像を表示する表示部
　を備えることを特徴とするテレビ受像装置。
　複数の画素によって構成される２次元映像の各画素に対応する奥行を示す奥行値を算出して３次元映像を生成する映像生成方法において、
　前記２次元映像を構成する各画素の画素値と該各画素に隣接する画素の画素値との差分を算出する第１差分算出ステップ、
　該第１差分算出ステップで算出した差分が所定の第1閾値以上である画素を抽出する第1抽出ステップ、
　前記２次元映像を構成する各画素の一のフレームにおける画素値と他のフレームにおける画素値との差分を算出する第２差分算出ステップ、
　該第２差分算出ステップで算出した差分が所定の第２閾値以上である画素を抽出する第２抽出ステップ及び
　前記第１抽出ステップ及び第２抽出ステップの抽出結果に基づいて前記２次元映像の各画素に対応する奥行値を算出する奥行算出ステップ
　を備えることを特徴とする映像生成方法。
　複数の画素によって構成される該２次元映像の各画素に対応する奥行を示す奥行値を算出して３次元映像を生成させるコンピュータプログラムにおいて、
　前記２次元映像を構成する各画素の画素値と該各画素に隣接する画素の画素値との差分を算出する第１差分算出ステップ、
　該第１差分算出ステップで算出した差分が所定の第1閾値以上である画素を抽出する第1抽出ステップ、
　前記２次元映像を構成する各画素の一のフレームにおける画素値と他のフレームにおける画素値との差分を算出する第２差分算出ステップ、
　該第２差分算出ステップで算出した差分が所定の第２閾値以上である画素を抽出する第２抽出ステップ及び
　前記第１抽出ステップ及び第２抽出ステップの抽出結果に基づいて前記２次元映像の各画素に対応する奥行値を算出する奥行算出ステップ
　を含む処理をコンピュータに実行させることを特徴とするコンピュータプログラム。