JP3540626B2 - ２次元映像を３次元映像に変換する装置および方法 - Google Patents
２次元映像を３次元映像に変換する装置および方法 Download PDFInfo
- Publication number
- JP3540626B2 JP3540626B2 JP26265598A JP26265598A JP3540626B2 JP 3540626 B2 JP3540626 B2 JP 3540626B2 JP 26265598 A JP26265598 A JP 26265598A JP 26265598 A JP26265598 A JP 26265598A JP 3540626 B2 JP3540626 B2 JP 3540626B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- video
- parallax
- information
- disparity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、２次元映像を３次元映像に変換する装置および方法に関する。
【０００２】
【従来の技術】
２次元映像を３次元映像に変換する方法として、２次元映像信号から、複数のフィールドメモリを用いて、主映像信号と主映像信号に対して時間的に遅延された副映像信号とを生成し、主映像信号と副映像信号のうち、一方を左目用映像信号として出力し、他方を右目用映像信号として出力する方法が知られている。
【０００３】
主映像信号に対する副映像信号の時間的な遅れ（以下、遅延量）は、主映像の水平方向の動きの速度に基づいて、決定される。つまり、主映像の水平方向の動きの速度が大きい程、遅延量は小さくなる。また、主映像と副映像とのうち、いずれを左目用映像信号とし、いずれを右目用映像信号とするかは、主映像の水平方向の動きの方向（左または右）に基づいて決定される。
【０００４】
このような方法は、動きのある２次元映像のみしか３次元映像に変換することができないので、この方法を動画用２Ｄ／３Ｄ映像変換方法ということにする。
【０００５】
本出願人は、動きのない２次元映像を３次元映像に変換するための方法（以下、静止画用２Ｄ／３Ｄ映像変換方法という）を既に開発して出願している（特願平８−２０８１７３号（特開平１０−５１８１２号公報）、特願平９−１５９９４９号（未公開））。
【０００６】
この静止画用２Ｄ／３Ｄ映像変換方法は、２次元入力映像信号に基づいて、各フィールドごとに、１フィールド画面内に設定された複数の視差算出領域のそれぞれに対して、映像の遠近に関する画像特徴量を抽出し、各視差算出領域ごとに抽出された画像特徴量に基づいて、１フィールド画面内の所定単位領域ごとの視差情報を生成し、２次元入力映像信号の各所定単位領域内の信号から、その所定単位領域に対応する視差情報に応じた水平位相差を有する第１映像信号と第２映像信号とをそれぞれ生成するものである。
【０００７】
【発明が解決しようとする課題】
ところで、ある物体を左眼で見た場合と、右眼で見た場合とは、異なる死角が形成される。しかしながら、静止画用２Ｄ／３Ｄ映像変換方法では、左映像と右映像とで同じ死角が形成されてしまう。
【０００８】
この発明は、左映像と右映像とで異なる死角が生成され、立体感が向上する、２次元映像を３次元映像に変換する装置および方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
この発明による２次元映像を３次元映像に変換する装置は、２次元入力映像に基づいて、任意画面において、画面内に設定された複数の視差算出領域のそれぞれに対して、映像の遠近に関する画像特徴量を抽出する特徴量抽出手段、各視差算出領域毎に抽出された画像特徴量に基づいて各視差算出領域毎の視差情報を算出する視差情報算出手段、画面内の各画素毎の第１の視差情報を、その周囲の視差算出領域に対する視差情報に重みを付けて加算することにより算出し、各画素毎にその画素に対応する第１の視差情報に応じた水平位相差を有する第１の左映像および第１の右映像を生成する第１映像生成手段、画面内の各画素毎の第２の視差情報を、その周囲の視差算出領域に対する視差情報のうち、遠近位置が最も遠いことを表している視差情報と等しくなるように決定し、各画素毎にその画素に対応する第２の視差情報に応じた水平位相差を有する第２の左映像および第２の右映像を生成する第２映像生成手段、第１の左映像および第２の左映像が入力され、第１の左映像から検出されたエッジ位置および上記第１の視差情報に基づいて、画素単位で第１の左映像および第２の左映像のいずれかを選択して、左出力映像として出力させる第１出力手段、ならびに第１の右映像および第２の右映像が入力され、第１の右映像から検出されたエッジ位置および上記第１の視差情報に基づいて、画素単位で第１の右映像および第２の右映像のいずれかを選択して、右出力映像として出力させる第２出力手段を備えていることを特徴とする。
【００１０】
第１出力手段としては、具体的には、常時は第１の左映像を選択しており、第１の左映像から検出されたエッジ位置の左側位置に対する第１の視差情報によって表される遠近位置が、そのエッジ位置の右側位置に対する第１の視差情報によって表される遠近位置より前側にある場合には、そのエッジ位置から右側の所定水平位置までの期間において第２の左映像を選択するものが用いられる。
【００１１】
第２出力手段としては、具体的には、常時は第１の右映像を選択しており、第１の右映像から検出されたエッジ位置の左側位置に対する第１の視差情報によって表される遠近位置が、そのエッジ位置の右側位置に対する第１の視差情報によって表される遠近位置より後側にある場合には、そのエッジ位置より左側の所定水平位置からそのエッジ位置までの期間において第２の右映像を選択するものが用いられる。
【００１２】
映像の遠近に関する画像特徴量としては、たとえば、高周波成分の積算値、輝度コントラスト、Ｒ−Ｙ成分の積算値、Ｂ−Ｙ成分の積算値のうちから選択された任意の１つまたは任意の組み合わせが用いられる。
【００１３】
この発明による２次元映像を３次元映像に変換する方法は、２次元入力映像に基づいて、任意画面において、画面内に設定された複数の視差算出領域のそれぞれに対して、映像の遠近に関する画像特徴量を抽出する第１ステップ、各視差算出領域毎に抽出された画像特徴量に基づいて各視差算出領域毎の視差情報を算出する第２ステップ、画面内の各画素毎の第１の視差情報を、その周囲の視差算出領域に対する視差情報に重みを付けて加算することにより算出し、各画素毎にその画素に対応する第１の視差情報に応じた水平位相差を有する第１の左映像および第１の右映像を生成する第３ステップ、画面内の各画素毎の第２の視差情報を、その周囲の視差算出領域に対する視差情報のうち、遠近位置が最も遠いことを表している視差情報と等しくなるように決定し、各画素毎にその画素に対応する第２の視差情報に応じた水平位相差を有する第２の左映像および第２の右映像を生成する第４ステップ、第１の左映像から検出されたエッジ位置および上記第１の視差情報に基づいて、画素単位で第１の左映像および第２の左映像のいずれかを選択して、左出力映像として出力させる第５ステップ、ならびに第１の右映像から検出されたエッジ位置および上記第１の視差情報に基づいて、画素単位で第１の右映像および第２の右映像のいずれかを選択して、右出力映像として出力させる第６ステップを備えていることを特徴とする。
【００１４】
第５ステップでは、具体的には、常時は第１の左映像を選択しており、第１の左映像から検出されたエッジ位置の左側位置に対する第１の視差情報によって表される遠近位置が、そのエッジ位置の右側位置に対する第１の視差情報によって表される遠近位置より前側にある場合には、そのエッジ位置から右側の所定水平位置までの期間において第２の左映像を選択する。
【００１５】
第６ステップでは、具体的には、常時は第１の右映像を選択しており、第１の右映像から検出されたエッジ位置の左側位置に対する第１の視差情報によって表される遠近位置が、そのエッジ位置の右側位置に対する第１の視差情報によって表される遠近位置より後側にある場合には、そのエッジ位置より左側の所定水平位置からそのエッジ位置までの期間において第２の右映像を選択する。
【００１６】
映像の遠近に関する画像特徴量としては、たとえば、高周波成分の積算値、輝度コントラスト、Ｒ−Ｙ成分の積算値、Ｂ−Ｙ成分の積算値のうちから選択された任意の１つまたは任意の組み合わせが用いられる。
【００１７】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
【００１８】
図１は、２次元映像を３次元映像に変換するための２Ｄ／３Ｄ映像変換装置の全体的な構成を示している。
【００１９】
２次元映像信号（輝度信号Ｙ、色差信号Ｒ−Ｙおよび色差信号Ｂ−Ｙ）は、ＡＤ変換回路１（ＡＤＣ）によってそれぞれデジタル信号に変換される。ＡＤ変換回路１から出力される２次元映像信号は、映像の遠近に関する画像特徴量を検出する画像特徴量検出回路２に送られる。
【００２０】
ＡＤ変換回路１から出力される輝度信号Ｙは、左背景映像用任意画素遅延ＦＩＦＯ２１を含む左背景映像生成回路３、右背景映像用任意画素遅延ＦＩＦＯ２２を含む右背景映像生成回路４、左映像用任意画素遅延ＦＩＦＯ２３を含む左映像生成回路５および右映像用任意画素遅延ＦＩＦＯ２４を含む右映像生成回路６に送られる。
【００２１】
図１では省略されているが、輝度信号Ｙが送られる左背景映像生成回路３、右背景映像生成回路４、左映像生成回路５および右映像生成回路６と同様な回路が、色差信号Ｒ−Ｙおよび色差信号Ｂ−Ｙのそれぞれに対して設けられている。色差信号Ｒ−Ｙおよび色差信号Ｂ−Ｙに対して設けられた左背景映像生成回路、右背景映像生成回路、左映像生成回路および右映像生成回路の動作は、輝度信号Ｙに対して設けられた左背景映像生成回路３、右背景映像生成回路４、左映像生成回路５および右映像生成回路６の動作と同じであるので、以下においては、輝度信号Ｙに対して設けられた左背景映像生成回路３、右背景映像生成回路４、左映像生成回路５および右映像生成回路６の動作についてのみ説明することにする。
【００２２】
画像特徴量検出回路２は、高周波成分積算回路、輝度コントラスト算出回路、Ｒ−Ｙ成分積算回路およびＢ−Ｙ成分積算回路を含んでいる。高周波成分積算回路および輝度コントラスト算出回路としては、たとえば、特開平１０−５１８１２号公報に開示されている高周波成分積算回路および輝度コントラスト算出回路を用いることができる。また、Ｒ−Ｙ成分積算回路およびＢ−Ｙ成分積算回路としては、たとえば、特開平１０−５１８１２号公報に開示されている輝度積算回路と同じ構成の回路を用い、輝度信号Ｙの代わりに色差信号Ｒ−ＹまたはＢ−Ｙを入力させればよい。
【００２３】
高周波成分積算回路は、１フィールド毎に、図２に示すように、１フィールド画面内に予め設定された複数個の視差算出領域Ｅ１〜Ｅ１２それぞれに対する高周波成分の積算値を算出する。輝度コントラスト算出回路は、１フィールド毎に、各視差算出領域Ｅ１〜Ｅ１２それぞれに対する輝度コントラストを算出する。Ｒ−Ｙ成分積算回路は、１フィールド毎に、各視差算出領域Ｅ１〜Ｅ１２それぞれに対するＲ−Ｙ成分の積算値を算出する。Ｂ−Ｙ成分積算回路は、１フィールド毎に、各視差算出領域Ｅ１〜Ｅ１２それぞれに対するＢ−Ｙ成分の積算値を算出する。
【００２４】
各視差算出領域Ｅ１〜Ｅ１２それぞれに対する高周波成分の積算値、各視差算出領域Ｅ１〜Ｅ１２それぞれに対する輝度コントラスト、各視差算出領域Ｅ１〜Ｅ１２それぞれに対するＲ−Ｙ成分の積算値および各視差算出領域Ｅ１〜Ｅ１２それぞれに対するＢ−Ｙ成分の積算値は、視差算出領域Ｅ１〜Ｅ１２ごとの映像の遠近に関する画像特徴量として用いられる。
【００２５】
なお、１フィールド画面内には、実際には、図３に示すように６行１０列の計６０個の視差算出領域が設定されているが、説明の便宜上、図２に示すように、１フィールド画面内に、３行４列の計１２個の視差算出領域Ｅ１〜Ｅ１２が設定されているものとする。
【００２６】
ＣＰＵ７は、画像特徴量検出回路２から送られてきた情報に基づいて、各視差算出領域Ｅ１〜Ｅ１２に対する視差情報を生成する。この例では、被写体のように前側にある物体ほど視差量が少なく、背景のように後側にある物体ほど視差量が大きくなるように視差情報が生成される。この視差情報の生成方法の詳細については、後述する。
【００２７】
ＣＰＵ７によって算出された各視差算出領域Ｅ１〜Ｅ１２に対する視差情報は、視差制御回路８および背景映像用視差制御回路９に送られる。
【００２８】
視差制御回路８は、１フィールド画面内の各画素位置毎の視差情報を、その周囲の視差算出領域に対する視差情報に重みを付けて加算することにより算出する。そして、視差制御回路８は、算出した各画素位置ごとの視差情報に応じた視差を有する左映像と右映像とが生成されるように、左映像生成回路５および右映像生成回路６を制御する。
【００２９】
背景映像用視差制御回路９は、１フィールド画面内の各画素位置毎の視差情報を、その周囲の視差算出領域に対する視差情報のうち、遠近位置が最も遠いことを表している視差情報と等しくなるように決定する。そして、背景映像用視差制御回路９は、決定した各画素位置ごとの視差情報に応じた視差を有する左背景映像と右背景映像とが生成されるように、左背景映像生成回路３および右背景映像生成回路４を制御する。
【００３０】
左映像生成回路５から出力された左映像（第１の左映像）は、エッジピーク位置検出回路１１に送られるとともに第１の選択回路１３に送られる。左背景映像生成回路３から出力された左背景映像（第２の左映像）は、第１の選択回路１３に送られる。
【００３１】
右映像生成回路６から出力された右映像（第１の右映像）は、エッジピーク位置検出回路１５に送られるとともに第２の選択回路１７に送られる。右背景映像生成回路４から出力された右背景映像（第２の右映像）は、第２の選択回路１７に送られる。
【００３２】
第１の選択回路１３は、第１の背景選択制御回路１２からの選択制御信号に基づいて、左映像および左背景映像のうちのいずれかを選択して出力する。第１の選択回路１３の出力はＤＡ変換器（ＤＡＣ）１４によってアナログ信号に変換された後、図示しない立体表示装置に送られる。
【００３３】
第２の選択回路１７は、第２の背景選択制御回路１６からの選択制御信号に基づいて、右映像および右背景映像のうちのいずれかを選択して出力する。第２の選択回路１７の出力はＤＡ変換器（ＤＡＣ）１８によってアナログ信号に変換された後、図示しない立体表示装置に送られる。
【００３４】
第１の背景選択制御回路１２は、エッジピーク位置検出回路１１の検出信号と、視差比較回路１０からの比較結果信号ＥＮＬＳＥＬとに基づいて、選択制御信号を出力する。第２の背景選択制御回路１６は、エッジピーク位置検出回路１５の検出信号と、視差比較回路１０からの比較結果信号ＥＮＲＳＥＬとに基づいて、選択制御信号を出力する。
【００３５】
図４は、ＣＰＵ７によって行なわれる視差算出領域毎の視差情報生成処理手順を示している。
【００３６】
分割領域毎の視差情報生成処理においては、グループ分け処理（ステップ１）、空間分離処理（ステップ２）、特異点処理（ステップ３）、グループ間結合処理（ステップ４）、グループ毎の奥行き情報生成処理（ステップ５）、全領域に対する奥行き情報補正処理（ステップ６）、グループ境界に対する奥行き情報補正処理（ステップ７）、グループ内部に対する奥行き情報補正処理（ステップ８）および視差情報算出処理（ステップ９）が行なわれる。
【００３７】
１フィールドに対して実際に設定されている６０個の視差算出領域を例にとって、視差情報生成処理を説明する。図３は、１フィールドに対して実際に設定されている６０個の視差算出領域Ｆ１〜Ｆ６０を示している。
【００３８】
（１）グループ分け処理の説明
【００３９】
ステップ１のグループ分け処理は、１枚の画像を構成する全領域を、その画像に含まれている物体ごとにグループ分けすることを目的として行なわれる最初の処理である。
【００４０】
視差算出領域Ｆ１〜Ｆ６０毎に得られたＲ−Ｙ成分の積算値を、０〜２０の範囲の値に正規化する。そして、Ｒ−Ｙ成分積算値の各正規化値に属する視差算出領域の数の分布（ヒストグラム）を生成する。このヒストグラムに基づいて、Ｒ−Ｙ成分積算値の正規化値の中から、グループ間の境界値を求める。
【００４１】
また、視差算出領域Ｆ１〜Ｆ６０毎に得られたＢ−Ｙ成分の積算値を、０〜１０の範囲の値に正規化する。そして、Ｂ−Ｙ成分積算値の各正規化値に属する視差算出領域の数の分布（ヒストグラム）を生成する。このヒストグラムに基づいて、Ｂ−Ｙ成分積算値の正規化値の中から、グループ間の境界値を求める。
【００４２】
そして、図５に示すように、このようにして得られた２種類の境界値を用いて、全視差算出領域をグループ化する。図８および図７は、このようにして各視差算出領域Ｆ１〜Ｆ６０が、グループ分けされた結果を示している。図６および図７において、Ｇ１〜Ｇ５は、グループ番号を示している。
【００４３】
この例では、第２方法によってグループ分け処理が行なわれたものとする。
【００４４】
（２）空間分離処理の説明
【００４５】
ステップ２の空間分離処理では、ステップ１の処理によって同一のグループに属している視差算出領域のうち、空間的に隣接している視差算出領域どうしが１つのグループとされる。つまり、ステップ１の処理によって同一のグループに属している視差算出領域であっても、空間的に他のグループによって分離されている視差算出領域どうしは、別々のグループとされる。
【００４６】
具体的には、図８に示すように、ステップ１において、グループ３（Ｇ３）に属するとされた視差算出領域は、グループ３１（Ｇ３１）、グループ３２（Ｇ３２）およびグループ３３（Ｇ３３）の３つのグループに分離される。
【００４７】
（３）特異点処理の説明
【００４８】
この特異点処理では、１つの視差算出領域のみで構成されているグループが存在する場合に、その１つの視差算出領域が隣接する他のグループとは別の物体に対応しているのか、隣接する他のグループの物体と同じ物体に対応しているのかが判定される。
【００４９】
たとえば、図９に示すように、あるグループが１つの視差算出領域Ａのみで構成されているグループであるとする。視差算出領域Ａの上方向にある２つの視差算出領域を、視差算出領域Ａに近いものからＵ１、Ｕ２とする。視差算出領域Ａの下方向にある２つの視差算出領域を、視差算出領域Ａに近いものからＤ１、Ｄ２とする。視差算出領域Ａの左方向にある２つの視差算出領域を、視差算出領域Ａに近いものからＬ１、Ｌ２とする。視差算出領域Ａの右方向にある２つの視差算出領域を、視差算出領域Ａに近いものからＲ１、Ｒ２とする。
【００５０】
この場合に、領域Ａを中心とする上下左右のそれぞれの方向について、領域Ａとそれの１つ外側の領域Ｕ１、Ｄ１、Ｌ１、Ｒ１との色距離が、領域Ａより１つ外側の領域Ｕ１、Ｄ１、Ｌ１、Ｒ１とさらにその１つ外側の領域Ｕ２、Ｄ２、Ｌ２、Ｒ２との色距離より大きい場合には、領域Ａのみで構成されているグループは単独で１つのグループを形成すると判別される。そうでない場合には、領域Ａはその周囲のグループに属すると判別される。つまり、グループ分けが修正される。
【００５１】
色距離の定義について説明する。ある視差算出領域Ｆａに対するＢ−Ｙ成分積算値、Ｒ−Ｙ成分積算値をそれぞれＦａ（Ｂ−Ｙ）、Ｆａ（Ｒ−Ｙ）で表し、ある視差算出領域Ｆｂに対するＢ−Ｙ成分積算値、Ｒ−Ｙ成分積算値をそれぞれＦｂ（Ｂ−Ｙ）、Ｆｂ（Ｒ−Ｙ）で表すと、領域Ｆａと領域Ｆｂとの間の色距離distは、次の数式１で定義される。
【００５２】
【数１】
【００５３】
例えば、図９の領域Ａの（Ｂ−Ｙ成分積算値、Ｒ−Ｙ成分積算値）が（−４，５）で、領域Ｕ１の（Ｂ−Ｙ成分積算値、Ｒ−Ｙ成分積算値）が（−５，４）で、領域Ｕ２の（Ｂ−Ｙ成分積算値、Ｒ−Ｙ成分積算値）が（−７，２）であるとする。領域Ａと領域Ｕ１との色距離distは”２”となり、領域Ｕ１と領域Ｕ２との色距離distは”４”となる。
【００５４】
図８のグループ３１（Ｇ３１）が１つの視差算出領域のみで構成されており、上記のような特異点処理により、グループ１（Ｇ１）に属すると判別されたとすると、図１０に示すようにグループ分けが修正される。
【００５５】
（４）グループ間結合処理の説明
【００５６】
ステップ４のグループ間結合処理では、まず、各グループ毎に、そのグループを構成する視差算出領域のＲ−Ｙ成分積算値の平均値およびＢ−Ｙ成分積算値の平均値が算出される。
【００５７】
次に、隣接している２つのグループどうし間の色距離が算出される。つまり、隣接している２つのグループをＧａ、Ｇｂとする。グループＧａがｎ個の視差算出領域ａ１、ａ２、…ａｎで構成されているとすると、グループＧａのＢ−Ｙ成分積算値の平均値＊Ｇａ（Ｂ−Ｙ）およびＲ−Ｙ成分積算値の平均値＊Ｇａ（Ｒ−Ｙ）は、次の数式２で求められる。
【００５８】
【数２】
【００５９】
また、グループＧｂがｍ個の視差算出領域ｂ１、ｂ２、…ｂｍで構成されているとすると、グループＧｂのＢ−Ｙ成分積算値の平均値＊Ｇｂ（Ｂ−Ｙ）およびＲ−Ｙ成分積算値の平均値＊Ｇｂ（Ｒ−Ｙ）は、次の数式３で求められる。
【００６０】
【数３】
【００６１】
グループＧａとグループＧｂとの間の色距離ｄｉｓｔは、次の数式４によって定義される。
【００６２】
【数４】
【００６３】
そして、隣り合う２つのグループ間の色距離がしきい値より小さいか否かが判別され、色距離がしきい値より小さいときには、これらの２つのグループが結合される。つまり、これらの２つのグループが１つのグループにまとめられる。
【００６４】
（５）グループ毎の奥行き情報生成処理の説明
【００６５】
ステップ５のグループ毎の奥行き情報生成処理では、まず、視差算出領域Ｆ１〜Ｆ６０毎に得られた高周波成分の積算値が、０〜１０の範囲の値に正規化される。また、視差算出領域Ｆ１〜Ｆ６０毎に得られた輝度コントラストが、０〜１０の範囲の値に正規化される。
【００６６】
そして、得られた高周波成分の積算値の正規化値と、輝度コントラストの正規化値と、図１１に示すように各視差算出領域Ｆ１〜Ｆ６０毎に予め与えられた背景重み成分に基づいて、グループ毎の奥行き情報が生成される。
【００６７】
任意の１つのグループに対する奥行き情報の生成方法について説明する。まず、当該グループに属している視差算出領域数ｎが求められる。また、当該グループに属している視差算出領域に対する高周波成分の積算値の正規化値ａの総和Σａが算出される。また、当該グループに属している視差算出領域に対する輝度コントラストの正規化値ｂの総和Σｂが算出される。また、当該グループに属している視差算出領域に対する背景重み成分ｃの総和Σｃが算出される。
【００６８】
そして、次の数式５に基づいて、当該グループに対する奥行き情報Ｈが生成される。
【００６９】
【数５】
【００７０】
数式５において、Ｋ１、Ｋ２およびＫ３は係数であり、たとえば、Ｋ１＝３／８、Ｋ２＝１／８、Ｋ３＝４／８に設定されている。
【００７１】
（６）全領域に対する奥行き情報補正処理の説明
【００７２】
ステップ５のグループ毎の奥行き情報補正処理では、まず、視差算出領域Ｆ１〜Ｆ６０の各行ごとに、奥行き情報の平均値が算出される。各視差算出領域Ｆ１〜Ｆ６０ごとの奥行き情報が、たとえば、図１２に示すような値であった場合には、第１〜第６行目ごとの奥行き情報の平均値は、１．２、３．６、６．０、７．２、４．０、１．２となる。
【００７３】
次に、視差算出領域の各行のうち、手前位置の物体が多く映っている領域が抽出される。つまり、奥行き情報の平均値が最も大きい行が抽出される。図１２の例では、第４行目の領域が抽出される。
【００７４】
次に、抽出された行より下段にある行の各領域については、直上の領域に対して、急激に奥行き情報が小さくならないように、抽出された行より下段にある行の各領域の奥行き情報が調整される。具体的には、抽出された行より下段にある行の各領域の奥行き情報が直上の領域に対して３以上小さい領域に対しては、直上の領域の奥行き情報より２だけ小さい値に、その領域の奥行き情報が変更せしめられる。
【００７５】
図１２の例では、図１３に示すように、まず、第５行の各領域Ｆ４１〜Ｆ５０のうち、その奥行き情報が直上の領域の奥行き情報に対して３以上小さい領域Ｆ４２〜Ｆ４９に対して、奥行き情報が補正される。この後、第６行の各領域Ｆ５１〜Ｆ６０のうち、その奥行き情報が直上の領域の奥行き情報（補正後の奥行き情報）に対して３以上小さい領域Ｆ５３〜Ｆ５８に対して、奥行き情報が補正される。
【００７６】
つまり、任意の水平位置における画面の高さに対する奥行き情報の関係が、図１４に曲線Ｕ１で示すような関係である場合には、奥行き補正によって、画面の高さに対する奥行き情報の関係が、図１４に曲線Ｕ２に示すような関係となるように補正される。
【００７７】
このように、視差算出領域の各行のうち、手前位置の物体が多く映っている領域より下段の領域の奥行き情報が補正されているのは次の理由による。
【００７８】
一般的には、画面の下側には前方に存在する物体が映っていることが多い。また、画面の下側に映っている物体は、地面等のように変化の少ない画像であることが多い。地面等のように変化の少ない画像は、高周波成分が低いため、前方にあるにも係わらず、奥行き情報の値は小さくなる。そこで、奥行き補正により、前方にある物体であって高周波成分が低い映像に対する奥行き情報を、その直上の領域の奥行き情報の値より大きくならない程度に大きくしているのである。
【００７９】
（７）グループ境界に対する奥行き情報補正処理の説明
【００８０】
隣り合う２つのグループ間の境界部においては、正しくグループ分けが行なわれていないことがある。また、隣り合う２つのグループ間の境界部において、グループ毎の奥行き推定値が大きく異なると、画像歪みが顕著となる。
【００８１】
そこで、ステップ７のグループ境界に対する奥行き情報補正処理では、まず、隣り合う２つのグループ間の境界部毎に、一方のグループの視差算出領域の奥行き情報と、他方のグループの視差算出領域の奥行き情報との差が、予め定められた所定値以上か否かが判別される。そして、両者の奥行き情報の差が所定値以上である場合には、両者の奥行き情報の差が所定値より小さくなるように、奥行き情報が小さい方（つまり、後方に位置している方）の視差算出領域に対する奥行き情報を増加させる。
【００８２】
（８）グループ内部に対する奥行き情報補正処理の説明
【００８３】
上記ステップ６および７の補正処理によって、同一グループ内においても領域によって奥行き情報に差が生じる。この差が大きくなると、画像歪みが顕著となる。そこで、ステップ８のグループ内部に対する奥行き情報補正処理では、各グループ毎に、グループ内の奥行き推定値が平滑化される。
【００８４】
つまり、図１５に示すように、同じグループ内において、注目領域をＡ、それに対する奥行き情報をＨＡとし、それに隣接する４つの領域をＵ、Ｄ、Ｌ、Ｒ、それらに対する奥行き情報をＨＵ、ＨＤ、ＨＬ、ＨＲとすると、注目領域Ａに対する奥行き推定値ＨＡは次の数式６により、補正される。
【００８５】
【数６】
【００８６】
このようにして得られた各視差算出領域Ｆ１〜Ｆ６０ごとの奥行き情報は、再度、０〜１０の範囲内で正規化される。
【００８７】
（９）視差情報算出処理の説明
【００８８】
ステップ９の視差情報算出処理では、各視差算出領域Ｆ１〜Ｆ６０ごとの奥行き情報が各領域Ｆ１〜Ｆ６０ごとの視差情報に変換される。
【００８９】
つまり、予め設定された奥行き情報に対する視差情報との関係に基づいて、各領域Ｆ１〜Ｆ６０ごとに、奥行き情報を視差情報に変換する。奥行き情報に対する視差情報との関係は、図１６に直線Ｓ１またはＳ２で示されるように、反比例の関係である。
【００９０】
図１６において、直線Ｓ１で示される奥行き情報に対する視差情報との関係は、立体感が比較的強い立体映像を得たい場合に用いられる。直線Ｓ２で示される奥行き情報に対する視差情報との関係は、立体感が比較的弱い立体映像を得たい場合に用いられる。奥行き情報に対する視差情報との関係を、直線Ｓ１と直線Ｓ２との間で調整することにより、立体感を調整することが可能である。
【００９１】
このようにして得られた各視差算出領域ごとの視差情報は、視差制御回路８（図１参照）および背景映像用視差制御回路９（図１参照）に送られる。
【００９２】
図１７は、図１の視差制御回路８、左映像生成回路５および右映像生成回路６の構成を示している。以下においては、視差算出領域が、図２に示すように、Ｅ１〜Ｅ１２であるとして説明する。
【００９３】
ところで、ＣＰＵ７によって算出された視差情報は、各視差算出領域Ｅ１〜Ｅ１２の中心位置に対する視差情報である。視差制御回路８では、各視差算出領域Ｅ１〜Ｅ１２の中心位置に対する視差情報に基づいて、１フィールド画面の各画素位置に対する視差情報が求められる。そして、各画素位置に対する２次元映像信号から、その画素位置に対する視差情報に応じた視差を有する左映像と右映像とを生成するために、各画素位置に対する視差情報に基づいて、左映像用任意画素遅延ＦＩＦＯ２３および右映像用任意画素遅延ＦＩＦＯ２４の読み出しアドレスが制御される。
【００９４】
１フィールド画面の各画素位置に対する視差情報は、タイミング信号発生回路５１、視差補間係数発生回路５２、視差情報記憶手段６０、視差選択回路８０、第１〜第４乗算器８１〜８４および加算回路８５によって、生成される。
【００９５】
入力映像信号の水平同期信号Ｈｓｙｎｃおよび垂直同期信号Ｖｓｙｎｃは、タイミング信号発生回路５１に入力している。また、各水平期間の水平アドレスを検出するためのクロック信号ＣＬＫもタイミング信号発生回路５１に入力している。
【００９６】
タイミング信号発生回路５１は、水平同期信号Ｈｓｙｎｃ、垂直同期信号Ｖｓｙｎｃおよびクロック信号ＣＬＫに基づいて、入力映像信号の絶対的水平位置を表す水平アドレス信号ＨＡＤ、入力映像信号の絶対的垂直位置を表す垂直アドレス信号ＶＡＤ、入力映像信号の相対的水平位置を表す相対的水平位置信号ＨＰＯＳおよび入力映像信号の相対的垂直位置を表す相対的垂直位置信号ＶＰＯＳを生成して出力する。
【００９７】
入力映像信号の相対的水平位置および相対的垂直位置について説明する。
【００９８】
図１８に示すように、図２の視差算出領域Ｅ１〜Ｅ１２は、次のように設定されている。画面全体が図１８に点線で示すように、４行５列の２０個の領域（以下、第１分割領域という）に分割されている。そして、左上端の第１分割領域の中心、右上端の第１分割領域の中心、左下端の第１分割領域の中心および右下端の第１分割領域の中心を４頂点とする四角形領域が３行４列の１２個の領域（以下、第２分割領域という）に分割され、各第２分割領域が視差算出領域Ｅ１〜Ｅ１２として設定されている。
【００９９】
第１分割領域および第２分割領域の水平方向の画素数がｍで表され、第１分割領域および第２分割領域の垂直方向の画素数がｎとして表されている。入力映像信号の相対的水平位置は、各第１分割領域の左端を０とし、右端をｍとして、０〜（ｍ−１）で表される。入力映像信号の相対的垂直位置は、各第１分割領域の上端を０とし、下端をｎとして、０〜（ｎ−１）で表される。
【０１００】
入力映像信号の相対的水平位置信号ＨＰＯＳおよび相対的垂直位置ＶＰＯＳは、視差補間係数発生回路５２に送られる。視差補間係数発生回路５２は、相対的水平位置信号ＨＰＯＳ、相対的垂直位置ＶＰＯＳおよび次の数式７に基づいて、第１視差補間係数ＫＵＬ、第２視差補間係数ＫＵＲ、第３視差補間係数ＫＤＬおよび第４視差補間係数ＫＤＲを生成して出力する。
【０１０１】
【数７】
【０１０２】
１フィールド画面の各画素位置に対する視差情報を生成する方法の基本的な考え方について、図１９を用いて説明する。水平アドレス信号ＨＡＤおよび垂直アドレス信号ＶＡＤによって表されている水平垂直位置（以下、注目位置という）が図１９のＰｘｙであるとする。注目位置Ｐｘｙに対する視差情報を求める場合について説明する。
【０１０３】
（１）まず、ＣＰＵ７によって算出された各視差算出領域Ｅ１〜Ｅ１２に対する視差情報のうちから、注目位置Ｐｘｙが含まれる第１分割領域の４頂点、この例ではＰＥ１、ＰＥ２、ＰＥ５、ＰＥ６を中心とする視差算出領域Ｅ１、Ｅ２、Ｅ５、Ｅ６に対する視差情報が、それぞれＵＬ、ＵＲ、ＤＬ、ＤＲとして抽出される。つまり、注目位置Ｐｘｙが含まれる第１分割領域の４頂点のうち、左上の頂点を中心とする領域Ｅ１の視差情報が第１視差情報ＵＬとして、右上の頂点を中心とする領域Ｅ２の視差情報が第２視差情報ＵＲとして、左下の頂点を中心とする領域Ｅ５の視差情報が第３視差情報ＤＬとして、右下の頂点を中心とする領域Ｅ６の視差情報が第４視差情報ＤＲとして抽出される。
【０１０４】
ただし、注目位置が含まれる第１分割領域が、図１８の左上端の第１分割領域である場合のように、注目位置が含まれる第１分割領域の４頂点のうち１つの頂点のみが視差検出領域の中心に該当するような場合には、その視差算出領域の視差情報が、第１〜第４の視差情報ＵＬ、ＵＲ、ＤＬ、ＤＲとして抽出される。
【０１０５】
また、注目位置が含まれる第１分割領域が、図１８の左上端の第１分割領域の右隣の第１分割領域である場合のように、注目位置が含まれる第１分割領域の４頂点のうち下側の２つの頂点のみが視差算出領域の中心に該当するような場合には、注目位置が含まれる第１分割領域の４頂点のうち上側の２つの頂点に対応する視差情報ＵＬ、ＵＲとしては、その下側の頂点を中心とする視差算出領域の視差情報が抽出される。
【０１０６】
また、注目位置が含まれる第１分割領域が、図１８の左上端の第１分割領域の下隣の第１分割領域である場合のように、注目位置が含まれる第１分割領域の４頂点のうち右側の２つの頂点のみが視差算出領域の中心に該当するような場合には、注目位置が含まれる第１分割領域の４頂点のうち左側の２つの頂点に対応する視差情報ＵＬ、ＤＬとしては、その右側の頂点を中心とする視差算出領域の視差情報が抽出される。
【０１０７】
また、注目位置が含まれる第１分割領域が、図１８の右下端の第１分割領域の左隣の第１分割領域である場合のように、注目位置が含まれる第１分割領域の４頂点のうち上側の２つの頂点のみが視差算出領域の中心に該当するような場合には、注目位置が含まれる第１分割領域の４頂点のうち下側の２つの頂点に対応する視差情報ＤＬ、ＤＲとしては、その上側の頂点を中心とする視差算出領域の視差情報が抽出される。
【０１０８】
また、注目位置が含まれる第１分割領域が、図１８の右下端の第１分割領域の上隣の第１分割領域である場合のように、注目位置が含まれる第１分割領域の４頂点のうち左側の２つの頂点のみが視差算出領域の中心に該当するような場合には、注目位置が含まれる第１分割領域の４頂点のうち右側の２つの頂点に対応する視差情報ＵＲ、ＤＲとしては、その左側の頂点を中心とする視差算出領域の視差情報が抽出される。
【０１０９】
（２）次に、第１〜第４の視差補間係数ＫＵＬ、ＫＵＲ、ＫＤＬおよびＫＤＲが求められる。
【０１１０】
第１の視差補間係数ＫＵＬは、注目位置Ｐｘｙを含む第１分割領域ｅの水平方向幅ｍに対する、注目位置Ｐｘｙから第１分割領域ｅの右辺までの距離ΔＸＲとの比｛（ｍ−ＨＰＯＳ）／ｍ｝と、第１分割領域ｅの垂直方向幅ｎに対する、注目位置Ｐｘｙから第１分割領域ｅの下辺までの距離ΔＹＤとの比｛（ｎ−ＶＰＯＳ）／ｎ｝との積によって求められる。すなわち、第１の視差補間係数ＫＵＬは、注目位置Ｐｘｙを含む第１分割領域ｅの左上頂点ＰＥ１と注目位置Ｐｘｙとの距離が小さいほど大きくなる。
【０１１１】
第２の視差補間係数ＫＵＲは、注目位置Ｐｘｙを含む第１分割領域ｅの水平方向幅ｍに対する、注目位置Ｐｘｙから第１分割領域ｅの左辺までの距離ΔＸＬとの比（ＨＰＯＳ／ｍ｝と、第１分割領域ｅの垂直方向幅ｎに対する、注目位置Ｐｘｙから第１分割領域ｅの下辺までの距離ΔＹＤとの比｛（ｎ−ＶＰＯＳ）／ｎ｝との積によって求められる。すなわち、第２の視差補間係数ＫＵＲは、注目位置Ｐｘｙを含む第１分割領域ｅの右上頂点ＰＥ２と注目位置Ｐｘｙとの距離が小さいほど大きくなる。
【０１１２】
第３の視差補間係数ＫＤＬは、注目位置Ｐｘｙを含む第１分割領域ｅの水平方向幅ｍに対する、注目位置Ｐｘｙから第１分割領域ｅの右辺までの距離ΔＸＲとの比｛（ｍ−ＨＰＯＳ）／ｍ｝と、第１分割領域ｅの垂直方向幅ｎに対する、注目位置Ｐｘｙから第１分割領域ｅの上辺までの距離ΔＹＵとの比（ＶＰＯＳ／ｎ）との積によって求められる。すなわち、第３の視差補間係数ＫＤＬは、注目位置Ｐｘｙを含む第１分割領域ｅの左下頂点ＰＥ５と注目位置Ｐｘｙとの距離が小さいほど大きくなる。
【０１１３】
第４の視差補間係数ＫＤＲは、注目位置Ｐｘｙを含む第１分割領域ｅの水平方向幅ｍに対する、注目位置Ｐｘｙから第１分割領域ｅの左辺までの距離ΔＸＬとの比（ＨＰＯＳ／ｍ）と、第１分割領域ｅの垂直方向幅ｎに対する、注目位置Ｐｘｙから第１分割領域ｅの上辺までの距離ΔＹＵとの比（ＶＰＯＳ／ｎ）との積によって求められる。すなわち、第４の視差補間係数ＫＤＲは、注目位置Ｐｘｙを含む第１分割領域ｅの右下頂点ＰＥ６と注目位置Ｐｘｙとの距離が小さいほど大きくなる。
【０１１４】
（３）上記（１）で抽出された第１〜第４の視差情報ＵＬ、ＵＲ、ＤＬ、ＤＲに、それぞれ上記（２）で算出された第１〜第４の視差補間係数ＫＵＬ、ＫＵＲ、ＫＤＬ、ＫＤＲがそれぞれ乗算される。そして、得られた４つの乗算値が加算されることにより、注目位置Ｐｘｙに対する視差情報（請求項１記載の「各画素毎の第１の視差情報」に相当）が生成される。
上記した処理により、画面内の各画素毎の第１の視差情報を、その周囲の視差算出領域に対する視差情報に重みを付けて加算することにより算出し、各画素毎にその画素に対応する第１の視差情報に応じた水平位相差を有する第１の左映像および第１の右映像を生成している。
【０１１５】
視差情報記憶手段６０は、領域Ｅ１〜Ｅ１２にそれぞれ対応して設けられた第１〜第１２の視差レジスタ６１〜７２を備えている。第１〜第１２の視差レジスタ６１〜７２には、ＣＰＵ７によって生成された各領域Ｅ１〜Ｅ１２に対する視差情報が格納される。
【０１１６】
視差情報記憶手段６０の後段には、視差選択回路８０が設けられている。視差選択回路８０には、各視差レジスタ６１〜７２から視差情報がそれぞれ送られる。さらに、視差選択回路８０には、タイミング信号発生回路５１から水平アドレス信号ＨＡＤおよび垂直アドレス信号ＶＡＤが送られている。
【０１１７】
視差選択回路８０は、図２０（ａ）に示されている規則にしたがって、水平アドレス信号ＨＡＤおよび垂直アドレス信号ＶＡＤに対応する領域（図１９の例では、注目位置を含む第１領域の左上頂点を中心とする視差算出領域）に対する視差情報を、第１視差情報ＵＬとして選択して出力する。さらに、視差選択回路８０は、図２０（ｂ）に示されている規則にしたがって、水平アドレス信号ＨＡＤおよび垂直アドレス信号ＶＡＤに対応する領域（図１９の例では、注目位置を含む第１領域の右上頂点を中心とする視差算出領域）に対する視差情報を、第２視差情報ＵＲとして選択して出力する。
【０１１８】
さらに、視差選択回路８０は、図２０（ｃ）に示されている規則にしたがって、水平アドレス信号ＨＡＤおよび垂直アドレス信号ＶＡＤに対応する領域（図１９の例では、注目位置を含む第１領域の左下頂点を中心とする視差算出領域）に対する視差情報を、第３視差情報ＤＬとして選択して出力する。さらに、視差選択回路８０は、図２０（ｄ）に示されている規則にしたがって、水平アドレス信号ＨＡＤおよび垂直アドレス信号ＶＡＤに対応する領域（図１９の例では、注目位置を含む第１領域の右下頂点を中心とする視差算出領域）に対する視差情報を、第４視差情報ＤＲとして選択して出力する。図２０において、たとえば、０〜ｍのように、ａ〜ｂで表現されている記号”〜”は、ａ以上ｂ未満を意味する記号として用いられている。
【０１１９】
視差選択回路８０によって選択された第１視差情報ＵＬ、第２視差情報ＵＲ、第３視差情報ＤＬおよび第４視差情報ＤＲは、それぞれ第１、第２、第３および第４の乗算器８１、８２、８３、８４に入力する。
【０１２０】
第１、第２、第３および第４の乗算器８１、８２、８３、８４には、それぞれ視差補間係数発生回路５２からの第１視差補間係数ＫＵＬ、第２視差補間係数ＫＵＲ、第３視差補間係数ＫＤＬおよび第４視差補間係数ＫＤＲも入力している。
【０１２１】
第１乗算器８１は、第１視差情報ＵＬに第１視差補間係数ＫＵＬを乗算する。第２乗算器８２は、第２視差情報ＵＲに第２視差補間係数ＫＵＲを乗算する。第３乗算器８３は、第３視差情報ＤＬに第３視差補間係数ＫＤＬを乗算する。第４乗算器８４は、第４視差情報ＤＲに第４視差補間係数ＫＤＲを乗算する。
【０１２２】
各乗算器８１、８２、８３、８４の出力は、加算回路８５によって加算される。これにより、注目位置に対する視差情報ＰＲが得られる。
【０１２３】
各任意画素遅延ＦＩＦＯ２３、２４は、１画素より小さい単位での水平位相制御を行なうために、ぞれぞれ２つのラインメモリ２３ａ、２３ｂ、２４ａ、２４ｂを備えている。各任意画素遅延ＦＩＦＯ２３、２４内の２つのラインメモリ２３ａ、２３ｂ、２４ａ、２４ｂには、それぞれＹ信号が入力されているとともにクロック信号ＣＬＫが入力している。
【０１２４】
タイミング信号発生回路５１から出力されている水平アドレス信号ＨＡＤは、標準アドレス発生回路９０にも入力している。標準アドレス発生回路９０は、各任意画素遅延ＦＩＦＯ２３、２４内の２つのラインメモリ２３ａ、２３ｂ、２４ａ、２４ｂに対する標準書き込みアドレスＷＡＤおよび標準読み出しアドレスＲＡＤを生成して出力する。また、標準アドレス発生回路９０は、２Ｄ／３Ｄ映像変換装置によって得られる左映像信号および右映像信号に付加される同期信号Ｃｓｙｎｃをも出力する。この同期信号Ｃｓｙｎｃによって表される水平同期信号は、入力映像信号の水平同期信号Ｈｓｙｎｃより、所定クロック数分遅れた信号となる。
【０１２５】
標準読み出しアドレスＲＡＤは、標準読み出しアドレスによって規定される基準水平位相に対して、各任意画素遅延ＦＩＦＯ２３、２４に入力される映像信号の水平位相を進めたり遅らしたりできるようにするために、標準書き込みアドレスＷＡＤに対して、所定クロック数分遅れている。標準アドレス発生回路９０から出力される標準書き込みアドレスＷＡＤは、各任意画素遅延ＦＩＦＯ２３、２４内の２つのラインメモリ２３ａ、２３ｂ、２４ａ、２４ｂに、書き込みアドレスを示す書き込み制御信号として入力する。
【０１２６】
標準アドレス発生回路９０から出力される標準読み出しアドレスＲＡＤは、加算器９１および減算器９２にそれぞれ入力する。加算器９１および減算器９２には、加算回路８５から出力される注目位置の視差情報ＰＲも入力している。
【０１２７】
加算器９１では、標準読み出しアドレスＲＡＤに視差情報ＰＲが加算される。これにより、左映像用読み出しアドレスＰＲＬが得られる。
【０１２８】
左映像用読み出しアドレスＰＲＬの整数部ＰＲＬ１は、左映像用任意画素遅延ＦＩＦＯ２３内の第１のラインメモリ２３ａに読み出しアドレスＲＡＤＬ１として入力する。したがって、第１のラインメモリ２３ａのアドレスＲＡＤＬ１に対応するアドレスからＹ信号が読み出される。読み出されたＹ信号は、第１の左映像用乗算器１０１に入力する。
【０１２９】
左映像用読み出しアドレスＰＲＬの整数部ＰＲＬ１に１が加算されたアドレス値は、左映像用任意画素遅延ＦＩＦＯ２３内の第２のラインメモリ２３ｂに読み出しアドレスＲＡＤＬ２として入力する。したがって、第２のラインメモリ２３ｂのアドレスＲＡＤＬ２に対応するアドレスからＹ信号が読み出される。読み出されたＹ信号は、第２の左映像用乗算器１０２に入力する。
【０１３０】
第１のラインメモリ２３ａに対する読み出しアドレスＲＡＤＬ１と、第２のラインメモリ２３ｂに対する読み出しアドレスＲＡＤＬ２とは、１だけ異なっているので、第１のラインメモリ２３ａから読み出されたＹ信号と、第２のラインメモリ２３ｂから読み出されたＹ信号とは、水平位置が１だけずれた信号となる。
【０１３１】
左映像用読み出しアドレスＰＲＬの小数部ＰＲＬ２は、第２の左映像補間係数として第２の左映像用乗算器１０２に入力する。左映像用読み出しアドレスＰＲＬの小数部ＰＲＬ２を１から減算した値（１−ＰＲＬ２）は、第１の左映像補間係数として第１の左映像用乗算器１０１に入力する。
【０１３２】
したがって、第１の左映像用乗算器１０１では、第１のラインメモリ２３ａから読み出されたＹ信号に第１の左映像補間係数（１−ＰＲＬ２）が乗算される。第２の左映像用乗算器１０２では、第２のラインメモリ２３ｂから読み出されたＹ信号に第２の左映像補間係数ＰＲＬ２が乗算される。そして、各乗算器１０１、１０２によって得られたＹ信号は加算器１０３で加算された後、左映像信号として、出力される。
【０１３３】
これにより、標準読み出しアドレスＲＡＤによって規定される基準水平位相に対して、水平位相量が注目位置に対する視差情報に応じた量だけ遅れた左映像信号が得られる。
【０１３４】
減算器９２では、標準読み出しアドレスＲＡＤから視差情報ＰＲが減算される。これにより、右映像用読み出しアドレスＰＲＲが得られる。
【０１３５】
右映像用読み出しアドレスＰＲＲの整数部ＰＲＲ１は、右映像用任意画素遅延ＦＩＦＯ２４内の第１のラインメモリ２４ａに読み出しアドレスＲＡＤＲ１として入力する。したがって、第１のラインメモリ２４ａのアドレスＲＡＤＲ１に対応するアドレスからＹ信号が読み出される。読み出されたＹ信号は、第１の右映像用乗算器１１１に入力する。
【０１３６】
右映像用読み出しアドレスＰＲＲの整数部ＰＲＲ１に１が加算されたアドレス値は、右映像用任意画素遅延ＦＩＦＯ２４内の第２のラインメモリ２４ｂに読み出しアドレスＲＡＤＲ２として入力する。したがって、第２のラインメモリ２４ｂのアドレスＲＡＤＲ２に対応するアドレスからＹ信号が読み出される。読み出されたＹ信号は、第２の右映像用乗算器１１２に入力する。
【０１３７】
第１のラインメモリ２４ａに対する読み出しアドレスＲＡＤＲ１と、第２のラインメモリ２４ｂに対する読み出しアドレスＲＡＤＲ２とは、１だけ異なっているので、第１のラインメモリ２４ａから読み出されたＹ信号と、第２のラインメモリ２４ｂから読み出されたＹ信号とは、水平位置が１だけずれた信号となる。
【０１３８】
右映像用読み出しアドレスＰＲＲの小数部ＰＲＲ２は、第２の右映像補間係数として第２の右映像用乗算器１１２に入力する。右映像用読み出しアドレスＰＲＲの小数部ＰＲＲ２を１から減算した値（１−ＰＲＲ２）は、第１の右映像補間係数として第１の右映像用乗算器１１１に入力する。
【０１３９】
したがって、第１の右映像用乗算器１１１では、第１のラインメモリ２４ａから読み出されたＹ信号に第１の右映像補間係数（１−ＰＲＲ２）が乗算される。第２の右映像用乗算器１１２では、第２のラインメモリ２４ｂから読み出されたＹ信号に第２の右映像補間係数ＰＲＲ２が乗算される。そして、各乗算器１１１、１１２によって得られたＹ信号は加算器１１３で加算された後、右映像信号として、出力される。
【０１４０】
これにより、標準読み出しアドレスＲＡＤによって規定される基準水平位相に対して、水平位相量が注目位置に対する視差情報に応じた量だけ進んだ右映像信号が得られる。
【０１４１】
本出願人が既に開発した２次元映像信号を３次元映像信号に変換する方法（特願平９−１５９９４９号）では、上記左映像生成回路５によって生成された左映像信号と、上記右映像生成回路６によって生成された右映像信号とをそれぞれＤＡ変換することにより、３次元映像信号を得ている。
【０１４２】
図２１は、注目位置に対する視差情報が０の場合の、各部の信号を示している。
【０１４３】
視差情報が０の場合には、加算器９１から出力される左映像用読み出しアドレスＰＲＬと、減算器９２から出力される右映像用読み出しアドレスＰＲＲは、ともに標準読み出しアドレスＲＡＤと等しい小数部のない整数部のみからなるアドレスとなる。
【０１４４】
したがって、左映像用任意画素遅延ＦＩＦＯ２３内の第１のラインメモリ２３ａに対する読み出しアドレスＲＡＤＬ１と、右映像用任意画素遅延ＦＩＦＯ２４内の第１のラインメモリ２４ａに対する読み出しアドレスＲＡＤＲ１は、標準読み出しアドレスＲＡＤと等しいアドレスとなる。
【０１４５】
また、左映像用任意画素遅延ＦＩＦＯ２３内の第２のラインメモリ２３ｂに対する読み出しアドレスＲＡＤＬ２と、右映像用任意画素遅延ＦＩＦＯ２４内の第２のラインメモリ２４ｂに対する読み出しアドレスＲＡＤＲ２は、標準読み出しアドレスＲＡＤより１だけ大きい値となる。
【０１４６】
また、第１の左映像補間係数（１−ＰＲＬ２）および第１の右映像補間係数（１−ＰＲＲ２）は１となり、第２の左映像補間係数ＰＲＬ２および第２の右映像補間係数ＰＲＲ２は０となる。
【０１４７】
この結果、左映像用任意画素遅延ＦＩＦＯ２３内の第１のラインメモリ２３ａの標準アドレスＲＡＤに対応するアドレスから読み出されたＹ信号が加算器１０３から左映像信号として出力され、右映像用任意画素遅延ＦＩＦＯ２４内の第１のラインメモリ２４ａの標準アドレスＲＡＤに対応するアドレスから読み出されたＹ信号が加算器１１３から右映像信号として出力される。つまり、水平方向の位相ずれ量が同じ２つのＹ信号、すなわち視差のない２つのＹ信号が左映像用Ｙ信号および右映像信号として出力される。
【０１４８】
図２２は、ある注目位置に対する標準書き込みアドレスＷＡＤが２０であり、上記注目位置に対する標準読み出しアドレスＲＡＤが１０であり、上記注目位置に対する視差情報が１．２の場合の、各アドレス値の具体例を示している。図２３は、その際の各部の信号を示している。
【０１４９】
この場合には、加算器９１から出力される左映像用読み出しアドレスＰＲＬは、１１．２となり、その整数部ＰＲＬ１は１１となり、その小数部ＰＲＬ２は０．２となる。
【０１５０】
したがって、左映像用任意画素遅延ＦＩＦＯ２３内の第１のラインメモリ２３ａに対する読み出しアドレスＲＡＤＬ１は１１となり、第２のラインメモリ２３ｂに対する読み出しアドレスＲＡＤＬ２は１２となる。また、第１の左映像補間係数ＫＬ１｛＝（１−ＰＲＬ２）｝は０．８となり、第２の左映像補間係数ＫＬ２（＝ＰＲＬ２）は０．２となる。
【０１５１】
したがって、左映像用任意画素遅延ＦＩＦＯ１１内の第１のラインメモリ２３ａのアドレス１１からＹ信号（Ｙ11）が読み出され、第１乗算器１０１からは読み出されたＹ信号（Ｙ11）の０．８倍の信号（０．８＊Ｙ11）が出力される。
【０１５２】
一方、左映像用任意画素遅延ＦＩＦＯ２３内の第２のラインメモリ２３ｂのアドレス１２からＹ信号（Ｙ12）が読み出され、第２乗算器１０２からは読み出されたＹ信号（Ｙ12）の０．２倍の信号（０．２＊Ｙ12）が出力される。そして、加算器１０３からは、０．８＊Ｙ11＋０．２＊Ｙ12に相当する左映像信号が出力される。つまり、読み出しアドレス１１．２に相当するＹ信号が、左映像信号として出力される。
【０１５３】
減算器９２から出力される右映像用読み出しアドレスＰＲＲは、８．８となり、その整数部ＰＲＲ１は８となり、その小数部ＰＲＲ２は０．８となる。
【０１５４】
したがって、右映像用任意画素遅延ＦＩＦＯ２４内の第１のラインメモリ２４ａに対する読み出しアドレスＲＡＤＲ１は８となり、第２のラインメモリ２４ｂに対する読み出しアドレスＲＡＤＲ２は９となる。また、第１の右映像補間係数ＫＲ１｛＝（１−ＰＲＲ２）｝は０．２となり、第２の右映像補間係数ＫＲ２（＝ＰＲＲ２）は０．８となる。
【０１５５】
したがって、右映像用任意画素遅延ＦＩＦＯ２４内の第１のラインメモリ２４ａのアドレス８からＹ信号（Ｙ8 ）が読み出され、第１乗算器１１１からは読み出されたＹ信号（Ｙ8 ）の０．２倍の信号（０．２＊Ｙ8 ）が出力される。
【０１５６】
一方、右映像用任意画素遅延ＦＩＦＯ２４内の第２のラインメモリ２４ｂのアドレス９からＹ信号（Ｙ9 ）が読み出され、第２乗算器１１２からは読み出されたＹ信号（Ｙ9 ）の０．８倍の信号（０．８＊Ｙ9 ）が出力される。そして、加算器１１３からは、０．２＊Ｙ8 ＋０．８＊Ｙ9 に相当する右映像信号が出力される。つまり、読み出しアドレス８．８に相当するＹ信号が、右映像信号として出力される。
【０１５７】
この結果、１１．２−８．８＝２．４の視差、つまり、視差情報１．２の２倍の視差を互いに有する左映像および右映像が得られる。
【０１５８】
図２４は、図１の背景映像用視差制御回路９、左背景映像生成回路３および右背景映像生成回路４の構成を示している。図２４において、図１７と対応する部分には、同じ符号を付してその説明を省略する。
【０１５９】
図２４の左背景映像生成回路３と、図１７の左映像生成回路５とを比較すると、図１７の左映像用任意遅延ＦＩＦＯ２３を構成する２つのラインメモリ２３ａ、２３ｂが、図２４に示すように左背景映像用任意遅延ＦＩＦＯ２１を構成する２つのラインメモリ２１ａ、２１ｂと置き換えられた点のみが異なっている。
【０１６０】
図２４の右背景映像生成回路４と、図１７の右映像生成回路６とを比較すると、図１７の右映像用任意遅延ＦＩＦＯ２４を構成する２つのラインメモリ２４ａ、２４ｂが、図２４に示すように右背景映像用任意遅延ＦＩＦＯ２２を構成する２つのラインメモリ２２ａ、２２ｂと置き換えられた点のみが異なっている。
【０１６１】
図２４の背景映像用視差制御回路９と、図１７の視差制御回路８とを比較すると、図１７の視差選択回路８０の後段に設けられた乗算器８１〜８４および加算回路８５が、図２４に示すように最大値選択回路８６に置き換えられた点のみが異なっている。
【０１６２】
つまり、図２４に示されている背景映像用視差制御回路９では、図１９における注目位置Ｐｘｙに対する視差量ＰＲは、注目位置Ｐｘｙを含む第１分割領域（図１８参照）の４頂点（ＰＥ１，ＰＥ２，ＰＥ５，ＰＥ６）の視差情報ＵＬ，ＵＲ，ＤＬ，ＤＲのうち、最も大きな値（管面から最も奥にある領域の視差情報）に決定される（請求項１記載の「各画素毎の第２の視差情報」に相当）。この点以外については、背景映像用視差制御回路９、左背景映像生成回路３および右背景映像生成回路４の動作は、図１７の視差制御回路８、左映像生成回路５および右映像生成回路６の動作と同様であるので、その説明を省略する。
【０１６３】
図２５は、エッジピーク位置検出回路１１の構成を示している。
【０１６４】
エッジピーク位置検出回路１１は、各水平ライン毎に、図１８における視差算出領域Ｅ１（Ｅ５、Ｅ９）の水平方向中心位置ｍからＥ２（Ｅ６、Ｅ１０）の水平方向中心位置２ｍまでの第１水平領域、視差算出領域Ｅ２（Ｅ６、Ｅ１０）の水平方向中心位置２ｍからＥ３（Ｅ７、Ｅ１１）の水平方向中心位置３ｍまでの第２水平領域、および視差算出領域Ｅ３（Ｅ７、Ｅ１１）の水平方向中心位置３ｍからＥ４（Ｅ８、Ｅ１２）の水平方向中心位置４ｍまでの第３水平領域それぞれの領域におけるエッジピーク位置を検出する。
【０１６５】
エッジピーク位置検出回路１１は、エッジ抽出回路３１、レベル比較回路３２、第１レジスタ群３３および第２レジスタ群３４を備えている。レベル比較回路３２、第１レジスタ群３３および第２レジスタ群３４には、エッジピーク位置検出回路１１に入力する映像の水平アドレス信号ＨＡＤが送られている。
【０１６６】
第１レジスタ群３３は、第１水平領域、第２水平領域および第３水平領域それぞれに対応したエッジＭＡＸ−Ｈアドレスレジスタ３３ａ、３３ｂ、３３ｃを備えている。同様に、第２レジスタ群３４は、第１水平領域、第２水平領域および第３水平領域それぞれに対応したエッジＭＡＸ−Ｈアドレスレジスタ３４ａ、３４ｂ、３４ｃを備えている。
【０１６７】
エッジ抽出回路３１に入力された信号Ｙは、１画素期間遅延する遅延回路３１ａに送られるとともに減算回路３１ｂに送られる。遅延回路３１ａによって１画素期間遅延された信号は減算回路３１ｂに送られる。したがって、減算回路３１ｂでは、水平方向に隣合う画素間での輝度レベルの差分が算出される。
【０１６８】
減算回路３１ｂによって得られた差分は絶対値回路３１ｃに送られ、差分の絶対値を表すエッジ信号に変換される。差分の絶対値を表すエッジ信号は、減算回路３１ｄ送られ、所定のスライスレベル以下のレベルのエッジ信号が除去される。したがって、エッジ抽出回路３１からは、スライスレベルより大きなエッジ信号のみが出力される。エッジ抽出回路３１から出力されるエッジ信号は、レベル比較回路３５に送られる。
【０１６９】
レベル比較回路３２は、各水平ライン毎に次のような動作を行う。まず、第１水平領域内において最初のエッジ信号が入力されると、そのエッジ信号の水平アドレスを第１レジスタ群３３内の第１水平領域に対応するエッジＭＡＸ−Ｈアドレスレジスタ３３ａに書き込む。そして、第１水平領域内において、より大きなエッジ信号が入力される毎に、そのエッジ信号の水平アドレスに、レジスタ３３ａ内の水平アドレスを更新する。以下、第２水平領域および第３水平領域に対しても同様な動作を行う。
【０１７０】
そして、１水平ラインに対する処理が終了すると、つまり、水平アドレス（ＨＡＤ）が０になると、第１アドレス群３３内の各レジスタ３３ａ、３３ｂ、３３ｃの内容が、第２アドレス群３４内の対応するレジスタ３４ａ、３４ｂ、３４ｃに転送される。また、第１アドレス群３３内の各レジスタ３３ａ、３３ｂ、３３ｃに初期値、この例では０が書き込まれる。
【０１７１】
第２アドレス群３４のレジスタ３４ａ、３４ｂ、３４ｃに、第１アドレス群３３内の各レジスタ３３ａ、３３ｂ、３３ｃの内容が転送されると、その時点から開始される１水平期間において、第２アドレス群３４は、各レジスタ３４ａ、３４ｂ、３４ｃの内容に基づいて、次のようなタイミングで背景選択信号を出力する。
【０１７２】
第２アドレス群３４のレジスタ３４ａ、３４ｂ、３４ｃの少なくとも１つに０以外の水平アドレスが格納されている場合には、水平アドレス（ＨＡＤ）が、レジスタ３４ａ、３４ｂ、３４ｃに記憶されている０以外の水平アドレスと一致する毎に、背景選択信号が出力される。第２アドレス群３４のレジスタ３４ａ、３４ｂ、３４ｃの全てに初期値０が格納されている場合には、背景選択信号は出力されない。なお、エッジピーク位置検出回路１５の構成も、エッジピーク位置検出回路１１の構成と同様なので、その説明を省略する。
【０１７３】
図１の視差比較回路１０は、図１９に示すように、注目位置が含まれる第１分割領域の４頂点ＰＥ１、ＰＥ２、ＰＥ５、ＰＥ６に対する視差情報ＵＬ、ＵＲ、ＤＬ、ＤＲに基づいて、左映像用視差比較信号ＥＮＬＳＥＬおよび右映像用視差比較信号ＥＮＲＳＥＬを出力する。
【０１７４】
つまり、注目画素を含む４頂点ＰＥ１、ＰＥ２、ＰＥ５、ＰＥ６の視差情報ＵＬ、ＵＲ、ＤＬ、ＤＲが次式８で表される第１条件を満たした場合には、左映像用視差比較信号ＥＮＬＳＥＬが出力される。
【０１７５】
【数８】
【０１７６】
また、注目画素を含む４頂点ＰＥ１、ＰＥ２、ＰＥ５、ＰＥ６の視差情報ＵＬ、ＵＲ、ＤＬ、ＤＲが次式９で表される第２条件を満たした場合には、右映像用視差比較信号ＥＮＲＳＥＬが出力される。
【０１７７】
【数９】
【０１７８】
図１の第１の背景選択制御回路１２の動作について、図２６〜図２９を参照して説明する。
【０１７９】
図２６（ａ）は入力映像を示し、図２６（ｂ）は左背景映像生成回路３によって生成された左背景映像を示し、図２６（ｃ）は右背景映像生成回路４によって生成された右背景映像を示している。
【０１８０】
図２６（ａ）、（ｂ）、（ｃ）の各画像内の各ブロックは、視差算出領域を表している。また、各ブロック内の数字は、各ブロックに対する視差情報を表している。
【０１８１】
入力映像が図２６（ａ）に示すような画像である場合には、左背景映像は、図２６（ｂ）に示すように、入力映像全体を視差情報”２”に応じた量だけ、左側にずらした映像となる。また、右背景映像は、図２６（ｃ）に示すように、入力映像全体を視差情報”２”に応じた量だけ、右側にずらした映像となる。
【０１８２】
図２７（ａ）は入力映像を示し、図２７（ｂ）は左映像生成回路５によって生成された左映像を示し、図２７（ｃ）は右映像生成回路６によって生成された右映像を示している。
【０１８３】
左映像は、図２７（ｂ）に示すように、視差情報の大きな画素位置ほど、左側に大きくずれた映像となる。また、右映像は、図２７（ｃ）に示すように、視差情報の大きな画素位置ほど、右側に大きくずれた映像となる。
【０１８４】
図２８（ａ）は入力映像を示し、図２８（ｂ）はＤＡ変換回路１４から出力される左出力映像を示し、図２８（ｃ）はＤＡ変換回路１８から出力される右出力映像を示している。図２８（ｂ）、（ｃ）において、Ｈ１は第１水平領域を、Ｈ２は第２水平領域を、Ｈ３は第３水平領域を、それぞれ示している。
【０１８５】
第１の背景選択制御回路１２の動作について説明する。第１の背景選択制御回路１２は、映像切替制御信号として常時は左映像を選択させるための左映像選択信号を第１の選択回路１３に出力している。したがって、第１の選択回路１３は、常時は、左映像を選択して出力している。
【０１８６】
ある水平ラインが走査されている場合において、背景選択信号が第１の背景選択制御回路１２に入力された時点で、左映像視差比較信号ＥＮＬＳＥＬが出力されている場合（つまり、注目位置より左側の視差量が右側の視差量より小さい（ＵＬ＜ＵＲかつＤＬ＜ＤＲ）場合）には、第１の背景選択制御回路１２は、その時点での水平アドレスを記憶する。つまり、背景より前方にある物体の正面からみて右側のエッジの水平アドレスが記憶される。
【０１８７】
そして、次の水平ライン走査時において、水平アドレスが、１つ前の水平ライン走査時に記憶されたエッジの水平アドレスと一致すると、第１の背景選択制御回路１２は、映像切替制御信号を左背景映像選択信号に切り替える。したがって、第１の選択回路１３は、左背景映像を出力するようになる。
【０１８８】
そして、水平アドレスが上記エッジ位置を含む水平領域（第１、第２、第３水平領域）の最終アドレスと一致すると、第１の背景選択制御回路１２は、映像切替制御信号を左映像選択信号に切り替える。したがって、第１の選択回路１３は、左映像を出力するようになる。
【０１８９】
したがって、図２８（ｂ）に示すように、背景より前方にある物体の正面からみて右側のエッジから、そのエッジを含む水平領域（この例では第３水平領域）の最終アドレス位置までの間部分（線間の広い斜線部分）において、左背景映像が選択される。
【０１９０】
第２の背景選択制御回路１６の動作について説明する。第２の背景選択制御回路１６は、映像切替制御信号として常時は右映像を選択させるための右映像選択信号を第２の選択回路１７に出力している。したがって、第２の選択回路１７は、常時は、右映像を選択して出力している。
【０１９１】
ある水平ラインが走査されている場合において、背景選択信号が第２の背景選択制御回路１６に入力された時点で、右映像視差比較信号ＥＮＲＳＥＬが出力されている場合（つまり、注目位置より左側の視差量が右側の視差量より大きい（ＵＬ＞ＵＲかつＤＬ＞ＤＲ）場合）には、第２の背景選択制御回路１６は、その時点での水平アドレスを記憶する。つまり、背景より前方にある物体の正面からみて左側のエッジの水平アドレスが記憶される。
【０１９２】
そして、次の水平ライン走査時において、水平アドレスが、１つ前の水平ライン走査時に記憶されたエッジ位置を含む水平領域の開始アドレスと一致すると、第２の背景選択制御回路１６は、映像切替制御信号を右背景映像選択信号に切り替える。したがって、第２の選択回路１７は、右背景映像を出力するようになる。
【０１９３】
そして、水平アドレスが上記エッジの水平アドレスと一致すると、第２の背景選択制御回路１６は、映像切替制御信号を右映像選択信号に切り替える。したがって、第２の選択回路１７は、右映像を出力するようになる。
【０１９４】
したがって、図２８（ｃ）に示すように、背景より前方にある物体の正面からみて左側のエッジを含む水平領域（この例では第１水平領域）の開始アドレス位置からそのエッジ位置までの間部分（斜線部分）において、右背景映像が選択される。
【０１９５】
このようにして得られた左出力映像においては、図２９（ａ）に符号ＱＬで示すように左眼の死角部分が形成される。また、右出力映像においては、図２９（ｂ）に符号ＱＲで示すように右眼の死角部分が形成される。この結果、左右２台のカメラで被写体を撮像した場合のように、死角部分を有する左出力映像および右出力映像が得られるので、立体感が向上する。
【０１９６】
図３０（ａ）は、本棚の前方に顔が存在している入力映像を示している。図３０（ｂ）は図３０（ａ）の入力映像に対して図１の左映像生成回路３によって生成される左映像を示し、図３０（ｃ）は図３０（ａ）の入力映像に対して図１の右映像生成回路４によって生成される右映像を示している。
【０１９７】
図３１（ａ）は、図３０（ａ）と同じ入力映像を示している。図３１（ｂ）は図３１（ａ）の入力映像に対して図１のＤＡ変換回路１４から出力される左出力映像を示し、図３１（ｃ）は図３１（ａ）の入力映像に対して図１のＤＡ変換回路１８から出力される右出力映像を示している。
【０１９８】
図３１における左出力映像と、図３０における左映像とを比較すると、図３１の左出力映像では図３２に符号ＱＬで示すように顔における正面から見て右側の輪郭（エッジ）の右側部分に死角が形成されていることがわかる。
【０１９９】
同様に、図３１における右出力映像と、図３０における右映像とを比較すると、図３１の右出力映像では図３２に符号ＱＲで示すように顔における正面から見て左側の輪郭（エッジ）の左側部分に死角が形成されていることが分かる。
【０２００】
【発明の効果】
この発明によれば、左映像と右映像とで異なる死角が生成されるので、立体感が向上する。
【図面の簡単な説明】
【図１】２Ｄ／３Ｄ映像変換装置の全体構成を示すブロック図である。
【図２】視差算出領域を示す模式図である。
【図３】実際に設定される視差算出領域を示す模式図である。
【図４】ＣＰＵによる視差情報の生成処理手順を示すフローチャートである。
【図５】Ｒ−Ｙ成分積算値の正規化値を縦軸にとり、Ｂ−Ｙ成分積算値の正規化値を横軸にとって、視差算出領域の分布を表したグラフである。
【図６】図５のグラフに基づいて得られたグループ分け結果を示す模式図である。
【図７】図５のグラフに基づいて得られたグループ分け結果を示す模式図である。
【図８】空間分離処理によって修正されたグループ分け結果を示す模式図である。
【図９】特異点処理を説明するための模式図である。
【図１０】特異点処理によって修正されたグループ分け結果を示す模式図である。
【図１１】各視差算出領域毎に予め設定された背景重み成分を示す模式図である。
【図１２】奥行き補正前における各視差算出領域の奥行き情報の一例を示す模式図である。
【図１３】奥行き補正後における各視差算出領域の奥行き情報を示す模式図である。
【図１４】奥行き補正前における画面の高さ位置に対する奥行き情報との関係および奥行き補正後における画面の高さ位置に対する奥行き情報との関係を示すグラフである。
【図１５】グループ内部に対する奥行き情報補正処理を説明するための模式図である。
【図１６】奥行き情報と視差情報との関係を示すグラフである。
【図１７】視差制御回路、左映像生成回路および右映像生成回路の構成を示すブロック図である。
【図１８】相対的水平位置および相対的垂直位置等を示す模式図である。
【図１９】注目画素に対する視差情報を生成する方法を説明するための説明図である。
【図２０】視差選択回路による選択規則を示す図である。
【図２１】視差情報が０の場合の各部の信号を示すタイムチャートである。
【図２２】視差情報が１．２の場合の各アドレス値を視差制御回路に付記したブロック図である。
【図２３】視差情報が１．２の場合の各部の信号を示すタイムチャートである。
【図２４】背景映像用視差制御回路、左背景映像生成回路および右背景映像生成回路の構成を示すブロック図である。
【図２５】エッジピーク位置検出回路の構成を示すブロック図である。
【図２６】入力映像、左背景映像および右背景映像の一例を示す模式図である。
【図２７】入力映像、左映像および右映像の一例を示す模式図である。
【図２８】入力映像、左出力映像および右出力映像の一例を示す模式図である。
【図２９】図２８の左出力映像および右出力映像によって形成される死角を示す模式図である。
【図３０】入力映像、左映像および右映像の他の例を示す模式図である。
【図３１】入力映像、左出力映像および右出力映像の他の例を示す模式図である。
【図３２】図３１の左出力映像および右出力映像によって形成される死角を示す模式図である。
【符号の説明】
２ 画像特徴量検出回路
３ 左背景映像生成回路
４ 右背景映像生成回路
５ 左映像生成回路
６ 右映像生成回路
７ ＣＰＵ
８ 視差制御回路
９ 背景映像用視差制御回路
１０ 視差比較回路
１１、１５ エッジピーク位置検出回路
１２、１６ 背景選択制御回路
１３、１７ 選択回路
【発明の属する技術分野】
この発明は、２次元映像を３次元映像に変換する装置および方法に関する。
【０００２】
【従来の技術】
２次元映像を３次元映像に変換する方法として、２次元映像信号から、複数のフィールドメモリを用いて、主映像信号と主映像信号に対して時間的に遅延された副映像信号とを生成し、主映像信号と副映像信号のうち、一方を左目用映像信号として出力し、他方を右目用映像信号として出力する方法が知られている。
【０００３】
主映像信号に対する副映像信号の時間的な遅れ（以下、遅延量）は、主映像の水平方向の動きの速度に基づいて、決定される。つまり、主映像の水平方向の動きの速度が大きい程、遅延量は小さくなる。また、主映像と副映像とのうち、いずれを左目用映像信号とし、いずれを右目用映像信号とするかは、主映像の水平方向の動きの方向（左または右）に基づいて決定される。
【０００４】
このような方法は、動きのある２次元映像のみしか３次元映像に変換することができないので、この方法を動画用２Ｄ／３Ｄ映像変換方法ということにする。
【０００５】
本出願人は、動きのない２次元映像を３次元映像に変換するための方法（以下、静止画用２Ｄ／３Ｄ映像変換方法という）を既に開発して出願している（特願平８−２０８１７３号（特開平１０−５１８１２号公報）、特願平９−１５９９４９号（未公開））。
【０００６】
この静止画用２Ｄ／３Ｄ映像変換方法は、２次元入力映像信号に基づいて、各フィールドごとに、１フィールド画面内に設定された複数の視差算出領域のそれぞれに対して、映像の遠近に関する画像特徴量を抽出し、各視差算出領域ごとに抽出された画像特徴量に基づいて、１フィールド画面内の所定単位領域ごとの視差情報を生成し、２次元入力映像信号の各所定単位領域内の信号から、その所定単位領域に対応する視差情報に応じた水平位相差を有する第１映像信号と第２映像信号とをそれぞれ生成するものである。
【０００７】
【発明が解決しようとする課題】
ところで、ある物体を左眼で見た場合と、右眼で見た場合とは、異なる死角が形成される。しかしながら、静止画用２Ｄ／３Ｄ映像変換方法では、左映像と右映像とで同じ死角が形成されてしまう。
【０００８】
この発明は、左映像と右映像とで異なる死角が生成され、立体感が向上する、２次元映像を３次元映像に変換する装置および方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
この発明による２次元映像を３次元映像に変換する装置は、２次元入力映像に基づいて、任意画面において、画面内に設定された複数の視差算出領域のそれぞれに対して、映像の遠近に関する画像特徴量を抽出する特徴量抽出手段、各視差算出領域毎に抽出された画像特徴量に基づいて各視差算出領域毎の視差情報を算出する視差情報算出手段、画面内の各画素毎の第１の視差情報を、その周囲の視差算出領域に対する視差情報に重みを付けて加算することにより算出し、各画素毎にその画素に対応する第１の視差情報に応じた水平位相差を有する第１の左映像および第１の右映像を生成する第１映像生成手段、画面内の各画素毎の第２の視差情報を、その周囲の視差算出領域に対する視差情報のうち、遠近位置が最も遠いことを表している視差情報と等しくなるように決定し、各画素毎にその画素に対応する第２の視差情報に応じた水平位相差を有する第２の左映像および第２の右映像を生成する第２映像生成手段、第１の左映像および第２の左映像が入力され、第１の左映像から検出されたエッジ位置および上記第１の視差情報に基づいて、画素単位で第１の左映像および第２の左映像のいずれかを選択して、左出力映像として出力させる第１出力手段、ならびに第１の右映像および第２の右映像が入力され、第１の右映像から検出されたエッジ位置および上記第１の視差情報に基づいて、画素単位で第１の右映像および第２の右映像のいずれかを選択して、右出力映像として出力させる第２出力手段を備えていることを特徴とする。
【００１０】
第１出力手段としては、具体的には、常時は第１の左映像を選択しており、第１の左映像から検出されたエッジ位置の左側位置に対する第１の視差情報によって表される遠近位置が、そのエッジ位置の右側位置に対する第１の視差情報によって表される遠近位置より前側にある場合には、そのエッジ位置から右側の所定水平位置までの期間において第２の左映像を選択するものが用いられる。
【００１１】
第２出力手段としては、具体的には、常時は第１の右映像を選択しており、第１の右映像から検出されたエッジ位置の左側位置に対する第１の視差情報によって表される遠近位置が、そのエッジ位置の右側位置に対する第１の視差情報によって表される遠近位置より後側にある場合には、そのエッジ位置より左側の所定水平位置からそのエッジ位置までの期間において第２の右映像を選択するものが用いられる。
【００１２】
映像の遠近に関する画像特徴量としては、たとえば、高周波成分の積算値、輝度コントラスト、Ｒ−Ｙ成分の積算値、Ｂ−Ｙ成分の積算値のうちから選択された任意の１つまたは任意の組み合わせが用いられる。
【００１３】
この発明による２次元映像を３次元映像に変換する方法は、２次元入力映像に基づいて、任意画面において、画面内に設定された複数の視差算出領域のそれぞれに対して、映像の遠近に関する画像特徴量を抽出する第１ステップ、各視差算出領域毎に抽出された画像特徴量に基づいて各視差算出領域毎の視差情報を算出する第２ステップ、画面内の各画素毎の第１の視差情報を、その周囲の視差算出領域に対する視差情報に重みを付けて加算することにより算出し、各画素毎にその画素に対応する第１の視差情報に応じた水平位相差を有する第１の左映像および第１の右映像を生成する第３ステップ、画面内の各画素毎の第２の視差情報を、その周囲の視差算出領域に対する視差情報のうち、遠近位置が最も遠いことを表している視差情報と等しくなるように決定し、各画素毎にその画素に対応する第２の視差情報に応じた水平位相差を有する第２の左映像および第２の右映像を生成する第４ステップ、第１の左映像から検出されたエッジ位置および上記第１の視差情報に基づいて、画素単位で第１の左映像および第２の左映像のいずれかを選択して、左出力映像として出力させる第５ステップ、ならびに第１の右映像から検出されたエッジ位置および上記第１の視差情報に基づいて、画素単位で第１の右映像および第２の右映像のいずれかを選択して、右出力映像として出力させる第６ステップを備えていることを特徴とする。
【００１４】
第５ステップでは、具体的には、常時は第１の左映像を選択しており、第１の左映像から検出されたエッジ位置の左側位置に対する第１の視差情報によって表される遠近位置が、そのエッジ位置の右側位置に対する第１の視差情報によって表される遠近位置より前側にある場合には、そのエッジ位置から右側の所定水平位置までの期間において第２の左映像を選択する。
【００１５】
第６ステップでは、具体的には、常時は第１の右映像を選択しており、第１の右映像から検出されたエッジ位置の左側位置に対する第１の視差情報によって表される遠近位置が、そのエッジ位置の右側位置に対する第１の視差情報によって表される遠近位置より後側にある場合には、そのエッジ位置より左側の所定水平位置からそのエッジ位置までの期間において第２の右映像を選択する。
【００１６】
映像の遠近に関する画像特徴量としては、たとえば、高周波成分の積算値、輝度コントラスト、Ｒ−Ｙ成分の積算値、Ｂ−Ｙ成分の積算値のうちから選択された任意の１つまたは任意の組み合わせが用いられる。
【００１７】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
【００１８】
図１は、２次元映像を３次元映像に変換するための２Ｄ／３Ｄ映像変換装置の全体的な構成を示している。
【００１９】
２次元映像信号（輝度信号Ｙ、色差信号Ｒ−Ｙおよび色差信号Ｂ−Ｙ）は、ＡＤ変換回路１（ＡＤＣ）によってそれぞれデジタル信号に変換される。ＡＤ変換回路１から出力される２次元映像信号は、映像の遠近に関する画像特徴量を検出する画像特徴量検出回路２に送られる。
【００２０】
ＡＤ変換回路１から出力される輝度信号Ｙは、左背景映像用任意画素遅延ＦＩＦＯ２１を含む左背景映像生成回路３、右背景映像用任意画素遅延ＦＩＦＯ２２を含む右背景映像生成回路４、左映像用任意画素遅延ＦＩＦＯ２３を含む左映像生成回路５および右映像用任意画素遅延ＦＩＦＯ２４を含む右映像生成回路６に送られる。
【００２１】
図１では省略されているが、輝度信号Ｙが送られる左背景映像生成回路３、右背景映像生成回路４、左映像生成回路５および右映像生成回路６と同様な回路が、色差信号Ｒ−Ｙおよび色差信号Ｂ−Ｙのそれぞれに対して設けられている。色差信号Ｒ−Ｙおよび色差信号Ｂ−Ｙに対して設けられた左背景映像生成回路、右背景映像生成回路、左映像生成回路および右映像生成回路の動作は、輝度信号Ｙに対して設けられた左背景映像生成回路３、右背景映像生成回路４、左映像生成回路５および右映像生成回路６の動作と同じであるので、以下においては、輝度信号Ｙに対して設けられた左背景映像生成回路３、右背景映像生成回路４、左映像生成回路５および右映像生成回路６の動作についてのみ説明することにする。
【００２２】
画像特徴量検出回路２は、高周波成分積算回路、輝度コントラスト算出回路、Ｒ−Ｙ成分積算回路およびＢ−Ｙ成分積算回路を含んでいる。高周波成分積算回路および輝度コントラスト算出回路としては、たとえば、特開平１０−５１８１２号公報に開示されている高周波成分積算回路および輝度コントラスト算出回路を用いることができる。また、Ｒ−Ｙ成分積算回路およびＢ−Ｙ成分積算回路としては、たとえば、特開平１０−５１８１２号公報に開示されている輝度積算回路と同じ構成の回路を用い、輝度信号Ｙの代わりに色差信号Ｒ−ＹまたはＢ−Ｙを入力させればよい。
【００２３】
高周波成分積算回路は、１フィールド毎に、図２に示すように、１フィールド画面内に予め設定された複数個の視差算出領域Ｅ１〜Ｅ１２それぞれに対する高周波成分の積算値を算出する。輝度コントラスト算出回路は、１フィールド毎に、各視差算出領域Ｅ１〜Ｅ１２それぞれに対する輝度コントラストを算出する。Ｒ−Ｙ成分積算回路は、１フィールド毎に、各視差算出領域Ｅ１〜Ｅ１２それぞれに対するＲ−Ｙ成分の積算値を算出する。Ｂ−Ｙ成分積算回路は、１フィールド毎に、各視差算出領域Ｅ１〜Ｅ１２それぞれに対するＢ−Ｙ成分の積算値を算出する。
【００２４】
各視差算出領域Ｅ１〜Ｅ１２それぞれに対する高周波成分の積算値、各視差算出領域Ｅ１〜Ｅ１２それぞれに対する輝度コントラスト、各視差算出領域Ｅ１〜Ｅ１２それぞれに対するＲ−Ｙ成分の積算値および各視差算出領域Ｅ１〜Ｅ１２それぞれに対するＢ−Ｙ成分の積算値は、視差算出領域Ｅ１〜Ｅ１２ごとの映像の遠近に関する画像特徴量として用いられる。
【００２５】
なお、１フィールド画面内には、実際には、図３に示すように６行１０列の計６０個の視差算出領域が設定されているが、説明の便宜上、図２に示すように、１フィールド画面内に、３行４列の計１２個の視差算出領域Ｅ１〜Ｅ１２が設定されているものとする。
【００２６】
ＣＰＵ７は、画像特徴量検出回路２から送られてきた情報に基づいて、各視差算出領域Ｅ１〜Ｅ１２に対する視差情報を生成する。この例では、被写体のように前側にある物体ほど視差量が少なく、背景のように後側にある物体ほど視差量が大きくなるように視差情報が生成される。この視差情報の生成方法の詳細については、後述する。
【００２７】
ＣＰＵ７によって算出された各視差算出領域Ｅ１〜Ｅ１２に対する視差情報は、視差制御回路８および背景映像用視差制御回路９に送られる。
【００２８】
視差制御回路８は、１フィールド画面内の各画素位置毎の視差情報を、その周囲の視差算出領域に対する視差情報に重みを付けて加算することにより算出する。そして、視差制御回路８は、算出した各画素位置ごとの視差情報に応じた視差を有する左映像と右映像とが生成されるように、左映像生成回路５および右映像生成回路６を制御する。
【００２９】
背景映像用視差制御回路９は、１フィールド画面内の各画素位置毎の視差情報を、その周囲の視差算出領域に対する視差情報のうち、遠近位置が最も遠いことを表している視差情報と等しくなるように決定する。そして、背景映像用視差制御回路９は、決定した各画素位置ごとの視差情報に応じた視差を有する左背景映像と右背景映像とが生成されるように、左背景映像生成回路３および右背景映像生成回路４を制御する。
【００３０】
左映像生成回路５から出力された左映像（第１の左映像）は、エッジピーク位置検出回路１１に送られるとともに第１の選択回路１３に送られる。左背景映像生成回路３から出力された左背景映像（第２の左映像）は、第１の選択回路１３に送られる。
【００３１】
右映像生成回路６から出力された右映像（第１の右映像）は、エッジピーク位置検出回路１５に送られるとともに第２の選択回路１７に送られる。右背景映像生成回路４から出力された右背景映像（第２の右映像）は、第２の選択回路１７に送られる。
【００３２】
第１の選択回路１３は、第１の背景選択制御回路１２からの選択制御信号に基づいて、左映像および左背景映像のうちのいずれかを選択して出力する。第１の選択回路１３の出力はＤＡ変換器（ＤＡＣ）１４によってアナログ信号に変換された後、図示しない立体表示装置に送られる。
【００３３】
第２の選択回路１７は、第２の背景選択制御回路１６からの選択制御信号に基づいて、右映像および右背景映像のうちのいずれかを選択して出力する。第２の選択回路１７の出力はＤＡ変換器（ＤＡＣ）１８によってアナログ信号に変換された後、図示しない立体表示装置に送られる。
【００３４】
第１の背景選択制御回路１２は、エッジピーク位置検出回路１１の検出信号と、視差比較回路１０からの比較結果信号ＥＮＬＳＥＬとに基づいて、選択制御信号を出力する。第２の背景選択制御回路１６は、エッジピーク位置検出回路１５の検出信号と、視差比較回路１０からの比較結果信号ＥＮＲＳＥＬとに基づいて、選択制御信号を出力する。
【００３５】
図４は、ＣＰＵ７によって行なわれる視差算出領域毎の視差情報生成処理手順を示している。
【００３６】
分割領域毎の視差情報生成処理においては、グループ分け処理（ステップ１）、空間分離処理（ステップ２）、特異点処理（ステップ３）、グループ間結合処理（ステップ４）、グループ毎の奥行き情報生成処理（ステップ５）、全領域に対する奥行き情報補正処理（ステップ６）、グループ境界に対する奥行き情報補正処理（ステップ７）、グループ内部に対する奥行き情報補正処理（ステップ８）および視差情報算出処理（ステップ９）が行なわれる。
【００３７】
１フィールドに対して実際に設定されている６０個の視差算出領域を例にとって、視差情報生成処理を説明する。図３は、１フィールドに対して実際に設定されている６０個の視差算出領域Ｆ１〜Ｆ６０を示している。
【００３８】
（１）グループ分け処理の説明
【００３９】
ステップ１のグループ分け処理は、１枚の画像を構成する全領域を、その画像に含まれている物体ごとにグループ分けすることを目的として行なわれる最初の処理である。
【００４０】
視差算出領域Ｆ１〜Ｆ６０毎に得られたＲ−Ｙ成分の積算値を、０〜２０の範囲の値に正規化する。そして、Ｒ−Ｙ成分積算値の各正規化値に属する視差算出領域の数の分布（ヒストグラム）を生成する。このヒストグラムに基づいて、Ｒ−Ｙ成分積算値の正規化値の中から、グループ間の境界値を求める。
【００４１】
また、視差算出領域Ｆ１〜Ｆ６０毎に得られたＢ−Ｙ成分の積算値を、０〜１０の範囲の値に正規化する。そして、Ｂ−Ｙ成分積算値の各正規化値に属する視差算出領域の数の分布（ヒストグラム）を生成する。このヒストグラムに基づいて、Ｂ−Ｙ成分積算値の正規化値の中から、グループ間の境界値を求める。
【００４２】
そして、図５に示すように、このようにして得られた２種類の境界値を用いて、全視差算出領域をグループ化する。図８および図７は、このようにして各視差算出領域Ｆ１〜Ｆ６０が、グループ分けされた結果を示している。図６および図７において、Ｇ１〜Ｇ５は、グループ番号を示している。
【００４３】
この例では、第２方法によってグループ分け処理が行なわれたものとする。
【００４４】
（２）空間分離処理の説明
【００４５】
ステップ２の空間分離処理では、ステップ１の処理によって同一のグループに属している視差算出領域のうち、空間的に隣接している視差算出領域どうしが１つのグループとされる。つまり、ステップ１の処理によって同一のグループに属している視差算出領域であっても、空間的に他のグループによって分離されている視差算出領域どうしは、別々のグループとされる。
【００４６】
具体的には、図８に示すように、ステップ１において、グループ３（Ｇ３）に属するとされた視差算出領域は、グループ３１（Ｇ３１）、グループ３２（Ｇ３２）およびグループ３３（Ｇ３３）の３つのグループに分離される。
【００４７】
（３）特異点処理の説明
【００４８】
この特異点処理では、１つの視差算出領域のみで構成されているグループが存在する場合に、その１つの視差算出領域が隣接する他のグループとは別の物体に対応しているのか、隣接する他のグループの物体と同じ物体に対応しているのかが判定される。
【００４９】
たとえば、図９に示すように、あるグループが１つの視差算出領域Ａのみで構成されているグループであるとする。視差算出領域Ａの上方向にある２つの視差算出領域を、視差算出領域Ａに近いものからＵ１、Ｕ２とする。視差算出領域Ａの下方向にある２つの視差算出領域を、視差算出領域Ａに近いものからＤ１、Ｄ２とする。視差算出領域Ａの左方向にある２つの視差算出領域を、視差算出領域Ａに近いものからＬ１、Ｌ２とする。視差算出領域Ａの右方向にある２つの視差算出領域を、視差算出領域Ａに近いものからＲ１、Ｒ２とする。
【００５０】
この場合に、領域Ａを中心とする上下左右のそれぞれの方向について、領域Ａとそれの１つ外側の領域Ｕ１、Ｄ１、Ｌ１、Ｒ１との色距離が、領域Ａより１つ外側の領域Ｕ１、Ｄ１、Ｌ１、Ｒ１とさらにその１つ外側の領域Ｕ２、Ｄ２、Ｌ２、Ｒ２との色距離より大きい場合には、領域Ａのみで構成されているグループは単独で１つのグループを形成すると判別される。そうでない場合には、領域Ａはその周囲のグループに属すると判別される。つまり、グループ分けが修正される。
【００５１】
色距離の定義について説明する。ある視差算出領域Ｆａに対するＢ−Ｙ成分積算値、Ｒ−Ｙ成分積算値をそれぞれＦａ（Ｂ−Ｙ）、Ｆａ（Ｒ−Ｙ）で表し、ある視差算出領域Ｆｂに対するＢ−Ｙ成分積算値、Ｒ−Ｙ成分積算値をそれぞれＦｂ（Ｂ−Ｙ）、Ｆｂ（Ｒ−Ｙ）で表すと、領域Ｆａと領域Ｆｂとの間の色距離distは、次の数式１で定義される。
【００５２】
【数１】
例えば、図９の領域Ａの（Ｂ−Ｙ成分積算値、Ｒ−Ｙ成分積算値）が（−４，５）で、領域Ｕ１の（Ｂ−Ｙ成分積算値、Ｒ−Ｙ成分積算値）が（−５，４）で、領域Ｕ２の（Ｂ−Ｙ成分積算値、Ｒ−Ｙ成分積算値）が（−７，２）であるとする。領域Ａと領域Ｕ１との色距離distは”２”となり、領域Ｕ１と領域Ｕ２との色距離distは”４”となる。
【００５４】
図８のグループ３１（Ｇ３１）が１つの視差算出領域のみで構成されており、上記のような特異点処理により、グループ１（Ｇ１）に属すると判別されたとすると、図１０に示すようにグループ分けが修正される。
【００５５】
（４）グループ間結合処理の説明
【００５６】
ステップ４のグループ間結合処理では、まず、各グループ毎に、そのグループを構成する視差算出領域のＲ−Ｙ成分積算値の平均値およびＢ−Ｙ成分積算値の平均値が算出される。
【００５７】
次に、隣接している２つのグループどうし間の色距離が算出される。つまり、隣接している２つのグループをＧａ、Ｇｂとする。グループＧａがｎ個の視差算出領域ａ１、ａ２、…ａｎで構成されているとすると、グループＧａのＢ−Ｙ成分積算値の平均値＊Ｇａ（Ｂ−Ｙ）およびＲ−Ｙ成分積算値の平均値＊Ｇａ（Ｒ−Ｙ）は、次の数式２で求められる。
【００５８】
【数２】
また、グループＧｂがｍ個の視差算出領域ｂ１、ｂ２、…ｂｍで構成されているとすると、グループＧｂのＢ−Ｙ成分積算値の平均値＊Ｇｂ（Ｂ−Ｙ）およびＲ−Ｙ成分積算値の平均値＊Ｇｂ（Ｒ−Ｙ）は、次の数式３で求められる。
【００６０】
【数３】
グループＧａとグループＧｂとの間の色距離ｄｉｓｔは、次の数式４によって定義される。
【００６２】
【数４】
そして、隣り合う２つのグループ間の色距離がしきい値より小さいか否かが判別され、色距離がしきい値より小さいときには、これらの２つのグループが結合される。つまり、これらの２つのグループが１つのグループにまとめられる。
【００６４】
（５）グループ毎の奥行き情報生成処理の説明
【００６５】
ステップ５のグループ毎の奥行き情報生成処理では、まず、視差算出領域Ｆ１〜Ｆ６０毎に得られた高周波成分の積算値が、０〜１０の範囲の値に正規化される。また、視差算出領域Ｆ１〜Ｆ６０毎に得られた輝度コントラストが、０〜１０の範囲の値に正規化される。
【００６６】
そして、得られた高周波成分の積算値の正規化値と、輝度コントラストの正規化値と、図１１に示すように各視差算出領域Ｆ１〜Ｆ６０毎に予め与えられた背景重み成分に基づいて、グループ毎の奥行き情報が生成される。
【００６７】
任意の１つのグループに対する奥行き情報の生成方法について説明する。まず、当該グループに属している視差算出領域数ｎが求められる。また、当該グループに属している視差算出領域に対する高周波成分の積算値の正規化値ａの総和Σａが算出される。また、当該グループに属している視差算出領域に対する輝度コントラストの正規化値ｂの総和Σｂが算出される。また、当該グループに属している視差算出領域に対する背景重み成分ｃの総和Σｃが算出される。
【００６８】
そして、次の数式５に基づいて、当該グループに対する奥行き情報Ｈが生成される。
【００６９】
【数５】
数式５において、Ｋ１、Ｋ２およびＫ３は係数であり、たとえば、Ｋ１＝３／８、Ｋ２＝１／８、Ｋ３＝４／８に設定されている。
【００７１】
（６）全領域に対する奥行き情報補正処理の説明
【００７２】
ステップ５のグループ毎の奥行き情報補正処理では、まず、視差算出領域Ｆ１〜Ｆ６０の各行ごとに、奥行き情報の平均値が算出される。各視差算出領域Ｆ１〜Ｆ６０ごとの奥行き情報が、たとえば、図１２に示すような値であった場合には、第１〜第６行目ごとの奥行き情報の平均値は、１．２、３．６、６．０、７．２、４．０、１．２となる。
【００７３】
次に、視差算出領域の各行のうち、手前位置の物体が多く映っている領域が抽出される。つまり、奥行き情報の平均値が最も大きい行が抽出される。図１２の例では、第４行目の領域が抽出される。
【００７４】
次に、抽出された行より下段にある行の各領域については、直上の領域に対して、急激に奥行き情報が小さくならないように、抽出された行より下段にある行の各領域の奥行き情報が調整される。具体的には、抽出された行より下段にある行の各領域の奥行き情報が直上の領域に対して３以上小さい領域に対しては、直上の領域の奥行き情報より２だけ小さい値に、その領域の奥行き情報が変更せしめられる。
【００７５】
図１２の例では、図１３に示すように、まず、第５行の各領域Ｆ４１〜Ｆ５０のうち、その奥行き情報が直上の領域の奥行き情報に対して３以上小さい領域Ｆ４２〜Ｆ４９に対して、奥行き情報が補正される。この後、第６行の各領域Ｆ５１〜Ｆ６０のうち、その奥行き情報が直上の領域の奥行き情報（補正後の奥行き情報）に対して３以上小さい領域Ｆ５３〜Ｆ５８に対して、奥行き情報が補正される。
【００７６】
つまり、任意の水平位置における画面の高さに対する奥行き情報の関係が、図１４に曲線Ｕ１で示すような関係である場合には、奥行き補正によって、画面の高さに対する奥行き情報の関係が、図１４に曲線Ｕ２に示すような関係となるように補正される。
【００７７】
このように、視差算出領域の各行のうち、手前位置の物体が多く映っている領域より下段の領域の奥行き情報が補正されているのは次の理由による。
【００７８】
一般的には、画面の下側には前方に存在する物体が映っていることが多い。また、画面の下側に映っている物体は、地面等のように変化の少ない画像であることが多い。地面等のように変化の少ない画像は、高周波成分が低いため、前方にあるにも係わらず、奥行き情報の値は小さくなる。そこで、奥行き補正により、前方にある物体であって高周波成分が低い映像に対する奥行き情報を、その直上の領域の奥行き情報の値より大きくならない程度に大きくしているのである。
【００７９】
（７）グループ境界に対する奥行き情報補正処理の説明
【００８０】
隣り合う２つのグループ間の境界部においては、正しくグループ分けが行なわれていないことがある。また、隣り合う２つのグループ間の境界部において、グループ毎の奥行き推定値が大きく異なると、画像歪みが顕著となる。
【００８１】
そこで、ステップ７のグループ境界に対する奥行き情報補正処理では、まず、隣り合う２つのグループ間の境界部毎に、一方のグループの視差算出領域の奥行き情報と、他方のグループの視差算出領域の奥行き情報との差が、予め定められた所定値以上か否かが判別される。そして、両者の奥行き情報の差が所定値以上である場合には、両者の奥行き情報の差が所定値より小さくなるように、奥行き情報が小さい方（つまり、後方に位置している方）の視差算出領域に対する奥行き情報を増加させる。
【００８２】
（８）グループ内部に対する奥行き情報補正処理の説明
【００８３】
上記ステップ６および７の補正処理によって、同一グループ内においても領域によって奥行き情報に差が生じる。この差が大きくなると、画像歪みが顕著となる。そこで、ステップ８のグループ内部に対する奥行き情報補正処理では、各グループ毎に、グループ内の奥行き推定値が平滑化される。
【００８４】
つまり、図１５に示すように、同じグループ内において、注目領域をＡ、それに対する奥行き情報をＨＡとし、それに隣接する４つの領域をＵ、Ｄ、Ｌ、Ｒ、それらに対する奥行き情報をＨＵ、ＨＤ、ＨＬ、ＨＲとすると、注目領域Ａに対する奥行き推定値ＨＡは次の数式６により、補正される。
【００８５】
【数６】
このようにして得られた各視差算出領域Ｆ１〜Ｆ６０ごとの奥行き情報は、再度、０〜１０の範囲内で正規化される。
【００８７】
（９）視差情報算出処理の説明
【００８８】
ステップ９の視差情報算出処理では、各視差算出領域Ｆ１〜Ｆ６０ごとの奥行き情報が各領域Ｆ１〜Ｆ６０ごとの視差情報に変換される。
【００８９】
つまり、予め設定された奥行き情報に対する視差情報との関係に基づいて、各領域Ｆ１〜Ｆ６０ごとに、奥行き情報を視差情報に変換する。奥行き情報に対する視差情報との関係は、図１６に直線Ｓ１またはＳ２で示されるように、反比例の関係である。
【００９０】
図１６において、直線Ｓ１で示される奥行き情報に対する視差情報との関係は、立体感が比較的強い立体映像を得たい場合に用いられる。直線Ｓ２で示される奥行き情報に対する視差情報との関係は、立体感が比較的弱い立体映像を得たい場合に用いられる。奥行き情報に対する視差情報との関係を、直線Ｓ１と直線Ｓ２との間で調整することにより、立体感を調整することが可能である。
【００９１】
このようにして得られた各視差算出領域ごとの視差情報は、視差制御回路８（図１参照）および背景映像用視差制御回路９（図１参照）に送られる。
【００９２】
図１７は、図１の視差制御回路８、左映像生成回路５および右映像生成回路６の構成を示している。以下においては、視差算出領域が、図２に示すように、Ｅ１〜Ｅ１２であるとして説明する。
【００９３】
ところで、ＣＰＵ７によって算出された視差情報は、各視差算出領域Ｅ１〜Ｅ１２の中心位置に対する視差情報である。視差制御回路８では、各視差算出領域Ｅ１〜Ｅ１２の中心位置に対する視差情報に基づいて、１フィールド画面の各画素位置に対する視差情報が求められる。そして、各画素位置に対する２次元映像信号から、その画素位置に対する視差情報に応じた視差を有する左映像と右映像とを生成するために、各画素位置に対する視差情報に基づいて、左映像用任意画素遅延ＦＩＦＯ２３および右映像用任意画素遅延ＦＩＦＯ２４の読み出しアドレスが制御される。
【００９４】
１フィールド画面の各画素位置に対する視差情報は、タイミング信号発生回路５１、視差補間係数発生回路５２、視差情報記憶手段６０、視差選択回路８０、第１〜第４乗算器８１〜８４および加算回路８５によって、生成される。
【００９５】
入力映像信号の水平同期信号Ｈｓｙｎｃおよび垂直同期信号Ｖｓｙｎｃは、タイミング信号発生回路５１に入力している。また、各水平期間の水平アドレスを検出するためのクロック信号ＣＬＫもタイミング信号発生回路５１に入力している。
【００９６】
タイミング信号発生回路５１は、水平同期信号Ｈｓｙｎｃ、垂直同期信号Ｖｓｙｎｃおよびクロック信号ＣＬＫに基づいて、入力映像信号の絶対的水平位置を表す水平アドレス信号ＨＡＤ、入力映像信号の絶対的垂直位置を表す垂直アドレス信号ＶＡＤ、入力映像信号の相対的水平位置を表す相対的水平位置信号ＨＰＯＳおよび入力映像信号の相対的垂直位置を表す相対的垂直位置信号ＶＰＯＳを生成して出力する。
【００９７】
入力映像信号の相対的水平位置および相対的垂直位置について説明する。
【００９８】
図１８に示すように、図２の視差算出領域Ｅ１〜Ｅ１２は、次のように設定されている。画面全体が図１８に点線で示すように、４行５列の２０個の領域（以下、第１分割領域という）に分割されている。そして、左上端の第１分割領域の中心、右上端の第１分割領域の中心、左下端の第１分割領域の中心および右下端の第１分割領域の中心を４頂点とする四角形領域が３行４列の１２個の領域（以下、第２分割領域という）に分割され、各第２分割領域が視差算出領域Ｅ１〜Ｅ１２として設定されている。
【００９９】
第１分割領域および第２分割領域の水平方向の画素数がｍで表され、第１分割領域および第２分割領域の垂直方向の画素数がｎとして表されている。入力映像信号の相対的水平位置は、各第１分割領域の左端を０とし、右端をｍとして、０〜（ｍ−１）で表される。入力映像信号の相対的垂直位置は、各第１分割領域の上端を０とし、下端をｎとして、０〜（ｎ−１）で表される。
【０１００】
入力映像信号の相対的水平位置信号ＨＰＯＳおよび相対的垂直位置ＶＰＯＳは、視差補間係数発生回路５２に送られる。視差補間係数発生回路５２は、相対的水平位置信号ＨＰＯＳ、相対的垂直位置ＶＰＯＳおよび次の数式７に基づいて、第１視差補間係数ＫＵＬ、第２視差補間係数ＫＵＲ、第３視差補間係数ＫＤＬおよび第４視差補間係数ＫＤＲを生成して出力する。
【０１０１】
【数７】
１フィールド画面の各画素位置に対する視差情報を生成する方法の基本的な考え方について、図１９を用いて説明する。水平アドレス信号ＨＡＤおよび垂直アドレス信号ＶＡＤによって表されている水平垂直位置（以下、注目位置という）が図１９のＰｘｙであるとする。注目位置Ｐｘｙに対する視差情報を求める場合について説明する。
【０１０３】
（１）まず、ＣＰＵ７によって算出された各視差算出領域Ｅ１〜Ｅ１２に対する視差情報のうちから、注目位置Ｐｘｙが含まれる第１分割領域の４頂点、この例ではＰＥ１、ＰＥ２、ＰＥ５、ＰＥ６を中心とする視差算出領域Ｅ１、Ｅ２、Ｅ５、Ｅ６に対する視差情報が、それぞれＵＬ、ＵＲ、ＤＬ、ＤＲとして抽出される。つまり、注目位置Ｐｘｙが含まれる第１分割領域の４頂点のうち、左上の頂点を中心とする領域Ｅ１の視差情報が第１視差情報ＵＬとして、右上の頂点を中心とする領域Ｅ２の視差情報が第２視差情報ＵＲとして、左下の頂点を中心とする領域Ｅ５の視差情報が第３視差情報ＤＬとして、右下の頂点を中心とする領域Ｅ６の視差情報が第４視差情報ＤＲとして抽出される。
【０１０４】
ただし、注目位置が含まれる第１分割領域が、図１８の左上端の第１分割領域である場合のように、注目位置が含まれる第１分割領域の４頂点のうち１つの頂点のみが視差検出領域の中心に該当するような場合には、その視差算出領域の視差情報が、第１〜第４の視差情報ＵＬ、ＵＲ、ＤＬ、ＤＲとして抽出される。
【０１０５】
また、注目位置が含まれる第１分割領域が、図１８の左上端の第１分割領域の右隣の第１分割領域である場合のように、注目位置が含まれる第１分割領域の４頂点のうち下側の２つの頂点のみが視差算出領域の中心に該当するような場合には、注目位置が含まれる第１分割領域の４頂点のうち上側の２つの頂点に対応する視差情報ＵＬ、ＵＲとしては、その下側の頂点を中心とする視差算出領域の視差情報が抽出される。
【０１０６】
また、注目位置が含まれる第１分割領域が、図１８の左上端の第１分割領域の下隣の第１分割領域である場合のように、注目位置が含まれる第１分割領域の４頂点のうち右側の２つの頂点のみが視差算出領域の中心に該当するような場合には、注目位置が含まれる第１分割領域の４頂点のうち左側の２つの頂点に対応する視差情報ＵＬ、ＤＬとしては、その右側の頂点を中心とする視差算出領域の視差情報が抽出される。
【０１０７】
また、注目位置が含まれる第１分割領域が、図１８の右下端の第１分割領域の左隣の第１分割領域である場合のように、注目位置が含まれる第１分割領域の４頂点のうち上側の２つの頂点のみが視差算出領域の中心に該当するような場合には、注目位置が含まれる第１分割領域の４頂点のうち下側の２つの頂点に対応する視差情報ＤＬ、ＤＲとしては、その上側の頂点を中心とする視差算出領域の視差情報が抽出される。
【０１０８】
また、注目位置が含まれる第１分割領域が、図１８の右下端の第１分割領域の上隣の第１分割領域である場合のように、注目位置が含まれる第１分割領域の４頂点のうち左側の２つの頂点のみが視差算出領域の中心に該当するような場合には、注目位置が含まれる第１分割領域の４頂点のうち右側の２つの頂点に対応する視差情報ＵＲ、ＤＲとしては、その左側の頂点を中心とする視差算出領域の視差情報が抽出される。
【０１０９】
（２）次に、第１〜第４の視差補間係数ＫＵＬ、ＫＵＲ、ＫＤＬおよびＫＤＲが求められる。
【０１１０】
第１の視差補間係数ＫＵＬは、注目位置Ｐｘｙを含む第１分割領域ｅの水平方向幅ｍに対する、注目位置Ｐｘｙから第１分割領域ｅの右辺までの距離ΔＸＲとの比｛（ｍ−ＨＰＯＳ）／ｍ｝と、第１分割領域ｅの垂直方向幅ｎに対する、注目位置Ｐｘｙから第１分割領域ｅの下辺までの距離ΔＹＤとの比｛（ｎ−ＶＰＯＳ）／ｎ｝との積によって求められる。すなわち、第１の視差補間係数ＫＵＬは、注目位置Ｐｘｙを含む第１分割領域ｅの左上頂点ＰＥ１と注目位置Ｐｘｙとの距離が小さいほど大きくなる。
【０１１１】
第２の視差補間係数ＫＵＲは、注目位置Ｐｘｙを含む第１分割領域ｅの水平方向幅ｍに対する、注目位置Ｐｘｙから第１分割領域ｅの左辺までの距離ΔＸＬとの比（ＨＰＯＳ／ｍ｝と、第１分割領域ｅの垂直方向幅ｎに対する、注目位置Ｐｘｙから第１分割領域ｅの下辺までの距離ΔＹＤとの比｛（ｎ−ＶＰＯＳ）／ｎ｝との積によって求められる。すなわち、第２の視差補間係数ＫＵＲは、注目位置Ｐｘｙを含む第１分割領域ｅの右上頂点ＰＥ２と注目位置Ｐｘｙとの距離が小さいほど大きくなる。
【０１１２】
第３の視差補間係数ＫＤＬは、注目位置Ｐｘｙを含む第１分割領域ｅの水平方向幅ｍに対する、注目位置Ｐｘｙから第１分割領域ｅの右辺までの距離ΔＸＲとの比｛（ｍ−ＨＰＯＳ）／ｍ｝と、第１分割領域ｅの垂直方向幅ｎに対する、注目位置Ｐｘｙから第１分割領域ｅの上辺までの距離ΔＹＵとの比（ＶＰＯＳ／ｎ）との積によって求められる。すなわち、第３の視差補間係数ＫＤＬは、注目位置Ｐｘｙを含む第１分割領域ｅの左下頂点ＰＥ５と注目位置Ｐｘｙとの距離が小さいほど大きくなる。
【０１１３】
第４の視差補間係数ＫＤＲは、注目位置Ｐｘｙを含む第１分割領域ｅの水平方向幅ｍに対する、注目位置Ｐｘｙから第１分割領域ｅの左辺までの距離ΔＸＬとの比（ＨＰＯＳ／ｍ）と、第１分割領域ｅの垂直方向幅ｎに対する、注目位置Ｐｘｙから第１分割領域ｅの上辺までの距離ΔＹＵとの比（ＶＰＯＳ／ｎ）との積によって求められる。すなわち、第４の視差補間係数ＫＤＲは、注目位置Ｐｘｙを含む第１分割領域ｅの右下頂点ＰＥ６と注目位置Ｐｘｙとの距離が小さいほど大きくなる。
【０１１４】
（３）上記（１）で抽出された第１〜第４の視差情報ＵＬ、ＵＲ、ＤＬ、ＤＲに、それぞれ上記（２）で算出された第１〜第４の視差補間係数ＫＵＬ、ＫＵＲ、ＫＤＬ、ＫＤＲがそれぞれ乗算される。そして、得られた４つの乗算値が加算されることにより、注目位置Ｐｘｙに対する視差情報（請求項１記載の「各画素毎の第１の視差情報」に相当）が生成される。
上記した処理により、画面内の各画素毎の第１の視差情報を、その周囲の視差算出領域に対する視差情報に重みを付けて加算することにより算出し、各画素毎にその画素に対応する第１の視差情報に応じた水平位相差を有する第１の左映像および第１の右映像を生成している。
【０１１５】
視差情報記憶手段６０は、領域Ｅ１〜Ｅ１２にそれぞれ対応して設けられた第１〜第１２の視差レジスタ６１〜７２を備えている。第１〜第１２の視差レジスタ６１〜７２には、ＣＰＵ７によって生成された各領域Ｅ１〜Ｅ１２に対する視差情報が格納される。
【０１１６】
視差情報記憶手段６０の後段には、視差選択回路８０が設けられている。視差選択回路８０には、各視差レジスタ６１〜７２から視差情報がそれぞれ送られる。さらに、視差選択回路８０には、タイミング信号発生回路５１から水平アドレス信号ＨＡＤおよび垂直アドレス信号ＶＡＤが送られている。
【０１１７】
視差選択回路８０は、図２０（ａ）に示されている規則にしたがって、水平アドレス信号ＨＡＤおよび垂直アドレス信号ＶＡＤに対応する領域（図１９の例では、注目位置を含む第１領域の左上頂点を中心とする視差算出領域）に対する視差情報を、第１視差情報ＵＬとして選択して出力する。さらに、視差選択回路８０は、図２０（ｂ）に示されている規則にしたがって、水平アドレス信号ＨＡＤおよび垂直アドレス信号ＶＡＤに対応する領域（図１９の例では、注目位置を含む第１領域の右上頂点を中心とする視差算出領域）に対する視差情報を、第２視差情報ＵＲとして選択して出力する。
【０１１８】
さらに、視差選択回路８０は、図２０（ｃ）に示されている規則にしたがって、水平アドレス信号ＨＡＤおよび垂直アドレス信号ＶＡＤに対応する領域（図１９の例では、注目位置を含む第１領域の左下頂点を中心とする視差算出領域）に対する視差情報を、第３視差情報ＤＬとして選択して出力する。さらに、視差選択回路８０は、図２０（ｄ）に示されている規則にしたがって、水平アドレス信号ＨＡＤおよび垂直アドレス信号ＶＡＤに対応する領域（図１９の例では、注目位置を含む第１領域の右下頂点を中心とする視差算出領域）に対する視差情報を、第４視差情報ＤＲとして選択して出力する。図２０において、たとえば、０〜ｍのように、ａ〜ｂで表現されている記号”〜”は、ａ以上ｂ未満を意味する記号として用いられている。
【０１１９】
視差選択回路８０によって選択された第１視差情報ＵＬ、第２視差情報ＵＲ、第３視差情報ＤＬおよび第４視差情報ＤＲは、それぞれ第１、第２、第３および第４の乗算器８１、８２、８３、８４に入力する。
【０１２０】
第１、第２、第３および第４の乗算器８１、８２、８３、８４には、それぞれ視差補間係数発生回路５２からの第１視差補間係数ＫＵＬ、第２視差補間係数ＫＵＲ、第３視差補間係数ＫＤＬおよび第４視差補間係数ＫＤＲも入力している。
【０１２１】
第１乗算器８１は、第１視差情報ＵＬに第１視差補間係数ＫＵＬを乗算する。第２乗算器８２は、第２視差情報ＵＲに第２視差補間係数ＫＵＲを乗算する。第３乗算器８３は、第３視差情報ＤＬに第３視差補間係数ＫＤＬを乗算する。第４乗算器８４は、第４視差情報ＤＲに第４視差補間係数ＫＤＲを乗算する。
【０１２２】
各乗算器８１、８２、８３、８４の出力は、加算回路８５によって加算される。これにより、注目位置に対する視差情報ＰＲが得られる。
【０１２３】
各任意画素遅延ＦＩＦＯ２３、２４は、１画素より小さい単位での水平位相制御を行なうために、ぞれぞれ２つのラインメモリ２３ａ、２３ｂ、２４ａ、２４ｂを備えている。各任意画素遅延ＦＩＦＯ２３、２４内の２つのラインメモリ２３ａ、２３ｂ、２４ａ、２４ｂには、それぞれＹ信号が入力されているとともにクロック信号ＣＬＫが入力している。
【０１２４】
タイミング信号発生回路５１から出力されている水平アドレス信号ＨＡＤは、標準アドレス発生回路９０にも入力している。標準アドレス発生回路９０は、各任意画素遅延ＦＩＦＯ２３、２４内の２つのラインメモリ２３ａ、２３ｂ、２４ａ、２４ｂに対する標準書き込みアドレスＷＡＤおよび標準読み出しアドレスＲＡＤを生成して出力する。また、標準アドレス発生回路９０は、２Ｄ／３Ｄ映像変換装置によって得られる左映像信号および右映像信号に付加される同期信号Ｃｓｙｎｃをも出力する。この同期信号Ｃｓｙｎｃによって表される水平同期信号は、入力映像信号の水平同期信号Ｈｓｙｎｃより、所定クロック数分遅れた信号となる。
【０１２５】
標準読み出しアドレスＲＡＤは、標準読み出しアドレスによって規定される基準水平位相に対して、各任意画素遅延ＦＩＦＯ２３、２４に入力される映像信号の水平位相を進めたり遅らしたりできるようにするために、標準書き込みアドレスＷＡＤに対して、所定クロック数分遅れている。標準アドレス発生回路９０から出力される標準書き込みアドレスＷＡＤは、各任意画素遅延ＦＩＦＯ２３、２４内の２つのラインメモリ２３ａ、２３ｂ、２４ａ、２４ｂに、書き込みアドレスを示す書き込み制御信号として入力する。
【０１２６】
標準アドレス発生回路９０から出力される標準読み出しアドレスＲＡＤは、加算器９１および減算器９２にそれぞれ入力する。加算器９１および減算器９２には、加算回路８５から出力される注目位置の視差情報ＰＲも入力している。
【０１２７】
加算器９１では、標準読み出しアドレスＲＡＤに視差情報ＰＲが加算される。これにより、左映像用読み出しアドレスＰＲＬが得られる。
【０１２８】
左映像用読み出しアドレスＰＲＬの整数部ＰＲＬ１は、左映像用任意画素遅延ＦＩＦＯ２３内の第１のラインメモリ２３ａに読み出しアドレスＲＡＤＬ１として入力する。したがって、第１のラインメモリ２３ａのアドレスＲＡＤＬ１に対応するアドレスからＹ信号が読み出される。読み出されたＹ信号は、第１の左映像用乗算器１０１に入力する。
【０１２９】
左映像用読み出しアドレスＰＲＬの整数部ＰＲＬ１に１が加算されたアドレス値は、左映像用任意画素遅延ＦＩＦＯ２３内の第２のラインメモリ２３ｂに読み出しアドレスＲＡＤＬ２として入力する。したがって、第２のラインメモリ２３ｂのアドレスＲＡＤＬ２に対応するアドレスからＹ信号が読み出される。読み出されたＹ信号は、第２の左映像用乗算器１０２に入力する。
【０１３０】
第１のラインメモリ２３ａに対する読み出しアドレスＲＡＤＬ１と、第２のラインメモリ２３ｂに対する読み出しアドレスＲＡＤＬ２とは、１だけ異なっているので、第１のラインメモリ２３ａから読み出されたＹ信号と、第２のラインメモリ２３ｂから読み出されたＹ信号とは、水平位置が１だけずれた信号となる。
【０１３１】
左映像用読み出しアドレスＰＲＬの小数部ＰＲＬ２は、第２の左映像補間係数として第２の左映像用乗算器１０２に入力する。左映像用読み出しアドレスＰＲＬの小数部ＰＲＬ２を１から減算した値（１−ＰＲＬ２）は、第１の左映像補間係数として第１の左映像用乗算器１０１に入力する。
【０１３２】
したがって、第１の左映像用乗算器１０１では、第１のラインメモリ２３ａから読み出されたＹ信号に第１の左映像補間係数（１−ＰＲＬ２）が乗算される。第２の左映像用乗算器１０２では、第２のラインメモリ２３ｂから読み出されたＹ信号に第２の左映像補間係数ＰＲＬ２が乗算される。そして、各乗算器１０１、１０２によって得られたＹ信号は加算器１０３で加算された後、左映像信号として、出力される。
【０１３３】
これにより、標準読み出しアドレスＲＡＤによって規定される基準水平位相に対して、水平位相量が注目位置に対する視差情報に応じた量だけ遅れた左映像信号が得られる。
【０１３４】
減算器９２では、標準読み出しアドレスＲＡＤから視差情報ＰＲが減算される。これにより、右映像用読み出しアドレスＰＲＲが得られる。
【０１３５】
右映像用読み出しアドレスＰＲＲの整数部ＰＲＲ１は、右映像用任意画素遅延ＦＩＦＯ２４内の第１のラインメモリ２４ａに読み出しアドレスＲＡＤＲ１として入力する。したがって、第１のラインメモリ２４ａのアドレスＲＡＤＲ１に対応するアドレスからＹ信号が読み出される。読み出されたＹ信号は、第１の右映像用乗算器１１１に入力する。
【０１３６】
右映像用読み出しアドレスＰＲＲの整数部ＰＲＲ１に１が加算されたアドレス値は、右映像用任意画素遅延ＦＩＦＯ２４内の第２のラインメモリ２４ｂに読み出しアドレスＲＡＤＲ２として入力する。したがって、第２のラインメモリ２４ｂのアドレスＲＡＤＲ２に対応するアドレスからＹ信号が読み出される。読み出されたＹ信号は、第２の右映像用乗算器１１２に入力する。
【０１３７】
第１のラインメモリ２４ａに対する読み出しアドレスＲＡＤＲ１と、第２のラインメモリ２４ｂに対する読み出しアドレスＲＡＤＲ２とは、１だけ異なっているので、第１のラインメモリ２４ａから読み出されたＹ信号と、第２のラインメモリ２４ｂから読み出されたＹ信号とは、水平位置が１だけずれた信号となる。
【０１３８】
右映像用読み出しアドレスＰＲＲの小数部ＰＲＲ２は、第２の右映像補間係数として第２の右映像用乗算器１１２に入力する。右映像用読み出しアドレスＰＲＲの小数部ＰＲＲ２を１から減算した値（１−ＰＲＲ２）は、第１の右映像補間係数として第１の右映像用乗算器１１１に入力する。
【０１３９】
したがって、第１の右映像用乗算器１１１では、第１のラインメモリ２４ａから読み出されたＹ信号に第１の右映像補間係数（１−ＰＲＲ２）が乗算される。第２の右映像用乗算器１１２では、第２のラインメモリ２４ｂから読み出されたＹ信号に第２の右映像補間係数ＰＲＲ２が乗算される。そして、各乗算器１１１、１１２によって得られたＹ信号は加算器１１３で加算された後、右映像信号として、出力される。
【０１４０】
これにより、標準読み出しアドレスＲＡＤによって規定される基準水平位相に対して、水平位相量が注目位置に対する視差情報に応じた量だけ進んだ右映像信号が得られる。
【０１４１】
本出願人が既に開発した２次元映像信号を３次元映像信号に変換する方法（特願平９−１５９９４９号）では、上記左映像生成回路５によって生成された左映像信号と、上記右映像生成回路６によって生成された右映像信号とをそれぞれＤＡ変換することにより、３次元映像信号を得ている。
【０１４２】
図２１は、注目位置に対する視差情報が０の場合の、各部の信号を示している。
【０１４３】
視差情報が０の場合には、加算器９１から出力される左映像用読み出しアドレスＰＲＬと、減算器９２から出力される右映像用読み出しアドレスＰＲＲは、ともに標準読み出しアドレスＲＡＤと等しい小数部のない整数部のみからなるアドレスとなる。
【０１４４】
したがって、左映像用任意画素遅延ＦＩＦＯ２３内の第１のラインメモリ２３ａに対する読み出しアドレスＲＡＤＬ１と、右映像用任意画素遅延ＦＩＦＯ２４内の第１のラインメモリ２４ａに対する読み出しアドレスＲＡＤＲ１は、標準読み出しアドレスＲＡＤと等しいアドレスとなる。
【０１４５】
また、左映像用任意画素遅延ＦＩＦＯ２３内の第２のラインメモリ２３ｂに対する読み出しアドレスＲＡＤＬ２と、右映像用任意画素遅延ＦＩＦＯ２４内の第２のラインメモリ２４ｂに対する読み出しアドレスＲＡＤＲ２は、標準読み出しアドレスＲＡＤより１だけ大きい値となる。
【０１４６】
また、第１の左映像補間係数（１−ＰＲＬ２）および第１の右映像補間係数（１−ＰＲＲ２）は１となり、第２の左映像補間係数ＰＲＬ２および第２の右映像補間係数ＰＲＲ２は０となる。
【０１４７】
この結果、左映像用任意画素遅延ＦＩＦＯ２３内の第１のラインメモリ２３ａの標準アドレスＲＡＤに対応するアドレスから読み出されたＹ信号が加算器１０３から左映像信号として出力され、右映像用任意画素遅延ＦＩＦＯ２４内の第１のラインメモリ２４ａの標準アドレスＲＡＤに対応するアドレスから読み出されたＹ信号が加算器１１３から右映像信号として出力される。つまり、水平方向の位相ずれ量が同じ２つのＹ信号、すなわち視差のない２つのＹ信号が左映像用Ｙ信号および右映像信号として出力される。
【０１４８】
図２２は、ある注目位置に対する標準書き込みアドレスＷＡＤが２０であり、上記注目位置に対する標準読み出しアドレスＲＡＤが１０であり、上記注目位置に対する視差情報が１．２の場合の、各アドレス値の具体例を示している。図２３は、その際の各部の信号を示している。
【０１４９】
この場合には、加算器９１から出力される左映像用読み出しアドレスＰＲＬは、１１．２となり、その整数部ＰＲＬ１は１１となり、その小数部ＰＲＬ２は０．２となる。
【０１５０】
したがって、左映像用任意画素遅延ＦＩＦＯ２３内の第１のラインメモリ２３ａに対する読み出しアドレスＲＡＤＬ１は１１となり、第２のラインメモリ２３ｂに対する読み出しアドレスＲＡＤＬ２は１２となる。また、第１の左映像補間係数ＫＬ１｛＝（１−ＰＲＬ２）｝は０．８となり、第２の左映像補間係数ＫＬ２（＝ＰＲＬ２）は０．２となる。
【０１５１】
したがって、左映像用任意画素遅延ＦＩＦＯ１１内の第１のラインメモリ２３ａのアドレス１１からＹ信号（Ｙ11）が読み出され、第１乗算器１０１からは読み出されたＹ信号（Ｙ11）の０．８倍の信号（０．８＊Ｙ11）が出力される。
【０１５２】
一方、左映像用任意画素遅延ＦＩＦＯ２３内の第２のラインメモリ２３ｂのアドレス１２からＹ信号（Ｙ12）が読み出され、第２乗算器１０２からは読み出されたＹ信号（Ｙ12）の０．２倍の信号（０．２＊Ｙ12）が出力される。そして、加算器１０３からは、０．８＊Ｙ11＋０．２＊Ｙ12に相当する左映像信号が出力される。つまり、読み出しアドレス１１．２に相当するＹ信号が、左映像信号として出力される。
【０１５３】
減算器９２から出力される右映像用読み出しアドレスＰＲＲは、８．８となり、その整数部ＰＲＲ１は８となり、その小数部ＰＲＲ２は０．８となる。
【０１５４】
したがって、右映像用任意画素遅延ＦＩＦＯ２４内の第１のラインメモリ２４ａに対する読み出しアドレスＲＡＤＲ１は８となり、第２のラインメモリ２４ｂに対する読み出しアドレスＲＡＤＲ２は９となる。また、第１の右映像補間係数ＫＲ１｛＝（１−ＰＲＲ２）｝は０．２となり、第２の右映像補間係数ＫＲ２（＝ＰＲＲ２）は０．８となる。
【０１５５】
したがって、右映像用任意画素遅延ＦＩＦＯ２４内の第１のラインメモリ２４ａのアドレス８からＹ信号（Ｙ8 ）が読み出され、第１乗算器１１１からは読み出されたＹ信号（Ｙ8 ）の０．２倍の信号（０．２＊Ｙ8 ）が出力される。
【０１５６】
一方、右映像用任意画素遅延ＦＩＦＯ２４内の第２のラインメモリ２４ｂのアドレス９からＹ信号（Ｙ9 ）が読み出され、第２乗算器１１２からは読み出されたＹ信号（Ｙ9 ）の０．８倍の信号（０．８＊Ｙ9 ）が出力される。そして、加算器１１３からは、０．２＊Ｙ8 ＋０．８＊Ｙ9 に相当する右映像信号が出力される。つまり、読み出しアドレス８．８に相当するＹ信号が、右映像信号として出力される。
【０１５７】
この結果、１１．２−８．８＝２．４の視差、つまり、視差情報１．２の２倍の視差を互いに有する左映像および右映像が得られる。
【０１５８】
図２４は、図１の背景映像用視差制御回路９、左背景映像生成回路３および右背景映像生成回路４の構成を示している。図２４において、図１７と対応する部分には、同じ符号を付してその説明を省略する。
【０１５９】
図２４の左背景映像生成回路３と、図１７の左映像生成回路５とを比較すると、図１７の左映像用任意遅延ＦＩＦＯ２３を構成する２つのラインメモリ２３ａ、２３ｂが、図２４に示すように左背景映像用任意遅延ＦＩＦＯ２１を構成する２つのラインメモリ２１ａ、２１ｂと置き換えられた点のみが異なっている。
【０１６０】
図２４の右背景映像生成回路４と、図１７の右映像生成回路６とを比較すると、図１７の右映像用任意遅延ＦＩＦＯ２４を構成する２つのラインメモリ２４ａ、２４ｂが、図２４に示すように右背景映像用任意遅延ＦＩＦＯ２２を構成する２つのラインメモリ２２ａ、２２ｂと置き換えられた点のみが異なっている。
【０１６１】
図２４の背景映像用視差制御回路９と、図１７の視差制御回路８とを比較すると、図１７の視差選択回路８０の後段に設けられた乗算器８１〜８４および加算回路８５が、図２４に示すように最大値選択回路８６に置き換えられた点のみが異なっている。
【０１６２】
つまり、図２４に示されている背景映像用視差制御回路９では、図１９における注目位置Ｐｘｙに対する視差量ＰＲは、注目位置Ｐｘｙを含む第１分割領域（図１８参照）の４頂点（ＰＥ１，ＰＥ２，ＰＥ５，ＰＥ６）の視差情報ＵＬ，ＵＲ，ＤＬ，ＤＲのうち、最も大きな値（管面から最も奥にある領域の視差情報）に決定される（請求項１記載の「各画素毎の第２の視差情報」に相当）。この点以外については、背景映像用視差制御回路９、左背景映像生成回路３および右背景映像生成回路４の動作は、図１７の視差制御回路８、左映像生成回路５および右映像生成回路６の動作と同様であるので、その説明を省略する。
【０１６３】
図２５は、エッジピーク位置検出回路１１の構成を示している。
【０１６４】
エッジピーク位置検出回路１１は、各水平ライン毎に、図１８における視差算出領域Ｅ１（Ｅ５、Ｅ９）の水平方向中心位置ｍからＥ２（Ｅ６、Ｅ１０）の水平方向中心位置２ｍまでの第１水平領域、視差算出領域Ｅ２（Ｅ６、Ｅ１０）の水平方向中心位置２ｍからＥ３（Ｅ７、Ｅ１１）の水平方向中心位置３ｍまでの第２水平領域、および視差算出領域Ｅ３（Ｅ７、Ｅ１１）の水平方向中心位置３ｍからＥ４（Ｅ８、Ｅ１２）の水平方向中心位置４ｍまでの第３水平領域それぞれの領域におけるエッジピーク位置を検出する。
【０１６５】
エッジピーク位置検出回路１１は、エッジ抽出回路３１、レベル比較回路３２、第１レジスタ群３３および第２レジスタ群３４を備えている。レベル比較回路３２、第１レジスタ群３３および第２レジスタ群３４には、エッジピーク位置検出回路１１に入力する映像の水平アドレス信号ＨＡＤが送られている。
【０１６６】
第１レジスタ群３３は、第１水平領域、第２水平領域および第３水平領域それぞれに対応したエッジＭＡＸ−Ｈアドレスレジスタ３３ａ、３３ｂ、３３ｃを備えている。同様に、第２レジスタ群３４は、第１水平領域、第２水平領域および第３水平領域それぞれに対応したエッジＭＡＸ−Ｈアドレスレジスタ３４ａ、３４ｂ、３４ｃを備えている。
【０１６７】
エッジ抽出回路３１に入力された信号Ｙは、１画素期間遅延する遅延回路３１ａに送られるとともに減算回路３１ｂに送られる。遅延回路３１ａによって１画素期間遅延された信号は減算回路３１ｂに送られる。したがって、減算回路３１ｂでは、水平方向に隣合う画素間での輝度レベルの差分が算出される。
【０１６８】
減算回路３１ｂによって得られた差分は絶対値回路３１ｃに送られ、差分の絶対値を表すエッジ信号に変換される。差分の絶対値を表すエッジ信号は、減算回路３１ｄ送られ、所定のスライスレベル以下のレベルのエッジ信号が除去される。したがって、エッジ抽出回路３１からは、スライスレベルより大きなエッジ信号のみが出力される。エッジ抽出回路３１から出力されるエッジ信号は、レベル比較回路３５に送られる。
【０１６９】
レベル比較回路３２は、各水平ライン毎に次のような動作を行う。まず、第１水平領域内において最初のエッジ信号が入力されると、そのエッジ信号の水平アドレスを第１レジスタ群３３内の第１水平領域に対応するエッジＭＡＸ−Ｈアドレスレジスタ３３ａに書き込む。そして、第１水平領域内において、より大きなエッジ信号が入力される毎に、そのエッジ信号の水平アドレスに、レジスタ３３ａ内の水平アドレスを更新する。以下、第２水平領域および第３水平領域に対しても同様な動作を行う。
【０１７０】
そして、１水平ラインに対する処理が終了すると、つまり、水平アドレス（ＨＡＤ）が０になると、第１アドレス群３３内の各レジスタ３３ａ、３３ｂ、３３ｃの内容が、第２アドレス群３４内の対応するレジスタ３４ａ、３４ｂ、３４ｃに転送される。また、第１アドレス群３３内の各レジスタ３３ａ、３３ｂ、３３ｃに初期値、この例では０が書き込まれる。
【０１７１】
第２アドレス群３４のレジスタ３４ａ、３４ｂ、３４ｃに、第１アドレス群３３内の各レジスタ３３ａ、３３ｂ、３３ｃの内容が転送されると、その時点から開始される１水平期間において、第２アドレス群３４は、各レジスタ３４ａ、３４ｂ、３４ｃの内容に基づいて、次のようなタイミングで背景選択信号を出力する。
【０１７２】
第２アドレス群３４のレジスタ３４ａ、３４ｂ、３４ｃの少なくとも１つに０以外の水平アドレスが格納されている場合には、水平アドレス（ＨＡＤ）が、レジスタ３４ａ、３４ｂ、３４ｃに記憶されている０以外の水平アドレスと一致する毎に、背景選択信号が出力される。第２アドレス群３４のレジスタ３４ａ、３４ｂ、３４ｃの全てに初期値０が格納されている場合には、背景選択信号は出力されない。なお、エッジピーク位置検出回路１５の構成も、エッジピーク位置検出回路１１の構成と同様なので、その説明を省略する。
【０１７３】
図１の視差比較回路１０は、図１９に示すように、注目位置が含まれる第１分割領域の４頂点ＰＥ１、ＰＥ２、ＰＥ５、ＰＥ６に対する視差情報ＵＬ、ＵＲ、ＤＬ、ＤＲに基づいて、左映像用視差比較信号ＥＮＬＳＥＬおよび右映像用視差比較信号ＥＮＲＳＥＬを出力する。
【０１７４】
つまり、注目画素を含む４頂点ＰＥ１、ＰＥ２、ＰＥ５、ＰＥ６の視差情報ＵＬ、ＵＲ、ＤＬ、ＤＲが次式８で表される第１条件を満たした場合には、左映像用視差比較信号ＥＮＬＳＥＬが出力される。
【０１７５】
【数８】
また、注目画素を含む４頂点ＰＥ１、ＰＥ２、ＰＥ５、ＰＥ６の視差情報ＵＬ、ＵＲ、ＤＬ、ＤＲが次式９で表される第２条件を満たした場合には、右映像用視差比較信号ＥＮＲＳＥＬが出力される。
【０１７７】
【数９】
図１の第１の背景選択制御回路１２の動作について、図２６〜図２９を参照して説明する。
【０１７９】
図２６（ａ）は入力映像を示し、図２６（ｂ）は左背景映像生成回路３によって生成された左背景映像を示し、図２６（ｃ）は右背景映像生成回路４によって生成された右背景映像を示している。
【０１８０】
図２６（ａ）、（ｂ）、（ｃ）の各画像内の各ブロックは、視差算出領域を表している。また、各ブロック内の数字は、各ブロックに対する視差情報を表している。
【０１８１】
入力映像が図２６（ａ）に示すような画像である場合には、左背景映像は、図２６（ｂ）に示すように、入力映像全体を視差情報”２”に応じた量だけ、左側にずらした映像となる。また、右背景映像は、図２６（ｃ）に示すように、入力映像全体を視差情報”２”に応じた量だけ、右側にずらした映像となる。
【０１８２】
図２７（ａ）は入力映像を示し、図２７（ｂ）は左映像生成回路５によって生成された左映像を示し、図２７（ｃ）は右映像生成回路６によって生成された右映像を示している。
【０１８３】
左映像は、図２７（ｂ）に示すように、視差情報の大きな画素位置ほど、左側に大きくずれた映像となる。また、右映像は、図２７（ｃ）に示すように、視差情報の大きな画素位置ほど、右側に大きくずれた映像となる。
【０１８４】
図２８（ａ）は入力映像を示し、図２８（ｂ）はＤＡ変換回路１４から出力される左出力映像を示し、図２８（ｃ）はＤＡ変換回路１８から出力される右出力映像を示している。図２８（ｂ）、（ｃ）において、Ｈ１は第１水平領域を、Ｈ２は第２水平領域を、Ｈ３は第３水平領域を、それぞれ示している。
【０１８５】
第１の背景選択制御回路１２の動作について説明する。第１の背景選択制御回路１２は、映像切替制御信号として常時は左映像を選択させるための左映像選択信号を第１の選択回路１３に出力している。したがって、第１の選択回路１３は、常時は、左映像を選択して出力している。
【０１８６】
ある水平ラインが走査されている場合において、背景選択信号が第１の背景選択制御回路１２に入力された時点で、左映像視差比較信号ＥＮＬＳＥＬが出力されている場合（つまり、注目位置より左側の視差量が右側の視差量より小さい（ＵＬ＜ＵＲかつＤＬ＜ＤＲ）場合）には、第１の背景選択制御回路１２は、その時点での水平アドレスを記憶する。つまり、背景より前方にある物体の正面からみて右側のエッジの水平アドレスが記憶される。
【０１８７】
そして、次の水平ライン走査時において、水平アドレスが、１つ前の水平ライン走査時に記憶されたエッジの水平アドレスと一致すると、第１の背景選択制御回路１２は、映像切替制御信号を左背景映像選択信号に切り替える。したがって、第１の選択回路１３は、左背景映像を出力するようになる。
【０１８８】
そして、水平アドレスが上記エッジ位置を含む水平領域（第１、第２、第３水平領域）の最終アドレスと一致すると、第１の背景選択制御回路１２は、映像切替制御信号を左映像選択信号に切り替える。したがって、第１の選択回路１３は、左映像を出力するようになる。
【０１８９】
したがって、図２８（ｂ）に示すように、背景より前方にある物体の正面からみて右側のエッジから、そのエッジを含む水平領域（この例では第３水平領域）の最終アドレス位置までの間部分（線間の広い斜線部分）において、左背景映像が選択される。
【０１９０】
第２の背景選択制御回路１６の動作について説明する。第２の背景選択制御回路１６は、映像切替制御信号として常時は右映像を選択させるための右映像選択信号を第２の選択回路１７に出力している。したがって、第２の選択回路１７は、常時は、右映像を選択して出力している。
【０１９１】
ある水平ラインが走査されている場合において、背景選択信号が第２の背景選択制御回路１６に入力された時点で、右映像視差比較信号ＥＮＲＳＥＬが出力されている場合（つまり、注目位置より左側の視差量が右側の視差量より大きい（ＵＬ＞ＵＲかつＤＬ＞ＤＲ）場合）には、第２の背景選択制御回路１６は、その時点での水平アドレスを記憶する。つまり、背景より前方にある物体の正面からみて左側のエッジの水平アドレスが記憶される。
【０１９２】
そして、次の水平ライン走査時において、水平アドレスが、１つ前の水平ライン走査時に記憶されたエッジ位置を含む水平領域の開始アドレスと一致すると、第２の背景選択制御回路１６は、映像切替制御信号を右背景映像選択信号に切り替える。したがって、第２の選択回路１７は、右背景映像を出力するようになる。
【０１９３】
そして、水平アドレスが上記エッジの水平アドレスと一致すると、第２の背景選択制御回路１６は、映像切替制御信号を右映像選択信号に切り替える。したがって、第２の選択回路１７は、右映像を出力するようになる。
【０１９４】
したがって、図２８（ｃ）に示すように、背景より前方にある物体の正面からみて左側のエッジを含む水平領域（この例では第１水平領域）の開始アドレス位置からそのエッジ位置までの間部分（斜線部分）において、右背景映像が選択される。
【０１９５】
このようにして得られた左出力映像においては、図２９（ａ）に符号ＱＬで示すように左眼の死角部分が形成される。また、右出力映像においては、図２９（ｂ）に符号ＱＲで示すように右眼の死角部分が形成される。この結果、左右２台のカメラで被写体を撮像した場合のように、死角部分を有する左出力映像および右出力映像が得られるので、立体感が向上する。
【０１９６】
図３０（ａ）は、本棚の前方に顔が存在している入力映像を示している。図３０（ｂ）は図３０（ａ）の入力映像に対して図１の左映像生成回路３によって生成される左映像を示し、図３０（ｃ）は図３０（ａ）の入力映像に対して図１の右映像生成回路４によって生成される右映像を示している。
【０１９７】
図３１（ａ）は、図３０（ａ）と同じ入力映像を示している。図３１（ｂ）は図３１（ａ）の入力映像に対して図１のＤＡ変換回路１４から出力される左出力映像を示し、図３１（ｃ）は図３１（ａ）の入力映像に対して図１のＤＡ変換回路１８から出力される右出力映像を示している。
【０１９８】
図３１における左出力映像と、図３０における左映像とを比較すると、図３１の左出力映像では図３２に符号ＱＬで示すように顔における正面から見て右側の輪郭（エッジ）の右側部分に死角が形成されていることがわかる。
【０１９９】
同様に、図３１における右出力映像と、図３０における右映像とを比較すると、図３１の右出力映像では図３２に符号ＱＲで示すように顔における正面から見て左側の輪郭（エッジ）の左側部分に死角が形成されていることが分かる。
【０２００】
【発明の効果】
この発明によれば、左映像と右映像とで異なる死角が生成されるので、立体感が向上する。
【図面の簡単な説明】
【図１】２Ｄ／３Ｄ映像変換装置の全体構成を示すブロック図である。
【図２】視差算出領域を示す模式図である。
【図３】実際に設定される視差算出領域を示す模式図である。
【図４】ＣＰＵによる視差情報の生成処理手順を示すフローチャートである。
【図５】Ｒ−Ｙ成分積算値の正規化値を縦軸にとり、Ｂ−Ｙ成分積算値の正規化値を横軸にとって、視差算出領域の分布を表したグラフである。
【図６】図５のグラフに基づいて得られたグループ分け結果を示す模式図である。
【図７】図５のグラフに基づいて得られたグループ分け結果を示す模式図である。
【図８】空間分離処理によって修正されたグループ分け結果を示す模式図である。
【図９】特異点処理を説明するための模式図である。
【図１０】特異点処理によって修正されたグループ分け結果を示す模式図である。
【図１１】各視差算出領域毎に予め設定された背景重み成分を示す模式図である。
【図１２】奥行き補正前における各視差算出領域の奥行き情報の一例を示す模式図である。
【図１３】奥行き補正後における各視差算出領域の奥行き情報を示す模式図である。
【図１４】奥行き補正前における画面の高さ位置に対する奥行き情報との関係および奥行き補正後における画面の高さ位置に対する奥行き情報との関係を示すグラフである。
【図１５】グループ内部に対する奥行き情報補正処理を説明するための模式図である。
【図１６】奥行き情報と視差情報との関係を示すグラフである。
【図１７】視差制御回路、左映像生成回路および右映像生成回路の構成を示すブロック図である。
【図１８】相対的水平位置および相対的垂直位置等を示す模式図である。
【図１９】注目画素に対する視差情報を生成する方法を説明するための説明図である。
【図２０】視差選択回路による選択規則を示す図である。
【図２１】視差情報が０の場合の各部の信号を示すタイムチャートである。
【図２２】視差情報が１．２の場合の各アドレス値を視差制御回路に付記したブロック図である。
【図２３】視差情報が１．２の場合の各部の信号を示すタイムチャートである。
【図２４】背景映像用視差制御回路、左背景映像生成回路および右背景映像生成回路の構成を示すブロック図である。
【図２５】エッジピーク位置検出回路の構成を示すブロック図である。
【図２６】入力映像、左背景映像および右背景映像の一例を示す模式図である。
【図２７】入力映像、左映像および右映像の一例を示す模式図である。
【図２８】入力映像、左出力映像および右出力映像の一例を示す模式図である。
【図２９】図２８の左出力映像および右出力映像によって形成される死角を示す模式図である。
【図３０】入力映像、左映像および右映像の他の例を示す模式図である。
【図３１】入力映像、左出力映像および右出力映像の他の例を示す模式図である。
【図３２】図３１の左出力映像および右出力映像によって形成される死角を示す模式図である。
【符号の説明】
２ 画像特徴量検出回路
３ 左背景映像生成回路
４ 右背景映像生成回路
５ 左映像生成回路
６ 右映像生成回路
７ ＣＰＵ
８ 視差制御回路
９ 背景映像用視差制御回路
１０ 視差比較回路
１１、１５ エッジピーク位置検出回路
１２、１６ 背景選択制御回路
１３、１７ 選択回路
Claims (8)
- ２次元入力映像に基づいて、任意画面において、画面内に設定された複数の視差算出領域のそれぞれに対して、映像の遠近に関する画像特徴量を抽出する特徴量抽出手段、
各視差算出領域毎に抽出された画像特徴量に基づいて各視差算出領域毎の視差情報を算出する視差情報算出手段、
画面内の各画素毎の第１の視差情報を、その周囲の視差算出領域に対する視差情報に重みを付けて加算することにより算出し、各画素毎にその画素に対応する第１の視差情報に応じた水平位相差を有する第１の左映像および第１の右映像を生成する第１映像生成手段、
画面内の各画素毎の第２の視差情報を、その周囲の視差算出領域に対する視差情報のうち、遠近位置が最も遠いことを表している視差情報と等しくなるように決定し、各画素毎にその画素に対応する第２の視差情報に応じた水平位相差を有する第２の左映像および第２の右映像を生成する第２映像生成手段、
第１の左映像および第２の左映像が入力され、第１の左映像から検出されたエッジ位置および上記第１の視差情報に基づいて、画素単位で第１の左映像および第２の左映像のいずれかを選択して、左出力映像として出力させる第１出力手段、ならびに
第１の右映像および第２の右映像が入力され、第１の右映像から検出されたエッジ位置および上記第１の視差情報に基づいて、画素単位で第１の右映像および第２の右映像のいずれかを選択して、右出力映像として出力させる第２出力手段、
を備えている２次元映像を３次元映像に変換する装置。 - 第１出力手段は、常時は第１の左映像を選択しており、第１の左映像から検出されたエッジ位置の左側位置に対する第１の視差情報によって表される遠近位置が、そのエッジ位置の右側位置に対する第１の視差情報によって表される遠近位置より前側にある場合には、そのエッジ位置から右側の所定水平位置までの期間において第２の左映像を選択するものである請求項１に記載の２次元映像を３次元映像に変換する装置。
- 第２出力手段は、常時は第１の右映像を選択しており、第１の右映像から検出されたエッジ位置の左側位置に対する第１の視差情報によって表される遠近位置が、そのエッジ位置の右側位置に対する第１の視差情報によって表される遠近位置より後側にある場合には、そのエッジ位置より左側の所定水平位置からそのエッジ位置までの期間において第２の右映像を選択するものである請求項１および２のいずれかに記載の２次元映像を３次元映像に変換する装置。
- 映像の遠近に関する画像特徴量が、高周波成分の積算値、輝度コントラスト、Ｒ−Ｙ成分の積算値、Ｂ−Ｙ成分の積算値のうちから選択された任意の１つまたは任意の組み合わせである請求項１、２および３のいずれかに記載の２次元映像を３次元映像に変換する装置。
- ２次元入力映像に基づいて、任意画面において、画面内に設定された複数の視差算出領域のそれぞれに対して、映像の遠近に関する画像特徴量を抽出する第１ステップ、
各視差算出領域毎に抽出された画像特徴量に基づいて各視差算出領域毎の視差情報を算出する第２ステップ、
画面内の各画素毎の第１の視差情報を、その周囲の視差算出領域に対する視差情報に重みを付けて加算することにより算出し、各画素毎にその画素に対応する第１の視差情報に応じた水平位相差を有する第１の左映像および第１の右映像を生成する第３ステップ、
画面内の各画素毎の第２の視差情報を、その周囲の視差算出領域に対する視差情報のうち、遠近位置が最も遠いことを表している視差情報と等しくなるように決定し、各画素毎にその画素に対応する第２の視差情報に応じた水平位相差を有する第２の左映像および第２の右映像を生成する第４ステップ、
第１の左映像から検出されたエッジ位置および上記第１の視差情報に基づいて、画素単位で第１の左映像および第２の左映像のいずれかを選択して、左出力映像として出力させる第５ステップ、ならびに
第１の右映像から検出されたエッジ位置および上記第１の視差情報に基づいて、画素単位で第１の右映像および第２の右映像のいずれかを選択して、右出力映像として出力させる第６ステップ、
を備えている２次元映像を３次元映像に変換する方法。 - 第５ステップでは、常時は第１の左映像を選択しており、第１の左映像から検出されたエッジ位置の左側位置に対する第１の視差情報によって表される遠近位置が、そのエッジ位置の右側位置に対する第１の視差情報によって表される遠近位置より前側にある場合には、そのエッジ位置から右側の所定水平位置までの期間において第２の左映像を選択する請求項５に記載の２次元映像を３次元映像に変換する方法。
- 第６ステップでは、常時は第１の右映像を選択しており、第１の右映像から検出されたエッジ位置の左側位置に対する第１の視差情報によって表される遠近位置が、そのエッジ位置の右側位置に対する第１の視差情報によって表される遠近位置より後側にある場合には、そのエッジ位置より左側の所定水平位置からそのエッジ位置までの期間において第２の右映像を選択する請求項５および６のいずれかに記載の２次元映像を３次元映像に変換する方法。
- 映像の遠近に関する画像特徴量が、高周波成分の積算値、輝度コントラスト、Ｒ−Ｙ成分の積算値、Ｂ−Ｙ成分の積算値のうちから選択された任意の１つまたは任意の組み合わせである請求項５、６および７のいずれかに記載の２次元映像を３次元映像に変換する方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26265598A JP3540626B2 (ja) | 1998-09-17 | 1998-09-17 | ２次元映像を３次元映像に変換する装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26265598A JP3540626B2 (ja) | 1998-09-17 | 1998-09-17 | ２次元映像を３次元映像に変換する装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000092516A JP2000092516A (ja) | 2000-03-31 |
| JP3540626B2 true JP3540626B2 (ja) | 2004-07-07 |
Family
ID=17378802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26265598A Expired - Fee Related JP3540626B2 (ja) | 1998-09-17 | 1998-09-17 | ２次元映像を３次元映像に変換する装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3540626B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100372177B1 (ko) * | 2000-04-26 | 2003-02-14 | 이승현 | 2차원 영상을 3차원 영상으로 변환하는 방법 |
| JP4708619B2 (ja) * | 2001-07-31 | 2011-06-22 | キヤノン株式会社 | 立体画像形成システムおよび立体画像形成方法 |
| JP5569635B2 (ja) * | 2008-08-06 | 2014-08-13 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| JP5347717B2 (ja) * | 2008-08-06 | 2013-11-20 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| KR20100040236A (ko) * | 2008-10-09 | 2010-04-19 | 삼성전자주식회사 | 시각적 관심에 기반한 2차원 영상의 3차원 영상 변환기 및 변환 방법 |
| JP5370175B2 (ja) * | 2009-07-16 | 2013-12-18 | 株式会社Ｊｖｃケンウッド | 画像表示装置 |
| JP5387377B2 (ja) * | 2009-12-14 | 2014-01-15 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| JP6024110B2 (ja) | 2012-01-26 | 2016-11-09 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム |
-
1998
- 1998-09-17 JP JP26265598A patent/JP3540626B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000092516A (ja) | 2000-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0918439B1 (en) | Device for converting two-dimensional video into three-dimensional video | |
| US6584219B1 (en) | 2D/3D image conversion system | |
| KR101385514B1 (ko) | 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치 | |
| JP6370708B2 (ja) | 例示的な類似画像と関連した例示的な近似奥行きマップを用いた、入力画像に対する奥行きマップの生成 | |
| TW521519B (en) | Apparatus and method for converting a two dimensional image to a three dimensional image | |
| JP5879713B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| KR101520619B1 (ko) | 스테레오 동기화를 위한 스테레오스코픽 영상의 시점 결정방법 및 장치 | |
| JP2001320731A (ja) | ２次元映像を３次元映像に変換する装置及びその方法 | |
| JP3005474B2 (ja) | ２次元映像を３次元映像に変換する装置および方法 | |
| US20130342529A1 (en) | Parallax image generating apparatus, stereoscopic picture displaying apparatus and parallax image generation method | |
| JP3540626B2 (ja) | ２次元映像を３次元映像に変換する装置および方法 | |
| JP3276931B2 (ja) | ３次元映像の立体感調整方法及び立体感調整装置 | |
| JP3235776B2 (ja) | 立体感調整方法および立体感調整装置 | |
| JP2951291B2 (ja) | ２次元映像を３次元映像に変換する装置および方法 | |
| JP5692051B2 (ja) | 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム | |
| JPH10191397A (ja) | 意図適応型の２次元映像を３次元映像に変換する装置 | |
| JP3957343B2 (ja) | ２次元映像を３次元映像に変換する装置および方法 | |
| WO2012098974A1 (ja) | 画像処理装置および方法、画像表示装置および方法 | |
| JP2014072809A (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム | |
| JP3485764B2 (ja) | ２次元映像を３次元映像に変換する装置および方法 | |
| JP3454684B2 (ja) | ２次元映像を３次元映像に変換する装置 | |
| US8941647B2 (en) | Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program | |
| JPH10178594A (ja) | ３次元映像伝送方法、デジタル放送システムおよびデジタル放送システムにおけるユーザ側端末 | |
| JP5711634B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JPH04372079A (ja) | 画像表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040316 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040325 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090402 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |