JPH1198527A

JPH1198527A - ２次元映像を３次元映像に変換する装置および方法

Info

Publication number: JPH1198527A
Application number: JP9253878A
Authority: JP
Inventors: Seiji Okada; 誠司岡田; Shiyuugo Yamashita; 周悟山下; Yukio Mori; 幸夫森
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1997-09-18
Filing date: 1997-09-18
Publication date: 1999-04-09
Anticipated expiration: 2017-09-18
Also published as: JP3485764B2

Abstract

(57)【要約】【課題】この発明は、入力映像が動画と静止画との間
で切り替わる際に視差の変動を小さくすることができる
２次元映像を３次元映像に変換する装置を提供すること
を目的とする。【解決手段】動画／静止画判定手段の判定結果に基づ
いて静止画比率を算出する静止画比率算出手段、視差情
報生成手段によって生成された各視差算出領域ごとの視
差情報に静止画比率算出手段によって算出された静止画
比率を乗算することにより各視差算出領域ごとの視差情
報を補正し、補正後の各視差情報に基づいて１フィール
ド画面内の所定単位領域ごとの視差情報を生成する視差
情報補正手段、ならびに映像変換手段から出力される右
目用映像および左目用映像の各所定単位領域内の信号に
対して、視差情報補正手段によって得られた当該所定単
位領域に対応する視差情報に応じた水平位相制御を行う
位相制御手段を備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、２次元映像を３
次元映像に変換する装置および方法に関する。

【０００２】

【従来の技術】２次元映像を３次元映像に変換する方法
として、２次元映像信号から、複数のフィールドメモリ
を用いて、主映像信号と主映像信号に対して時間的に遅
延された副映像信号とを生成し、主映像信号と副映像信
号のうち、一方を左目用映像信号として出力し、他方を
右目用映像信号として出力する方法が知られている。

【０００３】主映像信号に対する副映像信号の時間的な
遅れ（以下、遅延量）は、主映像の水平方向の動きの速
度に基づいて、決定される。つまり、主映像の水平方向
の動きの速度が大きい程、遅延量は小さくなる。また、
主映像と副映像とのうち、いずれを左目用映像信号と
し、いずれを右目用映像信号とするかは、主映像の水平
方向の動きの方向（左または右）に基づいて決定され
る。

【０００４】このような方法は、動きのある２次元映像
のみしか３次元映像に変換することができないので、こ
の方法を動画用２Ｄ／３Ｄ映像変換方法ということにす
る。

【０００５】本出願人は、動きのない２次元映像を３次
元映像に変換するための方法（以下、静止画用２Ｄ／３
Ｄ映像変換方法という）を既に開発して出願している
（特願平８−２０８１７３号、特願平９−１５９９４９
号）。ただし、これらの出願は未だ公開されていない。

【０００６】この静止画用２Ｄ／３Ｄ映像変換方法は、
２次元入力映像信号に基づいて、各フィールドごとに、
１フィールド画面内に設定された複数の視差算出領域の
それぞれに対して、映像の遠近に関する画像特徴量を抽
出し、各視差算出領域ごとに抽出された画像特徴量に基
づいて、１フィールド画面内の所定単位領域ごとの視差
情報を生成し、２次元入力映像信号の各所定単位領域内
の信号から、その所定単位領域に対応する視差情報に応
じた水平位相差を有する第１映像信号と第２映像信号と
をそれぞれ生成するものである。

【０００７】図１〜図３４を用いて、静止画用２Ｄ／３
Ｄ映像変換方法の一例について説明する。

【０００８】図１は、２次元映像を３次元映像に変換す
るための２Ｄ／３Ｄ映像変換装置の全体的な構成を示し
ている。

【０００９】２次元映像信号を構成する輝度信号Ｙ、色
差信号Ｒ−Ｙおよび色差信号Ｂ−Ｙは、ＡＤ変換回路１
（ＡＤＣ）によってそれぞれディジタルのＹ信号、Ｒ−
Ｙ信号およびＢ−Ｙ信号に変換される。

【００１０】Ｙ信号は、高周波成分積算回路８および輝
度コントラスト算出回路９に送られるとともに、第１の
左映像用任意画素遅延ＦＩＦＯ１１および第１の右映像
用任意画素遅延ＦＩＦＯ２１に送られる。Ｒ−Ｙ信号
は、Ｒ−Ｙ成分積算回路３１に送られるとともに、第２
の左映像用任意画素遅延ＦＩＦＯ１２および第２の右映
像用任意画素遅延ＦＩＦＯ２２に送られる。Ｂ−Ｙ信号
は、Ｂ−Ｙ成分積算回路３２に送られるとともに、第３
の左映像用任意画素遅延ＦＩＦＯ１３および第３の右映
像用任意画素遅延ＦＩＦＯ２３に送られる。

【００１１】高周波成分積算回路８は、１フィールド毎
に、図２に示すように、１フィールド画面内に予め設定
された複数個の視差算出領域Ｅ１〜Ｅ１２それぞれに対
する高周波成分の積算値を算出する。輝度コントラスト
算出回路９は、１フィールド毎に、各視差算出領域Ｅ１
〜Ｅ１２それぞれに対する輝度コントラストを算出す
る。Ｒ−Ｙ成分積算回路３１は、１フィールド毎に、各
視差算出領域Ｅ１〜Ｅ１２それぞれに対するＲ−Ｙ成分
の積算値を算出する。Ｂ−Ｙ成分積算回路３２は、１フ
ィールド毎に、各視差算出領域Ｅ１〜Ｅ１２それぞれに
対するＢ−Ｙ成分の積算値を算出する。

【００１２】各視差算出領域Ｅ１〜Ｅ１２それぞれに対
する高周波成分の積算値、各視差算出領域Ｅ１〜Ｅ１２
それぞれに対する輝度コントラスト、各視差算出領域Ｅ
１〜Ｅ１２それぞれに対するＲ−Ｙ成分の積算値および
各視差算出領域Ｅ１〜Ｅ１２それぞれに対するＢ−Ｙ成
分の積算値は、視差算出領域Ｅ１〜Ｅ１２ごとの映像の
遠近に関する画像特徴量として用いられる。

【００１３】なお、１フィールド画面内には、実際に
は、図１３に示すように６行１０列の計６０個の視差算
出領域が設定されているが、説明の便宜上、図２に示す
ように、１フィールド画面内に、３行４列の計１２個の
視差算出領域Ｅ１〜Ｅ１２が設定されているものとす
る。

【００１４】ＣＰＵ３は、高周波成分積算回路８、輝度
コントラスト算出回路９、Ｒ−Ｙ成分積算回路３１およ
びＢ−Ｙ成分積算回路３２から送られてきた情報に基づ
いて、各視差算出領域Ｅ１〜Ｅ１２に対する視差情報を
生成する。この例では、被写体のように前側にある物体
ほど視差量が少なく、背景のように後ろ側にある物体ほ
ど視差量が大きくなるように視差情報が生成される。こ
の視差情報の生成方法の詳細については、後述する。

【００１５】ＣＰＵ３によって算出された各視差算出領
域Ｅ１〜Ｅ１２に対する視差情報は、視差制御回路４に
送られる。視差制御回路４は、各視差算出領域Ｅ１〜Ｅ
１２に対する視差情報に基づいて、各フィールドの各画
素位置ごとの視差情報を生成する。そして、得られた各
画素位置ごとの視差情報に基づいて、各ＦＩＦＯ１１〜
１３、２１〜２３から映像信号（Ｙ信号、Ｒ−Ｙ信号、
Ｂ−Ｙ信号）を読み出す際の読み出しアドレスが左映像
用任意画素遅延ＦＩＦＯ１１〜１３と右映像用任意画素
遅延ＦＩＦＯ２１〜２３との間でずれるように、各ＦＩ
ＦＯ１１〜１３、２１〜２３の読み出しアドレスを制御
する。したがって、左映像用任意画素遅延ＦＩＦＯ１１
〜１３から読み出された左映像信号の水平位相と、右映
像用任意画素遅延ＦＩＦＯ２１〜２３から読み出された
右映像信号の水平位相が異なるようになる。

【００１６】左映像用任意画素遅延ＦＩＦＯ１１〜１３
から読み出された左映像信号（ＹＬ信号、（Ｒ−Ｙ）Ｌ
信号、（Ｂ−Ｙ）Ｌ信号）は、ＤＡ変換回路（ＤＡＣ）
５によってアナログ信号に変換された後、図示しない立
体表示装置に送られる。右映像用任意画素遅延ＦＩＦＯ
２１〜２３から読み出された右映像信号（ＹＲ信号、
（Ｒ−Ｙ）Ｒ信号、（Ｂ−Ｙ）Ｒ信号）は、ＤＡ変換回
路（ＤＡＣ）６によってアナログ信号に変換された後、
図示しない立体表示装置に送られる。

【００１７】左映像信号の水平位相と、右映像信号の水
平位相は異なっているので、左映像と右映像との間に視
差が発生する。この結果、左映像を左目のみで観察し、
右映像を右目のみで観察すると、被写体が背景に対して
前方位置にあるような立体映像が得られる。

【００１８】図３は、Ｒ−Ｙ成分積算回路３１の構成を
示している。

【００１９】図２においては、各視差算出領域Ｅ１〜Ｅ
１２の水平方向の画素数をｍ、各視差算出領域Ｅ１〜Ｅ
１２の垂直方向の画素数をｎ、第１の視差算出領域Ｅ１
の左上の座標を（ａ，ｂ）として、水平位置（ＨＡＤ）
および垂直位置（ＶＡＤ）が表されている。

【００２０】Ｒ−Ｙ成分積算回路３１は、タイミング信
号発生回路２０１、加算回路２０２およびＲ−Ｙ成分積
算レジスタ群２０３および選択回路（ＳＥＬ）２０４を
備えている。Ｒ−Ｙ成分積算レジスタ群２０３は、各視
差算出領域Ｅ１〜Ｅ１２にそれぞれ対応した第１〜第１
２のＲ−Ｙ成分積算レジスタ２１１〜２２２を備えてい
る。

【００２１】タイミング信号発生回路２０１には、入力
映像信号の水平同期信号Ｈｓｙｎｃおよび垂直同期信号
Ｖｓｙｎｃならびに各水平期間の水平アドレスを検出す
るためのクロック信号ＣＬＫが入力している。

【００２２】タイミング信号発生回路２０１は、水平同
期信号Ｈｓｙｎｃ、垂直同期信号Ｖｓｙｎｃおよびクロ
ック信号ＣＬＫに基づいて、第１〜第１２のイネーブル
信号ＥＮ１〜ＥＮ１２、リセット信号ＲＳＴおよび出力
タイミング信号ＤＯＵＴを出力する。

【００２３】各イネーブル信号ＥＮ１〜ＥＮ１２は、そ
れぞれ各視差算出領域Ｅ１〜Ｅ１２に対応しており、常
時はＬレベルであり、入力映像信号の水平垂直位置が対
応する領域内にあるときに、Ｈレベルとなる。第１〜第
１２のイネーブル信号ＥＮ１〜ＥＮ１２は、それぞれ第
１〜第１２の輝度積算レジスタ２１１〜２２２に、書き
込み信号として入力している。また、第１〜第１２のイ
ネーブル信号ＥＮ１〜ＥＮ１２は、選択回路２０４にも
送られる。選択回路２０４は、Ｈレベルのイネーブル信
号に対応する入力データを選択して出力する。

【００２４】リセット信号ＲＳＴは、入力映像信号にお
ける各フィールドの有効映像開始タイミングで出力さ
れ、各Ｒ−Ｙ成分積算レジスタ２１１〜２２２に送られ
る。各Ｒ−Ｙ成分積算レジスタ２１１〜２２２にリセッ
ト信号ＲＳＴが入力されると、その内容が０にされる。

【００２５】出力タイミング信号ＤＯＵＴは、図２に示
すように、入力映像信号の垂直位置が、最下段の視差算
出領域Ｅ１２の下端の垂直位置を越えた時点から一定期
間だけ、Ｈレベルとなる。出力タイミング信号ＤＯＵＴ
は、ＣＰＵ３に送られる。

【００２６】入力映像信号における有効映像開始タイミ
ングにリセット信号が出力され、各Ｒ−Ｙ成分積算レジ
スタ２１１〜２２２の内容が０にされる。入力映像信号
の水平垂直位置が第１の視差算出領域Ｅ１内である場合
には、第１のイネーブル信号ＥＮ１がＨレベルとなるの
で、第１のＲ−Ｙ成分積算レジスタ２１１に保持されて
いるＲ−Ｙ値が選択回路２０４を介して加算回路２０２
に送られるとともに、入力映像信号におけるＲ−Ｙ信号
が加算回路２０２に入力する。

【００２７】したがって、第１の輝度積算レジスタ２１
１に保持されていたＲ−Ｙ値と、入力映像信号における
Ｒ−Ｙ信号とが加算回路２０２によって加算され、その
加算結果が第１のＲ−Ｙ成分積算レジスタ２１１に格納
される。つまり、入力映像信号の水平垂直位置が第１の
視差算出領域Ｅ１内である場合においては、第１の視差
算出領域Ｅ１内の画素のＲ−Ｙ値が積算されていき、そ
の積算結果が第１のＲ−Ｙ成分積算レジスタ２１１に蓄
積される。

【００２８】このようにして、各視差算出領域Ｅ１〜Ｅ
１２ごとのＲ−Ｙ成分積算値が、対応するＲ−Ｙ成分積
算レジスタ２１１〜２２２に蓄積される。そして、出力
タイミング信号ＤＯＵＴがＨレベルとなると、各Ｒ−Ｙ
成分積算レジスタ２１１〜２２２に蓄積されている各視
差算出領域Ｅ１〜Ｅ１２ごとのＲ−Ｙ成分積算値が、Ｃ
ＰＵ３にデータバス（ＤＡＴＡ−ＢＵＳ）を介して送ら
れる。

【００２９】Ｂ−Ｙ成分積算回路３２の構成も、図３の
Ｒ−Ｙ成分積算回路３１の構成と同様なので、その説明
を省略する。

【００３０】図４は、高周波成分積算回路８の構成を示
している。

【００３１】高周波成分積算回路８は、タイミング信号
発生回路２３１、ハイパスフィルタ（ＨＰＦ）２３２、
絶対値化回路２３３、スライス処理回路２３４、加算回
路２３５および高周波成分積算レジスタ群２３６および
選択回路２３７を備えている。高周波成分積算レジスタ
群２３６は、各視差算出領域Ｅ１〜Ｅ１２にそれぞれ対
応した第１〜第１２の高周波成分積算レジスタ２４１〜
２５２を備えている。

【００３２】タイミング信号発生回路２３１の入力信号
および出力信号は、図３のタイミング信号発生回路２０
１の入力信号および出力信号と同じである。

【００３３】ハイパスフィルタ２３２としては、たとえ
ば、図５に示すように、５つのＤフリップフロップ２６
１〜２６５、入力値の２倍の出力を得るためのビットシ
フト回路２６６、加算器２６７および減算器２６８から
なる、−１、０、２、０および−１のタップ係数を持つ
ハイパスフィルタが用いられる。

【００３４】また、スライス処理回路２３４としては、
図６に示すような入出力特性を有する回路が用いられ
る。０〜Ｉａまでの入力に対しては、出力を０としてい
るのは、ノイズが高周波成分として抽出されないように
するためである。

【００３５】したがって、入力映像信号におけるＹ信号
の高周波成分がハイパスフィルタ２３２によって抽出さ
れ、その絶対値が絶対値化回路２３３により得られ、ス
ライス処理回路２３４によって高周波成分の絶対値から
ノイズが除去される。

【００３６】入力映像信号における有効映像開始タイミ
ングにリセット信号が出力され、各高周波成分積算レジ
スタ２４１〜２５２の内容が０にされる。入力映像信号
の水平垂直位置が第１の視差算出領域Ｅ１内である場合
には、第１のイネーブル信号ＥＮ１がＨレベルとなるの
で、第１の高周波成分積算レジスタ２４１に保持されて
いる高周波成分が選択回路２３７を介して加算回路２３
５に送られるとともに、入力映像信号におけるＹ信号の
高周波成分（スライス処理回路２３４の出力）が加算回
路２３５に入力する。

【００３７】したがって、第１の高周波成分積算レジス
タ２４１に保持されていた高周波成分と、入力映像信号
におけるＹ信号の高周波成分とが加算回路２３５によっ
て加算され、その加算結果が第１の高周波成分積算レジ
スタ２４１に格納される。つまり、入力映像信号の水平
垂直位置が第１の視差算出領域Ｅ１内である場合におい
ては、第１の視差算出領域Ｅ１内の画素の高周波成分が
積算されていき、その積算結果が第１の高周波成分積算
レジスタ２４１に蓄積される。

【００３８】このようにして、各視差算出領域Ｅ１〜Ｅ
１２ごとの高周波成分の積算値が、対応する高周波成分
積算レジスタ２４１〜２５２に蓄積される。そして、出
力タイミング信号ＤＯＵＴがＨレベルとなると、各高周
波成分積算レジスタ２４１〜２５２に蓄積されている各
視差算出領域Ｅ１〜Ｅ１２ごとの高周波成分の積算値
が、ＣＰＵ３にデータバスを介して送られる。

【００３９】図７は、高周波成分積算回路８の他の例を
示している。

【００４０】この高周波成分積算回路８は、タイミング
信号発生回路２３８、ハイパスフィルタ２３２、ピーク
検出回路２３９、加算回路２３５、高周波成分積算レジ
スタ群２３６および選択回路２３７を備えている。

【００４１】タイミング信号発生回路２３８は、図３の
タイミング信号発生回路２０１とほぼ同じであるが、図
２に示すように、入力映像信号の水平位置が、視差算出
領域Ｅ１、Ｅ５、Ｅ９の直前の水平位置および各視差算
出領域Ｅ１〜Ｅ１２の最後尾の水平位置に達したとき
に、トリガパルス（領域境界信号ＲＳＴ１) が出力され
る点が、図３のタイミング信号発生回路２０１と異なっ
ている。領域境界信号ＲＳＴ１は、ピーク検出回路２３
９に送られる。

【００４２】ハイパスフィルタ２３２によって抽出され
たＹ信号の高周波成分は、ピーク検出回路２３９に送ら
れる。ピーク検出回路２３９は、各視差算出領域Ｅ１〜
Ｅ１２内の各水平ラインごとに、高周波成分の最大値を
検出する。ピーク検出回路２３９としては、図８に示す
ように、比較回路２７１、最大値レジスタ２７２および
ゲート２７３を備えたものが用いられる。図９は、入力
映像信号の水平同期信号Ｈｓｙｎｃ、領域境界信号ＲＳ
Ｔ１、ゲート２７３等の出力を示している。

【００４３】最大値レジスタ２７２には、ハイパスフィ
ルタ２３２によって抽出されたＹ信号の高周波成分、領
域境界信号ＲＳＴ１、比較回路２７１の判定結果信号Ｌ
ａおよびクロック信号ＣＬＫが入力される。比較回路２
７１は、最大値レジスタ２７２の出力と入力映像信号に
おけるＹ信号の高周波成分とを比較し、Ｙ信号の高周波
成分が最大値レジスタ２７２の出力より大きいときに、
判定結果信号ＬａをＨレベルにする。

【００４４】領域境界信号ＲＳＴ１がＨレベルになる
と、最大値レジスタ２７２の内容は０にされる。領域境
界信号ＲＳＴ１がＬレベルである状態において、比較回
路２７１からの判定結果信号ＬａがＨレベルであれば、
Ｙ信号の高周波成分が最大値レジスタ２７２に格納され
る。つまり、最大値レジスタ２７２の内容が更新され
る。したがって、最大値レジスタ２７２には、領域境界
信号ＲＳＴ１がＬレベルである期間ごとに、入力映像信
号の水平垂直位置に対応する視差算出領域Ｅ１〜Ｅ１２
内の１水平ラインの各画素に対するＹ信号の高周波成分
のうちの最大値が蓄積される。

【００４５】ゲート２７３は、領域境界信号ＲＳＴ１が
Ｈレベルになると、最大値レジスタ２７２の出力値を出
力し、領域境界信号ＲＳＴ１がＬレベルのときには０を
出力する。つまり、ゲート回路２７３からは、領域境界
信号ＲＳＴ１がＨレベルになるごとに、最大値レジスタ
２７２に蓄積されていた所定の視差算出領域Ｅ１〜Ｅ１
２内の１水平ラインに対するＹ信号の高周波成分の最大
値が出力される。したがって、各高周波成分積算レジス
タ２４１〜２５２（図７参照）には、対応する視差算出
領域内の各水平ラインに対するＹ信号の高周波成分の最
大値の積算値が蓄積されることになる。

【００４６】図１０は、輝度コントラスト算出回路９の
構成を示している。

【００４７】輝度コントラスト算出回路９は、タイミン
グ信号発生回路３０１および輝度コントラスト検出回路
群３０２を備えている。輝度コントラスト検出回路群３
０２は、各視差算出領域Ｅ１〜Ｅ１２にそれぞれ対応し
た第１〜第１２の輝度コントラスト検出回路３１１〜３
２２を備えている。

【００４８】タイミング信号発生回路３０１の入力信号
および出力信号は、図３のタイミング信号発生回路２０
１の入力信号および出力信号と同じである。

【００４９】各輝度コントラスト検出回路３１１〜３２
２は、図１１に示すように、第１の比較回路３３１、最
大値レジスタ３３２、第２の比較回路３３３、最小値レ
ジスタ３３４および減算器３３５を備えている。

【００５０】最大値レジスタ３３２には、入力映像信号
におけるＹ信号、当該輝度コントラスト検出回路に対応
する領域Ｅ１〜Ｅ１２のイネーブル信号ＥＮ（Ｎ＝１、
２…１２）、リセット信号ＲＳＴ、第１の比較回路３３
１から出力される判定信号Ｌｂおよびクロック信号ＣＬ
Ｋが入力している。第１の比較回路３３１は、最大値レ
ジスタ３３２の出力値と入力映像信号におけるＹ信号と
を比較し、入力映像信号におけるＹ信号が最大値レジス
タ３３２の出力値より大きいときに判定信号ＬｂをＨレ
ベルにする。

【００５１】リセット信号ＲＳＴがＨレベルになると、
最大値レジスタ３３２の内容は０にされる。当該輝度コ
ントラスト検出回路に対応する領域Ｅ１〜Ｅ１２のイネ
ーブル信号ＥＮがＨレベルでありかつ判定信号ＬｂがＨ
レベルのときに、Ｙ信号が最大値レジスタ３３２に格納
される。つまり、最大値レジスタ３３２の内容が更新さ
れる。したがって、出力タイミング信号ＤＯＵＴが出力
される直前においては、最大値レジスタ３３２には、当
該輝度コントラスト検出回路に対応する視差算出領域Ｅ
１〜Ｅ１２内の各画素の輝度値のうちの最大値が蓄積さ
れる。

【００５２】最小値レジスタ３３４には、入力映像信号
におけるＹ信号、当該輝度コントラスト検出回路に対応
する領域Ｅ１〜Ｅ１２のイネーブル信号ＥＮ（Ｎ＝１、
２…１２）、リセット信号ＲＳＴ、第２の比較回路３３
３から出力される判定信号Ｌｃおよびクロック信号ＣＬ
Ｋが入力している。第２の比較回路３３３は、最小値レ
ジスタ３３４の出力値と入力映像信号におけるＹ信号と
を比較し、入力映像信号におけるＹ信号が最小値レジス
タ３３４の出力値より小さいときに判定信号ＬｃをＨレ
ベルにする。

【００５３】リセット信号ＲＳＴがＨレベルになると、
最小値レジスタ３３４に、予め定められた最大値が設定
される。当該輝度コントラスト検出回路に対応する領域
Ｅ１〜Ｅ１２のイネーブル信号ＥＮがＨレベルでありか
つ判定信号ＬｃがＨレベルのときに、Ｙ信号が最小値レ
ジスタ３３４に格納される。つまり、最小値レジスタ３
３４の内容が更新される。したがって、出力タイミング
信号ＤＯＵＴが出力される直前においては、最小値レジ
スタ３３４には、当該輝度コントラスト検出回路に対応
する視差算出領域Ｅ１〜Ｅ１２内の各画素の輝度値のう
ちの最小値が蓄積される。

【００５４】この結果、出力タイミング信号ＤＯＵＴが
出力される時点においては、減算器３３５の出力は、対
応する視差算出領域Ｅ１〜Ｅ１２内の各画素の輝度値の
うちの最大値と最小値との差（輝度コントラスト）に対
応した値となる。そして、出力タイミング信号ＤＯＵＴ
が出力されると、減算器３３５の出力（輝度コントラス
ト）がＣＰＵ３に送られる。

【００５５】図１２は、ＣＰＵ３によって行なわれる視
差算出領域毎の視差情報生成処理手順を示している。

【００５６】分割領域毎の視差情報生成処理において
は、グループ分け処理（ステップ１）、空間分離処理
（ステップ２）、特異点処理（ステップ３）、グループ
間結合処理（ステップ４）、グループ毎の奥行き情報生
成処理（ステップ５）、全領域に対する奥行き情報補正
処理（ステップ６）、グループ境界に対する奥行き情報
補正処理（ステップ７）、グループ内部に対する奥行き
情報補正処理（ステップ８）および視差情報算出処理
（ステップ９）が行なわれる。

【００５７】１フィールドに対して実際に設定されてい
る６０個の視差算出領域を例にとって、視差情報生成処
理を説明する。図１３は、１フィールドに対して実際に
設定されている６０個の視差算出領域Ｆ１〜Ｆ６０を示
している。

【００５８】（１）グループ分け処理の説明

【００５９】ステップ１のグループ分け処理は、１枚の
画像を構成する全領域を、その画像に含まれている物体
ごとにグループ分けすることを目的として行なわれる最
初の処理である。

【００６０】グループ分けの方法には次に述べるように
２つの方法がある。

【００６１】（１−１）第１方法まず、視差算出領域Ｆ１〜Ｆ６０毎に得られた高周波積
算値を、所定範囲（たとえば、０〜２０）の値に正規化
する。そして、高周波積算値の各正規化値に属する視差
算出領域の数の分布（ヒストグラム）を生成する。図１
４に、生成されたヒストグラムの一例を示す。そして、
ヒストグラムの谷と谷との間の山に含まれている視差算
出領域どうしを、１つのグループとする。高周波積算値
の代わりに輝度コントラストを用いてもよい。図１５
は、このようにして各視差算出領域Ｆ１〜Ｆ６０が、グ
ループ分けされた結果を示している。図１５において、
Ｇ１〜Ｇ４の数字は、グループ番号を示している。

【００６２】（１−２）第２方法視差算出領域Ｆ１〜Ｆ６０毎に得られたＲ−Ｙ成分の積
算値を、０〜２０の範囲の値に正規化する。そして、Ｒ
−Ｙ成分積算値の各正規化値に属する視差算出領域の数
の分布（ヒストグラム）を生成する。このヒストグラム
に基づいて、Ｒ−Ｙ成分積算値の正規化値の中から、グ
ループ間の境界値を求める。

【００６３】また、視差算出領域Ｆ１〜Ｆ６０毎に得ら
れたＢ−Ｙ成分の積算値を、０〜１０の範囲の値に正規
化する。そして、Ｂ−Ｙ成分積算値の各正規化値に属す
る視差算出領域の数の分布（ヒストグラム）を生成す
る。このヒストグラムに基づいて、Ｂ−Ｙ成分積算値の
正規化値の中から、グループ間の境界値を求める。

【００６４】そして、図１６に示すように、このように
して得られた２種類の境界値を用いて、全視差算出領域
をグループ化する。図１７および図１８は、このように
して各視差算出領域Ｆ１〜Ｆ６０が、グループ分けされ
た結果を示している。図１７および図１８において、Ｇ
１〜Ｇ５は、グループ番号を示している。

【００６５】この例では、第２方法によってグループ分
け処理が行なわれたものとする。

【００６６】（２）空間分離処理の説明

【００６７】ステップ２の空間分離処理では、ステップ
１の処理によって同一のグループに属している視差算出
領域のうち、空間的に隣接している視差算出領域どうし
が１つのグループとされる。つまり、ステップ１の処理
によって同一のグループに属している視差算出領域であ
っても、空間的に他のグループによって分離されている
視差算出領域どうしは、別々のグループとされる。

【００６８】具体的には、図１９に示すように、ステッ
プ１において、グループ３（Ｇ３）に属するとされた視
差算出領域は、グループ３１（Ｇ３１）、グループ３２
（Ｇ３２）およびグループ３３（Ｇ３３）の３つのグル
ープに分離される。

【００６９】（３）特異点処理の説明

【００７０】この特異点処理では、１つの視差算出領域
のみで構成されているグループが存在する場合に、その
１つの視差算出領域が隣接する他のグループとは別の物
体に対応しているのか、隣接する他のグループの物体と
同じ物体に対応しているのかが判定される。

【００７１】たとえば、図２０に示すように、あるグル
ープが１つの視差算出領域Ａのみで構成されているグル
ープであるとする。視差算出領域Ａの上方向にある２つ
の視差算出領域を、視差算出領域Ａに近いものからＵ
１、Ｕ２とする。視差算出領域Ａの下方向にある２つの
視差算出領域を、視差算出領域Ａに近いものからＤ１、
Ｄ２とする。視差算出領域Ａの左方向にある２つの視差
算出領域を、視差算出領域Ａに近いものからＬ１、Ｌ２
とする。視差算出領域Ａの右方向にある２つの視差算出
領域を、視差算出領域Ａに近いものからＲ１、Ｒ２とす
る。

【００７２】この場合に、領域Ａを中心とする上下左右
のそれぞれの方向について、領域Ａとそれの１つ外側の
領域Ｕ１、Ｄ１、Ｌ１、Ｒ１との色距離が、領域Ａより
１つ外側の領域Ｕ１、Ｄ１、Ｌ１、Ｒ１とさらにその１
つ外側の領域Ｕ２、Ｄ２、Ｌ２、Ｒ２との色距離より大
きい場合には、領域Ａのみで構成されているグループは
単独で１つのグループを形成すると判別される。そうで
ない場合には、領域Ａはその周囲のグループに属すると
判別される。つまり、グループ分けが修正される。

【００７３】色距離の定義について説明する。ある視差
算出領域Ｆａに対するＢ−Ｙ成分積算値、Ｒ−Ｙ成分積
算値をそれぞれＦａ（Ｂ−Ｙ）、Ｆａ（Ｒ−Ｙ）で表
し、ある視差算出領域Ｆｂに対するＢ−Ｙ成分積算値、
Ｒ−Ｙ成分積算値をそれぞれＦｂ（Ｂ−Ｙ）、Ｆｂ（Ｒ
−Ｙ）で表すと、領域Ｆａと領域Ｆｂとの間の色距離di
stは、次の数式１で定義される。

【００７４】

【数１】

【００７５】例えば、図２０の領域Ａの（Ｂ−Ｙ成分積
算値、Ｒ−Ｙ成分積算値）が（−４，５）で、領域Ｕ１
の（Ｂ−Ｙ成分積算値、Ｒ−Ｙ成分積算値）が（−５，
４）で、領域Ｕ２の（Ｂ−Ｙ成分積算値、Ｒ−Ｙ成分積
算値）が（−７，２）であるとする。領域Ａと領域Ｕ１
との色距離distは”２”となり、領域Ｕ１と領域Ｕ２と
の色距離distは”４”となる。

【００７６】図１９のグループ３１（Ｇ３１）が１つの
視差算出領域のみで構成されており、上記のような特異
点処理により、グループ１（Ｇ１）に属すると判別され
たとすると、図２１に示すようにグループ分けが修正さ
れる。

【００７７】（４）グループ間結合処理の説明

【００７８】ステップ４のグループ間結合処理では、ま
ず、各グループ毎に、そのグループを構成する視差算出
領域のＲ−Ｙ成分積算値の平均値およびＢ−Ｙ成分積算
値の平均値が算出される。

【００７９】次に、隣接している２つのグループどうし
間の色距離が算出される。つまり、隣接している２つの
グループをＧａ、Ｇｂとする。グループＧａがｎ個の視
差算出領域ａ１、ａ２、…ａｎで構成されているとする
と、グループＧａのＢ−Ｙ成分積算値の平均値＊Ｇａ
（Ｂ−Ｙ）およびＲ−Ｙ成分積算値の平均値＊Ｇａ（Ｒ
−Ｙ）は、次の数式２で求められる。

【００８０】

【数２】

【００８１】また、グループＧｂがｍ個の視差算出領域
ｂ１、ｂ２、…ｂｍで構成されているとすると、グルー
プＧｂのＢ−Ｙ成分積算値の平均値＊Ｇｂ（Ｂ−Ｙ）お
よびＲ−Ｙ成分積算値の平均値＊Ｇｂ（Ｒ−Ｙ）は、次
の数式３で求められる。

【００８２】

【数３】

【００８３】グループＧａとグループＧｂとの間の色距
離ｄｉｓｔは、次の数式４によって定義される。

【００８４】

【数４】

【００８５】そして、隣り合う２つのグループ間の色距
離がしきい値より小さいか否かが判別され、色距離がし
きい値より小さいときには、これらの２つのグループが
結合される。つまり、これらの２つのグループが１つの
グループにまとめられる。

【００８６】（５）グループ毎の奥行き情報生成処理の
説明

【００８７】ステップ５のグループ毎の奥行き情報生成
処理では、まず、視差算出領域Ｆ１〜Ｆ６０毎に得られ
た高周波成分の積算値が、０〜１０の範囲の値に正規化
される。また、視差算出領域Ｆ１〜Ｆ６０毎に得られた
輝度コントラストが、０〜１０の範囲の値に正規化され
る。

【００８８】そして、得られた高周波成分の積算値の正
規化値と、輝度コントラストの正規化値と、図２２に示
すように各視差算出領域Ｆ１〜Ｆ６０毎に予め与えられ
た背景重み成分に基づいて、グループ毎の奥行き情報が
生成される。

【００８９】任意の１つのグループに対する奥行き情報
の生成方法について説明する。まず、当該グループに属
している視差算出領域数ｎが求められる。また、当該グ
ループに属している視差算出領域に対する高周波成分の
積算値の正規化値ａの総和Σａが算出される。また、当
該グループに属している視差算出領域に対する輝度コン
トラストの正規化値ｂの総和Σｂが算出される。また、
当該グループに属している視差算出領域に対する背景重
み成分ｃの総和Σｃが算出される。

【００９０】そして、次の数式５に基づいて、当該グル
ープに対する奥行き情報Ｈが生成される。

【００９１】

【数５】

【００９２】数式５において、Ｋ１、Ｋ２およびＫ３は
係数であり、たとえば、Ｋ１＝３／８、Ｋ２＝１／８、
Ｋ３＝４／８に設定されている。

【００９３】（６）全領域に対する奥行き情報補正処理
の説明

【００９４】ステップ５のグループ毎の奥行き情報補正
処理では、まず、視差算出領域Ｆ１〜Ｆ６０の各行ごと
に、奥行き情報の平均値が算出される。各視差算出領域
Ｆ１〜Ｆ６０ごとの奥行き情報が、たとえば、図２３に
示すような値であった場合には、第１〜第６行目ごとの
奥行き情報の平均値は、１．２、３．６、６．０、７．
２、４．０、１．２となる。

【００９５】次に、視差算出領域の各行のうち、手前位
置の物体が多く映っている領域が抽出される。つまり、
奥行き情報の平均値が最も大きい行が抽出される。図２
３の例では、第４行目の領域が抽出される。

【００９６】次に、抽出された行より下段にある行の各
領域については、直上の領域に対して、急激に奥行き情
報が小さくならないように、抽出された行より下段にあ
る行の各領域の奥行き情報が調整される。具体的には、
抽出された行より下段にある行の各領域の奥行き情報が
直上の領域に対して３以上小さい領域に対しては、直上
の領域の奥行き情報より２だけ小さい値に、その領域の
奥行き情報が変更せしめられる。

【００９７】図２３の例では、図２４に示すように、ま
ず、第５行の各領域Ｆ４１〜Ｆ５０のうち、その奥行き
情報が直上の領域の奥行き情報に対して３以上小さい領
域Ｆ４２〜Ｆ４９に対して、奥行き情報が補正される。
この後、第６行の各領域Ｆ５１〜Ｆ６０のうち、その奥
行き情報が直上の領域の奥行き情報（補正後の奥行き情
報）に対して３以上小さい領域Ｆ５３〜Ｆ５８に対し
て、奥行き情報が補正される。

【００９８】つまり、任意の水平位置における画面の高
さに対する奥行き情報の関係が、図２５に曲線Ｕ１で示
すような関係である場合には、奥行き補正によって、画
面の高さに対する奥行き情報の関係が、図２５に曲線Ｕ
２に示すような関係となるように補正される。

【００９９】このように、視差算出領域の各行のうち、
手前位置の物体が多く映っている領域より下段の領域の
奥行き情報が補正されているのは次の理由による。

【０１００】一般的には、画面の下側には前方に存在す
る物体が映っていることが多い。また、画面の下側に映
っている物体は、地面等のように変化の少ない画像であ
ることが多い。地面等のように変化の少ない画像は、高
周波成分が低いため、前方にあるにも係わらず、奥行き
情報の値は小さくなる。そこで、奥行き補正により、前
方にある物体であって高周波成分が低い映像に対する奥
行き情報を、その直上の領域の奥行き情報の値より大き
くならない程度に大きくしているのである。

【０１０１】（７）グループ境界に対する奥行き情報補
正処理の説明

【０１０２】隣り合う２つのグループ間の境界部におい
ては、正しくグループ分けが行なわれていないことがあ
る。また、隣り合う２つのグループ間の境界部におい
て、グループ毎の奥行き推定値が大きく異なると、画像
歪みが顕著となる。

【０１０３】そこで、ステップ７のグループ境界に対す
る奥行き情報補正処理では、まず、隣り合う２つのグル
ープ間の境界部毎に、一方のグループの視差算出領域の
奥行き情報と、他方のグループの視差算出領域の奥行き
情報との差が、予め定められた所定値以上か否かが判別
される。そして、両者の奥行き情報の差が所定値以上で
ある場合には、両者の奥行き情報の差が所定値より小さ
くなるように、奥行き情報が小さい方（つまり、後方に
位置している方）の視差算出領域に対する奥行き情報を
増加させる。

【０１０４】（８）グループ内部に対する奥行き情報補
正処理の説明

【０１０５】上記ステップ６および７の補正処理によっ
て、同一グループ内においても領域によって奥行き情報
に差が生じる。この差が大きくなると、画像歪みが顕著
となる。そこで、ステップ８のグループ内部に対する奥
行き情報補正処理では、各グループ毎に、グループ内の
奥行き推定値が平滑化される。

【０１０６】つまり、図２６に示すように、同じグルー
プ内において、注目領域をＡ、それに対する奥行き情報
をＨＡとし、それに隣接する４つの領域をＵ、Ｄ、Ｌ、
Ｒ、それらに対する奥行き情報をＨＵ、ＨＤ、ＨＬ、Ｈ
Ｒとすると、注目領域Ａに対する奥行き推定値ＨＡは次
の数式６により、補正される。

【０１０７】

【数６】

【０１０８】このようにして得られた各視差算出領域Ｆ
１〜Ｆ６０ごとの奥行き情報は、再度、０〜１０の範囲
内で正規化される。

【０１０９】（９）視差情報算出処理の説明

【０１１０】ステップ９の視差情報算出処理では、各視
差算出領域Ｆ１〜Ｆ６０ごとの奥行き情報が各領域Ｆ１
〜Ｆ６０ごとの視差情報に変換される。

【０１１１】つまり、予め設定された奥行き情報に対す
る視差情報との関係に基づいて、各領域Ｆ１〜Ｆ６０ご
とに、奥行き情報を視差情報に変換する。奥行き情報に
対する視差情報との関係は、図２７に直線Ｓ１またはＳ
２で示されるように、反比例の関係である。

【０１１２】図２７において、直線Ｓ１で示される奥行
き情報に対する視差情報との関係は、立体感が比較的強
い立体映像を得たい場合に用いられる。直線Ｓ２で示さ
れる奥行き情報に対する視差情報との関係は、立体感が
比較的弱い立体映像を得たい場合に用いられる。奥行き
情報に対する視差情報との関係を、直線Ｓ１と直線Ｓ２
との間で調整することにより、立体感を調整することが
可能である。

【０１１３】このようにして得られた各視差算出領域ご
との視差情報は、視差制御回路４（図１参照）に送られ
る。

【０１１４】図２８は、主として、図１の視差制御回路
および任意画素遅延ＦＩＦＯの構成を示している。以下
においては、視差算出領域が、図２に示すように、Ｅ１
〜Ｅ１２であるとして説明する。

【０１１５】図２８には、任意画素遅延ＦＩＦＯ１１〜
１３、２１〜２３のうち、Ｙ信号に対する左映像用任意
画素遅延ＦＩＦＯ１１および右映像用任意画素遅延ＦＩ
ＦＯ２１しか示されていないが、他の任意画素遅延ＦＩ
ＦＯ１２、１３、２２、２３も同様な構成でありかつ同
様な制御が行なわれるので、他の任意画素遅延ＦＩＦＯ
１２、１３、２２、２３の構成および制御方法について
は、その説明を省略する。

【０１１６】ところで、ＣＰＵ３によって算出された視
差情報は、各視差算出領域Ｅ１〜Ｅ１２の中心位置に対
する視差情報である。視差制御回路４では、各視差算出
領域Ｅ１〜Ｅ１２の中心位置に対する視差情報に基づい
て、１フィールド画面の各画素位置に対する視差情報が
求められる。そして、各画素位置に対する２次元映像信
号から、その画素位置に対する視差情報に応じた視差を
有する左映像と右映像とを生成するために、各画素位置
に対する視差情報に基づいて、左映像用任意画素遅延Ｆ
ＩＦＯ１１〜１３および右映像用任意画素遅延ＦＩＦＯ
２１〜２３の読み出しアドレスが制御される。

【０１１７】１フィールド画面の各画素位置に対する視
差情報は、タイミング信号発生回路５１、視差補間係数
発生回路５２、視差情報記憶手段６０、視差選択回路８
０、第１〜第４乗算器８１〜８４および加算回路８５に
よって、生成される。

【０１１８】入力映像信号の水平同期信号Ｈｓｙｎｃお
よび垂直同期信号Ｖｓｙｎｃは、タイミング信号発生回
路５１に入力している。また、各水平期間の水平アドレ
スを検出するためのクロック信号ＣＬＫもタイミング信
号発生回路５１に入力している。

【０１１９】タイミング信号発生回路５１は、水平同期
信号Ｈｓｙｎｃ、垂直同期信号Ｖｓｙｎｃおよびクロッ
ク信号ＣＬＫに基づいて、入力映像信号の絶対的水平位
置を表す水平アドレス信号ＨＡＤ、入力映像信号の絶対
的垂直位置を表す垂直アドレス信号ＶＡＤ、入力映像信
号の相対的水平位置を表す相対的水平位置信号ＨＰＯＳ
および入力映像信号の相対的垂直位置を表す相対的垂直
位置信号ＶＰＯＳを生成して出力する。

【０１２０】入力映像信号の相対的水平位置および相対
的垂直位置について説明する。

【０１２１】図２９に示すように、図２の視差算出領域
Ｅ１〜Ｅ１２は、次のように設定されている。画面全体
が図２９に点線で示すように、４行５列の２０個の領域
（以下、第１分割領域という）に分割されている。そし
て、左上端の第１分割領域の中心、右上端の第１分割領
域の中心、左下端の第１分割領域の中心および右下端の
第１分割領域の中心を４頂点とする四角形領域が３行４
列の１２個の領域（以下、第２分割領域という）に分割
され、各第２分割領域が視差算出領域Ｅ１〜Ｅ１２とし
て設定されている。

【０１２２】第１分割領域および第２分割領域の水平方
向の画素数がｍで表され、第１分割領域および第２分割
領域の垂直方向の画素数がｎとして表されている。入力
映像信号の相対的水平位置は、各第１分割領域の左端を
０とし、右端をｍとして、０〜（ｍ−１）で表される。
入力映像信号の相対的垂直位置は、各第１分割領域の上
端を０とし、下端をｎとして、０〜（ｎ−１）で表され
る。

【０１２３】入力映像信号の相対的水平位置信号ＨＰＯ
Ｓおよび相対的垂直位置ＶＰＯＳは、視差補間係数発生
回路５２に送られる。視差補間係数発生回路５２は、相
対的水平位置信号ＨＰＯＳ、相対的垂直位置ＶＰＯＳお
よび次の数式７に基づいて、第１視差補間係数ＫＵＬ、
第２視差補間係数ＫＵＲ、第３視差補間係数ＫＤＬおよ
び第４視差補間係数ＫＤＲを生成して出力する。

【０１２４】

【数７】

【０１２５】１フィールド画面の各画素位置に対する視
差情報を生成する方法の基本的な考え方について、図３
０を用いて説明する。水平アドレス信号ＨＡＤおよび垂
直アドレス信号ＶＡＤによって表されている水平垂直位
置（以下、注目位置という）が図３０のＰｘｙであると
する。注目位置Ｐｘｙに対する視差情報を求める場合に
ついて説明する。

【０１２６】（１）まず、ＣＰＵ３によって算出された
各視差算出領域Ｅ１〜Ｅ１２に対する視差情報のうちか
ら、注目位置Ｐｘｙが含まれる第１分割領域の４頂点、
この例ではＰＥ１、ＰＥ２、ＰＥ５、ＰＥ６を中心とす
る視差算出領域Ｅ１、Ｅ２、Ｅ５、Ｅ６に対する視差情
報が、それぞれＵＬ、ＵＲ、ＤＬ、ＤＲとして抽出され
る。つまり、注目位置Ｐｘｙが含まれる第１分割領域の
４頂点のうち、左上の頂点を中心とする領域Ｅ１の視差
情報が第１視差情報ＵＬとして、右上の頂点を中心とす
る領域Ｅ２の視差情報が第２視差情報ＵＲとして、左下
の頂点を中心とする領域Ｅ５の視差情報が第３視差情報
ＤＬとして、右下の頂点を中心とする領域Ｅ６の視差情
報が第４視差情報ＤＲとして抽出される。

【０１２７】ただし、注目位置が含まれる第１分割領域
が、左上端の第１分割領域である場合のように、注目位
置が含まれる第１分割領域の４頂点のうち１つの頂点の
みが視差検出領域の中心に該当するような場合には、そ
の視差算出領域の視差情報が、第１〜第４の視差情報Ｕ
Ｌ、ＵＲ、ＤＬ、ＤＲとして抽出される。

【０１２８】また、注目位置が含まれる第１分割領域
が、左上端の第１分割領域の右隣の第１分割領域である
場合のように、注目位置が含まれる第１分割領域の４頂
点のうち下側の２つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第１分割
領域の４頂点のうち上側の２つの頂点に対応する視差情
報ＵＬ、ＵＲとしては、その下側の頂点を中心とする視
差算出領域の視差情報が抽出される。

【０１２９】また、注目位置が含まれる第１分割領域
が、左上端の第１分割領域の下隣の第１分割領域である
場合のように、注目位置が含まれる第１分割領域の４頂
点のうち右側の２つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第１分割
領域の４頂点のうち左側の２つの頂点に対応する視差情
報ＵＬ、ＤＬとしては、その右側の頂点を中心とする視
差算出領域の視差情報が抽出される。

【０１３０】また、注目位置が含まれる第１分割領域
が、右下端の第１分割領域の左隣の第１分割領域である
場合のように、注目位置が含まれる第１分割領域の４頂
点のうち上側の２つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第１分割
領域の４頂点のうち下側の２つの頂点に対応する視差情
報ＤＬ、ＤＲとしては、その上側の頂点を中心とする視
差算出領域の視差情報が抽出される。

【０１３１】また、注目位置が含まれる第１分割領域
が、右下端の第１分割領域の上隣の第１分割領域である
場合のように、注目位置が含まれる第１分割領域の４頂
点のうち左側の２つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第１分割
領域の４頂点のうち右側の２つの頂点に対応する視差情
報ＵＲ、ＤＲとしては、その左側の頂点を中心とする視
差算出領域の視差情報が抽出される。

【０１３２】（２）次に、第１〜第４の視差補間係数Ｋ
ＵＬ、ＫＵＲ、ＫＤＬおよびＫＤＲが求められる。

【０１３３】第１の視差補間係数ＫＵＬは、注目位置Ｐ
ｘｙを含む第１分割領域ｅの水平方向幅ｍに対する、注
目位置Ｐｘｙから第１分割領域ｅの右辺までの距離ΔＸ
Ｒとの比｛（ｍ−ＨＰＯＳ）／ｍ｝と、第１分割領域ｅ
の垂直方向幅ｎに対する、注目位置Ｐｘｙから第１分割
領域ｅの下辺までの距離ΔＹＤとの比｛（ｎ−ＶＰＯ
Ｓ）／ｎ｝との積によって求められる。すなわち、第１
の視差補間係数ＫＵＬは、注目位置Ｐｘｙを含む第１分
割領域ｅの左上頂点ＰＥ１と注目位置Ｐｘｙとの距離が
小さいほど大きくなる。

【０１３４】第２の視差補間係数ＫＵＲは、注目位置Ｐ
ｘｙを含む第１分割領域ｅの水平方向幅ｍに対する、注
目位置Ｐｘｙから第１分割領域ｅの左辺までの距離ΔＸ
Ｌとの比（ＨＰＯＳ／ｍ｝と、第１分割領域ｅの垂直方
向幅ｎに対する、注目位置Ｐｘｙから第１分割領域ｅの
下辺までの距離ΔＹＤとの比｛（ｎ−ＶＰＯＳ）／ｎ｝
との積によって求められる。すなわち、第２の視差補間
係数ＫＵＲは、注目位置Ｐｘｙを含む第１分割領域ｅの
右上頂点ＰＥ２と注目位置Ｐｘｙとの距離が小さいほど
大きくなる。

【０１３５】第３の視差補間係数ＫＤＬは、注目位置Ｐ
ｘｙを含む第１分割領域ｅの水平方向幅ｍに対する、注
目位置Ｐｘｙから第１分割領域ｅの右辺までの距離ΔＸ
Ｒとの比｛（ｍ−ＨＰＯＳ）／ｍ｝と、第１分割領域ｅ
の垂直方向幅ｎに対する、注目位置Ｐｘｙから第１分割
領域ｅの上辺までの距離ΔＹＵとの比（ＶＰＯＳ／ｎ）
との積によって求められる。すなわち、第３の視差補間
係数ＫＤＬは、注目位置Ｐｘｙを含む第１分割領域ｅの
左下頂点ＰＥ５と注目位置Ｐｘｙとの距離が小さいほど
大きくなる。

【０１３６】第４の視差補間係数ＫＤＲは、注目位置Ｐ
ｘｙを含む第１分割領域ｅの水平方向幅ｍに対する、注
目位置Ｐｘｙから第１分割領域ｅの左辺までの距離ΔＸ
Ｌとの比（ＨＰＯＳ／ｍ）と、第１分割領域ｅの垂直方
向幅ｎに対する、注目位置Ｐｘｙから第１分割領域ｅの
上辺までの距離ΔＹＵとの比（ＶＰＯＳ／ｎ）との積に
よって求められる。すなわち、第４の視差補間係数ＫＤ
Ｒは、注目位置Ｐｘｙを含む第１分割領域ｅの右下頂点
ＰＥ６と注目位置Ｐｘｙとの距離が小さいほど大きくな
る。

【０１３７】（３）上記（１）で抽出された第１〜第４
の視差情報ＵＬ、ＵＲ、ＤＬ、ＤＲに、それぞれ上記
（２）で算出された第１〜第４の視差補間係数ＫＵＬ、
ＫＵＲ、ＫＤＬ、ＫＤＲがそれぞれ乗算される。そし
て、得られた４つの乗算値が加算されることにより、注
目位置Ｐｘｙに対する視差情報が生成される。

【０１３８】視差情報記憶手段６０は、領域Ｅ１〜Ｅ１
２にそれぞれ対応して設けられた第１〜第１２の視差レ
ジスタ６１〜７２を備えている。第１〜第１２の視差レ
ジスタ６１〜７２には、ＣＰＵ３によって生成された各
領域Ｅ１〜Ｅ１２に対する視差情報が格納される。

【０１３９】視差情報記憶手段６０の後段には、視差選
択回路８０が設けられている。視差選択回路８０には、
各視差レジスタ６１〜７２から視差情報がそれぞれ送ら
れる。さらに、視差選択回路８０には、タイミング信号
発生回路５１から水平アドレス信号ＨＡＤおよび垂直ア
ドレス信号ＶＡＤが送られている。

【０１４０】視差選択回路８０は、図３１（ａ）に示さ
れている規則にしたがって、水平アドレス信号ＨＡＤお
よび垂直アドレス信号ＶＡＤに対応する領域（図３０の
例では、注目位置を含む第１領域の左上頂点を中心とす
る視差算出領域）に対する視差情報を、第１視差情報Ｕ
Ｌとして選択して出力する。さらに、視差選択回路８０
は、図３１（ｂ）に示されている規則にしたがって、水
平アドレス信号ＨＡＤおよび垂直アドレス信号ＶＡＤに
対応する領域（図３０の例では、注目位置を含む第１領
域の右上頂点を中心とする視差算出領域）に対する視差
情報を、第２視差情報ＵＲとして選択して出力する。

【０１４１】さらに、視差選択回路８０は、図３１
（ｃ）に示されている規則にしたがって、水平アドレス
信号ＨＡＤおよび垂直アドレス信号ＶＡＤに対応する領
域（図３０の例では、注目位置を含む第１領域の左下頂
点を中心とする視差算出領域）に対する視差情報を、第
３視差情報ＤＬとして選択して出力する。さらに、視差
選択回路８０は、図３１（ｄ）に示されている規則にし
たがって、水平アドレス信号ＨＡＤおよび垂直アドレス
信号ＶＡＤに対応する領域（図３０の例では、注目位置
を含む第１領域の右下頂点を中心とする視差算出領域）
に対する視差情報を、第４視差情報ＤＲとして選択して
出力する。図３１において、たとえば、０〜ｍのよう
に、ａ〜ｂで表現されている記号”〜”は、ａ以上ｂ未
満を意味する記号として用いられている。

【０１４２】視差選択回路８０によって選択された第１
視差情報ＵＬ、第２視差情報ＵＲ、第３視差情報ＤＬお
よび第４視差情報ＤＲは、それぞれ第１、第２、第３お
よび第４の乗算器８１、８２、８３、８４に入力する。

【０１４３】第１、第２、第３および第４の乗算器８
１、８２、８３、８４には、それぞれ視差補間係数発生
回路５２からの第１視差補間係数ＫＵＬ、第２視差補間
係数ＫＵＲ、第３視差補間係数ＫＤＬおよび第４視差補
間係数ＫＤＲも入力している。

【０１４４】第１乗算器８１は、第１視差情報ＵＬに第
１視差補間係数ＫＵＬを乗算する。第２乗算器８２は、
第２視差情報ＵＲに第２視差補間係数ＫＵＲを乗算す
る。第３乗算器８３は、第３視差情報ＤＬに第３視差補
間係数ＫＤＬを乗算する。第４乗算器８４は、第４視差
情報ＤＲに第４視差補間係数ＫＤＲを乗算する。

【０１４５】各乗算器８１、８２、８３、８４の出力
は、加算回路８５によって加算される。これにより、注
目位置に対する視差情報ＰＲが得られる。

【０１４６】各任意画素遅延ＦＩＦＯ１１、２１は、１
画素より小さい単位での水平位相制御を行なうために、
ぞれぞれ２つのラインメモリ１１ａ、１１ｂ、２１ａ、
２１ｂを備えている。各任意画素遅延ＦＩＦＯ１１、２
１内の２つのラインメモリ１１ａ、１１ｂ、２１ａ、２
１ｂには、それぞれＹ信号が入力されているとともにク
ロック信号ＣＬＫが入力している。

【０１４７】タイミング信号発生回路５１から出力され
ている水平アドレス信号ＨＡＤは、標準アドレス発生回
路９０にも入力している。標準アドレス発生回路９０
は、各任意画素遅延ＦＩＦＯ１１、２１内の２つのライ
ンメモリ１１ａ、１１ｂ、２１ａ、２１ｂに対する標準
書き込みアドレスＷＡＤおよび標準読み出しアドレスＲ
ＡＤを生成して出力する。また、標準アドレス発生回路
９０は、２Ｄ／３Ｄ映像変換装置によって得られる左映
像信号および右映像信号に付加される同期信号Ｃｓｙｎ
ｃをも出力する。この同期信号Ｃｓｙｎｃによって表さ
れる水平同期信号は、入力映像信号の水平同期信号Ｈｓ
ｙｎｃより、所定クロック数分遅れた信号となる。

【０１４８】標準読み出しアドレスＲＡＤは、標準読み
出しアドレスによって規定される基準水平位相に対し
て、各任意画素遅延ＦＩＦＯ１１、２１に入力される映
像信号の水平位相を進めたり遅らしたりできるようにす
るために、標準書き込みアドレスＷＡＤに対して、所定
クロック数分遅れている。標準アドレス発生回路９０か
ら出力される標準書き込みアドレスＷＡＤは、各任意画
素遅延ＦＩＦＯ１１、２１内の２つのラインメモリ１１
ａ、１１ｂ、２１ａ、２１ｂに、書き込みアドレスを示
す書き込み制御信号として入力する。

【０１４９】標準アドレス発生回路９０から出力される
標準読み出しアドレスＲＡＤは、加算器９１および減算
器９２にそれぞれ入力する。加算器９１および減算器９
２には、加算回路８５から出力される注目位置の視差情
報ＰＲも入力している。

【０１５０】加算器９１では、標準読み出しアドレスＲ
ＡＤに視差情報ＰＲが加算される。これにより、左映像
用読み出しアドレスＰＲＬが得られる。

【０１５１】左映像用読み出しアドレスＰＲＬの整数部
ＰＲＬ１は、左映像用任意画素遅延ＦＩＦＯ１１内の第
１のラインメモリ１１ａに読み出しアドレスＲＡＤＬ１
として入力する。したがって、第１のラインメモリ１１
ａのアドレスＲＡＤＬ１に対応するアドレスからＹ信号
が読み出される。読み出されたＹ信号は、第１の左映像
用乗算器１０１に入力する。

【０１５２】左映像用読み出しアドレスＰＲＬの整数部
ＰＲＬ１に１が加算されたアドレス値は、左映像用任意
画素遅延ＦＩＦＯ１１内の第２のラインメモリ１１ｂに
読み出しアドレスＲＡＤＬ２として入力する。したがっ
て、第２のラインメモリ１１ｂのアドレスＲＡＤＬ２に
対応するアドレスからＹ信号が読み出される。読み出さ
れたＹ信号は、第２の左映像用乗算器１０２に入力す
る。

【０１５３】第１のラインメモリ１１ａに対する読み出
しアドレスＲＡＤＬ１と、第２のラインメモリ１１ｂに
対する読み出しアドレスＲＡＤＬ２とは、１だけ異なっ
ているので、第１のラインメモリ１１ａから読み出され
たＹ信号と、第２のラインメモリ１１ｂから読み出され
たＹ信号とは、水平位置が１だけずれた信号となる。

【０１５４】左映像用読み出しアドレスＰＲＬの小数部
ＰＲＬ２は、第２の左映像補間係数として第２の左映像
用乗算器１０２に入力する。左映像用読み出しアドレス
ＰＲＬの小数部ＰＲＬ２を１から減算した値（１−ＰＲ
Ｌ２）は、第１の左映像補間係数として第１の左映像用
乗算器１０１に入力する。

【０１５５】したがって、第１の左映像用乗算器１０１
では、第１のラインメモリ１１ａから読み出されたＹ信
号に第１の左映像補間係数（１−ＰＲＬ２）が乗算され
る。第２の左映像用乗算器１０２では、第２のラインメ
モリ１１ｂから読み出されたＹ信号に第２の左映像補間
係数ＰＲＬ２が乗算される。そして、各乗算器１０１、
１０２によって得られたＹ信号は加算器１０３で加算さ
れた後、左映像用Ｙ信号ＹＬ−ＯＵＴとして、出力され
る。

【０１５６】これにより、標準読み出しアドレスＲＡＤ
によって規定される基準水平位相に対して、水平位相量
が注目位置に対する視差情報に応じた量だけ遅れた左映
像用Ｙ信号が得られる。

【０１５７】減算器９２では、標準読み出しアドレスＲ
ＡＤから視差情報ＰＲが減算される。これにより、右映
像用読み出しアドレスＰＲＲが得られる。

【０１５８】右映像用読み出しアドレスＰＲＲの整数部
ＰＲＲ１は、右映像用任意画素遅延ＦＩＦＯ２１内の第
１のラインメモリ２１ａに読み出しアドレスＲＡＤＲ１
として入力する。したがって、第１のラインメモリ２１
ａのアドレスＲＡＤＲ１に対応するアドレスからＹ信号
が読み出される。読み出されたＹ信号は、第１の右映像
用乗算器１１１に入力する。

【０１５９】右映像用読み出しアドレスＰＲＲの整数部
ＰＲＲ１に１が加算されたアドレス値は、右映像用任意
画素遅延ＦＩＦＯ２１内の第２のラインメモリ２１ｂに
読み出しアドレスＲＡＤＲ２として入力する。したがっ
て、第２のラインメモリ２１ｂのアドレスＲＡＤＲ２に
対応するアドレスからＹ信号が読み出される。読み出さ
れたＹ信号は、第２の右映像用乗算器１１２に入力す
る。

【０１６０】第１のラインメモリ２１ａに対する読み出
しアドレスＲＡＤＲ１と、第２のラインメモリ２１ｂに
対する読み出しアドレスＲＡＤＲ２とは、１だけ異なっ
ているので、第１のラインメモリ２１ａから読み出され
たＹ信号と、第２のラインメモリ２１ｂから読み出され
たＹ信号とは、水平位置が１だけずれた信号となる。

【０１６１】右映像用読み出しアドレスＰＲＲの小数部
ＰＲＲ２は、第２の右映像補間係数として第２の右映像
用乗算器１１２に入力する。右映像用読み出しアドレス
ＰＲＲの小数部ＰＲＲ２を１から減算した値（１−ＰＲ
Ｒ２）は、第１の右映像補間係数として第１の右映像用
乗算器１１１に入力する。

【０１６２】したがって、第１の右映像用乗算器１１１
では、第１のラインメモリ２１ａから読み出されたＹ信
号に第１の右映像補間係数（１−ＰＲＲ２）が乗算され
る。第２の右映像用乗算器１１２では、第２のラインメ
モリ２１ｂから読み出されたＹ信号に第２の右映像補間
係数ＰＲＲ２が乗算される。そして、各乗算器１１１、
１１２によって得られたＹ信号は加算器１１３で加算さ
れた後、右映像用Ｙ信号ＹＲ−ＯＵＴとして、出力され
る。

【０１６３】これにより、標準読み出しアドレスＲＡＤ
によって規定される基準水平位相に対して、水平位相量
が注目位置に対する視差情報に応じた量だけ進んだ右映
像用Ｙ信号が得られる。

【０１６４】図３２は、注目位置に対する視差情報が０
の場合の、各部の信号を示している。

【０１６５】視差情報が０の場合には、加算器９１から
出力される左映像用読み出しアドレスＰＲＬと、減算器
９２から出力される右映像用読み出しアドレスＰＲＲ
は、ともに標準読み出しアドレスＲＡＤと等しい小数部
のない整数部のみからなるアドレスとなる。

【０１６６】したがって、左映像用任意画素遅延ＦＩＦ
Ｏ１１内の第１のラインメモリ１１ａに対する読み出し
アドレスＲＡＤＬ１と、右映像用任意画素遅延ＦＩＦＯ
２１内の第１のラインメモリ２１ａに対する読み出しア
ドレスＲＡＤＲ１は、標準読み出しアドレスＲＡＤと等
しいアドレスとなる。

【０１６７】また、左映像用任意画素遅延ＦＩＦＯ１１
内の第２のラインメモリ１１ｂに対する読み出しアドレ
スＲＡＤＬ２と、右映像用任意画素遅延ＦＩＦＯ２１内
の第２のラインメモリ２１ｂに対する読み出しアドレス
ＲＡＤＲ２は、標準読み出しアドレスＲＡＤより１だけ
大きい値となる。

【０１６８】また、第１の左映像補間係数（１−ＰＲＬ
２）および第１の右映像補間係数（１−ＰＲＲ２）は１
となり、第２の左映像補間係数ＰＲＬ２および第２の右
映像補間係数ＰＲＲ２は０となる。

【０１６９】この結果、左映像用任意画素遅延ＦＩＦＯ
１１内の第１のラインメモリ１１ａの標準アドレスＲＡ
Ｄに対応するアドレスから読み出されたＹ信号が加算器
１０３から左映像用Ｙ信号ＹＬ−ＯＵＴとして出力さ
れ、右映像用任意画素遅延ＦＩＦＯ２１内の第１のライ
ンメモリ２１ａの標準アドレスＲＡＤに対応するアドレ
スから読み出されたＹ信号が加算器１１３から右映像用
Ｙ信号ＹＲ−ＯＵＴとして出力される。つまり、水平方
向の位相ずれ量が同じ２つのＹ信号、すなわち視差のな
い２つのＹ信号が左映像用Ｙ信号および右映像用Ｙ信号
として出力される。

【０１７０】図３３は、ある注目位置に対する標準書き
込みアドレスＷＡＤが２０であり、上記注目位置に対す
る標準読み出しアドレスＲＡＤが１０であり、上記注目
位置に対する視差情報が１．２の場合の、各アドレス値
の具体例を示している。図３４は、その際の各部の信号
を示している。

【０１７１】この場合には、加算器９１から出力される
左映像用読み出しアドレスＰＲＬは、１１．２となり、
その整数部ＰＲＬ１は１１となり、その小数部ＰＲＬ２
は０．２となる。

【０１７２】したがって、左映像用任意画素遅延ＦＩＦ
Ｏ１１内の第１のラインメモリ１１ａに対する読み出し
アドレスＲＡＤＬ１は１１となり、第２のラインメモリ
１１ｂに対する読み出しアドレスＲＡＤＬ２は１２とな
る。また、第１の左映像補間係数ＫＬ１｛＝（１−ＰＲ
Ｌ２）｝は０．８となり、第２の左映像補間係数ＫＬ２
（＝ＰＲＬ２）は０．２となる。

【０１７３】したがって、左映像用任意画素遅延ＦＩＦ
Ｏ１１内の第１のラインメモリ１１ａのアドレス１１か
らＹ信号（Ｙ₁₁）が読み出され、第１乗算器１０１から
は読み出されたＹ信号（Ｙ₁₁）の０．８倍の信号（０．
８＊Ｙ₁₁）が出力される。

【０１７４】一方、左映像用任意画素遅延ＦＩＦＯ１１
内の第２のラインメモリ１１ｂのアドレス１２からＹ信
号（Ｙ₁₂）が読み出され、第２乗算器１０２からは読み
出されたＹ信号（Ｙ₁₂）の０．２倍の信号（０．２＊Ｙ
₁₂）が出力される。そして、加算器１０３からは、０．
８＊Ｙ₁₁＋０．２＊Ｙ₁₂に相当する左映像用Ｙ信号ＹＬ
−ＯＵＴが出力される。つまり、読み出しアドレス１
１．２に相当するＹ信号が、左映像用Ｙ信号ＹＬ−ＯＵ
Ｔとして出力される。

【０１７５】減算器９２から出力される右映像用読み出
しアドレスＰＲＲは、８．８となり、その整数部ＰＲＲ
１は８となり、その小数部ＰＲＲ２は０．８となる。

【０１７６】したがって、右映像用任意画素遅延ＦＩＦ
Ｏ２１内の第１のラインメモリ２１ａに対する読み出し
アドレスＲＡＤＲ１は８となり、第２のラインメモリ２
１ｂに対する読み出しアドレスＲＡＤＲ２は９となる。
また、第１の右映像補間係数ＫＲ１｛＝（１−ＰＲＲ
２）｝は０．２となり、第２の右映像補間係数ＫＲ２
（＝ＰＲＲ２）は０．８となる。

【０１７７】したがって、右映像用任意画素遅延ＦＩＦ
Ｏ２１内の第１のラインメモリ２１ａのアドレス８から
Ｙ信号（Ｙ₈）が読み出され、第１乗算器１１１からは
読み出されたＹ信号（Ｙ₈）の０．２倍の信号（０．２
＊Ｙ₈）が出力される。

【０１７８】一方、右映像用任意画素遅延ＦＩＦＯ２１
内の第２のラインメモリ２１ｂのアドレス９からＹ信号
（Ｙ₉）が読み出され、第２乗算器１１２からは読み出
されたＹ信号（Ｙ₉）の０．８倍の信号（０．８＊
Ｙ₉）が出力される。そして、加算器１１３からは、
０．２＊Ｙ₈＋０．８＊Ｙ₉に相当する右映像用Ｙ信号
ＹＲ−ＯＵＴが出力される。つまり、読み出しアドレス
８．８に相当するＹ信号が、右映像用Ｙ信号ＹＲ−ＯＵ
Ｔとして出力される。

【０１７９】この結果、１１．２−８．８＝２．４の視
差、つまり、視差情報１．２の２倍の視差を互いに有す
る左映像および右映像が得られる。

【０１８０】

【発明が解決しようとする課題】ところで、３次元映像
信号に変換しようとする元となる２次元映像信号には、
動きのある映像と動きのない映像との両方が含まれてい
る。そこで、動きのある映像に対しては動画用２Ｄ／３
Ｄ映像変換方法を用いて３次元映像を生成し、動きのな
い映像に対しては静止画用２Ｄ／３Ｄ映像変換方法を用
いて３次元映像を生成することが考えられる。

【０１８１】つまり、元となる２次元映像から動きベク
トルを検出し、動きベクトルの水平方向の大きさが所定
値以上であれば現在入力されている映像は動画であると
判定し、動画用２Ｄ／３Ｄ映像変換方法を適用して入力
映像を３次元映像に変換する。一方、動きベクトルの水
平方向の大きさが所定値より小さければ、現在入力され
ている映像は静止画であると判定し、静止画用２Ｄ／３
Ｄ映像変換方法を適用して入力映像を３次元映像に変換
する。

【０１８２】しかしながら、このような方法では、入力
映像が動画と静止画との間で切り替わる際において、視
差の変動が大きくなり、観察者に違和感を与えるという
問題がある。

【０１８３】この発明は、動画用２Ｄ／３Ｄ映像変換方
法と静止画用２Ｄ／３Ｄ映像変換方法とを併用して、２
次元映像を３次元映像に変換する場合において、入力映
像が動画と静止画との間で切り替わる際に視差の変動を
小さくすることができる２次元映像を３次元映像に変換
する装置および方法を提供することを目的とする。

【０１８４】

【課題を解決するための手段】この発明による２次元映
像を３次元映像に変換する装置は、２次元入力映像に基
づいて、基準となる主映像および主映像に対して時間的
に遅れた副映像を生成し、主映像および副映像のうち、
一方を左目用映像として出力し、他方を右目用映像とし
て出力する映像変換手段、２次元入力映像が動画である
か、静止画であるかを判定する動画／静止画判定手段、
動画／静止画判定手段の判定結果に基づいて、静止画比
率を算出する静止画比率算出手段、２次元入力映像に基
づいて、１フィールド画面内に設定された複数の視差算
出領域のそれぞれに対して映像の遠近に関する画像特徴
量を抽出し、抽出した画像特徴量に基づいて、各視差算
出領域ごとの視差情報を生成する視差情報生成手段、視
差情報生成手段によって生成された各視差算出領域ごと
の視差情報に静止画比率算出手段によって算出された静
止画比率を乗算することにより各視差算出領域ごとの視
差情報を補正し、補正後の各視差情報に基づいて１フィ
ールド画面内の所定単位領域ごとの視差情報を生成する
視差情報補正手段、ならびに映像変換手段から出力され
る右目用映像および左目用映像の各所定単位領域内の信
号に対して、視差情報補正手段によって得られた当該所
定単位領域に対応する視差情報に応じた水平位相制御を
行う位相制御手段を備えていることを特徴とする。

【０１８５】静止画比率算出手段としては、たとえば、
動画／静止画判定手段によって２次元入力映像が動画で
あると判定されたときには静止画比率として０を設定
し、２次元入力映像が静止画であると判定されたときに
は静止画比率として１００を設定する手段、ならびに設
定された静止画比率をフィールド間で平滑化する手段を
備えているものが用いられる。

【０１８６】この発明による２次元映像を３次元映像に
変換する方法は、２次元入力映像に基づいて、基準とな
る主映像および主映像に対して時間的に遅れた副映像を
生成し、主映像および副映像のうち、一方を左目用映像
として出力し、他方を右目用映像として出力する第１ス
テップ、２次元入力映像が動画であるか、静止画である
かを判定する第２ステップ、第２ステップによる判定結
果に基づいて、静止画比率を算出する第３ステップ、２
次元入力映像に基づいて、１フィールド画面内に設定さ
れた複数の視差算出領域のそれぞれに対して映像の遠近
に関する画像特徴量を抽出し、抽出した画像特徴量に基
づいて、各視差算出領域ごとの視差情報を生成する第４
ステップ、第４ステップによって生成された各視差算出
領域ごとの視差情報に静止画比率算出手段によって算出
された静止画比率を乗算することにより各視差算出領域
ごとの視差情報を補正し、補正後の各視差情報に基づい
て１フィールド画面内の所定単位領域ごとの視差情報を
生成する第５ステップ、ならびに第１ステップによって
出力された右目用映像および左目用映像の各所定単位領
域内の信号に対して、第５ステップによって得られた当
該所定単位領域に対応する視差情報に応じた水平位相制
御を行う第６ステップを備えていることを特徴とする。

【０１８７】第３ステップとしては、たとえば、第２ス
テップによって２次元入力映像が動画であると判定され
たときには静止画比率として０を設定し、２次元入力映
像が静止画であると判定されたときには静止画比率とし
て１００を設定するステップ、ならびに設定された静止
画比率をフィールド間で平滑化するステップを備えてい
るものが用いられる。

【０１８８】

【発明の実施の形態】以下、図面を参照して、この発明
の実施の形態について説明する。

【０１８９】図３５は、２Ｄ／３Ｄ映像変換装置の構成
を示している。

【０１９０】２Ｄ／３Ｄ映像変換装置は、集積回路（Ｌ
ＳＩ）５１０と、集積回路５１０に接続された複数のフ
ィールドメモリ５２１〜５２４と、ＣＰＵ５３０とから
構成されている。

【０１９１】集積回路５１０は、動きベクトル検出回路
５１１、各種画面内データ算出回路５１２、メモリ制御
部５１３、右目用映像選択回路５１４、左目用映像選択
回路５１５、右目用視差生成回路５１６、左目用視差生
成回路５１７、視差制御回路５１８、ＣＰＵインタフェ
ース５１９等を備えている。

【０１９２】動きベクトル検出回路５１１は、代表点マ
ッチング法に基づいて、１フィールド毎に動きベクトル
を検出する。動きベクトル検出回路５１１によって検出
された動きベクトルは、ＣＰＵインタフェース５１９を
介して、ＣＰＵ５３０に送られる。

【０１９３】各種画面内データ算出回路５１２は、図１
の高周波成分積算回路８、輝度コントラスト算出回路
９、Ｒ−Ｙ成分積算回路３１およびＢ−Ｙ成分積算回路
３２を含んでおり、各フィールドごとに、１フィールド
画面内に設定された複数個の視差算出領域のそれぞれに
対して、映像の遠近に関する画像特徴量を算出するもの
である。

【０１９４】高周波成分積算回路８は、１フィールド毎
に、図２に示すように、１フィールド画面内に予め設定
された複数個の視差算出領域Ｅ１〜Ｅ１２それぞれに対
する高周波成分の積算値を算出する。輝度コントラスト
算出回路９は、１フィールド毎に、各視差算出領域Ｅ１
〜Ｅ１２それぞれに対する輝度コントラストを算出す
る。Ｒ−Ｙ成分積算回路３１は、１フィールド毎に、各
視差算出領域Ｅ１〜Ｅ１２それぞれに対するＲ−Ｙ成分
の積算値を算出する。Ｂ−Ｙ成分積算回路３２は、１フ
ィールド毎に、各視差算出領域Ｅ１〜Ｅ１２それぞれに
対するＢ−Ｙ成分の積算値を算出する。各種画面内デー
タ算出回路５１２によって算出された映像の遠近に関す
る画像特徴量は、ＣＰＵインタフェース５１９を介し
て、ＣＰＵ５３０に送られる。

【０１９５】図３６は、ＣＰＵ５３０によって実行され
る処理を示している。

【０１９６】ＣＰＵ５３０は、動きベクトル検出回路５
１１によって検出された動きベクトルの水平成分に基づ
いて、１フィールド毎に、動画用２Ｄ／３Ｄ映像変換方
法に用いられる遅延量を算出する（ステップ１１）。こ
の際、ＣＰＵ５３０は、動きベクトルの水平成分の方向
（右または左）に基づいて、動画用２Ｄ／３Ｄ映像変換
方法における基準となる主映像と主映像に対して時間的
に遅延した副映像とのうち、いずれを左目用映像とし、
いずれを右目用映像とするかを決定し、この決定結果を
遅延量の符号（正負）として反映せしめる。

【０１９７】遅延量の決定方法としては、たとえば、特
開平８−１４９５１３号公報の図３に示されているアル
ゴリズムを用いることができる。なお、フィールド間で
の遅延量の変動を小さくするために、特開平８−１４９
５１３号公報の図３に示されているアルゴリズムを用い
て得られた遅延量に対して平滑化処理を行うようにして
もよい。ＣＰＵ５３０によって算出された遅延量は、メ
モリ制御部５１３に送られる。

【０１９８】また、ＣＰＵ５３０は、各種画面内データ
算出回路５１２によって算出された映像の遠近に関する
画像特徴量に基づいて、１フィールド毎に、１フィール
ド画面内の視差算出領域ごとの視差情報を算出する（ス
テップ１２）。視差情報の算出方法としては、図１２の
アルゴリズムを用いることができる。

【０１９９】さらに、ＣＰＵ５３０は、動きベクトル検
出回路５１１によって検出された動きベクトルの水平成
分に基づいて、１フィールド毎に、現フィールドが動き
のある映像（動画）であるか、現フィールドが動きのな
い映像（静止画）であるかを判定する（ステップ１
３）。動画であると判定された場合には、静止画比率を
０に設定する（ステップ１４）。静止画であると判定さ
れた場合には、静止画比率を１００に設定する（ステッ
プ１５）。そして、フィールド間での静止画比率の変動
を小さくするために、静止画比率の平滑化処理が行われ
る（ステップ１６）。

【０２００】静止画比率の平滑化処理は、実際はソフト
ウエアによって実行されるが、説明の便宜上、図３７の
ブロック図を用いて説明する。

【０２０１】つまり、ステップ１４または１５で静止画
比率が設定されると、設定された静止画比率に乗算器６
０１によって係数Ｋが乗算される。この係数としては、
たとえば、１／４、１／８、１／１６等の値に設定され
る。この乗算結果は、加算器６０２に送られる。

【０２０２】加算器６０２には、遅延メモリ６０３およ
び係数（１−Ｋ）を乗算する乗算器６０４によって加算
器６０２に供給される、１つ前のフィールドにおける加
算器６０２の加算結果に（１−Ｋ）が乗算された値が送
られる。このため、加算器６０２では、今回設定された
静止画比率に係数Ｋが乗算された値と、遅延メモリ６０
３および係数（１−Ｋ）を乗算する乗算器６０４によっ
て加算器６０２に供給される、１つ前のフィールドにお
ける加算器６０２の加算結果に（１−Ｋ）が乗算された
値とが加算される。

【０２０３】この加算結果は、遅延メモリ６０３に格納
される。遅延メモリ６０３に格納された加算結果は、次
のフィールドにおいて、平滑化処理後の静止画比率とし
て出力される。

【０２０４】このような静止画比率の平滑化処理によれ
ば、入力映像が動画と静止画との間で切り替わっても、
平滑化処理後の静止画比率はフィールド間で徐々に変化
する。たとえば、入力映像の動きが大きい状態から動き
が小さくなり、動きがなくなったときの平滑化処理後の
静止画比率は、図３８に曲線Ｑで示すようになる。図３
８において、符号６１１で示す黒丸は動画であると判定
された場合にステップ１４で設定された静止画比率”
０”を表し、符号６１２で示す黒丸は静止画であると判
定された場合にステップ１５で設定された静止画比率”
１００”を表している。また、曲線Ｒは、遅延量の変化
を示している。

【０２０５】ステップ１６の平滑化処理によって静止画
比率が算出されるとともに、ステップ１２によって１フ
ィールド画面内の視差算出領域ごとの視差情報が算出さ
れると、ＣＰＵ５３０はステップ１２によって算出され
た各視差算出領域ごとの視差情報の補正処理を行う（ス
テップ１７）。つまり、ＣＰＵ５３０はステップ１２に
よって算出された各視差算出領域ごとの視差情報に、ス
テップ１６の平滑化処理によって得られた静止画比率を
乗算することにより、視差情報を補正する。このように
して得られた視差情報は、視差制御回路５１８に送られ
る。

【０２０６】メモリ制御部５１３は、ＣＰＵ５３０から
送られてきた遅延量に基づいて、入力映像を書き込むべ
きフィールドメモリおよび映像信号を読み出すべきフィ
ールドメモリを決定する。また、メモリ制御部５１３
は、遅延量の符号に基づいて、右目用映像選択回路５１
４および左目用映像選択回路５１５に選択制御信号を出
力する。

【０２０７】ここでは、説明の便宜上、入力映像そのも
のを主映像とし、フィールドメモリから読み出される映
像を主映像に対して時間的に遅延された副映像であると
する。主映像は、右目用映像選択回路５１４の第１入力
端子および左目用映像選択回路５１５の第１入力端子に
送られる。副映像は、右目用映像選択回路５１４の第２
入力端子および左目用映像選択回路５１５の第２入力端
子に送られる。

【０２０８】各選択回路５１４、５１５は、メモリ制御
部５１３からの選択制御信号に基づいて、第１および第
２入力端子に入力されている映像信号のうち、一方を選
択して出力する。これにより、両選択回路５１４、５１
５のうち、一方から主映像が出力され、他方から副映像
が出力される。

【０２０９】図３５に示す視差制御回路５１８は、ＣＰ
Ｕ５３０から得られた各視差算出領域ごとの視差情報に
基づいて各画素ごとの視差情報を生成する。図３５に示
す視差制御回路５１８は、図１の視差制御回路４に相当
する回路であり、より具体的には図２８に符号７０１で
示す部分に相当する回路である。ただし、図３５の視差
制御回路５１８に入力される各視差算出領域ごとの視差
情報は、静止画比率が考慮されたものである点が、図１
の視差制御回路４に入力される各視差算出領域ごとの視
差情報と異なっている。この点を除いては、図３５に示
す視差制御回路５１８の動作は、図２８に符号７０１で
示す部分に相当する回路の動作と同じなので、その説明
を省略する。

【０２１０】また、図３５に示す右目用視差生成回路５
１６および左目用視差生成回路５１７は、動画用２Ｄ／
３Ｄ映像変換方法によって得られた右目用映像信号およ
び左目用映像信号の各画素に対して、視差制御回路５１
８によって得られたその画素に対応する視差情報に応じ
た水平位相制御を行う。

【０２１１】図３５に示す右目用視差生成回路５１６
は、図２８に符号７０２で示す回路に相当し、図３５に
示す左目用視差生成回路５１７は、図２８に符号７０３
で示す回路に相当する。ただし、図３５に示す右目用視
差生成回路５１６に入力される映像信号は、動画用２Ｄ
／３Ｄ映像変換方法によって得られた右目用映像信号お
よび左目用映像信号である点が、図２８に符号７０２、
７０３で示されている回路に入力される映像信号と異な
っている。その点を除いては、図３５に示す右目用視差
生成回路５１６の動作は、図２８に符号７０２で示す回
路の動作と同じであり、図３５に示す左目用視差生成回
路５１７の動作は、図２８に符号７０３で示す回路の動
作と同じなので、その詳細な説明を省略する。

【０２１２】上記実施の形態では、常に、動画用２Ｄ／
３Ｄ映像変換方法によって右目用映像および左目用映像
とが生成されている。そして、動画用２Ｄ／３Ｄ映像変
換方法によって生成された右目用映像および左目用映像
に対して、静止画用２Ｄ／３Ｄ映像変換方法と同様な手
法によって得られた画素毎の視差情報に基づく位相制御
が行われている。

【０２１３】ただし、静止画比率が小さいときには通常
の静止画用２Ｄ／３Ｄ映像変換方法で算出される視差情
報に比べて、採用される視差情報が小さくせしめられ
る。静止画比率は、平滑化処理によって、たとえ入力映
像が静止画と動画との間で切り替わったとしても、フィ
ールド間で変動が大きくならないように、決定されてい
るので、入力映像が静止画と動画との間で切り替わる際
の、視差変動が小さくなる。

【０２１４】

【発明の効果】この発明によれば、入力映像が静止画と
動画との間で切り替わる際の、視差変動を小さくするこ
とができるようになる。

【図面の簡単な説明】

【図１】２Ｄ／３Ｄ映像変換装置の全体構成を示すブロ
ック図である。

【図２】視差算出領域を示す模式図である。

【図３】Ｒ−Ｙ成分積算回路の構成を示すブロック図で
ある。

【図４】高周波成分積算回路の構成を示すブロック図で
ある。

【図５】図４のハイパスフィルタ２３２の具体例を示す
回路図である。

【図６】図４のスライス処理回路２３４の入出力特性を
示すグラフである。

【図７】高周波成分積算回路の他の例を示すブロック図
である。

【図８】図７のピーク検出回路２３９の具体例を示す回
路図である。

【図９】図７のピーク検出回路２３９の各部の信号を示
すタイムチャートである。

【図１０】輝度コントラスト算出回路の構成を示すブロ
ック図である。

【図１１】図１０の輝度コントラスト検出回路の構成を
示す回路図である。

【図１２】ＣＰＵによる視差情報の生成処理手順を示す
フローチャートである。

【図１３】実際に設定される視差算出領域を示す模式図
である。

【図１４】高周波成分積算値の各正規化値に対する視差
算出領域の数を示すヒストグラムである。

【図１５】図１４のヒストグラムに基づいて得られたグ
ループ分け結果を示す模式図である。

【図１６】Ｒ−Ｙ成分積算値の正規化値を縦軸にとり、
Ｂ−Ｙ成分積算値の正規化値を横軸にとって、視差算出
領域の分布を表したグラフである。

【図１７】図１６のグラフに基づいて得られたグループ
分け結果を示す模式図である。

【図１８】図１６のグラフに基づいて得られたグループ
分け結果を示す模式図である。

【図１９】空間分離処理によって修正されたグループ分
け結果を示す模式図である。

【図２０】特異点処理を説明するための模式図である。

【図２１】特異点処理によって修正されたグループ分け
結果を示す模式図である。

【図２２】各視差算出領域毎に予め設定された背景重み
成分を示す模式図である。

【図２３】奥行き補正前における各視差算出領域の奥行
き情報の一例を示す模式図である。

【図２４】奥行き補正後における各視差算出領域の奥行
き情報を示す模式図である。

【図２５】奥行き補正前における画面の高さ位置に対す
る奥行き情報との関係および奥行き補正後における画面
の高さ位置に対する奥行き情報との関係を示すグラフで
ある。

【図２６】グループ内部に対する奥行き情報補正処理を
説明するための模式図である。

【図２７】奥行き情報と視差情報との関係を示すグラフ
である。

【図２８】主として、視差制御回路および任意画素遅延
ＦＩＦＯの構成を示すブロック図である。

【図２９】相対的水平位置および相対的垂直位置等を示
す模式図である。

【図３０】注目画素に対する視差情報を生成する方法を
説明するための説明図である。

【図３１】視差選択回路による選択規則を示す図であ
る。

【図３２】視差情報が０の場合の各部の信号を示すタイ
ムチャートである。

【図３３】視差情報が１．２の場合の各アドレス値を視
差制御回路に付記したブロック図である。

【図３４】視差情報が１．２の場合の各部の信号を示す
タイムチャートである。

【図３５】この発明の実施の形態である２Ｄ／３Ｄ映像
変換装置の構成を示すブロック図である。

【図３６】ＣＰＵ５３０が実行する処理を示すフローチ
ャートである。

【図３７】静止画比率の平滑化処理を説明するためのブ
ロック図である。

【図３８】主として静止画比率の変化を示すグラフであ
る。

【符号の説明】

５１１動きベクトル検出回路５１２各種画面内データ算出回路５１３メモリ制御部５１４、５１５選択回路５１６、５１７視差生成回路５１８視差制御回路５１９ＣＰＵインタフェース５２１〜５２４フィールドメモリ５３０ＣＰＵ

Claims

【特許請求の範囲】

【請求項１】２次元入力映像に基づいて、基準となる
主映像および主映像に対して時間的に遅れた副映像を生
成し、主映像および副映像のうち、一方を左目用映像と
して出力し、他方を右目用映像として出力する映像変換
手段、２次元入力映像が動画であるか、静止画であるかを判定
する動画／静止画判定手段、動画／静止画判定手段の判定結果に基づいて、静止画比
率を算出する静止画比率算出手段、２次元入力映像に基づいて、１フィールド画面内に設定
された複数の視差算出領域のそれぞれに対して映像の遠
近に関する画像特徴量を抽出し、抽出した画像特徴量に
基づいて、各視差算出領域ごとの視差情報を生成する視
差情報生成手段、視差情報生成手段によって生成された各視差算出領域ご
との視差情報に静止画比率算出手段によって算出された
静止画比率を乗算することにより各視差算出領域ごとの
視差情報を補正し、補正後の各視差情報に基づいて１フ
ィールド画面内の所定単位領域ごとの視差情報を生成す
る視差情報補正手段、ならびに映像変換手段から出力さ
れる右目用映像および左目用映像の各所定単位領域内の
信号に対して、視差情報補正手段によって得られた当該
所定単位領域に対応する視差情報に応じた水平位相制御
を行う位相制御手段、を備えている２次元映像を３次元映像に変換する装置。
【請求項２】静止画比率算出手段は、動画／静止画判
定手段によって２次元入力映像が動画であると判定され
たときには静止画比率として０を設定し、２次元入力映
像が静止画であると判定されたときには静止画比率とし
て１００を設定する手段、ならびに設定された静止画比
率をフィールド間で平滑化する手段、を備えている請求項１に記載の２次元映像を３次元映像
に変換する装置。
【請求項３】２次元入力映像に基づいて、基準となる
主映像および主映像に対して時間的に遅れた副映像を生
成し、主映像および副映像のうち、一方を左目用映像と
して出力し、他方を右目用映像として出力する第１ステ
ップ、２次元入力映像が動画であるか、静止画であるかを判定
する第２ステップ、第２ステップによる判定結果に基づいて、静止画比率を
算出する第３ステップ、２次元入力映像に基づいて、１フィールド画面内に設定
された複数の視差算出領域のそれぞれに対して映像の遠
近に関する画像特徴量を抽出し、抽出した画像特徴量に
基づいて、各視差算出領域ごとの視差情報を生成する第
４ステップ、第４ステップによって生成された各視差算出領域ごとの
視差情報に静止画比率算出手段によって算出された静止
画比率を乗算することにより各視差算出領域ごとの視差
情報を補正し、補正後の各視差情報に基づいて１フィー
ルド画面内の所定単位領域ごとの視差情報を生成する第
５ステップ、ならびに第１ステップによって出力された
右目用映像および左目用映像の各所定単位領域内の信号
に対して、第５ステップによって得られた当該所定単位
領域に対応する視差情報に応じた水平位相制御を行う第
６ステップ、を備えている２次元映像を３次元映像に変換する方法。
【請求項４】第３ステップは、第２ステップによって
２次元入力映像が動画であると判定されたときには静止
画比率として０を設定し、２次元入力映像が静止画であ
ると判定されたときには静止画比率として１００を設定
するステップ、ならびに設定された静止画比率をフィー
ルド間で平滑化するステップ、を備えている請求項３に記載の２次元映像を３次元映像
に変換する方法。