JP3249335B2 - ３次元映像変換方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、２次元映像から視差を
有する３次元映像に変換する３次元映像変換方法に関す
る。

【０００２】

【従来の技術】従来、３次元映像再生システムに使用さ
れる映像ソフトは、その大半が３次元映像表示用に特別
に作成されたものである。このような３次元映像表示用
の映像ソフトは、一般には２台のカメラで撮像された左
目用映像と右目用映像を同時にまたは順次に一つのディ
スプレイに重ねて表示し、この２重に映し出された右目
用映像及び左目用映像を観察者の左右の目にそれぞれ分
離して入射させることにより観察者に３次元映像を認識
させるものである。

【０００３】従って、この方法によれば、既存の２次元
映像ソフトを使用することができず新たに３次元映像ソ
フトを製作する必要があったため立体映像再生システム
のコストアップの原因となっていた。

【０００４】このため、既存の２次元映像ソフトから３
次元映像ソフトに変換する方法が種々、提案されてい
る。例えば、２次元映像を映像の動きに応じてフィール
ド単位で遅延させ、非遅延映像を左目用、遅延映像を右
目用映像とすることにより水平方向に動きのある映像に
対しては視差を有する３次元映像が得られる３次元映像
変換方法がある。即ち、図１０に示すように、静止して
いる背景Ｍに対して右方向に被写体Ｓが移動するシーン
の場合、左目用映像Ｌを非遅延映像、右目用映像Ｒを遅
延映像とすることにより所定の視差が発生し、スクリー
ン面Ｘ上に見える背景Ｍに対して被写体Ｓが前記視差に
応じて前方に飛び出して見えることにより立体視が可能
となる。

【０００５】しかしながら、通常の映像ソフトにおいて
は、背景Ｍに対して相対的に被写体Ｓが右方向に移動す
るシーンを撮影する場合、カメラを固定して撮影すると
前述の図１０のように背景Ｍが静止し被写体Ｓが右へ移
動した映像となるが、カメラを被写体Ｓと共に右へパン
ニングして撮影すると図１１のように被写体Ｓが静止し
背景Ｍが左へ移動する映像となる。

【０００６】上述の３次元映像変換方法では、図１０に
示すような場合、左から右へ移動する物体（被写体Ｓ）
を検出して、非遅延映像を左目用映像、遅延映像を右目
用映像とすることにより被写体Ｓを背景Ｍに対して前方
に飛び出させることができる。ところが、図１１に示す
ように背景Ｍが移動している場合、右から左へ移動する
物体（背景Ｍ）を検出して前述とは逆に、非遅延映像を
右目用映像、遅延映像を左としてしまうことにより、逆
に、スクリーン面Ｘ上に見える被写体Ｓに対して背景Ｍ
が前方に飛び出してしまうという問題が生じる。

【０００７】このため、上記問題点を解決するために、
本願出願人は先に特願平６−２２８２０８号において、
画面内の被写体と背景を判別して、左右映像のうちどち
らを遅延映像とするかを選択することにより、常に背景
に対して被写体が前方に見えるようにする方法を提案し
ている。

【０００８】上記方法によれば、静止している被写体Ｓ
に対して背景Ｍが移動する場合でも図１２に示すように
非遅延映像を左目用映像、遅延映像を右目用映像とする
ことができる。

【０００９】ここで、被写体Ｓが移動する図１０の場合
と背景Ｍが移動する図１２の場合とを比較すると、共に
被写体Ｓが背景Ｍに対して前方に飛び出してはいるが、
図１０の場合はスクリーン面Ｘに背景Ｍがありその前方
に被写体Ｓが飛び出して見える。これに対して、図１２
の場合は被写体Ｓがスクリーン面Ｘにありその奥に背景
Ｍが後退して見える。即ち、両者は共に相対的に背景Ｍ
に対して被写体Ｓが前方に見えるが、図６ａに示すよう
にスクリーン面Ｘに対しては、両者では異なる位置に見
えることになる。

【００１０】従って、同一映像ソフト再生中でもカメラ
ワークにより画面全体が飛び出したり奥に後退したりす
ることが起こり、非常に見づらいという欠点があった。

【００１１】

【発明が解決しようとする課題】本発明は上述の欠点を
解消するものであり、被写体Ｓが移動する場合でも背景
Ｍが移動する場合でも、スクリーン面Ｘに対しては被写
体Ｓ及び若しくは背景Ｍがほぼ同一位置に見えるように
することにより、見易い３次元映像を得ることができる
３次元映像変換方法を提供するものである。

【００１２】

【課題を解決するための手段】本発明は、２次元映像か
ら基準となる第１映像とこの第１映像に対して時間軸方
向に遅延された第２映像とを生成し、これらの一方を右
目用映像とし、他方を左目用映像とすることによって２
次元映像から３次元映像に変換する３次元映像変換方法
において、前記２次元映像中の２つの対象物の前後関係
を判定し、この判定結果により前記右目用映像及び左目
用映像に対する水平方向の相対的な位相量を制御するこ
とを特徴とする３次元映像変換方法である。

【００１３】また、前記位相量は、右目用映像及び左目
用映像をそれぞれメモリに蓄積し、相対的に両映像の読
み出し位置を画素単位で可変することにより制御されて
なる。

【００１４】また、前記位相量は、前記前方に位置する
対象物が移動している場合、前記両対象物がスクリーン
面に対して後退して見えるように制御されてなる。ま
た、前記位相量は、前記後方に位置する対象物が移動し
ている場合、前記両対象物がスクリーン面に対して飛び
出して見えるように制御されてなる。

【００１５】また、前記位相量は、前記対象物のうち前
方に位置する対象物がスクリーン面に対して常に同一位
置に見えるように制御されてなる。また、前記位相量
は、前記対象物のうち後方に位置する対象物がスクリー
ン面に対して常に同一位置に見えるように制御されてな
る。

【００１６】

【作用】上述の手段により、前記２次元映像中の２つの
対象物の前後関係が判定されこの判定結果により、前記
前方に位置する対象物が移動している場合でも前記後方
に位置する対象物が移動している場合でも前記両対象物
がスクリーン面に対して同一位置に見えるように、前記
右目用映像及び左目用映像のメモリからの相対的な読み
出し位置が自動的に制御される。

【００１７】

【実施例】以下、図面に従って本発明の一実施例を説明
する。図１は本発明の３次元映像変換方法を適用した３
次元映像変換装置の概略ブロック図を示す。

【００１８】入力端子１には２次元映像信号が入力さ
れ、この２次元映像信号の一方はマルチプレキサ２に供
給される。また、２次元映像信号の他方はフィールドメ
モリ３に供給される。このフィールドメモリ３はメモリ
制御回路４により遅延量０から最大６０フィールド（Ｎ
ＴＳＣ方式で約１秒）までの範囲でフィールド単位で可
変制御される。

【００１９】そして、このフィールドメモリ出力は前記
マルチプレキサ２に供給される。２次元映像信号の更に
他方は、動きベクトル検出回路７に供給され、周知の代
表点マッチング法によりフィールド間の動きに応じた動
きベクトルが検出された後ＣＰＵ８に供給される。この
ＣＰＵ８は前記動きベクトルのうちの水平成分を抽出
し、これに応じて次式を満たすように遅延フィールド数
を決定してメモリ制御回路６を制御する。

【００２０】

【数１】

【００２１】これにより、被写体の動きの速さによらず
ほぼ一定の視差量を得ることができる。従って、２次元
映像信号において水平方向に動きがあるシーンについて
は動きの速さに応じた視差が発生する。

【００２２】更に、前記ＣＰＵ８は動きベクトルの方向
が左から右の場合、その動きベクトルの物体が背景の前
方に位置する被写体であると判断すると、遅延された映
像信号を右目用映像信号とし、また、前記動きベクトル
の物体が被写体の後方に位置する背景であると判断する
と、遅延された映像信号を左目用映像信号とする。ま
た、前記ＣＰＵ８は動きベクトルの方向が右から左の場
合、その動きベクトルの物体が背景の前方に位置する被
写体であると判断すると、遅延された映像信号を左目用
映像信号とし、また、前記動きベクトルの物体が被写体
の後方に位置する背景であると判断すると、遅延された
映像信号を右目用映像信号とするようにマルチプレキサ
２を制御する。

【００２３】そして、このマルチプレキサ２出力はそれ
ぞれ左目用映像信号及び右目用映像信号の水平位相を調
整する水平位相調整回路５、６に供給される。この水平
位相調整回路は水平読み出し位置を変更することで０〜
９５画素の範囲で可変遅延が可能なメモリで構成され
る。即ち、右目用映像信号と左目用映像信号とで水平読
み出し位置を変えて遅延量に差を付けることにより、両
映像信号による水平方向における画素の表示位置がずれ
ることになる。これにより、画像全体をスクリーン面Ｘ
に対して飛び出させたり、後退させたりすることができ
奥行き感を調整することができる。この水平位相調整回
路５、６における位相量は後述するアルゴリズムにより
ＣＰＵ８が決定する。

【００２４】この水平位相調整回路５、６出力Ｌ、Ｒは
それぞれディスプレイ９にフィールド周期で交互に供給
される。そして、このディスプレイを前記フィールド周
期で同期して駆動される液晶メガネで見れば、２次元映
像信号であっても立体感のある３次元画像を疑似的に再
現することができる。

【００２５】次に、図２は前記ＣＰＵ８の動作のうち、
動きベクトルの物体が背景の前方に位置する被写体であ
るか、あるいは被写体の後方に位置する背景であるかを
判定する動作のフローチャートを示す図である。

【００２６】先ず、ステップＳ１において、画面上に複
数存在する動きベクトルの検出領域で検出された動きベ
クトルのうち、左右に隣接する検出領域により検出され
た２つの動きベクトルを比較し、その２つの動きベクト
ルが同じ（大きさ及び向きの両方が同じ）であるか否か
を判別する。

【００２７】そして、このステップＳ１において、前記
動きベクトルが同じであると判断した場合（Ｙ）、ステ
ップＳ２において、前記ステップＳ１で行った動きベク
トルの比較が動きベクトルの検出を行った１フィールド
の画面のうち最後の動きベクトルの比較であるか否かを
判別する。

【００２８】本実施例では、動きベクトル検出回路７
は、図３に示すように、１フィールドを構成する画面の
うち、上下方向を４分割、左右方向を４分割してなる１
６個の検出領域Ａ１〜Ｄ４で動きベクトルを検出してい
る。そして、１フィールド期間での前記１６個の検出領
域で検出された動きベクトルの比較動作は、左上から右
下の順に行われる。即ち、検出領域Ａ１とＢ１の動きベ
クトルの比較、次に検出領域Ｂ１とＣ１の動きベクトル
の比較、の順で行われ、検出領域Ｃ４とＤ４の動きベク
トルの比較で終了する。

【００２９】従って、ステップＳ２において、直前のス
テップＳ１での動きベクトルの比較動作が検出領域Ｃ４
で検出された動きベクトルと検出領域Ｄ４で検出された
動きベクトルとの比較であるか否かを判別する。そし
て、ステップＳ１で、検出領域Ｃ４で検出された動きベ
クトルと検出領域Ｄ４で検出された動きベクトルとの比
較であると判別した場合（Ｙ）、ステップＳ１１に進
み、また、検出領域Ｃ４で検出された動きベクトルと検
出領域Ｄ４で検出された動きベクトルとの比較でないと
判別した場合（Ｎ）、ステップＳ３に進む。

【００３０】ステップＳ３では、次の動きベクトル検出
領域での動きベクトルの比較動作に移行して前記ステッ
プＳ１に戻り、ステップＳ１の動作を再度行う。また、
前記ステップＳ１において、前記動きベクトルが同じで
ないと判断した場合（Ｎ）、次のステップＳ４に進む。

【００３１】ステップＳ４では、前記ステップＳ１で比
較した２つの動きベクトルのうち大きい方の動きベクト
ルの向いている方向が、小さい方の動きベクトルの検出
領域を向いているか否かを判定する。尚、この時、動き
ベクトルの大小関係は、動きベクトルの絶対値で判定す
る。そして、ステップＳ４において、大きい方の動きベ
クトルの向いている方向が小さい方の動きベクトルの検
出領域を向いていると判断した場合（Ｙ）、ステップＳ
５に進み、また、大きい方の動きベクトルの向いている
方向が小さい動きベクトルの検出領域を向いていないと
判断した場合（Ｎ）、ステップＳ６に進む。

【００３２】ステップＳ５では、所定時間経過後に、前
記２つの動きベクトルのうち小さい方の動きベクトルの
検出領域で検出された動きベクトルが、前記大きい方の
動きベクトルの影響を受けるか否かを判定する。そし
て、このステップＳ５において、影響を受けると判定し
た場合（Ｙ）、ステップＳ７に進む。

【００３３】ステップＳ７では、前記大きい方の動きベ
クトルの物体が背景の前方を移動する被写体であると判
断し、前記大きい方の動きベクトルが向いている方向の
側の目の映像信号を遅延された映像信号とすべきである
と判定する。

【００３４】また、ステップＳ５において、影響を受け
ないと判定した場合（Ｎ）、ステップＳ８に進む。ステ
ップＳ８では、前記大きい方の動きベクトルの物体が被
写体の後方を移動する背景であると判断し、前記大きい
方の動きベクトルが向いている方向と反対側の目の映像
信号を遅延された映像信号とすべきであると判定する。

【００３５】次に、前述のステップＳ４において、大き
い方の動きベクトルの向いている方向が小さい方の動き
ベクトルの検出領域を向いていないと判定して（Ｎ）ス
テップＳ６に進んだ場合、該ステップＳ６では、所定時
間経過後に前記２つの動きベクトルのうち大きい方の動
きベクトルの検出領域で検出された動きベクトルが小さ
い方の動きベクトルの影響を受けるか否かを判定する。
そして、このステップＳ６において、影響を受けると判
定した場合（Ｙ）、ステップＳ９に進む。

【００３６】ステップＳ９では、前記大きい方の動きベ
クトルの物体が背景の前方を移動する被写体であると判
断し、前記大きい方の動きベクトルの向いている方向の
目の映像信号を遅延された映像信号とすべきであると判
定する。

【００３７】また、ステップＳ６において、影響を受け
ないと判定した場合（Ｎ）、ステップＳ１０に進む。ス
テップＳ１０では、前記大きい方の動きベクトルの物体
が被写体の後方を移動する背景であると判断し、前記大
きい方の動きベクトルが向いている方向と逆方向の目の
映像信号を遅延された映像信号とすべきであると判定す
る。

【００３８】尚、前記ステップＳ５での所定時間とは、
大きい方の動きベクトルの物体が、その動きベクトルの
絶対値から換算して隣の動きベクトル検出領域に移動す
ることが予想される時間のことである。また、前記ステ
ップＳ６での所定時間とは、大きい方の動きベクトルの
物体が、その動きベクトルの絶対値から換算して隣の動
きベクトル検出領域に移動することが予想される時間の
ことである。従って、前記ステップＳ５、ステップＳ６
の所定時間は共に、前述の換算の元になる動きベクトル
の絶対値が大きい程、短くなる。

【００３９】また、前記ステップＳ５での影響を受ける
とは、小さい方の動きベクトルが前記所定時間経過後に
大きい方の動きベクトルの値と同じになる、あるいは大
きい方の動きベクトルに近付くことである。また、前記
ステップＳ６での影響とは、大きい方の動きベクトルが
前記所定時間経過後に小さい方の動きベクトルの値と同
じになる、あるいは小さい方の動きベクトルに近付くこ
とである。

【００４０】前記ステップＳ７、ステップＳ８、ステッ
プＳ９あるいはステップＳ１０の動作が終了すると、ス
テップＳ２に戻る。ステップＳ２では、１フィールド期
間の最後の動きベクトルの比較、即ち、検出領域Ｃ４で
検出された動きベクトルと検出領域Ｄ４で検出された動
きベクトルとの比較動作が終了するまで、最後の動きベ
クトル比較ではないと判断し（Ｎ）、ステップＳ１に戻
り、以上の動作を繰り返す。そして最後に、検出領域Ｃ
４で検出された動きベクトルと検出領域Ｄ４で検出され
た動きベクトルとの比較動作が終了すると、最後の動き
ベクトル比較である（Ｙ）と判断し、ステップＳ１１に
進む。

【００４１】ステップＳ１１では、前記ステップＳ７、
ステップＳ８、ステップＳ９及びステップＳ１０で得ら
れた判定結果を比較し、全ての判定結果が同じであるか
否かを判定する。そして、ステップＳ１１において、全
ての判定結果が同じであると判定した場合（Ｙ）、ステ
ップＳ１２に進み、また、全ての判定結果が同じではな
い（判定結果が異なるものが少なくとも１つはある）と
判定した場合（Ｎ）、動作を終了する。尚、ここでいう
判定結果とは、左右どちらの目の映像信号を遅延された
映像信号とすべきであるかということである。即ち、全
ての判定結果が右目用の映像信号を遅延された映像信号
とすべきである場合、あるいは全ての判定結果が左目用
の映像信号を遅延された映像信号とすべきである場合
に、全ての判定結果が同じであると判定して（Ｙ）ステ
ップＳ１２に進み、それ以外の場合は、全ての判定結果
が同じではないと判定して（Ｎ）動作を終了する。

【００４２】ステップＳ１２では、前記ステップＳ７、
ステップＳ８、ステップＳ９及びステップＳ１０で得ら
れた判定結果に従って、マルチプレキサ２を切り換える
ように制御する。

【００４３】次に、入力端子１に入力される元になる２
次元映像が図４に示す第１のシーンの映像である場合
と、図５に示す第２のシーンの映像である場合の夫々に
ついて、ＣＰＵ８の動作を図２に示すフローチャートに
従って説明する。

【００４４】図４は（ａ）、（ｂ）、（ｃ）の順で経過
する第１のシーンの３個のフィールドの映像、及びその
映像における動きベクトルの大きさ及び向きを模式的に
示す図である。この図４の映像は不動状態である山の前
方を鳥が左から右に向かって飛んでいる映像である。即
ち、背景である山の前方を被写体である鳥が左から右に
向かって飛んでいる。尚、（ｂ）は（ａ）の数フィール
ド後（所定時間経過後）の映像、（ｃ）は（ｂ）の数フ
ィールド後（所定時間経過後）の映像である。

【００４５】図５は（ａ）、（ｂ）、（ｃ）の順で経過
する第２のシーンの３個のフィールドの映像、及びその
映像における動きベクトルの大きさ及び向きを模式的に
示す図である。この図５の映像はバスが左から右に向か
って走っている映像であるが、バスを中心に撮影した映
像であるため、画面上においては不動状態であるバスの
後方を家が左から右に向かって移動している。即ち、被
写体であるバスの後方を背景である家が移動している。
尚、（ｂ）は（ａ）の数フィールド後（所定時間経過
後）の映像、（ｃ）は（ｂ）の数フィールド後（所定時
間経過後）の映像である。

【００４６】先ず、図４に示す第１のシーンの映像にお
いて、現フィールドが図４（ａ）の映像である場合、第
１行目、第２行目の動きベクトル検出領域Ａ１、Ｂ１、
Ｃ１、Ｄ１、Ａ２、Ｂ２、Ｃ２、Ｄ２では背景の山を検
出するため、動きベクトルａ１、ｂ１、ｃ１、ｄ１、ａ
２、ｂ２、ｃ２、ｄ２は全て０となる。従って、この動
きベクトル検出領域では、左右に隣接する検出領域で検
出された動きベクトルは全てにおいて大きさが等しく、
ＣＰＵ８はステップＳ１、ステップＳ２、ステップＳ３
の動作を繰り返す。

【００４７】そして、第３行目の動きベクトル検出領域
では、左から１番目、３番目、４番目の検出領域Ａ３、
Ｃ３、Ｄ３では背景の山を検出するため、動きベクトル
ａ３、ｃ３、ｄ３は０となり、左から２番目の検出領域
Ｂ３では左から右へ飛ぶ鳥を検出するため、動きベクト
ルｂ３は左から右へ向いているベクトルとなる。

【００４８】従って、ステップＳ１では、左右に隣接す
る動きベクトル検出領域Ａ３と動きベクトル検出領域Ｂ
３とで検出された動きベクトルａ３と動きベクトルｂ３
とは同じでないと判断し（Ｎ）、ステップＳ４に進む。

【００４９】ステップＳ４では、動きベクトルａ３と動
きベクトルｂ３のうち、大きい方の動きベクトルｂ３が
小さい方の動きベクトルａ３を向いているか否かを判定
する。ここでは、動きベクトルｂ３が動きベクトルａ３
の方を向いていないため、ステップＳ６に進む。

【００５０】ステップＳ６では、所定時間経過後に大き
い方の動きベクトルｂ３が小さい方の動きベクトルａ３
の影響を受けるか否かを判定する。ここでは、所定時間
経過後に、図４（ｂ）に示すように、動きベクトルｂ
３’が０になり、前記小さい方の動きベクトルａ３の値
と等しくなるため、大きい方の動きベクトルｂ３は小さ
い方の動きベクトルａ３の影響を受けると判定し
（Ｙ）、ステップＳ９に進む。

【００５１】従って、ステップＳ９において、大きい方
の動きベクトルｂ３の物体が小さい方の動きベクトルａ
３の物体よりも前方に位置すると判断し、大きい方の動
きベクトルｂ３が向いている右方向の側の目、即ち右目
用の映像信号を遅延された映像信号とするべきであると
判定する。

【００５２】そして、ステップＳ２において、１画面の
全ての動きベクトル比較が終了していないと判断し
（Ｎ）、ステップＳ３で次の動きベクトルの検出領域に
移行し、ステップＳ１に戻る。

【００５３】ステップＳ１では、第３行目の左から２番
目の動きベクトルｂ３と左から３番目の動きベクトルｃ
３とを比較し、動きベクトルｂ３と動きベクトルｃ３と
は同じではないと判断し（Ｎ）、ステップＳ４に進む。

【００５４】ステップＳ４では、動きベクトルｂ３と動
きベクトルｃ３のうち、大きい方の動きベクトルｂ３が
小さい方の動きベクトルａ３を向いているか否かを判定
する。ここでは、動きベクトルｂ３が動きベクトルａ３
の方を向いるため、ステップＳ５に進む。

【００５５】ステップＳ５では、所定時間経過後に小さ
い方の動きベクトルｃ３が大きい方の動きベクトルｂ３
の影響を受けるかを判定する。ここでは、所定時間経過
後に、図４（ｂ）に示すように、動きベクトルｃ３’が
前記大きい方の動きベクトルｂ３と同じ値になるため、
小さい方の動きベクトルｃ３は大きい方の動きベクトル
ｂ３の影響を受けると判定し（Ｙ）、ステップＳ７に進
む。

【００５６】従って、ステップＳ７において、大きい方
の動きベクトルｂ３の物体が小さい方の動きベクトルｃ
３の物体よりも前方に位置すると判断し、大きい方の動
きベクトルｂ３が向いている右方向の側の目、即ち右目
用の映像信号を遅延された映像信号とするべきであると
判定する。

【００５７】そして、ステップＳ２において、最後の動
きベクトル比較ではないと判断し（Ｎ）、ステップＳ３
で次の動きベクトルの検出領域に移行し、ステップＳ１
に戻る。

【００５８】ステップＳ１では、第３行目の左から３番
目の動きベクトルｃ３と左から４番目の動きベクトルｄ
３とを比較し、動きベクトルｃ３と動きベクトルｄ３と
は同じであると判断し（Ｙ）、ステップＳ１に戻る。

【００５９】そして、ステップＳ１では、第４行目の動
きベクトル検出領域についての動作を行う。第４行目の
動きベクトル検出領域では、第３行目の動きベクトル検
出領域と同様に、左から１番目、３番目、４番目の検出
領域Ａ４、Ｃ４、Ｄ４では背景の山を検出するため、動
きベクトルａ４、ｃ４、ｄ４は０であり、左から２番目
の検出領域Ｂ４では左から右へ飛ぶ鳥を検出するため、
左から右へ向いている動きベクトルｂ３を検出する。

【００６０】従って、ＣＰＵ８は第３行目に対する動作
と同じ動作をし、動きベクトルａ４と動きベクトルｂ４
との比較では、動きベクトルｂ４の物体が動きベクトル
ａ４の物体よりも前方に位置すると判断し、右目用の映
像信号を遅延された映像信号とすべきであると判定す
る。

【００６１】また、動きベクトルｂ４と動きベクトルｃ
４との比較では、動きベクトルｂ４の物体が動きベクト
ルｃ４の物体よりも前方に位置すると判断し、右目用の
映像信号を遅延された映像信号とすべきであると判定す
る。

【００６２】そして、動きベクトルｃ４と動きベクトル
ｄ４との比較を終えた後、ステップＳ２において、１画
面の全ての動きベクトル比較が終了したと判断し
（Ｙ）、ステップＳ１１に進む。

【００６３】ステップＳ１１では、前述の動作で得られ
た４個の判定結果を比較する。ここでは、４個の判定結
果が全て、右目用の映像信号を遅延された映像信号とす
べきであると判定しているため、全ての判定結果が同じ
であると判定して（Ｙ）ステップＳ１２に進む。

【００６４】ステップＳ１２では、前記判定結果に従っ
て、右目用信号が遅延された映像信号となるようにマル
チプレキサ２を切り換え制御する。これにより、観察者
は動きベクトルｂ３の物体である鳥（被写体）を動きベ
クトルａ３、ｃ３の物体である山（背景）よりも前方に
浮き出た状態で観察することが出来る。

【００６５】次に、現フィールドが図４（ｂ）の映像の
時も、具体的な説明は省略するが、ＣＰＵ８は前述の現
フィールドが図４（ａ）の映像の時と同様の動作を行
い、ステップＳ７あるいはステップＳ９において、動き
ベクトルｃ３’の物体が動きベクトルｂ３’、ｄ３’の
物体よりも前に位置すると判断し、右目用の映像信号を
遅延された映像信号とすべきであると判定し、また、動
きベクトルｃ４’の物体が動きベクトルｂ４’、ｄ４’
の物体よりも前に位置すると判断し、右目用の映像信号
を遅延された映像信号とすべきであると判定する。

【００６６】そして、ステップＳ１１において、４個の
判定結果が全て、右目用の映像信号を遅延された映像信
号とすべきであると判定しているため、ステップＳ１２
において、右目用映像信号が遅延された映像信号となる
ようにマルチプレキサ２を切り換え制御する。

【００６７】これにより、観察者は動きベクトルｃ３’
の物体である鳥（被写体）を動きベクトルｂ３’、ｄ
３’の物体である山（背景）よりも前方に浮き出た状態
で観察することが出来る。

【００６８】次に、図５に示す第２のシーンの映像にお
いて、現フィールドが図５（ａ）の映像である場合、第
１行目、第２行目の全ての動きベクトル検出領域Ａ１、
Ｂ１、Ｃ１、Ｄ１、Ａ２、Ｂ２、Ｃ２、Ｄ２では画面
上、右方向に移動する家等の背景を検出するため、その
動きベクトルａ１、ｂ１、ｃ１、ｄ１、ａ２、ｂ２、ｃ
２、ｄ２は全て同じ大きさの右方向のベクトルとなる。
従って、この動きベクトル検出領域では、左右に隣接す
る検出領域で検出された動きベクトルは全てにおいて大
きさが等しく、ＣＰＵ８はステップＳ１、ステップＳ
２、ステップＳ３の動作を繰り返す。

【００６９】そして、第３行目の動きベクトル検出領域
では、左から１番目、３番目、４番目の検出領域Ａ３、
Ｃ３、Ｄ３では家等の背景を検出するため、動きベクト
ルａ３、ｃ３、ｄ３は同じ大きさの右方向のベクトルと
なり、左から２番目の検出領域Ｂ３では画面上、不動状
態であるバスを検出するため、動きベクトルｂ３は０と
なる。

【００７０】従って、ステップＳ１では、左右に隣接す
る動きベクトル検出領域で検出された動きベクトルａ３
と動きベクトルｂ３とは同じでないと判断し（Ｎ）、ス
テップＳ４に進む。

【００７１】ステップＳ４では、動きベクトルａ３と動
きベクトルｂ３のうち、大きい方の動きベクトルａ３が
小さい方の動きベクトルｂ３を向いているか否かを判定
する。ここでは、動きベクトルａ３が動きベクトルｂ３
の方を向いているため、ステップＳ５に進む。

【００７２】ステップＳ５では、所定時間経過後に小さ
い方の動きベクトルｂ３が大きい方の動きベクトルａ３
の影響を受けるかを判定する。ここでは、所定時間経過
後に、図５（ｂ）に示すように、動きベクトルｂ３’は
０のまま変化しないため、小さい方の動きベクトルｂ３
は大きい方の動きベクトルａ３の影響を受けないと判定
し（Ｎ）、ステップＳ８に進む。

【００７３】従って、ステップＳ８において、大きい方
の動きベクトルａ３の物体が小さい方の動きベクトルｂ
３の物体よりも後方に位置すると判断し、大きい方の動
きベクトルｂ３が向いている右方向とは反対側の目、即
ち左目用の映像信号を遅延された映像信号とするべきで
あると判定し、ステップＳ２に進む。

【００７４】ステップＳ２では、１画面の全ての動きベ
クトル比較が終了していないと判断し（Ｎ）、ステップ
Ｓ３で次の動きベクトルの検出領域に移行し、ステップ
Ｓ１に戻る。

【００７５】ステップＳ１では、第３行目の左から２番
目の動きベクトルｂ３と左から３番目の動きベクトルｃ
３とを比較し、動きベクトルｂ３と動きベクトルｃ３と
は同じではないと判断し（Ｎ）、ステップＳ４に進む。

【００７６】ステップＳ４では、動きベクトルｂ３と動
きベクトルｃ３のうち、大きい方の動きベクトルｃ３が
小さい方の動きベクトルｂ３を向いているか否かを判定
する。ここでは、動きベクトルｃ３が動きベクトルｂ３
の方を向いていないため、ステップＳ６に進む。

【００７７】ステップＳ６では、所定時間経過後に大き
い方の動きベクトルｃ３が小さい方の動きベクトルｂ３
の影響を受けるかを判定する。ここでは、所定時間経過
後に、図５（ｂ）に示すように、動きベクトルｃ３’が
動きベクトルｃ３のまま変化していないため、大きい方
の動きベクトルｃ３は小さい方の動きベクトルｂ３の影
響を受けないと判定し（Ｎ）、ステップＳ１０に進む。

【００７８】従って、ステップＳ１０において、大きい
方の動きベクトルｃ３の物体が大きい方の動きベクトル
ｂ３の物体よりも後方に位置すると判断し、大きい方の
動きベクトルｂ３が向いている右方向と反対側の目、即
ち左目用の映像信号を遅延された映像信号とするべきで
あると判定する。

【００７９】そして、ステップＳ２において、最後の動
きベクトル比較ではないと判断し（Ｎ）、ステップＳ３
で次の動きベクトルの検出領域に移行し、ステップＳ１
に戻る。

【００８０】ステップＳ１では、第３行目の左から３番
目の動きベクトルｃ３と左から４番目の動きベクトルｄ
３とを比較し、動きベクトルｃ３と動きベクトルｄ３と
は同じであると判断し（Ｙ）、ステップＳ１に戻る。

【００８１】そして、ステップＳ１では、第４行目の動
きベクトル検出領域についての動作を行う。第４行目の
動きベクトル検出領域では、第３行目の動きベクトル検
出領域と同様に、左から１番目、３番目、４番目の検出
領域Ａ４、Ｃ４、Ｄ４では画面上、左方向に移動する家
等の背景を検出するため、動きベクトルａ４、ｃ４、ｄ
４は同じ大きさの右方向のベクトルとなり、また、右か
ら２番目の検出領域Ｂ４では画面上、不動状態であるバ
スを検出するため、動きベクトルｂ４は０となる。

【００８２】従って、ＣＰＵ８は第３行目に対する動作
と同じ動作をし、動きベクトルａ４と動きベクトルｂ４
との比較では、動きベクトルａ４の物体が動きベクトル
ｂ４の物体よりも後方に位置すると判断し、左目用映像
信号を遅延された映像信号とすべきであると判定する。

【００８３】また、動きベクトルｂ４と動きベクトルｃ
４との比較では、動きベクトルｃ４の物体が動きベクト
ルｂ４の物体よりも後方に位置すると判断し、左目用映
像信号を遅延された映像信号とすべきであると判定す
る。

【００８４】そして、動きベクトルｃ４と動きベクトル
ｄ４との比較を終えた後、ステップＳ２において、１画
面の全ての動きベクトル比較が終了したと判断し
（Ｙ）、ステップＳ１１に進む。

【００８５】ステップＳ１１では、前述の動作で得られ
た４個の判定結果を比較する。ここでは、４個の判定結
果が全て、左目用映像信号を遅延された映像信号とすべ
きであると判定しているため、全ての判定結果が同じで
あると判定して（Ｙ）ステップＳ１２に進む。

【００８６】ステップＳ１２では、前記判定結果に従っ
て、左目用映像信号が遅延された映像信号となるように
マルチプレキサ２を切り換え制御する。これにより、観
察者は動きベクトルａ３、ｃ３、ａ４、ｃ４の物体であ
る家等（背景）が動きベクトルｂ３、ｂ４の物体である
バス（被写体）よりも後方に位置するように観察するこ
とが出来る。

【００８７】次に、現フィールドが図５（ｂ）の映像の
場合も、具体的な説明は省略するが、ＣＰＵ８は前述の
現フィールドが図５（ａ）の映像の場合と同様の動作を
行い、ステップＳ８あるいはステップＳ１０において、
動きベクトルａ３’、ｃ３’の物体が動きベクトルｂ
３’の物体よりも後方に位置すると判断し、左目用映像
信号を遅延された映像信号とすべきであると判定し、ま
た、動きベクトルａ４’、ｃ４’の物体が動きベクトル
ｂ４’の物体よりも後方に位置すると判断し、左目用映
像信号を遅延された映像信号とすべきであると判定す
る。

【００８８】そして、ステップＳ１１において、４個の
判定結果が全て、左目用映像信号を遅延された映像信号
とすべきであると判定しているため、ステップＳ１２に
おいて、左目用映像信号が遅延された映像信号となるよ
うにマルチプレキサ２を切り換え制御する。

【００８９】これにより、観察者は動きベクトルａ
３’、ｃ３’、ａ４’、ｃ４’の物体である家等（背
景）が動きベクトルｂ３’、ｂ４’の物体であるバス
（被写体）よりも後方に位置するように観察することが
出来る。

【００９０】尚、上述の図４及び図５の例では、ステッ
プＳ７、ステップＳ８、ステップＳ９及びステップＳ１
０で得られた判定結果が全て同じであるため、ステップ
Ｓ１２に進んだが、元になる２次元映像の被写体の動き
が複雑であったり、動きベクトルの検出に誤動作が生じ
た場合、ステップＳ７、ステップＳ８、ステップＳ９及
びステップＳ１０で得られた判定結果の中には異なる結
果がある場合がある。この場合、ステップＳ１１では、
判定結果が全て同じではないと判定して（Ｎ）動作を終
了する。

【００９１】従って、ステップＳ７、ステップＳ８、ス
テップＳ９及びステップＳ１０で得られた判定結果の中
に異なる結果があるフィールドにおいては、ＣＰＵ８は
マルチプレキサ２を切り換え制御せず、現在の切り換え
状態を保持する。

【００９２】また、上述の実施例では、１フィールドの
映像毎に動きベクトルを検出しているが、１フレームの
映像、あるいは数フィールドの映像毎に動きベクトルを
検出しても良い。尚、本発明の広い意味では、これら１
フレーム、数フィールドのことを含めて１フィールドと
表現している。

【００９３】次に、本実施例における水平位相調整方法
について説明する。図６ａは水平位相調整前におけるス
クリーン面Ｘに対する被写体Ｓ及び背景Ｍの関係を示す
図であり、被写体Ｓが移動しいている場合、背景Ｍはス
クリーン面Ｘ上に見え、被写体Ｓはスクリーン面Ｘ即ち
背景Ｍに対してフィールド遅延による視差量に比例する
飛び出し量Ｙだけ前方に飛び出して見える。一方、背景
Ｍが移動している場合、被写体Ｓはスクリーン面Ｘ上に
見え、背景Ｍがスクリーン面Ｘに対して後退して見え
る。

【００９４】これらの映像に対して図６ｂのように水平
位相調整を行う。即ち、被写体Ｓが移動している場合、
画像全体がスクリーン面Ｘに対して一定量だけ後退する
ように位相量を調整する。一方、背景Ｍが移動している
場合は水平位相調整を行わない。

【００９５】図７は本実施例におけるＣＰＵ８による水
平位相制御のフローチャートである。まず、ステップＳ
１３では、図２のフローチャートで判別された結果、即
ち、被写体Ｓが移動しているのか、背景Ｍが移動してい
るのかの判別結果を１フィールド毎に受信する。

【００９６】ステップＳ１４では、受信した前記判定結
果が４回連続して同一の結果であるかどうかを判断し、
同一の場合（Ｙ）、ステップＳ１５に進み、同一でない
場合（Ｎ）、スタートに戻る。

【００９７】ステップＳ１５では、前記判定結果を判断
し、被写体Ｓが移動の場合（Ｙ）、ステップＳ１６へ進
む。ステップＳ１６では、目標位相量＝４に設定され
る。この位相量を”４”とした場合、画面上で右目用映
像を２画素分右へ、左目用映像を２画素分左へそれぞれ
シフトすることにより相対的に４画素分水平方向にシフ
トする。これにより画像全体が一定量後退する。また、
ステップＳ１５で背景Ｍが移動の場合（Ｎ）はステップ
Ｓ１７へ進む。ステップＳ１７では、目標位相量＝０に
設定される。

【００９８】ステップＳ１６及びステップＳ１７の処理
が済むと、ステップＳ１８へ進む。ステップＳ１８で
は、目標位相量と現在の位相量とを比較し、一致してい
れば（Ｙ）スタートに戻り、一致していなければ（Ｎ）
ステップＳ１９へ進む。

【００９９】ステップＳ１９では、現在の位相量で４０
フィールド経過しているかどうかを判断する。これは目
標位相量が変化しても実際の位相量を少なくとも４０フ
ィールド期間は変更させないことにより、頻繁な位相量
の変化を避けるためである。もし、４０フィールド経過
していない場合（Ｎ）は、スタートに戻り、４０フィー
ルド経過しているときはステップＳ２０へ進む。

【０１００】ステップＳ２０では、現在の位相量を目標
位相量に近付く方向に”２”変更する。即ち、左右”
１”づつ変化させる。一回の調整量を”２”に制限して
いるのは実際の位相量を急激に変化させないためであ
る。また、左右”１”づつ均等に変化させることによ
り、調整時に画面が水平方向に揺れるのを防止してい
る。

【０１０１】そして、ステップＳ２０の処理が済めば、
またスタートに戻り、上記動作が繰り返される。上述の
制御により、図６ｂに示す如く、被写体Ｓが移動する場
合に一定量画面全体が後退するため、図６ａに比べて被
写体Ｓが移動する場合と背景Ｍが移動する場合とでの被
写体Ｓの見える位置はかなり接近することになり、画面
が見易くなる。尚、上記実施例においては背景Ｍが移動
する場合には水平位相量＝０としていたが、図６ｃに示
すごとく、一定量前方に飛び出すようにすれば、被写体
Ｓが移動する場合の見え方により近づくことができる。
このためには、例えば、ステップＳ１７において目標位
相量＝−４に設定するようにすればよい。位相量を”−
４”とした場合、画面上で右目用映像を２画素分左へ、
左目用映像を２画素分右へそれぞれシフトすることによ
り相対的に４画素分水平方向にシフトする。これにより
画像全体が一定量前方へ飛び出して見える。

【０１０２】また、図６ｄのように被写体Ｓが移動する
場合は目標位相量＝０とし、背景Ｍが移動する場合は目
標位相量＝−４としても良い。また、上記各実施例では
位相調整量は４あるいは−４としたが、他の固定値でも
よいことは言うまでもない。

【０１０３】また、本実施例ではステップ２０において
調整量を左右”１”づつとしたが、水平位相調整回路の
後段に補間回路を設けることにより、左右各調整量を”
１”未満の値とすることができる。

【０１０４】次に、図８は水平位相調整方法の他の実施
例を説明する図である。本実施例においては、被写体Ｓ
が移動する場合の目標位相量の決定をフィールド遅延に
より発生する視差量に基づいて行う。即ち、視差量を遅
延フィールド数と動きベクトルに基づいて前記数１によ
り算出し、これを目標位相量とする。これにより図８ａ
に示すように、水平位相調整前における視差量に比例す
る飛び出し量Ｙに相当する分だけ後退することになる。
従って、被写体Ｓが移動する場合と、背景Ｍが移動する
場合とで被写体Ｓの見える位置が共にスクリーン面Ｘ上
となる。

【０１０５】図９は他の実施例におけるＣＰＵ８による
水平位相制御のフローチャートである。ステップＳ２１
〜ステップＳ２３及びステップＳ２６〜ステップＳ２９
は図７と同一である。

【０１０６】ステップＳ２３で被写体Ｓが移動の場合
（Ｙ）、ステップＳ２４に進む。ステップＳ２４では、
視差量を算出する。視差量は、現在の遅延フィールド数
×被写体Ｓの動きベクトルの４フィールド分の平均（画
素数／フィールド）で算出し、画素数で表す。

【０１０７】次に、ステップＳ２５では、ステップＳ２
４で算出した視差量（画素数）が目標位相量となるよう
に設定する。位相量が視差量に一致すると、図８ａのよ
うに画像全体がＹだけ後退し被写体Ｓがスクリーン面Ｘ
上に見えるようになる。

【０１０８】一方、前記ステップＳ２３で背景が移動の
場合（Ｎ）、ステップＳ２６に進む。ステップＳ２６で
は、目標位相量＝０に設定する。ステップＳ２５及びス
テップＳ２６の処理が済むとステップＳ２７に進む。以
降の処理は図７と同一である。

【０１０９】上述の制御により、図８ａに示す如く、被
写体Ｓが移動する場合にＹだけ画面全体が後退するた
め、背景Ｍが移動する場合とで被写体Ｓの見える位置が
一致することになり画面が非常に見易くなる。

【０１１０】また、上記実施例では、被写体Ｓがスクリ
ーン面Ｘ上に位置するように制御したが、図８ｂに示す
用にスクリーン面Ｘより一定量前方に飛び出すように制
御してもよい。この場合は、図９のステップＳ２５で目
標位相量＝視差量−４に設定すると共に、ステップＳ２
６で目標位相量＝−４に設定すれば良い。

【０１１１】更に、図８ｃに示すように、被写体Ｓが移
動する場合と背景Ｍが移動する場合とで背景Ｍの見える
位置が共にスクリーン面Ｘ上となるように制御してもよ
い。この場合は、図９のステップＳ２５で目標位相量＝
０に設定すると共に、ステップＳ２６で目標位相量＝−
視差量に設定すれば良い。

【０１１２】尚、ディスプレイ９の代わりに例えば特開
平３−６５９４３号公報に記載のようなレンチキュラー
方式のメガネ無しディスプレイを使用すれば液晶メガネ
を使用することなく３次元画像を観察することができ
る。

【０１１３】

【発明の効果】上述の如く本発明によれば、被写体Ｓが
移動する場合でも背景Ｍが移動する場合でも、スクリー
ン面に対しては被写体Ｓ及び若しくは背景Ｍがほぼ同一
位置に見えるようにすることにより、シーンにより画面
全体が飛び出したり奥に後退したりすることがなくな
り、非常に見易い３次元映像を得ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例における３次元映像変換装置
のブロック図である。

【図２】本発明の一実施例において移動している物体が
背景か被写体かを判別するフローチャートを示す。

【図３】本発明の一実施例における２次元映像の動きベ
クトルの検出領域を示す図である。

【図４】元になる２次元映像の第１のシーンを示す図で
ある。

【図５】元になる２次元映像の第２のシーンを示す図で
ある。

【図６】本発明の一実施例における水平位相調整方法の
説明図である。

【図７】本発明の一実施例における水平位相制御のフロ
ーチャートである。

【図８】本発明の他の実施例における水平位相調整方法
の説明図である。

【図９】本発明の他の実施例における水平位相制御のフ
ローチャートである。

【図１０】被写体Ｓが移動する場合の立体視の説明図で
ある。

【図１１】背景Ｍが移動する場合の誤った立体視の説明
図である。

【図１２】背景Ｍが移動する場合の正しい立体視の説明
図である。

【符号の説明】

２ マルチプレキサ ３ フィールドメモリ ４ メモリ制御回路 ５、６ 水平位相調整回路 ７ 動きベクトル検出回路 ８ ＣＰＵ ９ ディスプレイ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 前中 章弘 大阪府守口市京阪本通２丁目５番５号 三洋電機株式会社内 (72)発明者 内田 秀和 大阪府守口市京阪本通２丁目５番５号 三洋電機ソフトウェア株式会社内 (56)参考文献 特開 平７−170535（ＪＰ，Ａ) 特開 平３−101581（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 13/00 - 15/00

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 ２次元映像から基準となる第１映像とこ
   の第１映像に対して時間軸方向に遅延された第２映像と
   を生成し、これらの一方を右目用映像とし、他方を左目
   用映像とすることによって２次元映像から３次元映像に
   変換する３次元映像変換方法において、 前記２次元映像中の２つの対象物の前後関係を判定し、
   この判定結果により前記右目用映像及び左目用映像に対
   する水平方向の相対的な位相量を制御することを特徴と
   する３次元映像変換方法。
2. 【請求項２】 前記位相量は、右目用映像及び左目用映
   像をそれぞれメモリに蓄積し、相対的に両映像の読み出
   し位置を画素単位で可変することにより制御されてなる
   請求項１記載の３次元映像変換方法。
3. 【請求項３】 前記位相量は、前記前方に位置する対象
   物が移動している場合、前記両対象物がスクリーン面に
   対して後退して見えるように制御されてなる請求項１ま
   たは２記載の３次元映像変換方法。
4. 【請求項４】 前記位相量は、前記後方に位置する対象
   物が移動している場合、前記両対象物がスクリーン面に
   対して飛び出して見えるように制御されてなる請求項１
   または２記載の３次元映像変換方法。
5. 【請求項５】 前記位相量は、前記対象物のうち前方に
   位置する対象物がスクリーン面に対して常に同一位置に
   見えるように制御されてなる請求項１または２記載の３
   次元映像変換方法。
6. 【請求項６】 前記位相量は、前記対象物のうち後方に
   位置する対象物がスクリーン面に対して常に同一位置に
   見えるように制御されてなる請求項１または２記載の３
   次元映像変換方法。