JP2846840B2 - ２次元映像から３次元映像を生成する方法 - Google Patents

２次元映像から３次元映像を生成する方法

Info

Publication number
JP2846840B2
JP2846840B2 JP7132437A JP13243795A JP2846840B2 JP 2846840 B2 JP2846840 B2 JP 2846840B2 JP 7132437 A JP7132437 A JP 7132437A JP 13243795 A JP13243795 A JP 13243795A JP 2846840 B2 JP2846840 B2 JP 2846840B2
Authority
JP
Japan
Prior art keywords
field
motion vector
value
video
changed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP7132437A
Other languages
English (en)
Other versions
JPH08149514A (ja
Inventor
周悟 山下
俊行 沖野
治彦 村田
俊哉 飯沼
幸夫 森
誠司 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Denki Co Ltd
Original Assignee
Sanyo Denki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Denki Co Ltd filed Critical Sanyo Denki Co Ltd
Priority to JP7132437A priority Critical patent/JP2846840B2/ja
Priority to US08/500,620 priority patent/US5808664A/en
Priority to KR1019950020551A priority patent/KR100350191B1/ko
Priority to DE69523674T priority patent/DE69523674T2/de
Priority to EP95111094A priority patent/EP0692917B1/en
Publication of JPH08149514A publication Critical patent/JPH08149514A/ja
Application granted granted Critical
Publication of JP2846840B2 publication Critical patent/JP2846840B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/36—Scanning of motion picture films, e.g. for telecine
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/11—Scanning of colour motion picture films, e.g. for telecine
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明はＶＴＲ、ビデオカメラ
等から出力されたり、ＣＡＴＶやＴＶ放送によって伝送
される２次元映像を３次元映像に変換する２次元映像か
ら３次元映像を生成する方法に関する。
【０００２】
【従来の技術】最近話題になっている３次元映像表示シ
ステムに使用される映像ソフトは、その大半が３次元映
像表示用に特別に作成されたものである。このような３
次元映像表示用の映像ソフトは、一般には２台のカメラ
を用いて左目用映像と右目用映像を撮像することによ
り、作成されたものである。そして、この３次元映像ソ
フトに記録された左右の映像は、略同時にディスプレイ
に表示され、この２重に映し出された左目用映像および
右目用映像を観察者の左右の目に夫々入射させることに
より、観察者は３次元映像を認識する。
【０００３】しかしながら、世の中には２次元映像で作
成された映像シフトは多数存在するが、３次元用の映像
ソフトは非常に少ないため、３次元映像を表示するため
には、新たに３次元用の映像ソフトを制作する必要があ
り、手間がかかり、コスト高になるという問題がある。
【０００４】このため、２次元映像を３次元映像に変換
する方法が既に提案されている。２次元映像を３次元映
像に変換する方法として、次のようなものが挙げられ
る。すなわち、例えば左から右に移動する物体が映って
いる２次元の映像の場合、この元の２次元の映像を左目
用映像とし、この左目用映像に対して数フレーム前の映
像（この映像はフレーム遅延により得ることが可能）を
右目用映像とすることにより、上記左目用映像と右目用
映像との間には視差が生じるので、この両映像を略同時
に画面上に表示することにより、上記移動する物体を背
景に対して前方に浮き出させる方法である。
【０００５】しかしながら、上述のようなフレーム遅延
により２次元映像から３次元映像に変換する方法では、
現在映し出されている映像のシーンから全く異なるシー
ンに映像が変化した場合、左目用映像では新たなシーン
が映し出されているのに対して、フレーム遅延された右
目用映像では前のシーンの映像が映し出されるため、観
察者の左右の目には全く異なるシーンの映像が入射し、
観察者が違和感を感じるという問題が生じる。
【０００６】
【発明が解決しようとする課題】本発明は上記従来例の
欠点に鑑み為されたものであり、現在映し出されている
映像のシーンから全く異なるシーンに映像が変化するシ
ーンの切れ目において、観察者の左右の目に全く異なる
シーンの映像が入射することを抑え、観察者が違和感無
く３次元映像を観賞することができる２次元映像から３
次元映像を生成する方法を提供することを目的とするも
のである。
【０００７】
【課題を解決するための手段】本発明は、２次元映像を
一方の目用の映像とし、上記２次元映像を所定フィール
ド遅延させた映像を他方の目用の映像とすることによ
り、２次元映像から３次元映像を生成する方法におい
て、上記２次元映像におけるシーンの変化の有無を判定
し、シーンの変化が有ると判定した場合に上記フィール
ド遅延の遅延量を所定値、たとえば零にすることを特徴
とする。
【０００８】また、本発明は、上記シーンの変化の有無
の判定を、上記２次元映像の動きベクトルを検出するこ
とにより行うことを特徴とする。
【０００９】また、本発明は、あるフィールドの映像の
動きベクトルが、前後のフィールドの映像の動きベクト
ルに対して所定以上の大きさであるフィールドを検出し
た場合にシーンの変化が有ると判定することを特徴とす
る。
【００１０】具体的には、第ｔフィールドの映像の動き
ベクトルをＭＸ（ｔ）とし、第ｔフィールドよりも２フ
ィールド前から所定フィールド（ただし、２フィールド
以上）前までの動きベクトルの平均値をＭＸave （ｔ−
２）とした場合、次の数式４を満足する際に、第（ｔ−
１）フィールドの映像の動きベクトルが、前後のフィー
ルドの動きベクトルに対して所定以上の大きさであると
判断することを特徴とする。
【００１１】
【数４】
【００１２】また、本発明は、上記映像の動きベクトル
ＭＸ（ｔ）を検出する領域が、複数設定されていること
を特徴とする。
【００１３】また、本発明は、上記動きベクトルＭＸ
（ｔ）を上記複数の領域の動きベクトルの総和としたこ
とを特徴とする。
【００１４】具体的には、第ｔフィールドにおける動き
ベクトルの総和ＭＸ（ｔ）が、次の数式５で表されるＭ
Ｘ（ｔ）であることを特徴とする。
【００１５】
【数５】
【００１６】また、本発明は、あるフィールドに対する
前のフィールドの映像の動きベクトルを、数フィールド
の映像の動きベクトルの平均値ＭＸave （ｔ）としたこ
とを特徴とする。
【００１７】具体的には、第ｔフィールドから所定フィ
ールド前までの映像の動きベクトルの平均値ＭＸ
ave （ｔ）が、次の数式６で表されるＭＸave （ｔ）で
あることを特徴とする。
【００１８】
【数６】
【００１９】また、本発明は、シーンの変化が有ると判
断した場合に、シーンが変化する前の映像に関して確保
している情報を消去することを特徴とする。
【００２０】また、本発明は、上記シーンの変化の有無
の判定を、上記２次元映像の輝度レベルを検出すること
により行うことを特徴とする。
【００２１】また、本発明は、上記輝度レベルの変化量
がしきい値よりも大きい場合にシーンの変化が有ると判
定することを特徴とする。
【００２２】また、本発明は、上記シーンの変化の有無
の判定を、上記２次元映像の色レベルを検出することに
より行うことを特徴とする。
【００２３】また、本発明は、上記シーンの変化の有無
の判定を、上記２次元映像の信号の同期信号を検出する
ことにより行うことを特徴とする。
【００２４】さらに、本発明は、上記２次元映像の信号
の同期が外れた場合にシーンの変化があると判定するこ
とを特徴とする。
【００２５】また、本発明は、上記シーンの変化の有無
の判定を、受信チャンネル切り換え時に発生するチャン
ネル切り換え信号の検出、あるいは映像ソース切り換え
時に発生するソース切り換え信号の検出により行うこと
を特徴とする。
【００２６】また、本発明は、２次元映像がテレシネ変
換映像である場合に、上記シーンの変化の有無の判定
を、テレシネ変換映像の動きベクトルに関する値を検出
することにより行なうことを特徴とする。
【００２７】また、本発明は、上記シーンの変化の有無
の判定を、テレシネ変換映像のコマが変化したフィール
ドで検出された動きベクトルに関する値に基づいて行な
うことを特徴とする。
【００２８】また、本発明は、テレシネ変換映像のコマ
が変化した所定フィールドで検出された動きベクトルに
関する値が、その１つ前のコマが変化したフィールドで
検出された動きベクトルに関する値に対して、所定以上
の大きさであるときに、上記所定フィールドにおいてシ
ーンが変化したと判定することを特徴とする。
【００２９】また、本発明は、テレシネ変換映像のコマ
が変化した所定フィールドで検出された動きベクトルに
関する値が、その１つ前のコマが変化したフィールドで
検出された動きベクトルに関する値およびその２つ前の
コマが変化したフィールドで検出された動きベクトルに
関する値に対して、所定以上の大きさであるときに、上
記所定フィールドにおいてシーンが変化したと判定する
ことを特徴とする。
【００３０】また、本発明は、テレシネ変換映像のコマ
が変化した所定フィールドで検出された動きベクトルに
関する値が、その１つ前のコマが変化したフィールドで
検出された動きベクトルに関する値およびその２つ前の
コマが変化したフィールドで検出された動きベクトルに
関する値に対して、所定以上の大きさであり、かつコマ
が変化した上記所定フィールドで検出された動きベクト
ルに関する値と、その１つ前のコマが変化したフィール
ドで検出された動きベクトルに関する値との差の絶対値
が、上記１つ前のコマが変化したフィールドで検出され
た動きベクトルに関する値と上記２つ前のコマが変化し
たフィールドで検出された動きベクトルに関する値との
差の絶対値以上大きいときに、上記所定フィールドにお
いてシーンが変化したと判定することを特徴とする。
【００３１】また、本発明は、テレシネ変換映像のコマ
が変化した第１の所定フィールドで検出された動きベク
トルに関する値が、その１つ前のコマが変化したフィー
ルドで検出された動きベクトルに関する値に対して、所
定以上の大きさであるときに、上記第１の所定フィール
ドにおいてシーンが変化したと判定するステップと、テ
レシネ変換映像の現フィールドより１つ前の第２の所定
フィールドで検出された動きベクトルに関する値が、上
記現フィールドで検出された動きベクトルに関する値に
対して所定以上の大きさであり、かつ上記第２の所定フ
ィールドで検出された動きべクトルに関する値が、その
１つ前のフィールドで検出された動きべクトルに関する
値に対して所定以上の大きさである場合において、その
後にテレシネ変換映像のコマが変化したフィールドまで
の各フィールドにわたって、上記第２の所定フィールド
で検出された動きベクトルに関する値が、その後の各フ
ィールドで検出された動きベクトルに関する値に対して
所定以上の大きさであるときに、上記第２の所定フィー
ルドでシーンが変化したと判定するステップとを備えて
いることを特徴とする。
【００３２】また、本発明は、テレシネ変換映像のコマ
が変化した第１の所定フィールドで検出された動きベク
トルに関する値が、その１つ前のコマが変化したフィー
ルドで検出された動きベクトルに関する値およびその２
つ前のコマが変化したフィールドで検出された動きベク
トルに関する値に対して、所定以上の大きさであるとき
に、上記第１の所定フィールドにおいてシーンが変化し
たと判定するステップと、テレシネ変換映像の現フィー
ルドより１つ前の第２の所定フィールドで検出された動
きベクトルに関する値が、上記現フィールドで検出され
た動きベクトルに関する値に対して所定以上の大きさで
あり、かつ上記第２の所定フィールドで検出された動き
べクトルに関する値が、その１つ前のフィールドで検出
された動きべクトルに関する値に対して所定以上の大き
さである場合において、その後にテレシネ変換映像のコ
マが変化したフィールドまでの各フィールドにわたっ
て、上記第２の所定フィールドで検出された動きベクト
ルに関する値が、その後の各フィールドで検出された動
きベクトルに関する値に対して所定以上の大きさである
ときに、上記第２の所定フィールドでシーンが変化した
と判定するステップとを備えていることを特徴とする。
【００３３】また、本発明は、テレシネ変換映像のコマ
が変化した第１の所定フィールドで検出された動きベク
トルに関する値が、その１つ前のコマが変化したフィー
ルドで検出された動きベクトルに関する値およびその２
つ前のコマが変化したフィールドで検出された動きベク
トルに関する値に対して、所定以上の大きさであり、か
つコマが変化した上記第１の所定フィールドで検出され
た動きベクトルに関する値と、その１つ前のコマが変化
したフィールドで検出された動きベクトルに関する値と
の差の絶対値が、上記１つ前のコマが変化したフィール
ドで検出された動きベクトルに関する値と上記２つ前の
コマが変化したフィールドで検出された動きベクトルに
関する値との差の絶対値以上大きいときに、上記第１の
所定フィールドにおいてシーンが変化したと判定するス
テップと、テレシネ変換映像の現フィールドより１つ前
の第２の所定フィールドで検出された動きベクトルに関
する値が、上記現フィールドで検出された動きベクトル
に関する値に対して所定以上の大きさであり、かつ上記
第２の所定フィールドで検出された動きべクトルに関す
る値が、その１つ前のフィールドで検出された動きべク
トルに関する値に対して所定以上の大きさである場合に
おいて、その後にテレシネ変換映像のコマが変化したフ
ィールドまでの各フィールドにわたって、上記第２の所
定フィールドで検出された動きベクトルに関する値が、
その後の各フィールドで検出された動きベクトルに関す
る値に対して所定以上の大きさであるときに、上記第２
の所定フィールドでシーンが変化したと判定するステッ
プとを備えていることを特徴とする。
【００３４】上記動きベクトルに関する値としては、た
とえば、代表点マッチング法による動きベクトル検出時
に得られる相関累積値の最小値が用いられる。
【００３５】
【作用】本発明によれば、シーンが変化した際に、遅延
により２次元映像を３次元映像に変換する通常の動作を
停止するため、観察者の左右の目に異なるシーンの映像
が夫々に入射することが抑えられる。
【００３６】また、シーンが変化すれば、画像の内容が
大きく変化するため、シーンが変化する前に映っていた
物や風景が無くなったり、大きく移動したりする。この
ため、例えシーンの変化により画像の輝度等が変化しな
くても、動きベクトルはシーンが変化する前に映ってい
た物を捜すため、略確実に大きくなる。
【００３７】そして、前後のフィールドに対して急激に
動きベクトルが大きくなるフィールドを捜すことによ
り、シーンの変化を良好に判定することができる。
【００３８】具体的には、上記数式４を満足する第ｔフ
ィールドがあれば、第（ｔ−２）フィールドと第（ｔ−
１）フィールドとの間でシーンが変化したと判定するこ
とができる。
【００３９】また、動きベクトルを検出する画面の領域
を複数とすることにより動きベクトルの検出精度が向上
する。
【００４０】そして、上記複数の領域の動きベクトルの
総和を求めることにより、画面全体にわたって動きベク
トルの変化を均等に検出することができる。
【００４１】具体的には、上記数式５により、複数の領
域における横方向の動きベクトルの総和が求められる。
【００４２】また、あるフィールドに対して前のフィー
ルドの映像の動きベクトルは、複数のフィールドの平均
値とすることにより、ある領域の動きベクトルの検出に
間違いが生じてもその値を殆ど無視することができ、良
好にシーンの変化を判定することができる。
【００４３】具体的には、上記数式６により、複数のフ
ィールドにおける動きベクトルの平均値を求めることが
できる。
【００４４】また、シーンの変化が有ると判断した場合
に、シーンが変化する前の映像に関して確保している情
報を消去することにより、古いシーンの映像の情報によ
る影響を受けることなく、良好にシーンの変化の有無を
判定することができる。特に、前述の複数のフィールド
における動きベクトルの平均値を良好に求めることがで
きる。
【００４５】また、シーンが変化すれば、画像の内容が
大きく変化するため、画像の輝度レベルや色レベルが大
きく変化し、これを検出することによりシーンの変化の
有無を判定することができる。
【００４６】また、２次元映像がテレビジョン放送によ
るものである場合、受信チャンネルを切り換えると、元
になる映像信号の同期が外れるため、この同期はずれを
検出することにより、受信テャンネルが切り換えられた
ことを検出することができる。このため、元になる２次
元映像信号の同期はずれを検出し、遅延により２次元映
像を３次元映像に変換する通常の動作を停止することに
より、観察者の左右の目に受信チャンネル切り換え前後
の全く異なるシーンの映像が夫々別々に入射することが
抑えられる。
【００４７】また、受信チャンネルが切り換えられたこ
とは、チャンネル切換信号を検出することにより、検出
できる。また、元になる映像信号の映像ソースが切り換
えられ、元になる映像が全く異なる映像に切り換わった
ことは、ソース切換信号を検出することにより、検出で
きる。そして、これらの信号を検出した場合に、遅延に
より２次元映像を３次元映像に変換する通常の動作を停
止することにより、観察者の左右の目に受信チャンネル
切り換え前後、あるいは映像ソース源切り換え前後の全
く異なるシーンの映像が夫々別々に入射することが抑え
られる。
【００４８】また、本発明によれば、元になる２次元映
像がテレシネ変換映像である場合にも、シーンの変化の
有無の判定を、テレシネ変換映像の動きベクトルに関す
る値を検出することにより行なうことができる。
【００４９】元になる２次元映像がテレシネ変換映像で
ある場合には、シーンの変化の有無の判定は、たとえ
ば、テレシネ変換映像のコマが変化したフィールドで検
出された動きベクトルに関する値に基づいて行なわれ
る。
【００５０】すなわち、テレシネ変換映像のコマが変化
した所定フィールドで検出された動きベクトルに関する
値が、その１つ前のコマが変化したフィールドで検出さ
れた動きベクトルに関する値に対して、所定以上の大き
さであるときに、上記所定フィールドにおいてシーンが
変化したと判定される。
【００５１】あるいは、テレシネ変換映像のコマが変化
した所定フィールドで検出された動きベクトルに関する
値が、その１つ前のコマが変化したフィールドで検出さ
れた動きベクトルに関する値およびその２つ前のコマが
変化したフィールドで検出された動きベクトルに関する
値に対して、所定以上の大きさであるときに、上記所定
フィールドにおいてシーンが変化したと判定される。
【００５２】あるいは、テレシネ変換映像のコマが変化
した所定フィールドで検出された動きベクトルに関する
値が、その１つ前のコマが変化したフィールドで検出さ
れた動きベクトルに関する値およびその２つ前のコマが
変化したフィールドで検出された動きベクトルに関する
値に対して、所定以上の大きさであり、かつコマが変化
した上記所定フィールドで検出された動きベクトルに関
する値と、その１つ前のコマが変化したフィールドで検
出された動きベクトルに関する値との差の絶対値が、上
記１つ前のコマが変化したフィールドで検出された動き
ベクトルに関する値と上記２つ前のコマが変化したフィ
ールドで検出された動きベクトルに関する値との差の絶
対値以上大きいときに、上記所定フィールドにおいてシ
ーンが変化したと判定される。
【００５３】元になる２次元映像がテレシネ変換映像で
ある場合において、シーンの変化の有無の判定を、上述
したように、テレシネ変換映像のコマが変化したフィー
ルドで検出された動きベクトルに関する値に基づいて行
うと同時に、次のようなシーン変化の有無判定を行なう
ようにしてもよい。
【００５４】テレシネ変換映像の現フィールドより１つ
前の第２の所定フィールドで検出された動きベクトルに
関する値が、上記現フィールドで検出された動きベクト
ルに関する値に対して所定以上の大きさであり、かつ上
記第２の所定フィールドで検出された動きべクトルに関
する値が、その１つ前のフィールドで検出された動きべ
クトルに関する値に対して所定以上の大きさである場合
において、その後にテレシネ変換映像のコマが変化した
フィールドまでの各フィールドにわたって、上記第２の
所定フィールドで検出された動きベクトルに関する値
が、その後の各フィールドで検出された動きベクトルに
関する値に対して所定以上の大きさであるときに、上記
第２の所定フィールドでシーンが変化したと判定され
る。
【００５５】
【実施例】以下、図面を参照して、本発明の実施例につ
いて詳細に説明する。
【００５６】（１）第１実施例の説明 図１は２次元映像から３次元映像を生成する第１実施例
の３次元映像ソフト変換システムの要部概略ブロック図
である。
【００５７】第１実施例の３次元映像ソフト変換システ
ムでは、入力端子１に２次元映像を表示するための通常
の２次元映像信号が入力される。入力端子１より入力さ
れた２次元映像信号は映像切換回路２およびフィールド
メモリ５に供給される。
【００５８】フィールドメモリ５は入力された２次元映
像信号を所定フィールドだけ遅延して出力し、映像切換
回路２に供給する。フィールドメモリ５の遅延量はメモ
リ制御回路６により１フィールド単位で可変制御され
る。また、この可変制御は１フィールド以下の小さい単
位でも構わない。
【００５９】映像切換回路２の出力側は、左目用映像信
号Ｌを出力する出力端子３および右目用映像信号Ｒを出
力する出力端子４に出力されており、被写体の動きの方
向に応じて出力状態が切り換わるように制御される。
【００６０】また、入力端子１より入力した２次元映像
信号は、動きベクトル検出回路７に供給される。動きベ
クトル検出回路７では、映像のフィールド間の動きに応
じた動きベクトルが検出された後、ＣＰＵ８に供給され
る。
【００６１】ＣＰＵ８は、検出された動きベクトルのう
ち水平成分を抽出し、これに応じてメモリ制御回路６を
制御する。すなわち、被写体の動きが大きく、動きベク
トルが大きい場合、フィールドメモリ５の遅延量が少な
くなるように制御し、被写体の動きが小さいか、あるい
はスローモーション再生時のように動きベクトルが小さ
い場合、遅延量が多くなるように制御する。
【００６２】さらに、ＣＰＵ８は動きベクトルの方向が
左から右の場合は、遅延された映像信号を右目用映像信
号とし、動きベクトルの方向が右から左の場合は、遅延
された映像信号を左目用信号とするように映像切換回路
２を制御する。
【００６３】したがって、２次元映像信号において被写
体が水平方向に移動するようなシーンについては動きの
速さに応じた視差が発生する。
【００６４】そして、出力端子３、４からの左右の映像
信号をレンチキュラ方式等の立体映像表示用のディスプ
レイに供給することにより、観察者は立体感のある３次
元映像を観賞することができる。
【００６５】図２は入力端子１に入力される２次元映像
信号により構成される第１１フィールドから第１５フィ
ールドまでの５個のフィールドの映像、およびその映像
における動きベクトルの大きさおよび向きを模式的に示
す図である。なお、図中、第１１フィールド、第１２フ
ィールド、第１３フィールドの３個のフィールドの映像
は鳥が左から右に飛んでいるシーンであり、第１４フィ
ールド、第１５フィールドの２個のフィールドの映像は
バスが右から左に走っているシーンである。すなわち、
第１３フィールドの映像と第１４フィールドの映像とは
全く別のシーンであり、この間でシーンの変化、すなわ
ちシーンの切れ目がある。
【００６６】第１実施例では、動きベクトル検出回路７
は１フィールドを構成する映像のうち図２に示すように
ａ、ｂ、ｃ、ｄの４個の動きベクトル検出領域で、各領
域の代表点（中心点）での動きベクトルを検出する（代
表点マッチング法）。
【００６７】図３は、ＣＰＵ８によって１フィールドご
とに行なわれるシーンチェンジ検出処理手順を示してい
る。
【００６８】図３において、ステップ１では、動きベク
トル検出回路７より現フィールドにおける領域ａでの水
平方向の動きベクトルの大きさ（以下、動きベクトル量
という）を取得し、ステップ２で、上記ステップ１で検
出された動きベクトル量を既存の値に加算する。ここで
は、既存の値は初期値、すなわち０であり、加算値は領
域ａでの動きベクトル量となる。
【００６９】次に、ステップ３で、現フレームの映像に
おける全ての領域ａ、ｂ、ｃ、ｄの動きベクトルを取得
したか否かを調べ、全ての領域の動きベクトルを取得し
ていない場合はステップ１に戻る。
【００７０】そして、ステップ１では、動きベクトルの
取得を行っていない領域ｂについて動きベクトル量の取
得を行い、ステップ２において既存の値に加算する。す
なわち、ステップ２では、領域ａにおける動きベクトル
量と領域ｂにおける動きベクトル量との和が得られる。
【００７１】そして、ステップ３において、現フレーム
の映像における全ての領域ａ、ｂ、ｃ、ｄの動きベクト
ルを取得したか否かを調べ、全ての領域を取得するまで
ステップ１、２、３を繰り返し、最終的にはステップ２
において現フィールドの映像における全ての領域ａ、
ｂ、ｃ、ｄの動きベクトル量の総和を得る。なお、現フ
ィールドを第ｔフィールド（ｔは自然数）とした場合に
おける上記動きベクトル量の総和をＭＸ（ｔ）とし、下
記の数７の式のように定義される。
【００７２】
【数７】
【００７３】ただし、本実施例では、Ｎｘ＝２、Ｎｙ＝
２である。
【００７４】次に、ステップ３において、１フレームに
おける全ての領域ａ、ｂ、ｃ、ｄの動きベクトルを取得
したと判断されると、ステップ４において、２フィール
ド前までの動きベクトル量の総和の平均値、具体的には
３フィールド前の映像の動きベクトル量の総和ＭＸ（ｔ
−３）と２フィールド前の映像の動きベクトルの総和Ｍ
Ｘ（ｔ−２）との平均値ＭＸave （ｔ−２）を求める。
ＭＸave （ｔ）は下記の数８の式のように定義される。
【００７５】
【数８】
【００７６】ただし、本実施例では、Ｓ＝２である。な
お、本実施例では簡略化のため２フィールド前と３フィ
ールド前の２つのフィールドによる平均値を求めた場合
について説明するが、実際には、それ以上、例えば２フ
ィールド前から９フィールド前までの８個のフィールド
（Ｓ＝８）による平均値を求めている。
【００７７】次に、ステップ５において、上記ステップ
２で得られた現フィールドの動きベクトル量の総和ＭＸ
（ｔ）を退避領域に確保する。なお、退避領域には数フ
ィールド前までの映像について各フィールド毎の動きベ
クトル量の総和が確保されている。
【００７８】次に、ステップ６において、退避領域に確
保されている１フィールド前のフィールドの動きベクト
ル量の総和ＭＸ（ｔ−１）がステップ４で得られた平均
値ＭＸave （ｔ−２）よりも遙かに大きいかどうか（例
えば、４０画素以上の差があるかどうか）を判断する。
そして、総和ＭＸ（ｔ−１）が平均値ＭＸave （ｔ−
２）よりも遙かに大きくはないと判断した場合は（ステ
ップ６でＮＯ）、ＣＰＵ８は現フィールドにおける動作
を終了する。また、総和ＭＸ（ｔ−１）が平均値ＭＸ
ave （ｔ−２）よりも遙かに大きいと判断した場合（ス
テップ６でＹＥＳ）、ステップ７に進む。
【００７９】ステップ７では、退避領域に確保されてい
る１フィールド前のフィールドの動きベクトル量の総和
ＭＸ（ｔ−１）が退避領域に確保されている現フィール
ドの動きベクトル量の総和ＭＸ（ｔ）よりも遙かに大き
いかどうか（例えば、４０画素以上の差があるかどう
か）を判断する。そして、総和ＭＸ（ｔ−１）が総和Ｍ
Ｘ（ｔ）よりも遙かに大きくはないと判断した場合（ス
テップ７でＮＯ）、ＣＰＵ８は現フィールドにおける動
作を終了する。また、総和ＭＸ（ｔ−１）が総和ＭＸ
（ｔ）よりも遙かに大きいと判断した場合（ステップ７
でＹＥＳ）、ＣＰＵ８は２フィールド前の映像と１フィ
ールド前の映像との間にはシーンの切れ目が生じている
と判定し、ステップ８に進む。
【００８０】すなわち、ステップ６においてＭＸ（ｔ−
１）＞＞ＭＸave （ｔ−２）であるかを調べ、ステップ
７においてＭＸ（ｔ−１）＞＞ＭＸ（ｔ）であるかを調
べ、両方の条件を満たす下記の数９の式が成立する時、
動きベクトル量が急激に大きくなったと判断し、第（ｔ
−２）フィールドと第（ｔ−１）フィールドとの間でシ
ーンが変化したと判定する。
【００８１】
【数９】
【００８２】ステップ８では、次のフィールドにおい
て、遅延量を零にするためのデータが作成される。した
がって、次のフィールドにおいては、ＣＰＵ８は映像切
換回路２より出力される左目用映像信号Ｌおよび右目用
映像信号Ｒをともに入力端子１より供給される２次元映
像信号となるように該映像切換回路２を制御する。これ
により、出力端子３、４より出力される左右の映像信号
は、同一の映像信号となり、ディスプレイに映し出され
る左右の映像は同一の映像となるため、観察者の左右の
目には同一の映像が入射し、観察者がシーンの変化によ
る違和感を感じることは抑えられる。
【００８３】次に、ステップ９では、退避領域に確保さ
れている各フィールドの動きベクトル量の総和の全てを
クリア（消去）する。以上により、今回のシーンチェン
ジ検出処理は終了する。
【００８４】上述のＣＰＵ８の動作を図２のシーンにし
たがって説明すると、現フィールドが第１４フィールド
の場合、ＣＰＵ８はステップ６において、第１３フィー
ルドの動きベクトル量の総和ＭＸ（１３）が、第１１フ
ィールドの動きベクトル量の総和と第１２フィールドの
動きベクトル量の総和との平均値ＭＸave （１２）より
も遙かに大きいかどうかを判断する。この場合、総和Ｍ
Ｘ（１３）と平均値ＭＸave （１２）とは略等しいた
め、遙かに大きいことはないと判断し、動作を終了す
る。すなわち、ＣＰＵ８は第１２フィールドと第１３フ
ィールドとの間には、シーンの切れ目が存在していない
と判断する。
【００８５】次に、現フィールドが第１５フィールドの
場合、ＣＰＵ８はステップ６において、第１４フィール
ドの動きベクトル量の総和ＭＸ（１４）が第１２フィー
ルドの動きベクトル量の総和と第１３フィールドの動き
ベクトル量の総和との平均値ＭＸave （１３）よりも遙
かに大きいかどうかを判断する。この場合、第１４フィ
ールドではシーンの変化が生じているため、全ての領域
ａ、ｂ、ｃ、ｄでの動きベクトル量が大きくなり、総和
ＭＸ（１４）は平均値ＭＸave （１３）よりも遙かに大
きい（Ｙ）と判断し、ステップ７に進む。
【００８６】そして、ステップ７では、第１４フィール
ドの動きベクトル量の総和ＭＸ（１４）が第１５フィー
ルドの動きベクトル量の総和ＭＸ（１５）よりも遙かに
大きいかどうかを判断する。この場合、第１５フィール
ドではシーンの変化が生じていないため、バスが映って
いる領域ｃでは動きベクトル量は大きいが、他の領域で
は動きベクトル量は小さく、総和ＭＸ（１４）は総和Ｍ
Ｘ（１５）よりも遙かに大きいと判断し、ステップ８に
進む。
【００８７】すなわち、ＣＰＵ８は、第１５フィールド
におけるシーンチェンジ検出処理において、第１３フィ
ールドと第１４フィールドとの間には、シーンの切れ目
が存在すると判断する。そして、第１６フィールド目に
おいて、左目用映像信号Ｌと右目用映像信号Ｒとが共に
入力端子１からフィールドメモリ５を介さずに直接供給
される２次元映像信号となるように映像切換回路２を切
り換える。すなわち、３次元映像を生成するための遅延
量を０にする。これにより、出力端子３、４からは同じ
フィールドの２次元映像信号が出力され、観察者の左右
の目には、同じ映像が入射する。
【００８８】以上のように、本実施例の３次元映像ソフ
ト変換システムでは、元になる２次元映像にシーンの変
化が起こっても、観察者の左右の目に異なるシーンの映
像を入射させることは殆ど無く、シーンの変化が多い２
次元映像を観察者が違和感無く観賞することができる３
次元映像に変換することができる。
【００８９】なお、上記実施例では、ＣＰＵ８はシーン
が変化したと判定すると、次フィールドにおいて、遅延
量が０になるように映像切換回路２を制御しているが、
遅延量が０以外の予め定められた値に強制的になるよう
にメモリ制御回路６に指示を出してもよい。この場合
は、シーンが変化した場合でも、ある程度の遅延量があ
るため、シーンが変化した後、改めてフィールド遅延に
より３次元映像を生成する場合、観察者は連続的にスム
ーズに３次元映像を観賞することができる。
【００９０】また、被写体の動きの無い場合において
も、数フィールド遅延させることにより観察者は立体映
像を認識することがある。このため、被写体の動きが無
い場合においても、遅延量を０とはせずに、数フィール
ドにする場合もある。この場合は、前述の予め定められ
た値を上記数フィールドにすれば良い。
【００９１】また、上述の実施例では、図２の場合、現
フィールドがシーンの変化が起こった直後の第１４フィ
ールドの時には、ＣＰＵ８はシーンの変化が有るという
判定を行うことができず、次の第１５フィールドの時に
シーンの変化が有るという判定を行う。このため、２フ
ィールドの期間だけ、観察者の左右の目に異なるシーン
の映像が入射するという問題があるが、実際には２フィ
ールドは非常に短い期間であるので、観察者がこれによ
る違和感を感じることは殆ど無い。
【００９２】しかしながら、上記問題を解決したい場合
は、図１において、入力端子１と映像切換回路２との間
で、且つフィールドメモリ５とは並列となる個所（Ａで
示す個所）に１フィールド以上のフィールドメモリを挿
入し、入力端子１から直接供給される２次元映像信号を
数フィールドだけ遅延させれば良い。この場合、ＣＰＵ
８が第１５フィールドの映像の動きベクトル量によりシ
ーンの変化が有ると判定すると同時、あるいは判定した
後に、第１４フィールドの映像が映像切換回路２から出
力されるようにすることができるので、シーンが変化し
た直後の映像から、観察者の左右の目に異なるシーンの
映像が入射することが防止される。
【００９３】なお、上述の第１実施例では、水平方向の
動きベクトルの大きさを動きベクトル量としてシーンの
変化の有無の判定を行っている。このため、シーンチェ
ンジ検出のために別途動きベクトルを検出することな
く、２次元映像を３次元映像に変換する際の遅延量を決
定するのに用いられる水平方向の動きベクトルを有効に
利用することができる。ただし、本発明では、水平方向
以外の動きベクトルの大きさを用いてもよい。
【００９４】また、上述の第１実施例では、代表点マッ
チング法により求められた動きベクトル量の平均値およ
び総和を用いてシーンの変化の有無を判定しているが、
下記の(i)(ii)(iii)のように動きベクトルに関する他の
値を用いてシーンの変化の有無を判定しても良い。
【００９５】(i) 代表点マッチング法による動きベクト
ル検出時に得られる相関累積値の最小値を用いて上記第
１実施例と同様の処理を行う。
【００９６】(ii) 代表点マッチング法による動きベク
トル検出時に得られる相関累積値の最小値とその周辺の
相関値の差、すなわち傾きを用いて上記第１実施例と同
様の処理を行う。ただし、この時のパラメータはシーン
の変化が有ると値が減少する。
【００９７】(iii) 代表点マッチング法による動きベク
トル検出時に得られる相関累積値の平均値を用いて上記
第１実施例と同様の処理を行う。
【００９８】（２）第２実施例の説明 次に、本発明の第２実施例について説明する。
【００９９】図４は第２実施例の３次元映像ソフト変換
システムの概略構成を示すブロック図であり、図１と同
一部分には同一符号を付し、その説明を省略する。
【０１００】図中、９は入力された２次元映像信号を１
フィールドだけ遅延して出力するフィールドメモリ、１
０はフィールドメモリ９から出力された映像信号から、
上記フィールドメモリ９を通らずに直接入力された映像
信号を減算する減算器、１１は減算器１０から出力され
た映像信号の輝度成分の絶対値を出力する絶対値回路、
１２は絶対値回路１１からの出力を加算する累積加算
器、１３は累積加算器１２からの出力値としきい値（例
えば、入力映像が２５６階調の場合、３２階調）との大
小関係を比較する比較器である。
【０１０１】なお、上記フィールドメモリ９のサンプリ
ング周波数は１４．３２ＭＨｚ（＝４ｆｓｃ）であり、
該サンプリング周波数と同じ周波数で絶対値回路１１お
よび累積加算器１２は動作する。
【０１０２】１４は入力された２次元映像信号より垂直
同期信号を抽出する同期分離回路であり、同期分離回路
１４より抽出された垂直同期信号は累積加算器１２およ
び比較器１３に入力される。累積加算器１２は垂直同期
信号が新たに入力するまでの間、絶対値回路１１の出力
を加算し出力する。すなわち累積加算器１２からは１フ
ィールド毎に、現フィールドの映像信号と１フィールド
前の映像信号との輝度成分の差に対する絶対値の合計値
に相当する信号が出力される。比較器１３は、１フィー
ルド毎に、累積加算器１２の出力と上記しきい値との比
較を行い、その比較結果を出力する。
【０１０３】ＣＰＵ１５は比較器１３の比較結果を読み
取り、該比較結果が累積加算器１２からの出力値が上記
しきい値よりも大きい場合、入力された映像のシーンが
変化したと判断し、映像切換回路２から出力される左目
用映像信号Ｌと右目用映像信号Ｒとが共に入力端子１か
らフィールドメモリ５を介さずに直接供給される２次元
映像信号となるように映像切換回路２を切り換える。
【０１０４】なお、ＣＰＵ１５のメモリ制御回路６に対
する制御動作は、前述の図１に示したＣＰＵ８と同じで
ある。
【０１０５】次に、この第２実施例の３次元映像ソフト
変換システムの動作について、図２に示されるような第
１１フィールドから第１５フィールドの映像に基づいて
説明する。
【０１０６】図５は上記図２に示した映像の各フィール
ドでの輝度レベルを示す図である。上記図２に示した映
像のうち、第１１フィールドから第１３フィールドまで
は同じシーンの映像であるため、輝度レベルは大きく変
化しない。そして、第１３フィールドと第１４フィール
ドとの間ではシーンの変化があり、第１４フィールドで
輝度レベルが急激に大きくなる。そして、第１４フィー
ルドから第１５フィールドは同じシーンの映像であるた
め、輝度レベルは大きく変化しない。
【０１０７】まず、現フィールドが第１１フィールドか
ら第１３フィールドの映像の場合、前述したように同じ
シーンの映像であるため輝度レベルは大きく変化しな
い。このため、１フィールド前の映像と現フィールドの
映像との輝度レベルの差を出力とする累積加算器１２の
出力値はほぼ０に等しい値となる。この結果、比較器１
３は、累積加算器１２の出力が、上記しきい値よりも小
さい値と判定する。したがって、ＣＰＵ１５は第１１フ
ィールドから第１３フィールドの間では、シーンの変化
が無いと判断し、第１２フィールドから第１４フィール
ドにおいては、通常通り、フィールドメモリ５の遅延量
を制御する。
【０１０８】次に、現フィールドが第１４フィールドの
映像の場合、前述したように第１３フィールドと第１４
フィールドとの間でシーンの変化があるため、輝度レベ
ルは大きく変化する。このため、１フィールド前の映像
と現フィールドの映像との輝度レベルの差を出力とする
累積加算器１２の出力値は大きな値となり、比較器１３
のしきい値よりも大きくなる。したがって、ＣＰＵ１５
は第１３フィールドから第１４フィールドの間で、シー
ンの変化が有ると判断し、第１５フィールド目におい
て、映像切換回路２から出力される左目用映像信号Ｌと
右目用映像信号Ｒとが共に入力端子１からフィールドメ
モリ５を介さずに直接供給される２次元映像信号となる
ように映像切換回路２を切り換える。
【０１０９】次に、現フィールドが第１５フィールドの
映像の場合、前フィールドと比べてシーンが変化しない
ため、輝度レベルは大きく変化しない。したがって、第
１１フィールドから第１３フィールドの場合と同様に、
上記ＣＰＵ１５はシーンの変化が無いと判断し、第１６
フィールド目においては、通常通りフィールドメモリ５
の遅延量を制御する。
【０１１０】以上のように、第２実施例の３次元映像ソ
フト変換システムでは、輝度レベルの大きな変化により
元になる２次元映像のシーンの変化を検出し、出力端子
３、４から出力される左目用映像信号Ｌ、右目用映像信
号Ｒの遅延量を０とすることにより、観察者の左右の目
に異なるシーンの映像が入射することを防止する。
【０１１１】なお、比較器１３のしきい値は、固定値で
も良いし、また、図４の破線に示すように、累積加算器
１２からの出力値をＣＰＵ１５に入力し、該ＣＰＵ１５
の制御による可変値にしても良い。上記しきい値が可変
値の場合、累積加算器１２からの出力値が長時間にわた
って上記しきい値よりも小さい場合は、上記しきい値を
小さくし、また、累積加算器１２の出力値がすぐに上記
しきい値よりも大きくなる場合は、上記しきい値を大き
くする。
【０１１２】また、上記第２実施例では、元になる２次
元映像の輝度レベルの変化により、シーンの変化の有無
を判定しているが、元になる２次元映像の色レベルの変
化によりシーンの変化の有無を判定しても良い。なお、
シーンの変化が有る場合は、色レベルの変化が大きくな
る。
【０１１３】（３）第３実施例の説明 次に、本発明の第３実施例について説明する。
【０１１４】図６は第３実施例の３次元映像ソフト変換
システムの回路構成を示すブロック図であり、図１と同
一部分には同一符号を付し、その説明を省略する。
【０１１５】図中、１６は入力された２次元映像信号よ
り垂直同期信号を抽出する垂直同期分離回路、１７は垂
直同期分離回路１６によって抽出された垂直同期信号の
立ち下がりを検出する立下がり検出回路、１８は入力さ
れた２次元映像信号より水平同期信号を抽出する水平同
期分離回路、１９は水平同期分離回路１８によって抽出
された水平同期信号の立ち下がりを検出する立下がり検
出回路である。
【０１１６】２０は立下がり検出回路１９からの検出信
号に基づいて、水平同期信号の数をカウントするカウン
タであり、そのカウント数を９ビットのデジタル信号と
して出力する。また、カウンタ２０は立下がり検出回路
１７からの検出信号を上記カウントのリセット信号とし
て入力し、立下がり検出回路１７からの検出信号が入力
されると水平同期信号のカウント数を０に戻す。
【０１１７】２１はカウンタ２０から出力されたカウン
ト数を表すデジタル信号を入力する垂直周期検出回路で
あり、立下がり検出回路１７からの検出信号が入力され
た際の、上記デジタル信号が表すカウント数を検出す
る。
【０１１８】ＣＰＵ２２は各フィールド毎に垂直周期検
出回路２１が検出したカウント数を読み取り、そのカウ
ント数が２６１または２６２以外の数の場合、入力され
た映像信号の同期が外れ、シーンが変化したと判断し、
映像切換回路２から出力される左目用映像信号Ｌと右目
用映像信号Ｒとが共に入力端子１からフィールドメモリ
５を介さずに直接供給される２次元映像信号となるよう
に映像切換回路２を切り換える。なお、ＣＰＵ２２が上
記カウント数を読み取るタイミングは、入力された映像
信号の奇数フィールド／偶数フィールド判別信号（ＦＬ
Ｄ信号）により決定される。
【０１１９】ＮＴＳＣ方式のテレビジョン放送の場合、
１フィールド期間での水平同期信号の数は２６１若しく
は２６２であり（具体的には、奇数フィールドが２６１
であれば偶数フィールドは２６２であり、奇数フィール
ドが２６２であれば偶数フィールドは２６１であ
る。）、入力した映像信号に同期外れが生じた場合、上
記水平同期信号の数が２６１若しくは２６２以外の数に
なる。
【０１２０】なお、ＣＰＵ２２のメモリ制御回路６に対
する制御動作は、前述の図１に示したＣＰＵ８と同じで
ある。
【０１２１】上記第３実施例の３次元映像ソフト変換シ
ステムでは、元になる２次元映像信号がオンエアのテレ
ビジョン放送による映像信号の場合、受信チャンネルを
変えない時は、上記垂直周期検出回路２１が検出する水
平同期信号のカウント数は１フィールド期間での水平同
期信号の数は２６１または２６２となる。したがって、
上記ＣＰＵ２２は入力映像のシーンが変化したとは判断
せず、通常通りフィールドメモリ５の遅延量を制御し、
出力端子３、４より左右の映像信号を出力する。
【０１２２】次に、受信チャンネルを変えた場合、チャ
ンネルを変えた瞬間、入力される映像信号の垂直同期が
大きく乱れ、垂直同期検出回路２１が検出するカウント
数は２６１および２６２から外れる。したがって、ＣＰ
Ｕ２２は入力映像のシーンが変化したと判断し、映像切
換回路から出力される左目用映像信号Ｌと右目用映像信
号Ｒとが共に入力端子１からフィールドメモリ５を介さ
ずに直接供給される２次元映像信号となるように映像切
換回路２を切り換える。これにより、出力端子３、４よ
り出力される左右の映像信号は同一の映像信号となり、
観察者の左右の目には同一の映像が入射する。
【０１２３】また、元になる２次元映像信号のソースを
オンエアのテレビジョン信号からＶＴＲの再生信号に切
り換えた際にも、前述と同様に入力される映像信号の垂
直同期が大きく乱れ、垂直周期検出回路２１が検出する
カウント数は２６１および２６２から外れる。したがっ
て、ＣＰＵ２２はシーンが変化したと判断し、映像切換
回路から出力される左目用映像信号Ｌと右目用映像信号
Ｒとが共に入力端子１からフィールドメモリ５を介さず
に直接供給される２次元映像信号となるように映像切換
回路２を切り換える。
【０１２４】つまり、元になる２次元映像信号がオンエ
アのテレビジョン信号である場合に受信チャンネルを切
り換えたり、あるいは映像信号のソースを切り換えた際
に、上記切り換えの前後で、ディスプレイに表示される
映像は全く別のシーンの映像に変化する。上記第３実施
例の３次元映像ソフト変換システムでは、このようなシ
ーンチェンジを１フィールド期間内の水平同期信号の数
の乱れにより検出し、出力端子３、４から出力される左
目用映像信号Ｌ、右目用映像信号Ｒの遅延量を０とす
る。したがって、上述のような受信チャンネルの切り換
え、あるいは映像ソースの切り換えを行った際には、左
右の映像が同じになり、観察者の左右の目が上記切り換
えを行う前後の全く異なる映像を認識することは防止さ
れ、観察者が違和感を感じることは抑えられる。
【０１２５】また、上記第３実施例の３次元映像ソフト
変換システムに、図７に示すように、テレビジョン放送
の受信チャネルを切り換えた際に発生するチャンネル切
換信号を入力するチャンネル切換信号入力端子２３、お
よび映像ソース源を切り換えた際に発生するソース切換
信号を入力するソース切換信号入力端子２４を設け、上
記入力端子２３、２４より入力した上記切換信号をＣＰ
Ｕ２２に入力させてもよい。
【０１２６】この場合、ＣＰＵ２２は受信チャンネルを
切り換えた際、あるいはソース源を切り換えた際に、上
記チャンネル切換信号、あるいはソース切換信号を入力
し、これにより入力映像のシーンが変化したと判断し、
映像切換回路２から出力される左目用映像信号Ｌと右目
用映像信号Ｒとが共に入力端子１からフィールドメモリ
５を介さずに直接供給される２次元映像信号となるよう
に映像切換回路２を切り換える。この場合においても、
上述のような受信チャンネルの切り換え、あるいは映像
ソースの切り換えを行った際には、左右の映像が同じに
なり、観察者の左右の目が上記切り換えを行う前後の全
く異なる映像を認識することは防止され、観察者が違和
感を感じることは抑えられる。
【０１２７】なお、上記第１、第２、第３実施例では、
１フィールドの映像毎に動きベクトルを検出している
が、１フレームの映像、あるいは数フィールドの映像毎
に動きベクトルを検出しても良い。なお、本発明では、
これら１フレーム、数フィールドのことを含めて広い意
味で１フィールドと表現している。
【０１２８】（４）第４実施例の説明 以下、図８〜図１９を参照してこの発明の第４実施例に
ついて説明する。２次元映像ソフト変換システムのハー
ド構成は、たとえば、図１に示されているものと同じで
あり、シーンチェンジが検出されたときには、遅延量は
所定値、たとえば零にされる。
【０１２９】第４実施例では、入力映像信号がテレシネ
変換映像であるか、テレシネ変換映像以外の通常映像で
あるかが判別され、この判別結果に応じたシーンチェン
ジ検出処理が行なわれる。ここで、テレシネ変換映像と
は、映画フィルムの映像がＴＶ信号に変換された映像を
いう。
【０１３０】テレシネ変換は、テレシネシステムによっ
て行なわれる。テレシネシステムとして一般的な間欠式
映写機は、映画フィルムを間欠的に送り、画像アパーチ
ャにフィルムが停止した期間に照射を行い、これをフィ
ルムカメラで受けてテレビ用の映像信号に変換する。
【０１３１】たとえば、毎秒２４コマの映像フィルムが
ＮＴＳＣ方式のＴＶ信号に変換されると、得られたＴＶ
信号では、図８に示すように、コマＡが３フィールド続
いた後、その次のコマＢが２フィールド続き、さらにそ
の次のコマＣが３フィールド続く。このような、テレシ
ネ変換方式は、２−３プルダウン方式と呼ばれている。
【０１３２】図８に示すようなテレシネ変換映像を１フ
ィールドごとにコマ送りして見ると、動きのないフィー
ルドが規則的な間隔で現れる。したがって、隣接フィー
ルド間の動きベクトルには、ノイズ等の外乱を無視すれ
ば規則的な間隔で動き０のベクトルが現れる。
【０１３３】図８に示すテレシネ変換映像では、図９に
示すように、フィールドの切れ目ごとに、Ｔ→Ｂ→Ｔ→
Ｂ→Ｂとなる動きベクトルが検出される。ここで、Ｔは
動きベクトルの正のピーク（以下、トップという）を示
しコマが変化したことを、ＢはＴに比べ小さいボトムを
示し同じコマであることを示している。
【０１３４】そこで、過去数フィールド分の動きベクト
ルのパターンに基づいて、入力映像信号がテレシネ変換
映像であるかテレシネ変換映像以外の通常映像であるか
が判別される。そして、判別結果に応じたシーンチェン
ジ検出処理が行なわれる。
【０１３５】以下、入力映像信号がテレシネ変換映像以
外の通常映像信号であると判定された場合のシーンチェ
ンジ検出処理および入力映像信号がテレシネ変換映像信
号であると判定された場合のシーンチェンジ検出処理に
ついて、それぞれ説明する。
【０１３６】（４−１） 入力映像信号がテレシネ変換
映像以外の通常映像信号であると判定された場合のシー
ンチェンジ検出処理の説明。
【０１３７】まず、入力映像信号が通常映像信号である
と判定された場合のシーンチェンジ検出の基本的な考え
方について説明する。
【０１３８】まず、代表点マッチング法について、簡単
に説明する。図１０に示すように、各フィールドの映像
エリア１００内に、複数の動きベクトル検出領域Ｅ1 〜
Ｅ12が設定されている。各動きベクトル検出領域Ｅ1 〜
Ｅ12の大きさは同じである。また、各動きベクトル検出
領域Ｅ1 〜Ｅ12は、図１１に示すように、さらに複数の
小領域ｅに分割されている。そして、図１２に示すよう
に、各小領域ｅそれぞれに、複数のサンプリング点Ｓと
１つの代表点Ｒとが設定されている。
【０１３９】現フィールドにおける小領域ｅ内の各サン
プリング点Ｓの映像信号レベル（輝度レベル）と、前フ
ィールドにおける対応する小領域ｅの代表点Ｒの映像信
号レベル（輝度レベル）との差（各サンプリング点にお
ける相関値）が、各動きベクトル検出領域Ｅ1 〜Ｅ12ご
とに求められる。そして、各動きベクトル検出領域Ｅ 1
〜Ｅ12ごとに、動きベクトル検出領域内の全ての小領域
間において、代表点Ｒに対する偏位が同じサンプリング
点どうしの相関値が累積加算される。したがって、各動
きベクトル検出領域Ｅ1 〜Ｅ12ごとに、１つの小領域ｅ
内のサンプリング点の数に応じた数の相関累積値が求め
られる。
【０１４０】そして、各動きベクトル検出領域Ｅ1 〜Ｅ
12内において、相関累積値が最小となる点の偏位、すな
わち相関性が最も高い点の偏位が、当該動きベクトル検
出領域Ｅ1 〜Ｅ12の動きベクトル（被写体の動き）とし
て抽出される。
【０１４１】シーンチェンジ検出には、代表点の輝度レ
ベルの変化に敏感に反応するパラメータである、代表点
マッチング法による動きベクトル検出時に得られる相関
累積値の最小値が用いられる。１フィールド内の各動き
ベクトル検出領域で得られた相関累積値の最小値を加算
し、その加算結果を全動きベクトル検出領域数で除算す
ることにより得られた値（相関累積値の最小値の平均
値）をＭＩＮと定義する。
【０１４２】図１３は、通常映像にシーンチェンジが発
生した場合のＭＩＮの変化を示している。図１３に示す
ように、通常映像ではシーンチェンジが起こらない限
り、ＭＩＮの変動が比較的緩やかであるという特徴を持
つ。また、シーンチェンジが起こると、ＭＩＮが大きく
なり、ＭＩＮの変動が大きくなるという特徴を持つ。
【０１４３】そこで、通常映像では、次の数式１０に示
すように、現フィールドのＭＩＮと前フィールドのＭＩ
Ｎとの差が、所定値αより大きいか否かに基づいて、シ
ーンチェンジの発生を検知することが可能である。
【０１４４】
【数１０】
【０１４５】数式１０において、ＭＩＮj は現フィール
ド（ｊフィールド）における相関累積値の最小値の平均
値を示し、ＭＩＮj-1 は前フィールド（ｊ−１フィール
ド）における相関累積値の最小値の平均値を示してい
る。αは、比較的大きな値を持つ閾値を表している。以
下、数式１０に基づくシーンチェンジ検出手法をピーク
検出に基づくシーンチェンジ検出手法と呼ぶことにす
る。
【０１４６】このピーク検出に基づくシーンチェンジ検
出手法では、図１４の（ｊ−１９）フィールド目のピー
クのように、現フィールドのＭＩＮj-19がシーンチェン
ジであることが、現フィールドのＭＩＮj-19と前フィー
ルドのＭＩＮj-20との差が閾値α以下であるために、現
フィールドをシーンチェンジ発生フィールドと検出する
ことができないことがある。なぜなら、これは、シーン
チェンジを誤って検出しないよう上記数式１０の閾値α
をある程度高めに設定しているためである。
【０１４７】図１４に示すようなシーンチェンジを検出
するためには、シーンチェンジ後にシーンチェンジが発
生していたことを検証する必要がある。シーンチェンジ
後にシーンチェンジが発生していたことを検証すること
によって、シーンチェンジを検出する手法を、ピーク事
後検出に基づくシーンチェンジ検出手法という。
【０１４８】通常映像に対するピーク事後検出に基づく
シーンチェンジ検出手法では、次の数式１１および数式
１２の両方の条件が満たされているか否かが判別され、
両方の条件が満たされている場合には、前フィールドに
おいてシーンチェンジが発生していたとみなされる。
【０１４９】
【数１１】
【０１５０】
【数１２】
【０１５１】なお、数式１１および数式１２において、
β1 およびβ2 は、閾値であり、閾値β1 とβ2 との大
小関係および閾値β2 とαとの大小関係は、次の数式１
３で示すような関係となっている。
【０１５２】
【数１３】
【０１５３】つまり、通常映像に対するピーク事後検出
に基づくシーンチェンジ検出手法では、前フィールドの
ＭＩＮが現フィールドのＭＩＮに対して、所定値β1 よ
り大きく、かつ前フィールドのＭＩＮがさらにその前の
フィールドのＭＩＮに対して、所定値β2 より大きいと
きに、前フィールドでシーンチェンジが発生したと判定
される。
【０１５４】図１５は、入力映像信号がテレシネ変換映
像以外の通常映像信号であると判定されている場合に、
入力映像信号の１フィールド毎に行なわれるシーンチェ
ンジ検出処理手順を示している。
【０１５５】まず、シーンチェンジ検出フラグＦｓがリ
セット（Ｆｓ＝０）される（ステップ１１）。
【０１５６】次に、レベル属性判定処理およびレベル属
性履歴の更新処理が行なわれる（ステップ１２）。レベ
ル属性判定処理では、次の数式１４に示すように、現フ
ィールドのＭＩＮj から前フィールドのＭＩＮj-1 を引
いた値が、比較的小さい閾値γ（γ≦β2 ）以上か否か
が判定される。そして、ＭＩＮj −ＭＩＮj-1 がγ以上
であれば、現フィールドのレベル属性ｌｒj は”１”と
され、ＭＩＮj −ＭＩＮj-1 がγより小さければ、現フ
ィールドのレベル属性ｌｒj は”０”とされる。
【０１５７】
【数１４】
【０１５８】このようにして、決定されたレベル属性ｌ
ｒj は、レベル属性履歴ｌｒ( j -1 5)〜ｌｒj として、
１５フィールド後まで保存される。レベル属性履歴の更
新処理では、新たに得られた現フィールドに対するレベ
ル属性ｌｒj によって、それまで、記憶されていたレベ
ル属性履歴が更新される。
【０１５９】次に、ステップ１２で更新されたレベル属
性履歴ｌｒj -15 〜ｌｒj に基づいて、現フィールドの
ＭＩＮj が、通常映像のピークか否かが判別される（ス
テップ１３）。つまり、ステップ１２で判定された現フ
ィールドのレベル属性ｌｒjが１でかつ、過去１５フィ
ールドのレベル属性ｌｒj が全て０であるときに、現フ
ィールドのＭＩＮj が通常映像のピークであると判定さ
れ、それ以外の場合には現フィールドのＭＩＮj は通常
映像のピークではないと判定される。
【０１６０】ステップ１３において、現フィールドのＭ
ＩＮj が通常映像のピークであると判定されたときに
は、数式１０のピーク検出に基づくシーンチェンジ検出
手法によって、現フィールドでシーンチェンジが発生し
たか否かが判定される（ステップ１４）。そして、現フ
ィールドでシーンチェンジが発生したと判別されたとき
には、シーンチェンジ検出フラグＦｓがセット（Ｆｓ＝
１）される（ステップ１６）。
【０１６１】次に、シーンチェンジ多重検出回避処理が
行なわれた後（ステップ１７）、今回のシーンチェンジ
検出処理は終了する。シーンチェンジ多重検出回避処理
については、後述する。
【０１６２】上記ステップ１３において、現フィールド
のＭＩＮj が通常映像のピークではないと判定されたと
きには、数式１１、１２のピーク事後検出に基づくシー
ンチェンジ検出手法によって、前フィールドでシーンチ
ェンジが発生していたか否かが判別される（ステップ１
５）。そして、前フィールドでシーンチェンジが発生し
ていたと判別されたときには、シーンチェンジ検出フラ
グＦｓがセット（Ｆｓ＝１）される（ステップ１６）。
【０１６３】次に、シーンチェンジ多重検出回避処理が
行なわれた後（ステップ１７）、今回のシーンチェンジ
検出処理は終了する。
【０１６４】シーンチェンジ多重検出回避処理では、シ
ーンチェンジが頻繁に検出されることを防止するための
処理が行なわれる。シーンチェンジが起こった後、数１
０フィールド以内に別のシーンチェンジが発生すること
は稀である。そこで、シーンチェンジ多重検出回避処理
では、あるフィールドでシーンチェンジが検出される
と、そのあと数１０フィールド以内に他のシーンチェン
ジが検出されとしても、その決定が無効とされる。
【０１６５】つまり、あるフィールドでシーンチェンジ
が検出されると、そのあと数１０フィールド以内におい
て、ステップ１６でシーンチェンジ検出フラグＦｓがセ
ットされても、シーンチェンジ多重検出回避処理におい
てシーンチェンジ検出フラグＦｓがリセットされる。
【０１６６】今回のシーンチェンジ検出処理において、
シーンチェンジ検出フラグＦｓがセットされた場合に
は、次フィールドにおいて、遅延量が零にされる。
【０１６７】（４−２） 入力映像信号がテレシネ変換
映像であると判定された場合のシーンチェンジ検出処理
の説明。
【０１６８】入力映像信号がテレシネ変換映像であると
判定された場合のシーンチェンジ検出の基本的な考え方
について説明する。
【０１６９】図１６は、２−３プルダウン方式でテレシ
ネ変換されたテレシネ変換映像の各フィールドに対する
ＭＩＮの変化を示している。テレシネ変換映像では、図
１６に示すように、同じコマが連続するときにはＭＩＮ
は低くなり（ボトム）、コマが変わるとＭＩＮが大きく
なる（トップ）。このため、コマが変わると、あたかも
シーンチェンジが発生しているかのような様相を呈す
る。このため、テレシネ変換映像に対して、数式１０に
基づいてシーンチェンジの検出を行なった場合に、コマ
の変わり目を、シーンチェンジと誤って検出してしまう
おそれがある。
【０１７０】このような誤検出を回避するため、テレシ
ネ変換映像に対しては、トップ間でＭＩＮの値を比較す
ることにより、シーンチェンジが検出される。以下、ト
ップ間でＭＩＮの値を比較することにより、シーンチェ
ンジを検出する手法を包絡線検出に基づくシーンチェン
ジ検出手法ということにする。
【０１７１】包絡線検出に基づくシーンチェンジ検出手
法では、数式１５、１６および１７で示される条件を全
て満たしたときに、シーンチェンジが発生したとみなさ
れる。
【０１７２】
【数１５】
【０１７３】
【数１６】
【０１７４】
【数１７】
【０１７５】現フィールドがトップである場合に評価さ
れる数式１５、１６および１７において、ＴＯＰ0 は、
現フィールドのトップのＭＩＮ値を示している。ＴＰＯ
1 は、１つ前のトップのＭＩＮ値を示している。ＴＯＰ
2 は、２つ前のトップのＭＩＮ値を示している。また、
δは、比較的大きな値をとる閾値である。また、数式１
７のθは、θ＜δを満たす比較的小さな値である。
【０１７６】すなわち、次の３条件を全て満たした場合
に、シーンチェンジが発生したとみなされる。
【０１７７】(i) 現時点のトップが、その１つ前とトッ
プレベルに比べて十分に大きいこと (ii)現時点のトップが、その２つ前とトップレベルに比
べて十分に大きいこと (iii) 現時点と１つ前のトップレベルの差が、１つ前と
２つ前のトップレベルの差の絶対値にθを加えた値に対
して大きいこと
【０１７８】なお、包絡線検出に基づくシーンチェンジ
検出手法においては、原理的には、数式１５の条件のみ
によってシーンチェンジを検出することが可能である。
しかしながら、この例では、外乱等による１つ前のトッ
プレベルの低下によって発生する誤検出を防止するため
に、数式１６の条件が付加されている。さらに、この例
では、トップレベルが数フィールドにわたって急峻な増
加傾向を示す場合に、誤ってシーンチェンジが検出され
るのを防止するために、数式１７の条件が付加されてい
る。
【０１７９】包絡線検出に基づくシーンチェンジ検出手
法では、図１７の（ｊ−１６）フィールド目のトップの
ように、現フィールドのＴＯＰがシーンチェンジである
ことが、現フィールドのＴＯＰと１つ先のＴＯＰとの差
から検証されるような場合でも、現フィールドをシーン
チェンジ発生フィールドと検出することができないこと
がある。なぜなら、これは、シーンチェンジを誤って検
出しないよう上記数式１５、１６の閾値δをある程度高
めに設定しているためである。
【０１８０】図１７に示すようなシーンチェンジを検出
するためには、シーンチェンジ後にシーンチェンジが発
生していたことを検証することが必要となる。シーンチ
ェンジ後にシーンチェンジが発生していたことを検証す
ることにより、シーンチェンジを検出する手法を、包絡
線事後検出に基づくシーンチェンジ検出手法という。
【０１８１】包絡線事後検出に基づくシーンチェンジ検
出手法においては、シーンチェンジと思われるフィール
ド（以下、仮のシーンチェンジという）の検出後に、テ
レシネ変換映像の特有のトップが検出されたときでなけ
れば、仮のシーンチェンジが真のシーンチェンジである
か否かを判定することができない。
【０１８２】したがって、通常映像に対するピーク事後
検出に用いられた数式１１および１２に基づいて、仮の
シーンチェンジの可能性のあるトップを検出し、その後
もテレシネ周期が乱されず次のトップまで次の数式１８
が満足されたときに、仮のシーンチェンジが真のシーン
チェンジであったと判定される。
【０１８３】つまり、前フィールドのＭＩＮが現フィー
ルドのＭＩＮに対して、所定値β1より大きく、かつ前
フィールドのＭＩＮがさらにその前のフィールドのＭＩ
Ｎに対して、所定値β2 より大きいときに、前フィール
ドが仮のシーンチェンジの可能性のあるトップであると
判定される。その後、次のトップまでの各フィールドに
おいて、次の数式１８が満足されたときに、仮のシーン
チェンジの可能性のあるトップであると判定された上記
フィールドで真のシーンチェンジであったと判定され
る。
【０１８４】
【数１８】
【０１８５】ここで、ＴＯＰｓｅｅｎは、仮のシーンチ
ェンジのＭＩＮを示している。したがって、仮のシーン
チェンジが検出されてから、次のトップが検出されるま
での各フィールドにおいて、仮のシーンチェンジのＭＩ
Ｎ（ＴＯＰｓｅｅｎ）が、各フィールドでのＭＩＮに対
して、閾値β1 より大きければ、仮のシーンチェンジが
真のシーンチェンジであったと判定される。
【０１８６】しかしながら、シーンチェンジの可能性の
あるトップを検出してもその後のテレシネ周期が乱され
た場合は、テレシネ変換映像のボトムの最大継続数＋１
フィールドを経過しなければシーンチェンジを判定でき
ず、シーンチェンジ検出が遅れる可能性がある。そこ
で、２−３プルダウン方式でテレシネ変換されたテレシ
ネ変換映像に対する包絡線事後検出に基づくシーンチェ
ンジ検出手法では、仮のシーンチェンジ検出後、３フィ
ールド以内に次のトップが検出されないときには、仮の
シーンチェンジ検出後、３フィールドにわたって数式１
８が成立すれば仮のシーンチェンジが真のシーンチェン
ジであったと判定する。
【０１８７】仮のシーンチェンジ検出後、次のトップが
検出されるまでに数式１８を満たさないＭＩＮが現れた
場合、または仮のシーンチェンジ検出後、３フィールド
以内に数式１８を満たさないＭＩＮが現れた場合には、
仮のシーンチェンジは真のシーンチェンジではなかった
とされ、その後の包絡線事後検出に基づくシーンチェン
ジ検出処理は打ち切られる。
【０１８８】図１８および図１９は、入力映像信号がテ
レシネ変換映像信号であると判定された場合に、入力映
像信号の１フィールド毎に行なわれるシーンチェンジ検
出処理手順を示している。
【０１８９】まず、シーンチェンジ検出フラグＦｓがリ
セット（Ｆｓ＝０）される（ステップ２１）。
【０１９０】次に、図１５のステップ１２と同様に、レ
ベル属性判定処理およびレベル属性履歴の更新処理が行
なわれる（ステップ２２）。
【０１９１】次に、包絡線事後検出に基づくシーンチェ
ンジ検出処理が継続されているか否かを示すフラグＦｋ
に基づいて、包絡線事後検出に基づくシーンチェンジ検
出処理が継続されているか否かが判別される（ステップ
２３）。つまり、フラグＦｋがセット（Ｆｋ＝１）であ
れば、包絡線事後検出に基づくシーンチェンジ検出処理
が継続されていると判断され、フラグＦｋがリセット
（Ｆｋ＝０）されていれば、包絡線事後検出に基づくシ
ーンチェンジ検出処理が継続されていないと判断され
る。
【０１９２】包絡線事後検出に基づくシーンチェンジ検
出処理が継続されている場合には、現フィールドＭＩＮ
と、仮のシーンチェンジにおけるＭＩＮ（ＴＯＰｓｅｅ
ｎ）とに基づいて、数式１８が成立するか否かが判別さ
れる（ステップ２４）。
【０１９３】数式１８が成立する場合には、現フィール
ドのＭＩＮがテレシネ変換映像のトップか否かが判別さ
れる（ステップ２５）。この判別は、たとえば次のよう
にして行なわれる。
【０１９４】すなわち、現フィールドのＮＩＮが、最新
過去のトップのＭＩＮと、最新過去のボトムのＭＩＮと
の和の１／２より大きければ、現フィールドのＭＩＮが
テレシネ変換映像のトップであると判別される。逆に、
現フィールドのＭＩＮが、最新過去のトップのＭＩＮ
と、最新過去のボトムのＭＩＮとの和の１／２以下であ
れば、現フィールドのＭＩＮがテレシネ変換映像のトッ
プではない、すなわちボトムであると判別される。ただ
し、過去所定フィールド分のＭＩＮが全てボトムと判定
されているときには、現フィールドのＭＩＮはトップで
あると判別され、過去所定フィールド分のＭＩＮが全て
トップであると判定されているときには、現フィールド
のＭＩＮはボトムであると判別される。
【０１９５】現フィールドのＭＩＮがテレシネ変換映像
のトップであるときには、既に検出されている仮のシー
ンチェンジが真のシーンチェンジであると判定され、シ
ーンチェンジ検出フラグＦｓがセット（Ｆｓ＝１）され
る（ステップ２６）。また、包絡線事後検出に基づくシ
ーンチェンジ検出処理が終了したので、フラグＦｋがリ
セット（Ｆｋ＝０）される（ステップ２７）。そして、
ステップ２９に進む。
【０１９６】現フィールドのＭＩＮがトップでないとき
には、３フィールド連続して数式１８が成立したか否か
が判別される（ステップ２８）。３フィールド連続して
数式２８が成立した場合には、仮のシーンチェンジが真
のシーンチェンジであると判定され、シーンチェンジ検
出フラグＦｓがセット（Ｆｓ＝１）される（ステップ２
６）。また、包絡線事後検出に基づくシーンチェンジ検
出処理が終了したので、フラグＦｋがリセット（Ｆｋ＝
０）される（ステップ２７）。そして、ステップ２９に
進む。
【０１９７】上記ステップ２８において、３フィールド
連続して数式１８が成立したと判定されなかったとき
は、フラグＦｓのセットおよびフラグＦｋのリセットを
行なうことなくステップ２９に進む。
【０１９８】また、上記ステップ２４において、数式１
８が成立しなかったときには、フラグＦｋがリセット
（Ｆｋ＝０）された後（ステップ２７）、ステップ２９
に進む。
【０１９９】さらに、上記ステップ２３において、包絡
線事後検出に基づくシーンチェンジ検出処理が継続され
ていない（Ｆｋ＝０）と判別されたときには、フラグＦ
ｓのセットおよびフラグＦｋのリセットを行なうことな
くステップ２９に進む。
【０２００】ステップ２９においては、上記数式１１お
よび１２に基づいて、現フィールドが仮のシーンチェン
ジか否かが判別される。現フィールドが仮のシーンチェ
ンジであるときには、検出された仮のシーンチェンジに
対して、包絡線事後検出に基づくシーンチェンジ検出処
理を、次フィールドにおいて開始させるために、フラグ
Ｆｋがセットされる（ステップ３０）。
【０２０１】なお、ステップ２８からステップ２９に移
行した場合には、既に検出されている仮のシーンチェン
ジに対する、包絡線事後検出に基づくシーンチェンジ検
出処理が継続されている。したがって、この場合、ステ
ップ２９において仮のシーンチェンジが新たに検出され
ると問題が生じる。しかしながら、ステップ２９におい
て現フィールドが仮のシーンチェンジと判別されるとき
は、現フィールドのＭＩＮがテレシネ変換映像のトップ
であるときである。
【０２０２】現フィールドのＭＩＮがテレシネ変換映像
のトップであるときには、ステップ２８の前段階のステ
ップ２５でＹＥＳとなり、ステップ２８に移行しないの
で、ステップ２８からステップ２９に移行した場合に、
ステップ２９で現フィールドが仮のシーンチェンジであ
ると判定されることはない。
【０２０３】上記ステップ２９で仮のシーンチェンジが
検出されなかったとき、または上記ステップ３０でフラ
グＦｋがセットされたときには、ステップ３１に移行す
る。
【０２０４】ステップ３１では、現フィールドのＭＩＮ
がテレシネ変換映像のトップであるか否かが判定され
る。現フィールドのＭＩＮがテレシネ変換映像のトップ
であると判定されたときには、数式１５、１６および１
７の包絡線検出に基づくシーンチェンジ検出処理によっ
て、現フィールドでシーンチェンジが発生したか否かが
判別される（ステップ３２）。そして、現フィールドで
シーンチェンジが発生したと判別されたときには、シー
ンチェンジ検出フラグＦｓがセット（Ｆｓ＝１）される
（ステップ３３）。そして、ステップ３４に進む。
【０２０５】ステップ３１において、現フィールドのＭ
ＩＮがテレシネ変換映像のトップでないと判定された場
合は、ステップ３４に進む。
【０２０６】ステップ３４においては、図１５のステッ
プ１７と同様に、シーンチェンジ多重検出回避処理が行
なわれる。そして、今回のシーンチェンジ検出処理は終
了する。
【０２０７】今回のシーンチェンジ検出処理において、
シーンチェンジ検出フラグＦｓがセットされた場合に
は、次フィールドにおいて、遅延量が零にされる。
【０２０８】上記の例では、２−３プルダウン方式でテ
レシネ変換されたテレシネ変換映像に対するシーンチェ
ンジ検出処理について説明したが、２−２プルダウン方
式等のテレシネ変換映像、その他の間欠映像に対して
も、上記のシーンチェンジ検出手法を適用することによ
り、正確にシーンチェンジを検出することができる。
【０２０９】ところで、実際の映像の中には、カメラの
フラッシュがたかれるシーンが希に存在する。このよう
な映像に対し、図１５および図１８、１９に示すシーン
チェンジ検出処理を適応すると、フラッシュがたかれた
部分の画像の輝度レベルが急激に上がるためＭＩＮも急
激に増加する。このため、シーンが変わっていないのに
シーンチェンジが発生したとみなす誤検出が発生するお
それがある。
【０２１０】以下、画像中の一部分の領域にフラッシュ
の影響がある映像に対するシーンチェンジの誤検出率を
減少させる方法について説明する。
【０２１１】フラッシュの影響が画像中の一部分のみに
限定されている場合、その他の部分については被写体お
よび背景の動きに継続性がある。したがって、フラッシ
ュによるシーンチェンジの誤検出を減らすためには、被
写体および背景の動きに継続性が見られればそれはシー
ンチェンジではないと云う条件をシーンチェンジ検出ア
ルゴリズムに組み込めばよい。
【０２１２】これを実現するには、被写体および背景の
動きの継続性を精度よくモニターし、継続性の乱れを検
知することが重要である。現在の２Ｄ／３Ｄ変換装置で
実現可能な手法としては、現フィールドと以前のフィー
ルドとの動きベクトルがどの程度変化したかをモニター
する手法が挙げられる。以下、これについて説明する。
【０２１３】現フィールド（ｊフィールド）のｉ番目の
ベクトル検出領域の水平方向の動きベクトルをｘij、垂
直方向の動きベクトルをｙijとすると、ｉ番目の検出領
域における現フィールドと前フィールド（ｊ−１フィー
ルド）との動きベクトルの水平方向および垂直方向の差
ｄｉｆｆｘij、ｄｉｆｆｙijは次の数式１９で表され
る。
【０２１４】
【数１９】
【０２１５】しかし、ｄｉｆｆｘij、ｄｉｆｆｙijでは
加速度成分を持つ動きに対しての取り扱いが難しいの
で、次の数式２０で示すように、水平、垂直方向成分に
対してそれぞれその差をとったｄｄｘij、ｄｄｙijを用
いて動きの検証を行う。
【０２１６】
【数２０】
【０２１７】すなわち、ｄｄｘijおよびｄｄｙijがある
範囲を越えなければその領域の動きの継続性は保たれて
いるとみなすことができる。この判定は、シーンチェン
ジ検出に使用する全ての領域に対して毎フィールド行わ
れ、その判定は履歴として保存される。
【０２１８】例えば、数式２１に示すように、ｊフィー
ルドにおけるｉ番目の検出領域のｄｄｘijおよびｄｄｙ
ijが共に２画素以内であれば、履歴ｐｄijに連続性が保
たれていることを示す数字”１”が記録され、ｄｄｘij
およびｄｄｙijの少なくとも一方が２画素より大きけれ
ば、履歴ｐｄijに連続性が保たれていないことを示す”
０”が記録される。
【０２１９】
【数２１】
【０２２０】このようにして得られた判定結果のみによ
って継続性の有無を即決することは信頼性に問題がある
ため、以前のフィールドの継続性も考慮した上で現フィ
ールドの継続性の最終判定を下す必要がある。そこで、
この最終判定に用いるパラメータとして次の数式２２に
よって表される継続性の重みＷj を用いる。
【０２２１】
【数２２】
【０２２２】ここで、Ｎはシーンチェンジ検出時に使用
される動きベクトル検出領域数を表し、ｗi はｊフィー
ルドのｉ番目の領域の重みを表し次の数式２３によって
算出される。したがって、継続性の重みＷj は、各動き
ベクトル検出領域でのｊフィールドの重みの総和を表
す。
【０２２３】
【数２３】
【０２２４】このように算出された継続性の重みＷj が
所定値、たとえばＮ／４を越える場合、継続性が保たれ
ているとして、フラッシュによってｊフィールドでシー
ンチェンジが誤検出されている場合には、そのシーンチ
ェンジの検出結果が棄却される。
【０２２５】
【発明の効果】本発明によれば、元になる２次元映像の
シーンが変化した際、観察者の左右の目に夫々別のシー
ンの映像が入射することを防止することができる。この
ため、観察者が違和感なく良好に３次元映像を観賞する
ことができる。
【０２２６】また、本発明によれば、動きベクトルが急
激に大きくなる映像を検出することにより、シーンの変
化の有無の判定を精度良く行うことができる。
【０２２７】また、本発明によれば、画面の複数の領域
で検出された動きベクトルの総和により動きベクトルの
大きさを検出することにより、画面全体にわたって均一
に動きベクトルを検出することができる。
【０２２８】また、前のフィールドの動きベクトルを、
複数フィールドの動きベクトルの平均値より求めること
により、あるフィールドで動きベクトルの検出値に間違
いが生じていても、その値を殆ど無視することができ、
動きベクトルが大きくなり、シーンが変化する映像を良
好に判定することができる。
【０２２９】また、本発明によれば、シーンの変化が有
ると判定した場合、シーンが変化する前の映像に関する
情報を消去するので、次のシーンの変化の有無を判定す
る際に、古いシーンの映像の情報による影響を受けるこ
と無く、良好にシーンの判定を行うことができる。
【０２３０】また、本発明によれば、元になる２次元映
像がテレビジョン放送である場合に受信チャンネルを切
り換えた際、観察者の左右の目に夫々、チャンネル切り
換え前後の全く異なる映像が入射することを防止するこ
とができる。このため、観察者が違和感なく良好な３次
元映像を観賞することができる。
【０２３１】また、本発明によれば、元になる２次元映
像の映像ソースを切り換えた際、観察者の左右の目に夫
々、映像ソース切り換え前後の全く異なる映像が入射す
ることを防止することができる。このため、観察者が違
和感なく良好な３次元映像を観賞することができる。
【０２３２】また、本発明によれば、元になる２次元映
像がテレシネ変換映像である場合も、元になるテレシネ
変換映像のシーンが変化した際、観察者の左右の目に夫
々別のシーンの映像が入射することを防止できる。この
結果、観察者が違和感なく良好に３次元映像を観賞する
ことができる。
【図面の簡単な説明】
【図１】本発明を用いた３次元映像ソフト変換システム
の概略構成の第１実施例の構成を示すブロック図であ
る。
【図２】元になる２次元映像のシーンの変化を示す図で
ある。
【図３】ＣＰＵによるシーンチェンジ検出処理手順を示
すフローチャートを示す図である。
【図４】本発明を用いた３次元映像ソフト変換システム
の概略構成の第２実施例の構成を示すブロック図であ
る。
【図５】元になる２次元映像の輝度レベルの変化を示す
図である。
【図６】本発明を用いた３次元映像ソフト変換システム
の概略構成の第２実施例の構成を示すブロック図であ
る。
【図７】第３実施例の３次元映像ソフト変換システムの
別の構成を示すブロック図である。
【図８】２−３プルダウン方式でテレシネ変換された映
像をフィールドごとに示す模式図である。
【図９】２−３プルダウン方式でテレシネ変換された映
像のフィールドに対する動きベクトルの変化を示すグラ
フである。
【図１０】各フィールドの映像エリア内に設定される複
数の動きベクトル検出領域Ｅ1 〜Ｅ12を示す模式図であ
る。
【図１１】図１０の動きベクトル検出領域内の複数の小
領域ｅを示す模式図である。
【図１２】図１１の小領域ｅ内に設定される複数のサン
プリング点Ｓと、１つの代表点Ｒとを示す模式図であ
る。
【図１３】テレシネ変換映像以外の通常映像において、
シーンチェンジが発生した場合のＭＩＮの変化を示すグ
ラフである。
【図１４】テレシネ変換映像以外の通常映像において、
シーンチェンジが発生した場合のＭＩＮの変化を示すグ
ラフである。
【図１５】入力映像信号がテレシネ変換映像以外の通常
映像である場合のシーンチェンジ検出処理手順を示すフ
ローチャートである。
【図１６】テレシネ変換映像において、シーンチェンジ
が発生した場合のＭＩＮの変化を示すグラフである。
【図１７】テレシネ変換映像において、シーンチェンジ
が発生した場合のＭＩＮの変化を示すグラフである。
【図１８】入力映像信号がテレシネ変換映像である場合
のシーンチェンジ検出処理手順を示すフローチャートで
ある。
【図１９】入力映像信号がテレシネ変換映像である場合
のシーンチェンジ検出処理手順を示すフローチャートで
ある。
【符合の説明】
２ 映像切換回路 ５ フィールドメモリ ６ メモリ制御回路 ７ 動きベクトル検出回路 ８ ＣＰＵ １３ 比較器 １５ ＣＰＵ ２１ 垂直同期検出回路 ２２ ＣＰＵ ２３ チャンネル切換信号入力端子 ２４ ソース切換信号入力端子
───────────────────────────────────────────────────── フロントページの続き (72)発明者 飯沼 俊哉 大阪府守口市京阪本通２丁目５番５号 三洋電機株式会社内 (72)発明者 森 幸夫 大阪府守口市京阪本通２丁目５番５号 三洋電機株式会社内 (72)発明者 岡田 誠司 大阪府守口市京阪本通２丁目５番５号 三洋電機株式会社内 (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 13/00 - 15/00

Claims (25)

    (57)【特許請求の範囲】
  1. 【請求項１】 ２次元映像を一方の目用の映像とし、上
    記２次元映像を所定フィールド遅延させた映像を他方の
    目用の映像とすることにより、２次元映像から３次元映
    像を生成する方法において、上記２次元映像におけるシ
    ーンの変化の有無を判定し、シーンの変化が有ると判定
    した場合に上記フィールド遅延の遅延量を所定値にする
    ことを特徴とする２次元映像から３次元映像を生成する
    方法。
  2. 【請求項２】 上記シーンの変化の有無の判定を、上記
    ２次元映像の動きベクトルを検出することにより行うこ
    とを特徴とする請求項１記載の２次元映像から３次元映
    像を生成する方法。
  3. 【請求項３】 あるフィールドの映像の動きベクトル
    が、前後のフィールドの映像の動きベクトルに対して所
    定以上の大きさであるフィールドを検出した場合にシー
    ンの変化が有ると判定することを特徴とする請求項２記
    載の２次元映像から３次元映像を生成する方法。
  4. 【請求項４】 第ｔフィールドの映像の動きベクトルを
    ＭＸ（ｔ）とし、第ｔフィールドよりも２フィールド前
    から所定フィールド（ただし、２フィールド以上）前ま
    での動きベクトルの平均値をＭＸave （ｔ−２）とした
    場合、下記の数式１を満足した際に、第（ｔ−１）フィ
    ールドの映像の動きベクトルが、前後のフィールドの動
    きベクトルに対して所定以上の大きさであると判断する
    ことを特徴とする請求項３記載の２次元映像から３次元
    映像を生成する方法。 【数１】
  5. 【請求項５】 上記映像の動きベクトルを検出する領域
    が、複数設定されていることを特徴とする請求項２、３
    および４のいずれかに記載の２次元映像から３次元映像
    を生成する方法。
  6. 【請求項６】 上記映像の動きベクトルを検出する領域
    が、複数設定されており、上記動きベクトルＭＸ（ｔ）
    が、上記複数の領域の動きベクトルの総和であることを
    特徴とする請求項４記載の２次元映像から３次元映像を
    生成する方法。
  7. 【請求項７】 第ｔフィールドにおける動きベクトルの
    総和ＭＸ（ｔ）が、下記の数式２で表されるＭＸ（ｔ）
    であることを特徴とする請求項６記載の２次元映像から
    ３次元映像を生成する方法。 【数２】
  8. 【請求項８】 あるフィールドに対する前のフィールド
    の映像の動きベクトルを、数フィールドの映像の動きベ
    クトルの平均値ＭＸave （ｔ）としたことを特徴とする
    請求項３記載の２次元映像から３次元映像を生成する方
    法。
  9. 【請求項９】 第ｔフィールドから所定フィールド前ま
    での映像の動きベクトルの平均値ＭＸave （ｔ）が、下
    記の数式３で表されるＭＸave （ｔ）であることを特徴
    とする請求項４および８のいずれかに記載の２次元映像
    から３次元映像を生成する方法。 【数３】
  10. 【請求項１０】 シーンの変化が有ると判断した場合
    に、シーンが変化する前の映像に関して確保している情
    報を消去することを特徴とする請求項４、８および９の
    いずれかに記載の２次元映像から３次元映像を生成する
    方法。
  11. 【請求項１１】 上記シーンの変化の有無の判定を、上
    記２次元映像の輝度レベルを検出することにより行うこ
    とを特徴とする請求項１記載の２次元映像から３次元映
    像を生成する方法。
  12. 【請求項１２】 上記輝度レベルの変化量がしきい値よ
    りも大きい場合にシーンの変化が有ると判定することを
    特徴とする請求項１１記載の２次元映像から３次元映像
    を生成する方法。
  13. 【請求項１３】 上記シーンの変化の有無の判定を、上
    記２次元映像の色レベルを検出することにより行うこと
    を特徴とする請求項１記載の２次元映像から３次元映像
    を生成する方法。
  14. 【請求項１４】 上記シーンの変化の有無の判定を、上
    記２次元映像の信号の同期信号を検出することにより行
    うことを特徴とする請求項１記載の２次元映像から３次
    元映像を生成する方法。
  15. 【請求項１５】 上記２次元映像の信号の同期が外れた
    場合にシーンの変化があると判定することを特徴とする
    請求項１４記載の２次元映像から３次元映像を生成する
    方法。
  16. 【請求項１６】 上記シーンの変化の有無の判定を、受
    信チャンネル切り換え時に発生するチャンネル切換信号
    の検出、あるいは映像ソース切り換え時に発生するソー
    ス切換信号の検出により行うことを特徴とする請求項１
    記載の２次元映像から３次元映像を生成する方法。
  17. 【請求項１７】 上記２次元映像がテレシネ変換映像で
    あり、上記シーンの変化の有無の判定を、テレシネ変換
    映像の動きベクトルに関する値を検出することにより行
    なうことを特徴とする請求項１に記載の２次元映像から
    ３次元映像を生成する方法。
  18. 【請求項１８】 上記シーンの変化の有無の判定を、テ
    レシネ変換映像のコマが変化したフィールドで検出され
    た動きベクトルに関する値に基づいて行なうことを特徴
    とする請求項１７に記載の２次元映像から３次元映像を
    生成する方法。
  19. 【請求項１９】 テレシネ変換映像のコマが変化した所
    定フィールドで検出された動きベクトルに関する値が、
    その１つ前のコマが変化したフィールドで検出された動
    きベクトルに関する値に対して、所定以上の大きさであ
    るときに、上記所定フィールドにおいてシーンが変化し
    たと判定する請求項１８に記載の２次元映像から３次元
    映像を生成する方法。
  20. 【請求項２０】 テレシネ変換映像のコマが変化した所
    定フィールドで検出された動きベクトルに関する値が、
    その１つ前のコマが変化したフィールドで検出された動
    きベクトルに関する値およびその２つ前のコマが変化し
    たフィールドで検出された動きベクトルに関する値に対
    して、所定以上の大きさであるときに、上記所定フィー
    ルドにおいてシーンが変化したと判定する請求項１８に
    記載の２次元映像から３次元映像を生成する方法。
  21. 【請求項２１】 テレシネ変換映像のコマが変化した所
    定フィールドで検出された動きベクトルに関する値が、
    その１つ前のコマが変化したフィールドで検出された動
    きベクトルに関する値およびその２つ前のコマが変化し
    たフィールドで検出された動きベクトルに関する値に対
    して、所定以上の大きさであり、かつコマが変化した上
    記所定フィールドで検出された動きベクトルに関する値
    と、その１つ前のコマが変化したフィールドで検出され
    た動きベクトルに関する値との差の絶対値が、上記１つ
    前のコマが変化したフィールドで検出された動きベクト
    ルに関する値と上記２つ前のコマが変化したフィールド
    で検出された動きベクトルに関する値との差の絶対値以
    上大きいときに、上記所定フィールドにおいてシーンが
    変化したと判定する請求項１８に記載の２次元映像から
    ３次元映像を生成する方法。
  22. 【請求項２２】 テレシネ変換映像のコマが変化した第
    １の所定フィールドで検出された動きベクトルに関する
    値が、その１つ前のコマが変化したフィールドで検出さ
    れた動きベクトルに関する値に対して、所定以上の大き
    さであるときに、上記第１の所定フィールドにおいてシ
    ーンが変化したと判定するステップと、 テレシネ変換映像の現フィールドより１つ前の第２の所
    定フィールドで検出された動きベクトルに関する値が、
    上記現フィールドで検出された動きベクトルに関する値
    に対して所定以上の大きさであり、かつ上記第２の所定
    フィールドで検出された動きべクトルに関する値が、そ
    の１つ前のフィールドで検出された動きべクトルに関す
    る値に対して所定以上の大きさである場合において、そ
    の後にテレシネ変換映像のコマが変化したフィールドま
    での各フィールドにわたって、上記第２の所定フィール
    ドで検出された動きベクトルに関する値が、その後の各
    フィールドで検出された動きベクトルに関する値に対し
    て所定以上の大きさであるときに、上記第２の所定フィ
    ールドでシーンが変化したと判定するステップと、 を備えている請求項１７に記載の２次元映像から３次元
    映像を生成する方法。
  23. 【請求項２３】 テレシネ変換映像のコマが変化した第
    １の所定フィールドで検出された動きベクトルに関する
    値が、その１つ前のコマが変化したフィールドで検出さ
    れた動きベクトルに関する値およびその２つ前のコマが
    変化したフィールドで検出された動きベクトルに関する
    値に対して、所定以上の大きさであるときに、上記第１
    の所定フィールドにおいてシーンが変化したと判定する
    ステップと、 テレシネ変換映像の現フィールドより１つ前の第２の所
    定フィールドで検出された動きベクトルに関する値が、
    上記現フィールドで検出された動きベクトルに関する値
    に対して所定以上の大きさであり、かつ上記第２の所定
    フィールドで検出された動きべクトルに関する値が、そ
    の１つ前のフィールドで検出された動きべクトルに関す
    る値に対して所定以上の大きさである場合において、そ
    の後にテレシネ変換映像のコマが変化したフィールドま
    での各フィールドにわたって、上記第２の所定フィール
    ドで検出された動きベクトルに関する値が、その後の各
    フィールドで検出された動きベクトルに関する値に対し
    て所定以上の大きさであるときに、上記第２の所定フィ
    ールドでシーンが変化したと判定するステップと、 を備えている請求項１７に記載の２次元映像から３次元
    映像を生成する方法。
  24. 【請求項２４】 テレシネ変換映像のコマが変化した第
    １の所定フィールドで検出された動きベクトルに関する
    値が、その１つ前のコマが変化したフィールドで検出さ
    れた動きベクトルに関する値およびその２つ前のコマが
    変化したフィールドで検出された動きベクトルに関する
    値に対して、所定以上の大きさであり、かつコマが変化
    した上記第１の所定フィールドで検出された動きベクト
    ルに関する値と、その１つ前のコマが変化したフィール
    ドで検出された動きベクトルに関する値との差の絶対値
    が、上記１つ前のコマが変化したフィールドで検出され
    た動きベクトルに関する値と上記２つ前のコマが変化し
    たフィールドで検出された動きベクトルに関する値との
    差の絶対値以上大きいときに、上記第１の所定フィール
    ドにおいてシーンが変化したと判定するステップと、 テレシネ変換映像の現フィールドより１つ前の第２の所
    定フィールドで検出された動きベクトルに関する値が、
    上記現フィールドで検出された動きベクトルに関する値
    に対して所定以上の大きさであり、かつ上記第２の所定
    フィールドで検出された動きべクトルに関する値が、そ
    の１つ前のフィールドで検出された動きべクトルに関す
    る値に対して所定以上の大きさである場合において、そ
    の後にテレシネ変換映像のコマが変化したフィールドま
    での各フィールドにわたって、上記第２の所定フィール
    ドで検出された動きベクトルに関する値が、その後の各
    フィールドで検出された動きベクトルに関する値に対し
    て所定以上の大きさであるときに、上記第２の所定フィ
    ールドでシーンが変化したと判定するステップと、 を備えている請求項１７に記載の２次元映像から３次元
    映像を生成する方法。
  25. 【請求項２５】 動きベクトルに関する値が、代表点マ
    ッチング法による動きベクトル検出時に得られる相関累
    積値の最小値であることを特徴とする請求項１７、１
    ８、１９、２０、２１、２２、２３および２４のいずれ
    かに記載の２次元映像から３次元映像を生成する方法。
JP7132437A 1994-07-14 1995-05-30 ２次元映像から３次元映像を生成する方法 Expired - Fee Related JP2846840B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP7132437A JP2846840B2 (ja) 1994-07-14 1995-05-30 ２次元映像から３次元映像を生成する方法
US08/500,620 US5808664A (en) 1994-07-14 1995-07-11 Method of converting two-dimensional images into three-dimensional images
KR1019950020551A KR100350191B1 (ko) 1994-07-14 1995-07-13 2차원영상을3차원영상으로변환하는방법
DE69523674T DE69523674T2 (de) 1994-07-14 1995-07-14 Verfahren zum Umsetzen von zweidimensionalen Bildern in dreidimensionalen Bilder
EP95111094A EP0692917B1 (en) 1994-07-14 1995-07-14 Method of converting two-dimensional images into three-dimensional images

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP16226094 1994-07-14
JP6-162260 1994-09-22
JP6-228186 1994-09-22
JP22818694 1994-09-22
JP7132437A JP2846840B2 (ja) 1994-07-14 1995-05-30 ２次元映像から３次元映像を生成する方法

Publications (2)

Publication Number Publication Date
JPH08149514A JPH08149514A (ja) 1996-06-07
JP2846840B2 true JP2846840B2 (ja) 1999-01-13

Family

ID=27316498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7132437A Expired - Fee Related JP2846840B2 (ja) 1994-07-14 1995-05-30 ２次元映像から３次元映像を生成する方法

Country Status (5)

Country Link
US (1) US5808664A (ja)
EP (1) EP0692917B1 (ja)
JP (1) JP2846840B2 (ja)
KR (1) KR100350191B1 (ja)
DE (1) DE69523674T2 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396328B2 (en) 2001-05-04 2013-03-12 Legend3D, Inc. Minimal artifact image sequence depth enhancement system and method
US7907793B1 (en) 2001-05-04 2011-03-15 Legend Films Inc. Image sequence depth enhancement system and method
US6049363A (en) * 1996-02-05 2000-04-11 Texas Instruments Incorporated Object detection method and system for scene change analysis in TV and IR data
JP3781210B2 (ja) * 1996-04-05 2006-05-31 ソニー株式会社 立体視化装置及び立体視化方法
US6031564A (en) * 1997-07-07 2000-02-29 Reveo, Inc. Method and apparatus for monoscopic to stereoscopic image conversion
JP4056154B2 (ja) * 1997-12-30 2008-03-05 三星電子株式会社 ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
JP2984247B2 (ja) * 1998-03-17 1999-11-29 日本放送協会 高速画像再生方法および装置
DE10016074B4 (de) * 2000-04-01 2004-09-30 Tdv Technologies Corp. Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern
US7254265B2 (en) * 2000-04-01 2007-08-07 Newsight Corporation Methods and systems for 2D/3D image conversion and optimization
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US6714594B2 (en) * 2001-05-14 2004-03-30 Koninklijke Philips Electronics N.V. Video content detection method and system leveraging data-compression constructs
DE10128530A1 (de) * 2001-06-13 2002-12-19 Basf Ag Kühlmittel für Kühlsysteme in Brennstoffzellenantrieben enthaltend Azolderivate
CN1295655C (zh) * 2001-11-24 2007-01-17 Tdv技术公司 从2d图像序列生成立体图像序列
KR100491440B1 (ko) * 2002-05-22 2005-05-25 최명렬 3차원 영상신호 변환장치
JP4120265B2 (ja) * 2002-05-23 2008-07-16 ソニー株式会社 信号処理装置およびその方法、並びにそのプログラム
US20090219383A1 (en) * 2007-12-21 2009-09-03 Charles Gregory Passmore Image depth augmentation system and method
US20090295791A1 (en) * 2008-05-29 2009-12-03 Microsoft Corporation Three-dimensional environment created from video
US20090315980A1 (en) * 2008-06-24 2009-12-24 Samsung Electronics Co., Image processing method and apparatus
US20090317062A1 (en) * 2008-06-24 2009-12-24 Samsung Electronics Co., Ltd. Image processing method and apparatus
KR20100002032A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
US20090315981A1 (en) * 2008-06-24 2009-12-24 Samsung Electronics Co., Ltd. Image processing method and apparatus
WO2011014419A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
TW201114244A (en) * 2009-10-15 2011-04-16 Chunghwa Picture Tubes Ltd Method for generating a 3D image
JP5521913B2 (ja) 2009-10-28 2014-06-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US9344701B2 (en) 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
US9185388B2 (en) 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
JP2012161012A (ja) * 2011-02-02 2012-08-23 Canon Inc 動画記録装置
US9113130B2 (en) 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US8681182B2 (en) 2011-04-19 2014-03-25 Deluxe 3D Llc Alternate viewpoint rendering
JP5058354B1 (ja) * 2011-04-19 2012-10-24 株式会社東芝 電子機器、表示制御方法及びプログラム
JP2013054238A (ja) * 2011-09-05 2013-03-21 Sony Corp 表示制御装置、表示制御方法、およびプログラム
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
CN112188181B (zh) * 2019-07-02 2023-07-04 中强光电股份有限公司 图像显示设备、立体图像处理电路及其同步信号校正方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE411400B (sv) * 1977-11-02 1979-12-17 Saab Scania Ab For foljning av ett objekt avsedd korrelationsfoljare
US4562463A (en) * 1981-05-15 1985-12-31 Stereographics Corp. Stereoscopic television system with field storage for sequential display of right and left images
JPS60168276A (ja) * 1984-02-13 1985-08-31 Kokusai Denshin Denwa Co Ltd <Kdd> 画面上の移動体の動き方向検出方式
DE3415685A1 (de) * 1984-04-27 1985-11-07 Licentia Patent-Verwaltungs-Gmbh, 6000 Frankfurt Verfahren zur szenenwechselerkennung in filmen und videoaufzeichnungen sowie zur ueberwachung von objekten mittels videokameras
AU579550B2 (en) * 1985-06-10 1988-11-24 Nec Corporation Movement compensation predictive encoder for a moving picture signal with a reduced amount of information
US4754327A (en) * 1987-03-20 1988-06-28 Honeywell, Inc. Single sensor three dimensional imaging
US4807024A (en) * 1987-06-08 1989-02-21 The University Of South Carolina Three-dimensional display methods and apparatus
EP0318570A1 (en) * 1987-06-22 1989-06-07 Aspex Limited Recording and reproduction of images
FR2654291B1 (fr) * 1989-11-03 1992-02-21 Pochet Roger Procede de creation temporelle de couples d'images stereoscopiques, et dispositif mettant en óoeuvre un tel procede.
FR2671682B1 (fr) * 1991-01-16 1993-04-30 France Telecom Une methode de codage multi-voies.
US5473369A (en) * 1993-02-25 1995-12-05 Sony Corporation Object tracking apparatus
US5510832A (en) * 1993-12-01 1996-04-23 Medi-Vision Technologies, Inc. Synthesized stereoscopic imaging system and method

Also Published As

Publication number Publication date
EP0692917B1 (en) 2001-11-07
DE69523674T2 (de) 2002-08-14
US5808664A (en) 1998-09-15
EP0692917A1 (en) 1996-01-17
JPH08149514A (ja) 1996-06-07
DE69523674D1 (de) 2001-12-13
KR960006661A (ko) 1996-02-23
KR100350191B1 (ko) 2002-12-28

Similar Documents

Publication Publication Date Title
JP2846840B2 (ja) ２次元映像から３次元映像を生成する方法
JP2951230B2 (ja) ２次元映像から３次元映像を生成する方法
US5739844A (en) Method of converting two-dimensional image into three-dimensional image
KR100381348B1 (ko) 2차원 영상을 3차원 영상으로 변환하는 방법
JP2846830B2 (ja) ２次元映像を３次元映像に変換する方法
US7254265B2 (en) Methods and systems for 2D/3D image conversion and optimization
US9565415B2 (en) Method of presenting three-dimensional content with disparity adjustments
US8115866B2 (en) Method for detecting film pulldown cadences
GB2478157A (en) Method and apparatus for cutting between a first and second image sequence in a stereoscopic video
US20120293622A1 (en) Stereoscopic video processing apparatus, method, and program
JP3423189B2 (ja) ディジタル立体放送によるテロップ表示装置
US20210160473A1 (en) Information processing apparatus, information processing method, video processing system, and storage medium
US9025011B2 (en) Image capturing apparatus, playback apparatus, control method, image capturing system and recording medium
JP3249335B2 (ja) ３次元映像変換方法
KR100574503B1 (ko) 필름모드 판별장치 및 그 방법
JP3096622B2 (ja) ２次元映像を３次元映像に変換する方法
JP3234412B2 (ja) 動きベクトル検出装置
JPH08149387A (ja) 動き情報表示装置
JPH08289328A (ja) ２次元映像を３次元映像に変換する方法
JPH07226958A (ja) 立体映像表示方式
JP2003052056A (ja) 映像タイミング差検出方法、映像補正方法、映像タイミング差検出装置、映像補正装置及びそれらを用いた記録再生装置、受像機
JP3108287B2 (ja) ２次元映像を３次元映像に変換する方法
JPH09179880A (ja) 動画像の重要画像抽出装置および重要画像抽出方法
JP2846834B2 (ja) ２次元映像を３次元映像に変換する方法
JP3442145B2 (ja) テレビジョン映像信号の境界位置検出装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071030

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081030

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081030

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091030

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101030

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101030

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111030

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 14

LAPS Cancellation because of no payment of annual fees