JP2846843B2 - 2次元映像を3次元映像に変換する方法 - Google Patents

2次元映像を3次元映像に変換する方法

Info

Publication number
JP2846843B2
JP2846843B2 JP7187314A JP18731495A JP2846843B2 JP 2846843 B2 JP2846843 B2 JP 2846843B2 JP 7187314 A JP7187314 A JP 7187314A JP 18731495 A JP18731495 A JP 18731495A JP 2846843 B2 JP2846843 B2 JP 2846843B2
Authority
JP
Japan
Prior art keywords
image
motion
video signal
video
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP7187314A
Other languages
English (en)
Other versions
JPH0937300A (ja
Inventor
晋 棚瀬
俊行 沖野
俊哉 飯沼
周悟 山下
秀和 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Denki Co Ltd
Original Assignee
Sanyo Denki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Denki Co Ltd filed Critical Sanyo Denki Co Ltd
Priority to JP7187314A priority Critical patent/JP2846843B2/ja
Priority to KR1019960011362A priority patent/KR100381348B1/ko
Priority to US08/633,036 priority patent/US5777666A/en
Publication of JPH0937300A publication Critical patent/JPH0937300A/ja
Application granted granted Critical
Publication of JP2846843B2 publication Critical patent/JP2846843B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、VTR、ビデオカ
メラ等から出力されたり、CATV放送、TV放送等に
よって伝送されてきたりする2次元映像を3次元映像に
変換する方法に関する。
【0002】
【従来の技術】最近、話題になっている3次元映像表示
システムに使用される3次元映像ソフトは、その大半が
3次元映像表示システム用に特別に作成されたものであ
る。このような3次元映像ソフトは、一般には2台のカ
メラを用いて左目用映像と右目用映像映像とを撮像して
記録されたものである。3次元映像ソフトに記録された
左右の映像は、ほぼ同時に表示装置に重ね合わされて表
示される。そして、重ね合わされて表示される左目用映
像と右目用映像とを、観察者の左右の目にそれぞれ別々
に入射させることによって、観察者に3次元映像が認識
される。
【0003】ところで、現在、2次元映像ソフトが多数
存在している。従って、これらの2次元映像ソフトから
3次元映像ソフトを生成することができれば、既存の2
次元映像ソフトと同じ内容の3次元映像ソフトを最初か
ら作り直すといった手間が省ける。
【0004】このようなことから、2次元映像を3次元
映像に変換する方法がすでに提案されている。2次元映
像を3次元映像に変換する従来方法として、次のような
ものが挙げられる。即ち、左から右方向に移動する物体
が映っている2次元映像の場合、この元の2次元映像を
左目用映像とし、この左目用映像に対して数フィールド
の映像を右目用映像とする方法である。このようにする
と、左目用映像と右目用映像との間に視差が生じるの
で、この両映像をほぼ同時に画面上に表示することによ
り、移動する物体が背景に対して前方に浮き出て見え
る。
【0005】尚、左目用映像に対して数フィールドの映
像は、元の2次元映像をフィールドメモリに記憶させ、
所定フィールド遅延して読み出すことにより得られる。
そして、この遅延量は映像の動きベクトルの水平成分の
大きさに応じて決定される。即ち、動きの速い映像に対
しては遅延量が少なく、動きの遅い映像に対しては遅延
量が多く設定される。
【0006】以上のような、従来方法をフィールド遅延
方式ということにする。
【0007】
【発明が解決しようとする課題】上記従来方法におい
て、遅延量の決定は次のようにして行われる。即ち、ま
ず、画像の動きベクトルを代表点マッチング法により検
出する。
【0008】ここで、代表点マッチング法について、簡
単に説明する。図3に示すように、各フィールドの映像
エリア100内に、複数の動きベクトル検出領域E1〜
E12が設定されている。各動きベクトル検出領域の大
きさは同じである。また各動きベクトル検出領域は、図
4に示すように、更に複数の小領域eに分割されてい
る。そして、図5に示すように、各小領域eそれぞれ
に、複数のサンプリング点Sと1つの代表点Rとが設定
されている。
【0009】現フィールドにおける小領域e内の各サン
プリング点Sの映像信号レベルと、前フィールドにおけ
る対応する小領域の代表点Rの映像信号レベルとの差
(各サンプリング点における相関値)が、各動きベクト
ル検出領域E1〜E12毎に求められる。そして、各動
きベクトル検出領域E1〜E12毎に、動きベクトル検
出領域内の全ての小領域間において、代表点Rに対する
偏位が同じサンプリング点同志の相関値が累積加算され
る。従って、各動きベクトル検出領域E1〜E12毎
に、1つの小領域e内のサンプリング点の数に応じた数
の相関累積値が求められる。
【0010】各動きベクトル検出領域E1〜E12にお
いて、相関累積値が最小となる点の偏位、即ち相関性が
最も高い点の偏位が当該動きベクトル検出領域E1〜E
12の動きベクトル(被写体の動き)として抽出され
る。
【0011】このようにして抽出された各検出領域毎の
動きベクトルは平均され、この平均動きベクトルに基づ
いて目標遅延量が決定される。即ち、動きベクトルが大
きい場合には、遅延量を小さく、動きベクトルが小さい
場合には、遅延量を大きくすることにより、常に視差量
が一定となるように制御される ところで、画像の種類によっては、例えば、走っている
人物の手足などのように局部的に且つ一定周期の反復運
動がある場合に遅延がかかると、左右の映像間に局部的
に位置のずれが生じるためこれを左右の目でそれぞれ同
時に見ると、二重像となり非常に見ずらい画面となって
いた。
【0012】この発明は、画像に局部的な反復動きがあ
った場合でも二重像が目立つこと無く良好な立体視が可
能な2次元映像を3次元映像に変換する方法を提供する
ものである。
【0013】
【課題を解決するための手段】本発明は、2次元映像信
号から、主映像信号と、主映像信号に対して遅延された
副映像信号とを生成することにより、2次元映像を3次
元映像に変換する方法であって、主映像信号に対する副
映像信号の遅延量が主映像の水平方向の動きの速度に応
じて変換せしめられる2次元映像を3次元映像に変換す
る方法において、主映像から検出された動きベクトルに
基づいて、反復する動きを検出したとき前記遅延量を制
限する。
【0014】また、前記動きベクトルを第1の所定期間
に亘って累積した第1累積和と、前記動きベクトルを前
記第1の所定期間より長い第2の所定期間に亘って累積
した第2累積値との積が0より小さいとき、前記反復す
る動きと判断する。
【0015】また、前記動きベクトルを第1の所定期間
に亘って累積した第1累積和の絶対値が、前記動きベク
トルを前記第1の所定期間より長い第2の所定期間に亘
って累積した第2累積値の絶対値よりも大きいとき、前
記反復する動きと判断する。
【0016】
【発明の実施の形態】以下、図面に従って本発明の一実
施例を説明する。図1は、2次元映像を3次元映像に変
換するための2D/3D変換装置の構成を示している。
【0017】この2D/3D変換装置は、フィールド遅
延方式によって左目映像と右目映像とを生成することに
より視差を発生させ、生成された左目映像と右目映像の
両方または一方に位相ずらしを施すことにより、被写体
と基準スクリーン面との位置関係を変化させる。
【0018】入力端子1には、2次元映像信号aが入力
される。この2次元映像信号aは、動きベクトル検出回
路16、複数のフィールドメモリ11および映像切換回
路13にそれぞれ送られる。
【0019】動きベクトル検出回路16は、周知の代表
点マッチングに基づいて、動きベクトルを検出するため
のデータを生成するものである。動きベクトル検出回路
16によって生成されたデータは、CPU20に送られ
る。
【0020】フィールドメモリ11は、2次元映像信号
aをフィールド単位で遅延させて出力させるために設け
られており、複数個設けられている。各フィールドメモ
リ11の書き込み及び読み出しは、メモリ制御回路24
によって制御される。
【0021】フィールドメモリ11の出力b(遅延され
た2次元映像信号)は、映像切換回路13及び補間回路
12にそれぞれ送られる。補間回路12は、入力信号b
に対して、垂直方向の補間信号を生成するものである。
補間回路12の出力c(遅延された2次元映像信号の垂
直方向補間信号)は、映像切換回路13に送られる。
【0022】従って、映像切換回路13には、入力2次
元映像信号a、遅延された2次元映像信号b及び遅延さ
れた2次元映像信号bの垂直方向補間信号cが入力され
る。映像切換回路13は、左画像用位相制御回路14と
右画像用位相制御回路15とに対し、信号b及び信号c
のうちの一方の信号(副映像信号)と、信号a(主映像
信号)とを、被写体の動き方向に応じて切り換えて出力
する。ただし、遅延量が0の場合には、左画像用位相制
御回路14と右画像用位相制御回路15との両方に、信
号aが送られる。
【0023】信号b及び信号cのうちから一方の選択
は、2次元映像信号aが奇数フィールドか偶数フィール
ドかに基づいて行われる。即ち、信号b及び信号cのう
ち、2次元映像信号aのフィールド種類(奇数フィール
ドか偶数フィールド)に対応するものが選択される。映
像切換回路13による映像の切り換えは、CPU20に
よって制御される。
【0024】各位相制御回路14、15は入力される映
像信号の位相をずらすことにより、入力される映像の表
示位置を水平方向に移動させるために設けられている。
位相のずらし量及びずらし方向は、メモリ制御回路24
によって制御される。左画像用位相制御回路14の出力
は、左画像出力端子2に送られる。また、右画像用位相
制御回路15の出力は、右画像出力端子3に送られる。
【0025】CPU20は、メモリ制御回路24及び映
像切換回路13を制御する。CPU20は、そのプログ
ラム等を記憶するROM21及び必要なデータを記憶す
るRAM22を備えている。CPU20には、動きベク
トル検出回路16から動きベクトル検出に必要なデータ
が送られてくる。また、CPU20には、各種入力手段
及び表示器を備えた操作・表示部23が接続されてい
る。
【0026】CPU20は、動きベクトルに基づいて、
フィールドメモリ11による遅延フィールド数(遅延
量)を算出する。つまり、原則的には動きベクトルが大
きい場合には、遅延量が小さくなるように、動きベクト
ルが小さい場合には、遅延量が大きくなるように、遅延
量を決定する。
【0027】また、CPU20は、動きベクトルの方向
に基づいて、映像切換回路13を制御する。つまり、動
きベクトルの方向が左から右の場合には、入力された2
次元映像信号aを左目用位相制御回路14に、遅延され
た2次元映像信号bまたはcを右目用位相制御回路15
に送る。動きベクトルの方向が右から左の場合には、入
力された2次元映像信号aを右目用位相制御回路14
に、遅延された2次元映像信号bまたはcを左目用位相
制御回路15に送る。
【0028】この2D/3D変換装置では、フィールド
遅延方式によって左目用画像と右目用画像とを生成する
ことにより視差を発生させ、生成された左目用画像と右
目用画像の両方または一方に位相ずらしを施すことによ
り、被写体と基準スクリーン面との関係を変化させてい
る。
【0029】図2はCPUによる遅延量制限のフローチ
ャートを示す。まず、ステップS1では複数ある動きベ
クトルの検出領域のうち動きのある領域を検出する。即
ち、各検出領域から検出される相関値の10フィールド
の積算値の平均値の1.5倍に対して当該検出領域の1
0フィールドの積算値が大きい場合で、且つ、10フィ
ールドの積算値の絶対値が所定値(例えば、1000)
以上のとき、動きがある検出領域として検出する。
【0030】次に、ステップS2で、前記検出領域での
動きベクトルの、ある時点から5フィールド間の累積和
(a5)及び10フィールド間の累積和(a10)を計
算する。
【0031】そして、ステップS3で、a5×a10<
0かどうかを判断する。これはa5とa10とで方向反
転のために符号が反転した場合に反復動きを判別するも
のであり、YESの場合、ステップS5へ進み、NOの
場合、ステップS4へ進む。
【0032】ステップS4では、|a5|>|a10|
かどうかを判断する。これは、累積途中で符号が反転す
れば、長い期間の累積和のほうが小さくなることがあ
り、これにより反復動きを判別するものであり、YES
の場合、ステップS5へ進み、NOの場合、反復動きは
無かったものとして、あらかじめ動きベクトルに基づき
決定された目標遅延量は変更しない。
【0033】一方、ステップS5では反復動きがあった
ものとして、遅延量に制限を加える。即ち、動きベクト
ルに基づき決定された目標遅延量が、0〜2フィールド
の場合は、0フィールド、目標遅延量が3〜6フィール
ドの場合は1フィールドに目標値を制限する。尚、この
場合、当初の目標遅延量は最大が6フィールドとする。
【0034】そして、上述の処理は10フィールド毎に
行われる。このようにして、画像に局部的に反復動きが
生じた場合は、遅延フィールド数が自動的に制限される
ため、一時的に左右の視差量が減少することになるが、
二重像を効果的に防止することができる。
【0035】
【発明の効果】上述の如く本発明によれば、画像に局部
的な反復動きがあった場合、自動的に遅延フィールド数
が制限されるため、二重像が目立つこと無く全体として
見易い立体画像を提供することができる。
【図面の簡単な説明】
【図1】2D/3D変換装置の構成を示すブロック図で
ある
【図2】CPUによる遅延量制限処理を示すフルーチャ
ートである。
【図3】複数の動きベクトル検出領域を示す模式図であ
る。
【図4】動きベクトル検出領域内の複数の小領域を示す
模式図である。
【図5】小領域内に設定される複数のサンプリング点S
と代表点Rとを示す模式図である。
【符号の説明】
11 フィールドメモリ 12 補間回路 13 映像切換回路 14、15 位相制御回路 16 動きベクトル検出回路 20 CPU 21 ROM 22 RAM 23 操作・表示部 24 メモリ制御回路
フロントページの続き (72)発明者 山下 周悟 大阪府守口市京阪本通2丁目5番5号 三洋電機株式会社内 (72)発明者 内田 秀和 大阪府守口市京阪本通2丁目5番5号 三洋電機ソフトウェア株式会社内 (58)調査した分野(Int.Cl.6,DB名) H04N 13/00 - 15/00

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 2次元映像信号から、主映像信号と、主
    映像信号に対して遅延された副映像信号とを生成するこ
    とにより、2次元映像を3次元映像に変換する方法であ
    って、主映像信号に対する副映像信号の遅延量が主映像
    の水平方向の動きの速度に応じて変換せしめられる2次
    元映像を3次元映像に変換する方法において、 主映像から検出された動きベクトルに基づいて、反復す
    る動きを検出したとき前記遅延量を制限することを特徴
    とする2次元映像を3次元映像に変換する方法。
  2. 【請求項2】 前記動きベクトルを第1の所定期間に亘
    って累積した第1累積和と、前記動きベクトルを前記第
    1の所定期間より長い第2の所定期間に亘って累積した
    第2累積値との積が0より小さいとき、前記反復する動
    きと判断する請求項1記載の2次元映像を3次元映像に
    変換する方法。
  3. 【請求項3】 前記動きベクトルを第1の所定期間に亘
    って累積した第1累積和の絶対値が、前記動きベクトル
    を前記第1の所定期間より長い第2の所定期間に亘って
    累積した第2累積値の絶対値よりも大きいとき、前記反
    復する動きと判断する請求項1記載の2次元映像を3次
    元映像に変換する方法。
JP7187314A 1995-04-17 1995-07-24 2次元映像を3次元映像に変換する方法 Expired - Fee Related JP2846843B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP7187314A JP2846843B2 (ja) 1995-07-24 1995-07-24 2次元映像を3次元映像に変換する方法
KR1019960011362A KR100381348B1 (ko) 1995-04-17 1996-04-16 2차원 영상을 3차원 영상으로 변환하는 방법
US08/633,036 US5777666A (en) 1995-04-17 1996-04-16 Method of converting two-dimensional images into three-dimensional images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7187314A JP2846843B2 (ja) 1995-07-24 1995-07-24 2次元映像を3次元映像に変換する方法

Publications (2)

Publication Number Publication Date
JPH0937300A JPH0937300A (ja) 1997-02-07
JP2846843B2 true JP2846843B2 (ja) 1999-01-13

Family

ID=16203840

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7187314A Expired - Fee Related JP2846843B2 (ja) 1995-04-17 1995-07-24 2次元映像を3次元映像に変換する方法

Country Status (1)

Country Link
JP (1) JP2846843B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006043016A1 (en) * 2004-10-21 2006-04-27 David Brian Woods Stereoscopic display device and method of creating pseudostereoscopic moving images
EP2852145B1 (en) * 2013-09-19 2022-03-02 Airbus Operations GmbH Provision of stereoscopic video camera views to aircraft passengers

Also Published As

Publication number Publication date
JPH0937300A (ja) 1997-02-07

Similar Documents

Publication Publication Date Title
JP2846830B2 (ja) 2次元映像を3次元映像に変換する方法
KR100381348B1 (ko) 2차원 영상을 3차원 영상으로 변환하는 방법
US6553184B1 (en) Method of converting two dimensional images into three-dimensional images
US20070269136A1 (en) Method and device for generating 3d images
US5784097A (en) Three-dimensional image display device
JP2983844B2 (ja) 3次元画像変換方法
JP2846843B2 (ja) 2次元映像を3次元映像に変換する方法
EP0746154B1 (en) A subpicture signal vertical compression circuit
JP3128467B2 (ja) 2次元映像を3次元映像に変換する方法
JP3249335B2 (ja) 3次元映像変換方法
JPH10108220A (ja) 2次元映像を3次元映像に変換する装置
JPS5967788A (ja) テレビジヨン受像機のスチル画像発生装置
JP3091659B2 (ja) 3次元画像表示方法
JPH08331598A (ja) 立体映像表示装置
JP3152556B2 (ja) 2次元画像を3次元画像に変換する方法
JP3234412B2 (ja) 動きベクトル検出装置
JP3096595B2 (ja) 立体映像発生装置
JP2846836B2 (ja) 2次元映像を3次元映像に変換する方法
JP3096593B2 (ja) 2d/3d映像変換装置におけるフィールドメモリ活用方法
JP3096622B2 (ja) 2次元映像を3次元映像に変換する方法
JP3108287B2 (ja) 2次元映像を3次元映像に変換する方法
JP3152557B2 (ja) 2次元画像を3次元画像に変換する方法
JP2846834B2 (ja) 2次元映像を3次元映像に変換する方法
JPH1169382A (ja) 2次元映像を3次元映像に変換する方法
JP3091627B2 (ja) 2次元画像を3次元画像に変換する方法及び装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071030

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081030

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081030

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091030

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101030

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101030

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111030

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 14

LAPS Cancellation because of no payment of annual fees