JPH1198530A - 2次元映像を3次元映像に変換する装置 - Google Patents

2次元映像を3次元映像に変換する装置

Info

Publication number
JPH1198530A
JPH1198530A JP9256523A JP25652397A JPH1198530A JP H1198530 A JPH1198530 A JP H1198530A JP 9256523 A JP9256523 A JP 9256523A JP 25652397 A JP25652397 A JP 25652397A JP H1198530 A JPH1198530 A JP H1198530A
Authority
JP
Japan
Prior art keywords
image
phase amount
video
parallax calculation
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9256523A
Other languages
English (en)
Other versions
JP3454684B2 (ja
Inventor
Shiyuugo Yamashita
周悟 山下
Yukio Mori
幸夫 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP25652397A priority Critical patent/JP3454684B2/ja
Priority to US09/152,328 priority patent/US6584219B1/en
Publication of JPH1198530A publication Critical patent/JPH1198530A/ja
Application granted granted Critical
Publication of JP3454684B2 publication Critical patent/JP3454684B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 【課題】 この発明は、画像歪みの少ない3次元映像が
得られる2次元映像を3次元映像に変換する装置を提供
することを目的とする。 【解決手段】 予め設定された目標位相量のダイナミッ
クレンジと奥行き情報生成手段によって生成された所定
単位領域ごとの奥行き情報とに基づいて、各視差算出領
域ごとの目標位相量を算出する目標位相量算出手段、各
視差算出領域ごとの前回の実位相量が対応する領域の目
標位相量に徐々に近づくように、各視差算出領域ごとの
今回の実位相量を算出し、得られた各視差算出領域ごと
の今回の実位相量に基づいて、1フィールド画面内の所
定単位領域ごとの今回の実位相量を求める実位相量算出
手段、ならびに2次元入力映像の各所定単位領域内の信
号から、その所定単位領域に対応する今回の実位相量に
応じた水平位相差を有する第1映像信号と第2映像信号
とをそれぞれ生成する位相制御手段を備えている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、2次元映像を3
次元映像に変換する装置に関する。
【0002】
【従来の技術】2次元映像を3次元映像に変換する方法
として、2次元映像信号から、複数のフィールドメモリ
を用いて、主映像信号と主映像信号に対して時間的に遅
延された副映像信号とを生成し、主映像信号と副映像信
号のうち、一方を左目用映像信号として出力し、他方を
右目用映像信号として出力する方法が知られている。
【0003】主映像信号に対する副映像信号の時間的な
遅れ(以下、遅延量)は、主映像の水平方向の動きの速
度に基づいて、決定される。つまり、主映像の水平方向
の動きの速度が大きい程、遅延量は小さくなる。また、
主映像と副映像とのうち、いずれを左目用映像信号と
し、いずれを右目用映像信号とするかは、主映像の水平
方向の動きの方向(左または右)に基づいて決定され
る。
【0004】このような方法は、動きのある2次元映像
のみしか3次元映像に変換することができないので、こ
の方法を動画用2D/3D映像変換方法ということにす
る。
【0005】本出願人は、動きのない2次元映像を3次
元映像に変換するための方法(以下、静止画用2D/3
D映像変換方法という)を既に開発して出願している
(特願平8−208173号、特願平9−159949
号)。ただし、これらの出願は未だ公開されていない。
【0006】この静止画用2D/3D映像変換方法は、
2次元入力映像信号に基づいて、各フィールドごとに、
1フィールド画面内に設定された複数の視差算出領域の
それぞれに対して、映像の遠近に関する画像特徴量を抽
出し、各視差算出領域ごとに抽出された画像特徴量に基
づいて、1フィールド画面内の所定単位領域ごとの視差
情報を生成し、2次元入力映像信号の各所定単位領域内
の信号から、その所定単位領域に対応する視差情報に応
じた水平位相差を有する第1映像信号と第2映像信号と
をそれぞれ生成するものである。
【0007】図1〜図34を用いて、静止画用2D/3
D映像変換方法の一例について説明する。
【0008】図1は、2次元映像を3次元映像に変換す
るための2D/3D映像変換装置の全体的な構成を示し
ている。
【0009】2次元映像信号を構成する輝度信号Y、色
差信号R−Yおよび色差信号B−Yは、AD変換回路1
(ADC)によってそれぞれディジタルのY信号、R−
Y信号およびB−Y信号に変換される。
【0010】Y信号は、高周波成分積算回路8および輝
度コントラスト算出回路9に送られるとともに、第1の
左映像用任意画素遅延FIFO11および第1の右映像
用任意画素遅延FIFO21に送られる。R−Y信号
は、R−Y成分積算回路31に送られるとともに、第2
の左映像用任意画素遅延FIFO12および第2の右映
像用任意画素遅延FIFO22に送られる。B−Y信号
は、B−Y成分積算回路32に送られるとともに、第3
の左映像用任意画素遅延FIFO13および第3の右映
像用任意画素遅延FIFO23に送られる。
【0011】高周波成分積算回路8は、1フィールド毎
に、図2に示すように、1フィールド画面内に予め設定
された複数個の視差算出領域E1〜E12それぞれに対
する高周波成分の積算値を算出する。輝度コントラスト
算出回路9は、1フィールド毎に、各視差算出領域E1
〜E12それぞれに対する輝度コントラストを算出す
る。R−Y成分積算回路31は、1フィールド毎に、各
視差算出領域E1〜E12それぞれに対するR−Y成分
の積算値を算出する。B−Y成分積算回路32は、1フ
ィールド毎に、各視差算出領域E1〜E12それぞれに
対するB−Y成分の積算値を算出する。
【0012】各視差算出領域E1〜E12それぞれに対
する高周波成分の積算値、各視差算出領域E1〜E12
それぞれに対する輝度コントラスト、各視差算出領域E
1〜E12それぞれに対するR−Y成分の積算値および
各視差算出領域E1〜E12それぞれに対するB−Y成
分の積算値は、視差算出領域E1〜E12ごとの映像の
遠近に関する画像特徴量として用いられる。
【0013】なお、1フィールド画面内には、実際に
は、図13に示すように6行10列の計60個の視差算
出領域が設定されているが、説明の便宜上、図2に示す
ように、1フィールド画面内に、3行4列の計12個の
視差算出領域E1〜E12が設定されているものとす
る。
【0014】CPU3は、高周波成分積算回路8、輝度
コントラスト算出回路9、R−Y成分積算回路31およ
びB−Y成分積算回路32から送られてきた情報に基づ
いて、各視差算出領域E1〜E12に対する視差情報を
生成する。この例では、被写体のように前側にある物体
ほど視差量が少なく、背景のように後ろ側にある物体ほ
ど視差量が大きくなるように視差情報が生成される。こ
の視差情報の生成方法の詳細については、後述する。
【0015】CPU3によって算出された各視差算出領
域E1〜E12に対する視差情報は、視差制御回路4に
送られる。視差制御回路4は、各視差算出領域E1〜E
12に対する視差情報に基づいて、各フィールドの各画
素位置ごとの視差情報を生成する。そして、得られた各
画素位置ごとの視差情報に基づいて、各FIFO11〜
13、21〜23から映像信号(Y信号、R−Y信号、
B−Y信号)を読み出す際の読み出しアドレスが左映像
用任意画素遅延FIFO11〜13と右映像用任意画素
遅延FIFO21〜23との間でずれるように、各FI
FO11〜13、21〜23の読み出しアドレスを制御
する。したがって、左映像用任意画素遅延FIFO11
〜13から読み出された左映像信号の水平位相と、右映
像用任意画素遅延FIFO21〜23から読み出された
右映像信号の水平位相が異なるようになる。
【0016】左映像用任意画素遅延FIFO11〜13
から読み出された左映像信号(YL信号、(R−Y)L
信号、(B−Y)L信号)は、DA変換回路(DAC)
5によってアナログ信号に変換された後、図示しない立
体表示装置に送られる。右映像用任意画素遅延FIFO
21〜23から読み出された右映像信号(YR信号、
(R−Y)R信号、(B−Y)R信号)は、DA変換回
路(DAC)6によってアナログ信号に変換された後、
図示しない立体表示装置に送られる。
【0017】左映像信号の水平位相と、右映像信号の水
平位相は異なっているので、左映像と右映像との間に視
差が発生する。この結果、左映像を左目のみで観察し、
右映像を右目のみで観察すると、被写体が背景に対して
前方位置にあるような立体映像が得られる。
【0018】図3は、R−Y成分積算回路31の構成を
示している。
【0019】図2においては、各視差算出領域E1〜E
12の水平方向の画素数をm、各視差算出領域E1〜E
12の垂直方向の画素数をn、第1の視差算出領域E1
の左上の座標を(a,b)として、水平位置(HAD)
および垂直位置(VAD)が表されている。
【0020】R−Y成分積算回路31は、タイミング信
号発生回路201、加算回路202およびR−Y成分積
算レジスタ群203および選択回路(SEL)204を
備えている。R−Y成分積算レジスタ群203は、各視
差算出領域E1〜E12にそれぞれ対応した第1〜第1
2のR−Y成分積算レジスタ211〜222を備えてい
る。
【0021】タイミング信号発生回路201には、入力
映像信号の水平同期信号Hsyncおよび垂直同期信号
Vsyncならびに各水平期間の水平アドレスを検出す
るためのクロック信号CLKが入力している。
【0022】タイミング信号発生回路201は、水平同
期信号Hsync、垂直同期信号Vsyncおよびクロ
ック信号CLKに基づいて、第1〜第12のイネーブル
信号EN1〜EN12、リセット信号RSTおよび出力
タイミング信号DOUTを出力する。
【0023】各イネーブル信号EN1〜EN12は、そ
れぞれ各視差算出領域E1〜E12に対応しており、常
時はLレベルであり、入力映像信号の水平垂直位置が対
応する領域内にあるときに、Hレベルとなる。第1〜第
12のイネーブル信号EN1〜EN12は、それぞれ第
1〜第12の輝度積算レジスタ211〜222に、書き
込み信号として入力している。また、第1〜第12のイ
ネーブル信号EN1〜EN12は、選択回路204にも
送られる。選択回路204は、Hレベルのイネーブル信
号に対応する入力データを選択して出力する。
【0024】リセット信号RSTは、入力映像信号にお
ける各フィールドの有効映像開始タイミングで出力さ
れ、各R−Y成分積算レジスタ211〜222に送られ
る。各R−Y成分積算レジスタ211〜222にリセッ
ト信号RSTが入力されると、その内容が0にされる。
【0025】出力タイミング信号DOUTは、図2に示
すように、入力映像信号の垂直位置が、最下段の視差算
出領域E12の下端の垂直位置を越えた時点から一定期
間だけ、Hレベルとなる。出力タイミング信号DOUT
は、CPU3に送られる。
【0026】入力映像信号における有効映像開始タイミ
ングにリセット信号が出力され、各R−Y成分積算レジ
スタ211〜222の内容が0にされる。入力映像信号
の水平垂直位置が第1の視差算出領域E1内である場合
には、第1のイネーブル信号EN1がHレベルとなるの
で、第1のR−Y成分積算レジスタ211に保持されて
いるR−Y値が選択回路204を介して加算回路202
に送られるとともに、入力映像信号におけるR−Y信号
が加算回路202に入力する。
【0027】したがって、第1の輝度積算レジスタ21
1に保持されていたR−Y値と、入力映像信号における
R−Y信号とが加算回路202によって加算され、その
加算結果が第1のR−Y成分積算レジスタ211に格納
される。つまり、入力映像信号の水平垂直位置が第1の
視差算出領域E1内である場合においては、第1の視差
算出領域E1内の画素のR−Y値が積算されていき、そ
の積算結果が第1のR−Y成分積算レジスタ211に蓄
積される。
【0028】このようにして、各視差算出領域E1〜E
12ごとのR−Y成分積算値が、対応するR−Y成分積
算レジスタ211〜222に蓄積される。そして、出力
タイミング信号DOUTがHレベルとなると、各R−Y
成分積算レジスタ211〜222に蓄積されている各視
差算出領域E1〜E12ごとのR−Y成分積算値が、C
PU3にデータバス(DATA−BUS)を介して送ら
れる。
【0029】B−Y成分積算回路32の構成も、図3の
R−Y成分積算回路31の構成と同様なので、その説明
を省略する。
【0030】図4は、高周波成分積算回路8の構成を示
している。
【0031】高周波成分積算回路8は、タイミング信号
発生回路231、ハイパスフィルタ(HPF)232、
絶対値化回路233、スライス処理回路234、加算回
路235および高周波成分積算レジスタ群236および
選択回路237を備えている。高周波成分積算レジスタ
群236は、各視差算出領域E1〜E12にそれぞれ対
応した第1〜第12の高周波成分積算レジスタ241〜
252を備えている。
【0032】タイミング信号発生回路231の入力信号
および出力信号は、図3のタイミング信号発生回路20
1の入力信号および出力信号と同じである。
【0033】ハイパスフィルタ232としては、たとえ
ば、図5に示すように、5つのDフリップフロップ26
1〜265、入力値の2倍の出力を得るためのビットシ
フト回路266、加算器267および減算器268から
なる、−1、0、2、0および−1のタップ係数を持つ
ハイパスフィルタが用いられる。
【0034】また、スライス処理回路234としては、
図6に示すような入出力特性を有する回路が用いられ
る。0〜Iaまでの入力に対しては、出力を0としてい
るのは、ノイズが高周波成分として抽出されないように
するためである。
【0035】したがって、入力映像信号におけるY信号
の高周波成分がハイパスフィルタ232によって抽出さ
れ、その絶対値が絶対値化回路233により得られ、ス
ライス処理回路234によって高周波成分の絶対値から
ノイズが除去される。
【0036】入力映像信号における有効映像開始タイミ
ングにリセット信号が出力され、各高周波成分積算レジ
スタ241〜252の内容が0にされる。入力映像信号
の水平垂直位置が第1の視差算出領域E1内である場合
には、第1のイネーブル信号EN1がHレベルとなるの
で、第1の高周波成分積算レジスタ241に保持されて
いる高周波成分が選択回路237を介して加算回路23
5に送られるとともに、入力映像信号におけるY信号の
高周波成分(スライス処理回路234の出力)が加算回
路235に入力する。
【0037】したがって、第1の高周波成分積算レジス
タ241に保持されていた高周波成分と、入力映像信号
におけるY信号の高周波成分とが加算回路235によっ
て加算され、その加算結果が第1の高周波成分積算レジ
スタ241に格納される。つまり、入力映像信号の水平
垂直位置が第1の視差算出領域E1内である場合におい
ては、第1の視差算出領域E1内の画素の高周波成分が
積算されていき、その積算結果が第1の高周波成分積算
レジスタ241に蓄積される。
【0038】このようにして、各視差算出領域E1〜E
12ごとの高周波成分の積算値が、対応する高周波成分
積算レジスタ241〜252に蓄積される。そして、出
力タイミング信号DOUTがHレベルとなると、各高周
波成分積算レジスタ241〜252に蓄積されている各
視差算出領域E1〜E12ごとの高周波成分の積算値
が、CPU3にデータバスを介して送られる。
【0039】図7は、高周波成分積算回路8の他の例を
示している。
【0040】この高周波成分積算回路8は、タイミング
信号発生回路238、ハイパスフィルタ232、ピーク
検出回路239、加算回路235、高周波成分積算レジ
スタ群236および選択回路237を備えている。
【0041】タイミング信号発生回路238は、図3の
タイミング信号発生回路201とほぼ同じであるが、図
2に示すように、入力映像信号の水平位置が、視差算出
領域E1、E5、E9の直前の水平位置および各視差算
出領域E1〜E12の最後尾の水平位置に達したとき
に、トリガパルス(領域境界信号RST1) が出力され
る点が、図3のタイミング信号発生回路201と異なっ
ている。領域境界信号RST1は、ピーク検出回路23
9に送られる。
【0042】ハイパスフィルタ232によって抽出され
たY信号の高周波成分は、ピーク検出回路239に送ら
れる。ピーク検出回路239は、各視差算出領域E1〜
E12内の各水平ラインごとに、高周波成分の最大値を
検出する。ピーク検出回路239としては、図8に示す
ように、比較回路271、最大値レジスタ272および
ゲート273を備えたものが用いられる。図9は、入力
映像信号の水平同期信号Hsync、領域境界信号RS
T1、ゲート273等の出力を示している。
【0043】最大値レジスタ272には、ハイパスフィ
ルタ232によって抽出されたY信号の高周波成分、領
域境界信号RST1、比較回路271の判定結果信号L
aおよびクロック信号CLKが入力される。比較回路2
71は、最大値レジスタ272の出力と入力映像信号に
おけるY信号の高周波成分とを比較し、Y信号の高周波
成分が最大値レジスタ272の出力より大きいときに、
判定結果信号LaをHレベルにする。
【0044】領域境界信号RST1がHレベルになる
と、最大値レジスタ272の内容は0にされる。領域境
界信号RST1がLレベルである状態において、比較回
路271からの判定結果信号LaがHレベルであれば、
Y信号の高周波成分が最大値レジスタ272に格納され
る。つまり、最大値レジスタ272の内容が更新され
る。したがって、最大値レジスタ272には、領域境界
信号RST1がLレベルである期間ごとに、入力映像信
号の水平垂直位置に対応する視差算出領域E1〜E12
内の1水平ラインの各画素に対するY信号の高周波成分
のうちの最大値が蓄積される。
【0045】ゲート273は、領域境界信号RST1が
Hレベルになると、最大値レジスタ272の出力値を出
力し、領域境界信号RST1がLレベルのときには0を
出力する。つまり、ゲート回路273からは、領域境界
信号RST1がHレベルになるごとに、最大値レジスタ
272に蓄積されていた所定の視差算出領域E1〜E1
2内の1水平ラインに対するY信号の高周波成分の最大
値が出力される。したがって、各高周波成分積算レジス
タ241〜252(図7参照)には、対応する視差算出
領域内の各水平ラインに対するY信号の高周波成分の最
大値の積算値が蓄積されることになる。
【0046】図10は、輝度コントラスト算出回路9の
構成を示している。
【0047】輝度コントラスト算出回路9は、タイミン
グ信号発生回路301および輝度コントラスト検出回路
群302を備えている。輝度コントラスト検出回路群3
02は、各視差算出領域E1〜E12にそれぞれ対応し
た第1〜第12の輝度コントラスト検出回路311〜3
22を備えている。
【0048】タイミング信号発生回路301の入力信号
および出力信号は、図3のタイミング信号発生回路20
1の入力信号および出力信号と同じである。
【0049】各輝度コントラスト検出回路311〜32
2は、図11に示すように、第1の比較回路331、最
大値レジスタ332、第2の比較回路333、最小値レ
ジスタ334および減算器335を備えている。
【0050】最大値レジスタ332には、入力映像信号
におけるY信号、当該輝度コントラスト検出回路に対応
する領域E1〜E12のイネーブル信号EN(N=1、
2…12)、リセット信号RST、第1の比較回路33
1から出力される判定信号Lbおよびクロック信号CL
Kが入力している。第1の比較回路331は、最大値レ
ジスタ332の出力値と入力映像信号におけるY信号と
を比較し、入力映像信号におけるY信号が最大値レジス
タ332の出力値より大きいときに判定信号LbをHレ
ベルにする。
【0051】リセット信号RSTがHレベルになると、
最大値レジスタ332の内容は0にされる。当該輝度コ
ントラスト検出回路に対応する領域E1〜E12のイネ
ーブル信号ENがHレベルでありかつ判定信号LbがH
レベルのときに、Y信号が最大値レジスタ332に格納
される。つまり、最大値レジスタ332の内容が更新さ
れる。したがって、出力タイミング信号DOUTが出力
される直前においては、最大値レジスタ332には、当
該輝度コントラスト検出回路に対応する視差算出領域E
1〜E12内の各画素の輝度値のうちの最大値が蓄積さ
れる。
【0052】最小値レジスタ334には、入力映像信号
におけるY信号、当該輝度コントラスト検出回路に対応
する領域E1〜E12のイネーブル信号EN(N=1、
2…12)、リセット信号RST、第2の比較回路33
3から出力される判定信号Lcおよびクロック信号CL
Kが入力している。第2の比較回路333は、最小値レ
ジスタ334の出力値と入力映像信号におけるY信号と
を比較し、入力映像信号におけるY信号が最小値レジス
タ334の出力値より小さいときに判定信号LcをHレ
ベルにする。
【0053】リセット信号RSTがHレベルになると、
最小値レジスタ334に、予め定められた最大値が設定
される。当該輝度コントラスト検出回路に対応する領域
E1〜E12のイネーブル信号ENがHレベルでありか
つ判定信号LcがHレベルのときに、Y信号が最小値レ
ジスタ334に格納される。つまり、最小値レジスタ3
34の内容が更新される。したがって、出力タイミング
信号DOUTが出力される直前においては、最小値レジ
スタ334には、当該輝度コントラスト検出回路に対応
する視差算出領域E1〜E12内の各画素の輝度値のう
ちの最小値が蓄積される。
【0054】この結果、出力タイミング信号DOUTが
出力される時点においては、減算器335の出力は、対
応する視差算出領域E1〜E12内の各画素の輝度値の
うちの最大値と最小値との差(輝度コントラスト)に対
応した値となる。そして、出力タイミング信号DOUT
が出力されると、減算器335の出力(輝度コントラス
ト)がCPU3に送られる。
【0055】図12は、CPU3によって行なわれる視
差算出領域毎の視差情報生成処理手順を示している。
【0056】分割領域毎の視差情報生成処理において
は、グループ分け処理(ステップ1)、空間分離処理
(ステップ2)、特異点処理(ステップ3)、グループ
間結合処理(ステップ4)、グループ毎の奥行き情報生
成処理(ステップ5)、全領域に対する奥行き情報補正
処理(ステップ6)、グループ境界に対する奥行き情報
補正処理(ステップ7)、グループ内部に対する奥行き
情報補正処理(ステップ8)および視差情報算出処理
(ステップ9)が行なわれる。
【0057】1フィールドに対して実際に設定されてい
る60個の視差算出領域を例にとって、視差情報生成処
理を説明する。図13は、1フィールドに対して実際に
設定されている60個の視差算出領域F1〜F60を示
している。
【0058】(1)グループ分け処理の説明
【0059】ステップ1のグループ分け処理は、1枚の
画像を構成する全領域を、その画像に含まれている物体
ごとにグループ分けすることを目的として行なわれる最
初の処理である。
【0060】グループ分けの方法には次に述べるように
2つの方法がある。
【0061】(1−1)第1方法 まず、視差算出領域F1〜F60毎に得られた高周波積
算値を、所定範囲(たとえば、0〜20)の値に正規化
する。そして、高周波積算値の各正規化値に属する視差
算出領域の数の分布(ヒストグラム)を生成する。図1
4に、生成されたヒストグラムの一例を示す。そして、
ヒストグラムの谷と谷との間の山に含まれている視差算
出領域どうしを、1つのグループとする。高周波積算値
の代わりに輝度コントラストを用いてもよい。図15
は、このようにして各視差算出領域F1〜F60が、グ
ループ分けされた結果を示している。図15において、
G1〜G4の数字は、グループ番号を示している。
【0062】(1−2)第2方法 視差算出領域F1〜F60毎に得られたR−Y成分の積
算値を、0〜20の範囲の値に正規化する。そして、R
−Y成分積算値の各正規化値に属する視差算出領域の数
の分布(ヒストグラム)を生成する。このヒストグラム
に基づいて、R−Y成分積算値の正規化値の中から、グ
ループ間の境界値を求める。
【0063】また、視差算出領域F1〜F60毎に得ら
れたB−Y成分の積算値を、0〜10の範囲の値に正規
化する。そして、B−Y成分積算値の各正規化値に属す
る視差算出領域の数の分布(ヒストグラム)を生成す
る。このヒストグラムに基づいて、B−Y成分積算値の
正規化値の中から、グループ間の境界値を求める。
【0064】そして、図16に示すように、このように
して得られた2種類の境界値を用いて、全視差算出領域
をグループ化する。図17および図18は、このように
して各視差算出領域F1〜F60が、グループ分けされ
た結果を示している。図17および図18において、G
1〜G5は、グループ番号を示している。
【0065】この例では、第2方法によってグループ分
け処理が行なわれたものとする。
【0066】(2)空間分離処理の説明
【0067】ステップ2の空間分離処理では、ステップ
1の処理によって同一のグループに属している視差算出
領域のうち、空間的に隣接している視差算出領域どうし
が1つのグループとされる。つまり、ステップ1の処理
によって同一のグループに属している視差算出領域であ
っても、空間的に他のグループによって分離されている
視差算出領域どうしは、別々のグループとされる。
【0068】具体的には、図19に示すように、ステッ
プ1において、グループ3(G3)に属するとされた視
差算出領域は、グループ31(G31)、グループ32
(G32)およびグループ33(G33)の3つのグル
ープに分離される。
【0069】(3)特異点処理の説明
【0070】この特異点処理では、1つの視差算出領域
のみで構成されているグループが存在する場合に、その
1つの視差算出領域が隣接する他のグループとは別の物
体に対応しているのか、隣接する他のグループの物体と
同じ物体に対応しているのかが判定される。
【0071】たとえば、図20に示すように、あるグル
ープが1つの視差算出領域Aのみで構成されているグル
ープであるとする。視差算出領域Aの上方向にある2つ
の視差算出領域を、視差算出領域Aに近いものからU
1、U2とする。視差算出領域Aの下方向にある2つの
視差算出領域を、視差算出領域Aに近いものからD1、
D2とする。視差算出領域Aの左方向にある2つの視差
算出領域を、視差算出領域Aに近いものからL1、L2
とする。視差算出領域Aの右方向にある2つの視差算出
領域を、視差算出領域Aに近いものからR1、R2とす
る。
【0072】この場合に、領域Aを中心とする上下左右
のそれぞれの方向について、領域Aとそれの1つ外側の
領域U1、D1、L1、R1との色距離が、領域Aより
1つ外側の領域U1、D1、L1、R1とさらにその1
つ外側の領域U2、D2、L2、R2との色距離より大
きい場合には、領域Aのみで構成されているグループは
単独で1つのグループを形成すると判別される。そうで
ない場合には、領域Aはその周囲のグループに属すると
判別される。つまり、グループ分けが修正される。
【0073】色距離の定義について説明する。ある視差
算出領域Faに対するB−Y成分積算値、R−Y成分積
算値をそれぞれFa(B−Y)、Fa(R−Y)で表
し、ある視差算出領域Fbに対するB−Y成分積算値、
R−Y成分積算値をそれぞれFb(B−Y)、Fb(R
−Y)で表すと、領域Faと領域Fbとの間の色距離di
stは、次の数式1で定義される。
【0074】
【数1】
【0075】例えば、図20の領域Aの(B−Y成分積
算値、R−Y成分積算値)が(−4,5)で、領域U1
の(B−Y成分積算値、R−Y成分積算値)が(−5,
4)で、領域U2の(B−Y成分積算値、R−Y成分積
算値)が(−7,2)であるとする。領域Aと領域U1
との色距離distは”2”となり、領域U1と領域U2と
の色距離distは”4”となる。
【0076】図19のグループ31(G31)が1つの
視差算出領域のみで構成されており、上記のような特異
点処理により、グループ1(G1)に属すると判別され
たとすると、図21に示すようにグループ分けが修正さ
れる。
【0077】(4)グループ間結合処理の説明
【0078】ステップ4のグループ間結合処理では、ま
ず、各グループ毎に、そのグループを構成する視差算出
領域のR−Y成分積算値の平均値およびB−Y成分積算
値の平均値が算出される。
【0079】次に、隣接している2つのグループどうし
間の色距離が算出される。つまり、隣接している2つの
グループをGa、Gbとする。グループGaがn個の視
差算出領域a1、a2、…anで構成されているとする
と、グループGaのB−Y成分積算値の平均値*Ga
(B−Y)およびR−Y成分積算値の平均値*Ga(R
−Y)は、次の数式2で求められる。
【0080】
【数2】
【0081】また、グループGbがm個の視差算出領域
b1、b2、…bmで構成されているとすると、グルー
プGbのB−Y成分積算値の平均値*Gb(B−Y)お
よびR−Y成分積算値の平均値*Gb(R−Y)は、次
の数式3で求められる。
【0082】
【数3】
【0083】グループGaとグループGbとの間の色距
離distは、次の数式4によって定義される。
【0084】
【数4】
【0085】そして、隣り合う2つのグループ間の色距
離がしきい値より小さいか否かが判別され、色距離がし
きい値より小さいときには、これらの2つのグループが
結合される。つまり、これらの2つのグループが1つの
グループにまとめられる。
【0086】(5)グループ毎の奥行き情報生成処理の
説明
【0087】ステップ5のグループ毎の奥行き情報生成
処理では、まず、視差算出領域F1〜F60毎に得られ
た高周波成分の積算値が、0〜10の範囲の値に正規化
される。また、視差算出領域F1〜F60毎に得られた
輝度コントラストが、0〜10の範囲の値に正規化され
る。
【0088】そして、得られた高周波成分の積算値の正
規化値と、輝度コントラストの正規化値と、図22に示
すように各視差算出領域F1〜F60毎に予め与えられ
た背景重み成分に基づいて、グループ毎の奥行き情報が
生成される。
【0089】任意の1つのグループに対する奥行き情報
の生成方法について説明する。まず、当該グループに属
している視差算出領域数nが求められる。また、当該グ
ループに属している視差算出領域に対する高周波成分の
積算値の正規化値aの総和Σaが算出される。また、当
該グループに属している視差算出領域に対する輝度コン
トラストの正規化値bの総和Σbが算出される。また、
当該グループに属している視差算出領域に対する背景重
み成分cの総和Σcが算出される。
【0090】そして、次の数式5に基づいて、当該グル
ープに対する奥行き情報Hが生成される。
【0091】
【数5】
【0092】数式5において、K1、K2およびK3は
係数であり、たとえば、K1=3/8、K2=1/8、
K3=4/8に設定されている。
【0093】(6)全領域に対する奥行き情報補正処理
の説明
【0094】ステップ5のグループ毎の奥行き情報補正
処理では、まず、視差算出領域F1〜F60の各行ごと
に、奥行き情報の平均値が算出される。各視差算出領域
F1〜F60ごとの奥行き情報が、たとえば、図23に
示すような値であった場合には、第1〜第6行目ごとの
奥行き情報の平均値は、1.2、3.6、6.0、7.
2、4.0、1.2となる。
【0095】次に、視差算出領域の各行のうち、手前位
置の物体が多く映っている領域が抽出される。つまり、
奥行き情報の平均値が最も大きい行が抽出される。図2
3の例では、第4行目の領域が抽出される。
【0096】次に、抽出された行より下段にある行の各
領域については、直上の領域に対して、急激に奥行き情
報が小さくならないように、抽出された行より下段にあ
る行の各領域の奥行き情報が調整される。具体的には、
抽出された行より下段にある行の各領域の奥行き情報が
直上の領域に対して3以上小さい領域に対しては、直上
の領域の奥行き情報より2だけ小さい値に、その領域の
奥行き情報が変更せしめられる。
【0097】図23の例では、図24に示すように、ま
ず、第5行の各領域F41〜F50のうち、その奥行き
情報が直上の領域の奥行き情報に対して3以上小さい領
域F42〜F49に対して、奥行き情報が補正される。
この後、第6行の各領域F51〜F60のうち、その奥
行き情報が直上の領域の奥行き情報(補正後の奥行き情
報)に対して3以上小さい領域F53〜F58に対し
て、奥行き情報が補正される。
【0098】つまり、任意の水平位置における画面の高
さに対する奥行き情報の関係が、図25に曲線U1で示
すような関係である場合には、奥行き補正によって、画
面の高さに対する奥行き情報の関係が、図25に曲線U
2に示すような関係となるように補正される。
【0099】このように、視差算出領域の各行のうち、
手前位置の物体が多く映っている領域より下段の領域の
奥行き情報が補正されているのは次の理由による。
【0100】一般的には、画面の下側には前方に存在す
る物体が映っていることが多い。また、画面の下側に映
っている物体は、地面等のように変化の少ない画像であ
ることが多い。地面等のように変化の少ない画像は、高
周波成分が低いため、前方にあるにも係わらず、奥行き
情報の値は小さくなる。そこで、奥行き補正により、前
方にある物体であって高周波成分が低い映像に対する奥
行き情報を、その直上の領域の奥行き情報の値より大き
くならない程度に大きくしているのである。
【0101】(7)グループ境界に対する奥行き情報補
正処理の説明
【0102】隣り合う2つのグループ間の境界部におい
ては、正しくグループ分けが行なわれていないことがあ
る。また、隣り合う2つのグループ間の境界部におい
て、グループ毎の奥行き推定値が大きく異なると、画像
歪みが顕著となる。
【0103】そこで、ステップ7のグループ境界に対す
る奥行き情報補正処理では、まず、隣り合う2つのグル
ープ間の境界部毎に、一方のグループの視差算出領域の
奥行き情報と、他方のグループの視差算出領域の奥行き
情報との差が、予め定められた所定値以上か否かが判別
される。そして、両者の奥行き情報の差が所定値以上で
ある場合には、両者の奥行き情報の差が所定値より小さ
くなるように、奥行き情報が小さい方(つまり、後方に
位置している方)の視差算出領域に対する奥行き情報を
増加させる。
【0104】(8)グループ内部に対する奥行き情報補
正処理の説明
【0105】上記ステップ6および7の補正処理によっ
て、同一グループ内においても領域によって奥行き情報
に差が生じる。この差が大きくなると、画像歪みが顕著
となる。そこで、ステップ8のグループ内部に対する奥
行き情報補正処理では、各グループ毎に、グループ内の
奥行き推定値が平滑化される。
【0106】つまり、図26に示すように、同じグルー
プ内において、注目領域をA、それに対する奥行き情報
をHAとし、それに隣接する4つの領域をU、D、L、
R、それらに対する奥行き情報をHU、HD、HL、H
Rとすると、注目領域Aに対する奥行き推定値HAは次
の数式6により、補正される。
【0107】
【数6】
【0108】このようにして得られた各視差算出領域F
1〜F60ごとの奥行き情報は、再度、0〜10の範囲
内で正規化される。
【0109】(9)視差情報算出処理の説明
【0110】ステップ9の視差情報算出処理では、各視
差算出領域F1〜F60ごとの奥行き情報が各領域F1
〜F60ごとの視差情報に変換される。
【0111】つまり、予め設定された奥行き情報に対す
る視差情報との関係に基づいて、各領域F1〜F60ご
とに、奥行き情報を視差情報に変換する。奥行き情報に
対する視差情報との関係は、図27に直線S1またはS
2で示されるように、反比例の関係である。
【0112】図27において、直線S1で示される奥行
き情報に対する視差情報との関係は、立体感が比較的強
い立体映像を得たい場合に用いられる。直線S2で示さ
れる奥行き情報に対する視差情報との関係は、立体感が
比較的弱い立体映像を得たい場合に用いられる。奥行き
情報に対する視差情報との関係を、直線S1と直線S2
との間で調整することにより、立体感を調整することが
可能である。
【0113】このようにして得られた各視差算出領域ご
との視差情報は、視差制御回路4(図1参照)に送られ
る。
【0114】図28は、主として、図1の視差制御回路
および任意画素遅延FIFOの構成を示している。以下
においては、視差算出領域が、図2に示すように、E1
〜E12であるとして説明する。
【0115】図28には、任意画素遅延FIFO11〜
13、21〜23のうち、Y信号に対する左映像用任意
画素遅延FIFO11および右映像用任意画素遅延FI
FO21しか示されていないが、他の任意画素遅延FI
FO12、13、22、23も同様な構成でありかつ同
様な制御が行なわれるので、他の任意画素遅延FIFO
12、13、22、23の構成および制御方法について
は、その説明を省略する。
【0116】ところで、CPU3によって算出された視
差情報は、各視差算出領域E1〜E12の中心位置に対
する視差情報である。視差制御回路4では、各視差算出
領域E1〜E12の中心位置に対する視差情報に基づい
て、1フィールド画面の各画素位置に対する視差情報が
求められる。そして、各画素位置に対する2次元映像信
号から、その画素位置に対する視差情報に応じた視差を
有する左映像と右映像とを生成するために、各画素位置
に対する視差情報に基づいて、左映像用任意画素遅延F
IFO11〜13および右映像用任意画素遅延FIFO
21〜23の読み出しアドレスが制御される。
【0117】1フィールド画面の各画素位置に対する視
差情報は、タイミング信号発生回路51、視差補間係数
発生回路52、視差情報記憶手段60、視差選択回路8
0、第1〜第4乗算器81〜84および加算回路85に
よって、生成される。
【0118】入力映像信号の水平同期信号Hsyncお
よび垂直同期信号Vsyncは、タイミング信号発生回
路51に入力している。また、各水平期間の水平アドレ
スを検出するためのクロック信号CLKもタイミング信
号発生回路51に入力している。
【0119】タイミング信号発生回路51は、水平同期
信号Hsync、垂直同期信号Vsyncおよびクロッ
ク信号CLKに基づいて、入力映像信号の絶対的水平位
置を表す水平アドレス信号HAD、入力映像信号の絶対
的垂直位置を表す垂直アドレス信号VAD、入力映像信
号の相対的水平位置を表す相対的水平位置信号HPOS
および入力映像信号の相対的垂直位置を表す相対的垂直
位置信号VPOSを生成して出力する。
【0120】入力映像信号の相対的水平位置および相対
的垂直位置について説明する。
【0121】図29に示すように、図2の視差算出領域
E1〜E12は、次のように設定されている。画面全体
が図29に点線で示すように、4行5列の20個の領域
(以下、第1分割領域という)に分割されている。そし
て、左上端の第1分割領域の中心、右上端の第1分割領
域の中心、左下端の第1分割領域の中心および右下端の
第1分割領域の中心を4頂点とする四角形領域が3行4
列の12個の領域(以下、第2分割領域という)に分割
され、各第2分割領域が視差算出領域E1〜E12とし
て設定されている。
【0122】第1分割領域および第2分割領域の水平方
向の画素数がmで表され、第1分割領域および第2分割
領域の垂直方向の画素数がnとして表されている。入力
映像信号の相対的水平位置は、各第1分割領域の左端を
0とし、右端をmとして、0〜(m−1)で表される。
入力映像信号の相対的垂直位置は、各第1分割領域の上
端を0とし、下端をnとして、0〜(n−1)で表され
る。
【0123】入力映像信号の相対的水平位置信号HPO
Sおよび相対的垂直位置VPOSは、視差補間係数発生
回路52に送られる。視差補間係数発生回路52は、相
対的水平位置信号HPOS、相対的垂直位置VPOSお
よび次の数式7に基づいて、第1視差補間係数KUL、
第2視差補間係数KUR、第3視差補間係数KDLおよ
び第4視差補間係数KDRを生成して出力する。
【0124】
【数7】
【0125】1フィールド画面の各画素位置に対する視
差情報を生成する方法の基本的な考え方について、図3
0を用いて説明する。水平アドレス信号HADおよび垂
直アドレス信号VADによって表されている水平垂直位
置(以下、注目位置という)が図30のPxyであると
する。注目位置Pxyに対する視差情報を求める場合に
ついて説明する。
【0126】(1)まず、CPU3によって算出された
各視差算出領域E1〜E12に対する視差情報のうちか
ら、注目位置Pxyが含まれる第1分割領域の4頂点、
この例ではPE1、PE2、PE5、PE6を中心とす
る視差算出領域E1、E2、E5、E6に対する視差情
報が、それぞれUL、UR、DL、DRとして抽出され
る。つまり、注目位置Pxyが含まれる第1分割領域の
4頂点のうち、左上の頂点を中心とする領域E1の視差
情報が第1視差情報ULとして、右上の頂点を中心とす
る領域E2の視差情報が第2視差情報URとして、左下
の頂点を中心とする領域E5の視差情報が第3視差情報
DLとして、右下の頂点を中心とする領域E6の視差情
報が第4視差情報DRとして抽出される。
【0127】ただし、注目位置が含まれる第1分割領域
が、左上端の第1分割領域である場合のように、注目位
置が含まれる第1分割領域の4頂点のうち1つの頂点の
みが視差検出領域の中心に該当するような場合には、そ
の視差算出領域の視差情報が、第1〜第4の視差情報U
L、UR、DL、DRとして抽出される。
【0128】また、注目位置が含まれる第1分割領域
が、左上端の第1分割領域の右隣の第1分割領域である
場合のように、注目位置が含まれる第1分割領域の4頂
点のうち下側の2つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第1分割
領域の4頂点のうち上側の2つの頂点に対応する視差情
報UL、URとしては、その下側の頂点を中心とする視
差算出領域の視差情報が抽出される。
【0129】また、注目位置が含まれる第1分割領域
が、左上端の第1分割領域の下隣の第1分割領域である
場合のように、注目位置が含まれる第1分割領域の4頂
点のうち右側の2つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第1分割
領域の4頂点のうち左側の2つの頂点に対応する視差情
報UL、DLとしては、その右側の頂点を中心とする視
差算出領域の視差情報が抽出される。
【0130】また、注目位置が含まれる第1分割領域
が、右下端の第1分割領域の左隣の第1分割領域である
場合のように、注目位置が含まれる第1分割領域の4頂
点のうち上側の2つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第1分割
領域の4頂点のうち下側の2つの頂点に対応する視差情
報DL、DRとしては、その上側の頂点を中心とする視
差算出領域の視差情報が抽出される。
【0131】また、注目位置が含まれる第1分割領域
が、右下端の第1分割領域の上隣の第1分割領域である
場合のように、注目位置が含まれる第1分割領域の4頂
点のうち左側の2つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第1分割
領域の4頂点のうち右側の2つの頂点に対応する視差情
報UR、DRとしては、その左側の頂点を中心とする視
差算出領域の視差情報が抽出される。
【0132】(2)次に、第1〜第4の視差補間係数K
UL、KUR、KDLおよびKDRが求められる。
【0133】第1の視差補間係数KULは、注目位置P
xyを含む第1分割領域eの水平方向幅mに対する、注
目位置Pxyから第1分割領域eの右辺までの距離ΔX
Rとの比{(m−HPOS)/m}と、第1分割領域e
の垂直方向幅nに対する、注目位置Pxyから第1分割
領域eの下辺までの距離ΔYDとの比{(n−VPO
S)/n}との積によって求められる。すなわち、第1
の視差補間係数KULは、注目位置Pxyを含む第1分
割領域eの左上頂点PE1と注目位置Pxyとの距離が
小さいほど大きくなる。
【0134】第2の視差補間係数KURは、注目位置P
xyを含む第1分割領域eの水平方向幅mに対する、注
目位置Pxyから第1分割領域eの左辺までの距離ΔX
Lとの比(HPOS/m}と、第1分割領域eの垂直方
向幅nに対する、注目位置Pxyから第1分割領域eの
下辺までの距離ΔYDとの比{(n−VPOS)/n}
との積によって求められる。すなわち、第2の視差補間
係数KURは、注目位置Pxyを含む第1分割領域eの
右上頂点PE2と注目位置Pxyとの距離が小さいほど
大きくなる。
【0135】第3の視差補間係数KDLは、注目位置P
xyを含む第1分割領域eの水平方向幅mに対する、注
目位置Pxyから第1分割領域eの右辺までの距離ΔX
Rとの比{(m−HPOS)/m}と、第1分割領域e
の垂直方向幅nに対する、注目位置Pxyから第1分割
領域eの上辺までの距離ΔYUとの比(VPOS/n)
との積によって求められる。すなわち、第3の視差補間
係数KDLは、注目位置Pxyを含む第1分割領域eの
左下頂点PE5と注目位置Pxyとの距離が小さいほど
大きくなる。
【0136】第4の視差補間係数KDRは、注目位置P
xyを含む第1分割領域eの水平方向幅mに対する、注
目位置Pxyから第1分割領域eの左辺までの距離ΔX
Lとの比(HPOS/m)と、第1分割領域eの垂直方
向幅nに対する、注目位置Pxyから第1分割領域eの
上辺までの距離ΔYUとの比(VPOS/n)との積に
よって求められる。すなわち、第4の視差補間係数KD
Rは、注目位置Pxyを含む第1分割領域eの右下頂点
PE6と注目位置Pxyとの距離が小さいほど大きくな
る。
【0137】(3)上記(1)で抽出された第1〜第4
の視差情報UL、UR、DL、DRに、それぞれ上記
(2)で算出された第1〜第4の視差補間係数KUL、
KUR、KDL、KDRがそれぞれ乗算される。そし
て、得られた4つの乗算値が加算されることにより、注
目位置Pxyに対する視差情報が生成される。
【0138】視差情報記憶手段60は、領域E1〜E1
2にそれぞれ対応して設けられた第1〜第12の視差レ
ジスタ61〜72を備えている。第1〜第12の視差レ
ジスタ61〜72には、CPU3によって生成された各
領域E1〜E12に対する視差情報が格納される。
【0139】視差情報記憶手段60の後段には、視差選
択回路80が設けられている。視差選択回路80には、
各視差レジスタ61〜72から視差情報がそれぞれ送ら
れる。さらに、視差選択回路80には、タイミング信号
発生回路51から水平アドレス信号HADおよび垂直ア
ドレス信号VADが送られている。
【0140】視差選択回路80は、図31(a)に示さ
れている規則にしたがって、水平アドレス信号HADお
よび垂直アドレス信号VADに対応する領域(図30の
例では、注目位置を含む第1領域の左上頂点を中心とす
る視差算出領域)に対する視差情報を、第1視差情報U
Lとして選択して出力する。さらに、視差選択回路80
は、図31(b)に示されている規則にしたがって、水
平アドレス信号HADおよび垂直アドレス信号VADに
対応する領域(図30の例では、注目位置を含む第1領
域の右上頂点を中心とする視差算出領域)に対する視差
情報を、第2視差情報URとして選択して出力する。
【0141】さらに、視差選択回路80は、図31
(c)に示されている規則にしたがって、水平アドレス
信号HADおよび垂直アドレス信号VADに対応する領
域(図30の例では、注目位置を含む第1領域の左下頂
点を中心とする視差算出領域)に対する視差情報を、第
3視差情報DLとして選択して出力する。さらに、視差
選択回路80は、図31(d)に示されている規則にし
たがって、水平アドレス信号HADおよび垂直アドレス
信号VADに対応する領域(図30の例では、注目位置
を含む第1領域の右下頂点を中心とする視差算出領域)
に対する視差情報を、第4視差情報DRとして選択して
出力する。図31において、たとえば、0〜mのよう
に、a〜bで表現されている記号”〜”は、a以上b未
満を意味する記号として用いられている。
【0142】視差選択回路80によって選択された第1
視差情報UL、第2視差情報UR、第3視差情報DLお
よび第4視差情報DRは、それぞれ第1、第2、第3お
よび第4の乗算器81、82、83、84に入力する。
【0143】第1、第2、第3および第4の乗算器8
1、82、83、84には、それぞれ視差補間係数発生
回路52からの第1視差補間係数KUL、第2視差補間
係数KUR、第3視差補間係数KDLおよび第4視差補
間係数KDRも入力している。
【0144】第1乗算器81は、第1視差情報ULに第
1視差補間係数KULを乗算する。第2乗算器82は、
第2視差情報URに第2視差補間係数KURを乗算す
る。第3乗算器83は、第3視差情報DLに第3視差補
間係数KDLを乗算する。第4乗算器84は、第4視差
情報DRに第4視差補間係数KDRを乗算する。
【0145】各乗算器81、82、83、84の出力
は、加算回路85によって加算される。これにより、注
目位置に対する視差情報PRが得られる。
【0146】各任意画素遅延FIFO11、21は、1
画素より小さい単位での水平位相制御を行なうために、
ぞれぞれ2つのラインメモリ11a、11b、21a、
21bを備えている。各任意画素遅延FIFO11、2
1内の2つのラインメモリ11a、11b、21a、2
1bには、それぞれY信号が入力されているとともにク
ロック信号CLKが入力している。
【0147】タイミング信号発生回路51から出力され
ている水平アドレス信号HADは、標準アドレス発生回
路90にも入力している。標準アドレス発生回路90
は、各任意画素遅延FIFO11、21内の2つのライ
ンメモリ11a、11b、21a、21bに対する標準
書き込みアドレスWADおよび標準読み出しアドレスR
ADを生成して出力する。また、標準アドレス発生回路
90は、2D/3D映像変換装置によって得られる左映
像信号および右映像信号に付加される同期信号Csyn
cをも出力する。この同期信号Csyncによって表さ
れる水平同期信号は、入力映像信号の水平同期信号Hs
yncより、所定クロック数分遅れた信号となる。
【0148】標準読み出しアドレスRADは、標準読み
出しアドレスによって規定される基準水平位相に対し
て、各任意画素遅延FIFO11、21に入力される映
像信号の水平位相を進めたり遅らしたりできるようにす
るために、標準書き込みアドレスWADに対して、所定
クロック数分遅れている。標準アドレス発生回路90か
ら出力される標準書き込みアドレスWADは、各任意画
素遅延FIFO11、21内の2つのラインメモリ11
a、11b、21a、21bに、書き込みアドレスを示
す書き込み制御信号として入力する。
【0149】標準アドレス発生回路90から出力される
標準読み出しアドレスRADは、加算器91および減算
器92にそれぞれ入力する。加算器91および減算器9
2には、加算回路85から出力される注目位置の視差情
報PRも入力している。
【0150】加算器91では、標準読み出しアドレスR
ADに視差情報PRが加算される。これにより、左映像
用読み出しアドレスPRLが得られる。
【0151】左映像用読み出しアドレスPRLの整数部
PRL1は、左映像用任意画素遅延FIFO11内の第
1のラインメモリ11aに読み出しアドレスRADL1
として入力する。したがって、第1のラインメモリ11
aのアドレスRADL1に対応するアドレスからY信号
が読み出される。読み出されたY信号は、第1の左映像
用乗算器101に入力する。
【0152】左映像用読み出しアドレスPRLの整数部
PRL1に1が加算されたアドレス値は、左映像用任意
画素遅延FIFO11内の第2のラインメモリ11bに
読み出しアドレスRADL2として入力する。したがっ
て、第2のラインメモリ11bのアドレスRADL2に
対応するアドレスからY信号が読み出される。読み出さ
れたY信号は、第2の左映像用乗算器102に入力す
る。
【0153】第1のラインメモリ11aに対する読み出
しアドレスRADL1と、第2のラインメモリ11bに
対する読み出しアドレスRADL2とは、1だけ異なっ
ているので、第1のラインメモリ11aから読み出され
たY信号と、第2のラインメモリ11bから読み出され
たY信号とは、水平位置が1だけずれた信号となる。
【0154】左映像用読み出しアドレスPRLの小数部
PRL2は、第2の左映像補間係数として第2の左映像
用乗算器102に入力する。左映像用読み出しアドレス
PRLの小数部PRL2を1から減算した値(1−PR
L2)は、第1の左映像補間係数として第1の左映像用
乗算器101に入力する。
【0155】したがって、第1の左映像用乗算器101
では、第1のラインメモリ11aから読み出されたY信
号に第1の左映像補間係数(1−PRL2)が乗算され
る。第2の左映像用乗算器102では、第2のラインメ
モリ11bから読み出されたY信号に第2の左映像補間
係数PRL2が乗算される。そして、各乗算器101、
102によって得られたY信号は加算器103で加算さ
れた後、左映像用Y信号YL−OUTとして、出力され
る。
【0156】これにより、標準読み出しアドレスRAD
によって規定される基準水平位相に対して、水平位相量
が注目位置に対する視差情報に応じた量だけ遅れた左映
像用Y信号が得られる。
【0157】減算器92では、標準読み出しアドレスR
ADから視差情報PRが減算される。これにより、右映
像用読み出しアドレスPRRが得られる。
【0158】右映像用読み出しアドレスPRRの整数部
PRR1は、右映像用任意画素遅延FIFO21内の第
1のラインメモリ21aに読み出しアドレスRADR1
として入力する。したがって、第1のラインメモリ21
aのアドレスRADR1に対応するアドレスからY信号
が読み出される。読み出されたY信号は、第1の右映像
用乗算器111に入力する。
【0159】右映像用読み出しアドレスPRRの整数部
PRR1に1が加算されたアドレス値は、右映像用任意
画素遅延FIFO21内の第2のラインメモリ21bに
読み出しアドレスRADR2として入力する。したがっ
て、第2のラインメモリ21bのアドレスRADR2に
対応するアドレスからY信号が読み出される。読み出さ
れたY信号は、第2の右映像用乗算器112に入力す
る。
【0160】第1のラインメモリ21aに対する読み出
しアドレスRADR1と、第2のラインメモリ21bに
対する読み出しアドレスRADR2とは、1だけ異なっ
ているので、第1のラインメモリ21aから読み出され
たY信号と、第2のラインメモリ21bから読み出され
たY信号とは、水平位置が1だけずれた信号となる。
【0161】右映像用読み出しアドレスPRRの小数部
PRR2は、第2の右映像補間係数として第2の右映像
用乗算器112に入力する。右映像用読み出しアドレス
PRRの小数部PRR2を1から減算した値(1−PR
R2)は、第1の右映像補間係数として第1の右映像用
乗算器111に入力する。
【0162】したがって、第1の右映像用乗算器111
では、第1のラインメモリ21aから読み出されたY信
号に第1の右映像補間係数(1−PRR2)が乗算され
る。第2の右映像用乗算器112では、第2のラインメ
モリ21bから読み出されたY信号に第2の右映像補間
係数PRR2が乗算される。そして、各乗算器111、
112によって得られたY信号は加算器113で加算さ
れた後、右映像用Y信号YR−OUTとして、出力され
る。
【0163】これにより、標準読み出しアドレスRAD
によって規定される基準水平位相に対して、水平位相量
が注目位置に対する視差情報に応じた量だけ進んだ右映
像用Y信号が得られる。
【0164】図32は、注目位置に対する視差情報が0
の場合の、各部の信号を示している。
【0165】視差情報が0の場合には、加算器91から
出力される左映像用読み出しアドレスPRLと、減算器
92から出力される右映像用読み出しアドレスPRR
は、ともに標準読み出しアドレスRADと等しい小数部
のない整数部のみからなるアドレスとなる。
【0166】したがって、左映像用任意画素遅延FIF
O11内の第1のラインメモリ11aに対する読み出し
アドレスRADL1と、右映像用任意画素遅延FIFO
21内の第1のラインメモリ21aに対する読み出しア
ドレスRADR1は、標準読み出しアドレスRADと等
しいアドレスとなる。
【0167】また、左映像用任意画素遅延FIFO11
内の第2のラインメモリ11bに対する読み出しアドレ
スRADL2と、右映像用任意画素遅延FIFO21内
の第2のラインメモリ21bに対する読み出しアドレス
RADR2は、標準読み出しアドレスRADより1だけ
大きい値となる。
【0168】また、第1の左映像補間係数(1−PRL
2)および第1の右映像補間係数(1−PRR2)は1
となり、第2の左映像補間係数PRL2および第2の右
映像補間係数PRR2は0となる。
【0169】この結果、左映像用任意画素遅延FIFO
11内の第1のラインメモリ11aの標準アドレスRA
Dに対応するアドレスから読み出されたY信号が加算器
103から左映像用Y信号YL−OUTとして出力さ
れ、右映像用任意画素遅延FIFO21内の第1のライ
ンメモリ21aの標準アドレスRADに対応するアドレ
スから読み出されたY信号が加算器113から右映像用
Y信号YR−OUTとして出力される。つまり、水平方
向の位相ずれ量が同じ2つのY信号、すなわち視差のな
い2つのY信号が左映像用Y信号および右映像用Y信号
として出力される。
【0170】図33は、ある注目位置に対する標準書き
込みアドレスWADが20であり、上記注目位置に対す
る標準読み出しアドレスRADが10であり、上記注目
位置に対する視差情報が1.2の場合の、各アドレス値
の具体例を示している。図34は、その際の各部の信号
を示している。
【0171】この場合には、加算器91から出力される
左映像用読み出しアドレスPRLは、11.2となり、
その整数部PRL1は11となり、その小数部PRL2
は0.2となる。
【0172】したがって、左映像用任意画素遅延FIF
O11内の第1のラインメモリ11aに対する読み出し
アドレスRADL1は11となり、第2のラインメモリ
11bに対する読み出しアドレスRADL2は12とな
る。また、第1の左映像補間係数KL1{=(1−PR
L2)}は0.8となり、第2の左映像補間係数KL2
(=PRL2)は0.2となる。
【0173】したがって、左映像用任意画素遅延FIF
O11内の第1のラインメモリ11aのアドレス11か
らY信号(Y11)が読み出され、第1乗算器101から
は読み出されたY信号(Y11)の0.8倍の信号(0.
8*Y11)が出力される。
【0174】一方、左映像用任意画素遅延FIFO11
内の第2のラインメモリ11bのアドレス12からY信
号(Y12)が読み出され、第2乗算器102からは読み
出されたY信号(Y12)の0.2倍の信号(0.2*Y
12)が出力される。そして、加算器103からは、0.
8*Y11+0.2*Y12に相当する左映像用Y信号YL
−OUTが出力される。つまり、読み出しアドレス1
1.2に相当するY信号が、左映像用Y信号YL−OU
Tとして出力される。
【0175】減算器92から出力される右映像用読み出
しアドレスPRRは、8.8となり、その整数部PRR
1は8となり、その小数部PRR2は0.8となる。
【0176】したがって、右映像用任意画素遅延FIF
O21内の第1のラインメモリ21aに対する読み出し
アドレスRADR1は8となり、第2のラインメモリ2
1bに対する読み出しアドレスRADR2は9となる。
また、第1の右映像補間係数KR1{=(1−PRR
2)}は0.2となり、第2の右映像補間係数KR2
(=PRR2)は0.8となる。
【0177】したがって、右映像用任意画素遅延FIF
O21内の第1のラインメモリ21aのアドレス8から
Y信号(Y8 )が読み出され、第1乗算器111からは
読み出されたY信号(Y8 )の0.2倍の信号(0.2
*Y8 )が出力される。
【0178】一方、右映像用任意画素遅延FIFO21
内の第2のラインメモリ21bのアドレス9からY信号
(Y9 )が読み出され、第2乗算器112からは読み出
されたY信号(Y9 )の0.8倍の信号(0.8*
9 )が出力される。そして、加算器113からは、
0.2*Y8 +0.8*Y9 に相当する右映像用Y信号
YR−OUTが出力される。つまり、読み出しアドレス
8.8に相当するY信号が、右映像用Y信号YR−OU
Tとして出力される。
【0179】この結果、11.2−8.8=2.4の視
差、つまり、視差情報1.2の2倍の視差を互いに有す
る左映像および右映像が得られる。
【0180】
【発明が解決しようとする課題】上記の静止画用2D/
3D映像変換方法では、一画面内での各領域間の視差量
が大きくなることがあるとともに、フィールド間での視
差量の変動が大きくなることがあり、このため、得られ
た3次元映像がみずらいという問題がある。
【0181】この発明は、画像歪みの少ない3次元映像
が得られる2次元映像を3次元映像に変換する装置を提
供することを目的とする。
【0182】
【課題を解決するための手段】この発明による第1の2
次元映像を3次元映像に変換する装置は、2次元入力映
像に基づいて、1フィールド画面内に設定された複数の
視差算出領域のそれぞれに対して映像の遠近に関する画
像特徴量を抽出し、抽出した画像特徴量に基づいて、各
視差算出領域ごとの奥行き情報を生成する奥行き情報生
成手段、予め設定された目標位相量のダイナミックレン
ジと奥行き情報生成手段によって生成された所定単位領
域ごとの奥行き情報とに基づいて、各視差算出領域ごと
の目標位相量を算出する目標位相量算出手段、各視差算
出領域ごとの前回の実位相量が対応する領域の目標位相
量に徐々に近づくように、各視差算出領域ごとの今回の
実位相量を算出し、得られた各視差算出領域ごとの今回
の実位相量に基づいて、1フィールド画面内の所定単位
領域ごとの今回の実位相量を求める実位相量算出手段、
ならびに2次元入力映像の各所定単位領域内の信号か
ら、その所定単位領域に対応する今回の実位相量に応じ
た水平位相差を有する第1映像信号と第2映像信号とを
それぞれ生成する位相制御手段を備えていることを特徴
とする。
【0183】この発明による第2の2次元映像を3次元
映像に変換する装置は、2次元入力映像に基づいて、1
フィールド画面内に設定された複数の視差算出領域のそ
れぞれに対して映像の遠近に関する画像特徴量を抽出
し、抽出した画像特徴量に基づいて、各視差算出領域ご
との奥行き情報を生成する奥行き情報生成手段、各隣接
領域間の奥行き情報の差のうちの最大値が基準値より大
きい場合には、予め設定された目標位相量のダイナミッ
クレンジが小さくなるように目標位相量のダイナミック
レンジを補正する補正手段、補正手段によって得られた
目標位相量のダイナミックレンジと奥行き情報生成手段
によって生成された所定単位領域ごとの奥行き情報とに
基づいて、各視差算出領域ごとの目標位相量を算出する
目標位相量算出手段、各視差算出領域ごとの前回の実位
相量が対応する領域の目標位相量に徐々に近づくよう
に、各視差算出領域ごとの今回の実位相量を算出し、得
られた各視差算出領域ごとの今回の実位相量に基づい
て、1フィールド画面内の所定単位領域ごとの今回の実
位相量を求める実位相量算出手段、ならびに2次元入力
映像の各所定単位領域内の信号から、その所定単位領域
に対応する今回の実位相量に応じた水平位相差を有する
第1映像信号と第2映像信号とをそれぞれ生成する位相
制御手段を備えていることを特徴とする。
【0184】この発明による第3の2次元映像を3次元
映像に変換する装置は、2次元入力映像に基づいて、基
準となる主映像および主映像に対して時間的に遅れた副
映像を生成し、主映像および副映像のうち、一方を左目
用映像として出力し、他方を右目用映像として出力する
映像変換手段、2次元入力映像が動画であるか、静止画
であるかを判定する動画/静止画判定手段、動画/静止
画判定手段の判定結果に基づいて、静止画比率を算出す
る静止画比率算出手段、2次元入力映像に基づいて、1
フィールド画面内に設定された複数の視差算出領域のそ
れぞれに対して映像の遠近に関する画像特徴量を抽出
し、抽出した画像特徴量に基づいて、各視差算出領域ご
との奥行き情報を生成する奥行き情報生成手段、予め設
定された目標位相量のダイナミックレンジに静止画比率
を乗算することにより、目標位相量のダイナミックレン
ジを補正する補正手段、補正手段によって得られた目標
位相量のダイナミックレンジと奥行き情報生成手段によ
って生成された所定単位領域ごとの奥行き情報とに基づ
いて、各視差算出領域ごとの目標位相量を算出する目標
位相量算出手段、各視差算出領域ごとの前回の実位相量
が対応する領域の目標位相量に徐々に近づくように、各
視差算出領域ごとの今回の実位相量を算出し、得られた
各視差算出領域ごとの今回の実位相量に基づいて、1フ
ィールド画面内の所定単位領域ごとの今回の実位相量を
求める実位相量算出手段、ならびに映像変換手段から出
力される右目用映像および左目用映像の各所定単位領域
内の信号に対して、実位相量算出手段によって得られた
当該所定単位領域に対応する実位相量に応じた水平位相
制御を行う位相制御手段を備えていることを特徴とす
る。
【0185】この発明による第4の2次元映像を3次元
映像に変換する装置は、2次元入力映像に基づいて、基
準となる主映像および主映像に対して時間的に遅れた副
映像を生成し、主映像および副映像のうち、一方を左目
用映像として出力し、他方を右目用映像として出力する
映像変換手段、2次元入力映像が動画であるか、静止画
であるかを判定する動画/静止画判定手段、動画/静止
画判定手段の判定結果に基づいて、静止画比率を算出す
る静止画比率算出手段、2次元入力映像に基づいて、1
フィールド画面内に設定された複数の視差算出領域のそ
れぞれに対して映像の遠近に関する画像特徴量を抽出
し、抽出した画像特徴量に基づいて、各視差算出領域ご
との奥行き情報を生成する奥行き情報生成手段、各隣接
領域間の奥行き情報の差のうちの最大値が基準値より大
きい場合には、予め設定された目標位相量のダイナミッ
クレンジが小さくなるように目標位相量のダイナミック
レンジを補正する第1補正手段、第1補正手段によって
得られた目標位相量のダイナミックレンジに静止画比率
を乗算することにより、目標位相量のダイナミックレン
ジを補正する第2補正手段、第2補正手段によって得ら
れた目標位相量のダイナミックレンジと奥行き情報生成
手段によって生成された所定単位領域ごとの奥行き情報
とに基づいて、各視差算出領域ごとの目標位相量を算出
する目標位相量算出手段、各視差算出領域ごとの前回の
実位相量が対応する領域の目標位相量に徐々に近づくよ
うに、各視差算出領域ごとの今回の実位相量を算出し、
得られた各視差算出領域ごとの今回の実位相量に基づい
て、1フィールド画面内の所定単位領域ごとの今回の実
位相量を求める実位相量算出手段、ならびに映像変換手
段から出力される右目用映像および左目用映像の各所定
単位領域内の信号に対して、実位相量算出手段によって
得られた当該所定単位領域に対応する実位相量に応じた
水平位相制御を行う位相制御手段を備えていることを特
徴とする。
【0186】上記静止画比率算出手段としては、たとえ
ば、動画/静止画判定手段によって2次元入力映像が動
画であると判定されたときには静止画比率として0を設
定し、2次元入力映像が静止画であると判定されたとき
には静止画比率として100を設定する手段、ならびに
設定された静止画比率をフィールド間で平滑化する手段
を備えているものが用いられる。
【0187】上記実位相量算出手段としては、たとえ
ば、2次元入力映像に基づいて各視差算出領域の映像の
動き量を算出し、映像の動き量が大きい視差算出領域ほ
ど、その領域の実位相量がより早くその領域の目標位相
量に近づくように、各視差算出領域ごとの今回の実位相
量を算出し、得られた各視差算出領域ごとの今回の実位
相量に基づいて、1フィールド画面内の所定単位領域ご
との今回の実位相量を求めるものが用いられる。
【0188】
【発明の実施の形態】以下、図面を参照して、この発明
の実施の形態について説明する。
【0189】図35は、2D/3D映像変換装置の構成
を示している。
【0190】2D/3D映像変換装置は、集積回路(L
SI)510と、集積回路510に接続された複数のフ
ィールドメモリ521〜524と、CPU530とから
構成されている。
【0191】集積回路510は、動きベクトル検出回路
511、各種画面内データ算出回路512、メモリ制御
部513、右目用映像選択回路514、左目用映像選択
回路515、右目用視差生成回路516、左目用視差生
成回路517、視差制御回路518、CPUインタフェ
ース519等を備えている。
【0192】動きベクトル検出回路511は、代表点マ
ッチング法に基づいて、1フィールド毎に動きベクトル
を検出する。動きベクトル検出回路511によって検出
された動きベクトルは、CPUインタフェース519を
介して、CPU530に送られる。
【0193】各種画面内データ算出回路512は、図1
の高周波成分積算回路8、輝度コントラスト算出回路
9、R−Y成分積算回路31およびB−Y成分積算回路
32を含んでおり、各フィールドごとに、1フィールド
画面内に設定された複数個の視差算出領域のそれぞれに
対して、映像の遠近に関する画像特徴量を算出するもの
である。
【0194】高周波成分積算回路8は、1フィールド毎
に、図2に示すように、1フィールド画面内に予め設定
された複数個の視差算出領域E1〜E12それぞれに対
する高周波成分の積算値を算出する。輝度コントラスト
算出回路9は、1フィールド毎に、各視差算出領域E1
〜E12それぞれに対する輝度コントラストを算出す
る。R−Y成分積算回路31は、1フィールド毎に、各
視差算出領域E1〜E12それぞれに対するR−Y成分
の積算値を算出する。B−Y成分積算回路32は、1フ
ィールド毎に、各視差算出領域E1〜E12それぞれに
対するB−Y成分の積算値を算出する。各種画面内デー
タ算出回路512によって算出された映像の遠近に関す
る画像特徴量は、CPUインタフェース519を介し
て、CPU530に送られる。
【0195】図36は、CPU530によって実行され
る処理を示している。
【0196】CPU530は、動きベクトル検出回路5
11によって検出された動きベクトルの水平成分に基づ
いて、1フィールド毎に、動画用2D/3D映像変換方
法に用いられる遅延量を算出する(ステップ11)。こ
の際、CPU530は、動きベクトルの水平成分の方向
(右または左)に基づいて、動画用2D/3D映像変換
方法における基準となる主映像と主映像に対して時間的
に遅延した副映像とのうち、いずれを左目用映像とし、
いずれを右目用映像とするかを決定し、この決定結果を
遅延量の符号(正負)として反映せしめる。
【0197】遅延量の決定方法としては、たとえば、特
開平8−149513号公報の図3に示されているアル
ゴリズムを用いることができる。なお、フィールド間で
の遅延量の変動を小さくするために、特開平8−149
513号公報の図3に示されているアルゴリズムを用い
て得られた遅延量に対して平滑化処理を行うようにして
もよい。CPU530によって算出された遅延量は、メ
モリ制御部513に送られる。
【0198】また、CPU530は、各種画面内データ
算出回路512によって算出された映像の遠近に関する
画像特徴量に基づいて、1フィールド毎に、1フィール
ド画面内の視差算出領域ごとの奥行き情報を算出する
(ステップ12)。奥行き情報の算出方法としては、図
12のステップ1〜8のアルゴリズムを用いることがで
きる。
【0199】さらに、CPU530は、動きベクトル検
出回路511によって検出された動きベクトルの水平成
分に基づいて、1フィールド毎に、現フィールドが動き
のある映像(動画)であるか、現フィールドが動きのな
い映像(静止画)であるかを判定する(ステップ1
3)。動画であると判定された場合には、静止画比率を
0に設定する(ステップ14)。静止画であると判定さ
れた場合には、静止画比率を100に設定する(ステッ
プ15)。そして、フィールド間での静止画比率の変動
を小さくするために、静止画比率の平滑化処理が行われ
る(ステップ16)。
【0200】静止画比率の平滑化処理は、実際はソフト
ウエアによって実行されるが、説明の便宜上、図38の
ブロック図を用いて説明する。
【0201】つまり、ステップ14または15で静止画
比率が設定されると、設定された静止画比率に乗算器6
01によって係数Kが乗算される。この係数としては、
たとえば、1/4、1/8、1/16等の値に設定され
る。この乗算結果は、加算器602に送られる。
【0202】加算器602には、遅延メモリ603およ
び係数(1−K)を乗算する乗算器604によって加算
器602に供給される、1つ前のフィールドにおける加
算器602の加算結果に(1−K)が乗算された値が送
られる。このため、加算器602では、今回設定された
静止画比率に係数Kが乗算された値と、遅延メモリ60
3および係数(1−K)を乗算する乗算器604によっ
て加算器602に供給される、1つ前のフィールドにお
ける加算器602の加算結果に(1−K)が乗算された
値とが加算される。
【0203】この加算結果は、遅延メモリ603に格納
される。遅延メモリ603に格納された加算結果は、次
のフィールドにおいて、平滑化処理後の静止画比率とし
て出力される。
【0204】このような静止画比率の平滑化処理によれ
ば、入力映像が動画と静止画との間で切り替わっても、
平滑化処理後の静止画比率はフィールド間で徐々に変化
する。
【0205】さらに、CPU530は、奥行き情報算出
処理によって得られた1フィールド画面内の各視差算出
領域ごとの奥行き情報に基づいて、各視差算出領域ごと
の位相量を算出する位相量算出処理を行う(ステップ1
7)。
【0206】図37は、位相量算出処理手順を示してい
る。
【0207】ここでは、奥行き情報は、0(奥)〜10
0(手前)の範囲内で生成されているものとする。図1
2のステップ1〜8のアルゴリズムによって得られた1
フィールド画面内の各視差算出領域ごとの奥行き情報を
目標位相量に変換する方法としては、次のような方法が
考えられる。
【0208】位相量は、管面より前に映像を飛び出させ
る場合の目標位相量の限界値をfront 〔画素〕、管面よ
り奥に映像を引っ込ます場合の目標位相量の限界値をre
ar〔画素〕とすると、位相のダイナミックレンジはfron
t − rear 〔画素〕となる。このfront 〔画素〕の値
は、たとえば、10〔画素〕であり、rear〔画素〕の値
は、たとえば、−10〔画素〕である。front 〔画素〕
およびrear〔画素〕の値としては、ユーザがボリューム
によって設定した値が用いられる。
【0209】奥行き情報をdepth とし、目標位相量をtp
haseとすると、目標位相量tphaseは、次の数式8で表さ
れる。
【0210】
【数8】
【0211】上記数式8により、ダイナミックレンジ
(front − rear )が大きくなってくると、目標位相量
が大きくなることが分かる。目標位相量が大きくなる
と、必然的に隣接する視差算出領域間の位相差が大きく
なることは明らかである。隣接領域間の位相差が大きく
なると、それらの領域間において画像の歪みが大きくな
る。
【0212】そこで、位相量算出処理では、このような
歪みを補正するための歪み補正処理が行われる(ステッ
プ21)。
【0213】歪み補正処理においては、隣接領域間の位
相差の最大値が所定値PHASETH 以上であれば、位相差を
小さくするために、目標位相量のダイナミックレンジが
変更せしめられる。
【0214】実際には、各隣接領域間の奥行き情報の差
のうちの最大値dvmax が所定値DEPTHTH 以上で有る場合
に、ユーザによって設定された目標位相量のダイナミッ
クレンジdvrange (=front − rear )が変更せしめら
れる。
【0215】所定値DEPTHTH は、次の数式9により求め
られる。
【0216】
【数9】
【0217】各隣接領域間の奥行き情報の差のうちの最
大値dvmax が所定値DEPTHTH 以上で有る場合には、次の
数式10によって目標位相量のダイナミックレンジdvra
ngeが変更せしめられる。
【0218】
【数10】
【0219】数式10において、dvrange'は、歪み補正
により補正された後のダイナミックレンジである。ま
た、front'および rear'は、それぞれ歪み補正により補
正された後の、管面より前に映像を飛び出させる場合の
目標位相量の限界値および管面より奥に映像を引っ込ま
す場合の目標位相量の限界値であり、次の数式11によ
り定義される。
【0220】
【数11】
【0221】なお、上記の例では、所定値DEPTHTH は固
定値であるが、図39に示すように、ユーザによって設
定されたダイナミックレンジdvrange が大きくなるほ
ど、小さくなる可変値としてもよい。このようにする
と、ユーザによって設定されたダイナミックレンジdvra
nge に最適な立体感を提供することが可能となる。図3
9において、ユーザによって設定されたダイナミックレ
ンジdvrange が小さいときにDEPTHTH が飽和しているの
は、ユーザによって設定されたダイナミックレンジdvra
nge が小さい場合には隣接領域間の奥行き情報の差が大
きくても画像の歪みが認知されにくいからである。
【0222】歪み補正処理が行われると、次に、上記ス
テップ16によって得られた静止画比率に基づく補正処
理(以下、比率補正処理という)が行われる(ステップ
22)。
【0223】上記ステップ16によって得られた静止画
比率をrateとすると、歪み補正処理によって得られたdv
range'、front'および rear'は、次の数式12によっ
て、dvrange'' 、front'' および rear'' に変換せしめ
られる。
【0224】
【数12】
【0225】なお、上記ステップ21の歪み補正に用い
られる数式10、11におけるDEPTHTH の代わりに、次
の数式13で表される、静止画比率rateを考慮したDEPT
HTH'' を用いてもよい。
【0226】
【数13】
【0227】歪み補正処理および比率補正処理が終了す
ると、目標位相量算出処理が行われる(ステップ2
3)。つまり、比率補正処理の後に得られたダイナミッ
クレンジdvrange'' (=front'' − rear'' )を用い
て、次の数式14により、各奥行き情報depth が目標位
相量tphaseに変換せしめられる。
【0228】
【数14】
【0229】このようにして得られた目標位相量tphase
は、奥行き情報の生成処理、歪み補正処理および比率補
正処理の影響をまともに受けるため、その値は非常に変
動しやすくなる。この変動を緩和するために、位相変動
抑圧処理が行われる(ステップ24)。
【0230】位相変動抑圧処理においては、各視差算出
領域毎の目標位相量tphaseと、各視差算出領域毎の実際
の位相量(実位相量)phase との大小比較が行われ、差
異がある場合には所定の位相量変動量VT( >0)分だけ
実位相量に加減算が行われる。つまり、所定値VT( >
0)分ずつ実位相量が目標位相量に近づけられる。
【0231】位相変動抑圧処理の内容は、次の数式15
の条件式によって表される。
【0232】
【数15】
【0233】所定値VTとしては、たとえば1/32〔画
素〕程度が好ましい。所定値VT=1/32〔画素〕であ
る場合には、位相量を1〔画素〕変化させるためには、
32フィールドかかることになる。
【0234】上記の例では、位相変動抑圧処理に用いら
れる所定値VTは固定値であるが、図40に示すように静
止画比率rateが50%程度のときにVTが最大となるよう
にVTを可変としてもよいし、図41に示すように目標位
相量tphaseと実位相量phaseとの差の絶対値が大きいほ
どVTが大きくなるようにVTを可変としてもよい。
【0235】図40および図41において、BASEはVTの
下限値であり、MAX はVTの上限値である。VTに上限値を
規定しているのは、VTを大きくしすぎると、実位相量の
変動に応じて画像が歪んで行く様子を観察者が認知して
しまうからである。VTを1〔画素〕以上に設定すると、
画像が歪んで行く様子が観察者に認知されることが多
い。
【0236】さらに、各視差算出領域毎に、各視差算出
領域の画像の動きに応じてVTを変更するようにしてもよ
い。つまり、各視差算出領域毎に画像の動き量を検出
し、図42に示すように、画像の動き量が大きい領域ほ
どVTを大きくする。画像の動き量が大きい領域ほどVTを
大きくしているのは、動きのない映像に比べて、動きの
ある映像の方が、画像の歪んで行く過程が認知され難い
からである。
【0237】また、図42に示すように画像の動き量が
大きい領域ほどVTを大きくする方法によれば、画質の劣
化が起こりやすい動画領域においてより早く実位相量を
0にすることが可能となる。これは、位相制御により、
画像を歪ませる際に発生する解像度劣化を、動画領域に
おいてより迅速に解消することを意味する。一般に立体
感は、解像度が高いほど大きいので、動画領域の立体感
の向上が図れるようになる。
【0238】通常時においては、位相変動抑圧処理によ
って得られた各視差算出領域ごとの実位相量phase が視
差制御回路518に送られる。
【0239】ただし、シーンチェンジがあったときに
は、シーンチェンジ検出および制御処理によって、奥行
き情報、目標位相量tphase、実位相量phase およびVTが
次のように制御される(ステップ25)。
【0240】つまり、シーンチェンジが検出されると、
奥行き情報、目標位相量tphase、および実位相量phase
が強制的にゼロリセットされる。つまり、奥行き情報、
目標位相量tphase、および実位相量phase が零にされ
る。シーンチェンジの検出方法としては、たとえば、特
開平8−149514号公報に開示されている方法を用
いることができる。
【0241】シーンチェンジから目標位相量決定までの
所要時間が数フィールド未満というシステムにおいて
は、シーンチェンジ直後に最初に決定された目標位相量
が実位相量に設定される。
【0242】シーンチェンジから目標位相量決定までの
所要時間が数フィールド以上というシステムにおいて
は、実位相量は所定値VTに応じて徐々に目標位相量に近
づくことになる。しかし、位相変動抑圧処理に用いられ
るVTの値が小さい場合には、シーンチェンジ後に、立体
感が得られるまでに時間がかかるため、シーンチェンジ
検出後の数十フィールド期間においては、ステップ24
の位相変動抑圧処理に用いられるVTが通常時のVTより大
きな値に設定せしめられる。
【0243】図35に示すメモリ制御部513は、CP
U530から送られてきた遅延量に基づいて、入力映像
を書き込むべきフィールドメモリおよび映像信号を読み
出すべきフィールドメモリを決定する。また、メモリ制
御部513は、遅延量の符号に基づいて、右目用映像選
択回路514および左目用映像選択回路515に選択制
御信号を出力する。
【0244】ここでは、説明の便宜上、入力映像そのも
のを主映像とし、フィールドメモリから読み出される映
像を主映像に対して時間的に遅延された副映像であると
する。主映像は、右目用映像選択回路514の第1入力
端子および左目用映像選択回路515の第1入力端子に
送られる。副映像は、右目用映像選択回路514の第2
入力端子および左目用映像選択回路515の第2入力端
子に送られる。
【0245】各選択回路514、515は、メモリ制御
部513からの選択制御信号に基づいて、第1および第
2入力端子に入力されている映像信号のうち、一方を選
択して出力する。これにより、両選択回路514、51
5のうち、一方から主映像が出力され、他方から副映像
が出力される。
【0246】図35に示す視差制御回路518は、CP
U530から得られた各視差算出領域ごとの実位相量ph
ase に基づいて各画素ごとの実位相量を生成する。図3
5に示す視差制御回路518は、図1の視差制御回路4
に相当する回路であり、より具体的には図28に符号7
01で示す部分に相当する回路である。ただし、図35
の視差制御回路518には、上述した位相量算出処理
(図38参照)によって得られた各視差算出領域ごとの
実位相量phase が入力される点が、図1の視差制御回路
4と異なっている。この点を除いては、図35に示す視
差制御回路518の動作は、図28に符号701で示す
部分に相当する回路の動作と同じなので、その説明を省
略する。
【0247】また、図35に示す右目用視差生成回路5
16および左目用視差生成回路517は、動画用2D/
3D映像変換方法によって得られた右目用映像信号およ
び左目用映像信号の各画素に対して、視差制御回路51
8によって得られたその画素に対応する実位相量に応じ
た水平位相制御を行う。
【0248】図35に示す右目用視差生成回路516
は、図28に符号702で示す回路に相当し、図35に
示す左目用視差生成回路517は、図28に符号703
で示す回路に相当する。ただし、図35に示す右目用視
差生成回路516に入力される映像信号は、動画用2D
/3D映像変換方法によって得られた右目用映像信号お
よび左目用映像信号である点が、図28に符号702、
703で示されている回路に入力される映像信号と異な
っている。その点を除いては、図35に示す右目用視差
生成回路516の動作は、図28に符号702で示す回
路の動作と同じであり、図35に示す左目用視差生成回
路517の動作は、図28に符号703で示す回路の動
作と同じなので、その詳細な説明を省略する。
【0249】上記実施の形態では、常に、動画用2D/
3D映像変換方法によって右目用映像および左目用映像
とが生成されている。そして、動画用2D/3D映像変
換方法によって生成された右目用映像および左目用映像
に対して、静止画用2D/3D映像変換方法と基本的に
は同様な考え方によって生成された画素毎の実位相量に
基づく位相制御が行われている。
【0250】この実施の形態では、歪み補正処理(図3
7のステップ21参照)によって、1画面内の各視差算
出領域間において画像歪みが生じない大きさに目標位相
量の大きさが決定される。また、比率補正処理(図37
のステップ22参照)によって目標位相量は、静止画比
率が小さいときには小さくなるように決定される。さら
に、位相変動抑圧処理(図37のステップ24参照)に
よって、フィールド間において画像歪みが生じないよう
に実位相量が決定される。このため、最終的に得られた
3次元映像が見やすくなる。なお、歪み補正処理(図3
7のステップ21参照)を省略してもよい。
【0251】上記実施の形態では、動画用2D/3D映
像変換方法によって生成された右目用映像および左目用
映像とに対して、実位相量に基づく位相制御が行われて
いるが、動画用2D/3D映像変換方法による2D/3
D変換処理を行わずに、2次元入力信号に対して実位相
量に基づく位相制御のみを行うようにしてもよい。この
場合には、比率補正処理(図37のステップ22参照)
は省略される。また、この場合に、歪み補正処理(図3
7のステップ21参照)を省略してもよい。
【0252】
【発明の効果】この発明によれば、画像歪みの小さい3
次元映像が得られる。
【図面の簡単な説明】
【図1】2D/3D映像変換装置の全体構成を示すブロ
ック図である。
【図2】視差算出領域を示す模式図である。
【図3】R−Y成分積算回路の構成を示すブロック図で
ある。
【図4】高周波成分積算回路の構成を示すブロック図で
ある。
【図5】図4のハイパスフィルタ232の具体例を示す
回路図である。
【図6】図4のスライス処理回路234の入出力特性を
示すグラフである。
【図7】高周波成分積算回路の他の例を示すブロック図
である。
【図8】図7のピーク検出回路239の具体例を示す回
路図である。
【図9】ピーク検出回路239の各部の信号を示すタイ
ムチャートである。
【図10】輝度コントラスト算出回路の構成を示すブロ
ック図である。
【図11】図10の輝度コントラスト検出回路の構成を
示す回路図である。
【図12】CPUによる視差情報の生成処理手順を示す
フローチャートである。
【図13】実際に設定される視差算出領域を示す模式図
である。
【図14】高周波成分積算値の各正規化値に対する視差
算出領域の数を示すヒストグラムである。
【図15】図14のヒストグラムに基づいて得られたグ
ループ分け結果を示す模式図である。
【図16】R−Y成分積算値の正規化値を縦軸にとり、
B−Y成分積算値の正規化値を横軸にとって、視差算出
領域の分布を表したグラフである。
【図17】図16のグラフに基づいて得られたグループ
分け結果を示す模式図である。
【図18】図16のグラフに基づいて得られたグループ
分け結果を示す模式図である。
【図19】空間分離処理によって修正されたグループ分
け結果を示す模式図である。
【図20】特異点処理を説明するための模式図である。
【図21】特異点処理によって修正されたグループ分け
結果を示す模式図である。
【図22】各視差算出領域毎に予め設定された背景重み
成分を示す模式図である。
【図23】奥行き補正前における各視差算出領域の奥行
き情報の一例を示す模式図である。
【図24】奥行き補正後における各視差算出領域の奥行
き情報を示す模式図である。
【図25】奥行き補正前における画面の高さ位置に対す
る奥行き情報との関係および奥行き補正後における画面
の高さ位置に対する奥行き情報との関係を示すグラフで
ある。
【図26】グループ内部に対する奥行き情報補正処理を
説明するための模式図である。
【図27】奥行き情報と視差情報との関係を示すグラフ
である。
【図28】主として、視差制御回路および任意画素遅延
FIFOの構成を示すブロック図である。
【図29】相対的水平位置および相対的垂直位置等を示
す模式図である。
【図30】注目画素に対する視差情報を生成する方法を
説明するための説明図である。
【図31】視差選択回路による選択規則を示す図であ
る。
【図32】視差情報が0の場合の各部の信号を示すタイ
ムチャートである。
【図33】視差情報が1.2の場合の各アドレス値を視
差制御回路に付記したブロック図である。
【図34】視差情報が1.2の場合の各部の信号を示す
タイムチャートである。
【図35】この発明の実施の形態である2D/3D映像
変換装置の構成を示すブロック図である。
【図36】CPU530が実行する処理を示すフローチ
ャートである。
【図37】位相量算出処理手順を示すフローチャートで
ある。
【図38】静止画比率の平滑化処理を説明するためのブ
ロック図である。
【図39】ユーザによって設定されたダイナミックレン
ジdvrange に応じて歪み補正処理に用いられるDEPTHTH
を変化させる場合の、ダイナミックレンジdvrange とDE
PTHTH との関係を示すグラフである。
【図40】静止画比率rateに応じて位相変動抑圧処理に
用いられるVTを変化させる場合の、静止画比率rateとVT
との関係を示すグラフである。
【図41】目標位相量tphaseと実位相量phase との差の
絶対値に応じて位相変動抑圧処理に用いられるVTを変化
させる場合の、目標位相量tphaseと実位相量phase との
差の絶対値とVTとの関係を示すグラフである。
【図42】各視差算出領域の動き量に応じて位相変動抑
圧処理に用いられるVTを各視差算出領域ごとに変化させ
る場合の、視差算出領域の動き量とVTとの関係を示すグ
ラフである。
【符号の説明】
511 動きベクトル検出回路 512 各種画面内データ算出回路 513 メモリ制御部 514、515 選択回路 516、517 視差生成回路 518 視差制御回路 519 CPUインタフェース 521〜524 フィールドメモリ 530 CPU

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 2次元入力映像に基づいて、1フィール
    ド画面内に設定された複数の視差算出領域のそれぞれに
    対して映像の遠近に関する画像特徴量を抽出し、抽出し
    た画像特徴量に基づいて、各視差算出領域ごとの奥行き
    情報を生成する奥行き情報生成手段、 予め設定された目標位相量のダイナミックレンジと奥行
    き情報生成手段によって生成された所定単位領域ごとの
    奥行き情報とに基づいて、各視差算出領域ごとの目標位
    相量を算出する目標位相量算出手段、 各視差算出領域ごとの前回の実位相量が対応する領域の
    目標位相量に徐々に近づくように、各視差算出領域ごと
    の今回の実位相量を算出し、得られた各視差算出領域ご
    との今回の実位相量に基づいて、1フィールド画面内の
    所定単位領域ごとの今回の実位相量を求める実位相量算
    出手段、ならびに2次元入力映像の各所定単位領域内の
    信号から、その所定単位領域に対応する今回の実位相量
    に応じた水平位相差を有する第1映像信号と第2映像信
    号とをそれぞれ生成する位相制御手段、 を備えている2次元映像を3次元映像に変換する装置。
  2. 【請求項2】 2次元入力映像に基づいて、1フィール
    ド画面内に設定された複数の視差算出領域のそれぞれに
    対して映像の遠近に関する画像特徴量を抽出し、抽出し
    た画像特徴量に基づいて、各視差算出領域ごとの奥行き
    情報を生成する奥行き情報生成手段、 各隣接領域間の奥行き情報の差のうちの最大値が基準値
    より大きい場合には、予め設定された目標位相量のダイ
    ナミックレンジが小さくなるように目標位相量のダイナ
    ミックレンジを補正する補正手段、 補正手段によって得られた目標位相量のダイナミックレ
    ンジと奥行き情報生成手段によって生成された所定単位
    領域ごとの奥行き情報とに基づいて、各視差算出領域ご
    との目標位相量を算出する目標位相量算出手段、 各視差算出領域ごとの前回の実位相量が対応する領域の
    目標位相量に徐々に近づくように、各視差算出領域ごと
    の今回の実位相量を算出し、得られた各視差算出領域ご
    との今回の実位相量に基づいて、1フィールド画面内の
    所定単位領域ごとの今回の実位相量を求める実位相量算
    出手段、ならびに2次元入力映像の各所定単位領域内の
    信号から、その所定単位領域に対応する今回の実位相量
    に応じた水平位相差を有する第1映像信号と第2映像信
    号とをそれぞれ生成する位相制御手段、 を備えている2次元映像を3次元映像に変換する装置。
  3. 【請求項3】 2次元入力映像に基づいて、基準となる
    主映像および主映像に対して時間的に遅れた副映像を生
    成し、主映像および副映像のうち、一方を左目用映像と
    して出力し、他方を右目用映像として出力する映像変換
    手段、 2次元入力映像が動画であるか、静止画であるかを判定
    する動画/静止画判定手段、 動画/静止画判定手段の判定結果に基づいて、静止画比
    率を算出する静止画比率算出手段、 2次元入力映像に基づいて、1フィールド画面内に設定
    された複数の視差算出領域のそれぞれに対して映像の遠
    近に関する画像特徴量を抽出し、抽出した画像特徴量に
    基づいて、各視差算出領域ごとの奥行き情報を生成する
    奥行き情報生成手段、 予め設定された目標位相量のダイナミックレンジに静止
    画比率を乗算することにより、目標位相量のダイナミッ
    クレンジを補正する補正手段、 補正手段によって得られた目標位相量のダイナミックレ
    ンジと奥行き情報生成手段によって生成された所定単位
    領域ごとの奥行き情報とに基づいて、各視差算出領域ご
    との目標位相量を算出する目標位相量算出手段、 各視差算出領域ごとの前回の実位相量が対応する領域の
    目標位相量に徐々に近づくように、各視差算出領域ごと
    の今回の実位相量を算出し、得られた各視差算出領域ご
    との今回の実位相量に基づいて、1フィールド画面内の
    所定単位領域ごとの今回の実位相量を求める実位相量算
    出手段、ならびに映像変換手段から出力される右目用映
    像および左目用映像の各所定単位領域内の信号に対し
    て、実位相量算出手段によって得られた当該所定単位領
    域に対応する実位相量に応じた水平位相制御を行う位相
    制御手段、 を備えている2次元映像を3次元映像に変換する装置。
  4. 【請求項4】 2次元入力映像に基づいて、基準となる
    主映像および主映像に対して時間的に遅れた副映像を生
    成し、主映像および副映像のうち、一方を左目用映像と
    して出力し、他方を右目用映像として出力する映像変換
    手段、 2次元入力映像が動画であるか、静止画であるかを判定
    する動画/静止画判定手段、 動画/静止画判定手段の判定結果に基づいて、静止画比
    率を算出する静止画比率算出手段、 2次元入力映像に基づいて、1フィールド画面内に設定
    された複数の視差算出領域のそれぞれに対して映像の遠
    近に関する画像特徴量を抽出し、抽出した画像特徴量に
    基づいて、各視差算出領域ごとの奥行き情報を生成する
    奥行き情報生成手段、 各隣接領域間の奥行き情報の差のうちの最大値が基準値
    より大きい場合には、予め設定された目標位相量のダイ
    ナミックレンジが小さくなるように目標位相量のダイナ
    ミックレンジを補正する第1補正手段、 第1補正手段によって得られた目標位相量のダイナミッ
    クレンジに静止画比率を乗算することにより、目標位相
    量のダイナミックレンジを補正する第2補正手段、 第2補正手段によって得られた目標位相量のダイナミッ
    クレンジと奥行き情報生成手段によって生成された所定
    単位領域ごとの奥行き情報とに基づいて、各視差算出領
    域ごとの目標位相量を算出する目標位相量算出手段、 各視差算出領域ごとの前回の実位相量が対応する領域の
    目標位相量に徐々に近づくように、各視差算出領域ごと
    の今回の実位相量を算出し、得られた各視差算出領域ご
    との今回の実位相量に基づいて、1フィールド画面内の
    所定単位領域ごとの今回の実位相量を求める実位相量算
    出手段、ならびに映像変換手段から出力される右目用映
    像および左目用映像の各所定単位領域内の信号に対し
    て、実位相量算出手段によって得られた当該所定単位領
    域に対応する実位相量に応じた水平位相制御を行う位相
    制御手段、 を備えている2次元映像を3次元映像に変換する装置。
  5. 【請求項5】 静止画比率算出手段は、動画/静止画判
    定手段によって2次元入力映像が動画であると判定され
    たときには静止画比率として0を設定し、2次元入力映
    像が静止画であると判定されたときには静止画比率とし
    て100を設定する手段、ならびに設定された静止画比
    率をフィールド間で平滑化する手段、 を備えている請求項3および4のいずれかに記載の2次
    元映像を3次元映像に変換する装置。
  6. 【請求項6】 実位相量算出手段は、2次元入力映像に
    基づいて各視差算出領域の映像の動き量を算出し、映像
    の動き量が大きい視差算出領域ほど、その領域の実位相
    量がより早くその領域の目標位相量に近づくように、各
    視差算出領域ごとの今回の実位相量を算出し、得られた
    各視差算出領域ごとの今回の実位相量に基づいて、1フ
    ィールド画面内の所定単位領域ごとの今回の実位相量を
    求めるものである請求項1、2、3、4および5のいず
    れかに記載の2次元映像を3次元映像に変換する装置。
JP25652397A 1997-09-18 1997-09-22 2次元映像を3次元映像に変換する装置 Expired - Fee Related JP3454684B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP25652397A JP3454684B2 (ja) 1997-09-22 1997-09-22 2次元映像を3次元映像に変換する装置
US09/152,328 US6584219B1 (en) 1997-09-18 1998-09-14 2D/3D image conversion system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25652397A JP3454684B2 (ja) 1997-09-22 1997-09-22 2次元映像を3次元映像に変換する装置

Publications (2)

Publication Number Publication Date
JPH1198530A true JPH1198530A (ja) 1999-04-09
JP3454684B2 JP3454684B2 (ja) 2003-10-06

Family

ID=17293813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25652397A Expired - Fee Related JP3454684B2 (ja) 1997-09-18 1997-09-22 2次元映像を3次元映像に変換する装置

Country Status (1)

Country Link
JP (1) JP3454684B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001039512A1 (en) * 1999-11-26 2001-05-31 Sanyo Electric Co., Ltd. Device and method for converting two-dimensional video to three-dimensional video
WO2011155698A3 (ko) * 2010-06-08 2012-02-02 에스케이텔레콤 주식회사 입체 영상 오류 개선 방법 및 장치
US9167198B2 (en) 2004-06-24 2015-10-20 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001039512A1 (en) * 1999-11-26 2001-05-31 Sanyo Electric Co., Ltd. Device and method for converting two-dimensional video to three-dimensional video
US7161614B1 (en) 1999-11-26 2007-01-09 Sanyo Electric Co., Ltd. Device and method for converting two-dimensional video to three-dimensional video
US9167198B2 (en) 2004-06-24 2015-10-20 Canon Kabushiki Kaisha Image processing apparatus and image processing method
WO2011155698A3 (ko) * 2010-06-08 2012-02-02 에스케이텔레콤 주식회사 입체 영상 오류 개선 방법 및 장치
KR101291071B1 (ko) * 2010-06-08 2013-08-01 주식회사 에스칩스 입체 영상 오류 개선 방법 및 장치
US8503765B2 (en) 2010-06-08 2013-08-06 Sk Planet Co., Ltd. Method and apparatus for correcting errors in stereo images

Also Published As

Publication number Publication date
JP3454684B2 (ja) 2003-10-06

Similar Documents

Publication Publication Date Title
KR100445619B1 (ko) 2차원 영상을 3차원 영상으로 변환하는 장치 및 방법
US6584219B1 (en) 2D/3D image conversion system
US8447141B2 (en) Method and device for generating a depth map
KR101385514B1 (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
KR101856805B1 (ko) 화상 처리 장치 및 화상 처리 방법, 및 프로그램
JP3005474B2 (ja) 2次元映像を3次元映像に変換する装置および方法
JP2001320731A (ja) 2次元映像を3次元映像に変換する装置及びその方法
US20130342529A1 (en) Parallax image generating apparatus, stereoscopic picture displaying apparatus and parallax image generation method
JP3276931B2 (ja) 3次元映像の立体感調整方法及び立体感調整装置
JP3235776B2 (ja) 立体感調整方法および立体感調整装置
JP2951291B2 (ja) 2次元映像を3次元映像に変換する装置および方法
JP2015012429A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7159198B2 (ja) 奥行きマップを処理するための装置及び方法
JP5692051B2 (ja) 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
JP3540626B2 (ja) 2次元映像を3次元映像に変換する装置および方法
JPH10191397A (ja) 意図適応型の2次元映像を3次元映像に変換する装置
JP3500056B2 (ja) 2次元映像を3次元映像に変換する装置および方法
JP3485764B2 (ja) 2次元映像を3次元映像に変換する装置および方法
JP3454684B2 (ja) 2次元映像を3次元映像に変換する装置
JP3957343B2 (ja) 2次元映像を3次元映像に変換する装置および方法
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
US8976175B2 (en) Depth estimation data generating device, computer readable recording medium having depth estimation data generating program recorded thereon, and pseudo-stereo image display device
JP5691966B2 (ja) 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080725

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080725

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090725

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100725

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130725

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees