JPH0787598B2 - 視差補正装置 - Google Patents

視差補正装置

Info

Publication number
JPH0787598B2
JPH0787598B2 JP13476691A JP13476691A JPH0787598B2 JP H0787598 B2 JPH0787598 B2 JP H0787598B2 JP 13476691 A JP13476691 A JP 13476691A JP 13476691 A JP13476691 A JP 13476691A JP H0787598 B2 JPH0787598 B2 JP H0787598B2
Authority
JP
Japan
Prior art keywords
parallax
image
pass filter
correction device
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP13476691A
Other languages
English (en)
Other versions
JPH04360395A (ja
Inventor
謙也 魚森
光穗 山田
Original Assignee
株式会社エイ・ティ・アール視聴覚機構研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エイ・ティ・アール視聴覚機構研究所 filed Critical 株式会社エイ・ティ・アール視聴覚機構研究所
Priority to JP13476691A priority Critical patent/JPH0787598B2/ja
Publication of JPH04360395A publication Critical patent/JPH04360395A/ja
Publication of JPH0787598B2 publication Critical patent/JPH0787598B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は視差補正装置に関し、
特に、画像工学において、左画像と右画像とに基づいて
立体画像を表示する上で、左画像と右画像との視差を補
正するような視差補正装置に関する。
【0002】
【従来の技術および発明が解決しようとする課題】図8
は従来の時分割立体画像提示装置の一例を示す図であ
る。図8を参照して、左画像を第1フィールドとし、右
画像を第2フィールドとして、左右の画像を時間的にフ
ィールド(フレーム)毎に切換えてテレビジョンモニタ
に表示し、左右の目の前にそれぞれ液晶シャッタ12を
配置した眼鏡を観察者11がかけて画像を見る。このと
き、左右の液晶シャッタ12は画像信号に同期して駆動
される。すなわち、右目用画像がモニタテレビジョンに
表示されているときには左目用の液晶シャッタは光を通
さない状態にされ、右目用の液晶シャッタは光を通すよ
うな状態に駆動される。また、右目用の画像がモニタテ
レビジョンに表示されているときには左右が逆となる。
左右の2つの画像は、左右水平に配置されたカメラ2台
で撮影されているので、これらの画像を両眼で融合する
ことにより、みかけの奥行きを持つ三次元的なステレオ
画像が得られる。
【0003】しかし、このようなステレオ画像では、人
が融合する時点で水平,垂直視差の限界があり、これを
越えるとステレオ視,融合視が不可能になってしまう。
たとえば、ステレオ画像の撮影では、カメラ2台を用い
る方式では左右像の光軸合せが微妙であり、限界以上の
視差が生じる場合が多い。このような視差の設定が不適
当な画像は視差融合範囲を越えたステレオ画像を鑑賞す
るときに大きな妨害となる。
【0004】それゆえに、この発明の主たる目的は、カ
メラで収録した後のステレオ画像の水平,垂直視差を自
動的に補正し、適正な立体画像を生成できるような視差
補正装置を提供することである。
【0005】
【課題を解決するための手段】請求項1にかかる発明
は、視差補正装置であって、左画像と右画像のステレオ
画像を入力として左右画像の視差を抽出する視差抽出手
段と、抽出された視差画像にフィルタ処理を施す信号処
理手段と、信号処理手段の出力と左画像および右画像の
いずれか一方の画像とを用いてステレオ画像を復元する
ステレオ画像復元手段を備えて構成される。
【0006】請求項2にかかる発明は、請求項1にかか
る発明の信号処理手段として、抽出された視差画像の高
域成分を除去するローパスフィルタと、ローパスフィル
タの出力をクリップ処理するクリップ処理手段とから構
成される。
【0007】請求項3にかかる発明は、請求項2にかか
る発明のローパスフィルタとしてピーキング特性を有す
るものが用いられる。
【0008】請求項4にかかる発明は、請求項1にかか
る発明の信号処理手段として、抽出された視差画像の高
域成分と低域成分とを除去するバンドパスフィルタと、
バンドパスフィルタの出力をクリップ処理するクリップ
処理手段とから構成される。
【0009】請求項5にかかる発明は、請求項1にかか
る発明の信号処理手段として、視差画像のうち視差0近
辺の値を0にするような非線形処理を加えるように構成
される。
【0010】
【作用】この発明にかかる視差補正装置は、左画像と右
画像とから得られる視差画像にフィルタ処理を行なうこ
とによって、融合しない視差が発生しないようにし、こ
の視差画像と片方の目に対応する画像から左画像と右画
像のステレオ画像を得る。
【0011】
【発明の実施例】図1はこの発明の一実施例の概略ブロ
ック図である。図1を参照して、視差抽出部1には、右
画像と左画像とが入力され、右画像と左画像との視差画
像が抽出されてローパスフィルタ(LPF)2に与えら
れる。ローパスフィルタ2は視差画像に含まれる高域成
分を除去してクリップ処理部3に与える。クリップ処理
部3はクリップ処理を施してステレオ画像復元部4に与
える。ステレオ画像復元部4はクリップ処理された視差
画像と左画像とに基づいて、ステレオ画像を復元し、右
画像信号と左画像信号とを出力する。
【0012】図2は、図1に示した視差抽出部による視
差検出方法を説明するための図であり、図3は図1に示
したクリップ処理部の入出力特性を示す図であり、図4
は図1に示したステレオ画像復元部によるステレオ画像
復元方法を説明するための図であり、図5は雑音除去の
ための非線形処理のための入出力特性を示す図であり、
図6はピーキング特性を持つローパスフィルタの周波数
特性を示す図である。
【0013】次に、図1〜図6を参照して、この発明の
一実施例の具体的な動作について説明する。カメラなど
で撮像された右画像信号と左画像信号とが視差抽出部1
に与えられる。視差抽出部1は左右の画像の視差成分を
抽出する。ここで、視差成分とは、左右の画像の水平方
向の局所的なずれ(偏移)のことであり、この偏移がス
テレオ視による奥行きに対応している。視差成分抽出方
法としては、たとえば左右の画像の相互相関を求める方
法がある。図2はこの方法を簡単に説明したものであ
り、(a)は左画像を示し、(b)は右画像を示す。片
方の画像の局所的な領域(図2(a)では3×3画素の
領域の場合)を平行移動し、図2(b)に示すようにも
う片方の画像と最も一致する偏移(Dx,Dy)が求め
られる。ここで、相互相関を用いて視差を計算する具体
例について説明する。左右の画面の対応するこの領域を
構成する画素gL(xi ,yi )(左目用画像),gR
(x i ,yi )(右目用画像)、i=1,2…9につい
て相関を計算する。そして、片方の目の画像の領域Kを
(Dx k ,Dy k )だけ平行移動したときの相関を計算
し、最も相関の高い値を示す(この場合小さい値にな
る)場合の(Xk ,Yk )が視差となる。計算式で表わ
すと、 S(Dx k ,Dy k 視差(Dx ,Dy )=(Dx k ,Dy k ) for m
inS(Dx k ,Dy k ) となる。ここで、S(Dx k ,Dy k )は基準位置から
(Dx k ,Dy k )だけ平行移動したときの左右画像の
相関を示す関数である。この計算を画面全体にわたって
領域を移動しながら行ない、それぞれの視差(Dx ,D
y )をそれぞれの領域の中心座標における視差とすれ
ば、画面全体の範囲の視差画像が得られる。
【0014】この視差画像は、左右の画像の遮蔽成分
(被写体の影になって左右画像両方に同じ画像が存在し
ない成分)の影響や、画像信号の雑音成分によって、滑
らかな曲面を撮像しても所々で振幅が大きくインパルス
的な、空間周波数の高い妨害雑音成分と、振幅が小さく
白色雑音的な妨害雑音成分が混入し、これがステレオ画
像復元部4により復元される左右画像の歪を発生する。
そこで、ローパスフィルタ2によって視差画像における
インパルス的な高域雑音と白色雑音を除去し、ステレオ
画像復元部4により復元される左右画像の歪を低減す
る。さらに、クリップ処理部3によって図3に示すよう
なクリップ処理が施される。これは、視差の大きさが、
ある値よりも大きくならないようにするためである。ス
テレオ画像に対する人間の特性として、あまり大きな視
差は左右の画像を1つの画像として知覚できず、不愉快
な二重像として観察されることが知られており、このク
リップ処理により大きな視差を発生することがなくな
り、見やすい良好なステレオ画像を得ることができる。
このとき、ローパスフィルタ2は、1次元(水平方
向)、2次元(水平,垂直方向)、3次元(水平,垂
直,時間方向)のいずれのタイプを用いてもよい。
【0015】次に、ステレオ画像復元部4はローパスフ
ィルタ2によって高域成分が除去されかつクリップ処理
部3でクリップ処理された視差画像信号と左右いずれか
一方の入力画像を用いて左右のステレオ画像を復元す
る。図4を参照してより詳細に説明すると、図4(a)
に示されている一方の画像の各画素を、図4(c)に示
す視差画像における位置の水平視差の大きさに合わせ
て、図4(b)に示すようにDxだけもとの画素の位置
から水平方向に偏移する。さらに、垂直方向の視差Dy
を用いてこれが一定値DになるようにΔDy=D−Dy
だけ垂直方向に偏移しても、視差の符号によって偏移の
方向は反転する。また、画素が重なった場合は平均し、
空き画素は上下左右の画素を用いて内挿する。このと
き、各画素の視差の垂直成分を画像の全体にわたって平
均し、その値によって左右の画像の垂直位置を平行移動
によって合わせることによってステレオ画像鑑賞時に妨
害となる垂直視差成分を最小にできる。また、再構成さ
れた左右の画像にローパスフィルタ処理を施すことによ
って、視差処理を施して不連続となった画像を滑らかに
つないでもよい。
【0016】また、図5に示すように視差0近辺の振幅
が小さく白色雑音的な妨害雑音成分を0にすることによ
っても、視差画像の妨害雑音を低減し、歪の小さなS/
Nの高い復元左右画像を得ることができる。さらに、ロ
ーパスフィルタ2の特性を図6に示すようなピーキング
特性を持たせたものを使うことにより、復元画像におけ
る奥行方向のエッジを強調し、奥行き方向にめりはりの
ある立体画像を得ることができ、観察者の奥行感を上げ
ることができる。また、ピーキングの大きさを変えるこ
とにより、奥行方向のエッジ強調を調節することができ
る。
【0017】さらに、ローパスフィルタ2に代えてバン
ドパスフィルタを用い、高域成分と低域成分を除去し、
奥行きの変化している部分のみに水平視差を与えるよう
にすることもできる。この場合、完全な立体感を得るこ
とができないが、図7に示すように、視差の変化成分の
みを抽出し、これを用いて左右の画像を構成し、擬似的
な立体画像を得る。この方法を用いると、図7(a)の
縦軸に示す奥行成分を図7(b)に示すような視差の変
化成分のみに変換することによって視差画像の情報量を
落とし、伝送容量を小さくできるという利点がある。
【0018】上述の処理によって、視差成分をローパス
フィルタ,クリップ処理された左右のステレオ画像を得
ることができる。
【0019】
【発明の効果】以上のように、この発明によれば、左右
画像の視差を抽出し、抽出された視差画像にフィルタ処
理を施した後、左右いずれか一方の画像を用いてステレ
オ画像を復元するようにしたので、ステレオ画像鑑賞時
に有害となる大きな視差を画面内のそれぞれの位置にお
いて補正して良好なステレオ画像を生成することができ
る。また、片方の画像と視差画像を伝送する場合、視差
画像のフィルタ処理を施しておくことによって、帯域幅
を削減できるので、伝送容量を低減できる。
【図面の簡単な説明】
【図1】この発明の一実施例の概略ブロック図である。
【図2】図1に示した視差抽出部による視差検出方法を
説明するための図である。
【図3】図1に示したクリップ処理部3によるクリップ
処理の入出力特性を示す図である。
【図4】図1に示したステレオ画像復元部によるステレ
オ画像の復元方法を説明するための図である。
【図5】雑音除去のための非線形処理の入出力特性を示
す図である。
【図6】ピーキング特性を持つローパスフィルタの周波
数特性を示す図である。
【図7】視差の変化成分のみを抽出する例を示す図であ
る。
【図8】従来の時分割立体画像提示装置の一例を示す図
である。
【符号の説明】
1 視差抽出部 2 ローパスフィルタ 3 クリップ処理部 4 ステレオ画像復元部

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 左画像および右画像のステレオ画像を入
    力として左右画像の視差を抽出する視差抽出手段、前記
    視差抽出手段によって抽出された視差画像にフィルタ処
    理を施す信号処理手段、および前記信号処理手段の出力
    と前記左画像および右画像のいずれか一方の画像とを用
    いてステレオ画像を復元するステレオ画像復元手段を備
    えた、視差補正装置。
  2. 【請求項2】 前記信号処理手段は、前記視差抽出手段
    によって抽出された視差画像の高域成分を除去するロー
    パスフィルタ、および前記ローパスフィルタの出力をク
    リップ処理するクリップ処理手段を含む、請求項1の視
    差補正装置。
  3. 【請求項3】 前記ローパスフィルタはピーキング特性
    を有することを特徴とする、請求項2の視差補正装置。
  4. 【請求項4】 前記信号処理手段は、前記視差抽出手段
    によって抽出された視差画像の高域成分と低域成分とを
    除去するバンドパスフィルタ、および前記バンドパスフ
    ィルタの出力をクリップ処理するクリップ処理手段を含
    む、請求項1の視差補正装置。
  5. 【請求項5】 前記信号処理手段は、視差画像のうち視
    差0近辺の値を0 にするような非線形処理を加えること
    を特徴とする、請求項1の視差補正装置。
JP13476691A 1991-06-06 1991-06-06 視差補正装置 Expired - Fee Related JPH0787598B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13476691A JPH0787598B2 (ja) 1991-06-06 1991-06-06 視差補正装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13476691A JPH0787598B2 (ja) 1991-06-06 1991-06-06 視差補正装置

Publications (2)

Publication Number Publication Date
JPH04360395A JPH04360395A (ja) 1992-12-14
JPH0787598B2 true JPH0787598B2 (ja) 1995-09-20

Family

ID=15136065

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13476691A Expired - Fee Related JPH0787598B2 (ja) 1991-06-06 1991-06-06 視差補正装置

Country Status (1)

Country Link
JP (1) JPH0787598B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5556394B2 (ja) * 2010-06-07 2014-07-23 ソニー株式会社 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
JP2012019329A (ja) 2010-07-07 2012-01-26 Sony Corp 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
JPWO2012120880A1 (ja) * 2011-03-10 2014-07-17 パナソニック株式会社 立体画像出力装置及び立体画像出力方法
JP5838775B2 (ja) * 2011-12-14 2016-01-06 コニカミノルタ株式会社 画像処理方法、画像処理システムおよび画像処理プログラム
JP6215228B2 (ja) * 2012-01-04 2017-10-18 トムソン ライセンシングThomson Licensing 3d画像シーケンスの処理
US9525861B2 (en) * 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
JP5493155B2 (ja) * 2012-09-06 2014-05-14 シャープ株式会社 立体画像処理装置、立体画像処理方法、及びプログラム

Also Published As

Publication number Publication date
JPH04360395A (ja) 1992-12-14

Similar Documents

Publication Publication Date Title
JP5347717B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US8866884B2 (en) Image processing apparatus, image processing method and program
KR101311896B1 (ko) 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
EP1021049A2 (en) Stereoscopic video display method and apparatus
US9013561B2 (en) Stereoscopic video processing apparatus, method, and program
US8368696B2 (en) Temporal parallax induced display
US8558875B2 (en) Video signal processing device
KR20070025632A (ko) 3d 입체 영상 처리 장치 및 방법
JPH07167633A (ja) 立体画像撮像及び表示装置
JP5978573B2 (ja) 映像信号処理装置および映像信号処理方法
JP2011120210A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2001258052A (ja) 立体映像表示装置
US9088774B2 (en) Image processing apparatus, image processing method and program
JP5820985B2 (ja) 立体画像処理装置および立体画像処理方法
JP2012120057A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JPH0787598B2 (ja) 視差補正装置
KR100439341B1 (ko) 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
Ideses et al. New methods to produce high quality color anaglyphs for 3-D visualization
KR100392381B1 (ko) 영상에서의 사물들간의 시차량을 조절하는 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템
KR100597587B1 (ko) 보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그방법과 그를 이용한 평행축 입체 카메라 시스템
Balcerek et al. Brightness correction and stereovision impression based methods of perceived quality improvement of cCTV video sequences
JP2013074397A (ja) 画像処理システム、画像処理方法および画像処理プログラム
KR20040018858A (ko) 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
CN102395040A (zh) 可改善鬼影现象的立体影像处理方法及其立体显示装置
Wooldridge et al. DEPTH-DRIVEN AUGMENTED REALITY

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19960702

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070920

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080920

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090920

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100920

Year of fee payment: 15

LAPS Cancellation because of no payment of annual fees