JPH0850654A - 3次元参照画像切り出し方法および装置 - Google Patents
3次元参照画像切り出し方法および装置Info
- Publication number
- JPH0850654A JPH0850654A JP6184785A JP18478594A JPH0850654A JP H0850654 A JPH0850654 A JP H0850654A JP 6184785 A JP6184785 A JP 6184785A JP 18478594 A JP18478594 A JP 18478594A JP H0850654 A JPH0850654 A JP H0850654A
- Authority
- JP
- Japan
- Prior art keywords
- image
- fourier transform
- reference image
- local
- power spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
画像と対象画像の奥行き方向の位置が異なる場合にも正
確に対象画像の切り出しが実行できるようにする。 【構成】 左右眼で見た場合に相当する左右画像の局所
フーリエ変換像を使って左右眼の視差をフーリエ 変換
の位相差であらわす。次に左右像の視差が一致した場合
に相当する局所フーリエ変換像から最大パワースペクト
ルを計算した結果と、あらかじめ記憶してある参照画像
に対するパワースペクトルと、前述の左右画像に対する
局所フーリエ変換像とから、対象画像の局所フーリエ変
換像を求める。この局所フーリエ変換像と、局所逆フー
リエ変換を算出する手段7を使って参照画像とパワース
ペクトルのパタンが一致する物体の画像の切り出しをお
こなう。
Description
らかじめ記憶されている3次元参照画像のみを切り出す
方法および装置に関する。
り出す方式(「3次元参照画像切り出し方法および装
置」、特願平6−29335号)は、被写体を左右眼で
見たきに相当する画像に対して、オーバーラップを許し
て小領域に分割し、各領域ごとにフーリエ変換を施し、
このフーリエ変換の位相差を使って左右像の視差を表現
することによって、2次元画像に対する参照画像を入力
画像から切り出す方式(「画像信号の処理方法」、特開
平2−156387号公報)を3次元画像を扱えるよう
に拡張している。入力画像と参照画像に対して、この左
右像のフーリエ変換の位相差を計算し、参照画像と視差
を含めて一致する物体の画像を入力画像から予測するこ
とによって、参照画像以外の画像が入力画像に含まれる
場合も正確に対象となる画像のみを切り出すことが可能
であった(図4(b)を参照)。また、奥行き方向の位
置の違いを予測する手段を具備したシステムにおいて
は、参照画像と入力画像内の切り出しの対象となる画像
が、奥行き方向の位置が異なっている場合においても正
確に参照画像のみを切り出すことが可能あった。
参照画像切り出し方式では、左眼と右眼で見たときの像
の視差は、左右像の局所フーリエ変換像の複素平面上で
のベクトル和を求め、位相差の変化に対するこのベクト
ル和の変化のパタンとして現わしている。すなわち、左
右像の視差は複数の位相差に対する左右の局所フーリエ
変換像の和(あるいは左右像のパワースペクトルの和)
のパタンとして与えられるため、参照画像の視差パタン
の記憶容量が多大となる欠点があった。また、記憶画像
の視差パタンと同一の視差パタンをもつ画像を入力画像
から予測し、視差を含めて同一の画像を入力画像中から
予測し切り出しているため、図4(c)に示すように記
憶画像と入力画像中の切り出しの対象となる画像の奥行
き方向の位置が異なっている場合は、切り出しが正確に
実行されない欠点があった。従来方式(「3次元参照画
像切り出し方法および装置」、特願平6−29335
号)では、この欠点を補うために奥行き方向の位置の違
いを予測する手段を用いた補正を行っている。従って、
奥行き方向の位置の違いを予測する操作が必要となる。
方法」特開平2−156387号公報および「3次元参
照画像切り出し方法および装置」特願平6−29335
号)は背景ノイズを除去するために、入力画像内の切り
出し対象となる画像局所フーリエ変換像の逆変換像と入
力画像の相乗平均をとるフィルタ処理を行っている。そ
のため、図5に示すに、明暗が図4とは反転しているよ
うな画像の場合(自然界の画像では、壁のように一様な
明度をもつ物体の前に対象物体が存在しているような場
合)は、切り出しが正確に実行されないという問題があ
る。
めに本発明は次の手段を提出する。
像を、画像入力装置から取り入れ、得られた左右2つの
入力像に対してオーバラップを許して小領域に分割した
上で各領域ごとにフーリエ変換を施した局所フーリエ変
換像のデータと、左右眼像の局所的な視差を左右の局所
フーリエ変換像の位相差で表した結果から計算される最
大パワースペクトルのパタンと、あらかじめ用意した参
照画像の最大パワースペクトルのパタンとから、参照画
像と類似のパワースペクトルのパタンをもつ物体の画像
を入力画像内から予測し、予測された物体の画像のみを
切り出すことを特徴とする3次元参照画像の切り出し方
法。
るが、その奥行き方向の位置が異なっている場合であっ
ても、入力画像内から参照画像の切り出しを実行する3
次元参照画像切り出し装置において、切り出しの対象と
なる参照画像を左右眼で見たときに相当する左右の画像
を入力する手段と、前記入力された参照画像の左右の画
像に対してオーバーラップを許して小領域に分割した領
域ごとにフーリエ変換を実行し、局所フーリエ変換を算
出する手段と、左右眼像の局所領域における視差を、前
記局所フーリエ変換の位相差として表す手段と、前記左
右眼像の局所フーリエ変換像の位相を、各空間周波数ご
とに一致させたときの左右のパワースペクトルの和を求
める、最大パワースペクトルのパタンを求める手段と、
参照画像の最大パワースペクトルのパタンをあらかじめ
記憶しておく記憶装置と、入力画像の局所フーリエ変換
像と、入力画像の最大パワースペクトルのパタンと、前
記参照画像の最大パワースペクトルのパタンとから、前
記入力画像内から前記参照画像と類似のパワースペクト
ルのパタンをもつ画像の局所フーリエ変換像を予測す
る、同一物体画像の局所フーリエ変換像を求める手段
と、前記同一物体画像の局所フーリエ変換像を求める手
段で予測された局所フーリエ変換像から、局所逆フーリ
エ変換を算出する手段とを備えてなることを特徴とする
3次元参照画像切り出し装置。
像の局所フーリエ変換像から、それぞれの局所フーリエ
変換像の大きさを求め、その和をとる最大パワースペク
トルのパターンを求める手段と、視差を位相差のパタン
として求める手段とを有している。この最大パワースペ
クトルを求める手段を使って求めた、参照画像と入力画
像とのパワースペクトルのパタンについて空間周波数ご
との比をとり、その結果と入力画像の局所フーリエ変換
像との空間周波数ごとの積を計算することによって、入
力画像内から参照画像とパワースペクトルのパタンが一
致する画像の局所フーリエ変換像を得る。すなわち、前
述した参照画像と入力画像との最大パワースペクトルの
パタンについて空間周波数ごとの比をとる課程には、参
照画像と入力画像との視差の違いを表す情報を必要とし
ないため、参照画像と入力画像内の切り出し対象となる
画像間に奥行き方向の位置の違いがある場合であって
も、入力画像内の切り出し対象となる画像の局所フーリ
エ変換像を得ることができる。また、参照画像に対する
情報は、最大パワースペクトルのパタンのみを記憶して
おけばよいため、記憶容量を節約することができる。
対象となる画像局所フーリエ変換像の逆変換像と入力画
像の相乗平均をとるフィルタ処理に相当する効果は、前
記視差を位相差のパタンとして表現する手段に含まれて
いる。従って、図5に示すような反転画像であっても正
確に切り出しを実行することができる。
て説明する。図1は、本発明装置の一実施例の構成を示
す図である。この実施例は、画像入力手段と、局所フー
リエ変換を算出する手段2と、視差を位相差のパタンと
して表現する手段3と、最大パワースペクトルのパタン
を求める手段4と、記憶装置5と、同一物体画像の局所
フーリエ変換像を求める手段6と、局所逆フーリエ変換
を算出する手段7と、画像を出力する手段8と、から構
成される。
て、図1を用いて説明する。
左右眼で見た場合に相当する左右の画像を画像入力手段
1から入力する。次に、局所フーリエ変換を算出する手
段2を用いて、入力された参照画像の左右の画像に対し
てオーバーラップを許して小領域に分割した上で各領域
ごとのフーリエ変換を実行する。この局所フーリエ変換
は次の式で示される。
示した画像を写真撮影し、その写真をイメージリーダで
読み取って製作したものである。図2(b)においては
円形および三角形の線が一部で途切れているが、この途
切れはイメージリーダの読み取りの際に生じたものであ
り、コンピュータ・ディスプレイには完全な円形および
三角形が表示される。なお、図4の(a),(b)及び
(c)の入力画像も同様に各図形の線は連続している。
但し、図4(c)に示す切り出された画像は、コンピュ
ータ・ディスプレイにおいても本図と同様であり、その
画像では、円形の極く一部が現れているに過ぎない。
像と入力画像内の切り出し対象となる画像の奥行き方向
の位置が異なる場合も、位置の違いを予測する等の操作
を必要とせず、対象となる3次元画像のみを切り出すこ
とを可能にある。すなわち、奥行き方向の位置ズレに対
してロバストな切り出しを可能にしている。また、参照
画像の情報は、最大パワースペクトルのパタンのみを保
持していればよく、記憶容量を大幅に削減することが可
能である。さらに、壁のような一様な明度を持った物体
の前に対象物体が存在する場合であっても、切り出しが
可能である。
ある。
出し対象となる画像の奥行き方向の位置が異なる場合に
適用した結果を示す図である。
像の奥行き方向の位置が一致しており、かつ画像が反転
している場合に図1の実施例を適用した結果を示す図で
ある。
方法を示す図であり、(a)は参照画像、(b)は視差
が一致しているときの結果、(c)は視差が一致してい
ないときの結果をそれぞれ示している。
方法を示す図であり、明暗が図4のものとは反転してい
る場合を示し、(a)は参照画像、(b)は視差が一致
しているときの結果を示す。
Claims (2)
- 【請求項1】被写体を左右眼で見たときに相当する画像
を、画像入力装置から取り入れ、得られた左右2つの入
力像に対してオーバラップを許して小領域に分割した上
で各領域ごとにフーリエ変換を施した局所フーリエ変換
像のデータと、左右眼像の局所的な視差を左右の局所フ
ーリエ変換像の位相差で表した結果から計算される最大
パワースペクトルのパタンと、あらかじめ用意した参照
画像の最大パワースペクトルのパタンとから、参照画像
と類似のパワースペクトルのパタンをもつ物体の画像を
入力画像内から予測し、予測された物体の画像のみを切
り出すことを特徴とする3次元参照画像の切り出し方
法。 - 【請求項2】参照画像の物体が入力画像に含まれている
が、その奥行き方向の位置が異なっている場合であって
も、入力画像内から参照画像の切り出しを実行する3次
元参照画像切り出し装置において、 切り出しの対象となる参照画像を左右眼で見たときに相
当する左右の画像を入力する手段と、 前記入力された参照画像の左右の画像に対してオーバー
ラップを許して小領域に分割した領域ごとにフーリエ変
換を実行し、局所フーリエ変換を算出する手段と、 左右眼像の局所領域における視差を、前記局所フーリエ
変換の位相差として表す手段と、 前記左右眼像の局所フーリエ変換像の位相を、各空間周
波数ごとに一致させたときの左右のパワースペクトルの
和を求める、最大パワースペクトルのパタンを求める手
段と、 参照画像の最大パワースペクトルのパタンをあらかじめ
記憶しておく記憶装置と、 入力画像の局所フーリエ変換像と、入力画像の最大パワ
ースペクトルのパタンと、前記参照画像の最大パワース
ペクトルのパタンとから、前記入力画像内から前記参照
画像と類似のパワースペクトルのパタンをもつ画像の局
所フーリエ変換像を予測する、同一物体画像の局所フー
リエ変換像を求める手段と、 前記同一物体画像の局所フーリエ変換像を求める手段で
予測された局所フーリエ変換像から、局所逆フーリエ変
換を算出する手段とを備えてなることを特徴とする3次
元参照画像切り出し装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6184785A JP2679634B2 (ja) | 1994-08-05 | 1994-08-05 | 3次元参照画像切り出し方法および装置 |
US08/394,278 US5684890A (en) | 1994-02-28 | 1995-02-24 | Three-dimensional reference image segmenting method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6184785A JP2679634B2 (ja) | 1994-08-05 | 1994-08-05 | 3次元参照画像切り出し方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0850654A true JPH0850654A (ja) | 1996-02-20 |
JP2679634B2 JP2679634B2 (ja) | 1997-11-19 |
Family
ID=16159255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6184785A Expired - Fee Related JP2679634B2 (ja) | 1994-02-28 | 1994-08-05 | 3次元参照画像切り出し方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2679634B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111462198A (zh) * | 2020-03-10 | 2020-07-28 | 西南交通大学 | 一种尺度、旋转和辐射不变性的多模态影像配准方法 |
-
1994
- 1994-08-05 JP JP6184785A patent/JP2679634B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111462198A (zh) * | 2020-03-10 | 2020-07-28 | 西南交通大学 | 一种尺度、旋转和辐射不变性的多模态影像配准方法 |
CN111462198B (zh) * | 2020-03-10 | 2023-03-24 | 西南交通大学 | 一种尺度、旋转和辐射不变性的多模态影像配准方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2679634B2 (ja) | 1997-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3971825B1 (en) | Systems and methods for hybrid depth regularization | |
US6393142B1 (en) | Method and apparatus for adaptive stripe based patch matching for depth estimation | |
US5734743A (en) | Image processing method and apparatus for block-based corresponding point extraction | |
US5684890A (en) | Three-dimensional reference image segmenting method and apparatus | |
EP2709070A1 (en) | Image generation device and image generation method | |
US8213708B2 (en) | Adjusting perspective for objects in stereoscopic images | |
US20140035909A1 (en) | Systems and methods for generating a three-dimensional shape from stereo color images | |
JP2000293687A (ja) | 3次元形状データ処理装置および3次元形状データ処理方法 | |
Oliveira et al. | Selective hole-filling for depth-image based rendering | |
Liu et al. | An enhanced depth map based rendering method with directional depth filter and image inpainting | |
JP2679634B2 (ja) | 3次元参照画像切り出し方法および装置 | |
JP5307051B2 (ja) | 立体映像調整装置及び調整方法 | |
US7693319B2 (en) | Method for carving volume data based on image | |
Chavda et al. | Survey on image inpainting techniques: Texture synthesis, convolution and exemplar based algorithms | |
JP2870465B2 (ja) | 3次元参照画像切り出し方法及び装置並びに物体判定装置 | |
JP2725613B2 (ja) | 3次元参照画像切り出し方法および装置 | |
Kim et al. | Reconstruction of stereoscopic imagery for visual comfort | |
JP6539904B1 (ja) | 情報処理装置及び情報処理方法並びに情報処理用プログラム | |
Mahotra et al. | Real-time computation of disparity for hand-pair gesture recognition using a stereo webcam | |
JPH09161074A (ja) | 画像処理装置 | |
Noh et al. | Retouch transfer for 3D printed face replica with automatic alignment | |
Lai et al. | Surface-based background completion in 3D scene | |
Liu et al. | Blur estimation for natural edge appearance in computational photography | |
Lin et al. | Spatio-temporally consistent multi-view video synthesis for autostereoscopic displays | |
Sethi et al. | Multi-Operator based Saliency Detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19970701 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070801 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080801 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080801 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090801 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090801 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100801 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 14 |
|
LAPS | Cancellation because of no payment of annual fees |