JPH0850654A - 3次元参照画像切り出し方法および装置 - Google Patents

3次元参照画像切り出し方法および装置

Info

Publication number
JPH0850654A
JPH0850654A JP6184785A JP18478594A JPH0850654A JP H0850654 A JPH0850654 A JP H0850654A JP 6184785 A JP6184785 A JP 6184785A JP 18478594 A JP18478594 A JP 18478594A JP H0850654 A JPH0850654 A JP H0850654A
Authority
JP
Japan
Prior art keywords
image
fourier transform
reference image
local
power spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6184785A
Other languages
English (en)
Other versions
JP2679634B2 (ja
Inventor
Masanobu Miyashita
真信 宮下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP6184785A priority Critical patent/JP2679634B2/ja
Priority to US08/394,278 priority patent/US5684890A/en
Publication of JPH0850654A publication Critical patent/JPH0850654A/ja
Application granted granted Critical
Publication of JP2679634B2 publication Critical patent/JP2679634B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 従来の三次元参照画像切り出し方法を、参照
画像と対象画像の奥行き方向の位置が異なる場合にも正
確に対象画像の切り出しが実行できるようにする。 【構成】 左右眼で見た場合に相当する左右画像の局所
フーリエ変換像を使って左右眼の視差をフーリエ 変換
の位相差であらわす。次に左右像の視差が一致した場合
に相当する局所フーリエ変換像から最大パワースペクト
ルを計算した結果と、あらかじめ記憶してある参照画像
に対するパワースペクトルと、前述の左右画像に対する
局所フーリエ変換像とから、対象画像の局所フーリエ変
換像を求める。この局所フーリエ変換像と、局所逆フー
リエ変換を算出する手段7を使って参照画像とパワース
ペクトルのパタンが一致する物体の画像の切り出しをお
こなう。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、3次元入力画像からあ
らかじめ記憶されている3次元参照画像のみを切り出す
方法および装置に関する。
【0002】
【従来の技術】従来の3次元参照画像を入力画像から切
り出す方式(「3次元参照画像切り出し方法および装
置」、特願平6−29335号)は、被写体を左右眼で
見たきに相当する画像に対して、オーバーラップを許し
て小領域に分割し、各領域ごとにフーリエ変換を施し、
このフーリエ変換の位相差を使って左右像の視差を表現
することによって、2次元画像に対する参照画像を入力
画像から切り出す方式(「画像信号の処理方法」、特開
平2−156387号公報)を3次元画像を扱えるよう
に拡張している。入力画像と参照画像に対して、この左
右像のフーリエ変換の位相差を計算し、参照画像と視差
を含めて一致する物体の画像を入力画像から予測するこ
とによって、参照画像以外の画像が入力画像に含まれる
場合も正確に対象となる画像のみを切り出すことが可能
であった(図4(b)を参照)。また、奥行き方向の位
置の違いを予測する手段を具備したシステムにおいて
は、参照画像と入力画像内の切り出しの対象となる画像
が、奥行き方向の位置が異なっている場合においても正
確に参照画像のみを切り出すことが可能あった。
【0003】
【発明が解決しようとする課題】上述した従来の3次元
参照画像切り出し方式では、左眼と右眼で見たときの像
の視差は、左右像の局所フーリエ変換像の複素平面上で
のベクトル和を求め、位相差の変化に対するこのベクト
ル和の変化のパタンとして現わしている。すなわち、左
右像の視差は複数の位相差に対する左右の局所フーリエ
変換像の和(あるいは左右像のパワースペクトルの和)
のパタンとして与えられるため、参照画像の視差パタン
の記憶容量が多大となる欠点があった。また、記憶画像
の視差パタンと同一の視差パタンをもつ画像を入力画像
から予測し、視差を含めて同一の画像を入力画像中から
予測し切り出しているため、図4(c)に示すように記
憶画像と入力画像中の切り出しの対象となる画像の奥行
き方向の位置が異なっている場合は、切り出しが正確に
実行されない欠点があった。従来方式(「3次元参照画
像切り出し方法および装置」、特願平6−29335
号)では、この欠点を補うために奥行き方向の位置の違
いを予測する手段を用いた補正を行っている。従って、
奥行き方向の位置の違いを予測する操作が必要となる。
【0004】また、前述の従来方式(「画像信号の処理
方法」特開平2−156387号公報および「3次元参
照画像切り出し方法および装置」特願平6−29335
号)は背景ノイズを除去するために、入力画像内の切り
出し対象となる画像局所フーリエ変換像の逆変換像と入
力画像の相乗平均をとるフィルタ処理を行っている。そ
のため、図5に示すに、明暗が図4とは反転しているよ
うな画像の場合(自然界の画像では、壁のように一様な
明度をもつ物体の前に対象物体が存在しているような場
合)は、切り出しが正確に実行されないという問題があ
る。
【0005】
【課題を解決するための手段】前述の課題を解決するた
めに本発明は次の手段を提出する。
【0006】被写体を左右眼で見たときに相当する画
像を、画像入力装置から取り入れ、得られた左右2つの
入力像に対してオーバラップを許して小領域に分割した
上で各領域ごとにフーリエ変換を施した局所フーリエ変
換像のデータと、左右眼像の局所的な視差を左右の局所
フーリエ変換像の位相差で表した結果から計算される最
大パワースペクトルのパタンと、あらかじめ用意した参
照画像の最大パワースペクトルのパタンとから、参照画
像と類似のパワースペクトルのパタンをもつ物体の画像
を入力画像内から予測し、予測された物体の画像のみを
切り出すことを特徴とする3次元参照画像の切り出し方
法。
【0007】参照画像の物体が入力画像に含まれてい
るが、その奥行き方向の位置が異なっている場合であっ
ても、入力画像内から参照画像の切り出しを実行する3
次元参照画像切り出し装置において、切り出しの対象と
なる参照画像を左右眼で見たときに相当する左右の画像
を入力する手段と、前記入力された参照画像の左右の画
像に対してオーバーラップを許して小領域に分割した領
域ごとにフーリエ変換を実行し、局所フーリエ変換を算
出する手段と、左右眼像の局所領域における視差を、前
記局所フーリエ変換の位相差として表す手段と、前記左
右眼像の局所フーリエ変換像の位相を、各空間周波数ご
とに一致させたときの左右のパワースペクトルの和を求
める、最大パワースペクトルのパタンを求める手段と、
参照画像の最大パワースペクトルのパタンをあらかじめ
記憶しておく記憶装置と、入力画像の局所フーリエ変換
像と、入力画像の最大パワースペクトルのパタンと、前
記参照画像の最大パワースペクトルのパタンとから、前
記入力画像内から前記参照画像と類似のパワースペクト
ルのパタンをもつ画像の局所フーリエ変換像を予測す
る、同一物体画像の局所フーリエ変換像を求める手段
と、前記同一物体画像の局所フーリエ変換像を求める手
段で予測された局所フーリエ変換像から、局所逆フーリ
エ変換を算出する手段とを備えてなることを特徴とする
3次元参照画像切り出し装置。
【0008】
【作用】本発明は、左眼と右眼で見た場合に相当する画
像の局所フーリエ変換像から、それぞれの局所フーリエ
変換像の大きさを求め、その和をとる最大パワースペク
トルのパターンを求める手段と、視差を位相差のパタン
として求める手段とを有している。この最大パワースペ
クトルを求める手段を使って求めた、参照画像と入力画
像とのパワースペクトルのパタンについて空間周波数ご
との比をとり、その結果と入力画像の局所フーリエ変換
像との空間周波数ごとの積を計算することによって、入
力画像内から参照画像とパワースペクトルのパタンが一
致する画像の局所フーリエ変換像を得る。すなわち、前
述した参照画像と入力画像との最大パワースペクトルの
パタンについて空間周波数ごとの比をとる課程には、参
照画像と入力画像との視差の違いを表す情報を必要とし
ないため、参照画像と入力画像内の切り出し対象となる
画像間に奥行き方向の位置の違いがある場合であって
も、入力画像内の切り出し対象となる画像の局所フーリ
エ変換像を得ることができる。また、参照画像に対する
情報は、最大パワースペクトルのパタンのみを記憶して
おけばよいため、記憶容量を節約することができる。
【0009】また、本発明では、入力画像内の切り出し
対象となる画像局所フーリエ変換像の逆変換像と入力画
像の相乗平均をとるフィルタ処理に相当する効果は、前
記視差を位相差のパタンとして表現する手段に含まれて
いる。従って、図5に示すような反転画像であっても正
確に切り出しを実行することができる。
【0010】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。図1は、本発明装置の一実施例の構成を示
す図である。この実施例は、画像入力手段と、局所フー
リエ変換を算出する手段2と、視差を位相差のパタンと
して表現する手段3と、最大パワースペクトルのパタン
を求める手段4と、記憶装置5と、同一物体画像の局所
フーリエ変換像を求める手段6と、局所逆フーリエ変換
を算出する手段7と、画像を出力する手段8と、から構
成される。
【0011】まず、参照画像データの作成方法につい
て、図1を用いて説明する。
【0012】初めに、切り出しの対象となる参照画像を
左右眼で見た場合に相当する左右の画像を画像入力手段
1から入力する。次に、局所フーリエ変換を算出する手
段2を用いて、入力された参照画像の左右の画像に対し
てオーバーラップを許して小領域に分割した上で各領域
ごとのフーリエ変換を実行する。この局所フーリエ変換
は次の式で示される。
【0013】
【数1】
【0014】
【数2】
【0015】
【数3】
【0016】
【数4】
【0017】図2は、コンピュータのディスプレイに表
示した画像を写真撮影し、その写真をイメージリーダで
読み取って製作したものである。図2(b)においては
円形および三角形の線が一部で途切れているが、この途
切れはイメージリーダの読み取りの際に生じたものであ
り、コンピュータ・ディスプレイには完全な円形および
三角形が表示される。なお、図4の(a),(b)及び
(c)の入力画像も同様に各図形の線は連続している。
但し、図4(c)に示す切り出された画像は、コンピュ
ータ・ディスプレイにおいても本図と同様であり、その
画像では、円形の極く一部が現れているに過ぎない。
【0018】
【発明の効果】以上に説明したように、本発明は参照画
像と入力画像内の切り出し対象となる画像の奥行き方向
の位置が異なる場合も、位置の違いを予測する等の操作
を必要とせず、対象となる3次元画像のみを切り出すこ
とを可能にある。すなわち、奥行き方向の位置ズレに対
してロバストな切り出しを可能にしている。また、参照
画像の情報は、最大パワースペクトルのパタンのみを保
持していればよく、記憶容量を大幅に削減することが可
能である。さらに、壁のような一様な明度を持った物体
の前に対象物体が存在する場合であっても、切り出しが
可能である。
【図面の簡単な説明】
【図1】本発明になる装置の一実施例の構成を示す図で
ある。
【図2】図1の本実施例を参照画像と入力画像内の切り
出し対象となる画像の奥行き方向の位置が異なる場合に
適用した結果を示す図である。
【図3】参照画像と入力画像内の切り出し対象となる画
像の奥行き方向の位置が一致しており、かつ画像が反転
している場合に図1の実施例を適用した結果を示す図で
ある。
【図4】3次元参照画像を入力画像から切り出す従来の
方法を示す図であり、(a)は参照画像、(b)は視差
が一致しているときの結果、(c)は視差が一致してい
ないときの結果をそれぞれ示している。
【図5】3次元参照画像を入力画像から切り出す従来の
方法を示す図であり、明暗が図4のものとは反転してい
る場合を示し、(a)は参照画像、(b)は視差が一致
しているときの結果を示す。
【符号の説明】
1 画像入力手段 2 局所フーリエ変換をする手段 3 視差を位相差のパタンとして表現する手段 4 最大パワースペクトルを求める手段 5 記憶装置 6 同一物体画像の局所フーリエ変換を算出する手段 7 局所フーリエ変換を求める手段 8 画像を出力する手段

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】被写体を左右眼で見たときに相当する画像
    を、画像入力装置から取り入れ、得られた左右2つの入
    力像に対してオーバラップを許して小領域に分割した上
    で各領域ごとにフーリエ変換を施した局所フーリエ変換
    像のデータと、左右眼像の局所的な視差を左右の局所フ
    ーリエ変換像の位相差で表した結果から計算される最大
    パワースペクトルのパタンと、あらかじめ用意した参照
    画像の最大パワースペクトルのパタンとから、参照画像
    と類似のパワースペクトルのパタンをもつ物体の画像を
    入力画像内から予測し、予測された物体の画像のみを切
    り出すことを特徴とする3次元参照画像の切り出し方
    法。
  2. 【請求項2】参照画像の物体が入力画像に含まれている
    が、その奥行き方向の位置が異なっている場合であって
    も、入力画像内から参照画像の切り出しを実行する3次
    元参照画像切り出し装置において、 切り出しの対象となる参照画像を左右眼で見たときに相
    当する左右の画像を入力する手段と、 前記入力された参照画像の左右の画像に対してオーバー
    ラップを許して小領域に分割した領域ごとにフーリエ変
    換を実行し、局所フーリエ変換を算出する手段と、 左右眼像の局所領域における視差を、前記局所フーリエ
    変換の位相差として表す手段と、 前記左右眼像の局所フーリエ変換像の位相を、各空間周
    波数ごとに一致させたときの左右のパワースペクトルの
    和を求める、最大パワースペクトルのパタンを求める手
    段と、 参照画像の最大パワースペクトルのパタンをあらかじめ
    記憶しておく記憶装置と、 入力画像の局所フーリエ変換像と、入力画像の最大パワ
    ースペクトルのパタンと、前記参照画像の最大パワース
    ペクトルのパタンとから、前記入力画像内から前記参照
    画像と類似のパワースペクトルのパタンをもつ画像の局
    所フーリエ変換像を予測する、同一物体画像の局所フー
    リエ変換像を求める手段と、 前記同一物体画像の局所フーリエ変換像を求める手段で
    予測された局所フーリエ変換像から、局所逆フーリエ変
    換を算出する手段とを備えてなることを特徴とする3次
    元参照画像切り出し装置。
JP6184785A 1994-02-28 1994-08-05 3次元参照画像切り出し方法および装置 Expired - Fee Related JP2679634B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP6184785A JP2679634B2 (ja) 1994-08-05 1994-08-05 3次元参照画像切り出し方法および装置
US08/394,278 US5684890A (en) 1994-02-28 1995-02-24 Three-dimensional reference image segmenting method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6184785A JP2679634B2 (ja) 1994-08-05 1994-08-05 3次元参照画像切り出し方法および装置

Publications (2)

Publication Number Publication Date
JPH0850654A true JPH0850654A (ja) 1996-02-20
JP2679634B2 JP2679634B2 (ja) 1997-11-19

Family

ID=16159255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6184785A Expired - Fee Related JP2679634B2 (ja) 1994-02-28 1994-08-05 3次元参照画像切り出し方法および装置

Country Status (1)

Country Link
JP (1) JP2679634B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462198A (zh) * 2020-03-10 2020-07-28 西南交通大学 一种尺度、旋转和辐射不变性的多模态影像配准方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462198A (zh) * 2020-03-10 2020-07-28 西南交通大学 一种尺度、旋转和辐射不变性的多模态影像配准方法
CN111462198B (zh) * 2020-03-10 2023-03-24 西南交通大学 一种尺度、旋转和辐射不变性的多模态影像配准方法

Also Published As

Publication number Publication date
JP2679634B2 (ja) 1997-11-19

Similar Documents

Publication Publication Date Title
EP3971825B1 (en) Systems and methods for hybrid depth regularization
US6393142B1 (en) Method and apparatus for adaptive stripe based patch matching for depth estimation
US5734743A (en) Image processing method and apparatus for block-based corresponding point extraction
US5684890A (en) Three-dimensional reference image segmenting method and apparatus
EP2709070A1 (en) Image generation device and image generation method
US8213708B2 (en) Adjusting perspective for objects in stereoscopic images
US20140035909A1 (en) Systems and methods for generating a three-dimensional shape from stereo color images
JP2000293687A (ja) 3次元形状データ処理装置および3次元形状データ処理方法
Oliveira et al. Selective hole-filling for depth-image based rendering
Liu et al. An enhanced depth map based rendering method with directional depth filter and image inpainting
JP2679634B2 (ja) 3次元参照画像切り出し方法および装置
JP5307051B2 (ja) 立体映像調整装置及び調整方法
US7693319B2 (en) Method for carving volume data based on image
Chavda et al. Survey on image inpainting techniques: Texture synthesis, convolution and exemplar based algorithms
JP2870465B2 (ja) 3次元参照画像切り出し方法及び装置並びに物体判定装置
JP2725613B2 (ja) 3次元参照画像切り出し方法および装置
Kim et al. Reconstruction of stereoscopic imagery for visual comfort
JP6539904B1 (ja) 情報処理装置及び情報処理方法並びに情報処理用プログラム
Mahotra et al. Real-time computation of disparity for hand-pair gesture recognition using a stereo webcam
JPH09161074A (ja) 画像処理装置
Noh et al. Retouch transfer for 3D printed face replica with automatic alignment
Lai et al. Surface-based background completion in 3D scene
Liu et al. Blur estimation for natural edge appearance in computational photography
Lin et al. Spatio-temporally consistent multi-view video synthesis for autostereoscopic displays
Sethi et al. Multi-Operator based Saliency Detection

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19970701

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070801

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080801

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080801

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090801

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090801

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100801

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110801

Year of fee payment: 14

LAPS Cancellation because of no payment of annual fees