JPH07139912A - 立体認識方法およびその装置 - Google Patents

立体認識方法およびその装置

Info

Publication number
JPH07139912A
JPH07139912A JP5290653A JP29065393A JPH07139912A JP H07139912 A JPH07139912 A JP H07139912A JP 5290653 A JP5290653 A JP 5290653A JP 29065393 A JP29065393 A JP 29065393A JP H07139912 A JPH07139912 A JP H07139912A
Authority
JP
Japan
Prior art keywords
image
differential
distance information
distance
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5290653A
Other languages
English (en)
Other versions
JP3581889B2 (ja
Inventor
Hiroshi Tsutsui
博司 筒井
Yoshinao Taketomi
義尚 武富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP29065393A priority Critical patent/JP3581889B2/ja
Publication of JPH07139912A publication Critical patent/JPH07139912A/ja
Application granted granted Critical
Publication of JP3581889B2 publication Critical patent/JP3581889B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【目的】 レンズの焦点位置を変化させた画像を用いて
距離情報を有する画像を得、3次元情報を有した画像表
示を行う。 【構成】 レンズ21の焦点位置をアクチュエータ23で変
化させて、複数枚の画像を撮像部22で撮影する。得られ
た画像を演算処理部24で微分処理して画像メモリ25に格
納する。演算処理部24は画像メモリ25に蓄積された微分
画像の特定画素の値を順次比較し、特定画素に対する最
大値が得られる画像の焦点位置から被写体27までの距離
を計算し、この距離情報を画像化して画像表示部26に表
示する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、立体画像の立体認識方
法および立体認識装置に関するものである。
【0002】
【従来の技術】従来、立体計測は、点光源または線光源
を被写体に照射し、被写体からの反射光の結像位置から
被写体までの距離を測定する方法、レンズを小刻みに振
動させ、受像素子の一部面積内の変調度が最小になるよ
うにして距離を測定する方法、または2つのカメラを用
いて被写体を撮影し、被写体と2つのカメラのなす角度
差を計測することにより、被写体までの距離を算出する
方法などがある。
【0003】
【発明が解決しようとする課題】上記の方法では、被写
体までの距離を計測するには簡便な方法であるが、背景
を含めた画面全体の距離を計測するには下記のような課
題がある。
【0004】図1は本発明および従来の立体画像の立体
認識方法を示す図である。図1(1)は従来方法を示し、
撮影された矩形の画像強度の一例を示す。ここで、画像
1は各画素の大きさより被写体の大きさが十分に大きい
場合の画像であり、画像1(a)は焦点の合ったときの画
像を示し、画像1(b)は焦点のずれたときの画像を示
す。強度1は画像1をA−Bに沿った断面の強度分布を
示す。焦点が合ったときは(a)のようにエッジ部分が急
峻であるが、焦点がずれたときは(b)のようにエッジ部
分にぼけを生じる。各画素の大きさより被写体の大きさ
が十分に大きい場合はエッジ部分にぼけを生じるが、画
像中央部分の画像強度は変化しない。
【0005】画像2は各画素の大きさが画像2の大きさ
と同程度の場合を示す。画像が小さくなると、焦点がず
れたときは強度1に示すように画像の中央部の強度が減
衰し、焦点が合ったときの強度とは異なってくる。すな
わち、画像1においては焦点がずれるとエッジ部分はぼ
けるが、中央部の強度は変化しない。しかし、画像2に
おいては焦点がずれると、(b)のように中央部強度もず
れてくる。このように、強度分布だけでは画像の大きさ
により強度分布と距離が比例しない場合がある。
【0006】本発明はこのような従来の強度分布による
立体認識の不正確さを改善し、簡便にして背景を含めた
画面全体の距離を正確に計測することを目的とする。
【0007】
【課題を解決するための手段】本発明は上記課題を解決
し、目的を達成するため、立体認識方法の第1の手段
は、レンズ焦点位置を変えて同一被写体を撮影した複数
の画像の微分画像に番号を付与して画像メモリに記録
し、前記画像メモリに記録された各微分画像の特定画素
に注目し、特定画素の値が最大となる微分画像の番号を
新しい画素値として画像を構成し画像表示することを特
徴とする。
【0008】第2の手段は、レンズ焦点位置を変えて撮
影したそれぞれの画像に画像焦点が合うときの被写体位
置の距離を、画像メモリに記録した微分画像の番号に対
応させ、前記微分画像の番号に非線形の重みをかけて値
付けし、得られた画像を距離情報として画像表示するこ
とを特徴とする。
【0009】第3の手段は、レンズ焦点位置を変えて撮
影したそれぞれの画像に画像焦点が合うときの被写体位
置の距離を、画像メモリに記録した微分画像の番号に対
応させ、前記微分画像の番号を距離に変換して値付け
し、得られた画像を距離情報として画像表示することを
特徴とする。
【0010】第4の手段は、レンズ焦点位置を変えて同
一被写体を撮影した複数の画像の微分画像にしきい値処
理をし、このしきい値処理を行った画像に連続的に加重
の異なる重み付け処理を行い、その後、重み付けを行っ
た全画像を加算した画像を得、画像表示することを特徴
とする。
【0011】また立体認識装置は、被写体の撮影用レン
ズの焦点位置を変化させるアクチュエータと、前記被写
体の立体画像を撮影する撮像部と、前記撮像部により撮
影された画像を後記演算処理部により微分処理された微
分画像を蓄積する画像メモリと、前記微分画像に順次番
号を付与して前記画像メモリに蓄積し、この蓄積された
微分画像の特定画素の値を順次比較し、値が最大となる
微分画像の番号をその特定画素の値とすることを全画素
に対して繰り返し行い、距離情報を得る演算処理部と、
前記演算処理部で算出処理された距離情報を画像表示す
る画像表示部とを有することを特徴とする。
【0012】
【作用】本発明によれば、図1(2)の微分1に示すよう
に画像1,画像2を横方向に微分処理したときに、画像
1の場合、変化のない部分は値がゼロとなるために、図
示のような強度分布となるが、エッジ部分は焦点のずれ
に対応した強度分布となる。そこで、エッジ部分の強度
が最大もしくは最小となるときのレンズ位置を調べるこ
とにより、画像の大きさによらず、画像までの距離を計
算することができる。
【0013】図1(3)の微分2は微分1の負成分を反転
した場合の値である。この場合は画像の両エッジが等し
い値で表示される。
【0014】以上のようにして焦点を変化させて複数
回、被写体の画像を撮影し、各画像の微分を行い、微分
したエッジの値が最も大きくなったときの焦点位置か
ら、被写体までの距離を求めることができる。
【0015】すなわち、レンズで被写体を結像させた場
合、焦点の合った部分が最もシャープな画像が得られ
る。結像した画像を微分処理すると、被写体の陰影は除
去され、被写体の輪郭画像となる。この被写体の輪郭に
注目し、輪郭の一番強調されるときのレンズ位置を調べ
ることにより、被写体の輪郭部分までの距離を得ること
ができる。
【0016】
【実施例】図2は本発明の立体認識方法を実施する装置
の一実施例のブロック図を示し、21は被写体27の撮影用
レンズ、22は被写体27の立体画像を撮影する撮像部、23
はレンズ21を駆動するアクチュエータ、24は、微分画像
に順次番号を付与して画像メモリ25に蓄積し、この蓄積
された微分画像の特定画素の値を順次比較し、値が最大
となる微分画像の番号をその特定画素の値とすることを
全画素に対して繰り返し行い、距離情報を得る演算処理
部、25は前記演算処理部24より微分処理された微分画像
を蓄積する画像メモリ、26は前記演算処理部24で算出処
理された距離情報を画像表示する画像表示部である。
【0017】次に動作を説明すると、レンズ21をアクチ
ュエータ23により駆動して焦点位置を変化させながら撮
像部22により被写体27の画像を複数枚撮影する。撮影さ
れた画像は画像メモリ25に読み込まれるとともに、演算
処理部24により微分処理が行われた後、画像メモリ25に
格納される。また、撮像部22に微分処理機能を付加すれ
ば、画像メモリ25に微分画像を直接格納することができ
る。さらに演算処理部24により、距離情報に変換し、画
像表示部26により距離画像として表示する。
【0018】図において、被写体27−レンズ21間距離を
a、レンズ21−撮像部22の撮像面間距離をb、レンズ焦
点距離をfとすると、被写体27までの距離は下記の計算
式により求まる。
【0019】
【数1】1/a+1/b=1/f
【0020】
【数2】a=bf/(b−f) 微分したエッジの値が最も大きくなったときの焦点位置
の求め方は、以下のようにして行う。画像の特定の画素
(1画素もしくは複数の画素の集合)に注目し、各画像の
特定の画素の値が最大となる画像を選択し、その画像の
撮影条件からその画素に対する距離を算出する。それぞ
れの画素または画素の集合体に対して距離を算出するこ
とにより、被写体に関する距離の画像を得ることができ
る。
【0021】さらに、微分したエッジに取り囲まれた部
分を、エッジの値が最大となったときの画像を用いて補
完することにより、画像をより被写体に忠実に再現する
ことができる。
【0022】次に、演算処理部24により行う距離情報を
求める方法について述べる。図3は画像メモリ25に格納
されたn枚の微分画像を並べた図である。n枚の微分画
像の共通する特定画素(i,j)について、n個の特定画
素中、最も値が大きくなるときの微分画像の番号を新た
な画像データとして構成することにより、被写体のエッ
ジの距離に対応した画像を得ることができる。
【0023】また、レンズ焦点位置を変えて撮影したそ
れぞれの画像に画像焦点が合うときの被写体位置の距離
を、画像メモリに記録した微分画像の番号に対応させ、
前記微分画像の番号に非線形の重みをかけて値付けし、
得られた画像を距離情報として画像表示することや、レ
ンズ焦点位置を変えて同一被写体を撮影した複数の画像
の微分画像にしきい値処理をし、このしきい値処理を行
った画像に連続的に加重の異なる重み付け処理を行い、
その後、重み付けを行った全画像を加算した画像を得、
画像表示するようにしてもよい。
【0024】また、微分画像の番号をレンズの焦点位置
の変化から計算した被写体までの距離に換算した値を用
いれば、被写体のエッジの距離を表した画像情報を得る
ことができる。被写体中、エッジの存在しない均一な部
分は微分画像ではゼロとなっているので、閉じたエッジ
内はその囲まれた部分をエッジ部分が示す距離の値によ
り補完することにより、実際により近い画像を得ること
ができる。
【0025】次に距離情報の表示方法について述べる。
上述のようにして得られた距離情報を画像表示部上に表
示するときに、距離に応じて明るさを変えることによ
り、遠近感を認識しやすくなる。一例として、画像表示
部上で最近距離を最も明るく、最遠距離を最も暗く表示
することにより、暗中に照明光を照射したように被写体
を浮き上がらせて表示することができる。これをカラー
化するには、画像表示部上で最近距離を暖色で明るく、
最遠距離を寒色で暗く表示することにより、より効果的
に照明光を照射したように被写体を浮き上がらせて表示
することができる。
【0026】さらに光学的な処理を用いた撮像部22に関
して述べる。画像がコヒーレント光であれば、コヒーレ
ント性に基づく光の干渉を利用して、画像の微分処理を
行うことができる。通常のカメラのようなインコヒーレ
ントな光の画像をコヒーレントな光の画像に変換する手
法として、オプティカルニューロンデバイスと呼ばれる
デバイスがある(参考文献:K.Aiyama,JJAP,Vol.30,N
o.12B,p.3887−3892,1991)。このようなデバイスを用
いれば、インコヒーレントな画像を、まずa−Si:H
層により電気信号に変換し、その電気信号の強度差を強
誘電液晶層に与えて透過率を変化させ、強誘電液晶層の
反対側からコヒーレント光を照射し、その反射光の強度
を変調することにより、コヒーレント光からなる画像に
変換することができる。このデバイスと、光学的輪郭抽
出装置の技術を組み合わせることにより、通常のレンズ
集光した画像の微分画像を光学的な手法により得ること
ができる。この光学的な微分画像をCCD撮像素子で結
像すればよい。
【0027】この方法による光学的微分処理装置のブロ
ック図を図4に示す。レンズ41により画像をオプティカ
ルニューロンデバイス42に結像させる。オプティカルニ
ューロンデバイス42により液晶の透過率変化に変換され
る。レーザー光源43により画像はコヒーレントな画像に
変換される。コヒーレントな画像は、光学的輪郭抽出装
置44により微分処理が行われて、CCD撮像素子45によ
り電気信号に変換される。このようにして、光学的に微
分処理がなされる。
【0028】
【発明の効果】以上説明したように本発明は、単一の撮
像系を使用して、レンズと撮像素子を相対的に動かして
複数枚画像を撮影し、各画像の微分を行い、各画素の値
が最高になるときの画像を距離情報とすることにより、
単一の撮像系により距離画像を得ることができる。その
結果、シンプルな撮像系により、図面全体にわたる距離
の画像を得、さらに表示することができる。
【図面の簡単な説明】
【図1】本発明および従来の立体画像の立体認識方法を
示す図である。
【図1】本発明の立体認識方法を実施する装置の一実施
例のブロック図である。
【図3】図2の画像メモリに格納されたn枚の微分画像
を並べた図である。
【図4】光学的微分処理装置のブロック図である。
【符号の説明】
1,2…画像、 21,41…レンズ、 22…撮像部、 23
…アクチュエータ、 24…演算処理部、 25…画像メモ
リ、 26…画像表示部、 27…被写体、 42…オプティ
カルニューロンデバイス、 43…レーザー光源、 44…
光学的輪郭抽出装置、 45…CCD撮像素子。
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成6年5月30日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】図面の簡単な説明
【補正方法】変更
【補正内容】
【図面の簡単な説明】
【図1】本発明および従来の立体画像の立体認識方法を
示す図である。
【図2】本発明の立体認識方法を実施する装置の一実施
例のブロック図である。
【図3】図2の画像メモリに格納されたn枚の微分画像
を並べた図である。
【図4】光学的微分処理装置のブロック図である。
【符号の説明】 1,2…画像、 21,41…レンズ、 22…撮像
部、 23…アクチュエータ、 24…演算処理部、
25…画像メモリ、 26…画像表示部、 27…被写
体、 42…オプティカルニューロンデバイス、 43
…レーザー光源、44…光学的輪郭抽出装置、 45…
CCD撮像素子。

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 レンズ焦点位置を変えて同一被写体を撮
    影した複数の画像の微分画像に番号を付与して画像メモ
    リに記録し、前記画像メモリに記録された各微分画像の
    特定画素に注目し、特定画素の値が最大となる微分画像
    の番号を新しい画素値として画像を構成し画像表示する
    ことを特徴とする立体認識方法。
  2. 【請求項2】 レンズ焦点位置を変えて撮影したそれぞ
    れの画像に画像焦点が合うときの被写体位置の距離を、
    画像メモリに記録した微分画像の番号に対応させ、前記
    微分画像の番号に非線形の重みをかけて値付けし、得ら
    れた画像を距離情報として画像表示することを特徴とす
    る立体認識方法。
  3. 【請求項3】 レンズ焦点位置を変えて撮影したそれぞ
    れの画像に画像焦点が合うときの被写体位置の距離を、
    画像メモリに記録した微分画像の番号に対応させ、前記
    微分画像の番号を距離に変換して値付けし、得られた画
    像を距離情報として画像表示することを特徴とする立体
    認識方法。
  4. 【請求項4】 レンズ焦点位置を変えて同一被写体を撮
    影した複数の画像の微分画像にしきい値処理をし、この
    しきい値処理を行った画像に連続的に加重の異なる重み
    付け処理を行い、その後、重み付けを行った全画像を加
    算した画像を得、画像表示することを特徴とする立体認
    識方法。
  5. 【請求項5】 前記距離情報を明るさの情報として表示
    することを特徴とする請求項1,2,3または4記載の
    立体認識方法。
  6. 【請求項6】 前記距離情報として最近距離情報を最も
    明るく、最遠距離情報を最も暗くして表示することを特
    徴とする請求項1,2,3,4または5記載の立体認識
    方法。
  7. 【請求項7】 前記距離情報として最近距離情報を暖色
    で最も明るく、最遠距離情報を寒色で最も暗くしてカラ
    ー表示することを特徴とする請求項1,2,3,4また
    は5記載の立体認識方法。
  8. 【請求項8】 被写体の撮影用レンズの焦点位置を変化
    させるアクチュエータと、前記被写体の立体画像を撮影
    する撮像部と、前記撮像部により撮影された画像を後記
    演算処理部により微分処理された微分画像を蓄積する画
    像メモリと、前記微分画像に順次番号を付与して前記画
    像メモリに蓄積し、この蓄積された微分画像の特定画素
    の値を順次比較し、値が最大となる微分画像の番号をそ
    の特定画素の値とすることを全画素に対して繰り返し行
    い、距離情報を得る演算処理部と、前記演算処理部で算
    出処理された距離情報を画像表示する画像表示部とを有
    することを特徴とする立体認識装置。
  9. 【請求項9】 前記撮像部は、インコヒーレント,コヒ
    ーレント変換デバイスと、光学的輪郭抽出装置と、CC
    D撮像素子からなることを特徴とする請求項8記載の立
    体認識装置。
  10. 【請求項10】 前記インコヒーレント,コヒーレント
    変換デバイスにより入力画像をコヒーレント画像に変換
    し、回折光学素子と一次元格子とにより輪郭強調し、C
    CD撮像素子により微分画像を撮影することを特徴とす
    る請求項8または9記載の立体認識装置。
JP29065393A 1993-11-19 1993-11-19 立体認識方法およびその装置 Expired - Fee Related JP3581889B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29065393A JP3581889B2 (ja) 1993-11-19 1993-11-19 立体認識方法およびその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29065393A JP3581889B2 (ja) 1993-11-19 1993-11-19 立体認識方法およびその装置

Publications (2)

Publication Number Publication Date
JPH07139912A true JPH07139912A (ja) 1995-06-02
JP3581889B2 JP3581889B2 (ja) 2004-10-27

Family

ID=17758760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29065393A Expired - Fee Related JP3581889B2 (ja) 1993-11-19 1993-11-19 立体認識方法およびその装置

Country Status (1)

Country Link
JP (1) JP3581889B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003207320A (ja) * 2002-01-10 2003-07-25 Heiwa Kinzoku Kogyo Kk 3次元認識装置及びその方法
JP2010161744A (ja) * 2009-01-09 2010-07-22 Canon Inc 画像処理装置および画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003207320A (ja) * 2002-01-10 2003-07-25 Heiwa Kinzoku Kogyo Kk 3次元認識装置及びその方法
JP2010161744A (ja) * 2009-01-09 2010-07-22 Canon Inc 画像処理装置および画像処理方法
US8335393B2 (en) 2009-01-09 2012-12-18 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Also Published As

Publication number Publication date
JP3581889B2 (ja) 2004-10-27

Similar Documents

Publication Publication Date Title
JP3191928B2 (ja) 画像入出力装置
US5148502A (en) Optical image input/output apparatus for objects having a large focal depth
US5305092A (en) Apparatus for obtaining three-dimensional volume data of an object
US5878152A (en) Depth from focal gradient analysis using object texture removal by albedo normalization
Lee Review of image-blur models in a photographic system using the principles of optics
US6320979B1 (en) Depth of field enhancement
JP4478358B2 (ja) ディジタル画像の輝度調整のためのディジタル画像処理方法及び装置
CN104285173B (zh) 焦点检测装置
RU2466438C2 (ru) Способ облегчения фокусировки
US20070183647A1 (en) Method and apparatus for producing an image containing depth information
US20090180020A1 (en) Method and Apparatus For Recording A Sequence Of Images Using A Moving Optical Element
US5485209A (en) Pupil divisional type focusing position detection apparatus for electronic cameras
JPH07139912A (ja) 立体認識方法およびその装置
US20220035226A1 (en) Method for setting the focus of a film camera
JPS63246716A (ja) 内視鏡画像取込み方法および内視鏡装置
JP2008281887A (ja) 合焦検出装置、合焦検出方法および合焦検出プログラム
JPH08105799A (ja) 色分類装置
US5396057A (en) Method for optimum focusing of electro-optical sensors for testing purposes with a haar matrix transform
Shafer Automation and calibration for robot vision systems
EP0280588A1 (fr) Procédé et dispositif de prise de vue à grande profondeur de champ
JP3158772B2 (ja) 合焦情報検出装置
Kesseler et al. Analytical model of autofocus systems with CCD camera
JPH109819A (ja) 距離計測装置
WO2021145158A1 (ja) 撮像装置及び撮像装置の制御方法
JP2841762B2 (ja) 視覚認識装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040707

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070806

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080806

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080806

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090806

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090806

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100806

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110806

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110806

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120806

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees