JP5459768B2 - 被写体距離推定装置 - Google Patents
被写体距離推定装置 Download PDFInfo
- Publication number
- JP5459768B2 JP5459768B2 JP2009247429A JP2009247429A JP5459768B2 JP 5459768 B2 JP5459768 B2 JP 5459768B2 JP 2009247429 A JP2009247429 A JP 2009247429A JP 2009247429 A JP2009247429 A JP 2009247429A JP 5459768 B2 JP5459768 B2 JP 5459768B2
- Authority
- JP
- Japan
- Prior art keywords
- distance estimation
- image
- subject
- subject distance
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
そのうち、カメラ画像のみを用いて被写体までの距離を推定するパッシブ方式の測距技術として、いくつかの手法が知られている(たとえば特許文献1参照)。
これは対象となる被写体を複数のカメラで撮像し、カメラ間距離(基線長)と画像上での差異(視差)を用い、三角測距の原理で距離を推定するものである。
この手法を用いたシステムとしては、たとえば車の前方監視用ステレオカメラが知られており、前方障害物等の検出に利用されている。
これは画像のボケ量と被写体距離との相関から距離を推定するものであるが、ステレオ法のような基線長を必要とせず、システムの小型化に有利である。
この手法を用いたシステムとしては、たとえば顕微鏡を使った3次元画像生成などに応用されている。
ボケ量の異なる複数枚の画像を得るために、特許文献1ではプリズムを使用した3CCD構成としている。
また、特許文献2においても、同様にハーフミラーを使用した2CCD構成としている。
また、焦点距離の短い広角カメラにおいてはプリズムやハーフミラーの配置そのものが困難となる。
さらには、プリズムやハーフミラーで分光すると撮像系の感度低下につながるので、特に夜間など暗い状況下でノイズが発生しやすくなる問題がある。
また、通常のDFD法においては距離推定にかかる演算量が膨大になり、システムの小型化や低コスト化に問題がある。
しかしながら、この手法では光線を分離した後の光学系および撮像素子が複数組必要となるため、そのための機構・スペースおよびコストを要する。
さらにより広い距離範囲の被写体距離を計測するには撮像素子の位置を大きく異ならせる必要があり、光学系の光路長を長くせざるを得ず、さらにスペース効率は低下する。
−0.05 < f/Σ(fi・νi) < 0.05
ただし、fは撮像レンズ系全系の焦点距離を、fiはi番目のレンズの焦点距離を、νiはi番目のレンズのアッベ数を表す。
好適には、前記警告部は、視覚的または聴覚的な警告を行う。
撮像レンズ系111は、テレセントリック性を有する。
−0.05 < f/Σ(fi・νi) < 0.05
撮像素子112は、カラーフィルタを透過した光に対応する色(たとえばR,G,B)の画像信号を生成し、生成した各色の画像信号を画像処理部114に出力する。
撮像素子112は、アナログの画像信号をデジタルの画像信号に変換して画像処理部113に出力する。
また、カラーフィルタとしては、補色となるCy(Cyan:シアン)、Mg(Magenda:マゼンダ)、Ye(Yellow:イエロー)が適用されることもある。
前述したように、本実施形態において、撮像レンズ系111と撮像素子112は、被写体距離が予め定められた所定値の場合に異なる色成分の撮像画像の焦点のボケ状態が等しくなるように配置される。
そして、距離推定部12は、撮像素子112により得られた異なる色成分の撮像画像の焦点のボケ状態を比較することにより、被写体距離が予め定められた所定値以下であるか否かを判定する機能を有する。
距離推定部12は、異なる色成分の撮像画像のボケの大小により被写体距離が所定値以下か否かを推定する機能を有する。
距離推定部12は、異なる色成分の撮像画像をそれぞれ周波数解析することにより焦点のボケ状態の比較を行う。
距離推定部12は、異なる色成分の撮像画像が略同じ像倍率となるように画像処理をおこなった上でボケ状態の比較を行う。
距離推定部12は、複数画像、たとえば画像IM1、IM2の周波数特性G1(u,v)、G2(u,v)からボケ量評価値S(G1),S(G2)を算出し、その大小より被写体が所定距離より近傍か遠方かを判定する機能を有している。
距離推定部12は、被写体OBJが基準距離L0より遠方にあると判定した場合、特に危険等が無いので警告部13に対して警告処理通知は行わない。
警告部13は、距離推定部12からの警告処理通知が無い場合には、特に危険等が無いものとして警告処理は行わない。
図3は、本実施形態に係る被写体距離推定装置10における撮像系によりL0離れた被写体を撮像する場合を模式的に示す図である。
図4は、本実施形態に係る被写体距離推定装置10における撮像系によりL1(L1<L0)離れた被写体を撮像する場合を模式的に示す図である。
図5は、本実施形態に係る被写体距離推定装置10における撮像系によりL2(L0<L2)離れた被写体を撮像する場合を模式的に示す図である。
被写体OBJから発せられる光は一般的に様々な波長の光を含んでおり、撮像レンズ系111は屈折率の特性から波長ごとに異なる焦点距離を持つ。
また、このような光学系の結像関係は一般的に次式で表される。
つまり、2つ以上の色成分に関して、略同じ視野でありながらボケ量のみが異なる画像を得ることができる。
図2において、被写体OBJが基準距離L0に有る場合に画像の2つの色成分におけるボケ量が略等しくなるように、撮像レンズ系111と撮像素子112を配置する。
この場合、撮像素子112において画像の色成分のボケ量を比較すると、長波長の色成分の方がボケ量は大きい。
距離L1の値によっては、短波長の色成分は合焦している場合もある。
この場合、撮像素子112において画像の色成分のボケ量を比較すると、短波長の色成分の方がボケ量は大きい。
距離L2の値によっては、長波長の色成分は合焦している場合もある。
以下の説明では、2枚の画像のボケ量の比較に周波数領域での演算を用いているが、この方法がボケ量の比較方法を限定するものではない。
OTFは被写体距離lによって変化する。
また、OTFの絶対値を取ったものがMTF(Modulation Transfer Function)、OTFを逆フーリエ変換したものが点像分布関数PSF(Point Spread Function)として知られている。
たとえば、画像IM2の方が画像IM1よりボケ量が大きい場合は、それぞれの画像のMTFをMTF1(u,v,L1)、MTF2(u,v,L1)とすると、図7に示すような特性となる。
つまり、MTFの大小を比較することでボケ量の大小も推定できる。
この場合、被写体OBJが近いため衝突等のおそれがあるとして、距離推定部12は、警告部13に対して警告処理通知を行う(ST5)。
これに基づき警告部13では、表示部材131への視覚的な警告や、スピーカー132等を用いた聴覚的な警告を行う。
この場合は特に危険等が無いので警告部13に対する警告処理通知は行わない。
そして、ステップST7において、距離推定処理が終了したと判断すると、距離推定部12は、距離推定処理を終わらせる。
撮像レンズ系111の設計値からそれぞれの色成分に対応する焦点距離fR、fG、fB、各像高での歪曲DR、DG、DBがわかるため、次式の通り像高yの変換を行うことで、2つの色成分に対して略同じ視野でありながらボケ量のみが異なる画像を得ることができる。
そこで、本発明の実施形態に用いるレンズ系は次式を満足するように設計することが望ましい。
ここでは、撮像レンズ系111として、図8に示すパワーが正の第1レンズ1111とパワーが負の第2レンズ1112の2枚構成とする。
図8において、1113は絞りを示す。
第1レンズ1111の屈折率はN1、アッベ数はν1に設定される。
第2レンズ1112の屈折率はN2、アッベ数はν2に設定される。
第1レンズ1111の被写体側OBJSの面(凸面)を第1番、第1レンズ1111の像面側面(凸面)を第2番、第2レンズ1112の被写体側OBJSの面(凹面)を第3番、第2レンズ1112の像面側面(凸面)を第4番として表している。
また、第1レンズ1111の被写体側OBJSの面(凸面)1の曲率半径はR1、第1レンズ1111の像面側面(凸面)2の曲率半径はR2、第2レンズ1112の被写体側OBJSの面(凹面)3の曲率半径はR3、第2レンズ1112の像面側面(凸面)4の曲率半径はR4に設定されている。
また、第1レンズ1111の厚さとなる面1と面2間の光軸OX上の距離をD2、第1レンズ1111の面2と第2レンズ1112の面3間の光軸OX上の距離をD3、第2レンズ1112の厚さとなる面3と面4間の光軸OX上の距離をD4、第2レンズ1112の面4と絞り1113間の光軸OX上の距離をD5、絞り1113と図示しない像面との距離をD9とする。
実施例1で焦点距離fは50.0mm、上記数8の式(1)の値は−0.054である。実施例1は数8の式(1)の関係を満足していない。
実施例2は実施例1の第2レンズ1112の硝子を変更した例である。
実施例2では焦点距離fは49.8mm、上記数8の式(1)の値は−0.024となる。施例2は数8の式(1)の関係を満足している。
図9および図10において、縦軸は瞳座標を表し、グラフの各線はC線、d線、g線の値を示している。ここで、C線、d線、g線は、R、G、Bの各色成分に近いと考えることができる。
それに比べて実施例2は式(1)を満たすため、図10のように色収差が大きくなる。
色収差が大きければ、色ごとの結像位置の差が大きくなるため、撮像素子112で得られる画像のボケ量の差が大きくなり距離推定を正確に行いやすくなる。
異なる色のカラーフィルタを透過した画像のボケ量を比較することによって被写体距離の判定を行うことから、通常の撮像装置の構成そのまま、余分な光学系や撮像素子を要することなく実現可能である。
そして、光路長をいたずらに長く取る必要もなく、スペース効率の低下も防ぐことができる。
また、本実施形態の特徴点の一つは、被写体が任意の距離より遠いか近いかを判定することにあるが、その目的に限っては異なる任意の色成分の画像の何れの焦点ボケが大きいかで判断可能であるため、シンプルかつ高速の処理が可能である。
Claims (7)
- 撮像レンズ系と、
前記撮像レンズ系を通過した被写体像を撮像する撮像素子と、
前記撮像レンズ系と前記撮像素子との間に配置され、前記被写体像を複数の異なる色成分に分離するカラーフィルタと、
前記撮像素子から得られた画像データを処理・解析する距離推定部と、を有し、
前記撮像レンズ系と前記撮像素子は、
前記被写体距離が予め定められた所定値の場合に前記異なる色成分の撮像画像の焦点のボケ状態が等しくなるように配置され、
前記距離推定部は、
前記異なる色成分の撮像画像の焦点のボケ状態を比較することにより、被写体距離が前記所定値以下であるか否かを判定する
被写体距離推定装置。 - 前記距離推定部は、
前記異なる色成分の撮像画像をそれぞれ周波数解析することにより前記焦点のボケ状態の比較を行う
請求項1に記載の被写体距離推定装置。 - 前記撮像レンズ系はテレセントリック性を有する
請求項1または2一に記載の被写体距離推定装置。 - 前記距離推定部は、
前記異なる色成分の撮像画像が略同じ像倍率となるように画像処理をおこなった上でボケ状態の比較を行う
請求項1から3のいずれか一に記載の被写体距離推定装置。 - 前記撮像レンズ系はパワーが正のレンズとパワーが負のレンズを有し、次式を満足する
請求項1から4のいずれか一に記載の被写体距離推定装置。
−0.05 < f/Σ(fi・νi) < 0.05
ただし、fは撮像レンズ系全系の焦点距離を、fiはi番目のレンズの焦点距離を、νiはi番目のレンズのアッベ数を表す。 - 前記距離推定部が、
前記被写体距離が予め定められた所定値以下と推定した場合に警告を行う警告部を有する
請求項1から5のいずれか一に記載の被写体距離推定装置。 - 前記警告部は、
視覚的または聴覚的な警告を行う
請求項6に記載の被写体距離推定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009247429A JP5459768B2 (ja) | 2009-10-28 | 2009-10-28 | 被写体距離推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009247429A JP5459768B2 (ja) | 2009-10-28 | 2009-10-28 | 被写体距離推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011095026A JP2011095026A (ja) | 2011-05-12 |
JP5459768B2 true JP5459768B2 (ja) | 2014-04-02 |
Family
ID=44112114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009247429A Expired - Fee Related JP5459768B2 (ja) | 2009-10-28 | 2009-10-28 | 被写体距離推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5459768B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013005602A1 (ja) * | 2011-07-04 | 2013-01-10 | オリンパス株式会社 | 撮像装置、画像処理装置 |
JP6516429B2 (ja) * | 2014-09-16 | 2019-05-22 | キヤノン株式会社 | 距離計測装置、撮像装置、および距離計測方法 |
JP6555990B2 (ja) * | 2014-10-31 | 2019-08-07 | キヤノン株式会社 | 距離計測装置、撮像装置、および距離計測方法 |
EP3425331A4 (en) * | 2016-02-29 | 2019-02-27 | Panasonic Corporation | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD |
JP6746328B2 (ja) | 2016-03-04 | 2020-08-26 | キヤノン株式会社 | 光学系、それを備える撮像装置及び投影装置 |
JP2017156712A (ja) * | 2016-03-04 | 2017-09-07 | キヤノン株式会社 | 光学系、それを備える撮像装置及び投影装置 |
JP2019007826A (ja) * | 2017-06-23 | 2019-01-17 | ミツミ電機株式会社 | 測距カメラおよび測距方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03204277A (ja) * | 1990-01-05 | 1991-09-05 | Canon Inc | 合焦検出方法 |
JP3110095B2 (ja) * | 1991-09-20 | 2000-11-20 | 富士通株式会社 | 測距方法及び測距装置 |
JPH09152333A (ja) * | 1995-11-29 | 1997-06-10 | Nikon Corp | 合焦式測距装置 |
JPH10160410A (ja) * | 1996-11-27 | 1998-06-19 | Minolta Co Ltd | 測距装置 |
JP3265212B2 (ja) * | 1997-01-22 | 2002-03-11 | 隆司 松山 | 多重フォーカス測距装置 |
JPH11132748A (ja) * | 1997-10-24 | 1999-05-21 | Hitachi Ltd | 多焦点同時検出装置および立体形状検出装置および外観検査装置、並びにその方法 |
JP4022962B2 (ja) * | 1997-12-11 | 2007-12-19 | ソニー株式会社 | 信号処理回路および固体撮像素子の出力信号処理方法 |
JP2000009995A (ja) * | 1998-06-18 | 2000-01-14 | Matsushita Electric Ind Co Ltd | スタック投写用投写レンズ、投写型表示装置およびスタック投写型表示装置 |
JP4146687B2 (ja) * | 2002-08-22 | 2008-09-10 | 松下電器産業株式会社 | Ccd型固体撮像素子とそれを用いたカメラシステム |
JP2006052975A (ja) * | 2004-08-10 | 2006-02-23 | Nikon Corp | 双眼視装置 |
WO2006115147A1 (ja) * | 2005-04-25 | 2006-11-02 | Asahi Glass Company, Limited | 撮像レンズ |
-
2009
- 2009-10-28 JP JP2009247429A patent/JP5459768B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011095026A (ja) | 2011-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5459768B2 (ja) | 被写体距離推定装置 | |
EP2938058B1 (en) | Image processing apparatus that performs image restoration processing and image processing method | |
JP5446797B2 (ja) | 撮像装置 | |
EP3093818B1 (en) | Image processing apparatus that performs image restoration processing, method of controlling the same, and storage medium | |
WO2009141998A1 (ja) | キャリブレーション方法、キャリブレーション装置及びその装置を備えるキャリブレーションシステム | |
JP5656926B2 (ja) | 画像処理方法、画像処理装置および撮像装置 | |
JP7009091B2 (ja) | 距離情報生成装置、撮像装置、距離情報生成方法、およびプログラム | |
JP4818957B2 (ja) | 撮像装置およびその方法 | |
EP2228677A1 (en) | Extended depth-of-field surveillance imaging system | |
KR20110033816A (ko) | 단일-렌즈 확장피사계심도 촬상시스템 | |
JP6429444B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP6381266B2 (ja) | 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体 | |
WO2012127552A1 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
WO2011134901A1 (en) | Thick single-lens extended depth-of-field imaging systems | |
KR101889886B1 (ko) | 심도 정보 생성 방법 및 장치 | |
WO2012086127A1 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
CN110998228A (zh) | 测距照相机 | |
JP2014123805A (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 | |
JP2022128517A (ja) | 測距カメラ | |
JP2010134347A (ja) | 撮像レンズ、および撮像装置 | |
CN106993111B (zh) | 摄像装置、摄像方法及记录介质 | |
JP2012034130A (ja) | 撮像装置 | |
US10326951B2 (en) | Image processing apparatus, image processing method, image capturing apparatus and image processing program | |
JP5430292B2 (ja) | 被写体距離計測装置 | |
JP4818956B2 (ja) | 撮像装置およびその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5459768 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |