JP6079017B2 - 距離測定装置および距離計測方法 - Google Patents
距離測定装置および距離計測方法 Download PDFInfo
- Publication number
- JP6079017B2 JP6079017B2 JP2012155595A JP2012155595A JP6079017B2 JP 6079017 B2 JP6079017 B2 JP 6079017B2 JP 2012155595 A JP2012155595 A JP 2012155595A JP 2012155595 A JP2012155595 A JP 2012155595A JP 6079017 B2 JP6079017 B2 JP 6079017B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- focal length
- distance measuring
- shift amount
- microlens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Description
即ち、特許文献1、非特許文献1には「プレノプティックカメラの構成により被写体距離を測定する装置」が開示されている。
このような距離測定装置は、工業用ロボットの「ワークの距離の測定」などに利用される。
d=K/P
に基づいて行なわれることを特徴とする。
d=K/P
に基づいて、撮像距離:dを推定する工程を、有することを特徴とする。
従って、被写体距離が大きく異なる場合でも「被写体距離に適した焦点距離」を設定することにより好適な距離推定が可能である。
図1は、距離測定装置の構成を示している。
図のような構成により「プレノプティックカメラ」を構築できる。
撮像レンズ1を透過した物体光はレンズアレイ2に入射し、これを通過した光は、撮像素子5に入射する。
レンズアレイ2は、撮像レンズ1に対して所定の位置、例えば、撮像レンズ1の像側焦点面位置に合致して配置される。
この場合、撮像レンズ1に対して「無限遠物体の像」がレンズアレイ2の位置に結像することになる。
演算装置6は、撮像素子5が出力する画像情報を得て、被写体の距離推定を行なう。
焦点距離を変化させ得るレンズは、従来から種々のものが知られている。
図1のレンズアレイ2に用いられるマイクロレンズ3は「印加電圧を変化させて焦点距離を変化させるエレクトロウェッティングレンズ」である。
以下、撮像素子5から出力される画像情報を「ライトフィールド画像」と呼ぶ。
勿論、ライトフィールド画像は、実際の可視的な画像ではなく、撮像素子5の各受光素子から出力される「配列された電気信号の集合」である。
なお、「画素」は、受光素子から出力される「電気信号」を意味する場合もある。
混同の恐れは無いと思われるので、受光領域4を構成するマクロピクセルを「マクロピクセル4」と呼ぶことにする。
次には、マクロピクセル4の集合から「マクロピクセル群」を求め、マクロピクセル群から「シフト量算出用の2次元画像」を複数個抽出作成する。
マクロピクセル群MPGは、9個のマクロピクセルを「3×3配列」に正方形配列して構成される。図の太線で囲まれた「2×2画素」の部分がマクロピクセルである。
図2の右図は、再配列の例を示している。
即ち、2次元画像40Aは、マクロピクセル群MPGを構成する9個のマクロピクセルの「左上の画素」を、マクロピクセルの配列に従って「再配列」して得られる。
同様に、2次元画像40Bは、マクロピクセル群MPGを構成する9個のマクロピクセルの「右上の画素」を、マクロピクセルの配列に従って「再配列」して得られる。
例えば、図2に示す2次元画像40A、40Bを得る。
マクロピクセルがより多い画素(例えば10×10画素)からなる場合は、マクロピクセルから1画素ずつ抜き出して再配列してもよい。
あるいはまた、複数画素(例えば2×2画素)の「総和あるいは平均値」を算出して再配列してもよい。
「総和あるいは平均値を再配列」すると、信号に対するノイズの比(SN比)を大きくできる。
図2では、簡単のために、マクロピクセル群の数が9個と非常に少なく、再構成した2次元画像40A、40Bの画素数も9画素である。
「被写体距離推定」は、マクロピクセルの異なる位置から再配列して作成した複数の2次元画像間のシフト量に基づき算出する。
この場合のシフトの方向は横方向であり、図2の、各マクロピクセルの「左上の画素の再配列」と「右上の画素の再配列」による2次元画像である。
これら2次元画像間のシフト量を、ブロックマッチング等のパターンマッチングにより求めて「シフト量に対応する画素数」を求め。これを距離に換算する。
このため、図4に示す2次元画像は、上の説明に従えば、9画素ということになるが、勿論実際には「ずっと多い画素数」で構成されることになる。
1例として「テンプレートマッチング」による画像処理の場合を簡単に説明する。
RSAD=ΣΣ|I(i,j)―T(i,j)| (式2)
これ等の式における「2重和」は、何れも「iにつき、i=0からN−1まで」、「jにつき,j=0からM−1まで」取られる。
式1または式2の値が最小となるときの「i」の値から、前記「横方向のシフト量」が画素単位で求まる。
このシフト量と被写体距離は、一般的に「反比例」の関係にあるが、その具体的な関係は、距離測定装置の具体的な仕様による。
また、「焦点距離の短いマイクロレンズのレンズアレイによるマクロピクセル」から作成した2次元画像間のシフト量から、点線51により被写体距離を推定できる。
d=K/P
の如きものとなる。
Kは上記「反比例」における比例定数であり、焦点距離が長い場合に対して「K1」、短い場合に比して「K2」とすれば、推定式は、焦点距離が長い場合について、
d=K1/P (3)
焦点距離が短い場合について、
d=K2/P (4)
となる。
d=1000 P=5
d=1111 P=4.5
d=1250 P=4
d=1429 P=3.5
d=1667 P=3
等々が得られる。
d=1000 P=3
d=1200 P=2.5
d=1500 P=2
d=2000 P=1.5
d=3000 P=1
等々が得られる。
この場合は測定者が「マイクロレンズの焦点距離」を、測定対象の被写体距離に合わせて調整して距離測定を行ない、その結果に応じて「より好適な焦点距離」を再設定する。
測定対象である被写体距離は、凡その値が知られている。
ステップ:S4で、「複数の2次元画像間のシフト量を算出」する。
この場合、測定対象としての被写体距離は「予め知られてはいない」ので、以下のような方法で測定を行なう。
レンズアレイ2を構成するマイクロレンズ3は、エレクトロウェッティングレンズで焦点距離を変化させることができるが、焦点距離変化はマイクロレンズ単位で可能である。
簡単のために「長い焦点距離のマイクロレンズ」と「焦点距離の短いレンズ」を、市松模様状に配列混在させる場合を説明する。
図7は、焦点距離の短いマイクロレンズ3の直下にあるマクロピクセルを中心とした9個のマクロピクセルの「3×3配列」のマクロピクセル群10を示している。
太線で囲まれているのがマクロピクセルであり、それぞれのマクロピクセルが「2×2」の受光素子から成る。
「白色のマクロピクセル」は、焦点距離の短いマイクロレンズ3の直下のマクロピクセルである。
「灰色のマクロピクセル」は、焦点距離の長いマイクロレンズ8の直下のマクロピクセルである。
焦点距離の長・短にそれぞれ対応する被写体距離を推定するために、それぞれのマクロピクセルの画素の電気信号を再配列して、2つの2次元画像11、12を作成する。
「再配列すべき電気信号のない部分13」は「周囲の電気信号の値から補間」して求めることができる。
マクロピクセルの「左上以外の位置」の画素の再配列も同様であり、図7の場合にはマクロピクセルが2×2画素で構成されている。
従って、焦点距離の短いマイクロレンズ直下のマクロピクセルと、焦点距離の長いマイクロレンズ直下のマクロピクセルから「それぞれ4つの2次元画像」を作成できる。
即ち、焦点距離に対応したシフト量と被写体距離の関係(推定式あるいはルックップテーブルとして予め求めておく)を用いて、焦点距離ごとの被写体距離を推定する。
即ち、レンズアレイに、長い焦点距離持つマイクロレンズと短い焦点距離を持つマイクロレンズが2次元的に混在した配列を設定する。
ステップ:S23で「焦点距離の異なるマイクロレンズを通過した光線を受光するマクロピクセル群から、それぞれ2次元画像を作成」する。
ステップ:S25で「シフト量から適切なシフト−距離関係を用いて、被写体距離を推定」する。
ステップ:S30で「シフト量に基づき被写体距離を推定」する。
画像処理回路53は、画像データを一時的に格納し、ノイズ除去などの前処理を画像データに施して、ライトフィールド画像とする。
ROM59には「当該装置を距離測定装置として機能させるためのプログラム」が格納されている。
CPU56はROM59に格納されたプログラムを「RAM57を作業領域」として実行することにより、当該装置を距離測定装置として機能させる。
処理の完了したデータは、メモリ58に記録される。操作部60はスイッチ、レバーおよびタッチパネル等により構成されている。処理結果はLCD52上に表示される。
2 レンズアレイ
3 マイクロレンズ
4 マクロピクセル
5 撮像素子
6 演算装置
Claims (10)
- 被写体からの物体光を入射させる撮像レンズと、
この撮像レンズを透過した物体光が入射するレンズアレイと、
このレンズアレイを通過した光を受光して、画像情報を出力する撮像素子と、
前記被写体までの距離推定を行なう演算装置と、を有し、
前記レンズアレイは、焦点距離を可変できるマイクロレンズを2次元配列してなり、
前記撮像素子は、前記マイクロレンズの個々に対応して複数の受光素子を有し、
前記演算装置は、前記画像情報に基づき前記距離推定を行なうものであり、
前記距離推定は、前記画像情報に応じて得られる2次元画像間のシフト量:P、前記被写体までの距離:d、前記マイクロレンズの焦点距離に依存する係数:Kとの間の関係:
d=K/P
に基づいて行なわれることを特徴とする距離測定装置。 - 請求項1記載の距離測定装置において、
レンズアレイにおけるマイクロレンズの焦点距離を、個別に、もしくは複数のマイクロレンズのグループ単位で変更可能であることを特徴とする距離測定装置。 - 請求項1または2記載の距離測定装置において、
レンズアレイにおけるマイクロレンズの焦点距離を、距離推定の結果に基づいて変化させることを特徴とする距離測定装置。 - 請求項1〜3の任意の1に記載の距離測定装置において、
距離測定開始時には、レンズアレイに、焦点距離の異なるマイクロレンズが混在され、距離測定後、推定結果に応じて前記マイクロレンズの焦点距離を変化させることを特徴とする距離測定装置。 - 請求項1〜4の任意の1に記載の距離測定装置において、
焦点距離を変化させることのできるマイクロレンズをエレクトロウェッティングレンズとしたことを特徴とする距離測定装置。 - 請求項1〜5の任意の1に記載の距離測定装置において、
焦点距離に対応した距離推定を行う演算装置が、撮像素子の撮像画像に基づきマクロピクセル群の画像を介して、シフト量算出用の2次元画像を複数個抽出作成し、複数の2次元画像間のシフト量を算出する機能と、
シフト量と撮像距離との対応関係を、複数の焦点距離ごとに予め定めたルックアップテーブルを参照して、前記算出したシフト量により距離推定を行なう機能と、を有することを特徴とする距離測定装置。 - 請求項1〜5の任意の1に記載の距離測定装置において、
焦点距離に対応した距離推定を行う演算装置が、撮像素子の撮像画像に基づきマクロピクセル群の画像を介して、シフト量算出用の2次元画像を複数個抽出作成し、複数の2次元画像間のシフト量を算出する機能と、
シフト量と撮像距離との対応関係を、複数の焦点距離ごとに予め定めた推定式を参照して、前記算出したシフト量により距離推定を行なう機能と、を有することを特徴とする距離測定装置。 - 請求項1記載の距離測定装置を用いる距離測定方法であって、
各マイクロレンズに対応する複数の受光素子の出力によりマクロピクセルを得、このマクロピクセルとその周囲のマクロピクセルとにより構成されるマクロピクセル群から、シフト量算出用の2次元画像を複数個抽出作成する工程と、
抽出作成された複数の2次元画像のシフト量:Pを、パターンマッチングにより算出する工程と、
マイクロレンズの焦点距離に依存する係数:K、前記パターンマッチングにより算出されたシフト量:Pと、撮像距離:dの関係:
d=K/P
に基づいて、撮像距離:dを推定する工程を、有することを特徴とする距離測定方法。 - 請求項8記載の距離測定方法において、
マイクロレンズの焦点距離を所望の値に設定して、被写体の画像情報の取り込みを行なうことを特徴とする距離測定方法。 - 請求項8または9記載の距離測定方法において、
推定された被写体距離に基づき、マイクロレンズの焦点距離を変更して、被写体の画像情報の取り込みを再度行なうことを特徴とする距離測定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012155595A JP6079017B2 (ja) | 2012-07-11 | 2012-07-11 | 距離測定装置および距離計測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012155595A JP6079017B2 (ja) | 2012-07-11 | 2012-07-11 | 距離測定装置および距離計測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014016309A JP2014016309A (ja) | 2014-01-30 |
JP6079017B2 true JP6079017B2 (ja) | 2017-02-15 |
Family
ID=50111107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012155595A Active JP6079017B2 (ja) | 2012-07-11 | 2012-07-11 | 距離測定装置および距離計測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6079017B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6364836B2 (ja) * | 2014-03-14 | 2018-08-01 | セイコーエプソン株式会社 | ロボット、ロボットシステム、及び制御装置 |
CN106716059B (zh) * | 2014-09-29 | 2020-03-13 | 巴斯夫欧洲公司 | 用于光学确定至少一个对象的位置的检测器 |
WO2016158403A1 (ja) * | 2015-03-30 | 2016-10-06 | ソニー株式会社 | 画像処理装置および方法 |
WO2016158402A1 (ja) * | 2015-03-30 | 2016-10-06 | ソニー株式会社 | 画像処理装置および方法 |
KR101844004B1 (ko) * | 2016-05-24 | 2018-03-30 | 주식회사 이엠텍 | 거리 정보를 포함하는 영상 생성 장치 |
TWI644116B (zh) * | 2016-11-10 | 2018-12-11 | 光寶電子(廣州)有限公司 | 光學裝置 |
JP7122806B2 (ja) | 2017-02-24 | 2022-08-22 | コニカミノルタ株式会社 | 物体接近検知装置および物体接近検知方法 |
CA3111675A1 (en) | 2018-09-12 | 2020-03-19 | Brainlab Ag | Intra-operative determination of a focal length of a camera for medical applications |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4673202B2 (ja) * | 2005-12-06 | 2011-04-20 | 株式会社リコー | 画像入力装置 |
JP5056428B2 (ja) * | 2008-01-15 | 2012-10-24 | ソニー株式会社 | デジタルカメラ |
JP2010057067A (ja) * | 2008-08-29 | 2010-03-11 | Sony Corp | 撮像装置および画像処理装置 |
JP2011019088A (ja) * | 2009-07-09 | 2011-01-27 | Fujifilm Corp | 複眼撮像装置 |
-
2012
- 2012-07-11 JP JP2012155595A patent/JP6079017B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014016309A (ja) | 2014-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6079017B2 (ja) | 距離測定装置および距離計測方法 | |
CA3040002C (en) | A device and method for obtaining distance information from views | |
JP6047025B2 (ja) | 撮像装置及びその制御方法 | |
US8817075B2 (en) | Imaging apparatus capable of generating three-dimensional images, three-dimensional image generating method, and recording medium | |
US8922627B2 (en) | Image processing device, image processing method and imaging device | |
US9818199B2 (en) | Method and apparatus for estimating depth of focused plenoptic data | |
JP2015049200A (ja) | 計測装置、方法及びプログラム | |
KR102541363B1 (ko) | 비집속 플렌옵틱 데이터의 깊이를 추정하는 방법 및 장치 | |
JP5776771B2 (ja) | 対応点探索装置、および距離測定装置 | |
WO2014069169A1 (ja) | 画像処理装置 | |
JP2017027520A (ja) | 3dデータ生成装置及び方法、プログラム、記憶媒体 | |
CN111225201A (zh) | 视差校正方法及装置、存储介质 | |
JP2015188251A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP6557499B2 (ja) | 焦点検出装置およびその制御方法、撮像装置、プログラム、ならびに記憶媒体 | |
JP6409769B2 (ja) | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム | |
JP2018054412A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP6104066B2 (ja) | 画像処理装置および画像処理方法 | |
JP6732440B2 (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
JP2018018425A (ja) | 画像処理装置及び画像処理方法 | |
JP2016066995A (ja) | 像ズレ量算出装置、撮像装置、および像ズレ量算出方法 | |
JP2018081378A (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
JP2018133064A (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
JP7373297B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2018074362A (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN102907081A (zh) | 立体成像设备、面部检测设备和控制其操作的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150616 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160531 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160715 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170102 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6079017 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |