JP7327075B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP7327075B2
JP7327075B2 JP2019190365A JP2019190365A JP7327075B2 JP 7327075 B2 JP7327075 B2 JP 7327075B2 JP 2019190365 A JP2019190365 A JP 2019190365A JP 2019190365 A JP2019190365 A JP 2019190365A JP 7327075 B2 JP7327075 B2 JP 7327075B2
Authority
JP
Japan
Prior art keywords
point density
calculated
point
data
event data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019190365A
Other languages
English (en)
Other versions
JP2021067704A (ja
Inventor
勇介 三谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Original Assignee
Denso Wave Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc filed Critical Denso Wave Inc
Priority to JP2019190365A priority Critical patent/JP7327075B2/ja
Priority to CN202210146060.9A priority patent/CN114567725B/zh
Priority to EP20202301.6A priority patent/EP3809692B1/en
Priority to CN202011110893.7A priority patent/CN112689082B/zh
Priority to US17/073,998 priority patent/US11412127B2/en
Publication of JP2021067704A publication Critical patent/JP2021067704A/ja
Priority to US17/701,832 priority patent/US11812145B2/en
Application granted granted Critical
Publication of JP7327075B2 publication Critical patent/JP7327075B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置に関するものである。
近年、より高速に計測対象物の画像を生成する技術として、下記特許文献1に開示されるイベントカメラが知られている。このイベントカメラは、生物の網膜構造にヒントを得て開発された輝度値差分出力カメラであり、画素ごとに輝度の変化を感知してその座標、時間、そして輝度変化の極性を出力するように構成されている。このような構成により、イベントカメラは、従来のカメラのように輝度変化のない画素情報、つまり冗長なデータは出力しないといった特徴があるため、データ通信量の軽減や画像処理の軽量化等が実現されることで、より高速に計測対象物の画像を生成することができる。
米国特許出願公開第2016/0227135号明細書
ところで、通常のカメラで取得される画像データは、各画素が必ず何らかの輝度情報を有しており、その輝度情報を使用したオートフォーカス機能が標準機能として多くのカメラに搭載されている。その一方で、イベントカメラでは、輝度の変化に応じたイベントデータを取得できても輝度情報自体は取得できないため、輝度情報を利用したオートフォーカス機能を採用することができない。このため、イベントカメラであっても、フォーカスが合っていないために計測対象物がぼやけて撮像されると、計測対象物の光が分散されるため正確にイベントデータを得ることができないという問題がある。
本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、輝度情報を利用することなくオートフォーカス機能を実現可能な構成を提供することにある。
上記目的を達成するため、特許請求の範囲の請求項1に記載の発明に係る撮像装置(10)は、
受光レンズ(22)を介して受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子(21)と、
前記受光レンズの焦点位置を調整するための調整機構(23)と、
前記調整機構を駆動制御する制御部(11)と、
前記調整機構により前記受光レンズの焦点位置が調整されている状態で、一定期間内に前記撮像素子から出力される複数の前記イベントデータの前記二次元点データをそれぞれ点として所定の平面にプロットしたときの点の密度に相当する点密度を算出する点密度算出部(11)と、
を備え、
前記点密度算出部は、最近隣距離法、K関数法、及びカーネル法が含まれる所定の算出方法によって前記点密度を算出し、
前記制御部は、前記点密度算出部により前記点密度が算出されると、当該点密度と過去に算出された前記点密度との比較結果に基づいて前記調整機構を駆動制御することで、前記焦点位置を合焦位置に向けて調整することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。
請求項1の発明では、調整機構により受光レンズの焦点位置が調整されている状態で、一定期間内に撮像素子から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットしたときの点の密度に相当する点密度が点密度算出部により算出される。そして、点密度算出部により点密度が算出されると、当該点密度と過去に算出された点密度との比較結果に基づいて制御部により調整機構が駆動制御されることで、焦点位置が合焦位置に向けて調整される。
ピントがずれている状態(焦点位置が合焦位置からずれている状態)で一定期間内に撮像素子から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットした場合、計測対象物のエッジが不鮮明になるために、点データがばらつきやすくなる。一方、ピントが合っている状態(焦点位置が合焦位置に一致している状態)で一定期間内に撮像素子から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットした場合、計測対象物のエッジが鮮明になるために、二次元点データの点密度が高くなる。すなわち、ピントのずれ量が小さくなるほど、二次元点データの点密度が高くなる。
このため、今回算出された点密度が過去に算出された点密度よりも高くなる比較結果が得られた場合には、焦点位置が合焦位置に向かうように調整されているとして調整方向が維持されるように調整機構を駆動制御する。また、今回算出された点密度が過去に算出された点密度よりも低くなる比較結果が得られた場合には、焦点位置が合焦位置から離れるように調整されているとして調整方向を逆側に切り替えるように調整機構を駆動制御する。このように、イベントデータを利用して焦点位置を調整できるので、輝度情報を利用することなくオートフォーカス機能を実現することができる。
請求項2の発明では、点密度算出部により点密度が算出されると、当該点密度と過去に算出された点密度との差が所定値以上である場合に限って、制御部により調整機構が駆動制御される。これにより、今回算出された点密度と過去に算出された点密度との差が上記所定値未満となる場合、すなわち、例えば、ほぼピントが合っているような場合には調整機構が駆動されないので、不要な焦点位置の調整を抑制することができる。
請求項3の発明では、一定期間内に撮像素子から出力されるイベントデータの個数がカウント部によりカウントされ、このカウントされる個数が所定数以上となる場合に点密度算出部により点密度が算出される。これにより、イベントデータの個数が上記所定数未満となる場合、すなわち、計測対象物が存在していないがノイズが検出されるような場合には点密度が算出されないので、不要に調整機構が駆動されることもなく、不要な焦点位置の調整を抑制することができる。
請求項4の発明では、点密度算出部により、プラス輝度変化のイベントデータの二次元点データ及びマイナス輝度変化のイベントデータの二次元点データのいずれか一方をそれぞれ点として所定の平面にプロットしたときの点の密度に相当するように点密度が算出される。ピントが合っている状態ではプラス輝度変化の二次元点データとマイナス輝度変化の二次元点データとがそれぞれが別々に群発しやすくなるため、プラス輝度変化の二次元点データとマイナス輝度変化の二次元点データとを区別してどちらか一方に関して点密度を算出することで、調整精度をより向上させることができる。
請求項5の発明では、点密度算出部により、上記所定の平面が既定数のブロックに区分けされて、イベントデータの個数が所定個数以上となるブロックについて、最近隣距離法を用いてブロックごとに各二次元点データに関して平均最近隣距離が算出され、各平均最近隣距離の平均値が点密度として算出される。このようにイベントデータの個数が所定個数以上となるブロックについて点密度に相当する値を算出することで、全てのブロックについて点密度に相当する値を算出する場合と比較して、処理負荷を軽減できるだけでなく、ノイズのみが含まれるようなブロックを算出対象外とすることができる。これにより、点密度が適正に算出されて、調整精度をより向上させることができる。
第1実施形態に係る撮像装置の概略構成を示すブロック図である。 計測対象物の形状を説明する説明図である。 図3(A)は、ピントがほぼ合った状態で図2に示す計測対象物を撮像装置側に移動させながら撮像することで得られた二次元点データをプロットした状態を説明する説明図であり、図3(B)は、図3(A)のX1部分を拡大して示す拡大図である。 図4(A)は、ピントがずれている状態で図2に示す計測対象物を撮像装置側に移動させながら撮像することで得られた二次元点データをプロットした状態を説明する説明図であり、図4(B)は、図4(A)のX2部分を拡大して示す拡大図である。 計測対象物が移動していない場合に焦点位置を調整することで出力された二次元点データの一部をプロットした状態を説明する説明図である。 撮像装置の制御部にて行われる焦点位置調整処理の流れを例示するフローチャートである。
[第1実施形態]
以下、本発明の撮像装置を具現化した第1実施形態について、図面を参照して説明する。
本実施形態に係る撮像装置10は、いわゆるイベントカメラとして機能する装置である。この撮像装置10は、輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データと時間と輝度変化の極性とを含めるようにイベントデータを出力し、一定期間内に出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットするようにして、計測対象物を撮像した画像データを生成する。
図1に示すように、撮像装置10は、CPU等からなる制御部11及び半導体メモリ等からなる記憶部12に加えて、制御部11によって表示内容が制御される表示部13、入力操作に応じた操作信号を制御部11に出力する操作部14、外部機器等と通信するための通信部15などを備えている。
また、撮像装置10は、撮像部として、撮像素子21、受光レンズ22、調整機構23等を備えている。撮像素子21は、受光レンズ22を介して受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを制御部11に出力するように構成されている。すなわち、撮像素子21は、輝度変化のあった画素に対応するイベントデータ(二次元点データ、時間、輝度変化の極性)を制御部11に出力し、輝度変化のない画素に関してデータを出力しないように機能する。調整機構23は、受光レンズ22の焦点位置を調整するための公知の機構であって、制御部11により駆動制御されて、受光レンズ22を光軸に沿う方向(調整方向)の一側又は他側に移動させることで、受光レンズ22の焦点位置を調整する。
このように構成される撮像装置10では、制御部11にてなされる焦点位置調整処理により、受光レンズ22の焦点位置が撮像素子21から出力されるイベントデータを利用して合焦位置に向けて自動的に調整される。
以下、制御部11にてなされる焦点位置調整処理について、図面を参照して詳述する。なお、図2は、計測対象物Rの形状を説明する説明図である。図3(A)は、ピントがほぼ合った状態で図2に示す計測対象物Rを撮像装置10側に移動させながら撮像することで得られた点データをプロットした状態を説明する説明図であり、図3(B)は、図3(A)の1ブロックに相当するX1部分を拡大して示す拡大図である。図4(A)は、ピントがずれている状態で図2に示す計測対象物Rを撮像装置10側に移動させながら撮像することで得られた点データをプロットした状態を説明する説明図であり、図4(B)は、図4(A)の1ブロックに相当するX2部分を拡大して示す拡大図である。
撮像素子21から制御部11に出力されるイベントデータには、輝度情報が含まれないため、輝度情報を利用したオートフォーカスを実施することができない。このため、本実施形態では、制御部11にてなされる焦点位置調整処理において、一定期間内に撮像素子21から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットしたときの点の密度に相当する点密度を算出して、この点密度が高くなるように受光レンズ22の焦点位置を調整する。なお、上記点密度を算出する処理を行う制御部11は、「点密度算出部」の一例に相当し得る。
具体的には、例えば、上記所定の平面を既定数のブロックに区分けして、イベントデータの個数が所定個数以上となるブロックについて、最近隣距離法を用いて以下の式(1)に基づいてブロックごとに各二次元点データに関して平均最近隣距離Wを算出し、各平均最近隣距離Wの平均値を点密度として算出する。そして、この算出された点密度が高くなるように受光レンズ22の焦点位置を調整する。

Figure 0007327075000001
このように算出された点密度が高くなるように受光レンズ22の焦点位置を調整する理由について以下に説明する。
ピントがずれている状態(焦点位置が合焦位置からずれている状態)で一定期間内に撮像素子21から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットした場合、計測対象物のエッジが不鮮明になるために、点データがばらつきやすくなる。一方、ピントが合っている状態(焦点位置が合焦位置に一致している状態)で一定期間内に撮像素子21から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットした場合、計測対象物のエッジが鮮明になるために、二次元点データの点密度が高くなる。
例えば、受光レンズ22を移動させて焦点位置を調整しながら、図2に示すように、白色の背景において黒色の円形の計測対象物Rが撮像装置10側に移動している状態を撮像する場合を想定する。このような撮像状態では、黒色の円形が白色の背景に対して徐々に大きくなるように撮像されるため、計測対象物Rのエッジ部分において、マイナス輝度変化の二次元点データが得られることとなる。ここで、ピントがほぼ合っている場合には、計測対象物Rのエッジ部分が鮮明になるために、図3(A)(B)に示すように、実際のエッジ部分に相当する線(図3(B)の一点鎖線)に沿うようにして比較的点密度が高くなる二次元点データが得られる。これに対して、ピントがずれている場合には、計測対象物Rのエッジ部分が不鮮明になるために、図4(A)(B)に示すように、実際のエッジ部分に相当する線(図4(B)の一点鎖線)からずれるようにして比較的点密度が低くなる二次元点データが得られる。すなわち、図3及び図4からわかるように、ピントのずれ量が小さくなるほど、二次元点データの点密度が高くなる。
また、計測対象物が移動していない場合でも、焦点位置を調整するために受光レンズ22が移動していることで、計測対象物のエッジ部分に相当する位置で輝度が変化するため、その輝度変化に応じてイベントデータが出力される。例えば、白色の計測対象物を黒色の背景で撮像する場合、図5(A)~(E)に示すように、計測対象物と背景との境界となるエッジ部分(図5の符号E参照)では、マイナス輝度変化の二次元点データ(図5の黒四角参照)とプラス輝度変化の二次元点データ(図5の白四角参照)とがそれぞれ複数得られる。
その際、ピントが大きくずれている場合には、エッジ部分が不鮮明となって所定の幅のグレー色範囲となるため、図5(A)に示すように、グレー色範囲の黒色範囲に接している部分でマイナス輝度変化の二次元点データが得られ、グレー色範囲の白色範囲に接している部分でプラス輝度変化の二次元点データが得られる。そして、焦点位置が合焦位置に向かうように調整されている場合には、上記グレー色範囲の幅が狭く変化するため、図5(B)に示すように、マイナス輝度変化の二次元点データ群とプラス輝度変化の二次元点データ群とが互いに近づくように取得される。さらに、焦点位置が合焦位置に向かうように調整されていることで、図5(C)に示すように、マイナス輝度変化の二次元点データ群とプラス輝度変化の二次元点データ群とがさらに近づき、焦点位置が合焦位置にほぼ一致すると、図5(D)に示すように、マイナス輝度変化の二次元点データ群とプラス輝度変化の二次元点データ群とが実際のエッジ部分上に位置するように取得される。そして、焦点位置が合焦位置を超えて移動してしまうと、図5(E)に示すように、マイナス輝度変化の二次元点データ群とプラス輝度変化の二次元点データ群との位置が入れ替わるように取得される。このように、計測対象物が移動していない場合でも、焦点位置が合焦位置にほぼ一致する状態では(図5(D)参照)、二次元点データの点密度が高くなり、焦点位置が合焦位置から離れると、二次元点データの点密度が低くなる。
そこで、本実施形態では、制御部11にてなされる焦点位置調整処理において、調整機構23を駆動制御して受光レンズ22を移動させるように焦点位置を調整させた際に、算出された二次元点データの点密度に基づいて受光レンズ22の調整方向を制御する。具体的には、今回算出された点密度が過去に算出された点密度よりも高い場合には、焦点位置が合焦位置に向かうように調整されているとして調整方向を維持し、今回算出された点密度が過去に算出された点密度よりも低い場合には、焦点位置が合焦位置から離れるように調整されているとして調整方向を逆側に切り替える。
以下、制御部11にてなされる焦点位置調整処理について、図6に示すフローチャートを参照して詳述する。
制御部11により焦点位置調整処理が開始されると、調整機構23の駆動制御に応じて受光レンズ22を既定の方向(例えば調整方向一側)に移動させて焦点位置が調整された状態で(S101)、ステップS103に示すプロットデータ作成処理がなされる。この処理では、一定期間(例えば、100μs)内に撮像素子21から出力される複数のイベントデータの二次元点データがそれぞれ点として所定の平面にプロットされる。
次に、ステップS105に示す点密度算出処理がなされ、上述のようにプロットされた各点に関してブロックごとに算出された各平均最近隣距離Wの平均値が、点密度として算出される。
続いて、ステップS107の判定処理にて、今回算出された点密度が後述するように記憶部12に記憶された前回算出された点密度よりも高くなっているか否かについて判定される。なお、上記判定処理では、今回算出された点密度と前回算出された点密度とを比較することに限らず、例えば、2つ前に算出された点密度とを比較してもよい。すなわち、上記判定処理では、今回算出された点密度と過去に算出された点密度とを比較する。
ここで、今回算出された点密度が前回算出された点密度よりも高くなっていると(S107でYes)、上述したように焦点位置が合焦位置に向かうように調整されているとして、受光レンズ22の移動方向が維持されるように調整機構23が駆動制御される(S109)。そして、今回算出された点密度が前回算出された点密度として記憶部12に記憶された後(S113)、上記ステップS103からの処理がなされる。
一方、今回算出された点密度が前回算出された点密度よりも低くなっていると(S107でNo)、上述したように焦点位置が合焦位置から離れるように調整されているとして、受光レンズ22の移動方向が逆方向(調整方向一側に移動していれば調整方向他側)に切り替えられる(S111)。そして、今回算出された点密度が前回算出された点密度として記憶部12に記憶された後(S113)、上記ステップS103からの処理がなされる。
このように、点密度がより高くなるように焦点位置が調整されることで、焦点位置が合焦位置にほぼ一致する状態となり、受光レンズ22の位置が安定する。より正確には、焦点位置が合焦位置にほぼ一致する状態で、受光レンズ22が微小に往復移動する。
以上説明したように、本実施形態に係る撮像装置10では、制御部11にてなされる焦点位置調整処理において、調整機構23により受光レンズ22の焦点位置が調整されている状態で、一定期間内に撮像素子21から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットしたときの点の密度に相当する点密度が算出される。そして、点密度が算出されると、当該点密度と前回算出された点密度との比較結果に基づいて制御部11により調整機構23が駆動制御されることで、焦点位置が合焦位置に向けて調整される。
すなわち、今回算出された点密度が前回算出された点密度よりも高くなる比較結果が得られた場合には、焦点位置が合焦位置に向かうように調整されているとして調整方向が維持されるように調整機構23を駆動制御する。また、今回算出された点密度が前回算出された点密度よりも低くなる比較結果が得られた場合には、焦点位置が合焦位置から離れるように調整されているとして調整方向を逆側に切り替えるように調整機構23を駆動制御する。このように、イベントデータを利用して焦点位置を調整できるので、輝度情報を利用することなくオートフォーカス機能を実現することができる。
特に、イベントデータを利用して焦点位置を調整するため、焦点位置調整用の光学系等を別途設ける必要が無いので、オートフォーカス機能を実現可能な撮像装置10の小型化を図ることができる。さらに、従来カメラのコントラストAFと比較して、扱う画素データ量が小さくて済むため、データ転送時間が短縮できるので、処理の高速化を図ることができる。また、オートフォーカスのために輝度変換もしくは輝度情報の取得を行う必要がないため、オートフォーカスに必要な調整機構23の駆動制御をより高速に実施することができる。そして、従来カメラのコントラストAFが苦手としていた動く計測対象物へのオートフォーカスについての優位性を確保することができる。イベントカメラの場合、動きのある計測対象物のエッジ周辺情報のみが得られるため処理するデータ量が少なく、μ秒単位でイベントデータが出力される高フレームレート性から、計測対象物の動きを検知してからオートフォーカスまでの時間を短縮できるからである。
また、本実施形態では、上記所定の平面が既定数のブロックに区分けされて、イベントデータの個数が所定個数以上となるブロックについて、ブロックごとに点密度に相当する値を算出して平均することで点密度が算出される。このようにイベントデータの個数が所定個数以上となるブロックについて点密度に相当する値を算出することで、全てのブロックについて点密度に相当する値を算出する場合と比較して、処理負荷を軽減できるだけでなく、ノイズのみが含まれるようなブロックを算出対象外とすることができる。これにより、点密度が適正に算出されて、調整精度をより向上させることができる。
なお、本発明は上記実施形態に限定されるものではなく、例えば、以下のように具体化してもよい。
(1)制御部11にてなされる焦点位置調整処理では、一定期間内に撮像素子21から出力される複数のイベントデータの二次元点データを、説明の便宜上、所定の平面にプロットしてから上記点密度を算出しているが、これに限らず、プロットすることなく二次元点データから上記点密度を直接算出してもよい。また、一定期間内に撮像素子21から出力されるイベントデータの個数がカウント部として機能する制御部11によりカウントされ、このカウントされる個数が所定数以上となる場合に点密度が算出されてもよい。これにより、イベントデータの個数が上記所定数未満となる場合、すなわち、計測対象物が存在していないがノイズが検出されるような場合には点密度が算出されないので、不要に調整機構23が駆動されることもなく、不要な焦点位置の調整を抑制することができる。
(2)制御部11にてなされる焦点位置調整処理では、最近隣距離法を用いて上記点密度を算出しているが、これに限らず、他の算出方法、例えば、K関数法やカーネル法を用いて上記点密度を算出してもよい。また、制御部11にてなされる焦点位置調整処理では、点密度に関してブロックごとに算出された値を平均して上記点密度として算出しているが、これに限らず、一定期間内に撮像素子21から出力される全てのイベントデータの二次元点データから最近隣距離法等を用いて上記点密度を算出してもよい。
(3)制御部11にてなされる焦点位置調整処理では、ステップS107の判定処理にて、今回算出された点密度と前回算出された点密度との差が所定値以上である場合にYesと判定されることで、上記ステップS109以降の処理がなされてもよい。すなわち、点密度算出処理により点密度が算出されると、当該点密度と過去に算出された点密度との差が上記所定値以上である場合に限って、調整機構23が駆動制御される。これにより、今回算出された点密度と過去に算出された点密度との差が上記所定値未満となる場合、すなわち、例えば、ほぼピントが合っているような場合には調整機構23が駆動されないので、不要な焦点位置の調整を抑制することができる。
(4)上述した焦点位置調整処理における点密度算出処理では、プラス輝度変化のイベントデータの二次元点データ及びマイナス輝度変化のイベントデータの二次元点データのいずれか一方をそれぞれ点として所定の平面にプロットしたときの点の密度に相当するように点密度を算出してもよい。例えば、プラス輝度変化の二次元点データの出力個数がマイナス輝度変化の二次元点データの出力個数よりも多い場合には、マイナス輝度変化の二次元点データを考慮せずに、プラス輝度変化の二次元点データをそれぞれ点として所定の平面にプロットしたときの点の密度に相当するように点密度を算出する。ピントが合っている状態ではプラス輝度変化の二次元点データとマイナス輝度変化の二次元点データとがそれぞれが別々に群発しやすくなるため、プラス輝度変化の二次元点データとマイナス輝度変化の二次元点データとを区別してどちらか一方に関して点密度を算出することで、調整精度をより向上させることができる。
10…撮像装置
11…制御部(点密度算出部)
21…撮像素子
22…受光レンズ
23…調整機構

Claims (5)

  1. 受光レンズを介して受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子と、
    前記受光レンズの焦点位置を調整するための調整機構と、
    前記調整機構を駆動制御する制御部と、
    前記調整機構により前記受光レンズの焦点位置が調整されている状態で、一定期間内に前記撮像素子から出力される複数の前記イベントデータの前記二次元点データをそれぞれ点として所定の平面にプロットしたときの点の密度に相当する点密度を算出する点密度算出部と、
    を備え、
    前記点密度算出部は、最近隣距離法、K関数法、及びカーネル法が含まれる所定の算出方法によって前記点密度を算出し、
    前記制御部は、前記点密度算出部により前記点密度が算出されると、当該点密度と過去に算出された前記点密度との比較結果に基づいて前記調整機構を駆動制御することで、前記焦点位置を合焦位置に向けて調整することを特徴とする撮像装置。
  2. 前記制御部は、前記点密度算出部により前記点密度が算出されると、当該点密度と過去に算出された前記点密度との差が所定値以上である場合に限って前記調整機構を駆動制御することを特徴とする請求項1に記載の撮像装置。
  3. 前記一定期間内に前記撮像素子から出力される前記イベントデータの個数をカウントするカウント部を備え、
    前記点密度算出部は、前記カウント部によりカウントされる個数が所定数以上となる場合に前記点密度を算出することを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成され、
    前記点密度算出部は、前記プラス輝度変化のイベントデータの前記二次元点データ及び前記マイナス輝度変化のイベントデータの前記二次元点データのいずれか一方をそれぞれ点として前記所定の平面にプロットしたときの点の密度に相当するように前記点密度を算出することを特徴とする請求項1~3のいずれか一項に記載の撮像装置。
  5. 前記点密度算出部は、前記所定の平面を既定数のブロックに区分けして、前記イベントデータの個数が所定個数以上となるブロックについて、最近隣距離法を用いてブロックごとに各二次元点データに関して平均最近隣距離を算出し、各平均最近隣距離の平均値を前記点密度として算出することを特徴とする請求項1~4のいずれか一項に記載の撮像装置。
JP2019190365A 2019-10-17 2019-10-17 撮像装置 Active JP7327075B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2019190365A JP7327075B2 (ja) 2019-10-17 2019-10-17 撮像装置
CN202210146060.9A CN114567725B (zh) 2019-10-17 2020-10-16 具备事件相机的摄像装置
EP20202301.6A EP3809692B1 (en) 2019-10-17 2020-10-16 Imaging device provided with event-based camera
CN202011110893.7A CN112689082B (zh) 2019-10-17 2020-10-16 具备事件相机的摄像装置
US17/073,998 US11412127B2 (en) 2019-10-17 2020-10-19 Imaging device provided with event-based camera
US17/701,832 US11812145B2 (en) 2019-10-17 2022-03-23 Imaging device provided with event-based camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019190365A JP7327075B2 (ja) 2019-10-17 2019-10-17 撮像装置

Publications (2)

Publication Number Publication Date
JP2021067704A JP2021067704A (ja) 2021-04-30
JP7327075B2 true JP7327075B2 (ja) 2023-08-16

Family

ID=75637100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019190365A Active JP7327075B2 (ja) 2019-10-17 2019-10-17 撮像装置

Country Status (1)

Country Link
JP (1) JP7327075B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189793A1 (ja) * 2022-03-29 2023-10-05 ソニーグループ株式会社 医療用観察装置及び情報処理装置
JP2024062847A (ja) * 2022-10-25 2024-05-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018513992A (ja) 2015-03-10 2018-05-31 クゥアルコム・インコーポレイテッドQualcomm Incorporated 連続オートフォーカスのためのシステムおよび方法
CN109151315A (zh) 2018-09-19 2019-01-04 信利光电股份有限公司 一种dvs摄像模组的调焦方法及装置
US20190014258A1 (en) 2017-07-05 2019-01-10 Intel Corporation Micro-saccadic actuation for an event camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018513992A (ja) 2015-03-10 2018-05-31 クゥアルコム・インコーポレイテッドQualcomm Incorporated 連続オートフォーカスのためのシステムおよび方法
US20190014258A1 (en) 2017-07-05 2019-01-10 Intel Corporation Micro-saccadic actuation for an event camera
CN109151315A (zh) 2018-09-19 2019-01-04 信利光电股份有限公司 一种dvs摄像模组的调焦方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Guillermo GALLEGO et al.,"Focus Is All You Need:Loss Functions for Event-Based Vision",2019 IEEE/CVFConference on Computer Vision and Pattern Recognition (CVPR),2019年06月,pp.12272-12281,DOI: 10.1109/CVPR.2019.01256

Also Published As

Publication number Publication date
JP2021067704A (ja) 2021-04-30

Similar Documents

Publication Publication Date Title
JP4380663B2 (ja) 三次元形状測定方法、装置、及びフォーカス調整方法
US20080297648A1 (en) Focus detection apparatus
TWI515470B (zh) 使用多鏡頭的自動對焦系統及其方法
JP2005309323A (ja) 撮像用焦点距離検出方法及び撮像装置
JP7327075B2 (ja) 撮像装置
US11190675B2 (en) Control apparatus, image pickup apparatus, control method, and storage medium
US11457148B2 (en) Image processing apparatus, imaging apparatus, and control method
JP2014153509A (ja) 撮像装置及び撮像方法
US11812145B2 (en) Imaging device provided with event-based camera
JP2002296494A (ja) 結像位置検出プログラムおよびカメラ
JP6486098B2 (ja) 撮像装置及びその制御方法
JP2015055635A (ja) 撮像装置及びその制御方法
JP2001141982A (ja) 電子カメラの自動焦点調節装置
JP2011107501A (ja) 焦点調節装置、および、撮像装置
JP2021047296A (ja) レンズ装置、撮像装置、レンズ装置の制御方法、およびプログラム
JP2001141984A (ja) 電子カメラの自動焦点調節装置
JP5871196B2 (ja) 焦点調節装置、および、撮像装置
JP6200240B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2001141983A (ja) 電子カメラの自動焦点調節装置
JP4900134B2 (ja) 焦点調節装置、カメラ
JP2007140314A (ja) デジタルカメラ用自動合焦装置
JP2010224165A (ja) 撮像装置
JP2005227447A (ja) オートフォーカスカメラ
US20240053576A1 (en) Optical apparatus, its control method, and storage medium
JP2004069953A (ja) カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230717

R150 Certificate of patent or registration of utility model

Ref document number: 7327075

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150