JP7159371B2 - 制御装置、その制御方法、およびプログラム - Google Patents
制御装置、その制御方法、およびプログラム Download PDFInfo
- Publication number
- JP7159371B2 JP7159371B2 JP2021023441A JP2021023441A JP7159371B2 JP 7159371 B2 JP7159371 B2 JP 7159371B2 JP 2021023441 A JP2021023441 A JP 2021023441A JP 2021023441 A JP2021023441 A JP 2021023441A JP 7159371 B2 JP7159371 B2 JP 7159371B2
- Authority
- JP
- Japan
- Prior art keywords
- focus detection
- obstacle
- subject
- control device
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Description
図1は、本発明の実施形態に係るレンズ交換式カメラ(以下、単にカメラと呼ぶ)の構成を示すブロック図である。本発明の実施形態に係るカメラは、本発明を適用した制御装置を搭載した撮像装置の例であり、被写体像を撮像する撮像素子からの出力信号を用いた撮像面位相差検出方式による焦点調節を行う。カメラは、レンズ装置(交換レンズ)100と、カメラ本体200とにより構成される。レンズ装置100が電気接点ユニット106を有するマウント部を介してカメラ本体200に装着されると、レンズ装置100の動作を統括制御するレンズコントローラ105とカメラ全体の動作を統括制御するシステム制御部209とが相互に通信可能となる。
以下、実施形態の撮像装置の動作について図2を用いて説明する。図2は、ライブビュー画像を表示する状態から静止画撮像を行う場合の撮像制御処理の流れを示している。コンピュータとしてのシステム制御部209は、コンピュータプログラムとしての制御プログラムに従って本処理を実行する。まず、S201では、SW1(217)の状態を調べ、ONであればS202へ進む。S202では、AF信号処理部204に対してシステム制御部209にて後述するAF枠設定を行ってS203へと進む。S203では、後述するAF動作を行いS204へ進む。S204では、SW1(217)の状態を調べ、ONであればS205へ進み、そうでなければS201へ戻る。S205では、SW2(218)の状態を調べONであればS206へ進み、そうでなければS204へ戻る。S206では、撮影動作を行ったあと、S201へ戻る。
図3は、図2のS202におけるAF枠設定を説明するフローチャートである。まず、S301では被写体検出部211から被写体検出情報を取得する。本実施形態の被写体は人物や犬、野鳥などの動物、さらにその被写体内における主要領域を検出するものとする。ここで、主要領域とは人物や動物における瞳、顔、体である。これらの検出方法は公知の機械学習による学習手法や画像処理手段による認識処理などを用いる。
(1)サポートベクターマシーン(Support Vector Machine)
(2)畳み込みニューラルネットワーク(Covolutional Neural Network)
(3)再起型ニューラルネットワーク(Recurrent Neural Network)
図7はS203のAF動作を説明するフローチャート図である。まず、S401では、焦点検出処理を行い、デフォーカス量(デフォーカス方向を含む)と信頼度を検出してS402へ進む。焦点検出処理については後述する。S402では、システム制御部209にてS401で得られた信頼度を用いて後述する検出デフォーカス量算出を行い、S403へ進む。S403では、S402で検出した結果の信頼度が予め設定されている信頼度閾値2よりも高いかどうかを調べ、そうであればS404へ進み、そうでなければS413へ進む。ここで信頼度閾値2は、信頼度が信頼度閾値2未満であればデフォーカス量の精度は保証できないが被写体のピント位置方向は保証できるという閾値に設定しておく。S404では、S402で検出したデフォーカス量が予め設定されているDef量閾値2よりも小さいかどうかを調べ、そうであればS405へ進み、そうでなければS412へ進む。ここでDef量閾値2は、デフォーカス量がDef量閾値2以下であれば、その後デフォーカス量だけレンズ駆動を所定回数(例えば3回)以内で焦点深度内にフォーカスレンズを制御することができるような値(例えば焦点深度の5倍の量)で設定する。S405では、フォーカスレンズ103が停止状態であるかどうかを調べ、そうであればS406へ進み、そうでなければS410へ進む。S406では、S402で検出した結果の信頼度が予め設定されている信頼度閾値1よりも高いかどうかを調べ、そうであればS407へ進み、そうでなければS410へ進む。ここで信頼度閾値1は、信頼度が信頼度閾値1以上であれば、デフォーカス量の精度ばらつきが所定範囲内(例えば焦点深度内)となるように設定する。S407では、S401で検出したデフォーカス量が予め設定されているDef量閾値1よりも小さいかどうかを調べ、そうであればS408へ進み、そうでなければS409へ進む。ここでDef量閾値1は、検出したデフォーカス量がDef量閾値1以下であれば、焦点深度内にフォーカスレンズ制御されているという値となるように設定する。S408では合焦状態であると判断して本フローを終了する。S409では、S401で検出したデフォーカス量だけフォーカスレンズ103を駆動させたあとS401へ進む。S405~S409の一連を行うことにより、S401で検出した信頼度が信頼度閾値1よりも高い場合にレンズを停止した状態で合焦判定できる。
S401の焦点検出処理について図8を用いて説明する。まず、S501では、撮像素子201から出力された画像データ内の任意の範囲の焦点検出領域を設定してS502へ進む。ここで設定される焦点検出領域は、前記S202で設定されたAF枠にそれぞれ対応した領域である。S502では、S501で設定した焦点検出領域に対応する撮像素子201からの焦点検出用の一対の像信号(A像、B像)を取得してS503へ進む。S503では、S502で取得した一対の信号を垂直方向に行加算平均処理を行ったあとS504へ進む。この処理によって像信号のノイズの影響を軽減することができる。S504ではS503で垂直行加算平均した信号から所定の周波数帯域の信号成分を取り出すフィルタ処理を行ったあとS505へ進む。ここでは複数周波数帯域(高域、中域、低域)の信号成分を取り出しそれぞれについて次のS505以降の処理を行うこととする。S505では、S504でフィルタ処理した信号から相関量を算出してS506へ進む。S506では、S505より算出した相関量から相関変化量を算出してS507へ進む。S507では、S506より算出した相関変化量から像ずれ量を算出してS508へ進む。S508では、S507で算出した像ずれ量がどれだけ信頼できるのかを表す信頼度を算出してS509へ進む。S509では像ずれ量をデフォーカス量(デフォーカス方向を含む)に変換して焦点検出処理を終了する。これにより、S401にてデフォーカス量(デフォーカス方向を含む)と信頼度が得られる。
S402の検出デフォーカス量算出について図9を用いて説明する。まず、S601では第1の障害物回避処理を行う条件であるかどうかを判定する。第1の障害物回避処理を行う条件とは、たとえば被写体検出部211によって検出された被写体の種別が動物であったときなどである。これは、動物はオリ(ゲージ)越しなど比較的空間周波数の低い障害物とともに撮影されることが多いことに基づいている。第1の障害物回避処理を行う条件であればS602へ進み、そうでなければS603へ進む。S603へ進むことで第1の障害物回避処理を省略することになる。S602では被写体検出部211の検出結果とS509の処理にて算出されたデフォーカス量を用いて後述する第1の障害物回避処理を行い、S606へ進む。S606ではS602で第1の障害物ありと判定されたかどうかを確認し、第1の障害物ありと判定されていた場合は検出デフォーカス量算出を終了し、第1の障害物ありと判定されていなかったあるいは第1の障害物判定不可であった場合はS603へ進む。S601で第1の障害物回避処理を行う条件と判定され、S602の処理を実行して、S606で第1の障害物ありと判定された場合には、第2の障害物回避処理を省略することになる。
図10はS602の第1の障害物回避処理を説明するフローチャート図である。本実施形態では画像解析手段であるヒストグラムを用いるが一般技術であるためヒストグラムの詳細については割愛する。
第2の障害物回避処理で用いる焦点検出結果について、あらかじめ説明する。
以下、本実施形態における第2の障害物判定処理のフローについて説明する。
S605の通常の検出デフォーカス量算出について図16を用いて説明する。まず、S1001ではS509の処理で複数周波数帯域の信号について焦点検出が行われた場合、そのうち最も高帯域の信号によって焦点検出されたデフォーカス量を使用するよう設定しS1002へ進む。S1002では後述する通常の主枠選択を行い通常の検出デフォーカス量算出を終了する。
S726、S2007、S1002の通常の主枠選択について図17を用いて説明する。まずS1101では被写体検出部211にて被写体の顔が検出されているかを判定する。顔が検出されていればS1102へ進み、検出されていなければS1107へ進む。S1107では被写体検出部211にて被写体の体が検出されているかを判定する。体が検出されていればS1108へ進み、検出されていなければS1109へ進む。
103 フォーカスレンズ
105 レンズコントローラ
200 カメラ本体
201 撮像素子
204 AF信号処理部
209 システム制御部
210 レンズ通信部
211 被写体検出部
Claims (16)
- 焦点検出用信号を出力することが可能な撮像手段から出力された前記焦点検出用信号に基づいて、デフォーカス量を検出する焦点検出手段と、
前記撮像手段から出力された画像データに基づいて、特定の被写体の検出を行う被写体検出手段と、
前記デフォーカス量の特徴に基づいて、前記特定の被写体に対する障害物を検出する第1の障害物検出処理と、前記特定の被写体に対する空間周波数よりも高い空間周波数の障害物を検出する第2の障害物検出処理とを実行する処理手段と、
を有することを特徴とする制御装置。 - 前記特定の被写体には複数の種別が含まれ、前記被写体検出手段は、被写体の種別も検出することを特徴とする請求項1に記載の制御装置。
- 前記処理手段は、前記被写体の種別が第1の被写体の種別である場合、前記第1の障害物検出処理を省略することを特徴とする請求項2に記載の制御装置。
- 前記処理手段は、前記被写体の種別が第2の被写体の種別である場合、前記第2の障害物検出処理を省略することを特徴とする請求項2に記載の制御装置。
- 前記処理手段は、前記被写体の種別が第3の被写体の種別である場合、前記第1および前記第2の障害物検出処理を省略することを特徴とする請求項2に記載の制御装置。
- 前記第1の被写体の種別は、人物であることを特徴とする請求項3に記載の制御装置。
- 前記第2の被写体の種別は、動物であることを特徴とする請求項4に記載の制御装置。
- 前記第3の被写体の種別は、人物、動物のいずれでもないことを特徴とする請求項5に記載の制御装置。
- 前記特定の被写体の領域に対応させて複数のエリアに分割された焦点検出領域を設定する設定手段をさらに有し、
前記第1の障害物検出処理は、複数の焦点検出領域に対応するデフォーカス量または被写体距離のヒストグラムに基づいて、障害物があるか否かを検出することを特徴とする請求項1乃至8のいずれか1項に記載の制御装置。 - 異なる帯域の信号を抽出する抽出手段をさらに有し、
前記抽出手段は、第1帯域の第1信号と、前記第1帯域より低い第2帯域の第2信号とを抽出し、
前記焦点検出手段は、前記特定の被写体を基準に設定された焦点検出領域において、前記第1信号での第1焦点検出結果、前記第2信号での第2焦点検出結果を出力し、
前記第2の障害物検出処理では、前記第1焦点検出結果が、前記第2焦点検出結果より至近側の場合に、障害物ありと検出することを特徴とする請求項1乃至9のいずれか1項に記載の制御装置。 - 前記第2の障害物検出処理では、前記特定の被写体を基準に設定された焦点検出領域における前記第1焦点検出結果と、前記第2焦点検出結果との差が、閾値よりも大きい場合に、障害物ありと検出することを特徴とする請求項10に記載の制御装置。
- 前記第2の障害物検出処理では、前記特定の被写体の領域に対応させて複数のエリアに分割され設定された焦点検出領域における前記第1焦点検出結果が、前記複数のエリアに分割され設定された焦点検出領域の代表位置における前記第2焦点検出結果より至近側である割合に基づいて、障害物を検出することを特徴とする請求項10または11に記載の制御装置。
- 前記焦点検出手段による焦点検出結果に基づいて、撮影光学系の焦点調節を実行する焦点調節手段をさらに有することを特徴とする請求項1乃至12のいずれか1項に記載の制御装置。
- 請求項1乃至13のいずれか1項に記載の制御装置と、
撮影光学系の異なる瞳領域を通過した光束を光電変換して焦点検出用信号を出力することが可能な撮像手段とを備えたことを特徴とする撮像装置。 - 焦点検出用信号を出力することが可能な撮像手段から出力された前記焦点検出用信号に基づいて、デフォーカス量を検出する焦点検出工程と、
前記撮像手段から出力された画像データに基づいて、特定の被写体の検出を行う被写体検出工程と、
前記デフォーカス量の特徴に基づいて、前記特定の被写体に対する障害物を検出する第1の障害物検出処理と、前記特定の被写体に対する空間周波数よりも高い空間周波数の障害物を検出する第2の障害物検出処理とを実行する処理工程と、
を有することを特徴とする制御方法。 - 制御装置が有するコンピュータを、請求項1乃至13のいずれか1項に記載の制御装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/233,180 US11716536B2 (en) | 2020-04-22 | 2021-04-16 | Control device, image capturing apparatus, and control method for detecting obstacle |
JP2022164195A JP2022186785A (ja) | 2020-04-22 | 2022-10-12 | 制御装置、その制御方法、およびプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020076086 | 2020-04-22 | ||
JP2020076086 | 2020-04-22 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022164195A Division JP2022186785A (ja) | 2020-04-22 | 2022-10-12 | 制御装置、その制御方法、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021176009A JP2021176009A (ja) | 2021-11-04 |
JP2021176009A5 JP2021176009A5 (ja) | 2022-04-14 |
JP7159371B2 true JP7159371B2 (ja) | 2022-10-24 |
Family
ID=78300404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021023441A Active JP7159371B2 (ja) | 2020-04-22 | 2021-02-17 | 制御装置、その制御方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7159371B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000147363A (ja) | 1998-11-05 | 2000-05-26 | Nikon Corp | 焦点検出装置 |
JP2008015754A (ja) | 2006-07-05 | 2008-01-24 | Nikon Corp | 撮像装置、画像処理装置および画像処理方法 |
JP2020009180A (ja) | 2018-07-09 | 2020-01-16 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
JP2021005064A (ja) | 2019-06-27 | 2021-01-14 | パナソニックIpマネジメント株式会社 | 撮像装置 |
-
2021
- 2021-02-17 JP JP2021023441A patent/JP7159371B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000147363A (ja) | 1998-11-05 | 2000-05-26 | Nikon Corp | 焦点検出装置 |
JP2008015754A (ja) | 2006-07-05 | 2008-01-24 | Nikon Corp | 撮像装置、画像処理装置および画像処理方法 |
JP2020009180A (ja) | 2018-07-09 | 2020-01-16 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
JP2021005064A (ja) | 2019-06-27 | 2021-01-14 | パナソニックIpマネジメント株式会社 | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2021176009A (ja) | 2021-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8175447B2 (en) | Image pickup apparatus and control method therefor | |
US9100556B2 (en) | Image processing apparatus and image processing method | |
CN104580851B (zh) | 摄像设备及其控制方法 | |
JP7154758B2 (ja) | 画像処理装置及びその制御方法 | |
KR20220058593A (ko) | 스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법 | |
JP2007129310A (ja) | 撮像装置 | |
JP2022186785A (ja) | 制御装置、その制御方法、およびプログラム | |
JP2011135191A (ja) | 撮像装置及び画像処理装置 | |
JP2011191617A (ja) | 撮像装置 | |
US9693037B2 (en) | Imaging apparatus having an imaging element in which a plurality of light receiving elements is arranged with respect to a micro lens and method for controlling same | |
JP7159371B2 (ja) | 制御装置、その制御方法、およびプログラム | |
JP6501536B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
US20100182460A1 (en) | Image processing apparatus | |
JP6738251B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2010113297A (ja) | 焦点調節装置及び方法 | |
JP6200240B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP6071173B2 (ja) | 撮像装置、その制御方法及びプログラム | |
US20200007780A1 (en) | Apparatus and method | |
JP6723853B2 (ja) | 撮像装置およびその制御方法 | |
JP2015152830A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP7458723B2 (ja) | 画像処理装置、撮像装置、制御方法、およびプログラム | |
US20240073522A1 (en) | Image capturing apparatus, control method thereof, and storage medium | |
JP7406880B2 (ja) | 画像処理装置、その制御方法及びプログラム | |
US10321042B2 (en) | Imaging apparatus and method for controlling the same for focus detection using focus detection area based on defocus amount | |
JP2024033688A (ja) | 焦点調節装置、撮像装置、焦点調節方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220406 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220406 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221012 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7159371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |