JP5589527B2 - 撮像装置および追尾被写体検出方法 - Google Patents
撮像装置および追尾被写体検出方法 Download PDFInfo
- Publication number
- JP5589527B2 JP5589527B2 JP2010099936A JP2010099936A JP5589527B2 JP 5589527 B2 JP5589527 B2 JP 5589527B2 JP 2010099936 A JP2010099936 A JP 2010099936A JP 2010099936 A JP2010099936 A JP 2010099936A JP 5589527 B2 JP5589527 B2 JP 5589527B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- calculating
- calculated
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Exposure Control For Cameras (AREA)
- Closed-Circuit Television Systems (AREA)
Description
(1)輝度情報
入力されたフレーム画像の画像データより輝度信号(Y)を生成し、分割ブロックごとの輝度情報を算出する。
分割ブロックごとの輝度情報:Y(1,1)〜Y(A,B)
(2)色情報
入力されたフレーム画像の画像データより色相信号(R/G/B)を生成し、分割ブロックごとの色情報を算出する。
分割ブロックごとのRed成分情報:R(1,1)〜R(A,B)
分割ブロックごとのGreen成分情報:G(1,1)〜G(A,B)
分割ブロックごとのBlue成分情報:B(1,1)〜B(A,B)
(3)コントラスト情報
入力されたフレーム画像の画像データより生成した輝度信号(Y)に対してフィルタ処理を行い、分割ブロックごとのフィルタ出力値(C)を、分割ブロックごとのコントラスト情報として利用する。なお、フィルタ出力値が大きいほど、画像のコントラストが高いと判断する。
分割ブロックごとのコントラスト情報:C(1,1)〜C(A,B)
(4)動きベクトル量
入力されたフレーム画像の画像データについて、図3に示すように、連続する2フレーム間の動きベクトルを求め、分割ブロックごとに水平方向、垂直方向のそれぞれの動きベクトル量を算出する。ここで算出される動きベクトル量は、画像中の被写体の移動量に、手振れやパンニングなどでデジタルカメラ自体が動くことにより発生する移動量が混合したものとなる。図3(b)における矢印が分割ブロックごとの実際の動きベクトルとなる。なお、フレーム間の動きベクトルを算出する方法は周知の技術であるため、ここでは説明を省略する。
分割ブロックごとの水平方向の動きベクトル量:H(1,1)〜H(A,B)
分割ブロックごとの垂直方向の動きベクトル量:V(1,1)〜V(A,B)
グループ1の座標:(B1/G1、R1/G1)
グループ2の座標:(B2/G2、R2/G2)
そして、これらグループ1とグループ2の色情報を示す2点間の距離Ck1−2を以下のように求める。
同様にして、輝度情報によりグルーピングされた各グループについて、色情報による隣接グループの結合を実施する。
IHN=MHN−(GH×ZN)
IVN=MVN−(GV×ZN)
また、画像領域Nにおける被写体移動量VNは、以下のように求められる。
PNF=PN0+VN_AVG
4 増幅器
5 A/D変換器
8 画像信号処理部
10 動き検出センサ
13 制御演算部(CPU)
21 焦点距離算出手段
22 グルーピング手段
23 移動量算出手段
24 コントラスト値算出手段
25 追尾被写体選択手段
26 被写体追尾手段
27 被写体位置推定手段
28 シャッタ速度制御手段
Claims (4)
- 被写体追尾機能を有する撮像装置において、
被写体を含む画像を連続して撮影して動画を構成するフレーム画像を取得する撮像手段と、
前記撮像手段により取得されたフレーム画像を複数のブロックに分割し、分割した複数のブロックごとの輝度情報、色情報、コントラスト情報、前フレームからの動きベクトル量を算出する画像信号処理手段と、
撮像装置自体の動きを検出する動き検出手段と、
ズーミング動作に応じた撮像装置の焦点距離を算出する焦点距離算出手段と、
前記画像信号処理手段により算出された輝度情報および色情報に基づいて、前記複数のブロックを同一被写体の画像領域と推定される画像領域ごとにグルーピングするグルーピング手段と、
前記画像信号処理手段により算出された動きベクトル量と、前記動き検出手段により検出された撮像装置自体の動きと、前記焦点距離算出手段により算出された撮像装置の焦点距離とに基づいて、前記グルーピング手段によりグルーピングされた各画像領域に含まれる被写体の移動量を算出する移動量算出手段と、
前記画像信号処理手段により算出されたコントラスト情報に基づいて、前記グルーピング手段によりグルーピングされた各画像領域のコントラスト値を算出するコントラスト値算出手段と、
前記移動量算出手段により算出された移動量が所定の基準値を超える被写体を、追尾対象の候補として抽出する候補抽出手段と、
前記候補抽出手段により追尾対象の候補として抽出された被写体のうち、前記コントラスト値算出手段により算出されたコントラスト値が最も高い画像領域に含まれる被写体を、追尾対象の被写体として選択する追尾被写体選択手段と、を備えることを特徴とする撮像装置。 - 前記グルーピング手段によりグルーピングされた各画像領域それぞれについて、画像領域を構成するブロックの動きベクトル量の平均値を、当該画像領域の動きベクトルとして算出する領域動きベクトル算出手段をさらに備え、
前記移動量算出手段は、前記領域動きベクトル算出手段により算出された各画像領域の動きベクトルと、前記動き検出手段により検出された撮像装置自体の動きと、前記焦点距離算出手段により算出された撮像装置の焦点距離とに基づいて、前記グルーピング手段によりグルーピングされた各画像領域に含まれる被写体の移動量を算出することを特徴とする請求項1に記載の撮像装置。 - 前記移動量算出手段により算出された移動量に基づいて、次のフレーム画像における追尾対象の被写体の位置を推定する被写体位置推定手段と、
前記被写体位置推定手段により推定された位置を中心として探索範囲を設定し、設定した探索範囲から追尾対象の被写体を探索する被写体追尾手段と、をさらに備えることを特徴とする請求項1または2に記載の撮像装置。 - 被写体追尾機能を有する撮像装置において実行される追尾被写体検出方法であって、
被写体を含む画像を連続して撮影して動画を構成するフレーム画像を取得するステップと、
取得したフレーム画像を複数のブロックに分割し、分割した複数のブロックごとの輝度情報、色情報、コントラスト情報、前フレームからの動きベクトル量を算出するステップと、
撮像装置自体の動きを検出するステップと、
ズーミング動作に応じた撮像装置の焦点距離を算出するステップと、
前記複数のブロックごとの輝度情報および色情報に基づいて、前記複数のブロックを同一被写体の画像領域と推定される画像領域ごとにグルーピングするステップと、
前記複数のブロックごとの動きベクトル量と、撮像装置自体の動きと、撮像装置の焦点距離とに基づいて、前記グルーピングした各画像領域に含まれる被写体の移動量を算出するステップと、
前記複数のブロックごとのコントラスト情報に基づいて、前記グルーピングした各画像領域のコントラスト値を算出するステップと、
移動量が所定の基準値を超える被写体を、追尾対象の候補として抽出するステップと、
追尾対象の候補として抽出された被写体のうち、コントラスト値が最も高い画像領域に含まれる被写体を、追尾対象の被写体として選択するステップと、を有することを特徴とする追尾被写体検出方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010099936A JP5589527B2 (ja) | 2010-04-23 | 2010-04-23 | 撮像装置および追尾被写体検出方法 |
US13/089,742 US8599268B2 (en) | 2010-04-23 | 2011-04-19 | Image capturing apparatus, method of detecting tracking object, and computer program product |
EP11163205.5A EP2381419B1 (en) | 2010-04-23 | 2011-04-20 | Image capturing apparatus, method of detecting tracking object, and computer program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010099936A JP5589527B2 (ja) | 2010-04-23 | 2010-04-23 | 撮像装置および追尾被写体検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011233963A JP2011233963A (ja) | 2011-11-17 |
JP5589527B2 true JP5589527B2 (ja) | 2014-09-17 |
Family
ID=44312267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010099936A Active JP5589527B2 (ja) | 2010-04-23 | 2010-04-23 | 撮像装置および追尾被写体検出方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8599268B2 (ja) |
EP (1) | EP2381419B1 (ja) |
JP (1) | JP5589527B2 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2768758B1 (en) | 2011-10-19 | 2018-09-05 | Crown Equipment Corporation | Identifying, matching and tracking multiple objects in a sequence of images |
JP5851206B2 (ja) * | 2011-11-04 | 2016-02-03 | オリンパス株式会社 | 追尾装置及び追尾方法 |
US9280813B2 (en) * | 2012-01-20 | 2016-03-08 | Debing Liu | Blur measurement |
US20130258167A1 (en) * | 2012-03-28 | 2013-10-03 | Qualcomm Incorporated | Method and apparatus for autofocusing an imaging device |
KR101915193B1 (ko) * | 2012-04-24 | 2018-11-05 | 한화테크윈 주식회사 | 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템 |
US9942460B2 (en) * | 2013-01-09 | 2018-04-10 | Sony Corporation | Image processing device, image processing method, and program |
JP2015014672A (ja) * | 2013-07-04 | 2015-01-22 | 住友電気工業株式会社 | カメラ制御装置、カメラシステム、カメラ制御方法、及びプログラム |
CN103716541B (zh) * | 2013-12-23 | 2019-08-02 | 宇龙计算机通信科技(深圳)有限公司 | 一种拍摄大分辨率照片的方法及终端 |
JP2017505045A (ja) * | 2014-01-15 | 2017-02-09 | アナカトゥム デザイン アーベー | コグニティブ信号コンバータ |
WO2015120479A1 (en) | 2014-02-10 | 2015-08-13 | Neuronetics, Inc. | Head modeling for a therapeutic or diagnostic procedure |
US9508026B2 (en) * | 2014-07-01 | 2016-11-29 | Irida Labs S.A. | System and a method for camera motion analysis and understanding from a video sequence |
CN104469167B (zh) * | 2014-12-26 | 2017-10-13 | 小米科技有限责任公司 | 自动对焦方法及装置 |
JP6497987B2 (ja) * | 2015-03-12 | 2019-04-10 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
KR20170029978A (ko) | 2015-09-08 | 2017-03-16 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
JP6577852B2 (ja) * | 2015-12-03 | 2019-09-18 | キヤノン株式会社 | 動きベクトル検出装置およびその制御方法 |
KR102462644B1 (ko) * | 2016-04-01 | 2022-11-03 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
US9990535B2 (en) | 2016-04-27 | 2018-06-05 | Crown Equipment Corporation | Pallet detection using units of physical length |
JP6866581B2 (ja) * | 2016-06-30 | 2021-04-28 | 株式会社ニコン | 撮像装置および電子部品 |
JP6661493B2 (ja) * | 2016-08-30 | 2020-03-11 | キヤノン株式会社 | 像ブレ制御装置、撮像装置および制御方法 |
JP6818473B2 (ja) * | 2016-09-07 | 2021-01-20 | キヤノン株式会社 | ブレ補正装置およびその制御方法、撮像装置 |
CN106778471B (zh) * | 2016-11-17 | 2019-11-19 | 京东方科技集团股份有限公司 | 自动跟踪购物车 |
JP6904843B2 (ja) * | 2017-08-03 | 2021-07-21 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US10614576B2 (en) * | 2018-02-05 | 2020-04-07 | Colossio, Inc. | Method and device for partition-based image tracking |
US20190253607A1 (en) * | 2018-02-15 | 2019-08-15 | Qualcomm Incorporated | Object tracking autofocus |
JP7117872B2 (ja) * | 2018-03-28 | 2022-08-15 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
JP7254555B2 (ja) * | 2019-02-18 | 2023-04-10 | キヤノン株式会社 | 撮像装置および撮像装置の制御方法 |
EP3719529A1 (en) | 2019-03-20 | 2020-10-07 | Ricoh Company, Ltd. | Range finding device and range finding method |
JP2020170252A (ja) * | 2019-04-01 | 2020-10-15 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
KR20210096795A (ko) * | 2020-01-29 | 2021-08-06 | 삼성전자주식회사 | 이미지의 자동 촬영 방법, 상기 방법을 수행하는 이미지의 자동 촬영 장치, 및 상기 방법을 수행하는 이미지의 자동 촬영 시스템 |
JP7458819B2 (ja) * | 2020-02-21 | 2024-04-01 | キヤノン株式会社 | 撮像装置、制御方法、プログラム及び記憶媒体 |
JP2021144121A (ja) * | 2020-03-11 | 2021-09-24 | キヤノン株式会社 | 表示制御装置およびその制御方法、プログラム、並びに記憶媒体 |
CN111565300B (zh) * | 2020-05-22 | 2020-12-22 | 深圳市百川安防科技有限公司 | 基于对象的视频文件处理方法、设备及系统 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0651384A (ja) * | 1990-12-07 | 1994-02-25 | Olympus Optical Co Ltd | カメラのぶれ防止装置 |
JPH0580248A (ja) | 1991-09-19 | 1993-04-02 | Ricoh Co Ltd | オートフオーカス装置 |
JPH05107604A (ja) * | 1991-12-18 | 1993-04-30 | Minolta Camera Co Ltd | カメラ |
JPH05288982A (ja) * | 1992-04-09 | 1993-11-05 | Olympus Optical Co Ltd | 注視点選択装置 |
US6670963B2 (en) | 2001-01-17 | 2003-12-30 | Tektronix, Inc. | Visual attention model |
KR100426174B1 (ko) * | 2001-10-29 | 2004-04-06 | 삼성전자주식회사 | 영상압축 알고리즘을 이용한 카메라 제어방법 |
JP2003187248A (ja) * | 2001-12-21 | 2003-07-04 | Mitsubishi Electric Corp | 画像処理システムおよび画像処理装置 |
JP4504158B2 (ja) * | 2004-10-29 | 2010-07-14 | オリンパス株式会社 | カメラ、追尾装置及び追尾方法並びに追尾プログラム |
JP4329694B2 (ja) * | 2005-01-07 | 2009-09-09 | 株式会社ニコン | 撮像装置 |
JP2007025595A (ja) | 2005-07-21 | 2007-02-01 | Fujinon Corp | オートフォーカス装置 |
JP5045125B2 (ja) * | 2006-03-15 | 2012-10-10 | 株式会社ニコン | 被写体追尾装置および光学機器 |
JP5115210B2 (ja) | 2008-01-24 | 2013-01-09 | 株式会社ニコン | 撮像装置 |
JP2010099936A (ja) | 2008-10-23 | 2010-05-06 | Olympus Corp | 射出成形装置 |
-
2010
- 2010-04-23 JP JP2010099936A patent/JP5589527B2/ja active Active
-
2011
- 2011-04-19 US US13/089,742 patent/US8599268B2/en not_active Expired - Fee Related
- 2011-04-20 EP EP11163205.5A patent/EP2381419B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP2381419B1 (en) | 2013-06-05 |
EP2381419A2 (en) | 2011-10-26 |
US8599268B2 (en) | 2013-12-03 |
US20110261225A1 (en) | 2011-10-27 |
JP2011233963A (ja) | 2011-11-17 |
EP2381419A3 (en) | 2012-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5589527B2 (ja) | 撮像装置および追尾被写体検出方法 | |
JP5218508B2 (ja) | 撮像装置 | |
US8736689B2 (en) | Imaging apparatus and image processing method | |
US9761010B2 (en) | Tracking apparatus | |
JP4980982B2 (ja) | 撮像装置、撮像方法、合焦制御方法及びプログラム | |
JP5736796B2 (ja) | 電子カメラ、プログラム及び記録媒体 | |
US8994783B2 (en) | Image pickup apparatus that automatically determines shooting mode most suitable for shooting scene, control method therefor, and storage medium | |
US11258948B2 (en) | Image pickup apparatus, control method of image pickup apparatus, and storage medium | |
JP2008109336A (ja) | 画像処理装置および撮像装置 | |
JP6391304B2 (ja) | 撮像装置、制御方法およびプログラム | |
JP4645413B2 (ja) | 撮像装置 | |
US11818466B2 (en) | Notifying apparatus, image capturing apparatus, notifying method, image capturing method, and storage medium | |
KR101004914B1 (ko) | 촬상장치 및 촬상방법 | |
JP2000188713A (ja) | 自動焦点制御装置及びその合焦動作決定方法 | |
JP2015232620A (ja) | 撮像装置、制御方法およびプログラム | |
JP4871664B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2008301161A (ja) | 画像処理装置、デジタルカメラ、及び画像処理方法 | |
JP2014007622A (ja) | 撮像装置、及びプログラム | |
JP2009077321A (ja) | 画像記録装置及び画像記録処理方法 | |
JP2015152830A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP5644180B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP2018106763A (ja) | 撮像装置 | |
WO2024034390A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP5915009B2 (ja) | 画像処理装置、電子カメラ、画像処理方法、及びプログラム、並びに記録媒体 | |
JP2019161540A (ja) | 撮像装置及びその制御方法並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140701 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140714 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5589527 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |