JP7497587B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP7497587B2 JP7497587B2 JP2020052630A JP2020052630A JP7497587B2 JP 7497587 B2 JP7497587 B2 JP 7497587B2 JP 2020052630 A JP2020052630 A JP 2020052630A JP 2020052630 A JP2020052630 A JP 2020052630A JP 7497587 B2 JP7497587 B2 JP 7497587B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- tracking
- detection
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 42
- 238000001514 detection method Methods 0.000 claims description 350
- 238000000034 method Methods 0.000 claims description 134
- 238000004364 calculation method Methods 0.000 claims description 41
- 238000013528 artificial neural network Methods 0.000 claims description 35
- 238000012937 correction Methods 0.000 claims description 27
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 99
- 230000008569 process Effects 0.000 description 84
- 230000015654 memory Effects 0.000 description 40
- 230000007246 mechanism Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000000746 body region Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Neurology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Description
第6の発明に係る撮像装置は、上記第5の発明において、上記位置関係条件部は、上記被写体検出部が検出した被写体の種別によって、被写体の検出領域の範囲を拡げる、または狭める。
第8の発明に係る撮像装置は、上記第3の発明において、上記被写体検出部が検出した被写体とパーツの位置の信頼度を判断する時系列データ信頼性判断部をさらに有し、上記被写体関連付け判断部は、対象とする被写体およびパーツの位置は、上記時系列データ信頼性判断部の判断結果に基づいて有効と判断された被写体及びパーツの位置を対象とする。
第9の発明に係る撮像装置は、上記第8の発明において、上記時系列データ信頼性判断部は、複数フレームの画像間の被写体の位置及びパーツの位置に基づいて信頼性を判断する。
ユーザは、動画撮影を終了する場合には、動画釦を再度押す。ここでは、CPU1301は、動画釦を再度押したことに応じて動画釦SWがオフとなったか否かを判定する。この判定の結果、動画釦SWがオンの場合には、ステップS37に戻り、前述の動作を実行する。
・撮像フレームタイミング(VD信号)
・撮像の露光中のタイミング
・画像メモリへ検出用画像を登録するタイミング
・補間追尾処理を行うタイミング
・特徴検出回路1305が特定被写体を検出するタイミング
・オートフォーカス(AF)を実施するタイミング
を示す。また、図7に示す例では、60fps(1秒間に60フレームの画像を撮像)で撮像している。
・撮像フレームタイミング(VD信号)
・撮像の露光中のタイミング
・画像メモリへ検出用画像を登録するタイミング
・追尾処理(目標被写体の追尾処理)を行うタイミング
・補間追尾処理を行うタイミング
・特徴検出回路1305が特定被写体を検出するタイミング
を示す。また、図9に示す例においても、60fps(1秒間に60フレームの画像を撮像)で撮像している。
(条件2):ボディとパーツ検出領域の中心位置の距離が規定範囲内であること。
なお、条件1および条件2の何れであっても、被写体の種別によって、検出領域の範囲を拡大、または縮小してもよい。
(条件2):ボディとパーツ検出領域の中心位置の距離が規定範囲であること。
なお、条件1および条件2の何れであっても、被写体の種別によって、検出領域の範囲を拡大、または縮小してもよい。
Claims (10)
- 被写体像を露光し、この被写体像を光電変換した画像信号を一定周期で繰り返して出力する撮像部と、
上記画像信号から得たフレーム画像を、ディープラーニングにて特定被写体を検出する演算パラメータが学習されたニューラル・ネットワーク回路に入力し、上記特定被写体の位置を所定のフレーム間隔で検出する被写体検出部と、
上記被写体検出部が検出した上記特定被写体の位置を基準にして、上記画像信号から得る画像に対して、被写体の特徴量を基に、補間被写体位置を出力する被写体検出補間部と、
上記画像信号から得たフレーム画像に対して、パターンマッチング法にてフレーム画像毎に上記特定被写体の追尾位置を出力する追尾位置算出部と、
上記追尾位置算出部の出力結果を、上記被写体検出補間部の出力結果を用いて修正する被写体追尾位置修正部と、
を有することを特徴とする撮像装置。 - 上記被写体追尾位置修正部は、上記追尾位置算出部の追尾位置の結果と、上記被写体検出補間部の補間被写体位置の結果を比較し、2つの位置が所定量以上離れている場合に、上記被写体検出補間部の結果を用いて追尾位置を修正することを特徴とする請求項1に記載の撮像装置。
- 上記被写体検出部が検出した被写体(全体)とパーツの位置関係に基づいて関連付けをする被写体関連付け判断部を有し、
上記特定被写体は、被写体関連付けされた被写体(全体)とパーツであることを特徴とする請求項1に記載の撮像装置。 - 上記被写体検出部が検出した被写体(全体)とパーツの位置の各々の距離を検出する被写体距離検出部をさらに有し、
上記被写体関連付け判断部は、上記被写体距離検出部が検出した被写体(全体)とパーツ間の距離に基づいて関連付けをすることを特徴とする請求項3に記載の撮像装置。 - 上記被写体関連付け判断部の位置関係を判断する位置関係条件部をさらに有し、
上記位置関係条件部は、上記被写体検出部が検出した被写体の検出範囲内に、上記被写体検出部が検出したパーツの検出領域の中心位置が包有されること、または、被写体とパーツの検出領域の中心位置の距離が、規定範囲であることを条件として判断することを特徴とする請求項3に記載の撮像装置。 - 上記位置関係条件部は、上記被写体検出部が検出した被写体の種別によって、被写体の検出領域の範囲を拡げる、または狭めることを特徴とする請求項5に記載の撮像装置。
- 上記被写体関連付け判断部は、上記被写体検出部が検出した複数のパーツが関連付けられる場合、被写体とパーツの位置が最も近いパーツを関連付けることを特徴とする請求項3に記載の撮像装置。
- 上記被写体検出部が検出した被写体とパーツの位置の信頼度を判断する時系列データ信頼性判断部をさらに有し、
上記被写体関連付け判断部は、対象とする被写体およびパーツの位置は、上記時系列データ信頼性判断部の判断結果に基づいて有効と判断された被写体及びパーツの位置を対象とすることを特徴とする請求項3に記載の撮像装置。 - 上記時系列データ信頼性判断部は、複数フレームの画像間の被写体の位置及びパーツの位置に基づいて信頼性を判断することを特徴とする請求項8に記載の撮像装置。
- 上記画像信号に基づく画像を表示する表示部をさらに有し、
上記表示部は、上記被写体関連付け判断部にて、関連付けられた被写体およびパーツを、他の被写体と識別して上記表示部に表示することを特徴とする請求項3に記載の撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020052630A JP7497587B2 (ja) | 2020-03-24 | 2020-03-24 | 撮像装置 |
US17/094,449 US11900651B2 (en) | 2020-03-24 | 2020-11-10 | Imaging device and tracking method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020052630A JP7497587B2 (ja) | 2020-03-24 | 2020-03-24 | 撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021152578A JP2021152578A (ja) | 2021-09-30 |
JP2021152578A5 JP2021152578A5 (ja) | 2023-02-15 |
JP7497587B2 true JP7497587B2 (ja) | 2024-06-11 |
Family
ID=77856300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020052630A Active JP7497587B2 (ja) | 2020-03-24 | 2020-03-24 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11900651B2 (ja) |
JP (1) | JP7497587B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022148382A (ja) * | 2021-03-24 | 2022-10-06 | キヤノン株式会社 | 表示装置、表示制御システム、情報処理装置および表示装置の制御方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007042072A (ja) | 2005-07-05 | 2007-02-15 | Omron Corp | 追跡装置 |
JP2013162329A (ja) | 2012-02-06 | 2013-08-19 | Sony Corp | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
JP2017212581A (ja) | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 追尾装置、追尾方法及びプログラム |
JP2018022128A (ja) | 2016-07-21 | 2018-02-08 | キヤノン株式会社 | 焦点調節装置および方法、および撮像装置 |
US20190130594A1 (en) | 2017-10-28 | 2019-05-02 | Shenzhen AltumView Technology Co., Ltd. | Method and apparatus for real-time face-tracking and face-pose-selection on embedded vision systems |
JP2021132295A (ja) | 2020-02-19 | 2021-09-09 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0949869A (ja) | 1995-08-09 | 1997-02-18 | Fujitsu Ltd | 目標追尾制御装置 |
US11017250B2 (en) * | 2010-06-07 | 2021-05-25 | Affectiva, Inc. | Vehicle manipulation using convolutional image processing |
US9373057B1 (en) | 2013-11-01 | 2016-06-21 | Google Inc. | Training a neural network to detect objects in images |
US10867394B2 (en) * | 2016-05-18 | 2020-12-15 | Nec Corporation | Object tracking device, object tracking method, and recording medium |
US11232294B1 (en) * | 2017-09-27 | 2022-01-25 | Amazon Technologies, Inc. | Generating tracklets from digital imagery |
WO2019129355A1 (en) * | 2017-12-29 | 2019-07-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for predicting a motion of an object, method for calibrating a motion model, method for deriving a predefined quantity and method for generating a virtual reality view |
US20220327818A1 (en) * | 2019-10-04 | 2022-10-13 | Sony Group Corporation | Information processing system, information processing method, and information processing apparatus |
-
2020
- 2020-03-24 JP JP2020052630A patent/JP7497587B2/ja active Active
- 2020-11-10 US US17/094,449 patent/US11900651B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007042072A (ja) | 2005-07-05 | 2007-02-15 | Omron Corp | 追跡装置 |
JP2013162329A (ja) | 2012-02-06 | 2013-08-19 | Sony Corp | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
JP2017212581A (ja) | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 追尾装置、追尾方法及びプログラム |
JP2018022128A (ja) | 2016-07-21 | 2018-02-08 | キヤノン株式会社 | 焦点調節装置および方法、および撮像装置 |
US20190130594A1 (en) | 2017-10-28 | 2019-05-02 | Shenzhen AltumView Technology Co., Ltd. | Method and apparatus for real-time face-tracking and face-pose-selection on embedded vision systems |
JP2021132295A (ja) | 2020-02-19 | 2021-09-09 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20210303846A1 (en) | 2021-09-30 |
US11900651B2 (en) | 2024-02-13 |
JP2021152578A (ja) | 2021-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8081220B2 (en) | Digital still camera and method of controlling image combination | |
CN105282435B (zh) | 变焦控制设备和变焦控制方法 | |
JP4974812B2 (ja) | 電子カメラ | |
JP2007010898A (ja) | 撮像装置及びそのプログラム | |
CN105847666B (zh) | 摄像设备及其控制方法 | |
JP2009268086A (ja) | 撮像装置 | |
JP2010041299A (ja) | 電子カメラ | |
JP2019146022A (ja) | 撮像装置及び撮像方法 | |
JP4957263B2 (ja) | 撮像装置、撮像方法及びそのプログラム | |
JP2008109551A (ja) | 撮像装置及び画像再生装置 | |
US10541002B2 (en) | Imaging apparatus and imaging method | |
JP7497587B2 (ja) | 撮像装置 | |
JP5403111B2 (ja) | 画像追尾装置 | |
JP5056136B2 (ja) | 画像追尾装置 | |
JP2014168147A (ja) | 画像処理プログラムおよびデジタルカメラ | |
JP2009105851A (ja) | 撮像装置、その制御方法およびプログラム | |
JP5635546B2 (ja) | 撮影機器および撮影機器の制御方法 | |
JP5858658B2 (ja) | 撮像装置 | |
JP2008028890A (ja) | 撮像装置、撮像方法及び撮像プログラム | |
JP6071561B2 (ja) | 焦点調節装置及び方法 | |
JP2014072539A (ja) | 撮像装置 | |
JP6071173B2 (ja) | 撮像装置、その制御方法及びプログラム | |
US11627245B2 (en) | Focus adjustment device and focus adjustment method | |
JP7175772B2 (ja) | 撮像装置及び撮像方法 | |
JP7236869B2 (ja) | 撮像装置、撮像方法及び撮像プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230207 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240430 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240513 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7497587 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |