JP6043293B2 - 画像処理装置、撮像装置および画像処理方法 - Google Patents
画像処理装置、撮像装置および画像処理方法 Download PDFInfo
- Publication number
- JP6043293B2 JP6043293B2 JP2013537721A JP2013537721A JP6043293B2 JP 6043293 B2 JP6043293 B2 JP 6043293B2 JP 2013537721 A JP2013537721 A JP 2013537721A JP 2013537721 A JP2013537721 A JP 2013537721A JP 6043293 B2 JP6043293 B2 JP 6043293B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- target object
- segment
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 23
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000011218 segmentation Effects 0.000 claims description 65
- 238000000034 method Methods 0.000 claims description 46
- 238000000605 extraction Methods 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 29
- 239000000284 extract Substances 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 26
- 230000008569 process Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 22
- 230000005484 gravity Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011549 displacement method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Description
リアルタイムに画像を表示するタッチスクリーンを備えるカメラ(デジタルスチルカメラまたはデジタルビデオカメラなど)が広く普及している。ユーザは、タッチスクリーンに表示された画像を確認しながら、写真あるいはビデオを撮影することができる。また、ユーザは、タッチスクリーンをタッチすることにより、タッチスクリーンに表示された画像内の注目している物体(対象物体)の位置を指示することができる。
図1は、実施の形態1に係る画像処理装置10の機能構成を示すブロック図である。画像処理装置10は、第1画像に含まれる対象物体を当該第1画像よりも後に撮影された第3画像において追尾する。
図17は、実施の形態2に係る撮像装置20の機能構成を示すブロック図である。撮像装置20は、例えば、デジタルスチルカメラもしくはデジタルビデオカメラ、またはそれらのカメラを備える、携帯電話、スマートファンまたはタブレットコンピュータなどである。図17に示すように、撮像装置20は、撮像部21と、上記実施の形態1の画像処理装置10とを備える。
11 セグメンテーション部
12 指示部
13 基準領域設定部
14 抽出部
15 対象領域設定部
16 追尾部
20 撮像装置
21 撮像部
100 第1画像
102 基準領域
200 第2画像
201 特徴領域
211、212、311、312 特徴点
300 第3画像
301 対象領域
Claims (14)
- 第1画像に含まれる対象物体を前記第1画像よりも後に撮影された第3画像において追尾する画像処理装置であって、
画素値の類似性に基づいて、前記第1画像および前記第3画像の各々を複数のセグメントに分割するセグメンテーション部と、
前記第1画像における前記対象物体の位置を指示する指示部と、
指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を基準領域として設定する基準領域設定部と、
前記基準領域から第1特徴を示す特徴量を対象物体特徴量として抽出する抽出部と、
前記第3画像と異なる時刻に撮影された第2画像内の領域であって前記対象物体に対応する領域である特徴領域から抽出された特徴点の位置と、抽出された前記特徴点に対応する前記第3画像内の特徴点の位置との関係に基づいて、前記第3画像内に対象領域を設定する対象領域設定部と、
前記対象物体特徴量を用いて、前記対象領域に含まれる各セグメントが前記対象物体に対応するセグメントであるか否かを判定することにより、前記第3画像において前記対象物体を追尾する追尾部とを備え、
前記第2画像は、前記第1画像、または、前記追尾部において前記対象物体に対応するセグメントを含む領域かつ当該セグメントからなる領域よりも大きな領域を前記特徴領域として設定される画像である
画像処理装置。 - 前記対象領域設定部は、前記基準領域を含む領域であってかつ前記基準領域よりも大きな領域を、前記特徴領域として設定する
請求項1に記載の画像処理装置。 - 前記対象領域設定部は、前記第1特徴とは異なる第2特徴を示す特徴量に基づいて、前記第2画像内の特徴領域から抽出された特徴点に対応する前記第3画像内の特徴点を検出し、検出された前記第3画像内の特徴点と前記特徴領域から抽出された特徴点とから得られる動きベクトルに前記対象領域の位置が依存するように前記対象領域を設定する
請求項1または2に記載の画像処理装置。 - 前記対象領域設定部は、前記第1特徴とは異なる第2特徴を示す特徴量に基づいて、前記特徴領域から抽出された複数の前記特徴点に対応する前記第3画像内の複数の特徴点を検出し、前記第2画像内の特徴領域から抽出された複数の特徴点間の距離に対する、検出された前記第3画像内の複数の特徴点間の距離の変化度に前記対象領域のサイズが依存するように前記対象領域を設定する
請求項1〜3のいずれか1項に記載の画像処理装置。 - 前記特徴領域は、前記対象物体に対応するセグメントを含む領域であって、かつ、前記対象物体に対応するセグメントからなる領域よりも大きな領域である
請求項1〜4のいずれか1項に記載の画像処理装置。 - 前記セグメンテーション部は、前記第3画像のうちの前記対象領域のみを複数のセグメントに分割する
請求項1〜5のいずれか1項に記載の画像処理装置。 - 前記抽出部は、前記基準領域に複数のセグメントが含まれる場合、前記複数のセグメントから抽出される複数の特徴量の代表値を前記対象物体特徴量として抽出する
請求項1〜6のいずれか1項に記載の画像処理装置。 - 前記抽出部は、さらに、前記基準領域外の領域から前記第1特徴を示す特徴量を非対象物体特徴量として抽出し、
前記追尾部は、前記対象領域に含まれる各セグメントから抽出される前記第1特徴を示す特徴量が、前記対象物体特徴量および前記非対象物体特徴量のいずれに類似するか判別することにより、前記各セグメントが前記対象物体に対応するセグメントであるか否かを判定する
請求項1〜7のいずれか1項に記載の画像処理装置。 - 前記抽出部は、前記基準領域外の領域に複数のセグメントが含まれる場合、前記複数のセグメントから抽出される複数の特徴量の代表値を前記非対象物体特徴量として抽出する
請求項8に記載の画像処理装置。 - 前記第1画像、前記第2画像および前記第3画像は、動画像に含まれる
請求項1〜9のいずれか1項に記載の画像処理装置。 - 前記画像処理装置は、集積回路として構成されている
請求項1〜10のいずれか1項に記載の画像処理装置。 - 請求項1〜11のいずれか1項に記載の画像処理装置と、
前記第1画像、前記第2画像および前記第3画像を撮影する撮像部とを備える
撮像装置。 - 第1画像に含まれる対象物体を前記第1画像よりも後に撮影された第3画像において追尾する画像処理方法であって、
画素値の類似性に基づいて、前記第1画像を複数のセグメントに分割する第1セグメンテーションステップと、
前記第1画像における前記対象物体の位置を指示する指示ステップと、
指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を基準領域として設定する基準領域設定ステップと、
前記基準領域から第1特徴を示す特徴量を対象物体特徴量として抽出する抽出ステップと、
前記第3画像と異なる時刻に撮影された第2画像内の領域であって前記対象物体に対応する領域である特徴領域から抽出された特徴点の位置と、抽出された前記特徴点に対応する前記第3画像内の特徴点の位置との関係に基づいて、前記第3画像内に対象領域を設定する対象領域設定ステップと、
画素値の類似性に基づいて、前記第3画像を複数のセグメントに分割する第2セグメンテーションステップと、
前記対象物体特徴量を用いて、前記対象領域に含まれる各セグメントが前記対象物体に対応するセグメントであるか否かを判定することにより、前記第3画像において前記対象物体を追尾する追尾ステップとを含み、
前記第2画像は、前記第1画像、または、前記追尾ステップにおいて前記対象物体に対応するセグメントを含む領域かつ当該セグメントからなる領域よりも大きな領域を前記特徴領域として設定される画像である
画像処理方法。 - 請求項13に記載の画像処理方法をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012070318 | 2012-03-26 | ||
JP2012070318 | 2012-03-26 | ||
PCT/JP2013/001516 WO2013145589A1 (ja) | 2012-03-26 | 2013-03-08 | 画像処理装置、撮像装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013145589A1 JPWO2013145589A1 (ja) | 2015-12-10 |
JP6043293B2 true JP6043293B2 (ja) | 2016-12-14 |
Family
ID=49258906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013537721A Active JP6043293B2 (ja) | 2012-03-26 | 2013-03-08 | 画像処理装置、撮像装置および画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10089527B2 (ja) |
JP (1) | JP6043293B2 (ja) |
CN (1) | CN103548056B (ja) |
WO (1) | WO2013145589A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102629969A (zh) * | 2012-03-30 | 2012-08-08 | 邓晓波 | 一种在拍摄平面物体时消除拖影的方法 |
WO2015035443A1 (en) | 2013-09-13 | 2015-03-19 | Straxcorp Pty Ltd | Method and apparatus for assigning colours to an image |
US9607015B2 (en) | 2013-12-20 | 2017-03-28 | Qualcomm Incorporated | Systems, methods, and apparatus for encoding object formations |
US9589595B2 (en) | 2013-12-20 | 2017-03-07 | Qualcomm Incorporated | Selection and tracking of objects for display partitioning and clustering of video frames |
CN105940392B (zh) * | 2014-02-19 | 2019-09-27 | 高通股份有限公司 | 装置的图像编辑技术 |
JP6986721B2 (ja) * | 2014-03-18 | 2021-12-22 | パナソニックIpマネジメント株式会社 | 復号装置及び符号化装置 |
JP6610853B2 (ja) * | 2014-03-18 | 2019-11-27 | パナソニックIpマネジメント株式会社 | 予測画像生成方法、画像符号化方法、画像復号方法及び予測画像生成装置 |
JP6472279B2 (ja) * | 2015-03-09 | 2019-02-20 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
CN105046218B (zh) * | 2015-07-09 | 2018-12-11 | 华南理工大学 | 一种基于串并行处理的多特征交通视频烟雾检测方法 |
JP7129201B2 (ja) * | 2018-04-18 | 2022-09-01 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
JP2021045077A (ja) * | 2019-09-18 | 2021-03-25 | 株式会社ニコン | 処理装置、処理方法、処理プログラム、観察装置、培養装置、培養システム、及び情報処理システム |
CN111145152B (zh) * | 2019-12-24 | 2024-02-27 | 上海联影智能医疗科技有限公司 | 图像检测方法、计算机设备和存储介质 |
US20210264153A1 (en) * | 2020-02-21 | 2021-08-26 | CACI, Inc.- Federal | Machine learning method and apparatus for detection and continuous feature comparison |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4373840B2 (ja) * | 2004-04-21 | 2009-11-25 | 日本電信電話株式会社 | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 |
JP4692371B2 (ja) * | 2006-04-26 | 2011-06-01 | オムロン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム |
WO2008026434A1 (fr) * | 2006-08-30 | 2008-03-06 | Nikon Corporation | Appareil et procédé d'alignement d'image, ainsi que caméra |
EP2151801B1 (en) | 2008-04-11 | 2016-05-11 | Panasonic Intellectual Property Corporation of America | Image processing device, method, and storage medium |
JP5120238B2 (ja) * | 2008-08-15 | 2013-01-16 | 富士ゼロックス株式会社 | オブジェクト領域抽出装置及びオブジェクト領域抽出プログラム |
JP5219795B2 (ja) | 2008-12-26 | 2013-06-26 | キヤノン株式会社 | 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム |
JP5395650B2 (ja) | 2009-12-24 | 2014-01-22 | キヤノン株式会社 | 被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム |
US8509482B2 (en) | 2009-12-21 | 2013-08-13 | Canon Kabushiki Kaisha | Subject tracking apparatus, subject region extraction apparatus, and control methods therefor |
JP4782901B2 (ja) * | 2009-12-28 | 2011-09-28 | パナソニック株式会社 | 移動体検出装置および移動体検出方法 |
JP5404918B2 (ja) | 2010-03-15 | 2014-02-05 | パナソニック株式会社 | 移動軌跡算出方法およびその装置、ならびに領域分割方法 |
JP5577793B2 (ja) * | 2010-03-30 | 2014-08-27 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP5744437B2 (ja) | 2010-08-18 | 2015-07-08 | キヤノン株式会社 | 追尾装置、追尾方法及びプログラム |
JP5743501B2 (ja) * | 2010-11-25 | 2015-07-01 | キヤノン株式会社 | 物体追尾装置、物体追尾方法、及び物体追尾プログラム |
JP4784709B1 (ja) * | 2011-03-10 | 2011-10-05 | オムロン株式会社 | 対象物追跡装置、対象物追跡方法、および制御プログラム |
-
2013
- 2013-03-08 WO PCT/JP2013/001516 patent/WO2013145589A1/ja active Application Filing
- 2013-03-08 US US14/118,738 patent/US10089527B2/en active Active
- 2013-03-08 JP JP2013537721A patent/JP6043293B2/ja active Active
- 2013-03-08 CN CN201380001433.2A patent/CN103548056B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
WO2013145589A1 (ja) | 2013-10-03 |
CN103548056A (zh) | 2014-01-29 |
CN103548056B (zh) | 2017-02-22 |
US20140211993A1 (en) | 2014-07-31 |
JPWO2013145589A1 (ja) | 2015-12-10 |
US10089527B2 (en) | 2018-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6043293B2 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
JP5878924B2 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
US20200293809A1 (en) | Image processing apparatus, image processing method, and storage medium | |
US9275464B2 (en) | Method for determining the extent of a foreground object in an image | |
JP5923713B2 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
KR101802146B1 (ko) | 화상처리장치 및 화상처리방법 | |
US9179071B2 (en) | Electronic device and image selection method thereof | |
US10079974B2 (en) | Image processing apparatus, method, and medium for extracting feature amount of image | |
EP2768214A2 (en) | Method of tracking object using camera and camera system for object tracking | |
CN110008795B (zh) | 图像目标追踪方法及其系统与计算机可读取记录介质 | |
EP3093822B1 (en) | Displaying a target object imaged in a moving picture | |
JP7223079B2 (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
JP7159384B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20150117539A1 (en) | Image processing apparatus, method of calculating information according to motion of frame, and storage medium | |
JP6511950B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2015138399A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP5708305B2 (ja) | 画像認識装置、画像認識方法及び画像認識用コンピュータプログラム | |
JP2013120504A (ja) | オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム | |
JP2016024646A (ja) | 画像処理装置、情報処理装置、画像処理方法およびコンピュータプログラム | |
JP6525693B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5677080B2 (ja) | 画像処理装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6043293 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |