JP5691617B2 - 被写体特定装置、および被写体追尾装置 - Google Patents
被写体特定装置、および被写体追尾装置 Download PDFInfo
- Publication number
- JP5691617B2 JP5691617B2 JP2011034823A JP2011034823A JP5691617B2 JP 5691617 B2 JP5691617 B2 JP 5691617B2 JP 2011034823 A JP2011034823 A JP 2011034823A JP 2011034823 A JP2011034823 A JP 2011034823A JP 5691617 B2 JP5691617 B2 JP 5691617B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- difference image
- mask
- color difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 claims description 17
- 239000002131 composite material Substances 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 4
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 36
- 238000003384 imaging method Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 101100095805 Bacillus subtilis (strain 168) sigY gene Proteins 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/162—Segmentation; Edge detection involving graph-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Description
本発明による被写体追尾装置は、上記被写体特定装置で特定された被写体を複数フレーム間で追尾する追尾手段を備えることを特徴とする。
Y=0.299R+0.587G+0.114B ・・・(1)
Cb=−0.169R−0.332G+0.500B ・・・(2)
Cr=0.500R−0.419G−0.081B ・・・(3)
DiffY=abs(Y−aveY) ・・・(4)
DiffCb=abs(Cb−aveCb) ・・・(5)
DiffCr=abs(Cr−aveCr) ・・・(6)
DistY=DiffY×Dist ・・・(7)
DistCb=DiffCb×Dist ・・・(8)
DistCr=DiffCr×Dist ・・・(9)
マスクの面積/全画面面積>0.001 ・・・(17)
if DistY<α×sigY → DistY=1
else DistY=0 ・・・(21)
if DistCb<α×sigCb → DistCb=1
else DistCb=0 ・・・(22)
ただし、118<aveCb<138 かつ sigCb<abs(aveCb−128)+3のとき、
if DistCb<α×sigCb×[{abs(aveCb−128)+3}/sigCb]1/2×[10/{abs(aveCb−128)+0.1}]1/2 → DistCb=1
else DistCb=0 ・・・(23)
if DistCr<α×sigCr → DistCr=1
else DistCr=0 ・・・(24)
ただし、118<aveCr<138 かつ sigCr<abs(aveCr−128)+3のとき、
if DistCr<α×sigCr×[{abs(aveCr−128)+3}/sigCr]1/2×[10/{abs(aveCr−128)+0.1}]1/2 → DistCr=1
else DistCr=0 ・・・(25)
SmallLimit<マスク面積/全画面面積 ・・・(26)
0.2≦包絡矩形の縦の長さ/包絡矩形の横の長さ≦5 ・・・(27)
IM22=ΣΣ{(x−xg)2+(y−yg)2} ・・・(28)
なお、式(28)において、(x,y)は、各マスクの重心位置の座標であり、(xg,yg)は、対象画像が1フレーム目の場合には、ステップS30で特定した被写体位置の座標であり、対象画像が2フレーム目以降の場合は、前フレームにおける後述するステップS260の処理で保存した評価値最大のマスクの重心の座標である。
評価値=(マスク面積)β/IM22 ・・・(29)
SmallLimit=(マスクの面積/全画面面積)×0.1 ・・・(30)
ただし、ステップS20で設定したSmallLimit=0.0001をそれぞれInitSmallLimitとし、SmallLimit<InitSmallLimit×0.1の関係が成り立つ場合には、SmallLimit=InitSmallLimitとする。
(1)制御装置104は、対象画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成し、生成した輝度画像と色差画像とのそれぞれにおける被写体位置座標を特定し、被写体位置座標を中心とした3×3の領域を対象として、Y、Cb、Cr各々の平均値を算出するようにした。そして、制御装置104は、輝度画像と色差画像から抽出したクロップ画像の各画素から上記平均値を減算して差分画像を作成し、作成した差分画像を2値化した後に合成するようにした。その後、制御装置104は、合成画像(アンド画像)を複数の区分に区分して、各区分画像内から白画素の塊をマスクとして抽出し、各マスクに対して算出した評価値に基づいて、対象画像内における被写体を特定するようにした。これによって、被写体の色情報(色差情報)や輝度情報を用いて、様々なシーンで被写体位置を特定することができる。
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
(1)上述した実施の形態では、図2のステップS60またはステップS100で輝度画像と色差画像から所定範囲、例えば180×135の大きさの領域をクロップする例について説明した。しかしながら、クロップを行わずに、輝度画像と色差画像を対象として以降の処理を行ってもよい。
Claims (5)
- 対象画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成する輝度画像・色差画像生成手段と、
前記輝度画像・色差画像生成手段によって生成された前記輝度画像と前記色差画像とのそれぞれから、被写体を含む被写体領域を抽出する被写体領域抽出手段と、
前記被写体領域抽出手段によって前記輝度画像と前記色差画像とのそれぞれから抽出された前記被写体領域内の画素の画素値に基づいて、代表値を算出する代表値算出手段と、
前記被写体領域内の各画素の画素値から前記代表値算出手段によって算出された前記代表値を減算して、前記輝度画像と前記色差画像とのそれぞれに対応する差分画像を作成する差分画像生成手段と、
前記差分画像生成手段によって生成された前記差分画像を2値化する2値化手段と、
前記2値化手段によって2値化された前記輝度画像に対応する2値化画像と、前記色差画像に対応する2値化画像とを合成する合成手段と、
前記合成手段によって合成された合成画像を複数に区分して、各区分画像内から白画素の塊をマスクとして抽出するマスク抽出手段と、
前記マスク抽出手段によって抽出された前記マスクに対して、前記マスクが被写体を示すマスクである可能性を示す評価値を算出する評価値算出手段と、
前記評価値算出手段によって算出された前記評価値に基づいて、前記対象画像内における被写体を特定する被写体特定手段とを備えることを特徴とする被写体特定装置。 - 請求項1に記載の被写体特定装置において、
前記差分画像生成手段によって生成された前記差分画像の各画素値に対して、前記被写体領域からの距離に応じた係数をかけて重み付けを行って、前記輝度画像と前記色差画像とのそれぞれに対応する重み付け画像を生成する重み付け画像生成手段をさらに備え、
前記2値化手段は、前記重み付け画像生成手段によって生成された前記重み付け画像を2値化することを特徴とする被写体特定装置。 - 請求項1または2に記載の被写体特定装置において、
前記差分画像生成手段は、前記被写体領域内の画素の画素値の平均値、最頻値、または中央値を前記代表値として算出することを特徴とする被写体特定装置。 - 請求項1〜3のいずれか一項に記載の被写体特定装置において、
前記被写体領域抽出手段は、前記対象画像上で使用者によって指定された座標を含む領域、または焦点調節処理におけるAF点を含む領域を前記被写体領域として特定することを特徴とする被写体特定装置。 - 請求項1〜4のいずれか一項に記載の被写体特定装置で特定された被写体を複数フレーム間で追尾する追尾手段を備えることを特徴とする被写体追尾装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011034823A JP5691617B2 (ja) | 2011-02-21 | 2011-02-21 | 被写体特定装置、および被写体追尾装置 |
CN201210040405.9A CN102647555B (zh) | 2011-02-21 | 2012-02-20 | 被摄体确定装置及被摄体追踪装置 |
US13/400,996 US8649561B2 (en) | 2011-02-21 | 2012-02-21 | Subject designating device and subject tracking apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011034823A JP5691617B2 (ja) | 2011-02-21 | 2011-02-21 | 被写体特定装置、および被写体追尾装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012175361A JP2012175361A (ja) | 2012-09-10 |
JP5691617B2 true JP5691617B2 (ja) | 2015-04-01 |
Family
ID=46652765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011034823A Active JP5691617B2 (ja) | 2011-02-21 | 2011-02-21 | 被写体特定装置、および被写体追尾装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8649561B2 (ja) |
JP (1) | JP5691617B2 (ja) |
CN (1) | CN102647555B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6044123B2 (ja) * | 2012-06-07 | 2016-12-14 | 株式会社ニコン | 被写体追尾装置および電子カメラ並びに被写体追尾プログラム |
JP6318661B2 (ja) * | 2014-02-05 | 2018-05-09 | 株式会社ニコン | 被写体検出装置、撮像装置及び画像処理プログラム |
JP6326841B2 (ja) * | 2014-02-05 | 2018-05-23 | 株式会社ニコン | 画像処理装置、撮像装置及び画像処理プログラム |
CN107710278A (zh) * | 2015-06-18 | 2018-02-16 | 日本电气方案创新株式会社 | 图像处理设备,图像处理方法和计算机可读记录介质 |
EP3347857A1 (en) * | 2015-09-10 | 2018-07-18 | Koninklijke Philips N.V. | Automatic image feature removal |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4284998B2 (ja) | 2002-12-26 | 2009-06-24 | ソニー株式会社 | 撮像装置および方法、並びにプログラム |
ATE543159T1 (de) * | 2006-04-28 | 2012-02-15 | Nikon Corp | Objektextraktion, objektverfolgung und bildsynthetisierung |
JP2009003787A (ja) * | 2007-06-22 | 2009-01-08 | Sanyo Electric Co Ltd | 対象物検出装置、対象物検出プログラム及び対象物検出システム |
JP2010011441A (ja) * | 2008-05-26 | 2010-01-14 | Sanyo Electric Co Ltd | 撮像装置及び画像再生装置 |
JP5371331B2 (ja) * | 2008-09-01 | 2013-12-18 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
US8237823B2 (en) * | 2008-11-06 | 2012-08-07 | Samsung Electronics Co., Ltd. | Method and apparatus for canceling chromatic aberration |
JP4798236B2 (ja) * | 2009-03-06 | 2011-10-19 | カシオ計算機株式会社 | 撮像装置、画像処理方法及びプログラム |
US8498444B2 (en) * | 2010-12-13 | 2013-07-30 | Texas Instruments Incorporated | Blob representation in video processing |
-
2011
- 2011-02-21 JP JP2011034823A patent/JP5691617B2/ja active Active
-
2012
- 2012-02-20 CN CN201210040405.9A patent/CN102647555B/zh active Active
- 2012-02-21 US US13/400,996 patent/US8649561B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN102647555A (zh) | 2012-08-22 |
US8649561B2 (en) | 2014-02-11 |
CN102647555B (zh) | 2016-11-23 |
US20120213406A1 (en) | 2012-08-23 |
JP2012175361A (ja) | 2012-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6763417B2 (ja) | 電子機器 | |
JP5246078B2 (ja) | 被写体位置特定用プログラム、およびカメラ | |
JP2009212853A (ja) | ホワイトバランス制御装置およびその制御方法並びに撮像装置 | |
CN103888667B (zh) | 摄像设备及其控制方法 | |
WO2015196896A1 (zh) | 对焦状态的提示方法和拍摄装置 | |
JP5691617B2 (ja) | 被写体特定装置、および被写体追尾装置 | |
JP2008109344A (ja) | 特定被写体像の検出方法およびデジタルカメラ | |
JP2010072619A (ja) | 露出演算装置およびカメラ | |
JP2012039210A (ja) | 被写体特定用プログラム、およびカメラ | |
JP2014179920A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP4807582B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
JP5509621B2 (ja) | 画像処理装置、カメラおよびプログラム | |
JP5012477B2 (ja) | 部分画像抽出方法および部分画像抽出装置 | |
JP2008005438A (ja) | 撮像装置及び撮像方法 | |
CN109582811B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
JP5240305B2 (ja) | 被写体特定用プログラム、およびカメラ | |
JP2013182478A (ja) | 被写体追尾装置、被写体追尾方法およびカメラ | |
JP5181952B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2013182479A (ja) | 被写体追尾装置、被写体追尾方法およびカメラ | |
JP2020046475A (ja) | 画像処理装置およびその制御方法 | |
JP6044123B2 (ja) | 被写体追尾装置および電子カメラ並びに被写体追尾プログラム | |
JP5111023B2 (ja) | 撮像装置及びその制御方法 | |
JP2010245923A (ja) | 被写体追尾装置、およびカメラ | |
WO2021142711A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP4580307B2 (ja) | 検出画像領域決定装置および対象画像の特徴量算出装置ならびにそれらの制御方法およびそれらの制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5691617 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |