JP5746937B2 - オブジェクト追跡装置 - Google Patents
オブジェクト追跡装置 Download PDFInfo
- Publication number
- JP5746937B2 JP5746937B2 JP2011190583A JP2011190583A JP5746937B2 JP 5746937 B2 JP5746937 B2 JP 5746937B2 JP 2011190583 A JP2011190583 A JP 2011190583A JP 2011190583 A JP2011190583 A JP 2011190583A JP 5746937 B2 JP5746937 B2 JP 5746937B2
- Authority
- JP
- Japan
- Prior art keywords
- frame image
- image
- area
- unit
- zoom magnification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Description
[第1の実施形態]
(デジタルスチルカメラ)
図1は、本発明の実施の形態におけるデジタルカメラの構成例を示すブロック図である。本発明の実施形態では、検出および追跡対象のオブジェクトとして顔を例にして説明するが、本発明の実施形態の手法は、顔に限定されるものではなく、その他のオブジェクトの検出および追跡にも用いることができる。
図2は、第1の実施形態のオブジェクト追跡装置の構成を表わす図である。
テンプレート登録部7は、テンプレート入力部5に入力されたテンプレート画像を初期テンプレートとしてテンプレート記憶部8に記憶する。テンプレート登録部7は、マッチング部11によって特定されたオブジェクト領域の画像でテンプレート記憶部8内のテンプレート画像を更新する。
図3は、現時点のフレーム画像が前時点のフレーム画像とズーム倍率が同一の場合の現時点のフレーム画像の探索領域を説明するための図である。
フレーム画像201において、左上の座標をO(0,0)、右上の座標がA(DX,0)、左下の座標がB(0,DY)、右下の座標がC(DX,DY)とする。
中心座標がM(X1、Y1)、左上の座標がD(X1−ax,Y1−ay)、右上の座標がE(X1+ax,Y1−ay)、左下の座標がF(X1−ax,Y1+ay)、右下の座標がG(X1+ax,Y1+ay)とする。
フレーム画像203において、前時点と同様に、左上の座標がO(0,0)、右上の座標がA(DX,0)、左下の座標がB(0,DY)、右下の座標がC(DX,DY)である。現時点のフレーム画像における探索領域204の位置は、以下となる。
フレーム画像201において、左上の座標をO(0,0)、右上の座標がA(DX,0)、左下の座標がB(0,DY)、右下の座標がC(DX,DY)とする。
中心座標がM(X1、Y1)、左上の座標がD(X1−ax,Y1−ay)、右上の座標がE(X1+ax,Y1−ay)、左下の座標がF(X1−ax,Y1+ay)、右下の座標がG(X1+ax,Y1+ay)とする。
フレーム画像206において、前時点と同様に、左上の座標がO(0,0)、右上の座標がA(DX,0)、左下の座標がB(0,DY)、右下の座標がC(DX,DY)である。
図5は、正規化の例を説明するための図である。
図6は、第1の実施形態のオブジェクト追跡処理の動作手順を表わすフローチャートである。
以上のように、本実施の形態では、ズーム倍率とズームの中心座標を用いて、ズーム処理で入力されるフレーム画像の倍率が変わっても、対象オブジェクトの大きさと位置の変化を考慮した探索領域を設定することができる。これによって、複数のテンプレート画像とのマッチングが不要となる。
対象オブジェクトを追跡中に、拡大によって、追跡対象のオブジェクトがフレーム画像の外へフレームアウトすることがある。従来は、一旦、フレームアウトした対象オブジェクトはフレーム画像内に存在しないため、その位置情報は保存されない。その後、対象オブジェクトが再度フレーム画像の中へフレームインした場合でも、追跡処理を開始する基準となる位置(つまり、探索領域の中央のオブジェクト検出領域)の情報がないので、オブジェクトを追跡することができない。それゆえ、従来では、追跡対象のオブジェクトがフレームアウトした場合に、追跡処理を停止して、再度オブジェクトの検出処理をするしかなかった。
図7のオブジェクト追跡装置51が、図2のオブジェクト追跡装置1009と相違する点は以下である。
図10は、第2の実施形態のオブジェクト追跡処理の動作手順を表わすフローチャートである。
図11は、図10のステップS402の復帰処理の手順を表わすフローチャートである。
以上のように、第2の実施形態によれば、拡大によって、追跡対象のオブジェクトがフレーム画像の外へフレームアウトしたとしても、フレームアウトしたオブジェクトの探索領域を保持して、次のフレームにおける探索領域の設定に用いるので、オブジェクトの追跡を継続することができる。
Claims (6)
- フレーム画像に含まれるオブジェクトを追跡するオブジェクト追跡装置であって、
追跡対象のオブジェクトのテンプレート画像を記憶する記憶部と、
フレーム画像が時系列で入力される画像入力部と、
現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と異なる場合には、前時点のフレーム画像におけるオブジェクト領域、前時点のフレーム画像におけるズームの中心座標、前時点のフレーム画像のズーム倍率と現時点のフレーム画像のズーム倍率との比に基づいて、現時点のフレーム画像における前記オブジェクトの探索領域を設定する探索領域設定部と、
前記現時点のフレーム画像に含まれるオブジェクトの探索領域の画像を固定サイズに正規化する正規化部と、
前記正規化された探索領域の画像の中から、前記テンプレート画像と類似する前記オブジェクト領域を検索するマッチング部とを備えた、オブジェクト追跡装置。 - 前記探索領域設定部は、前記前時点のフレーム画像におけるオブジェクト領域を含み、かつ前記オブジェクト領域よりも所定倍数だけ大きな基準領域を、前記ズームの中心座標および前記ズーム倍率との比に従ってズームした領域を前記現時点のフレーム画像における前記オブジェクトの探索領域に設定する、請求項1記載のオブジェクト追跡装置。
- 前記探索領域設定部によって設定された前記オブジェクトの探索領域の一部または全部が、前記現時点のフレーム画像に含まれない場合に、前記設定されたオブジェクトの探索領域を保持する保持部を備え、
前記探索領域設定部は、1時点が経過した後、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と異なる場合には、前記保持部で保持したオブジェクトの探索領域を用いて、現時点のフレーム画像における前記オブジェクトの探索領域を設定する、請求項1記載のオブジェクト追跡装置。 - フレーム画像から対象オブジェクトを検出するオブジェクト検出装置から出力される対象オブジェクトの画像を前記テンプレート画像として前記記憶部に記憶する登録部をさらに備える、請求項1記載のオブジェクト追跡装置。
- 前記登録部は、前記マッチング部によって前記テンプレート画像と類似するとして検索された前記現時点のオブジェクト領域の画像で前記記憶部内のテンプレート画像を更新する、請求項4記載のオブジェクト追跡装置。
- 前記マッチング部は、類似する領域が検索できなかった場合に、前記オブジェクト検出装置に対して前記オブジェクトを検出するように指示する、請求項4または5記載のオブジェクト追跡装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011190583A JP5746937B2 (ja) | 2011-09-01 | 2011-09-01 | オブジェクト追跡装置 |
US13/555,824 US8811669B2 (en) | 2011-09-01 | 2012-07-23 | Object tracking device |
CN201210309383.1A CN103179335B (zh) | 2011-09-01 | 2012-08-28 | 对象跟踪装置 |
KR1020120096227A KR20130025346A (ko) | 2011-09-01 | 2012-08-31 | 오브젝트 추적 장치 |
US14/335,648 US9208579B2 (en) | 2011-09-01 | 2014-07-18 | Object tracking device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011190583A JP5746937B2 (ja) | 2011-09-01 | 2011-09-01 | オブジェクト追跡装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015095681A Division JP6062483B2 (ja) | 2015-05-08 | 2015-05-08 | デジタルカメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013054429A JP2013054429A (ja) | 2013-03-21 |
JP5746937B2 true JP5746937B2 (ja) | 2015-07-08 |
Family
ID=47753207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011190583A Expired - Fee Related JP5746937B2 (ja) | 2011-09-01 | 2011-09-01 | オブジェクト追跡装置 |
Country Status (4)
Country | Link |
---|---|
US (2) | US8811669B2 (ja) |
JP (1) | JP5746937B2 (ja) |
KR (1) | KR20130025346A (ja) |
CN (1) | CN103179335B (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8971573B2 (en) * | 2012-09-12 | 2015-03-03 | Xerox Corporation | Video-tracking for video-based speed enforcement |
JP6114990B2 (ja) * | 2013-03-27 | 2017-04-19 | 株式会社メガチップス | 動画像符号化処理装置、プログラムおよび集積回路 |
KR101470230B1 (ko) | 2013-10-30 | 2014-12-08 | 현대자동차주식회사 | 주차 영역 추적 장치 및 그 방법 |
KR101470240B1 (ko) | 2013-11-14 | 2014-12-08 | 현대자동차주식회사 | 주차 영역 검출 장치 및 그 방법 |
JP6223170B2 (ja) * | 2013-12-19 | 2017-11-01 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
US10660533B2 (en) * | 2014-09-30 | 2020-05-26 | Rapsodo Pte. Ltd. | Remote heart rate monitoring based on imaging for moving subjects |
CN106709932B (zh) | 2015-11-12 | 2020-12-04 | 创新先进技术有限公司 | 一种人脸位置跟踪方法、装置和电子设备 |
CN105787964A (zh) * | 2016-02-29 | 2016-07-20 | 深圳电科技有限公司 | 目标跟踪方法和装置 |
US20180204331A1 (en) * | 2016-07-21 | 2018-07-19 | Gopro, Inc. | Subject tracking systems for a movable imaging system |
WO2018058531A1 (zh) * | 2016-09-30 | 2018-04-05 | 富士通株式会社 | 目标跟踪方法、装置以及图像处理设备 |
KR102476897B1 (ko) * | 2016-10-05 | 2022-12-12 | 삼성전자주식회사 | 객체 추적 방법 및 장치, 및 이를 이용한 3d 디스플레이 장치 |
KR102351542B1 (ko) * | 2017-06-23 | 2022-01-17 | 삼성전자주식회사 | 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치 |
US11276199B2 (en) * | 2020-02-17 | 2022-03-15 | The Boeing Company | Image template based tracking |
JP7388737B2 (ja) * | 2021-05-28 | 2023-11-29 | 株式会社アクセル | 画像処理装置、画像処理方法および画像処理プログラム |
CN113689460B (zh) * | 2021-09-02 | 2023-12-15 | 广州市奥威亚电子科技有限公司 | 视频目标对象跟踪检测方法、装置、设备及存储介质 |
CN116152298B (zh) * | 2023-04-17 | 2023-08-29 | 中国科学技术大学 | 一种基于自适应局部挖掘的目标跟踪方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7907793B1 (en) * | 2001-05-04 | 2011-03-15 | Legend Films Inc. | Image sequence depth enhancement system and method |
JP3774495B2 (ja) * | 1995-11-01 | 2006-05-17 | キヤノン株式会社 | 画像情報抽出装置および方法 |
JP2001243476A (ja) | 2000-03-02 | 2001-09-07 | Mitsubishi Heavy Ind Ltd | 移動体の監視方法および装置 |
AU2002305387B2 (en) * | 2001-05-04 | 2008-04-03 | Legend Films, Llc | Image sequence enhancement system and method |
JP2003235035A (ja) * | 2001-12-05 | 2003-08-22 | Hitachi Kokusai Electric Inc | 物体検出方法及びそれを用いた物体検出装置並びに物体追跡方法及びそれを用いた物体追跡装置 |
JP4597543B2 (ja) * | 2004-02-18 | 2010-12-15 | パナソニック株式会社 | 自動追尾装置及び自動追尾方法 |
US8114172B2 (en) * | 2004-07-30 | 2012-02-14 | Extreme Reality Ltd. | System and method for 3D space-dimension based image processing |
US8260008B2 (en) * | 2005-11-11 | 2012-09-04 | Eyelock, Inc. | Methods for performing biometric recognition of a human eye and corroboration of same |
JP4915655B2 (ja) * | 2006-10-27 | 2012-04-11 | パナソニック株式会社 | 自動追尾装置 |
JP2010516069A (ja) * | 2006-12-21 | 2010-05-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 光放射を表示するシステム、方法、コンピュータ読み取り可能な媒体、及びユーザ・インタフェース |
JP4807284B2 (ja) * | 2007-03-07 | 2011-11-02 | カシオ計算機株式会社 | カメラ装置、カメラ装置制御プログラム及びカメラ装置制御方法 |
JP2008287648A (ja) | 2007-05-21 | 2008-11-27 | Fujifilm Corp | 移動体検出方法及び装置、並びに監視装置 |
JP2009031760A (ja) * | 2007-07-04 | 2009-02-12 | Sanyo Electric Co Ltd | 撮像装置及びオートフォーカス制御方法 |
US7809260B2 (en) * | 2007-08-02 | 2010-10-05 | Canon Kabushiki Kaisha | Image capturing apparatus and method for controlling same |
CN101387812B (zh) * | 2007-09-13 | 2011-03-23 | 鸿富锦精密工业(深圳)有限公司 | 相机自动对焦系统及方法 |
JP2009141475A (ja) * | 2007-12-04 | 2009-06-25 | Nikon Corp | カメラ |
JP5062095B2 (ja) * | 2008-08-19 | 2012-10-31 | 株式会社ニコン | 撮像装置 |
JP5247338B2 (ja) * | 2008-10-03 | 2013-07-24 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP2010157792A (ja) * | 2008-12-26 | 2010-07-15 | Nikon Corp | 被写体追跡装置 |
US8184880B2 (en) * | 2008-12-31 | 2012-05-22 | Intuitive Surgical Operations, Inc. | Robust sparse image matching for robotic surgery |
JP2011193443A (ja) * | 2010-02-16 | 2011-09-29 | Ricoh Co Ltd | 物体追尾装置 |
JP5538160B2 (ja) * | 2010-09-24 | 2014-07-02 | パナソニック株式会社 | 瞳孔検出装置及び瞳孔検出方法 |
-
2011
- 2011-09-01 JP JP2011190583A patent/JP5746937B2/ja not_active Expired - Fee Related
-
2012
- 2012-07-23 US US13/555,824 patent/US8811669B2/en active Active
- 2012-08-28 CN CN201210309383.1A patent/CN103179335B/zh not_active Expired - Fee Related
- 2012-08-31 KR KR1020120096227A patent/KR20130025346A/ko active IP Right Grant
-
2014
- 2014-07-18 US US14/335,648 patent/US9208579B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
KR20130025346A (ko) | 2013-03-11 |
US20140328514A1 (en) | 2014-11-06 |
CN103179335A (zh) | 2013-06-26 |
US8811669B2 (en) | 2014-08-19 |
CN103179335B (zh) | 2017-12-12 |
US9208579B2 (en) | 2015-12-08 |
US20130058525A1 (en) | 2013-03-07 |
JP2013054429A (ja) | 2013-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5746937B2 (ja) | オブジェクト追跡装置 | |
US9578248B2 (en) | Method for generating thumbnail image and electronic device thereof | |
JP7311418B2 (ja) | 焦点合わせの方法、端末、およびコンピュータ可読記憶媒体 | |
JP5810296B2 (ja) | 画像表示装置及び画像表示方法 | |
US20230059657A1 (en) | Multi-camera zoom control method and apparatus, and electronic system and storage medium | |
US10915998B2 (en) | Image processing method and device | |
WO2019179233A1 (zh) | 一种二维码识读方法、装置及设备 | |
JP5906028B2 (ja) | 画像処理装置、画像処理方法 | |
JP4814375B2 (ja) | 検出装置、検出方法および検出用集積回路 | |
CN109286755B (zh) | 信息处理装置及控制图像捕获装置的控制方法 | |
WO2019042426A1 (zh) | 增强现实场景的处理方法、设备及计算机存储介质 | |
CN113556464B (zh) | 拍摄方法、装置及电子设备 | |
WO2016154806A1 (zh) | 一种自动变焦的方法和装置 | |
WO2022161260A1 (zh) | 对焦方法、装置、电子设备及介质 | |
CN109543534B (zh) | 一种目标跟踪中目标丢失重检的方法及装置 | |
JP6234188B2 (ja) | 翻訳表示装置、翻訳表示方法、および制御プログラム | |
JP6311372B2 (ja) | 画像処理装置および画像処理方法 | |
JP2011097284A (ja) | 監視装置 | |
JP6062483B2 (ja) | デジタルカメラ | |
US10990802B2 (en) | Imaging apparatus providing out focusing and method for controlling the same | |
Lee et al. | Fast-rolling shutter compensation based on piecewise quadratic approximation of a camera trajectory | |
US11790483B2 (en) | Method, apparatus, and device for identifying human body and computer readable storage medium | |
JP2008211534A (ja) | 顔検知装置 | |
CN112532875A (zh) | 终端设备及其图像处理方法、装置、存储介质 | |
JP4571115B2 (ja) | 矩形追跡方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140422 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150414 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150511 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5746937 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |