JP6025557B2 - 画像認識装置、その制御方法及びプログラム - Google Patents
画像認識装置、その制御方法及びプログラム Download PDFInfo
- Publication number
- JP6025557B2 JP6025557B2 JP2012286018A JP2012286018A JP6025557B2 JP 6025557 B2 JP6025557 B2 JP 6025557B2 JP 2012286018 A JP2012286018 A JP 2012286018A JP 2012286018 A JP2012286018 A JP 2012286018A JP 6025557 B2 JP6025557 B2 JP 6025557B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- recognition
- image
- tracking
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
- G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
図1は、本発明の一実施形態に係る画像認識装置を有する撮像装置100の概略構成例を示すブロック図である。撮像装置100は、撮影して得られた画像から被写体領域として特定の部位が含まれる領域を検出し、検出した被写体領域の画像の特徴情報を抽出して、特徴情報を基に被写体の認識を行う機能を有する。本実施形態では、撮影して得られた画像から被写体領域として人物の顔を検出し、検出した顔の特徴情報を抽出して、その顔が誰の顔であるかを識別する個人認識を行う機能を有する撮像装置100を例として示す。
以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。その例を以下に示す。
前述した実施形態では、被写体認識を行う画像認識装置を撮像装置に適用した場合を例示したが、画像認識装置を適用する機器は撮像装置に限定しない。例えば、外部機器や記録媒体などから逐次供給される画像(再生データ)を表示する表示装置に被写体認識を行う画像認識装置を適用しても良い。この表示装置では、再生データを被写体検出処理のデータとして被写体認識が行われることとなる。この表示装置におけるマイクロコントローラなどの制御部は、被写体認識された被写体の情報(画像中の被写体の位置、大きさ、被写体IDなど)に基づいて、画像を表示する際の表示条件を制御する。具体的には、画像中の被写体の位置に枠や被写体IDなどの被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じた表示画像の輝度や色合いなどの制御を行う。
コンピュータ機能600は、図6に示すように、CPU601と、ROM602と、RAM603とを備える。また、操作部(CONS)609のコントローラ(CONSC)605と、LCD等の表示部としてのディスプレイ(DISP)610のディスプレイコントローラ(DISPC)606とを備える。さらに、ハードディスク(HD)611、及びフレキシブルディスク等の記憶デバイス(STD)612のコントローラ(DCONT)607と、ネットワークインタフェースカード(NIC)608とを備える。それら機能部601、602、603、605、606、607、608は、システムバス604を介して互いに通信可能に接続された構成としている。
CPU601は、ROM602又はHD611に記憶されたソフトウェア、又はSTD612より供給されるソフトウェアを実行することで、システムバス604に接続された各構成部を総括的に制御する。すなわち、CPU601は、前述したような動作を行うための処理プログラムを、ROM602、HD611、又はSTD612から読み出して実行することで、前述した実施形態での動作を実現するための制御を行う。RAM603は、CPU601の主メモリ又はワークエリア等として機能する。
CONSC605は、CONS609からの指示入力を制御する。DISPC606は、DISP610の表示を制御する。DCONT607は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び前述した実施形態における前記処理プログラム等を記憶するHD611及びSTD612とのアクセスを制御する。NIC608はネットワーク613上の他の装置と双方向にデータをやりとりする。
Claims (8)
- 時系列に供給される画像から特定の被写体を認識する画像認識装置であって、
前記特定の被写体に関する特徴情報を記憶する記憶部と、
供給される前記画像から被写体領域を検出する被写体検出手段と、
前記被写体検出手段により検出された前記被写体領域の画像から特徴情報を抽出し、前記記憶部に記憶されている前記特定の被写体の特徴情報と比較して類似度を算出し、算出した前記類似度に基づいて被写体認識を行う被写体認識手段と、
前記被写体検出手段により検出された前記被写体領域に含まれる被写体を時系列に供給される画像において追跡する被写体追跡手段と、
前記被写体追跡手段による被写体追跡の信頼性を判定する信頼性判定手段とを有し、
前記被写体認識手段により算出した前記類似度が所定の閾値以上の場合には、前記被写体領域に含まれる被写体を前記記憶部に記憶されている前記特定の被写体であると判定して認識確定状態とし、前記認識確定状態を前記被写体追跡手段による被写体追跡によって時系列に供給される画像間で引き継ぎ、
前記被写体追跡の信頼性が低く、かつ前記被写体認識手段により算出した前記類似度が所定の閾値未満の場合には、引き継がれている前記認識確定状態を、前記被写体領域に含まれる被写体が前記特定の被写体であると判定されていない認識未確定状態にすることを特徴とする画像認識装置。 - 前記被写体認識手段は、前記被写体追跡の信頼性が高い場合には、前記被写体追跡によって前記認識確定状態を引き継いでいる被写体に対する被写体認識を実行しないことを特徴とする請求項1記載の画像認識装置。
- 前記信頼性判定手段は、前記被写体検出手段により検出された複数の前記被写体領域が密に分布している場合には前記被写体追跡の信頼性が低いと判定し、前記被写体検出手段により検出された複数の前記被写体領域が疎に分布している場合には前記被写体追跡の信頼性が高いと判定することを特徴とする請求項1又は2記載の画像認識装置。
- 前記被写体認識手段は、
前記被写体追跡によって前記認識確定状態が引き継がれていない被写体に対しては、前記記憶部に記憶されている複数の被写体との類似度をそれぞれ算出し、
前記被写体追跡によって前記認識確定状態が引き継がれている被写体に対しては、前記記憶部に記憶されている被写体のうち、認識確定状態とされた被写体との類似度を算出することを特徴とする請求項1〜3の何れか1項に記載の画像認識装置。 - 撮像した画像を時系列に供給する撮像手段と、
請求項1〜4の何れか1項に記載の画像認識装置と、
前記撮像手段での撮像条件を、前記画像認識装置により得られる被写体の情報に応じて制御する制御手段とを備えることを特徴とする撮像装置。 - 時系列に供給される画像を表示する表示手段と、
請求項1〜4の何れか1項に記載の画像認識装置と、
前記表示手段での画像の表示条件を、前記画像認識装置により得られる被写体の情報に応じて制御する制御手段とを備えることを特徴とする表示装置。 - 時系列に供給される画像から、記憶部に特徴情報が記憶されている特定の被写体を認識する画像認識装置の制御方法であって、
供給される前記画像から被写体領域を検出する被写体検出工程と、
前記被写体検出工程にて検出された前記被写体領域の画像から特徴情報を抽出し、前記記憶部に記憶されている前記特定の被写体の特徴情報と比較して類似度を算出し、算出した前記類似度に基づいて被写体認識を行う被写体認識工程と、
前記被写体検出工程にて検出された前記被写体領域に含まれる被写体を時系列に供給される画像において追跡する被写体追跡工程と、
前記被写体追跡工程での被写体追跡の信頼性を判定する信頼性判定工程とを有し、
前記被写体認識工程にて算出した前記類似度が所定の閾値以上の場合には、前記被写体領域に含まれる被写体を前記記憶部に記憶されている前記特定の被写体であると判定して認識確定状態とし、前記認識確定状態を前記被写体追跡工程での被写体追跡によって時系列に供給される画像間で引き継ぎ、
前記被写体追跡の信頼性が低く、かつ前記被写体認識工程にて算出した前記類似度が所定の閾値未満の場合には、引き継がれている前記認識確定状態を、前記被写体領域に含まれる被写体が前記特定の被写体であると判定されていない認識未確定状態にすることを特徴とする画像認識装置の制御方法。 - 時系列に供給される画像から、記憶部に特徴情報が記憶されている特定の被写体を認識する画像認識装置の制御方法をコンピュータに実行させるためのプログラムであって、
供給される前記画像から被写体領域を検出する被写体検出ステップと、
前記被写体検出ステップにて検出された前記被写体領域の画像から特徴情報を抽出し、前記記憶部に記憶されている前記特定の被写体の特徴情報と比較して類似度を算出し、算出した前記類似度に基づいて被写体認識を行う被写体認識ステップと、
前記被写体検出ステップにて検出された前記被写体領域に含まれる被写体を時系列に供給される画像において追跡する被写体追跡ステップと、
前記被写体追跡ステップでの被写体追跡の信頼性を判定する信頼性判定ステップとをコンピュータに実行させ、
前記被写体認識ステップにて算出した前記類似度が所定の閾値以上の場合には、前記被写体領域に含まれる被写体を前記記憶部に記憶されている前記特定の被写体であると判定して認識確定状態とし、前記認識確定状態を前記被写体追跡ステップでの被写体追跡によって時系列に供給される画像間で引き継ぎ、
前記被写体追跡の信頼性が低く、かつ前記被写体認識ステップにて算出した前記類似度が所定の閾値未満の場合には、引き継がれている前記認識確定状態を、前記被写体領域に含まれる被写体が前記特定の被写体であると判定されていない認識未確定状態にする処理をコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012286018A JP6025557B2 (ja) | 2012-12-27 | 2012-12-27 | 画像認識装置、その制御方法及びプログラム |
US14/141,017 US9524423B2 (en) | 2012-12-27 | 2013-12-26 | Image recognition apparatus, control method, and program of the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012286018A JP6025557B2 (ja) | 2012-12-27 | 2012-12-27 | 画像認識装置、その制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014128003A JP2014128003A (ja) | 2014-07-07 |
JP6025557B2 true JP6025557B2 (ja) | 2016-11-16 |
Family
ID=51016774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012286018A Active JP6025557B2 (ja) | 2012-12-27 | 2012-12-27 | 画像認識装置、その制御方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9524423B2 (ja) |
JP (1) | JP6025557B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6381368B2 (ja) * | 2014-08-26 | 2018-08-29 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US10127439B2 (en) | 2015-01-15 | 2018-11-13 | Samsung Electronics Co., Ltd. | Object recognition method and apparatus |
WO2017046838A1 (ja) * | 2015-09-14 | 2017-03-23 | 株式会社日立国際電気 | 特定人物検知システムおよび特定人物検知方法 |
JP6747176B2 (ja) * | 2016-08-25 | 2020-08-26 | 株式会社リコー | 画像処理装置、撮影装置、プログラム、機器制御システム及び機器 |
JP7518609B2 (ja) * | 2019-11-07 | 2024-07-18 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JPWO2021111613A1 (ja) * | 2019-12-06 | 2021-12-09 | 三菱電機株式会社 | 3次元地図作成装置、3次元地図作成方法、及び3次元地図作成プログラム |
JP2022180887A (ja) * | 2021-05-25 | 2022-12-07 | 株式会社日立製作所 | 物体認識システム及び物体認識方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002251380A (ja) | 2001-02-22 | 2002-09-06 | Omron Corp | 利用者照合システム |
JP2003187352A (ja) | 2001-12-14 | 2003-07-04 | Nippon Signal Co Ltd:The | 特定人物検出システム |
JP4594945B2 (ja) * | 2007-02-13 | 2010-12-08 | 株式会社東芝 | 人物検索装置および人物検索方法 |
JP5127692B2 (ja) * | 2008-12-25 | 2013-01-23 | キヤノン株式会社 | 撮像装置及びその追尾方法 |
JP2011159030A (ja) * | 2010-01-29 | 2011-08-18 | Canon Inc | 被写体認証装置、被写体認証方法及びプログラム |
JP5567853B2 (ja) * | 2010-02-10 | 2014-08-06 | キヤノン株式会社 | 画像認識装置および方法 |
-
2012
- 2012-12-27 JP JP2012286018A patent/JP6025557B2/ja active Active
-
2013
- 2013-12-26 US US14/141,017 patent/US9524423B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9524423B2 (en) | 2016-12-20 |
JP2014128003A (ja) | 2014-07-07 |
US20140184812A1 (en) | 2014-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5567853B2 (ja) | 画像認識装置および方法 | |
JP6025557B2 (ja) | 画像認識装置、その制御方法及びプログラム | |
US8314854B2 (en) | Apparatus and method for image recognition of facial areas in photographic images from a digital camera | |
JP6049448B2 (ja) | 被写体領域追跡装置、その制御方法及びプログラム | |
JP5704905B2 (ja) | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 | |
US8526742B2 (en) | Image processing apparatus, method, and program that classifies data of images | |
JP6157165B2 (ja) | 視線検出装置及び撮像装置 | |
US10013632B2 (en) | Object tracking apparatus, control method therefor and storage medium | |
WO2014084249A1 (ja) | 顔認証装置、認証方法とそのプログラム、情報機器 | |
CN103379279A (zh) | 被摄体区域检测装置及其方法、图像摄取装置及显示装置 | |
JPWO2020213166A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP5539565B2 (ja) | 撮像装置及び被写体追跡方法 | |
JP2011159030A (ja) | 被写体認証装置、被写体認証方法及びプログラム | |
US10140503B2 (en) | Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus | |
JP5995610B2 (ja) | 被写体認識装置及びその制御方法、撮像装置、表示装置、並びにプログラム | |
JP5247419B2 (ja) | 撮像装置および被写体追跡方法 | |
JP5374612B2 (ja) | 画像データの識別方法及び撮像装置、プログラム、及び記憶媒体 | |
JP2013157675A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP2009130840A (ja) | 撮像装置及びその制御方法及びプログラム | |
CN118354196A (zh) | 控制设备、摄像设备、控制方法和存储介质 | |
JP2012230647A (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161011 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6025557 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |