JP7132387B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP7132387B2 JP7132387B2 JP2021063582A JP2021063582A JP7132387B2 JP 7132387 B2 JP7132387 B2 JP 7132387B2 JP 2021063582 A JP2021063582 A JP 2021063582A JP 2021063582 A JP2021063582 A JP 2021063582A JP 7132387 B2 JP7132387 B2 JP 7132387B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature amount
- partial
- same
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Description
第1の実施形態に係る画像処理装置は、同一物体であるかを判定する2つの画像に対して、物体に含まれる予め定められた複数の部位(特定部位)に相当する2以上の領域を検出する。画像処理装置は、検出した各領域から同一物体であると判定するための特徴量を抽出し、2つの画像間で共通に抽出できた領域の特徴量を用いて、同一物体であるかを判定する。これにより、一部の領域から特徴量が抽出できない場合であっても、画像中の物体の同一判定をより高精度に実行可能となる。複数の領域からの特徴量を用いることができるため、複数の視点からの判定が可能になり、判定の精度をより高くすることができる。また、2つの画像が時間的に近接する画像であることを仮定する必要はない。
第2の実施形態にかかる画像処理装置は、画像から物体の属性を推定し、推定した属性も考慮して、2つの画像内の物体が同一であるかを判定する。
・年代(若者、大人など)
・性別(女性、男性など)
・髪の長さ(長髪、短髪など)
・上半身の服の種類(Tシャツ、半袖など)
・下半身の服の種類(短パン、ズボンなど)
・靴の種類(サンダルなど)
・帽子の有無
・サンブラスの有無
・メガネの有無
・リュックの有無
・バッグの有無
・手提鞄の有無
・上半身の色
・下半身の色
・髪の色
・靴の色
・バッグの色
・手提鞄の色
100a 端末装置
101 検出部
102 抽出部
103、103-2 判定部
104 出力制御部
105-2 推定部
111、112 通信制御部
121 撮像部
122 記憶部
Claims (10)
- 第1画像から、物体に含まれる予め定められた複数の部位のうち2以上の第1部位にそれぞれ対応する2以上の第1部分領域を検出し、第2画像から、前記複数の部位のうち2以上の第2部位にそれぞれ対応する2以上の第2部分領域を検出する検出部と、
2以上の前記第1部分領域から2以上の第1特徴量を抽出し、2以上の前記第2部分領域から2以上の第2特徴量を抽出する抽出部と、
前記第1特徴量と前記第2特徴量とを用いて、前記第1画像に含まれる物体と前記第2画像に含まれる物体が同一であるか否かを判定する判定部と、を備え、
前記判定部は、2以上の前記第1特徴量のうち、前記第1部位と前記第2部位とで共通する部位に対応する前記第1部分領域から抽出された前記第1特徴量と、2以上の前記第2特徴量のうち、前記第1部位と前記第2部位とで共通する部位に対応する前記第2部分領域から抽出された前記第2特徴量と、の間の類似度を用いて、前記第1画像に含まれる物体と前記第2画像に含まれる物体が同一であるか否かを判定する、
画像処理装置。 - 前記判定部は、部位ごとに前記第1特徴量と前記第2特徴量の前記類似度を算出し、前記複数の部位それぞれに対して定められた重みを用いて前記類似度を重み付けして得られる値を用いて、前記第1画像に含まれる物体と前記第2画像に含まれる物体が同一であるか否かを判定する、
請求項1に記載の画像処理装置。 - 前記重みは、物体が同一であるか否かの判定に対する信頼度に応じて定められる、
請求項2に記載の画像処理装置。 - 前記判定部は、前記複数の部位それぞれに対して定められた重みを用いて2以上の前記第1特徴量を重み付けして得られる特徴量と、前記重みを用いて2以上の前記第2特徴量を重み付けして得られる特徴量と、を用いて、前記第1画像に含まれる物体と前記第2画像に含まれる物体が同一であるか否かを判定する、
請求項1に記載の画像処理装置。 - 前記重みは、物体が同一であるか否かの判定に対する信頼度に応じて定められる、
請求項4に記載の画像処理装置。 - 前記物体は人物であり、
前記複数の部位は、顔、頭部、全身、上半身、下半身、胴体、腕、脚、および、足のうちいずれか2以上である、
請求項1に記載の画像処理装置。 - 前記第1画像から物体の属性を示す第1属性情報を推定し、前記第2画像から物体の属性を示す第2属性情報を推定する推定部をさらに備え、
前記判定部は、前記第1属性情報と前記第2属性情報と前記第1特徴量と前記第2特徴量とを用いて、前記第1画像に含まれる物体と前記第2画像に含まれる物体が同一であるか否かを判定する、
請求項1に記載の画像処理装置。 - 前記判定部は、部位ごとに前記第1特徴量と前記第2特徴量の前記類似度を算出し、前記類似度が閾値を超えた個数を用いて、前記第1画像に含まれる物体と前記第2画像に含まれる物体が同一であるか否かを判定する、
請求項1に記載の画像処理装置。 - 第1画像から、物体に含まれる予め定められた複数の部位のうち2以上の第1部位にそれぞれ対応する2以上の第1部分領域を検出し、第2画像から、前記複数の部位のうち2以上の第2部位にそれぞれ対応する2以上の第2部分領域を検出する検出ステップと、
2以上の前記第1部分領域から2以上の第1特徴量を抽出し、2以上の前記第2部分領域から2以上の第2特徴量を抽出する抽出ステップと、
前記第1特徴量と前記第2特徴量とを用いて、前記第1画像に含まれる物体と前記第2画像に含まれる物体が同一であるか否かを判定する判定ステップと、を含み、
前記判定ステップは、2以上の前記第1特徴量のうち、前記第1部位と前記第2部位とで共通する部位に対応する前記第1部分領域から抽出された前記第1特徴量と、2以上の前記第2特徴量のうち、前記第1部位と前記第2部位とで共通する部位に対応する前記第2部分領域から抽出された前記第2特徴量と、の間の類似度を用いて、前記第1画像に含まれる物体と前記第2画像に含まれる物体が同一であるか否かを判定する、
画像処理方法。 - コンピュータを、
第1画像から、物体に含まれる予め定められた複数の部位のうち2以上の第1部位にそれぞれ対応する2以上の第1部分領域を検出し、第2画像から、前記複数の部位のうち2以上の第2部位にそれぞれ対応する2以上の第2部分領域を検出する検出部と、
2以上の前記第1部分領域から2以上の第1特徴量を抽出し、2以上の前記第2部分領域から2以上の第2特徴量を抽出する抽出部と、
前記第1特徴量と前記第2特徴量とを用いて、前記第1画像に含まれる物体と前記第2画像に含まれる物体が同一であるか否かを判定する判定部と、として機能させ、
前記判定部は、2以上の前記第1特徴量のうち、前記第1部位と前記第2部位とで共通する部位に対応する前記第1部分領域から抽出された前記第1特徴量と、2以上の前記第2特徴量のうち、前記第1部位と前記第2部位とで共通する部位に対応する前記第2部分領域から抽出された前記第2特徴量と、の間の類似度を用いて、前記第1画像に含まれる物体と前記第2画像に含まれる物体が同一であるか否かを判定する、
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021063582A JP7132387B2 (ja) | 2017-12-18 | 2021-04-02 | 画像処理装置、画像処理方法およびプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017242130A JP2019109709A (ja) | 2017-12-18 | 2017-12-18 | 画像処理装置、画像処理方法およびプログラム |
JP2021063582A JP7132387B2 (ja) | 2017-12-18 | 2021-04-02 | 画像処理装置、画像処理方法およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017242130A Division JP2019109709A (ja) | 2017-12-18 | 2017-12-18 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021101384A JP2021101384A (ja) | 2021-07-08 |
JP7132387B2 true JP7132387B2 (ja) | 2022-09-06 |
Family
ID=66814484
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017242130A Pending JP2019109709A (ja) | 2017-12-18 | 2017-12-18 | 画像処理装置、画像処理方法およびプログラム |
JP2021063582A Active JP7132387B2 (ja) | 2017-12-18 | 2021-04-02 | 画像処理装置、画像処理方法およびプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017242130A Pending JP2019109709A (ja) | 2017-12-18 | 2017-12-18 | 画像処理装置、画像処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10789454B2 (ja) |
JP (2) | JP2019109709A (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10592742B1 (en) * | 2015-09-28 | 2020-03-17 | Amazon Technologies, Inc. | Agent re-identification |
JP2019109709A (ja) * | 2017-12-18 | 2019-07-04 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム |
US10643063B2 (en) * | 2018-04-09 | 2020-05-05 | Qualcomm Incorporated | Feature matching with a subspace spanned by multiple representative feature vectors |
US11048917B2 (en) * | 2019-07-31 | 2021-06-29 | Baidu Usa Llc | Method, electronic device, and computer readable medium for image identification |
JPWO2021033273A1 (ja) * | 2019-08-20 | 2021-02-25 | ||
TWI749370B (zh) * | 2019-09-16 | 2021-12-11 | 緯創資通股份有限公司 | 臉部辨識方法及其相關電腦系統 |
EP3819812B1 (en) | 2019-11-08 | 2023-08-16 | Axis AB | A method of object re-identification |
US12026225B2 (en) | 2020-09-14 | 2024-07-02 | i-PRO Co., Ltd. | Monitoring camera, part association method and program |
JP7025497B1 (ja) | 2020-09-14 | 2022-02-24 | パナソニックi-PROセンシングソリューションズ株式会社 | 監視カメラ、パーツ紐付け方法およびプログラム |
US11741712B2 (en) * | 2020-09-28 | 2023-08-29 | Nec Corporation | Multi-hop transformer for spatio-temporal reasoning and localization |
US20220147735A1 (en) * | 2020-11-10 | 2022-05-12 | Nec Laboratories America, Inc. | Face-aware person re-identification system |
KR20220152778A (ko) | 2021-05-10 | 2022-11-17 | 엔에이치엔클라우드 주식회사 | 쇼핑몰 웹 페이지와 연관된 데이터를 제공하는 장치 및 방법 |
WO2023282033A1 (ja) * | 2021-07-09 | 2023-01-12 | パナソニックIpマネジメント株式会社 | 画像処理装置、画像処理方法、及びプログラム |
TWI813072B (zh) * | 2021-11-17 | 2023-08-21 | 瑞昱半導體股份有限公司 | 用於物件追蹤的電子裝置及方法 |
JP2024025442A (ja) * | 2022-08-12 | 2024-02-26 | 株式会社日立ハイテク | オブジェクト分類装置、オブジェクト分類方法及びオブジェクト分類システム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016157166A (ja) | 2015-02-23 | 2016-09-01 | 富士通株式会社 | 画像処理プログラム、画像処理装置、及び画像処理方法 |
JP2017041022A (ja) | 2015-08-18 | 2017-02-23 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4595750B2 (ja) * | 2005-08-29 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP4636064B2 (ja) * | 2007-09-18 | 2011-02-23 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
US9251402B2 (en) * | 2011-05-13 | 2016-02-02 | Microsoft Technology Licensing, Llc | Association and prediction in facial recognition |
JP5649601B2 (ja) | 2012-03-14 | 2015-01-07 | 株式会社東芝 | 照合装置、方法及びプログラム |
JP6040825B2 (ja) | 2013-03-26 | 2016-12-07 | 富士通株式会社 | 物体追跡プログラム、物体追跡方法及び物体追跡装置 |
JP6221505B2 (ja) * | 2013-08-22 | 2017-11-01 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP6547626B2 (ja) * | 2013-10-30 | 2019-07-24 | 日本電気株式会社 | 画像の特徴量に関する処理システム、処理方法及びプログラム |
JP6417702B2 (ja) * | 2014-05-01 | 2018-11-07 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP6674192B2 (ja) * | 2014-05-28 | 2020-04-01 | ソニー株式会社 | 画像処理装置と画像処理方法 |
US11003961B2 (en) * | 2014-06-03 | 2021-05-11 | Nec Corporation | Image processing system, image processing method, and program storage medium |
JP6339872B2 (ja) * | 2014-06-24 | 2018-06-06 | オリンパス株式会社 | 画像処理装置、内視鏡システム及び画像処理方法 |
WO2016038647A1 (en) * | 2014-09-11 | 2016-03-17 | Nec Corporation | Image processing device, image processing method and storage medium storing program thereof |
JP2016099643A (ja) * | 2014-11-18 | 2016-05-30 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP6486084B2 (ja) * | 2014-11-28 | 2019-03-20 | キヤノン株式会社 | 画像処理方法、画像処理装置、及びプログラム |
US9501716B2 (en) * | 2014-12-11 | 2016-11-22 | Intel Corporation | Labeling component parts of objects and detecting component properties in imaging data |
JP6498288B2 (ja) * | 2015-06-16 | 2019-04-10 | オリンパス株式会社 | 内視鏡システム及びカプセル内視鏡装置 |
WO2017109854A1 (ja) * | 2015-12-22 | 2017-06-29 | オリンパス株式会社 | 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム |
US10127659B2 (en) * | 2016-11-23 | 2018-11-13 | General Electric Company | Deep learning medical systems and methods for image acquisition |
EP3579183A4 (en) * | 2017-01-31 | 2020-09-09 | Equos Research Co., Ltd. | IMAGE FEATURE VALUE OUTPUT DEVICE, IMAGE RECOGNITION DEVICE, IMAGE CHARACTERISTIC VALUE OUTPUT PROGRAM AND IMAGE RECOGNITION PROGRAM |
US10769791B2 (en) * | 2017-10-13 | 2020-09-08 | Beijing Keya Medical Technology Co., Ltd. | Systems and methods for cross-modality image segmentation |
JP2019109709A (ja) * | 2017-12-18 | 2019-07-04 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム |
-
2017
- 2017-12-18 JP JP2017242130A patent/JP2019109709A/ja active Pending
-
2018
- 2018-09-05 US US16/122,738 patent/US10789454B2/en active Active
-
2021
- 2021-04-02 JP JP2021063582A patent/JP7132387B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016157166A (ja) | 2015-02-23 | 2016-09-01 | 富士通株式会社 | 画像処理プログラム、画像処理装置、及び画像処理方法 |
JP2017041022A (ja) | 2015-08-18 | 2017-02-23 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
伊藤誠也 外1名,共可視特徴に基づく複数カメラ間の人物同定,画像電子学会誌,一般社団法人画像電子学会,2016年07月30日,第45巻 第3号,第382-391頁 |
Also Published As
Publication number | Publication date |
---|---|
US20190188456A1 (en) | 2019-06-20 |
JP2021101384A (ja) | 2021-07-08 |
JP2019109709A (ja) | 2019-07-04 |
US10789454B2 (en) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7132387B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
AU2022252799B2 (en) | System and method for appearance search | |
US10846554B2 (en) | Hash-based appearance search | |
EP2955666B1 (en) | Image recognition device and method for registering feature data in image recognition device | |
US8532390B2 (en) | Semantic parsing of objects in video | |
TWI604332B (zh) | 遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體 | |
WO2019033525A1 (zh) | Au特征识别方法、装置及存储介质 | |
Arigbabu et al. | Integration of multiple soft biometrics for human identification | |
KR20170077366A (ko) | 얼굴 인식 시스템 및 방법 | |
KR100824757B1 (ko) | 걸음걸이를 이용한 생체 인식 방법 | |
JP6969878B2 (ja) | 識別器学習装置および識別器学習方法 | |
Tsitsoulis et al. | A methodology for extracting standing human bodies from single images | |
Galiyawala et al. | Person retrieval in surveillance using textual query: a review | |
Putro et al. | Adult image classifiers based on face detection using Viola-Jones method | |
US20170278265A1 (en) | Video processing apparatus and control method | |
Luna et al. | People re-identification using depth and intensity information from an overhead camera | |
Subasic et al. | Expert system segmentation of face images | |
JP2018036870A (ja) | 画像処理装置及びプログラム | |
Wang et al. | Real-time moustache detection by combining image decolorization and texture detection with applications to facial gender recognition | |
Hema et al. | Gait Based Human Age Classification using Random Forest Classifier | |
KR101551190B1 (ko) | 영상의 유해성을 나타내는 인체의 구성요소 검출 방법 | |
Malhotra et al. | Person authentication using head images | |
Low et al. | Review on human re-identification with multiple cameras | |
CN108334804A (zh) | 图像处理装置和方法以及图像处理系统 | |
JP2017174054A (ja) | 属性推定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210402 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220825 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7132387 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |