JP6470503B2 - 画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラム - Google Patents

画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラム Download PDF

Info

Publication number
JP6470503B2
JP6470503B2 JP2014104004A JP2014104004A JP6470503B2 JP 6470503 B2 JP6470503 B2 JP 6470503B2 JP 2014104004 A JP2014104004 A JP 2014104004A JP 2014104004 A JP2014104004 A JP 2014104004A JP 6470503 B2 JP6470503 B2 JP 6470503B2
Authority
JP
Japan
Prior art keywords
image
similarity
images
feature
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014104004A
Other languages
English (en)
Other versions
JP2015219797A (ja
Inventor
矢野　光太郎
光太郎 矢野
佐藤　博
博 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014104004A priority Critical patent/JP6470503B2/ja
Priority to US14/713,048 priority patent/US9626551B2/en
Publication of JP2015219797A publication Critical patent/JP2015219797A/ja
Application granted granted Critical
Publication of JP6470503B2 publication Critical patent/JP6470503B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Description

本発明は、画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラムに関する。
近年、大量の画像の中から特定のオブジェクトが写った画像を検索する画像検索システムが提案されている。このような画像検索システムの中でも特定の人物を検索することは特に有用である。その一つの用途として市民マラソンに参加した人物の顔写真を予め登録しておき、マラソンコースの複数のポイントで撮影した写真の中から登録した人物を検索し、参加者に写真を提供するサービスがある。
ここで人物写真の検索において顔画像の照合処理を利用できるが、コース上の各撮影ポイントにおいて照明条件が夫々異なるため、画像の明るさや色、陰影等の影響を受け、顔の照合が困難になる。また、撮影ポイントによっては、正面からの撮影ができないために、斜め方向から撮影した顔画像を照合しなければならないと言った問題もある。一方、顔以外の照合によって人物写真を検索することも考えられる。
一つの方法は人物のゼッケン番号を認識することであるが、ゼッケンが見えていないような画像の検索はできない。また、服装の色や模様によって照合することも考えられるが、照明条件が異なる画像間では顔の照合以上にその影響を受けてしまう。以上のことを考えると、ゼッケン番号や服装も照合の一手段として用いるが、性能の良い顔照合処理と組み合わせるのが良いことは明白である。
人物画像を検索するために顔の照合を行うシステムとして、例えば、非特許文献１の方法がある。ここでは、インターネットの画像検索を利用して、名前を入力することで有名人の顔画像を予め複数収集し、収集した顔画像から特定人物の顔モデルを学習することで、ビデオ映像から人物検索を行っている。しかしながら、非特許文献１の方法では多数の顔画像をインターネットから収集することを前提としているため、検索対象が有名人に限定される。また、登録した顔写真と撮影時の条件の違いに対する本質的な問題を解決していない。
Parkhiら．On-the-fly specific person retrieval．International Workshop on Image Analysis for Multimedia Interactive Services（2012） Viola and Jones. Rapid Object Detection using Boosted Cascade of Simple Features. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2001) Zhu and Ramanan. Face Detection, Pose Estimation, and Landmark Localization in the Wild. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2012) Dalal and Triggs. Histograms of Oriented Gradients for Human Detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2005)
本発明の目的は、前記問題点を解決すべく、複数のカメラ映像から特定の人物を検索する画像検索システムにおいて、撮影条件やカメラ設置条件が異なっても高精度の人物照合が行える画像照合装置および方法を提供することである。
本発明の目的を達成するために、本発明の画像照合装置は以下の構成を備える。
すなわち、照合対象のオブジェクトに関する特徴量を画像から抽出する特徴抽出手段と、
前記特徴抽出手段によって第一の画像から抽出された特徴量と第二の画像から抽出された特徴量との類似度を算出する類似度算出手段と、
前記第一の画像中のオブジェクトと前記第二の画像中のオブジェクトとが同一か否かを推定する推定手段と、
前記推定手段の推定結果と前記類似度算出手段によって算出された類似度とから前記類似度算出手段で類似度を算出するためのパラメータを学習するパラメータ学習手段とを備えることを特徴とする。
また、本発明の画像検索システムは、前記画像照合装置に加え、前記第二の画像を登録する画像登録手段と、前記画像照合装置によって夫々算出された複数の前記第一の画像の夫々と前記第二の画像との類似度に基づいて前記第一の画像を順位付けして出力する検索結果出力部とを備えることを特徴とする。
本発明では、第一および第二の画像中のオブジェクトが同一か否かを推定し、推定結果から画像間の照合に用いる統合パラメータをカメラ毎に学習するようにした。これにより、第一および第二の画像を取得するカメラの撮像条件、設置条件の違いに応じた有効な特徴量を優先的に利用できるようにした。したがって、撮影条件やカメラ設置条件が異なっても高精度の人物照合が行える画像照合装置および方法を提供することができる。また、それを用いた画像検索システムを提供することができる。
本発明の第一の実施形態の画像照合装置の機能構成を示す図 本発明の第一の実施形態の画像検索システムの構成を示す図 本発明の第一の実施形態の画像検索システムの画像照合および画像検索処理の流れを示す図 顔特徴抽出処理の流れを示す図 顔画像の局所領域の例を説明する図 類似度算出処理の流れを示す図 本発明の第一の実施形態の統合パラメータの学習の流れを示す図 本発明の第二の実施形態の画像照合装置の機能構成を示す図 本発明の第二の実施形態の統合パラメータの学習の流れを示す図 本発明の実施形態の画像照合装置および画像検索システムのハードウェア構成を示す図
（第一の実施形態）
以下、本発明に係る実施形態について図面にもとづいて説明する。
図１０は本実施形態に係る画像検索システムのハードウェア構成を示す図である。画像照合装置および画像検索システムは、ＣＰＵ（Central Processing Unit）１、記憶装置２、入力装置３、及び出力装置４を含んで構成される。なお、各装置は、バス５等により互いに通信可能に接続されている。
ＣＰＵ１は、画像照合装置および画像検索システムの動作をコントロールし、記憶装置２に格納されたプログラムの実行等を行う。記憶装置２は、磁気記憶装置、半導体メモリ等のストレージデバイスであり、ＣＰＵ１の動作にもとづき読み込まれたプログラム、長時間記憶しなくてはならないデータ等を記憶する。本実施形態では、ＣＰＵ１が、記憶装置２に格納されたプログラムの手順に従って処理を行うことによって、画像照合装置および画像検索システムにおける機能及び後述するフローチャートに係る処理が実現される。
入力装置３は、マウス、キーボード、タッチパネルデバイス、ボタン等であり、各種の指示を入力する。出力装置４は、液晶パネル、外部モニタ等であり、各種の情報を出力する。
なお、画像照合装置および画像検索システムのハードウェア構成は、上述した構成に限られるものではない。例えば、画像照合装置および画像検索システムは、各種の装置間で通信を行うためのＩ／Ｏ装置を備えてもよい。例えば、Ｉ／Ｏ装置は、メモリーカード、ＵＳＢケーブル等の入出力部、有線、無線等による送受信部である。
図２に示すように、本実施形態の画像照合装置１００は複数のカメラ（撮像装置）１１、１２、…、１Ｎと有線、あるいは、無線により接続されている。また、画像照合装置１００は画像登録部２０、検索結果出力部３０とともに画像検索システムを構成する。カメラ１１、１２、…、１Ｎは夫々設置した各ポイントにおいて画像を撮影する。画像登録部２０は検索に用いる人物の顔画像を人物に紐付けられた識別子とともに登録する。画像照合装置１００は画像登録部２０で登録した画像とカメラ１１、１２、…、１Ｎで撮影した画像とを照合し、類似度を出力する。検索結果出力部３０は画像照合装置１００で夫々算出したカメラ１１、１２、…、１Ｎで撮影した複数の画像の夫々と画像登録部２０で登録した画像との類似度から撮影した画像を順位付けして出力する。
図１は、本発明の第一の実施形態に係る画像照合装置１００の機能構成を示す図である。画像照合装置１００の処理及び機能は、図１に示す各部により実現される。
登録画像記憶部１１０は、画像登録部２０で登録した画像を人物の識別子と関連付けて記憶する。本実施形態では人物の識別子はマラソン選手のゼッケン番号を表す。
カメラ画像記憶部１２０は、カメラ１１、１２、…、１Ｎで撮影した夫々の画像を記憶する。記憶されている各画像は撮影に使用したカメラ、撮影時刻に対応付けて管理する。
物体検出部１３０は、登録画像記憶部１１０、カメラ画像記憶部１２０に記憶されている画像から特定の物体を検出する。本実施形態では人物の顔を検出する。
顔特徴抽出部１４０は、照合対象のオブジェクトに関する特徴量を画像から抽出する特徴抽出手段の一例である。顔特徴抽出部１４０は、物体検出部１３０で検出した顔の特徴を抽出する。本実施形態では顔の特徴は顔画像中の局所領域から抽出した複数の特徴量である。
部分類似度算出部１５０は、登録画像記憶部１１０とカメラ画像記憶部１２０に記憶されている画像から顔特徴抽出部１４０で夫々抽出した顔特徴の類似度を算出する。特徴量毎の類似度（例えば、登録画像の右目とカメラ画像の右目との類似度、登録画像の左目とカメラ画像の左目との類似度など）を算出する。
類似度統合部１６０は、部分類似度算出部１５０によって算出した複数の類似度を統合する。
番号抽出部１７０は、物体検出部１３０で検出した顔の位置情報をもとにカメラ画像記憶部１２０に記憶されている画像から人物の番号を抽出する。本実施形態ではマラソン選手のゼッケン番号を抽出する。
ラベル推定部１８０は、登録画像記憶部１１０に記憶されている画像の人物の識別子と番号抽出部１７０で抽出した人物の番号が一致しているか否かを照合し、登録画像とカメラ画像中の人物とが同一人物か否かのラベルを付ける。
カメラ識別子取得部１９０は、撮像装置識別子取得手段の一例である。カメラ識別子取得部１９０は、カメラ画像記憶部１２０に記憶されている各画像に関連付けられたカメラの識別子を取得する。
パラメータ学習部２００は、「推定手段の推定結果」と「類似度算出手段によって算出された類似度」とから「類似度算出手段で類似度を算出するためのパラメータ」を学習するパラメータ学習手段の一例である。パラメータ学習部２００は、部分類似度算出部１５０によって算出した特徴量の類似度とラベル推定部１８０によって推定したラベルとからカメラ識別子毎に類似度統合部１６０で用いる統合パラメータを学習する。
以下、本実施形態の動作について説明する。図３に画像照合および画像検索処理の流れの概略を示す。なお、本実施形態の動作を行うにあたって、予め登録画像およびカメラ画像が夫々登録画像記憶部１１０、カメラ画像記憶部１２０に記憶されているとする。
まず、登録画像記憶部１１０に記憶されている画像から検索したい人物の画像（以下、登録画像と称す）が入力装置３によって選択される（Ｓ１００）。
次に、物体検出部１３０、および、顔特徴抽出部１４０によって登録画像から顔特徴を抽出する（Ｓ２００）。顔特徴抽出処理の詳細については後述する。
次に、カメラ画像記憶部１２０に記憶されている画像（以下、カメラ画像と称す）を所定の順に沿って読み出す（Ｓ３００）。カメラ画像記憶部１２０には、カメラ１１、１２、…、１Ｎで撮影した各画像に対して撮影に使用したカメラ、撮影時刻に対応付けて管理されている。ここでは、カメラ１１、１２、…、１Ｎの順に夫々のカメラを使用して撮影したカメラ画像が所定の検索範囲の中で時系列に過去の画像から読み出されるものとする。読み出したカメラ画像に対して図３のＳ４００〜Ｓ６００の処理が行われる。
物体検出部１３０、および、顔特徴抽出部１４０によって前述のＳ２００と同様にしてカメラ画像から顔特徴を抽出する（Ｓ４００）。
次に、部分類似度算出部１５０、および、類似度統合部１６０によってＳ２００で抽出した登録画像の顔特徴とＳ４００で抽出したカメラ画像の顔特徴との類似度を算出する（Ｓ５００）。類似度算出処理の詳細については後述する。画像照合装置１００は求めた顔画像間の類似度を出力する。
そして、検索結果出力部３０は画像照合装置１００で求めた顔画像間の類似度からカメラ画像を順位付けして出力する（Ｓ６００）。すなわち、既に得られた他のカメラ画像との類似度と比較し、類似度が大きい順にカメラ画像を出力装置４に表示する。
Ｓ３００〜Ｓ６００の処理が順次繰り返して行われる。なお、カメラ画像中に複数の人物が存在する場合には、それぞれの人物の顔画像についてＳ４００〜Ｓ５００の処理を行って類似度を算出する。この場合、カメラ画像中には同一人物は複数存在しえないため、Ｓ６００においてはカメラ画像中の複数の顔画像の中で類似度が最も高い顔画像の類似度をそのカメラ画像の代表類似度としてカメラ画像を順位付けする。
本実施形態では顔特徴の類似度のみにもとづいて人物画像を検索するようにしたが、カメラ画像からゼッケン番号を認識して顔特徴の類似度と組合せて検索するようにすれば、より高精度に検索を行うことができる。顔特徴抽出処理Ｓ４００および類似度算出処理Ｓ５００と並行して、番号抽出部１７０でカメラ画像からゼッケン番号を抽出する。例えば、物体検出部１３０で検出した顔領域と所定の位置関係にある領域を文字部検出対象領域として設定し、設定した領域内で文字テンプレートとの画像照合を行う。
ここで用いる文字テンプレートは数字０〜９、および、Ａ〜Ｚの大文字アルファベットである。これらの複数の文字テンプレートとの照合結果を統合した文字列をゼッケン番号とする。そして、ゼッケン番号が抽出できた場合には、登録画像記憶部１１０において登録画像と関連付けて記憶されている人物の識別子（ここではゼッケン番号）と比較する。そして、登録画像とカメラ画像のゼッケン番号が一致する場合は、Ｓ６００でこのカメラ画像が上位に来るようにする。
＜顔特徴抽出処理の詳細＞
図４に顔特徴抽出処理の流れを示す。本処理での入力は登録画像、または、カメラ画像であり、画像中の顔の特徴量を出力する。
まず、物体検出部１３０によって入力画像から顔の領域を矩形領域として検出する（Ｓ２１０）。顔の検出には非特許文献２にあるような方法を用いる。顔画像の検索対象として比較的画質の良いものに限定するような場合には、顔の検出範囲を所定の大きさ以上に限定することで処理を効率化することができる。検出した顔領域は画像データに関連付けて、その画像中の位置座標を記録しておく。ここで、画像中から顔が検出されなかった場合には後続する処理をスキップする。
次に、画像中の顔領域の位置にもとづいて顔特徴抽出部１４０で複数の局所画像を取得する（Ｓ２２０）。
図５を用いて取得する局所画像の例を説明する。図５において実線の矩形ＲをＳ２１０で検出した顔領域とする。この例では顔領域中の矩形領域Ｐ１〜Ｐ５（右目がＰ１、左目がＰ２、鼻がＰ３、口右半分がＰ４、口左半分がＰ５に相当）の画像を、顔領域との予め定めた位置関係（例えば、顔領域の中心座標に対する相対的位置関係）から局所画像として取得する。なお、局所領域は図５の例に限らず、左右頬、両目、口全体、額部分等を追加してもよい。
また、顔領域から目尻、目頭、口の左右端点と言った顔特徴点を検出し、検出した顔特徴点の位置座標との関係から局所画像を取得するようにしてもよい。非特許文献２にあるような顔検出方法では検出した顔領域と顔の各パーツとの位置関係が顔の向きによって変わるため、顔特徴点の位置にもとづいて局所画像を取得する方が精度がよい。顔特徴点の位置を検出する方法としては非特許文献３にあるような方法を用いる。
次に、顔特徴抽出部１４０を用いて取得した局所画像の夫々から局所特徴を抽出し、顔特徴とする（Ｓ２３０）。顔特徴としては例えば、非特許文献４にあるような勾配方向ヒストグラム特徴（Histograms of Oriented Gradients）を用いる。
＜類似度算出処理の詳細＞
図６に類似度算出処理の流れを示す。本処理では登録画像およびカメラ画像の顔特徴（局所特徴）を入力し、顔画像間の類似度を出力する。
まず、Ｓ２００およびＳ４００で得た登録画像およびカメラ画像の局所特徴を取得する（Ｓ５１０）。ここでは、例えば、図５に示したＰ１の局所領域の特徴を得る。
次に、Ｓ５１０で得た２つの特徴の類似度を部分類似度算出部１５０を用いて求める（Ｓ５２０）。例えば、２つの特徴をベクトルと見做した時の特徴ベクトルの差の２乗ノルムを類似度として計算する。
Ｓ５１０〜Ｓ５２０の処理が、局所特徴毎に順次繰り返して行われ、局所領域の数だけ類似度が得られる。
次に、局所特徴の類似度を統合するための統合パラメータを取得する（Ｓ５３０）。ここで、統合パラメータは予めカメラ毎に学習されたパラメータであり、撮影に使用したＮ台のカメラのそれぞれに応じて取得する。統合パラメータの学習方法については後述する。
次に、Ｓ５３０で取得した統合パラメータを用いて類似度統合部１６０で局所特徴の類似度を統合する（Ｓ５４０）。ここで、顔画像間の各局所特徴の類似度をｓｋ（ｋ＝１，２，…，Ｎ）、統合パラメータをｗｋ（ｋ＝１，２，…，Ｎ）とするとき、以下の（式１）のように統合類似度ｓを重み付き総和として求める。Ｎは局所領域の数である。
Figure 0006470503
本実施形態では、例えば、正面でなく左向きの顔を撮影するようなポイントに設置されたカメラで撮影した画像では右目や口右半分の領域での特徴を統合時に重視するように動作する（右目や口右半分の領域に対応する統合パラメータｗｋを大きくする）。これにより、精度の高い統合類似度ｓが得られる。
＜統合パラメータの学習方法＞
図７に統合パラメータの学習の流れを示す。統合パラメータの学習を行うにあたって、予め登録画像およびカメラ画像が夫々登録画像記憶部１１０、カメラ画像記憶部１２０に記憶されているとする。なお、以下ではカメラ１１で撮影した顔画像を照合する際の統合パラメータを学習する例について説明する。他のカメラにおける統合パラメータの学習も同様に行う。
まず、登録画像を１つ選択し、物体検出部１３０、および、顔特徴抽出部１４０によって登録画像から顔特徴を抽出する（Ｓ１１００）。これは照合処理時のＳ２００と同様の処理である。登録画像記憶部１１０に記憶されている全ての画像についてこの処理を繰返し、登録画像の顔特徴を得る。
次に、カメラ画像を１つ読み出す（Ｓ１２００）。ここで、読み出したカメラ画像の識別子をカメラ識別子取得部１９０によって取得し、読み出した画像がカメラ１１で撮影されたものかどうかを識別子から判定する。カメラ１１で撮影された画像の場合は後続するＳ１３００〜Ｓ１５００の処理を行うが、それ以外は処理をスキップする。
次に、物体検出部１３０によってカメラ画像から顔の領域を矩形領域として検出する（Ｓ１３００）。これは照合処理時のＳ２１０と同様の処理である。
次に、番号抽出部１７０によってカメラ画像からゼッケン番号を抽出する（Ｓ１４００）。これは照合処理で説明したゼッケン番号抽出と同様の処理である。ここでゼッケン番号が抽出されなかった場合は後続するＳ１５００の処理をスキップする。また、カメラ画像から複数の顔が検出され、夫々の顔画像に対してゼッケン番号が抽出された場合は、夫々の顔画像に対して抽出したゼッケン番号を記録しておく。
次に、画像中の顔領域の位置にもとづいて顔特徴抽出部１４０を用いて複数の局所画像を取得し、顔特徴を抽出する（Ｓ１５００）。これは照合処理時のＳ２２０〜Ｓ２３０と同様の処理である。
カメラ画像記憶部１２０に記憶されている全てのカメラ画像について、Ｓ１２００〜Ｓ１５００の処理を繰返し、カメラ画像中の顔についてゼッケン番号と顔特徴を得る。
次に、登録画像とカメラ画像中の顔画像における顔特徴の組合せを１つ設定する（Ｓ１６００）。
そして、登録画像と関連付けて記憶されている人物の識別子とカメラ画像中の顔のゼッケン番号とをラベル推定部１８０を用いて比較し、番号が一致するならば同一人物、一致しない場合は別人物のラベルを付ける（Ｓ１７００）。例えば、ラベルは１ビットの符号０または１で表現し、同一人物を１、別人物を０とする。
次に、登録画像とカメラ画像中の顔画像の局所特徴毎の類似度を部分類似度算出部１５０によって算出する（Ｓ１８００）。これは照合処理時のＳ５２０と同様の処理である。
Ｓ１６００〜Ｓ１８００の処理を登録画像とカメラ画像中の顔画像の全ての組合せについて繰返し、局所特徴毎の類似度と推定ラベルの組を得る。
次に、求めた局所特徴の類似度と推定ラベルを用いてパラメータ学習部２００で統合パラメータを学習する（Ｓ１９００）。ここで、パラメータｗ=｛ｗ1,ｗ2,…,ｗN｝は以下の（式２）の最適化によって求める。つまり、パラメータｗは（式３）のＥが最小となるようなパラメータｗｋの集合である。
Figure 0006470503
但し、（式３）のｘiは局所特徴の類似度を結合したベクトルｘ=｛s1,s2,…,sN｝の１つであり、ｙiはその推定ラベルであり、ｉは学習に使用される顔画像のインデックスであり、Ｍは学習に使用される顔画像のサンプル数である。（式３）において（）内の第１項は、パラメータｗとベクトルｘｉとの内積である。
登録画像中の人物とカメラ画像中の人物が同一人物である場合、パラメータｗと局所特徴の類似度の内積は１に近い値となり、ラベルｙｉが１であるから（）の２乗は０に近い値となる。
また、登録画像中の人物とカメラ画像中の人物が別人物である場合、パラメータｗと局所特徴の類似度の内積は０に近い値となり、ラベルｙｉが０であるから（）の２乗は０に近い値となる。
この方法の他にもパラメータの学習にはサポートベクターマシンを用いて推定してもよい。
他のカメラで撮影した顔画像を照合する際の統合パラメータを学習する場合も同様に行う。
（第二の実施形態）
本発明は前述したスポーツイベントの人物写真検索以外の用途にも適用できる。他の適用例として、街頭に設置した複数の監視カメラ映像から特定の人物の検索への応用がある。例えば、１つの監視カメラに映っている人物画像を登録画像として、複数の監視カメラ映像の中から顔や衣服の似ている人物を検索する。この場合にも、照明条件が異なると衣服の色が異なって映ったり、解像度の低いカメラでは顔の照合が困難になったりといったカメラ個別の問題がある。これらの問題は、本発明の画像照合装置および方法によって解決できるものである。以下に、その適用例を示す。なお、本実施形態におけるハードウェア構成、および、システム構成は、夫々、図１０および図２に従う。
第一の実施形態と第二の実施形態の主たる相違点は、第一の実施形態ではゼッケン番号に基づいて同一人物か否かを示すラベルを推定したが、第二の実施形態ではこのゼッケン番号に相当するものが無いという点である。
第二の実施形態においては、登録画像とカメラ画像との照合結果に基づいて同一人物か否かを示すラベルを推定し、このようにして得たラベルを用いて統合パラメータの学習を行う。
図８に本実施形態に係る画像照合装置８００の機能構成を示す。図８において図１と同じ符号が割り当てられた構成要素は同等の機能を有する。以下、図８のみに示されている構成要素および図１とは異なる符号が割り当てられた構成要素について説明する。
人物特徴抽出部２１０は、照合対象のオブジェクトに関する特徴量を画像から抽出する特徴抽出手段の一例である。人物特徴抽出部２１０は、物体検出部１３０で検出した顔の位置から人物の各部の位置を推定し、その各部の特徴を抽出する。抽出する特徴は、例えば、頭部からは髪型や色、帽子を被っているか否か、胴体部分からは衣服の色や体型、等の人物の属性に関わる特徴（以下、人物属性特徴と称す）である。
照合結果保持部２２０は、類似度統合部１６０が出力する類似度の内、所定数の類似度の高い特徴の組合せ、または、類似度の低い特徴の組合せに対する照合結果を保持する。ここで、保持する照合結果は部分類似度算出部１５０で求めた特徴毎の部分類似度である。
ラベル推定部２３０は、照合結果保持部２２０に保持されている照合結果（顔の局所特徴毎の類似度および人物属性特徴毎の類似度に基づいて算出された照合結果）に同一人物か否かのラベルを付ける。
以下、本実施形態の動作について説明する。画像照合および画像検索処理は図３に示した本発明の第一の実施形態の処理とほぼ同じであるため、これを参照して説明する。
まず、登録画像記憶部１１０に記憶されている画像から検索したい人物の画像が選択される（Ｓ１００）。ここで選択する画像は出力装置４に表示されたカメラ１１、１２、…、１Ｎの映像の１つであり、入力装置３によって複数の映像中のいずれかの人物画像部分が選択される。
次に、物体検出部１３０、および、顔特徴抽出部１４０、人物特徴抽出部２１０によって登録画像から顔の局所特徴および人物属性特徴を抽出する（Ｓ２００）。本実施形態では前述したとおり、顔の特徴以外に人物の頭部特徴、衣服の色、体型を人物属性特徴として抽出する。
次に、カメラ画像記憶部１２０に記憶されている画像を所定の順に沿って読み出す（Ｓ３００）。
次に、物体検出部１３０、および、顔特徴抽出部１４０、人物特徴抽出部２１０によってカメラ画像から顔の局所特徴および人物属性特徴を抽出する（Ｓ４００）。なお、人物特徴を抽出する際には、検出した顔の位置にもとづいて人物の胴体部分等を再度検出するようにしてもよい。
次に、部分類似度算出部１５０、および、類似度統合部１６０によって、Ｓ２００で抽出した登録画像の顔の局所特徴および人物属性特徴と、Ｓ４００で抽出したカメラ画像の顔の局所特徴および人物属性特徴との類似度を統合する（Ｓ５００）。画像照合装置８００は求めた人物画像間の類似度を出力する。
そして、検索結果出力部３０は画像照合装置８００で求めた人物画像間の類似度からカメラ画像を順位付けして出力する（Ｓ６００）。ここで、統合パラメータは予めカメラ毎に学習されたパラメータを用いる。
本実施形態では、例えば、登録画像が撮影された際の照明環境とは異なる照明環境に設置されたカメラで撮影したカメラ画像では色の変動に依らない特徴を統合時に重視するようにパラメータｗが決定される。これにより、精度の高い類似度が得られる。
次に統合パラメータの学習方法について説明する。本実施形態では人物に予め識別子が付けられていないため、学習時の人物画像のラベル推定方法が第一の実施形態とは異なる。本実施形態では一旦算出した類似度の内、高い類似度を示す登録画像とカメラ画像の特徴量の組を同一人物、低い類似度を示す登録画像とカメラ画像の特徴量の組を別人物と想定して、パラメータの学習を行う。
つまり、「高い類似度を示す登録画像とカメラ画像の特徴量の組」に対応する（式３）のラベルｙｉを１とし、それ以外の「登録画像とカメラ画像の特徴量の組」に対応する（式３）のラベルｙｉを０とする。
このようにして求めたラベルｙｉを用いて、パラメータの学習を行い、（式３）のＥが最小となるようなパラメータｗｋの集合であるパラメータｗを求める。
図９に統合パラメータの学習の流れを示す。統合パラメータの学習を行うにあたって、予め登録画像が登録画像記憶部１１０に記憶され、カメラ画像がカメラ画像記憶部１２０に記憶されているとする。なお、以下ではカメラ１１で撮影した顔画像を照合する際の統合パラメータを学習する例について説明する。他のカメラにおける統合パラメータの学習も同様に行う。
まず、登録画像を１つ選択し、物体検出部１３０、顔特徴抽出部１４０、および、人物特徴抽出部２１０によって登録画像から顔の局所特徴および人物属性特徴を抽出する（Ｓ２１００）。登録画像記憶部１１０に記憶されている全ての画像についてこの処理を繰返し、登録画像の顔の局所特徴および人物属性特徴を得る。
次に、カメラ画像を１つ読み出す（Ｓ２２００）。ここで、読み出したカメラ画像の識別子をカメラ識別子取得部１９０で取得し、読み出した画像がカメラ１１で撮影されたものかどうかを識別子から判定する。
次に、物体検出部１３０によってカメラ画像から顔の領域を矩形領域として検出する（Ｓ２３００）。
次に、画像中の顔領域の位置にもとづいて顔特徴抽出部１４０で複数の局所画像を取得し、顔の局所特徴を抽出する。また、人物特徴抽出部２１０で複数の人物属性特徴を抽出する（Ｓ２４００）。
カメラ画像記憶部１２０に記憶されている全てのカメラ画像について、Ｓ２２００〜Ｓ２４００の処理を繰返し、カメラ画像中の顔について顔の局所特徴および人物属性特徴を得る。
次に、登録画像とカメラ画像中の人物画像における顔および人物特徴の組合せを１つ設定する（Ｓ２５００）。
次に、登録画像中の人物画像とカメラ画像中の人物画像との特徴毎の類似度を部分類似度算出部１５０によって算出し、類似度統合部１６０で統合する（Ｓ２６００）。まず、顔の各局所特徴の類似度と人物の各属性特徴の類似度とを特徴毎に部分類似度算出部１５０で求める。更に、類似度統合部１６０で求めた特徴毎の類似度を統合する。このとき、統合に使うパラメータは初期パラメータで、例えば、全ての重みを１とする。特徴毎の類似度も、統合した類似度とともに保持しておく。
次に、Ｓ２６００で求めた統合後の類似度の高い、あるいは、類似度の低い特徴の組合せに対する照合結果を照合結果保持部２２０で保持する（Ｓ２７００）。求めた特徴の類似度が既に求めた類似度を含めて所定の数の上位の高い値を取る場合、特徴毎に求めた類似度を保持する。すなわち、類似度が高い値を取る場合は同一人物の特徴の組合せであるとして、その類似度を保持する。また、同様に、求めた特徴の類似度が既に求めた類似度を含めて所定の数の下位の低い値を取る場合、特徴毎に求めた類似度を保持する。
Ｓ２５００〜Ｓ２７００の処理を登録画像とカメラ画像中の人物画像の全ての組合せについて繰返し、特徴毎の類似度を得る。繰り返し処理において、Ｓ２６００の処理における所定の数の上位、あるいは、下位の統合類似度の特徴の組合せに対する特徴毎に求めた類似度は更新される。
次に、ラベル推定部２３０は照合結果保持部２２０に保持されている特徴毎の類似度に同一人物か否かのラベルを付ける（Ｓ２８００）。すなわち、照合結果保持部２２０で統合類似度が上位の高い値を取るものに対して同一人物、下位の低い値を取るものに対して別人物と推定して、特徴毎に保持した類似度にラベルを付ける。
次に、求めた特徴毎の類似度と推定ラベルを用いてパラメータ学習部２００で統合パラメータを学習し、更新する（Ｓ２９００）。
なお、以上説明した学習方法を繰返し用いてパラメータの学習を行ってもよい。Ｓ２９００で更新したパラメータをＳ２６００の類似度統合のパラメータとして利用し、再度、Ｓ２５００〜Ｓ２９００の処理を繰り返せばよい。反復して学習することで、より高精度のパラメータを得ることができる。
以上説明した本発明の実施形態によって、複数のカメラの映像から特定の物体（前記実施形態では人物）を検索する画像検索システムにおいて、カメラの設置状況の違いを考慮した高精度の検索が実現できる。
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実
施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体
を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（または
ＣＰＵやＭＰＵ等）がコンピュータプログラムを読み出して実行する処理である。
１００ 画像照合装置 １１０ 登録画像記憶部 １２０ カメラ画像記憶部
１３０ 物体検出部 １４０ 顔特徴抽出部 １５０ 部分類似度算出部
１６０ 類似度統合部 １７０ 番号抽出部 １８０ ラベル推定部
１９０ カメラ識別子取得部

Claims (10)

  1. 照合対象のオブジェクトの局所領域毎に特徴量を画像から抽出する特徴抽出手段と、
    前記特徴抽出手段によって第一の画像から抽出された局所領域毎の特徴量の夫々と第二の画像から抽出された対応する局所領域の特徴量との局所領域毎の類似度を算出する類似度算出手段と、
    前記局所領域毎の類似度を重みづけして統合した統合類似度を算出する類似度統合手段と、
    前記第一の画像中のオブジェクトと前記第二の画像中のオブジェクトとが同一か否かを推定する推定手段と、
    前記推定手段により夫々が含むオブジェクトが同一と推定される第一及び第二の画像間の統合類似度が高くなり、前記推定手段により夫々が含むオブジェクトが同一ではないと推定される第一及び第二の画像間の統合類似度が低くなるように、前記類似度統合手段で統合類似度を算出するための重みを学習する学習手段と
    を備えることを特徴とする画像照合装置。
  2. 前記推定手段は、前記類似度統合手段によって算出された統合類似度に基づいて、前記第一の画像中のオブジェクトと前記第二の画像中のオブジェクトとが同一か否かを推定する
    ことを特徴とする請求項１に記載の画像照合装置。
  3. 画像から識別情報を抽出する識別情報抽出手段をさらに備え、
    前記推定手段は、前記識別情報に基づいて、前記第一の画像中のオブジェクトと前記第二の画像中のオブジェクトとが同一か否かを推定する
    ことを特徴とする請求項１に記載の画像照合装置。
  4. 前記特徴抽出手段が更に、オブジェクトの属性に関する特徴量を抽出することを特徴とする請求項１から３のいずれか１項に記載の画像照合装置。
  5. 前記第一の画像を取得した撮像装置の識別子を取得する撮像装置識別子取得手段をさらに備え、
    前記学習手段は、前記撮像装置識別子取得手段が取得した識別子毎に前記類似度統合手段が類似度を重みづけする重みを学習する
    ことを特徴とする請求項１から４のいずれか１項に記載の画像照合装置。
  6. 請求項１から５のいずれか１項に記載の画像照合装置と、
    前記第二の画像を登録する画像登録手段と、
    前記画像照合装置によって夫々算出された複数の前記第一の画像の夫々と前記第二の画像との統合類似度に基づいて前記第一の画像を順位付けして出力する検索結果出力手段と
    を備えることを特徴とする画像検索システム。
  7. 照合対象のオブジェクトの局所領域毎の特徴量を第一の画像および第二の画像の夫々から抽出する特徴抽出ステップと、
    前記特徴抽出ステップにおいて第一の画像から抽出された局所領域毎の特徴量の夫々と第二の画像から抽出された対応する局所領域の特徴量との局所領域毎の類似度を算出する類似度算出ステップと、
    前記局所領域毎の類似度を重みづけして統合した統合類似度を算出する類似度統合ステップと、
    前記第一の画像中のオブジェクトと前記第二の画像中のオブジェクトとが同一か否かを推定する推定ステップと、
    前記推定ステップにおいて夫々が含むオブジェクトが同一と推定される第一及び第二の画像間の統合類似度が高くなり、前記推定ステップにおいて夫々が含むオブジェクトが同一ではないと推定される第一及び第二の画像間の統合類似度が低くなるように、前記類似度統合ステップで統合類似度を算出するための重みを学習する学習ステップと
    を備えることを特徴とする画像照合方法。
  8. 複数の第一の画像を撮像する撮像ステップと、
    第二の画像を登録する画像登録ステップと、
    請求項７に記載の画像照合方法において夫々算出した複数の前記第一の画像の夫々と前記第二の画像との統合類似度から前記第一の画像を順位付けして出力する検索結果出力ステップとを備えることを特徴とする画像検索方法。
  9. コンピュータを、請求項１から５のいずれか１項に記載の画像照合装置の各手段として機能させるためのコンピュータプログラム。
  10. コンピュータを、請求項６に記載の画像検索システムの各手段として機能させるためのコンピュータプログラム。
JP2014104004A 2014-05-20 2014-05-20 画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラム Active JP6470503B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014104004A JP6470503B2 (ja) 2014-05-20 2014-05-20 画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラム
US14/713,048 US9626551B2 (en) 2014-05-20 2015-05-15 Collation apparatus and method for the same, and image searching apparatus and method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014104004A JP6470503B2 (ja) 2014-05-20 2014-05-20 画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2015219797A JP2015219797A (ja) 2015-12-07
JP6470503B2 true JP6470503B2 (ja) 2019-02-13

Family

ID=54556278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014104004A Active JP6470503B2 (ja) 2014-05-20 2014-05-20 画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラム

Country Status (2)

Country Link
US (1) US9626551B2 (ja)
JP (1) JP6470503B2 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6593327B2 (ja) * 2014-05-07 2019-10-23 日本電気株式会社 画像処理装置、画像処理方法およびコンピュータ可読記録媒体
JP6277570B2 (ja) * 2014-06-12 2018-02-14 本田技研工業株式会社 撮像画像交換システム、撮像装置、および撮像画像交換方法
JP6544900B2 (ja) * 2014-09-17 2019-07-17 キヤノン株式会社 オブジェクト識別装置、オブジェクト識別方法及びプログラム
CN105760488B (zh) * 2016-02-17 2020-06-16 北京大学 基于多层次特征融合的图像表达方法和装置
CN105787087B (zh) * 2016-03-14 2019-09-17 腾讯科技（深圳）有限公司 合演视频中搭档的匹配方法和装置
JP6476148B2 (ja) * 2016-03-17 2019-02-27 日本電信電話株式会社 画像処理装置及び画像処理方法
EP3499455A4 (en) * 2016-08-08 2019-07-10 Panasonic Intellectual Property Management Co., Ltd. INTERCLASSE AND METHOD FOR DISPLAYING COLLATION RESULT
JP6873639B2 (ja) * 2016-09-23 2021-05-19 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6835407B2 (ja) * 2017-03-23 2021-02-24 Ｎｅｃソリューションイノベータ株式会社 画像処理装置、画像処理方法及びプログラム
JP2019023785A (ja) * 2017-07-24 2019-02-14 富士ゼロックス株式会社 人物識別装置及びプログラム
CN109389015A (zh) * 2017-08-10 2019-02-26 丽宝大数据股份有限公司 脸部相似度评估方法与电子装置
CN109427078A (zh) * 2017-08-24 2019-03-05 丽宝大数据股份有限公司 身体信息分析装置及其唇妆分析方法
JP6953292B2 (ja) * 2017-11-29 2021-10-27 Kddi株式会社 オブジェクト識別装置および方法
JP6917293B2 (ja) * 2017-12-19 2021-08-11 セコム株式会社 画像監視装置
CN108921023A (zh) * 2018-05-31 2018-11-30 上海依图网络科技有限公司 一种确定低质量人像数据的方法及装置
WO2020115910A1 (ja) * 2018-12-07 2020-06-11 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP7196932B2 (ja) * 2018-12-07 2022-12-27 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
BR112021011817A2 (pt) * 2018-12-27 2021-08-31 Nec Corporation Aparelho de processamento de informações, método de processamento de informações e programa
WO2020148874A1 (ja) * 2019-01-17 2020-07-23 日本電気株式会社 照合装置、照合方法、及びコンピュータ読み取り可能な記録媒体
JP7337541B2 (ja) * 2019-05-14 2023-09-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7372076B2 (ja) * 2019-08-07 2023-10-31 ファナック株式会社 画像処理システム
KR102282520B1 (ko) * 2020-08-28 2021-07-27 머지리티 주식회사 이미지 종속 컨텐츠 통합 방법
KR102242027B1 (ko) * 2020-08-28 2021-04-23 머지리티 주식회사 이미지 통합 방법 및 시스템

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4772379B2 (ja) * 2005-05-26 2011-09-14 株式会社東芝 人物検索装置、人物検索方法および入退場管理システム
JP4862518B2 (ja) * 2006-06-29 2012-01-25 パナソニック株式会社 顔登録装置、顔認証装置および顔登録方法
JP2009075868A (ja) * 2007-09-20 2009-04-09 Toshiba Corp 画像から対象を検出する装置、方法およびプログラム
WO2010075430A1 (en) * 2008-12-24 2010-07-01 Strands, Inc. Sporting event image capture, processing and publication
JP5554987B2 (ja) * 2009-12-28 2014-07-23 キヤノン株式会社 オブジェクト識別装置及びその制御方法
JP5800557B2 (ja) * 2011-04-20 2015-10-28 キヤノン株式会社 パターン認識装置、パターン認識方法及びプログラム
JP5801601B2 (ja) * 2011-05-10 2015-10-28 キヤノン株式会社 画像認識装置、画像認識装置の制御方法、およびプログラム
JP2014016968A (ja) * 2012-07-11 2014-01-30 Toshiba Corp 人物検索装置及びデータ収集装置
JP6013241B2 (ja) * 2013-03-18 2016-10-25 株式会社東芝 人物認識装置、及び方法

Also Published As

Publication number Publication date
JP2015219797A (ja) 2015-12-07
US9626551B2 (en) 2017-04-18
US20150339516A1 (en) 2015-11-26

Similar Documents

Publication Publication Date Title
JP6470503B2 (ja) 画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラム
JP6664163B2 (ja) 画像識別方法、画像識別装置及びプログラム
JP7132387B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5174045B2 (ja) 分類器チェーンを用いた照明検出
JP5008269B2 (ja) 情報処理装置、情報処理方法
JP5517858B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP5959093B2 (ja) 人物検索システム
JP2000306095A (ja) 画像照合・検索システム
JP2007317062A (ja) 人物認識装置及びその方法
KR20120064581A (ko) 영상 분류 방법 및 이를 위한 장치
Krishnan et al. Implementation of automated attendance system using face recognition
JP6969878B2 (ja) 識別器学習装置および識別器学習方法
JP2021503139A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2017059945A (ja) 画像解析装置及び画像解析方法
Vadlapati et al. Facial recognition using the OpenCV Libraries of Python for the pictures of human faces wearing face masks during the COVID-19 pandemic
JP2014016968A (ja) 人物検索装置及びデータ収集装置
CN108509925A (zh) 一种基于视觉词袋模型的行人重识别方法
Bhargavas et al. Human identification using gait recognition
US8861803B2 (en) Image recognition apparatus, image recognition method, and program
JP2019185205A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2013218605A (ja) 画像認識装置、画像認識方法及びプログラム
Sun et al. An integral pose regression system for the ECCV2018 PoseTrack Challenge
JP6739200B2 (ja) 映像処理装置、映像処理システムおよび制御方法
JP6544970B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Vaquero et al. Attribute-based people search

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190118

R151 Written notification of patent or utility model registration

Ref document number: 6470503

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03