JP7318321B2 - Information processing device, information processing method, person search system, and person search method - Google Patents
Information processing device, information processing method, person search system, and person search method Download PDFInfo
- Publication number
- JP7318321B2 JP7318321B2 JP2019105625A JP2019105625A JP7318321B2 JP 7318321 B2 JP7318321 B2 JP 7318321B2 JP 2019105625 A JP2019105625 A JP 2019105625A JP 2019105625 A JP2019105625 A JP 2019105625A JP 7318321 B2 JP7318321 B2 JP 7318321B2
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- person
- control point
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、画像から人物の属性に関する特徴量を抽出する情報処理装置および情報処理方法と、上記情報処理装置を用いた人物検索システムと、上記情報処理方法を用いた人物検索方法とに関する。 The present invention relates to an information processing apparatus and information processing method for extracting a feature amount relating to attributes of a person from an image, a person search system using the information processing apparatus, and a person search method using the information processing method.
従来から、人物を撮影した画像を対象にして、人物を検索する技術が種々提案されている。例えば、特許文献1では、人物の全身像を含む入力画像から人物検索用の検索クエリを生成し、生成した検索クエリを用いて画像データベースにおいて検索を行い、その検索結果を表示するようにしている。
2. Description of the Related Art Conventionally, various techniques have been proposed for retrieving a person from an image of the person. For example, in
また、特許文献2では、複数の画像から、ゼッケン番号やユニホームの背番号をキーとして対象人物を検索する技術が開示されている。画像の顔領域から推定したボディ領域の重畳具合や、ゼッケン番号等の遮蔽状況に応じて、対象人物が最前面に映っている画像を抽出するようにしている。
Further,
さらに、特許文献3では、複数の撮影画像から、ユーザにとって適切な撮影画像を抽出する技術が開示されている。具体的には、顔、身長、位置関係、動作などの特定の条件をユーザに選択させ、それぞれをキーとして適切な画像を抽出している。例えば、「顔」が指定されれば、正面顔など顔を視認しやすい画像を抽出し、「身長」が指定されれば、三次元座標を取得するか、カメラの設置条件から身長を推定できる画像を抽出し、ユーザに表示するようにしている。
Further,
ところで、例えば監視カメラで撮影された画像では、不特定多数の人物が映り込んだり、人物が看板などの物体と重なることにより、人物の全身像の一部が遮蔽される可能性がある。特許文献1では、人物検索に関して、人物の全身像が遮蔽されることなく映っている画像を用いることが前提となっているため、人物の一部が遮蔽された画像を用いると、人物検索を高精度で行うことができない可能性があり、実運用上、人物検索に用いる画像が、人物の全身像の映った画像に制限される。 By the way, for example, in an image captured by a surveillance camera, there is a possibility that an unspecified number of people are captured, or a person overlaps with an object such as a signboard, so that a part of the full-body image of the person may be blocked. In Japanese Patent Laid-Open No. 2004-100001, it is assumed that an image in which a full-length image of a person is not blocked is used for person search. There is a possibility that it cannot be performed with high accuracy, and in actual operation, images used for person search are limited to images showing a full body image of a person.
また、特許文献2では、人物検索に関して、ゼッケン番号等の、検索対象の人物を特定できるアイテムが画像に含まれていることが前提となっており、それ以外の画像(例えば不特定多数の人物を含む画像)を用いた場合には、人物検索を行うことが困難となる。このため、人物検索に用いる画像が上記アイテムを含む画像に実質的に制限される。
Further, in
また、監視カメラでは、不特定多数の人物を斜め上方から撮影して画像が取得されるため、人物の顔が正面から映り込む画像を取得することが困難であり、人物の身長を推定できる画像を取得することも困難である。このため、特許文献3では、人物検索に関して、監視カメラで撮影された画像を利用することが困難であり、人物検索に用いる画像が正面像などを含む画像に実質的に制限される。
In addition, surveillance cameras obtain images by photographing an unspecified number of people obliquely from above, so it is difficult to obtain an image in which the person's face is reflected from the front. is also difficult to obtain. For this reason, in
本発明は、上記の問題点を解決するためになされたもので、その目的は、人物検索に用いる画像が特定の画像に制限されることを回避でき、高精度な人物検索を行うシステムに好適に用いることができる情報処理装置および情報処理方法と、その人物検索システムと、人物検索方法とを提供することにある。 The present invention has been made to solve the above problems, and its object is to avoid the limitation of images used for person search to specific images, and is suitable for a system that performs highly accurate person search. It is an object of the present invention to provide an information processing apparatus and information processing method, a person search system, and a person search method that can be used for
本発明の一側面に係る情報処理装置は、人物を撮影した画像から、前記人物の骨格を規定する点となる制御点の位置情報を含む制御点情報を取得する制御点情報取得部と、前記画像から、前記人物の属性に関する特徴量を含む特徴量情報を取得する特徴量情報取得部と、前記制御点情報と前記特徴量情報とに基づいて、前記特徴量の信頼性を示す確信度を決定する確信度決定部とを備えている。 An information processing apparatus according to one aspect of the present invention includes a control point information acquisition unit that acquires control point information including position information of control points that define a skeleton of the person from an image of the person; A feature amount information acquisition unit that acquires feature amount information including a feature amount related to attributes of the person from the image, and a certainty factor that indicates the reliability of the feature amount based on the control point information and the feature amount information. and a certainty determination unit for determining.
本発明の他の側面に係る人物検索システムは、上記の情報処理装置と、前記情報処理装置によって決定された前記特徴量の前記確信度を記憶するデータベースと、外部からの検索要求に対して、前記データベースに記憶された前記確信度に基づいて、検索条件に合致する特徴量を有する人物を検索する人物検索部と、前記人物検索部による検索結果を出力する検索結果出力部とを含む。 A person search system according to another aspect of the present invention includes the above information processing device, a database that stores the certainty of the feature amount determined by the information processing device, and in response to a search request from the outside, A person search unit that searches for a person having a feature amount that matches a search condition based on the certainty stored in the database, and a search result output unit that outputs a search result obtained by the person search unit.
本発明のさらに他の側面に係る情報処理方法は、人物を撮影した画像から、前記人物の骨格を規定する点となる制御点の位置情報を含む制御点情報を取得する制御点情報取得工程と、前記画像から、前記人物の属性に関する特徴量を含む特徴量情報を取得する特徴量情報取得工程と、前記制御点情報と前記特徴量情報とに基づいて、前記特徴量の信頼性を示す確信度を決定する確信度決定工程とを含む。 An information processing method according to still another aspect of the present invention includes a control point information acquiring step of acquiring control point information including position information of control points that define the skeleton of the person from an image of the person. a feature quantity information acquiring step of acquiring feature quantity information including a feature quantity relating to attributes of the person from the image; and confidence indicating reliability of the feature quantity based on the control point information and the feature quantity information. and a confidence determination step of determining the degree of confidence.
本発明のさらに他の側面に係る人物検索方法は、上記の情報処理方法を用いた人物検索方法であって、前記情報処理方法によって決定された前記特徴量の前記確信度をデータベースに記憶する記憶工程と、外部からの検索要求に対して、前記データベースに記憶された前記確信度に基づいて、検索条件に合致する特徴量を有する人物を検索する人物検索工程と、前記人物検索工程による検索結果を出力する検索結果出力工程とを含む。 A person search method according to still another aspect of the present invention is a person search method using the information processing method described above, wherein the certainty factor of the feature amount determined by the information processing method is stored in a database. a person search step of searching for a person having a feature quantity that matches a search condition based on the certainty stored in the database in response to a search request from the outside; and a search result of the person search step. and a search result output step of outputting.
人物を撮影した画像から取得される制御点情報と特徴量情報とに基づいて、人物の属性に関する特徴量の確信度を決定するため、例えば不特定多数の人物が映り込むことによって人物の全身像および顔の正面像の取得が困難であったり、人物の一部が隠れたりする可能性のある、監視カメラで取得された画像を用いても、上記画像から、人物検索を高精度で行うために必要な情報(確信度)を取得することができる。したがって、人物検索に用いる画像が、人物の全身像が映った画像等の特定の画像に制限されることを回避でき、高精度な人物検索を行うシステムに好適な情報処理装置および情報処理方法を実現することが可能となる。例えば、上記情報(確信度)をデータベースに記憶させれば、外部から送信される人物検索クエリに対して、検索条件に合致する特徴量を確信度の高い順に取り出して、該当する人物の検索を高精度で行うことが可能となる。 Based on the control point information and the feature amount information obtained from the photographed image of the person, in order to determine the degree of certainty of the feature amount related to the attributes of the person, for example, a full-body image of the person is obtained by capturing an unspecified number of persons. Also, even if it is difficult to obtain a frontal image of the face or a part of the person may be hidden, even using an image obtained by a surveillance camera, the person can be searched with high accuracy from the above image. necessary information (confidence) can be obtained. Therefore, an information processing apparatus and an information processing method that are suitable for a system that performs highly accurate person retrieval can be avoided from restricting the image used for person retrieval to a specific image such as an image showing a full-length image of a person. Realization is possible. For example, if the above information (certainty) is stored in a database, for a person search query sent from the outside, feature values that match the search conditions are extracted in descending order of certainty, and the corresponding person is retrieved. It becomes possible to perform with high accuracy.
本発明の各実施の形態について、図面に基づいて説明すれば、以下の通りである。なお、本発明は、以下の内容に限定されるわけではない。 Each embodiment of the present invention will be described below with reference to the drawings. In addition, the present invention is not limited to the following contents.
〔人物検索システム〕
図1は、本実施形態の人物検索システム1の概略の構成を示す説明図である。人物検索システム1は、カメラ2と、情報処理装置3と、人物検索装置4とを有して構成されている。カメラ2、情報処理装置3および人物検索装置4は、通信回線NWを介して相互に通信可能に接続されている。通信回線NWは、例えばケーブル、光ファイバー、有線LAN(Local Area Network)、無線LAN、インターネット回線などから適宜選択されて構成される。以下、カメラ2、情報処理装置3および人物検索装置4の詳細について説明する。
[Person search system]
FIG. 1 is an explanatory diagram showing a schematic configuration of a
(カメラ)
カメラ2は、例えば屋内外の商用施設や公共施設、店舗などの天井または壁に設置され、人物を上方から撮影して時間的に異なる各フレームの画像を取得するカメラ(画像取得部)で構成されている。本実施形態では、カメラ2として、例えば店舗内に設置される監視カメラを考える。また、カメラ2は、例えばR(赤)、G(緑)、B(青)に対応する画素を有するRGBカメラで構成される。RGBカメラでの撮影により、人物のカラー画像を取得することができる。
(camera)
The
なお、店舗などに設置されるカメラ2の台数は、特に限定されず、1台であってもよいし、2台以上であってもよい。少なくとも1台のカメラ2で取得された画像のデータは、通信回線NWを介して情報処理装置3に提供される。
The number of
(情報処理装置)
図2は、情報処理装置3の概略の構成を示すブロック図である。情報処理装置3は、カメラ2で取得されて該情報処理装置3に入力された画像、つまり、人物を上方から撮影した各フレームの画像から、人物検索に必要な情報(例えば後述する人物の属性に関する特徴量の確信度)を取得する端末装置であり、例えばパーソナルコンピュータで構成されている。情報処理装置3は、カメラ2が設置される店舗と同じ店舗内に設置されていてもよいし、店舗の外部に設置されてカメラ2と通信可能に接続されていてもよい。
(Information processing device)
FIG. 2 is a block diagram showing a schematic configuration of the
このような情報処理装置3は、入力部31と、記憶部32と、表示部33と、通信部34と、読取部35と、制御点情報取得部36と、特徴量情報取得部37と、確信度決定部38と、制御部39とを有して構成されている。
Such an
入力部31は、例えばキーボード、マウス、タッチパッド、タッチパネルなどで構成され、例えば情報処理装置3を操作する操作者による各種の指示入力を受け付ける。
The
記憶部32は、情報処理装置3の各部を動作させるための動作プログラム、カメラ2から入力された画像のデータ、制御点情報取得部36および特徴量情報取得部37で取得された情報(制御点情報、特徴量情報)などを記憶するメモリである。この記憶部32は、例えばハードディスクで構成されるが、RAM(Random Access Memory)、ROM(Read Only Memory)、光ディスク、光磁気ディスク、不揮発性メモリなどの記録媒体から適宜選択して構成されてもよい。
The
表示部33は、各種の情報を表示するデバイスであり、例えば液晶表示装置で構成される。通信部34は、外部と通信するための入出力ポートを含むインターフェースである。通信部34は、外部と無線通信を行う場合、アンテナ、送受信回路、変調回路、復調回路などを含んで構成される。
The
読取部35は、記録媒体Rに記録された情報(例えば制御部39の動作プログラム)を読み取る装置であり、例えばディスクドライブで構成される。なお、記録媒体Rが可搬型の不揮発性メモリである場合、上記不揮発性メモリの接続部が指し込まれる接続ポートも読取部35に含まれるとする。
The
制御部39は、情報処理装置3の各部の動作を制御する中央演算処理装置(CPU;Central Processing Unit)で構成されており、記憶部32に記憶された動作プログラムに従って動作する。
The
制御点情報取得部36および特徴量情報取得部37は、例えばGPU(Graphics Processing Unit)で構成されている。GPUは、リアルタイムな画像処理に特化した演算装置(プロセッサ)である。このように、制御点情報取得部36等をGPUで構成することにより、GPUにおいて畳み込み型ニューラルネットワーク(CNN;Convolutional Neural Network)などの機械学習が可能なニューラルネットワークを構築し、このニューラルネットワークを制御点情報取得部36および特徴量情報取得部37として機能させることができる。
The control point
制御点情報取得部36は、カメラ2で取得された画像、つまり、人物を撮影した画像から、制御点に関する情報(制御点情報)を取得する。ここで、制御点とは、画像中で人物の骨格を規定する点を指す。したがって、制御点には、人物の関節点(骨と骨とを連接する可動性の結合部)、頭蓋骨の中心点、手足の指の骨の先端の点などが含まれる。また、画像中で人物の目、鼻、耳の各位置も、人物の骨格(頭蓋骨の大きさや形状)を規定することから、制御点になり得る。
The control point
上記の制御点情報には、画像中での制御点の位置(2次元位置)を示す位置情報と、制御点の検出尤度(第1検出尤度)とが含まれる。第1検出尤度は、検出された制御点の確からしさを示す値(指標)である。制御点情報取得部36を構成するCNNを予め学習させておくことにより、入力された画像から、その画像に含まれる人物の各制御点の第1検出尤度を出力させることができる。
The control point information includes position information indicating the position (two-dimensional position) of the control point in the image and the detection likelihood (first detection likelihood) of the control point. The first detection likelihood is a value (index) indicating the probability of the detected control point. By preliminarily learning the CNN that constitutes the control point
特徴量情報取得部37は、人物を撮影した画像から、人物を囲む人物矩形を抽出するとともに、上記人物の属性に関する特徴量を含む特徴量情報を取得する。ここで、人物の属性としては、人物の年齢、年齢層、性別、被服、装着物、携帯物の少なくともいずれかを考えることができる。そして、人物の属性を年齢としたとき、人物の属性に関する特徴量としては、10歳、20歳、30歳などの具体的な年齢を考えることができる。また、人物の属性を年齢層としたとき、その特徴量としては、10代、20代、30代などの大まかな年齢区分を考えることができる。なお、年齢層は、子供/大人/老人などの区分であってもよい。
The feature amount
また、人物の属性を性別としたとき、その特徴量としては、男性/女性を考えることができる。なお、性別の判別が困難であるときは、男性/女性/その他(判別不可能)の区分としてもよい。人物の属性を被服としたとき、その特徴量としては、色、半袖/長袖、シャツ、トレーナー、ズボン、スカート、などを考えることができる。人物の属性を装着物としたとき、その特徴量としては、ネックレス、ブレスレット、眼鏡、帽子、などを考えることができる。人物の属性を携帯物としたとき、その特徴量としては、バッグ(ハンドタイプ、キャリータイプ)、傘、ペット、などを考えることができる。 Also, when the attribute of a person is gender, the feature amount can be male/female. When it is difficult to distinguish between genders, male/female/other (indistinguishable) classifications may be used. When the attribute of a person is clothes, the feature amount can be considered as color, short sleeve/long sleeve, shirt, sweatshirt, trousers, skirt, and the like. When the attribute of a person is an object to be worn, the feature amount can be a necklace, a bracelet, glasses, a hat, or the like. When the attribute of a person is a portable item, the feature amount can be a bag (hand type, carry type), an umbrella, a pet, and the like.
また、上記の特徴量情報には、人物の属性に関する上述の特徴量のほか、その特徴量の検出尤度(第2検出尤度)が含まれる。第2検出尤度は、検出された特徴量の確からしさを示す値(指標)である。特徴量情報取得部37を構成するCNNを予め学習させておくことにより、入力された画像から、その画像に含まれる人物の属性に関する特徴量の検出尤度を出力させることができる。
In addition, the feature amount information includes the feature amount related to the attributes of the person as well as the detection likelihood (second detection likelihood) of the feature amount. The second detection likelihood is a value (index) indicating the probability of the detected feature quantity. By pre-learning the CNN constituting the feature amount
確信度決定部38は、制御点情報取得部36によって取得された制御点情報と、特徴量情報取得部37によって取得された特徴量情報とに基づいて、特徴量の確信度を決定する。上記の確信度は、特徴量の信頼性を示す値(指標)である。このような確信度決定部38は、例えば制御部39と同一または別個のCPUで構成される。確信度決定部38によって決定された確信度の情報は、人物検索装置4に出力されてデータベース42(図3参照)に記憶される。なお、確信度決定部38が確信度を決定する処理の詳細については後述する。
The certainty
(人物検索装置)
図3は、人物検索装置4の概略の構成を示すブロック図である。人物検索装置4は、プログラム記憶部41と、データベース42と、人物検索部43と、検索結果出力部44と、制御部45とを有して構成されている。制御部45は、人物検索装置4の各部の動作を制御するCPUで構成されている。
(person search device)
FIG. 3 is a block diagram showing a schematic configuration of the
プログラム記憶部41は、制御部45の動作プログラムを記憶しており、例えばハードディスクで構成されている。データベース42は、情報処理装置3によって決定された特徴量の確信度を、各属性に関する特徴量ごとに記憶するメモリであり、例えばプログラム記憶部41と同じハードディスクで構成されている。また、データベース42は、上記確信度を、カメラ2の撮影場所および撮影日時に関する撮影情報とともに記憶している(図11参照)。
The
人物検索部43は、外部(例えばユーザ側の端末装置)からの検索要求(検索クエリの受信)に対して、データベース42に記憶された確信度に基づいて、検索条件に合致する特徴量を有する人物を検索する。このような人物検索部43は、制御部45と同一または別個のCPUで構成されている。
In response to a search request (receipt of a search query) from the outside (for example, a terminal device on the user side), the
検索結果出力部44は、人物検索部43によって検索された結果を出力する。特に、検索結果出力部44は、検索結果として、検索条件に合致する特徴量を有する人物を撮影したカメラ2の撮影情報を出力する。このような検索結果出力部44は、表示部44aおよび通信部44bを有して構成されている。表示部44aは、上記検索結果を表示するディスプレイ(例えば液晶表示装置)で構成されている。通信部44bは、上記検索結果の情報を外部(例えばユーザ側の端末装置)に送信するための通信インターフェースである。
The search result output unit 44 outputs the result searched by the
なお、人物検索装置4は、入力部等を有するパーソナルコンピュータで構成されてもよい。そして、ユーザは、上記入力部を操作することによって検索条件を入力してもよい。また、特徴量の確信度を記憶する上述のデータベース42は、人物検索装置4の外部に単独で設けられて、情報処理装置3および人物検索装置4と通信可能に接続されていてもよい。また、上述した情報処理装置3が人物検索装置4の各部の機能を有していてもよい(情報処理装置3は人物検索装置4と一体化されていてもよい)。
The
〔人物検索方法〕
次に、本実施形態の人物検索方法について説明する。図4は、本実施形態の人物検索方法による処理の流れを示すフローチャートである。例えば店舗に設置されたカメラ2により、店舗内の人物を撮影して複数フレーム分の画像が取得されると(S1)、各フレームの画像のデータが情報処理装置3に入力され、情報処理装置3によって情報処理工程(S2)が行われる。
[Person search method]
Next, a person search method according to this embodiment will be described. FIG. 4 is a flow chart showing the flow of processing by the person search method of this embodiment. For example, when a
すなわち、制御点情報取得部36は、人物を撮影した上記画像から制御点の位置情報および制御点の第1検出尤度を含む制御点情報を取得する(S21;制御点情報取得工程)。S21では、画像中に複数の人物が含まれている場合、各人物について上記の制御点情報が取得される。なお、制御点の第1検出尤度は、画像中での人物の映り方(全身を含む画像か全身の一部が切れた画像か)や他者との重なり具合い(相互の位置関係)によって制御点ごとに変動する(例えば図9の左図、図10の左図参照)。
That is, the control point
続いて、特徴量情報取得部37は、人物を撮影した上記画像から、人物の属性に関する特徴量および特徴量の第2検出尤度を含む特徴量情報を取得する(S22;特徴量情報取得工程)。S22では、特徴量情報取得部37は、人物の複数の属性の少なくとも1つについて、特徴量および第2検出尤度を取得する(例えば図9の中央の図、図10の中央の図参照)。
Subsequently, the feature amount
そして、確信度決定部38は、S21で取得された制御点情報と、S22で取得された特徴量情報とに基づいて、特徴量の確信度を決定する(S23;確信度決定工程)。なお、S22にて、複数の属性のそれぞれについて特徴量情報が取得された場合、S23では、複数の属性のそれぞれについて、特徴量の確信度が決定される(例えば図9の右図、図10の右図参照)。
Then, the
確信度決定部38によって特徴量の確信度が決定されると、上記確信度の情報は人物検索装置4に出力されてデータベース42に記憶される(S3;記憶工程)。そして、人物検索装置4が外部からの検索要求(検索クエリ)を受信すると(S4)、人物検索部43は上記検索要求に対して、データベース42に記憶された確信度に基づいて、検索条件に合致する特徴量を有する人物を検索する(S5;人物検索工程)。例えば、人物検索部43は、検索条件に合致する特徴量を、データベース42から確信度の高い順に抽出することにより、上記特徴量を有する人物を検索する。
When the certainty factor of the feature amount is determined by the certainty
その後、検索結果出力部44は、S5での検索結果を出力する(S6;検索結果出力工程)。例えば、検索結果出力部44の表示部44aは、上記の検索結果を表示し、通信部44bはユーザ側の端末装置に上記検索結果を示す情報を出力する。なお、上記の検索結果は、検索条件に合致する特徴量を有する人物の情報であり、ここでは、上記人物を撮影したカメラ2の撮影情報(撮影場所、撮影日時を示す情報)で上記人物の情報を代用する。
After that, the search result output unit 44 outputs the search result in S5 (S6; search result output step). For example, the
人物検索装置4が外部から次の検索クエリを受信した場合には(S7にてYes)、S5に戻って人物検索部43による人物検索をさらに行い、次の検索クエリを受信していなければ(S7にてNo)、一連の処理を終了する。
When the
〔確信度決定の基本的な考え方〕
次に、上記した情報処理装置3の確信度決定部38による確信度決定の基本的な考え方について説明する。図5は、不特定多数の人物が映り込んでいる画像の一例を示している。この画像において、人物矩形R1では、目的の人物の全身像が遮蔽されることなく映っている。このケースは、上記人物の属性に関する特徴量を取得するにあたって、他の人物や物体(看板など)の影響を受けることが全くないため、最も理想的な状態である。この場合、上記人物について取得される特徴量の信頼度は高いため、上記特徴量に基づいて人物検索を高精度に行うことができる。例えば「赤いシャツ」という特徴量を指定した検索クエリに対して、「赤いシャツ」を着た人物矩形R1の人物を高精度で見つけることができる。
[Basic concept of confidence determination]
Next, the basic idea of the certainty factor determination by the certainty
しかし、実際には、画像中に複数の人物が存在することにより、人物矩形R2のように、目的の人物(斜線で図示)の前に他者が映り込むことが頻発しやすい。この場合、前に映り込んだ他者の特徴量を目的の人物の特徴量として抽出してしまう可能性が高いため、特徴量に基づいて人物検索を高精度に行うことが困難となる。なお、人物は基本的に移動体であるため、常に重畳し続けているとは限らず、タイミングによっては、人物矩形R1のように理想的なケースに近づくこともあり得ることから、重畳の形態はフレームごとに異なることが多い。 However, in reality, due to the existence of a plurality of persons in the image, other persons are likely to appear in front of the target person (indicated by diagonal lines) as in the person rectangle R2. In this case, since there is a high possibility that the feature amount of the other person in front is extracted as the feature amount of the target person, it is difficult to perform a person search with high accuracy based on the feature amount. Since a person is basically a moving object, it is not always superimposed. often varies from frame to frame.
また、例えば、衣料品売り場を撮影した画像では、売り場にある「マネキン」や「展示衣服」が映っていると、これらを目的の人物または特徴量として誤検出してしまう可能性が高い。さらに、画像に「広告の被写体となっている人物」などが映っていると、この人物が目的の人物として誤検出される可能性もある。このように、画像において、実在の人物だけでなく、人物に近い物体や広告媒体の存在も、高精度な人物検索を妨げる要因となり得る。 Also, for example, in an image of a clothing store, if a "mannequin" or "clothes on display" in the store are captured, there is a high possibility that these will be erroneously detected as the target person or feature quantity. Furthermore, if the image includes "the person who is the subject of the advertisement," this person may be erroneously detected as the target person. In this way, in an image, not only the presence of a real person but also objects and advertising media that are close to the person can be factors that hinder highly accurate person retrieval.
そこで、本実施形態では、画像中の不特定多数の人物の位置関係に応じて、各人物の属性の特徴量の確信度を決定する。特に、人物が重畳していることを検知したフレームについては、画像中で他者の影響が反映される領域(他者と重なっている領域)から把握される属性の特徴量の確信度を低下させる。なお、不特定多数の人物の位置関係については、例えば制御点情報取得部36が各人物の制御点の位置情報に基づいて検出することができる。
Therefore, in the present embodiment, the degree of certainty of the attribute feature amount of each person is determined according to the positional relationship of an unspecified number of persons in the image. In particular, for frames in which it is detected that a person is superimposed, the reliability of the feature values of the attribute grasped from the area where the influence of the other person is reflected in the image (the area where the other person overlaps) is lowered. Let Note that the positional relationship among an unspecified number of persons can be detected, for example, by the control point
図6A~図6Cは、例として、画像中での2人の人物の位置関係を模式的に示している。なお、これらの図中、白丸は制御点の位置を示す(他の図面でも同様とする)。図6Aに示すように、2人の人物がほぼ重なり合っており、制御点の位置情報が1人分(手前の人物)についてのみ得られた場合、確信度決定部38は、手前の人物については、検出した特徴量の確信度を高い値に設定し、上記特徴量を人物検索用として採用する。
6A to 6C schematically show the positional relationship of two people in an image as an example. In these drawings, white circles indicate the positions of control points (the same applies to other drawings). As shown in FIG. 6A, two persons are almost overlapping each other, and if the control point position information is obtained only for one person (the person in the front), the
また、図6Bに示すように、2人の人物が一部で重なる場合、確信度決定部38は、手前の人物については、検出した特徴量の確信度を高い値に設定して、上記特徴量を人物検索用として採用する。一方、確信度決定部38は、奥の人物のうち、手前の人物と重なっている領域については、その領域から把握される属性に関する特徴量の確信度を低い値に設定して、上記特徴量を人物検索用として採用しないようにし、手前の人物と重なっていない他の領域については、その領域から把握される属性に関する特徴量の確信度を高い値に設定して、上記特徴量を人物検索用として採用する。
Further, as shown in FIG. 6B, when two persons partially overlap each other, the certainty
さらに、図6Cに示すように、2人の人物が重なっていない場合、確信度決定部38は、各々の人物について検出された特徴量の確信度を高い値に設定して、各々の人物についての上記特徴量を人物検索用として採用する。ただし、画像左下の人物については、下半身が映っておらず、第1検出尤度が低くなる見込みであるため、下半身の領域から抽出される特徴量を人物検索用として採用しない(下半身の領域と対応する属性に関する特徴量の確信度を下げる)。
Furthermore, as shown in FIG. 6C, when the two persons do not overlap each other, the
ここで、図7は、人物の属性と、属性に関する特徴量と、上記属性と関連する制御点の位置との関係を示している。例えば、性別、年齢、年齢層、上半身被服、装着物の一部(ネックレス)、携帯物の一部(バッグ(ハンドタイプ)、ペット)などの属性は、画像中の人物の上半身の領域の特徴を抽出することで検出されるため、上半身の領域に位置する制御点は、上記した性別等の属性と対応する(関連する)と言える。つまり、画像中で人物の上半身の領域は、性別等の属性の判断(属性に関する特徴量の検出)に大きな影響を及ぼす。このため、画像中で人物の上半身の領域が他者との重畳によって隠れると、上記属性に関する特徴量(例えば男性/女性)を高精度で検出することが困難となる。 Here, FIG. 7 shows the relationship between the attribute of a person, the feature amount related to the attribute, and the position of the control point associated with the attribute. For example, attributes such as gender, age, age group, upper body clothing, part of the wearer (necklace), part of the carrying (bag (hand type), pet) are the characteristics of the region of the upper body of the person in the image. is detected by extracting , it can be said that the control point positioned in the region of the upper body corresponds (is related to) the attribute such as gender described above. In other words, the region of the upper body of a person in an image has a great influence on determination of attributes such as gender (detection of feature amounts relating to attributes). Therefore, when the upper body region of a person is hidden in the image by being superimposed on another person, it becomes difficult to detect the feature amount (for example, male/female) related to the attribute with high accuracy.
そこで、本実施形態では、確信度決定部38は、画像中の人物の領域で他者と重畳する(隠れる)領域については、図7を参照して、重畳する領域中の制御点の位置と対応する属性に関する特徴量の確信度を低い値に設定する。一方、画像中の人物の領域で他者との重畳しない(隠れない)領域については、図7を参照して、上記領域中の制御点の位置と対応する属性に関する特徴量の確信度を高い値に設定する。なお、確信度をどの程度変動させるかは、制御点の第1検出尤度と特徴量の第2検出尤度とに基づいて決めることができる。なお、制御点の位置情報が不確定な場合は、上記制御点と対応する属性の特徴量の確信度をゼロにしてもよい。
Therefore, in the present embodiment, the
〔確信度決定の詳細について〕
次に、確信度決定部38による確信度の決定の詳細について説明する。図8は、店舗内の所定の場所に設置されたカメラ2(ID:1F South B)で撮影された各フレームの画像と、その画像から抽出(取得)される、人物の属性に関する特徴量とを例として示している。なお、カメラ2のID(識別情報)は、カメラ2の設置場所(撮影場所)を示す情報とする。また、図中のnは、時系列に並ぶフレームの番号を示す。図8では、画像内に2人の人物が映っており、各人物の位置が経時的に変化しているが、便宜上、奥に位置する人物(斜線のハッチングで示す)を“human=001”とし、手前の人物を“human=002”として、これらの人物を互いに区別する。
[Details of confidence determination]
Next, the details of determination of the certainty by the certainty
図8に示すように、本実施形態では、画像からの特徴量の抽出(取得)がフレーム単位で独立して行われる。なお、ここでは、人物同定処理(フレーム間で画像内の人物が同じ人物であるかどうかを判定する処理)を行っていないが、そのような処理を行ってもよい。なお、図8で示す各属性(Gender(性別)、Age(年齢)、Tops(上半身被服)、Bottoms(下半身被服))に関する特徴量のうち、特徴量取得部37によって検出される特徴量の尤度(第2検出尤度)が所定値以下である特徴量を“Unknown”(未知)で示す。
As shown in FIG. 8, in this embodiment, extraction (acquisition) of feature amounts from an image is performed independently for each frame. Although person identification processing (processing for determining whether or not the person in the image is the same person between frames) is not performed here, such processing may be performed. Note that the likelihood of the feature amount detected by the feature
図9は、0フレーム目(n=0)のhuman=001の人物に対して、制御点情報取得部36によって取得された制御点情報と、特徴量情報取得部37によって取得された特徴量情報とに基づいて、確信度決定部38が確信度を決定する処理を模式的に示している。ここでは、制御点情報取得部36が図9の左図で示すような第1検出尤度を持って各制御点(頭部等)の位置を検出し、特徴用情報取得部37が図9の中央の図で示すような第2検出尤度を持って人物の属性に関する特徴量を検出したとする。
FIG. 9 shows the control point information acquired by the control point
0フレーム目の画像では、human=001の人物の頭部、顔、上半身および腕が含まれていないため、図9の左図では、これらの制御点(例えば頭部、右手首、右肩、胸、左肩、左手首)の第1検出尤度は閾値Thよりも低くなっている(例えば第1検出尤度=0)。また、human=001の人物について、画像に含まれない頭部等から、図7で示した対応関係を有する属性(例えば性別、年齢層)に関する特徴量を精度よく認識することは困難であるため、検出された上記特徴量の信頼性は低いと考えられる。 Since the 0th frame image does not include the head, face, upper body, and arms of the person with human=001, these control points (for example, the head, right wrist, right shoulder, The first detection likelihood of the chest, left shoulder, left wrist) is lower than the threshold Th (for example, first detection likelihood=0). Also, for the person with human=001, it is difficult to accurately recognize the feature amount related to the attributes (e.g. gender, age group) having the correspondence shown in FIG. 7 from the head etc. not included in the image. , the reliability of the detected features is considered to be low.
そこで、この場合、確信度決定部38は、第1検出尤度が閾値Thよりも低い制御点と関連する属性の特徴量の確信度を、特徴量情報取得部37によって取得された上記属性の特徴量の第2検出尤度よりも低い値に設定する。図9の右図では、性別、年齢層、上半身被服、装着物(帽子有無、眼鏡有無)、携帯物(バック(ハンドタイプ)有無)に関する特徴量の確信度が、図9の中央の図の特徴量の第2検出尤度よりも低い値に設定されていることがわかる。なお、性別、年齢層、携帯物(バッグ有無)などの属性に関して、場合によっては、人物の下半身に情報を持っていることがあるため、確信度決定部38はこれらの属性の特徴量の確信度を完全にゼロには下げず、ある程度の値を残しておく(図9の右図参照)。
Therefore, in this case, the
一方、human=001の人物について、下半身の制御点(腰、右膝、左膝等)の第1検出尤度は高いため、下半身被服については、検出された特徴量の信頼度が高いと判断することができる。このため、確信度決定部38は、下半身被服に関する特徴量の確信度を相対的に高い値に設定する(図9の右図参照)。例えば、確信度決定部38は、上記特徴量の確信度を、特徴量情報取得部37によって検出された特徴量の第2検出尤度と同等の高い値に決定する。
On the other hand, for the person with human = 001, the first detection likelihood of the control points of the lower body (waist, right knee, left knee, etc.) is high. can do. Therefore, the certainty
このようにして確信度決定部38が決定した特徴量の確信度は、人物検索装置4のデータベース42に、カメラ2の撮影情報(撮影日時、撮影場所を含む)とともに、特徴量ごとに登録(記憶)されていく。
The certainty of the feature determined by the
また、図10は、図8の2フレーム目(n=2)のhuman=001の人物に対して、制御点情報取得部36によって取得された制御点情報と、特徴量情報取得部37によって取得された特徴量情報とに基づいて、確信度決定部38が確信度を決定する処理を模式的に示している。ここでは、制御点情報取得部36が図10の左図で示すような第1検出尤度を持って各制御点の位置を検出し、特徴用情報取得部37が図10の中央の図で示すような第2検出尤度を持って人物の属性に関する特徴量を検出したとする。
FIG. 10 shows the control point information acquired by the control point
2フレーム目の画像では、human=001の人物の一部がhuman=002の人物によって隠れている。制御点情報取得部36は、検出した各人物の制御点の位置情報から、各人物の頭位置や胴体バランスを考慮して、human=001の人物とhuman=002の人物とが重なっていることを検出することができる。このため、human=001の人物に関しては、制御点の第1検出尤度に他者(human=002の人物)による隠れの情報が反映されている。すなわち、human=001の人物の胸、右手首、左手首、腰をそれぞれ示す各制御点の第1検出尤度は、human=002の人物との重なりを考慮して低い値となっている。
In the image of the second frame, a part of the person of human=001 is hidden by the person of human=002. The control point
一方、図10の中央の図で示すように、human=001の人物について、属性に関する特徴量の第2検出尤度は、各属性ともに高くなっている。ただし、特徴量情報取得部37は、人物の重なりを考慮せずに画像から特徴量を抽出するため、human=001の人物において、human=002の人物と重なっている領域から把握される属性(例えば上半身被服、下半身被服、携帯物(バッグ))に関する特徴量は、human=002の人物の特徴量が反映されている可能性が高い。この結果、上記属性について特徴量の第2検出尤度が高くなっていると考えられる。
On the other hand, as shown in the middle diagram of FIG. 10, for the person of human=001, the second detection likelihood of the attribute-related feature amount is high for each attribute. However, since the feature amount
なお、画像中でhuman=001の人物とhuman=002の人物とが重なっている場合、画像から抽出した特徴量が、human=001の人物の特徴量であるか、human=002の人物の特徴量であるかを区別することは一般的には困難である。例えばhuman=001の人物が黒い服を着ている場合、この黒い服を、human=002の人物の黒い頭または黒い帽子と見分けるのは難易度が高い。また、人物画像がプリントされたTシャツをhuman=001の人物が着用している場合は、このTシャツ(上半身被服)をhuman=002の人物の頭部と区別することも困難である。 In addition, when the person of human=001 and the person of human=002 overlap in the image, the feature amount extracted from the image is the feature amount of the person of human=001 or the feature of the person of human=002. It is generally difficult to distinguish whether it is a quantity or not. For example, if the person with human=001 wears black clothes, it is difficult to distinguish this black clothes from the black head or black hat of the person with human=002. Also, when a person with human=001 wears a T-shirt printed with a person image, it is difficult to distinguish this T-shirt (upper body clothing) from the head of the person with human=002.
そこで、制御点情報に基づいて、画像中でhuman=001の人物がhuman=002の人物と重なっていることが制御点情報取得部36によって検出されたとき、確信度決定部38は、画像中でhuman=002の人物によって隠れているhuman=001の人物の領域の制御点と関連する属性(図7参照)の特徴量の確信度を、特徴量情報取得部37によって取得された上記属性の特徴量の第2検出尤度よりも低い値に設定する。図10の右図では、human=001の人物の上半身および下半身の一部がhuman=002の人物によって隠れているため、隠れた上半身および下半身の制御点と関連する属性(例えば上半身被服、下半身被服、携帯物(バッグ))の特徴量の確信度を、特徴量情報取得部37によって取得された上記属性の特徴量の第2検出尤度よりも低い値に設定した状態を示している。設定した特徴量の確信度は、カメラ2の撮影情報とともにデータベース42に随時記憶される。
Therefore, based on the control point information, when the control point
図11は、データベース42に記憶される情報の一例を示している。データベース42には、カメラ2の撮影情報とともに、人物の属性(図11では例として、性別、年齢層、上半身被服を図示)に関する特徴量ごとに、確信度が記憶されている。例えば撮影日時が「2019/3/31 15:32」では、human=001の人物について、顔および上半身が画像に含まれていないため、性別に関する特徴量の確信度が、図9の中央の図の特徴量の第2検出尤度よりも低い値に設定されていることがわかる。
FIG. 11 shows an example of information stored in the
〔人物との重畳以外のケースにおける確信度の決定について〕
図12は、店舗内のカメラ2での撮影によって取得された画像の一例を示している。店舗内で撮影された画像では、人物矩形R3のように、店舗内の商品棚101や物品102などで人物が隠れる可能性が高い。この場合、確信度決定部38は、人物において商品棚101等で隠れていない領域のみ、上記領域中の制御点の位置と対応する属性に関する特徴量の確信度を高い値に設定し、商品棚101等で隠れている領域中の制御点の位置と対応する属性に関する特徴量の確信度を低い値に設定することが望ましい。なお、人物が商品棚101等で隠れているか否かは、人物の制御点の第1検出尤度に基づいて制御点情報取得部36が検出することができる。なお、人物の隠れが起きていないシーン(例えば人物が商品棚101等のない通路に出たシーン)の画像を選択して、該当人物の属性の特徴量を取得するようにしても勿論構わない。また、人物の隠れを生じさせる物体としては、上記の商品棚101や物品102だけでなく、広告、看板(例えば店舗入り口などに設置)、吊り看板(店内に吊るされている広告など)なども考えられる。
[Regarding determination of certainty in cases other than superimposition with a person]
FIG. 12 shows an example of an image captured by the
また、図13Aおよび図13Bは、画像中で人物が前向きおよび後ろ向きである状態をそれぞれ示している。なお、これらの図中、Lは「左」を示し、Rは「右」を示す。人物の各制御点の位置から、左右(例えば右肩と左肩)を特定できる場合、画像中の人物の向き(前向き/後ろ向き)を推測することができる。一般的に、人物の属性としての性別や年齢は、顔画像を用いると精度よく認識することができ、人物が後ろ向きの状態では顔画像を取得できないため、人物の性別や年齢を推測することが困難となる。したがって、制御点情報に基づいて、画像から人物が後ろ向きであることを制御点情報取得部36が検出した場合、確信度決定部38は、性別や年齢に関する特徴量の確信度を低い値に設定してもよい。なお、画像から顔領域を検出して顔らしさを判定し、その判定結果に基づいて人物が後ろ向きであるか否かを判定してもよい。
Also, FIGS. 13A and 13B respectively show the state in which the person is facing forward and backward in the image. In these figures, L indicates "left" and R indicates "right". If left and right (for example, right shoulder and left shoulder) can be specified from the position of each control point of the person, the orientation (forward/backward) of the person in the image can be estimated. In general, the gender and age as attributes of a person can be accurately recognized using a face image, and since the face image cannot be obtained when the person is facing backward, it is difficult to estimate the person's sex and age. becomes difficult. Therefore, when the control point
〔確信度を決定する処理のまとめ〕
本実施形態では、以上で述べた種々のケースを考慮して、以下のようにして確信度を決定する。すなわち、図4のS23で示した確信度決定工程は、以下のようにまとめることができる。図14は、確信度決定工程の詳細を示すフローチャートである。
[Summary of processing for determining certainty]
In this embodiment, considering the various cases described above, the confidence factor is determined as follows. That is, the certainty factor determination step shown in S23 of FIG. 4 can be summarized as follows. FIG. 14 is a flow chart showing the details of the certainty determination process.
まず、制御点情報取得部36が制御点情報(制御点の位置、第1検出尤度)に基づいて、対象人物の前に他者が重畳している可能性があることを検出した場合には(S101にてYes)、確信度決定部38は、上述したように、重畳している領域と関連する属性の特徴量の確信度を、特徴量情報取得部37によって取得された上記属性に関する特徴量の第2検出尤度よりも低い値に設定し(S102)、S103に移行する。なお、対象人物とは、特徴量の確信度を決定する対象となる人物を指す。
First, when the control point
対象人物の前に他者が重畳している可能性がなく(S101にてNo)、制御点情報取得部36が検出した対象人物の制御点に、第1検出尤度が閾値Thよりも低い制御点が含まれている場合には(S103にてYes)、確信度決定部38は、第1検出尤度の低い上記制御点と関連する属性の特徴量の確信度を、特徴量情報取得部37によって取得された上記属性に関する特徴量の第2検出尤度よりも低い値に設定し(S104)、S105に移行する。
There is no possibility that another person is superimposed in front of the target person (No in S101), and the control point of the target person detected by the control point
対象人物の制御点に、第1検出尤度が閾値Thよりも低い制御点が含まれておらず(S103にてNo)、対象人物が後ろを向いていることを制御点情報取得部36が検出した場合には(S105にてYes)、確信度決定部38は、対象人物の顔部と関連する属性(例えば性別、年齢)の特徴量の確信度を、特徴量情報取得部37によって取得された上記属性の特徴量の第2検出尤度よりも低い値に設定し(S106)、S107に移行する。
The control points of the target person do not include control points with the first detection likelihood lower than the threshold Th (No in S103), and the control point
対象人物が後ろを向いておらず(S105にてNo)、対象人物の制御点の前に物体があることを制御点情報取得部36が検出した場合には(S107にてYes)、確信度決定部38は、物体と重畳している上記制御点と関連する属性の特徴量の確信度を、特徴量情報取得部37によって取得された上記属性の特徴量の第2検出尤度よりも低い値に設定し(S108)、確信度決定に関する一連の処理を終了する。なお、対象人物の制御点の前に物体がない場合も(S105にてNo)、一連の処理を終了する。
When the target person is not facing back (No at S105) and the control point
〔効果〕
以上のように、本実施形態では、確信度決定部38は、人物を撮影した画像から取得される制御点情報と特徴量情報とに基づいて、人物の属性に関する特徴量の確信度を決定する。これにより、例えば、不特定多数の人物が映り込むことによって対象人物の一部しか画像に映っていなかったり、画像中で対象人物が他者または他の物体と重なっていたり、対象人物の顔が正面から映っていない場合であっても、そのような画像から、人物検索を高精度で行うために必要な情報(確信度)を取得することができる。したがって、人物検索に用いる画像として、不特定多数の人物が映り込む可能性のある、監視カメラで撮影された画像を用いることができ、人物検索に用いる画像が、人物の全身像が映った画像や正面から顔が映った画像等の特定の画像に制限されることを回避することができる。
〔effect〕
As described above, in the present embodiment, the certainty
また、特徴量の確信度を決定することで、その確信度に基づいて高精度な人物検索を行うことが可能となる。つまり、本実施形態のように、特徴量の確信度をデータベース42に記憶させることで(図11参照)、人物検索部43は外部から送信される人物検索クエリに対して、検索条件に合致する特徴量を確信度の高い順に取り出して、該当する人物の検索を高精度で行うことが可能となる。したがって、高精度な人物検索を行う人物検索システム1に好適な情報処理装置3および情報処理方法を実現することが可能となる。
Further, by determining the degree of certainty of the feature amount, it is possible to perform a highly accurate person search based on the degree of certainty. In other words, as in the present embodiment, by storing the certainty of the feature amount in the database 42 (see FIG. 11), the
また、制御点情報取得部36が取得する制御点情報は、制御点の位置情報に加えて、制御点の第1検出尤度を含み、特徴量情報取得部37が取得する特徴量情報は、属性に関する特徴量に加えて、上記特徴量の第2検出尤度を含む。この場合、確信度決定部38は、制御点の第1検出尤度および特徴量の第2検出尤度を考慮して特徴量の確信度を決定することができるため、例えば、第1検出尤度の高い制御点と関連する属性については、特徴量の第2検出尤度と同等の値に確信度を設定し、第1検出尤度の低い制御点と関連する属性については、特徴量の第2検出尤度よりも低い値に確信度を設定することができる。これにより、第1検出尤度の高い制御点と関連する属性についての特徴量と、第1検出尤度の低い制御点と関連する属性についての特徴量とで確信度に差を持たせて、確信度に基づく人物検索をより高精度に行うことが可能となる。
Further, the control point information acquired by the control point
また、確信度決定部38は、対象人物が他の人物と重なっていることが制御点情報取得部によって検出されたときに、画像中で他の人物によって隠れている対象人物の領域の制御点と関連する属性の特徴量の確信度を、特徴量情報取得部37によって取得された上記属性の特徴量の第2検出尤度よりも低い値に設定する(図8、図10、図14のS101、S102参照)。画像中で他の人物によって隠れている対象人物の領域は、他の人物の属性の影響を大きく受けるため、対象人物の属性に関する特徴量として、誤った特徴量が取得されやすい。したがって、対象人物の上記領域の制御点と関連する属性の特徴量の確信度を低い値に設定することにより、例えばデータベース42に確信度の低い値を登録して、人物検索時に、上記特徴量を持つ人物が引っ掛からないようにすることができ、これによって高精度な検索を行うことが確実に可能となる。
Further, when the control point information acquisition unit detects that the target person overlaps with another person, the
また、確信度決定部38は、第1検出尤度が閾値Thよりも低い制御点と関連する属性の特徴量の確信度を、特徴量情報取得部37によって取得された上記属性の特徴量の第2検出尤度よりも低い値に設定する(図8、図9、図14のS103、S104参照)。例えば画像中で頭部が映っていない人物については、頭部を示す制御点の第1検出尤度は閾値Thよりも低い値で検出される。したがって、確信度決定部38は、人物の頭部と関連する属性(例えば性別、年齢)の特徴量の確信度を低い値に設定することにより、例えばデータベース42に確信度の低い値を登録して、人物検索時に、上記特徴量を持つ人物(性別、年齢等について特徴量の信頼性が低い人物)が引っ掛からないようにすることができ、高精度な検索を行うことが確実に可能となる。
In addition, the certainty
また、確信度決定部38は、画像中で人物が後ろを向いていることが制御点情報取得部36によって検出されたときに、人物の顔部と関連する属性の特徴量の確信度を、特徴量情報取得部37によって取得された上記属性の特徴量の第2検出尤度よりも低い値に設定する(図13B、図14のS105、S106参照)。例えば画像中で後ろを向いている人物については、人物の顔部と関連する属性(例えば性別、年齢層、装着物)の特徴量(例えば男性/女性、子供/大人/老人、眼鏡有無)を画像から取得することが困難である。この場合に、確信度決定部38は、人物の顔部と関連する属性の特徴量の確信度を低い値に設定することにより、例えばデータベース42に確信度の低い値を登録して、人物検索時に、上記特徴量を持つ人物(性別等について特徴量の信頼性が低い人物)が引っ掛からないようにすることができ、高精度な人物検索を行うことが確実に可能となる。
Further, when the control point
また、確信度決定部38は、人物が人物以外の物体と重なっていることが制御点情報取得部36によって検出されたときに、画像中で物体によって隠れている人物の領域の制御点と関連する属性の特徴量の確信度を、特徴量情報取得部37によって取得された上記属性の特徴量の第2検出尤度よりも低い値に設定する(図12、図14のS107、S108参照)。画像中で物体によって隠れている人物の領域は、物体の影響(例えば図12では商品棚101や物品102の色の影響)を大きく受けるため、人物の属性に関する特徴量として、誤った特徴量が取得されやすい(例えば物品102の色が被服の色として検出されやすい)。したがって、人物の上記領域の制御点と関連する属性の特徴量の確信度を低い値に設定することにより、例えばデータベース42に確信度の低い値を登録して、人物検索時に、上記特徴量を持つ人物(例えば被服の色が物品102と同じ色である誤った人物)が引っ掛からないようにすることができ、高精度な人物検索を行うことが確実に可能となる。
Further, when the control point
また、本実施形態では、人物の属性は、人物の年齢、年齢層、性別、被服、装着物、携帯物の少なくともいずれかである。特徴量情報取得部37が人物の年齢等の属性に関する特徴量情報を取得し、確信度決定部38が上記属性に関する特徴量の確信度を決定する構成において、上述した本実施形態の効果を得ることができる。
In addition, in this embodiment, the attributes of a person are at least one of age, age group, sex, clothing, wear, and belongings of the person. In the configuration in which the feature amount
また、本実施形態の人物検索システム1は、上述した本実施形態の情報処理装置3と、データベース42と、人物検索部43と、検索結果出力部44とを含む。この人物検索システム1によれば、ユーザは、検索結果出力部44から出力される検索結果に基づいて、検索条件に合致する人物の有無を把握することができる。
The
また、本実施形態の人物システム1はカメラ2を含み、データベース42は特徴量の確信度をカメラ2の撮影場所および撮影日時に関する撮影情報とともに記憶する。そして、検索結果出力部44は、検索結果として、検索条件に合致する特徴量を有する人物を撮影したカメラ2の撮影情報を出力する(図4のS6参照)。これにより、ユーザは、出力される撮影情報に基づいて、検索条件に合致する人物が存在していた場所(カメラ2の撮影場所と同じ)および時間を把握することができる。
Also, the
また、検索結果出力部44は表示部44aを含む。この場合、ユーザは、表示部44aに表示される検索結果を見て、検索条件に合致する人物の情報(存在場所および時間)を容易に把握することができる。
The search result output unit 44 also includes a
〔その他〕
図15A~図15Dは、人物と物体とが重なっている画像の例を模式的に示している。なお、これらの図中、人物または物体の領域を矩形の枠で示す。システムによっては、人物以外の物体を検出する機能を併せ持つ場合がある。この場合、人物において物体と重なっている領域および重なっていない領域を検出して、各領域から把握される属性に関する特徴量の確信度を決定するとともに、人物と物体との関係を検出(推測)してもよい。例えば、人物が車に乗っている(図15A参照)、歩いている人物の横を車が走っている(図15B参照)、人物の手前に植栽がある(図15C参照)、人物が動物をつれて散歩している(図15D参照)、などを検出してもよい。その他、人物がカートを押している、人物がエスカレータに乗っている、などを検出することも可能である。
〔others〕
15A to 15D schematically show examples of images in which a person and an object overlap. In these drawings, regions of persons or objects are indicated by rectangular frames. Some systems also have a function of detecting objects other than people. In this case, areas where the person overlaps with the object and areas where the object does not overlap are detected, and the degree of certainty of the feature value related to the attribute grasped from each area is determined, and the relationship between the person and the object is detected (estimated). You may For example, a person is in a car (see FIG. 15A), a car is running next to a walking person (see FIG. 15B), there is a plant in front of the person (see FIG. 15C), and the person is an animal. (see FIG. 15D), etc. may be detected. In addition, it is also possible to detect that a person is pushing a cart, that a person is on an escalator, and the like.
なお、商用施設や公共施設では、複数台のカメラが設置されていることが多く、同時刻に撮影された複数のカメラ画像において、カメラによっては理想的な映りの画像(人物が物体で遮蔽されていない画像)が得られる場合と、そうではない画像(人物が物体で遮蔽されている画像)が得られる場合とがある。後者の場合、各カメラ画像において物体の遮蔽の影響を受けていないフレームについてのみ、特徴量の確信度を決定してデータベースに記憶させてもよい。また、ユーザ側から検索クエリを受信して対象人物を検索する際には、上記確信度に基づいて、複数のカメラ画像を横断して(複数のカメラ画像にまたがって)人物を検索してもよく、人物が物体で遮蔽されたフレームを時系列的に間引いた残りのフレームの画像を対象として人物を検索してもよい。 In addition, commercial facilities and public facilities often have multiple cameras installed, and among the multiple camera images taken at the same time, depending on the camera, the image may not be ideal (a person may be blocked by an object). In some cases, an image without the object is obtained, and an image in which the person is blocked by an object is obtained. In the latter case, the certainty factor of the feature amount may be determined and stored in the database only for the frames that are not affected by the shielding of the object in each camera image. Further, when a search query is received from the user side and a target person is searched, the person can be searched across multiple camera images (across multiple camera images) based on the certainty factor. Often, a person may be searched for by targeting images of remaining frames obtained by thinning frames in which the person is blocked by an object in time series.
〔プログラムおよび記録媒体〕
本実施形態で説明した情報処理装置3は、例えば、所定のプログラム(アプリケーションソフトウェア)をインストールしたコンピュータ(PC)で構成することができる。上記プログラムをコンピュータ(例えばCPUとしての制御部39)が読み取って実行することにより、情報処理装置3の各部を動作させて上述した各処理(各工程)を実行させることができる。このようなプログラムは、例えばネットワークを介して外部からダウンロードすることによって取得されて記憶部32に記憶される。また、上記プログラムは、例えばCD-ROM(Compact Disk-Read Only Memory)などのコンピュータ読取可能な記録媒体Rに記録され、この記録媒体Rから上記プログラムをコンピュータが読み取って記憶部32に記憶する形態であってもよい。
[Program and recording medium]
The
<補足>
以上で説明した本実施形態の情報処理装置、人物検索システム、情報処理方法、人物検索方法は、以下のように表現することもできる。
<Supplement>
The information processing apparatus, the person search system, the information processing method, and the person search method of this embodiment described above can also be expressed as follows.
1.人物を撮影した画像から、前記人物の骨格を規定する点となる制御点の位置情報を含む制御点情報を取得する制御点情報取得部と、
前記画像から、前記人物の属性に関する特徴量を含む特徴量情報を取得する特徴量情報取得部と、
前記制御点情報と前記特徴量情報とに基づいて、前記特徴量の信頼性を示す確信度を決定する確信度決定部とを備えていることを特徴とする情報処理装置。
1. a control point information acquisition unit that acquires control point information including position information of control points that define the skeleton of the person from an image of the person;
a feature amount information acquisition unit that acquires feature amount information including a feature amount related to attributes of the person from the image;
An information processing apparatus, comprising: a certainty factor determination unit that determines a certainty factor indicating reliability of the feature amount based on the control point information and the feature amount information.
2.前記制御点情報は、前記制御点の位置情報に加えて、前記制御点の検出尤度を示す第1検出尤度を含み、
前記特徴量情報は、前記特徴量に加えて、前記特徴量の検出尤度を示す第2検出尤度を含むことを特徴とする前記1に記載の情報処理装置。
2. The control point information includes, in addition to the position information of the control point, a first detection likelihood indicating the detection likelihood of the control point,
2. The information processing apparatus according to 1, wherein the feature amount information includes a second detection likelihood indicating a detection likelihood of the feature amount in addition to the feature amount.
3.前記制御点情報取得部は、前記制御点情報に基づいて、前記画像中で複数の前記人物が重なっているか否かを検出し、
前記確信度決定部は、前記確信度を決定する対象となる対象人物が他の人物と重なっていることが前記制御点情報取得部によって検出されたときに、前記画像中で前記他の人物によって隠れている前記対象人物の領域の制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得部によって取得された前記属性の前記特徴量の前記第2検出尤度よりも低い値に設定することを特徴とする前記2に記載の情報処理装置。
3. The control point information acquisition unit detects whether or not the plurality of persons overlap in the image based on the control point information,
When the control point information acquisition unit detects that the target person for whom the confidence level is to be determined overlaps with another person, the certainty factor determination unit is configured to A value lower than the second detection likelihood of the feature amount of the attribute acquired by the feature amount information acquisition unit, as a certainty factor of the feature amount of the attribute associated with the control point of the target person's hidden area. 3. The information processing apparatus according to the above 2, characterized in that it is set to .
4.前記確信度決定部は、前記第1検出尤度が閾値よりも低い制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得部によって取得された前記属性の前記特徴量の前記第2検出尤度よりも低い値に設定することを特徴とする前記2または3に記載の情報処理装置。 4. The certainty factor determining unit determines the certainty factor of the feature amount of the attribute associated with the control point for which the first detection likelihood is lower than a threshold value of the feature amount of the attribute acquired by the feature amount information acquiring unit. 4. The information processing apparatus according to 2 or 3 above, wherein a value lower than the second detection likelihood is set.
5.前記制御点情報取得部は、前記制御点情報に基づいて、前記画像中で前記人物が後ろを向いているか否かを検出し、
前記確信度決定部は、前記画像中で前記人物が後ろを向いていることが前記制御点情報取得部によって検出されたときに、前記人物の顔部と関連する属性の特徴量の確信度を、前記特徴量情報取得部によって取得された前記属性の前記特徴量の前記第2検出尤度よりも低い値に設定することを特徴とする前記2から4のいずれかに記載の情報処理装置。
5. The control point information acquisition unit detects whether or not the person is facing backward in the image based on the control point information,
The certainty determination unit determines the certainty of a feature amount of an attribute related to the face of the person when the control point information acquisition unit detects that the person is facing backward in the image. 5. The information processing apparatus according to any one of 2 to 4, wherein the feature amount of the attribute acquired by the feature amount information acquisition unit is set to a value lower than the second detection likelihood.
6.前記制御点情報取得部は、前記制御点情報に基づいて、前記画像中で前記人物が人物以外の物体と重なっているか否かを検出し、
前記確信度決定部は、前記人物が前記物体と重なっていることが前記制御点情報取得部によって検出されたときに、前記画像中で前記物体によって隠れている前記人物の領域の制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得部によって取得された前記属性の前記特徴量の前記第2検出尤度よりも低い値に設定することを特徴とする前記2から5のいずれかに記載の情報処理装置。
6. The control point information acquisition unit detects whether or not the person overlaps with an object other than the person in the image based on the control point information,
When the control point information acquisition unit detects that the person overlaps with the object, the certainty determination unit associates the control point with the control point of the area of the person hidden by the object in the image. 5, wherein the reliability of the feature amount of the attribute to be set to a value lower than the second detection likelihood of the feature amount of the attribute acquired by the feature amount information acquisition unit. The information processing device according to any one of the above.
7.前記人物の属性は、前記人物の年齢、年齢層、性別、被服、装着物、携帯物の少なくともいずれかであることを特徴とする前記1から6のいずれかに記載の情報処理装置。 7. 7. The information processing apparatus according to any one of 1 to 6, wherein the attribute of the person is at least one of the person's age, age group, sex, clothing, wear, and carrying item.
8.前記1から7のいずれかに記載の情報処理装置と、
前記情報処理装置によって決定された前記特徴量の前記確信度を記憶するデータベースと、
外部からの検索要求に対して、前記データベースに記憶された前記確信度に基づいて、検索条件に合致する特徴量を有する人物を検索する人物検索部と、
前記人物検索部による検索結果を出力する検索結果出力部とを含むことを特徴とする人物検索システム。
8. 8. The information processing device according to any one of 1 to 7;
a database that stores the certainty factor of the feature value determined by the information processing device;
a person search unit that searches for a person having a feature amount that matches a search condition, based on the certainty stored in the database, in response to a search request from the outside;
A person search system, comprising: a search result output unit that outputs a search result obtained by the person search unit.
9.前記画像を取得して、前記画像のデータを前記情報処理装置に提供するカメラをさらに含み、
前記データベースは、前記特徴量の前記確信度を、前記カメラの撮影場所および撮影日時に関する撮影情報とともに記憶し、
前記検索結果出力部は、前記検索結果として、前記検索条件に合致する特徴量を有する前記人物を撮影した前記カメラの前記撮影情報を出力することを特徴とする前記8に記載の人物検索システム。
9. further comprising a camera that acquires the image and provides data of the image to the information processing device;
The database stores the certainty factor of the feature amount together with shooting information related to the shooting location and shooting date and time of the camera,
9. The person search system according to 8 above, wherein the search result output unit outputs, as the search result, the photographing information of the camera that has photographed the person having a feature amount that matches the search condition.
10.前記検索結果出力部は、前記検索結果を表示する表示部を含むことを特徴とする前記8または9に記載の人物検索システム。 10. 10. The person search system according to 8 or 9 above, wherein the search result output unit includes a display unit that displays the search result.
11.人物を撮影した画像から、前記人物の骨格を規定する点となる制御点の位置情報を含む制御点情報を取得する制御点情報取得工程と、
前記画像から、前記人物の属性に関する特徴量を含む特徴量情報を取得する特徴量情報取得工程と、
前記制御点情報と前記特徴量情報とに基づいて、前記特徴量の信頼性を示す確信度を決定する確信度決定工程とを含むことを特徴とする情報処理方法。
11. a control point information acquisition step of acquiring control point information including position information of control points that define the skeleton of the person from an image of the person;
A feature amount information acquiring step of acquiring feature amount information including a feature amount related to attributes of the person from the image;
An information processing method, comprising: determining a certainty factor indicating reliability of the feature amount based on the control point information and the feature amount information.
12.前記制御点情報は、前記制御点の位置情報に加えて、前記制御点の検出尤度を示す第1検出尤度を含み、
前記特徴量情報は、前記特徴量に加えて、前記特徴量の検出尤度を示す第2検出尤度を含むことを特徴とする前記11に記載の情報処理方法。
12. The control point information includes, in addition to the position information of the control point, a first detection likelihood indicating the detection likelihood of the control point,
12. The information processing method according to 11 above, wherein the feature amount information includes, in addition to the feature amount, a second detection likelihood indicating a detection likelihood of the feature amount.
13.前記制御点情報取得工程では、前記制御点情報に基づいて、前記画像中で複数の前記人物が重なっているか否かを検出し、
前記確信度決定工程では、前記確信度を決定する対象となる対象人物が他の人物と重なっていることが前記制御点情報取得工程で検出されたときに、前記画像中で前記他の人物によって隠れている前記対象人物の領域の制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得工程で取得された前記属性の前記特徴量の前記第2検出尤度よりも低い値に設定することを特徴とする前記12に記載の情報処理方法。
13. In the control point information acquisition step, based on the control point information, it is detected whether or not the plurality of persons overlap in the image;
In the certainty factor determination step, when it is detected in the control point information acquiring step that the target person whose certainty factor is to be determined overlaps with another person, A value lower than the second detection likelihood of the feature amount of the attribute acquired in the feature amount information acquisition step, as a certainty factor of the feature amount of the attribute associated with the control point of the hidden area of the target person. 13. The information processing method according to 12 above, characterized in that the setting is set to .
14.前記確信度決定工程では、前記第1検出尤度が閾値よりも低い制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得工程で取得された前記属性の前記特徴量の前記第2検出尤度よりも低い値に設定することを特徴とする前記12または13に記載の情報処理方法。 14. In the certainty factor determination step, the certainty factor of the feature amount of the attribute associated with the control point for which the first detection likelihood is lower than a threshold is determined as the feature amount of the attribute acquired in the feature amount information acquiring step. 14. The information processing method according to 12 or 13 above, wherein the second detection likelihood is set to a lower value.
15.前記制御点情報取得工程では、前記制御点情報に基づいて、前記画像中で前記人物が後ろを向いているか否かを検出し、
前記確信度決定工程では、前記画像中で前記人物が後ろを向いていることが前記制御点情報取得工程で検出されたときに、前記人物の顔部と関連する属性の特徴量の確信度を、前記特徴量情報取得工程で取得された前記属性の前記特徴量の前記第2検出尤度よりも低い値に設定することを特徴とする前記12から14のいずれかに記載の情報処理方法。
15. In the control point information obtaining step, based on the control point information, it is detected whether or not the person is facing backward in the image;
In the certainty factor determination step, when the control point information acquisition step detects that the person is facing backward in the image, the certainty factor of the feature amount of the attribute related to the face of the person is determined. 15. The information processing method according to any one of 12 to 14, wherein the second detection likelihood of the feature amount of the attribute acquired in the feature amount information acquiring step is set to a value lower than the second detection likelihood.
16.前記制御点情報取得工程では、前記制御点情報に基づいて、前記画像中で前記人物が人物以外の物体と重なっているか否かを検出し、
前記確信度決定工程では、前記人物が前記物体と重なっていることが前記制御点情報取得工程で検出されたときに、前記画像中で前記物体によって隠れている前記人物の領域の制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得工程で取得された前記属性の前記特徴量の前記第2検出尤度よりも低い値に設定することを特徴とする前記12から15のいずれかに記載の情報処理方法。
16. In the control point information acquiring step, based on the control point information, it is detected whether or not the person overlaps with an object other than the person in the image;
In the certainty factor determination step, when it is detected in the control point information acquisition step that the person overlaps with the object, a control point of an area of the person hidden by the object in the image is associated with a control point. 15, characterized in that the certainty of the feature amount of the attribute to be set to a value lower than the second detection likelihood of the feature amount of the attribute acquired in the feature amount information acquisition step. The information processing method according to any one of the above.
17.前記人物の属性は、前記人物の年齢、年齢層、性別、被服、装着物、携帯物の少なくともいずれかであることを特徴とする前記11から16のいずれかに記載の情報処理方法。 17. 17. The information processing method according to any one of 11 to 16, wherein the attribute of the person is at least one of the person's age, age group, sex, clothing, wear, and carrying item.
18.前記11から17のいずれかに記載の情報処理方法を用いた人物検索方法であって、
前記情報処理方法によって決定された前記特徴量の前記確信度をデータベースに記憶する記憶工程と、
外部からの検索要求に対して、前記データベースに記憶された前記確信度に基づいて、検索条件に合致する特徴量を有する人物を検索する人物検索工程と、
前記人物検索工程による検索結果を出力する検索結果出力工程とを含むことを特徴とする人物検索方法。
18. 18. A person search method using the information processing method according to any one of 11 to 17,
a storage step of storing in a database the certainty factor of the feature value determined by the information processing method;
a person search step of searching for a person having a feature amount that matches a search condition in response to a search request from the outside, based on the certainty stored in the database;
and a search result output step of outputting search results obtained by the person search step.
19.前記検索結果出力工程では、前記検索結果として、前記検索条件に合致する特徴量を有する前記人物を撮影したカメラの撮影場所および撮影日時に関する撮影情報を出力することを特徴とする前記18に記載の人物検索方法。 19. 19. The above-described item 18, wherein in the search result outputting step, as the search result, photographing information regarding a photographing location and a photographing date and time of a camera that photographed the person having the feature quantity that matches the search condition is output. People search method.
20.前記検索結果出力工程では、前記検索結果を表示部に表示させることを特徴とする前記18または19に記載の人物検索方法。 20. 20. The person search method according to 18 or 19, wherein, in the search result output step, the search result is displayed on a display unit.
また、本実施形態のプログラムおよび記録媒体は、以下のように表現することもできる。 Moreover, the program and recording medium of this embodiment can also be expressed as follows.
21.前記11から17のいずれかに記載の情報処理方法をコンピュータに実行させるためのプログラム。 21. 18. A program for causing a computer to execute the information processing method according to any one of 11 to 17 above.
22.前記21に記載のプログラムを記録した、コンピュータ読取可能な記録媒体。 22. 22. A computer-readable recording medium recording the program according to 21 above.
以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で拡張または変更して実施することができる。 Although the embodiments of the present invention have been described above, the scope of the present invention is not limited thereto, and can be implemented by being expanded or modified without departing from the gist of the invention.
本発明は、データベースに登録された情報を用いて人物検索を行うシステムに利用可能である。 INDUSTRIAL APPLICABILITY The present invention can be used for a system that searches for a person using information registered in a database.
1 人物検索システム
2 カメラ
3 情報処理装置
36 制御点情報取得部
37 特徴量情報取得部
38 確信度決定部
42 データベース
43 人物検索部
44 検索結果出力部
44a 表示部
1
Claims (18)
前記画像から、前記人物の属性に関する特徴量を含む特徴量情報を取得する特徴量情報取得部と、
前記制御点情報と前記特徴量情報とに基づいて、前記特徴量の信頼性を示す確信度を決定する確信度決定部とを備え、
前記制御点情報は、前記制御点の位置情報に加えて、前記制御点の検出尤度を示す第1検出尤度を含み、
前記特徴量情報は、前記特徴量に加えて、前記特徴量の検出尤度を示す第2検出尤度を含み、
前記制御点情報取得部は、前記制御点情報に基づいて、前記画像中で複数の前記人物が重なっているか否かを検出し、
前記確信度決定部は、前記確信度を決定する対象となる対象人物が他の人物と重なっていることが前記制御点情報取得部によって検出されたときに、前記画像中で前記他の人物によって隠れている前記対象人物の領域の制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得部によって取得された前記属性の前記特徴量の前記第2検出尤度よりも低い値に設定することを特徴とする情報処理装置。 a control point information acquisition unit that acquires control point information including position information of control points that define the skeleton of the person from an image of the person;
a feature amount information acquisition unit that acquires feature amount information including a feature amount related to attributes of the person from the image;
a certainty factor determination unit that determines a certainty factor indicating reliability of the feature amount based on the control point information and the feature amount information ,
The control point information includes, in addition to the position information of the control point, a first detection likelihood indicating the detection likelihood of the control point,
The feature amount information includes, in addition to the feature amount, a second detection likelihood indicating the detection likelihood of the feature amount,
The control point information acquisition unit detects whether or not the plurality of persons overlap in the image based on the control point information,
When the control point information acquisition unit detects that the target person for whom the confidence level is to be determined overlaps with another person, the certainty factor determination unit is configured to A value lower than the second detection likelihood of the feature amount of the attribute acquired by the feature amount information acquisition unit, as a certainty factor of the feature amount of the attribute associated with the control point of the target person's hidden area. An information processing device characterized in that it is set to
前記画像から、前記人物の属性に関する特徴量を含む特徴量情報を取得する特徴量情報取得部と、a feature amount information acquisition unit that acquires feature amount information including a feature amount related to attributes of the person from the image;
前記制御点情報と前記特徴量情報とに基づいて、前記特徴量の信頼性を示す確信度を決定する確信度決定部とを備え、a certainty factor determination unit that determines a certainty factor indicating reliability of the feature amount based on the control point information and the feature amount information,
前記制御点情報は、前記制御点の位置情報に加えて、前記制御点の検出尤度を示す第1検出尤度を含み、The control point information includes, in addition to the position information of the control point, a first detection likelihood indicating the detection likelihood of the control point,
前記特徴量情報は、前記特徴量に加えて、前記特徴量の検出尤度を示す第2検出尤度を含み、The feature amount information includes, in addition to the feature amount, a second detection likelihood indicating the detection likelihood of the feature amount,
前記確信度決定部は、前記第1検出尤度が閾値よりも低い制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得部によって取得された前記属性の前記特徴量の前記第2検出尤度よりも低い値に設定することを特徴とする情報処理装置。The certainty factor determining unit determines the certainty factor of the feature amount of the attribute associated with the control point for which the first detection likelihood is lower than a threshold value of the feature amount of the attribute acquired by the feature amount information acquiring unit. An information processing apparatus characterized by setting a value lower than a second detection likelihood.
前記画像から、前記人物の属性に関する特徴量を含む特徴量情報を取得する特徴量情報取得部と、a feature amount information acquisition unit that acquires feature amount information including a feature amount related to attributes of the person from the image;
前記制御点情報と前記特徴量情報とに基づいて、前記特徴量の信頼性を示す確信度を決定する確信度決定部とを備え、a certainty factor determination unit that determines a certainty factor indicating reliability of the feature amount based on the control point information and the feature amount information,
前記制御点情報は、前記制御点の位置情報に加えて、前記制御点の検出尤度を示す第1検出尤度を含み、The control point information includes, in addition to the position information of the control point, a first detection likelihood indicating the detection likelihood of the control point,
前記特徴量情報は、前記特徴量に加えて、前記特徴量の検出尤度を示す第2検出尤度を含み、The feature amount information includes, in addition to the feature amount, a second detection likelihood indicating the detection likelihood of the feature amount,
前記制御点情報取得部は、前記制御点情報に基づいて、前記画像中で前記人物が後ろを向いているか否かを検出し、The control point information acquisition unit detects whether or not the person is facing backward in the image based on the control point information,
前記確信度決定部は、前記画像中で前記人物が後ろを向いていることが前記制御点情報取得部によって検出されたときに、前記人物の顔部と関連する属性の特徴量の確信度を、前記特徴量情報取得部によって取得された前記属性の前記特徴量の前記第2検出尤度よりも低い値に設定することを特徴とする情報処理装置。The certainty determination unit determines the certainty of a feature amount of an attribute related to the face of the person when the control point information acquisition unit detects that the person is facing backward in the image. and setting the feature amount of the attribute acquired by the feature amount information acquiring unit to a value lower than the second detection likelihood.
前記画像から、前記人物の属性に関する特徴量を含む特徴量情報を取得する特徴量情報取得部と、a feature amount information acquisition unit that acquires feature amount information including a feature amount related to attributes of the person from the image;
前記制御点情報と前記特徴量情報とに基づいて、前記特徴量の信頼性を示す確信度を決定する確信度決定部とを備え、a certainty factor determination unit that determines a certainty factor indicating reliability of the feature amount based on the control point information and the feature amount information,
前記制御点情報は、前記制御点の位置情報に加えて、前記制御点の検出尤度を示す第1検出尤度を含み、The control point information includes, in addition to the position information of the control point, a first detection likelihood indicating the detection likelihood of the control point,
前記特徴量情報は、前記特徴量に加えて、前記特徴量の検出尤度を示す第2検出尤度を含み、The feature amount information includes, in addition to the feature amount, a second detection likelihood indicating the detection likelihood of the feature amount,
前記制御点情報取得部は、前記制御点情報に基づいて、前記画像中で前記人物が人物以外の物体と重なっているか否かを検出し、The control point information acquisition unit detects whether or not the person overlaps with an object other than the person in the image based on the control point information,
前記確信度決定部は、前記人物が前記物体と重なっていることが前記制御点情報取得部によって検出されたときに、前記画像中で前記物体によって隠れている前記人物の領域の制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得部によって取得された前記属性の前記特徴量の前記第2検出尤度よりも低い値に設定することを特徴とする情報処理装置。When the control point information acquisition unit detects that the person overlaps with the object, the certainty determination unit associates the control point with the control point of the area of the person hidden by the object in the image. The information processing apparatus, wherein the certainty factor of the feature quantity of the attribute to be determined is set to a value lower than the second detection likelihood of the feature quantity of the attribute acquired by the feature quantity information acquisition unit.
前記情報処理装置によって決定された前記特徴量の前記確信度を記憶するデータベースと、a database that stores the certainty factor of the feature value determined by the information processing device;
外部からの検索要求に対して、前記データベースに記憶された前記確信度に基づいて、検索条件に合致する特徴量を有する人物を検索する人物検索部と、a person search unit that searches for a person having a feature amount that matches a search condition, based on the certainty stored in the database, in response to a search request from the outside;
前記人物検索部による検索結果を出力する検索結果出力部とを含むことを特徴とする人物検索システム。A person search system, comprising: a search result output unit that outputs a search result obtained by the person search unit.
前記データベースは、前記特徴量の前記確信度を、前記カメラの撮影場所および撮影日時に関する撮影情報とともに記憶し、The database stores the certainty factor of the feature amount together with shooting information related to the shooting location and shooting date and time of the camera,
前記検索結果出力部は、前記検索結果として、前記検索条件に合致する特徴量を有する前記人物を撮影した前記カメラの前記撮影情報を出力することを特徴とする請求項6に記載の人物検索システム。7. The person search system according to claim 6, wherein the search result output unit outputs, as the search result, the photographing information of the camera that has photographed the person having a feature amount that matches the search condition. .
前記画像から、前記人物の属性に関する特徴量を含む特徴量情報を取得する特徴量情報取得工程と、A feature amount information acquiring step of acquiring feature amount information including a feature amount related to attributes of the person from the image;
前記制御点情報と前記特徴量情報とに基づいて、前記特徴量の信頼性を示す確信度を決定する確信度決定工程とを含み、a certainty factor determination step of determining a certainty factor indicating the reliability of the feature amount based on the control point information and the feature amount information;
前記制御点情報は、前記制御点の位置情報に加えて、前記制御点の検出尤度を示す第1検出尤度を含み、The control point information includes, in addition to the position information of the control point, a first detection likelihood indicating the detection likelihood of the control point,
前記特徴量情報は、前記特徴量に加えて、前記特徴量の検出尤度を示す第2検出尤度を含み、The feature amount information includes, in addition to the feature amount, a second detection likelihood indicating the detection likelihood of the feature amount,
前記制御点情報取得工程では、前記制御点情報に基づいて、前記画像中で複数の前記人物が重なっているか否かを検出し、In the control point information acquisition step, based on the control point information, it is detected whether or not the plurality of persons overlap in the image;
前記確信度決定工程では、前記確信度を決定する対象となる対象人物が他の人物と重なっていることが前記制御点情報取得工程で検出されたときに、前記画像中で前記他の人物によって隠れている前記対象人物の領域の制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得工程で取得された前記属性の前記特徴量の前記第2検出尤度よりも低い値に設定することを特徴とする情報処理方法。In the certainty factor determination step, when it is detected in the control point information acquiring step that the target person whose certainty factor is to be determined overlaps with another person, A value lower than the second detection likelihood of the feature amount of the attribute acquired in the feature amount information acquisition step, as a certainty factor of the feature amount of the attribute associated with the control point of the hidden area of the target person. An information processing method characterized by setting
前記画像から、前記人物の属性に関する特徴量を含む特徴量情報を取得する特徴量情報取得工程と、A feature amount information acquiring step of acquiring feature amount information including a feature amount related to attributes of the person from the image;
前記制御点情報と前記特徴量情報とに基づいて、前記特徴量の信頼性を示す確信度を決定する確信度決定工程とを含み、a certainty factor determination step of determining a certainty factor indicating the reliability of the feature amount based on the control point information and the feature amount information;
前記制御点情報は、前記制御点の位置情報に加えて、前記制御点の検出尤度を示す第1検出尤度を含み、The control point information includes, in addition to the position information of the control point, a first detection likelihood indicating the detection likelihood of the control point,
前記特徴量情報は、前記特徴量に加えて、前記特徴量の検出尤度を示す第2検出尤度を含み、The feature amount information includes, in addition to the feature amount, a second detection likelihood indicating the detection likelihood of the feature amount,
前記確信度決定工程では、前記第1検出尤度が閾値よりも低い制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得工程で取得された前記属性の前記特徴量の前記第2検出尤度よりも低い値に設定することを特徴とする情報処理方法。In the certainty factor determination step, the certainty factor of the feature amount of the attribute associated with the control point for which the first detection likelihood is lower than a threshold is determined as the feature amount of the attribute acquired in the feature amount information acquiring step. An information processing method characterized by setting a value lower than the second detection likelihood.
前記画像から、前記人物の属性に関する特徴量を含む特徴量情報を取得する特徴量情報取得工程と、A feature amount information acquiring step of acquiring feature amount information including a feature amount related to attributes of the person from the image;
前記制御点情報と前記特徴量情報とに基づいて、前記特徴量の信頼性を示す確信度を決定する確信度決定工程とを含み、a certainty factor determination step of determining a certainty factor indicating the reliability of the feature amount based on the control point information and the feature amount information;
前記制御点情報は、前記制御点の位置情報に加えて、前記制御点の検出尤度を示す第1検出尤度を含み、The control point information includes, in addition to the position information of the control point, a first detection likelihood indicating the detection likelihood of the control point,
前記特徴量情報は、前記特徴量に加えて、前記特徴量の検出尤度を示す第2検出尤度を含み、The feature amount information includes, in addition to the feature amount, a second detection likelihood indicating the detection likelihood of the feature amount,
前記制御点情報取得工程では、前記制御点情報に基づいて、前記画像中で前記人物が後ろを向いているか否かを検出し、In the control point information obtaining step, based on the control point information, it is detected whether or not the person is facing backward in the image;
前記確信度決定工程では、前記画像中で前記人物が後ろを向いていることが前記制御点情報取得工程で検出されたときに、前記人物の顔部と関連する属性の特徴量の確信度を、前記特徴量情報取得工程で取得された前記属性の前記特徴量の前記第2検出尤度よりも低い値に設定することを特徴とする情報処理方法。In the certainty factor determination step, when the control point information acquisition step detects that the person is facing backward in the image, the certainty factor of the feature amount of the attribute related to the face of the person is determined. and setting a value lower than the second detection likelihood of the feature amount of the attribute acquired in the feature amount information acquiring step.
前記画像から、前記人物の属性に関する特徴量を含む特徴量情報を取得する特徴量情報取得工程と、A feature amount information acquiring step of acquiring feature amount information including a feature amount related to attributes of the person from the image;
前記制御点情報と前記特徴量情報とに基づいて、前記特徴量の信頼性を示す確信度を決定する確信度決定工程とを含み、a certainty factor determination step of determining a certainty factor indicating the reliability of the feature amount based on the control point information and the feature amount information;
前記制御点情報は、前記制御点の位置情報に加えて、前記制御点の検出尤度を示す第1検出尤度を含み、The control point information includes, in addition to the position information of the control point, a first detection likelihood indicating the detection likelihood of the control point,
前記特徴量情報は、前記特徴量に加えて、前記特徴量の検出尤度を示す第2検出尤度を含み、The feature amount information includes, in addition to the feature amount, a second detection likelihood indicating the detection likelihood of the feature amount,
前記制御点情報取得工程では、前記制御点情報に基づいて、前記画像中で前記人物が人物以外の物体と重なっているか否かを検出し、In the control point information acquiring step, based on the control point information, it is detected whether or not the person overlaps with an object other than the person in the image;
前記確信度決定工程では、前記人物が前記物体と重なっていることが前記制御点情報取得工程で検出されたときに、前記画像中で前記物体によって隠れている前記人物の領域の制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得工程で取得された前記属性の前記特徴量の前記第2検出尤度よりも低い値に設定することを特徴とする情報処理方法。In the certainty factor determination step, when it is detected in the control point information acquisition step that the person overlaps with the object, a control point of an area of the person hidden by the object in the image is associated with a control point. setting a certainty factor of the feature amount of the attribute to be lower than the second detection likelihood of the feature amount of the attribute acquired in the feature amount information acquiring step.
前記情報処理方法によって決定された前記特徴量の前記確信度をデータベースに記憶する記憶工程と、a storage step of storing in a database the certainty factor of the feature value determined by the information processing method;
外部からの検索要求に対して、前記データベースに記憶された前記確信度に基づいて、検索条件に合致する特徴量を有する人物を検索する人物検索工程と、a person search step of searching for a person having a feature amount that matches a search condition in response to a search request from the outside, based on the certainty stored in the database;
前記人物検索工程による検索結果を出力する検索結果出力工程とを含むことを特徴とする人物検索方法。and a search result output step of outputting search results obtained by the person search step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019105625A JP7318321B2 (en) | 2019-06-05 | 2019-06-05 | Information processing device, information processing method, person search system, and person search method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019105625A JP7318321B2 (en) | 2019-06-05 | 2019-06-05 | Information processing device, information processing method, person search system, and person search method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020198053A JP2020198053A (en) | 2020-12-10 |
JP7318321B2 true JP7318321B2 (en) | 2023-08-01 |
Family
ID=73649248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019105625A Active JP7318321B2 (en) | 2019-06-05 | 2019-06-05 | Information processing device, information processing method, person search system, and person search method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7318321B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023286202A1 (en) * | 2021-07-14 | 2023-01-19 | 日本電気株式会社 | Information processing device, display method, and non-transitory computer readable medium on which program is stored |
JP7459151B2 (en) * | 2021-08-13 | 2024-04-01 | キヤノン株式会社 | Information processing device, information processing system, information processing method, and program |
WO2023017723A1 (en) * | 2021-08-13 | 2023-02-16 | キヤノン株式会社 | Information processing device, information processing system, information processing method, and program |
CN115641359B (en) * | 2022-10-17 | 2023-10-31 | 北京百度网讯科技有限公司 | Method, device, electronic equipment and medium for determining movement track of object |
WO2024150430A1 (en) * | 2023-01-13 | 2024-07-18 | 日本電信電話株式会社 | Image processing device, image processing method, and image processing program |
WO2024176376A1 (en) * | 2023-02-22 | 2024-08-29 | シャープNecディスプレイソリューションズ株式会社 | Information processing device and information processing method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017017808A1 (en) | 2015-07-29 | 2017-02-02 | 株式会社日立製作所 | Image processing system, image processing method, and storage medium |
JP2017041022A (en) | 2015-08-18 | 2017-02-23 | キヤノン株式会社 | Information processor, information processing method and program |
JP2019074945A (en) | 2017-10-17 | 2019-05-16 | 株式会社日立製作所 | Apparatus and method for online recognition and setting screen used therefor |
-
2019
- 2019-06-05 JP JP2019105625A patent/JP7318321B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017017808A1 (en) | 2015-07-29 | 2017-02-02 | 株式会社日立製作所 | Image processing system, image processing method, and storage medium |
JP2017041022A (en) | 2015-08-18 | 2017-02-23 | キヤノン株式会社 | Information processor, information processing method and program |
JP2019074945A (en) | 2017-10-17 | 2019-05-16 | 株式会社日立製作所 | Apparatus and method for online recognition and setting screen used therefor |
Non-Patent Citations (1)
Title |
---|
Zhe Cao et al,OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields,arXiv,2018年12月18日,https://arxiv.org/pdf/1812.08008v1.pdf |
Also Published As
Publication number | Publication date |
---|---|
JP2020198053A (en) | 2020-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7318321B2 (en) | Information processing device, information processing method, person search system, and person search method | |
CN109670591B (en) | Neural network training method and image matching method and device | |
US10621779B1 (en) | Artificial intelligence based generation and analysis of 3D models | |
US20210166290A1 (en) | Fashion preference analysis | |
US10964078B2 (en) | System, device, and method of virtual dressing utilizing image processing, machine learning, and computer vision | |
US11138420B2 (en) | People stream analysis method, people stream analysis apparatus, and people stream analysis system | |
US9811762B2 (en) | Clothing matching system and method | |
CN108229559B (en) | Clothing detection method, clothing detection device, electronic device, program, and medium | |
JP4198951B2 (en) | Group attribute estimation method and group attribute estimation apparatus | |
US8861801B2 (en) | Facial image search system and facial image search method | |
JP6069565B1 (en) | RECOMMENDATION DEVICE, RECOMMENDATION METHOD, AND PROGRAM | |
US11475500B2 (en) | Device and method for item recommendation based on visual elements | |
EP3745352A1 (en) | Methods and systems for determining body measurements and providing clothing size recommendations | |
JP7529088B2 (en) | Information processing system, information processing method, and program | |
JP2010262425A (en) | Computer execution method for recognizing and classifying clothes | |
JP2024041796A (en) | Information processor | |
CN108764998A (en) | Intelligence displaying device and intelligent methods of exhibiting | |
CN103198461A (en) | Image processing apparatus, image processing method, and program | |
JP2020016696A (en) | Information provision program | |
US20190172114A1 (en) | Methods of capturing images and making garments | |
JP2019109843A (en) | Classification device, classification method, attribute recognition device, and machine learning device | |
US20200210714A1 (en) | Determination device and computer program product | |
KR20140107734A (en) | Virtual fitting method and system | |
JP2012079348A (en) | Person specification device, person specification method, and person specification program | |
US11803615B2 (en) | Generating 3D training data from 2D images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230703 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7318321 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |