JP6159491B1 - 人物画特定システム、人物画特定方法及びプログラム - Google Patents

Abstract

【課題】人物画に描かれた人物を特定することが可能な人物画特定システム、人物画特定方法及びプログラムを提供することを目的とする。【解決手段】人物画に描かれた人物を特定する人物画特定システム１は、人物画の人物画データの入力を受け付け、複数人の異なる人物データを格納し、受け付けた人物画の特徴点を画像解析で抽出し、抽出した特徴点を、人物データと照合し、照合した結果から、人物画に描かれた人物を特定し、特定した結果を、特定度に応じた確率と一緒に表示する。【選択図】図１

Description

本発明は、人物画に描かれた人物を特定する人物画特定システム、人物画特定方法及びプログラムに関する。

従来、カメラ等の撮像装置により撮像した撮像画像を、画像解析することにより、この撮像画像に映っている人物を特定することが行われている。このような人物の特定は、個人の特定、生体認証等の様々な場面で行われる。また、このような人物の特定を利用することにより、撮像画像に映っている人物を特定し、この人物が映っている他の画像を特定する構成が開示されている。

このような人物の特定の利用方法として、検索条件とするキー画像を画像解析し、このキー画像に映っている人物の人物ＩＤを特定する。この人物ＩＤが付与されたクラスタを特定することにより、キー画像に映っている人物と同一のクラスタに属する人物が映っている画像を選抜する構成が開示されている（特許文献１参照）。

特開２０１１−１０７９９７号公報

しかしながら、特許文献１の構成では、実在の人物を撮像した撮像画像に対して有効であるものの、実在の人物を描いた人物画に描かれた人物を特定することは困難であった。

本発明の目的は、人物画に描かれた人物を特定することが可能な人物画特定システム、人物画特定方法及びプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、人物画に描かれた人物を特定する人物画特定システムであって、
前記人物画の人物画データの入力を受け付ける受付手段と、
複数人の異なる人物データを格納する記憶手段と、
前記受け付けた人物画の特徴点を画像解析で抽出する抽出手段と、
前記抽出した特徴点を、前記人物データと照合する照合手段と、
前記照合した結果から、前記人物画に描かれた人物を特定する特定手段と、
前記特定した結果を、特定度に応じた確率と一緒に表示する表示手段と、
を備えることを特徴とする人物画特定システムを提供する。

第１の特徴に係る発明によれば、人物画に描かれた人物を特定する人物画特定システムは、前記人物画の人物画データの入力を受け付け、複数人の異なる人物データを格納し、前記受け付けた人物画の特徴点を画像解析で抽出し、前記抽出した特徴点を、前記人物データと照合し、前記照合した結果から、前記人物画に描かれた人物を特定し、前記特定した結果を、特定度に応じた確率と一緒に表示する。

ここで、第１の特徴に係る発明は、人物画特定システムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

第２の特徴に係る発明は、前記異なる人物データが、異なる人物画データである、
ことを特徴とする第１の特徴に係る発明である人物画特定システムを提供する。

第２の特徴に係る発明によれば、第１の特徴に係る発明である人物画特定システムは、前記異なる人物データが、異なる人物画データである。

第３の特徴に係る発明は、前記異なる人物データが、異なる撮像画像データである、
ことを特徴とする第１の特徴に係る発明である人物画特定システムを提供する。

第３の特徴に係る発明によれば、第１の特徴に係る発明である人物画特定システムは、前記異なる人物データが、異なる撮像画像データである。

第４の特徴に係る発明は、前記異なる人物データが、異なる人物画データ及び異なる撮像画像データであって、
前記照合手段が、前記抽出した特徴点と照合するデータが、前記異なる人物画データであるか、前記異なる撮像画像データであるかに応じて照合手順を変更する、
ことを特徴とする第１の特徴に係る発明である人物画特定システムを提供する。

第４の特徴に係る発明によれば、第１の特徴に係る発明である人物画特定システムは、前記異なる人物データが、異なる人物画データ及び異なる撮像画像データであって、前記抽出した特徴点と照合するデータが、前記異なる人物画データであるか、前記異なる撮像画像データであるかに応じて照合手順を変更する。

第５の特徴に係る発明は、前記抽出手段が、前記受け付けた人物画データの各部位の特徴量を抽出し、
前記照合手段が、前記抽出した各部位の特徴量を、前記格納した人物データの同じ部位と照合する、
ことを特徴とする第１の特徴に係る発明である人物画特定システムを提供する。

第５の特徴に係る発明によれば、第１の特徴に係る発明である人物画特定システムは、前記受け付けた人物画データの各部位の特徴量を抽出し、前記抽出した各部位の特徴量を、前記格納した人物データの同じ部位と照合する。

第６の特徴に係る発明は、前記表示手段が、前記各部位毎に、其々の特定度に応じた確率を表示する、
ことを特徴とする第５の特徴に係る発明である人物画特定システムを提供する。

第６の特徴に係る発明によれば、第５の特徴に係る発明である人物画特定システムは、前記各部位毎に、其々の特定度に応じた確率を表示する。

第７の特徴に係る発明は、前記表示手段が、前記特定した人物が複数人いる場合に、其々の特定度に応じた確率を一緒に表示する、
ことを特徴とする第１の特徴に係る発明である人物画特定システムを提供する。

第７の特徴に係る発明によれば、第１の特徴に係る発明である人物画特定システムは、前記特定した人物が複数人いる場合に、其々の特定度に応じた確率を一緒に表示する。

第８の特徴に係る発明は、前記表示手段が、前記人物を特定した根拠を表示する、
ことを特徴とする第１の特徴に係る発明である人物画特定システムを提供する。

第８の特徴に係る発明によれば、第１の特徴に係る発明である人物画特定システムは、前記人物を特定した根拠を表示する。

第９の特徴に係る発明は、前記表示手段が、前記特定した人物の属性情報を表示する、
ことを特徴とする第１の特徴に係る発明である人物画特定システムを提供する。

第９の特徴に係る発明によれば、第１の特徴に係る発明である人物画特定システムは、前記特定した人物の属性情報を表示する。

第１０の特徴に係る発明は、人物画に描かれた人物を特定する人物画特定方法であって、
前記人物画の人物画データの入力を受け付けるステップと、
複数人の異なる人物データを格納するステップと、
前記受け付けた人物画の特徴点を画像解析で抽出するステップと、
前記抽出した特徴点を、前記人物データと照合するステップと、
前記照合した結果から、前記人物画に描かれた人物を特定するステップと、
前記特定した結果を、特定度に応じた確率と一緒に表示するステップと、
を備えることを特徴とする人物画特定方法を提供する。

第１１の特徴に係る発明は、人物画に描かれた人物を特定する人物画特定システムに、
前記人物画の人物画データの入力を受け付けるステップ、
複数人の異なる人物データを格納するステップ、
前記受け付けた人物画の特徴点を画像解析で抽出するステップ、
前記抽出した特徴点を、前記人物データと照合するステップ、
前記照合した結果から、前記人物画に描かれた人物を特定するステップ、
前記特定した結果を、特定度に応じた確率と一緒に表示するステップ、
を実行させるためのプログラムを提供する。

本発明によれば、人物画に描かれた人物を特定することが可能な人物画特定システム、人物画特定方法及びプログラムを提供することが可能となる。

図１は、人物画特定システム１の概要を示す図である。 図２は、人物画特定システム１の全体構成図である。 図３は、情報端末１００の機能ブロック図である。 図４は、情報端末１００が実行する人物画特定処理を示す図である。 図５は、情報端末１００が特定結果と確率とを表示した状態の一例を示す図である。 図６は、情報端末１００が特定結果と確率と根拠とを表示した状態の一例を示す図である。 図７は、情報端末１００が特定結果と確率と人物データのハイライトを表示した状態の一例を示す図である。 図８は、情報端末１００が特定結果と確率属性情報とを表示した状態の一例を示す図である。

以下、本発明を実施するための最良の形態について、図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［人物画特定システム１の概要］
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である人物画特定システム１の概要を説明するための図である。人物画特定システム１は、情報端末１００から構成される。

なお、図１において、情報端末１００は、１つに限らず複数であってもよい。また、情報端末１００は、実在する装置に限らず仮想的な装置であってもよい。また、図示していないサーバや端末装置等の外部装置が存在する構成であってもよい。

情報端末１００は、人物画に描かれた人物を特定することが可能な端末装置である。情報端末１００は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。

情報端末１００は、予め複数人の異なる人物データを格納する（ステップＳ０１）。情報端末１００は、人物データとして、例えば、人物が描かれた人物画データ、人物が撮像された撮像画像データを格納する。人物データとは、例えば、人物の顔の一部又は全部、身体の一部又は全部等に関するデータである。人物画データである場合、人物の顔の一部又は全部や、身体の一部又は全部を描いた人物画のデータである。撮像画像データである場合、人物の顔の一部又は全部や、身体の一部又は全部を撮像した撮像画像のデータである。

情報端末１００は、人物画の人物画データの入力を受け付ける（ステップＳ０２）。情報端末１００は、例えば、カメラ等の撮像装置により、人物画を撮像し、撮像した人物画の画像データの入力を受け付ける。また、情報端末１００は、例えば、自身に接続されたスキャナ等の読取装置により、人物画を読み取り、人物画データの入力を受け付ける。人物画とは、例えば、人物の顔の一部又は全部や、身体の一部又は全部が描かれた絵画である。

情報端末１００は、入力を受け付けた人物画データの特徴点を画像解析で抽出する（ステップＳ０３）。情報端末１００は、人物画データのデータ上の特徴的な点を抽出する。なお、情報端末１００は、特徴点に加え、特徴量を抽出する構成であってもよい。このとき、情報端末１００は、人物画データの人物の目、耳、鼻、口、黒子位置、手の長さ、足の長さ等の各部位の特徴点や特徴量を抽出する。

情報端末１００は、抽出した特徴点を、格納した人物データと照合する（ステップＳ０４）。情報端末１００は、抽出した特徴点と、格納した人物データの特徴点とを照合する。なお、情報端末１００は、抽出した特徴点と照合するデータが、異なる人物画データであるか、異なる撮像画像データであるかに応じて、照合手順を変更する構成であってもよい。例えば、情報端末１００は、照合するデータが、異なる人物画データである場合、人物画データの全体の特徴点を照合し、その後に各部位の特徴点を照合する。また、情報端末１００は、照合するデータが、異なる撮像画像データである場合、各部位の特徴点を照合する。情報端末１００が実行する照合手順の変更は、上述した構成に限らず、適宜変更可能である。

情報端末１００は、照合した結果から、人物画に描かれた人物を特定する（ステップＳ０５）。情報端末１００は、照合した結果、特定した人物に対して、その特定度に応じた確率を算出する。例えば、情報端末１００は、複数部位の各々の一致度を特定度として求め、この特定度に応じて、人物画に描かれた人物と特定した人物とが、どの程度一致するかの確率を算出する。

情報端末１００は、特定した結果と、特定度に応じた確率とを一緒に表示する（ステップＳ０６）。情報端末１００は、複数の人物を特定した場合、各人物毎に、特定度に応じた確率を表示する。情報端末１００は、一の人物を特定した場合、この人物に、特定度に応じた確率を表示する。なお、情報端末１００は、特定した人物の各部位毎に、特定度に応じた確率を表示する構成であってもよい。また、情報端末１００は、この人物を特定した根拠を、人物とともに表示する構成であってもよい。また、情報端末１００は、特定した人物の経歴、氏名、住所、年齢等の属性情報を表示する構成であってもよい。

なお、上述した処理において、人物データの格納、特徴点の抽出、特徴点の照合、人物の特定のいずれか又は複数の組合せは、必ずしも情報端末１００が実行する構成でなくともよい。例えば、情報端末１００は、図示していないサーバや他の端末装置等の外部装置に、人物画データを送信し、外部装置が上述した処理のいずれか又は複数の組合わせを情報端末１００の代わりに実行し、外部装置が、特定した結果を情報端末１００に送信する構成であってもよい。

以上が、人物画特定システム１の概要である。

［人物画特定システム１のシステム構成］
図２に基づいて、本発明の好適な実施形態である人物画特定システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である人物画特定システム１のシステム構成を示す図である。人物画特定システム１は、情報端末１００から構成される。なお、情報端末１００は、１つに限らず、複数であってもよい。また、情報端末１００は、実在する装置に限らず、仮想的な装置であってもよい。また、公衆回線網等により図示していないサーバや端末装置等の外部装置と通信可能に接続されていてもよい。

情報端末１００は、後述の機能を備えた上述した端末装置である。

［各機能の説明］
図３に基づいて、本発明の好適な実施形態である人物画特定システム１の機能について説明する。図３は、情報端末１００の機能ブロック図を示す図である。

情報端末１００は、制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、図示していない通信部として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、情報端末１００は、記憶部１３０として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。情報端末１００は、記憶部１３０に後述する複数人の異なる人物画データや撮像画像データ等の人物データを格納する。また、情報端末１００は、入出力部１４０として、制御部１１０で制御したデータや画像等を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部や、カメラ等の撮像装置等の撮像デバイスや、各種画像解析を実行する解析デバイスや、人物画データの特徴点や特徴量等を抽出する抽出デバイスや、データ中に含まれる人物を特定する特定デバイス等の各種デバイスを備える。

情報端末１００において、制御部１１０が所定のプログラムを読み込むことにより、記憶部１３０と協働して、記憶モジュール１６０を実現する。また、情報端末１００において、制御部１１０が所定のプログラムを読み込むことにより、入出力部１４０と協働して、入力受付モジュール１７０、抽出モジュール１７１、照合モジュール１７２、特定モジュール１７３、表示モジュール１７４を実現する。

［人物画特定処理］
図４に基づいて、人物画特定システム１が実行する人物画特定処理について説明する。図４は、情報端末１００が実行する人物画特定処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。

記憶モジュール１６０は、複数人の異なる人物データを格納する（ステップＳ１０）。ステップＳ１０において、記憶モジュール１６０は、人物データとして、人物が描かれた人物画のデータである人物画データや、人物が撮像された撮像画像のデータである撮像画像データを格納する。人物画データは、人物の顔や身体の一部又は全部を描いた人物画のデータである。また、撮像画像データは、人物の顔や身体の一部又は全部を撮像した撮像画像のデータである。記憶モジュール１６０は、例えば、外部装置から受信した人物データを格納する。

入力受付モジュール１７０は、人物画の人物画データの入力を受け付ける（ステップＳ１１）。ステップＳ１１において、入力受付モジュール１７０は、例えば、カメラ等の撮像装置により、人物画を撮像し、撮像した人物画を人物画データとして入力を受け付ける。また、ステップＳ１１において、入力受付モジュール１７０は、例えば、スキャナ等の読取装置により、人物画を読取、読み取った人物画を人物画データとして入力を受け付ける。人物画とは、例えば、人物の顔や身体の一部又は全部が描かれた絵画である。

なお、入力受付モジュール１７０は、上述した構成に限らず、その他の構成により人物画データの入力を受け付けてもよい。また、人物画は、上述した構成に限らず、人物の全体又は一部が描かれたものであればよい。

抽出モジュール１７１は、入力を受け付けた人物画データの特徴点を、画像解析により抽出する（ステップＳ１２）。ステップＳ１２において、抽出モジュール１７１は、人物画データの特徴的な点を抽出することにより、特徴点を抽出する。抽出モジュール１７１は、例えば、画像データに存在する各角を抽出し、この角の位置を特徴点として抽出する。

抽出モジュール１７１は、人物画データの特徴量を抽出する（ステップＳ１３）。ステップＳ１３において、抽出モジュール１７１は、人物画データの目、耳、鼻、口、黒子位置、手の長さ、足の長さ等の各部位の特徴量を抽出する。抽出モジュール１７１は、例えば、人物画データに存在する人物の顔や身体の各部位を抽出し、この各部位の大きさ、位置、角度等の特徴量を抽出する。

なお、ステップＳ１３の処理は、省略可能である。この場合、情報端末１００は、ステップＳ１２の処理を実行した後、後述する各処理を特徴点に基づいて実行する構成であればよい。

照合モジュール１７２は、抽出した特徴点及び特徴量と照合するデータの種類が、人物画データであるか、撮像画像データであるかを判別する（ステップＳ１４）。ステップＳ１４において、照合モジュール１７２は、照合するデータの種類を、ユーザからいずれのデータを照合するかの入力を受け付けることにより判別してもよいし、いずれか一方のみのデータを格納している場合、格納しているデータを照合することを判別してもよいし、予め設定された条件に基づいて、データの種類を判別する構成であってもよい。なお、ステップＳ１４において、照合モジュール１７２は、抽出した特徴点又は特徴量のいずれかを照合する構成であってもよい。

ステップＳ１４において、照合モジュール１７２は、データの種類が人物画データである場合（ステップＳ１４ ＹＥＳ）、後述するステップＳ１５の処理を実行する。一方、ステップＳ１４において、照合モジュール１７２は、データの種類が撮像画像データである場合（ステップＳ１４ ＮＯ）、後述するステップＳ１６の処理を実行する。すなわち、情報端末１００は、抽出した特徴点と照合するデータが、異なる人物画データであるか、異なる撮像画像データであるかに応じて、異なる処理を実行することにより、照合手順を変更する。

ステップＳ１４において、照合モジュール１７２は、データの種類が人物画データである場合（ステップＳ１４ ＹＥＳ）、照合モジュール１７２は、人物画データから抽出した特徴点や特徴量を、格納した人物データである人物画データと照合する（ステップＳ１５）。ステップＳ１５において、照合モジュール１７２は、人物画データの全体の特徴点を照合し、その後に各部位の特徴点や特徴量を照合する。例えば、照合モジュール１７２は、人物画データに含まれる人物の顔全体の特徴点を照合し、さらに、顔の各部位の特徴点や特徴量を照合する。

一方、ステップＳ１４において、照合モジュール１７２は、データの種類が撮像画像データである場合（ステップＳ１４ ＮＯ）、照合モジュール１７２は、人物画データから抽出した特徴点や特徴量を、格納した人物データである撮像画像データと照合する（ステップＳ１６）。ステップＳ１６において、照合モジュール１７２は、撮像画像データの各部位の特徴点や特徴量を照合する。例えば、照合モジュール１７２は、撮像画像データに含まれる人物を照合し、この人物の顔の各部位の特徴点や特徴量を照合する。

このように、ステップＳ１５及びステップＳ１６において、照合モジュール１７２は、異なる照合手順を実行する。

なお、上述したステップＳ１５及びステップＳ１６の処理は、適宜変更可能である。例えば、情報端末１００は、ステップＳ１５及びステップＳ１６の処理において、同様の処理手順を実行する構成であってもよい。また、ステップＳ１５及びステップＳ１６の処理において、異なる構成により、人物データと照合する構成であってもよい。例えば、ステップＳ１５及びステップＳ１６において、情報端末１００は、特徴点のみに基づいて、照合する構成であってもよい。

特定モジュール１７３は、照合した結果から、人物画データに含まれる人物と、人物データに含まれる人物との特定度に応じた確率を算出する（ステップＳ１７）。ステップＳ１７において、特定度とは、人物画データに含まれる人物と、人物データに含まれる人物とがどの程度一致するかを意味する。また、ステップＳ１７において、特定モジュール１７３は、人物の全体的な特定度に応じた確率に加え、各部位毎の特定度に応じた確率を算出する。ステップＳ１７において、例えば、特定モジュール１７３は、目、耳、鼻、口、黒子位置、手の長さ、足の長さ等の各部位毎の特定度に応じた確率を算出する。特定モジュール１７３は、これら各部位の確率に基づいて、人物全体としての特定度に応じた確率を算出する。例えば、特定モジュール１７３は、目の確率が９０％、他部位の確率が８０％であった場合、全体では８０％の確率であると算出する。

なお、ステップＳ１７において、特定モジュール１７３が実行する特定度に応じた確率の算出は、上述した構成に限らず適宜変更可能である。すなわち、特定モジュール１７３は、一部位に基づいて、人物の確率を算出する構成であってもよいし、複数部位に基づいて、人物の確率を算出する構成であってもよいし、予め設定された特定部位に基づいて、人物の確率を算出する構成であってもよいし、それ以外の構成であってもよい。

特定モジュール１７３は、照合した結果と、算出した確率とに基づいて、人物画に描かれた人物を特定する（ステップＳ１８）。ステップＳ１８において、特定モジュール１７３は、全体の確率が所定の値以上であるか、全体又は部位の確率がわずかでも存在するか等の判断基準に基づいて、人物画に描かれた人物を特定する。例えば、特定モジュール１７３は、格納する人物データのうち、人物画データと照合した結果、全体又は一部位の確率がわずかでも存在する場合、この確率が存在する全ての人物データを、人物画に描かれた人物として特定する。この時、特定モジュール１７３は、一の人物データ又は複数の人物データを、人物画に描かれた人物として特定する。

表示モジュール１７４は、特定した結果を、特定度に応じた確率と一緒に表示する（ステップＳ１９）。ステップＳ１９において、表示モジュール１７４は、特定した人物と、この人物の確率とを表示する。表示モジュール１７４は、特定した結果複数の人物が存在する場合、各人物と、各人物毎に確率とを表示する。表示モジュール１７４は、特定した人物の人物画データ又は撮像画像データのいずれか又は双方を表示する。

図５は、表示モジュール１７４が表示する特定した結果と特定度に応じた確率とを一緒に表示した状態の一例を示す図である。図５において、表示モジュール１７４は、データ表示領域２００、人物データ表示領域３００、確率表示領域４００を表示する。表示モジュール１７４は、データ表示領域２００内に、複数の人物データ表示領域３００、複数の確率表示領域４００を表示する。表示モジュール１７４は、人物データ表示領域３００に、特定した人物の人物データを表示する。この人物データは、記憶モジュール１６０に格納した人物画データ又は撮像画像データのいずれか又は双方である。また、表示モジュール１７４は、各人物データ表示領域３００の下段に確率表示領域４００を表示する。表示モジュール１７４は、各人物データ表示領域３００に表示した人物データの特定度に応じた確率を確率表示領域４００に表示する。表示モジュール１７４は、人物データを、確率が高い順に並べて表示する。

図５において、表示モジュール１７４は、人物データ表示領域３００に、人物データＡを表示し、確率表示領域４００に、この人物データＡの特定度に応じた確率である８０％を表示する。表示モジュール１７４は、人物データ表示領域３００に、人物データＢを表示し、確率表示領域４００に、この人物データＢの特定度に応じた確率である１０％を表示する。表示モジュール１７４は、人物データ表示領域３００に、人物データＣを表示し、確率表示領域４００に、この人物データＣの特定度に応じた確率である５％を表示する。表示モジュール１７４は、人物データ表示領域３００に、その他を表示し、確率表示領域４００に、このその他の特定度に応じた確率である５％を表示する。その他とは、該当する人物データが存在しなかった場合、該当する人物データが所定の数を超えて存在する場合に表示する。上述した人物データＡ〜Ｃは、其々撮像画像データを表示する。

なお、表示モジュール１７４が表示する人物データ表示領域３００及び確率表示領域４００の数、位置及び形状は適宜変更可能である。また、人物データＡ〜Ｃは、撮像画像データに限らず、人物画データであってもよい。

また、ステップＳ１９において、表示モジュール１７４は、特定した人物の各部位毎に確率を表示する構成であってもよい。例えば、表示モジュール１７４は、各部位の近傍に算出した確率を表示する構成、引出線等によりどの部位の確率であるかを明示した状態で算出した確率を表示する構成、各部位の名称とこの部位の確率とを表示する構成等であってもよい。また、上述した構成以外の構成により確率を表示する構成であってもよい。例えば、上述した図５において、人物データの該当部位に、この部位の確率を表示する構成であればよい。

また、ステップＳ１９において、表示モジュール１７４は、人物を特定した根拠を、人物とともに表示する構成であってもよい。例えば、表示モジュール１７４は、各部位の其々の確率が所定の値を超過していることから、この人物を特定した旨の通知を表示する構成、一部部位の確率が所定の値を超過していることから、この人物を特定した旨の通知を表示する構成、各部位の確率は所定の値を超過していないものの、他の特定した人物と比較して最も全体の確率が高い人物である旨の通知を表示する構成等であってもよい。また、上述した構成以外の構成により、根拠を表示する構成であってもよい。例えば、上述した図５において、人物データ又は確率を表示するとともに、この人物データ又は確率の根拠を表示する構成であればよい。

図６は、表示モジュール１７４が表示する特定した人物の各部位毎に確率と、この人物を特定した根拠とを表示した状態の一例を示す図である。図６において、図５における人物データＡを一例として示す。表示モジュール１７４は、上述した図５における各人物データ表示領域３００の其々の人物データに対して、各部位の確率とこの人物を特定した根拠とを表示する。図６において、表示モジュール１７４は、人物データＡの人物データ表示領域３００に、人物データＡを表示し、確率表示領域４００に、この人物データＡの特定度に応じた確率である８０％を表示する。また、表示モジュール１７４は、この人物データＡの各部位、例えば、目、鼻、口、えくぼに引出線を示し、この部位の特定度に応じた確率を其々表示する。表示モジュール１７４は、目の特定度を８５％、鼻の特定度を９０％、口の特定度を８０％、えくぼの特定度に１０％を表示する。また、表示モジュール１７４は、この人物データＡの撮像画像データを特定した根拠として、各部位の特定度に応じた確率が所定の値を超過していることを表示する。表示モジュール１７４は、根拠として「目、口、鼻、えくぼの位置が所定の確率を超過してます」と表示する。

なお、表示モジュール１７４が表示する各部位の確率の表示態様やその表示内容及び根拠の表示態様やその表示内容は、適宜変更可能であり、上述した構成に限られない。また、表示モジュール１７４は、各部位の確率又は根拠のいずれかのみを表示する構成であってもよい。

また、表示モジュール１７４は、特定度に応じた確率が低いものの、各部位の特定度に応じた確率が、完全に一致する割合が高い人物データをハイライト表示する構成であってもよい。すなわち、表示モジュール１７４は、特定度に応じた確率が低い場合であっても、例えば、目の形や位置が完全に一致する場合や、黒子の位置やその大きさが完全に一致する場合等の、各部位の特定度が完全に一致する場合において、その人物データをハイライト表示する構成であってもよい。

図７は、表示モジュール１７４が特定した人物の確率と、人物データのハイライトとを表示した状態の一例を示す図である。表示モジュール１７４は、図５と略同様の表示であるが、人物データＢをハイライトして表示する。表示モジュール１７４は、特定度に応じた確率が人物データＡと比較して、低いものの、他の部位、黒子の位置や目の大きさ等の確率が略一致していることから、この人物データＢが人物画に描かれた人物であると推測し、この人物データＢをハイライトして表示する。

なお、表示モジュール１７４が表示するハイライトの表示態様は適宜変更可能である。また、表示モジュール１７４は、ハイライト以外の表示態様で人物データを強調表示する構成であってもよい。例えば、表示モジュール１７４は、該当する人物データを、他の人物データよりも拡大して表示する構成であってもよいし、他の人物データを縮小して表示する構成であってもよいし、点滅表示、音声出力等他の構成であってもよい。

また、ステップＳ１９において、表示モジュール１７４は、特定した人物の属性情報を、人物とともに表示する構成であってもよい。属性情報とは、例えば、人物の経歴、氏名、住所、年齢等の情報である。例えば、表示モジュール１７４は、特定した人物の属性情報を、この人物の近傍に表示する構成、引出線等によりどの人物であるかを明示した状態で属性情報を表示する構成等であってもよい。また、上述した構成以外の構成により、属性情報を表示する構成であってもよい。例えば、上述した図５において、人物データとともに属性情報を表示する構成であればよい。

図８は、表示モジュール１７４が特定した人物の確率と、人物の属性情報とを表示した状態の一例を示す図である。図８において、表示モジュール１７４は、図５における人物データＡを一例として示す。表示モジュール１７４は、上述した図５における各人物データ表示領域３００の其々の人物データに対して、この人物の属性情報を表示する。属性情報とは、人物データの氏名、年齢、住所、経歴等である。図８において、表示モジュール１７４は、属性情報として、氏名、年齢、住所を表示する。この属性情報は、人物データに紐付けられており、表示モジュール１７４は、この属性情報を表示する。

なお、属性情報は、上述した構成に限らず、その他の人物に関する情報であってもよい。また、属性情報の表示態様や表示位置は、上述した構成に限らず、適宜変更可能である。

上述した各処理において、記憶モジュール１６０、抽出モジュール１７１、照合モジュール１７２又は特定モジュール１７３のいずれか又は複数の組合せは、必ずしも情報端末１００が有する構成でなくともよい。例えば、これらの構成を、図示していない外部装置が実行する構成であってもよい。この場合、情報端末１００は、人物画データを外部装置に送信し、外部装置は、これらの各処理を実行し、実行した結果を、情報端末１００に送信する構成であればよい。また、これらの各モジュールの一部を外部装置が実行する構成で有る場合、該当する処理を、外部装置が実行する構成であればよい。

また、上述した表示モジュール１７４は、上述した各構成のいずれか又は複数を組合わせて表示する構成であってもよい。例えば、人物データと、この人物データの各部位の確率と、特定度に応じた確率と、特定した根拠と、属性情報とを表示する構成であってもよいし、人物データと、特定度に応じた確率と、特定した根拠と、ハイライト表示と、属性情報とを表示する構成であってもよいし、その他の組合わせを表示する構成であってもよい。

以上が、人物画特定処理である。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１ 人物画特定システム、１００ 情報端末

Claims (8)

1. 人物画に描かれた人物を特定する人物画特定システムであって、
   前記人物画の人物画データの入力を受け付ける受付手段と、
   複数人の異なる人物データを格納する記憶手段と、
   前記受け付けた人物画の特徴点を画像解析で抽出する抽出手段と、
   前記抽出した特徴点を、前記人物データと照合する照合手段と、
   前記照合した結果から、前記人物画に描かれた人物を特定する特定手段と、
   前記特定した結果を、特定度に応じた確率と一緒に表示する表示手段と、を備え、
   前記異なる人物データが、異なる人物画データ及び異なる撮像画像データであって、
   前記照合手段は、前記抽出した特徴点と照合するデータが、前記異なる人物画データであるか、前記異なる撮像画像データであるかに応じて照合手順を変更する、
   ことを特徴とする人物画特定システム。
2. 前記抽出手段は、前記受け付けた人物画データの各部位の特徴量を抽出し、
   前記照合手段は、前記抽出した各部位の特徴量を、前記格納した人物データの同じ部位と照合する、
   ことを特徴とする請求項１に記載の人物画特定システム。
3. 前記表示手段は、前記各部位毎に、其々の特定度に応じた確率を表示する、ことを特徴とする請求項２に記載の人物画特定システム。
4. 前記表示手段は、前記特定した人物が複数人いる場合に、其々の特定度に応じた確率を一緒に表示する、
   ことを特徴とする請求項１に記載の人物画特定システム。
5. 前記表示手段は、前記人物を特定した根拠を表示する、
   ことを特徴とする請求項１に記載の人物画特定システム。
6. 前記表示手段は、前記特定した人物の属性情報を表示する、
   ことを特徴とする請求項１に記載の人物画特定システム。
7. 人物画に描かれた人物を特定する人物画特定方法であって、
   前記人物画の人物画データの入力を受け付けるステップと、
   複数人の異なる人物データを格納するステップと、
   前記受け付けた人物画の特徴点を画像解析で抽出するステップと、
   前記抽出した特徴点を、前記人物データと照合するステップと、
   前記照合した結果から、前記人物画に描かれた人物を特定するステップと、
   前記特定した結果を、特定度に応じた確率と一緒に表示するステップと、
   を備え、
   前記異なる人物データが、異なる人物画データ及び異なる撮像画像データであって、
   前記照合するステップでは、前記抽出した特徴点と照合するデータが、前記異なる人物画データであるか、前記異なる撮像画像データであるかに応じて照合手順を変更する、ことを特徴とする人物画特定方法。
8. 人物画に描かれた人物を特定する人物画特定システムに、
   前記人物画の人物画データの入力を受け付けるステップ、
   複数人の異なる人物データを格納するステップ、
   前記受け付けた人物画の特徴点を画像解析で抽出するステップ、
   前記抽出した特徴点を、前記人物データと照合するステップ、
   前記照合した結果から、前記人物画に描かれた人物を特定するステップ、
   前記特定した結果を、特定度に応じた確率と一緒に表示するステップ、
   を実行させ、
   前記異なる人物データが、異なる人物画データ及び異なる撮像画像データであって、
   前記照合するステップでは、前記抽出した特徴点と照合するデータが、前記異なる人物画データであるか、前記異なる撮像画像データであるかに応じて照合手順を変更する処理を実行させるためのプログラム。