JP5965057B2

JP5965057B2 - 属性推定装置

Info

Publication number: JP5965057B2
Application number: JP2015514706A
Authority: JP
Inventors: 康行伊原; 光洋藤田
Original assignee: NEC Solutions Innovators Ltd
Current assignee: NEC Solutions Innovators Ltd
Priority date: 2013-04-30
Filing date: 2013-04-30
Publication date: 2016-08-03
Anticipated expiration: 2033-04-30
Also published as: JPWO2014178105A1; WO2014178105A1

Description

本発明は、属性推定装置に関する。

タバコの自動販売機又は銀行のＡＴＭ等のように本人確認が必要な装置において、ヒトの顔をカメラで撮影して顔画像を取得し、顔画像から年齢及び性別等の属性を推定する装置が提案されている（例えば、特許文献１）。年齢等の属性の推定は、例えば、多数のお手本画像情報により機械が学習してモデルを作成し、属性推定対象の画像を前記モデルと対比するというモデル学習で実施される。

特開２０１０−２１８０６０号公報

前記モデル学習では、多数の画像に対し、ヒトが年齢等の属性を推定（アノテーション）してモデルを作成することになる。このため、年齢等の属性推定は、評価対象者自身の評価基準ではなく、他人の評価基準で実施されることになる。一方、化粧の具合又は表情の評価等のように本人確認以外の分野では、属性推定対象自身が、その属性推定結果を知りたい場合が多い。この場合、他人からどういう風にみられているかという他人の評価基準での推定に加え、自分はこのようなイメージがよいというような自分の評価基準での推定にもニーズがある。しかしながら、従来の属性推定では、属性推定対象者（使用者）自身の評価基準によるものは無かった。

そこで、本発明は、属性推定対象者（使用者）自身の評価基準により属性を推定することが可能な属性推定装置の提供を目的とする。

前記目的を達成するために、本発明の属性推定装置は、画像取得手段、画像情報データベース、属性情報データベース、モデル学習手段及び属性推定手段を含み、前記画像取得手段は、使用者の画像を取得し、前記画像情報データベースは、前記取得された使用者の画像及び使用者以外画像データベースを含み、前記属性情報データベースは、使用者付与属性データベースを含み、前記モデル学習手段は、前記使用者以外画像情報データベースから得た画像の特徴を抽出し、前記使用者付与属性データベースを参照して前記特徴から自己評価基準モデルを作成し、前記属性推定手段は、前記使用者の画像から特徴を抽出し、前記自己評価基準モデルを参照して前記特徴から自己評価基準属性推定結果を生成する、ことを特徴とする。

本発明の属性推定装置によれば、属性推定対象者（使用者）の評価基準で属性を推定することが可能である。

図１は、本発明の属性推定装置の構成の一例を示す図である。図２は、本発明の属性推定装置における処理の流れの一例を示すフローチャートである。図３は、本発明の属性推定装置における使用者評価基準で属性を推定する場合の一例を示すフローチャートである。図４は、本発明の属性推定装置における使用者以外の評価基準で属性を推定する場合の一例を示すフローチャートである。図５は、本発明の属性推定装置におけるアノテーション用のユーザインターフェースの一例を示す図である。図６は、本発明の属性推定装置における自己評価基準分析用のユーザインターフェースの一例を示す図である。図７は、本発明の属性推定装置における他人評価基準分析用のユーザインターフェースの一例を示す図である。

本発明の属性推定装置において、前記属性情報データベースは、さらに、使用者以外付与属性データベースを含み、前記モデル学習手段は、さらに、前記使用者以外付与属性データベースを参照して前記特徴から他人評価基準モデルを作成し、前記属性推定手段は、さらに、前記他人評価基準モデルを参照して前記特徴から他人評価基準属性推定結果を生成する、という態様であることが好ましい。この態様によれば、自己評価基準による属性推定に加え、使用者以外（他人）の評価基準による属性推定も可能となる。

本発明の属性推定装置において、前記属性推定手段は、ユーザインターフェース作成手段を含み、前記ユーザインターフェース上に前記属性推定結果が表示されることが好ましい。

本発明の属性推定装置において、さらに、属性付与手段を含み、前記属性付与手段は、前記使用者の画像を前記使用者以外に示して属性を入力させ、入力された属性は、前記使用者以外付与属性データベースに蓄積されるという態様が好ましい。従来の前記モデル学習では、ヒトが年齢等の属性を推定（アノテーション）してモデルを作成するために、多数の人手による作業が必要となるが、それに対する対価を作業者に付与することが困難であった。このため、従来では、継続して、顔等の画像情報及び属性情報を収集することが困難であった。しかし、属性付与手段を含む前記態様であれば、使用者が自分の画像を本発明の属性推定装置に提供し、かつ、他人の画像に対しアノテーションをすることになるため、画像情報及び属性情報を継続的に収集可能となる。

本発明の属性推定装置において、前記属性付与手段は、ユーザインターフェース作成手段を含み、前記ユーザインターフェースにおいて、前記画像が示され、かつ、前記属性が入力されることが好ましい。

本発明の属性推定装置において、使用者端末及び属性推定情報提供サーバを含み、前記使用者端末及び属性情報提供サーバは、通信回線網を介して接続可能であり、前記使用者端末は、前記画像取得手段を含み、前記属性情報提供サーバは、画像情報データベース、属性情報データベース、モデル学習手段及び属性推定手段を含むという態様であってもよい。なお、前記通信回線網は、本発明の属性推定装置の構成要件ではない。

本発明の属性推定情報提供サーバは、本発明の属性推定装置の使用者端末と通信回線網で接続可能であり、画像取得手段、画像情報データベース、属性情報データベース、モデル学習手段及び属性推定手段を含み、前記画像取得手段は、使用者の画像を取得し、
前記画像情報データベースは、前記取得された使用者の画像及び使用者以外画像データベースを含み、前記属性情報データベースは、使用者付与属性データベースを含み、
前記モデル学習手段は、前記使用者以外画像情報データベースから得た画像の特徴を抽出し、前記使用者付与属性データベースを参照して前記特徴から自己評価基準モデルを作成し、前記属性推定手段は、前記使用者の画像から特徴を抽出し、前記自己評価基準モデルを参照して前記特徴から自己評価基準属性推定結果を生成する、ことを特徴とする。

本発明の属性情報提供サーバにおいて、前記属性情報データベースは、さらに、使用者以外付与属性データベースを含み、前記モデル学習手段は、さらに、前記使用者以外付与属性データベースを参照して前記特徴から他人評価基準モデルを作成し、前記属性推定手段は、さらに、前記他人評価基準モデルを参照して前記特徴から他人評価基準属性推定結果を生成する、という態様が好ましい。

本発明の属性情報提供サーバにおいて、前記属性推定手段は、ユーザインターフェース作成手段を含み、前記ユーザインターフェース上に前記属性推定結果が表示されるという態様が好ましい。

本発明の属性情報提供サーバにおいて、さらに、属性付与手段を含み、前記属性付与手段は、前記使用者の画像を前記使用者以外に示して属性を入力させ、入力された属性は、前記使用者以外付与属性データベースに蓄積されるという態様が好ましい。

本発明の属性情報提供サーバにおいて、前記属性付与手段は、ユーザインターフェース作成手段を含み、前記ユーザインターフェースにおいて、前記画像が示され、かつ、前記属性が入力されることが好ましい。

次に、本発明の属性推定装置について、例を挙げて説明する。

図１に、本発明の属性推定装置の一例の概略図を示す。本例の属性推定装置は、使用者端末１及び属性推定情報提供サーバ３を含み、両者が通信回線網２で接続されている。

前記使用者端末１は、特に制限されず、例えば、パーソナルコンピュータ（ＰＣ）、携帯電話、スマートフォンがあげられる。前記使用者端末１は、使用者の画像を撮像する機能を有することが好ましく、例えば、カメラ付きＰＣ、カメラ付き携帯電話、カメラ付きスマートフォンが好ましい。また、使用者端末１には、例えば、後述するユーザインタフェース（ＵＩ）が表示される。

本発明において、画像は、特に制限されず、顔画像のように身体の一部の画像でもよいし、身体全体の画像であってもよい。また、本発明において、推定対象となる属性は、例えば、年齢、性別、顔の表情、化粧の具合、顔の印象、服装の印象等がある。

前記通信回線網２は、有線でも無線でもよく、例えば、インターネット、ＬＡＮ等があげられる。

前記属性推定情報提供サーバ３は、特に制限されず、一般的なサーバを使用することができる。前記属性推定情報提供サーバ３は、画像情報データベース（ＤＢ）３１、属性情報ＤＢ３２、モデル学習手段３３及び属性推定手段３４を含む。

図３及び図４に示すように、画像情報ＤＢ３１は、使用者以外画像ＤＢ３１１を含み、かつ使用者画像３１２が取り込まれ、属性情報ＤＢ３２は、使用者付与属性ＤＢ３２１及び使用者以外付与属性ＤＢ３２２を含む。また、前記両図に示すように、モデル学習手段３３は、画像特徴抽出処理部３３１及びモデル学習処理部３３２を含み、属性推定手段３４は、画像特徴抽出処理部３４１及び属性推定処理部３４２を含む。

図２のフローチャートに、本例の属性推定装置による属性推定の処理の流れの一例を示す。

まず、使用者（ユーザ）によりカメラ付きスマートフォン（使用者端末１）により、インターネットから本例の属性推定情報提供サーバ３にアクセス（ログイン）することにより、本例の装置の使用が開始される（Ｓ１）。使用者が顔画像を撮影し（Ｓ２）、その画像を本例の装置に送信すると、本例の装置において画像情報ＤＢが更新される（Ｓ３）。

そして、属性付与手段によりアノテーション用ＵＩが作成され（Ｓ４）、それが使用者以外（他人）のスマートフォン等の端末の画面に表示される（Ｓ５）。アノテーション用ＵＩの例を図５に示す。同図に示すように、アノテーション用ＵＩでは、他人の画像が表示されると共に、アノテーション用の質問（同図では「かわいいですか？」）が表示され、回答用のアイコン（同図では「いいえ」の−２から「はい」の＋２の五段階評価）が表示され、使用者以外の他人が回答することにより、使用者の画像に他人がアノテーションすることになり、その結果が使用者以外付与属性ＤＢ３２１に蓄積（更新）される（Ｓ６）。同様に、前記使用者は、使用者以外の他人の顔画像に対しアノテーションし、その結果が、使用者付与属性ＤＢ３２２に蓄積（更新）される（Ｓ６）。このような処理（図２の点線で囲んだ部分）が、画像１枚毎に繰り返される。

自己評価基準の属性推定の場合は、図３に示すように、学習モデル作成手段３３において、使用者以外画像ＤＢから画像特徴抽出処理部３３１により画像特徴を抽出し、抽出した画像特徴及び使用者付与属性ＤＢ３２２からの属性情報に基づき、自己評価基準のモデル３３３が作成される（Ｓ７）。そして、図３に示すように、属性推定手段３４において、画像特徴抽出処理部３４１において使用者画像３１２から特徴が抽出され、属性推定処理部３４２において前記の自己評価基準のモデル３３３を参照し前記特徴から属性が推定され、推定結果３４３が生成される。そして、図２において、自己評価基準分析用ＵＩが作成され（Ｓ８）、前記ＵＩにより属性推定結果が表示される（Ｓ９）。自己評価基準の属性推定結果のＵＩの例を図６に示す。図６に示すように、前記ＵＩでは、使用者自身の顔画像が表示されると共に、自己評価基準の属性推定結果が表示される。図６では、顔の属性が「かわいい」及び「健康的」の二項目の「印象」であり、属性推定結果が、「かわいい」及び「健康的」の二項目の「印象度」であり、それぞれが１００点満点中の得点で表示されている。

図２のフローチャートにおいて、自己評価基準による属性推定結果が表示された後は、他人評価基準での属性推定結果を表示するか否かの判断が使用者によってされる（Ｓ１０）。表示しない場合（Ｎｏ）は、終了（Ｓ１４）となる。表示する場合（Ｙｅｓ）は、次のように処理される。

他人評価基準の属性推定の場合は、図４に示すように、学習モデル作成手段３３において、使用者以外画像ＤＢ３１１から画像特徴抽出処理部３３１により画像特徴を抽出し、抽出した画像特徴及び使用者以外付与属性ＤＢ３２１からの属性情報に基づき、他人評価基準のモデル３３３が作成（更新）される（Ｓ１１）。そして、図４に示すように、属性推定手段３４において、画像特徴抽出処理部３４１において使用者画像３１２から特徴が抽出され、属性推定処理部３４２において前記の他人基準のモデル３３３を参照し前記特徴から属性が推定され、推定結果３４３が生成される。そして、図２において、他人評価基準分析用ＵＩが作成され（Ｓ１２）、前記ＵＩにより属性推定結果が表示される（Ｓ１３）。他人評価基準の属性推定結果のＵＩの例を図７に示す。図７に示すように、前記ＵＩでは、使用者自身の顔画像が表示されると共に、他人評価基準の属性推定結果が表示される。図７では、顔の属性が「かわいい」及び「健康的」の二項目の「印象」であり、属性推定結果が、「かわいい」及び「健康的」の二項目の「印象度」であり、それぞれが１００点満点中の得点で表示されている。そして、他人評価基準の属性推定結果が表示されたら、処理が終了する（Ｓ１４）。

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

産業上の利用分野

本発明は、年齢、性別、顔の印象度等の属性を画像から推定する分野に広く用いられ、その用途は制限されない。

Claims

画像取得手段、画像情報データベース、属性情報データベース、モデル学習手段及び属性推定手段を含み、
前記画像取得手段は、使用者の画像を取得し、
前記画像情報データベースは、前記取得された使用者の画像及び使用者以外画像データベースを含み、
前記属性情報データベースは、使用者付与属性データベースを含み、
前記モデル学習手段は、前記使用者以外画像データベースから得た画像の特徴を抽出し、前記使用者付与属性データベースを参照して前記特徴から自己評価基準モデルを作成し、
前記属性推定手段は、前記使用者の画像から特徴を抽出し、前記自己評価基準モデルを参照して前記特徴から自己評価基準属性推定結果を生成する、
ことを特徴とする属性推定装置。
前記属性情報データベースは、さらに、使用者以外付与属性データベースを含み、
前記モデル学習手段は、さらに、前記使用者以外付与属性データベースを参照して前記特徴から他人評価基準モデルを作成し、
前記属性推定手段は、さらに、前記他人評価基準モデルを参照して前記特徴から他人評価基準属性推定結果を生成する、
ことを特徴とする請求項１記載の属性推定装置。
前記属性推定手段は、ユーザインターフェース作成手段を含み、前記ユーザインターフェース上に前記属性推定結果が表示されることを特徴とする請求項１または２記載の属性推定装置。
さらに、属性付与手段を含み、
前記属性付与手段は、前記使用者の画像を前記使用者以外に示して属性を入力させ、入力された属性は、前記使用者以外付与属性データベースに蓄積されることを特徴とする請求項１から３のいずれか一項に記載の属性推定装置。
前記属性付与手段は、ユーザインターフェース作成手段を含み、前記ユーザインターフェースにおいて、前記画像が示され、かつ、前記属性が入力されることを特徴とする請求項４記載の属性推定装置。
使用者端末及び属性推定情報提供サーバを含み、
前記使用者端末及び属性推定情報提供サーバは、通信回線網を介して接続可能であり、
前記使用者端末は、前記画像取得手段を含み、
前記属性推定情報提供サーバは、画像情報データベース、属性情報データベース、モデル学習手段及び属性推定手段を含む
ことを特徴とする請求項１から５のいずれか一項に記載の属性推定装置。
請求項６記載の使用者端末と通信回線網で接続可能であり、
画像取得手段、画像情報データベース、属性情報データベース、モデル学習手段及び属性推定手段を含み、
前記画像取得手段は、使用者の画像を取得し、
前記画像情報データベースは、前記取得された使用者の画像及び使用者以外画像データベースを含み、
前記属性情報データベースは、使用者付与属性データベースを含み、
前記モデル学習手段は、前記使用者以外画像データベースから得た画像の特徴を抽出し、前記使用者付与属性データベースを参照して前記特徴から自己評価基準モデルを作成し、
前記属性推定手段は、前記使用者の画像から特徴を抽出し、前記自己評価基準モデルを参照して前記特徴から自己評価基準属性推定結果を生成する、
ことを特徴とする請求項６記載の属性推定装置に使用される属性推定情報提供サーバ。
前記属性情報データベースは、さらに、使用者以外付与属性データベースを含み、
前記モデル学習手段は、さらに、前記使用者以外付与属性データベースを参照して前記特徴から他人評価基準モデルを作成し、
前記属性推定手段は、さらに、前記他人評価基準モデルを参照して前記特徴から他人評価基準属性推定結果を生成する、
ことを特徴とする請求項７記載の属性推定情報提供サーバ。
前記属性推定手段は、ユーザインターフェース作成手段を含み、前記ユーザインターフェース上に前記属性推定結果が表示されることを特徴とする請求項７または８記載の属性推定情報提供サーバ。
さらに、属性付与手段を含み、
前記属性付与手段は、前記使用者の画像を前記使用者以外に示して属性を入力させ、入力された属性は、前記使用者以外付与属性データベースに蓄積されることを特徴とする請求項７から９のいずれか一項に記載の属性推定情報提供サーバ。
前記属性付与手段は、ユーザインターフェース作成手段を含み、前記ユーザインターフェースにおいて、前記画像が示され、かつ、前記属性が入力されることを特徴とする請求項１０記載の属性推定情報提供サーバ。