JP5930450B2

JP5930450B2 - アノテーション装置及びアノテーションシステム

Info

Publication number: JP5930450B2
Application number: JP2015535228A
Authority: JP
Inventors: 康行伊原; 光洋藤田
Original assignee: NEC Solutions Innovators Ltd
Current assignee: NEC Solutions Innovators Ltd
Priority date: 2013-09-06
Filing date: 2013-09-06
Publication date: 2016-06-08
Anticipated expiration: 2033-09-06
Also published as: JPWO2015033431A1; WO2015033431A1

Description

本発明は、アノテーション装置及びアノテーションシステムに関する。

タバコの自動販売機又は銀行のＡＴＭ等のように本人確認が必要な装置において、ヒトの顔をカメラで撮影して顔画像を取得し、顔画像に年齢及び性別等の属性を付与する装置が提案されている（例えば、特許文献１）。年齢等の属性の付与は、例えば、多数のお手本顔画像情報により機械が学習してモデルを作成し、属性付与対象の顔画像を前記モデルと対比するというモデル学習で実施される。

特開２０１０−２１８０６０号公報

前記モデル学習では、多数の顔画像に対し、ヒトが年齢等の属性を付与（アノテーション）してモデルを作成することになる。しかしながら、特許文献１に記載の属性付与では、顔画像を加工せずに、個人が特定できる状態のままアノテーター（属性付与者）に提示しており、個人のプライバシー保護上、問題がある。

そこで、本発明は、個人のプライバシーを保護しつつ、顔画像に属性を付与することが可能なアノテーション装置及びアノテーションシステムの提供を目的とする。

前記目的を達成するために、本発明のアノテーション装置は、
使用者端末と通信回線網を介して接続可能であり、
顔画像データベース、合成顔画像生成手段及びアノテーション用ユーザインターフェース作成手段を含み、
前記顔画像データベースには、予め取得された複数人の顔画像が保存されており、
前記合成顔画像生成手段は、前記顔画像データベースに保存された複数人の顔画像を参照して合成顔画像を生成し、
前記アノテーション用ユーザインターフェース作成手段は、前記合成顔画像と、前記使用者端末における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能とを含むアノテーション用ユーザインターフェースを作成する、
ことを特徴とする。

本発明のアノテーションシステムは、
使用者端末及びアノテーション装置を含み、
前記アノテーション装置が、前記本発明のアノテーション装置である、
ことを特徴とする。

本発明のアノテーション装置及びアノテーションシステムによれば、個人のプライバシーを保護しつつ、顔画像に属性を付与することが可能である。

図１は、本発明のアノテーション装置の構成の一例を示す図である。図２は、図１に示すアノテーション装置を用いた本発明のアノテーションシステムの構成の一例を示す図である。図３は、本発明のアノテーション装置及びアノテーションシステムにおける処理の流れの一例を示すフローチャートである。図４は、本発明のアノテーション装置及びアノテーションシステムにおける合成顔画像生成手段の処理の流れの一例を示すフローチャートである。図５は、本発明の合成顔画像生成手段におけるクラスタリングの一例を示す図である。図６は、本発明のクラスタリングを用いた合成顔画像生成手段における合成顔画像の生成の一例を示す図である。図７は、本発明のアノテーション装置及びアノテーションシステムにおけるアノテーション用ユーザインターフェースの一例を示す図である。図８は、本発明のアノテーション装置の構成のその他の例を示す図である。図９は、図８に示すアノテーション装置を用いた本発明のアノテーションシステムの構成の一例を示す図である。図１０は、本発明のアノテーション装置及びアノテーションシステムにおける処理の流れのその他の例を示すフローチャートである。図１１は、本発明のアノテーション装置及びアノテーションシステムにおける処理の流れのさらにその他の例を示すフローチャートである。図１２は、本発明のアノテーション装置及びアノテーションシステムにおける合成顔画像生成手段の処理の流れのその他の例を示すフローチャートである。

本発明のアノテーション装置において、前記合成顔画像生成手段は、前記顔画像データベースに保存された顔画像を、抽出した画像特徴の類似度に基づき複数のクラスタにクラスタリングした後、各クラスタ毎に、前記合成顔画像を生成する、という態様であってもよい。

本発明のアノテーション装置において、前記合成顔画像情報中の特定の個人の情報が占める割合が、３３％以下であることが好ましい。前記割合を３３％以下とすることで、より好適に個人のプライバシーを保護することが可能となる。

本発明のアノテーション装置において、さらに、合成顔画像データベース及び属性情報データベースを含み、前記アノテーション用ユーザインターフェース作成手段は、作成した前記アノテーション用ユーザインターフェースを前記使用者端末及び前記合成顔画像データベースに送信可能であり、前記合成顔画像データベースは、前記アノテーション用ユーザインターフェース作成手段から受信した前記アノテーション用ユーザインターフェースに含まれる合成顔画像を保存し、前記属性情報データベースは、前記使用者端末から送信された前記使用者の操作による属性アノテーション結果を受信し、前記属性の情報を保存する、という態様であることが好ましい。この態様によれば、前記合成顔画像データベースに前記合成顔画像を、前記属性情報データベースに前記属性の情報を保存（蓄積）することが可能となる。

本発明のアノテーション装置において、さらに、第二の合成顔画像生成手段及び第二のアノテーション用ユーザインターフェース作成手段を含み、前記第二の合成顔画像生成手段は、前記顔画像データベースに保存された複数人の顔画像、前記合成顔画像データベースに保存された前記合成顔画像、及び、前記属性情報データベースに保存された前記属性の情報を参照して第二の合成顔画像を生成し、前記第二のアノテーション用ユーザインターフェース作成手段は、前記第二の合成顔画像と、前記使用者端末における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能とを含む第二のアノテーション用ユーザインターフェースを作成し、かつ、作成した前記第二のアノテーション用ユーザインターフェースを前記使用者端末及び前記合成顔画像データベースに送信可能であり、前記合成顔画像データベースは、前記第二のアノテーション用ユーザインターフェース作成手段から受信した前記第二のアノテーション用ユーザインターフェースに含まれる前記第二の合成顔画像を保存することでデータを更新し、前記属性情報データベースは、前記使用者端末から送信された前記使用者の操作による属性アノテーション結果を受信し、新たに受信した前記属性の情報を保存することでデータを更新する、という態様であることが好ましい。この態様によれば、前記第二の合成顔画像生成手段が、前記属性情報データベースに保存された前記属性の情報を参照するため、アノテーション対象の属性と相関性の高い画像特徴抽出を実施でき、高品質のアノテーションを実現可能である。

本発明のアノテーション装置において、前記第二の合成顔画像生成手段は、前記顔画像データベースに保存された複数人の顔画像を、抽出した画像特徴の類似度に基づき複数のクラスタにクラスタリングした後、各クラスタ毎に、前記第二の合成顔画像を生成する、という態様であってもよい。

本発明のアノテーション装置において、前記第二の合成顔画像情報中の特定の個人の情報が占める割合が、３３％以下であることが好ましい。前記割合を３３％以下とすることで、より好適に個人のプライバシーを保護することが可能となる。

つぎに、本発明のアノテーション装置及びアノテーションシステムについて、例をあげて説明する。ただし、本発明は、下記の例に限定されない。なお、図１から図１２において、同一部分には同一符号を付している。

［実施形態１］
図１に、本発明のアノテーション装置の一例の概略図を示す。また、図２に、図１に示すアノテーション装置を用いた本発明のアノテーションシステムの一例の概略図を示す。図１に示すとおり、本実施形態のアノテーション装置１は、顔画像データベース（ＤＢ）１１及びアノテーション用サーバ１２を含む。また、図２に示すとおり、アノテーション装置１は、使用者端末２と通信回線網３を介して接続可能である。

顔画像ＤＢ１１には、予め取得された複数人の顔画像が保存されている。顔画像ＤＢ１１は、例えば、インターネット上で公開されている公開ＤＢを用いてもよいし、複数人の顔画像を予め取得することで作製してもよい。

アノテーション用サーバ１２は、合成顔画像生成手段及びアノテーション用ユーザインターフェース（ＵＩ）作成手段を含む。前記合成顔画像生成手段は、顔画像ＤＢ１１に保存された複数の顔画像を参照して合成顔画像を生成する。前記アノテーション用ＵＩ作成手段は、前記合成顔画像と、使用者端末２における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能とを含むアノテーション用ＵＩを作成する。

使用者端末２は、特に制限されず、例えば、パーソナルコンピュータ（ＰＣ）、携帯電話、スマートフォン等があげられる。

通信回線網３は、有線でも無線でもよく、例えば、インターネット、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）等があげられる。

図３のフローチャートに、本実施形態のアノテーション装置１及びアノテーションシステムによる属性アノテーションの処理の流れの一例を示す。

まず、アノテーション用サーバ１２内の前記合成顔画像生成手段を用いて、顔画像ＤＢ１１に保存された複数人の顔画像を参照して、合成顔画像を生成する（Ｓ１）。

図４のフローチャートに、前記合成顔画像生成手段による合成顔画像生成の処理の流れの一例を示す。

まず、顔画像ＤＢ１１から複数人の顔画像を入力する（Ｓ１１）。

つぎに、前記複数人の顔画像から画像特徴量を抽出する（Ｓ１２）。前記画像特徴としては、例えば、ＲＧＢ特徴、輝度分布、ＨＯＧ（ＨｉｓｔｏｇｒａｍｓｏｆＯｒｉｅｎｔｅｄＧｒａｄｉｅｎｔｓ）特徴等があげられる。

つぎに、画像特徴量を抽出した全ての顔画像について、次元削減を行う（Ｓ１３）。この次元削減は、参照する属性情報が無いため、属性情報と無関係に、顔画像の特徴が大きいところを残して、他の部分を削減する教師無し次元削減となる。前記次元削減は、例えば、主成分分析（ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ：ＰＣＡ）、カーネルＰＣＡ、局所性保存射影（ＬｏｃａｌｉｔｙＰｒｅｓｅｒｖｉｎｇＰｒｏｊｅｃｔｉｏｎ：ＬＰＰ）等により実施できる。

つぎに、前記次元削減後の顔画像を、画像特徴の類似度に基づき複数のクラスタにクラスタリング（グループ分け）する（Ｓ１４）。前記クラスタリングは、例えば、ｋ−平均法、ファジィ・クラスタリング等により実施できる。

図５に、前記クラスタリングの一例を示す。図５においては、部分空間１００において、２４人の顔画像１０２を、３個のクラスタ１０１にクラスタリングしている。ただし、図５は、前記クラスタリングの一例を模式的に示したに過ぎず、顔画像１０２及びクラスタ１０１の数はこの例に限定されない。

つぎに、各クラスタ毎に、合成顔画像を生成する（図４のＳ１５）。前記合成顔画像の生成にあたっては、Ｓ１２で抽出した画像特徴を使用する。前記合成顔画像の生成は、例えば、平均顔等の合成により実施できる。前記合成顔画像の生成においては、各クラスタ内の全ての顔画像を使用してもよいし、より特徴の近い一部の顔画像のみを使用してもよい。また、前記合成顔画像の生成は、部分空間上の全てのクラスタについて実施してもよいし、一部のクラスタのみについて実施してもよい。

図６に、前記合成顔画像生成手段における合成顔画像の生成の一例を示す。図６に示す例では、前記部分空間上のあるクラスタ１０１内の顔画像１０２の平均顔を合成することで、合成顔画像１１０を得ている。一方、図６に示すように、合成顔画像１１０から、クラスタ１０１内の個人を特定することは不可能である。前述のとおり、前記合成顔画像情報中の特定の個人（例えば、図６に示すクラスタ１０１の中央の顔画像の人物）の情報が占める割合は、３３％以下であることが好ましい。前記割合を３３％以下とすることで、より好適に個人のプライバシーを保護することが可能となる。

つぎに、前記合成顔画像を、アノテーション用ＵＩ作成手段へと出力し（図４のＳ１６）、前記合成顔画像の生成を終了する。

つぎに、アノテーション用サーバ１２内のアノテーション用ＵＩ作成手段を用いて、前記合成顔画像と、使用者端末２における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能とを含むアノテーション用ＵＩを作成する（図３のＳ２１）。

図７に、前記アノテーション用ＵＩの一例を示す。図７に示すとおり、本例のアノテーション用ＵＩ２００は、合成顔画像１１０と、使用者端末２における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能１１１とを含む。図７に示す例では、属性アノテーション操作機能１１１は、アノテーション用の質問１（同図では、「性別は？」）及び回答用のアイコン（同図では、「女性」及び「男性」）、アノテーション用の質問２（同図では、「かわいいですか？」）及び回答用のアイコン（同図では、「いいえ」の−２から「はい」の＋２の五段階評価）、並びに、合成顔画像１枚毎にアノテーション処理を繰り返すためのボタン（同図では、「登録（次の画像に進む）」）となっている。

作成されたアノテーション用ＵＩ２００は、通信回線網３を介して使用者端末２に送信され、使用者端末２における使用者の操作により属性アノテーションが実施される（図３のＳ２２）。前記属性アノテーションが実施される属性としては、例えば、顔の印象度（「かわいい」、「明るくさわやか」等の度合い）、性別（「男性」、「女性」）、顔の表情（「笑顔」、「悲しい顔」、「怒っている顔」等）、年齢（「３１歳」等）等があげられる。アノテーション用ＵＩ２００の作成（図３のＳ２１）及び属性アノテーション（図３のＳ２２）は、前記合成顔画像１枚毎に繰り返される。

本実施形態のアノテーション装置１及びアノテーションシステムによれば、アノテーション用ＵＩ２００に個人を特定することが不可能な合成顔画像１１０を用いることで、個人のプライバシーを保護しつつ、顔画像に属性を付与することが可能である。

［実施形態２］
図８に、本発明のアノテーション装置のその他の例の概略図を示す。また、図９に、図８に示すアノテーション装置を用いた本発明のアノテーションシステムの一例の概略図を示す。図８及び図９に示すとおり、本実施形態のアノテーション装置１及びアノテーションシステムは、さらに、合成顔画像データベース（ＤＢ）１３及び属性情報データベース（ＤＢ）１４を含む点を除き、図１に示す実施形態１のアノテーション装置１及び図２に示す実施形態１のアノテーションシステムと同様である。

本実施形態のアノテーション装置１及びアノテーションシステムにおいて、アノテーション用サーバ１２内の前記アノテーション用ＵＩ作成手段は、作成したアノテーション用ＵＩ２００を使用者端末２及び合成顔画像ＤＢ１３に送信可能である。

合成顔画像ＤＢ１３は、前記アノテーション用ＵＩ作成手段から受信したアノテーション用ＵＩ２００に含まれる合成顔画像１１０を保存する。

属性情報ＤＢ１４は、使用者端末２から送信された前記使用者の操作による属性アノテーション結果を受信し、前記属性の情報を保存する。

図１０のフローチャートに、本実施形態のアノテーション装置１及びアノテーションシステムによる属性アノテーションの処理の流れの一例を示す。

まず、実施形態１と同様にして、合成顔画像１１０の生成（Ｓ１）、アノテーション用ＵＩ２００の作成（Ｓ２１）及び属性アノテーション（Ｓ２２）を実施する。

つぎに、アノテーション用サーバ１２内のアノテーション用ＵＩ作成手段は、作成されたアノテーション用ＵＩ２００を、合成顔画像ＤＢ１３に送信する。合成顔画像ＤＢ１３は、前述のとおり、前記アノテーション用ＵＩ作成手段から受信したアノテーション用ＵＩ２００に含まれる合成顔画像１１０を保存する（Ｓ２３）。

つぎに、使用者端末２は、前記使用者の操作による属性アノテーション結果を、属性情報ＤＢ１４に送信する。属性情報ＤＢ１４は、前述のとおり、使用者端末２から送信された前記使用者の操作による属性アノテーション結果を受信し、前記属性の情報を保存する（Ｓ２４）。

本実施形態のアノテーション装置１及びアノテーションシステムによれば、合成顔画像ＤＢ１３に前記合成顔画像１１０を、属性情報ＤＢ１４に前記属性の情報を保存（蓄積）することが可能となる。

［実施形態３］
本実施形態のアノテーション装置１及びアノテーションシステムは、アノテーション用サーバ１２が、前記合成顔画像生成手段及び前記アノテーション用ＵＩ作成手段に加え、さらに、第二の合成顔画像生成手段及び第二のアノテーション用ＵＩ作成手段を含む点を除き、図８に示す実施形態２のアノテーション装置１及び図９に示すアノテーションシステムと同様である。本実施形態のアノテーション装置１及びアノテーションシステムにおいて、前記合成顔画像生成手段とは別に前記第二の合成顔画像生成手段を設けてもよいし、前記合成顔画像生成手段が前記第二の合成顔画像生成手段を兼ねてもよい。また、本実施形態のアノテーション装置１及びアノテーションシステムにおいて、前記アノテーション用ＵＩ作成手段とは別に前記第二のアノテーション用ＵＩ作成手段を設けてもよいし、前記アノテーション用ＵＩ作成手段が前記第二のアノテーション用ＵＩ作成手段を兼ねてもよい。

前記第二の合成顔画像生成手段は、顔画像ＤＢ１１に保存された複数人の顔画像、合成顔画像ＤＢ１３に保存された合成顔画像１１０、及び、属性情報ＤＢ１４に保存された前記属性の情報を参照して第二の合成顔画像を生成する。

前記第二のアノテーション用ＵＩ作成手段は、前記第二の合成顔画像と、使用者端末２における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能とを含む第二のアノテーション用ＵＩを作成し、かつ、作成した前記第二のアノテーション用ＵＩを使用者端末２及び合成顔画像ＤＢ１３に送信可能である。

合成顔画像ＤＢ１３は、前記第二のアノテーション用ＵＩ作成手段から受信した前記第二のアノテーション用ＵＩに含まれる前記第二の合成顔画像を保存することでデータを更新する。

属性情報ＤＢ１４は、使用者端末２から送信された前記使用者の操作による属性アノテーション結果を受信し、新たに受信した前記属性の情報を保存することでデータを更新する。

図１１のフローチャートに、本実施形態のアノテーション装置１及びアノテーションシステムによる属性アノテーションの処理の流れの一例を示す。

まず、実施形態２と同様にして、合成顔画像１１０の生成（Ｓ１）、アノテーション用ＵＩ２００の作成（Ｓ２１）、属性アノテーション（Ｓ２２）、合成顔画像ＤＢ１３へのアノテーション用ＵＩ２００に含まれる合成顔画像１１０の保存（Ｓ２３）及び属性情報ＤＢ１４への前記属性の情報の保存（Ｓ２４）を実施する。

つぎに、アノテーション用サーバ１２内の第二の合成顔画像生成手段を用いて、顔画像ＤＢ１１に保存された複数人の顔画像、合成顔画像ＤＢ１３に保存された合成顔画像１１０、及び、属性情報ＤＢ１４に保存された前記属性の情報を参照して第二の合成顔画像を生成する（Ｓ３）。

図１２のフローチャートに、前記第二の合成顔画像生成手段による第二の合成顔画像生成の処理の流れの一例を示す。

まず、顔画像ＤＢ１１から複数人の顔画像を、合成顔画像ＤＢ１３から合成顔画像１１０を、属性情報ＤＢ１４から前記属性の情報を入力する（Ｓ３１）。

つぎに、前記複数人の顔画像及び合成顔画像１１０から画像特徴量を抽出する（Ｓ３２）。

つぎに、前述の図４のＳ１３と同様にして、画像特徴量を抽出した全ての顔画像について、次元削減を行う（Ｓ３３）。この次元削減は、属性情報と無関係に、顔画像の特徴が大きいところを残して、他の部分を削減する教師無し次元削減とする。

つぎに、Ｓ３１で入力された前記属性の情報と相関性の高い画像特徴を抽出し、教師付き次元削減を実施する（Ｓ３４）。なお、本工程では、教師付き次元削減に代えて、若しくは教師付き次元削減に加え、半教師付き次元削減を実施してもよい。前記半教師付き次元削減は、教師データ（属性情報が付与された顔画像）の数が少ない場合に、次元削減が不安定になるのを回避でき、特に有効である。本工程における次元削減は、例えば、正準相関分析（ＣａｎｏｎｉｃａｌＣｏｒｒｅｌａｔｉｏｎＡｎａｌｙｓｉｓ：ＣＣＡ）、正則化正準相関分析（ＲｅｇｕｌａｒｉｚｅｄＣａｎｏｎｉｃａｌＣｏｒｒｅｌａｔｉｏｎＡｎａｌｙｓｉｓ：ＲＣＣＡ）、カーネル正準相関分析、半教師付き正準相関分析、線形判別分析（ＬｉｎｅａｒＤｉｓｃｒｉｍｉｎａｎｔＡｎａｌｙｓｉｓ：ＬＤＡ）等により実施できる。

つぎに、前記次元削減後の顔画像を、画像特徴の類似度に基づき複数のクラスタにクラスタリング（グループ分け）する（Ｓ３５）。前記クラスタリングは、例えば、ｋ−平均法、ファジィ・クラスタリング等により実施できる。

つぎに、図４のＳ１５の合成顔画像１１０の生成と同様にして、各クラスタ毎に、第二の合成顔画像を生成する（Ｓ３６）。前述のとおり、前記第二の合成顔画像情報中の特定の個人の情報が占める割合は、３３％以下であることが好ましい。前記割合を３３％以下とすることで、より好適に個人のプライバシーを保護することが可能となる。

つぎに、前記第二の合成顔画像を、第二のアノテーション用ＵＩ作成手段へと出力し（Ｓ３７）、前記第二の合成顔画像の生成を終了する。

つぎに、アノテーション用サーバ１２内の第二のアノテーション用ＵＩ作成手段を用いて、前記第二の合成顔画像と、前記使用者端末における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能とを含む第二のアノテーション用ＵＩを作成する（図１１のＳ４１）。前記第二のアノテーションＵＩとしては、例えば、図７に示すアノテーション用ＵＩ２００の合成顔画像１１０を、前記第二の合成顔画像に置換したもの等があげられる。

作成された前記第二のアノテーション用ＵＩは、通信回線網３を介して使用者端末２に送信され、使用者端末２における使用者の操作により属性アノテーションが実施される（図１１のＳ４２）。

つぎに、アノテーション用サーバ１２内の第二のアノテーション用ＵＩ作成手段は、作成された前記第二のアノテーション用ＵＩを、合成顔画像ＤＢ１３に送信する。合成顔画像ＤＢ１３は、前述のとおり、前記第二のアノテーション用ＵＩ作成手段から受信した前記第二のアノテーション用ＵＩに含まれる前記第二の合成顔画像を保存することでデータを更新する（Ｓ４３）。これにより、合成顔画像ＤＢ１３には、合成顔画像１１０及び前記第二の合成顔画像が蓄積される。

つぎに、使用者端末２は、前記使用者の操作による属性アノテーション結果を、属性情報ＤＢ１４に送信する。属性情報ＤＢ１４は、前述のとおり、使用者端末２から送信された前記使用者の操作による属性アノテーション結果を受信し、新たに受信した前記属性の情報を保存することでデータを更新する（Ｓ４４）。これにより、属性情報ＤＢ１４には、Ｓ２４で保存された前記属性の情報及びＳ４４で保存された前記属性の情報が蓄積される。前記第二の合成顔画像の合成（Ｓ３）、前記第二のアノテーションＵＩの作成（Ｓ４１）、前記属性アノテーション（Ｓ４２）、合成顔画像ＤＢ１３の更新（Ｓ４３）及び属性情報ＤＢ１４の更新（Ｓ４４）は、何回か繰り返される。

本実施形態のアノテーション装置１及びアノテーションシステムによれば、前記第二の合成顔画像生成手段が、属性情報ＤＢ１４に保存された前記属性の情報を参照するため、アノテーション対象の属性と相関性の高い画像特徴抽出を実施でき、高品質のアノテーションを実現可能である。

つぎに、本発明の実施例について説明する。なお、本発明は、下記の実施例により限定及び制限されない。

図９に示すアノテーションシステムを用いて、図１１に示すフローチャートに従って、顔の印象度（かわいい）の属性アノテーションを実施した。

まず、３４０人の顔画像を収集し、顔画像ＤＢ１１に保存した。前記顔画像は、全て、下記条件を満たすものとした。
（顔画像条件）
サイズ：６４ピクセル×６４ピクセル
目、鼻及び口の位置：全ての顔画像において、同じ位置にそろえる（正規化済み）
属性情報：未知

つぎに、図４に示すフローチャートに従って、アノテーション用サーバ１２内の合成顔画像生成手段を用いて、合成顔画像を生成した（Ｓ１）。

すなわち、まず、前記合成顔画像生成手段に、顔画像ＤＢ１１から３４０人の顔画像を入力した（Ｓ１１）。

つぎに、各顔画像から、ＲＧＢ成分を画像特徴として、１２２８８（＝６４×６４×３）次元のベクトルを抽出した（Ｓ１２）。

つぎに、Ｓ１２で生成されたデータ（３４０個、１２２８８次元）全てを学習データとして、ＰＣＡを行い、１００次元まで次元削減したモデルを作成し、このモデルを用いて、Ｓ１２で生成されたデータ全てを１００次元まで次元削減した（Ｓ１３）。

つぎに、Ｓ１３で次元削減したデータを、ｋ−平均法により、２０個のクラスタ（ｋ＝２０）にクラスタリング（グループ分け）した（Ｓ１４）。本例では、ＲＧＢ成分の画像特徴が近い物同士でグループ分けされているものと解釈できる。

つぎに、Ｓ１４で生成された各クラスタの中心（データの平均値）により近い１０個のデータを選び、それに対応した画像特徴抽出及び次元削減前の元の顔画像全ての各ピクセルの輝度値（Ｓ１２で算出されたもの）の平均値を取ることで２０個の合成顔画像を生成した（Ｓ１５）。

つぎに、前記合成顔画像を、アノテーション用ＵＩ作成手段へと出力し（Ｓ１６）、前記合成顔画像の生成を終了した。

つぎに、アノテーション用サーバ１２内のアノテーション用ＵＩ作成手段を用いて、アノテーション用ＵＩを作成した（図１１のＳ２１）。前記アノテーションＵＩは、図７に示すものとした。

つぎに、作成した前記アノテーション用ＵＩを、通信回線網３を介して使用者端末２に送信し、使用者端末２における使用者の操作により属性アノテーションを実施した（Ｓ２２）。前記アノテーション用ＵＩの作成（Ｓ２１）及び属性アノテーション（Ｓ２２）は、前記合成顔画像１枚毎に繰り返した。

つぎに、アノテーション用サーバ１２内のアノテーション用ＵＩ作成手段により、作成した２０個の前記アノテーション用ＵＩを、合成顔画像ＤＢ１３に送信し、前記アノテーション用ＵＩに含まれる前記合成顔画像を合成顔画像ＤＢ１３に保存した（Ｓ２３）。

つぎに、使用者端末２から、前記使用者の操作による属性アノテーション結果を、属性情報ＤＢ１４に送信し、前記属性の情報を属性情報ＤＢ１４に保存した（Ｓ２４）。

つぎに、図１２に示すフローチャートに従って、アノテーション用サーバ１２内の第二の合成顔画像生成手段を用いて、第二の合成顔画像を生成した（Ｓ３）。なお、後述のように、前記第二の合成顔画像の生成は、Ｌ回繰り返した。

すなわち、まず、顔画像ＤＢ１１から３４０人の顔画像を、合成顔画像ＤＢ１３から２０個の前記合成顔画像を、属性情報ＤＢ１４から前記属性の情報を入力した（Ｓ３１）。

つぎに、３４０人の前記顔画像及び２０個の前記合成顔画像から、ＲＧＢ成分を画像特徴として、１２２８８（＝６４×６４×３）次元のベクトルを抽出した（Ｓ３２）。

つぎに、図４のＳ１３で生成されたモデルを用いて、Ｓ３２で生成されたデータ全てを１００次元まで次元削減した（Ｓ３３）。これにより、顔画像ＤＢ１１に起因する属性情報なしデータ（説明変数１００次元、目的変数なし）が３４０個、合成顔画像ＤＢ１３に起因する属性情報ありデータ（説明変数１０００次元、目的変数１次元）が２０×Ｌ個（Ｌは、Ｓ３の実施回数＝Ｓ３３の開始数）が生成した。

つぎに、Ｓ３３で生成した属性情報ありデータ（２０×Ｌ個）を用いて、正則化正準相関分析により、説明変数と目的変数をそれぞれ１次元まで次元削減したモデルを作成し、このモデルを用いて、Ｓ３３で生成した属性情報なしデータの説明変数を１次元まで次元削減した（Ｓ３４）。

つぎに、Ｓ３４で次元削減した属性情報なしデータを、ｋ−平均法により、２０個のクラスタ（ｋ＝２０）にクラスタリング（グループ分け）した（Ｓ３５）。本例では、Ｌ（Ｓ３３の開始数）が大きいほど、属性情報が近いもの同士がグループ分けされているものと考えることができる。

つぎに、Ｓ３５で生成された各クラスタの中心（データの平均値）により近い１０個のデータを選び、それに対応した画像特徴抽出及び次元削減前の元の顔画像全ての各ピクセルの輝度値（Ｓ３２で算出されたもの）の平均値を取ることで２０個の第二の合成顔画像を生成した（Ｓ３６）。

つぎに、前記第二の合成顔画像を、第二のアノテーション用ＵＩ作成手段へと出力し（Ｓ３７）、前記第二の合成顔画像の生成を終了した。

つぎに、アノテーション用サーバ１２内の第二のアノテーション用ＵＩ作成手段を用いて、第二のアノテーション用ＵＩを作成した（図１１のＳ４１）。前記第二のアノテーションＵＩは、図７に示すアノテーション用ＵＩ２００の合成顔画像１１０を、前記第二の合成顔画像に置換したものとした。

つぎに、作成した前記第二のアノテーション用ＵＩを、通信回線網３を介して使用者端末２に送信し、使用者端末２における使用者の操作により属性アノテーションを実施した（Ｓ４２）。前記第二のアノテーション用ＵＩの作成（Ｓ４１）及び属性アノテーション（Ｓ４２）は、前記第二の合成顔画像１枚毎に繰り返した。

つぎに、アノテーション用サーバ１２内の第二のアノテーション用ＵＩ作成手段により、作成した２０個の前記第二のアノテーション用ＵＩを、合成顔画像ＤＢ１３に送信し、前記第二のアノテーション用ＵＩ作成手段から受信した前記第二のアノテーション用ＵＩに含まれる前記第二の合成顔画像を保存することでデータを更新した（Ｓ４３）。

つぎに、使用者端末２から、前記使用者の操作による属性アノテーション結果を、属性情報ＤＢ１４に送信し、新たに受信した前記属性の情報を保存することでデータを更新した（Ｓ４４）。前記第二の合成顔画像の合成（Ｓ３）、前記第二のアノテーションＵＩの作成（Ｓ４１）、前記属性アノテーション（Ｓ４２）、合成顔画像ＤＢ１３の更新（Ｓ４３）及び属性情報ＤＢ１４の更新（Ｓ４４）は、Ｌ回繰り返した。

以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

産業上の利用分野

本発明は、年齢、性別、顔の印象度等の属性を顔画像から推定する分野に広く用いられ、その用途は制限されない。

Claims

使用者端末と通信回線網を介して接続可能であり、
顔画像データベース、合成顔画像生成手段及びアノテーション用ユーザインターフェース作成手段を含み、
前記顔画像データベースには、予め取得された複数人の顔画像が保存されており、
前記合成顔画像生成手段は、前記顔画像データベースに保存された複数人の顔画像を参照して合成顔画像を生成し、
前記アノテーション用ユーザインターフェース作成手段は、前記合成顔画像と、前記使用者端末における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能とを含むアノテーション用ユーザインターフェースを作成する、
ことを特徴とするアノテーション装置。
前記合成顔画像生成手段は、前記顔画像データベースに保存された複数人の顔画像を、抽出した画像特徴の類似度に基づき複数のクラスタにクラスタリングした後、各クラスタ毎に、前記合成顔画像を生成する、
ことを特徴とする請求項１記載のアノテーション装置。
前記合成顔画像情報中の特定の個人の情報が占める割合が、３３％以下である、
ことを特徴とする請求項１又は２記載のアノテーション装置。
さらに、合成顔画像データベース及び属性情報データベースを含み、
前記アノテーション用ユーザインターフェース作成手段は、作成した前記アノテーション用ユーザインターフェースを前記使用者端末及び前記合成顔画像データベースに送信可能であり、
前記合成顔画像データベースは、前記アノテーション用ユーザインターフェース作成手段から受信した前記アノテーション用ユーザインターフェースに含まれる前記合成顔画像を保存し、
前記属性情報データベースは、前記使用者端末から送信された前記使用者の操作による属性アノテーション結果を受信し、前記属性の情報を保存する、
ことを特徴とする請求項１から３のいずれか一項に記載のアノテーション装置。
さらに、第二の合成顔画像生成手段及び第二のアノテーション用ユーザインターフェース作成手段を含み、
前記第二の合成顔画像生成手段は、前記顔画像データベースに保存された複数人の顔画像、前記合成顔画像データベースに保存された前記合成顔画像、及び、前記属性情報データベースに保存された前記属性の情報を参照して第二の合成顔画像を生成し、
前記第二のアノテーション用ユーザインターフェース作成手段は、前記第二の合成顔画像と、前記使用者端末における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能とを含む第二のアノテーション用ユーザインターフェースを作成し、かつ、作成した前記第二のアノテーション用ユーザインターフェースを前記使用者端末及び前記合成顔画像データベースに送信可能であり、
前記合成顔画像データベースは、前記第二のアノテーション用ユーザインターフェース作成手段から受信した前記第二のアノテーション用ユーザインターフェースに含まれる前記第二の合成顔画像を保存することでデータを更新し、
前記属性情報データベースは、前記使用者端末から送信された前記使用者の操作による属性アノテーション結果を受信し、新たに受信した前記属性の情報を保存することでデータを更新する、
ことを特徴とする請求項４記載のアノテーション装置。
前記第二の合成顔画像生成手段は、前記顔画像データベースに保存された複数人の顔画像を、抽出した画像特徴の類似度に基づき複数のクラスタにクラスタリングした後、各クラスタ毎に、前記第二の合成顔画像を生成する、
ことを特徴とする請求項５記載のアノテーション装置。
前記第二の合成顔画像情報中の特定の個人の情報が占める割合が、３３％以下である、
ことを特徴とする請求項５又は６記載のアノテーション装置。
使用者端末及びアノテーション装置を含み、
前記アノテーション装置が、請求項１から７のいずれか一項に記載のアノテーション装置である、
ことを特徴とするアノテーションシステム。