WO2015033431A1 - アノテーション装置及びアノテーションシステム - Google Patents

アノテーション装置及びアノテーションシステム Download PDF

Info

Publication number
WO2015033431A1
WO2015033431A1 PCT/JP2013/074039 JP2013074039W WO2015033431A1 WO 2015033431 A1 WO2015033431 A1 WO 2015033431A1 JP 2013074039 W JP2013074039 W JP 2013074039W WO 2015033431 A1 WO2015033431 A1 WO 2015033431A1
Authority
WO
WIPO (PCT)
Prior art keywords
annotation
face image
attribute
user interface
synthesized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/074039
Other languages
English (en)
French (fr)
Inventor
康行 伊原
光洋 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Priority to JP2015535228A priority Critical patent/JP5930450B2/ja
Priority to PCT/JP2013/074039 priority patent/WO2015033431A1/ja
Publication of WO2015033431A1 publication Critical patent/WO2015033431A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation

Definitions

  • the present invention relates to an annotation apparatus and an annotation system.
  • a model is created by assigning (annotating) attributes such as age to a large number of face images.
  • attributes such as age
  • Patent Document 1 presents an annotator (attribute assigner) in a state where an individual can be identified without processing the face image, and there is a problem in protecting the privacy of the individual.
  • an object of the present invention is to provide an annotation apparatus and an annotation system that can add attributes to a face image while protecting personal privacy.
  • the annotation apparatus of the present invention includes: It can be connected to the user terminal via a communication network, Including a face image database, a synthesized face image generation means, and an annotation user interface creation means,
  • face image database face images of a plurality of people acquired in advance are stored
  • the synthesized face image generating means generates a synthesized face image with reference to face images of a plurality of persons stored in the face image database
  • the annotation user interface creation means creates an annotation user interface including the composite face image and an attribute annotation operation function that enables an attribute annotation to be given an attribute by a user operation on the user terminal. , It is characterized by that.
  • the annotation system of the present invention Including user terminals and annotation devices,
  • the annotation device is the annotation device of the present invention, It is characterized by that.
  • FIG. 1 is a diagram showing an example of the configuration of the annotation apparatus of the present invention.
  • FIG. 2 is a diagram showing an example of the configuration of the annotation system of the present invention using the annotation apparatus shown in FIG.
  • FIG. 3 is a flowchart showing an example of the flow of processing in the annotation apparatus and annotation system of the present invention.
  • FIG. 4 is a flowchart showing an example of the processing flow of the synthetic face image generation means in the annotation apparatus and annotation system of the present invention.
  • FIG. 5 is a diagram showing an example of clustering in the synthetic face image generation means of the present invention.
  • FIG. 6 is a diagram showing an example of generation of a synthesized face image in the synthesized face image generation means using clustering according to the present invention.
  • FIG. 1 is a diagram showing an example of the configuration of the annotation apparatus of the present invention.
  • FIG. 2 is a diagram showing an example of the configuration of the annotation system of the present invention using the annotation apparatus shown in FIG.
  • FIG. 3 is a flowchart
  • FIG. 7 is a diagram showing an example of an annotation user interface in the annotation apparatus and annotation system of the present invention.
  • FIG. 8 is a diagram showing another example of the configuration of the annotation apparatus of the present invention.
  • FIG. 9 is a diagram showing an example of the configuration of the annotation system of the present invention using the annotation apparatus shown in FIG.
  • FIG. 10 is a flowchart showing another example of the processing flow in the annotation apparatus and annotation system of the present invention.
  • FIG. 11 is a flowchart showing still another example of the processing flow in the annotation apparatus and annotation system of the present invention.
  • FIG. 12 is a flowchart showing another example of the processing flow of the synthetic face image generation means in the annotation apparatus and annotation system of the present invention.
  • the synthetic face image generation means clusters the face image stored in the face image database into a plurality of clusters based on the similarity of the extracted image features, and then, for each cluster, An aspect of generating a synthesized face image may be used.
  • a ratio of specific personal information in the synthetic face image information is 33% or less. By setting the ratio to 33% or less, it becomes possible to protect personal privacy more suitably.
  • the annotation apparatus of the present invention further includes a composite face image database and an attribute information database, and the annotation user interface creation means can transmit the created annotation user interface to the user terminal and the composite face image database.
  • the synthetic face image database stores the synthetic face image included in the annotation user interface received from the annotation user interface creation means, and the attribute information database is transmitted from the user terminal. It is preferable that the attribute annotation result by the user's operation is received and the attribute information is stored. According to this aspect, it is possible to store (accumulate) the synthetic face image in the synthetic face image database and the attribute information in the attribute information database.
  • the annotation apparatus of the present invention further includes a second synthesized face image generating means and a second annotation user interface creating means, wherein the second synthesized face image generating means includes a plurality of face images stored in the face image database. Generating a second composite face image by referring to the human face image, the composite face image stored in the composite face image database, and the attribute information stored in the attribute information database;
  • the annotation user interface creation means includes a second annotation including the second composite face image and an attribute annotation operation function that enables an attribute annotation to give an attribute by a user operation on the user terminal.
  • a user interface for the second annotation and the second annotation user The interface can be transmitted to the user terminal and the synthesized face image database, and the synthesized face image database is included in the second annotation user interface received from the second annotation user interface creation means.
  • the data is updated by storing the second composite face image, and the attribute information database receives an attribute annotation result by the user's operation transmitted from the user terminal, and the newly received attribute It is preferable that the data is updated by storing the information.
  • the second synthetic face image generation means refers to the attribute information stored in the attribute information database, image feature extraction highly correlated with the attribute of the annotation target can be performed, High quality annotations can be realized.
  • the second synthesized face image generation means clusters the face images of a plurality of persons stored in the face image database into a plurality of clusters based on the extracted image feature similarity, It may be an aspect in which the second composite face image is generated for each cluster.
  • the ratio of specific personal information in the second composite face image information is 33% or less. By setting the ratio to 33% or less, it becomes possible to protect personal privacy more suitably.
  • FIG. 1 shows a schematic diagram of an example of the annotation apparatus of the present invention.
  • FIG. 2 shows a schematic diagram of an example of the annotation system of the present invention using the annotation apparatus shown in FIG.
  • the annotation device 1 of this embodiment includes a face image database (DB) 11 and an annotation server 12. Further, as shown in FIG. 2, the annotation device 1 can be connected to the user terminal 2 via the communication line network 3.
  • DB face image database
  • the face image DB 11 stores face images of a plurality of people acquired in advance.
  • the face image DB 11 may be a public DB published on the Internet, or may be created by acquiring a plurality of face images in advance.
  • the annotation server 12 includes synthetic face image generation means and annotation user interface (UI) creation means.
  • the synthesized face image generating means generates a synthesized face image with reference to a plurality of face images stored in the face image DB 11.
  • the annotation UI creation means creates an annotation UI that includes the composite face image and an attribute annotation operation function that enables an attribute annotation to be given an attribute by a user operation on the user terminal 2.
  • the user terminal 2 is not particularly limited, and examples thereof include a personal computer (PC), a mobile phone, and a smartphone.
  • PC personal computer
  • mobile phone a mobile phone
  • smartphone a smartphone
  • the communication line network 3 may be wired or wireless, and examples thereof include the Internet and a LAN (Local Area Network).
  • FIG 3 shows an example of the flow of attribute annotation processing by the annotation apparatus 1 and the annotation system of the present embodiment.
  • a face image of a plurality of persons stored in the face image DB 11 is referred to generate a synthesized face image (S1).
  • FIG. 4 is a flowchart showing an example of a process flow of generating a synthesized face image by the synthesized face image generating unit.
  • face images of a plurality of people are input from the face image DB 11 (S11).
  • image feature amounts are extracted from the face images of the plurality of persons (S12).
  • the image feature include RGB feature, luminance distribution, HOG (Histograms of Oriented Gradients) feature, and the like.
  • dimension reduction is performed on all face images from which image feature amounts have been extracted (S13). Since there is no attribute information to be referred to, this dimension reduction is an unsupervised dimension reduction that reduces the other parts while leaving the feature of the face image large regardless of the attribute information.
  • the dimension reduction can be performed by, for example, principal component analysis (PCA), kernel PCA, locality preserving projection (LPP), or the like.
  • the face image after the dimension reduction is clustered (grouped) into a plurality of clusters based on the similarity of the image features (S14).
  • the clustering can be performed by, for example, the k-means method, fuzzy clustering, or the like.
  • FIG. 5 shows an example of the clustering.
  • 24 face images 102 are clustered into three clusters 101 in the partial space 100.
  • FIG. 5 only schematically shows an example of the clustering, and the number of face images 102 and clusters 101 is not limited to this example.
  • a composite face image is generated for each cluster (S15 in FIG. 4).
  • the image feature extracted in S12 is used.
  • the synthetic face image can be generated by, for example, synthesis of an average face or the like.
  • all face images in each cluster may be used, or only a part of face images having closer features may be used.
  • the generation of the composite face image may be performed for all the clusters in the partial space, or may be performed for only some of the clusters.
  • FIG. 6 shows an example of generation of a synthesized face image by the synthesized face image generating means.
  • a synthesized face image 110 is obtained by synthesizing an average face of the face images 102 in a certain cluster 101 on the partial space.
  • the ratio of information of a specific individual for example, the person in the center face image of the cluster 101 shown in FIG. 6 in the synthetic face image information is preferably 33% or less. By setting the ratio to 33% or less, it becomes possible to protect personal privacy more suitably.
  • the composite face image is output to the annotation UI creation means (S16 in FIG. 4), and the generation of the composite face image is terminated.
  • an attribute annotation operation function that enables the synthetic face image and an attribute annotation to give an attribute by a user operation on the user terminal 2
  • An annotation UI including is created (S21 in FIG. 3).
  • FIG. 7 shows an example of the annotation UI.
  • the annotation UI 200 of this example includes a composite face image 110 and an attribute annotation operation function 111 that enables an attribute annotation to be given an attribute by a user operation on the user terminal 2.
  • the attribute annotation operation function 111 includes an annotation question 1 (“gender?” In the figure), an answer icon (“female” and “male” in the figure), annotation Question 2 (“Is it cute?” In the figure) and an answer icon (in this figure, “No” -2 to “Yes” +2 five-level evaluation), and composite face image 1 It is a button for repeating annotation processing for each sheet ("Register (Proceed to next image)" in the figure).
  • the created annotation UI 200 is transmitted to the user terminal 2 via the communication line network 3, and attribute annotation is performed by the user's operation on the user terminal 2 (S22 in FIG. 3).
  • the attributes for which the attribute annotation is implemented include, for example, the degree of impression of the face (degrees such as “cute”, “bright and refreshing”), gender (“male”, “female”), facial expression (“smile”, “Sad face”, “angry face” etc.), age ("31 years old” etc.), etc.
  • the creation of the annotation UI 200 (S21 in FIG. 3) and the attribute annotation (S22 in FIG. 3) are repeated for each synthetic face image.
  • the annotation apparatus 1 and the annotation system of the present embodiment by using the synthetic face image 110 that cannot identify an individual in the annotation UI 200, attributes are added to the face image while protecting the privacy of the individual. Is possible.
  • FIG. 8 shows a schematic diagram of another example of the annotation apparatus of the present invention.
  • FIG. 9 shows a schematic diagram of an example of the annotation system of the present invention using the annotation apparatus shown in FIG.
  • the annotation apparatus 1 and the annotation system of the present embodiment further include the synthetic face image database (DB) 13 and the attribute information database (DB) 14, except that the implementation is shown in FIG. 1.
  • DB synthetic face image database
  • DB attribute information database
  • the annotation UI creation means in the annotation server 12 can transmit the created annotation UI 200 to the user terminal 2 and the composite face image DB 13.
  • the composite face image DB 13 stores the composite face image 110 included in the annotation UI 200 received from the annotation UI creation unit.
  • the attribute information DB 14 receives the attribute annotation result transmitted from the user terminal 2 and operated by the user, and stores the attribute information.
  • FIG 10 shows an example of the flow of attribute annotation processing by the annotation apparatus 1 and the annotation system of the present embodiment.
  • the generation of the composite face image 110 (S1), the creation of the annotation UI 200 (S21), and the attribute annotation (S22) are performed.
  • the annotation UI creating means in the annotation server 12 transmits the created annotation UI 200 to the synthesized face image DB 13.
  • the combined face image DB 13 stores the combined face image 110 included in the annotation UI 200 received from the annotation UI creating unit (S23).
  • the user terminal 2 transmits the attribute annotation result by the user's operation to the attribute information DB 14.
  • the attribute information DB 14 receives the attribute annotation result transmitted from the user terminal 2 and operated by the user, and stores the attribute information (S24).
  • the annotation apparatus 1 and the annotation system of the present embodiment it is possible to store (accumulate) the synthetic face image 110 in the synthetic face image DB 13 and the attribute information in the attribute information DB 14.
  • the annotation server 12 is further provided with a second synthesized face image generating means and a second annotation in addition to the synthesized face image generating means and the annotation UI creating means. Except for the point including UI creation means, it is the same as the annotation apparatus 1 of the second embodiment shown in FIG. 8 and the annotation system shown in FIG.
  • the second synthetic face image generating unit may be provided separately from the synthetic face image generating unit, and the synthetic face image generating unit may be provided with the second synthetic face. It may also serve as image generation means.
  • the second annotation UI creation means may be provided separately from the annotation UI creation means, or the annotation UI creation means It may also serve as an annotation UI creation means.
  • the second composite face image generation means includes a plurality of face images stored in the face image DB 11, a composite face image 110 stored in the composite face image DB 13, and the attribute information stored in the attribute information DB 14. To generate a second composite face image.
  • the second annotation UI creation means includes a second synthetic face image and an attribute annotation operation function that enables an attribute annotation to give an attribute by a user operation on the user terminal 2.
  • An annotation UI can be created, and the created second annotation UI can be transmitted to the user terminal 2 and the composite face image DB 13.
  • the synthesized face image DB 13 updates the data by storing the second synthesized face image included in the second annotation UI received from the second annotation UI creation unit.
  • the attribute information DB 14 receives the attribute annotation result by the user's operation transmitted from the user terminal 2, and updates the data by storing the newly received attribute information.
  • FIG. 11 is a flowchart showing an example of the attribute annotation processing flow by the annotation apparatus 1 and the annotation system of the present embodiment.
  • the composite face image 110 is generated (S1), the annotation UI 200 is created (S21), the attribute annotation (S22), and the composite face image included in the annotation UI 200 to the composite face image DB13. 110 is saved (S23), and the attribute information is saved in the attribute information DB 14 (S24).
  • a second composite face image is generated with reference to the attribute information stored in the information DB 14 (S3).
  • FIG. 12 is a flowchart showing an example of the second synthetic face image generation process performed by the second synthetic face image generation unit.
  • face images of a plurality of persons are input from the face image DB 11, the composite face image 110 from the composite face image DB 13, and the attribute information from the attribute information DB 14 (S31).
  • an image feature amount is extracted from the face images of the plurality of persons and the synthesized face image 110 (S32).
  • dimension reduction is performed on all face images from which image feature amounts have been extracted in the same manner as in S13 of FIG. 4 described above (S33).
  • This dimension reduction is an unsupervised dimension reduction in which the features of the face image remain large and other parts are reduced regardless of the attribute information.
  • supervised dimension reduction is performed (S34).
  • semi-supervised dimension reduction may be performed instead of or in addition to supervised dimension reduction.
  • the semi-supervised dimension reduction is particularly effective because the dimension reduction can be prevented from becoming unstable when the number of teacher data (face images to which attribute information is added) is small.
  • Dimensional reduction in this process includes, for example, Canonical Correlation Analysis (CCA), Regularized Canonical Correlation Analysis (Regularized Canonical Correlation Analysis: RCCA), Kernel Canonical Correlation Analysis, Semi-Supervised Canonical Correlation Analysis, It can be implemented by linear discriminant analysis (Linear Discriminant Analysis: LDA) or the like.
  • the face image after the dimension reduction is clustered (grouped) into a plurality of clusters based on the similarity of the image features (S35).
  • the clustering can be performed by, for example, the k-means method, fuzzy clustering, or the like.
  • a second composite face image is generated for each cluster (S36).
  • the ratio of specific personal information in the second composite face image information is preferably 33% or less. By setting the ratio to 33% or less, it becomes possible to protect personal privacy more suitably.
  • the second synthesized face image is output to the second annotation UI creating means (S37), and the generation of the second synthesized face image is terminated.
  • a second annotation UI including the attribute annotation operation function to be created is created (S41 in FIG. 11).
  • Examples of the second annotation UI include an image obtained by replacing the synthetic face image 110 of the annotation UI 200 shown in FIG. 7 with the second synthetic face image.
  • the created second annotation UI is transmitted to the user terminal 2 via the communication network 3, and attribute annotation is performed by the user's operation on the user terminal 2 (S42 in FIG. 11).
  • the second annotation UI creating means in the annotation server 12 transmits the created second annotation UI to the synthesized face image DB 13.
  • the synthesized face image DB 13 updates the data by storing the second synthesized face image included in the second annotation UI received from the second annotation UI creation unit (S43). ). Thereby, the synthesized face image 110 and the second synthesized face image are accumulated in the synthesized face image DB 13.
  • the user terminal 2 transmits the attribute annotation result by the user's operation to the attribute information DB 14.
  • the attribute information DB 14 receives the attribute annotation result by the user's operation transmitted from the user terminal 2, and updates the data by storing the newly received attribute information (S44). .
  • the attribute information DB 14 stores the attribute information stored in S24 and the attribute information stored in S44. Synthesis of the second composite face image (S3), creation of the second annotation UI (S41), attribute annotation (S42), update of the composite face image DB 13 (S43), and update of the attribute information DB 14 (S44) Is repeated several times.
  • the second synthesized face image generation unit refers to the attribute information stored in the attribute information DB 14, and thus has high correlation with the attribute of the annotation target. Image feature extraction can be performed, and high-quality annotation can be realized.
  • Face images were collected and stored in the face image DB 11. All the face images satisfy the following conditions. (Face image conditions) Size: 64 pixels x 64 pixels, nose and mouth position: all face images are aligned to the same position (normalized) Attribute information: unknown
  • a synthesized face image is generated using the synthesized face image generating means in the annotation server 12 (S1).
  • S14 the k-average method
  • the composite face image is output to the annotation UI creation means (S16), and the generation of the composite face image is completed.
  • an annotation UI was created using the annotation UI creation means in the annotation server 12 (S21 in FIG. 11).
  • the annotation UI is as shown in FIG.
  • the created annotation UI is transmitted to the user terminal 2 via the communication network 3, and attribute annotation is performed by the user's operation on the user terminal 2 (S22).
  • the creation of the annotation UI (S21) and the attribute annotation (S22) were repeated for each synthetic face image.
  • the created annotation UI in the annotation server 12 is sent to the synthesized face image DB 13 by the created annotation UI creation means, and the synthesized face image included in the annotation UI is synthesized face image. It preserve
  • the attribute annotation result by the user's operation is transmitted from the user terminal 2 to the attribute information DB 14, and the attribute information is stored in the attribute information DB 14 (S24).
  • a second synthesized face image is generated using the second synthesized face image generating means in the annotation server 12 (S3). As will be described later, the generation of the second composite face image was repeated L times.
  • the second synthesized face image is output to the second annotation UI creating means (S37), and the generation of the second synthesized face image is finished.
  • a second annotation UI was created using the second annotation UI creation means in the annotation server 12 (S41 in FIG. 11).
  • the second annotation UI is obtained by replacing the synthetic face image 110 of the annotation UI 200 shown in FIG. 7 with the second synthetic face image.
  • the created second annotation UI is transmitted to the user terminal 2 via the communication line network 3, and attribute annotation is performed by the user's operation on the user terminal 2 (S42).
  • the creation of the second annotation UI (S41) and the attribute annotation (S42) were repeated for each second synthetic face image.
  • the second annotation UI creation means in the annotation server 12 sends the 20 created second annotation UIs to the composite face image DB 13, and the second annotation UI creation means The data was updated by storing the second composite face image included in the second annotation UI received from (S43).
  • the attribute annotation result by the user's operation is transmitted from the user terminal 2 to the attribute information DB 14, and the data is updated by storing the newly received attribute information (S44).
  • Synthesis of the second composite face image (S3), creation of the second annotation UI (S41), attribute annotation (S42), update of the composite face image DB 13 (S43), and update of the attribute information DB 14 (S44) was repeated L times.
  • the present invention is widely used in the field of estimating attributes such as age, gender, facial impression degree, and the like from face images, and its application is not limited.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

　個人のプライバシーを保護しつつ、顔画像に属性を付与することが可能なアノテーション装置を提供する。　本発明のアノテーション装置は、使用者端末と通信回線網を介して接続可能であり、顔画像データベース、合成顔画像生成手段及びアノテーション用ユーザインターフェース作成手段を含み、前記顔画像データベースには、予め取得された複数人の顔画像が保存されており、前記合成顔画像生成手段は、前記顔画像データベースに保存された複数人の顔画像を参照して合成顔画像を生成し、前記アノテーション用ユーザインターフェース作成手段は、前記合成顔画像と、前記使用者端末における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能とを含むアノテーション用ユーザインターフェースを作成する、ことを特徴とする。

Description

アノテーション装置及びアノテーションシステム
　本発明は、アノテーション装置及びアノテーションシステムに関する。
　タバコの自動販売機又は銀行のＡＴＭ等のように本人確認が必要な装置において、ヒトの顔をカメラで撮影して顔画像を取得し、顔画像に年齢及び性別等の属性を付与する装置が提案されている（例えば、特許文献１）。年齢等の属性の付与は、例えば、多数のお手本顔画像情報により機械が学習してモデルを作成し、属性付与対象の顔画像を前記モデルと対比するというモデル学習で実施される。
特開２０１０－２１８０６０号公報
　前記モデル学習では、多数の顔画像に対し、ヒトが年齢等の属性を付与（アノテーション）してモデルを作成することになる。しかしながら、特許文献１に記載の属性付与では、顔画像を加工せずに、個人が特定できる状態のままアノテーター（属性付与者）に提示しており、個人のプライバシー保護上、問題がある。
　そこで、本発明は、個人のプライバシーを保護しつつ、顔画像に属性を付与することが可能なアノテーション装置及びアノテーションシステムの提供を目的とする。
　前記目的を達成するために、本発明のアノテーション装置は、
使用者端末と通信回線網を介して接続可能であり、
顔画像データベース、合成顔画像生成手段及びアノテーション用ユーザインターフェース作成手段を含み、
前記顔画像データベースには、予め取得された複数人の顔画像が保存されており、
前記合成顔画像生成手段は、前記顔画像データベースに保存された複数人の顔画像を参照して合成顔画像を生成し、
前記アノテーション用ユーザインターフェース作成手段は、前記合成顔画像と、前記使用者端末における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能とを含むアノテーション用ユーザインターフェースを作成する、
ことを特徴とする。
　本発明のアノテーションシステムは、
使用者端末及びアノテーション装置を含み、
前記アノテーション装置が、前記本発明のアノテーション装置である、
ことを特徴とする。
　本発明のアノテーション装置及びアノテーションシステムによれば、個人のプライバシーを保護しつつ、顔画像に属性を付与することが可能である。
図１は、本発明のアノテーション装置の構成の一例を示す図である。 図２は、図１に示すアノテーション装置を用いた本発明のアノテーションシステムの構成の一例を示す図である。 図３は、本発明のアノテーション装置及びアノテーションシステムにおける処理の流れの一例を示すフローチャートである。 図４は、本発明のアノテーション装置及びアノテーションシステムにおける合成顔画像生成手段の処理の流れの一例を示すフローチャートである。 図５は、本発明の合成顔画像生成手段におけるクラスタリングの一例を示す図である。 図６は、本発明のクラスタリングを用いた合成顔画像生成手段における合成顔画像の生成の一例を示す図である。 図７は、本発明のアノテーション装置及びアノテーションシステムにおけるアノテーション用ユーザインターフェースの一例を示す図である。 図８は、本発明のアノテーション装置の構成のその他の例を示す図である。 図９は、図８に示すアノテーション装置を用いた本発明のアノテーションシステムの構成の一例を示す図である。 図１０は、本発明のアノテーション装置及びアノテーションシステムにおける処理の流れのその他の例を示すフローチャートである。 図１１は、本発明のアノテーション装置及びアノテーションシステムにおける処理の流れのさらにその他の例を示すフローチャートである。 図１２は、本発明のアノテーション装置及びアノテーションシステムにおける合成顔画像生成手段の処理の流れのその他の例を示すフローチャートである。
　本発明のアノテーション装置において、前記合成顔画像生成手段は、前記顔画像データベースに保存された顔画像を、抽出した画像特徴の類似度に基づき複数のクラスタにクラスタリングした後、各クラスタ毎に、前記合成顔画像を生成する、という態様であってもよい。
　本発明のアノテーション装置において、前記合成顔画像情報中の特定の個人の情報が占める割合が、３３％以下であることが好ましい。前記割合を３３％以下とすることで、より好適に個人のプライバシーを保護することが可能となる。
　本発明のアノテーション装置において、さらに、合成顔画像データベース及び属性情報データベースを含み、前記アノテーション用ユーザインターフェース作成手段は、作成した前記アノテーション用ユーザインターフェースを前記使用者端末及び前記合成顔画像データベースに送信可能であり、前記合成顔画像データベースは、前記アノテーション用ユーザインターフェース作成手段から受信した前記アノテーション用ユーザインターフェースに含まれる合成顔画像を保存し、前記属性情報データベースは、前記使用者端末から送信された前記使用者の操作による属性アノテーション結果を受信し、前記属性の情報を保存する、という態様であることが好ましい。この態様によれば、前記合成顔画像データベースに前記合成顔画像を、前記属性情報データベースに前記属性の情報を保存（蓄積）することが可能となる。
　本発明のアノテーション装置において、さらに、第二の合成顔画像生成手段及び第二のアノテーション用ユーザインターフェース作成手段を含み、前記第二の合成顔画像生成手段は、前記顔画像データベースに保存された複数人の顔画像、前記合成顔画像データベースに保存された前記合成顔画像、及び、前記属性情報データベースに保存された前記属性の情報を参照して第二の合成顔画像を生成し、前記第二のアノテーション用ユーザインターフェース作成手段は、前記第二の合成顔画像と、前記使用者端末における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能とを含む第二のアノテーション用ユーザインターフェースを作成し、かつ、作成した前記第二のアノテーション用ユーザインターフェースを前記使用者端末及び前記合成顔画像データベースに送信可能であり、前記合成顔画像データベースは、前記第二のアノテーション用ユーザインターフェース作成手段から受信した前記第二のアノテーション用ユーザインターフェースに含まれる前記第二の合成顔画像を保存することでデータを更新し、前記属性情報データベースは、前記使用者端末から送信された前記使用者の操作による属性アノテーション結果を受信し、新たに受信した前記属性の情報を保存することでデータを更新する、という態様であることが好ましい。この態様によれば、前記第二の合成顔画像生成手段が、前記属性情報データベースに保存された前記属性の情報を参照するため、アノテーション対象の属性と相関性の高い画像特徴抽出を実施でき、高品質のアノテーションを実現可能である。
　本発明のアノテーション装置において、前記第二の合成顔画像生成手段は、前記顔画像データベースに保存された複数人の顔画像を、抽出した画像特徴の類似度に基づき複数のクラスタにクラスタリングした後、各クラスタ毎に、前記第二の合成顔画像を生成する、という態様であってもよい。
　本発明のアノテーション装置において、前記第二の合成顔画像情報中の特定の個人の情報が占める割合が、３３％以下であることが好ましい。前記割合を３３％以下とすることで、より好適に個人のプライバシーを保護することが可能となる。
　つぎに、本発明のアノテーション装置及びアノテーションシステムについて、例をあげて説明する。ただし、本発明は、下記の例に限定されない。なお、図１から図１２において、同一部分には同一符号を付している。
［実施形態１］
　図１に、本発明のアノテーション装置の一例の概略図を示す。また、図２に、図１に示すアノテーション装置を用いた本発明のアノテーションシステムの一例の概略図を示す。図１に示すとおり、本実施形態のアノテーション装置１は、顔画像データベース（ＤＢ）１１及びアノテーション用サーバ１２を含む。また、図２に示すとおり、アノテーション装置１は、使用者端末２と通信回線網３を介して接続可能である。
　顔画像ＤＢ１１には、予め取得された複数人の顔画像が保存されている。顔画像ＤＢ１１は、例えば、インターネット上で公開されている公開ＤＢを用いてもよいし、複数人の顔画像を予め取得することで作製してもよい。
　アノテーション用サーバ１２は、合成顔画像生成手段及びアノテーション用ユーザインターフェース（ＵＩ）作成手段を含む。前記合成顔画像生成手段は、顔画像ＤＢ１１に保存された複数の顔画像を参照して合成顔画像を生成する。前記アノテーション用ＵＩ作成手段は、前記合成顔画像と、使用者端末２における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能とを含むアノテーション用ＵＩを作成する。
　使用者端末２は、特に制限されず、例えば、パーソナルコンピュータ（ＰＣ）、携帯電話、スマートフォン等があげられる。
　通信回線網３は、有線でも無線でもよく、例えば、インターネット、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等があげられる。
　図３のフローチャートに、本実施形態のアノテーション装置１及びアノテーションシステムによる属性アノテーションの処理の流れの一例を示す。
　まず、アノテーション用サーバ１２内の前記合成顔画像生成手段を用いて、顔画像ＤＢ１１に保存された複数人の顔画像を参照して、合成顔画像を生成する（Ｓ１）。
　図４のフローチャートに、前記合成顔画像生成手段による合成顔画像生成の処理の流れの一例を示す。
　まず、顔画像ＤＢ１１から複数人の顔画像を入力する（Ｓ１１）。
　つぎに、前記複数人の顔画像から画像特徴量を抽出する（Ｓ１２）。前記画像特徴としては、例えば、ＲＧＢ特徴、輝度分布、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔｓ）特徴等があげられる。
　つぎに、画像特徴量を抽出した全ての顔画像について、次元削減を行う（Ｓ１３）。この次元削減は、参照する属性情報が無いため、属性情報と無関係に、顔画像の特徴が大きいところを残して、他の部分を削減する教師無し次元削減となる。前記次元削減は、例えば、主成分分析（Ｐｒｉｎｃｉｐａｌ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ：ＰＣＡ）、カーネルＰＣＡ、局所性保存射影（Ｌｏｃａｌｉｔｙ　Ｐｒｅｓｅｒｖｉｎｇ　Ｐｒｏｊｅｃｔｉｏｎ：ＬＰＰ）等により実施できる。
　つぎに、前記次元削減後の顔画像を、画像特徴の類似度に基づき複数のクラスタにクラスタリング（グループ分け）する（Ｓ１４）。前記クラスタリングは、例えば、ｋ－平均法、ファジィ・クラスタリング等により実施できる。
　図５に、前記クラスタリングの一例を示す。図５においては、部分空間１００において、２４人の顔画像１０２を、３個のクラスタ１０１にクラスタリングしている。ただし、図５は、前記クラスタリングの一例を模式的に示したに過ぎず、顔画像１０２及びクラスタ１０１の数はこの例に限定されない。
　つぎに、各クラスタ毎に、合成顔画像を生成する（図４のＳ１５）。前記合成顔画像の生成にあたっては、Ｓ１２で抽出した画像特徴を使用する。前記合成顔画像の生成は、例えば、平均顔等の合成により実施できる。前記合成顔画像の生成においては、各クラスタ内の全ての顔画像を使用してもよいし、より特徴の近い一部の顔画像のみを使用してもよい。また、前記合成顔画像の生成は、部分空間上の全てのクラスタについて実施してもよいし、一部のクラスタのみについて実施してもよい。
　図６に、前記合成顔画像生成手段における合成顔画像の生成の一例を示す。図６に示す例では、前記部分空間上のあるクラスタ１０１内の顔画像１０２の平均顔を合成することで、合成顔画像１１０を得ている。一方、図６に示すように、合成顔画像１１０から、クラスタ１０１内の個人を特定することは不可能である。前述のとおり、前記合成顔画像情報中の特定の個人（例えば、図６に示すクラスタ１０１の中央の顔画像の人物）の情報が占める割合は、３３％以下であることが好ましい。前記割合を３３％以下とすることで、より好適に個人のプライバシーを保護することが可能となる。
　つぎに、前記合成顔画像を、アノテーション用ＵＩ作成手段へと出力し（図４のＳ１６）、前記合成顔画像の生成を終了する。
　つぎに、アノテーション用サーバ１２内のアノテーション用ＵＩ作成手段を用いて、前記合成顔画像と、使用者端末２における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能とを含むアノテーション用ＵＩを作成する（図３のＳ２１）。
　図７に、前記アノテーション用ＵＩの一例を示す。図７に示すとおり、本例のアノテーション用ＵＩ２００は、合成顔画像１１０と、使用者端末２における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能１１１とを含む。図７に示す例では、属性アノテーション操作機能１１１は、アノテーション用の質問１（同図では、「性別は？」）及び回答用のアイコン（同図では、「女性」及び「男性」）、アノテーション用の質問２（同図では、「かわいいですか？」）及び回答用のアイコン（同図では、「いいえ」の－２から「はい」の＋２の五段階評価）、並びに、合成顔画像１枚毎にアノテーション処理を繰り返すためのボタン（同図では、「登録（次の画像に進む）」）となっている。
　作成されたアノテーション用ＵＩ２００は、通信回線網３を介して使用者端末２に送信され、使用者端末２における使用者の操作により属性アノテーションが実施される（図３のＳ２２）。前記属性アノテーションが実施される属性としては、例えば、顔の印象度（「かわいい」、「明るくさわやか」等の度合い）、性別（「男性」、「女性」）、顔の表情（「笑顔」、「悲しい顔」、「怒っている顔」等）、年齢（「３１歳」等）等があげられる。アノテーション用ＵＩ２００の作成（図３のＳ２１）及び属性アノテーション（図３のＳ２２）は、前記合成顔画像１枚毎に繰り返される。
　本実施形態のアノテーション装置１及びアノテーションシステムによれば、アノテーション用ＵＩ２００に個人を特定することが不可能な合成顔画像１１０を用いることで、個人のプライバシーを保護しつつ、顔画像に属性を付与することが可能である。
［実施形態２］
　図８に、本発明のアノテーション装置のその他の例の概略図を示す。また、図９に、図８に示すアノテーション装置を用いた本発明のアノテーションシステムの一例の概略図を示す。図８及び図９に示すとおり、本実施形態のアノテーション装置１及びアノテーションシステムは、さらに、合成顔画像データベース（ＤＢ）１３及び属性情報データベース（ＤＢ）１４を含む点を除き、図１に示す実施形態１のアノテーション装置１及び図２に示す実施形態１のアノテーションシステムと同様である。
　本実施形態のアノテーション装置１及びアノテーションシステムにおいて、アノテーション用サーバ１２内の前記アノテーション用ＵＩ作成手段は、作成したアノテーション用ＵＩ２００を使用者端末２及び合成顔画像ＤＢ１３に送信可能である。
　合成顔画像ＤＢ１３は、前記アノテーション用ＵＩ作成手段から受信したアノテーション用ＵＩ２００に含まれる合成顔画像１１０を保存する。
　属性情報ＤＢ１４は、使用者端末２から送信された前記使用者の操作による属性アノテーション結果を受信し、前記属性の情報を保存する。
　図１０のフローチャートに、本実施形態のアノテーション装置１及びアノテーションシステムによる属性アノテーションの処理の流れの一例を示す。
　まず、実施形態１と同様にして、合成顔画像１１０の生成（Ｓ１）、アノテーション用ＵＩ２００の作成（Ｓ２１）及び属性アノテーション（Ｓ２２）を実施する。
　つぎに、アノテーション用サーバ１２内のアノテーション用ＵＩ作成手段は、作成されたアノテーション用ＵＩ２００を、合成顔画像ＤＢ１３に送信する。合成顔画像ＤＢ１３は、前述のとおり、前記アノテーション用ＵＩ作成手段から受信したアノテーション用ＵＩ２００に含まれる合成顔画像１１０を保存する（Ｓ２３）。
　つぎに、使用者端末２は、前記使用者の操作による属性アノテーション結果を、属性情報ＤＢ１４に送信する。属性情報ＤＢ１４は、前述のとおり、使用者端末２から送信された前記使用者の操作による属性アノテーション結果を受信し、前記属性の情報を保存する（Ｓ２４）。
　本実施形態のアノテーション装置１及びアノテーションシステムによれば、合成顔画像ＤＢ１３に前記合成顔画像１１０を、属性情報ＤＢ１４に前記属性の情報を保存（蓄積）することが可能となる。
［実施形態３］
　本実施形態のアノテーション装置１及びアノテーションシステムは、アノテーション用サーバ１２が、前記合成顔画像生成手段及び前記アノテーション用ＵＩ作成手段に加え、さらに、第二の合成顔画像生成手段及び第二のアノテーション用ＵＩ作成手段を含む点を除き、図８に示す実施形態２のアノテーション装置１及び図９に示すアノテーションシステムと同様である。本実施形態のアノテーション装置１及びアノテーションシステムにおいて、前記合成顔画像生成手段とは別に前記第二の合成顔画像生成手段を設けてもよいし、前記合成顔画像生成手段が前記第二の合成顔画像生成手段を兼ねてもよい。また、本実施形態のアノテーション装置１及びアノテーションシステムにおいて、前記アノテーション用ＵＩ作成手段とは別に前記第二のアノテーション用ＵＩ作成手段を設けてもよいし、前記アノテーション用ＵＩ作成手段が前記第二のアノテーション用ＵＩ作成手段を兼ねてもよい。
　前記第二の合成顔画像生成手段は、顔画像ＤＢ１１に保存された複数人の顔画像、合成顔画像ＤＢ１３に保存された合成顔画像１１０、及び、属性情報ＤＢ１４に保存された前記属性の情報を参照して第二の合成顔画像を生成する。
　前記第二のアノテーション用ＵＩ作成手段は、前記第二の合成顔画像と、使用者端末２における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能とを含む第二のアノテーション用ＵＩを作成し、かつ、作成した前記第二のアノテーション用ＵＩを使用者端末２及び合成顔画像ＤＢ１３に送信可能である。
　合成顔画像ＤＢ１３は、前記第二のアノテーション用ＵＩ作成手段から受信した前記第二のアノテーション用ＵＩに含まれる前記第二の合成顔画像を保存することでデータを更新する。
　属性情報ＤＢ１４は、使用者端末２から送信された前記使用者の操作による属性アノテーション結果を受信し、新たに受信した前記属性の情報を保存することでデータを更新する。
　図１１のフローチャートに、本実施形態のアノテーション装置１及びアノテーションシステムによる属性アノテーションの処理の流れの一例を示す。
　まず、実施形態２と同様にして、合成顔画像１１０の生成（Ｓ１）、アノテーション用ＵＩ２００の作成（Ｓ２１）、属性アノテーション（Ｓ２２）、合成顔画像ＤＢ１３へのアノテーション用ＵＩ２００に含まれる合成顔画像１１０の保存（Ｓ２３）及び属性情報ＤＢ１４への前記属性の情報の保存（Ｓ２４）を実施する。
　つぎに、アノテーション用サーバ１２内の第二の合成顔画像生成手段を用いて、顔画像ＤＢ１１に保存された複数人の顔画像、合成顔画像ＤＢ１３に保存された合成顔画像１１０、及び、属性情報ＤＢ１４に保存された前記属性の情報を参照して第二の合成顔画像を生成する（Ｓ３）。
　図１２のフローチャートに、前記第二の合成顔画像生成手段による第二の合成顔画像生成の処理の流れの一例を示す。
　まず、顔画像ＤＢ１１から複数人の顔画像を、合成顔画像ＤＢ１３から合成顔画像１１０を、属性情報ＤＢ１４から前記属性の情報を入力する（Ｓ３１）。
　つぎに、前記複数人の顔画像及び合成顔画像１１０から画像特徴量を抽出する（Ｓ３２）。
　つぎに、前述の図４のＳ１３と同様にして、画像特徴量を抽出した全ての顔画像について、次元削減を行う（Ｓ３３）。この次元削減は、属性情報と無関係に、顔画像の特徴が大きいところを残して、他の部分を削減する教師無し次元削減とする。
　つぎに、Ｓ３１で入力された前記属性の情報と相関性の高い画像特徴を抽出し、教師付き次元削減を実施する（Ｓ３４）。なお、本工程では、教師付き次元削減に代えて、若しくは教師付き次元削減に加え、半教師付き次元削減を実施してもよい。前記半教師付き次元削減は、教師データ（属性情報が付与された顔画像）の数が少ない場合に、次元削減が不安定になるのを回避でき、特に有効である。本工程における次元削減は、例えば、正準相関分析（Ｃａｎｏｎｉｃａｌ　Ｃｏｒｒｅｌａｔｉｏｎ　Ａｎａｌｙｓｉｓ：ＣＣＡ）、正則化正準相関分析（Ｒｅｇｕｌａｒｉｚｅｄ　Ｃａｎｏｎｉｃａｌ　Ｃｏｒｒｅｌａｔｉｏｎ　Ａｎａｌｙｓｉｓ：ＲＣＣＡ）、カーネル正準相関分析、半教師付き正準相関分析、線形判別分析（Ｌｉｎｅａｒ　Ｄｉｓｃｒｉｍｉｎａｎｔ　Ａｎａｌｙｓｉｓ：ＬＤＡ）等により実施できる。
　つぎに、前記次元削減後の顔画像を、画像特徴の類似度に基づき複数のクラスタにクラスタリング（グループ分け）する（Ｓ３５）。前記クラスタリングは、例えば、ｋ－平均法、ファジィ・クラスタリング等により実施できる。
　つぎに、図４のＳ１５の合成顔画像１１０の生成と同様にして、各クラスタ毎に、第二の合成顔画像を生成する（Ｓ３６）。前述のとおり、前記第二の合成顔画像情報中の特定の個人の情報が占める割合は、３３％以下であることが好ましい。前記割合を３３％以下とすることで、より好適に個人のプライバシーを保護することが可能となる。
　つぎに、前記第二の合成顔画像を、第二のアノテーション用ＵＩ作成手段へと出力し（Ｓ３７）、前記第二の合成顔画像の生成を終了する。
　つぎに、アノテーション用サーバ１２内の第二のアノテーション用ＵＩ作成手段を用いて、前記第二の合成顔画像と、前記使用者端末における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能とを含む第二のアノテーション用ＵＩを作成する（図１１のＳ４１）。前記第二のアノテーションＵＩとしては、例えば、図７に示すアノテーション用ＵＩ２００の合成顔画像１１０を、前記第二の合成顔画像に置換したもの等があげられる。
　作成された前記第二のアノテーション用ＵＩは、通信回線網３を介して使用者端末２に送信され、使用者端末２における使用者の操作により属性アノテーションが実施される（図１１のＳ４２）。
　つぎに、アノテーション用サーバ１２内の第二のアノテーション用ＵＩ作成手段は、作成された前記第二のアノテーション用ＵＩを、合成顔画像ＤＢ１３に送信する。合成顔画像ＤＢ１３は、前述のとおり、前記第二のアノテーション用ＵＩ作成手段から受信した前記第二のアノテーション用ＵＩに含まれる前記第二の合成顔画像を保存することでデータを更新する（Ｓ４３）。これにより、合成顔画像ＤＢ１３には、合成顔画像１１０及び前記第二の合成顔画像が蓄積される。
　つぎに、使用者端末２は、前記使用者の操作による属性アノテーション結果を、属性情報ＤＢ１４に送信する。属性情報ＤＢ１４は、前述のとおり、使用者端末２から送信された前記使用者の操作による属性アノテーション結果を受信し、新たに受信した前記属性の情報を保存することでデータを更新する（Ｓ４４）。これにより、属性情報ＤＢ１４には、Ｓ２４で保存された前記属性の情報及びＳ４４で保存された前記属性の情報が蓄積される。前記第二の合成顔画像の合成（Ｓ３）、前記第二のアノテーションＵＩの作成（Ｓ４１）、前記属性アノテーション（Ｓ４２）、合成顔画像ＤＢ１３の更新（Ｓ４３）及び属性情報ＤＢ１４の更新（Ｓ４４）は、何回か繰り返される。
　本実施形態のアノテーション装置１及びアノテーションシステムによれば、前記第二の合成顔画像生成手段が、属性情報ＤＢ１４に保存された前記属性の情報を参照するため、アノテーション対象の属性と相関性の高い画像特徴抽出を実施でき、高品質のアノテーションを実現可能である。
　つぎに、本発明の実施例について説明する。なお、本発明は、下記の実施例により限定及び制限されない。
　図９に示すアノテーションシステムを用いて、図１１に示すフローチャートに従って、顔の印象度（かわいい）の属性アノテーションを実施した。
　まず、３４０人の顔画像を収集し、顔画像ＤＢ１１に保存した。前記顔画像は、全て、下記条件を満たすものとした。
（顔画像条件）
サイズ：６４ピクセル×６４ピクセル
目、鼻及び口の位置：全ての顔画像において、同じ位置にそろえる（正規化済み）
属性情報：未知
　つぎに、図４に示すフローチャートに従って、アノテーション用サーバ１２内の合成顔画像生成手段を用いて、合成顔画像を生成した（Ｓ１）。
　すなわち、まず、前記合成顔画像生成手段に、顔画像ＤＢ１１から３４０人の顔画像を入力した（Ｓ１１）。
　つぎに、各顔画像から、ＲＧＢ成分を画像特徴として、１２２８８（＝６４×６４×３）次元のベクトルを抽出した（Ｓ１２）。
　つぎに、Ｓ１２で生成されたデータ（３４０個、１２２８８次元）全てを学習データとして、ＰＣＡを行い、１００次元まで次元削減したモデルを作成し、このモデルを用いて、Ｓ１２で生成されたデータ全てを１００次元まで次元削減した（Ｓ１３）。
　つぎに、Ｓ１３で次元削減したデータを、ｋ－平均法により、２０個のクラスタ（ｋ＝２０）にクラスタリング（グループ分け）した（Ｓ１４）。本例では、ＲＧＢ成分の画像特徴が近い物同士でグループ分けされているものと解釈できる。
　つぎに、Ｓ１４で生成された各クラスタの中心（データの平均値）により近い１０個のデータを選び、それに対応した画像特徴抽出及び次元削減前の元の顔画像全ての各ピクセルの輝度値（Ｓ１２で算出されたもの）の平均値を取ることで２０個の合成顔画像を生成した（Ｓ１５）。
　つぎに、前記合成顔画像を、アノテーション用ＵＩ作成手段へと出力し（Ｓ１６）、前記合成顔画像の生成を終了した。
　つぎに、アノテーション用サーバ１２内のアノテーション用ＵＩ作成手段を用いて、アノテーション用ＵＩを作成した（図１１のＳ２１）。前記アノテーションＵＩは、図７に示すものとした。
　つぎに、作成した前記アノテーション用ＵＩを、通信回線網３を介して使用者端末２に送信し、使用者端末２における使用者の操作により属性アノテーションを実施した（Ｓ２２）。前記アノテーション用ＵＩの作成（Ｓ２１）及び属性アノテーション（Ｓ２２）は、前記合成顔画像１枚毎に繰り返した。
　つぎに、アノテーション用サーバ１２内のアノテーション用ＵＩ作成手段により、作成した２０個の前記アノテーション用ＵＩを、合成顔画像ＤＢ１３に送信し、前記アノテーション用ＵＩに含まれる前記合成顔画像を合成顔画像ＤＢ１３に保存した（Ｓ２３）。
　つぎに、使用者端末２から、前記使用者の操作による属性アノテーション結果を、属性情報ＤＢ１４に送信し、前記属性の情報を属性情報ＤＢ１４に保存した（Ｓ２４）。
　つぎに、図１２に示すフローチャートに従って、アノテーション用サーバ１２内の第二の合成顔画像生成手段を用いて、第二の合成顔画像を生成した（Ｓ３）。なお、後述のように、前記第二の合成顔画像の生成は、Ｌ回繰り返した。
　すなわち、まず、顔画像ＤＢ１１から３４０人の顔画像を、合成顔画像ＤＢ１３から２０個の前記合成顔画像を、属性情報ＤＢ１４から前記属性の情報を入力した（Ｓ３１）。
　つぎに、３４０人の前記顔画像及び２０個の前記合成顔画像から、ＲＧＢ成分を画像特徴として、１２２８８（＝６４×６４×３）次元のベクトルを抽出した（Ｓ３２）。
　つぎに、図４のＳ１３で生成されたモデルを用いて、Ｓ３２で生成されたデータ全てを１００次元まで次元削減した（Ｓ３３）。これにより、顔画像ＤＢ１１に起因する属性情報なしデータ（説明変数１００次元、目的変数なし）が３４０個、合成顔画像ＤＢ１３に起因する属性情報ありデータ（説明変数１０００次元、目的変数１次元）が２０×Ｌ個（Ｌは、Ｓ３の実施回数＝Ｓ３３の開始数）が生成した。
　つぎに、Ｓ３３で生成した属性情報ありデータ（２０×Ｌ個）を用いて、正則化正準相関分析により、説明変数と目的変数をそれぞれ１次元まで次元削減したモデルを作成し、このモデルを用いて、Ｓ３３で生成した属性情報なしデータの説明変数を１次元まで次元削減した（Ｓ３４）。
　つぎに、Ｓ３４で次元削減した属性情報なしデータを、ｋ－平均法により、２０個のクラスタ（ｋ＝２０）にクラスタリング（グループ分け）した（Ｓ３５）。本例では、Ｌ（Ｓ３３の開始数）が大きいほど、属性情報が近いもの同士がグループ分けされているものと考えることができる。
　つぎに、Ｓ３５で生成された各クラスタの中心（データの平均値）により近い１０個のデータを選び、それに対応した画像特徴抽出及び次元削減前の元の顔画像全ての各ピクセルの輝度値（Ｓ３２で算出されたもの）の平均値を取ることで２０個の第二の合成顔画像を生成した（Ｓ３６）。
　つぎに、前記第二の合成顔画像を、第二のアノテーション用ＵＩ作成手段へと出力し（Ｓ３７）、前記第二の合成顔画像の生成を終了した。
　つぎに、アノテーション用サーバ１２内の第二のアノテーション用ＵＩ作成手段を用いて、第二のアノテーション用ＵＩを作成した（図１１のＳ４１）。前記第二のアノテーションＵＩは、図７に示すアノテーション用ＵＩ２００の合成顔画像１１０を、前記第二の合成顔画像に置換したものとした。
　つぎに、作成した前記第二のアノテーション用ＵＩを、通信回線網３を介して使用者端末２に送信し、使用者端末２における使用者の操作により属性アノテーションを実施した（Ｓ４２）。前記第二のアノテーション用ＵＩの作成（Ｓ４１）及び属性アノテーション（Ｓ４２）は、前記第二の合成顔画像１枚毎に繰り返した。
　つぎに、アノテーション用サーバ１２内の第二のアノテーション用ＵＩ作成手段により、作成した２０個の前記第二のアノテーション用ＵＩを、合成顔画像ＤＢ１３に送信し、前記第二のアノテーション用ＵＩ作成手段から受信した前記第二のアノテーション用ＵＩに含まれる前記第二の合成顔画像を保存することでデータを更新した（Ｓ４３）。
　つぎに、使用者端末２から、前記使用者の操作による属性アノテーション結果を、属性情報ＤＢ１４に送信し、新たに受信した前記属性の情報を保存することでデータを更新した（Ｓ４４）。前記第二の合成顔画像の合成（Ｓ３）、前記第二のアノテーションＵＩの作成（Ｓ４１）、前記属性アノテーション（Ｓ４２）、合成顔画像ＤＢ１３の更新（Ｓ４３）及び属性情報ＤＢ１４の更新（Ｓ４４）は、Ｌ回繰り返した。
　以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
産業上の利用分野
　本発明は、年齢、性別、顔の印象度等の属性を顔画像から推定する分野に広く用いられ、その用途は制限されない。

Claims (8)

  1. 使用者端末と通信回線網を介して接続可能であり、
    顔画像データベース、合成顔画像生成手段及びアノテーション用ユーザインターフェース作成手段を含み、
    前記顔画像データベースには、予め取得された複数人の顔画像が保存されており、
    前記合成顔画像生成手段は、前記顔画像データベースに保存された複数人の顔画像を参照して合成顔画像を生成し、
    前記アノテーション用ユーザインターフェース作成手段は、前記合成顔画像と、前記使用者端末における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能とを含むアノテーション用ユーザインターフェースを作成する、
    ことを特徴とするアノテーション装置。
  2. 前記合成顔画像生成手段は、前記顔画像データベースに保存された複数人の顔画像を、抽出した画像特徴の類似度に基づき複数のクラスタにクラスタリングした後、各クラスタ毎に、前記合成顔画像を生成する、
    ことを特徴とする請求項１記載のアノテーション装置。
  3. 前記合成顔画像情報中の特定の個人の情報が占める割合が、３３％以下である、
    ことを特徴とする請求項１又は２記載のアノテーション装置。
  4. さらに、合成顔画像データベース及び属性情報データベースを含み、
    前記アノテーション用ユーザインターフェース作成手段は、作成した前記アノテーション用ユーザインターフェースを前記使用者端末及び前記合成顔画像データベースに送信可能であり、
    前記合成顔画像データベースは、前記アノテーション用ユーザインターフェース作成手段から受信した前記アノテーション用ユーザインターフェースに含まれる前記合成顔画像を保存し、
    前記属性情報データベースは、前記使用者端末から送信された前記使用者の操作による属性アノテーション結果を受信し、前記属性の情報を保存する、
    ことを特徴とする請求項１から３のいずれか一項に記載のアノテーション装置。
  5. さらに、第二の合成顔画像生成手段及び第二のアノテーション用ユーザインターフェース作成手段を含み、
    前記第二の合成顔画像生成手段は、前記顔画像データベースに保存された複数人の顔画像、前記合成顔画像データベースに保存された前記合成顔画像、及び、前記属性情報データベースに保存された前記属性の情報を参照して第二の合成顔画像を生成し、
    前記第二のアノテーション用ユーザインターフェース作成手段は、前記第二の合成顔画像と、前記使用者端末における使用者の操作により属性を付与させる属性アノテーションを実施可能とする属性アノテーション操作機能とを含む第二のアノテーション用ユーザインターフェースを作成し、かつ、作成した前記第二のアノテーション用ユーザインターフェースを前記使用者端末及び前記合成顔画像データベースに送信可能であり、
    前記合成顔画像データベースは、前記第二のアノテーション用ユーザインターフェース作成手段から受信した前記第二のアノテーション用ユーザインターフェースに含まれる前記第二の合成顔画像を保存することでデータを更新し、
    前記属性情報データベースは、前記使用者端末から送信された前記使用者の操作による属性アノテーション結果を受信し、新たに受信した前記属性の情報を保存することでデータを更新する、
    ことを特徴とする請求項４記載のアノテーション装置。
  6. 前記第二の合成顔画像生成手段は、前記顔画像データベースに保存された複数人の顔画像を、抽出した画像特徴の類似度に基づき複数のクラスタにクラスタリングした後、各クラスタ毎に、前記第二の合成顔画像を生成する、
    ことを特徴とする請求項５記載のアノテーション装置。
  7. 前記第二の合成顔画像情報中の特定の個人の情報が占める割合が、３３％以下である、
    ことを特徴とする請求項５又は６記載のアノテーション装置。
  8. 使用者端末及びアノテーション装置を含み、
    前記アノテーション装置が、請求項１から７のいずれか一項に記載のアノテーション装置である、
    ことを特徴とするアノテーションシステム。
PCT/JP2013/074039 2013-09-06 2013-09-06 アノテーション装置及びアノテーションシステム Ceased WO2015033431A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015535228A JP5930450B2 (ja) 2013-09-06 2013-09-06 アノテーション装置及びアノテーションシステム
PCT/JP2013/074039 WO2015033431A1 (ja) 2013-09-06 2013-09-06 アノテーション装置及びアノテーションシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/074039 WO2015033431A1 (ja) 2013-09-06 2013-09-06 アノテーション装置及びアノテーションシステム

Publications (1)

Publication Number Publication Date
WO2015033431A1 true WO2015033431A1 (ja) 2015-03-12

Family

ID=52627938

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/074039 Ceased WO2015033431A1 (ja) 2013-09-06 2013-09-06 アノテーション装置及びアノテーションシステム

Country Status (2)

Country Link
JP (1) JP5930450B2 (ja)
WO (1) WO2015033431A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016207196A (ja) * 2015-04-24 2016-12-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像タグ付け装置
WO2018079020A1 (ja) * 2016-10-26 2018-05-03 ソニー株式会社 情報処理装置および情報処理方法
JP2021528714A (ja) * 2018-04-13 2021-10-21 ライン プラス コーポレーションＬＩＮＥ Ｐｌｕｓ Ｃｏｒｐｏｒａｔｉｏｎ アバター生成装置およびコンピュータプログラム
JP2022507811A (ja) * 2018-11-21 2022-01-18 ユニバーシティ オブ ワシントン 遠隔眼科学における網膜テンプレート合致のためのシステムおよび方法
CN114756889A (zh) * 2022-03-24 2022-07-15 支付宝(杭州)信息技术有限公司 一种面部属性的处理方法、装置及设备
JP7736858B1 (ja) 2024-06-04 2025-09-09 Ｎｔｔドコモビジネス株式会社 生成装置、生成方法及び生成プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010041377A1 (ja) * 2008-10-06 2010-04-15 パナソニック株式会社 代表画像表示装置及び代表画像選択方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010041377A1 (ja) * 2008-10-06 2010-04-15 パナソニック株式会社 代表画像表示装置及び代表画像選択方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Kokoku Kikaku Senmon Bun'ya de Katsuyaku suru Macintosh", NIKKEI MAC, 15 May 1996 (1996-05-15), pages 192 - 193 *
TAKASHI SUENAGA ET AL.: "Claster Discriminant Analysis for Feature Space Visualization", IEICE TECHNICAL REPORT, vol. 101, no. 204, 11 July 2001 (2001-07-11), pages 39 - 46 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016207196A (ja) * 2015-04-24 2016-12-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像タグ付け装置
WO2018079020A1 (ja) * 2016-10-26 2018-05-03 ソニー株式会社 情報処理装置および情報処理方法
JPWO2018079020A1 (ja) * 2016-10-26 2019-09-12 ソニー株式会社 情報処理装置および情報処理方法
US11610148B2 (en) 2016-10-26 2023-03-21 Sony Corporation Information processing device and information processing method
JP2021528714A (ja) * 2018-04-13 2021-10-21 ライン プラス コーポレーションＬＩＮＥ Ｐｌｕｓ Ｃｏｒｐｏｒａｔｉｏｎ アバター生成装置およびコンピュータプログラム
JP7031009B2 (ja) 2018-04-13 2022-03-07 ライン プラス コーポレーション アバター生成装置およびコンピュータプログラム
JP2022507811A (ja) * 2018-11-21 2022-01-18 ユニバーシティ オブ ワシントン 遠隔眼科学における網膜テンプレート合致のためのシステムおよび方法
JP7677885B2 (ja) 2018-11-21 2025-05-15 ユニバーシティ オブ ワシントン 遠隔眼科学における網膜テンプレート合致のためのシステムおよび方法
CN114756889A (zh) * 2022-03-24 2022-07-15 支付宝(杭州)信息技术有限公司 一种面部属性的处理方法、装置及设备
JP7736858B1 (ja) 2024-06-04 2025-09-09 Ｎｔｔドコモビジネス株式会社 生成装置、生成方法及び生成プログラム
JP2025183014A (ja) * 2024-06-04 2025-12-16 Ｎｔｔドコモビジネス株式会社 生成装置、生成方法及び生成プログラム

Also Published As

Publication number Publication date
JPWO2015033431A1 (ja) 2017-03-02
JP5930450B2 (ja) 2016-06-08

Similar Documents

Publication Publication Date Title
US11861936B2 (en) Face reenactment
US20220122378A1 (en) Data-driven, photorealistic social face-trait encoding, prediction, and manipulation using deep neural networks
JP5930450B2 (ja) アノテーション装置及びアノテーションシステム
Lee et al. Two-dimensional canonical correlation analysis
CN111353546B (zh) 图像处理模型的训练方法、装置、计算机设备和存储介质
WO2021114814A1 (zh) 人体属性识别方法、装置、电子设备以及存储介质
CN108182714B (zh) 图像处理方法及装置、存储介质
CN113240760A (zh) 一种图像处理方法、装置、计算机设备和存储介质
WO2020211396A1 (zh) 静默式活体图片识别方法、装置、计算机设备和存储介质
JP2014203353A (ja) 画像処理装置、画像処理方法、制御プログラムおよび記録媒体
JP2023543964A (ja) 画像処理方法、画像処理装置、電子機器、記憶媒体およびコンピュータプログラム
CN110210344B (zh) 视频动作识别方法及装置、电子设备、存储介质
Vonikakis et al. Morphset: Augmenting categorical emotion datasets with dimensional affect labels using face morphing
US11812183B2 (en) Information processing device and program
CN117835007A (zh) 视频生成方法、装置、电子设备及存储介质
CN112669244A (zh) 人脸图像增强方法、装置、计算机设备以及可读存储介质
CN110147740A (zh) 人脸识别方法、装置、设备和存储介质
CN109800687A (zh) 会议效果反馈方法、装置、计算机设备和可读存储介质
CN119559335A (zh) 图像合成方法和装置、电子设备及存储介质
US12572687B2 (en) Method and electronic device for removing sensitive information from image data
JP7677544B2 (ja) 情報解析システム、情報解析方法及びプログラム
CN116405724A (zh) 图像生成方法、系统、电子设备及存储介质
CN111161328B (zh) 一种基于二维码的屏幕图像采集方法
CN115760562A (zh) 一种模型训练方法、装置、设备及介质
US12314312B2 (en) Methods and systems for processing imagery

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13893010

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015535228

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13893010

Country of ref document: EP

Kind code of ref document: A1