JP5633080B2 - 属性値推定装置、属性値推定方法、プログラム及び記録媒体 - Google Patents

属性値推定装置、属性値推定方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JP5633080B2
JP5633080B2 JP2012547761A JP2012547761A JP5633080B2 JP 5633080 B2 JP5633080 B2 JP 5633080B2 JP 2012547761 A JP2012547761 A JP 2012547761A JP 2012547761 A JP2012547761 A JP 2012547761A JP 5633080 B2 JP5633080 B2 JP 5633080B2
Authority
JP
Japan
Prior art keywords
attribute value
estimation
estimated
value
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012547761A
Other languages
English (en)
Other versions
JPWO2012077476A1 (ja
Inventor
植木 一也
一也 植木
康行 伊原
康行 伊原
将 杉山
将 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solutions Innovators Ltd
Tokyo Institute of Technology NUC
Original Assignee
NEC Solutions Innovators Ltd
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solutions Innovators Ltd, Tokyo Institute of Technology NUC filed Critical NEC Solutions Innovators Ltd
Priority to JP2012547761A priority Critical patent/JP5633080B2/ja
Publication of JPWO2012077476A1 publication Critical patent/JPWO2012077476A1/ja
Application granted granted Critical
Publication of JP5633080B2 publication Critical patent/JP5633080B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155Bayesian classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)

Description

本発明は、属性値推定装置、属性値推定方法、プログラム及び記録媒体に関する。
入力されたデータからそのデータの属性値を推定する属性値推定装置として、入力データの特徴を抽出し、抽出した特徴を予め学習済みの訓練サンプルと比較することによって、属性値を推定する装置がある。前記装置では、推定結果を離散量として扱う場合(特許文献1)と、連続量として扱う場合(特許文献2)とがある。
特開2007−58828号公報 特開2005−148880号公報
前記装置における年齢等の顔属性値の推定では、日本人等の特定の人種を推定対象とすることで、高精度な推定結果を得ていた。しかし、様々な顔特徴を含む多人種の顔画像を推定対象とした場合、訓練サンプルに偏りが生じ、特定の人種を推定対象とするのと同程度の精度を得ることは困難である。
そこで、本発明は、多人種を推定対象とした場合においても、高精度な推定結果が得られる属性値推定装置、属性値推定方法、プログラム及び記録媒体を提供することを目的とする。
前記目的を達成するために、本発明の属性値推定装置は、
入力されたデータからそのデータの属性値を推定する属性値推定装置であって、
属性値の推定対象となるデータを取得するデータ取得手段と、
前記データ取得手段によって取得されたデータを基に、予め学習した判断基準によって、前記属性値を離散量として推定する離散量推定手段、及び前記属性値を連続量として推定する連続量推定手段の少なくとも一方の推定手段と、
前記推定手段から入力されるデータを基に、前記属性値を離散量として推定する最小二乗確率的分類器(LSPC)と、
前記推定手段が推定した推定値と、前記最小二乗確率的分類器が推定した離散量推定値とを統合する統合手段とを含む
ことを特徴とする。
本発明の属性値推定方法は、
入力されたデータからそのデータの属性値を推定する属性値推定方法であって、
属性値の推定対象となるデータを取得するデータ取得工程と、
前記データ取得工程において取得したデータを基に、予め学習した判断基準によって、前記属性値を離散量及び連続量の少なくとも一方として推定する推定工程と、
前記推定工程において処理されたデータを基に、前記属性値を離散量として推定する離散量推定工程と、
前記推定工程において推定した推定値と、前記離散量推定工程において推定した離散量推定値とを統合する統合工程とを含み、
前記離散量推定工程において、最小二乗確率的分類器を用いる
ことを特徴とする。
本発明のプログラムは、前記本発明の属性値推定方法をコンピュータに実行させることを特徴とする。
本発明の記録媒体は、前記本発明のプログラムを記録していることを特徴とする。
本発明によれば、多人種を推定対象とした場合においても、高精度な推定結果を得られる。
図1は、本発明の属性値推定装置の一例(実施形態1)を示すブロック図である。 図2は、本発明の属性値推定装置のその他の例(実施形態2)を示すブロック図である。 図3は、本発明の属性値推定装置のさらにその他の例(実施形態3)を示すブロック図である。 図4は、本発明の属性値推定装置のさらにその他の例(実施形態4)を示すブロック図である。 図5は、本発明の属性値推定装置のさらにその他の例(実施形態5)を示すブロック図である。 図6は、本発明の属性値推定装置のさらにその他の例(実施形態7)を示すブロック図である。 図7(A)及び(B)は、年齢と推定誤差の標準偏差との関係を示すグラフである。 図8は、統合前及び統合後のスコアベクトルの成分の分布を示すグラフである。
本発明の属性値推定装置において、さらに、前記推定手段が推定した推定値をスコア化するスコア化手段と、前記最小二乗確率的分類器(LSPC)が推定した離散量推定値をスコア化する離散量スコア化手段とを含み、前記統合手段は、前記スコア化手段によってスコア化された第1のスコア値と、前記離散量スコア化手段によってスコア化された第2のスコア値とを統合することが好ましい。同様に、本発明の属性値推定方法において、さらに、前記推定工程において推定した推定値をスコア化するスコア化工程と、前記離散量推定工程において前記最小二乗確率的分類器(LSPC)が推定した離散量推定値をスコア化する離散量スコア化工程とを含み、前記統合工程において、前記スコア化工程においてスコア化した第1のスコア値と、前記離散量スコア化工程においてスコア化した第2のスコア値とを統合することが好ましい。
本発明の属性値推定装置では、前記統合手段は、前記推定値、前記離散量推定値及び前記スコア値の少なくとも一つに対し重み付けをして統合することが好ましい。同様に、本発明の属性値推定方法では、前記統合工程において、前記推定値、前記離散量推定値及び前記スコア値の少なくとも一つに対し重み付けをして統合することが好ましい。
本発明の属性値推定装置及び属性値推定方法では、前記最小二乗確率的分類器(LSPC)が、予め判断基準を学習し、前記判断基準の学習において、入力特徴量と訓練サンプルの属する正解クラスとが同じ場合にのみ、カーネル関数を計算することが好ましい。これにより、例えば、前記学習時の計算を、より高速化できる。
本発明の属性値推定装置及び属性値推定方法では、前記最小二乗確率的分類器(LSPC)が、予め判断基準を学習し、前記判断基準の学習において、訓練サンプルの最も少ないクラスにカーネル中心を配置することが好ましい。これにより、例えば、前記学習時の計算を、より高速化できる。
本発明の属性値推定装置において、前記離散量推定手段及び前記連続量推定手段の少なくとも一方の推定手段が、ニューラルネットワーク(Neural Network)を含み、前記ニューラルネットワーク(Neural Network)により、前記データ取得手段によって取得されたデータが低次元化され、前記低次元化されたデータを基に、前記属性値を推定し、前記最小二乗確率的分類器(LSPC)が、前記低次元化されたデータを基に、前記属性値を離散量として推定することが好ましい。同様に、本発明の属性値推定方法では、前記推定工程において、前記離散量及び前記連続量の少なくとも一方の推定にニューラルネットワーク(Neural Network)を用い、前記ニューラルネットワーク(Neural Network)により、前記データ取得工程において取得したデータを低次元化し、前記低次元化されたデータを基に、前記属性値を推定し、前記離散量推定工程において、前記最小二乗確率的分類器(LSPC)が、前記低次元化したデータを基に、前記属性値を離散量として推定することが好ましい。
本発明の属性値推定装置及び属性値推定方法において、前記データ取得手段によって取得されたデータ及び前記データ取得工程において取得したデータが、顔画像データであり、前記属性値が、顔属性値であることが好ましい。
本発明の属性値推定装置及び属性値推定方法において、前記顔属性値が、年代、年齢、性別及び人種からなる群から選択される少なくとも一つの属性値であることが好ましい。
つぎに、本発明の属性値推定装置、属性値推定方法、プログラム及び記録媒体について、例をあげて説明する。ただし、本発明は、下記の例に限定されない。なお、以下の図1から図6において、同一部分には、同一符号を付している。
(実施形態1)
図1に、本実施形態における属性値推定装置のブロック図を示す。本実施形態の属性値推定装置は、前記推定手段として、離散量推定手段を有し、例えば、人種、性別等の属性値の推定に用いられる。図1に示すとおり、本実施形態の属性値推定装置は、データ取得手段1、離散量推定手段2、第1の最小二乗確率的分類器(LSPC)3及び統合手段4を主要な構成要素として含む。データ取得手段1は、例えば、CCD(Charge Coupled Device)カメラ、CMOS(Complementary Metal Oxide Semiconductor)カメラ、イメージスキャナ等の画像取得手段があげられる。離散量推定手段2には、予め学習した判断基準が格納されている。離散量推定手段2、第1の最小二乗確率的分類器(LSPC)3及び統合手段4の各部は、例えば、専用のハードウェア(例えば、中央処理装置(CPU)等)を用いて構成することも可能であるし、ソフトウェア処理によってコンピュータ上に実現することも可能である。
離散量推定手段2は、属性値の推定に用いる特徴量を入力データから抽出し、入力データから抽出された特徴量と前記判断基準とを用いて、入力データの属性値を離散量として推定する。前記離散量は、例えば、前記属性値が人種であれば、例えば、白人、黒人、黄色人種、モンゴロイド、ハーフ(若しくはクオーター)等があげられ、前記属性値が性別であれば、例えば、男性、女性等があげられる。
離散量推定手段2が入力データから特徴量を抽出する処理は、従来公知の方法を適用でき、例えば、エッジ抽出、2値化等の手法を適用できる。
離散量推定手段2が前記判断基準を用いて特徴量から属性値を離散量として推定する処理は、従来公知の方法を適用でき、例えば、ニューラルネットワーク(Neural Network)、ガウス混合モデル(Gaussian Mixture Model)、サポートベクターマシン(Support vector machine)、線形判別分析(Linear Discrimination Analysis)、ロジスティック回帰分析(Logistic regression)、k−近傍識別法等の手法を適用できる。
第1の最小二乗確率的分類器(LSPC)3は、離散量推定手段2から入力されるデータを新たな特徴量として、前記属性値を離散量として推定する。第1の最小二乗確率的分類器(LSPC)3は、クラスの事後確率モデルを二乗損失を用いて解くため、超高速学習が可能なことを最大の特徴とする。また、第1の最小二乗確率的分類器(LSPC)3は、事後確率を密度比の形でモデル化するため、訓練サンプルの各クラスのデータ数のアンバランスに強いという特徴を併せ持つ。例えば、多人種を推定対象とする場合、年代・人種・性別等の様々な区分に対し、訓練サンプルを満遍なく収集するのは困難なため、第1の最小二乗確率的分類器(LSPC)3のこの特徴は、多人種を推定対象とする場合に好都合である。
第1の最小二乗確率的分類器(LSPC)3は、入力特徴量(顔特徴量)xにおける属性クラスyの事後確率分布p(y|x)を、下記式(1)の密度比の形で推定する。前記属性クラスは、例えば、年代クラス、性別のクラス、人種のクラスなどがあげられる。
Figure 0005633080
最終的には、事後確率が最大となる属性クラス(下記式(2)の左辺)を推定した属性クラスとする。
Figure 0005633080
第1の最小二乗確率的分類器(LSPC)3は、事後確率p(y|x)を二乗損失を用いて学習する。これにより、例えば、従来の手法と同程度のパターン認識精度を維持しながら、学習時間を数百分の一に短縮できる。
また、事後確率を前記式(1)の密度比の形で推定するため、訓練サンプルにおける、特定のクラスのデータ数の偏りの影響を受けにくい。
つぎに、前記事後確率の最小二乗適合について説明する。まず、属性クラスyの事後確率を、つぎの線形モデルでモデル化する。
Figure 0005633080
第1の最小二乗確率的分類器(LSPC)3は、パラメータα(下記式)を、つぎの二乗誤差Jが最小になるように学習する。
Figure 0005633080
上記式の最後の項は、定数のため無視できる。上記式の最初の2項の期待値Jを標本平均で近似すれば、下記式(5)が得られる。
Figure 0005633080
過適合を防ぐためにl−正則化項を加えることにより、つぎの拘束無し最適化問題を得る。
Figure 0005633080
前記式(6)の解は、解析的に下記式(7)で与えられる。
Figure 0005633080
事後確率の非負性を確保するために、全てのパラメータが非負になるよう、パラメータ補正を下記式(8)で行う。
Figure 0005633080
最後に、全クラスの総和が1になるよう正規化補正することにより、事後確率の解を得る。
Figure 0005633080
なお、前記式(8)及び(9)の処理を施さずに、下記の処理によって、事後確率の解を得てもよい。
Figure 0005633080
離散量推定手段2及び第1の最小二乗確率的分類器(LSPC)3は、前記属性値の離散量を推定する際に、推定結果が確率的に表現された離散量推定値を付随して出力してもよい。前記推定結果が確率的に表現された離散量推定値は、例えば、前記属性値が人種の場合、例えば、「白人の確率80%、黒人の確率20%」等があげられ、前記属性値が性別の場合、例えば、「男性の確率80%、女性の確率20%」等があげられる。これにより、例えば、対象となる人物の髪が長い場合などのように、一部の外観からは女性であると推定できるが、他の判断基準によると男性である可能性もある、というような場合に、高精度な推定結果を出力できる。
統合手段4は、離散量推定手段2が推定した第1の離散量推定値と第1の最小二乗確率的分類器(LSPC)3が推定した第2の離散量推定値とを統合し、統合後の属性クラスを推定結果として出力する。本実施形態では、前記第1の離散量推定値と前記第2の離散量推定値を統合するため、特定の属性クラスの推定精度が低くなることがない。
さらに、本実施形態では、第1の最小二乗確率的分類器(LSPC)3の学習時の更なる高速化のため、例えば、(1)デルタカーネルの導入及び(2)カーネル中心の配置の少なくとも一方を実施してもよい。
まず、(1)デルタカーネルの導入について説明する。下記訓練サンプルが与えられた下で、各属性クラスyの事後確率のモデル(前記式(3))は、下記式のようにデザインされる。
Figure 0005633080
ここで、学習時は、入力特徴量xと、訓練サンプル(本実施形態では、目的変数(顔特徴量))xの属する正解クラスが同じ場合にのみ、カーネル関数を計算する「デルタカーネル」を導入する。
Figure 0005633080
δy,y’は、下記式(11)で表されるクロネッカーのデルタである。
Figure 0005633080
これにより、cn個あった前記パラメータの数を削減でき、前記式(5a)の行列が属性クラス毎のブロック対角行列の形となる。この場合、解析的解(前記式(7))を解くための計算量は、O(cn)である。
つぎに、(2)カーネル中心の配置について説明する。事後確率p(y|x)は、クラスyの訓練サンプルが多い領域では大きい値をとり、逆に訓練サンプルが少ない領域ではほぼ0(零)に近くなる。ゆえに、カーネルの中心は、前記クラスの訓練サンプルの場所のみに配置すればよい。
このとき、前記式(5a)の行列のブロックがさらに小さくなり、逆行列の計算量をさらに小さくできる。
(実施形態2)
図2に、本発明の属性値推定装置の別の構成を示す。図2に示すとおり、この属性値推定装置は、第1の離散量スコア化手段5及び第2の離散量スコア化手段6を含むこと以外、図1に示す属性値推定装置と同様の構成である。
前記属性値が人種であり、白人、アジア人、黒人の3クラスで人種推定を行う場合を例にとり、本実施形態の属性値推定装置及び属性値推定方法について、さらに詳細に説明する。
第1の離散量スコア化手段5は、離散量推定手段2が推定した第1の離散量推定値をスコア化し、第1のスコア値として、確率形式の確信度(白人:p、アジア人:p、黒人:p)を出力する。
第2の離散量スコア化手段6は、第1の最小二乗確率的分類器(LSPC)3が推定した第2の離散量推定値をスコア化し、第2のスコア値として、上記と同形式の確信度(白人:q、アジア人:q、黒人:q)を出力する。
前記統合手段4は、後述の実施形態6により決定した重みω、ωを用いて、前記第1のスコア値及び前記第2のスコア値を重み付きで加算し、下記スコア値R、R、Rのうち、最大となるものの人種を推定結果として出力する。
白人のスコア値 :R=ω・p+ω・q
アジア人のスコア値:R=ω・p+ω・q
黒人のスコア値 :R=ω・p+ω・q
(実施形態3)
図3に、本発明の属性値推定装置のさらに別の例を示す。本実施形態の属性値推定装置は、前記推定手段として、連続量推定手段を有し、例えば、年代、年齢等の属性値の推定に用いられる。図3に示すとおり、この属性値推定装置は、離散量推定手段2及び第1の最小二乗確率的分類器(LSPC)3に代えて、連続量推定手段7及び第2の最小二乗確率的分類器(LSPC)8を含むこと以外、図1に示す属性値推定装置と同様の構成である。連続量推定手段7には、予め学習した判断基準が格納されている。
連続量推定手段7は、属性値の推定に用いる特徴量を入力データから抽出し、入力データから抽出された特徴量と前記判断基準とを用いて、入力データの属性値を連続量として推定する。連続量推定手段7が入力データから特徴量を抽出する処理は、従来公知の方法を適用可能であり、例えば、エッジ抽出、2値化等の手法を適用できる。
連続量推定手段7において、前記判断基準を用いて特徴量から属性値を推定する処理は、従来公知の方法を適用でき、例えば、ニューラルネットワーク(Neural Network)、重回帰分析、Support Vector Regression、カーネル正則化重み付き最小二乗法(Kernel Regularized Weighted Least Squares)、k−近傍回帰分析等の手法を適用できる。
第2の最小二乗確率的分類器(LSPC)8は、連続量推定手段7から入力されるデータを新たな特徴量として、前述の第1の最小二乗確率的分類器(LSPC)3と同様にして、前記属性値を離散量として推定する。
統合手段4は、連続量推定手段7が推定した連続量推定値と、第2の最小二乗確率的分類器(LSPC)8が推定した第3の離散量推定値とを統合し、統合後の属性値(例えば、年代、年齢等)を推定結果として出力する。
本実施形態では、例えば、連続量推定手段7が、ニューラルネットワーク(Neural Network)を含み、前記ニューラルネットワーク(Neural Network)で低次元化されたデータ(例えば、中間層の100次元データ)を新たな顔特徴量として、第2の最小二乗確率的分類器(LSPC)8を用いて、各年代クラスの確信度を出力し、確信度が最も高い年代を推定年代としてもよい。なお、本例と同様に、前述の実施形態1及び2において、離散量推定手段2が、ニューラルネットワーク(Neural Network)を含む場合には、前記ニューラルネットワーク(Neural Network)でデータを低次元化してもよい。
(実施形態4)
図4に、本発明の属性値推定装置のさらに別の例を示す。本実施形態の属性値推定装置は、例えば、前記推定手段として、離散量推定手段及び連続量推定手段の双方を有し、年代、年齢等の属性値の推定に用いられる。図4に示すとおり、この属性値推定装置は、連続量推定手段7及び第2の最小二乗確率的分類器(LSPC)8を含むこと以外、図1に示す属性値推定装置と同様の構成である。離散量推定手段2及び第1の最小二乗確率的分類器(LSPC)3は、実施形態1で、連続量推定手段7及び第2の最小二乗確率的分類器(LSPC)8は、実施形態3で説明したとおりである。
統合手段4は、離散量推定手段2が推定した第1の離散量推定値と、第1の最小二乗確率的分類器(LSPC)3が推定した第2の離散量推定値と、連続量推定手段7が推定した連続量推定値と、第2の最小二乗確率的分類器(LSPC)8が推定した第3の離散量推定値とを統合し、統合後の属性値(例えば、年代、年齢等)を推定結果として出力する。
(実施形態5)
図5に、本発明の属性値推定装置のさらに別の例を示す。図5に示すとおり、この属性値推定装置は、第1の離散量スコア化手段5、第2の離散量スコア化手段6、連続量スコア化手段9及び第3の離散量スコア化手段10を含むこと以外、図4に示す属性値推定装置と同様の構成である。第1の離散量スコア化手段5及び第2の離散量スコア化手段6は、実施形態2で説明したとおりである。
連続量推定手段7が、ニューラルネットワーク(Neural Network)を含む場合を例に取り、本実施形態におけるスコア化について説明する。本例では、連続量推定手段7及び第2の最小二乗確率的分類器(LSPC)8が、それぞれ、1歳から70歳までの(1歳刻みの)各年齢に対し、それぞれスコアを割り当てるという、ベクトル形式のスコアを出力する。
まず、(1)ニューラルネットワーク(Neural Network)の出力のスコア化について説明する。本例で用いるニューラルネットワーク(Neural Network)は、1歳刻みで年齢推定を行えるよう、回帰モデル学習したものである。それゆえ、出力は、1つのスカラーy(年齢)の形式である。人間の年齢知覚特性は不均一性を持つという事実(植木 一也、杉山 将、伊原 康行.重み付き回帰による人間の知覚特性を考慮した年齢推定.第15回画像センシングシンポジウム(SSII09)予稿集,no.IS4−23(CD−ROM),横浜,2009,6.10−12)を用い、つぎのように、ニューラルネットワーク(Neural Network)の出力をスコア化する。
ここでは、同一被験者に対する多数の評価者の知覚年齢(見た目年齢)の平均値を「真の年齢」とする。真の年齢yに対する年齢知覚時の推定誤差の標準偏差をωage(y)としたとき、ωage(y)は、図7(A)及び(B)に示すように不均一性を持つ。すなわち、低年齢層の被験者に対しては年齢の知覚誤差は小さいが、高年齢層に対しては年齢の知覚誤差は大きい。なお、図7(A)は、女性の各年齢において、顔画像を見て年齢を推定した場合の誤差の標準偏差であり、図7(B)は、男性の各年齢において、顔画像を見て年齢を推定した場合の誤差の標準偏差である。
このωage(・)(「・」は、下記式の下線部)を用い、ニューラルネットワーク(Neural Network)の出力年齢(下記式の下線部)を、つぎのようにスコア化する。
Figure 0005633080
このとき、スコアfの成分の分布は、図8の左上部のグラフに示すように、出力年齢が前記式の下線部であるときにピークになり、幼年層の場合は分散が小さく、高年層の場合は分散が大きい、正規分布の形となる。すなわち、幼年層に対しては周囲の年齢である確率が低く、高年層に対しては周囲の年齢である確率が高くなるようにスコア化を行う。
つぎに、(2)第2の最小二乗確率的分類器(LSPC)8の出力のスコア化について説明する。第2の最小二乗確率的分類器(LSPC)8は、各年代の確信度を確率形式で出力する。ここでは、前述のニューラルネットワーク(Neural Network)の出力に対するスコアfの形式に合わせるように、スコア化を行う。
例えば、若年層(0〜19歳)、中年層(20〜49歳)、高年層(50歳〜)の3クラスで年代推定を行うとき、第2の最小二乗確率的分類器(LSPC)8の出力した確信度が若年層:p、中年層:p、高年層:pであったとする。
このとき、各年齢z(z=1,・・・,70)に対し、一旦、下記式(13)によりスコアを割り当てる。
Figure 0005633080
この後、スコアを下記で正規化する。
Figure 0005633080
そして、
Figure 0005633080
を、第2の最小二乗確率的分類器(LSPC)8の出力スコアとする。
第2の最小二乗確率的分類器(LSPC)8の出力スコアベクトルの成分の分布のイメージは、図8の右上部のグラフに示すようになる。
本実施形態では、統合手段4は、第1の離散量スコア化手段5でスコア化された第1のスコア値と、第2の離散量スコア化手段6でスコア化された第2のスコア値と、連続量スコア化手段9でスコア化された第3のスコア値と、第3の離散量スコア化手段10でスコア化された第4のスコア値とを統合し、統合後の年齢を推定結果として出力する。
(実施形態6)
本実施形態は、図5に示す属性値推定装置を用いて実施され、統合手段4において、前記第3のスコア値及び前記第4のスコア値に対し重み付けをして統合すること以外、実施形態5と同様である。
本実施形態における出力スコアの重み付けは、例えば、つぎのようにして実施される。重みω、ωを用いて、各年齢z(1≦z≦70、1歳刻み)における連続量スコア化手段9及び第3の離散量スコア化手段10のスコアを重み付きで加算する。なお、最適な重みの決め方については、後述する。
Figure 0005633080
そして、z=argmax{F(z)}となるような年齢zの属する年代を、前記統合手段4の出力年代とする。統合後のスコアベクトルの成分の分布イメージは、図8の下部のグラフに示すようになる。
つぎに、前記重みの探索方法について説明する。validation data(モデル学習に使っていないデータ)を用いて、最適な重みω、ωを虱潰しに探索する。具体的には、ω、ωの数値幅:0〜1、探索間隔:0.01でvalidation dataを用いて、統合手段4の評価を実施する。検証用データで評価したときのスコア(各カテゴリの認識率の平均値)が最も高くなるようなスコアを最適な重みとして採択する。
(実施形態7)
図6に、本発明の属性値推定装置のさらに別の例を示す。図6に示すとおり、この属性値推定装置は、データ取得手段1、人種推定手段11、白人用年代推定手段21、アジア人用年代推定手段22、黒人用年代推定手段23及び統合手段4を含む。人種推定手段11は、図2に示す属性値推定装置の離散量推定手段2、第1の最小二乗確率的分類器(LSPC)3、第1の離散量スコア化手段5及び第2の離散量スコア化手段6で構成されている。白人用年代推定手段21、アジア人用年代推定手段22及び黒人用年代推定手段23は、それぞれ、図5に示す属性値推定装置の離散量推定手段2、第1の最小二乗確率的分類器(LSPC)3、第1の離散量スコア化手段5、第2の離散量スコア化手段6、連続量推定手段7、第2の最小二乗確率的分類器(LSPC)8、連続量スコア化手段9及び第3の離散量スコア化手段10で構成されている。
人種推定手段11において、白人、アジア人、黒人の3クラスで人種推定を行う場合を例にとり、本実施形態の属性値推定装置及び属性値推定方法について、さらに詳細に説明する。
人種推定手段11は、確率形式の確信度(白人:p、アジア人:p、黒人:p)をスコア値として出力する。
白人用年代推定手段21、アジア人用年代推定手段22及び黒人用年代推定手段23は、それぞれ、各年齢z(1≦z≦70、1歳刻み)におけるスコア値として下記式(16)〜(18)を出力する。
Figure 0005633080
統合手段4は、前記人種推定手段11が出力した確信度(確率形式)を用いて各年齢z(1≦z≦70、1歳刻み)におけるスコア値を下記のように統合し、z=argmax{G(z)}となる年齢zの属する年代を、人種推定も含めた年代推定結果として出力する。
Figure 0005633080
以上、実施形態を参照して本願発明を説明したが、本願発明は、上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
この出願は、2010年12月8日に出願された日本出願特願2010−273829を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1 データ取得手段
2 離散量推定手段
3 第1の最小二乗確率的分類器(LSPC)
4 統合手段
5 第1の離散量スコア化手段
6 第2の離散量スコア化手段
7 連続量推定手段
8 第2の最小二乗確率的分類器(LSPC)
9 連続量スコア化手段
10 第3の離散量スコア化手段
11 人種推定手段
21 白人用年代推定手段
22 アジア人用年代推定手段
23 黒人用年代推定手段

Claims (18)

  1. 入力されたデータからそのデータの属性値を推定する属性値推定装置であって、
    属性値の推定対象となるデータを取得するデータ取得手段と、
    前記データ取得手段によって取得されたデータを基に、予め学習した判断基準によって、前記属性値を離散量として推定する離散量推定手段、及び前記属性値を連続量として推定する連続量推定手段の少なくとも一方の推定手段と、
    前記推定手段から入力されるデータを基に、前記属性値を離散量として推定する最小二乗確率的分類器(LSPC)と、
    前記推定手段が推定した推定値と、前記最小二乗確率的分類器が推定した離散量推定値とを統合する統合手段とを含む
    ことを特徴とする属性値推定装置。
  2. さらに、
    前記推定手段が推定した推定値をスコア化するスコア化手段と、
    前記最小二乗確率的分類器が推定した離散量推定値をスコア化する離散量スコア化手段とを含み、
    前記統合手段は、前記スコア化手段によってスコア化された第1のスコア値と、前記離散量スコア化手段によってスコア化された第2のスコア値とを統合することを特徴とする請求項1記載の属性値推定装置。
  3. 前記統合手段は、前記推定値、前記離散量推定値及び前記スコア値の少なくとも一つに対し重み付けをして統合することを特徴とする請求項1または2記載の属性値推定装置。
  4. 前記最小二乗確率的分類器が、予め判断基準を学習し、前記判断基準の学習において、入力特徴量と訓練サンプルの属する正解クラスとが同じ場合にのみ、カーネル関数を計算することを特徴とする請求項1から3のいずれか一項に記載の属性値推定装置。
  5. 前記最小二乗確率的分類器が、予め判断基準を学習し、前記判断基準の学習において、訓練サンプルが最も少ないクラスにカーネル中心を配置することを特徴とする請求項1から4のいずれか一項に記載の属性値推定装置。
  6. 前記離散量推定手段及び前記連続量推定手段の少なくとも一方の推定手段が、ニューラルネットワーク(Neural Network)を含み、前記ニューラルネットワークにより、前記データ取得手段によって取得されたデータが低次元化され、前記低次元化されたデータを基に、前記属性値を推定し、
    前記最小二乗確率的分類器が、前記低次元化されたデータを基に、前記属性値を離散量として推定する
    ことを特徴とする請求項1から5のいずれか一項に記載の属性値推定装置。
  7. 前記データ取得手段によって取得されたデータが、顔画像データであり、
    前記属性値が、顔属性値である
    ことを特徴とする請求項1から6のいずれか一項に記載の属性値推定装置。
  8. 前記顔属性値が、年代、年齢、性別及び人種からなる群から選択される少なくとも一つの属性値であることを特徴とする請求項7記載の属性値推定装置。
  9. 入力されたデータからそのデータの属性値を推定する属性値推定方法であって、
    属性値の推定対象となるデータを取得するデータ取得工程と、
    前記データ取得工程において取得したデータを基に、予め学習した判断基準によって、前記属性値を離散量及び連続量の少なくとも一方として推定する推定工程と、
    前記推定工程において処理されたデータを基に、前記属性値を離散量として推定する離散量推定工程と、
    前記推定工程において推定した推定値と、前記離散量推定工程において推定した離散量推定値とを統合する統合工程とを含み、
    前記離散量推定工程において、最小二乗確率的分類器を用いる
    ことを特徴とする属性値推定方法。
  10. さらに、
    前記推定工程において推定した推定値をスコア化するスコア化工程と、
    前記離散量推定工程において前記最小二乗確率的分類器が推定した離散量推定値をスコア化する離散量スコア化工程とを含み、
    前記統合工程において、前記スコア化工程においてスコア化した第1のスコア値と、前記離散量スコア化工程においてスコア化した第2のスコア値とを統合することを特徴とする請求項9記載の属性値推定方法。
  11. 前記統合工程において、前記推定値、前記離散量推定値及び前記スコア値の少なくとも一つに対し重み付けをして統合することを特徴とする請求項9又は10記載の属性値推定方法。
  12. 前記最小二乗確率的分類器が、予め判断基準を学習し、前記判断基準の学習において、入力特徴量と訓練サンプルの属する正解クラスとが同じ場合にのみ、カーネル関数を計算することを特徴とする請求項9から11のいずれか一項に記載の属性値推定方法。
  13. 前記最小二乗確率的分類器が、予め判断基準を学習し、前記判断基準の学習において、訓練サンプルが最も少ないクラスにカーネル中心を配置することを特徴とする請求項9から12のいずれか一項に記載の属性値推定方法。
  14. 前記推定工程において、前記離散量及び前記連続量の少なくとも一方の推定にニューラルネットワークを用い、前記ニューラルネットワークにより、前記データ取得工程において取得したデータを低次元化し、前記低次元化されたデータを基に、前記属性値を推定し、
    前記離散量推定工程において、前記最小二乗確率的分類器が、前記低次元化したデータを基に、前記属性値を離散量として推定する
    ことを特徴とする請求項9から13のいずれか一項に記載の属性値推定方法。
  15. 前記データ取得工程において取得したデータが、顔画像データであり、
    前記属性値が、顔属性値である
    ことを特徴とする請求項9から14のいずれか一項に記載の属性値推定方法。
  16. 前記顔属性値が、年代、年齢、性別及び人種からなる群から選択される少なくとも一つの属性値であることを特徴とする請求項15記載の属性値推定方法。
  17. 請求項9から16のいずれか一項に記載の属性値推定方法をコンピュータに実行させることを特徴とするプログラム。
  18. 請求項17記載のプログラムを記録していることを特徴とする記録媒体。
JP2012547761A 2010-12-08 2011-11-17 属性値推定装置、属性値推定方法、プログラム及び記録媒体 Active JP5633080B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012547761A JP5633080B2 (ja) 2010-12-08 2011-11-17 属性値推定装置、属性値推定方法、プログラム及び記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010273829 2010-12-08
JP2010273829 2010-12-08
JP2012547761A JP5633080B2 (ja) 2010-12-08 2011-11-17 属性値推定装置、属性値推定方法、プログラム及び記録媒体
PCT/JP2011/076516 WO2012077476A1 (ja) 2010-12-08 2011-11-17 属性値推定装置、属性値推定方法、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2012077476A1 JPWO2012077476A1 (ja) 2014-05-19
JP5633080B2 true JP5633080B2 (ja) 2014-12-03

Family

ID=46206974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012547761A Active JP5633080B2 (ja) 2010-12-08 2011-11-17 属性値推定装置、属性値推定方法、プログラム及び記録媒体

Country Status (5)

Country Link
US (1) US9336486B2 (ja)
EP (1) EP2650842A1 (ja)
JP (1) JP5633080B2 (ja)
CN (1) CN103262118B (ja)
WO (1) WO2012077476A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9626597B2 (en) 2013-05-09 2017-04-18 Tencent Technology (Shenzhen) Company Limited Systems and methods for facial age identification
CN104143079B (zh) * 2013-05-10 2016-08-17 腾讯科技(深圳)有限公司 人脸属性识别的方法和系统
JP6029041B2 (ja) * 2013-07-18 2016-11-24 Necソリューションイノベータ株式会社 顔印象度推定方法、装置、及びプログラム
JP6239784B2 (ja) 2014-03-13 2017-11-29 ザ ニールセン カンパニー (ユー エス) エルエルシー インプレッションデータの帰属先の誤判定及び/又はデータベース保有者による未カバーを補償する方法及び装置
US20160189182A1 (en) 2014-12-31 2016-06-30 The Nielsen Company (Us), Llc Methods and apparatus to correct age misattribution in media impressions
JP6521440B2 (ja) * 2015-05-14 2019-05-29 国立研究開発法人情報通信研究機構 ニューラルネットワーク及びそのためのコンピュータプログラム
US10045082B2 (en) 2015-07-02 2018-08-07 The Nielsen Company (Us), Llc Methods and apparatus to correct errors in audience measurements for media accessed using over-the-top devices
US10380633B2 (en) 2015-07-02 2019-08-13 The Nielsen Company (Us), Llc Methods and apparatus to generate corrected online audience measurement data
CN105404877A (zh) * 2015-12-08 2016-03-16 商汤集团有限公司 基于深度学习和多任务学习的人脸属性预测方法及装置
JP6439729B2 (ja) * 2016-03-24 2018-12-19 トヨタ自動車株式会社 睡眠状態推定装置
US11074329B2 (en) * 2017-03-23 2021-07-27 Nec Corporation Authentication device and authentication method
CN107145977B (zh) * 2017-04-28 2020-07-31 电子科技大学 一种对在线社交网络用户进行结构化属性推断的方法
CN109598176A (zh) * 2017-09-30 2019-04-09 佳能株式会社 识别装置和识别方法
CN110019790B (zh) * 2017-10-09 2023-08-22 阿里巴巴集团控股有限公司 文本识别、文本监控、数据对象识别、数据处理方法
WO2020079986A1 (ja) * 2018-10-15 2020-04-23 日本電気株式会社 推定装置、システム及び方法及びコンピュータ可読媒体並びに学習装置及び方法及びコンピュータ可読媒体
CN110008568A (zh) * 2019-03-29 2019-07-12 中国人民解放军战略支援部队航天工程大学 小样本下装备平均修复时间的非统计估计模型
CN110287942B (zh) * 2019-07-03 2021-09-17 成都旷视金智科技有限公司 年龄估计模型的训练方法、年龄估计方法以及对应的装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148880A (ja) * 2003-11-12 2005-06-09 Advanced Telecommunication Research Institute International 年齢推定装置、年齢推定方法および年齢推定プログラム
JP2007058828A (ja) * 2005-08-26 2007-03-08 Toshiba Personal Computer System Kk 映像データにおける不特定多数者の集計処理システム及びプログラム並びに情報記憶媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
CN100520824C (zh) 2007-01-15 2009-07-29 浙江大学 一种基于主成分分析的颜色调整方法
JP5109564B2 (ja) * 2007-10-02 2012-12-26 ソニー株式会社 画像処理装置、撮像装置、これらにおける処理方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148880A (ja) * 2003-11-12 2005-06-09 Advanced Telecommunication Research Institute International 年齢推定装置、年齢推定方法および年齢推定プログラム
JP2007058828A (ja) * 2005-08-26 2007-03-08 Toshiba Personal Computer System Kk 映像データにおける不特定多数者の集計処理システム及びプログラム並びに情報記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6014037570; 杉山将: '超高速確率的分類器' 電子情報通信学会技術研究報告,SP,音声 SP2009-97_SP2009-147, 201001, p127-132, 社団法人電子情報通信学会 *

Also Published As

Publication number Publication date
US20130254143A1 (en) 2013-09-26
CN103262118A (zh) 2013-08-21
JPWO2012077476A1 (ja) 2014-05-19
US9336486B2 (en) 2016-05-10
WO2012077476A1 (ja) 2012-06-14
EP2650842A1 (en) 2013-10-16
CN103262118B (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
JP5633080B2 (ja) 属性値推定装置、属性値推定方法、プログラム及び記録媒体
Salido et al. Using deep learning to detect melanoma in dermoscopy images
JP4273359B2 (ja) 年齢推定システム及び年齢推定方法
JP4544363B1 (ja) 顔認証装置、人物画像検索システム、顔認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および顔認証装置の制御方法
KR101725651B1 (ko) 식별 장치 및 식별 장치의 제어 방법
US9177230B2 (en) Demographic analysis of facial landmarks
CN107730131B (zh) 一种众包软件开发者的能力预测及推荐方法、装置
JP5418991B2 (ja) 個人認証システム、個人認証方法
US20130329970A1 (en) Image authentication apparatus, image processing system, control program for image authentication apparatus, computer-readable recording medium, and image authentication method
Kuru et al. Biomedical visual data analysis to build an intelligent diagnostic decision support system in medical genetics
WO2012132418A1 (ja) 属性推定装置
KR20080110064A (ko) 음란성 이미지의 판별 방법과 그 장치
KR20130024065A (ko) 안색 정보 생성 장치 및 그 방법, 안색 정보를 이용한 건강 상태 판단 장치 및 그 방법, 건강 분류 함수 생성 장치 및 그 방법
WO2015008567A1 (ja) 顔印象度推定方法、装置、及びプログラム
Usman et al. Intelligent automated detection of microaneurysms in fundus images using feature-set tuning
WO2013075295A1 (zh) 低分辨率视频的服装识别方法及系统
Zhang et al. MRMR optimized classification for automatic glaucoma diagnosis
WO2015176417A1 (zh) 一种用于认知状态识别的特征分组归一化方法
JP2015094973A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び記録媒体
Al-Gburi et al. Optical disk segmentation in human retina images with golden eagle optimizer
KR101779642B1 (ko) 텍스처화된 영역들의 지능형 선택에 의해 홍채들의 이미지들을 비교하는 방법
Shemshaki et al. Lip segmentation using geometrical model of color distribution
CN114445649A (zh) 用多尺度超像素融合检测rgb-d单幅图像阴影的方法
JP2014153815A (ja) 推定装置、その方法及びそのプログラム
Jandová et al. Age verification using random forests on facial 3D landmarks

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140925

R150 Certificate of patent or registration of utility model

Ref document number: 5633080

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250