JP7344023B2 - 顔認識装置、学習装置及びプログラム - Google Patents

顔認識装置、学習装置及びプログラム Download PDF

Info

Publication number
JP7344023B2
JP7344023B2 JP2019123188A JP2019123188A JP7344023B2 JP 7344023 B2 JP7344023 B2 JP 7344023B2 JP 2019123188 A JP2019123188 A JP 2019123188A JP 2019123188 A JP2019123188 A JP 2019123188A JP 7344023 B2 JP7344023 B2 JP 7344023B2
Authority
JP
Japan
Prior art keywords
image
input
neural network
unit
grayscale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019123188A
Other languages
English (en)
Other versions
JP2021009571A (ja
Inventor
吉彦 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2019123188A priority Critical patent/JP7344023B2/ja
Publication of JP2021009571A publication Critical patent/JP2021009571A/ja
Application granted granted Critical
Publication of JP7344023B2 publication Critical patent/JP7344023B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、ニューラルネットワーク（ＮＮ：Neural Network）を用いて、画像に含まれる人物の顔を分析することで人物を認識する顔認識装置、ニューラルネットワークを学習する学習装置、及びプログラムに関する。
従来、ニューラルネットワークを用いて、特定のオブジェクトを認識する技術が提案されている（例えば、非特許文献１，２を参照）。
ニューラルネットワークは、オブジェクト認識等のタスクで広く利用されている技術で ある。例えば、ニューラルネットワークを用いて人物を認識する場合、顔認識装置は、カラーの顔画像を入力画像としてニューラルネットワークに入力し、顔画像の特徴ベクトルを算出し、特徴ベクトルに基づいて、その顔の人物が誰であるかを認識する。
図１１は、従来の顔認識装置の構成を示すブロック図である。この顔認識装置１０１は、特徴ベクトル算出部（ニューラルネットワーク）１１０及び判定部１１１を備えている。
２枚の顔画像は、それぞれ入力画像として特徴ベクトル算出部１１０に入力される。特徴ベクトル算出部１１０は、２つ入力画像を入力データとしてニューラルネットワークの演算を行い、２枚の入力画像のそれぞれに対応する特徴ベクトルを求める。
入力画像のサイズはＷ×Ｈ×３とする。「Ｗ」は入力画像の幅、「Ｈ」は入力画像の高さを示す。「３」はチャンネル（成分）の数を示し、具体的にはＲＧＢの色成分を３チャンネル有することを示している。つまり、入力画像は、幅Ｗ及び高さＨからなるＲのチャンネルの画像、幅Ｗ及び高さＨからなるＧのチャンネルの画像、及び幅Ｗ及び高さＨからなるＢのチャンネルの画像により構成される。
特徴ベクトルのサイズは１×Ｖであり、１行Ｖ列の行列にて構成される。「Ｖ」は、次元数である特徴データの数を示す。ニューラルネットワークとしては、ＣＮＮ（Convolution Neural Network：畳み込みニューラルネットワーク）、AlexNet、ResNet、Inception等の様々なネットワークが用いられる。
特徴ベクトル算出部１１０により求めた２つの特徴ベクトルは、判定部１１１に入力される。判定部１１１は、２つの特徴ベクトルの間の距離を算出し、閾値処理にて、当該距離が十分に近い場合、２枚の顔画像の人物は同一人物であると判定する。一方、判定部１１１は、当該距離が遠い場合、２枚の顔画像の人物は異なるものと判定する。判定部１１１は、２枚の入力画像の人物が同一であるか、または異なるかを示す判定結果を出力する。
図１２は、図１１に示した従来技術において、特徴ベクトル算出部１１０のニューラルネットワークとしてＣＮＮを用いた場合の入力画像に対する畳み込み処理を説明する図である。図１２には、ＣＮＮを構成する入力層、隠れ層及び出力層のうち、入力層、及び隠れ層における畳み込み層のみが示されている。
入力層は、ＣＮＮの入力データである入力画像（Ｗ×Ｈ×３）を入力する層である。隠れ層は、複数の畳み込み層、複数のプーリング層及び複数の全結合層から構成され、入力画像（Ｗ×Ｈ×３）から特徴ベクトル（１×Ｖ）（図示せず）を抽出する層である。出力層は、隠れ層により抽出された特徴ベクトル（１×Ｖ）を出力する層である（図示せず）。
図１２に示すとおり、幅Ｗ及び高さＨからなる３チャンネルの入力画像（Ｗ×Ｈ×３）が入力層に入力される。そして、畳み込み層において、例えば６４個のフィルタを用いて、入力画像（Ｗ×Ｈ×３）に対して畳み込み処理が行われ、画像（Ｗ’×Ｈ’×６４）が生成される。尚、６４個のフィルタは説明のための例示であり、実際は、複数の畳み込み処理において、段階的にフィルタの数を多くして画像のサイズを小さくする等の処理が行われる。
６４個のフィルタを用いた畳み込み処理により、幅Ｗ及び高さＨからなる３チャンネルの入力画像から、幅Ｗ’及び高さＨ’からなる６４チャンネルの画像が生成される。幅Ｗ’は幅Ｗよりも小さく、高さＨ’も高さＨよりも小さい。そして、プーリング層及び全結合層を含めた隠れ層の処理により、特徴ベクトル（１×Ｖ）が抽出され、出力層から特徴ベクトル（１×Ｖ）が出力される（図示せず）。
図１１に示した顔認識装置１０１の特徴ベクトル算出部１１０には、特徴ベクトル（１×Ｖ）を演算するための重みパラメータが定義されている。この重みパラメータは、後述する学習装置において、特徴ベクトル算出部１１０に相当するニューラルネットワークが学習されることで得られる最適なパラメータである。
図１３は、従来の学習装置の構成を示すブロック図である。この学習装置１０２は、ニューラルネットワーク処理部１１２を備えている。ニューラルネットワーク処理部１１２は、ニューラルネットワーク１１３、ラベル付与ニューラルネットワーク１１４及び減算部１１５を備えている。ニューラルネットワーク１１３は、図１１に示した特徴ベクトル算出部１１０のニューラルネットワークに相当し、ラベル付与ニューラルネットワーク１１４は、人物名のラベルを出力する出力層のニューラルネットワークである。
学習装置１０２は、予め用意された顔画像である入力画像及び正解ラベル（人物名）を用いて、ニューラルネットワーク１１３及びラベル付与ニューラルネットワーク１１４を学習する。つまり、ニューラルネットワーク１１３及びラベル付与ニューラルネットワーク１１４は、入力画像及びこれに対応する正解ラベル（人物名）を教師データとして、教師あり学習が行われる。
入力画像はニューラルネットワーク処理部１１２に入力される。そうすると、ニューラルネットワーク１１３は、入力画像を入力データとしてニューラルネットワークの演算を行い、特徴ベクトルを求める。
ニューラルネットワーク１１３により求めた特徴ベクトルは、ラベル付与ニューラルネットワーク１１４に入力される。ラベル付与ニューラルネットワーク１１４は、特徴ベクトルを入力データとしてニューラルネットワークの演算を行い、人物名のラベルを求める。
ラベル付与ニューラルネットワーク１１４により求めた人物名のラベルは、減算部１１５に入力される。減算部１１５は、ラベル付与ニューラルネットワーク１１４により求めた人物名のラベルと、正解ラベル（人物名）である人物名の正解ラベルとの間の誤差を求め、当該誤差をラベル付与ニューラルネットワーク１１４へ出力する。
ラベル付与ニューラルネットワーク１１４は、減算部１１５から誤差を入力する。ラベル付与ニューラルネットワーク１１４及びニューラルネットワーク１１３は、例えば誤差逆伝播法（バックプロパゲーション： Backpropagation）を用いて、誤差をラベル付与ニューラルネットワーク１１４からニューラルネットワーク１１３の入力層へ伝搬させる。そして、ラベル付与ニューラルネットワーク１１４及びニューラルネットワーク１１３は、誤差が最小となるように、重みパラメータを更新する。
このような学習処理を、多くの入力画像及びこれに対応する正解ラベル（人物名）を用いて繰り返すことにより、ラベル付与ニューラルネットワーク１１４により出力される人物名のラベルと、正解ラベル（人物名）とが一致するようになる。そして、最適化したニューラルネットワーク１１３及びラベル付与ニューラルネットワーク１１４の重みパラメータを得ることができる。学習処理にて最適化された重みパラメータは、図１１に示した顔認識装置１０１の特徴ベクトル算出部１１０に設定されることで、顔認識装置１０１による顔認識処理を実現することができる。
Q.V.Le，"Building High-level Features Using Large Scale Unsupervised Learning"，ICASSP，2013 A.Krizhevsky，I.Sutskever and G.E.Hinton，"ImageNet Classification with Deep Convolutional Neural Networks"，NIPS，2012
前述のとおり、従来の顔認識装置１０１は、特徴ベクトル算出部１１０を用いて、入力画像である顔画像から有用な特徴ベクトルを直接算出する。
しかしながら、顔画像から有用な特徴ベクトルを算出することは、解決が困難な計算問題であり、必ずしも顔の詳細な特徴を十分に反映した特徴ベクトルを得ることができるとは限らず、人物を正しく認識することができない場合があるという問題があった。また、学習装置１０２により、有効な重みパラメータを得ることが容易ではないという問題もあった。
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、顔画像から人物を認識する際に、その認識精度を向上させることが可能な顔認識装置、学習装置及びプログラムを提供することにある。
前記課題を解決するために、請求項１の顔認識装置は、人物の顔を含む画像を、所定の幅及び高さからなる所定数のチャンネルの入力画像として、当該入力画像に基づきニューラルネットワークを用いて前記人物を認識する顔認識装置において、前記入力画像に対して所定の画像変換処理を施し、前記入力画像を微分することで得られたエッジ検出画像、前記入力画像をグレースケール化することで得られたグレースケール画像、及び前記グレースケール画像の色を反転することで得られたネガポジ反転画像を生成すると共に、前記入力画像の顔部分から所定箇所の部分を欠落させた欠落画像を生成する画像変換部と、前記入力画像に対し、前記画像変換部により生成された前記エッジ検出画像、前記グレースケール画像、前記ネガポジ反転画像及び前記欠落画像を、前記チャンネルの方向に連結し、連結画像を生成する画像連結部と、前記画像連結部により生成された前記連結画像を入力データとして、前記ニューラルネットワークの演算を行い、前記連結画像の特徴ベクトルを算出する特徴ベクトル算出部と、前記特徴ベクトル算出部により算出された前記特徴ベクトルに基づいて、前記人物を判定する判定部と、を備えたことを特徴とする。
また、請求項２の顔認識装置は、人物の顔を含む画像を、所定の幅及び高さからなる所定数のチャンネルの入力画像として、当該入力画像に基づきニューラルネットワークを用いて前記人物を認識する顔認識装置において、前記入力画像に対して所定の画像変換処理を施し、前記入力画像を微分することで得られたエッジ検出画像、前記入力画像をグレースケール化することで得られたグレースケール画像、及び前記グレースケール画像の色を反転することで得られたネガポジ反転画像を生成すると共に、前記入力画像、前記エッジ検出画像、前記グレースケール画像及び前記ネガポジ反転画像に対して左右反転処理を施し、左右反転画像を生成し、さらに、前記入力画像の顔部分から所定箇所の部分を欠落させた欠落画像を生成する画像変換部と、前記入力画像に対し、前記画像変換部により生成された前記エッジ検出画像、前記グレースケール画像、前記ネガポジ反転画像、前記左右反転画像及び前記欠落画像を、前記チャンネルの方向に連結し、連結画像を生成する画像連結部と、前記画像連結部により生成された前記連結画像を入力データとして、前記ニューラルネットワークの演算を行い、前記連結画像の特徴ベクトルを算出する特徴ベクトル算出部と、前記特徴ベクトル算出部により算出された前記特徴ベクトルに基づいて、前記人物を判定する判定部と、を備えたことを特徴とする。
さらに、請求項３の学習装置は、人物の顔を含む画像を、所定の幅及び高さからなる所定数のチャンネルの入力画像として、当該入力画像及び人物名の正解ラベルを入力し、ニューラルネットワークを学習する学習装置において、前記入力画像に対して所定の画像変換処理を施し、前記入力画像を微分することで得られたエッジ検出画像、前記入力画像をグレースケール化することで得られたグレースケール画像、及び前記グレースケール画像の色を反転することで得られたネガポジ反転画像を生成すると共に、前記入力画像の顔部分から所定箇所の部分を欠落させた欠落画像を生成する学習用画像変換部と、前記入力画像に対し、前記学習用画像変換部により生成された前記エッジ検出画像、前記グレースケール画像、前記ネガポジ反転画像及び前記欠落画像を、前記チャンネルの方向に連結し、連結画像を生成する学習用画像連結部と、前記学習用画像連結部により生成された前記連結画像及び前記人物名の前記正解ラベルを教師データとして、前記連結画像から当該連結画像の特徴ベクトルを求め、当該特徴ベクトルから前記人物名のラベルを求める前記ニューラルネットワークを学習し、請求項１に記載の顔認識装置に備えたニューラルネットワークにて用いる重みパラメータを生成するニューラルネットワーク処理部と、を備えたことを特徴とする。
また、請求項４の学習装置は、人物の顔を含む画像を、所定の幅及び高さからなる所定数のチャンネルの入力画像として、当該入力画像及び人物名の正解ラベルを入力し、ニューラルネットワークを学習する学習装置において、前記入力画像に対して所定の画像変換処理を施し、前記入力画像を微分することで得られたエッジ検出画像、前記入力画像をグレースケール化することで得られたグレースケール画像、及び前記グレースケール画像の色を反転することで得られたネガポジ反転画像を生成すると共に、前記入力画像、前記エッジ検出画像、前記グレースケール画像及び前記ネガポジ反転画像に対して左右反転処理を施し、左右反転画像を生成し、さらに、前記入力画像の顔部分から所定箇所の部分を欠落させた欠落画像を生成する学習用画像変換部と、前記入力画像に対し、前記学習用画像変換部により生成された前記エッジ検出画像、前記グレースケール画像、前記ネガポジ反転画像、前記左右反転画像及び前記欠落画像を、前記チャンネルの方向に連結し、連結画像を生成する学習用画像連結部と、前記学習用画像連結部により生成された前記連結画像及び前記人物名の前記正解ラベルを教師データとして、前記連結画像から当該連結画像の特徴ベクトルを求め、当該特徴ベクトルから前記人物名のラベルを求める前記ニューラルネットワークを学習し、請求項２に記載の顔認識装置に備えたニューラルネットワークにて用いる重みパラメータを生成するニューラルネットワーク処理部と、を備えたことを特徴とする。
さらに、請求項５のプログラムは、コンピュータを、請求項１または２に記載の顔認識装置として機能させることを特徴とする。
また、請求項６のプログラムは、コンピュータを、請求項３または４に記載の学習装置として機能させることを特徴とする。
以上のように、本発明によれば、顔画像から人物を認識する際に、その認識精度を向上させることができる。
本発明の実施形態による顔認識装置の概要を説明する図である。 本発明の実施形態による顔認識装置の構成例を示すブロック図である。 顔認識装置の処理例を示すフローチャートである。 ＣＮＮを用いた場合の連結画像に対する畳み込み処理を説明する図である。 画像変換部及び画像連結部の第１構成例を示すブロック図である。 画像変換部及び画像連結部の第２構成例を示すブロック図である。 画像変換部及び画像連結部の第３構成例を示すブロック図である。 本発明の実施形態による学習装置の構成例を示すブロック図である。 学習装置の処理例を示すフローチャートである。 実験結果を説明する図である。 従来の顔認識装置の構成を示すブロック図である。 従来技術において、ＣＮＮを用いた場合の入力画像に対する畳み込み処理を説明する図である。 従来の学習装置の構成を示すブロック図である。
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、通常の顔画像に、これを加工した画像を連結することで連結画像を生成し、連結画像をニューラルネットワークの入力データとして用いることを特徴とする。
これにより、ニューラルネットワークにて、顔の詳細な特徴を一層反映した特徴ベクトルを求めることができ、人物の認識精度を向上させることができる。
〔本発明の概要〕
まず、本発明の概要について説明する。本発明者らは、顔画像から人物を認識する顔認識装置において、人物の認識精度を向上させるために鋭意検討を行った。その結果、過去の経験的な知見として有用性が高いと思われる画像変換処理を、顔画像である入力画像に適用し、入力画像と変換処理後の画像とを連結し、連結画像をニューラルネットワーク の入力データとして用いることで、人物の認識精度を向上させることができることを見出した。
図１は、本発明の実施形態による顔認識装置の概要を説明する図である。この顔認識装置は、顔画像である入力画像に対して画像変換処理を施し、変換画像を生成し、入力画像及び変換画像を連結して連結画像を生成し、ニューラルネットワークにて特徴ベクトルを求め、特徴ベクトルに基づいて人物の顔を認識する。
入力画像（Ｗ×Ｈ×３）、すなわち幅Ｗ及び高さＨからなる３チャンネルの入力画像は、１または複数の画像変換処理にて変換され、１または複数の画像変換処理毎の変換画像（Ｗ×Ｈ×ｎ１）、変換画像（Ｗ×Ｈ×ｎ２）、・・・が生成される。入力画像（Ｗ×Ｈ×３）は、人物の顔を含む画像である。
入力画像（Ｗ×Ｈ×３）、変換画像（Ｗ×Ｈ×ｎ１）、変換画像（Ｗ×Ｈ×ｎ２）、・・・は、チャンネルの方向（成分の方向）の連結処理にて連結され、連結画像（Ｗ×Ｈ×ｎ）が生成される。また、連結画像（Ｗ×Ｈ×ｎ）は、ニューラルネットワークの入力データとして用いられ、ニューラルネットワークにより特徴ベクトル（１×Ｖ）が生成される。
ここで、ｎ＝３＋ｎ１＋ｎ２＋・・・であり、ｎ，ｎ１，ｎ２，・・・は、１以上の整数である。それぞれの画像変換処理にて用いるパラメータは固定であり、ニューラルネットワークにて用いる重みパラメータは、後述する学習装置２により生成される。
〔顔認識装置〕
次に、本発明の実施形態による顔認識装置について説明する。図２は、本発明の実施形態による顔認識装置の構成例を示すブロック図である。この顔認識装置１は、画像変換部１０、画像連結部１１、特徴ベクトル算出部（ニューラルネットワーク）１２及び判定部１１１を備えている。顔認識装置１は、顔画像である入力画像を入力し、２枚の入力画像（Ｗ×Ｈ×３）の人物が同一であるか、または異なるかを判定する装置である。以下、顔認識装置１が入力する顔画像を入力画像として説明する。
図３は、図２に示した顔認識装置１の処理例を示すフローチャートである。以下、図２及び図３を参照して、顔認識装置１について説明する。
画像変換部１０は、入力画像（Ｗ×Ｈ×３）を入力する（ステップＳ３０１）。そして、画像変換部１０は、予め設定された数の画像変換処理にて入力画像（Ｗ×Ｈ×３）を変換し、幅Ｗ及び高さＨが同一（縦横サイズが同一）の所定数の変換画像を生成する（ステップＳ３０２）。画像変換部１０は、所定数の変換画像を画像連結部１１に出力する。
ここで、所定数の変換画像のそれぞれにおいて、チャンネル数は、画像変換処理に応じた数となる。
画像連結部１１は、入力画像（Ｗ×Ｈ×３）を入力すると共に、画像変換部１０から所定数の変換画像を入力し、これらの画像をチャンネル方向に連結し、連結画像（Ｗ×Ｈ×１６）を生成する（ステップＳ３０３）。これにより、入力画像（Ｗ×Ｈ×３）よりもチャンネル数が増加した連結画像（Ｗ×Ｈ×１６）が生成される。つまり、チャンネル数３がチャンネル数１６に増加する。そして、画像連結部１１は、連結画像（Ｗ×Ｈ×１６）を特徴ベクトル算出部１２に出力する。
ここで、連結画像（Ｗ×Ｈ×１６）は一例であり、後述する図５の第１構成例に対応したものである。後述する図５を参照して、入力画像（Ｗ×Ｈ×３）は、幅Ｗ及び高さＨの３チャンネルの画像からなり、第１の変換画像であるエッジ検出画像（Ｗ×Ｈ×３）は、幅Ｗ及び高さＨの３チャンネルの画像からなる。また、第２の変換画像であるグレースケール画像（Ｗ×Ｈ×１）は、幅Ｗ及び高さＨの１チャンネルの画像からなり、第３の変換画像であるネガポジ反転画像（Ｗ×Ｈ×１）は、幅Ｗ及び高さＨの１チャンネルの画像からなる。
また、第４，５，６，７の変換画像である入力画像（Ｗ×Ｈ×３）、エッジ検出画像（Ｗ×Ｈ×３）、グレースケール画像（Ｗ×Ｈ×１）及びネガポジ反転画像（Ｗ×Ｈ×１）の左右反転画像は、それぞれ幅Ｗ及び高さＨの３，３，１，１チャンネルの画像からなる。入力画像（Ｗ×Ｈ×３）及び第１～７の変換画像のチャンネル数を加算すると１６となる。したがって、連結画像（Ｗ×Ｈ×１６）は、幅Ｗ及び高さＨの１６チャンネルの画像からなる。
特徴ベクトル算出部１２は、画像連結部１１から連結画像（Ｗ×Ｈ×１６）を入力し、連結画像（Ｗ×Ｈ×１６）を入力データとして、ニューラルネットワークの演算を行い、連結画像（Ｗ×Ｈ×１６）の特徴ベクトル（１×Ｖ）を算出する（ステップＳ３０４）。そして、特徴ベクトル算出部１２は、特徴ベクトル（１×Ｖ）を判定部１１１に出力する。
ニューラルネットワークの重みパラメータとしては、後述する図８に示す学習装置２により学習されるニューラルネットワーク３３の重みパラメータが設定される。
判定部１１１は、特徴ベクトル算出部１２から特徴ベクトル（１×Ｖ）を入力する。判定部１１１は、図１１に示した判定部１１１と同様の処理を行う（ステップＳ３０５）。
具体的には、判定部１１１は、判定対象の２枚の入力画像（Ｗ×Ｈ×３）における特徴ベクトル（１×Ｖ）の間の距離を算出し、距離が所定の閾値以下である場合、２枚の入力画像（Ｗ×Ｈ×３）の人物は同一人物であると判定する。一方、判定部１１１は、距離が所定の閾値よりも大きい場合、２枚の入力画像（Ｗ×Ｈ×３）の人物は異なるものと判定する。判定部１１１は、２枚の入力画像（Ｗ×Ｈ×３）の人物が同一であるか、または異なるかを示す判定結果を出力する（ステップＳ３０６）。
例えば判定部１１１は、２つの特徴ベクトル（１×Ｖ）における各要素の大きさの差分を合計した値、若しくは差分の２乗値を合計した値、または２つの特徴ベクトル（１×Ｖ）の間の角度を、距離として算出する。
〔特徴ベクトル算出部１２〕
図４は、特徴ベクトル算出部１２のニューラルネットワークとしてＣＮＮを用いた場合の連結画像に対する畳み込み処理を説明する図である。図４には、図１２と同様に、ＣＮＮを構成する入力層、隠れ層及び出力層のうち、入力層、及び隠れ層における畳み込み層のみが示されている。
入力層は、ＣＮＮの入力データである連結画像（Ｗ×Ｈ×１６）を入力する層である。隠れ層は、複数の畳み込み層、複数のプーリング層及び複数の全結合層から構成され、連結画像（Ｗ×Ｈ×１６）から特徴ベクトル（１×Ｖ）（図示せず）を抽出する層である。出力層は、隠れ層により抽出された特徴ベクトル（１×Ｖ）を出力する層である（図示せず）。
図４に示すとおり、連結画像（Ｗ×Ｈ×１６）である幅Ｗ及び高さＨからなる１６チャンネルの画像が入力層に入力される。そして、畳み込み層において、例えば６４個のフィルタを用いて、連結画像（Ｗ×Ｈ×１６）に対して畳み込み処理が行われ、画像（Ｗ’×Ｈ’×６４）が生成される。尚、図１２と同様に、６４個のフィルタは説明のための例示であり、実際は、複数の畳み込み処理において、段階的にフィルタの数を多くして画像のサイズを小さくする等の処理が行われる。
６４個のフィルタを用いた畳み込み処理により、幅Ｗ及び高さＨからなる１６チャンネルの連結画像（Ｗ×Ｈ×１６）から、幅Ｗ’及び高さＨ’からなる６４チャンネルの画像が生成される。幅Ｗ’は幅Ｗよりも小さく、高さＨ’も高さＨよりも小さい。そして、プーリング層及び全結合層を含めた隠れ層の処理により、特徴ベクトル（１×Ｖ）が抽出され、出力層から特徴ベクトル（１×Ｖ）が出力される（図示せず）。
図１２に示した従来の畳み込み処理と、図４に示した畳み込み処理とは、ＣＮＮの入力データである両画像のチャンネル数が異なる。図１２に示した従来の畳み込み処理では、入力画像のチャンネル数は３であるが、図４に示した畳み込み処理では、連結画像のチャンネル数は１６である。
また、図１２に示した従来の畳み込み処理と、図４に示した畳み込み処理とは、フィルタの行列サイズが異なる。図４に示した畳み込み処理に用いるフィルタの行列サイズは、図１２に示した畳み込み処理に用いるフィルタよりも大きい。
尚、特徴ベクトル算出部１２の全体の構造は、単一のニューラルネットワークで構成することもできる。
〔第１構成例／画像変換部１０及び画像連結部１１〕
次に、図２に示した画像変換部１０及び画像連結部１１について、具体的な構成例について説明する。図５は、画像変換部１０及び画像連結部１１の第１構成例を示すブロック図である。
第１構成例は、入力画像（Ｗ×Ｈ×３）に対し、エッジ検出画像（Ｗ×Ｈ×３）、グレースケール画像（Ｗ×Ｈ×１）、ネガポジ反転画像（Ｗ×Ｈ×１）、入力画像の左右反転画像（Ｗ×Ｈ×３）、エッジ検出画像の左右反転画像（Ｗ×Ｈ×３）、グレースケール画像の左右反転画像（Ｗ×Ｈ×１）、及びネガポジ反転画像の左右反転画像（Ｗ×Ｈ×１）を連結することで、連結画像（Ｗ×Ｈ×１６）を生成する例である。
この画像変換部１０は、微分処理部２０，２１、エッジ検出部２２、グレースケール化部２３、ネガポジ反転部２４、連結部２５及び左右反転部２６，２７を備えている。画像連結部１１は、連結部２８を備えている。
微分処理部２０は、入力画像（Ｗ×Ｈ×３）を入力し、ｘ成分（幅Ｗ方向の成分）の微分値（ｄｘ）を求め、ｘ成分の微分値をエッジ検出部２２に出力する。また、微分処理部２１は、入力画像（Ｗ×Ｈ×３）を入力し、ｙ成分（高さＨ方向の成分）の微分値（ｄｙ）を求め、ｙ成分の微分値をエッジ検出部２２に出力する。
エッジ検出部２２は、微分処理部２０からｘ成分の微分値を入力すると共に、微分処理部２１からｙ成分の微分値を入力する。そして、エッジ検出部２２は、ｘ成分の微分値を２乗すると共に（ｄｘ2）、ｙ成分の微分値を２乗し（ｄｙ2）、これらの２乗値を加算することで（ｄｘ2＋ｄｙ2）、エッジ検出画像（Ｗ×Ｈ×３）を生成する。エッジ検出部２２は、エッジ検出画像（Ｗ×Ｈ×３）を連結部２５に出力する。
エッジ検出画像（Ｗ×Ｈ×３）は、入力画像（Ｗ×Ｈ×３）を微分することで得られた画像である。尚、微分処理部２０，２１及びエッジ検出部２２の処理は既知であるため、詳細な説明については省略する。
グレースケール化部２３は、入力画像（Ｗ×Ｈ×３）を入力し、入力画像（Ｗ×Ｈ×３）に対してグレースケール化処理を施し、グレースケール画像（Ｗ×Ｈ×１）を生成する。そして、グレースケール化部２３は、グレースケール画像（Ｗ×Ｈ×１）をネガポジ反転部２４及び連結部２５に出力する。
グレースケール画像（Ｗ×Ｈ×１）とは、白、黒、及びその中間の所定段階の灰色のみで表した画像、すなわち明るさのみを白から黒までの多階調の灰色で表現した画像である。尚、グレースケール化部２３の処理は既知であるため、詳細な説明については省略する。
ネガポジ反転部２４は、グレースケール化部２３からグレースケール画像（Ｗ×Ｈ×１）を入力し、グレースケール画像（Ｗ×Ｈ×１）に対してネガポジ反転処理を施し、ネガポジ反転画像（Ｗ×Ｈ×１）を生成する。そして、ネガポジ反転部２４は、ネガポジ反転画像（Ｗ×Ｈ×１）を連結部２５に出力する。
ネガポジ反転画像（Ｗ×Ｈ×１）は、入力画像（Ｗ×Ｈ×３）における各ピクセルの輝度の最大値からピクセル値を減算することで得られた画像であり、グレースケール画像（Ｗ×Ｈ×１）の色を反転させた画像である。尚、ネガポジ反転部２４の処理は既知であるため、詳細な説明については省略する。
連結部２５は、エッジ検出部２２からエッジ検出画像（Ｗ×Ｈ×３）を入力すると共に、グレースケール化部２３からグレースケール画像（Ｗ×Ｈ×１）を入力し、さらに、ネガポジ反転部２４からネガポジ反転画像（Ｗ×Ｈ×１）を入力する。そして、連結部２５は、エッジ検出画像（Ｗ×Ｈ×３）、グレースケール画像（Ｗ×Ｈ×１）及びネガポジ反転画像（Ｗ×Ｈ×１）をチャンネル方向に連結し、連結画像（Ｗ×Ｈ×５）を生成する。連結部２５は、連結画像（Ｗ×Ｈ×５）を左右反転部２７及び画像連結部１１の連結部２８に出力する。
左右反転部２６は、入力画像（Ｗ×Ｈ×３）を入力し、入力画像（Ｗ×Ｈ×３）に対して左右反転処理を施し、入力画像の左右反転画像（Ｗ×Ｈ×３）を生成する。そして、左右反転部２６は、入力画像の左右反転画像（Ｗ×Ｈ×３）を画像連結部１１の連結部２８に出力する。
例えば、左右反転部２６は、入力画像（Ｗ×Ｈ×３）から顔領域を抽出し、顔領域から両目の画像領域を抽出する。そして、左右反転部２６は、両目の黒目（瞳孔）の中心点を結んだ直線に直交し、かつ２つの中心点の間の中央点を通る線を基準にして、入力画像（Ｗ×Ｈ×３）の左右を反転させることで、入力画像の左右反転画像（Ｗ×Ｈ×３）を生成する。尚、左右反転部２６の処理は既知であるため、詳細な説明については省略する。
左右反転部２７は、連結部２５から連結画像（Ｗ×Ｈ×５）を入力し、連結画像（Ｗ×Ｈ×５）に対して左右反転処理を施し、連結画像の左右反転画像（Ｗ×Ｈ×５）を生成する。そして、左右反転部２７は、連結画像の左右反転画像（Ｗ×Ｈ×５）を画像連結部１１の連結部２８に出力する。左右反転部２７の処理は既知であるため、詳細な説明については省略する。
画像連結部１１の連結部２８は、入力画像（Ｗ×Ｈ×３）を入力し、連結部２５から連結画像（Ｗ×Ｈ×５）を入力し、左右反転部２６から入力画像の左右反転画像（Ｗ×Ｈ×３）を入力し、左右反転部２７から連結画像の左右反転画像（Ｗ×Ｈ×５）を入力する。そして、連結部２８は、入力画像（Ｗ×Ｈ×３）、連結画像（Ｗ×Ｈ×５）、入力画像の左右反転画像（Ｗ×Ｈ×３）及び連結画像の左右反転画像（Ｗ×Ｈ×５）をチャンネル方向に連結し、連結画像（Ｗ×Ｈ×１６）を生成する。連結部２８は、連結画像（Ｗ×Ｈ×１６）を特徴ベクトル算出部１２に出力する。
尚、図５に示した第１構成例では、画像変換部１０は、連結部２５を備えているが、連結部２５を備えていなくてもよい。この場合、画像変換部１０は、左右反転部２７に代えて、エッジ検出画像の左右反転画像（Ｗ×Ｈ×３）を生成するための左右反転部、グレースケール画像の左右反転画像（Ｗ×Ｈ×１）を生成するための左右反転部、及びネガポジ反転画像の左右反転画像（Ｗ×Ｈ×１）を生成するための左右反転部を備える。これらの左右反転部は、エッジ検出画像の左右反転画像（Ｗ×Ｈ×３）、グレースケール画像の左右反転画像（Ｗ×Ｈ×１）、及びネガポジ反転画像の左右反転画像（Ｗ×Ｈ×１）を画像連結部１１の連結部２８に出力する。
〔第２構成例／画像変換部１０及び画像連結部１１〕
図６は、画像変換部１０及び画像連結部１１の第２構成例を示すブロック図である。
第２構成例は、入力画像（Ｗ×Ｈ×３）に対し、エッジ検出画像（Ｗ×Ｈ×３）を連結することで、連結画像（Ｗ×Ｈ×６）を生成する例である。
この画像変換部１０は、微分処理部２０，２１及びエッジ検出部２２を備えている。画像連結部１１は、連結部２８を備えている。微分処理部２０，２１及びエッジ検出部２２は、図５と同様であるため、ここでは説明を省略する。
画像連結部１１の連結部２８は、入力画像（Ｗ×Ｈ×３）を入力すると共に、エッジ検出部２２からエッジ検出画像（Ｗ×Ｈ×３）を入力し、入力画像（Ｗ×Ｈ×３）及びエッジ検出画像（Ｗ×Ｈ×３）をチャンネル方向に連結し、連結画像（Ｗ×Ｈ×６）を生成する。連結部２８は、連結画像（Ｗ×Ｈ×６）を特徴ベクトル算出部１２に出力する。
尚、図６に示した第２構成例は、入力画像（Ｗ×Ｈ×３）に対し、エッジ検出画像（Ｗ×Ｈ×３）を連結することで、連結画像（Ｗ×Ｈ×６）を生成するようにしたが、エッジ検出画像（Ｗ×Ｈ×３）の代わりに、グレースケール画像（Ｗ×Ｈ×１）またはネガポジ反転画像（Ｗ×Ｈ×１）を連結することで、連結画像（Ｗ×Ｈ×４）を生成するようにしてもよい。また、他の構成例として、入力画像（Ｗ×Ｈ×３）に対し、エッジ検出画像の左右反転画像（Ｗ×Ｈ×３）を連結することで、連結画像（Ｗ×Ｈ×６）を生成するようにしてもよい。また、他の構成例として、入力画像（Ｗ×Ｈ×３）に対し、グレースケール画像の左右反転画像（Ｗ×Ｈ×１）またはネガポジ反転画像の左右反転画像（Ｗ×Ｈ×１）を連結することで、連結画像（Ｗ×Ｈ×４）を生成するようにしてもよい。さらに、他の構成例として、入力画像（Ｗ×Ｈ×３）に対し、エッジ検出画像（Ｗ×Ｈ×３）等の２以上の画像を連結するようにしてもよい。
〔第３構成例／画像変換部１０及び画像連結部１１〕
図７は、画像変換部１０及び画像連結部１１の第３構成例を示すブロック図である。
第３構成例は、入力画像（Ｗ×Ｈ×３）に対し、エッジ検出画像（Ｗ×Ｈ×３）、グレースケール画像（Ｗ×Ｈ×１）及びネガポジ反転画像（Ｗ×Ｈ×１）を連結することで、連結画像（Ｗ×Ｈ×８）を生成する例である。
この画像変換部１０は、微分処理部２０，２１、エッジ検出部２２、グレースケール化部２３、ネガポジ反転部２４及び連結部２５を備えている。画像連結部１１は、連結部２８を備えている。
微分処理部２０，２１、エッジ検出部２２、グレースケール化部２３、ネガポジ反転部２４及び連結部２５は、図５と同様であるため、ここでは説明を省略する。
画像連結部１１の連結部２８は、入力画像（Ｗ×Ｈ×３）を入力すると共に、連結部２５から連結画像（Ｗ×Ｈ×５）を入力し、入力画像（Ｗ×Ｈ×３）及び連結画像（Ｗ×Ｈ×５）をチャンネル方向に連結し、連結画像（Ｗ×Ｈ×８）を生成する。連結部２８は、連結画像（Ｗ×Ｈ×８）を特徴ベクトル算出部１２に出力する。
以上のように、本発明の実施形態の顔認識装置１によれば、画像変換部１０は、所定数の画像変換処理にて顔画像である入力画像（Ｗ×Ｈ×３）を変換し、幅Ｗ及び高さＨが同一の所定数の変換画像を生成する。
画像連結部１１は、入力画像（Ｗ×Ｈ×３）及び所定数の変換画像をチャンネル方向に連結し、連結画像（Ｗ×Ｈ×１６）を生成する。
特徴ベクトル算出部１２は、連結画像（Ｗ×Ｈ×１６）を入力データとして、ニューラルネットワークの演算を行い、連結画像（Ｗ×Ｈ×１６）の特徴ベクトル（１×Ｖ）を算出する。
判定部１１１は、判定対象の２枚の入力画像（Ｗ×Ｈ×３）における特徴ベクトル（１×Ｖ）の間の距離を算出し、距離に基づいて人物は同一であるか、または異なるかを判定する。
このように、通常の顔画像に、これを加工した画像（変換画像）を連結することで連結画像（Ｗ×Ｈ×１６）を生成し、連結画像（Ｗ×Ｈ×１６）を特徴ベクトル算出部１２のニューラルネットワークの入力データとして用いるようにした。
これにより、ニューラルネットワークにて、顔の詳細な特徴を一層反映した特徴ベクトル（１×Ｖ）を求めることができ、顔画像から人物を認識する際に、その認識精度を向上させることができる。
また、変換画像としてエッジ検出画像（Ｗ×Ｈ×３）が生成され、エッジ検出画像（Ｗ×Ｈ×３）を含む連結画像（Ｗ×Ｈ×１６）がニューラルネットワークに入力されることにより、例えば顔のシワまたは／及びヒゲの影響を受けない人物認識を実現することができる。
また、変換画像としてグレースケール画像（Ｗ×Ｈ×１）が生成され、グレースケール画像（Ｗ×Ｈ×１）を含む連結画像（Ｗ×Ｈ×１６）がニューラルネットワークに入力されることにより、例えば顔の色または／及び輝度の影響を受けない人物認識を実現することができる。
〔学習装置〕
次に、本発明の実施形態による学習装置について説明する。図８は、本発明の実施形態による学習装置の構成例を示すブロック図である。この学習装置２は、画像変換部（学習用画像変換部）３０、画像連結部（学習用画像連結部）３１及びニューラルネットワーク処理部３２を備えている。ニューラルネットワーク処理部３２は、ニューラルネットワーク３３、ラベル付与ニューラルネットワーク１１４及び減算部１１５を備えている。
図９は、図８に示した学習装置２の処理例を示すフローチャートである。以下、図８及び図９を参照して、学習装置２について説明する。
学習装置２は、学習データである入力画像（Ｗ×Ｈ×３）及び正解レベル（人物名）を入力する（ステップＳ９０１）。
画像変換部３０は、図２に示した画像変換部１０と同様の処理を行う。具体的には、画像変換部３０は、入力画像（Ｗ×Ｈ×３）を入力し、所定数の画像変換処理にて入力画像（Ｗ×Ｈ×３）を変換し、幅Ｗ及び高さＨが同一（縦横サイズが同一）の所定数の変換画像を生成する（ステップＳ９０２）。画像変換部３０は、所定数の変換画像を画像連結部３１に出力する。
画像連結部３１は、図２に示した画像連結部１１と同様の処理を行う。具体的には、画像連結部３１は、入力画像（Ｗ×Ｈ×３）を入力すると共に、画像変換部３０から所定数の変換画像を入力し、これらの画像をチャンネル方向に連結し、連結画像（Ｗ×Ｈ×１６）を生成する（ステップＳ９０３）。そして、画像連結部３１は、連結画像（Ｗ×Ｈ×１６）をニューラルネットワーク処理部３２に出力する。
ニューラルネットワーク処理部３２のニューラルネットワーク３３は、図２に示した特徴ベクトル算出部１２であるニューラルネットワークに相当し、ラベル付与ニューラルネットワーク１１４は、図１３に示したラベル付与ニューラルネットワーク１１４と同様に、人物名のラベルを出力する出力層である。
ニューラルネットワーク処理部３２は、画像連結部３１から連結画像（Ｗ×Ｈ×１６）を入力すると共に、正解レベル（人物名）を入力する。そして、ニューラルネットワーク処理部３２は、連結画像（Ｗ×Ｈ×１６）及び正解レベル（人物名）を教師データとして、ニューラルネットワーク３３及びラベル付与ニューラルネットワーク１１４を学習する（ステップＳ９０４）。
具体的には、ニューラルネットワーク３３は、画像連結部３１から連結画像（Ｗ×Ｈ×１６）を入力し、連結画像（Ｗ×Ｈ×１６）を入力データとしてニューラルネットワークの演算を行い、特徴ベクトル（１×Ｖ）を求める。そして、ニューラルネットワーク３３は、特徴ベクトル（１×Ｖ）をラベル付与ニューラルネットワーク１１４に出力する。
ラベル付与ニューラルネットワーク１１４は、ニューラルネットワーク３３から特徴ベクトル（１×Ｖ）を入力し、特徴ベクトル（１×Ｖ）を入力データとしてニューラルネットワークの演算を行い、人物名のラベルを求める。そして、ラベル付与ニューラルネットワーク１１４は、人物名のラベルを減算部１１５に出力する。
減算部１１５は、ラベル付与ニューラルネットワーク１１４から人物名のラベルを入力すると共に、正解ラベル（人物名）を入力する。そして、減算部１１５は、人物名のラベルと、正解ラベル（人物名）である人物名の正解ラベルとの間の誤差を求め、当該誤差をラベル付与ニューラルネットワーク１１４へ出力する。
ラベル付与ニューラルネットワーク１１４は、減算部１１５から誤差を入力する。ラベル付与ニューラルネットワーク１１４及びニューラルネットワーク３３は、例えば誤差逆伝播法を用いて、誤差をラベル付与ニューラルネットワーク１１４からニューラルネットワーク３３の入力層へ伝搬させる。そして、ラベル付与ニューラルネットワーク１１４及びニューラルネットワーク３３は、誤差が最小となるように、重みパラメータを更新する。
このような学習処理を、多くの入力画像（Ｗ×Ｈ×３）及びこれに対応する正解ラベル（人物名）を用いて繰り返すことにより、ラベル付与ニューラルネットワーク１１４により出力される人物名のラベルと、正解ラベル（人物名）とが一致するようになり、最適化したニューラルネットワーク３３及びラベル付与ニューラルネットワーク１１４の重みパラメータを得ることができる。そして、学習処理にて最適化された重みパラメータが、図２に示した顔認識装置１の特徴ベクトル算出部１２に設定されることで、顔認識装置１による精度の高い顔認識処理を実現することができる。
以上のように、本発明の実施形態の学習装置２によれば、学習データとして顔画像である入力画像（Ｗ×Ｈ×３）及び正解ラベル（人物名）を入力する。画像変換部３０は、図２に示した画像変換部１０と同様に、所定数の画像変換処理にて顔画像である入力画像（Ｗ×Ｈ×３）を変換し、幅Ｗ及び高さＨが同一の所定数の変換画像を生成する。
画像連結部３１は、図２に示した画像連結部１１と同様に、入力画像（Ｗ×Ｈ×３）及び所定数の変換画像をチャンネル方向に連結し、連結画像（Ｗ×Ｈ×１６）を生成する。
ニューラルネットワーク処理部３２は、連結画像（Ｗ×Ｈ×１６）及び正解ラベル（人物名）を教師データとして、例えば誤差逆伝播法を用いて、ニューラルネットワーク３３及びラベル付与ニューラルネットワーク１１４を学習することで、最適な重みパラメータを生成する。
このようにして生成された重みパラメータは、図２に示した顔認識装置１の特徴ベクトル算出部１２に用いられる。
これにより、図２に示した顔認識装置１の特徴ベクトル算出部１２のニューラルネットワークにて、顔の詳細な特徴を一層反映した特徴ベクトル（１×Ｖ）を求めることができ、顔画像から人物を認識する際に、その認識精度を向上させることができる。
〔実験結果〕
次に、実験結果について説明する。図１０は、実験結果を説明する図であり、図２に示した本発明の実施形態による顔認識装置１において、特徴ベクトル算出部１２のニューラルネットワークとしてInceptionResNetV2を用いた場合のデータである。
図１０（１）は、顔認識装置１において、画像変換部１０及び画像連結部１１を備えていない場合の結果を示す。図１０（２）は、図７に示した第３構成例を用いた場合の結果を示し、図１０（３）は、図５に示した第１構成例を用いた場合の結果である。
入力画像（Ｗ×Ｈ×３）には、顔認識分野の性能比較に広く利用されているＬＦＷデータセットを用いるようにした。このＬＦＷデータセットは、２枚の画像が同一人物か、または異なる人物かを判定するタスクとなっており、用意されている全ぺアのうち、正しく判定できた割合を認識精度と定義している。
ＬＦＷデータセットの詳細については以下を参照されたい。
［非特許文献］ Christian Szegedy,Sergey Ioffe,Vincent Vanhoucke,Alex Alemi、“Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning”、［online］、２０１６年８月２３日、［令和１年６月１５日検索］、インターネット＜ＵＲＬ：https://arxiv.org/abs/1602.07261＞
図１０（１）は、画像変換なしの手法の場合に、認識精度は９９．３７％であることを示している。画像変換なしの手法とは、図２に示した顔認識装置１において画像変換部１０及び画像連結部１１を備えていない場合を示し、入力画像（Ｗ×Ｈ×３）がそのまま特徴ベクトル算出部１２に入力される。すなわち図１１に示した従来技術の場合の手法である。
図１０（２）は、変換画像として、エッジ検出画像（Ｗ×Ｈ×３）、グレースケール画像（Ｗ×Ｈ×１）及びネガポジ反転画像（Ｗ×Ｈ×１）を用いた手法の場合に、認識精度が９９．４２％であることを示している。この手法の画像変換部１０及び画像連結部１１は、図７に示した第３構成例によるものである。
図１０（３）は、変換画像として、エッジ検出画像（Ｗ×Ｈ×３）、グレースケール画像（Ｗ×Ｈ×１）、ネガポジ反転画像（Ｗ×Ｈ×１）及びこれらの左右反転画像（Ｗ×Ｈ×３，Ｗ×Ｈ×１，Ｗ×Ｈ×１）を用いた手法の場合に、認識精度が９９．４５％であることを示している。この手法の画像変換部１０及び画像連結部１１は、図５に示した第１構成例によるものである。
図１０（１）～（３）から、本発明の実施形態の結果（図１０（２）（３））の方が従来技術の結果（図１０（１））よりも認識精度が向上していることがわかる。また、図１０（２）（３）から、左右反転画像を追加して変換画像の数を増やすことで、認識精度が向上していることがわかる。
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
例えば前記実施形態では、顔認識装置１の画像変換部１０及び画像連結部１１の構成として、図５の第１構成例、図６の第２構成例、及び図７の第３構成例を示した。これに対し、本発明における画像変換部１０及び画像連結部１１の構成は、これらの構成例に限定されるものではなく、他の構成であってもよい。要するに、画像変換部１０及び画像連結部１１の構成は、変換画像として、図５に示したエッジ検出画像（Ｗ×Ｈ×３）等及び他の変換画像のうち１以上の所定数の画像を用いる構成であればよい。
例えば図５の第１構成例では、画像変換部１０は、エッジ検出画像（Ｗ×Ｈ×３）、グレースケール画像（Ｗ×Ｈ×１）及びネガポジ反転画像（Ｗ×Ｈ×１）に加え、入力画像の左右反転画像（Ｗ×Ｈ×３）、エッジ検出画像の左右反転画像（Ｗ×Ｈ×３）、グレースケール画像の左右反転画像（Ｗ×Ｈ×１）、及びネガポジ反転画像の左右反転画像（Ｗ×Ｈ×１）を生成するようにした。
これに対し、画像変換部１０は、エッジ検出画像（Ｗ×Ｈ×３）、グレースケール画像（Ｗ×Ｈ×１）及びネガポジ反転画像（Ｗ×Ｈ×１）に加え、入力画像の左右反転画像（Ｗ×Ｈ×３）のみを生成するようにしてもよい。この場合、エッジ検出画像の左右反転画像（Ｗ×Ｈ×３）、グレースケール画像の左右反転画像（Ｗ×Ｈ×１）、及びネガポジ反転画像の左右反転画像（Ｗ×Ｈ×１）は生成されない。
また、例えば前記実施形態では、顔認識装置１の画像変換部１０は、図５の第１構成例に示したとおり、入力画像（Ｗ×Ｈ×３）を、エッジ検出画像（Ｗ×Ｈ×３）、グレースケール画像（Ｗ×Ｈ×１）、ネガポジ反転画像（Ｗ×Ｈ×１）、入力画像の左右反転画像（Ｗ×Ｈ×３）、エッジ検出画像の左右反転画像（Ｗ×Ｈ×３）、グレースケール画像の左右反転画像（Ｗ×Ｈ×１）、及びネガポジ反転画像の左右反転画像（Ｗ×Ｈ×１）に変換するようにした。
これに対し、画像変換部１０は、入力画像（Ｗ×Ｈ×３）を、前述のエッジ検出画像（Ｗ×Ｈ×３）等以外の画像に変換するようにしてもよい。例えば、画像変換部１０は、入力画像（Ｗ×Ｈ×３）の顔部分から所定の特徴部分を抽出し、当該特徴部分に点印を付加した特徴点抽出画像を生成するようにしてもよい。また、画像変換部１０は、入力画像（Ｗ×Ｈ×３）の顔部分に所定のゴマシオノイズを付加し、ノイズ付加画像を生成するようにしてもよい。
また、画像変換部１０は、入力画像（Ｗ×Ｈ×３）の顔部分から所定箇所の部分（例えば目の部分、口の部分）を欠落させた欠落画像を生成するようにしてもよい。これにより、変換画像として例えば顔部分から目の部分を欠落させた欠落画像が生成され、欠落画像を含む連結画像（Ｗ×Ｈ×１９）がニューラルネットワークに入力されることにより、本実施形態を、サングラスを掛けた顔の入力画像（Ｗ×Ｈ×３）に適用することができ、サングラスの影響を受けない人物認識を実現することができる。また、変換画像として例えば顔部分から口の部分を欠落させた欠落画像が生成され、欠落画像を含む連結画像（Ｗ×Ｈ×１９）がニューラルネットワークに入力されることにより、本実施形態を、口にマスクを掛けた顔の入力画像（Ｗ×Ｈ×３）に適用することができ、マスクの影響を受けない人物認識を実現することができる。
また、例えば前記実施形態では、顔認識装置１は、人物の顔を認識するようにしたが、動物等の生き物の顔を認識するようにしてもよい。また、顔認識装置１に代わる認識装置は、顔以外のオブジェクト（例えば車）を認識するようにしてもよい。
尚、本発明の実施形態による顔認識装置１及び学習装置２のハードウェア構成としては、通常のコンピュータを使用することができる。顔認識装置１及び学習装置２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
顔認識装置１に備えた画像変換部１０、画像連結部１１、特徴ベクトル算出部１２及び判定部１１１の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、学習装置２に備えた画像変換部３０、画像連結部３１及びニューラルネットワーク処理部３２（ニューラルネットワーク３３、ラベル付与ニューラルネットワーク１１４及び減算部１１５）の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
１，１０１ 顔認識装置
２，１０２ 学習装置
１０ 画像変換部
１１ 画像連結部
１２，１１０ 特徴ベクトル算出部（ニューラルネットワーク）
２０，２１ 微分処理部
２２ エッジ検出部
２３ グレースケール化部
２４ ネガポジ反転部
２５，２８ 連結部
２６，２７ 左右反転部
３０ 画像変換部（学習用画像変換部）
３１ 画像連結部（学習用画像連結部）
３２，１１２ ニューラルネットワーク処理部
３３，１１３ ニューラルネットワーク
１１１ 判定部
１１４ ラベル付与ニューラルネットワーク
１１５ 減算部

Claims (6)

  1. 人物の顔を含む画像を、所定の幅及び高さからなる所定数のチャンネルの入力画像として、当該入力画像に基づきニューラルネットワークを用いて前記人物を認識する顔認識装置において、
    前記入力画像に対して所定の画像変換処理を施し、前記入力画像を微分することで得られたエッジ検出画像、前記入力画像をグレースケール化することで得られたグレースケール画像、及び前記グレースケール画像の色を反転することで得られたネガポジ反転画像を生成すると共に、
    前記入力画像の顔部分から所定箇所の部分を欠落させた欠落画像を生成する画像変換部と、
    前記入力画像に対し、前記画像変換部により生成された前記エッジ検出画像、前記グレースケール画像、前記ネガポジ反転画像及び前記欠落画像を、前記チャンネルの方向に連結し、連結画像を生成する画像連結部と、
    前記画像連結部により生成された前記連結画像を入力データとして、前記ニューラルネットワークの演算を行い、前記連結画像の特徴ベクトルを算出する特徴ベクトル算出部と、
    前記特徴ベクトル算出部により算出された前記特徴ベクトルに基づいて、前記人物を判定する判定部と、
    を備えたことを特徴とする顔認識装置。
  2. 人物の顔を含む画像を、所定の幅及び高さからなる所定数のチャンネルの入力画像として、当該入力画像に基づきニューラルネットワークを用いて前記人物を認識する顔認識装置において、
    前記入力画像に対して所定の画像変換処理を施し、前記入力画像を微分することで得られたエッジ検出画像、前記入力画像をグレースケール化することで得られたグレースケール画像、及び前記グレースケール画像の色を反転することで得られたネガポジ反転画像を生成すると共に、
    前記入力画像、前記エッジ検出画像、前記グレースケール画像及び前記ネガポジ反転画像に対して左右反転処理を施し、左右反転画像を生成し、
    さらに、前記入力画像の顔部分から所定箇所の部分を欠落させた欠落画像を生成する画像変換部と、
    前記入力画像に対し、前記画像変換部により生成された前記エッジ検出画像、前記グレースケール画像、前記ネガポジ反転画像、前記左右反転画像及び前記欠落画像を、前記チャンネルの方向に連結し、連結画像を生成する画像連結部と、
    前記画像連結部により生成された前記連結画像を入力データとして、前記ニューラルネットワークの演算を行い、前記連結画像の特徴ベクトルを算出する特徴ベクトル算出部と、
    前記特徴ベクトル算出部により算出された前記特徴ベクトルに基づいて、前記人物を判定する判定部と、
    を備えたことを特徴とする顔認識装置。
  3. 人物の顔を含む画像を、所定の幅及び高さからなる所定数のチャンネルの入力画像として、当該入力画像及び人物名の正解ラベルを入力し、ニューラルネットワークを学習する学習装置において、
    前記入力画像に対して所定の画像変換処理を施し、前記入力画像を微分することで得られたエッジ検出画像、前記入力画像をグレースケール化することで得られたグレースケール画像、及び前記グレースケール画像の色を反転することで得られたネガポジ反転画像を生成すると共に、
    前記入力画像の顔部分から所定箇所の部分を欠落させた欠落画像を生成する学習用画像変換部と、
    前記入力画像に対し、前記学習用画像変換部により生成された前記エッジ検出画像、前記グレースケール画像、前記ネガポジ反転画像及び前記欠落画像を、前記チャンネルの方向に連結し、連結画像を生成する学習用画像連結部と、
    前記学習用画像連結部により生成された前記連結画像及び前記人物名の前記正解ラベルを教師データとして、前記連結画像から当該連結画像の特徴ベクトルを求め、当該特徴ベクトルから前記人物名のラベルを求める前記ニューラルネットワークを学習し、請求項１に記載の顔認識装置に備えたニューラルネットワークにて用いる重みパラメータを生成するニューラルネットワーク処理部と、
    を備えたことを特徴とする学習装置。
  4. 人物の顔を含む画像を、所定の幅及び高さからなる所定数のチャンネルの入力画像として、当該入力画像及び人物名の正解ラベルを入力し、ニューラルネットワークを学習する学習装置において、
    前記入力画像に対して所定の画像変換処理を施し、前記入力画像を微分することで得られたエッジ検出画像、前記入力画像をグレースケール化することで得られたグレースケール画像、及び前記グレースケール画像の色を反転することで得られたネガポジ反転画像を生成すると共に、
    前記入力画像、前記エッジ検出画像、前記グレースケール画像及び前記ネガポジ反転画像に対して左右反転処理を施し、左右反転画像を生成し、
    さらに、前記入力画像の顔部分から所定箇所の部分を欠落させた欠落画像を生成する学習用画像変換部と、
    前記入力画像に対し、前記学習用画像変換部により生成された前記エッジ検出画像、前記グレースケール画像、前記ネガポジ反転画像、前記左右反転画像及び前記欠落画像を、前記チャンネルの方向に連結し、連結画像を生成する学習用画像連結部と、
    前記学習用画像連結部により生成された前記連結画像及び前記人物名の前記正解ラベルを教師データとして、前記連結画像から当該連結画像の特徴ベクトルを求め、当該特徴ベクトルから前記人物名のラベルを求める前記ニューラルネットワークを学習し、請求項２に記載の顔認識装置に備えたニューラルネットワークにて用いる重みパラメータを生成するニューラルネットワーク処理部と、
    を備えたことを特徴とする学習装置。
  5. コンピュータを、請求項１または２に記載の顔認識装置として機能させるためのプログラム。
  6. コンピュータを、請求項３または４に記載の学習装置として機能させるためのプログラム。
JP2019123188A 2019-07-01 2019-07-01 顔認識装置、学習装置及びプログラム Active JP7344023B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019123188A JP7344023B2 (ja) 2019-07-01 2019-07-01 顔認識装置、学習装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019123188A JP7344023B2 (ja) 2019-07-01 2019-07-01 顔認識装置、学習装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2021009571A JP2021009571A (ja) 2021-01-28
JP7344023B2 true JP7344023B2 (ja) 2023-09-13

Family

ID=74199428

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019123188A Active JP7344023B2 (ja) 2019-07-01 2019-07-01 顔認識装置、学習装置及びプログラム

Country Status (1)

Country Link
JP (1) JP7344023B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024057543A1 (ja) * 2022-09-16 2024-03-21 日本電信電話株式会社 画像データ生成装置、画像データ生成方法、および、画像データ生成プログラム
JP7458538B1 (ja) 2023-07-05 2024-03-29 ＰａｙＰａｙ株式会社 プログラム、情報処理装置、および情報処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000187733A (ja) 1998-12-22 2000-07-04 Canon Inc 画像処理装置及び方法並びに記憶媒体
WO2019073312A1 (en) 2017-10-13 2019-04-18 Sigtuple Technologies Private Limited METHOD AND DEVICE FOR INTEGRATING IMAGE CHANNELS IN A DEEP LEARNING MODEL FOR CLASSIFICATION
US20190147227A1 (en) 2017-11-10 2019-05-16 Samsung Electronics Co., Ltd. Facial verification method and apparatus

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2903923B2 (ja) * 1993-01-19 1999-06-14 株式会社日立製作所 車番認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000187733A (ja) 1998-12-22 2000-07-04 Canon Inc 画像処理装置及び方法並びに記憶媒体
WO2019073312A1 (en) 2017-10-13 2019-04-18 Sigtuple Technologies Private Limited METHOD AND DEVICE FOR INTEGRATING IMAGE CHANNELS IN A DEEP LEARNING MODEL FOR CLASSIFICATION
US20190147227A1 (en) 2017-11-10 2019-05-16 Samsung Electronics Co., Ltd. Facial verification method and apparatus

Also Published As

Publication number Publication date
JP2021009571A (ja) 2021-01-28

Similar Documents

Publication Publication Date Title
Liu et al. Hard negative generation for identity-disentangled facial expression recognition
JP7097801B2 (ja) 表情認識方法、オブジェクト認識方法、表情認識装置及び表情トレーニング方法
US11093734B2 (en) Method and apparatus with emotion recognition
Ngiam et al. Multimodal deep learning.
CN111444881A (zh) 伪造人脸视频检测方法和装置
CN110084193B (zh) 用于面部图像生成的数据处理方法、设备和介质
CN112507990A (zh) 视频时空特征学习、抽取方法、装置、设备及存储介质
CN111984772B (zh) 一种基于深度学习的医疗影像问答方法及系统
CN113140020B (zh) 一种基于伴随监督生成对抗网络的文本生成图像的方法
CN112861945B (zh) 一种多模态融合谎言检测方法
JP7344023B2 (ja) 顔認識装置、学習装置及びプログラム
CN115512368B (zh) 一种跨模态语义生成图像模型和方法
CN114550057A (zh) 一种基于多模态表示学习的视频情绪识别方法
KR20230102496A (ko) 적대적 생성 신경망 기반의 자기 지도 학습형 판별자 네트워크를 이용한 텍스트 투 이미지 생성 장치 및 방법
CN116385604B (zh) 视频生成及模型训练方法、装置、设备、存储介质
CN112949707A (zh) 一种基于多尺度语义信息监督的跨模态人脸图像生成方法
Gorijala et al. Image generation and editing with variational info generative AdversarialNetworks
Baffour et al. A survey on deep learning algorithms in facial Emotion Detection and Recognition
CN117150320B (zh) 对话数字人情感风格相似度评价方法及系统
US20230262293A1 (en) Video synthesis via multimodal conditioning
Birara et al. Augmenting machine learning for Amharic speech recognition: a paradigm of patient’s lips motion detection
JP2021082068A (ja) 情報処理装置、情報処理方法、及びプログラム
CN116110378A (zh) 模型训练方法、语音识别方法、装置和电子设备
CN112990123B (zh) 图像处理方法、装置、计算机设备和介质
KR20110057595A (ko) 상호 정보 최대화 기반의 국부 이진 패턴 코드를 이용한 패턴 인식 방법, 장치 및 그 기록 매체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230901

R150 Certificate of patent or registration of utility model

Ref document number: 7344023

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150