JP4483042B2

JP4483042B2 - 影成分除去装置および影成分除去方法

Info

Publication number: JP4483042B2
Application number: JP2000211190A
Authority: JP
Inventors: 奈津子塩田
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2000-07-12
Filing date: 2000-07-12
Publication date: 2010-06-16
Anticipated expiration: 2020-07-12
Also published as: US20020006226A1; US6975763B2; JP2002024811A

Description

【０００１】
【発明の属する技術分野】
この発明は影成分除去装置に関し、特に、入力された画像に含まれる影を除去する影成分除去装置に関する。
【０００２】
【従来の技術】
近年、人物の顔をカメラで撮影して得られる顔画像を用いて、統計的画像処理を行なう研究が進められている。統計的画像処理の応用技術として顔画像に映し出された人物を特定する個人認識の技術などである。
【０００３】
この統計的画像処理において、統計のサンプルとなる顔画像から撮影条件の違いを取り除く処理が必要となる。撮影条件が異なると人の顔に照射される光線の方向が異なるため、同一人物であっても撮影して得られる顔画像に表れる影の場所が異なるため、顔画像だけからは異なる人物として認識される場合がある。
【０００４】
このように、顔画像から影を除去する技術としては、特開平１１−１８５０２５号公報、特開平６−３４２４６５号公報、特開２０００−３００６５号公報がある。
【０００５】
特開平１１−１８５０２５号公報には、顔画像を顔の左右対象軸で折返し、折返し前の画像と折返し後の画像とを加算することにより、正面から光が照射された顔画像に近似する技術が記載されている。
【０００６】
特開平６−３４２４６５号公報には、２次元の顔画像を３次元の楕円球に近似する変換を行ない、変換された３次元の顔画像から反射光を分離および合成することにより、影成分を除去する技術が記載されている。
【０００７】
特開２０００−３００６５号公報には、照明条件が均一な状態で予め撮影された認証対象となる人物の顔画像の集合を用いて、照明条件以外の条件を抽出して認証を行なう技術が記載されている。
【０００８】
【発明が解決しようとする課題】
しかしながら、特開平１１−１８５０２５号公報に記載の技術は、顔画像を顔の左右対象軸で折返した画像を用いるため、顔の左右方向から光が照射される照明条件で撮像されて得られる顔画像から影を除去することはできるが、光が上下方向または前後方向から照射される照明条件で撮像されて得られる顔画像から影を除去することはできない。
【０００９】
特開平６−３４２４６５号公報に記載の技術は、２次元の顔画像を３次元の楕円球の画像に変換する処理が複雑で困難である。また、実際の人の顔は楕円球とは異なるため、楕円球とは異なる部分、たとえば、鼻などの部分で生じる影の分離および合成が正確にできないといった問題がある。
【００１０】
特開２０００−３００６５号公報に記載の技術は、認識の対象となる人物の顔画像を、同一の照明条件で事前に準備しておく必要があり、制約が大きいといった問題がある。
【００１１】
この発明は上述の問題点を解決するためになされたもので、この発明の目的の１つは、入力された顔画像に影が表れている場合であっても、顔画像から影を容易に除去することが可能な影成分除去装置を提供することである。
【００１２】
この発明の他の目的は、入力された顔画像に表れる影が、いかなる方向からの光により生じたものであっても、影を除去することが可能な影成分除去装置を提供することである。
【００１３】
【課題を解決するための手段】
上述の目的を達成するためにこの発明のある局面に従うと、影成分除去装置は、多種類の影を持つ顔画像の集合に対して主成分分析を行ない固有空間を演算する演算手段と、演算手段で演算された固有ベクトルを記憶する記憶手段と、新たな顔画像を入力する入力手段と、入力手段により入力された顔画像を記憶手段に記憶されている固有空間に射影する射影手段と、入力手段により入力された顔画像および射影手段により固有空間に射影された画像に基づいて、影成分を除去した顔画像を合成する合成手段とを備える。
【００１４】
この発明に従えば、多種類の影を持つ顔画像の集合に対して主成分分析を行ない固有空間が演算され、演算された固有ベクトルが記憶される。そして、新たに入力された顔画像が固有空間に射影され、入力された顔画像および固有空間に射影された画像に基づいて、影成分を除去した顔画像が合成される。このため、入力された顔画像に影が表れている場合であっても、顔画像から影を除去することが可能な影成分除去装置を提供することができる。また、入力された顔画像および固有空間に射影された画像に基づいて、影成分を除去した顔画像を合成するので、入力された顔画像に表れる影が、いかなる方向からの光により生じたものであっても、その影を除去することが可能な影成分除去装置を提供することができる。
【００１５】
好ましくは、影成分除去装置の演算手段は、それぞれの顔画像の各部位の形状を抽出する顔成分抽出手段と、顔画像の集合に対する平均形状を算出する平均形状算出手段と、各顔画像を算出された平均形状に変換する平均形状変換手段と、平均形状に変換された顔画像に対して主成分分析を行ない固有ベクトルを演算する主成分分析手段とを含むことを特徴とする。
【００１６】
この発明に従えば、それぞれの顔画像の各部位の形状が抽出され、顔画像の集合に対する平均形状が算出される。各顔画像が、算出された平均形状に変換され、平均形状に変換された顔画像に対して主成分分析を行ない固有ベクトルが演算される。このため、入力された顔画像が平均形状に変換されるので、顔画像のテクスチャの情報のみを考慮して主成分分析を行なうことができる。その結果、顔画像に表れる影の成分を容易に抽出することが可能な影成分抽出装置を提供することができる。
【００１７】
さらに好ましくは、影成分抽出装置の射影手段は、入力された顔画像の各部位の形状を抽出する顔成分抽出手段と、入力された顔画像を演算手段で演算された平均形状に変換する平均形状変換手段と、平均形状に変換された顔画像を固有空間に射影する固有空間射影手段とを含むことを特徴とする。
【００１８】
この発明に従えば、入力された顔画像の各部位の形状が抽出され、入力された顔画像が平均形状に変換され、平均形状に変換された顔画像が固有空間に射影される。このため、新たに入力された顔画像の形状が固有空間で表現される顔画像の形状に合わせられる。その結果、新たに入力される顔画像のテクスチャを固有空間に正確に射影することができる。また、より正確に影成分を除去することが可能な影成分除去装置を提供することができる。
【００１９】
さらに好ましくは、影成分抽出装置の合成手段は、固有空間に射影した画像と固有空間に射影して影成分を除去した画像との差成分を演算し、この差成分を入力手段により入力された顔画像から減算することにより影成分を除去した顔画像を合成することを特徴とする。
【００２０】
この発明に従えば、固有空間に射影した画像と固有空間に射影して影成分を除去した画像との差成分が演算され、この差成分が入力された顔画像から減算されることにより影成分を除去した顔画像が合成される。このため、入力された顔画像から影成分を容易に除去することが可能な影成分除去装置を提供することができる。
【００２１】
さらに好ましくは、影成分除去装置は、固有空間に射影した画像の第１成分から第３または第４成分までが影成分の影響を受けた画像であることを特徴とする。
【００２２】
この発明に従えば、固有空間に射影した画像の第１成分から第３または４成分までが影成分の影響を受けた画像なので、影成分の影響を効果的に除去することができる。
【００２３】
さらに好ましくは、影成分除去装置は、合成手段により合成された顔画像の形状を平均形状から元の顔画像の形状に戻す元形状変換手段をさらに備える。
【００２４】
この発明に従えば、合成された顔画像の形状が平均形状から元の顔画像の形状に戻されるので、元の顔画像に表れる影を除去することができる。
【００２５】
この発明の他の局面に従えば、影成分除去装置は、多種類の影を持つ画像の集合に対して統計的処理を施して所定の画像空間を演算する演算手段と、演算手段で演算された画像空間を記憶する記憶手段と、新たな画像を入力する入力手段と、入力手段により入力された画像を記憶手段に記憶されている画像空間に射影する射影手段と、入力手段により入力された画像および射影手段により画像空間に射影された画像に基づいて、影成分を除去した画像を合成する合成手段とを備える。
【００２６】
この発明に従えば、多種類の影を持つ画像の集合に対して統計的処理を施して所定の画像空間が演算され、演算された画像空間が記憶される。そして、新たな画像が入力され、入力された画像が画像空間に射影され、入力された画像および画像空間に射影された画像に基づいて、影成分を除去した画像が合成される。このため、入力された画像に影が表れている場合であっても、画像から影を除去することが可能な影成分除去装置を提供することができる。また、入力された画像および固有空間に射影された画像に基づいて、影成分を除去した画像を合成するので、入力された画像に表れる影が、いかなる方向からの光により生じたものであっても、影を除去することが可能な影成分除去装置を提供することができる。
【００２７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。なお、図中同一符号は同一または相当する部材を示す。
【００２８】
図１は、本発明の実施の形態における影成分除去装置の概略構成を示すブロック図である。図を参照して、影成分除去装置１００は、制御部１０１と、人の顔の画像を入力するための画像入力部１０２と、装置の使用者がデータや種々の指示を入力するための操作部１０３と、制御部１０１で実行するプログラムを記録したり、制御部１０１でプログラムを実行するために必要な情報等を記憶するための記憶部１０４と、画像を出力するための出力部１０５と、外部記憶装置１０６とを含む。
【００２９】
制御部１０１は、中央演算装置（ＣＰＵ）であり、画像処理装置の全体を制御する。画像入力部１０２は、イメージスキャナであり、ライン型のＣＣＤセンサを有する。顔が撮影された写真等を読込み、２次元の顔画像を出力する。なお、実際の人物を撮影して２次元の顔画像を出力することができるデジタルカメラ等を用いることもできる。さらに、外部のイメージスキャナやデジタルカメラ等と接続するための入力端子であってもよい。
【００３０】
記憶部１０４は、制御部１０１で実行するためのプログラムを記憶するＲＯＭと、制御部１０１でプログラムを実行するのに必要な変数等を一時記憶するためのＲＡＭと、種々のデータを記憶するためのハードディスク等からなる。
【００３１】
出力部１０５は、画像入力部１０２で入力された画像や画像処理された後の画像を表示するためのディスプレイである。また、ディスプレイとともにプリンタを用いてもよい。
【００３２】
外部記憶装置１０６は、記録媒体１０７に記録されたプログラムや２次元の顔画像等を読込むためのドライブである。記録媒体１０７は、光磁気ディスク、デジタルビデオディスク、または、コンパクトディスクドライブ等である。また、外部記録装置１０６は、制御部１０１で影成分が除去された画像を記録媒体１０７に書込むことができる。
【００３３】
記録媒体１０７に影成分除去プログラムを記録し、外部記憶装置１０６で読み込まれた影成分除去プログラムを制御部１０１で実行するようにしてもよい。
【００３４】
図２は、影成分除去装置が有する影成分辞書作成機能の概略を示す機能ブロック図である。図２を参照して、制御部１０１は、顔画像から顔の各部位の形状を抽出するための顔成分抽出部１１１と、顔画像データベースに記憶されている顔画像の集合について平均の形状を算出する平均形状算出部１１３と、顔画像を平均の形状に変換して平均顔画像を生成する平均形状変換部１１５と、平均顔画像に対して主成分分析を施して辞書空間を生成する主成分分析部１１７と、生成された辞書空間から影成分を抽出して影成分除去空間を生成する影成分抽出部１１９とを含む。
【００３５】
記憶部１０４は、人の顔を含む顔画像データベースと、平均形状算出部で算出された平均形状と、主成分分析部１１７で生成された辞書空間と、影成分抽出部１１９で生成された影成分除去空間とを記憶する。
【００３６】
記憶部１０４の顔画像データベースには、人物の顔を含む画像（以下「顔画像」という）が複数記憶される。顔画像は、画像入力部１０２から入力される。また、外部記憶装置１０６を介して記録媒体１０７に記録された顔画像を読み込むことにより、記憶部１０４に記憶するようにしてもよい。顔画像データベースに記憶される顔画像は、複数の人物それぞれについて複数であってもよいし、複数の人物ごとに１枚であってもよい。さらに、１人の人物について複数であってもよい。
【００３７】
複数枚の顔画像は、光源から被写体となる顔に照射される光の方向が異なる必要がある。従って、複数の顔画像は、一定の方向から顔に光が照射された状態で撮影されて得られる顔画像ではなく、顔に照射される光の方向を変えた状態で撮像されることにより得られる画像であることが好ましい。光が被写体に照射される方向は、上下方向、左右方向、前後方向の３自由度ある。この３自由度のうち少なくとも１つが異なるように光が照射された状態で撮影された顔画像であるのが望ましい。また、複数の顔画像は、撮影時に被写体に照射される光の方向が、上記３自由のいずれかに偏らず、一様に分布しているのが望ましい。
【００３８】
従って、画像データベースに記憶される顔画像は、複数の人物について、それぞれ照明条件を異ならせて撮影した複数の顔画像であることが好ましい。
【００３９】
顔成分抽出部１１１は、記憶部１０４の顔画像データベースに記憶されている顔画像のそれぞれについて、顔の輪郭と、顔画像に含まれる顔の目、鼻、口、眉などの顔の各部分とを抽出して、それらの形状を認識する。
【００４０】
顔成分抽出部１１１で行なわれる形状の認識は、予め定められた特徴点を手入力で指示する方法を用いることができる。特徴点は、例えば、口元や目じりといった、異なる人物間でも共通するポイントをいう。操作者が、出力部１０５のディスプレイに表示された顔画像を見て、特徴点を操作部１０３に備えられるマウスなどのポインティングデバイスで指示することにより、特徴点の位置が入力される。特徴点の位置が入力されることにより、顔の輪郭と顔の各部分の形状を認識することができる。
【００４１】
また、エッジ検出処理や色抽出処理等の画像処理技術を組み合わせることによっても、顔の輪郭と顔の各部分それぞれの特徴点の位置を抽出することができる。
【００４２】
平均形状算出部１１３は、記憶部１０４の顔画像データベースに記憶されている顔画像で集合を形成し、顔画像の集合に対して顔の平均の形状を算出する。算出された平均形状は、記憶部１０４に記憶される。平均形状は、顔成分抽出部で認識された特徴点を用いて算出される。平均形状の算出は、顔画像を顔の大きさで正規化した正規化画像を用いて行なわれる。正規化画像は、顔の面積や顔の部位間の長さを同じにした画像である。そして、正規化画像の原点を定め、各特徴点の平均位置が算出される。原点は、例えば、左右の目じりの特徴点を結んだ直線をＸ軸とし、顔の垂直方向の中心線となるＹ軸としたときのＸ軸とＹ軸の交点とすることができる。
【００４３】
平均形状変換部１１５は、集合に含まれる顔画像を平均の形状に変換して平均顔画像を生成する。これは、特徴点を用いて行なわれるが、特徴点以外の領域も線型変換することにより変換される。平均形状への変換は、集合に含まれる顔画像の画素ごとに、画素の座標を平均形状の対応する座標へ変換するものである。これにより、顔の形状が同じで、テクスチャが異なる平均顔画像が、集合に含まれる顔画像の数だけ生成される。
【００４４】
主成分分析部１１７は、平均顔画像の画素値をベクトルとみなし、固有空間法を用いて固有ベクトルと固有値とを算出する。算出された固有ベクトルは、それらを基底ベクトルとする辞書空間として、記憶部１０４に記憶される。
【００４５】
影成分抽出部１１９は、主成分分析部１１７で生成された辞書空間から影成分を抽出して影成分除去空間を生成する。主成分分析部１１７で生成された辞書空間において、固有値の大きい順に第１成分から第４成分までに、照明条件の影響が表れる。影成分抽出部１１９では、辞書空間を定義する固有ベクトルのうち第５成分以降を、それらを基底ベクトルとする影成分除去空間として、記憶部１０４に記憶する。第１成分から第４成分までは、平均形状に変換された顔画像のテクスチャを正規化するためのオフセット成分と、照明条件として光源の方向の３自由度の成分とを表す。
【００４６】
記憶部１０４の顔画像データベースに記憶されている顔画像が、テクスチャを正規化した画像である場合には、主成分分析部１１７で生成された辞書空間において、固有値の大きい順に第１成分から第３成分までに、照明条件の影響が表れる。したがって、影成分抽出部１１９では、辞書空間を定義する固有ベクトルのうち第４成分以降を、それらを基底ベクトルとする影成分除去空間として、記憶部１０４に記憶する。第１成分から第３成分までは、照明条件として光源の方向の３自由度の成分を表す。
【００４７】
ここで、テクスチャの正規化は、例えば、各顔画像間で画素値のヒストグラムを等しくするヒストグラム正規化や、マンチェスター大学のコートらが提案したアクティブ・アピアランス・モデル（ＡＡＭ）で用いられる正規化を用いることができる。
【００４８】
図３は、影成分除去装置が有する影成分除去画像合成機能の概略を示す機能ブロック図である。図３を参照して、制御部１０１は、画像入力部１０２から入力された顔画像から顔の各部位の形状を抽出するための顔成分抽出部１１１と、顔画像を平均の形状に変換して平均顔画像を生成する平均形状変換部１１５と、平均顔画像を辞書空間に射影して辞書画像を生成し、平均顔画像を影成分除去空間に射影して除去画像を生成するための辞書空間射影部１２３と、平均顔画像、辞書画像および除去画像に基づき、平均顔画像から影成分を除去した影成分除去画像を生成する画像合成部１２５と、影成分除去画像を元の形状に逆変換する元形状変換部１２７とを含む。
【００４９】
顔成分抽出部１１１は、画像入力部１０２から新たに入力された顔画像について、顔の輪郭と、顔画像に含まれる顔の目、鼻、口、眉などの顔の各部分とを抽出して、それらの形状を認識する。
【００５０】
平均形状変換部１１５は、画像入力部１０２から新たに入力された顔画像を平均形状に変換する。顔画像を平均形状に変換した画像を平均顔画像という。平均形状は、上述した平均形状算出部１１３で算出され、記憶部１０４に記憶された平均形状である。平均形状への変換式は、後述する元形状変換部１２７に送信される。
【００５１】
辞書空間射影部１２３は、平均顔画像を辞書空間へ射影して、辞書パラメータを求める。求められた辞書パラメータは、画像合成部１２５に送信される。また、辞書空間射影部１２３は、平均顔画像を影成分除去空間へ射影して除去パラメータを求める。求められた除去パラメータは、画像合成部１２５に送信される。
【００５２】
辞書空間において、辞書パラメータで表される画像を辞書画像という。影成分除去空間において、除去パラメータで表される画像を除去画像という。
【００５３】
画像合成部１２５は、平均顔画像、辞書画像、および、除去画像で対応する画素値を式（１）に基づき演算することにより、顔画像から影成分を除去した影成分除去画像を合成する。
【００５４】
影成分除去画像＝平均顔画像―（辞書画像―除去画像） … （１）
元形状変換部１２７は、影成分除去画像を平均形状変換部１１５で求めた変換式を用いて逆変換する。これにより、影成分除去画像の形状が、入力された顔画像の形状に変換される。元の形状に変換された顔画像は、出力部１０５から出力される。また、記憶部１０４に記憶するようにしてもよい。
【００５５】
図４は、影成分除去装置で行なわれる影成分辞書作成処理の流れを示すフローチャートである。図４を参照して、まず、記憶部１０４の顔画像データベースに複数の顔画像が記憶される（ステップＳ０１）。記憶される顔画像は、後述する辞書空間を生成するための顔画像の集合とされる。顔画像データベースに記憶される顔画像は、画像入力部１０２から入力するようにしてもよいし、記録媒体１０７に記憶された顔画像を外部記憶装置１０６から読み込むようにしてもよい。
【００５６】
記憶部１０４の顔画像データベースに記憶されている顔画像が順に、顔の輪郭と、顔画像に含まれる顔の目、鼻、口、眉などの顔の各部分とが抽出され、それらの形状が認識される（ステップＳ０２）。形状の認識は、特徴点を用いて行なわれる。そして、顔画像データベースに記憶されている集合とされた顔画像のすべてについて、ステップＳ０２が実行されたか否かが判断される（ステップＳ０３）。すべてについてステップＳ０２が実行された場合には、ステップＳ０４に進み、そうでない場合には、ステップＳ０２が繰返し行なわれる。
【００５７】
次に、顔画像の集合に対して、顔の平均の形状が算出される（ステップＳ０４）。算出された平均形状は、記憶部１０４に記憶される。平均形状は、ステップＳ０２で認識された形状を用いて算出される。また、平均形状の算出は、顔画像に含まれる顔の大きさで正規化した正規化画像を用いて行なわれる。
【００５８】
そして、集合に含まれる顔画像が順に、求められた平均形状に変換され、平均顔画像が生成される（ステップＳ０５）。平均形状への変換は、特徴点を用いて行なわれる。また、特徴点以外の領域も線型変換することにより変換される。
【００５９】
集合に含まれる顔画像のすべてが平均形状に変換されたか否かが判断される（ステップＳ０６）。集合に含まれる全ての顔画像が平均形状に変換された場合には、ステップＳ０７に進み、そうでない場合にはステップＳ０５が繰返し行なわれる。
【００６０】
ステップＳ０５で生成された平均顔画像の画素値をベクトルとみなし、固有空間法を用いて、固有ベクトルと固有値とが算出される。算出された固有ベクトルは、それらを基底ベクトルとする辞書空間として、記憶部１０４に記憶される。
【００６１】
そして、生成された辞書空間から影成分が抽出され、影成分を抽出した影成分除去空間が求められる（ステップＳ０８）。生成された辞書空間において、固有値の大きい順に第１成分から第４成分までを影成分として抽出し、辞書空間を定義する固有ベクトルのうち、第５成分以降を基底ベクトルとする固有空間を影成分除去空間として、記憶部１０４に記憶する。第１成分から第４成分までは、顔画像のテクスチャを正規化するためのオフセット成分と、照明条件として光源の方向の３自由度の成分を表す。
【００６２】
集合に含まれる顔画像が、テクスチャを正規化した画像である場合には、辞書空間において、固有値の大きい順に第１成分から第３成分までを影成分として抽出し、辞書空間を定義する固有ベクトルのうち第４成分以降を基底ベクトルとする固有空間を影成分除去空間として、記憶部１０４に記憶する。第１成分から第３成分までは、照明条件として光源の方向の３自由度の成分を表す。
【００６３】
図５は、影成分除去装置で行なわれる影成分除去画像合成処理の流れを示すフローチャートである。図５を参照して、影成分除去画像合成処理では、まず、新たに処理するべき顔画像が入力される（ステップＳ１１）。新たに入力される顔画像は、影成分を除去する対象となる画像である。顔画像は、画像入力部１０２より入力される。
【００６４】
新たに入力された顔画像は、顔画像に含まれる顔の輪郭と、目、鼻、口、眉などの顔の各部分とが抽出される（ステップＳ１２）。これにより、入力された顔画像に含まれる顔の形状が認識される。
【００６５】
そして、顔の形状が認識された顔画像が平均形状に変換される（ステップＳ１３）。平均形状は、記憶部１０４に記憶されている平均形状が用いられる。これにより、新たに入力された顔画像に含まれる顔の形状が、記憶部１０４に記憶されている辞書空間および影成分除去空間で表される顔の形状と同じになる。平均形状への変換式は、平均形状を元の顔の形状に逆変換するステップＳ１６で用いるためにメモリに記憶される。
【００６６】
次に、平均形状に変換された顔画像が辞書空間へ射影されて辞書パラメータが求められ、かつ、平均形状に変換された顔画像が影成分除去空間へ射影されて除去パラメータが求められる（ステップＳ１４）。辞書空間および影成分除去空間は、記憶部１０４に記憶されている辞書空間および影成分除去空間が用いられる。辞書空間において、辞書パラメータで表される画像を辞書画像といい、影成分除去空間において、除去パラメータで表される画像を除去画像という。
【００６７】
そして、平均形状に変換された顔画像、辞書画像、および、除去画像で対応する画素値を上述の式（１）に基づき演算することにより、顔画像から影成分を除去した影成分除去画像が合成される（ステップＳ１５）。
【００６８】
合成された影成分除去画像は、入力された顔画像に含まれる顔の形状に逆変換される（ステップＳ１６）。逆変換のための変換式は、ステップＳ１３で求められた平均形状への変換式に基づき求められる。これにより、影成分除去画像の形状が、入力された顔画像の形状に変換される。
【００６９】
以上説明したように、本実施の形態における影成分除去装置１００は、光源の方向が限定されない照明条件で撮影されて得られる画像の集合を用いて辞書空間を生成するようにしたので、辞書空間を生成するために用いられる画像の照明条件を特に定める必要がなく、容易に辞書空間を生成することができる。
【００７０】
また、光源の方向が多種多様な画像を用いて辞書空間を生成するようにしたので、任意の方向からの光が照射される照明条件で撮影された顔画像から、影成分を除去することができる。
【００７１】
また、辞書空間の生成と影成分の除去とに、顔画像に含まれる顔の形状を正規化した顔画像を平均形状へ変換した平均顔画像を用いるので、辞書空間の生成に用いた顔画像の人物に含まれない人物の顔画像であっても、影成分を除去することができる。
【００７２】
さらに、あらゆる照明条件で撮像された顔画像、また、あらゆる人物の顔画像から影成分を除去することができるので、撮影する環境の条件を一致させることなく、認証用の画像を収集することができる。
【００７３】
なお、本実施の形態においては、主成分分析を例に説明したが、他の多変量解析手法を用いることができる。また、本実施の形態においては影成分除去装置について説明したが、図４および図５のフローチャートで示した処理を実行する影成分除去方法、または、影成分除去プログラムを記録した記録媒体としても発明を捉えることができる。
【００７４】
また、本実施の形態における影成分除去装置は、顔画像以外の画像にも適用することができ、例えば、人物の全身の画像から影成分を除去することができる。
【００７５】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】本発明の実施の形態の１つにおける影成分除去装置の概略構成を示すブロック図である。
【図２】影成分除去装置が有する影成分辞書作成機能の概略を示す機能ブロック図である。
【図３】影成分除去装置が有する影成分除去画像合成機能の概略を示す機能ブロック図である。
【図４】影成分除去装置で行なわれる影成分辞書作成処理の流れを示すフローチャートである。
【図５】影成分除去装置で行なわれる影成分除去画像合成処理の流れを示すフローチャートである。
【符号の説明】
１００影成分除去装置、１０１制御部、１０２画像入力部、１０３操作部、１０４記憶部、１０５出力部、１０６外部記憶装置、１０７記録媒体、１１１顔成分抽出部、１１３平均形状算出部、１１５平均形状変換部、１１７主成分分析部、１１９影成分抽出部、１２３辞書空間射影部、１２５画像合成部、１２７元形状変換部。

Claims

複数の顔画像の各々について、各部位の形状を抽出する顔成分抽出手段と、
前記顔画像の集合に対する平均形状を算出する平均形状算出手段と、
各顔画像を算出された前記平均形状に変換する平均形状変換手段と、
前記平均形状に変換された顔画像に対して主成分分析を行ない固有ベクトルを演算する主成分分析手段と、
前記固有ベクトルを記憶する記憶手段と、
新たな顔画像を入力する入力手段とを備え、
前記平均形状変換手段は、入力された前記新たな顔画像を前記平均形状に変換し、
前記平均形状に変換された前記新たな顔画像を前記固有ベクトルに対応する固有空間に射影する固有空間射影手段と、
前記固有空間に射影された画像と前記固有空間に射影されて影成分が除去された画像との差成分を演算し、当該差成分を前記新たな顔画像から減算することにより影成分を除去した顔画像を合成する合成手段とをさらに備え、
前記影成分は、前記顔画像のテクスチャを正規化するためのオフセット成分を含めた画像に対する前記固有空間に射影された画像のうちの第１成分から第４成分まで、あるいは正規化された画像に対する前記固有空間に射影された画像のうちの第１成分から第３成分までである、影成分除去装置。
前記合成手段により合成された顔画像の形状を平均形状から元の顔画像の形状に戻す元形状変換手段をさらに備えた、請求項１に記載の影成分除去装置。
複数の画像の各々について、各部位の形状を抽出する成分抽出手段と、
前記画像の集合に対する平均形状を算出する平均形状算出手段と、
各画像を算出された前記平均形状に変換する平均形状変換手段と、
前記平均形状に変換された画像に対して多変量解析を行ない固有ベクトルを演算する主成分分析手段と、
前記固有ベクトルを記憶する記憶手段と、
新たな画像を入力する入力手段とを備え、
前記平均形状変換手段は、入力された前記新たな画像を前記平均形状に変換し、
前記平均形状に変換された前記新たな画像を前記固有ベクトルに対応する固有空間に射影する固有空間射影手段と、
前記固有空間に射影された画像と前記固有空間に射影されて影成分が除去された画像との差成分を演算し、当該差成分を前記新たな画像から減算することにより影成分を除去した画像を合成する合成手段とをさらに備え、
前記影成分は、前記画像のテクスチャを正規化するためのオフセット成分を含めた画像に対する前記固有空間に射影された画像のうちの第１成分から第４成分まで、あるいは正規化された画像に対する前記固有空間に射影された画像のうちの第１成分から第３成分までである、影成分除去装置。
制御部と記憶部とを含む影成分除去装置における影成分除去方法であって、
前記制御部が、複数の顔画像の各々について、各部位の形状を抽出するステップと、
前記制御部が、前記顔画像の集合に対する平均形状を算出するステップと、
前記制御部が、各顔画像を算出された前記平均形状に変換するステップと、
前記制御部が、前記平均形状に変換された顔画像に対して主成分分析を行ない固有ベクトルを演算するステップと、
前記制御部が、前記固有ベクトルを前記記憶部に記憶させるステップと、
前記制御部が、新たな顔画像を受け付けるステップと、
前記制御部が、前記新たな顔画像を前記平均形状に変換するステップと、
前記制御部が、前記平均形状に変換された新たな顔画像を前記固有ベクトルに対応する固有空間に射影するステップと、
前記制御部が、前記固有空間に射影された画像と前記固有空間に射影されて影成分が除去された画像との差成分を演算するステップと、
前記制御部が、当該差成分を前記新たな顔画像から減算することにより影成分を除去した顔画像を合成するステップとを備え、
前記影成分は、前記顔画像のテクスチャを正規化するためのオフセット成分を含めた画像に対する前記固有空間に射影された画像のうちの第１成分から第４成分まで、あるいは正規化された画像に対する前記固有空間に射影された画像のうちの第１成分から第３成分までである、影成分除去方法。
前記制御部が、合成された前記顔画像の形状を平均形状から元の顔画像の形状に戻すステップをさらに備えた、請求項４に記載の影成分除去装置。
制御部と記憶部とを含む影成分除去装置における影成分除去方法であって、
前記制御部が、複数の画像の各々について、各部位の形状を抽出するステップと、
前記制御部が、前記画像の集合に対する平均形状を算出するステップと、
前記制御部が、各画像を算出された前記平均形状に変換するステップと、
前記制御部が、前記平均形状に変換された画像に対して多変量解析を行ない固有ベクトルを演算するステップと、
前記制御部が、前記固有ベクトルを前記記憶部に記憶させるステップと、
前記制御部が、新たな画像を受け付けるステップと、
前記制御部が、前記新たな画像を前記平均形状に変換するステップと、
前記制御部が、前記平均形状に変換された新たな画像を前記固有ベクトルに対応する固有空間に射影するステップと、
前記制御部が、前記固有空間に射影された画像と前記固有空間に射影されて影成分が除去された画像との差成分を演算するステップと、
前記制御部が、当該差成分を前記新たな画像から減算することにより影成分を除去した画像を合成するステップとを備え、
前記影成分は、前記画像のテクスチャを正規化するためのオフセット成分を含めた画像に対する前記固有空間に射影された画像のうちの第１成分から第４成分まで、あるいは正規化された画像に対する前記固有空間に射影された画像のうちの第１成分から第３成分までである、影成分除去方法。