JP6409433B2 - 画像生成装置、画像検出システム及び画像生成方法 - Google Patents

画像生成装置、画像検出システム及び画像生成方法 Download PDF

Info

Publication number
JP6409433B2
JP6409433B2 JP2014188674A JP2014188674A JP6409433B2 JP 6409433 B2 JP6409433 B2 JP 6409433B2 JP 2014188674 A JP2014188674 A JP 2014188674A JP 2014188674 A JP2014188674 A JP 2014188674A JP 6409433 B2 JP6409433 B2 JP 6409433B2
Authority
JP
Japan
Prior art keywords
image
image generation
face
images
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014188674A
Other languages
English (en)
Other versions
JP2016062225A (ja
Inventor
慧吾 廣川
慧吾 廣川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2014188674A priority Critical patent/JP6409433B2/ja
Publication of JP2016062225A publication Critical patent/JP2016062225A/ja
Application granted granted Critical
Publication of JP6409433B2 publication Critical patent/JP6409433B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像生成装置、画像検出システム及び画像生成方法に関する。
カメラ等の撮影時には、撮影する人物のいわゆるピンボケを防止する目的で撮影範囲内に人物が含まれているか否かの検出が行われている。このような人物の検出処理における従来技術の1つとして、様々な人物の顔画像データを複数収集して、あるいはそれら収集した画像から共通する特徴を抽出及び学習してデータベースを構築しておき、人物を検出しようとする画像に対してそのデータベースを参照することで画像内に人物の顔が含まれているか否かを検出する方法がある。
このような顔検出を精度良く行うためには、非常に多くの顔画像のバリエーションが必要となる。このため、実際の人物を用いて顔画像を収集しようとすると、被写体となる人物を多数用意するだけでなく、様々な角度、照明環境を想定した多数の撮影条件の画像が必要となる。
そこで、これらの顔画像を容易に収集する方法として、人物の顔の3DCGモデルを用いて疑似的に実在人物の二次元画像を作成する方法が知られている。例えば、特許文献1には、顔の3DCGモデルに対して照明方向を含む撮影条件を与え、人物の画像データを生成する技術について開示されている。
特許第3575679号公報
しかしながら、検出に用いるデータベースを構築する際には、顔形状のバリエーションだけでなく、より多くの様々な撮影条件を想定する必要があり、精度よく検出を行うためには単一の照明方向による顔画像データだけでは未だ不十分なデータベースしか構築することができなかった。
そこで、本発明は、画像検出に用いる画像データを、容易に複数生成可能な画像生成装置、画像検出システム及び画像生成方法を提供することを目的とする。
本発明は、以下のような解決手段により、前記課題を解決する。
第1の発明は、検出対象画像から顔画像を検出するためのデータベースを生成する画像生成装置であって、三次元の顔モデルに対して、異なる光のモデルを用いて複数の画像を生成する画像生成部と、前記画像生成部において生成された前記複数の画像のうちの2以上の画像を合成して合成画像を生成する画像合成部と、前記画像合成部において合成された前記合成画像を、前記データベースに記憶させる記憶制御部と、を備えること、を特徴とする画像生成装置である。
第2の発明は、第1の発明の画像生成装置において、前記画像生成部は、一方向を向いた前記顔モデルに対して、異なる光のモデルを用いた複数の画像を生成すること、を特徴とする画像生成装置である。
第3の発明は、第2の発明の画像生成装置において、前記画像生成部は、複数方向のうち各方向を向いた前記顔モデルに対して異なる光のモデルを用いた複数の画像を、各々生成すること、を特徴とする画像生成装置である。
第4の発明は、第1の発明から第3の発明までのいずれかの画像生成装置において、前記異なる光のモデルは、直接光モデルと間接光モデルとからなること、を特徴とする画像生成装置である。
第5の発明は、第1の発明から第4の発明までのいずれかの画像生成装置において、前記異なる光のモデルは、光源の強度及び/又は方向の設定が異なること、を特徴とする画像生成装置である。
第6の発明は、第1の発明から第5の発明のいずれかの画像生成装置において、前記データベースは、複数の合成画像から特徴量を抽出し、学習したものであること、を特徴とする画像生成装置である。
第7の発明は、第1の発明から第6の発明までのいずれかの画像生成装置と、前記データベースを用いて前記検出対象画像から顔画像を検出する画像検出装置と、を備える画像検出システムである。
第8の発明は、検出対象画像から顔画像を検出する画像検出方法であって、コンピュータが、三次元の顔モデルに対して、異なる光のモデルを用いて複数の画像を生成する画像生成ステップと、生成された前記複数の画像のうちの2以上の画像を合成して合成画像を生成する画像合成ステップと、合成された前記合成画像をデータベースに記憶させる記憶ステップと、前記データベースを用いて、入力された検出対象画像から顔画像を検出する検出ステップと、を含むこと、を特徴とする画像検出方法である。
本発明によれば、画像検出に用いる画像データを、容易に複数生成可能な画像生成装置、画像検出システム及び画像生成方法を提供することができる。
第1実施形態に係る画像検出システムの機能ブロック図である。 第1実施形態に係る画像生成装置での画像生成処理を示すフローチャートである。 第1実施形態に係る画像生成処理を説明するための図である。 第1実施形態に係る画像生成処理での合成画像の生成方法を説明する図である。 第1実施形態に係る画像検出装置での画像検出処理を示すフローチャートである。 第2実施形態に係る画像検出システムの機能ブロック図である。
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
(第1実施形態)
<画像検出システム100>
図1は、第1実施形態に係る画像検出システム100の機能ブロック図である。
画像検出システム100は、対象画像(検出対象画像)が入力されたときに、その画像に人物の顔画像(以下、「顔画像」という。)を含むか否かを、大量の顔画像を含むデータベース3に基づき作成された顔識別器を用いて判断するものである。対象画像は、例えば、カメラ等で撮影された画像である。なお、顔識別器については、後述する。
画像検出システム100は、画像生成装置1と、データベース3と、画像検出装置4とを備える。
<画像生成装置1>
画像生成装置1は、大量の顔画像を生成して顔画像のデータベース3を作成する装置である。大量の顔画像は、次に説明する画像検出装置4において、対象画像から顔画像を検出するのに用いられる。
画像生成装置1は、例えば、サーバやパーソナルコンピュータ等のコンピュータである。
画像生成装置1は、制御部10と、記憶部20とを備える。
制御部10は、画像生成装置1の全体を制御するCPU(中央処理装置)である。制御部10は、記憶部20に記憶されているOS(オペレーティングシステム)やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部10は、顔モデル受付部11と、方向パラメータ決定部12と、照明パラメータ決定部13と、画像生成部14と、画像合成部15と、データベース格納部16(記憶制御部)とを備える。
顔モデル受付部11は、3DCG(三次元コンピュータグラフィック)モデルデータ(三次元の顔モデル)を受け付ける。3DCGモデルデータは、テクスチャを含むモデルデータである。
方向パラメータ決定部12は、3DCGモデルデータの方向に関するパラメータを決定する。
照明パラメータ決定部13は、3DCGモデルデータに適用する光のモデルであって、3DCGモデルデータに照射するシミュレーションのために用いる照明に関するパラメータを決定する。
画像生成部14は、3DCGモデルデータから、方向パラメータ決定部12で決定した方向、かつ、照明パラメータ決定部13で決定した照明に関するパラメータに基づき決定される光のモデルを用いて、直接光画像及び間接光画像を生成する。
画像合成部15は、画像生成部14で生成された直接光画像及び間接光画像のうちの2以上の画像を合成した合成画像を生成する。
データベース格納部16は、画像合成部15で生成した合成画像を、データベース3に記憶させる。
記憶部20は、制御部10が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部20は、顔モデル記憶部21と、方向パラメータ記憶部22と、照明パラメータ記憶部23と、一時画像記憶部24とを備える。
顔モデル記憶部21は、顔モデル受付部11が受け付けた3DCGモデルデータを記憶する記憶領域である。
方向パラメータ記憶部22は、3DCGモデルデータから直接光画像及び間接光画像を取得する向きのパラメータを記憶する記憶領域である。
照明パラメータ記憶部23は、3DCGモデルデータから直接光画像及び間接光画像を取得する照明のパラメータを記憶する記憶領域である。
一時画像記憶部24は、画像生成部14によって生成された直接光画像及び間接光画像を記憶する記憶領域である。
<データベース3>
データベース3は、画像生成装置1によって生成された合成画像を記憶するデータベースである。また、データベース3は、機械学習(後述する)で作成する顔識別器において、正解データとして用いられる。なお、データベース3において、必ずしも学習し、顔識別器を生成する必要はなく、合成画像をそのまま記憶しておくことで、これらと対象画像とを照合し、検出を行うよう構成してもよい。
<画像検出装置4>
画像検出装置4は、データベース3を用いて作成された顔識別器を用いて、対象画像に顔画像を含むか否かを判断する装置である。
画像検出装置4は、例えば、パーソナルコンピュータや、カメラ等である。また、画像検出装置4は、対象画像を印刷するプリントシステム等に組み込まれていてもよい。
画像検出装置4は、制御部40と、記憶部50とを備える。
制御部40は、画像検出装置4の全体を制御するCPUである。制御部40は、記憶部50に記憶されているOSやアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部40は、画像受付部41と、判断部42と、学習部43と、検出位置特定部44とを備える。
画像受付部41は、対象画像の入力を受け付ける。
判断部42は、学習データ51を用いて、画像受付部41が受け付けた対象画像に顔画像を含むか否かを判断する。
学習部43は、データベース3を用いて顔識別器(学習データ51)を作成する。学習部43は、データベース3に記憶されている複数の顔画像に共通する特徴を導き出して、学習データを作成する。
検出位置特定部44は、判断部42によって対象画像に顔画像を含むと判断された場合に、その顔画像の位置を特定して記憶する。
記憶部50は、制御部40が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部50は、学習データ51を記憶する。
学習データ51は、データベース3の顔画像から学習部43によって作成された顔識別器である。学習データ51は、判断部42での処理を実行するために必要な機械学習のアルゴリズムや、特徴量のデータ等を記憶する。
<画像生成処理>
次に、画像生成処理について説明する。
図2は、第1実施形態に係る画像生成装置1での画像生成処理を示すフローチャートである。
図3は、第1実施形態に係る画像生成処理を説明するための図である。
図4は、第1実施形態に係る画像生成処理での合成画像の生成方法を説明する図である。
図2のステップS(以下、単に「S」という。)10において、画像生成装置1の制御部10(顔モデル受付部11)は、3DCGモデルデータWを受け付ける。
図3(A)は、3DCGモデルデータWが示すモデルの一例である。3DCGモデルデータWは、モデリング作成装置(図示せず)を使用して作成されたものである。この図3(A)の3DCGモデルデータWは、20代男性の一般的な顔をモデルにしたデータである。
図2に戻り、S11において、制御部10(方向パラメータ決定部12)は、3DCGモデルデータWが示すモデルの向きを示すパラメータである方向パラメータを決定する。方向パラメータは、例えば、3DCGモデルデータWが示すモデルの正面を「0」として、上下方向と、左右方向とを数値として表したパラメータである。この方向パラメータの決定により、画像生成装置1は、後述の処理において、同じ3DCGモデルデータWが示すモデルを、様々な方向を向かせるようにシミュレートすることで、様々な方向を向いた直接光画像及び間接光画像を取得できる。
S12において、制御部10(照明パラメータ決定部13)は、S11で決定した方向(特定の顔方向)を向いた3DCGモデルデータWのモデルに対して、光を照射するシミュレーションを行う際の照明パラメータを決定する。照明パラメータは、3DCGモデルデータWが示すモデルに対してシミュレーションする照射する方向や、光源の強度、直接光か間接光か等を数値として表したパラメータである。
ここで、3DCGモデルデータWに適用する光のモデルについて説明する。
直接光モデルは、光源から直接注目点まで届くように仮定した場合の光のモデルである。例えば、直接光のベクトルは、3DCGモデルデータWが示すモデルの中心(モデル正面)へ向かうベクトルである。なお、正面後方からの光では、前面に光が到達しないため、顔画像としては、暗い箇所が多数を占める。そのため、直接光は、前面(+−180度まで)から照射される光のみを使用することが効率的である。なお、後方から照射されるモデルを用いて顔画像を生成し、データベースを構築することも、もちろん可能である。
また、間接光モデルとは、直接光が周囲の物体によって反射を繰り返してから注目点に到達するよう仮定したものであり、指向性が広く、直接光よりも拡散した光をモデル化したものである。間接光は、例えば、特定の方向に依存しない光、拡散させた光、一度反射させてからの光、フィルタを通した光等である。
S13において、制御部10(画像生成部14)は、決定した方向パラメータ及び照明パラメータによる直接光画像Mを生成する。また、制御部10(画像生成部14)は、間接光画像Iを生成する。
具体的には、画像生成部14は、3DCGモデルデータWにすでにマッピングされているテクスチャに対して、照明パラメータ決定部13によって決定された照明パラメータに対応した光を照射するシミュレーションを行って、光のモデルを3DCGモデルデータW適用する。そして、画像生成部14は、光のモデルを適用後の3DCGモデルデータWの陰影を計算して、二次元画像である直接光画像Mを生成する。
なお、画像生成部14は、間接光画像Iも生成する。間接光画像Iは、3DCGモデルデータWが示すモデルに対して、間接光である光のモデルを用いた場合の画像であり、そのモデルデータWが示すモデルの形によって決定される陰影の画像である。
本実施形態では、間接光画像Iの作成には、アンビエントオクルージョン(Ambient Occlusion)法という近似手法を用いる。この手法では、CGモデルの表面にレイトレーシング(ray tracing)を行う。より詳細に言えば、アンビエントオクルージョン法とは、描画点が周囲の物体によってどれくらい遮蔽されるかを計算し、描画点の陰影を決定する近似手法である。このアンビエントオクルージョン法によると、物体上の各々の点に対して、その周囲の平均的な可視度を計算し、可視度の情報により物体表面に柔らかな陰影効果がもたらされる。
S14において、制御部10は、全ての照明パラメータのパターンによる処理を行ったか否かを判断する。全ての照明パラメータのパターンによる処理を行うことで、制御部10は、S11で決定された方向(例えば、モデルの正面)を向いた3DCGモデルデータWが示すモデルに対して異なる光のモデルを用いて生成された複数の直接光画像M(M1,M2,・・・)と、間接光画像Iとを生成する。つまり、照明パラメータの変化に応じて、シミュレーションの際に照射される平行光の方向が変化するので、陰影が異なる複数の直接光画像M(M1,M2,・・・)が生成される。
全ての照明パラメータのパターンによる処理を行った場合(S14:YES)には、制御部10は、処理をS15に移す。他方、全ての照明パラメータのパターンによる処理を行っていない場合(S14:NO)には、制御部10は、処理をS12に移し、全ての照明パラメータのパターンによる処理を行うように繰り返し処理を行う。
図3(B)は、一方向(モデルの正面)を向いた3DCGモデルデータWが示すモデルに対して異なる光のモデルを用いた複数の直接光画像M(M1,M2,・・・)の例である。
また、図3(C)は、一方向(モデルの正面)を向いた3DCGモデルデータWが示すモデルに対して異なる光のモデルを用いた間接光画像Iの例である。
図2に戻り、S15において、制御部10は、全ての方向パラメータのパターンによる処理を行ったか否かを判断する。全ての方向パラメータのパターンによる処理を行うことで、制御部10は、それ以前に直接光画像Mを生成した方向(例えば、正面方向)とは異なる各方向(例えば、正面方向以外のある方向)を向いた3DCGモデルデータWが示すモデルに対して、異なる光のモデルを用いた複数の直接光画像Mを生成する。そして、制御部10は、各方向を向いた3DCGモデルデータWが示すモデルに対して、異なる光のモデルを用いた複数の直接光画像Mを生成することで、複数方向を向いた直接光画像Mが生成できる。全ての方向パラメータのパターンによる処理を行った場合(S15:YES)には、制御部10は、処理をS16に移す。他方、全ての方向パラメータのパターンによる処理を行っていない場合(S16:NO)には、制御部10は、処理をS11に移し、全ての方向パラメータのパターンにより処理を行うように繰り返し処理を行う。
S16において、制御部10(画像合成部15)は、合成画像を生成する。画像合成部15は、図3(B)に示す直接光画像Mの画像群及び図3(C)に示す間接光画像Iを合成する。ここで、直接光画像Mの画像群は、上述のS15までの処理で生成されたものであり、異なる方向や異なる強度の光源から発生された直接光のモデルを用いた状態の画像である。
画像合成部15による画像合成方法には、図4に示すように2つの方法がある。
1つ目の方法(A)は、1つの直接光画像Mと、間接光画像Iとを重み付けして重ね合わせることで、合成画像を生成する方法である。
2つ目の方法(B)は、直接光画像Mを複数重ね合わせて、それを重ね合わせた数で割ることで、合成画像を生成する方法である。
方法(A)は、直接光画像Mの重み係数をαとし、間接光画像Iの重み係数を(1−α)として、両者を足し合わせる方法である。この方法によれば、直接光画像Mの重み係数αを大きくすると、影の強度が大きくなり、直接光画像Mの重み係数αを小さくすると、影の強度が小さくなる。すなわち、重み係数を調整することにより、合成画像の影の強度を調節することができる。
方法(B)は、間接光画像Iを用いず、直接光画像M1,M2,・・・,M(n−1),Mnを重ね合わせ、重ね合わされた数nで割ることにより、新たな平均的な画像を生成する方法である。現実に人物に照射される光は、直接光の足し合わせである。よって、方法(B)により合成された合成画像は、現実に人物に照射される光で撮影された画像に近づけることができる。
なお、これらの方法(A)と方法(B)のいずれかの合成方法により作成された画像に限らず、方法(A)による合成画像と、方法(B)よる合成画像との両方を作成してもよい。また、方法(A)による合成画像と、方法(B)による合成画像とを、さらに重ね合わせた合成画像を作成してもよい。その際の重ね合わせ方法も、方法(A)による方法でも、方法(B)による方法でもよい。
図2に戻り、S17において、制御部10は、全ての合成方法による処理を行ったか否かを判断する。全ての合成方法とは、方法(A)と方法(B)とを用いた様々組み合わせの方法である。全ての合成方法による処理を行った場合(S17:YES)には、制御部10は、処理をS18に移す。他方、全ての合成方法による処理を行っていない場合(S17:NO)には、制御部10は、処理をS16に移し、全ての合成方法による処理を行うまで繰り返し処理を行う。
図3(D)は、図3(B)と図3(C)とを用いて、図4の方法(A)によって生成された合成画像群Cの例である。
図2に戻り、S18において、制御部10(データベース格納部16)は、生成した合成画像をデータベース3に記憶させる。その後、制御部10は、本処理を終了する。
以上、説明した画像生成処理は、1つの3DCGモデルデータWについての画像生成について説明した。しかし、画像検出システム100では、顔検出のための大量の顔画像を作成する必要がある。そのため、画像生成装置1では、例えば、30代女性、40代男性の一般的な顔モデル等、年齢や性別が異なる複数の3DCGモデル画像について、各々本処理を行う。
この画像生成処理によって、画像生成装置1は、複数の直接光画像Mを、モデルデータWが示すモデルの顔の向きが異なるものにできる。また、画像生成装置1は、複数の直接光画像Mを、モデルデータWが示すモデルに用いる光のモデルを異なるものにできる。そして、画像生成装置1は、複数の直接光画像Mを合成して生成された合成画像群Cを、データベース3に格納できる。
<顔識別器の生成>
次に、顔識別器の生成について説明する。
顔識別器は、データベース3に格納された合成画像である様々なバリエーション画像を正解データとして、これらの合成画像を、機械学習に用いることで生成する。他方、不正解データは、人物の顔画像以外のものとして、例えば、風景画像等を使用する。機械学習による識別器の生成は、周知の技術によって行うことができる。この顔認識器の生成は、データベース3に接続可能なコンピュータであれば、どこで行ってもよく、例えば、画像生成装置1で行ってもよいし、データベース3を記憶したデータベースサーバ(図示せず)で行ってもよい。図1の例では、顔識別器の生成時にのみ画像検出装置4とデータベース3とを接続することで、画像検出装置4の学習部43は、機械学習を行う。その結果、画像検出装置4には、顔識別器として学習データ51が生成される。
<画像検出処理>
次に、画像検出処理について説明する。
図5は、第1実施形態に係る画像検出装置での画像検出処理を示すフローチャートである。
S30において、画像検出装置4の制御部40(画像受付部41)は、対象画像の入力を受け付ける。例えば、画像検出装置4がパーソナルコンピュータである場合には、カメラ(図示せず)によってすでに撮影されて、パーソナルコンピュータのハードディスクに取り込まれた画像選択することで、対象画像の入力を受け付けてもよい。また、パーソナルコンピュータに、USB(Universal Serial Bus)、SD(Secure Digital)メモリカード等が接続されている場合に、それらに保存されている画像を選択することで、対象画像の入力を受け付けてもよい。
S31において、制御部40(判断部42)は、対象画像に顔画像を含むか否かを判断する判断処理を行う。具体的には、判断部42は、対象画像の特徴量を抽出する。そして、判断部42は、その特徴量と、記憶部50の学習データ51とから、パターン認識を行い、パターン認識の結果に基づき、対象画像に顔画像を含むか否かを判断する。
S32において、制御部40(判断部42)は、対象画像内に顔画像を検出したか否かを判断する。顔画像を検出した場合(S32:YES)には、制御部40は、処理をS33に移す。他方、顔画像を検出しなかった場合(S32:NO)には、制御部40は、本処理を終了する。
S33において、制御部40(検出位置特定部44)は、対象画像内に検出した顔画像の位置を特定する。その後、制御部40は、本処理を終了する。
画像検出装置4は、対象画像に顔画像を含む場合には、画像検出処理によって、対象画像内に検出した顔画像の位置を特定できる。よって、例えば、パーソナルコンピュータにおいて、対象画像の顔部分に対して、明るさ、コントラスト等を変化させて、より顔画像を鮮明にする処理等に使用することができる。
このように、第1実施形態の画像検出システム100によれば、以下のような効果がある。
(1)画像生成装置1は、3DCGモデルデータWに基づいて生成された複数の直接光画像M及び間接光画像Iを用いて、顔画像の合成画像を複数生成する。しかも、直接光画像M及び間接光画像Iは、3DCGモデルデータWが示すモデルの顔の向きが様々なものである。よって、顔画像の検出で使用するための大量の顔画像を、合成処理によって容易に生成できる。
(2)画像生成装置1は、3DCGモデルデータWを使用して顔画像を生成するので、実際に人物の被写体を集めたりする必要がない。よって、手間がかからずに済む。画像生成処理に使用する3DCGモデルデータWは、容易に用いることができるものなので、作成するデータベース3を、例えば、子供の顔を多く含んだり、人種や性別に偏りのないものにできる。その結果、作成するデータベース3を、顔画像の検出のために意図したものにできる。
さらに、画像生成装置1は、3DCGモデルデータWに対して照明パラメータを変化させることで、様々な照明環境に対応した画像を生成できるので、大掛かりな設備を必要とせずに済む。
(3)画像生成装置1は、バリエーションの画像を作成するための合成前画像として、異なる方向や異なる強度の光のモデルを用いた直接光画像Mや、間接光画像I使用できる。よって、様々な照明環境に対応したバリエーションの画像を作成できる。
(4)画像検出装置4は、合成画像群Cを、学習部43による機械学習をすることで生成された学習データ51を用いて、判断部42が対象画像に顔画像を含むか否かを判断することで、対象画像に顔画像を含む場合には、その顔画像を検出できる。画像検出装置4は、様々な照明環境に対応したバリエーションの画像を使用して顔画像を検出できるので、様々な照明環境の対象画像に対して、精度が高い顔検出を行うことができる。よって、画像検出装置4は、照明環境の変化に対してロバスト(強靭)なものにできる。
(第2実施形態)
第2実施形態では、画像検出装置の他の形態について説明する。なお、以降の説明において、上述した第1実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。
<画像検出システム200>
図6は、第2実施形態に係る画像検出システム200の機能ブロック図である。
画像検出システム200は、対象画像が入力されたときに、その画像に顔画像を含むか否かを、データベース3に含まれる大量の顔画像とマッチング(比較)することで判断するものである。
画像検出システム200は、画像生成装置1と、データベース3と、画像検出装置204とを備える。
<画像検出装置204>
画像検出装置204は、顔画像のデータベース3を用いて、対象画像に顔画像を含むか否かを判断する装置である。
画像検出装置204は、データベース3に対してアクセス可能な装置であって、例えば、サーバ等のコンピュータである。
画像検出装置204は、制御部240と、記憶部250とを備える。
制御部240は、画像受付部41と、判断部242と、検出位置特定部44とを備える。
判断部242は、画像受付部41が受け付けた対象画像に顔画像を含むか否かを、データベース3に記憶されている大量の顔画像と対象画像とをマッチングすることで判断する。
記憶部250は、制御部240が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
<画像検出処理>
次に、画像検出処理について説明する。
画像検出装置204での画像検出処理は、図5(第1実施形態)のS31に対応する処理を除き、図5と同様である。
図5のS31に対応する処理において、制御部240(判断部242)は、対象画像に顔画像を含むか否かを判断する判断処理を行う。具体的には、判断部242は、対象画像と、データベース3に記憶されている顔画像とをマッチングさせて、一致する顔画像が存在するか否かによって、対象画像に顔画像を含むか否かを判断する。
このように、第2実施形態の画像検出システム200によれば、以下のような効果がある。
画像検出装置204は、データベース3に記憶されているバリエーションの画像を、対象画像との照合にそのまま使用できる。よって、顔画像の検出にあたって予め学習処理を行う必要がない。
また、画像検出装置204は、大量の画像を、対象画像に顔画像を含むか否かの検出に使用できる。よって、画像検出装置204は、照明環境の変化に対してロバスト(強靭)なものにできる。
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。
(変形形態)
(1)第1実施形態では、画像検出装置とデータベースとを一時的に接続することで、画像検出装置に、機械学習を用いた顔識別器を生成するものとして説明した。画像生成装置と、データベースとは接続された状態であるので、例えば、画像生成装置で顔識別器を生成してもよい。その場合には、生成後の顔識別器である学習データを、画像生成装置から取り出して、画像検出装置に記憶させ、画像検出装置の判断部は、記憶された学習データに基づいて判断するようにすればよい。そうすることで、画像検出装置は、データベースと接続せずに済む。また、画像検出装置には、画像生成装置から学習データと、判断部の処理とを移植(再構築)すればいいので、検出処理を行うための記憶部の容量が、データベースの容量と比較して少なくて済み、しかも、制御部の処理を簡易なものにできる。この場合には、例えば、画像検出装置として、カメラ等の小型の装置に対して適用できる。カメラに適用した場合には、制御部は、例えば、撮影ボタン(図示せず)を半押しすることで対象画像の入力を受け付け、顔画像を検出した場合に、特定した顔画像の位置に対して特別な処理を施した画像を生成したりできる。
(2)各実施形態では、画像生成装置と、画像検出装置とが別の装置であるものとして説明したが、これに限定されない。画像生成装置と、画像検出装置との機能が一体となった装置であってもよい。
(3)第1実施形態では、データベースを用いて顔識別器を生成するものとして説明したが、これに限定されない。データベースに、複数の顔画像から特徴量を抽出して学習したデータを有してもよい。
(4)第1実施形態では、機械学習によって顔識別器を生成するものとして説明したが、これに限定されない。他の学習機能を用いて顔識別器を生成してもよい。
1 画像生成装置
3 データベース
4,204 画像検出装置
10,40,240 制御部
14 画像生成部
15 画像合成部
16 データベース格納部
41 画像受付部
42,242 判断部
43 学習部
50,250 記憶部
51 学習データ
100,200 画像検出システム
C 合成画像群
I 間接光画像
M,M1,M2,・・・,Mn 直接光画像
W 3DCGモデルデータ

Claims (8)

  1. 検出対象画像から顔画像を検出するためのデータベースを生成する画像生成装置であって、
    三次元の顔モデルに対して、異なる光のモデルを用いて複数の画像を生成する画像生成部と、
    前記画像生成部において生成された前記複数の画像のうちの2以上の画像を合成して合成画像を生成する画像合成部と、
    前記画像合成部において合成された前記合成画像を、前記データベースに記憶させる記憶制御部と、
    を備えること、
    を特徴とする画像生成装置。
  2. 請求項1に記載の画像生成装置において、
    前記画像生成部は、一方向を向いた前記顔モデルに対して、異なる光のモデルを用いた複数の画像を生成すること、
    を特徴とする画像生成装置。
  3. 請求項2に記載の画像生成装置において、
    前記画像生成部は、複数方向のうち各方向を向いた前記顔モデルに対して異なる光のモデルを用いた複数の画像を、各々生成すること、
    を特徴とする画像生成装置。
  4. 請求項1から請求項3までのいずれかに記載の画像生成装置において、
    前記異なる光のモデルは、直接光モデルと間接光モデルとからなること、
    を特徴とする画像生成装置。
  5. 請求項1から請求項4までのいずれかに記載の画像生成装置において、
    前記異なる光のモデルは、光源の強度及び/又は方向の設定が異なること、
    を特徴とする画像生成装置。
  6. 請求項1から請求項5までのいずれかに記載の画像生成装置において、
    前記データベースは、複数の合成画像から特徴量を抽出し、学習したものであること、
    を特徴とする画像生成装置。
  7. 請求項1から請求項6までのいずれかに記載の画像生成装置と、
    前記データベースを用いて前記検出対象画像から顔画像を検出する画像検出装置と、
    を備える画像検出システム。
  8. 検出対象画像から顔画像を検出する画像検出方法であって、
    コンピュータが、
    三次元の顔モデルに対して、異なる光のモデルを用いて複数の画像を生成する画像生成ステップと、
    生成された前記複数の画像のうちの2以上の画像を合成して合成画像を生成する画像合成ステップと、
    合成された前記合成画像をデータベースに記憶させる記憶ステップと、
    前記データベースを用いて、入力された検出対象画像から顔画像を検出する検出ステップと、
    を含むこと、
    を特徴とする画像検出方法。
JP2014188674A 2014-09-17 2014-09-17 画像生成装置、画像検出システム及び画像生成方法 Expired - Fee Related JP6409433B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014188674A JP6409433B2 (ja) 2014-09-17 2014-09-17 画像生成装置、画像検出システム及び画像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014188674A JP6409433B2 (ja) 2014-09-17 2014-09-17 画像生成装置、画像検出システム及び画像生成方法

Publications (2)

Publication Number Publication Date
JP2016062225A JP2016062225A (ja) 2016-04-25
JP6409433B2 true JP6409433B2 (ja) 2018-10-24

Family

ID=55795974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014188674A Expired - Fee Related JP6409433B2 (ja) 2014-09-17 2014-09-17 画像生成装置、画像検出システム及び画像生成方法

Country Status (1)

Country Link
JP (1) JP6409433B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018096661A1 (ja) 2016-11-25 2018-05-31 日本電気株式会社 画像生成装置、顔照合装置、画像生成方法、およびプログラムを記憶した記憶媒体
JP7207846B2 (ja) 2017-03-24 2023-01-18 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7011146B2 (ja) 2017-03-27 2022-01-26 富士通株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法
JP7057086B2 (ja) * 2017-09-27 2022-04-19 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
EP3762794A1 (en) 2018-03-05 2021-01-13 Omron Corporation Method, device, system and program for setting lighting condition and storage medium
JP7218118B2 (ja) * 2018-07-31 2023-02-06 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP7426602B2 (ja) 2019-11-06 2024-02-02 パナソニックIpマネジメント株式会社 映像生成装置、映像生成方法およびプログラム
JP7175061B1 (ja) 2022-06-29 2022-11-18 株式会社Novera プログラム、情報処理装置、及び方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4946730B2 (ja) * 2007-08-27 2012-06-06 ソニー株式会社 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム
JP5206517B2 (ja) * 2009-03-13 2013-06-12 日本電気株式会社 特徴点選択システム、特徴点選択方法および特徴点選択プログラム

Also Published As

Publication number Publication date
JP2016062225A (ja) 2016-04-25

Similar Documents

Publication Publication Date Title
JP6409433B2 (ja) 画像生成装置、画像検出システム及び画像生成方法
CN108369643B (zh) 用于3d手部骨架跟踪的方法和系统
CN108875524B (zh) 视线估计方法、装置、系统和存储介质
JP5833189B2 (ja) 被写体の三次元表現を生成する方法およびシステム
Chen et al. Tensor-based human body modeling
JP5873442B2 (ja) 物体検出装置および物体検出方法
JP5715833B2 (ja) 姿勢状態推定装置および姿勢状態推定方法
KR101997500B1 (ko) 개인화된 3d 얼굴 모델 생성 방법 및 장치
CN110675487B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN109636831A (zh) 一种估计三维人体姿态及手部信息的方法
KR101362631B1 (ko) 머리 인식 방법
JP2010519629A (ja) 画像内の3次元物体のポーズを決定する方法及びデバイス並びに物体追跡のための少なくとも1つのキー画像を創出する方法及びデバイス
CN103562934A (zh) 脸部位置检测
CN111553284A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
US11922593B2 (en) Methods of estimating a bare body shape from a concealed scan of the body
JP5503510B2 (ja) 姿勢推定装置および姿勢推定プログラム
JP2003061936A (ja) 動立体モデル生成装置及び方法
JP6770208B2 (ja) 情報処理装置
KR20160046399A (ko) 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법
JP7433849B2 (ja) 情報処理装置、情報処理方法及びプログラム
Kropp et al. Object recognition in bim registered videos for indoor progress monitoring
JP2011149952A (ja) モデル入力装置およびモデル生成システム
CN105719271B (zh) 一种目标物体确定方法及装置
Vyatkin Method of face recognition with the use of scalar perturbation functions and a set-theoretic operation of subtraction
JP2018125642A (ja) 領域抽出装置及びプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160928

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180910

R150 Certificate of patent or registration of utility model

Ref document number: 6409433

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees