JP6203007B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、撮影画像から顔および人物などの被写体領域を検出する画像処理装置に関する。

近年、カメラやビデオカメラでは撮影画像から人物の顔や人物の体といった被写体領域を検出し、検出した被写体領域に対して自動でフォーカスを合わせて撮影するものが普及している。

また、携帯電話やタブレット端末などでは、撮影者本人が画面を見ながら自身を記録する、いわゆる自分撮りを容易にするために、主たる被写体を撮影するためのカメラ部とは反対側の位置、即ちモニター側にもう一つのカメラ部を備えたものが多くなっている。例えば、モニター側のカメラ部で撮影した撮影者の画像を解析して、被写体側のカメラ部の制御を行う技術が提案されている（特許文献１を参照）。

特開２０１０−１４８０５２

このような複数のカメラ部を有する画像処理装置において、複数のカメラ部から得られたそれぞれの画像に対して被写体領域の検出を行うことができれば、被写体および撮影者のそれぞれに対して適切な撮影制御や画像処理を行うことが可能となる。

画像から被写体領域を検出する方法としては、例えば、特定の被写体領域（例えば顔）の特徴パターンマッチングを撮影画像に対して行う方法がある。あるいは、撮影画像から色相成分を抽出して色相に応じた領域分割を行い、それぞれの領域の位置、サイズ、および形状に基づいて、主たる被写体と推定される領域を特定する方法がある。

しかしながら、このような画像から被写体領域を検出する機能は、ある程度の処理時間がかかり、撮影画像のサイズ、枚数などに大きく影響される。

カメラやタブレット端末のようなモバイル機器では、装置の大きさや、消費電力などの制約などにより、限られたリソースしか搭載できないことが多く、同時に行える処理には限りがある。そのため、複数のカメラ部から得られたそれぞれの画像に対して、同時に被写体領域の検出を行うことができない場合がある。

本発明は上述した問題を解決するためのものであり、複数の撮影画像に対する被写体検出処理をより効率的に行うことを目的とする。

上記課題を解決するため、本発明は、第１の撮像手段で生成された第１の画像データと、第２の撮像手段で生成された第２の画像データが入力され、前記第１の画像データおよび前記第２の画像データから被写体領域を検出する検出手段を有し、前記検出手段は、前記第１の画像データにおける前記被写体領域の検出結果と、前記第２の画像データにおける前記被写体領域の検出結果に応じて、以降における、前記第１の画像データから前記被写体領域を検出する第１の検出処理を行う割合と、前記第２の画像データから前記被写体領域を検出する第２の検出処理を行う割合を設定することを特徴とする画像処理装置を提供する。

本発明によれば、被写体の状況に応じて、複数のカメラ部から得られた画像に対する、被写体領域検出処理の割合を効率的に配分することが可能になる。

本発明の実施形態に係るデジタルカメラ１００のブロック図 本発明に係るデジタルカメラ１００の外観図 本発明に係る検出顔数を用いた顔検出処理割合決定動作イメージ図 本発明に係る検出顔数を用いた顔検出処理割合決定動作フローチャート 本発明に係る認証人物数を用いた顔検出処理割合決定動作イメージ図 本発明に係るパンニング動作検知を用いた顔検出処理割合決定動作イメージ図 本発明に係るセルフタイマー動作検知を用いた顔検出処理割合決定動作イメージ図 本発明に係る顔領域サイズ情報を用いた顔検出処理割合決定動作イメージ図 本発明に係る検出顔数、認証顔数、パンニング検知、セルフタイマー動作検知、顔検出領域の大きさを用いた顔検出処理割合決定動作フローチャート

以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では、画像処理装置の一例としてのデジタルカメラに本発明を適用した実施形態について説明するが、本発明はカラー撮像素子から読み出された画像信号を処理可能な任意の装置において実施可能である。従って、画像処理装置には、パーソナルコンピュータ、タブレット端末、ゲーム機、携帯電話機など、カメラを内蔵もしくは接続可能な任意の電子機器や、画像処理ソフトウェアを実行可能な任意の電子機器が含まれる。

（第１の実施形態）
図１は、本発明の実施形態に係るデジタルカメラ１００のハードウェアブロック図である。

ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０１は、デジタルカメラ１００のメインメモリであり、画像データや、メモリカード２００から読み込んだ画像符号化データを一時保持することが可能である。データバス１０２は、後述する各ブロックがＤＲＡＭ１０１へのアクセスするためのバスである。

第１のレンズユニット１０３は、撮影者がメインとして被写体を撮影するための光学ユニットである。第１の撮像素子１０４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーなどで構成される。撮像素子１０４は、第１のレンズユニット１０３を透過してきた光束を電気信号に変換し、この電気信号をデジタルの画像データとしてＤＲＡＭ１０１へ一時保持する。

第２のレンズユニット１０５は、第１のレンズユニット１０３を用いて撮影を行う際に、撮影者に向けられるように配置される光学ユニットである。第２の撮像素子１０６は、ＣＣＤやＣＭＯＳセンサーで構成され、第２のレンズユニット１０４を透過してきた光を電気信号に変換し、この電気信号をデジタルの画像データとしてＤＲＡＭ１０１へ一時保持する。第１のレンズユニット１０３と第１の撮像素子１０４で第１のカメラ部を構成し、第２のレンズユニット１０５と第２の撮像素子１０６で第２のカメラ部を構成する。

カメラ信号処理部１０７は、第１の撮像素子１０４および、第２の撮像素子１０６によってＤＲＡＭ１０１へ一時保持された画像データを読み出し、この画像データに対してノイズリダクション、現像処理、画像補正処理、リサイズ等の画像処理を行う。顔検出部１０８は、カメラ信号処理部１０７によって生成された画像データが入力され、この画像データから顔領域を検出する回路である。個人認識部１０９は、顔検出部１０８によって検出された顔領域の画像から人物の特徴データを生成し、予め登録されている人物特徴データと一致するかを判断することで、個人認識を行う。動きベクトル検出部１１０は、カメラ信号処理部１０７によって生成された所定時間分の複数フレームの画像データを用いることで、撮影画像全体の動きベクトルを検出する。

顔検出部１０８は、第１の撮像素子１０４で生成された画像データと第２の撮像素子１０６で生成された画像データのいずれからも顔領域の検出を行うことができるが、これら２つの画像データから同時に顔領域の検出を行うことはできない。そのため、顔検出部１０８は、周期的に第１の撮像素子１０４で生成された画像データから顔領域を検出する処理と、第２の撮像素子１０６で生成された画像データから顔領域を検出する処理を切り替える構成となっている。

個人認識部１０９は、顔検出部１０８から検出された顔領域に関するデータを受け取り、受け取ったデータが示す顔領域が、予め個人ごとに登録されている識別データと同一人物であると判定できるか否かを判定することによって、個人認識を行う。

パネル部１１１は、ＤＲＡＭ１０１に一時保持されている画像データを読み込み、表示パネルへ表示を行うパネル部である。表示パネルは、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等の技術を用いて構成されている。メディアＩ／Ｆ１１２は、デジタルカメラ１００と、デジタルカメラ１００に装着されている記録媒体２００とのインターフェースである。デジタルカメラ１００は、ＤＲＡＭ１０１読み込んだデータをメディアＩ／Ｆ１１２を介して記録媒体２００へ記録する。

制御バス１１３は、ＣＰＵ１１４がデジタルカメラ１００の各ブロックへ制御指示を行うためのバスである。メインＣＰＵ１１４は、デジタルカメラ１００全体を統括し、それぞれのブロックの制御を行う。プログラムバス１１５は、ＣＰＵ１１４と、ＲＯＭ１１６、ＲＡＭ１１７、タイマー１１８、および操作キー１１９を接続するバスである。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１６は、ＣＰＵ１１４のプログラムを格納し、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１７は、ＣＰＵ１１４のワークメモリとして用いられる。このＲＯＭ１１６には、後述する各処理を実行するためのプログラムが格納されており、ＣＰＵ１１４によってこれらの処理が実行される。

タイマー部１１８は、所定時間が経過するとＣＰＵ１１４へ割り込み信号を発生させ、ＣＰＵ１１４へ時間を通知する。操作キー１１９は、ユーザがデジタルカメラ１００の動作指示を行うためのボタンや、十字キーで構成される。記録媒体２００は、画像処理装置から着脱可能なメモリカードである。

図２は、本発明に係るデジタルカメラ１００の外観図である。

デジタルカメラ１００の、主たる被写体を撮影するための第１のレンズユニット１０３が配置された面の反対側の面には、第２のレンズユニット１０５、パネル部１１１、および、操作キー１１９の一部である十字キーが配置されている。また、デジタルカメラ１００の上面には、操作キー１１９の一部であるシャッターボタンが配置されている。

第１のレンズユニット１０３から取り込まれた撮影画像は、第１の撮像素子とカメラ信号処理部１０７によって画像データ化され、ＤＲＡＭ１０１へ一時保持され、その画像データはパネル１１１によって表示される。ユーザによって、シャッターボタンが押されると、デジタルカメラ１００に装着されている不図示の記録媒体２００にメディアＩ／Ｆ１１２を介して記録される。

デジタルカメラ１００の第１の撮像素子１０４と第２の撮像素子１０６は設定されたフレームレートで撮影を行う。第１の撮像素子１０４で生成された１フレーム以上の画像データをメイン画像データとし、第２の撮像素子１０６で生成された１フレーム以上の画像データをサブ画像データとする。

図３は、本発明に係るデジタルカメラ１００における、検出された顔領域の数に応じて、顔検出処理の割合を設定する処理を説明するための図である。顔検出処理の割合とは、顔検出部１０８が、第１の撮像素子１０４で生成されたメイン画像データに対して顔検出を行う時間と、第２の撮像素子１０６で生成されたサブ画像データに対して顔検出を行う時間の比率を示すものである。

ＣＰＵ１１４は、メイン画像データとサブ画像データのそれぞれに対して評価値を算出し、算出された評価値に応じて、メイン画像データとサブ画像データのそれぞれに対して割り当てる顔検出処理の時間を設定する。同一期間においては、顔検出処理の割合が高くなるほど、その期間内で行われる顔検出処理の回数が増える。そのため、顔検出処理を行う対象となるフレーム数を多くする、画像データで顔検出処理を行う対象とする領域を広くする、あるいは、顔検出処理で検出可能な顔領域のサイズの種類を多くすることができるようになる。

ＣＰＵ１１４は、メイン画像データとサブ画像データに対する顔検出処理の割合の初期値として、両方に対して５０％という値を用いて検出処理を行う。すなわち、メイン画像データとサブ画像データのそれぞれに対して、同じ時間だけ顔検出処理に要する時間が割り当てられる。

ＣＰＵ１１４は、メイン画像データから検出された顔の数をＦｍ、サブ画像データから検出された顔の数をＦｓとすると、以下の式１および式２を用いて、メイン画像データに対する評価値Ｖｍとサブ画像データに対する評価値Ｖｓを算出する。
Ｖｍ＝Ｆｍ×２＋１ ・・・（式１）
Ｖｓ＝Ｆｓ＋１ ・・・（式２）

メイン画像データから検出された顔領域の数Ｆｍとサブ画像データから検出された顔領域の数Ｆｓが同じならば、メイン画像データに対する評価値Ｖｍよりもサブ画像データに対する評価値Ｖｓのほうが小さくなる。これは、撮影中に、デジタルカメラ１００に対する撮影者の顔の位置や顔のサイズが変動することは少ないためである。また、いずれの評価値も必ず１以上の値となるため、顔が途中でフレームインした場合であっても、その顔領域を検出することが可能となる。

図３のＣａｓｅ１では、メイン画像データからは顔領域が２つ検出され、サブ画像データからは顔領域が１つ検出されているため、メイン画像データの評価値Ｖｍとサブ画像データの評価値Ｖｓは、式１および式２よりそれぞれ以下の値となる。
Ｖｍ＝（２）×２＋１＝５
Ｖｓ＝（１）＋１＝２

この評価値の割合に応じて、次の顔検出処理に係る所定周期におけるメイン画像データとサブ画像データに対する顔検出処理を行う割合が決定される。この場合、メイン画像データには７１（＝５／（５＋２））％、サブ撮影画像には２９（＝２／（５＋２））％の顔検出処理が割り当てられる。

図３のＣａｓｅ２では、メイン画像データからは顔領域が検出されず、サブ画像データからは顔領域が１つ検出されているため、メイン画像データの評価値Ｖｍとサブ画像データの評価値Ｖｓは、式１および式２よりそれぞれ以下の値となる。
Ｖｍ＝（０）×２＋１＝１
Ｖｓ＝（１）＋１＝２
この場合、次の周期ではメイン画像データには３３％、サブ画像データには６７％の割合で顔検出処理の時間が割り当てられる。

図４は、図３で説明した本発明に係るデジタルカメラ１００における顔検出処理の割合を決定する動作のフローチャートである。この動作は、所定周期で行われるものとする。

まず、ＣＰＵ１１４は、初期値として設定されている顔検出処理の割合、あるいは、前回決定された顔検出処理の割合に基づいて、顔検出部１０８に、メイン画像データおよびサブ画像データに対する顔検出処理を行わせる（ステップＳ４０１）。

ＣＰＵ１１４は、メイン画像データとサブ画像データのそれぞれから検出された顔領域の数に基づいて、上述した式１および式２を用いて、メイン画像データの評価値Ｖｍとサブ画像データの評価値Ｖｓを算出する（ステップＳ４０２）。

ＣＰＵ１１４は、算出されたメイン画像データの評価値Ｖｍとサブ画像データの評価値Ｖｓの比率から、次の周期におけるメイン画像データとサブ画像データに対する顔検出処理の時間の割合を決定する（ステップＳ４０３）。

この顔検出処理の割合を１フレーム毎に行えば、メイン画像データとサブ画像データに対する顔検出処理の時間の割合に応じて、それぞれの画像データから検出できる顔領域のサイズの範囲に差を設けることができる。また、この顔検出処理の割合を複数フレーム毎に行えば、メイン画像データとサブ画像データから検出できる顔領域のサイズの範囲に差を設けるだけでなく、顔検出処理が行われるフレームの数に差を設けることも可能となる。

以上、説明したように、本実施形態によれば、メイン画像データとサブ画像データに対して、それぞれの画像データに含まれる顔領域の数に沿って、以降のフレームにおける顔検出処理のリソースを適切に配分することが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

本実施形態では、メイン画像データとサブ画像データに対する顔検出処理の時間の割合を決定する際に、個人認識の結果も参照する点が第１の実施形態と異なる。

図５は、本発明に係るデジタルカメラ１００における、検出された顔領域に対する個人認証結果応じて、顔検出処理の割合を設定する処理を説明するための図である。

メイン画像データから検出された顔の数をＦｍ、サブ画像データから検出された顔の数をＦｓ、メイン画像データにおいて個人認識できた顔の数をＰｍ、および、サブ画像データにおいて個人認識できた顔の数をＰｓとする。ＣＰＵ１１４は、以下の式３および式４を用いて、メイン画像データに対する評価値Ｖｐｍとサブ画像データに対する評価値Ｖｐｓを算出する。
Ｖｐｍ＝Ｆｍ×２＋Ｐｍ×４＋１ ・・・（式３）
Ｖｐｓ＝Ｆｓ＋Ｐｓ×２＋１ ・・・（式４）

個人認識に成功した人物が画像データに含まれている場合、その人物が、撮影者にとって重要度の高い人物である可能性が高い。そのため、個人認識に成功した人物が含まれている画像データについては、顔領域を見失いにくくするため、評価値を高く設定する必要がある。そのため、評価値を求める際に、個人認識できた顔の数に掛ける係数は、検出できた顔領域の数に掛ける係数よりも大きな値が設定されている。

図５のＣａｓｅ３では、メイン画像データからは顔領域が２つ検出され、そのうちの１つに対して個人認識が成功している。サブ画像データからは顔領域が１つ検出され、個人認識は成功していない。そのため、メイン画像データの評価値Ｖｐｍとサブ画像データの評価値Ｖｐｓは、式３および式４よりそれぞれ以下の値となる。
Ｖｐｍ＝（２）×２＋（１）×４＋１＝９
Ｖｐｓ＝（１）＋（０）×２＋１＝２

この評価値の割合に応じて、次の顔検出処理に係る所定周期におけるメイン画像データとサブ画像データに対する顔検出処理を行う割合が決定される。この場合、メイン画像データには８２（≒９／（９＋２））％、サブ撮影画像には１８（≒２／（９＋２））％の顔検出処理が割り当てられる。

図５のＣａｓｅ４では、メイン画像データからは顔領域が３つ検出され、そのうちの１つに対して個人認識が成功している。サブ画像データからは顔領域が１つ検出され、その顔に対して個人認識も成功している。そのため、メイン画像データの評価値Ｖｐｍとサブ画像データの評価値Ｖｐｓは、式３および式４よりそれぞれ以下の値となる。
Ｖｐｍ＝（３）×２＋（１）×４＋１＝１１
Ｖｐｓ＝（１）＋（１）×２＋１＝４

この評価値の割合に応じて、次の顔検出処理に係る所定周期におけるメイン画像データとサブ画像データに対する顔検出処理を行う割合が決定される。この場合、メイン画像データには７３（≒１１／（１１＋４））％、サブ撮影画像には２７（≒４／（１１＋４））％の顔検出処理が割り当てられる。

本実施形態によれば、メイン画像データとサブ画像データのそれぞれから検出された顔領域の数だけでなく、個人認識の結果に応じて、以降のフレームにおける顔検出処理のリソースを適切に配分することが可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。

本実施形態では、メイン画像データとサブ画像データに対する顔検出処理の時間の割合を決定する際に、パンニング動作の判定の結果も参照する点が第１の実施形態と異なる。

図６は、本発明に係るデジタルカメラ１００における、動きベクトル検出部１１０によって検出された動きベクトルに基づいて、パンニング動作の有無を判定し、この判定結果に応じて、顔検出処理の割合を設定する処理を説明するための図である。

ＣＰＵ１１４は、動きベクトル検出部１１０によって検出された動きベクトルのサイズが閾値以上であり、かつ、同一方向に所定回数以上連続して検出された場合に、パンニング動作が行われていると判定する。

メイン画像データから検出された顔の数をＦｍ、サブ画像データから検出された顔の数をＦｓ、およびパンニング動作の判定結果をＮとする。このＮの値は、パンニング動作ありと判定された場合は１、パンニング動作なしと判定された場合は０となる。ＣＰＵ１１４は、以下の式５および式６を用いて、メイン画像データに対する評価値Ｖｎｍとサブ画像データに対する評価値Ｖｎｓを算出する。
Ｖｎｍ＝Ｆｍ×２＋Ｎ×４＋１ ・・・（式５）
Ｖｎｓ＝Ｆｓ＋１ ・・・（式６）

パンニング動作の判定結果を示すＮはメイン画像データに対する評価値に対してのみ反映させる。これは、パンニング動作を行ったとしても、第２のレンズユニット１０５に対する撮影者の顔の位置はさほど変化しないと考えられるためである。

図６のＣａｓｅ５−１、Ｃａｓｅ５−２、およびＣａｓｅ５−３は、メイン画像データに対する評価値Ｖｐｍとサブ画像データに対する評価値Ｖｐｓの時系列における変化を説明するための図である。Ｃａｓｅ５−１、Ｃａｓｅ５−２、およびＣａｓｅ５−３の順で、時間が経過しているものとする。

図６のＣａｓｅ５−１では、メイン画像データからは顔領域が１つ検出され、サブ画像データからも顔領域が１つ検出され、パンニング動作なしと判定されている。そのため、メイン画像データの評価値Ｖｎｍとサブ画像データの評価値Ｖｎｓは、式５および式６よりそれぞれ以下の値となる。
Ｖｎｍ＝（１）×２＋（０）×４＋１＝３
Ｖｎｓ＝（１）＋１＝２
この場合、メイン画像データには６０（≒３／（３＋２））％、サブ撮影画像には４０（≒２／（３＋２））％の顔検出処理が割り当てられる。

Ｃａｓｅ５−２では、メイン画像データからは顔領域が２つ検出され、サブ画像データからは顔領域が１つ検出され、パンニング動作ありと判定されている。そのため、メイン画像データの評価値Ｖｎｍとサブ画像データの評価値Ｖｎｓは、式５および式６よりそれぞれ以下の値となる。
Ｖｎｍ＝（２）×２＋（１）×４＋１＝９
Ｖｎｓ＝（１）＋１＝２
この場合、メイン画像データには８２（≒９／（９＋２））％、サブ撮影画像には１８（≒２／（９＋２））％の顔検出処理が割り当てられる。

Ｃａｓｅ５−３では、メイン画像データからは顔領域が２つ検出され、サブ画像データからは顔領域が１つ検出され、パンニング動作なしと判定されている。そのため、メイン画像データの評価値Ｖｎｍとサブ画像データの評価値Ｖｎｓは、式５および式６よりそれぞれ以下の値となる。
Ｖｎｍ＝（２）×２＋（０）×４＋１＝５
Ｖｎｓ＝（１）＋１＝２
この場合、メイン画像データには７２（≒５／（５＋２））％、サブ撮影画像には２８（≒２／（５＋２））％の顔検出処理が割り当てられる。

本実施形態によれば、メイン画像データとサブ画像データのそれぞれから検出された顔領域の数だけでなく、パンニング動作の有無に応じて、以降のフレームにおける顔検出処理のリソースを適切に配分することが可能となる。パンニング動作が発生していた場合には、メイン画像データに対する顔検出処理の割合を高くすることで、パンニング動作によってフレームインした人物を素早く検出することが可能になる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。

本実施形態では、メイン画像データとサブ画像データに対する顔検出処理の時間の割合を決定する際に、セルフタイマー動作の設定の有無も参照する点が第１の実施形態と異なる。

図７は、本発明に係るデジタルカメラにおける、セルフタイマー動作に応じて、顔検出処理の割合を設定する処理を説明するための図である。

メイン画像データから検出された顔の数をＦｍ、およびサブ画像データから検出された顔の数をＦｓとする。ＣＰＵ１１４は、以下の式７ないし式９を用いて、メイン画像データに対する評価値Ｖｔｍとサブ画像データに対する評価値Ｖｔｓを算出する。ＣＰＵ１１４は、セルフタイマー動作が設定されているか否かに応じて、サブ画像データに対する評価値Ｖｔｓの算出方法を切り替える。
Ｖｔｍ＝Ｆｍ×２＋１ ・・・（式７）
・セルフタイマー動作が設定されている場合
Ｖｔｓ＝Ｆｓ＋１ ・・・（式８）
・セルフタイマー動作が設定されていない場合
Ｖｔｓ＝０ ・・・（式９）

図７のＣａｓｅ６−１、Ｃａｓｅ６−２、およびＣａｓｅ６−３は、メイン画像データに対する評価値Ｖｔｍとサブ画像データに対する評価値Ｖｔｓの時系列における変化を説明するための図である。Ｃａｓｅ６−１、Ｃａｓｅ６−２、およびＣａｓｅ６−３の順で、時間が経過しているものとする。

図７のＣａｓｅ６−１では、メイン画像データからは顔領域が３つ検出され、サブ画像データからは顔領域が１つ検出され、セルフタイマー動作が設定されていない。そのため、メイン画像データの評価値Ｖｔｍとサブ画像データの評価値Ｖｔｓは、式７および式８よりそれぞれ以下の値となる。
Ｖｔｍ＝（３）×２＋１＝７
Ｖｔｓ＝（１）＋１＝２
この場合、メイン画像データには７８（≒７／（７＋２））％、サブ撮影画像には２２（≒２／（７＋２））％の顔検出処理が割り当てられる。

Ｃａｓｅ６−２では、メイン画像データからは顔領域が３つ検出され、サブ画像データからは顔領域が１つ検出され、セルフタイマー動作が設定されている。そのため、メイン画像データの評価値Ｖｔｍとサブ画像データの評価値Ｖｔｓは、式７および式９よりそれぞれ以下の値となる。
Ｖｔｍ＝（３）×２＋１＝７
Ｖｔｓ＝０
この場合、メイン画像データに１００％の顔検出処理が割り当てられる。

Ｃａｓｅ６−３では、メイン画像データからは顔領域が４つ検出され、サブ画像データからは顔領域が検出されず、セルフタイマー動作が設定されている。そのため、メイン画像データの評価値Ｖｔｍとサブ画像データの評価値Ｖｔｓは、式７および式９よりそれぞれ以下の値となる。
Ｖｔｍ＝（４）×２＋１＝９
Ｖｔｓ＝０
この場合、メイン画像データに１００％の顔検出処理が割り当てられる。

本実施形態によれば、セルフタイマー動作が設定された場合には、撮影者が第１のレンズユニット１０３で撮影される位置に移動する可能性が高いため、サブ画像データに対する顔検出処理を行わないようにする。これにより、第１のレンズユニット１０３による撮影画角にフレームインした撮影者の顔領域を素早く検出することができるようになる。なお、ここでは、セルフタイマー動作の設定がされた場合にも、サブ画像データの評価値Ｖｔｓを求める構成を例にあげて説明したが、これに限られるものではない。セルフタイマー動作の設定がされた場合には、顔領域の検出結果に関わらず、サブ画像データに対する顔検出処理を行わないように設定してもよい。

（第５の実施形態）
次に、本発明の第５の実施形態について説明する。

本実施形態では、メイン画像データとサブ画像データに対する顔検出処理の時間の割合を決定する際に、検出された顔領域のサイズも参照する点が第１の実施形態と異なる。

図８は、本発明に係るデジタルカメラ１００における、検出された顔領域の数およびそのサイズに応じて、顔検出処理の割合を設定する処理を説明するための図である。

メイン画像データから検出された顔の数をＦｍ、およびサブ画像データから検出された顔の数をＦｓとする。ＣＰＵ１１４は、サブ画像データから検出された顔領域のうち、サイズが閾値以下である顔を除外した残りの顔領域の数Ｆｓｓを求める。そして、ＣＰＵ１１４は以下の式１０と式１１を用いて、メイン画像データに対する評価値Ｖｓｍとサブ画像データに対する評価値Ｖｓｓを算出する。
Ｖｓｍ＝Ｆｍ×２＋１ ・・・（式１０）
Ｖｓｍ＝Ｆｓｓ＋１ ・・・（式１１）

図８のＣａｓｅ７−１では、メイン画像データからは顔領域が２つ検出され、サブ画像データからも顔領域が２つ検出されている。しかしながら、サブ画像データから検出された２つの顔領域のうちの１つは、サイズが閾値以下である。そのため、ＣＰＵ１１４は、サイズが閾値以下であるこの顔領域は評価値算出には用いず、サブ画像データにおいては残り１つの顔領域に基づいて、サブ画像データの評価値Ｖｎｓを求める。その様子を図８のＣａｓｅ７−２に示す。
Ｖｓｍ＝（２）×２＋１＝５
Ｖｓｓ＝（１）＋１＝２
この場合、メイン画像データには７１（≒５／（５＋２））％、サブ撮影画像には２９≒２／（５＋２））％の顔検出処理が割り当てられる。

本実施形態によれば、サブ画像データで検出された顔領域のサイズが閾値以下であれば、撮影者とは関係のない人物が映ったと判定し、このサイズが閾値以下の顔領域を除外して、顔検出処理の割合を設定することが可能となる。

なお、ここではサブ画像データで検出された顔領域についてのみサイズを判定する例をあげて説明を行ったが、これに限られるものではない。メイン画像データから検出された顔領域についても、サイズが閾値以下である顔領域を除外するようにしてもよい。ただし、サブ画像データにおける顔領域のサイズはおおよそ一定の範囲に収まるのに対して、メイン画像データにおける顔領域のサイズは、撮影の構図によって様々である。そのため、メイン画像データから複数の顔領域が検出された場合に、そのサイズの相対値によって、顔領域のサイズの閾値を設定するようにすればよい。

（第６の実施形態）
次に、本発明の第６の実施形態について説明する。

本実施形態では、上述した第１の実施形態ないし第５の実施形態を全て考慮して、顔検出処理割合決定を行う。

図９は、本発明に係るデジタルカメラにおける、サイズの条件を加えた顔領域の数、個人認識結果、パンニング動作の判定結果、およびセルフタイマー動作の設定の有無に応じて、顔検出処理の割合を設定する処理を説明するための図である。

ＣＰＵ１１４は、メイン画像データとサブ画像データに対する顔検出処理の割合の初期値として、両方に対して５０％という値を設定している。

ＣＰＵ１１４は、設定されている顔検出処理の割合で、顔検出部１０８にメイン画像データおよびサブ画像データに対して顔検出処理を行わせる。ＣＰＵ１１４はメイン画像データから検出された顔領域の数Ｆｍ、および、サブ画像データから検出された顔領域のうちサイズが閾値よりも大きい顔領域の数Ｆｓｓを取得する（ステップＳ９０１）。

ＣＰＵ１１４は、個人認識部１０９に、メイン画像データから検出された顔領域、および、サブ画像データから検出された顔領域のうちサイズが閾値よりも大きい顔領域に対して、個人認識処理を行わせる（ステップＳ９０２）。そして、メイン画像データにおいて個人認証に成功した顔領域の数をＰｍ、サブ画像データにおいて個人認証に成功した顔領域の数をＰｓとする。

ＣＰＵ１１４は、動きベクトル検出部１１０で検出された動きベクトルに基づいて、パンニング動作の判定を行い、パンニング動作がされていると判定したならばＮ＝１とし、そうでないならばＮ＝０とする（ステップＳ９０３）。

ＣＰＵ１１４は、ステップＳ９０１乃至Ｓ９０３で得られた値を、下記に示す式１２および式１３に当てはめ、メイン画像データに対する評価値Ｖｍと、サブ画像データに対する評価値Ｖｓを算出する（ステップＳ９０４）。
Ｖｍ＝Ｆｍ×２＋Ｐｍ×４＋Ｎ×４＋１ ・・・（式１２）
Ｖｓ＝Ｆｓｓ＋Ｐｓ×２＋１ ・・・（式１３）

ＣＰＵ１１４は、セルフタイマー動作が設定されているか否かを判定し、セルフタイマー動作が設定されているならば、Ｖｓ＝０とする（ステップＳ９０５）。

ＣＰＵ１１４は、得られた評価値Ｖｍと評価値Ｖｓの割合に応じて、次の顔検出処理に係る所定周期におけるメイン画像データとサブ画像データに対する顔検出処理を行う割合を決定する（ステップＳ９０６）。

本実施形態によれば、メイン画像データとサブ画像データから検出された顔領域に関する情報に加え、デジタルカメラ１００自身に関する情報を考慮して、顔検出処理のリソースを適切に配分することが可能となる。

以上のように、上述した各実施形態によれば、顔検出処理のリソースを増やさずに、以降のフレームにおけるメイン画像データとサブ画像データに対する顔検出処理を効率的に行うことができるようになる。

そして、デジタルカメラ１００は、第１および第２のカメラ部に対し、それぞれのカメラ部で得られた画像データで検出された顔領域に基づいて、焦点調整制御、露出調節制御、およびホワイトバランス制御などの撮影動作を制御することができる。

また、デジタルカメラ１００は、それぞれのカメラ部で得られた画像データに対し、顔領域を基に人物が占める領域を抽出し、人物が占める領域以外に対して強めの平滑化処理を行う。このような処理を行うことで、人物にのみピントがあったような画像データに加工することができるようになる。

また、デジタルカメラ１００は、それぞれの画像データを符号化する際に、人物が占める領域以外の領域の符号量を抑制するように、領域毎に圧縮率を変更することもできる。こうすることで、人物に対する鮮鋭度を維持しつつ、圧縮後の画像データのサイズを小さくすることができるようになる。

また、デジタルカメラ１００は、サブ画像データから検出された顔領域を切り出して縮小し、メイン画像データに合成することもできる。このようにすることで、ユーザは、主たる被写体を撮影した時の撮影者の表情も同時に確認できることができるようになる。

このように、デジタルカメラ１００は、メイン画像データとサブ画像データのそれぞれから検出された顔領域を利用することで、ユーザにとって利便性の高い処理を提供することが可能となる。

なお、上述した各実施形態では、画像データから被写体領域を検出する例として人物の顔領域を例にあげて説明を行ったが、人物を検出する機能を有するのであれば、顔にかぎらず、人物のシルエットや人体を検出するような構成としてもよい。また、ペットを撮影する際には、メイン画像データからは犬や猫などの顔領域を検出し、サブ画像データからは人物の顔領域を検出するようにしてもよい。顔検出部１０８は人物の顔を検出するためのパラメータと犬や猫などの顔を検出するパラメータを有しており、メイン画像データから顔領域を検出する場合とサブ画像データから顔領域を検出する場合とで、これらのパラメータを切り替えるように構成すればよい。

（その他の実施形態）
上述した実施形態は本発明の例示的な一実施形態であり、その具体的な数値を含め、いかなる意味においても実施形態の内容は本発明を限定しない。本発明に含まれる範囲は特許請求の範囲の記載によってのみ規定される。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 画像処理装置
１０３ 第１のレンズユニット
１０４ 第１の撮像素子
１０５ 第２のレンズユニット
１０６ 第２の撮像素子
１０７ カメラ信号処理部
１０８ 顔検出部
１０９ 個人認識部
１１０ 動きベクトル検出部
１１１ パネル部
１１４ ＣＰＵ
１１６ ＲＯＭ
１１８ タイマー
１１９ 操作キー

Claims (12)

1. 第１の撮像手段で生成された第１の画像データと、第２の撮像手段で生成された第２の画像データが入力され、前記第１の画像データおよび前記第２の画像データから被写体領域を検出する検出手段を有し、
   前記検出手段は、前記第１の画像データにおける前記被写体領域の検出結果と、前記第２の画像データにおける前記被写体領域の検出結果に応じて、以降における、前記第１の画像データから前記被写体領域を検出する第１の検出処理を行う割合と、前記第２の画像データから前記被写体領域を検出する第２の検出処理を行う割合を設定することを特徴とする画像処理装置。
2. 前記検出手段は、前記第１の検出処理と前記第２の検出処理を同時に行えないことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の画像データにおける前記被写体領域の検出結果に基づく評価値と、前記第２の画像データにおける前記被写体領域の検出結果に基づく評価値を算出する評価手段を有し、
   前記検出手段は、前記第１の画像データに対する評価値と、前記第２の画像データに対する評価値の割合に基づいて、前記第１の検出処理を行う割合と前記第２の検出処理を行う割合を設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記検出結果は、前記検出手段が検出できた前記被写体領域の数を含み、
   前記評価手段は、前記検出手段が検出した前記被写体領域の数が多いほど、前記評価値を高く算出することを特徴とする請求項３に記載の画像処理装置。
5. 前記評価手段は、前記検出手段が検出した前記被写体領域のうち、サイズが閾値以下の被写体領域については、前記検出手段が検出した前記被写体領域の数に含めないことを特徴とする請求項４に記載の画像処理装置。
6. 前記検出手段で検出された前記被写体領域に関するデータが入力され、前記被写体領域が予め登録された識別データと同一の被写体であるか否かを判定する認識手段を有し、
   前記評価手段は、前記認識手段が識別に成功した前記被写体領域の数が多いほど、前記評価値を高く算出することを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
7. 前記画像処理装置にパンニング動作が生じているか否かを判定するための動き検出手段を有し、
   前記評価手段は、前記動き検出手段によって前記パンニング動作が生じている判定された場合には、前記パンニング動作が生じていないと判定された場合に比べ、前記評価値を高く算出することを特徴とする請求項３乃至６のいずれか１項に記載の画像処理装置。
8. 前記第１の画像データおよび前記第２の画像データがセルフタイマーの機能を用いて撮影された画像であるか否かを判定するためのセルフタイマーの検出手段を有し、
   前記検出手段は、前記セルフタイマーの機能を用いて撮影された画像であることを検出した場合には、前記第２の検出処理を行わないことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記評価手段は、前記被写体領域の検出結果に対して係数を掛けることで評価値を算出するものであり、前記第１の画像データに対する前記係数の値を、前記第２の画像データに対する前記係数の値よりも大きくすることを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
10. 前記第１の画像データを生成する第１のカメラ部と、前記第１のカメラ部が配置された面の反対側の面に配置され、前記第２の画像データを生成する第２のカメラ部を有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 第１の撮像手段で生成された第１の画像データと、第２の撮像手段で生成された第２の画像データが入力される入力工程と、
    前記第１の画像データおよび前記第２の画像データから被写体領域を検出する第１の検出工程と、
    前記検出工程において、前記第１の画像データにおける前記被写体領域の検出結果と、前記第２の画像データにおける前記被写体領域の検出結果に応じて、前記第１の画像データから前記被写体領域を検出する第１の検出処理を行う割合と、前記第２の画像データから前記被写体領域を検出する第２の検出処理を行う割合を設定する設定工程と、
    前記設定工程において設定された割合に従い、前記第１の画像データおよび前記第２の画像データから被写体領域を検出する第２の検出工程と、を有することを特徴とする画像処理方法。
12. コンピュータを、請求項１乃至請求項９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images