JP5952782B2 - 画像処理装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、画像から被写体を検出する技術に関する。

最近のデジタルカメラには、撮影者から見える被写体を撮影する通常のカメラ（アウトカメラ）とともに、撮影者自身や撮影者側の被写体を撮影するカメラ（インカメラ）が搭載されている。このようなアウトカメラとインカメラを搭載するデジタルカメラでは、シャッターボタンを押すとアウトカメラとインカメラのシャッターを同時にレリーズさせて撮影を行い、インカメラ側の画像を、アウトカメラ側の画像と関連付けて記録することができる。

例えば、特許文献１には、アウトカメラ画像の被写体検出とインカメラ画像の被写体検出を交互に行い、アウトカメラ画像の被写体とインカメラ画像の被写体を比較して一致した場合になりすましと判断する技術が記載されている。

特開２００８−１０７９４２号公報

上記特許文献１では、１つの被写体検出部がアウトカメラ画像とインカメラ画像を交互に処理することで、アウトカメラ画像およびインカメラ画像の被写体検出を実現している。したがって、１枚の画像を１つの被写体検出部で処理する場合に比べて、被写体検出部に入力する画像のフレームレートが低下してしまう。

また、フレームレートの低下を抑えるために、アウトカメラ画像とインカメラ画像をそれぞれ処理するために被写体検出部を増設すると、コストおよび消費電力が増加してしまう。

本発明は、上記課題に鑑みてなされ、その目的は、アウトカメラ画像およびインカメラ画像の被写体検出を行う際に、コストや消費電力を増加させず、検出処理レートの低下も抑えることができる被写体検出技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の画像処理装置は、被写体を撮像して第１の画像を生成する第１の撮像手段と、撮影者を撮像して第２の画像を生成する第２の撮像手段と、前記第１の画像をリサイズする第１の変倍処理手段と、前記第２の画像をリサイズする第２の変倍処理手段と、前記第１の変倍処理手段によってリサイズされた第１の画像と、前記第２の変倍処理手段によってリサイズされた第２の画像を合成し、検出用画像を生成する第１の合成処理手段と、前記第１の変倍処理手段によってリサイズされた第１の画像と、前記第２の変倍処理手段によってリサイズされた第２の画像を合成し、表示手段に表示するための表示用画像を生成する第２の合成処理手段と、前記検出用画像から被写体の領域を検出する検出手段と、を有し、前記第１の合成処理手段は、前記第１の変倍処理手段によって前記検出手段による検出処理が可能なサイズにリサイズされた前記第１の画像と、前記第２の変倍処理手段によって前記検出手段による検出処理が可能なサイズにリサイズされた前記第２の画像を合成して、前記検出用画像を生成する。

本発明によれば、アウトカメラ画像およびインカメラ画像の被写体検出を行う際に、コストや消費電力を増加させず、検出処理レートの低下も抑えることができる。

本発明に係る実施形態の装置構成を示すブロック図。 実施形態１のアウトカメラ画像（ａ）、インカメラ画像（ｂ）、顔検出用画像（ｃ）、表示用画像（ｄ）を例示する図。 実施形態１の顔検出処理を示すフローチャート。 実施形態２のアウトカメラ画像（ａ）、インカメラ画像（ｂ）、顔検出用画像（ｃ）、表示用画像（ｄ）を例示する図。 実施形態２の空き領域の判定処理を説明する図。 実施形態２の顔検出処理を示すフローチャート。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

以下、本発明の画像処理装置を、動画や静止画を撮影するデジタルカメラ等の撮像装置により実現した例について説明するが、本発明は撮影機能を有するスマートフォン等の携帯型電子機器等にも適用可能である。

＜装置構成＞図１を参照して、本実施形態のデジタルカメラ（以下、カメラ）の構成について説明する。

図１に示すカメラ１００において、細い実線はブロック間の結線を示し、太い矢印はメモリ制御部１０１を介したメモリと各ブロック間のデータの入出力の方向を示し、細い矢印はメモリ制御部１０１を介さないデータの入出力の方向を示している。また、太線はデータバスを示す。

メモリ制御部１０１は、画像データを格納するメモリ１０２へのデータの入出力を制御する。メモリ１０２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ１０２に対するデータの入出力はメモリ制御部１０１を介して行われる。メモリ１０２は、所定枚数の静止画や所定時間の動画および音声を格納するのに十分な記憶容量を備えている。

Ｄ／Ａ変換部１０３は、メモリ１０２に格納されている画像表示用のデータをアナログ信号に変換して表示部１０４に供給する。

表示部１０４は、ＬＣＤパネルなどの表示装置であり、Ｄ／Ａ変換部１０３から供給されたアナログ信号に応じた画像、操作補助のためのＧＵＩ、カメラ状態等の表示のほか、撮影時には撮影画面と焦点検出領域を表示する。本実施形態における表示部１０４の解像度は、水平６４０画素、垂直４８０画素（以下、６４０ｘ４８０と表記する）である。

不揮発性メモリ１０５は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１０５には、システム制御部１０６の動作用の定数、プログラム等が記憶される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部１０６は、カメラ１００全体を制御するシステム制御部である。システム制御部１０６は、不揮発性メモリ１０５に記録されたプログラムを実行することで、後述する実施形態の各処理を実現する。

システムメモリ１０７は、システム制御部１０６の動作用の定数、変数、不揮発性メモリ１０５から読み出したプログラム等を展開するためのＲＡＭである。

操作部１０８は、表示部１０４に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば撮影ボタン、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１０４に表示される。利用者は、表示部１０４に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

１０９は、カメラ１００に着脱可能なメモリカードやハードディスク等の記録媒体であり、Ｉ／Ｆ（インターフェース）１１０を介してアクセス可能に接続される。

第１の画像出力部１２０は、撮影者から見える被写体を撮像するための第１の撮像手段としてのアウトカメラモジュールである。第２の画像出力部１３０は、撮影者を撮像するための第２の撮像手段としてのインカメラモジュールである。

各画像出力部１２０、１３０は、撮影レンズ１２１、１３１、撮像部１２２、１３２、Ａ／Ｄ変換部１２３、１３３、画像処理部１２４、１３４を備える。

撮影レンズ１２１、１３１はズームレンズ、フォーカスレンズ、絞りを含む撮像光学系である。撮像部１２２、１３２は被写体（撮影者）の光学像を電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子で構成されるイメージセンサである。

Ａ／Ｄ変換部１２３、１３３は、撮像素子の出力ノイズを除去するＣＤＳ（相関二重サンプリング処理）回路やＡ／Ｄ変換前に処理を行う非線形増幅回路を含み、撮像部１２２、１３２から出力されるアナログ信号をデジタル信号に変換する。

画像処理部１２４、１３４は、Ａ／Ｄ変換部１２３、１３３からのデータに対し所定の色変換処理を行う。また、画像処理部１２４、１３４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部１０６が露光制御、測距制御を行う。

画像処理部１２４、１３４で各種処理が施されたアウトカメラ画像１２５およびインカメラ画像１３５はメモリ１０２に格納される。アウトカメラ画像およびインカメラ画像のサイズはそれぞれ６４０ｘ４８０である。

第１の変倍処理部１４０および第２の変倍処理部１４１は、メモリ１０２から入力した画像に対して所定の画素補間、縮小といったリサイズ処理を行う。第１の変倍処理部１４０は、アウトカメラ画像１２５にリサイズ処理を行い、メモリ１０２に出力する。第２の変倍処理部１４１は、インカメラ画像１３５にリサイズ処理を行い、メモリ１０２に出力する。

第１の合成処理部１５０および第２の合成処理部１５１は、メモリ１０２から入力したアウトカメラ画像１２５およびインカメラ画像１３５の２枚の画像を１枚の画像に合成し、合成した画像をメモリ１０２に出力する。第１の合成処理部１５０は、被写体の顔を検出するための顔検出部１６０に出力する顔検出用画像１９１を生成する。第２の合成処理部１５１は、Ｄ／Ａ変換部１０３を介して表示部１０４に表示するための表示用画像１９２を生成する。

顔検出用画像１９１は、第１の合成処理部１５０からメモリ１０２に出力される。表示用画像１９２は、第２の合成処理部１５１からメモリ１０２に出力される。

顔検出部１６０は、メモリ１０２から入力した顔検出用画像１９１に含まれる被写体としての人物の顔の数、顔の位置、顔の大きさを検出し、その顔検出結果をメモリ１０２に出力する。顔検出部１６０が処理可能な画像のサイズは６４０ｘ４８０である。

人体検出部１８０は、メモリ１０２から入力した顔検出用画像１９１に対し、例えば移動体の抽出やエッジ検出などの適宜の画像処理を用いた公知の人体検出技術により人体の数、人体の位置、人体の大きさを検出し、その検出結果をメモリ１０２に出力する。なお、人体検出処理の詳細については公知であるので説明は省略する。

＜動作説明＞次に、図２及び図３を参照して、実施形態１の顔検出処理について説明する。

以下では、第１及び第２の変倍処理部１４０、１４１がアウトカメラ画像１２５およびインカメラ画像１３５をリサイズ処理し、第１の合成処理部１５０が各画像を合成した顔検出用画像を生成して顔検出部１６０に出力する例について述べる。

図２（ａ）は、アウトカメラ画像１２５を例示し、サイズは６４０ｘ４８０である。図２（ｂ）は、インカメラ画像１３５を例示し、サイズは６４０ｘ４８０である。図２（ｃ）は、顔検出用画像１９１を例示し、アウトカメラ画像１２５およびインカメラ画像１３５を顔検出部１６０で処理可能なサイズである６４０ｘ４８０の範囲に収まるようにリサイズ処理し、隣接して配置された合成画像である。アウトカメラ画像１２５は水平４８０画素、垂直３６０画素（以下、４８０ｘ３６０と表記）になるようにリサイズ率４分の３でリサイズされ、位置（０，０）に配置されている。インカメラ画像１３５は、１６０ｘ１２０になるようにリサイズ率４分の１でリサイズされ、位置（０，３６０）に配置されている。

図２（ｄ）は、表示部１０４に表示される表示用画像１９２を例示し、インカメラ画像１３５がアウトカメラ画像１２５上に重畳するよう配置されている。アウトカメラ画像１２５は表示部１０４の解像度である６４０ｘ４８０の範囲内であるために第２の変倍処理部１４１によるリサイズ処理は行わず、位置（０，０）に配置されている。インカメラ画像１３５は、１６０ｘ１２０になるようにリサイズ率４分の１でリサイズされ、位置（４４０，１０）に配置されている。

なお、顔検出部１６０で処理可能なサイズに収まるように配置されていれば、第２の変倍処理部１４１のリサイズ率、および第２の合成処理部１５１が合成する位置は、図２（ｃ）に示す値に限定しない。例えば、アウトカメラ画像１２５をリサイズ率４分の１でリサイズし、インカメラ画像をリサイズ率４分の３でリサイズすることにより、アウトカメラ画像１２５に比べてインカメラ画像１３５の顔検出精度を向上させることが可能となる。

なお、表示用画像１９２は、顔検出用画像１９１と異なる画像であれば、図２（ｄ）に示す配置に限定されない。例えば、システム制御部１０６がアウトカメラ画像１２５を表示部１０４に表示するように制御することにより、アウトカメラモジュールで撮像した被写体がインカメラモジュールで撮像した画像によって隠れてしまうことを防止できる。

次に、図３を参照して、本実施形態の顔検出処理について説明する。

なお、図３に示す処理は、システム制御部１０６が不揮発性メモリ１０５に格納されたプログラムをシステムメモリ１０７に展開して実行することにより実現される。

図３において、ステップＳ３０１では、システム制御部１０６は、第１の画像出力部１２０によりアウトカメラ画像１２５を撮影し、メモリ１０２に出力する。

ステップＳ３０２では、システム制御部１０６は、第２の画像出力部１３０によりインカメラ画像１３５を撮影し、メモリ１０２に出力する。

ステップＳ３０３では、システム制御部１０６は、第１の変倍処理部１４０によるアウトカメラ画像１２５のリサイズ率を、図２（ｃ）に示す４分の３に設定する。そして、第１の変倍処理部１４０は、メモリ１０２に格納されたアウトカメラ画像１２５のリサイズ処理を行い、メモリ１０２に出力する。

ステップＳ３０４では、システム制御部１０６は、第２の変倍処理部１４１によるインカメラ画像１３５のリサイズ率を、図２（ｃ）に示す４分の１に設定する。そして、第２の変倍処理部１４１は、メモリ１０２に格納されたインカメラ画像１３５のリサイズ処理を行い、メモリ１０２に出力する。

ステップＳ３０５では、第１の合成処理部１５０は、ステップＳ３０３、Ｓ３０４でリサイズされたアウトカメラ画像１２５とインカメラ画像１３５とが隣接して配置されるように合成し、合成画像を顔検出用画像１９１としてメモリ１０２に出力する。図２（ｃ）の例では、第１の合成処理部１５０は、アウトカメラ画像１２５を位置（０，０）、インカメラ画像１３５を位置（０，３６０）に配置して合成し、合成画像として顔検出用画像１９１を生成する。

ステップＳ３０６では、システム制御部１０６は、顔検出部１６０に入力された顔検出用画像１９１に対して顔検出処理を行う。

ステップＳ３０７では、第２の合成処理部１５１は、ステップＳ３０１で第１の画像出力部１２０から出力されたアウトカメラ画像１２５と、ステップＳ３０４で第２の変倍処理部１４１から出力されたインカメラ画像１３５とを合成する。そして、第２の合成処理部１５１は、合成画像を表示用画像１９２としてメモリ１０２に出力する。この表示用画像１９２は、顔検出用画像１９１とは異なる配置で合成される。また、システム制御部１０６は、メモリに出力された表示用画像１９２を表示部１０４に表示する。図２（ｄ）の例では、第２の合成処理部１５１は、アウトカメラ画像１２５を位置（０，０）に配置し、インカメラ画像１３５を位置（４４０，１０）に配置して合成する。

ステップＳ３０８では、システム制御部１０６は、操作部１０８を介してユーザから処理の終了指示を受け付けたか判定し、受け付けた場合は処理を終了し、受け付けなかった場合はステップＳ３０１に戻る。

以上のように、本実施形態によれば、システム制御部１０６は、アウトカメラ画像１２５と、リサイズ後のインカメラ画像１３５とを合成し、顔検出部１６０へ出力する。顔検出部１６０は、合成画像に対して顔検出処理を行う。このように構成したことにより、２枚以上の画像から顔検出を行う場合と比べて、顔検出処理に要するコストや消費電力を増加せずに、入力画像のフレームレートを低下させることなく、顔検出を行える。

なお、図３のステップＳ３０６では、システム制御部１０６は、顔検出部１６０により顔検出処理を行ったが、人体検出部１８０により人体領域を検出しても良い。この場合、２枚以上の画像から人体検出を行う場合と比べて、人体検出処理に要するコストや消費電力を増加せずに、入力画像のフレームレートを低下させることなく、顔検出を行える。

［実施形態２］次に、図４乃至図６を参照して、実施形態２として、アウトカメラ画像１２５に含まれる人物に重畳しない領域（以下、空き領域）に、インカメラ画像１３５を配置して合成する例について説明する。

図４（ａ）は、図２（ａ）と同じアウトカメラ画像１２５を例示し、サイズは６４０ｘ４８０である。図４（ｂ）は、図２（ｂ）と同じインカメラ画像１３５を例示し、サイズは６４０ｘ４８０である。図４（ｃ）は、顔検出用画像１９１を例示し、アウトカメラ画像１２５の領域を複数に分割し（図示では、１６分割）、インカメラ画像１３５が分割領域に収まるようにリサイズされて配置される。図４（ｃ）において、４００は本実施形態の顔検出用画像１９１を示し、顔検出部１６０に入力可能なサイズ（６４０ｘ４８０）であり、アウトカメラ画像１２５のサイズと等しい。４０１はアウトカメラ画像１２５の領域を分割した分割領域を示す。分割領域４０１のサイズは１６０ｘ１２０であり、インカメラ画像１３５は、分割領域４０１のサイズに収まるようにリサイズ率４分の１でリサイズされ、位置（０，０）に配置される。以下、それぞれの分割領域４０１を領域０〜領域１５と呼ぶ。４０２は、顔検出用画像１９１から検出したアウトカメラ画像１２５に含まれる人物の領域を示し、その位置は（３００，８０）、大きさは水平１００画素、垂直１００画素（以下、１００ｘ１００）であり、領域４、領域５、領域８、領域９に相当する。図４（ｄ）は、図２（ｄ）と同じ表示用画像１９２を例示している。

なお、分割領域４０１のサイズは図４（ｃ）に例示する数値に限定されない。例えば、アウトカメラ画像１２５の領域を０〜３の計４領域に分割することにより、領域０〜領域３のサイズは３２０ｘ２４０となる。この場合のインカメラ画像１３５のリサイズ率は２分の１であり、図４（ｃ）に例示する数値に比べてインカメラ画像１３５の顔検出精度を向上させることが可能となる。

ここで、図５を参照して、本実施形態の顔検出処理における、アウトカメラ画像１２５の空き領域を判定する処理について説明する。

図５において、５０１は、顔検出用画像１９１の推移を示し、左上の番号はフレーム番号である。以下、図５の５０１に示す顔検出用画像１９１をフレーム１、フレーム２、フレーム３と呼ぶ。

５０２は、顔検出用画像１９１に含まれる人物の顔領域の推移を示す。斜線の領域は、顔検出用画像１９１に含まれる人物の顔領域を示す。

顔領域とは、図４（ｃ）に示す分割領域において、顔検出部１６０が検出した領域が重畳する領域を示す。フレーム１に含まれる人物の顔領域は、領域０、領域５、領域９である。フレーム２に含まれる人物の顔領域は、領域１、領域９、領域１３である。フレーム３に含まれる人物の顔領域は、領域０、領域５、領域９である。

５０３は、アウトカメラ画像１２５における空き領域の推移を示す。白抜きの領域は、顔検出用画像１９１に含まれる人物の顔領域を示す。太枠の領域は、インカメラ画像１３５を合成する領域を示す。フレーム１における空き領域は、領域０〜領域１５であり、インカメラ画像１３５を合成する位置は領域０である。フレーム２における空き領域は、領域０、領域５、領域９以外の領域であり、インカメラ画像１３５を合成する位置は領域１である。フレーム３における空き領域は、領域１、領域９、領域１３以外の領域であり、インカメラ画像１３５を合成する位置は領域１である。

次に、図６を参照して、本実施形態の顔検出処理について説明する。

なお、図６に示す処理は、システム制御部１０６が不揮発性メモリ１０５に格納されたプログラムをシステムメモリ１０７に展開して実行することにより実現される。また、図６において、ステップＳ６０１、Ｓ６０２は、図３のステップＳ３０１、Ｓ３０２と同様である。

ステップＳ６０３では、システム制御部１０６は、第２の変倍処理部１４１によるインカメラ画像１３５のリサイズ率を、図４（ｃ）に示す４分の１に設定する。そして、第２の変倍処理部１４１は、メモリ１０２に格納されたインカメラ画像１３５のリサイズ処理を行い、メモリ１０２に出力する。

ステップＳ６０４では、システム制御部１０６は、変数ｉに０を代入する。変数ｉは、図４（ｃ）に示す領域０〜１５が空き領域であるか否かを順次判定する際のカウンタを示す変数であり、０〜１５の値が、それぞれ領域０〜領域１５に対応する。以下、変数ｉが示す領域を領域ｉと呼ぶ。

ステップＳ６０５では、システム制御部１０６は、変数ｉが１６未満であるか否かを判定する。１６未満であると判定した場合、図４（ｃ）に示す領域０〜領域１５の全ての領域に対する判定が終了していないとみなし、ステップＳ６３０に進む。

ステップＳ６３０では、システム制御部１０６は、領域ｉが空き領域であるか否かを判定する。ここで、空き領域を決定するために、システム制御部１０６は１フレーム前の顔検出結果に基づいてインカメラ画像１３５を重畳させる位置を決定する。図５に示すフレーム１では、顔検出部１６０は顔検出結果を出力していない。この場合、図５に示すフレーム１における空き領域は、領域０〜領域１５となるため、領域０にインカメラ画像１３５を合成する。

図５に示すフレーム２において、システム制御部１０６はフレーム１の顔検出結果に基づいてインカメラ画像１３５を重畳させる位置を決定する。フレーム１における顔領域は、領域０、領域５、領域９である。この場合、フレーム２における空き領域は、領域０、領域５、領域９以外の領域となるため、領域１にインカメラ画像１３５を合成する。

図５に示すフレーム３において、システム制御部１０６はフレーム２の顔検出結果に基づいてインカメラ画像１３５を重畳させる位置を決定する。フレーム２における顔領域は、領域１、領域９、領域１３である。この場合、フレーム３における空き領域は、領域１、領域９、領域１３以外の領域となるため、領域１にインカメラ画像１３５を合成する。

このようにしてステップＳ６３０で領域ｉが空き領域であると判定されなかった場合、ステップＳ６１１に進み、システム制御部１０６は、変数ｉをカウントアップし、ステップＳ６０５に戻る。

一方、ステップＳ６３０で領域ｉが空き領域であると判定された場合は、ステップＳ６０７に進む。第１の合成処理部１５０は、ステップＳ６０１で出力されたアウトカメラ画像１２５の領域ｉに、ステップＳ６０３でリサイズしたインカメラ画像１３５を重畳させるように合成する。そして、第１の合成処理部１５０は、合成画像を顔検出用画像１９１としてメモリ１０２に出力する。図４（ｃ）の例では、第１の合成処理部１５０は、変数ｉは０を示しているので、アウトカメラ画像１２５を位置（０，０）、インカメラ画像１３５を位置（０，０）に配置して合成する。

ステップＳ６０８〜ステップＳ６１０は、図３のステップＳ３０６〜ステップＳ３０８と同様である。

一方、ステップＳ６０５で変数ｉが１６未満ではないと判定された場合、システム制御部１０６は、図４（ｃ）に示す領域０〜領域１５の全ての領域において空き領域が存在しなかったとみなし、ステップＳ６１２に進む。

ステップＳ６１２では、システム制御部１０６は、顔検出部１６０に入力されたアウトカメラ画像１２５に対して顔検出処理を行い、ステップＳ６０９に進む。

以上のように、本実施形態によれば、システム制御部１０６は、アウトカメラ画像１２５の顔を含まない空き領域に、リサイズ後のインカメラ画像１３５を重畳するように合成し、顔検出部１６０へ出力する。これにより、実施形態１の効果に加えて、インカメラ画像１３５を顔検出部１６０で処理可能なサイズにリサイズする際のリサイズ率を抑えることができるので、実施形態１に比べてアウトカメラ画像１２５の顔検出精度を向上させることができる。

なお、図６のステップＳ６０８では、システム制御部１０６は、顔検出部１６０により顔検出処理を行ったが、人体検出部１８０により人体領域を検出しても良い。この場合、実施形態１の効果に加え、実施形態１と比べてアウトカメラ画像１２５の人体検出精度を向上させることができる。

さらに、図６のステップＳ６１２では、システム制御部１０６は、顔検出部１６０によりアウトカメラ画像１２５に対して顔検出処理を行ったが、これに限られるものではない。システム制御部１０６が、所定の評価値に基づいてアウトカメラ画像１２５における主要被写体を決定し、主要被写体を含まない空き領域にインカメラ画像１３５を重畳しても良い。例えば、所定の評価値として前フレームで検出したアウトカメラ画像１２５における被写体の顔の大きさを用いることができる。この場合、顔の大きさが最も大きい被写体を主要被写体と判定し、主要被写体以外の領域にインカメラ画像１３５を重畳するように合成する。このようにすることで、アウトカメラ画像１２５に空き領域が存在しなかった場合でも、アウトカメラ画像１２５に含まれる主要被写体とインカメラ画像１３５に対して顔検出を行うことが可能である。

さらにまた、所定の評価値として前フレームで検出したアウトカメラ画像１２５における被写体の顔の位置を用いることもできる。この場合、アウトカメラ画像１２５における顔の位置が最も中心寄りの被写体を主要被写体と判定し、主要被写体以外の領域にインカメラ画像１３５を重畳するように合成する。このようにすることで、アウトカメラ画像１２５に空き領域が存在しなかった場合でも、アウトカメラ画像１２５に含まれる主要被写体とインカメラ画像１３５に対して顔検出を行うことが可能である。

なお、本実施形態において、被写体は人物に限らず、人以外の動物でも同様の処理を行えるものである。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (11)

1. 被写体を撮像して第１の画像を生成する第１の撮像手段と、
   撮影者を撮像して第２の画像を生成する第２の撮像手段と、
   前記第１の画像をリサイズする第１の変倍処理手段と、
   前記第２の画像をリサイズする第２の変倍処理手段と、
   前記第１の変倍処理手段によってリサイズされた第１の画像と、前記第２の変倍処理手段によってリサイズされた第２の画像を合成し、検出用画像を生成する第１の合成処理手段と、
   前記第１の変倍処理手段によってリサイズされた第１の画像と、前記第２の変倍処理手段によってリサイズされた第２の画像を合成し、表示手段に表示するための表示用画像を生成する第２の合成処理手段と、
   前記検出用画像から被写体の領域を検出する検出手段と、を有し、
   前記第１の合成処理手段は、前記第１の変倍処理手段によって前記検出手段による検出処理が可能なサイズにリサイズされた前記第１の画像と、前記第２の変倍処理手段によって前記検出手段による検出処理が可能なサイズにリサイズされた前記第２の画像を合成して、前記検出用画像を生成することを特徴とする画像処理装置。
2. 前記表示用画像は、前記検出用画像とは異なる画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の変倍処理手段による前記第１の画像のリサイズ率と、前記第２の変倍処理手段による前記第２の画像のリサイズ率とが異なることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の画像のリサイズ率は、前記第２の画像のリサイズ率より大きいことを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の画像のリサイズ率は、前記第２の画像のリサイズ率より小さいことを特徴とする請求項３に記載の画像処理装置。
6. 前記第１および第２の合成処理手段は、前記第１の画像に前記第２の画像を合成するための空き領域があるか判定し、
   前記空き領域がある場合には、当該空き領域に対して前記第２の画像を重畳し、
   前記空き領域がない場合には、所定の評価値に基づいて前記第１の画像に含まれる主要被写体を決定し、当該主要被写体を含まない領域に対して前記第２の画像を重畳することを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
7. 前記検出手段は、人物の顔領域または人体領域を検出し、
   前記所定の評価値とは、前記検出手段により検出された人物の顔領域または人体領域の大きさであることを特徴とする請求項６に記載の画像処理装置。
8. 前記検出手段は、人物の顔領域または人体領域を検出し、
   前記所定の評価値とは、前記検出手段により検出された人物の顔または人体領域の位置であることを特徴とする請求項６に記載の画像処理装置。
9. 被写体を撮像して第１の画像を生成する第１の撮像手段と、撮影者を撮像して第２の画像を生成する第２の撮像手段と、表示手段とを有する画像処理装置の制御方法であって、
   前記第１の画像をリサイズする第１の変倍処理ステップと、
   前記第２の画像をリサイズする第２の変倍処理ステップと、
   前記第１の変倍処理ステップにおいてリサイズされた第１の画像と、前記第２の変倍処理ステップにおいてリサイズされた前記第２の画像を合成し、検出用画像を生成する第１の合成処理ステップと、
   前記第１の変倍処理ステップにおいてリサイズされた第１の画像と、前記第２の変倍処理ステップにおいてリサイズされた第２の画像を合成し、前記表示手段に表示するための表示用画像を生成する第２の合成処理ステップと、
   前記検出用画像から被写体の領域を検出する検出ステップと、を有し、
   前記第１の合成処理ステップでは、前記第１の変倍処理ステップにおいて前記検出ステップにおける検出処理が可能なサイズにリサイズされた前記第１の画像と、前記第２の変倍処理ステップにおいて前記検出ステップにおける検出処理が可能なサイズにリサイズされた前記第２の画像を合成して、前記検出用画像を生成することを特徴とする制御方法。
10. コンピュータを、請求項１ないし８のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
11. コンピュータを、請求項１ないし８のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラムを格納した記憶媒体。

Images