JP4904243B2 - 撮像装置及び撮像制御方法 - Google Patents

Description

本発明は撮像装置及び撮像制御方法に係り、特に男女の被写体間の距離が適正でないことを告知する撮像装置及び撮像制御方法に関する。

撮像装置で撮像された画像から人物を検出し、構図アシストを行う装置が知られている。例えば、特許文献１には、画像データから抽出された被写体の領域に基づいて、ガイド表示が示す撮影の構図に被写体を近づけるための指示を出力する電子カメラについて記載されている。特許文献１の技術によれば、被写体又は撮影者がこの指示に従うだけで、ガイド表示が見づらい条件の下においても、撮影者が意図する構図に撮影画像を近づけることが可能である。また、特許文献２には、液晶表示パネルに表示中の画像に被撮影者の視線の方向を補正するよう促す視線補正表示を行う撮像装置について記載されている。特許文献２の技術によれば、被撮影者に視線や顔の向きが不自然であることを気付かせ、自然な方向を向かせることを促すことが可能となる。
特開２００６−７４３６８号公報 特開２０００−３４１５６０号公報

男女が並んでいる場面を撮影する場合、遠慮から、男女間の距離が離れてしまうことがある。このような状態でそのまま撮影すると、自然な写真にならない。しかしながら、特許文献１や特許文献２の技術においては、被写体の人数や性別の状況に応じた適正な構図を指示することはできない。

本発明はこのような事情に鑑みてなされたもので、被写体の人数、性別に応じた適正な構図の画像を撮像することができる撮像装置及び撮像制御方法を提供することを目的とする。

前記目的を達成するために請求項１に記載の撮像装置は、撮像レンズを介して受光した被写体の光学像を画像信号に変換する撮像手段と、前記画像信号に基づいてスルー画像を表示する表示手段と、前記画像信号から人物を検出する人物検出手段と、前記検出された複数の人物間の距離を算出する距離算出手段と、前記算出された人物間の距離に基づいて人物間の距離が適正であるか否かを示す情報を前記表示手段に表示させる構図アシスト手段とを備えたことを特徴とする。

これにより、複数の人物が被写体である場合に、適正な構図の画像を得ることができる。

請求項２に示すように請求項１に記載の撮像装置において、前記算出された人物間の距離が適正距離である第１の所定距離よりも離れているか否かを判定する判定手段を備え、前記構図アシスト手段は、前記判定手段が前記人物間の距離が第１の所定距離より離れていると判定した場合には構図の変更が必要であることを示すアイコンを表示させ、前記人物間の距離が第１の所定距離より近いと判定した場合には適正構図であることを示すアイコンを表示させることを特徴とする。

これにより、適正構図であるか否かを撮影者が簡単に知ることができる。

請求項３に示すように請求項１又は２に記載の撮像装置において、前記算出された人物間の距離が適正距離である第１の所定距離よりも離れているか否かを判定する判定手段と、前記検出された複数の人物について適正構図となる人物位置を算出する手段とを備え、前記構図アシスト手段は、前記判定手段において前記人物間の距離が前記第１の所定距離より離れていると判定した場合に、前記算出した適正構図となる人物位置に枠を表示させることを特徴とする。

これにより、適正な構図の位置に被写体である人物を誘導することができる。

請求項４に示すように請求項３に記載の撮像装置において、前記適正構図となる人物位置は、人物間の距離が前記第１の所定距離となる位置であって、前記検出された複数の人物の位置を結ぶ直線の中心を通る垂線に対して、前記複数の人物が左右対称にシフトした位置であることを特徴とする。

これにより、適正な構図位置に枠を表示することができる。

前記目的を達成するために請求項５に記載の撮像装置は、撮像レンズを介して受光した被写体の光学像を画像信号に変換する撮像手段と、前記画像信号から人物を検出する手段と、前記検出された複数の人物間の距離を算出する距離算出手段と、前記算出された人物間の距離に基づいて人物間の距離が適正であるか否かを前記被写体に報知する構図アシスト手段とを備えたことを特徴とする。

これにより、複数の人物が被写体である場合に、適正な構図の画像を得ることができる。

請求項６に示すように請求項５に記載の撮像装置において、前記構図アシスト手段は、発光手段を供えたことを特徴とする。

これにより、被写体である人物は発光手段を目視するだけで適正構図であるか否かを知ることができる。

請求項７に示すように請求項６に記載の撮像装置において、前記算出された人物間の距離が適正距離である第１の所定距離よりも離れているか否かを判定する判定手段を備え、前記構図アシスト手段は、前記判定手段の判定結果に応じて前記発光手段を発光させることを特徴とする。

これにより、簡単に適正距離であるか否かを知ることができる。

請求項８に示すように請求項７に記載の撮像装置において、前記構図アシスト手段は、前記判定手段が前記人物間の距離が第１の所定距離より離れていると判定した場合には前記発光手段を点滅発光させ、前記人物間の距離が第１の所定距離より近いと判定した場合には前記発光手段を常時発光させることを特徴とする。

これにより、簡単に適正距離であるか否かを知ることができる。

請求項９に示すように請求項６から８のいずれかに記載の撮像装置において、前記構図アシスト手段は、前記人物間の距離に応じて前記発光手段の点滅周期を変更することを特徴とする。

これにより、簡単に適正距離であるか否かを知ることができる。

請求項１０に示すように請求項５から９のいずれかに記載の撮像装置において、前記構図アシスト手段は、音発生手段を供えたことを特徴とする。

これにより、被写体である人物は音を聞くだけで適正構図であるか否かを知ることができる。

請求項１１に示すように請求項５から１０のいずれかに記載の撮像装置において、前記算出された人物間の距離が適正距離である第１の所定距離よりも離れているか否かを判定する判定手段を備え、前記構図アシスト手段は、前記判定手段の判定結果に応じて前記音発生手段から音を発生させることを特徴とする。

これにより、簡単に適正距離であるか否かを知ることができる。

請求項１２に示すように請求項５から１１のいずれかに記載の撮像装置において、前記構図アシスト手段は、前記人物間の距離に応じて前記音発生手段の出力音の周波数を変化させることを特徴とする。

これにより、簡単に適正距離であるか否かを知ることができる。

請求項１３に示すように請求項１から１２のいずれかに記載の撮像装置において、前記人物検出手段は、人物の顔を検出することを特徴とする。

これにより、簡単に人物を検出することができ、さらに人物間の距離の算出精度を上げることができる。

請求項１４に示すように請求項１から１３のいずれかに記載の撮像装置において、前記検出された人物の性別を判別する手段と、前記検出された複数の人物が男性１人及び女性１人である場合には前記構図アシスト手段を有効にし、それ以外の場合には前記構図アシスト手段を無効にする手段とを備えたことを特徴とする。

これにより、男女のカップルが被写体の場合以外は構図アシストを行わず、不要な動作による無駄な電力消費を抑えることができる。

請求項１５に示すように請求項１から１４のいずれかに記載の撮像装置において、前記検出された複数の人物の年齢を検出する手段と、前記検出された複数の人物の年齢差が所定年齢以内である場合には前記構図アシスト手段を有効にし、所定年齢より大きい場合には前記構図アシスト手段を無効にする手段とを備えたことを特徴とする。

これにより、被写体の年齢が近い場合以外は構図アシストを行わず、不要な動作による無駄な電力消費を抑えることができる。

請求項１６に示すように請求項１から１５のいずれかに記載の撮像装置において、前記第１の所定距離よりも大きい第２の所定距離を備え、前記人物間の距離が前記第２の所定距離より近い場合には前記構図アシスト手段を有効にし、前記第２の所定距離より離れている場合には前記構図アシスト手段を無効にする手段を備えたことを特徴とする。

これにより、撮影意図と無関係な人物が撮影画像内に入った場合に、誤って構図アシストを行わず、不要な動作による無駄な電力消費を抑えることができる。

請求項１７に示すように請求項１から１６のいずれかに記載の撮像装置において、ユーザが撮影モードを設定可能な入力手段を備え、前記入力手段は、前記構図アシスト手段を有効にする撮影モード及び前記構図アシスト手段を無効にする撮影モードのいずれか一方に設定可能なことを特徴とする。

これにより、必要なときだけ構図アシストを使用することができ、不要な動作による無駄な電力消費を抑えることができる。

前記目的を達成するために請求項１８に記載の撮像制御方法は、撮像レンズを介して受光した被写体の光学像を画像信号に変換する撮像工程と、前記画像信号に基づいてスルー画像を表示する表示工程と、前記画像信号から人物を検出する人物検出工程と、前記検出された複数の人物間の距離を算出する距離算出工程と、前記算出された人物間の距離に基づいて人物間の距離が適正であるか否かを示す情報を前記表示工程に表示させる構図アシスト工程とを備えたことを特徴とする。

これにより、複数の人物が被写体である場合に、適正な構図の画像を得ることができる。

前記目的を達成するために請求項１９に記載の撮像制御方法は、撮像レンズを介して受光した被写体の光学像を画像信号に変換する撮像工程と、前記画像信号から人物を検出する工程と、前記検出された複数の人物間の距離を算出する距離算出工程と、前記算出された人物間の距離に基づいて人物間の距離が適正であるか否かを前記被写体に報知する構図アシスト工程とを備えたことを特徴とする。

これにより、複数の人物が被写体である場合に、適正な構図の画像を得ることができる。

本発明によれば、被写体の人数、性別に応じた適正な構図の画像を撮像することができる撮像装置及び撮像制御方法を提供することができる。

以下、添付図面に従って本発明を実施するための最良の形態について説明する。

＜第１の実施の形態＞
図１（ａ）は、本発明が適用されたデジタルカメラ１の前面の外観図であり、図１（ｂ）は背面の外観図である。

デジタルカメラ１は、静止画や動画の記録及び画像再生を行う機能を備えており、上面にレリーズスイッチ１０１、及びモードダイアル１０２が設けられている。

モードダイアル１０２は、回転させることにより、オート撮影モード、マニュアル撮影モード、人物モード、風景モード及び夜景モード等の選択が可能なシーンポジション、及び動画撮像モードのうちのいずれかを設定できるようになっている。また、レリーズスイッチ１０１は、半押し時にＯＮしてフォーカスロック、測光等の撮影準備を行わせるスイッチＳ１と、全押し時にＯＮして画像の取り込みを行わせるスイッチＳ２とを有している。

デジタルカメラ１の背面には、ズームレバー１１１、操作ボタン１１２、メニューボタン１１３、及びＬＣＤ１１４が設けられている。

ＬＣＤ１１４は、動画（スルー画像）を表示して電子ビューファインダとして使用できるとともに、撮影した記録前の画像（プレビュー画像）やカメラに装填された記録メディアから読み出した再生画像等を表示することができる。また、ＬＣＤ１１４は、カメラの動作モードやホワイトバランス、画像のピクセル数、感度等をマニュアル設定する際の各種のメニュー画面をモードダイアル１０２やメニューボタン１１３の操作に応じて表示させ、操作ボタン１１２の操作に応じてマニュアル設定項目の設定が可能なグラフィカル・ユーザ・インターフェース（ＧＵＩ）用の画面を表示する。また、ズームレバー１１１は、撮影画像のズーミングを行うための操作レバーである。

デジタルカメラ１の前面には、撮影レンズ１０３、フラッシュ発光部１０４、及びＬＥＤ１０５が、さらに側面にはスピーカ１０６が設けられている。

撮影レンズ１０３は、ズームレバー１１１の操作に応じて駆動され、撮影画像のズーム倍率を変更する。フラッシュ発光部１０４は、被写体光量が少ない場合に撮影補助光としてフラッシュを発光する。ＬＥＤ１０５は、主にセルフタイマの残り時間をその点滅間隔で被写体に知らせる役割を果たすが、後述するように、構図アシストにも使用される。またスピーカ１０６も同様に、構図アシストに使用される。

図２は、図１に示したデジタルカメラ１の内部構成の一例を示すブロック図である。同図に示すように、デジタルカメラ１は、電源１１、撮影光学系１２、撮像素子１３、ＡＦＥ（Ａｎａｌｏｇｕ Ｆｒｏｎｔ Ｅｎｄ）１４、ＤＳＰ （Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１５、記録メディア１６、操作部１７、ＬＣＤドライバ１８、システムバス１９、ＳＤＲＡＭ２０、フラッシュＲＯＭ２１、フラッシュ２７、ＬＥＤ１０５、スピーカ１０６、ＬＣＤ１１４の他、ＤＳＰ１５のシリアルＩ／Ｏ端子と接続され、撮像光学系１２、ＬＥＤ１０５、スピーカ１０６等を駆動するためのドライバ２２、２４、２５を備えて構成されている。

電源１１は、図示しないバッテリー及び電源制御部を含み、デジタルカメラ１の各ブロックに電源供給を行なう。

電源供給された各ブロックはＤＳＰ１５に備えられたＣＰＵ４１に制御されて動作し、ＣＰＵ４１は、操作部１７からの入力に基づき所定の制御プログラムを実行することにより、デジタルカメラ１の各部を制御する。なお、操作部１７は、図１に示すレリーズスイッチ１０１、モードダイアル１０２、ズームレバー１１１、操作ボタン１１２、及びメニューボタン１１３等を含み、操作に応じた信号をＣＰＵ４１に出力する。

フラッシュＲＯＭ２１にはＣＰＵ４１が実行する制御プログラムのほか、制御に必要な各種パラメータやＣＣＤ１３の画素欠陥データ等が記録されている。ＣＰＵ４１は、このプログラムＲＯＭに記録された制御プログラムをＳＤＲＡＭ２０に読み出し、逐次実行することにより、デジタルカメラ１の各部を制御する。なお、このＳＤＲＡＭ２０は、プログラムの実行処理領域として利用されるほか、画像データ等の一時記憶領域、各種作業領域として利用される。

撮影光学系１２は、ズームレンズ３１、フォーカスレンズ３２、アイリス３３、及びシャッタ３４から構成され、それぞれＣＰＵ４１の命令に基づいてレンズドライバ２５により駆動される。

ズームレンズ３１及びフォーカスレンズ３２は、同じ光軸上を前後移動し、ズーム及びフォーカスを行なう。これらのレンズにより撮影レンズ１０３が構成される。アイリス３３は、ＣＣＤ１３へ入射する光量を制御し、シャッタスピードと共に露出の制御を行なう。シャッタ３４は、ズームレンズ３１、フォーカスレンズ３２、及びアイリス３３を介した被写体光を、所定の時間だけＣＣＤ１３へ入射させるように動作する。

ＣＣＤ１３は、シャッタ３４の後段に配置されており、撮像光学系１２を介した被写体光を受光する。ＣＣＤ１３は、周知のように多数の受光素子がマトリクス状に配列された受光面を備えている。撮像光学系１２を介した被写体光は、このＣＣＤ１３の受光面上に結像され、各受光素子によって電気信号に変換される。

ＡＦＥ１４は、ゲインアップ部３５、Ａ／Ｄ変換器３６、及びタイミングジェネレータ３７から構成され、ＣＣＤ１３は、タイミングジェネレータ３７から供給される垂直転送クロック及び水平転送クロックに同期して、各画素に蓄積された電荷を１ラインずつシリアルな画像信号として出力する。ＣＰＵ４１は、タイミングジェネレータ３７を制御して、ＣＣＤ１３の駆動を制御する。

なお、各画素の電荷蓄積時間（露出時間）は、タイミングジェネレータ３７から与えられる電子シャッタ駆動信号によって決められる。ＣＰＵ４１は、タイミングジェネレータ３７に対して電荷蓄積時間を指示する。

また、画像信号の出力は、デジタルカメラ１が撮影モードにセットされると開始される。すなわち、デジタルカメラ１が撮影モードにセットされると、ＬＣＤ１４にスルー画像を表示するため、画像信号の出力が開始される。このスルー画像用の画像信号の出力は、本撮影の指示が行われると、一旦停止され、本撮影が終了すると、再度開始される。

ＣＣＤ１３から出力される画像信号は、アナログ信号であり、このアナログの画像信号は、ゲインアップ部３５に取り込まれる。

ゲインアップ部３５は、相関二重サンプリング回路（ＣＤＳ）、及び自動ゲインコントロール回路（ＡＧＣ）を含んで構成される。ＣＤＳは、画像信号に含まれるノイズの除去を行い、ＡＧＣは、ノイズ除去された画像信号を所定のゲインで増幅する。このゲインアップ部３５で所要の信号処理が施されたアナログの画像信号は、Ａ／Ｄ変換器３６に取り込まれる。

Ａ／Ｄ変換器３６は、取り込んだアナログの画像信号を所定ビットの階調幅を持ったデジタルの画像信号に変換する。この画像信号は、いわゆるＲＡＷデータであり、画素ごとＲ、Ｇ、Ｂの濃度を示す階調値を有している。このデジタルの画像信号は、ＤＳＰ１５に取り込まれる。

ＤＳＰ１５は、前述したＣＰＵ４１の他、画像バッファ４２、ＹＣ処理部４３、ＡＥ・ＡＷＢ検出回路４４、ＡＦ検出回路４５、タイマ４６、圧縮伸長部４７、記録メディアインターフェース４８、ビデオエンコーダ４９、顔検出回路５２、及び性別・年齢検出回路５１等から構成されている。これらはシステムバス１９と接続されており、システムバス１９を介して互いに情報を送受信することが可能である。

画像バッファ４２は、Ａ／Ｄ変換器３６から取り込んだ１コマ分の画像信号を格納する。ＡＦ検出回路４５は、ＣＰＵ４１の指令に従い、画像バッファ４２に格納されたＲ、Ｇ、Ｂの画像信号を取り込み、ＡＦ（Automatic Focus）制御に必要な焦点評価値を算出する。このＡＦ検出回路４５は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカス領域内の信号を切り出すフォーカス領域抽出部、及び、フォーカス領域内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカス領域内の絶対値データを焦点評価値としてＣＰＵ４１に出力する。ＣＰＵ４１は、ＡＦ制御時、このＡＦ検出回路４５から出力される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズ３２を移動させることにより、主要被写体への焦点合わせを行う。

また、ＡＥ・ＡＷＢ検出回路４４は、ＣＰＵ４１の指令に従い、画像バッファ４２に格納されたＲ、Ｇ、Ｂの画像信号を取り込み、ＡＥ制御に必要な積算値を算出する。ＣＰＵ４１は、積算値から輝度値を算出し、輝度値から露出値を求める。また露出値から所定のプログラム線図に従って、絞り値及びシャッタ速度を決定する。さらに、ＡＥ・ＡＷＢ検出回路４４は、画像バッファ４２に格納された１コマ分の画像信号に光源種に応じたデジタルゲインをかけることでホワイトバランス調整を行なうとともに、ガンマ（階調特性）処理及びシャープネス処理を行ってＲ、Ｇ、Ｂ信号を生成する。ＹＣ処理部４３は、点順次に取り込んだＲ、Ｇ、Ｂの各色の画像信号に対して所定の信号処理を施し、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）を生成する。このＹ／Ｃ信号は、ＳＤＲＡＭ２０に格納される。

圧縮伸長部４７は、ＣＰＵ４１からの圧縮指令に従い、入力されたＹ／Ｃ信号に所定形式（たとえば、ＪＰＥＧ）の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ４１からの伸張指令に従い、入力された圧縮画像データに所定形式の伸張処理を施して、非圧縮の画像データを生成する。

ビデオエンコーダ４９は、ＣＰＵ４１からの指令に従い、ドライバ１８を介してＬＣＤ１４への表示を制御する。

記録メディアインターフェース４８は、ＣＰＵ４１からの指令に従い、記録メディア１６に対してデータの読み／書きを制御する。なお、記録メディア１６は、メモリカードのようにカメラ本体に対して着脱自在なものでもよいし、また、カメラ本体に内蔵されたものでもよい。着脱自在とする場合は、カメラ本体にカードスロットを設け、このカードスロットに装填して使用する。

タイマ４６は、セルフタイマモードにおけるタイマ時間の計測を行なう。

人物検出回路５０は、ＳＤＲＡＭ２０に格納された画像信号から、人物を検出する。この人物の検出は、人物検出を行う画像についてエッジ検出を行い、エッジ検出した画像において人物形状モデルに合致する形状を探索することにより行なう。また、人物検出回路５０は、検出した人物の数、座標及びサイズを出力する。

性別・年齢検出回路５１は、人物検出回路５０が検出した人物の顔の領域に対して、性別及び年齢の検出を行う。年齢の推定は、目尻のしわ、あごのたるみ、目の下のしわ、額のしわ、頭髪のような顔の特定の領域における陰影や形状に基づいて行なう。具体的には、顔の特定の領域におけるエッジ強調値、色情報などの特徴値を算出し、あらかじめ用意していた特徴値に対応した年齢データから、算出した特徴値に対応する年齢を選択し、被写体の年齢として推定する。また、顔検出を行ったときに被写体の顔の領域にマッチングした顔画像データの性別から、被写体の性別を判定する。ここで、マッチングした画像データが複数で、男女とも存在する場合は、画像データの性別を列挙し、多く列挙された性別を被写体の性別として判定する。性別・年齢検出回路５１は、検出した顔についてのそれぞれの年齢と性別を出力する。

次に、本実施の形態における構図アシスト表示について説明する。本構図アシスト表示は、スルー画像の表示に重ねて行なう。図３は、ＬＣＤ１１４にスルー画像表示と同時にアシスト表示を行う動作のタイミングチャートである。

同図におけるＶＩは、撮像系の垂直同期信号を示しており、このＶＩ信号に同期して、露光及び読み出しを順番に行なっている。例えば、ｔ１のタイミングでＨレベルからＬレベルに変化するＶＩ信号に同期して、それまでの露光によりＣＣＤ１３に溜まった電荷（画像１）を垂直転送路に転送し、読み出しを開始する。また、同時に次の露光（画像２）が開始される。

次のｔ２のＶＩ信号において、画像２の露光を終了すると共に、読み出しを開始する。また同時に、画像３の露光を開始する。さらに、読み出しの終了した画像１において、顔検出を行う。前述したように、読み出しの終了した画像信号は、ＳＤＲＡＭ２０に格納されており、人物検出回路５０がこの信号に基づいて人物の顔領域を検出する。

人物検出回路５０の人物検出が終了すると、次に、性別・年齢検出回路５１による性別・年齢検出が行われる。そして、検出した人物について、ＣＰＵ４１は構図アシスト表示についての判定・設定を行う。この人物検出から構図アシスト表示についての設定は、次のＶＩ信号のタイミングまでに終了する。

さらに、ｔ３のＶＩ信号のタイミングにおいては、画像３の露光を終了すると共に読み出しを開始する。同時に画像４の露光を開始し、また読み出しの終了した画像２における顔検出を開始する。

図３におけるＶＤは、ＬＣＤ１１４の表示用垂直同期信号であり、ＶＩ信号とは非同期となっている。ｔ３のタイミングまでに行なわれた構図アシスト表示の設定は、次のｔ１３のＶＤ信号のタイミングでの画像表示に反映される。ＬＣＤ１１４には、読み出しの終了した最新の画像が表示されているため、画像１について人物検出、性別・年齢検出を行った結果の構図アシストは、ｔ１３における画像２のスルー画像表示と共に表示される。

次に、本実施の形態における、構図アシスト撮影について説明する。図４は、構図アシスト撮影の動作について示したフローチャートである。

操作部１７により構図アシストモードに設定すると、スルー画像を表示すると共に、スルー画像内の人物を検出し、検出した人物の数と座標を取得する（ステップＳ１）。前述したように、人物検出は、人物検出回路５０により行う。検出した人物については、スルー画像上の人物に重ねて人物検出枠６１を表示する。さらに、検出した人物について、それぞれの年齢と性別の情報を取得する（ステップＳ２）。年齢と性別の検出は、性別・年齢検出回路５１により行なう。

次に、ステップＳ１の検出結果に基づいて、検出した人物の数が２人であるか否かを判定する（ステップＳ３）。２人でない場合は、処理を終了する。画像内の人物が２人である場合は、ステップＳ２の検出結果に基づいて、男性と女性が１人ずつであるか否かを判定する（ステップＳ４）。男性が２人、又は女性が２人の場合は、処理を終了する。男女１人ずつの場合は、ステップＳ２の検出結果に基づいて、この２人の年齢差が所定値以内であるか否かを判定する（ステップＳ５）。年齢差が所定値より大きい場合は、処理を終了する。

２人の年齢差が所定値以内の場合は、ステップＳ１の結果に基づいて、２人の間の距離を算出する（ステップＳ６）。人物間の距離Ｄ_{ｐｅｒｓｏｎ}は、下記の式を用いて算出する。

［数１］
Ｄ_{ｐｅｒｓｏｎ}＝Ｈ_ｐ０×ｄ_ｐ÷ｈ_ｐ
ここで、Ｈ_ｐ０は人物の一般的な垂直サイズ（単位：ｍ）、ｈ_ｐはスルー画像における一方の人物の垂直サイズ（単位：ピクセル）、ｄ_ｐはスルー画像における人物エリア間の距離（単位：ピクセル）である。

このように算出した人物間の距離Ｄ_{ｐｅｒｓｏｎ}が、Ｌ１からＬ２の間であるか否かを判定する（ステップＳ７）。Ｌ１からＬ２の間で無い場合は、Ｌ１以下であるか否かを判定する（ステップＳ８）。Ｌ２より大きい場合は、被写体の人物２人は元々並んで写る意思が無いと判断し、処理を終了する。Ｌ１以下である場合は、適正構図と判断し、構図ＯＫアイコン６２の表示を行う（ステップＳ９）。構図ＯＫアイコン６２は、スルー画像に重ねて表示する。

図５（ａ）は、このときのＬＣＤ１１４の表示を示す図である。スルー画像に重ねて、男女２人の人物検出枠である６１ａ、６１ｂの他、構図ＯＫアイコン６２が表示されている。撮影者は、この構図ＯＫアイコン６２を確認することにより、適正構図であることを認識し、撮影を行うことができる。

ステップＳ７において、算出した人物間の距離Ｄ_{ｐｅｒｓｏｎ}がＬ１からＬ２の間である場合は、被写体の人物２人は並んで写る意思があるにもかかわらず距離が離れすぎていると判断し、適正座標の算出を行なう（ステップＳ１０）。適正人物位置は、現在の位置に対して左右方向のみシフトした位置であって、現在の位置と適正位置の左右方向距離の中心が一致し、さらに適正位置の中心間の距離が適正距離Ｌ１となる位置に設定される。例えば、図５（ｃ）において、現在の位置を７１ａ及び７１ｂとすると、７１ａと７１ｂとの中心を通る垂直な中心線７５に対して対称に、２人の間の距離がＬ１になる位置７３ａ及び７３ｂが適正位置となる。この位置の座標の算出を行ない、構図変更指示アイコン６４の表示を行う（ステップＳ１１）。

図５（ｂ）は、この場合のＬＣＤ１１４の表示を示す図である。スルー画像に重ねて、男女２人の人物検出枠である６１ａ、６１ｂと共に、適正位置枠６３ａ及び６３ｂが表示され、さらに構図変更指示アイコン６４が表示されている。この適正位置枠６３ａ及び６３ｂは、ステップＳ１０において算出した適正位置７３ａ及び７３ｂ上に表示する。なお、適正位置枠６３は人物検出枠６１とは異なる色で点滅表示させることにより、区別が付きやすいようにする。

撮影者は、この適正位置枠６３ａ及び６３ｂを見ながら、２人の被写体に対してもっとお互いに近づくように指示を行うことができる。また、被写体が近づいた結果、構図変更指示アイコン６４が構図ＯＫアイコン６２に変わることにより、適正構図であることを認識し、撮影を行うことができる。なお、この構図ＯＫアイコン６２や構図変更指示アイコン６４は、デジタルカメラ１を縦位置にして撮影を行っている場合は、同様に縦方向に表示を行う。このように顔の方向と同じ方向にアイコンを表示することで、見やすい表示を実現することができる。

本実施の形態においては、ＬＣＤ１１４に表示された構図変更指示アイコン６４や適正位置枠６３を撮影者が確認したが、ＬＣＤ１１４を被写体側に向けるように構成し、被写体の人物が確認してもよい。

また、本実施の形態では、操作部１７により構図アシストモードに設定したが、通常の撮影モードにおいて、男女１人ずつの人物が検出された場合に、自動的に構図アシストモードに移行してもよい。

＜第２の実施の形態＞
第２の実施の形態の構図アシストについて説明する。図６は、第２の実施の形態のデジタルカメラ１の内部構成の一例を示すブロック図である。図２に示すブロック図とは、人物検出回路５０の代わりに顔検出回路５２を備えたところが異なる。第２の実施の形態のデジタルカメラ１は、顔検出を行うことにより、被写体中の人物を検出する。

顔検出回路５２は、ＳＤＲＡＭ２０に格納された画像信号から、人物の顔領域を検出する。この顔領域の検出は、まず検出を行う画像について、解像度の異なるようリサイズ画像を所定数用意する。次に、各リサイズ画像全体から、あらかじめ用意していた所定サイズの複数の顔の画像データの中から１つ以上マッチングする領域を抽出する。抽出された領域の個数が最大であるリサイズ画像を選択し、選択したリサイズ画像内の抽出領域をリサイズ前の画像に対応した大きさに拡大・縮小し、それにより得られた領域を被写体の顔として特定する。最後に、検出した顔領域の数、座標及びサイズを出力する。

次に、本実施の形態における構図アシスト表示について説明する。図７は、第２の実施の形態の構図アシスト撮影の動作について示したフローチャートである。なお、図３のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

操作部１７により構図アシストモードに設定すると、スルー画像を表示すると共に、スルー画像内の顔を検出し、検出した顔の数と座標を取得する（ステップＳ２１）。前述したように、顔検出は、顔検出回路５２により行う。検出した顔については、スルー画像上の人物に重ねて顔検出枠８１を表示する。さらに、検出した顔について、それぞれの年齢と性別の情報を取得する（ステップＳ２）。年齢と性別の検出は、性別・年齢検出回路５１により行なう。

次に、ステップＳ２１の検出結果に基づいて、検出した顔の数、即ち検出した人物が２人であるか否かを判定する（ステップＳ２２）。２人でない場合は、処理を終了する。画像内の人物が２人である場合は、ステップＳ２の検出結果に基づいて、男性と女性が１人ずつであるか否かを判定する（ステップＳ４）。男性が２人、又は女性が２人の場合は、処理を終了する。男女１人ずつの場合は、ステップＳ２の検出結果に基づいて、この２人の年齢差が所定値以内であるか否かを判定する（ステップＳ５）。年齢差が所定値より大きい場合は、処理を終了する。

２人の年齢差が所定値以内の場合は、ステップＳ２１の結果に基づいて、２人の顔間の距離を算出する（ステップＳ２３）。人物の顔間距離Ｄ_ｆａｃｅは、下記の式を用いて算出する。

［数２］
Ｄ_ｆａｃｅ＝Ｗ_ｆ０×ｄ_ｆ÷ｗ_ｆ
ここで、Ｗ_ｆ０は人物の一般的な顔の水平サイズ（単位：ｍ）、ｗ_ｆはスルー画像における顔の水平サイズ（単位：ピクセル）、ｄ_ｆはスルー画像における顔エリア間の距離（単位：ピクセル）である。一般的に、人物ごとの身長のばらつきより、顔サイズのばらつきは小さいため、第１の実施の形態で算出したＤ_{ｐｅｒｓｏｎ}よりもＤ_ｆａｃｅの方が精度よく算出することができる。

このように算出した顔間の距離Ｄ_ｆａｃｅが、Ｌ３からＬ４の間であるか否かを判定する（ステップＳ２４）。Ｌ３からＬ４の間で無い場合は、Ｌ３以下であるか否かを判定する（ステップＳ２５）。Ｌ４より大きい場合は、被写体の人物２人は元々並んで写る意思が無いと判断し、処理を終了する。Ｌ３以下である場合は、適正構図と判断し、構図ＯＫアイコン６２の表示を行う（ステップＳ９）。

図８（ａ）は、このときのＬＣＤ１１４の表示を示す図である。スルー画像に重ねて、男女２人の顔検出枠である８１ａ、８１ｂの他、構図ＯＫアイコン６２が表示されている。撮影者は、この構図ＯＫアイコン６２を確認することにより、適正構図であることを認識し、撮影を行うことができる。

ステップＳ２４において、算出した顔間の距離Ｄ_ｆａｃｅがＬ３からＬ４の間である場合は、被写体の人物２人は並んで写る意思があるにもかかわらずお互いの距離が離れすぎていると判断し、適正座標の算出を行なう（ステップＳ２６）。適正顔位置は、現在の顔位置に対して左右方向のみシフトした位置であって、現在の顔位置と適正顔位置の左右方向距離の中心が一致し、さらに適正顔位置の中心間の距離が適正距離Ｌ３となる位置に設定される。例えば、図８（ｃ）において、現在の顔位置を９１ａ及び９１ｂとすると、９１ａと９１ｂとの中心を通る垂直な中心線９５に対して対称に、２人の顔間の距離がＬ３になる位置９３ａ及び９３ｂが適正位置となる。この位置の座標の算出を行ない、構図変更指示アイコン６４の表示を行う（ステップＳ２７）。

図８（ｂ）は、この場合のＬＣＤ１１４の表示を示す図である。スルー画像に重ねて、男女２人の顔検出枠である８１ａ、８１ｂと共に、適正顔位置枠８３ａ及び８３ｂが表示され、さらに構図変更指示アイコン６４が表示されている。この適正顔位置枠８３ａ及び８３ｂは、ステップＳ２６において算出した適正顔位置９３ａ及び９３ｂ上に表示する。なお、適正顔位置枠８３は顔検出枠８１とは異なる色で点滅表示させることにより、区別が付きやすいようにする。

撮影者は、この適正顔位置枠８３ａ及び８３ｂを見ながら、２人の被写体に対してもっとお互いに近づくように指示を行うことができる。また、被写体が近づいた結果、構図変更指示アイコン６４が構図ＯＫアイコン６２に変わることにより、適正構図であることを認識し、撮影を行うことができる。

＜第３の実施の形態＞
第３の実施の形態の構図アシストについて説明する。第３の実施の形態のデジタルカメラ１は、ＬＥＤ１０５を点滅させることにより、被写体に対してお互いに近付くように指示を行なう。図９は、第３の実施の形態の構図アシスト撮影の動作について示したフローチャートである。なお、図７のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

スルー画像から男女１人ずつの人物を検出し、ステップＳ２３において顔間の距離Ｄ_ｆａｃｅを算出するところまでは、第２の実施の形態と同様である。この顔間の距離Ｄ_ｆａｃｅがＬ３とＬ４の間であるか否かを判断し（ステップＳ２４）、Ｌ３とＬ４の間で無い場合は、Ｌ３より近いか否かを判断する（ステップＳ２５）。ここで、Ｌ４より大きい場合は、被写体の人物２人は元々並んで写る意思が無いと判断し、処理を終了するが、Ｌ３以下である場合は、適正構図と判断してＬＥＤ１０５を常時点灯する（ステップＳ３１）。被写体である男女は、ＬＥＤ１０５の常時点灯を確認することにより、２人の距離が適正であることを確認することができる。

ステップＳ２４において、算出した顔間の距離Ｄ_ｆａｃｅがＬ３からＬ４の間である場合は、被写体の人物２人は並んで写る意思があるにもかかわらずお互いの距離が離れすぎていると判断し、適正座標の算出を行なう（ステップＳ２６）。適正座標の算出は、第２の実施の形態と同様に行なう。

次に、ステップＳ２３において算出した顔間の距離Ｄ_ｆａｃｅに基づいて、ＬＥＤ１０５の点灯周波数を算出する（ステップＳ３２）。このＬＥＤ点灯周波数ｆ_ＬＥＤは下記の式を用いて算出する。

［数３］
ｆ_ＬＥＤ＝ｋ_ＬＥＤ×（Ｄ_ｆａｃｅ−Ｌ３）÷Ｌ３
ここで、ｋ_ＬＥＤは係数である。

このように、ＬＥＤ１０５の点灯周波数ｆ_ＬＥＤは、顔間の距離Ｄ_ｆａｃｅが小さくなるほど速くなるように決められる。この算出した点灯周波数ｆ_ＬＥＤで、ＬＥＤ１０５の点灯を行う（ステップＳ３３）。

被写体である男女は、ＬＥＤ１０５の点滅を確認することにより、２人の距離が離れていることを確認することができ、また、お互いに近寄って常時点灯させることにより、２人の距離が適正となったことを確認することができる。このように構成することにより、ＬＣＤ１１４を確認する撮影者がおらず、セルフタイマにより撮影する場合に有効である。

本実施の形態では、被写体の距離が離れているときは距離に応じた周波数でＬＥＤ１０５を点滅させ、適正構図の場合はＬＥＤ１０５を常時点灯させたが、２色ＬＥＤを使用して、適正構図の場合とそれ以外の場合においてＬＥＤ１０５の点灯色を変更してもよい。

＜第４の実施の形態＞
第４の実施の形態の構図アシストについて説明する。第４の実施の形態のデジタルカメラ１は、スピーカ１０６から音を出力することにより、被写体に対してお互いに近付くように指示を行なう。図１０は、第４の実施の形態の構図アシスト撮影の動作について示したフローチャートである。なお、図７のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

スルー画像から男女１人ずつの人物を検出し、ステップＳ２３において顔間の距離Ｄ_ｆａｃｅを算出するところまでは、これまでと同様である。この顔間の距離Ｄ_ｆａｃｅがＬ３とＬ４の間であるか否かを判断し（ステップＳ２４）、Ｌ３とＬ４の間で無い場合は、Ｌ３より近いか否かを判断する（ステップＳ２５）。Ｌ４より大きい場合は、被写体の人物２人は元々並んで写る意思が無いと判断し、処理を終了する。Ｌ３以下である場合は、適正構図であると判断し、スピーカ１０６から構図ＯＫメロディを出力する（ステップＳ４１）。被写体である男女は、この構図ＯＫメロディを確認することにより、２人の距離が適正であることを確認することができる。

ステップＳ２４において、算出した顔間の距離Ｄ_ｆａｃｅがＬ３からＬ４の間である場合は、被写体の人物２人は並んで写る意思があるにもかかわらずお互いの距離が離れすぎていると判断し、適正座標の算出を行なう（ステップＳ２６）。適正座標の算出もこれまでと同様に行なう。

次に、ステップＳ２３において算出した顔間の距離Ｄ_ｆａｃｅに基づいて、スピーカ１０６から出力する音の周波数を算出する（ステップＳ４２）。この出力周波数ｆ_{ＳＯＵＮＤ}は、下記の式を用いて算出する。

［数４］
ｆ_{ＳＯＵＮＤ}＝ｋ_{ＳＯＵＮＤ}×Ｌ３÷（Ｄ_ｆａｃｅ−Ｌ３）
ここで、ｋ_{ＳＯＵＮＤ}は係数である。

このように、出力周波数ｆ_{ＳＯＵＮＤ}は、顔間の距離Ｄ_ｆａｃｅが小さくなるほど高くなるように予め算出式が決められている。この算出した周波数ｆ_{ＳＯＵＮＤ}の音を、スピーカ１０６から出力する（ステップＳ４３）。

被写体である男女は、この出力音を確認することにより、２人の距離が離れていることを確認することができ、また、お互いに近寄って構図ＯＫメロディを鳴らすことにより、２人の距離が適正となったことを確認することができる。このように構成することにより、ＬＣＤ１１４を確認する撮影者がおらず、セルフタイマにより撮影する場合に有効である。

本実施の形態では、構図がＯＫの場合にメロディを出力しているが、顔間の距離がＬ３より離れている場合とは異なる周波数の音を出力してもよい。また、顔間の距離がＬ３より離れている場合に顔間の距離に応じて周波数の異なる音を出力しているが、同一の周波数で音量を変化させてもよい。

また、スピーカ１０６から出力するのは音やメロディでなく、音声によりお互いがもっと近付くように指示を行なってもよい。

図１は、本発明が適用されたデジタルカメラ１の外観図である。 図２は、デジタルカメラ１の内部構成の一例を示すブロック図である。 図３は、アシスト表示を行う動作のタイミングチャートである。 図４は、構図アシストモードの動作について示したフローチャートである。 図５は、構図アシストモードにおけるアシスト表示を示す図である。 図６は、第２の実施の形態のデジタルカメラ１の内部構成の一例を示すブロック図である。 図７は、第２の実施の形態のアシスト表示を行う動作のタイミングチャートである。 図８は、本発明が適用されたデジタルカメラの第２の実施の形態の電気的構成を示すブロック図である。 図９は、第３の実施の形態のアシスト表示を行う動作のタイミングチャートである。 図１０は、第４の実施の形態のアシスト表示を行う動作のタイミングチャートである。

符号の説明

１…デジタルカメラ、１２…撮像光学系、１３…ＣＣＤ、１４…ＡＦＥ、１５…ＤＳＰ、１７…操作部、４１…ＣＰＵ、４２…画像バッファ、４６…タイマ、５０…人物検出回路、５１…性別・年齢推定回路、５２…顔検出回路、６１…人物検出枠、６２…構図ＯＫアイコン、６３…適正位置枠、６４…構図変更指示アイコン、８１…顔検出枠、８３…適正顔位置枠、１０５…ＬＥＤ、１０６…スピーカ、１１４…ＬＣＤ

Claims (19)

1. 撮像レンズを介して受光した被写体の光学像を画像信号に変換する撮像手段と、
   前記画像信号に基づいてスルー画像を表示する表示手段と、
   前記画像信号から人物を検出する人物検出手段と、
   前記検出された複数の人物間の距離を算出する距離算出手段と、
   前記算出された人物間の距離に基づいて人物間の距離が適正であるか否かを示す情報を前記表示手段に表示させる構図アシスト手段と、
   を備えたことを特徴とする撮像装置。
2. 前記算出された人物間の距離が適正距離である第１の所定距離よりも離れているか否かを判定する判定手段を備え、前記構図アシスト手段は、前記判定手段が前記人物間の距離が第１の所定距離より離れていると判定した場合には構図の変更が必要であることを示すアイコンを表示させ、前記人物間の距離が第１の所定距離より近いと判定した場合には適正構図であることを示すアイコンを表示させることを特徴とする請求項１に記載の撮像装置。
3. 前記算出された人物間の距離が適正距離である第１の所定距離よりも離れているか否かを判定する判定手段と、
   前記検出された複数の人物について適正構図となる人物位置を算出する手段と、を備え、
   前記構図アシスト手段は、前記判定手段において前記人物間の距離が前記第１の所定距離より離れていると判定した場合に、前記算出した適正構図となる人物位置に枠を表示させることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記適正構図となる人物位置は、人物間の距離が前記第１の所定距離となる位置であって、前記検出された複数の人物の位置を結ぶ直線の中心を通る垂線に対して、前記複数の人物が左右対称にシフトした位置であることを特徴とする請求項３に記載の撮像装置。
5. 撮像レンズを介して受光した被写体の光学像を画像信号に変換する撮像手段と、
   前記画像信号から人物を検出する手段と、
   前記検出された複数の人物間の距離を算出する距離算出手段と、
   前記算出された人物間の距離に基づいて人物間の距離が適正であるか否かを前記被写体に報知する構図アシスト手段と、
   を備えたことを特徴とする撮像装置。
6. 前記構図アシスト手段は、発光手段を供えたことを特徴とする請求項５に記載の撮像装置。
7. 前記算出された人物間の距離が適正距離である第１の所定距離よりも離れているか否かを判定する判定手段を備え、前記構図アシスト手段は、前記判定手段の判定結果に応じて前記発光手段を発光させることを特徴とする請求項６に記載の撮像装置。
8. 前記構図アシスト手段は、前記判定手段が前記人物間の距離が第１の所定距離より離れていると判定した場合には前記発光手段を点滅発光させ、前記人物間の距離が第１の所定距離より近いと判定した場合には前記発光手段を常時発光させることを特徴とする請求項７に記載の撮像装置。
9. 前記構図アシスト手段は、前記人物間の距離に応じて前記発光手段の点滅周期を変更することを特徴とする請求項６から８のいずれかに記載の撮像装置。
10. 前記構図アシスト手段は、音発生手段を供えたことを特徴とする請求項５から９のいずれかに記載の撮像装置。
11. 前記算出された人物間の距離が適正距離である第１の所定距離よりも離れているか否かを判定する判定手段を備え、前記構図アシスト手段は、前記判定手段の判定結果に応じて前記音発生手段から音を発生させることを特徴とする請求項５から１０のいずれかに記載の撮像装置。
12. 前記構図アシスト手段は、前記人物間の距離に応じて前記音発生手段の出力音の周波数を変化させることを特徴とする請求項５から１１のいずれかに記載の撮像装置。
13. 前記人物検出手段は、人物の顔を検出することを特徴とする請求項１から１２のいずれかに記載の撮像装置。
14. 前記検出された人物の性別を判別する手段と、
    前記検出された複数の人物が男性１人及び女性１人である場合には前記構図アシスト手段を有効にし、それ以外の場合には前記構図アシスト手段を無効にする手段と、
    を備えたことを特徴とする請求項１から１３のいずれかに記載の撮像装置。
15. 前記検出された複数の人物の年齢を検出する手段と、
    前記検出された複数の人物の年齢差が所定年齢以内である場合には前記構図アシスト手段を有効にし、所定年齢より大きい場合には前記構図アシスト手段を無効にする手段と、
    を備えたことを特徴とする請求項１から１４のいずれかに記載の撮像装置。
16. 前記第１の所定距離よりも大きい第２の所定距離を備え、前記人物間の距離が前記第２の所定距離より近い場合には前記構図アシスト手段を有効にし、前記第２の所定距離より離れている場合には前記構図アシスト手段を無効にする手段を備えたことを特徴とする請求項１から１５のいずれかに記載の撮像装置。
17. ユーザが撮影モードを設定可能な入力手段を備え、前記入力手段は、前記構図アシスト手段を有効にする撮影モード及び前記構図アシスト手段を無効にする撮影モードのいずれか一方に設定可能なことを特徴とする請求項１から１６のいずれかに記載の撮像装置。
18. 撮像レンズを介して受光した被写体の光学像を画像信号に変換する撮像工程と、
    前記画像信号に基づいてスルー画像を表示する表示工程と、
    前記画像信号から人物を検出する人物検出工程と、
    前記検出された複数の人物間の距離を算出する距離算出工程と、
    前記算出された人物間の距離に基づいて人物間の距離が適正であるか否かを示す情報を前記表示工程に表示させる構図アシスト工程と、
    を備えたことを特徴とする撮像制御方法。
19. 撮像レンズを介して受光した被写体の光学像を画像信号に変換する撮像工程と、
    前記画像信号から人物を検出する工程と、
    前記検出された複数の人物間の距離を算出する距離算出工程と、
    前記算出された人物間の距離に基づいて人物間の距離が適正であるか否かを前記被写体に報知する構図アシスト工程と、
    を備えたことを特徴とする撮像制御方法。

Images