JP5104517B2 - 撮影装置 - Google Patents

Description

本発明は、撮影装置に関する。

前方の被写体を撮影するメインカメラに加えて、メインカメラとは異なる方向の画像を撮影するサブカメラを搭載した撮影装置が知られている。一方、撮影者自身が被写体となって自分の画像を撮影する自分撮り撮影において、撮影者の顔が撮影画角内に収まっているか否かを確認する必要があり、ミラーを用いたり顔認識機能を用いて撮影者の顔が撮影画角内に収まっているか否かを確認する技術が知られている（例えば、特許文献１参照）。

ところが、顔認識機能などを用いて自分撮り撮影をアシストする撮影装置は、撮影者自身が自分撮り撮影のモードに設定する必要があった。このため、通常の被写体撮影と自分撮り撮影とが混在して頻繁に利用される場合は、撮影する度に、撮影装置を自分撮り撮影モードに設定したり、通常の撮影モードに設定し直したりする必要があり、煩わしい操作を行わなければならないという問題があった。
特開２００７−３２４８７７号公報

本発明の課題は、好適な撮影を行うことができる撮影装置を提供することである。

本発明に係る撮影装置は、第１画像を形成する第１光学系と、前記第１光学系とは逆方向の第２画像を形成する第２光学系と前記第１画像及び前記第２画像を取得する画像取得部と、前記第２画像を用いて撮影者の存在を認識する認識部と、前記認識部により前記撮影者の存在を認識できないとき、前記撮影者自身を前記第１画像により撮影する自分撮り撮影モードに切り替え、前記第１画像を取得するときの設定を人物撮影に適した設定にするように制御する制御部とを有することを特徴とする。

また、好ましくは、前記第１画像を表示するための表示部を有し、前記第２光学系は、前記表示部に近接して備えられていることを特徴とする。

また、好ましくは、前記制御部は、前記認識部により前記撮影者の存在を認識できないとき、前記第１画像を取得する際の前記画像取得部の撮影モード、画角、露出、コントラストの少なくとも一つの設定を変えるように制御することを特徴とする。

また、好ましくは、前記認識部で認識された前記撮影者が前記第１画像に検出されたとき、本撮影を開始するための撮影開始信号を発生する撮影開始信号発生部を有することを特徴とする。

また、好ましくは、前記撮影開始信号発生部は、前記認識部により前記撮影者の存在が認識された後、所定時間内に前記撮影者が前記第１画像に検出されたとき前記撮影開始信号を発生することを特徴とする。

また、好ましくは、前記撮影者に確認情報を報知する確認報知部を更に設け、前記制御部は、前記認識部が前記第１画像または前記第２画像のいずれかに前記撮影者の存在を認識したとき、前記確認報知部から前記撮影者に確認情報を報知することを特徴とする。

また、好ましくは、前記認識部は、前記第１画像で前記撮影者の顔を認識し、前記制御部は、前記第１画像で認識した前記撮影者の顔が前記第１画像の画角内に入るように、前記第１光学系の焦点距離を可変することを特徴とする。

また、好ましくは、前記撮影者にエラー情報を報知するエラー報知部を更に設け、前記制御部は、前記第１光学系の焦点距離を可変した場合でも、前記第１画像で認識した前記撮影者の顔が前記第１画像の画角内に入らない場合は、前記エラー報知部から撮影者にエラー情報を報知することを特徴とする。

また、好ましくは、前記撮影装置の動きを検出する加速度センサを更に設け、前記認識部は、前記加速度センサが検出する前記撮影装置の動きが所定値内になったとき、前記第１画像または前記第２画像において前記撮影者の認識を開始することを特徴とする。

本発明に係る撮影装置は、第１画像とは異なる第２画像を取得して撮影者を認識するので、撮影者が撮影者自身を第１画像として撮影する自分撮り撮影モードへの移行や撮影動作をアシストすることができる。

以下、本発明に係る撮影装置に関する実施形態について図面を用いて詳しく説明する。

（第１の実施形態）
図１は、第１の実施形態に係る撮影装置１０１の構成を示すブロック図である。撮影装置１０１は、メインカメラ１０２と、サブカメラ１０３と、共通部１０４とで構成される。尚、共通部１０４は、説明が分かり易いように、メインカメラ１０２とサブカメラ１０３とに共通するブロックをまとめたものである。従って、実際にはメインカメラ１０２とサブカメラ１０３と共通部１０４との明確な境界はなく、１つの撮影装置１０１内に搭載されていればよい。

共通部１０４は、制御部１０５と、操作部１０６と、液晶モニタ１０７と、メモリ１０８と、メモリカード１０９を接続するカードＩ／Ｆ１１０と、加速度センサ１１１とで構成される。

共通部１０４において、撮影者は、操作部１０６を用いて撮影装置１０１を操作する。制御部１０５は、内部に予め組み込まれたプログラムに従って動作し、操作部１０６から得られる操作情報に応じて、撮影装置１０１の各ブロックを制御する。また、制御部１０５は、メインカメラ１０２やサブカメラ１０３から得られる画像や、メニュー画面などを液晶モニタ１０７に表示する。メモリ１０８は、制御部１０５が処理する際のパラメータや画像情報などが記憶される。また、制御部１０５は、メインカメラ１０２やサブカメラ１０３から得られる撮影画像をカードＩ／Ｆ１１０を介してメモリカード１０９に保存する。加速度センサ１１１は、撮影装置１０１の手振れなどを検出するセンサである。

次に、メインカメラ１０２は、レンズ光学系１１２と、撮像部１１３と、アナログ信号処理部１１４と、Ａ／Ｄ変換部１１５と、画像バッファ１１６と、デジタル信号処理部１１７と、ＡＥ部１１８と、フラッシュ１１９と、ＡＦ部１２０と、ＡＦライト１２１と、レンズ駆動部１２２とで構成され、第１画像を撮影する。

メインカメラ１０２において、被写体から入射する光はレンズ光学系１１２を介して撮像部１１３の受光面に結像される。

撮像部１１３は、受光面に光電変換部が二次元状に配置され、結像された光を電気信号に変換し、アナログ信号処理部１１４に出力する。

アナログ信号処理部１１４は、撮像部１１３が出力する電気信号のノイズ除去や増幅などを行ってＡ／Ｄ変換部１１５に出力する。

Ａ／Ｄ変換部１１５は、アナログの電気信号を画像データに変換し、画像バッファ１１６に一時的に記憶する。

デジタル信号処理部１１７は、画像バッファ１１６に一時的に記憶された画像データの色補正処理などの画像処理を行って制御部１０５に出力する。制御部１０５は、デジタル信号処理部１１７が画像処理したメインカメラ１０２の撮影画像をメモリ１０８やメモリカード１０９に記憶したり、液晶モニタ１０７に表示する。また、本実施形態では、デジタル信号処理部１１７は、制御部１０５の指令に応じて、画像解析処理などを行う。例えば、制御部１０５の指令に応じて顔認識処理を行い、画像バッファ１１６に一時的に記憶された撮影画像の撮影画角内に顔が入っているか否かを識別し、識別結果を制御部１０５に返す。

ＡＥ部１１８は、制御部１０５が指定したエリアで露出測定した結果を制御部１０５に出力し、制御部１０５は、撮像部１１３での露光量を制御したり、必要に応じてフラッシュ１１９を発光させる。

ＡＦ部１２０は、制御部１０５が指定したエリアで焦点位置を検出して制御部１０５に出力し、制御部１０５は、ＡＦライト１２１を点灯させたり、レンズ駆動部１２２に指令してレンズ光学系１１２のフォーカスレンズの位置を制御する。尚、制御部１０５は、操作部１０６のズーム操作に応じて、レンズ光学系１１２のズームレンズを移動するようレンズ駆動部１２２に指令し、レンズ光学系１１２の焦点距離を可変する。

次に、サブカメラ１０３は、レンズ光学系１２３と、撮像部１２４と、アナログ信号処理部１２５と、Ａ／Ｄ変換部１２６と、画像バッファ１２７と、デジタル信号処理部１２８とで構成され、第２画像を撮影する。

サブカメラ１０３において、被写体から入射する光はレンズ光学系１２３を介して撮像部１２４の受光面に結像される。

撮像部１２４は、受光面に二次元状に配置された光電変換部で結像された光を電気信号に変換し、アナログ信号処理部１２５に出力する。

アナログ信号処理部１２５は、撮像部１２４が出力する電気信号のノイズ除去や増幅などを行ってＡ／Ｄ変換部１２６に出力する。

Ａ／Ｄ変換部１２６は、アナログの電気信号を画像データに変換し、画像バッファ１２７に一時的に記憶する。

デジタル信号処理部１２８は、画像バッファ１２７に一時的に記憶された画像データの色補正処理などの画像処理を行って制御部１０５に出力する。また、本実施形態では、デジタル信号処理部１２８は、制御部１０５の指令に応じて、画像解析処理を行う。例えば、制御部１０５の指令に応じて顔認識処理を行い、画像バッファ１２７に一時的に記憶された撮影画像の中に顔があるか否かの判別，顔の特徴や顔の表情の抽出，瞳位置の検出などを行って、その結果を制御部１０５に出力する。制御部１０５は、デジタル信号処理部１２８の処理結果に応じて、撮影装置１０１の設定や動作を制御する。尚、具体的な処理については、後で詳しく説明する。また、制御部１０５は、メインカメラ１０２の場合と同様に、デジタル信号処理部１２８が画像処理したサブカメラ１０３の撮影画像をメモリ１０８やメモリカード１０９に記憶したり、液晶モニタ１０７に表示するようにしても構わない。また、サブカメラ１０３には、メインカメラ１０２のように、ＡＥ部１１８，フラッシュ１１９，ＡＦ部１２０，ＡＦライト１２１，レンズ駆動部１２２などに相当するブロックは描いてないが、これらのブロックと同等のブロックを設けても構わない。

次に、撮影装置１０１の外観について説明する。図２（ａ）は、撮影装置１０１の正面方向の様子を描いた図である。図２（ｂ）は、撮影装置１０１の背面方向の様子を描いた図である。図２（ａ）および図２（ｂ）において、図１と同符号のものは同じものを示す。撮影装置１０１の筐体には、図１の操作部１０６に含まれる各種の操作ボタンが配置されている。例えば、電源ボタン１５１、レリーズボタン１５２、ズームボタン１５３、ＯＫボタン１５４、上下左右のカーソルボタン１５５，１５６，１５７，１５８が配置されており、これらの操作ボタンの操作情報は、制御部１０５に出力される。

図２（ａ）に示すように、撮影装置１０１の正面部分にはメインカメラ１０２のレンズ光学系１１２が配置され、図２（ｂ）に示すように、撮影装置１０１の背面部分にはサブカメラ１０３のレンズ光学系１２３が配置されているので、メインカメラ１０２のレンズ光学系１１２とサブカメラ１０３のレンズ光学系１２３とは互いに異なる方向を撮影することができる。特に、本実施形態に係る撮影装置１０１は、サブカメラ１０３のレンズ光学系１２３は、図２（ｂ）に示すように、撮影装置１０１の背面の液晶モニタ１０７と同方向に配置されているので、液晶モニタ１０７の画面を見ながら撮影しようとする撮影者の顔を撮影することができるようになっている。尚、サブカメラ１０３のレンズ光学系１２３は、メインカメラ１０２で撮影する画像を表示する液晶モニタにできるだけ近接して配置するのが望ましい。

次に、本実施形態に係る撮影装置１０１の動作について図３のフローチャートを用いて説明する。尚、図３のフローチャートは、制御部１０５の内部に予め組み込まれたプログラムに従って動作し、制御部１０５は、必要に応じて、メインカメラ１０２側のデジタル信号処理部１１７やサブカメラ１０３側のデジタル信号処理部１２５に画像処理を行わせる。以下、撮影装置１０１の動作について順に説明する。

（ステップＳ１０１）撮影者は、撮影装置１０１の電源ボタン１５１を押下して電源をＯＮする。制御部１０５は、先ずメインカメラ１０２を起動し、先に説明したように、レンズ光学系１１２を介して撮像部１１３が撮影した画像を液晶モニタ１０７にプレビュー表示する。撮影者は、このプレビュー表示を見ながら撮影する被写体を確認する。

（ステップＳ１０２）制御部１０５は、サブカメラ１０３を起動し、先に説明したように、レンズ光学系１２３を介して撮像部１２４が撮影する画像は、画像バッファ１２７に取り込まれる。

（ステップＳ１０３）制御部１０５は、加速度センサ１１１の出力をモニタして、撮影装置１０１の筐体が静止したか否かを判別する。ここで、加速度センサ１１１の出力が零または所定範囲内にある時を静止と見なす。撮影装置１０１の筐体が静止した場合はステップＳ１０４に進み、撮影装置１０１の筐体が静止していない場合はステップＳ１０３の処理を繰り返す。尚、この判別処理は、撮影者が被写体を撮影するために撮影装置１０１を構えたか否かを判別するためのものなので、撮影装置１０１の筐体が静止したか否かの判別は、筐体の完全な静止を判別する必要はない。例えば、撮影者が撮影装置１０１をパンやチルトさせているような安定した動作を検出している場合は「Ｙｅｓ」の判断を行うようにしても構わない。

（ステップＳ１０４）制御部１０５は、サブカメラ１０３のデジタル信号処理部１２８に、画像解析処理を行うよう指令する。ここで、画像解析処理について説明する。画像解析処理は、サブカメラ１０３で撮影されている画像を解析して、撮影されている被写体を判別する処理である。特に、本実施形態では、サブカメラ１０３で撮影されている画像の中に顔があるか否かを解析する。例えば、サブカメラ１０３で図４（ａ）のような所定サイズ以上の顔が含まれた画像を撮影している場合は、顔が含まれていると判別する。尚、図４（ｂ）のように顔が完全に含まれていない場合や、図４（ｃ）のように顔の大きさが所定サイズ以下の場合は、顔が含まれていないと判別する。また、顔があるか否かの判別処理は、顔の輪郭や目，鼻，口の配置など顔の特徴量を用いて、顔があるか否かの判別を行っても構わないし、画像自体の相関を取るパターン認識処理によって判別しても構わない。

（ステップＳ１０５）制御部１０５は、ステップＳ１０４で画像解析処理の結果、サブカメラ１０３で撮影されている画像に顔が含まれている場合はステップＳ１０６に進み、サブカメラ１０３で撮影されている画像に顔が含まれていない場合はステップＳ１２０の自分撮り撮影モードに進む。

つまり、自分撮り撮影を行う場合は、撮影者はメインカメラ１０２の被写体となるので、メインカメラ１０２と逆方向を撮影しているサブカメラ１０３側で撮影者の顔が撮影されることはない、という前提に基づいている。ここでは、サブカメラ１０３で撮影者の存在を認識できないとき、制御部１０５は、自動的に自分撮り撮影モードに移行し、同時に人物撮影に好適な露出設定、コントラスト設定などを行う。

（ステップＳ１０６）制御部１０５は、サブカメラ１０３のデジタル信号処理部１２８に、表情を検出するよう指令する。ここで、表情とは、例えば顔の形や目・鼻・口の位置や形など顔の特徴を意味する。検出した顔の特徴は、サブカメラ１０３が起動されて最初に認識した顔の表情とする。尚、後で説明するように、初期表情は、顔の表情の変化を検出する基になる画像である。従って、最も顔の表情の変化が少ないタイミングが好ましい。一般に、撮影開始直後の表情は喜怒哀楽の少ない通常の表情である場合が多いので、電源が投入され、カメラが静止したタイミングで初期表情の検出を行っている。

（ステップＳ１０７）制御部１０５は、ステップＳ１０６で検出した顔の特徴がメモリ１０８に予め登録されている顔の特徴に一致するか否かを判別する。メモリ１０８に予め登録されている顔の特徴に一致する場合はステップＳ１０８に進み、メモリ１０８に予め登録されている顔の特徴のいずれにも一致しない場合はステップＳ１０９に進む。尚、メモリ１０８に予め登録されている顔の特徴のいずれにも一致しない場合に、検出した顔の特徴を新たにメモリ１０８に登録するか否かを撮影者に選択させるメニューを液晶モニタ１０７に表示して、追加登録できるようにしても構わない。

尚、制御部１０５は、ステップＳ１０６で検出した顔の特徴がメモリ１０８に予め登録されている顔の特徴に一致した場合に、液晶モニタ１０７を点滅させたり、一致した登録人物の名前や画像を液晶モニタ１０７に表示したり、液晶モニタ１０７の明るさを変えて点滅させて、撮影者に登録人物と一致したことを知らせるようにしても構わない。或いは、電子音発生部を設けて電子音で撮影者に知らせるようにしても構わない。

（ステップＳ１０８）制御部１０５は、ステップＳ１０６で検出した顔の表情に一致する撮影者専用の撮影モードを撮影装置１０１に設定する。尚、メモリ１０８には、登録されている顔の特徴に一致する撮影者に対応させて、撮影装置１０１の撮影モードを予め記憶してあるものとする。例えば、図５に示すように、撮影モードとして感度・輪郭・コントラストを専用の設定にする場合、撮影者Ａの顔の特徴に一致する時は感度：ＩＳＯ４００、輪郭：中、コントラスト：弱の撮影モードに設定する。或いは、撮影者Ｂの顔の特徴に一致する時は感度：ＩＳＯ１００、輪郭：ソフト、コントラスト：中の撮影モードに設定する。同様に、撮影者Ｃの顔の特徴に一致する時は感度：ＩＳＯ１６００、輪郭：シャープ、コントラスト：強の撮影モードに設定する。

（ステップＳ１０９）制御部１０５は、サブカメラ１０３のデジタル信号処理部１２８に、瞳位置を検出するよう指令する。この瞳位置の検出によって、撮影者の視線の認識を行うことができる。ここで、瞳位置の検出とは、瞳が目のどの位置にあるかを検出するもので、例えば、図６（ａ）の場合は「中央」（撮影者の視線は正面方向）、図６（ｂ）の場合は「左」（撮影者の視線は右方向）、図６（ｃ）の場合は「右」（撮影者の視線は左方向）のように検出する。尚、図６は実物の撮影者の目および瞳位置を描いたものではなく、サブカメラ１０３で撮影された撮影者の目および瞳位置を描いたものなので、例えば図６で瞳位置が紙面左側にあれば撮影者の視線方向は右方向になり、瞳位置が紙面右側にあれば撮影者の視線方向は左方向になる。また、図６では、分かり易いように、瞳位置を中央および左右の３つに分けて検出する場合について示したが、上下方向を含めてさらに細かく瞳位置を検出するようにしても構わない。

（ステップＳ１１０）制御部１０５は、ステップＳ１０９で検出した瞳位置に応じて、メインカメラ１０２で撮影する画像の主要被写体の位置を推定する。例えば、図７の撮影画像２０１において、図６（ａ）の場合は撮影画像２０１の中央部分ａの位置に主要被写体があるものと推定する。また、図６（ｂ）の場合は撮影画像２０１の右側部分ｂの位置に主要被写体があるものと推定する。同様に、図６（ｃ）の場合は撮影画像２０１の左側部分ｃの位置に主要被写体があるものと推定する。

尚、このようにして推定した主要被写体の位置は、撮影時の露出制御やフォーカス制御に利用される。例えば、制御部１０５はＡＥ部１１８から入力する際の露出測定を主要被写体の位置で行うことにより、主要被写体に最適な露出制御を行うことができる。或いは、制御部１０５は、ＡＦ部１２０から入力する焦点位置の検出を主要被写体の位置で行うことにより、主要被写体部分に焦点を合わせることができる。

（ステップＳ１１１）制御部１０５は、サブカメラ１０３のデジタル信号処理部１２８に、顔の表情を検出するよう指令する。尚、顔の表情の検出は、ステップＳ１０６と同様に、例えば顔の形や目・鼻・口の位置や形など顔の特徴を基に顔の表情を検出する。

ここで、顔の表情を検出する一例として、笑顔の度合いを検出する例について図８を用いて説明する。図８（ａ）は笑顔のない通常の表情、図８（ｂ）は小さな笑顔の表情、図８（ｃ）は大きな笑顔の表情である。

例えば、笑顔の度合いを検出するために、サブカメラ１０３のデジタル信号処理部１２８は、口角と目尻の傾きの変化を検出する。この一例を図９に示す。図９の（ａ），（ｂ），（ｃ）は、それぞれ図８の（ａ），（ｂ），（ｃ）の顔の表情に対応し、口と目の特徴を抜き出したものである。一般的な人間の顔は、笑顔になると口角は上がり、逆に目尻は下がる。例えば、図９（ａ）に描いたように、笑顔のない通常の表情の場合は、口角は上がっておらず、逆に目尻は下がっていない。これに対して、小さな笑顔になると、図９（ｂ）に描いたように、口角は少し上がり、目尻は少し下がる。さらに、大きな笑顔になると、図９（ｃ）に描いたように、口角は大きく上がり、目尻は大きく下がる。このように、点線円で囲んだ部分の傾きを検出することによって、笑顔の度合いを把握することができる。例えば、図９（ａ）の場合の口角の傾きは０度で目尻の瞼の傾きは３０度、図９（ｂ）の場合の口角の傾きは３０度で目尻の瞼の傾きは４５度、図９（ｃ）の場合の口角の傾きは６０度で目尻の瞼の傾きは６０度のように数値で表すことも可能である。尚、口角や目尻の傾きは、一般的な画像処理の手法を用いて求めることができる。例えば、エッジ抽出処理で線画に変換後、直線近似した２点間座標から角度を求めることができる。

（ステップＳ１１２）制御部１０５は、ステップＳ１０６で検出した顔の初期表情と、ステップＳ１１１で検出した現在の顔の表情とを比較して、顔の表情の変化量を検出する。

顔の表情の変化量は、ステップＳ１１１で説明した例の場合、口角の傾きの変化量と目尻の瞼の傾きの変化量とで表すことができる。例えば、先の例のように、図９（ａ）の場合の口角の傾きは０度で目尻の瞼の傾きは３０度、図９（ｂ）の場合の口角の傾きは３０度で目尻の瞼の傾きは４５度、図９（ｃ）の場合の口角の傾きは６０度で目尻の瞼の傾きは６０度であったとする。

ここで、ステップＳ１０６で検出した最初の顔の表情（初期表情）を図８（ａ）とし、ステップＳ１１１で検出した現在の顔の表情を図８（ｂ）とする。この場合、ステップＳ１１２で検出する顔の表情の変化量は、図９を用いて、口角の変化量が３０度−０度＝３０度、目尻の変化量が４５度−３０度＝１５度と計算できる。同様に、ステップＳ１１１で検出した現在の顔の表情を図８（ｃ）とする。この場合、ステップＳ１１２で検出する顔の表情の変化量は、図９を用いて、口角の変化量が６０度−０度＝６０度、目尻の変化量が６０度−３０度＝３０度と計算できる。

このようにして、顔の表情の変化量を検出することができる。尚、上記の説明では分かり易いように、口角と目尻の傾きを用いて顔の表情の変化を検出するようにしたが、唇の動きなど別の方法により顔の変化を検出するようにしても構わない。

（ステップＳ１１３）制御部１０５は、ステップＳ１１２で検出した顔の表情の変化量により、顔の表情が変化したか否かを判別する。顔の表情が変化している場合はステップＳ１１４に進み、ステップＳ１１１で検出した顔の表情が変化していない場合はステップＳ１１６に進む。

ここで、顔の表情が変化したか否かの判別は、先に説明したように、図９の場合は口角と目尻の傾きが所定値以上変化したか否かによって判別することができる。例えば、口角の変化量が２０度以上で目尻の変化量が１０度以上を所定値として、顔の表情が変化したか否かを判断する場合、図９（ｂ）および図９（ｃ）は、図９（ａ）に対して口角および目尻共に所定値以上なので、顔の表情が変化したと判断する。先の例において、仮に口角の変化量が４５度以上で目尻の変化量が２０度以上を所定値とした場合、図９（ｃ）は、図９（ａ）に対して口角および目尻共に所定値以上なので、顔の表情が変化したと判断するが、図９（ｂ）は、図９（ａ）に対して口角および目尻共に所定値未満なので、顔の表情が変化していないと判断する。もちろん、図９（ａ）の状態のままであっても、顔の表情が変化していないと判断する。

（ステップＳ１１４）制御部１０５は、ステップＳ１１１で検出した顔の表情より、笑顔であるか否かを判別する。笑顔である場合はステップＳ１１５に進み、笑顔でない場合はステップＳ１１６に進む。

ここで、顔の表情が笑顔であるか否かの判別は、図８および図９で説明したように、口角の傾きと目尻の傾きとで判断することができる。例えば、口角の傾きが２０度以上で目尻の傾きが４０度以上を所定値として、顔の表情が笑顔であるか否かを判断する場合、図９（ａ）は笑顔ではないと判断され、図９（ｂ）および図９（ｃ）は口角および目尻共に所定値以上なので、笑顔であると判断される。もし、口角の傾きが５０度以上で目尻の傾きが４０度以上を所定値とした場合、図９（ｃ）は、口角および目尻共に所定値以上なので、笑顔であると判断されるが、図９（ｂ）は、口角および目尻共に所定値未満なので、笑顔ではないと判断される。

尚、口角や目尻の上下移動だけでなく、唇が動いているか否かで判別しても構わない。例えば、被写体が人物の場合は、話をしながら撮影する場合が多いので、撮影者の唇は動いており、被写体が人物であると推定できる。また、ここで判別した笑顔の度合いに応じて、メインカメラ１０２で撮影した画像のレーティングを行うようにしても構わない。

（ステップＳ１１５）制御部１０５は、撮影装置１０１の撮影モードを人物撮影モードに設定する。尚、人物撮影モードとは、例えば、人の肌などをきれいに見せるための色補正処理や輪郭をソフトにする処理などを行う撮影モードである。人物撮影モードに設定されると、メインカメラ１０２で画像を撮影する際に、制御部１０５はメインカメラ１０２のデジタル信号処理部１１７に人物撮影に好適な露出設定、コントラスト設定、色補正処理、輪郭処理などを行うよう指令する。

（ステップＳ１１６）制御部１０５は、撮影装置１０１の撮影モードを風景撮影モードに設定する。尚、風景撮影モードとは、例えば、濃淡をきれいに見せるためのコントラスト処理や輪郭をシャープにする処理などを行う撮影モードである。風景撮影モードに設定されると、メインカメラ１０２で画像を撮影する際に、制御部１０５はメインカメラ１０２のデジタル信号処理部１１７に風景撮影に好適な露出設定、コントラスト設定、色補正処理、輪郭処理などを行うよう指令する。

（ステップＳ１１７）制御部１０５は、操作部１０６のレリーズボタン１５２が押されると、メインカメラ１０２での撮影を行う（手動撮影）。撮影処理は、先に説明したように、レンズ光学系１１２を介して入射される被写体光を撮像部１１３で光電変換して電気信号に変換し、Ａ／Ｄ変換部１１５でデジタルの画像データに変換され、画像バッファ１１６に一時的に取り込まれる。

（ステップＳ１１８）ステップＳ１１７で画像バッファ１１６に一時的に取り込まれた画像データは、デジタル信号処理部１１７で撮影モードの応じた色変換処理や輪郭処理などが行われた後、制御部１０５を介してメモリ１０８或いはカードＩ／Ｆ１１０を介してメモリカード１０９に保存される。また、必要に応じて、液晶モニタ１０７に表示される。

尚、撮影画像をメモリ１０８やメモリカード１０９に保存する際に、ステップＳ１１４で判別したレーティング結果を保存する画像データにレーティング情報として付加しても構わない。例えば、Ｅｘｉｆ規格で画像データを保存する場合、レーティング情報の付加はＥｘｉｆ規格のユーザーエリアに記録するようにすれば良い。これによって、撮影済みの画像データをチェックするだけで、笑顔であるか否かや、笑顔の度合いなど容易に知ることができる。また、レーティング情報自体は、数値や記号で表しても構わないし、☆印の数などで表しても構わない。

（ステップＳ１１９）一連の撮影処理を終了し、続けて撮影を行う場合は、ステップＳ１０２からの処理を繰り返す。

以上、ステップＳ１０５の判別処理において、判別結果が「Ｙｅｓ」の場合の処理について説明した。次に、ステップＳ１０５の判別結果が「Ｎｏ」の場合の処理について説明する。

（ステップＳ１２０）ステップＳ１０５の判別結果が「Ｎｏ」の場合、つまり、制御部１０５は、ステップＳ１０４の画像解析処理の結果、サブカメラ１０３で撮影されている画像に顔が含まれていない場合、自動的に撮影装置１０１を自分撮り撮影モードに設定する。

ここで、自分撮り撮影モードとは、撮影者自身が被写体となって自分の画像を撮影する撮影モードである。本実施形態における自分撮り撮影モードでは、メインカメラ１０２で撮影しようとする画像の画角内に撮影者の顔が収まっているか否かを判別して、撮影者の顔が撮影画角内に収まっている場合は撮影処理を開始し、撮影者の顔が撮影画角内に収まっていない場合は焦点距離を変更したり、撮影者に注意を促すようになっている。以下、自分撮り撮影モードの処理の流れについて説明する。

（ステップＳ１２１）制御部１０５は、メインカメラ１０２のデジタル信号処理部１１７に指令して、メインカメラ１０２で撮影している画像に顔が含まれているか否かを判別する。メインカメラ１０２で撮影されている画像に顔が含まれている場合はステップＳ１２２に進み、メインカメラ１０２で撮影されている画像に顔が含まれていない場合はステップＳ１２８に進む。

尚、メインカメラ１０２で撮影している画像に顔が含まれている場合に、ステップＳ１０７と同様に処理を行って、検出した顔の特徴がメモリ１０８に予め登録されている顔の特徴に一致した場合に、ＡＦライト１２１を点滅させたり、電子音発生部を設けて電子音で撮影者に知らせるようにしても構わない。また、ステップＳ１２１の判別処理は、ステップＳ１２０で自分撮り撮影モードに設定されてから所定時間が経過するまで待機状態にしても構わない。これにより、撮影者がメインカメラ１０２側に移動する時間だけ判別処理を待たせることができる。

（ステップＳ１２２）制御部１０５は、メインカメラ１０２で撮影しようとする撮影者自身の顔が撮影画角内にあるか否かを判別する。撮影者の顔が撮影画角内にある場合はステップＳ１２７に進み、撮影者の顔が撮影画角内にない場合はステップＳ１２３に進む。

ここで、撮影者の顔が撮影画角内にあるか否かの判別は、例えば、ステップＳ１０４の画像解析処理と同じように行う。ステップＳ１０４と異なる点は、ステップＳ１０４の画像解析処理は、サブカメラ１０３で撮影している画像についてデジタル信号処理部１２８で解析したが、ステップＳ１２１では、メインカメラ１０２で撮影している画像についてデジタル信号処理部１１７で解析することである。

また、撮影者の顔が撮影画角内にあるか否かの判別は、図４で説明したように、例えば、メインカメラ１０２で図４（ａ）のような所定サイズ以上の顔が撮影画角内に含まれた画像を撮影している場合は、撮影者の顔が撮影画角内にあると判別する。尚、図４（ｂ）のように顔が完全に含まれていない場合や、図４（ｃ）のように顔の大きさが所定サイズ以下で認識できない場合は、撮影者の顔が撮影画角内にないと判別する。また、図１０（ａ）に示すように、撮影者の顔が撮影画角に対して大き過ぎる場合も撮影者の顔が撮影画角内にないと判別する。

（ステップＳ１２３）制御部１０５は、メインカメラ１０２のレンズ光学系１１２のズームレンズのズーム位置がＷｉｄｅ端（広角端）にあるか否かを判別する。ズームレンズのズーム位置がＷｉｄｅ端にある場合はステップＳ１２５に進み、ズームレンズのズーム位置がＷｉｄｅ端にない場合はステップＳ１２４に進む。尚、制御部１０５は操作部１０６のズームボタン１５３の操作によりレンズ駆動部１２２を制御してレンズ光学系１１２のズームレンズのズーム位置を可変するので、現状のズーム位置を把握しているものとする。

（ステップＳ１２４）制御部１０５は、メインカメラ１０２のレンズ光学系１１２のズームレンズのズーム位置をＷｉｄｅ側に移動し、ステップＳ１２１に戻る。

ここで、ズーム位置をＷｉｄｅ側に移動することで、図１０（ａ）に示したように撮影者の顔が撮影画角に対して大き過ぎる場合でも、図１０（ｂ）に示すように撮影者の顔を撮影画角内に収めることができる。

（ステップＳ１２５）制御部１０５は、ＡＦライト１２１を発光して点滅させ、撮影者の顔が撮影画角内にないことを撮影者に知らせる。尚、通常、ＡＦライト１２１はＡＦ用の補助光として用いるが、ここでは撮影者の警告発光用として利用している。ＡＦライト１２１を用いずに、他のＬＥＤやフラッシュ１１９或いは電子音などによって、撮影者の顔が撮影画角内にないことを撮影者に知らせるようにしても構わない。

この処理ステップは、ステップＳ１２４でズーム位置をＷｉｄｅ端に移動させても、図１０（ｃ）に示したように撮影者の顔が撮影画角に収まらない場合に、撮影者に撮影者の顔を撮影画角内に収めることができないことを警告するための処理である。この警告によって、撮影者は、再度、構図を変更して自分撮り撮影を行うことができ、撮影者の顔が撮影画角に収まっていない画像を誤って撮影してしまうことを防止できる。

（ステップＳ１２６）撮影を停止してステップＳ１１９に進み、一連の撮影処理を終了する。

（ステップＳ１２７）サブカメラ１０３で認識した撮影者の顔がメインカメラ１０２で認識され、撮影画角内に撮影者の顔が入っている場合、制御部１０５は自動的にレリーズボタン１５２を押下して撮影を行い、ステップＳ１１８に進む。具体的には、制御部１０５は、レリーズボタン１５２の押下に相当する撮影開始信号を発生して自動撮影する。

（ステップＳ１２８）制御部１０５は、撮影装置１０１の撮影モードを、自分撮り撮影モードから通常の撮影モードに設定する。尚、通常の撮影モードとは、自分撮り撮影モードのように、メインカメラ１０２で撮影する画像に顔があるか否かの判別や、撮影画角内に収まっているか否かの判別などの特別な処理を行うことなく、レリーズボタン１５２が押下されれば、予め設定されている撮影条件（感度設定、露出設定など）で撮影を行う撮影モードである。通常の撮影モードに設定された後、ステップＳ１１７に進み、撮影処理を行う。尚、ステップＳ１２１でメインカメラ１０２で撮影者の顔が認識されない場合は、本ステップＳ１２８を実行せずに、最初のステップＳ１０４に戻るようにしても構わない。

このように、本実施形態に係る撮影装置１０１は、サブカメラ１０３に撮影者の顔がない場合に自動的に自分撮り撮影モードに設定されるので、通常の撮影モードと自分撮り撮影モードとが混在して頻繁に利用される場合でも、撮影する度に、撮影装置を自分撮り撮影モードに設定したり、通常の撮影モードに設定し直すような煩わしい操作を行う必要がなく、最適な自分撮り撮影を行うことができる。

また、自分撮り撮影モードに移行後に、顔が撮影画角内にあるか否かを判別して、顔が撮影画角からはみ出しているような場合でも、顔が撮影画角内に収まるように自動的にレンズ光学系１１２のズーム位置をＷｉｄｅ側に移動させるので、撮影者が撮影画角を調整する必要がなく、最適な自分撮り撮影を行うことができる。

さらに、レンズ光学系１１２のズーム位置をＷｉｄｅ端に移動させても、撮影者の顔が撮影画角内に収まらない場合は、ＡＦライト１２１で警告発光するので、撮影者は、自分の顔が撮影画角内に収まっていないことがわかり、撮影ミスを防止することができる。

或いは、自分撮り撮影モードに移行後に、サブカメラ１０３で認識した撮影者の顔がメインカメラ１０２で認識された場合に、自動的にレリーズボタン１５２を押下して撮影を行うので、撮影者が撮影操作をする必要がなく、自然な感じの撮影を行うことができる。

（第２の実施形態）
次に、第２の実施形態に係る撮影装置１０１について説明する。本実施形態に係る撮影装置１０１の構成は、第１の実施形態の図１および図２と同じである。

本実施形態に係る撮影装置１０１は、撮影装置１０１の電源投入後、暫くの間はサブカメラ１０３で撮影されていた撮影者が、その後、自分撮り撮影を行うために、メインカメラ１０２側に移動する場合を想定している。この場合、サブカメラ１０３で撮影されていた撮影者は、一旦、サブカメラ１０３の撮影画面から消え、メインカメラ１０２側に移動し、メインカメラ１０２の撮影画面に現れることになる。

本実施形態に係る撮影装置１０１は、上記のような場合でも、高い精度で自分撮り撮影モードを自動的に設定することができる。

次に、本実施形態に係る撮影装置１０１の動作について、図１１を用いて説明する。図１１は、第１の実施形態で図３に対応するフローチャートで、図３と同じステップ番号の処理は同じ処理を示す。ここでは、図３と異なる処理についてのみ説明する。

図１１において、ステップＳ１０１からステップＳ１１０の処理までは図３のフローチャートと同じである。本実施形態では、ステップＳ１１０の処理とステップＳ１１１の処理の間に、新たにステップＳ１１０ｂの処理を設けている。

（ステップＳ１１０ｂ）制御部１０５は、サブカメラ１０３のデジタル信号処理部１２８に指令して、サブカメラ１０３で撮影している画像に顔が含まれているか否かを判別する。サブカメラ１０３で撮影されている画像に顔が含まれている場合はステップＳ１１１に進み、サブカメラ１０３で撮影されている画像に顔が含まれていない場合はステップＳ１２０の自分撮り撮影モードに進む。

このように、ステップＳ１０５の時点で、サブカメラ１０３で撮影している画像に顔が含まれていた場合でも、その後、撮影者が、自分撮り撮影を行うために、サブカメラ１０３の撮影画面から消え、メインカメラ１０２の撮影画面側に移動した場合でも、自分撮り撮影モードに移行することができる。尚、図１１において、ステップＳ１１０ｂをステップＳ１１０の処理とステップＳ１１１の処理の間に設けたが、ステップＳ１０６からステップＳ１１６までの処理の間であれば同様の効果が得られる。

特に、ステップＳ１０５の処理を行って「Ｙｅｓ」と判断された後、予め設定した所定時間が経過してからステップＳ１１０ｂの処理を行うようにしても構わない。一般に、撮影装置１０１の電源投入後、暫くの間は撮影者がサブカメラ１０３で撮影される場合が多いので、所定時間が経過してからステップＳ１１０ｂの処理を実行することにより、精度高く自分撮り撮影モードに切り替えることができる。

尚、ステップＳ１１０ｂで自分撮り撮影モードに移行する場合に、ステップＳ１０６においてサブカメラ１０３で撮影された画像から検出した撮影者の顔が、ステップＳ１２７でメインカメラ１０２で撮影する画像から検出した撮影者の顔に一致した場合、自動的にレリーズボタン１５２を押下して撮影を行うようにしても構わない。これにより、撮影者が操作部１０６のレリーズボタン１５２を手動で押下せずに、サブカメラ１０３で認識した撮影者の顔がメインカメラ１０２で認識された場合に、自動的にレリーズボタン１５２を押下して撮影を行うので、撮影者が撮影操作をする必要がなく、自然な感じの撮影を行うことができる。

このように、本実施形態に係る撮影装置１０１は、サブカメラ１０２で取得した撮影者の顔を認識して、撮影装置１０１を自動的に自分撮り撮影モードに設定したり、自分撮り撮影モードにおける複雑な操作をアシストすることができる。

尚、各実施形態では、メインカメラ１０２とサブカメラ１０３とは、共通部１０４を介して別々に分けて説明したが、メインカメラ１０２とサブカメラ１０３とに共通する部分は、１つにまとめても構わない。例えば、図１において、メインカメラ１０２の画像バッファ１１６とサブカメラ１０３の画像バッファ１２７とは同じバッファメモリを用いても構わない。同様に、メインカメラ１０２のデジタル信号処理部１１７とサブカメラ１０３のデジタル信号処理部１２８とは同じデジタル信号処理部としても構わない。

或いは、メインカメラ１０２とサブカメラ１０３とを１つの画像取得部として共通化しても構わない。例えば、メインカメラ１０２のレンズ光学系１１２と撮像部１１３の部分と、サブカメラ１０３のレンズ光学系１２３と撮像部１２４の部分とを独立に設けて、メインカメラ１０２のアナログ信号処理１１４以降のブロックと、サブカメラ１０３のアナログ信号処理１２５以降のブロックとを共通化しても構わない。または、ミラーなどの光学部材を用いて光学経路を切り替える機構を設けて、メインカメラ１０２のレンズ光学系１１２と、サブカメラ１０３のレンズ光学系１２３とを含む全てのブロックを共通化しても構わない。

第１の実施形態に係る撮影装置１０１のブロック図である。 撮影装置１０１の外観を示す説明図である。 撮影装置１０１の動作を示すフローチャートである。 顔の検出を説明するための補助図である。 撮影モードの登録テーブル例を示す説明図である。 瞳位置を説明するための補助図である。 主要被写体の位置を説明するための補助図である。 表情の変化を説明するための補助図である。 表情の変化量の検出を説明するための補助図である。 顔が撮影画角内にあるか否かを検出を説明するための補助図である。 第２の実施形態に係る撮影装置１０１の動作を示すフローチャートである。

符号の説明

１０１・・・撮影装置 １０２・・・メインカメラ
１０３・・・サブカメラ １０４・・・共通部
１０５・・・制御部 １０６・・・操作部
１０７・・・液晶モニタ １０８・・・メモリ
１０９・・・メモリカード １１０・・・カードＩ／Ｆ
１１１・・・加速度センサ １１２・・・レンズ光学系
１１３・・・撮像部 １１４・・・アナログ信号処理部
１１５・・・Ａ／Ｄ変換部 １１６・・・画像バッファ
１１７・・・デジタル信号処理部 １１８・・・ＡＥ部
１１９・・・フラッシュ １２０・・・ＡＦ部
１２１・・・ＡＦライト １２２・・・レンズ駆動部
１２３・・・レンズ光学系 １２４・・・撮像部
１２５・・・アナログ信号処理部 １２６・・・Ａ／Ｄ変換部
１２７・・・画像バッファ １２８・・・デジタル信号処理部
１５１・・・電源ボタン １５２・・・レリーズボタン
１５３・・・ズームボタン １５４・・・ＯＫボタン
１５５，１５６，１５７，１５８・・・上下左右のカーソルボタン

Claims (9)

1. 第１画像を形成する第１光学系と、
   前記第１光学系とは逆方向の第２画像を形成する第２光学系と
   前記第１画像及び前記第２画像を取得する画像取得部と、
   前記第２画像を用いて撮影者の存在を認識する認識部と、
   前記認識部により前記撮影者の存在を認識できないとき、前記撮影者自身を前記第１画像により撮影する自分撮り撮影モードに切り替え、前記第１画像を取得するときの設定を人物撮影に適した設定にするように制御する制御部と
   を有することを特徴とする撮影装置。
2. 請求項１に記載された撮影装置であって、
   前記第１画像を表示するための表示部を有し、
   前記第２光学系は、前記表示部に近接して備えられていることを特徴とする撮影装置。
3. 請求項１または２に記載された撮影装置であって、
   前記制御部は、前記認識部により前記撮影者の存在を認識できないとき、前記第１画像を取得する際の前記画像取得部の撮影モード、画角、露出、コントラストの少なくとも一つの設定を変えるように制御することを特徴とする撮影装置。
4. 請求項１から請求項３までの何れか１項に記載された撮影装置であって、
   前記認識部で認識された前記撮影者が前記第１画像に検出されたとき、本撮影を開始するための撮影開始信号を発生する撮影開始信号発生部を有することを特徴とする撮影装置。
5. 請求項４に記載された撮影装置であって、
   前記撮影開始信号発生部は、前記認識部により前記撮影者の存在が認識された後、所定時間内に前記撮影者が前記第１画像に検出されたとき前記撮影開始信号を発生することを特徴とする撮影装置。
6. 請求項１から請求項５までの何れか１項に記載された撮影装置であって、
   前記撮影者に確認情報を報知する確認報知部を更に設け、
   前記制御部は、前記認識部が前記第１画像または前記第２画像のいずれかに前記撮影者の存在を認識したとき、前記確認報知部から前記撮影者に確認情報を報知する
   ことを特徴とする撮影装置。
7. 請求項４に記載された撮影装置であって、
   前記認識部は、前記第１画像で前記撮影者の顔を認識し、
   前記制御部は、前記第１画像で認識した前記撮影者の顔が前記第１画像の画角内に入るように、前記第１光学系の焦点距離を可変する
   ことを特徴とする撮影装置。
8. 請求項７に記載の撮影装置において、
   前記撮影者にエラー情報を報知するエラー報知部を更に設け、
   前記制御部は、前記第１光学系の焦点距離を可変した場合でも、前記第１画像で認識した前記撮影者の顔が前記第１画像の画角内に入らない場合は、前記エラー報知部から前記撮影者にエラー情報を報知する
   ことを特徴とする撮影装置。
9. 請求項１から請求項８までの何れか１項に記載された撮影装置であって、
   前記撮影装置の動きを検出する加速度センサを更に設け、
   前記認識部は、前記加速度センサが検出する前記撮影装置の動きが所定値内になったとき、前記第１画像または前記第２画像において前記撮影者の認識を開始する
   ことを特徴とする撮影装置。

Images