JP5109779B2

JP5109779B2 - 撮影装置

Info

Publication number: JP5109779B2
Application number: JP2008110983A
Authority: JP
Inventors: 眞一古川
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2008-04-22
Filing date: 2008-04-22
Publication date: 2012-12-26
Anticipated expiration: 2028-04-22
Also published as: JP2009267468A

Description

本発明は、撮影装置に関する。

前方の被写体を撮影するメインカメラに加えて、メインカメラとは異なる方向の画像を撮影するサブカメラを搭載した撮影装置が知られている。このような撮影装置では、被写体を撮影中の撮影者をサブカメラを用いて撮影し、メインカメラで撮影する被写体画像と共に記録するようになっている（例えば、特許文献１参照）。

ところが、従来のサブカメラを有する撮影装置は、単に被写体画像と共に撮影者の画像を撮影するだけであり、撮影者の表情や視線など画像から得られる情報を撮影装置の設定や制御などに利用されることはなかった。
特開２００６−０３３６１１号公報

本発明の課題は、好適な撮影を行うことができる撮影装置を提供することである。

本発明に係る撮影装置は、第１画像、及び、前記第１画像とは異なる第２画像を取得する画像取得部と、前記第１画像を形成する第１光学系と、前記第１画像を表示するための表示部と、前記第１光学系と反対向きに備えられ、前記表示部に近接して配置された前記第２画像を形成する第２光学系と、前記第２画像を用いて撮影者の特徴を認識する認識部と、前記認識部により認識された前記撮影者の特徴に応じて、前記第１画像を取得するときの撮影モード、露出、コントラスト、レーティングの少なくとも一つの設定を変えるように制御する制御部とを有し、前記認識部は、前記撮影者の表情および前記撮影者の表情の変化量を認識し、前記制御部は、前記認識部により認識された前記撮影者の表情の変化量に応じて、前記第１画像を取得するときの撮影モードを変えることを特徴とする。

また、好ましくは、前記撮影者に関する顔の情報を記憶した記憶部を有し、前記認識部は、前記記憶部の前記情報を用いて前記第２画像の前記撮影者の表情および前記撮影者の表情の変化量を認識することを特徴とする。

また、好ましくは、前記認識部は、前記第２画像の前記撮影者の笑顔の度合いを認識し、前記制御部は、前記第２画像の前記撮影者の笑顔の度合いに応じて、前記第１画像のレーティングを行い、そのレーティング情報を前記第１画像に付加して記憶媒体に記憶することを特徴とする。

本発明に係る撮影装置は、第１画像とは異なる第２画像を取得して撮影者の特徴を認識し、撮影者の特徴によって第１画像を取得するときの設定を変えるので、被写体に応じた好適な撮影を行うことができる。

以下、本発明に係る撮影装置に関する実施形態について図面を用いて詳しく説明する。

（第１の実施形態）
図１は、第１の実施形態に係る撮影装置１０１の構成を示すブロック図である。撮影装置１０１は、メインカメラ１０２と、サブカメラ１０３と、共通部１０４とで構成される。尚、共通部１０４は、説明が分かり易いように、メインカメラ１０２とサブカメラ１０３とに共通するブロックをまとめたものである。従って、実際にはメインカメラ１０２とサブカメラ１０３と共通部１０４との明確な境界はなく、１つの撮影装置１０１内に搭載されていればよい。

共通部１０４は、制御部１０５と、操作部１０６と、液晶モニタ１０７と、メモリ１０８と、メモリカード１０９を接続するカードＩ／Ｆ１１０と、加速度センサ１１１とで構成される。

共通部１０４において、撮影者は、操作部１０６を用いて撮影装置１０１を操作する。制御部１０５は、内部に予め組み込まれたプログラムに従って動作し、操作部１０６から得られる操作情報に応じて、撮影装置１０１の各ブロックを制御する。また、制御部１０５は、メインカメラ１０２やサブカメラ１０３から得られる画像や、メニュー画面などを液晶モニタ１０７に表示する。メモリ１０８は、制御部１０５が処理する際のパラメータや画像情報などが記憶される。また、制御部１０５は、メインカメラ１０２やサブカメラ１０３から得られる撮影画像をカードＩ／Ｆ１１０を介してメモリカード１０９に保存する。加速度センサ１１１は、撮影装置１０１の手振れなどを検出するセンサである。

次に、メインカメラ１０２は、レンズ光学系１１２と、撮像部１１３と、アナログ信号処理部１１４と、Ａ／Ｄ変換部１１５と、画像バッファ１１６と、デジタル信号処理部１１７と、ＡＥ部１１８と、フラッシュ１１９と、ＡＦ部１２０と、ＡＦライト１２１と、レンズ駆動部１２２とで構成され、第１画像を撮影する。

メインカメラ１０２において、被写体から入射する光はレンズ光学系１１２を介して撮像部１１３の受光面に結像される。

撮像部１１３は、受光面に光電変換部が二次元状に配置され、結像された光を電気信号に変換し、アナログ信号処理部１１４に出力する。

アナログ信号処理部１１４は、撮像部１１３が出力する電気信号のノイズ除去や増幅などを行ってＡ／Ｄ変換部１１５に出力する。

Ａ／Ｄ変換部１１５は、アナログの電気信号を画像データに変換し、画像バッファ１１６に一時的に記憶する。

デジタル信号処理部１１７は、画像バッファ１１６に一時的に記憶された画像データの色補正処理などの画像処理を行って制御部１０５に出力する。制御部１０５は、デジタル信号処理部１１７が画像処理したメインカメラ１０２の撮影画像をメモリ１０８やメモリカード１０９に記憶したり、液晶モニタ１０７に表示する。また、本実施形態では、デジタル信号処理部１１７は、制御部１０５の指令に応じて、画像解析処理などを行う。例えば、制御部１０５の指令に応じて顔認識処理を行い、画像バッファ１１６に一時的に記憶された撮影画像の撮影画角内に顔が入っているか否かを識別し、識別結果を制御部１０５に返す。

ＡＥ部１１８は、制御部１０５が指定したエリアで露出測定した結果を制御部１０５に出力し、制御部１０５は、撮像部１１３での露光量を制御したり、必要に応じてフラッシュ１１９を発光させる。

ＡＦ部１２０は、制御部１０５が指定したエリアで焦点位置を検出して制御部１０５に出力し、制御部１０５は、ＡＦライト１２１を点灯させたり、レンズ駆動部１２２に指令してレンズ光学系１１２のフォーカスレンズの位置を制御する。尚、制御部１０５は、操作部１０６のズーム操作に応じて、レンズ光学系１１２のズームレンズを移動するようレンズ駆動部１２２に指令し、レンズ光学系１１２の焦点距離を可変する。

次に、サブカメラ１０３は、レンズ光学系１２３と、撮像部１２４と、アナログ信号処理部１２５と、Ａ／Ｄ変換部１２６と、画像バッファ１２７と、デジタル信号処理部１２８とで構成され、第２画像を撮影する。

サブカメラ１０３において、被写体から入射する光はレンズ光学系１２３を介して撮像部１２４の受光面に結像される。

撮像部１２４は、受光面に二次元状に配置された光電変換部で結像された光を電気信号に変換し、アナログ信号処理部１２５に出力する。

アナログ信号処理部１２５は、撮像部１２４が出力する電気信号のノイズ除去や増幅などを行ってＡ／Ｄ変換部１２６に出力する。

Ａ／Ｄ変換部１２６は、アナログの電気信号を画像データに変換し、画像バッファ１２７に一時的に記憶する。

デジタル信号処理部１２８は、画像バッファ１２７に一時的に記憶された画像データの色補正処理などの画像処理を行って制御部１０５に出力する。また、本実施形態では、デジタル信号処理部１２８は、制御部１０５の指令に応じて、画像解析処理を行う。例えば、制御部１０５の指令に応じて顔認識処理を行い、画像バッファ１２７に一時的に記憶された撮影画像の中に顔があるか否かの判別，顔の特徴や顔の表情の抽出，瞳位置の検出などを行って、その結果を制御部１０５に出力する。制御部１０５は、デジタル信号処理部１２８の処理結果に応じて、撮影装置１０１の設定や動作を制御する。尚、具体的な処理については、後で詳しく説明する。また、制御部１０５は、メインカメラ１０２の場合と同様に、デジタル信号処理部１２８が画像処理したサブカメラ１０３の撮影画像をメモリ１０８やメモリカード１０９に記憶したり、液晶モニタ１０７に表示するようにしても構わない。また、サブカメラ１０３には、メインカメラ１０２のように、ＡＥ部１１８，フラッシュ１１９，ＡＦ部１２０，ＡＦライト１２１，レンズ駆動部１２２などに相当するブロックは描いてないが、これらのブロックと同等のブロックを設けても構わない。

次に、撮影装置１０１の外観について説明する。図２（ａ）は、撮影装置１０１の正面方向の様子を描いた図である。図２（ｂ）は、撮影装置１０１の背面方向の様子を描いた図である。図２（ａ）および図２（ｂ）において、図１と同符号のものは同じものを示す。撮影装置１０１の筐体には、図１の操作部１０６に含まれる各種の操作ボタンが配置されている。例えば、電源ボタン１５１、レリーズボタン１５２、ズームボタン１５３、ＯＫボタン１５４、上下左右のカーソルボタン１５５，１５６，１５７，１５８が配置されており、これらの操作ボタンの操作情報は、制御部１０５に出力される。

図２（ａ）に示すように、撮影装置１０１の正面部分にはメインカメラ１０２のレンズ光学系１１２が配置され、図２（ｂ）に示すように、撮影装置１０１の背面部分にはサブカメラ１０３のレンズ光学系１２３が配置されているので、メインカメラ１０２のレンズ光学系１１２とサブカメラ１０３のレンズ光学系１２３とは互いに異なる方向を撮影することができる。特に、本実施形態に係る撮影装置１０１は、サブカメラ１０３のレンズ光学系１２３は、図２（ｂ）に示すように、撮影装置１０１の背面の液晶モニタ１０７と同方向に配置されているので、液晶モニタ１０７の画面を見ながら撮影しようとする撮影者の顔を撮影することができるようになっている。尚、サブカメラ１０３のレンズ光学系１２３は、メインカメラ１０２で撮影する画像を表示する液晶モニタにできるだけ近接して配置するのが望ましい。

次に、本実施形態に係る撮影装置１０１の動作について図３のフローチャートを用いて説明する。尚、図３のフローチャートは、制御部１０５の内部に予め組み込まれたプログラムに従って動作し、制御部１０５は、必要に応じて、メインカメラ１０２側のデジタル信号処理部１１７やサブカメラ１０３側のデジタル信号処理部１２５に画像処理を行わせる。以下、撮影装置１０１の動作について順に説明する。

（ステップＳ１０１）撮影者は、撮影装置１０１の電源ボタン１５１を押下して電源をＯＮする。制御部１０５は、先ずメインカメラ１０２を起動し、先に説明したように、レンズ光学系１１２を介して撮像部１１３が撮影した画像を液晶モニタ１０７にプレビュー表示する。撮影者は、このプレビュー表示を見ながら撮影する被写体を確認する。

（ステップＳ１０２）制御部１０５は、サブカメラ１０３を起動し、先に説明したように、レンズ光学系１２３を介して撮像部１２４が撮影する画像は、画像バッファ１２７に取り込まれる。

（ステップＳ１０３）制御部１０５は、加速度センサ１１１の出力をモニタして、撮影装置１０１の筐体が静止したか否かを判別する。ここで、加速度センサ１１１の出力が零または所定範囲内にある時を静止と見なす。撮影装置１０１の筐体が静止した場合はステップＳ１０４に進み、撮影装置１０１の筐体が静止していない場合はステップＳ１０３の処理を繰り返す。尚、この判別処理は、撮影者が被写体を撮影するために撮影装置１０１を構えたか否かを判別するためのものなので、撮影装置１０１の筐体が静止したか否かの判別は、筐体の完全な静止を判別する必要はない。例えば、撮影者が撮影装置１０１をパンやチルトさせているような安定した動作を検出している場合は「Ｙｅｓ」の判断を行うようにしても構わない。

（ステップＳ１０４）制御部１０５は、サブカメラ１０３のデジタル信号処理部１２８に、画像解析処理を行うよう指令する。ここで、画像解析処理について説明する。画像解析処理は、サブカメラ１０３で撮影されている画像を解析して、撮影されている被写体を判別する処理である。特に、本実施形態では、サブカメラ１０３で撮影されている画像の中に顔があるか否かを解析する。例えば、サブカメラ１０３で図４（ａ）のような所定サイズ以上の顔が含まれた画像を撮影している場合は、顔が含まれていると判別する。尚、図４（ｂ）のように顔が完全に含まれていない場合や、図４（ｃ）のように顔の大きさが所定サイズ以下の場合は、顔が含まれていないと判別する。また、顔があるか否かの判別処理は、顔の輪郭や目，鼻，口の配置など顔の特徴量を用いて、顔があるか否かの判別を行っても構わないし、画像自体の相関を取るパターン認識処理によって判別しても構わない。

（ステップＳ１０５）制御部１０５は、ステップＳ１０４で画像解析処理の結果、サブカメラ１０３で撮影されている画像に顔が含まれている場合はステップＳ１０６に進み、サブカメラ１０３で撮影されている画像に顔が含まれていない場合はステップＳ１２０の自分撮り撮影モードに進む。

つまり、自分撮り撮影を行う場合は、撮影者はメインカメラ１０２の被写体となるので、メインカメラ１０２と逆方向を撮影しているサブカメラ１０３側で撮影者の顔が撮影されることない、という前提に基づいている。ここでは、サブカメラ１０３で撮影者の存在を認識できないとき、制御部１０５は、自動的に自分撮り撮影モードに移行し、同時に人物撮影に好適な露出設定、コントラスト設定などを行う。

（ステップＳ１０６）制御部１０５は、サブカメラ１０３のデジタル信号処理部１２８に、表情を検出するよう指令する。ここで、表情とは、例えば顔の形や目・鼻・口の位置や形など顔の特徴を意味する。検出した顔の特徴は、サブカメラ１０３が起動されて最初に認識した顔の表情とする。尚、後で説明するように、初期表情は、顔の表情の変化を検出する基になる画像である。従って、最も顔の表情の変化が少ないタイミングが好ましい。一般に、撮影開始直後の表情は喜怒哀楽の少ない通常の表情である場合が多いので、電源が投入され、カメラが静止したタイミングで初期表情の検出を行っている。

（ステップＳ１０７）制御部１０５は、ステップＳ１０６で検出した顔の特徴がメモリ１０８に予め登録されている顔の特徴に一致するか否かを判別する。メモリ１０８に予め登録されている顔の特徴に一致する場合はステップＳ１０８に進み、メモリ１０８に予め登録されている顔の特徴のいずれにも一致しない場合はステップＳ１０９に進む。尚、メモリ１０８に予め登録されている顔の特徴のいずれにも一致しない場合に、検出した顔の特徴を新たにメモリ１０８に登録するか否かを撮影者に選択させるメニューを液晶モニタ１０７に表示して、追加登録できるようにしても構わない。

尚、制御部１０５は、ステップＳ１０６で検出した顔の特徴がメモリ１０８に予め登録されている顔の特徴に一致した場合に、液晶モニタ１０７を点滅させたり、一致した登録人物の名前や画像を液晶モニタ１０７に表示したり、液晶モニタ１０７の明るさを変えて点滅させて、撮影者に登録人物と一致したことを知らせるようにしても構わない。或いは、電子音発生部を設けて電子音で撮影者に知らせるようにしても構わない。

（ステップＳ１０８）制御部１０５は、ステップＳ１０６で検出した顔の表情に一致する撮影者専用の撮影モードを撮影装置１０１に設定する。尚、メモリ１０８には、登録されている顔の特徴に一致する撮影者に対応させて、撮影装置１０１の撮影モードを予め記憶してあるものとする。例えば、図５に示すように、撮影モードとして感度・輪郭・コントラストを専用の設定する場合、撮影者Ａの顔の特徴に一致する時は感度：ＩＳＯ４００、輪郭：中、コントラスト：弱の撮影モードに設定する。或いは、撮影者Ｂの顔の特徴に一致する時は感度：ＩＳＯ１００、輪郭：ソフト、コントラスト：中の撮影モードに設定する。同様に、撮影者Ｃの顔の特徴に一致する時は感度：ＩＳＯ１６００、輪郭：シャープ、コントラスト：強の撮影モードに設定する。

（ステップＳ１０９）制御部１０５は、サブカメラ１０３のデジタル信号処理部１２８に、瞳位置を検出するよう指令する。この瞳位置の検出によって、撮影者の視線の認識を行うことができる。ここで、瞳位置の検出とは、瞳が目のどの位置にあるかを検出するもので、例えば、図６（ａ）の場合は「中央」（撮影者の視線は正面方向）、図６（ｂ）の場合は「左」（撮影者の視線は右方向）、図６（ｃ）の場合は「右」（撮影者の視線は左方向）のように検出する。尚、図６は実物の撮影者の目および瞳位置を描いたものではなく、サブカメラ１０３で撮影された撮影者の目および瞳位置を描いたものなので、例えば図６で瞳位置が紙面左側にあれば撮影者の視線方向は右方向になり、瞳位置が紙面右側にあれば撮影者の視線方向は左方向になる。また、図６では、分かり易いように、瞳位置を中央および左右の３つに分けて検出する場合について示したが、上下方向を含めてさらに細かく瞳位置を検出するようにしても構わない。

（ステップＳ１１０）制御部１０５は、ステップＳ１０９で検出した瞳位置に応じて、メインカメラ１０２で撮影する画像の主要被写体の位置を推定する。例えば、図７の撮影画像２０１において、図６（ａ）の場合は撮影画像２０１の中央部分ａの位置に主要被写体があるものと推定する。また、図６（ｂ）の場合は撮影画像２０１の右側部分ｂの位置に主要被写体があるものと推定する。同様に、図６（ｃ）の場合は撮影画像２０１の左側部分ｃの位置に主要被写体があるものと推定する。

尚、このようにして推定した主要被写体の位置は、撮影時の露出制御やフォーカス制御に利用される。例えば、制御部１０５はＡＥ部１１８から入力する際の露出測定を主要被写体の位置で行うことにより、主要被写体に最適な露出制御を行うことができる。或いは、制御部１０５は、ＡＦ部１２０から入力する焦点位置の検出を主要被写体の位置で行うことにより、主要被写体部分に焦点を合わせることができる。

（ステップＳ１１１）制御部１０５は、サブカメラ１０３のデジタル信号処理部１２８に、顔の表情を検出するよう指令する。尚、顔の表情の検出は、ステップＳ１０６と同様に、例えば顔の形や目・鼻・口の位置や形など顔の特徴を基に顔の表情を検出する。

ここで、顔の表情を検出する一例として、笑顔の度合いを検出する例について図８を用いて説明する。図８（ａ）は笑顔のない通常の表情、図８（ｂ）は小さな笑顔の表情、図８（ｃ）は大きな笑顔の表情である。

例えば、笑顔の度合いを検出するために、サブカメラ１０３のデジタル信号処理部１２８は、口角と目尻の傾きの変化を検出する。この一例を図９に示す。図９の（ａ），（ｂ），（ｃ）は、それぞれ図８の（ａ），（ｂ），（ｃ）の顔の表情に対応し、口と目の特徴を抜き出したものである。一般的な人間の顔は、笑顔になると口角は上がり、逆に目尻は下がる。例えば、図９（ａ）に描いたように、笑顔のない通常の表情の場合は、口角は上がっておらず、逆に目尻は下がっていない。これに対して、小さな笑顔になると、図９（ｂ）に描いたように、口角は少し上がり、目尻は少し下がる。さらに、大きな笑顔になると、図９（ｃ）に描いたように、口角は大きく上がり、目尻は大きく下がる。このように、点線円で囲んだ部分の傾きを検出することによって、笑顔の度合いを把握することができる。例えば、図９（ａ）の場合の口角の傾きは０度で目尻の瞼の傾きは３０度、図９（ｂ）の場合の口角の傾きは３０度で目尻の瞼の傾きは４５度、図９（ｃ）の場合の口角の傾きは６０度で目尻の瞼の傾きは６０度のように数値で表すことも可能である。尚、口角や目尻の傾きは、一般的な画像処理の手法を用いて求めることができる。例えば、エッジ抽出処理で線画に変換後、直線近似した２点間座標から角度を求めることができる。

（ステップＳ１１２）制御部１０５は、ステップＳ１０６で検出した顔の初期表情と、ステップＳ１１１で検出した現在の顔の表情とを比較して、顔の表情の変化量を検出する。

顔の表情の変化量は、ステップＳ１１１で説明した例の場合、口角の傾きの変化量と目尻の瞼の傾きの変化量とで表すことができる。例えば、先の例のように、図９（ａ）の場合の口角の傾きは０度で目尻の瞼の傾きは３０度、図９（ｂ）の場合の口角の傾きは３０度で目尻の瞼の傾きは４５度、図９（ｃ）の場合の口角の傾きは６０度で目尻の瞼の傾きは６０度であったとする。

ここで、ステップＳ１０６で検出した最初の顔の表情（初期表情）を図８（ａ）とし、ステップＳ１１１で検出した現在の顔の表情を図８（ｂ）とする。この場合、ステップＳ１１２で検出する顔の表情の変化量は、図９を用いて、口角の変化量が３０度−０度＝３０度、目尻の変化量が４５度−３０度＝１５度と計算できる。同様に、ステップＳ１１１で検出した現在の顔の表情を図８（ｃ）とする。この場合、ステップＳ１１２で検出する顔の表情の変化量は、図９を用いて、口角の変化量が６０度−０度＝６０度、目尻の変化量が６０度−３０度＝３０度と計算できる。

このようにして、顔の表情の変化量を検出することができる。尚、上記の説明では分かり易いように、口角と目尻の傾きを用いて顔の表情の変化を検出するようにしたが、唇の動きなど別の方法により顔の変化を検出するようにしても構わない。

（ステップＳ１１３）制御部１０５は、ステップＳ１１２で検出した顔の表情の変化量により、顔の表情が変化したか否かを判別する。顔の表情が変化している場合はステップＳ１１４に進み、ステップＳ１１１で検出し顔の表情が変化していない場合はステップＳ１１６に進む。

ここで、顔の表情が変化したか否かの判別は、先に説明したように、図９の場合は口角と目尻の傾きが所定値以上変化したか否かによって判別することができる。例えば、口角の変化量が２０度以上で目尻の変化量が１０度以上を所定値として、顔の表情が変化したか否かを判断する場合、図９（ｂ）および図９（ｃ）は、図９（ａ）に対して口角および目尻共に所定値以上なので、顔の表情が変化したと判断する。先の例において、仮に口角の変化量が４５度以上で目尻の変化量が２０度以上を所定値とした場合、図９（ｃ）は、図９（ａ）に対して口角および目尻共に所定値以上なので、顔の表情が変化したと判断するが、図９（ｂ）は、図９（ａ）に対して口角および目尻共に所定値未満なので、顔の表情が変化していないと判断する。もちろん、図９（ａ）の状態のままであっても、顔の表情が変化していないと判断する。

（ステップＳ１１４）制御部１０５は、ステップＳ１１１で検出した顔の表情より、笑顔であるか否かを判別する。笑顔である場合はステップＳ１１５に進み、笑顔でない場合はステップＳ１１６に進む。

ここで、顔の表情が笑顔であるか否かの判別は、図８および図９で説明したように、口角の傾きと目尻の傾きとで判断することができる。例えば、口角の傾きが２０度以上で目尻の傾きが４０度以上を所定値として、顔の表情が笑顔であるか否かを判断する場合、図９（ａ）は笑顔ではないと判断され、図９（ｂ）および図９（ｃ）は口角および目尻共に所定値以上なので、笑顔であると判断される。もし、口角の傾きが５０度以上で目尻の傾きが４０度以上を所定値とした場合、図９（ｃ）は、口角および目尻共に所定値以上なので、笑顔であると判断されるが、図９（ｂ）は、口角および目尻共に所定値未満なので、笑顔ではないと判断される。

尚、口角や目尻の上下移動だけでなく、唇が動いているか否かで判別しても構わない。例えば、被写体が人物の場合は、話をしながら撮影する場合が多いので、撮影者の唇は動いており、被写体が人物であると推定できる。また、ここで判別した笑顔の度合いに応じて、メインカメラ１０２で撮影した画像のレーティングを行うようにしても構わない。

（ステップＳ１１５）制御部１０５は、撮影装置１０１の撮影モードを人物撮影モードに設定する。尚、人物撮影モードとは、例えば、人の肌などをきれいに見せるための色補正処理や輪郭をソフトにする処理などを行う撮影モードである。人物撮影モードに設定されると、メインカメラ１０２で画像を撮影する際に、制御部１０５はメインカメラ１０２のデジタル信号処理部１１７に人物撮影に好適な露出設定、コントラスト設定、色補正処理、輪郭処理などを行うよう指令する。

（ステップＳ１１６）制御部１０５は、撮影装置１０１の撮影モードを風景撮影モードに設定する。尚、風景撮影モードとは、例えば、濃淡をきれいに見せるためのコントラスト処理や輪郭をシャープにする処理などを行う撮影モードである。風景撮影モードに設定されると、メインカメラ１０２で画像を撮影する際に、制御部１０５はメインカメラ１０２のデジタル信号処理部１１７に風景撮影に好適な露出設定、コントラスト設定、色補正処理、輪郭処理などを行うよう指令する。

（ステップＳ１１７）制御部１０５は、操作部１０６のレリーズボタン１５２が押されると、メインカメラ１０２での撮影を行う（手動撮影）。撮影処理は、先に説明したように、レンズ光学系１１２を介して入射される被写体光を撮像部１１３で光電変換して電気信号に変換し、Ａ／Ｄ変換部１１５でデジタルの画像データに変換され、画像バッファ１１６に一時的に取り込まれる。

（ステップＳ１１８）ステップＳ１１７で画像バッファ１１６に一時的に取り込まれた画像データは、デジタル信号処理部１１７で撮影モードの応じた色変換処理や輪郭処理などが行われた後、制御部１０５を介してメモリ１０８或いはカードＩ／Ｆ１１０を介してメモリカード１０９に保存される。また、必要に応じて、液晶モニタ１０７に表示される。

尚、撮影画像をメモリ１０８やメモリカード１０９に保存する際に、ステップＳ１１４で判別したレーティング結果を保存する画像データにレーティング情報として付加しても構わない。例えば、Ｅｘｉｆ規格で画像データを保存する場合、レーティング情報の付加はＥｘｉｆ規格のユーザーエリアに記録するようにすれば良い。これによって、撮影済みの画像データをチェックするだけで、笑顔であるか否かや、笑顔の度合いなど容易に知ることができる。また、レーティング情報自体は、数値や記号で表しても構わないし、☆印の数などで表しても構わない。

（ステップＳ１１９）一連の撮影処理を終了し、続けて撮影を行う場合は、ステップＳ１０２からの処理を繰り返す。

以上、ステップＳ１０５の判別処理において、判別結果が「Ｙｅｓ」の場合の処理について説明した。次に、ステップＳ１０５の判別結果が「Ｎｏ」の場合の処理について説明する。

（ステップＳ１２０）ステップＳ１０５の判別結果が「Ｎｏ」の場合、つまり、制御部１０５は、ステップＳ１０４の画像解析処理の結果、サブカメラ１０３で撮影されている画像に顔が含まれていない場合、自動的に撮影装置１０１を自分撮り撮影モードに設定する。

ここで、自分撮り撮影モードとは、撮影者自身が被写体となって自分の画像を撮影する撮影モードである。本実施形態における、自分撮り撮影モードでは、メインカメラ１０２で撮影しようとする画像の画角内に撮影者の顔が収まっているか否かを判別して、撮影者の顔が撮影画角内に収まっている場合は撮影処理を開始し、撮影者の顔が撮影画角内に収まっていない場合は焦点距離を変更したり、撮影者に注意を促すようになっている。以下、自分撮り撮影モードの処理の流れについて説明する。

（ステップＳ１２１）制御部１０５は、メインカメラ１０２のデジタル信号処理部１１７に指令して、メインカメラ１０２で撮影している画像に顔が含まれているか否かを判別する。メインカメラ１０２で撮影されている画像に顔が含まれている場合はステップＳ１２２に進み、メインカメラ１０２で撮影されている画像に顔が含まれていない場合はステップＳ１２８に進む。

尚、メインカメラ１０２で撮影している画像に顔が含まれている場合に、ステップＳ１０７と同様に処理を行って、検出した顔の特徴がメモリ１０８に予め登録されている顔の特徴に一致した場合に、ＡＦライト１２１を点滅させたり、電子音発生部を設けて電子音で撮影者に知らせるようにしても構わない。また、ステップＳ１２１の判別処理は、ステップＳ１２０で自分撮り撮影モードに設定されてから所定時間が経過するまで待機状態にしても構わない。これにより、撮影者がメインカメラ１０２側に移動する時間だけ判別処理を待たせることができる。

（ステップＳ１２２）制御部１０５は、メインカメラ１０２で撮影しようとする撮影者自身の顔が撮影画角内にあるか否かを判別する。撮影者の顔が撮影画角内にある場合はステップＳ１２７に進み、撮影者の顔が撮影画角内にない場合はステップＳ１２３に進む。

ここで、撮影者の顔が撮影画角内にあるか否かの判別は、例えば、ステップＳ１０４の画像解析処理と同じように行う。ステップＳ１０４と異なる点は、ステップＳ１０４の画像解析処理は、サブカメラ１０３で撮影している画像についてデジタル信号処理部１２８で解析したが、ステップＳ１２１では、メインカメラ１０２で撮影している画像についてデジタル信号処理部１１７で解析することである。

また、撮影者の顔が撮影画角内にあるか否かの判別は、図４で説明したように、例えば、メインカメラ１０２で図４（ａ）のような所定サイズ以上の顔が撮影画角内に含まれた画像を撮影している場合は、撮影者の顔が撮影画角内にあると判別する。尚、図４（ｂ）のように顔が完全に含まれていない場合や、図４（ｃ）のように顔の大きさが所定サイズ以下で認識できない場合は、撮影者の顔が撮影画角内にないと判別する。また、図１０（ａ）に示すように、撮影者の顔が撮影画角に対して大き過ぎる場合も撮影者の顔が撮影画角内にないと判別する。

（ステップＳ１２３）制御部１０５は、メインカメラ１０２のレンズ光学系１１２のズームレンズのズーム位置がＷｉｄｅ端（広角端）にあるか否かを判別する。ズームレンズのズーム位置がＷｉｄｅ端にある場合はステップＳ１２５に進み、ズームレンズのズーム位置がＷｉｄｅ端にない場合はステップＳ１２４に進む。尚、制御部１０５は操作部１０６のズームボタン１５３の操作によりレンズ駆動部１２２を制御してレンズ光学系１１２のズームレンズのズーム位置を可変するので、現状のズーム位置を把握しているものとする。

（ステップＳ１２４）制御部１０５は、メインカメラ１０２のレンズ光学系１１２のズームレンズのズーム位置をＷｉｄｅ側に移動し、ステップＳ１２１に戻る。

ここで、ズーム位置をＷｉｄｅ側に移動することで、図１０（ａ）に示したように撮影者の顔が撮影画角に対して大き過ぎる場合でも、図１０（ｂ）に示すように撮影者の顔を撮影画角内に収めることができる。

（ステップＳ１２５）制御部１０５は、ＡＦライト１２１を発光して点滅させ、撮影者の顔が撮影画角内にないことを撮影者に知らせる。尚、通常、ＡＦライト１２１はＡＦ用の補助光として用いるが、ここでは撮影者の警告発光用として利用している。ＡＦライト１２１を用いずに、他のＬＥＤやフラッシュ１１９或いは電子音などによって、撮影者の顔が撮影画角内にないことを撮影者に知らせるようにしても構わない。

この処理ステップは、ステップＳ１２４でズーム位置をＷｉｄｅ端に移動させても、図１０（ｃ）に示したように撮影者の顔が撮影画角に収まらない場合に、撮影者に撮影者の顔を撮影画角内に収めることができないことを警告するための処理である。この警告によって、撮影者は、再度、構図を変更して自分撮り撮影を行うことができ、撮影者の顔が撮影画角に収まっていない画像を誤って撮影してしまうことを防止できる。

（ステップＳ１２６）撮影を停止してステップＳ１１９に進み、一連の撮影処理を終了する。

（ステップＳ１２７）サブカメラ１０３で認識した撮影者の顔がメインカメラ１０２で認識され、撮影画角内に撮影者の顔が入っている場合、制御部１０５は自動的にレリーズボタン１５２を押下して撮影を行い、ステップＳ１１８に進む。具体的には、制御部１０５は、レリーズボタン１５２の押下に相当する撮影開始信号を発生して自動撮影する。

（ステップＳ１２８）制御部１０５は、撮影装置１０１の撮影モードを、自分撮り撮影モードから通常の撮影モードに設定する。尚、通常の撮影モードとは、自分撮り撮影モードのように、メインカメラ１０２で撮影する画像に顔があるか否かの判別や、撮影画角内に収まっているか否かの判別などの特別な処理を行うことなく、レリーズボタン１５２が押下されれば、予め設定されている撮影条件（感度設定、露出設定など）で撮影を行う撮影モードである。通常の撮影モードに設定された後、ステップＳ１１７に進み、撮影処理を行う。尚、ステップＳ１２１でメインカメラ１０２で撮影者の顔が認識されない場合は、本ステップＳ１２８を実行せずに、最初のステップＳ１０４に戻るようにしても構わない。

このように、本実施形態に係る撮影装置１０１は、メインカメラ１０２とサブカメラ１０３とが互いに異なる方向を撮影することができる。特に、サブカメラ１０３は撮影装置１０１の撮影者の方向を撮影するので、サブカメラ１０３で撮影した撮影者の画像から撮影者の特徴を取得し、得られた撮影者の特徴に応じてメインカメラ１０２で撮影する際の撮影装置１０１の設定を自動的に行うことができる。例えば、撮影装置１０１を使用する撮影者個人を特定して、図５に示すように、撮影者の好みの撮影モードを撮影者が設定する必要がなく、自動的に設定されるので、撮影者が変わる場合でも撮影モードを設定し直す必要がない。

また、サブカメラ１０３で撮影した画像の撮影者の顔の表情を認識し、且つ表情の変化量を検出するので、顔の表情の変化量に応じて撮影装置１０１の撮影モード（人物撮影モードや風景撮影モードなど）を自動的に変えることができる。一般に、撮影者は、風景などを撮影する場合は図８（ａ）に示すように笑顔ではない場合が多く、人物を撮影する場合は、被写体の人物に話し掛けたりするので、図８（ｂ）に示すように撮影者は笑顔になる場合が多い。特に親しい人物の場合は、図８（ｃ）に示すようにさらに笑顔の度合いが大きくなることが多い。本実施形態では、サブカメラ１０３で撮影される撮影者の顔の表情が笑顔の場合は、メインカメラ１０２で撮影する被写体が人物であると判断して、人の肌などをきれいに見せるための色補正処理や輪郭をソフトにする処理などを自動的に行うことができる。逆に、サブカメラ１０３で撮影される撮影者の顔の表情が笑顔でない場合は、メインカメラ１０２で撮影する被写体が人物でないと判断して、山の輪郭や建造物の濃淡をきれいに見せるためのコントラスト処理や輪郭をシャープにする処理などを撮影者が設定する必要がなく、自動的に行うことができる。

また、本実施形態に係る撮影装置１０１は、サブカメラ１０３で撮影される撮影者の瞳位置を認識するので、メインカメラ１０２で撮影している画像のどの部分の被写体が主要被写体であるかを判別することができ、主要被写体の位置に応じてＡＥ制御やＡＦ制御を行うことにより、撮影者が注目している主要被写体に対して適切な露出設定や焦点制御を撮影者が設定する必要がなく、自動的に行うことができる。

さらに、メインカメラ１０２で撮影する画像のレーティングを行い、そのレーティング情報を撮影画像に付加して記憶媒体に記憶するので、撮影済みの画像データをチェックするだけで、笑顔であるか否かや、笑顔の度合いなど容易に知ることができ、整理や分類する際に便利である。

尚、本実施形態では、メインカメラ１０２とサブカメラ１０３とは、共通部１０４を介して別々に分けて説明したが、メインカメラ１０２とサブカメラ１０３とに共通する部分は、１つにまとめても構わない。例えば、図１において、メインカメラ１０２の画像バッファ１１６とサブカメラ１０３の画像バッファ１２７とは同じバッファメモリを用いても構わない。同様に、メインカメラ１０２のデジタル信号処理部１１７とサブカメラ１０３のデジタル信号処理部１２８とは同じデジタル信号処理部としても構わない。

或いは、メインカメラ１０２とサブカメラ１０３とを１つの画像取得部として共通化しても構わない。例えば、メインカメラ１０２のレンズ光学系１１２と撮像部１１３の部分と、サブカメラ１０３のレンズ光学系１２３と撮像部１２４の部分とを独立に設けて、メインカメラ１０２のアナログ信号処理１１４以降のブロックと、サブカメラ１０３のアナログ信号処理１２５以降のブロックとを共通化しても構わない。または、ミラーなどの光学部材を用いて光学経路を切り替える機構を設けて、メインカメラ１０２のレンズ光学系１１２と、サブカメラ１０３のレンズ光学系１２３とを含む全てのブロックを共通化しても構わない。

また、本実施形態における処理は、説明を分かり易くするための一例であり、例えば人物撮影モードと風景撮影モードの２つの撮影モードを設けたが、この２つの撮影モードに限定されることはない。同様に、笑顔の度合いも通常，笑顔（小），笑顔（大）の３つの度合いに分けて説明したが、さらに細かく分類しても構わないし、怒り顔や泣き顔などの判別を行うようにしても構わない。例えば、図９において、怒り顔の場合は笑顔と反対に表情が変化し、口角が下がると共に目尻が上がる。同様に、泣き顔の場合は口角が下がると共に目尻も下がる。このようにして、様々な顔の表情の変化を判別することができる。従って、レーティングについても、笑顔だけでなく、怒り顔や泣き顔などのレーティングを行うようにしても構わない。

さらに、本実施形態において、顔の表情の検出は、口角や目尻の上下移動を用いて説明したが、顎や唇の動きなどを用いても構わない。

第１の実施形態に係る撮影装置１０１のブロック図である。撮影装置１０１の外観を示す説明図である。撮影装置１０１の動作を示すフローチャートである。顔の検出を説明するための補助図である。撮影モードの登録テーブル例を示す説明図である。瞳位置を説明するための補助図である。主要被写体の位置を説明するための補助図である。表情の変化を説明するための補助図である。表情の変化量の検出を説明するための補助図である。顔が撮影画角内にあるか否かを検出を説明するための補助図である。

符号の説明

１０１・・・撮影装置１０２・・・メインカメラ
１０３・・・サブカメラ１０４・・・共通部
１０５・・・制御部１０６・・・操作部
１０７・・・液晶モニタ１０８・・・メモリ
１０９・・・メモリカード１１０・・・カードＩ／Ｆ
１１１・・・加速度センサ１１２・・・レンズ光学系
１１３・・・撮像部１１４・・・アナログ信号処理部
１１５・・・Ａ／Ｄ変換部１１６・・・画像バッファ
１１７・・・デジタル信号処理部１１８・・・ＡＥ部
１１９・・・フラッシュ１２０・・・ＡＦ部
１２１・・・ＡＦライト１２２・・・レンズ駆動部
１２３・・・レンズ光学系１２４・・・撮像部
１２５・・・アナログ信号処理部１２６・・・Ａ／Ｄ変換部
１２７・・・画像バッファ１２８・・・デジタル信号処理部
１５１・・・電源ボタン１５２・・・レリーズボタン
１５３・・・ズームボタン１５４・・・ＯＫボタン
１５５，１５６，１５７，１５８・・・上下左右のカーソルボタン

Claims

第１画像、及び、前記第１画像とは異なる第２画像を取得する画像取得部と、
前記第１画像を形成する第１光学系と、
前記第１画像を表示するための表示部と、
前記第１光学系と反対向きに備えられ、前記表示部に近接して配置された前記第２画像を形成する第２光学系と、
前記第２画像を用いて撮影者の特徴を認識する認識部と、
前記認識部により認識された前記撮影者の特徴に応じて、前記第１画像を取得するときの撮影モード、露出、コントラスト、レーティングの少なくとも一つの設定を変えるように制御する制御部と
を有し、
前記認識部は、前記撮影者の表情および前記撮影者の表情の変化量を認識し、
前記制御部は、前記認識部により認識された前記撮影者の表情の変化量に応じて、前記第１画像を取得するときの撮影モードを変える
ことを特徴とする撮影装置。
請求項１に記載された撮影装置であって、
前記撮影者に関する顔の情報を記憶した記憶部を有し、
前記認識部は、前記記憶部の前記情報を用いて前記第２画像の前記撮影者の表情および前記撮影者の表情の変化量を認識することを特徴とする撮影装置。
請求項１または２に記載された撮影装置であって、
前記認識部は、前記第２画像の前記撮影者の笑顔の度合いを認識し、
前記制御部は、前記第２画像の前記撮影者の笑顔の度合いに応じて、前記第１画像のレーティングを行い、そのレーティング情報を前記第１画像に付加して記憶媒体に記憶する
ことを特徴とする撮影装置。