JP6200262B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置に関する。

複数の撮像部を備え、それぞれの撮像部で撮像された画像を表示する撮像装置が知られている。特許文献１は、一方の撮像部で撮影者を撮影しながら他方の撮像部で被写体を同時に撮影し、それらの映像を表示部に並べて表示する技術を開示している。

特開２００９−２４４３６９号公報

特許文献１では、各撮像部で得られた画像を並べて表示しているのみであり、見難いという問題がある。

本発明は、複数の撮像部で得られた画像の表示の見やすさが向上した撮像装置を提供する。

本発明の一側面によれば、被写体を撮影して第１の画像を取得する第１の撮像手段と、撮影者を撮影して第２の画像を取得する第２の撮像手段と、前記撮影者の位置に関する情報を取得する取得手段と、前記第１の画像に前記第２の画像を合成して第３の画像を得る合成手段とを有し、前記取得手段により取得した情報により、前記第１の撮像手段によるローアングル撮影が行われていると推定される場合には、前記合成手段は、前記第２の画像を前記第１の画像の上部に合成し、前記取得手段により取得した情報により、前記第１の撮像手段によるハイアングル撮影が行われていると推定される場合には、前記合成手段は、前記第２の画像を前記第１の画像の下部に合成することを特徴とする撮像装置が提供される。

本発明によれば、複数の撮像部で得られた画像の表示の見やすさが向上した撮像装置が提供される。

実施形態における撮像装置の構成を示すブロック図。 実施形態における画像合成処理を示すフローチャート。 実施形態に係る撮像装置の機能ブロック図。 実施形態における画像合成処理を示すフローチャート。 実施形態における撮像装置のレンズ部の構成を説明する図。

＜実施形態１＞
以下、添付の図面を参照して、本発明の実施形態を詳しく説明する。なお、以下に説明する実施形態は、本発明の実施構成の一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

図１は、本実施形態に係る撮像装置１０の構成を示すブロック図である。撮像装置１０は、撮像により第１の画像を取得する第１の撮像手段としてのメインカメラ１１と、撮影により第２の画像を取得する第２の撮像手段としてのサブカメラ１２とを有する。サブカメラ１２は、メインカメラ１１と反対側に設けられ、撮影者の画像を撮影可能である。以下では、メインカメラ１１とサブカメラ１２とで機能が同じものについてはまとめて説明する。レンズ部１０１、１１３は、撮像レンズを含む。撮像レンズに内蔵されたフォーカスレンズ、絞り、シャッタを光学制御部１０５、１１７が駆動することで、撮像される被写体の合焦状態及び露出を制御する。撮像素子１０２、１１４は、撮像レンズを通過した被写体の光束を光電変換し電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子である。撮像素子１０２、１１４は、撮像制御部１０６、１１８により制御される。アナログ処理部１０３、１１５は、撮像素子１０２、１１４から出力されたアナログの画像信号にクランプ処理、ゲイン処理等を行う。Ａ／Ｄ変換部１０４、１１６は、アナログ処理部１０３、１１５から出力されたアナログ信号をデジタル信号である画像データに変換する。

信号処理部１０７は、Ａ／Ｄ変換部１１６からの画像データに対して、予め定めた画素補間処理や色変換処理を実行する。信号処理部１０７はまた、画像データに対して予め定めた演算処理を実行し、得られた演算結果に基づいて自動ホワイトバランス調整等の信号処理を実行する。アナログ処理部１０３、１１５及び信号処理部１０７の少なくともいずれか一方によりゲインを可変することで詳細な露出制御が行われる。信号処理部１０７で処理された画像データは、画像メモリ１０８に記憶される。画像メモリ１０８は、撮像した静止画像データや動画像データを記録し、所定枚数の静止画像データや、所定時間分の動画像データを記録するのに十分に高速かつ大量の記憶容量を備える。これにより、メインカメラ及びサブカメラで撮像した、複数枚の静止画像データを連続して撮像する連写撮像や複数枚の撮像画像データを合成する合成撮像の場合にも、画像メモリ１０８を使用して実行することが可能となる。また、画像メモリ１０８に記憶された画像データは、記録再生部１０９に供給され、ユーザの要求に従い可能な記録媒体１１０に記録される。記録媒体１１０は、例えば取り外し可能な記録媒体である。また、画像データは表示制御部１１１に送られ、表示制御部１１１は表示装置１１２における画像データの表示を制御する。

システム制御部１１９は、基本的に、撮像装置１０全体の動作を制御するものであって、通常内部にＣＰＵを備える。システム制御部１１９には、制御プログラムや各種データを記憶するＲＯＭ１２０、ＣＰＵにワークエリアを提供するＲＡＭ１２１が接続されている。ＲＡＭ１２１は、表示装置１１２に表示する画像データを記憶してもよい。この場合、システム制御部１１９は、ＲＡＭ１２１から表示制御部１１１を介し表示装置１１２に画像データを供給して表示する。システム制御部１１９は例えば、信号処理部１０７での画像データに対する演算結果に基づいて、メインカメラ１１の光学制御部１０５及び撮像制御部１０６と、サブカメラ１２の光学制御部１１７及び撮像制御部１１８を制御する。このシステム制御部１１９の制御の下、光学制御部１０５、１１７は、自動焦点制御（ＡＦ）を実行する。また、このシステム制御部１１９の制御の下、光学制御部１０５、１１７が絞り及びシャッタを制御し、さらには、撮像制御部１０６、１１８が撮像素子１０２、１１４の電子シャッタに対して制御を行い、自動露出制御（ＡＥ）を実行する。ＡＦ制御及びＡＥ制御については、メインカメラ１１及びサブカメラ１２を独立に制御可能な構成となっている。

表示装置１１２は、撮像した画像データを逐次表示することにより電子ビューファインダ（以下「ＥＶＦ」という。）として使用されうる。また、表示装置１１２は、システム制御部１１９でのプログラムの実行に従って表示をオン／オフすることが可能に構成される。表示装置１１２は更に、合焦枠表示、合焦表示、切り出し枠、非合焦時の警告の表示なども行う。システム制御部１１９には、更に、操作部１２２、傾き検出部１２３、角度検出部１２４が接続されている。

図３は、本実施形態に係る撮像装置１０の機能ブロック図である。顔検出部３０１は、画像データから顔の数、顔の位置、顔の大きさ、顔の向き、目鼻口の位置や大きさなどの顔情報をシステム制御部１１９に伝達する。システム制御部１１９は、検出された顔情報をＲＡＭ１２１に格納する。顔検出部３０１による顔の検出方法は、例えば顔の特徴点のパターンマッチングで行う。さらに、予め登録された顔の特徴と比較することで、登録顔の個人認証を行う。

システム制御部１１９は、記憶された顔について目の状態を検出する。具体的には、目の状態として、視線方向、ウインクや目瞑り等を検出する。目の状態検出は例えば、目の形状や瞳などの特徴点のデーターベースと、撮影された目とのパターンマッチングにより行われる。なお、目の状態検出方法については他の方法を採用してもよい。例えば顔位置から特定した目の切り出し画像の、瞳位置と目の輪郭から目の状態を検出するなどしてもよい。主被写体検出部３０３は、撮影画像から主被写体エリアを検出する。

画像切り出し部３０２は、画像メモリ１０８に記録された画像の一部を読み出すことにより画像のトリミングを行う。画像合成部３０４は、切り出した画像を別の画像と合成する。拡大縮小部３０５は、画像の拡大縮小を行う。

以下、本実施形態における画像合成位置決定処理について詳しく説明する。なお、以下では、メインカメラ１１で撮影された画像を「メインカメラ画像」、サブカメラ１２で撮影された画像を「サブカメラ画像」という。一例として、メインカメラ１１を被写体画像を撮像するカメラとして使用し、サブカメラ１２を撮影者を撮像するカメラとして使用する。メインカメラ１１の光軸とサブカメラ１２の光軸とが平行となるように配置すると、通常、サブカメラ１２に撮像された撮影者の顔は画像正面に撮像される。

サブカメラ１２に広角レンズを用いれば、撮影者がメインカメラ１１の光軸に対しどの位置に居るか判別可能となる。例えば、撮影者がサブカメラ画像の上部に現れる場合は、撮影者が撮像装置１０の上部から覗き込むようにローアングル撮影を行っていると推定できる。逆に、撮影者がサブカメラ画像の下部に現れる場合は、撮影者が撮像装置１０の下部から覗き込むようにハイアングル撮影を行っていると推定できる。そこで本実施形態では、サブカメラ画像の上部に撮影者が現れる場合は、撮影者が上から下へ見下ろす顔がサブカメラ１２に撮像されているため、サブカメラ画像をメインカメラ画像の上側に合成する。反対に、サブカメラ画像の下部に撮影者が現れる場合は、撮影者が下から上へ見上げる顔がサブカメラ１２に撮像されているため、サブカメラ画像をメインカメラ画像の下側に合成する。このように撮影者の目線の先にメインカメラ画像が来るようにサブカメラ画像を配置する。こうすることで、撮影者の画像と撮影対象の画像との自然な位置関係を提示することができる。これを逆に、例えば撮影者が下から上へ見上げる顔のサブカメラ画像を名カメラ画像の下部に合成してしまうと、撮影者の目線の先に撮影対象の画像が来ず、不自然な画像となる。

次に、メインカメラ１１で取得された画像（第１の画像）とサブカメラ１２で取得された画像（第２の画像）との合成画像（第３の画像）を得る処理を、図２のフローチャートを用いて説明する。このフローチャートに係る制御プログラムは例えばＲＯＭ１２０に格納されており、システム制御部１１９によって実行される。

まず、Ｓ２０１で、サブカメラ画像における撮影者の位置に関する情報を取得する。次に、Ｓ２０２で、画像合成位置を決定する。ここでは、上記のように、システム制御部１１９は、Ｓ２０１で取得した撮影者の位置に関する情報に応じてメインカメラ画像のどの位置に合成するかを決定する。また、光軸が平行となっていない場合は、光軸の傾き分を補正し合成位置を決定してもよい。また、サブカメラ画像における撮影者の位置のかわりに、サブカメラ画像における撮影者の顔の向きや視線の向きを検出し、その検出結果に応じてサブカメラ画像の合成位置を決定してもよい。次に、Ｓ２０３にて、Ｓ２０２で決定された画像位置に画像を合成する。その後、Ｓ２０４にて、Ｓ２０３で合成された画像を記録媒体１１０に記録する。

＜実施形態２＞
実施形態２では、サブカメラ１２は撮影方向を独立に調整可能に構成される。具体的には、図５（ａ）〜（ｃ）に示す通り、サブカメラ１２のレンズ部１１３は、回転可能に構成される。図５（ａ）では、レンズ部１１３の光軸はメインカメラ１１のレンズ部１０１の光軸と平行となっている。これに対し、図５（ｂ）ではレンズ部１１３の光軸を上向きにされ、また、図５（ｃ）ではレンズ部１１３の光軸を下向きにされている。本実施形態のサブカメラ１２は、このようにレンズ部１１３が回転自在とされている。

また、本実施形態では、傾き検出部１２３が撮像装置１０の傾きを検出するとともに、角度検出部１２４がレンズ部１１３の角度を検出する。システム制御部１１９は、傾き検出結果及び角度検出結果から、レンズ部１１３がレンズ部１０１の光軸に対しどの方向を向いているかを判別する。なお、レンズ部１１３は、撮影者及び撮影者の背景を写し込むのに十分な画角を有している。

ここで、撮像装置１０が地面に対し平行である場合を考える。この場合、図５（ａ）の状態で撮影すると、サブカメラ１２には撮影者と撮影者の背景が撮像される。図５（ｂ）の状態で撮影する場合、通常、サブカメラ１２には撮影者及び背景の多くの部分に空が撮像されることとなる。図５（ｃ）の状態で撮影する場合は、通常、サブカメラ１２には撮影者及び背景の多くの部分に地面が撮像されることとなる。そこでシステム制御部１１９は、傾き検出結果及び角度検出結果に応じて、サブカメラ１２で撮像された画像の切り出し位置、大きさ、合成位置を変更する。例えば背景が空や地面などが撮影されている場合は、撮影者を大きく切り出す。

また、システム制御部１１９は、ＥＶＦ表示時は、サブカメラ１２で撮像した全体画像を表示し、その領域に切り出し枠の表示を行い、静止画撮影時に切り出し合成処理を行う。サブカメラ１２で撮像された顔の画像に対して、顔認証を行い、認証が得られた顔を拡大し合成する。

次に、本実施形態における画像合成処理を、図４のフローチャートを用いて説明する。まず、Ｓ４０１で、サブカメラ画像から撮影者の位置を検出する。次に、Ｓ４０２で、Ｓ４０１で検出された位置情報から画像合成用の画像について、拡大、縮小及び切り出しの少なくともいずれかを行い、合成用の画像を抽出する。次にＳ４０３で、Ｓ４０１で検出された位置情報とＳ４０２で抽出された画像情報とに基づいて合成位置を決定する。Ｓ４０４にて、Ｓ４０３で決定された画像位置に画像を合成する。そして、Ｓ４０５にて、Ｓ４０４で合成された画像を記録媒体１１０に記録する。

＜実施形態３＞
実施形態３では、実施形態２と同様、傾き検出部１２３が撮像装置１０の傾きを検出するとともに、角度検出部１２４がレンズ部１１３の角度を検出する。その後、本実施形態のシステム制御部１１９は、傾き検出結果及び角度検出結果に応じて、サブカメラ画像に対する画像処理パラメータを変更する。例えば、図５（ｂ）の状態の場合は、自動ホワイトバランスが背景の空を高色温度光源と誤検出しない画像処理パラメータを設定する。図５（Ｃ）の状態の場合は、自動ホワイトバランスが背景の地面を低色温度光源と誤検出しない画像処理パラメータを設定する。また、メインカメラの色味と合うように、サブカメラ側の画像処理パラメータを変更してから合成するようにしてもよい。

また、システム制御部１１９は、傾き検出結果及び角度検出結果に応じて、サブカメラ画像の切り出し位置、拡大倍率、合成位置を変更する。例えば、システム制御部１１９は、傾き検出結果及び角度検出結果に応じて、サブカメラ画像の背景が空または地面であると判断し、撮影者の背景を省くように切り出し、拡縮、合成する。サブカメラ画像の背景が空である場合は、メインカメラ画像の上部にサブカメラ画像を合成する。また、サブカメラ画像の背景が地面である場合は、メインカメラ画像の下部にサブカメラ画像を合成する。

＜他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (13)

1. 被写体を撮影して第１の画像を取得する第１の撮像手段と、
   撮影者を撮影して第２の画像を取得する第２の撮像手段と、
   前記撮影者の位置に関する情報を取得する取得手段と、
   前記第１の画像に前記第２の画像を合成して第３の画像を得る合成手段と、
   を有し、
   前記取得手段により取得した情報により、前記第１の撮像手段によるローアングル撮影が行われていると推定される場合には、前記合成手段は、前記第２の画像を前記第１の画像の上部に合成し、
   前記取得手段により取得した情報により、前記第１の撮像手段によるハイアングル撮影が行われていると推定される場合には、前記合成手段は、前記第２の画像を前記第１の画像の下部に合成する
   ことを特徴とする撮像装置。
2. 被写体を撮影して第１の画像を取得する第１の撮像手段と、
   撮影者を撮影して第２の画像を取得する第２の撮像手段と、
   前記撮影者の位置に関する情報を取得する取得手段と、
   前記第１の画像に前記第２の画像を合成して第３の画像を得る合成手段と、
   前記第２の画像に所定の画像処理を行う画像処理手段と、
   を有し、
   前記取得手段は、前記撮影者の位置に関する情報として、前記第２の撮像手段の撮影方向を取得し、
   前記合成手段は、前記取得手段により取得した情報に応じて、前記第１の画像に対する前記第２の画像の合成位置を決定し、
   前記画像処理手段は、前記第２の撮像手段の撮影方向に応じて画像処理パラメータを変更する
   ことを特徴とすることを特徴とする撮像装置。
3. 前記所定の画像処理はホワイトバランス調整であり、
   前記画像処理手段は、前記第２の撮像手段の撮影方向に応じてホワイトバランス調整に関する画像処理パラメータを変更する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記取得手段は、前記第１の撮像手段の光軸に対する前記撮影者の位置に関する情報を取得することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第１の撮像手段の光軸と前記第２の撮像手段の光軸は平行であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 被写体を撮影して第１の画像を取得する第１の撮像手段と、
   撮影者を撮影して第２の画像を取得する第２の撮像手段と、
   前記撮影者の位置に関する情報を取得する取得手段と、
   前記第１の画像に前記第２の画像を合成して第３の画像を得る合成手段と、
   を有し、
   前記取得手段は、前記撮影者の位置に関する情報として、前記第２の撮像手段の撮影方向を取得し、
   前記合成手段は、前記第２の撮像手段の撮影方向に応じて、前記第１の画像に対する前記第２の画像の合成位置を決定する
   ことを特徴とする撮像装置。
7. 前記合成手段は、前記第２の撮像手段の光軸が前記第１の撮像手段の光軸よりも上向きに傾いている場合は、前記第１の画像の上部に前記第２の画像を合成することを特徴とする請求項６に記載の撮像装置。
8. 前記合成手段は、前記第２の撮像手段の光軸が前記第１の撮像手段の光軸よりも下向きに傾いている場合は、前記第１の画像の下部に前記第２の画像を合成することを特徴とする請求項６または７に記載の撮像装置。
9. 前記第２の撮像手段は、撮影方向を独立に調整可能に構成されることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 被写体を撮影して第１の画像を取得する第１の撮像手段と、撮影者を撮影して第２の画像を取得する第２の撮像手段とを有する撮像装置の制御方法であって、
    取得手段が、前記撮影者の位置に関する情報を取得する取得ステップと、
    合成手段が、前記第１の画像に前記第２の画像を合成して第３の画像を得る合成ステップと、
    を有し、
    前記取得ステップで取得された情報により、前記第１の撮像手段によるローアングル撮影が行われていると推定される場合には、前記合成ステップにおいて、前記合成手段は、前記第２の画像を前記第１の画像の上部に合成し、
    前記取得ステップで取得した情報により、前記第１の撮像手段によるハイアングル撮影が行われていると推定される場合には、前記合成ステップにおいて、前記合成手段は、前記第２の画像を前記第１の画像の下部に合成する
    ことを特徴とする制御方法。
11. 被写体を撮影して第１の画像を取得する第１の撮像手段と、撮影者を撮影して第２の画像を取得する第２の撮像手段とを有する撮像装置の制御方法であって、
    取得手段が、前記撮影者の位置に関する情報を取得する取得ステップと、
    合成手段が、前記第１の画像に前記第２の画像を合成して第３の画像を得る合成ステップと、
    画像処理手段が、前記第２の画像に所定の画像処理を行う画像処理ステップと、
    を有し、
    前記取得ステップにおいて、前記取得手段は、前記撮影者の位置に関する情報として、前記第２の撮像手段の撮影方向を取得し、
    前記合成ステップにおいて、前記合成手段は、前記取得ステップで取得した情報に応じて、前記第１の画像に対する前記第２の画像の合成位置を決定し、
    前記画像処理ステップにおいて、前記画像処理手段は、前記第２の撮像手段の撮影方向に応じて画像処理パラメータを変更する
    ことを特徴とすることを特徴とする制御方法。
12. 被写体を撮影して第１の画像を取得する第１の撮像手段と、撮影者を撮影して第２の画像を取得する第２の撮像手段とを有する撮像装置の制御方法であって、
    取得手段が、前記撮影者の位置に関する情報を取得する取得ステップと、
    合成手段が、前記第１の画像に前記第２の画像を合成して第３の画像を得る合成ステップと、
    を有し、
    前記取得ステップにおいて、前記取得手段は、前記撮影者の位置に関する情報として、前記第２の撮像手段の撮影方向を取得し、
    前記合成ステップにおいて、前記合成手段は、前記第２の撮像手段の撮影方向に応じて、前記第１の画像に対する前記第２の画像の合成位置を決定する
    ことを特徴とする制御方法。
13. コンピュータに請求項１０乃至１２のいずれか１項に記載の制御方法の各ステップを実行させるためのプログラム。

Images