JP5181806B2

JP5181806B2 - 撮影装置

Info

Publication number: JP5181806B2
Application number: JP2008115962A
Authority: JP
Inventors: 利和森桶; 忠大谷
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2008-04-25
Filing date: 2008-04-25
Publication date: 2013-04-10
Anticipated expiration: 2028-04-25
Also published as: JP2009267824A

Description

本発明は、撮影装置に関する。

一組のレンズ光学系と撮像部とを有し、これらを通して得られた被写体画像を背面の液晶モニタやファインダで確認しながら撮影する撮影装置が知られている。このような撮影装置では、集合写真のように複数の人物の被写体を一つの画面内に収める場合、被写体となる複数の人物の一人一人の顔の表情が分かりにくくなる。一方、メインカメラとサブカメラとを備えた撮影装置で、被写体の顔と撮影者の顔とを同時に撮影する技術が知られている（例えば、特許文献１参照）。

ところが、従来技術による撮影装置は、一組のレンズ光学系と撮像部で１枚の画像を撮影するので、集合写真など複数の人物の被写体を撮影した場合に各人の顔の表情が分かりにくくなるという問題があった。また、撮影後に集合写真の中から特定の人物の写真をトリミングして抽出する場合に、画質が低下してしまうという問題があった。
特開２００５−７３１６１号公報

本発明の課題は、好適な撮影画像が得られる撮影装置を提供することである。

本発明に係る撮影装置は、第１画像を第１光学系を介して取得する第１画像取得部と、第２画像を前記第１光学系よりも画角が狭い第２光学系を介して取得する第２画像取得部と、前記第１画像に関連付けて前記第２画像を出力する出力部と前記第２画像に含まれる特定被写体の状態を判別する判別部と、前記判別部により判別した前記第２画像の前記特定被写体の状態に基づいて、前記第１画像を取得するか否かを制御する制御部とを有することを特徴とする。

また、より好ましくは、前記第２画像取得部は、前記第１画像取得部が前記第１画像を取得するタイミングよりも早いタイミングで前記第２画像を取得することを特徴とする。
本発明に係る撮影装置は、第１画像を第１光学系を介して取得する第１画像取得部と、第２画像を前記第１光学系よりも画角が狭い第２光学系を介して取得する第２画像取得部と、前記第１画像に関連付けて前記第２画像を出力する出力部と、前記第２画像に含まれる前記特定被写体の状態を判別する判別部と、前記判別部により判別した前記第２画像の前記特定被写体の状態に基づいて、前記第２画像を再度取得するか否かを制御する制御部とを有し、前記制御部は、前記第２画像を再度取得する場合、再度取得された前記第２画像に含まれる前記特定被写体の状態に基づいて、前記第１画像の一部分を再度取得された前記第２画像の前記特定被写体に置き換えることを特徴とする。

また、より好ましくは、前記第２画像に含まれる前記特定被写体の画素数は、前記第１画像に含まれる前記特定被写体の画素数より多いことを特徴とする。

また、より好ましくは、前記第２光学系は、前記第１光学系より焦点距離が長い
ことを特徴とする。

また、より好ましくは、前記第１画像に含まれる前記特定被写体の位置を認識する認識部と、前記認識部が認識した前記特定被写体の位置に前記第２光学系の撮影方向及び前記第２光学系の焦点距離の少なくとも一方を制御する追尾制御部とを更に有することを特徴とする。

本発明に係る撮影装置は、第１の画像を形成するための第１光学系と、第１光学系よりも画角が狭い第２の画像を形成するための第２光学系とを有するので、被写体に応じた好適な撮影画像を得ることができる。

以下、本発明に係る撮影装置に関する実施形態について図面を用いて詳しく説明する。

（第１の実施形態）
［撮影装置１００の構成］
第１の実施形態に係る撮影装置１００の構成について説明する。図１は、本実施形態に係る撮影装置１００の構成を示すブロック図である。図２は、撮影装置１００の外観を示す説明図である。

撮影装置１００は、メインカメラ１０１と、サブカメラ１０２からサブカメラ１０５の４個のサブカメラとを備えている。尚、本実施形態では、分かり易いように、４個のサブカメラを設けたが、少なくとも１つのサブカメラを搭載していれば構わない。

図１において、メインカメラ１０１とサブカメラ１０２からサブカメラ１０５は、それぞれ制御部１０６に接続されており、制御部１０６からの指令に基づいて画像を撮影し、撮影した画像を制御部１０６に出力する。ここで、制御部１０６は、予め内部に記憶されたプログラムに応じて動作し、撮影装置１００全体を制御する。

メモリ１０７は、制御部１０６が動作するためのパラメータや、メインカメラ１０１やサブカメラ１０２からサブカメラ１０５で撮影した画像を一時的に保存する。

操作部１０８は、図２に示したように、電源ボタン２０１やレリーズボタン２０２などの操作ボタンが配置され、撮影者がこれらの操作ボタンを操作して撮影装置１００を使用する。尚、操作ボタンの押下など操作情報は、操作部１０８から制御部１０６に出力される。制御部１０６は、操作部１０８から入力する操作情報に応じて、撮影装置１００を制御する。

液晶表示部１０９は、制御部１０６の指令に応じて、メインカメラ１０１やサブカメラ１０２からサブカメラ１０５で撮影した画像を表示する。

カードＩ／Ｆ１１０は、メモリカード１１１を装着して、制御部１０６の指令に応じて、メインカメラ１０１やサブカメラ１０２からサブカメラ１０５で撮影した画像を保存する。

次に、メインカメラ１０１の構成について説明する。図１において、メインカメラ１０１は、レンズ光学系１５１と、撮像部１５２と、画像バッファ１５３と、画像処理部１５４とで構成される。

メインカメラ１０１において、被写体から入力する光は、固定焦点の広角レンズで構成されるレンズ光学系１５１を介して撮像部１５２の受光面に結像される。撮像部１５２は、二次元状に配置された光電変換部を有し、受光した光を電気信号に変換し、さらにＡ／Ｄ変換した画像データを画像バッファ１５３に取り込む。画像処理部１５４は、画像バッファ１５３に取り込まれた画像データを解析して人物検出を行う。検出した人物の位置など（顔の位置など）の情報は、画像バッファ１５３に取り込まれた画像データと共に、画像処理部１５４から制御部１０６に出力される。尚、本実施形態では、分かり易いように、メインカメラ１０１のレンズ光学系１５１を固定焦点の広角レンズとしたが、ズーム機能を有するレンズ光学系１５１を用いても構わない。

次に、サブカメラ１０２の構成について説明する。図１において、サブカメラ１０２は、レンズ光学系１６１と、撮像部１６２と、画像バッファ１６３と、画像処理部１６４と、ズーム駆動部１６５と、フレーミング駆動部１６６とで構成される。尚、サブカメラ１０３からサブカメラ１０５は、サブカメラ１０２と同じ構成なので、ここではサブカメラ１０２についてのみ説明する。

サブカメラ１０２において、被写体から入力する光は、ズーム機能を有するレンズ光学系１６１を介して撮像部１６２の受光面に結像される。撮像部１６２は、二次元状に配置された光電変換部を有し、受光した光を電気信号に変換し、さらにＡ／Ｄ変換した画像データを画像バッファ１６３に取り込む。画像処理部１６４は、画像バッファ１６３に取り込まれた画像データを解析して顔認識を行う。特に、認識した顔の大きさや、顔全体が撮影画角内に収まっているかなどを判別し、判別結果を画像バッファ１５３に取り込まれた画像データと共に、画像処理部１６４から制御部１０６に出力する。

また、サブカメラ１０２のズーム駆動部１６５は、制御部１０６からの指令に応じて、レンズ光学系１６１のズームレンズの位置を動かし、レンズ光学系１６１を介して撮影する画像の画角を調整する。

フレーミング駆動部１６６は、制御部１０６からの指令に応じて、サブカメラ１０２の筐体を上下左右方向に動かし、サブカメラ１０２の撮影方向を調整する。

ここで、サブカメラ１０２からサブカメラ１０５は、それぞれ独立してズーム位置や撮影方向を調整することができる。

このように、本実施形態に係る撮影装置１００は、メインカメラ１０１とサブカメラ１０２からサブカメラ１０５の５つのカメラによって被写体を撮影することができる。図３は、撮影装置１００の背面側の様子を描いた説明図である。図３において、図１および図２と同符号のものは同じものを示す。撮影装置１００の背面側には、液晶表示部１０９と、ＯＫボタン２０３と、上下左右のカーソルボタン２０４から２０７とが配置されている。液晶表示部１０９の画面には、メインカメラ１０１とサブカメラ１０２からサブカメラ１０５の５つのカメラで撮影した画像を表示する。例えば、図３において、メインカメラ１０１の画像３０１と、サブカメラ１０２の画像３０２と、サブカメラ１０３の画像３０３と、サブカメラ１０４の画像３０４と、サブカメラ１０５の画像３０５とが表示されている。特に、本実施形態では、メインカメラ１０１で画像３０１のような集合写真を撮影し、サブカメラ１０２からサブカメラ１０５では画像３０２から画像３０５のような集合写真に写っている個々の人物の顔をズームアップして撮影することができる。

また、本実施形態では、例えば、サブカメラ１０２で撮影している人物Ａの顔部分の画像３０２の画素数は、メインカメラ１０１で撮影している人物Ａの顔部分の画素数より多くなるように、レンズ光学系１５１やレンズ光学系１６１の倍率や、撮像部１５２や撮像部１６２の解像度を設定してある。このため、画像３０１の人物Ａの表情よりも、画像３０２に表示される人物Ａの表情の方が分かり易い。例えば、メインカメラ１０１で撮影した画像３０１上で人物Ａの目が閉じているか否かを判別することは難しいが、サブカメラ１０２で撮影した画像３０２上で人物Ａの目が閉じているか否かを判別することは易しい。特に、本実施形態では、メインカメラ１０１のレンズ光学系１５１は広角の固定焦点レンズを用い、サブカメラ１０２（サブカメラ１０３から１０５も同様）のレンズ光学系１６１はメインカメラ１０１のレンズ光学系１５１よりも焦点距離の長いズームレンズを用いているので、メインカメラ１０１で撮影する画像３０１よりもズームアップした画像３０２から画像３０５が得られる。

［撮影装置１００の動作］
次に、撮影装置１００の動作について説明する。図４は、撮影装置１００の集合撮影モードにおける動作の流れを示したフローチャートである。尚、図４のフローチャートは、制御部１０６に予め記憶されたプログラムに従って動作する。

（ステップＳ１０１）撮影者が集合撮影モードを選択し、集合撮影モードによる撮影処理を開始する。尚、集合撮影モードの選択は、例えば図５に示すように、制御部１０６が液晶表示部１０９にメニュー画面を表示し、撮影者は、図３に示した上カーソルボタン２０４や下カーソルボタン２０５を操作して、メニュー画面の中から集合撮影モードを選択（選択枠３５０を表示）し、ＯＫボタン２０３を押下して撮影モードを確定する。

（ステップＳ１０２）制御部１０６は、サブカメラ１０２からサブカメラ１０５を起動する。

（ステップＳ１０３）制御部１０６は、レリーズボタン２０２が半押しされたか否かを判別する。レリーズボタン２０２が半押しされた場合はステップＳ１０４に進み、レリーズボタン２０２が半押しされていない場合はステップＳ１０３の処理を繰り返す。

（ステップＳ１０４）制御部１０６は、メインカメラ１０１の画像処理部１５４で人物検出されたか否かを判別する。人物検出された場合はステップＳ１０５に進み、人物検出されていない場合はステップＳ１０８に進む。尚、人物検出の方法として様々な技術が知られているが、例えば人物の顔の特徴（目と鼻と口などの配置や輪郭）を検出することにより行うことができる。

（ステップＳ１０５）制御部１０６は、メインカメラ１０１の画像処理部１５４で検出された人物位置（例えば、顔の位置）を抽出する。実際には、制御部１０６は、画像処理部１５４が人物検出した際に抽出した位置を画像処理部１５４から入力して人物位置を把握する。この様子を図６に示す。図６において、ステップＳ１０４で検出された人物Ａと人物Ｂと人物Ｃと人物Ｄとが四角い点線枠で囲まれて抽出されている。尚、各人物の位置は、例えば図６において、メインカメラ１０１で撮影した画像３０１の画像データを構成する各画素をＸＹ座標として与えられる。例えば、人物Ａの顔を抽出した点線枠の中心座標を人物Ａの位置として抽出する。

（ステップＳ１０６）制御部１０６は、ステップＳ１０５で抽出した人物位置の人物が撮影される方向にサブカメラ１０２からサブカメラ１０５をフレーミングする。フレーミングの方向と移動量は、例えば、メインカメラ１０１の撮影画角に対して、サブカメラ１０２からサブカメラ１０５の各サブカメラの配置に応じて、各サブカメラの光軸を補正しておけば、メインカメラ１０１の撮影画角の所定位置に各サブカメラをどれだけフレーミングすればよいかを求めることができる。制御部１０６は、フレーミング駆動部１６６にフレーミングの方向と移動量を出力し、サブカメラ１０２の撮影方向を調節する。サブカメラ１０３からサブカメラ１０５についても同じである。

尚、本実施形態では、検出された人物の数とサブカメラの数が同じ場合について説明するが、検出された人物の数とサブカメラの数が同じである必要はない。例えば、検出された人物の数よりもサブカメラの数が少ない場合は、サブカメラの数だけ左側から順に人物を捉えるようにしても構わない。或いは、検出された人物の数よりもサブカメラの数が多い場合は、人物の数を超えるサブカメラは動作しないようにしても構わない。

（ステップＳ１０７）制御部１０６は、ステップＳ１０６でフレーミングしたサブカメラ１０２からサブカメラ１０５をズーミングする。この時、制御部１０６は、サブカメラ１０２の画像処理部１６４に顔認識処理を行うよう指令し、画像処理部１６４は人物の顔が撮影画角内に入っているか否かを判別し、判別結果を制御部１０６に出力する。

制御部１０６は、ズーム駆動部１６５にレンズ光学系１６１でズームアップを行うよう指令する。この時、制御部１０６は、画像処理部１６４の判別結果（人物の顔が撮影画角内に入っているか否かの判別結果）をモニタしながら少しずつズームアップを行い、人物の顔が撮影画角からはみ出さないようにできるだけ大きくズームアップする。

（ステップＳ１０８）制御部１０６は、レリーズボタン２０２が全押しされたか否かを判別する。レリーズボタン２０２が全押しされた場合はステップＳ１０９に進み、レリーズボタン２０２が全押しされていない場合（半押しを含む）はステップＳ１０３に戻る。

（ステップＳ１０９）制御部１０６は、メインカメラ１０１と、サブカメラ１０２からサブカメラ１０５で画像を撮影し、メモリ１０７に一時的に保存する。撮影された画像は、図３に示すように、液晶表示部１０９に表示される。

（ステップＳ１１０）制御部１０６は、メモリ１０７に一時的に記憶されているメインカメラ１０１の画像３０１をカードＩ／Ｆ１１０を介して接続されているメモリカード１１１に保存する。

（ステップＳ１１１）制御部１０６は、図７（ａ）に示すように、液晶表示部１０９に「サブカメラ画像保存?」のメニュー表示を行い、各サブカメラで撮影した画像を保存するか否かを撮影者に確認する。撮影者は、図３に示した左カーソルボタン２０６や右カーソルボタン２０７を操作して、メニュー画面の中の「する」、「しない」のいずれかを選択し（選択された方に選択枠３５１が表示される）、ＯＫボタン２０３を押下して確定する。撮影者が「する」を選択した場合はステップＳ１１２に進み、「しない」を選択した場合はステップＳ１１４に進む。
（ステップＳ１１２）撮影者が「する」を選択した場合、図７（ｂ）に示すように、撮影者は各サブカメラで撮影した画像の中から保存したい画像を選択する。この時、撮影者は、図３に示した上カーソルボタン２０４や下カーソルボタン２０５を操作して、保存したいサブカメラ画像を選択し（選択された画像に選択枠３５２や選択枠３５３が表示される）、ＯＫボタン２０３を押下して確定する。尚、複数の画像を選択する場合は、例えば左カーソルボタン２０６を押しながらＯＫボタン２０２を押下するなどの方法で行うことができる。この場合、ＯＫボタン２０３のみを押下すれば、画像の選択が確定する。

（ステップＳ１１３）ステップＳ１１２で選択されたメモリ１０７に一時的に記憶されているサブカメラ画像をカードＩ／Ｆ１１０を介して接続されているメモリカード１１１に保存する。例えば、図７（ｂ）の場合は、画像３０２と画像３０５とが保存される。尚、この時、サブカメラ１０２で撮影された画像３０２と、サブカメラ１０５で撮影された画像３０５とは、メインカメラ１０１で撮影された画像３０１に関連付けて保存される。

関連付けの方法として、例えばファイル名の一部を変える方法がある。この場合は、メインカメラ１０１で撮影した画像３０１のファイル名を「ＩＭＧ５６７８ＭＡＩＮ．ＪＰＧ」とし、サブカメラ１０２で撮影した画像３０２のファイル名を「ＩＭＧ５６７８ＳＵＢ−１．ＪＰＧ」とし、サブカメラ１０５で撮影した画像３０５のファイル名を「ＩＭＧ５６７８ＳＵＢ−４．ＪＰＧ」として保存する。これにより、ファイル名の冒頭がＩＭＧ５６７８で同じなので、一緒に撮影された画像であることが容易に判別できる。

或いは、ＥＸＩＦ規格のユーザー領域に、メインカメラ１０１での撮影画像であること、サブカメラ１０２からサブカメラ１０５のいずれかの撮影画像であることなどの情報を記憶するようにしても構わない。

（ステップＳ１１４）制御部１０６は、集合撮影モードによる撮影処理を終了する。

尚、図４のフローチャートでは、各サブカメラで被写体を追尾するために、ステップＳ１０６で各サブカメラをフレーミングした上で、ステップＳ１０７で各サブカメラのズーミングを行うようにしたが、ステップＳ１０６Ａとして、フレーミングまたはズーミングの何れか一方を行うようにしても構わない。例えば、フレーミングのみの制御の場合はステップＳ１０７のズーミング処理を行わず、各サブカメラはそれぞれの人物が居る方向に撮影方向を向けるだけである。また、ズーミングのみの場合はステップＳ１０６のフレーミング処理を行わず、各サブカメラで撮影する人物の顔が撮影画角内に入る最大ズーム位置に調整するだけである。

このように、本実施形態に係る撮影装置１００は、メインカメラ１０１とは別に複数のサブカメラ１０２からサブカメラ１０５を備えており、集合写真などメインカメラ１０１の画像に複数の人物が含まれる場合でも、メインカメラ１０１で検出した人物の顔に自動的にフレーミングおよびズームアップした各人の画像をサブカメラ１０２からサブカメラ１０５で撮影することができる。これにより、メインカメラ１０１で撮影した画像だけでは分かりにくい各人の顔の表情が分かり易くなり、集合写真の特定の人物をトリミングして抽出したい場合でも、画素数の多い各サブカメラで撮影した高画質の画像を得ることができる。

特に、本実施形態に係る撮影装置１００は、メインカメラ１０１よりも焦点距離の長いズームレンズをサブカメラ１０２からサブカメラ１０５のそれぞれに搭載しているので、各サブカメラで撮影する人物の顔をできるだけ大きく捉えることができ、撮影される人物の表情がより分かり易くなる。

また、サブカメラ１０２からサブカメラ１０５で撮影した画像をメインカメラ１０１で撮影した画像に関連付けて記憶するので、撮影後に同時に撮影された画像を容易に探し出すことができる。

さらに、サブカメラ１０２からサブカメラ１０５で撮影した画像の中から保存したい画像を選択して残すことができるので、不要な画像が保存されることがない。

尚、本実施形態では、分かり易いように、サブカメラ１０２からサブカメラ１０５のそれぞれに画像バッファ１６３や画像処理部１６４を設けたが、画像バッファ１６３や画像処理部１６４はメインカメラ１０１の画像バッファ１５３や画像処理部１５４を含めて共用化しても構わない。また、画像処理部１５４や画像処理部１６４で人物検出や顔認識を行うようにしたが、制御部１０６で同様の処理を行うようにしても構わない。

（第２の実施形態）
次に、第２の実施形態に係る撮影装置１００について説明する。尚、本実施形態に係る撮影装置１００の構成は、第１の実施形態の図１，図２および図３と同じである。第１の実施形態と異なるのは、図４のフローチャートに示した集合撮影モードの動作である。本実施形態における集合撮影モードは、図８に示したフローチャートに従って動作する。尚、第１の実施形態の図４のフローチャートと同じステップ番号の処理は同じ処理を示す。ここでは、図４のフローチャートと異なる部分についてのみ説明する。

図８のフローチャートにおいて、ステップＳ１０１からステップＳ１０９までの処理は、図４のフローチャートと同じである。ステップＳ１０９で、制御部１０６は、メインカメラ１０１と、サブカメラ１０２からサブカメラ１０５で画像を撮影し、メモリ１０７に一時的に保存する。この後、ステップＳ２０１に進む。

（ステップＳ２０１）制御部１０６は、サブカメラ１０２の画像処理部１６４に指令して、サブカメラ１０２で撮影した人物の目が閉じているか否かを判別させる。人物の目が閉じている場合はステップＳ１０９に戻り、人物の目が閉じていない場合はステップＳ１１０に進む。

例えば、図９に示したように、サブカメラ１０４で撮影した人物Ｃの画像４０４において、目が閉じられていた場合に、ステップＳ１０９に戻って撮影をやり直す。尚、図９の場合、メインカメラ１０１で撮影した画像４０１では、人物Ｃの顔が小さ過ぎるので目が閉じられているか否かの判別は難しいが、サブカメラ１０２からサブカメラ１０５で撮影された画像４０２から画像４０５の各人物の顔の部分の画素数はメインカメラ１０１で撮影された各人物の顔の部分の画素数より多いので、目が閉じられているか否かを精度良く容易に判別することができる。

尚、目が閉じているか否かの判別方法は、例えば、目の部分をエッジ抽出して上瞼と下瞼との間隔が所定値以下の場合に目が閉じられていると判別することができる。画像処理部１６４での判別結果は、制御部１０６に出力される。同様の処理は、サブカメラ１０３からサブカメラ１０５の画像処理部においても行われる。

このようにして、サブカメラ１０２からサブカメラ１０５で撮影した人物の目が閉じている場合は、メインカメラ１０１とサブカメラ１０２からサブカメラ１０５での画像の撮影を繰り返し、サブカメラ１０２からサブカメラ１０５で撮影した人物の目が閉じていない場合に次のステップＳ１１０に進む。以降、図４の第１の実施形態と同様に、メインカメラ１０１とサブカメラ１０２からサブカメラ１０５で撮影した画像の保存処理を行う。

このように、本実施形態に係る撮影装置１００は、第１の実施形態の効果に加えて、集合写真を撮影する場合に、サブカメラ１０２からサブカメラ１０５で撮影した人物の目が閉じているか否かを判別し、目が閉じられている場合は再撮影を繰り返すので、集合写真で目を閉じた人物が撮影されるのを防ぐことができる。

（第３の実施形態）
次に、第３の実施形態に係る撮影装置１００について説明する。尚、本実施形態に係る撮影装置１００の構成は、第１の実施形態の図１，図２および図３と同じである。第１の実施形態と異なるのは、図４のフローチャートに示した集合撮影モードの動作である。本実施形態における集合撮影モードは、図１０に示したフローチャートに従って動作する。尚、第１の実施形態の図４のフローチャートと同じステップ番号の処理は同じ処理を示す。ここでは、図４のフローチャートと異なる部分についてのみ説明する。

図１０のフローチャートにおいて、ステップＳ１０１からステップＳ１０８までの処理は、図４のフローチャートと同じである。ステップＳ１０８で、制御部１０６は、レリーズボタン２０２が全押しされた場合、ステップＳ３０１に進む。

（ステップＳ３０１）制御部１０６は、サブカメラ１０２からサブカメラ１０５で画像を撮影し、メモリ１０７に一時的に保存する。

（ステップＳ３０２）制御部１０６は、サブカメラ１０２の画像処理部１６４に指令して、サブカメラ１０２で撮影した人物の目が閉じているか否かを判別させる。人物の目が閉じている場合はステップＳ３０１に戻り、人物の目が閉じていない場合はステップＳ３０３に進む。尚、目が閉じているか否かの判別は、第２の実施形態のステップＳ２０１と同様に行われる。また、サブカメラ１０３からサブカメラ１０５の画像処理部においても同じ処理が実行される。

（ステップＳ３０３）制御部１０６は、メインカメラ１０１で画像を撮影し、メモリ１０７に一時的に保存し、ステップＳ１１０に進む。以降、図４の第１の実施形態と同様に、メインカメラ１０１とサブカメラ１０２からサブカメラ１０５で撮影した画像の保存処理を行う。尚、ステップＳ３０１からステップＳ３０３までの処理は、できるだけ高速に処理されるのが望ましい。

このように、本実施形態に係る撮影装置１００は、集合写真を撮影する際に、メインカメラ１０１で本撮影するタイミングの前に、サブカメラ１０２からサブカメラ１０５で撮影を行う。そして、サブカメラ１０２からサブカメラ１０５で撮影した人物の目が閉じているか否かを判別し、目が閉じられていない状態になるまでサブカメラ１０２からサブカメラ１０５で人物の撮影を繰り返す。そして、サブカメラ１０２からサブカメラ１０５で撮影した人物の目が閉じられていない場合に、メインカメラ１０１で集合写真の本撮影を行う。つまり、メインカメラ１０１で撮影するタイミングとサブカメラ１０２からサブカメラ１０５で撮影するタイミングとが異なり、メインカメラ１０１で撮影するタイミングよりサブカメラ１０２からサブカメラ１０５で撮影するタイミングの方が早くなる。

この結果、本実施形態に係る撮影装置１００は、第１の実施形態の効果に加えて、集合写真で目を閉じた人物が撮影されるのを防ぐことができる。

（第４の実施形態）
次に、第４の実施形態に係る撮影装置１００について説明する。尚、本実施形態に係る撮影装置１００の構成は、第１の実施形態の図１，図２および図３と同じである。第１の実施形態と異なるのは、図４のフローチャートに示した集合撮影モードの動作である。本実施形態における集合撮影モードは、図１１に示したフローチャートに従って動作する。尚、第１の実施形態の図４のフローチャートと同じステップ番号の処理は同じ処理を示す。ここでは、図４のフローチャートと異なる部分についてのみ説明する。

図１１のフローチャートにおいて、ステップＳ１０１からステップＳ１１０までの処理は、図４のフローチャートと同じである。ステップＳ１１０で、制御部１０６は、ステップＳ１０９でメモリ１０７に一時的に記憶されているメインカメラ１０１の画像を、カードＩ／Ｆ１１０を介して接続されているメモリカード１１１に保存し、ステップＳ４０１に進む。

（ステップＳ４０１）制御部１０６は、サブカメラ１０２の画像処理部１６４に指令して、サブカメラ１０２で撮影した人物の目が閉じているか否かを判別させる。人物の目が閉じている場合はステップＳ４０２に進み、人物の目が閉じていない場合はステップＳ４０３に進む。尚、目が閉じているか否かの判別は、第２の実施形態のステップＳ２０１と同様に行われる。また、サブカメラ１０３からサブカメラ１０５の画像処理部においても同じ処理が実行される。

（ステップＳ４０２）制御部１０６は、サブカメラ１０２からサブカメラ１０５で画像を撮影し、メモリ１０７に一時的に保存する。

（ステップＳ４０３）サブカメラ１０２からサブカメラ１０５で撮影された各人物の目が閉じていない場合、制御部１０６は、メインカメラ１０１の画像処理部１５４に指令して、ステップＳ１１０で保存したメインカメラ１０１の画像で目を閉じていた人物の顔の部分をサブカメラ１０２からサブカメラ１０５で撮影した画像で置き換える処理を行う。

例えば、図１２（ａ）は、ステップＳ１０９で撮影したメインカメラ１０１の画像４０１において、点線枠で囲った人物Ｃの目が閉じていた場合の一例を示している。この場合、サブカメラ１０４で撮影した人物Ｃの画像４０４をサブカメラ１０４の画像処理部で、人物Ｃの目が閉じられていたことを認識する。さらに、制御部１０６は、ステップＳ４０２において、サブカメラ１０４の再撮影を行う。尚、再撮影でも目が閉じられている場合は、目が閉じられていない状態になるまで再撮影を繰り返す。

ここで、図１２（ｂ）に示すように、サブカメラ１０４で撮影する画像４０４’で目が閉じられていない人物Ｃの画像を撮影すると、ステップＳ４０３において、メインカメラ１０１で撮影した画像４０１の人物Ｃの部分をサブカメラ１０４で撮影する画像４０４’で置き換えたメインカメラ１０１の画像４０１’を先の画像４０１に代えて保存し、ステップＳ１１１に進む。以降、図４の第１の実施形態と同様に、サブカメラ１０２からサブカメラ１０５で撮影した画像の保存処理を行う。尚、ステップＳ４０１からステップＳ４０３までの処理は、できるだけ高速に処理されるのが望ましい。また、ステップＳ４０３の処理を行わずに、サブカメラ１０２からサブカメラ１０５で撮影した画像の保存処理を行っても構わない。この場合も、第１の実施形態と同様に、メインカメラ１０１で撮影した画像に関連付けて、サブカメラ１０２からサブカメラ１０５で撮影した画像をメモリカード１１１に保存するので、後日、パソコンなどでメモリカード１１１の画像データを読み出して、ステップＳ４０３に相当する画像処理を行っても構わない。

このように、本実施形態に係る撮影装置１００は、集合写真を撮影する際に、メインカメラ１０１で撮影した画像の中で目を閉じている人物がいる場合でも、サブカメラ１０２からサブカメラ１０５で目を閉じていない状態の撮影を行い、メインカメラ１０１で撮影した画像の中で目を閉じている人物の部分を、サブカメラ１０２からサブカメラ１０５のいずれかで撮影した同人物の目を閉じていない画像に置き替えることができる。この結果、本実施形態に係る撮影装置１００は、第１の実施形態の効果に加えて、集合写真で目を閉じた人物が撮影されるのを防ぐことができる。

以上、各実施形態で説明してきたように、本発明に係る撮影装置は、メインカメラとは別に複数のサブカメラを備えているので、メインカメラの画像に複数の人物が含まれる場合でも、メインカメラで認識した人物の顔に自動的にフレーミングおよびズームアップした各人の画像をサブカメラで撮影することにより、各人の顔の表情が分かり易く、特定の人物を抽出した場合でも高画質な画像を得ることができる。

また、集合写真を撮影する際に、サブカメラで撮影した解像度の高い画像で目を閉じているか否かを判別するので、目を閉じた人物が撮影されるのを防止することができる。

各実施形態に係る撮影装置１００のブロック図である。撮影装置１００の前面の様子を示す説明図である。撮影装置１００の背面の様子を示す説明図である。第１の実施形態に係る撮影装置１００の集合撮影モードの処理を示すフローチャートである。撮影モードの選択画面を示す説明図である。人物検出の様子を示す説明図である。サブカメラで撮影した画像の保存画面を示す説明図である。第２の実施形態に係る撮影装置１００の集合撮影モードの処理を示すフローチャートである。第２の実施形態に係る撮影装置１００の処理を説明するための説明図である。第３の実施形態に係る撮影装置１００の集合撮影モードの処理を示すフローチャートである。第４の実施形態に係る撮影装置１００の集合撮影モードの処理を示すフローチャートである。第４の実施形態に係る撮影装置１００の処理を説明するための説明図である。

符号の説明

１００・・・撮影装置１０１・・・メインカメラ
１０２・・・サブカメラ１０３・・・サブカメラ
１０４・・・サブカメラ１０５・・・サブカメラ
１０６・・・制御部１０７・・・メモリ
１０８・・・操作部１０９・・・液晶表示部
１１０・・・カードＩ／Ｆ１１１・・・メモリカード
１５１・・・レンズ光学系１５２・・・撮像部
１５３・・・画像バッファ１５４・・・画像処理部
１６１・・・レンズ光学系１６２・・・撮像部
１６３・・・画像バッファ１６４・・・画像処理部
１６５・・・ズーム駆動部１６６・・・フレーミング駆動部

Claims

第１画像を第１光学系を介して取得する第１画像取得部と、
第２画像を前記第１光学系よりも画角が狭い第２光学系を介して取得する第２画像取得部と、
前記第１画像に関連付けて前記第２画像を出力する出力部と
前記第２画像に含まれる特定被写体の状態を判別する判別部と、
前記判別部により判別した前記第２画像の前記特定被写体の状態に基づいて、前記第１画像を取得するか否かを制御する制御部と
を有することを特徴とする撮影装置。
請求項１に記載された撮影装置であって、
前記第２画像取得部は、前記第１画像取得部が前記第１画像を取得するタイミングよりも早いタイミングで前記第２画像を取得する
ことを特徴とする撮影装置。
第１画像を第１光学系を介して取得する第１画像取得部と、
第２画像を前記第１光学系よりも画角が狭い第２光学系を介して取得する第２画像取得部と、
前記第１画像に関連付けて前記第２画像を出力する出力部と、
前記第２画像に含まれる前記特定被写体の状態を判別する判別部と、
前記判別部により判別した前記第２画像の前記特定被写体の状態に基づいて、前記第２画像を再度取得するか否かを制御する制御部とを有し、
前記制御部は、前記第２画像を再度取得する場合、再度取得された前記第２画像に含まれる前記特定被写体の状態に基づいて、前記第１画像の一部分を再度取得された前記第２画像の前記特定被写体に置き換える
ことを特徴とする撮影装置。
請求項１から請求項３のいずれか一項に記載された撮影装置であって、
前記第２画像に含まれる前記特定被写体の画素数は、前記第１画像に含まれる前記特定被写体の画素数より多い
ことを特徴とする撮影装置。
請求項１から請求項４のいずれか一項に記載された撮影装置であって、
前記第２光学系は、前記第１光学系より焦点距離が長い
ことを特徴とする撮影装置。
請求項１から請求項５のいずれか一項に記載された撮影装置であって、
前記第１画像に含まれる前記特定被写体の位置を認識する認識部と、
前記認識部が認識した前記特定被写体の位置に前記第２光学系の撮影方向及び前記第２光学系の焦点距離の少なくとも一方を制御する追尾制御部と
を更に有することを特徴とする撮影装置。