JP6200194B2 - 撮像装置及びその制御方法並びにプログラム - Google Patents

Description

本発明は、複数の撮像手段を有する撮像装置に関する。

最近の携帯電話やスマートフォンには、撮影者から見える被写体を撮影する通常のカメラ（アウトカメラ）とともに、撮影者自身や撮影者側の被写体を撮影するカメラ（インカメラ）が搭載されている。このようなアウトカメラとインカメラを搭載する電子機器では、シャッターボタンを押すとアウトカメラとインカメラのシャッターを同時にレリーズさせて撮影を行い、インカメラ側の画像も同時に撮影して、アウトカメラ側の画像と関連付けて記録することができる。これによって、後で撮影画像を鑑賞する際に、その画像が撮影された際の撮影者の表情も合わせて確認できるので、例えば、どのようなシチュエーションでその画像が撮影されたかを思い出すことができるようになる。

ところが、アウトカメラ側の画像とインカメラ側の画像が常に撮影される構成に対して、撮影者がインカメラ側の画像の撮影を望んでいない場合もある。これに対して、例えば、メニュー等の設定でインカメラによる撮影のオン／オフを設定できるようにすることも考えられるが、毎回設定を変更するのは非常に煩わしい操作となる。そこで、特許文献１では、インカメラに対応するサブマイクが集音した音声が閾値を超えた場合にのみ、インカメラ側の動画も記録してアウトカメラ側の画像に重ね合わせる技術が提案されている。

特開２０１１−２５０３４０号公報

しかしながら、上記特許文献１では、撮影者側の音声が大きくなると必ずインカメラ側の動画も記録されてしまうが、実際にそのようなシチュエーションにおいて撮影者が必ずしも自分自身の撮影を望んでいるとは限らない。他にも、例えば、撮影者の表情や動きの度合いを検出し、それに基づいてインカメラ側の画像を撮影する手法も考えられる。しかし、カメラにより得た撮影者情報は信頼性が低い場合もあり、また撮影している状況等だけを頼りにすると、撮影者が望んでいないにもかかわらず、被写体側の画像を再生する際に撮影者側の画像も同時に表示されてしまうケースも増加すると想定される。

本発明は、上記課題に鑑みてなされ、その目的は、撮影している状況だけでなく、そのときの被写体や撮影者の状況に応じて、被写体側の画像と撮影者側の画像とを関連付けるか否かを適切に決定することができる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、被写体を撮影する第１の撮像手段と、撮影者側を撮影するための第２の撮像手段と、撮影モードを設定するモード設定手段と、前記モード設定手段により設定された撮影モードに応じて、前記第１の撮像手段により撮影された第１の画像データと前記第２の撮像手段により撮影された第２の画像データとを関連付けて記録するか否かを決定する制御手段と、を有し、前記制御手段は、前記モード設定手段により設定された撮影モードが、暗いシーンのための撮影モード、または、望遠撮影のための手振れ補正を行う撮影モードである場合に、前記第１の画像データと前記第２の画像データとを関連付けて記録しないように決定する。

本発明によれば、撮影している状況だけでなく、そのときの被写体や撮影者の状況に応じて、被写体側の画像と撮影者側の画像とを関連付けるか否かを適切に決定することができる。

本発明に係る実施形態の撮像装置の外観図。 本実施形態の撮像装置の構成を示すブロック図。 本実施形態の撮像装置の基本動作を示すフローチャート。 本実施形態の撮像装置の静止画記録モードでの動作を示すフローチャート。 本実施形態の撮像装置の再生モードでの動作を示すフローチャート。 本実施形態の撮像装置の再生モードでの動作を示すフローチャート。 本実施形態の撮像装置により撮影された画像の再生画面を例示する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１］以下、本発明を、例えば、静止画や動画を撮影するデジタルカメラなどの撮像装置に適用した実施形態について説明する。

＜装置構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

図１において、表示部１０１は画像や各種情報を表示する液晶表示パネル（ＬＣＤ）等からなる。シャッターボタン１０２は撮影指示を行うための操作部である。モード切替スイッチ１０３は各種モードを切り替えるための操作部である。コネクタ１０７は接続ケーブル１０８とデジタルカメラ１００とを接続するインターフェースである。操作部１０４はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材からなる操作部である。コントローラホイール１０６は操作部１０４に含まれる回転操作可能な操作部材である。１０５は電源スイッチであり、電源オン、電源オフを切り替える。記録媒体１０９はメモリカードやハードディスク等の記録媒体である。記録媒体スロット１１０は記録媒体１０９を格納するためのスロットである。記録媒体スロット１１０に格納された記録媒体１０９は、デジタルカメラ１００との通信が可能となる。蓋１１１は記録媒体スロット１１０の蓋である。インカメラ１１２は、撮影者自身や撮影者側の被写体を撮影するカメラモジュールである。ファインダー１１３は撮影者がファイダーを覗いて被写体を撮影するために設けられている。１１４はインカメラ１１２の周辺の音（撮影者の声等）を集音するマイクである。

図２は、本実施形態のデジタルカメラ１００の構成を例示するブロック図である。

図２において、本実施形態のデジタルカメラ１００は、撮影者から見える被写体を撮影するアウトカメラモジュール（以下、アウトカメラ）と、撮影者自身や撮影者側の被写体を撮影するインカメラモジュール（以下、インカメラ）が搭載されている。アウトカメラは、撮影レンズ２０３、シャッター２０４、撮像部２０５からなる第１の撮像光学系、インカメラは撮影レンズ２３３、シャッター２３４、撮像部２３５からなる第２の撮像光学系をそれぞれ備える。

撮影レンズ２０３、２３３はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター２０４、２３４は絞り機能を備える。撮像部２０５、２３５は被写体の光学像を電気信号に変換するＣＣＤやＣＭＯＳ等で構成される撮像素子である。

Ａ／Ｄ変換器２０６は、撮像部２０５、２３５から出力されるアナログ信号をデジタル信号に変換する。バリア２０２は、デジタルカメラ１００の、アウトカメラ側の撮影レンズ２０３を含む撮像光学系を覆うことにより、撮影レンズ２０３、シャッター２０４、撮像部２０５を含む撮像光学系の汚れや破損を防止する。

画像処理部２０７は、Ａ／Ｄ変換器２０６からのデータ、又は、メモリ制御部２０９からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２０７では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部２０１が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２０７では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

なお、Ａ／Ｄ変換器２０６や画像処理部２０７を撮像部２０５、２３５ごとに設けることも可能である。

Ａ／Ｄ変換器２０６からの出力データは、画像処理部２０７及びメモリ制御部２０９を介して、或いは、メモリ制御部２０９を介してメモリ２１０に直接書き込まれる。メモリ２１０は、撮像部２０５によって得られ、Ａ／Ｄ変換器２０６によりデジタルデータに変換された画像データや、表示部１０１に表示するための画像データを格納する。メモリ２１０は、所定枚数の静止画や所定時間の動画および音声を格納するのに十分な記憶容量を備えている。

また、メモリ２１０は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器２０８は、メモリ２１０に格納されている画像表示用のデータをアナログ信号に変換して表示部１０１に供給する。こうして、メモリ２１０に書き込まれた表示用の画像データはＤ／Ａ変換器２０８を介して表示部１０１により表示される。表示部１０１は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器２０８からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２０６によって一旦Ａ／Ｄ変換され、メモリ２１０に蓄積されたデジタル信号をＤ／Ａ変換器２０８においてアナログ変換し、表示部１０１に逐次転送して表示することで、電子ビューファインダー（ＥＶＦ）として機能し、スルー画像表示を行える。

不揮発性メモリ２１３は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ２１３には、システム制御部２０１の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部２０１は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ２１３に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。２１２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ２１２には、システム制御部２０１の動作用の定数、変数、不揮発性メモリ２１３から読み出したプログラム等を展開する。また、システム制御部２０１はメモリ２１０、Ｄ／Ａ変換器２０８、表示部１０１等を制御することにより表示制御も行う。

システムタイマー２１１は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ１０３、第１シャッタースイッチ１０２ａ、第２シャッタースイッチ１０２ｂ、操作部１０４はシステム制御部２０１に各種の動作指示を入力するための操作手段である。

モード切替スイッチ１０３は、モード設定手段としてシステム制御部２０１の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード、アウトカメラとインカメラの両方で同時撮影が可能な同時撮影モード等がある。モード切替スイッチ１０３で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ１０３で静止画撮影モードに一旦切り替えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。第１シャッタースイッチ１０２ａは、デジタルカメラ１００に設けられたシャッターボタン１０２の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、アウトカメラやインカメラのＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

第２シャッタースイッチ１０２ｂは、シャッターボタン１０２の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部２０１は、第２シャッタースイッチ信号ＳＷ２により、撮像部２０５や撮像部２３５からの信号読み出しから記録媒体１０９に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部１０４の各操作部材は、表示部１０１に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

コントローラホイール１０６は、操作部１０４に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール１０６を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部２０１はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール１０６が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール１０６は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール１０６自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール１０６自体は回転せず、コントローラホイール１０６上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。

電源制御部２１４は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部２１４は、その検出結果及びシステム制御部２０１の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１０９を含む各部へ供給する。

電源部２１５は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等からなる。記録媒体Ｉ／Ｆ２１６は、メモリカードやハードディスク等の記録媒体１０９とのインターフェースである。記録媒体１０９は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

なお操作部１０４の一つとして、表示部１０１に対する接触を検知可能なタッチパネルを有する。タッチパネルと表示部１０１とは一体的に構成することができる。例えば、タッチパネルを光の透過率が表示部１０１の表示を妨げないように構成し、表示部１０１の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部１０１上の表示座標とを対応付ける。これにより、あたかもユーザが表示部１０１上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。システム制御部２０１はタッチパネルへの以下の操作を検出できる。タッチパネルを指やペンで触れたこと（以下、タッチダウンと称する）。タッチパネルを指やペンで触れている状態であること（以下、タッチオンと称する）。タッチパネルを指やペンで触れたまま移動していること（以下、ムーブと称する）。タッチパネルへ触れていた指やペンを離したこと（以下、タッチアップと称する）。タッチパネルに何も触れていない状態（以下、タッチオフと称する）。これらの操作や、タッチパネル上に指やペンが触れている位置座標は内部バスを通じてシステム制御部２０１に通知され、システム制御部２０１は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。ムーブについてはタッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。またタッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。

＜基本動作＞図３を参照して、本実施形態のデジタルカメラ１００の起動から終了までの基本動作について説明する。なお、図３の処理は、不揮発性メモリ２１３に記録されたプログラムを、システムメモリ２１２に読み出してシステム制御部２０１が実行することにより実現する。

また、インカメラは、以下に述べるにようアウトカメラと基本的に同様の動作を行うが、特にインカメラに特有の処理については補足しつつ説明する。

デジタルカメラ１００の電源スイッチ１０５がオンされると、図３の処理が開始される。

Ｓ３０１では、システム制御部２０１は、フラグや制御変数等を初期化し、Ｓ３０２では、記録媒体１０９に記録されているファイルに関する管理処理を開始する。

Ｓ３０３、Ｓ３０５、Ｓ３０７では、システム制御部２０１は、モード切替スイッチ１０３の設定位置を判定する。Ｓ３０３で静止画記録モードに設定されていた場合はＳ３０４へ進み、図４で後述する静止画記録モード処理を実行する。また、Ｓ３０５で動画記録モードに設定されていた場合はＳ３０６に進み、動画記録モード処理を実行する。また、Ｓ３０７で再生モードに設定されていた場合はＳ３０８に進み、再生モード処理を実行する。

また、Ｓ３０３、Ｓ３０５、Ｓ３０７で静止画記録モード、動画記録モード、再生モードのいずれにも設定されていない場合はＳ３０９へ進み、システム制御部２０１はその他のモード処理を実行する。その他のモード処理は、例えば、記録媒体１０９に格納されたファイルの送信を行う送信モード処理、外部機器からファイルを受信して記録媒体１０９に格納する受信モード処理などである。

Ｓ３０４、Ｓ３０６、Ｓ３０８、Ｓ３０９で各モード処理を実行した後、Ｓ３１０へ進み、システム制御部２０１は電源スイッチ１０５の設定位置を判定する。電源スイッチ１０５がオンに設定されている場合はＳ３０３に戻り、オフに設定されている場合はＳ３１１へ進む。

Ｓ３１１では、システム制御部２０１は、終了処理を行う。終了処理には、例えば、表示部１０１の表示を終了状態に変更し、バリア２０２を閉じて撮像部２０５を保護する処理、フラグや制御変数等を含むパラメータや設定値、設定モードを不揮発性メモリ２１３に記録し、電源供給が不要な部分への電源を遮断する処理が含まれる。

Ｓ３１１の終了処理が完了すると、電源オフ状態へ移行する。

＜静止画記録モード＞図４を参照して、図３のＳ３０４における静止画記録モード処理について説明する。なお、図４の処理は、モード切替スイッチ１０３により他の動作モードへの切り替えが指示された場合や電源スイッチ１０５がオフされた場合に割り込み処理等により終了するものである。

Ｓ４０１では、システム制御部２０１は、撮影モードを確定する。撮影モードの確定は、不揮発性メモリ２１３より前回の静止画記録モード終了時点における撮影モードを取得してシステムメモリ２１２に格納することでなされる。この撮影モードは、静止画を撮影するための撮影モードである。本実施形態のデジタルカメラ１００は以下の撮影モードを有する。

・オートモード：カメラの各種パラメータが、計測された露出値に基づいてデジタルカメラ１００に組み込まれたプログラムにより自動的に決定されるモード。

・マニュアルモード：カメラの各種パラメータをユーザが自由に変更可能なモード。

・シーンモード：撮影シーンに適したシャッター速度や絞り値、ストロボ発光状態、感度設定等の組み合わせが自動で設定される。

なお、シーンモードには以下のモードが含まれる。

・ポートレートモード：背景をぼかして人物を浮き立たせるようにして人物撮影に特化したモード。

・夜景モード：人物にストロボ光をあて背景を遅いシャッター速度で記録する、夜景シーンに特化したモード。

・風景モード：広がりのある風景シーンに特化したモード。

・ナイト＆スナップモード：三脚なしで夜景と人物をきれいに撮るのに適したモード。

・キッズ＆ペットモード：よく動き回る子供やペットをシャッターチャンスを逃さず撮影可能にしたモード。

・新緑＆紅葉モード：新緑等の木々や葉を色鮮やかに撮影するのに適したモード。

・パーティーモード：蛍光灯や電球のもとで、手振れを抑えて被写体に忠実な色味で撮影するモード。

・スノーモード：雪景色をバックにしても人物が暗くならず、青みも残さず撮影するモード。

・ビーチモード：太陽光の反射の強い海面や砂浜でも、人物などが暗くならずに撮影可能なモード。

・花火モード：打ち上げ花火を最適な露出で鮮やかに撮影するためのモード。

・水族館モード：屋内の水槽内の魚などを撮影するのに適した感度、ホワイトバランス、色味を設定するモード。

・水中モード：水中に最適なホワイトバランスに設定し、青みを押さえた色合いで撮影するモード。

・モノクロモード：白黒／セピア／青／紫／緑等の調色を選択し撮影するモード。

・極彩色モード：彩度を上げた鮮烈な色で撮影するモード。

・ライブビューモード：明るさ／色合い／鮮やかさを分かりやすい言葉で選択し絵作り可能な撮影モード。

・望遠手振れ軽減モード：望遠で撮影することを目的として通常よりも手振れ補正を強く効かせて制御する撮影モード。

・撮影者記録モード：インカメラではストロボ発光ができないためストロボなしで最適な画像を得るために露出、ＷＢ等を制御するモード。

Ｓ４０２では、システム制御部２０１は、撮像部２０５で撮像された画像データのスルー表示を行う（画像表示制御）。スルー表示は、撮像部２０５で撮像されている画像を記録媒体１０９に記録することなくほぼリアルタイムの動画を表示部１０１に表示するもので、これを見て撮影者は画角の確認や撮影のタイミングを調整することができる。

Ｓ４０３では、システム制御部２０１は，電源制御部２１４により電源部２１５の残容量や、記録媒体１０９の有無や残容量がデジタルカメラ１００の動作に問題があるか否かを判定する。問題がある場合はＳ４０４に進み、表示部１０１に画像や音声により所定の警告表示を行い、Ｓ４０１に戻り、問題がない場合はＳ４０５に進む。

Ｓ４０５では、システム制御部２０１は、ユーザ設定に応じて不揮発性メモリ２１３に格納された撮影設定をシステムメモリ２１２に展開して撮影パラメータを設定しているか否かを判定する。設定中していない場合はＳ４０７に進み、設定中の場合はＳ４０６に進み、撮影パラメータ設定に応じた処理を行う。

Ｓ４０７では、システム制御部２０１は、スルー表示される画像中から人物の顔を検出する（顔検出処理）。システム制御部２０１は、顔検出処理において人物の顔が検出された場合、検出した顔の位置座標、サイズ（幅、高さ）、検出個数、信頼性係数等を顔情報としてシステムメモリ２１２に記憶する。顔検出処理において顔が検出されなかった場合はシステムメモリ２１２の位置座標、サイズ（幅、高さ）、検出個数、信頼性係数等の領域に０を設定する。

Ｓ４０９では、システム制御部２０１は、第１シャッタースイッチ信号ＳＷ１がＯＮしているか否かを判定する（撮影準備指示受付）。第１シャッタースイッチ信号ＳＷ１がＯＦＦの場合はＳ４０５に戻る一方、ＯＮの場合はＳ４１０に進む。

Ｓ４１０では撮影準備動作が行われる。システム制御部２０１は、測距処理を行って撮影レンズ２０３の焦点を被写体に合わせるとともに（ＡＦ処理）、測光処理を行って絞り値及びシャッタースピードを決定する（ＡＥ処理）。なお、測光処理において、必要であればフラッシュの設定も行われる。また、Ｓ４０７で顔が検出されている場合、検出した顔の範囲で測距を行う顔ＡＦを行うことも可能である。インカメラ側でも同様に撮影準備動作処理を行う。

Ｓ４１１、Ｓ４１２では、システム制御部２０１は、第１シャッタースイッチ信号ＳＷ１と第２シャッタースイッチ信号ＳＷ２のＯＮ／ＯＦＦ状態を判定する。第１シャッタースイッチ信号ＳＷ１がＯＮ状態で第２シャッタースイッチ信号ＳＷ２がＯＮになった場合はＳ４１３へ進む。その後、第１シャッタースイッチ信号ＳＷ１がＯＦＦになると（第２シャッタースイッチ信号ＳＷ２がＯＮせず、第１シャッタースイッチ信号ＳＷ１もＯＦＦされた場合）、Ｓ４０６へ戻る。また、第１シャッタースイッチ信号ＳＷ１がＯＮ、第２シャッタースイッチ信号ＳＷ２がＯＦＦの間は、Ｓ４１１、Ｓ４１２の処理が繰り返される。

Ｓ４１３では、システム制御部２０１は、表示部１０１をスルー表示状態から固定色表示状態（例えば黒一色の表示）に設定する。

Ｓ４１４では、システム制御部２０１は、露光処理や現像処理を含む撮影処理を実行する。露光処理では、撮像部２０５、Ａ／Ｄ変換器２０６から得られた画像データが、画像処理部２０７及びメモリ制御部２０９を介して、或いはＡ／Ｄ変換器２０６から直接メモリ制御部２０９を介して、メモリ２１０に書き込まれる。また、現像処理では、システム制御部２０１が、メモリ制御部２０９、必要に応じて画像処理部２０７により、メモリ２１０に書き込まれた画像データを読み出して各種処理を行う。

Ｓ４１５では、システム制御部２０１は、撮影処理で得られた画像データのクイックレビュー表示を行う。クイックレビュー表示とは、撮影画像の確認のために、被写体の撮影後記録媒体への記録前に、予め決められた時間（レビュー時間）だけ画像データを表示部１０１に表示する処理である。

Ｓ４１６では、システム制御部２０１は、アウトカメラで撮影された第１の画像データ（以下、アウトカメラ画像ともいう）をファイルとして記録媒体１０９に書き込む。このとき、インカメラで撮影された第２の画像データ（以下、インカメラ画像ともいう）も記録媒体１０９に書き込む。アウトカメラとインカメラのそれぞれで撮影された画像データは、両者を関連付けるメタデータが埋め込まれており、例えば再生モードで画像データを表示する際に、アウトカメラ画像データとインカメラ画像データを表示部１０１に同時に表示することができる。本実施形態では、撮影画像の番号を連番にすることで実現する。なお、別途、関連付け情報を持つことでも実現できる。

Ｓ４１７では、システム制御部２０１は、第２シャッタースイッチ信号ＳＷ２のＯＮ／ＯＦＦ状態を判定し、第２シャッタースイッチ信号ＳＷ２がＯＦＦになるのを待つ。第１シャッタースイッチ信号ＳＷ２がＯＦＦになるまでの間、上記クイックレビュー表示を継続させる。即ち、Ｓ４１６の記録処理が終了した際に、第２シャッタースイッチ信号ＳＷ２がＯＦＦされるまで表示部１０１へのクイックレビュー表示を継続させる。このように構成することにより、ユーザは、シャッターボタン１０２の全押し状態を継続することで、クイックレビュー表示を用いた撮影画像データの確認を入念に行うことが可能となる。Ｓ４１７で第２シャッタースイッチ信号ＳＷ２がＯＦＦとなると、つまり、ユーザがシャッターボタン１０２から指を放すなどして全押し状態が解除されると、Ｓ４１８へ進む。

Ｓ４１８では、システム制御部２０１は、予め定められたクイックレビュー表示のレビュー時間が経過したか否かを判定する。レビュー時間が経過していない場合はレビュー時間が経過するのを待ち、レビュー時間が経過するとＳ４１９に進む。

Ｓ４１９では、システム制御部２０１は、表示部１０１をクイックレビュー表示からスルー表示状態に戻す。この処理により、クイックレビュー表示によって撮影画像データを確認した後、表示部１０１の表示状態は次の撮影のために撮像部２０５で撮像された画像データを逐次表示するスルー表示状態に自動的に切り替わることになる。

Ｓ４２０では、システム制御部２０１は、第１シャッタースイッチ信号ＳＷ１のＯＮ／ＯＦＦ状態を判定し、ＯＮの場合はＳ４１１へ戻り、ＯＦＦの場合はＳ４０５へ戻る。即ち、システム制御部２０１は、シャッターボタン１０２の半押し状態が継続している（第１シャッタースイッチ信号ＳＷ１がＯＮ）場合は、次の撮影に備える（Ｓ４１１）。一方、シャッターボタン１０２が放された（第１シャッタースイッチ信号ＳＷ１がＯＦＦ）場合は、一連の撮影動作を終えて撮影待機状態に戻る（Ｓ４０６）。

＜再生モード＞図５を参照して、図３のＳ３０８における再生モード処理について説明する。

Ｓ５０１では、システム制御部２０１は、記録媒体１０９から最新画像情報を取得する。最新画像情報の取得を総枚数計算や検索リスト作成よりも先に行うことで、再生モードへの移行時に素早くそれらの処理結果を表示できるという効果がある。

Ｓ５０２では、システム制御部２０１は、Ｓ５０１における最新画像情報の取得が正しく行われたかどうかをチェックする。最新画像情報を取得できなかった場合はＳ５１２に進む。

Ｓ５１２では、システム制御部２０１は、画像なし時の入力待ち状態となる。なお、最新画像情報を取得できない場合とは、画像が１枚もないような状態や、メディア不良によって画像情報が取得できなかったような状態等がある。最新画像情報が取得できれば、少なくとも画像が１枚は存在すると判定され、Ｓ５０３へ進む。

Ｓ５０３では、システム制御部２０１は、Ｓ５０１で取得した最新画像情報を元に記録媒体１０９から最新画像データを読み出す。更に最新画像と対のインカメラ画像データも記録媒体１０９から読み出す。

Ｓ５０４では、システム制御部２０１は、ファイル解析処理を行い、Ｓ５０３で読み出した最新画像データの情報から、最新画像データが撮影されたときの撮影モードの情報を取得する。ここでは、例えば、画像データのＥＸＩＦ情報等を参照することで、撮影モードを特定することが可能である。さらに、システム制御部２０１は、取得した撮影モードが第１のモードＡであるか否かを判定する。第１のモードＡは、例えば、スポーツを専用で撮影するスポーツモードや、子供を主に撮影するためのキッズモード等を含む。

Ｓ５０４において、第１のモードＡであると判定された場合は、図６のＳ６０１に進み、それ以外のモードであると判定された場合は、Ｓ５０５へ進む。

＜第１のモードＡにおける再生処理＞図６は、図５のＳ５０４において撮影モードが特定のモードＡであった場合の処理を示している。図６の処理は、撮影者の声の大きさ、笑顔の度合い、動きの度合い等の情報を用いて、撮影者の興奮度を指標（スコア）として算出する。以下では、興奮度の指標として、（Ａ１）声の大きさ、（Ａ２）笑顔の度合い、（Ａ３）動きの度合いを一例として第１のモードＡの再生処理について説明する。

Ｓ６０１では、システム制御部２０１は、マイク１１４により集音された撮影者の声の大きさを算出する。なお、マイクが各カメラに対応して２個設けられている場合は、インカメラ側のマイクにより集音された声の大きさを算出するか、もしくは両方のマイクにより集音された声の大きさの差分を求めることで算出しても良い。これは、アウトカメラ側の被写体に比べて、インカメラ側の撮影者は大抵の場合カメラの近傍にいるはずなので、比較的小さい声であっても大きい声と判定されてしまうことを防ぐためである。

Ｓ６０２及びＳ６０３では、システム制御部２０１は、図４のＳ４０７における顔検出結果から撮影者の笑顔の度合いと、撮影者の動きの度合いをそれぞれ算出する。

Ｓ６０４では、システム制御部２０１は、Ｓ６０１〜Ｓ６０３での算出結果Ａ１〜Ａ３を用いて撮影者の興奮度のスコアを算出する。このスコアは、各算出結果Ａ１〜Ａ３を単純に加算して求めても良いし、特定の要因の度合いに重みづけをしつつ加算して求めても良い。

Ｓ６０５では、システム制御部２０１は、Ｓ６０４で算出されたスコアが所定値以上であるか否かを判定し、所定値以上であると判定された場合はＳ６０６へ進み、所定値未満である場合はＳ６０７へ進む。

Ｓ６０６では、システム制御部２０１は、図７（ａ）に示すようにアウトカメラ画像データ７０１の背景の領域にインカメラ画像データ７０２を重ね合せて表示する。なお、図７（ａ）では、アウトカメラ画像７０１のサイズをインカメラ画像７０２より大きいサイズで表示しているが、例えば、上下や左右に２分割した画面に同一サイズで表示したり、インカメラ画像をサムネイル画像に置換して表示するようにしても良い。

Ｓ６０７では、システム制御部２０１は、図７（ｂ）に示すようにアウトカメラ画像データ７１１のみを表示し、インカメラ画像データは非表示とする。

上述した第１のモードＡにおける再生処理では、画像の撮影モードと、撮影者の興奮度を表す情報とを用いて、インカメラ画像データを表示するか否かを決定している。このように、撮影者に関する情報だけでインカメラ画像の表示／非表示を決定するのではなく、撮影モードというユーザが明示的に設定した情報も加味してインカメラ画像を表示するか否かを決定する。これにより、撮影者の意図を適切に反映しながら再生する撮影画像を決定することができる。

図５の説明に戻り、Ｓ５０５では、Ｓ５０４と同様に、システム制御部２０１は、ファイル解析処理を行い、最新画像データが撮影されたときの撮影モードの情報を取得し、取得した撮影モードが第２のモードＢであるか否かを判定する。第２のモードＢは、例えば、花火モードや夜景モード等の暗いシーンで撮影することが前提のモードや、望遠側で撮影することを目的として手振れ補正を行う望遠手振れ軽減モード等を含む。

Ｓ５０５において、第２のモードＢであると判定された場合は、Ｓ５０６に進み、それ以外のモードであると判定された場合は、Ｓ５０７へ進む。

Ｓ５０６では、システム制御部２０１は、インカメラ画像を非表示とし、図７（ｂ）に示すようにアウトカメラ画像７１１のみを表示する。上記のように、第２のモードＢでは、基本的にインカメラ画像を重ね合わせることによる効果はほとんどないため、撮影者に関する情報を加味しないで撮影モードのみでインカメラ画像の表示／非表示を判定する。よって、アウトカメラ画像の再生時に鑑賞者（撮影者）がインカメラ画像が邪魔だと感じることが少なくなる。

Ｓ５０７では、システム制御部２０１は、図４のＳ４０７における顔検出結果から被写体情報として顔情報を取得する。

Ｓ５０８では、システム制御部２０１は、上記被写体情報が所定条件と一致しているか否かを判定し、一致していると判定された場合は図６のＳ６０１へ進み、不一致である場合はＳ５０９へ進む。ここで、所定条件とは、被写体が撮影者以外の赤ちゃんや子供の場合や、ペットであること等がある。ここでの判定方法としては、顔情報を用いる以外に、予め被写体情報を登録しておき、それらとのマッチングにより判定しても良い。このように、再生画像の撮影モードが特定のモードの場合はインカメラ画像を非表示とし、それ以外の撮影モード(インカメラ画像の表示・非表示がどちらでもよさそうなシーンで使われる撮影モード)においてだけ、インカメラ画像の表示／非表示を決定する。

Ｓ５０９では、Ｓ５０６と同様に、システム制御部２０１は、インカメラ画像を非表示とし、図７（ｂ）に示すようにアウトカメラ画像７１１のみを表示する。

Ｓ５１０では、システム制御部２０１は、記録媒体１０９に記録されている画像ファイルの総枚数取得処理を開始する。この処理はバックグランドで行われ、その完了を待たずに次の処理に進むことができる。このようにすることで、多くの画像データが記録媒体１０９に格納されており、総枚数計算に時間がかかるような場合でも、総枚数計算の完了を待たずに画像を閲覧することが可能になる。この処理は、記録モードから再生モードに移行した際に、記録モードで新たに画像データが記録または削除され、総枚数に違いが生じた場合に特に有効な処理である。記録モードで新たに画像データが記録または削除されていない場合には、既に計算済みの総枚数を利用するため、総枚数計算の処理は行わなくても良い。

Ｓ５１１では、システム制御部２０１は、検索リストの作成を開始する。検索リストとは画像データに付与された属性情報を予め取得し管理するリストである。予め検索リストを作成しておくことで属性ごとの再生や消去といった処理を迅速に行うことが可能となる。検索リスト作成処理も総枚数計算同様にバックグランドで実行されるので、その完了を待たずに次の処理を実行させることができる。

Ｓ５１２では、システム制御部２０１は、入力待ち状態に入る。

以上説明したように、本実施形態によれば、ユーザが明示的に設定した撮影モード、撮影者の興奮度を表すスコア、アウトカメラ画像中の被写体の顔情報に基づいて、インカメラ画像を表示するか否かを決定する。つまり、撮影している状況だけでなく、そのときの被写体や撮影者の状況に応じて、アウトカメラ画像を再生する際にインカメラ画像を同時に表示するか非表示とするかを決定することができる。よって、例えば、どのようなシチュエーションでその画像が撮影されたかを思い出すことができるようになる。

［実施形態２］次に、実施形態２について説明する。

実施形態２に係る撮像装置は、基本的には上述した実施形態１と同様の装置構成を有し、同様の動作を行うが、以下の点で実施形態１と異なる。

実施形態１では、ユーザが明示的に設定した撮影モード、撮影者の興奮度を表すスコア、アウトカメラ画像中の被写体の顔情報に基づいて、インカメラ画像を表示するか否かを決定した。これに対して、本実施形態では、インカメラ画像を表示するか否かを決定するだけでなく、アウトカメラ画像とインカメラ画像を記録する際に、アウトカメラ画像とインカメラ画像を関連付けて記録するか否かを決定する。

本実施形態では、シャッターボタンの全押しで、第２シャッタースイッチ１０２ｂがＯＮ（撮影指示）になり、この記録指示応じてアウトカメラ画像を記録媒体１０９に記録する撮影処理を行う際に、アウトカメラ画像とインカメラ画像を関連付けて記録するか否かを決定する。関連付けるか否かは、実施形態１と同様に、ユーザが明示的に設定した撮影モード、撮影者の興奮度を表すスコア、アウトカメラ画像中の被写体の顔情報に基づいて決定する。インカメラ画像をアウトカメラ画像と関連付けて記録するか否かを決定する際には、インカメラ画像をアウトカメラ画像と共に表示するかを決定するための判断基準と同じにしても良い。あるいは、インカメラ画像をアウトカメラ画像と関連付けて記録するか否かを決定する際の判断基準を、インカメラ画像をアウトカメラ画像と共に表示するかを決定するための判断基準と異ならせても良い。

インカメラ画像をアウトカメラ画像と関連付けて記録すると決定された場合は、インカメラ画像をアウトカメラ画像と両者を関連付けるためのメタデータをアウトカメラ画像とインカメラ画像に埋め込むと良い。また、アウトカメラ画像内に、インカメラ画像をピクチャーインピクチャーで合成した合成画像を記録するようにしても良い。

また、インカメラ画像をアウトカメラ画像と関連付けて記録しないと決定された場合には、インカメラ画像を記録媒体に記録しないようにしても良い。あるいは、インカメラ画像とアウトカメラ画像のどちらか一方を記録しないようにしても良い。どちらの画像を記録するかについては、ユーザが明示的に設定した撮影モード、撮影者の興奮度を表すスコア、アウトカメラ画像中の被写体の顔情報に基づいて決定すると良い。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち本実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

Claims (14)

1. 被写体を撮影する第１の撮像手段と、
   撮影者側を撮影するための第２の撮像手段と、
   撮影モードを設定するモード設定手段と、
   前記モード設定手段により設定された撮影モードに応じて、前記第１の撮像手段により撮影された第１の画像データと前記第２の撮像手段により撮影された第２の画像データとを関連付けて記録するか否かを決定する制御手段と、を有し、
   前記制御手段は、前記モード設定手段により設定された撮影モードが、暗いシーンのための撮影モード、または、望遠撮影のための手振れ補正を行う撮影モードである場合に、前記第１の画像データと前記第２の画像データとを関連付けて記録しないように決定することを特徴とする撮像装置。
2. 被写体を撮影する第１の撮像手段と、
   撮影者側を撮影するための第２の撮像手段と、
   撮影モードを設定するモード設定手段と、
   前記第１の撮像手段により撮影された第１の画像データと前記第２の撮像手段により撮影された第２の画像データとを関連付けて記録するか否かを決定する制御手段と、を有し、
   前記制御手段は、前記モード設定手段により設定された撮影モードと、前記第１の撮像手段により撮影された第１の画像データの中の被写体の情報または前記第２の撮像手段により撮影された第２の画像データの中の被写体の情報に応じて、前記第１の撮像手段により撮影された第１の画像データと前記第２の撮像手段により撮影された第２の画像データとを関連付けて記録するか否かを決定することを特徴とする撮像装置。
3. 前記第２の画像データの中の被写体の情報を取得する取得手段を更に有し、
   前記制御手段は、前記撮影モードが第１のモードであり、かつ前記第２の画像データの中の被写体の情報が第１の条件を満たす場合、前記第１の画像データと前記第２の画像データとを関連付けて記録するように制御し、前記撮影モードが前記第１のモードであり、かつ前記第２の画像データの中の被写体の情報が前記第１の条件を満たさない場合、前記第１の画像データと前記第２の画像データとを関連付けて記録しないように制御することを特徴とする請求項２に記載の撮像装置。
4. 前記撮影モードが前記第１のモードとは異なる第２のモードである場合には、前記制御手段は、前記第１の画像データと前記第２の画像データとを関連付けて記録しないように制御することを特徴とする請求項３に記載の撮像装置。
5. 前記第１の画像データの中の被写体の情報を取得する取得手段を有し、
   前記撮影モードが前記第１のモードでも前記第２のモードでもない場合において、
   前記制御手段は、前記第１の画像データの中の被写体の情報が第２の条件を満たさない場合は、前記第１の画像データと前記第２の画像データとを関連付けて記録しないように制御し、
   前記第１の画像データの中の被写体の情報が前記第２の条件を満たす場合に、前記第２の画像データの中の被写体の情報が前記第１の条件を満たす場合は、前記第１の画像データと前記第２の画像データとを関連付けて記録するように制御し、前記第２の画像データの中の被写体の情報が前記第１の条件を満たさない場合は、前記第１の画像データと前記第２の画像データとを関連付けて記録しないように制御することを特徴とする請求項４に記載の撮像装置。
6. 前記第２の条件とは、前記第１の画像データの中の被写体が特定の被写体の場合であることを特徴とする請求項５に記載の撮像装置。
7. 前記第１のモードは、スポーツを撮影するモード、または子供を撮影するモードを含むことを特徴とする請求項３ないし６のいずれか１項に記載の撮像装置。
8. 前記第２のモードは、暗いシーンで撮影するモード、または望遠側で撮影するときに手振れ補正を行うモードを含むことを特徴とする請求項４ないし６のいずれか１項に記載の撮像装置。
9. 記録媒体に画像データを記録する記録手段を更に有し、
   前記制御手段は、前記第１の画像データと前記第２の画像データとを関連付けて記録すると決定した場合には、前記第１の画像データと前記第２の画像データとを関連付けて前記記録手段により前記記録媒体に記録するように制御することを特徴とする請求項１または２に記載の撮像装置。
10. 前記制御手段は、前記第１の画像データと前記第２の画像データとを関連付けて記録しないと決定した場合には、前記第１の画像データまたは前記第２の画像データのいずれか一方を前記記録媒体に記録しないように制御することを特徴とする請求項９に記載の撮像装置。
11. 前記被写体の情報は、被写体の顔情報または音声を含み、
    前記制御手段は、前記第２の画像データの中の被写体としての撮影者の声の大きさ、笑顔の度合い、動きの度合いの少なくともいずれかを用いて、前記第２の画像データの中の被写体の情報をスコアとして算出し、
    前記第１の条件は、前記スコアが所定値以上の場合であることを特徴とする請求項２から８のいずれか１項に記載の撮像装置。
12. 被写体を撮影する第１の撮像手段と、撮影者側を撮影するための第２の撮像手段と、撮影モードを設定するモード設定手段と、を有する撮像装置の制御方法であって、
    前記モード設定手段により設定された撮影モードに応じて、前記第１の撮像手段により撮影された第１の画像データと前記第２の撮像手段により撮影された第２の画像データとを関連付けて記録するか否かを決定する制御工程を有し、
    前記制御工程では、前記モード設定手段により設定された撮影モードが、暗いシーンのための撮影モード、または、望遠撮影のための手振れ補正を行う撮影モードである場合に、前記第１の画像データと前記第２の画像データとを関連付けて記録しないように決定することを特徴とする制御方法。
13. 被写体を撮影する第１の撮像手段と、撮影者側を撮影するための第２の撮像手段と、撮影モードを設定するモード設定手段と、を有する撮像装置の制御方法であって、
    前記第１の撮像手段により撮影された第１の画像データと前記第２の撮像手段により撮影された第２の画像データとを関連付けて記録するか否かを決定する制御工程を有し、
    前記制御工程では、前記モード設定手段により設定された撮影モードと、前記第１の撮像手段により撮影された第１の画像データの中の被写体の情報または前記第２の撮像手段により撮影された第２の画像データの中の被写体の情報に応じて、前記第１の撮像手段により撮影された第１の画像データと前記第２の撮像手段により撮影された第２の画像データとを関連付けて記録するか否かを決定することを特徴とする制御方法。
14. コンピュータに、請求項１２または１３に記載された制御方法を実行させるためのプログラム。

Images