JP6128929B2

JP6128929B2 - 撮像装置及びその制御方法並びにプログラム

Info

Publication number: JP6128929B2
Application number: JP2013086913A
Authority: JP
Inventors: 彬子和田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-04-17
Filing date: 2013-04-17
Publication date: 2017-05-17
Anticipated expiration: 2033-04-17
Also published as: JP2014212404A

Description

本発明は、複数の撮像手段を有する撮像装置に関する。

最近の携帯電話やスマートフォンには、撮影者から見える被写体を撮影する通常のカメラ（アウトカメラ）とともに、撮影者自身や撮影者側の被写体を撮影するカメラ（インカメラ）が搭載されている。このようなアウトカメラとインカメラを搭載する電子機器では、シャッターボタンを押すとアウトカメラとインカメラのシャッターを同時にレリーズさせて撮影を行い、インカメラ側の画像を、アウトカメラ側の画像と関連付けて記録することができる。

これによって、被写体の画像だけではなく、撮影者側の画像を記録することができるため、後で撮影画像を鑑賞する際に、撮影時の雰囲気をより効果的に表現することができ、臨場感のある画像を残すことが可能となる。

例えば、特許文献１では、アウトカメラとメインカメラを互いに異なる方向に向けて配置して同時に撮影を実施でき、画像合成モードにおいてアウトカメラの画像とインカメラの画像を合成する技術が記載されている。

特開２００５−０７３１６１号公報

上記特許文献１では、画像合成モード時には、見ず知らずの他人に撮影を依頼した場合でも画像合成を行ってしまう。しかしながら、被写体と撮影者に関係性が存在しないにもかかわらず、被写体との合成画像を残しても、撮影時の雰囲気を効果的に表現することができず、失敗画像となる可能性が高くなる。

本発明は、上記課題に鑑みてなされ、その目的は、撮影時の雰囲気を効果的に表現できるような状況でのみ撮影者側の画像を合成できるような技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、撮影者から見える被写体を撮影する第１の撮像手段と、撮影者側の被写体を撮影する第２の撮像手段と、前記第１の撮像手段により撮影が行われたときに、前記第２の撮像手段により撮像された第２の画像データについて、予め登録された認証用画像データとの認証を行う認証手段と、前記認証手段による認証ができた場合には、前記第１の撮像手段で撮像された第１の画像データと前記第２の撮像手段で撮像された第２の画像データとを関連づけして記録し、前記認証ができない場合には、前記第１の撮像手段で撮像された第１の画像データと前記第２の撮像手段で撮像された第２の画像データとを関連づけして記録しないように制御する制御手段と、前記認証用画像データを自動で登録する自動登録手段と、前記認証用画像データをユーザが手動で登録する手動登録手段と、を有し、前記認証手段は、前記手動登録手段により登録された認証用画像データで認証を行い、認証ができない場合に前記自動登録手段により登録された第２の画像データの認証用画像データで認証を行い、認証できない場合に前記自動登録手段により登録された第１の画像データの認証用画像データで認証を行う。

本発明によれば、撮影時の雰囲気を効果的に表現できるような状況でのみ撮影者側の画像を合成できるようになる。

本実施形態の撮像装置の構成を示すブロック図。本実施形態の撮像装置の撮影動作を示すフローチャート。図２の撮影動作における顔認証処理を示すフローチャート。図２の撮影動作における顔認証用画像データの自動登録処理を示すフローチャート。画像合成モードの設定画面を例示する図。本実施形態の撮像装置により撮影されるアウトカメラ画像とインカメラ画像と再生画面を例示する図。合成画像のプレビュー画面と画像合成の有無を設定するための設定画面を例示する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

以下、本発明を、例えば、静止画や動画を撮影するデジタルカメラなどの撮像装置に適用した実施形態について説明する。

＜装置構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

図１において、撮像装置１００は、撮影者から見える被写体を撮影する第１の撮像手段としてのアウトカメラモジュール１０１（以下、アウトカメラ）と、撮影者自身や撮影者側の被写体を撮影する第２の撮像手段としてのインカメラモジュール１０２（以下、インカメラ）が搭載されている。各カメラモジュール１０１、１０２は、撮影レンズ１０３、撮像素子１０４、Ａ／Ｄ変換部１０５、画像処理部１０６を備える。

撮影レンズ１０３はズームレンズ、フォーカスレンズ、絞りを含む撮像光学系である。撮像素子１０４は被写体の光学像を電気信号に変換するＣＣＤやＣＭＯＳ等で構成されるイメージセンサである。

Ａ／Ｄ変換部１０５は、撮像素子１０４の出力ノイズを除去するＣＤＳ（相関二重サンプリング処理）回路やＡ／Ｄ変換前に処理を行う非線形増幅回路を含み、撮像素子１０４から出力されるアナログ信号をデジタル信号に変換する。

画像処理部１０６は、Ａ／Ｄ変換部１０５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部１０６では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部１０９が露光制御、測距制御を行う。ここで、画像処理部１０６は、Ａ／Ｄ変換後の出力データ信号から被写体の輝度を算出する手段と、算出された輝度から特定周波数帯域の信号成分を抽出する手段とを含む。

Ａ／Ｄ変換部１０５からの出力データは、画像処理部１０６を介して高速にアクセス可能な内蔵メモリ１０７に書き込まれる。内蔵メモリ１０７は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。内蔵メモリ１０７には、システム制御部１０９の動作用の定数、プログラム等が記憶される。また、内蔵メモリ１０７には、画像認証部１１６が実行する顔認証処理に用いる顔認証用画像データが記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。内蔵メモリ１０７は、所定枚数の静止画や所定時間の動画および音声を格納するのに十分な記憶容量を備えている。

画像記録部１０８は、メモリカードなどの記録媒体とそのインターフェースからなり、内蔵メモリ１０７から転送された画像データを記憶する。

また、内蔵メモリ１０７は画像表示用のメモリ（ビデオメモリ）を兼ねている。システム制御部１０９は、内蔵メモリ１０７や画像記録部１０８に格納されている画像表示用のデータをアナログ信号に変換して表示部１１０に供給する。こうして、内蔵メモリ１０７の表示用の画像データが表示部１１０に表示される。表示部１１０は、ＬＣＤパネルなどの表示装置であり、画像、操作補助のためのＧＵＩ、カメラ状態等の表示のほか、撮影時には撮影画面と焦点検出領域を表示する。また、システム制御部１０９は、内蔵メモリ１０７に蓄積されたデジタル信号をアナログ変換し、表示部１１０に逐次転送して表示することで、電子ビューファインダー（ＥＶＦ）として機能し、スルー画像表示を行える。

システム制御部１０９は、撮像装置１００全体を制御する。前述した内蔵メモリ１０７に格納されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システム制御部１０９は、ＣＰＵの動作用の定数、変数、内蔵メモリ１０７から読み出したプログラム等を展開するシステムメモリとしてのＲＡＭを有する。また、システム制御部１０９は、内蔵メモリ１０７、画像記録部１０８、表示部１１０等を制御することにより表示制御も行う。

顔検出モジュール１１４は、画像処理部１０６で処理された画像データに対して、例えば一定の周期で顔検出処理を実施し、撮影画像データの中に含まれる１つ又は複数の顔の特徴情報（顔の位置、顔の大きさ、信頼度に関する値）を検出する。画像認証部１１６は、顔検出モジュール１１４により検出された顔情報を予め登録された顔認証用画像データと比較、照合する顔認証処理を行う。画像合成部１１５は、インカメラ１０２で撮影された画像データ（以下、インカメラ画像データ）及びアウトカメラ１０１で撮影された画像データ（以下、アウトカメラ画像データ）を合成する処理を行う。歪補正部１１７は、後述する顔認証処理においてアウトカメラ画像データの歪補正処理を行う。なお、システム制御部１０９が、上記顔検出モジュール１１４、画像合成部１１５、画像認証部１１６、及び歪補正部１１７として各処理を行っても良い。

操作部１１１、モード切替スイッチ１１２、及び撮影スイッチ１１３はシステム制御部１０９に対して各種の動作指示を入力するための操作手段である。

モード切替スイッチ１１２は、モード設定手段としてシステム制御部１０９の動作モードを画像記録モードと再生モード等のいずれかに切り替える。画像記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード、画像合成モード等がある。画像合成モードは、アウトカメラ１０１により撮影されたアウトカメラ画像データ（第１の画像データ）とインカメラ１０２により撮影されたインカメラ画像データ（第２の画像データ）とを合成して記録するモードである。

撮影スイッチ１１３は、シャッターボタンの操作途中、いわゆる半押し（撮影準備指示）で、アウトカメラ１０１やインカメラ１０２のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作を開始する。また、撮影スイッチ１１３は、シャッターボタンの操作完了、いわゆる全押し（撮影指示）で、撮像素子１０４からの信号読み出しから内蔵メモリ１０７や画像記録部１０８に画像データを書き込むまでの一連の撮影動作を開始する。

操作部１１１の各操作部材は、表示部１１０に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１１０に表示される。ユーザは、表示部１１０に表示されたメニュー画面を用いて直感的に各種設定を行うことができる。

なお、操作部１１１の一つとして、表示部１１０に対する接触を検知可能なタッチパネルを有する。タッチパネルと表示部１１０とは一体的に構成することができる。例えば、タッチパネルを光の透過率が表示部１１０の表示を妨げないように構成し、表示部１１０の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部１１０上の表示座標とを対応付ける。これにより、あたかもユーザが表示部１１０上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。

＜撮影動作＞図２を参照して、本実施形態の撮像装置による撮影動作について説明する。なお、図２の処理は、内蔵メモリ１０７に記憶されているプログラムを、システムメモリに読み出してシステム制御部１０９が実行することにより実現する。また、インカメラ１０２とアウトカメラ１０１は基本的に同様の動作を行う。

撮像装置１００の撮影スイッチ１１３がオンされると、図２の処理が開始される。ここで、撮像装置１００は予め画像合成モードに設定されているものとする。

Ｓ２０１では、システム制御部１０９は、撮影スイッチ１１３がオンされることにより、インカメラ１０２とアウトカメラ１０１による同時撮影を行う。

Ｓ２０２では、画像認証部１１６は、インカメラ画像データを顔認証処理の対象画像データ（以下、認証対象画像データ）として、予め登録されている（内蔵メモリ１０７に記憶されている）顔認証用画像データと比較、照合する処理を行う。この顔認証処理の詳細については、図３で後述する。

Ｓ２０３では、システム制御部１０９は、Ｓ２０１で撮影されたインカメラ画像データ及びアウトカメラ画像データについて、画像認証部１１６により顔認証用画像データとして自動登録する処理を行う。ここでは、ユーザが手動で任意に登録した顔認証用画像データに加えて、インカメラ画像データ及びアウトカメラ画像データが所定の条件を満たす場合に、顔認証用画像データとして自動で登録を行う。この顔認証用画像データの自動登録処理の詳細については、図４で後述する。

Ｓ２０４では、システム制御部１０９は、Ｓ２０２での顔認証処理の結果、インカメラ画像データの顔認証ができたか判定し、認証できた場合はＳ２０５へ進み、認証できなかった場合はＳ２０６へ進む。

Ｓ２０５では、システム制御部１０９は、インカメラ画像データを、同時撮影されたアウトカメラ画像データと関連があるものとしてタグ付けして記録し、処理を終了する。

Ｓ２０６では、システム制御部１０９は、インカメラ画像データを、同時撮影されたアウトカメラ画像データとは関連がないものとしてタグ付けして記録し、処理を終了する。

＜顔認証処理＞次に、図３を参照して、図２のＳ２０２における顔認証処理について説明する。

Ｓ３０１では、システム制御部１０９は、予め登録されている顔認証用画像データのうち、ユーザが手動登録した顔認証用画像データを参照して、認証対象画像データとの一致度を表す評価値（以下、一致度）が所定の第１の閾値以上のものがあるか判定する。ここで、顔認証用画像データがアウトカメラ画像データである場合は、認証対象画像データであるインカメラ画像データと歪曲収差量が異なる。このため、システム制御部１０９は、歪補正部１１７によりインカメラ画像データの歪曲収差量に合わせて顔認証用画像データに歪補正処理を施してから、認証対象画像データとの比較を行う。

Ｓ３０２では、システム制御部１０９は、顔認証用画像データの中で一致度が第１の閾値以上のものが見つかった場合は認証できたとしてＳ３０７に進み、見つからなかった場合はＳ３０３へ進む。

Ｓ３０３では、システム制御部１０９は、予め登録されている顔認証用画像データのうち、自動登録され、かつインカメラ画像データである顔認証用画像データを参照して、認証対象画像データとの一致度が所定の第２の閾値以上のものがあるか判定する。ここで、自動登録された顔認証用画像データは、ユーザが手動登録した顔認証用画像データに比べて認証に不向きな表情や顔の角度で撮影されている可能性があるため、誤判定を防止するために上記第２の閾値をＳ３０１での判定に用いた第１の閾値よりも認証精度が高くなるような値に設定する。

Ｓ３０４では、システム制御部１０９は、顔認証用画像データの中で一致度が第２の閾値以上のものが見つかった場合は認証できたとしてＳ３０７に進み、見つからなかった場合はＳ３０５へ進む。

Ｓ３０５では、システム制御部１０９は、予め登録されている顔認証用画像データのうち、自動登録されかつアウトカメラ画像データである顔認証用画像データを参照して、認証対象画像データとの一致度が所定の第３の閾値以上のものがあるか判定する。ここでは、Ｓ３０１と同様に、歪補正部１１７によってインカメラ画像データの歪曲収差量に合わせて顔認証用画像データの歪補正処理を行う。また、歪補正を施さないインカメラ画像データである顔認証用画像データに比べて認証精度が低下することが想定されるため、誤判定を防止するために上記第３の閾値をＳ３０３での判定に用いた第２の閾値よりも認証精度が高くなるような値に設定する。

Ｓ３０６では、システム制御部１０９は、顔認証用画像データの中で一致度が第３の閾値以上のものが見つかった場合は認証できたとしてＳ３０７に進み、見つからなかった場合はＳ３０８へ進む。

Ｓ３０７では、システム制御部１０９は、認証成功と判定して処理を終了し、Ｓ３０８では、認証失敗と判定して処理を終了する。

＜顔認証用画像データの自動登録処理＞次に、図４を参照して、図２のＳ２０３における顔認証用画像データの自動登録処理について説明する。

図４において、Ｓ４０１では、システム制御部１０９は、自動登録処理の対象画像データ（以下、登録対象画像データ）がインカメラ画像データかアウトカメラ画像データかを判定し、インカメラ画像データの場合はＳ４０２へ進み、アウトカメラ画像データの場合はＳ４０７へ進む。

Ｓ４０２では、システム制御部１０９は、登録対象画像データが図２のＳ２０２での顔認証処理において認証できたか判定し、認証できた場合はＳ４０９へ進み、認証できなかった場合はＳ４０３へ進む。

Ｓ４０３では、システム制御部１０９は、予め登録されている顔認証用画像データの中の候補画像データを参照して、登録対象画像データとの一致度が所定の第４の閾値以上のものがあるか判定する。そして、候補画像データの中から一致度が所定の第４の閾値以上のものが見つかった場合は候補画像データとの認証ができたものとして、Ｓ４０４へ進み、見つからない場合は認証ができないものとして、Ｓ４０５へ進む。ここで、顔認証用画像データの候補画像データとは、これまでに撮影されたインカメラ画像データであって、Ｓ２０２での認証ができていない画像データのことであり、同じ被写体が複数回撮影された場合は、顔認証用画像データとして認証され登録されるため、これまでに一度しか撮影されていない被写体の画像データともいえる。

Ｓ４０４では、システム制御部１０９は、Ｓ４０３で認証できた候補画像データが撮影されてから、登録対象画像データが撮影されるまでに所定の時間以上経過しているか判定する。そして、所定の時間以上経過している場合はＳ４０６へ進み、経過していない場合はＳ４０９へ進む。ここで、所定の時間以上経過して複数回撮影が行われたのであれば、撮影者は見ず知らずの他人ではなく、知り合いである可能性が高いと考えられる。

Ｓ４０５では、システム制御部１０９は、登録対象画像データを候補画像データとして内蔵メモリ１０７に記憶し、処理を終了する。

Ｓ４０６では、システム制御部１０９は、Ｓ４０３で認証できた候補画像データを顔認証用画像データとして内蔵メモリ１０７に記憶し、処理を終了する。

Ｓ４０７では、システム制御部１０９は、予め登録されている顔認証用画像データのうち、ユーザが手動登録した顔認証用画像データを参照し、認証対象画像データとの一致度が所定の第５の閾値以上のものがあるか判定する。そして、一致度が第５の閾値以上のものが見つかった場合は認証できたとしてＳ４０９へ進み、見つからない場合はＳ４０８へ進む。

Ｓ４０８では、システム制御部１０９は、予め登録されている顔認証用画像データのうち、自動登録され、かつアウトカメラ画像データである顔認証用画像データを参照して、認証対象画像データとの一致度が所定の第６の閾値以上のものがあるか判定する。そして、一致度が第５の閾値以上のものが見つかった場合は認証できたとしてＳ４０９へ進み、見つからない場合はＳ４１０へ進む。なお、ここでは、誤判定を防止するために上記第６の閾値をＳ４０７での判定に用いた第５の閾値よりも認証精度が高くなるような値に設定する。

Ｓ４０９では、システム制御部１０９は、顔認証用画像データの登録は行わずに、処理を終了する。

Ｓ４１０では、システム制御部１０９は、登録対象画像データを顔認証用画像データとして内蔵メモリ１０７に記憶し、処理を終了する。

＜画像合成モードの説明＞次に、図５〜７を参照して、画像合成モードについて説明する。

図５に示すように、ユーザは画像合成モードの設定として、「Ａｕｔｏ」、「ＯＮ」、「ＯＦＦ］のいずれかを選択することができる。

「Ａｕｔｏ」を選択した場合には、図２のＳ２０５においてインカメラ画像データがアウトカメラ画像データと関連があるものとしてタグ付けして記録された場合に、自動で画像データの合成を実施する。

「ＯＮ」を選択した場合には、インカメラ画像データとアウトカメラ画像データの関連を示すタグ付けの有無に関わらず、常に画像データの合成を実施する。

「ＯＦＦ」を選択した場合には、インカメラ画像データとアウトカメラ画像データの関連を示すタグ付けの有無に関わらず、常に画像の合成を実施しない。

図６に示す６０１はアウトカメラ画像、６０２はインカメラ画像であり、６０３はインカメラ画像６０１とアウトカメラ画像６０２を合成した合成画像である。画像合成を実施した場合は、アウトカメラ画像の近傍に、サイズの小さいインカメラ画像を配置した合成画像データが画像記録部１０８へ記録される。

但し、画像合成モードにおいて、ユーザが「Ａｕｔｏ」を選択した場合の画像合成の結果がユーザが意図したもの違う場合もある。そのため、図７（ａ）に示すように、撮影終了後のプレビュー画面で合成画像を表示し、図７（ｂ）に示すように、プレビュー画面の合成画像が意図したものでない場合には、ユーザが手動で画像合成を行うか否かを設定することができるようにしても良い。

上述した実施形態によれば、インカメラ画像をアウトカメラ画像と同時に撮影する際に、インカメラ画像データを予め登録されている顔認証用画像データと照合し、認証できた場合にのみ、インカメラ画像をアウトカメラ画像と合成し、記録する。これにより、撮影時の雰囲気を効果的に表現できるような状況でのみアウトカメラ画像とインカメラ画像の合成画像を生成することができる。

［その他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち本実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

Claims

撮影者から見える被写体を撮影する第１の撮像手段と、
撮影者側の被写体を撮影する第２の撮像手段と、
前記第１の撮像手段により撮影が行われたときに、前記第２の撮像手段により撮像された第２の画像データについて、予め登録された認証用画像データとの認証を行う認証手段と、
前記認証手段による認証ができた場合には、前記第１の撮像手段で撮像された第１の画像データと前記第２の撮像手段で撮像された第２の画像データとを関連づけして記録し、前記認証ができない場合には、前記第１の撮像手段で撮像された第１の画像データと前記第２の撮像手段で撮像された第２の画像データとを関連づけして記録しないように制御する制御手段と、
前記認証用画像データを自動で登録する自動登録手段と、
前記認証用画像データをユーザが手動で登録する手動登録手段と、を有し、
前記認証手段は、前記手動登録手段により登録された認証用画像データで認証を行い、認証ができない場合に前記自動登録手段により登録された第２の画像データの認証用画像データで認証を行い、認証できない場合に前記自動登録手段により登録された第１の画像データの認証用画像データで認証を行うことを特徴とする撮像装置。
前記自動登録手段は、前記認証手段により認証できなかった第２の画像データを候補画像データとして登録し、
前記第２の撮像手段により新たに撮像された第２の画像データと前記候補画像データとの認証ができ、かつ前記第２の画像データが前記候補画像データを撮像してから所定の時間以上経過した後に撮像されている場合に、前記候補画像データを前記認証用画像データとして登録し、
前記第１の画像データについては、前記自動登録手段または前記手動登録手段により登録された認証用画像データとの認証ができない場合に、前記認証用画像データとして登録することを特徴とする請求項１に記載の撮像装置。
前記認証手段は、前記認証用画像データが前記第１の画像データの場合は、前記第２の撮像手段の歪曲収差量に合わせて前記認証用画像データに歪補正処理を施してから認証を行うことを特徴とする請求項２に記載の撮像装置。
撮影者から見える被写体を撮影する第１の撮像手段と、
撮影者側の被写体を撮影する第２の撮像手段と、
前記第１の撮像手段により撮影が行われたときに、前記第２の撮像手段により撮像された第２の画像データについて、予め登録された認証用画像データとの認証を行う認証手段と、
前記認証手段による認証ができた場合には、前記第１の撮像手段で撮像された第１の画像データと前記第２の撮像手段で撮像された第２の画像データとを関連づけして記録し、前記認証ができない場合には、前記第１の撮像手段で撮像された第１の画像データと前記第２の撮像手段で撮像された第２の画像データとを関連づけして記録しないように制御する制御手段と、
前記制御手段により関連づけして記録された前記第１の画像データと前記第２の画像データとを合成する画像合成手段と、
前記第１の画像データと前記第２の画像データとが関連づけして記録される場合に前記画像合成手段により自動で合成を行うモードと、前記第１の画像データと前記第２の画像データが関連づけして記録されるか否かに関わらず、前記画像合成手段により常に画像データの合成を行うモードと、前記第１の画像データと前記第２の画像データが関連づけして記録されるか否かに関わらず、前記画像合成手段による画像データの合成を行わないモードと、をユーザが選択できる選択手段と、を有することを特徴とする撮像装置。
前記第１の画像データと前記第２の画像データとを関連づけして記録する前に、合成画像を表示して、ユーザが画像合成を行うか否かを設定できる設定手段を更に有することを特徴とする請求項４に記載の撮像装置。
前記第１の画像データの中の被写体の特徴情報と、前記第２の画像データの中の被写体の特徴情報を検出する検出手段を更に有し、
前記認証手段は、前記第２の画像データの被写体の特徴情報と、前記予め登録された認証用画像データの被写体の特徴情報とを照合することを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
撮影者から見える被写体を撮影する第１の撮像手段と、撮影者側の被写体を撮影する第２の撮像手段と、を有する撮像装置の制御方法であって、
前記第１の撮像手段により撮影が行われたときに、前記第２の撮像手段により撮像された第２の画像データについて、予め登録された認証用画像データとの認証を行う認証工程と、
前記認証工程による認証ができた場合には、前記第１の撮像手段で撮像された第１の画像データと前記第２の撮像手段で撮像された第２の画像データとを関連づけして記録し、前記認証ができない場合には、前記第１の撮像手段で撮像された第１の画像データと前記第２の撮像手段で撮像された第２の画像データとを関連づけして記録しないように制御する制御工程と、
前記認証用画像データを自動で登録する自動登録工程と、
前記認証用画像データをユーザが手動で登録する手動登録工程と、を有し、
前記認証工程では、前記手動登録工程により登録された認証用画像データで認証を行い、認証ができない場合に前記自動登録工程により登録された第２の画像データの認証用画像データで認証を行い、認証できない場合に前記自動登録工程により登録された第１の画像データの認証用画像データで認証を行うことを特徴とする制御方法。
撮影者から見える被写体を撮影する第１の撮像手段と、撮影者側の被写体を撮影する第２の撮像手段と、撮像装置の制御方法であって、
前記第１の撮像手段により撮影が行われたときに、前記第２の撮像手段により撮像された第２の画像データについて、予め登録された認証用画像データとの認証を行う認証工程と、
前記認証工程による認証ができた場合には、前記第１の撮像手段で撮像された第１の画像データと前記第２の撮像手段で撮像された第２の画像データとを関連づけして記録し、前記認証ができない場合には、前記第１の撮像手段で撮像された第１の画像データと前記第２の撮像手段で撮像された第２の画像データとを関連づけして記録しないように制御する制御工程と、
前記制御工程により関連づけして記録された前記第１の画像データと前記第２の画像データとを合成する画像合成工程と、
前記第１の画像データと前記第２の画像データとが関連づけして記録される場合に前記画像合成工程により自動で合成を行うモードと、前記第１の画像データと前記第２の画像データが関連づけして記録されるか否かに関わらず、前記画像合成工程により常に画像データの合成を行うモードと、前記第１の画像データと前記第２の画像データが関連づけして記録されるか否かに関わらず、前記画像合成工程による画像データの合成を行わないモードと、をユーザが選択できる選択工程と、を有することを特徴とする制御方法。
コンピュータを、請求項１ないし６のいずれか１項に記載された撮像装置の各手段として機能させるプログラム。