JP6180285B2 - 撮像装置、撮像方法、及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像方法、及びプログラムに関する。

撮像した画像に、撮影時の様子に関連する情報を付加して記録する撮像装置が知られている。特許文献１に開示される記録装置は、動画付き静止画撮影モードに設定されると、動画の一時記憶を開始する。そして、シャッターボタンが押下されると、撮影された静止画を記録すると共に、静止画撮影前に一時記憶された動画、撮影された静止画を変換した動画、及びシャッターボタン押下後に撮影された動画から、１つの動画を生成して記録する。特許文献１に開示される技術によれば、撮影の前後も含めた被写体の様子を知ることができる。

特許文献２に開示されるカメラ付き携帯端末は、撮影者を撮影するインカメラの画像から撮影者の表情を判別し、該判別情報に基づいてアウトカメラのシャッター動作を行う。そして、撮影者の表情の度合いに応じて該アウトカメラで撮像された画像を分類して表示する。特許文献２に開示される技術によれば、アウトカメラの画像が撮影された瞬間の撮影者の表情を知ることができる。

国際公開第２００６／０２８１７２号 特開２０１０−１４８０５２号公報

しかしながら、特許文献１は、撮影者自身を撮像する技術を開示しておらず、撮影時の撮影者の様子を知ることができない。また、特許文献２は、シャッター動作時から判定時間が経過するまでの間の最高笑顔度に対応付けて画像データを記憶することは開示しているものの、撮影前の撮影者の表情（様子）については考慮していない。そのため、特許文献２の技術では、撮影前後の撮影者の表情（様子）やその変化を知ることができない。

本発明はこのような状況に鑑みてなされたものであり、被写体の撮影時の撮影者の様子を従来よりも詳細に把握できるようにする技術を提供することを目的とする。

上記課題を解決するために、本発明は、被写体を撮像して画像データを生成する第１の撮像手段と、前記被写体の撮像前後の所定期間に亘って撮影者を撮像する第２の撮像手段と、前記第２の撮像手段により撮像された、前記撮像の前の前記撮影者の様子と、前記撮像の後の前記撮影者の様子とをそれぞれ解析することにより、第１分類情報を取得する取得手段と、前記第１分類情報を前記画像データに関連付けて記録する記録手段と、を備えることを特徴とする撮像装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、被写体の撮影時の撮影者の様子を従来よりも詳細に把握することが可能となる。

第１の実施形態に係るデジタルカメラ１００の外観図。 デジタルカメラ１００の構成例を示すブロック図。 デジタルカメラ１００による分類付与モード時の撮像処理の流れを示すフローチャート。 デジタルカメラ１００による分類付与モード時の撮像処理の流れを示すフローチャート。 図３ＢのＳ３１７における分類付与処理の詳細を示すフローチャート。 デジタルカメラ１００が記録する動画ファイル５００の概略構成図。 デジタルカメラ１００が記録する静止画ファイル６００の概略構成図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
撮像した画像データを、撮影時の撮影者の様子に関する情報に関連付けて記録しておくと、後で画像データを鑑賞する際に撮影時の状況を思い出して楽しむことができるし、また、撮影時の状況に基づいて画像データを検索することが可能になる。しかしながら、前述した特許文献２の技術に従って画像データに対応付けられる程度の情報では、撮影者の様子を示すものとして不十分である。なぜならば、撮影者は、シャッター動作の前後の様々な状況に応じて様々な反応（表情、発声、動き、等）を示すものであり、シャッター動作の前後で撮影者の様子が大きく変化するような場合もあり得るからである。

シャッター動作の前後の撮影者の様子としては、例えば次の４パターンが考えられる。
（１）撮影者が、撮影中（シャッター動作の前後を含む）ずっと笑顔であった。
（２）撮影者が、撮影前は笑顔であったが、撮影後に真顔になった。
（３）撮影者が、撮影前は真顔であったが、撮影後に笑顔になった。
（４）撮影者が、撮影中（シャッター動作の前後を含む）ずっと真顔であった。

上記（１）の場合には、例えば、楽しい状況で撮影が行われたものと推測される。上記（２）の場合には、楽しい状況で撮影が行われたものの、撮影者が撮像した画像データのレックレビュー表示を見たところ良い写真が取れていないことに気付いた可能性がある。上記（３）の場合、撮影が行われた状況自体は笑顔になるほど楽しいものではなかったものの、撮影者が撮像した画像データのレックレビュー表示を見たところ良い写真（或いは、楽しい写真）が取れたことに気付いた可能性がある。上記（４）の場合、例えば、真剣な雰囲気の中で撮影が行われたものと推測される。

このような撮影時の状況を詳細に把握する一助とするために、本実施形態では、シャッター動作の前後の撮影者の映像から撮影者の様子を解析し、その解析結果を記録することについて説明する。このような解析及び記録を伴う撮像を行う撮像装置の動作モードを、「分類付与モード」と呼ぶ。

以下では、本発明の撮像装置をデジタルカメラに適用した実施形態について説明する。図１は、第１の実施形態に係るデジタルカメラ１００の外観図であり、図１（ａ）は背面図、図１（ｂ）は前面の斜視図（左方上方視）である。

図１において、背面カメラ７４は、デジタルカメラ１００の本体背面に備えられており、撮影者自身を撮影する。マイク７５は、背面カメラ７４により動画撮影を行う際に、撮影された動画像データに含めるべき周囲（主に撮影者）の音声を集音する。表示部２８は、画像や各種情報を表示する表示部である。シャッターボタン６１は、デジタルカメラ１００の本体前面に備えられたレンズ１０２を通じて被写体を撮影する指示を行うための操作部である。モード切替スイッチ６０は、各種モードを切り替えるための操作部である。コネクタ１１２は、接続ケーブル１１１とデジタルカメラ１００とのコネクタである。操作部７０は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。コントローラーホイール７３は、操作部７０に含まれる回転操作可能な操作部材である。電源スイッチ７２は、電源オン、電源オフを切り替えるための電源スイッチである。

記録媒体２００は、メモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は、記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となる。蓋２０２は、記録媒体スロット２０１の蓋である。

図２は、デジタルカメラ１００の構成例を示すブロック図である。図２において、１０３及び２０４は、フォーカスレンズを含む撮影レンズである。１０１及び２０５は、絞り機能を備えるシャッターである。２２及び２０６は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。２３及び２０７はＡ／Ｄ変換器であり、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換し、Ａ／Ｄ変換器２０７は、撮像部２０６から出力されるアナログ信号をデジタル信号に変換する。デジタルカメラ１００においては、撮影レンズ１０３、シャッター１０１、撮像部２２、及びＡ／Ｄ変換器２３が被写体を撮影するための第１の撮像系統を構成する。また、撮影レンズ２０４、シャッター２０５、撮像部２０６、及びＡ／Ｄ変換器２０７が、撮影者自身を撮影するための第２の撮像系統を構成する。１０２及び２０３はバリアであり、デジタルカメラ１００の第１及び第２の撮像系統を覆うことにより、撮影レンズ１０３及び２０４などの汚れや破損を防止する。

２４は画像処理部であり、Ａ／Ｄ変換器２３及び２０７からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小等のリサイズ処理、色変換処理などを行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御及び測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

Ａ／Ｄ変換器２３及び２０７からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２及び２０６によって得られＡ／Ｄ変換器２３及び２０７によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。

１３はＤ／Ａ変換器であり、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

５０はシステム制御部であり、デジタルカメラ１００全体を制御する。システム制御部５０は、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、及び操作部７０は、システム制御部５０に各種の動作指示を入力するための操作部である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、分類付与モード、再生モード等のいずれかに切り替える。第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり、第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１に応じて、第１の撮像系統のＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２に応じて、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの、第１の撮像系統による一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンなどを用いて直感的に各種設定を行うことができる。コントローラーホイール７３（図１（ａ）参照）は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラーホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラーホイール７３が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラーホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラーホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラーホイール７３自体は回転せず、コントローラーホイール７３上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。

８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。３０は電源部であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

１８はメモリカードやハードディスク等の記録媒体２００とのインターフェース（Ｉ／Ｆ）である。記録媒体２００は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

図３Ａ及び図３Ｂは、デジタルカメラ１００による分類付与モード時の撮像処理の流れを示すフローチャートである。本フローチャートにおける各処理は、システム制御部５０が不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。本フローチャートの処理は、モード切替スイッチ６０が分類付与モードに選択された状態から開始する。

Ｓ３０１で、システム制御部５０は、第２の撮像系統を制御して撮影者の動画を撮影する処理を開始し、撮影により得られた動画像データをメモリ３２に記録させるようにメモリ制御部１５を制御する。また、システム制御部５０は、マイク７５が集音した音声に基づいて音声データを生成する。メモリ３２に記録させる動画像データの最長時間は例えば８秒（ＳＷ２オン前４秒、ＳＷ２オン後４秒）に設定される。メモリ３２に記録させる動画像データの時間が最長時間を超える場合は、システム制御部５０は、撮影された時刻が古いフレームから順次削除するようメモリ制御部１５を制御する。

なお、本実施形態では、撮影者の動画は音声付き動画であり、音声データは動画像データの中に含まれるものとして説明を行う。しかしながら、音声データと動画像データとはそれぞれ独立して処理されてもよい。また、デジタルカメラ１００は、動画像データを取得せずに音声データだけを取得してもよい。この場合、本実施形態において「動画像データ」や「動画ファイル」などと記載されている部分は、適宜、「音声データ」や「音声ファイル」などと読み替えればよい。

Ｓ３０２で、システム制御部５０は、第１の撮像系統の撮像部２２からの画像データ（被写体の画像データ）を表示部２８に表示する制御を行う（スルー画像表示）。Ｓ３０３で、システム制御部５０は、第１シャッタースイッチ信号ＳＷ１がオンか否かを判定する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１がオフの場合はＳ３０３の処理を繰り返し、オンの場合は処理をＳ３０４へ進める。

Ｓ３０４で、システム制御部５０は、第１の撮像系統の撮影準備を行うよう制御する。ここで撮影準備とは、適切な撮影を行うための処理であり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を含む。

Ｓ３０５で、システム制御部５０は、第２シャッタースイッチ信号ＳＷ２がオンか否かを判定する。第２シャッタースイッチ信号ＳＷ２がオフの場合、処理はＳ３０６へ進み、オンの場合、処理はＳ３０７へ進む。

Ｓ３０６で、システム制御部５０は、第１シャッタースイッチ信号ＳＷ１がオンであるか否かを判定する。第１シャッタースイッチ信号ＳＷ１がオフの場合、処理はＳ３０３へ戻り、オンの場合、処理はＳ３０５に戻る。

Ｓ３０７で、システム制御部５０は、システムタイマー５３から現在時刻を取得し、第２シャッタースイッチ信号ＳＷ２がオンされた時刻として記録する。Ｓ３０８で、システム制御部５０は、第２シャッタースイッチ信号ＳＷ２がオンされてからの経過時間をカウントするようシステムタイマー５３を制御する。

Ｓ３０９で、システム制御部５０は、第１の撮像系統を制御して被写体の静止画を撮影する。Ｓ３１０で、システム制御部５０は、Ｓ３０９で撮影した静止画を表示部２８に表示（レックレビュー表示）するよう制御する。レックレビュー表示とは、撮影画像の確認のために、予め決められた時間（レビュー時間）だけ画像データを表示部２８に表示する処理である。

Ｓ３１１で、システム制御部５０は、システムタイマー５３から現在時刻を取得し、第２シャッタースイッチ信号ＳＷ２がオンされてから２秒が経過したか否かを判定する。２秒経過していない場合、処理はＳ３１２へ進み、２秒経過している場合、処理はＳ３１５へ進む。

Ｓ３１２で、システム制御部５０は、第１シャッタースイッチ信号ＳＷ１がオンであるか否かを判定する。第１シャッタースイッチ信号ＳＷ１がオフの場合、処理はＳ３１１へ戻り、オンの場合、処理はＳ３１３へ進む。

Ｓ３１３で、システム制御部５０は、第２シャッタースイッチ信号ＳＷ２オン後に第２の撮像系統で撮影された撮影者の動画を消去するよう制御する。Ｓ３１４で、システム制御部５０は、第２シャッタースイッチ信号ＳＷ２オン前４秒間に第２の撮像系統で撮影された動画像データのファイル（動画ファイル）を生成し、処理をＳ３１８へ進める。

Ｓ３１５で、システム制御部５０は、システムタイマー５３から現在時刻を取得し、第２シャッタースイッチ信号ＳＷ２がオンされてから４秒が経過したか否かを判定する。４秒経過していない場合、システム制御部５０はＳ３１５の処理を繰り返し、４秒経過している場合、システム制御部５０は処理をＳ３１６へ進める。

Ｓ３１６で、システム制御部５０は、第２シャッタースイッチ信号ＳＷ２がオンになる４秒前から４秒後までの８秒間（撮像前後の所定期間）に第２の撮像系統で撮像された動画像データの動画ファイルを生成する。

Ｓ３１７で、システム制御部５０は、Ｓ３１６で生成した動画ファイルを解析して解析結果に基づく情報を記録する処理（分類付与処理）を行う。この分類付与処理の詳細については、図４を用いて後述する。

Ｓ３１８で、システム制御部５０は、第１の撮像系統で撮影した被写体の静止画像データのファイル（静止画ファイル）と第２の撮像系統で撮影した撮影者の動画像データの動画ファイルとを関連付けて記録する。静止画ファイルと動画ファイルとを関連付けて記録する形式については、図５及び図６を例に後述する。

Ｓ３１９で、システム制御部５０は、所与の終了条件を満たすか否かを判定する。所与の終了条件とは、システム制御部５０がモード切替スイッチ６０が他の撮影モードに切り替えられたことを検知する、電源スイッチ７２が押下されたことを検知する、等である。所与の終了条件を満たさない場合、処理はＳ３０１へ戻り、所与の終了条件を満たす場合、本フローチャートの処理は終了する。

図４は、図３ＢのＳ３１７における分類付与処理の詳細を示すフローチャートである。本フローチャートにおける各処理は、システム制御部５０が不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。

Ｓ４０１で、システム制御部５０は、Ｓ３１６で生成された動画ファイル（撮影者の動画像データ）の音声解析を行う。例えば、システム制御部５０は、第２シャッタースイッチ信号ＳＷ２がオンされる前４秒間の部分と、オンされた後４秒間の部分について音量レベルの検出を行い、検出された音量レベルが閾値を超えるか否かを判定する。システム制御部５０は、音量レベルが閾値を超える場合、盛り上がり「有り」、音量レベルが閾値を超えない場合、盛り上がり「無し」と判定する。このような音声解析は、コンテンツ再生装置等の技術分野で広く知られている任意の公知技術を用いて実行可能である。

Ｓ４０２で、システム制御部５０は、第２シャッタースイッチ信号ＳＷ２がオンされる前（被写体の撮像前）４秒間に盛り上がりがあったか否かを判定する。盛り上がり「有り」と判定された場合、処理はＳ４０３へ進み、盛り上がり「無し」と判定された場合、処理はＳ４０６へ進む。

Ｓ４０３で、システム制御部５０は、第２シャッタースイッチ信号ＳＷ２がオンされた後（被写体の撮像後）４秒間に盛り上がりがあったか否かを判定する。盛り上がり「有り」と判定された場合、システム制御部５０は、Ｓ４０４において、フラグ「１」タイプと判定し、盛り上がり「無し」と判定された場合、システム制御部５０は、Ｓ４０５において、フラグ「２」タイプと判定する。同様に、Ｓ４０６で、システム制御部５０は、第２シャッタースイッチ信号ＳＷ２がオンされた後４秒間に盛り上がりがあったか否かを判定する。盛り上がり「有り」と判定された場合、システム制御部５０は、Ｓ４０７において、フラグ「３」タイプと判定し、盛り上がり「無し」と判定された場合、システム制御部５０は、Ｓ４０８において、フラグ「４」タイプと判定する。

このように、撮影前の撮影者の様子（音声）と、撮影後の撮影者の様子（音声）との組合せにより、フラグ（第２分類情報）が決定される。第２分類情報として、番号以外に、分類名等のテキストデータを用いてもよい。

一部の実施形態では、デジタルカメラ１００の不揮発性メモリ５６は、撮影前の撮影者の様子（音声）と、撮影後の撮影者の様子（音声）との組合せとフラグ（又は分類名等）とが対応づけられたテーブルデータを記憶している。システム制御部５０は、テーブルデータを参照することにより、撮影者の様子（音声）に対応するフラグ（又は分類名等）を取得することができる。

Ｓ４０９で、システム制御部５０は、動画ファイルの属性にＳ４０４、Ｓ４０５、Ｓ４０７、又はＳ４０８で判定されたいずれかのフラグ（フラグ「１」「２」「３」「４」のいずれか）を付与して記録する。動画ファイルの属性へのフラグの付与形式については、図５を例にして後述する。フラグ「１」「２」「３」「４」は、撮影前後の撮影者の様子のうち、音声に関係する「盛り上がり」について、様子及びその変化を示すものである。

なお、Ｓ４０９において、フラグは、動画ファイルの属性の代わりに、又はこれに加えて、被写体の静止画ファイルの属性に対して付与されてもよい。Ｓ３１８において静止画ファイルと動画ファイルとが関連付けられるため、フラグは、動画ファイルの属性に対して付与された場合であっても、最終的には静止画ファイルに関連付けられ、静止画ファイルの検索等に利用可能である。

続いて、Ｓ４１０で、システム制御部５０は、Ｓ３１６で生成された動画ファイル（撮影者の動画像データ）の映像解析を行う。例えば、システム制御部５０は、第２シャッタースイッチ信号ＳＷ２がオンされる前４秒間の部分と、オンされた後４秒間の部分について撮影者の顔画像の笑顔度を算出し、笑顔度が閾値を超えるか否かを判定する。システム制御部５０は、笑顔度が閾値を超える場合、笑顔「有り」、笑顔度が閾値を超えない場合、笑顔「無し」と判定する。このような映像解析は、撮像装置等の技術分野で広く知られている任意の公知技術を用いて実行可能である。

Ｓ４１１で、システム制御部５０は、第２シャッタースイッチ信号ＳＷ２がオンされる前４秒間に笑顔があったか否かを判定する。笑顔「有り」と判定された場合、処理はＳ４１２へ進み、笑顔「無し」と判定された場合、処理はＳ４１５へ進む。

Ｓ４１２で、システム制御部５０は、第２シャッタースイッチ信号ＳＷ２がオンされた後４秒間に笑顔があったか否かを判定する。笑顔「有り」と判定された場合、システム制御部５０は、Ｓ４１３において、フラグ「５」タイプと判定し、笑顔「無し」と判定された場合、システム制御部５０は、Ｓ４１４において、フラグ「６」タイプと判定する。同様に、Ｓ４１５で、システム制御部５０は、第２シャッタースイッチ信号ＳＷ２がオンされた後４秒間に笑顔があったか否かを判定する。笑顔「有り」と判定された場合、システム制御部５０は、Ｓ４１６において、フラグ「７」タイプと判定し、笑顔「無し」と判定された場合、システム制御部５０は、Ｓ４１７において、フラグ「８」タイプと判定する。

このように、撮影前の撮影者の様子（表情）と、撮影後の撮影者の様子（表情）との組合せにより、フラグ（第１分類情報）が決定される。第１分類情報として、番号以外に、分類名等のテキストデータを用いてもよい。

一部の実施形態では、デジタルカメラ１００の不揮発性メモリ５６は、撮影前の撮影者の様子（表情）と、撮影後の撮影者の様子（表情）との組合せとフラグ（又は分類名等）とが対応づけられたテーブルデータを記憶している。システム制御部５０は、テーブルデータを参照することにより、撮影者の様子（表情）に対応するフラグ（又は分類名等）を取得することができる。

Ｓ４１８で、システム制御部５０は、動画ファイルの属性にＳ４１３、Ｓ４１４、Ｓ４１６、又はＳ４１７で判定されたいずれかのフラグ（フラグ「５」「６」「７」「８」のいずれか）を付与して記録し、本フローチャートの処理を終了する。動画ファイルの属性へのフラグの付与形式については、図５を例にして後述する。フラグ「５」「６」「７」「８」は、撮影前後の撮影者の様子のうち、表情に関係する「笑顔」について、様子及びその変化を示すものである。

なお、Ｓ４１８において、フラグは、動画ファイルの属性の代わりに、又はこれに加えて、被写体の静止画ファイルの属性に対して付与されてもよい。Ｓ３１８において静止画ファイルと動画ファイルとが関連付けられるため、フラグは、動画ファイルの属性に対して付与された場合であっても、最終的には静止画ファイルに関連付けられ、静止画ファイルの検索等に利用可能である。

ところで、本フローチャートでは、動画ファイルについて音声解析と映像解析の両方を行い、フラグを付与する構成で説明を行ったが、いずれか一方のみの解析結果を利用する構成としてもよい。また、音声解析では、音量レベルが閾値を超えか否かの判定を行うものとしたが、特定周波数成分や特定フレーズの検出があったか否かにより解析を行う構成としてもよい。映像解析についても、笑顔の有無の判定に限定されるものではなく、デジタルカメラ１００は、撮影者の様子を検出する処理であれば、特定の表情の検出、所定のジェスチャーの検出等、いかなる処理を行ってもよい。

また、デジタルカメラ１００は、映像解析を行う際に、撮影者の視線が表示部２８内にあるか否かを判定するように構成されてもよい。この判定処理は、被写体のスルー画像が表示されているときと、被写体のレックレビュー画像が表示されているときに行われる。これにより、撮影者の反応（盛り上がりや笑顔）が表示部２８に表示された被写体の画像（ＳＷ２のオン前ならばスルー画像、ＳＷ２のオン後ならばレックレビュー画像）に起因するものなのか、他の要因よるものなのかを判定することができる。このような映像解析は、撮像装置等の技術分野で広く知られている任意の公知技術を用いて実行可能である。デジタルカメラ１００は、Ｓ４１８と同様に、動画ファイル又は静止画ファイルの属性に視線の解析結果に関するフラグを付与して記録する。

図５は、デジタルカメラ１００が記録する動画ファイルの概略構成図である。動画ファイル５００は、属性情報領域５０１及び縮小画像データ領域５０２を含む動画情報ファイル５１０と、動画像データファイル５０３とから構成される。

属性情報領域５０１は、データサイズや撮影日時などの情報を記録しておく領域である。また、属性情報領域５０１には、読み出しや再生、選択に必要な、動画特有の情報も記録される。動画特有の情報とは、記録時間、記録開始時刻（日時）、記録終了時刻（日時）、１秒間あたりに再生するフレーム数、シーンごとの情報、音声に関する情報などである。属性情報領域５０１には更に、図４のＳ４０９及びＳ４１８で付与されるフラグを記録するための「音声フラグタイプ」及び「映像フラグタイプ」が記録される。更に、属性情報領域５０１には、動画ファイル５００と関連付けて記録される静止画ファイル（第２の撮像系統による動画撮影中に第１の撮像系統により撮影された被写体の静止画ファイル）を示す「関連静止画ファイル情報」も記録される。加えて、属性情報領域５０１には、この静止画ファイルの画像の撮像時刻を示す「ＳＷ２オン時刻」も記録される。

縮小画像データ領域５０２は、一覧表示の際に表示する縮小画像データを記録しておく領域である。本実施形態においては、縮小画像データ領域５０２には、第２シャッタースイッチ信号ＳＷ２がオンされた時刻のフレームのデータから生成された縮小画像データが記録されるものとする。

動画像データファイル５０３は、動画ファイル５００に記録すべき全ての動画像データを記録するための領域である。動画像データファイル５０３は、動画情報ファイル５１０と関連付けられており、動画像データファイル５０３内の動画像データを再生する場合には、動画情報ファイル５１０の情報が利用される。

図６は、デジタルカメラ１００が記録する静止画ファイル６００の概略構成図である。静止画ファイル６００は、属性情報領域６０１と、縮小画像データ領域６０２と、本体画像データ領域６０３とを含む。

属性情報領域６０１は、画像データサイズや撮影日時（ＳＷ２オン時刻）などの情報を記録しておく領域である。また、属性情報領域６０１には、静止画ファイル６００と関連付けて記録される動画ファイル（第１の撮像系統で静止画を撮影した際に第２の撮像系統で撮影されていた撮影者の動画ファイル）を示す「関連動画ファイル情報」も記録される。また、前述の通り、撮影者の様子に関するフラグは静止画ファイル６００にも記録されてもよく、この場合、属性情報領域６０１にも、「音声フラグタイプ」及び「映像フラグタイプ」が記録される。

縮小画像データ領域６０２は、一覧表示の際に表示する縮小画像データを記録しておく領域である。本体画像データ領域６０３は、被写体の画像データ本体を記録する領域である。

図５及び図６で説明したように、本実施形態に係るデジタルカメラ１００で撮影された動画ファイル及び静止画ファイルは、それぞれの属性情報領域に互いを関連付ける情報が記録されている。従って、一方のファイルが選択された際に、デジタルカメラ１００は、関連するファイルを提示することが可能である。そのため、静止画ファイルを選択して表示する際に、同時に撮影された撮影者の動画ファイルを提示したり、静止画ファイルと関連付けられた動画ファイルを同時に再生したりすることが可能となる。

なお、本実施形態では、第１の撮像系統では静止画のみを撮像して記録するものとした。しかしながら、特許文献１に開示されるように、静止画撮影前の動画、静止画を変換した動画、静止画撮影後の動画から一つの動画を生成し、動画ファイルとして記録するようにデジタルカメラ１００を構成してもよい。この場合、図５で説明した動画ファイルのデータ形式にしたがって、第１の撮像系統で撮影した動画ファイルと、第２の撮像系統で撮影した動画ファイルの関連付けが行われる。

以上説明した通り、第１の実施形態によれば、デジタルカメラ１００は、被写体の撮影前後の撮影者の動画像データを撮像して解析し、解析結果に関する情報を被写体の画像データと直接的又は間接的に関連付けて記録する。これにより、被写体の撮影時の撮影者の様子を従来よりも詳細に把握することが可能となる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. 被写体を撮像して画像データを生成する第１の撮像手段と、
   前記被写体の撮像前後の所定期間に亘って撮影者を撮像する第２の撮像手段と、
   前記第２の撮像手段により撮像された、前記撮像の前の前記撮影者の様子と、前記撮像の後の前記撮影者の様子とをそれぞれ解析することにより、第１分類情報を取得する取得手段と、
   前記第１分類情報を前記画像データに関連付けて記録する記録手段と、
   を備えることを特徴とする撮像装置。
2. 前記第１分類情報は、前記撮像の前の前記撮影者の様子と前記撮像の後の前記撮影者の様子との組合せに基づき取得されることを特徴とする請求項１に記載の撮像装置。
3. さらに、前記撮像の前の前記撮影者の様子と前記撮像の後の前記撮影者の様子との組合せに基づき、前記画像データに付与すべき予め決められた前記第１分類情報を記憶する記憶手段を有することを特徴とする請求項１又は２に記載の撮像装置。
4. 表示手段と、
   前記被写体の撮像前に前記第１の撮像手段により前記被写体のスルー画像を取得して前記表示手段に表示し、前記被写体の撮像後に前記画像データを前記表示手段に表示する制御を行う制御手段と、
   前記第２の撮像手段が撮像した前記撮影者の視線が前記表示手段に向いているか否かを判定する判定手段とを有し、
   当該判定手段は、前記制御手段の制御により前記スルー画像が表示されているときと、前記制御手段の制御により前記画像データが表示されているときに判定処理を行い、
   前記記録手段は、前記判定手段による判定処理の結果を示す情報を前記画像データに関連付けて記録する
   ことを特徴とする請求項１乃至３のいずれか1項に記載の撮像装置。
5. 前記記録手段は、前記第２の撮像手段により得られた動画像データを前記画像データに関連付けて記録することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第１分類情報は、前記撮影者の表情の解析に基づくか、又は、前記撮影者のジェスチャーの解析に基づく
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記記録手段は、前記被写体の撮像時刻に前記第２の撮像手段により得られた画像に基づく縮小画像データを、前記第２の撮像手段により得られた動画像データに関連付けて記録する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記所定期間に亘って前記撮影者が発する音声を集音して音声データを生成する集音手段を更に備え、
   前記取得手段は、前記音声データのうち、前記被写体の撮像前に対応する部分と、前記被写体の撮像後に対応する部分とをそれぞれ解析することにより、第２分類情報を取得し、
   前記記録手段は、前記第２分類情報を前記画像データに関連付けて記録する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記音声データの解析は、前記音声データの音量レベルが閾値を超えるか否かを判定することを含み、
   前記第２分類情報は、前記取得手段による当該判定の結果を示す情報を含む
   ことを特徴とする請求項８に記載の撮像装置。
10. 被写体を撮像して画像データを生成する撮像手段と、
    前記被写体の撮像前後の所定期間に亘って前記被写体の撮影者が発する音声を集音して音声データを生成する集音手段と、
    前記音声データのうち、前記被写体の撮像前に対応する部分と、前記被写体の撮像後に対応する部分とをそれぞれ解析することにより、分類情報を取得する取得手段と、
    前記分類情報を前記画像データに関連付けて記録する記録手段と、
    を備えることを特徴とする撮像装置。
11. 撮像装置による撮像方法であって、
    前記撮像装置の第１の撮像手段が、被写体を撮像して画像データを生成する第１の撮像工程と、
    前記撮像装置の第２の撮像手段が、前記被写体の撮像前後の所定期間に亘って撮影者を撮像する第２の撮像工程と、
    前記撮像装置の取得手段が、前記第２の撮像工程により撮像された、前記撮像の前の前記撮影者の様子と、前記撮像の後の前記撮影者の様子とをそれぞれ解析することにより、第１分類情報を取得する取得工程と、
    前記撮像装置の記録手段が、前記第１分類情報を前記画像データに関連付けて記録する記録工程と、
    を備えることを特徴とする撮像方法。
12. 撮像装置による撮像方法であって、
    前記撮像装置の撮像手段が、被写体を撮像して画像データを生成する撮像工程と、
    前記撮像装置の集音手段が、前記被写体の撮像前後の所定期間に亘って前記被写体の撮影者が発する音声を集音して音声データを生成する集音工程と、
    前記撮像装置の取得手段が、前記音声データのうち、前記被写体の撮像前に対応する部分と、前記被写体の撮像後に対応する部分とをそれぞれ解析することにより、分類情報を取得する取得工程と、
    前記撮像装置の記録手段が、前記分類情報を前記画像データに関連付けて記録する記録工程と、
    を備えることを特徴とする撮像方法。
13. コンピュータに、請求項１１又は１２に記載の撮像方法の各工程を実行させるためのプログラム。

Images