以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
以下、図面を用いて本開示に係る撮像装置の実施の形態を説明する。
(実施の形態1)
1.デジタルカメラの構成
まず、本実施の形態1に係るデジタルカメラの電気的構成例について図1を用いて説明する。図1は、デジタルカメラ100の構成を示すブロック図である。デジタルカメラ100は、1又は複数のレンズからなる光学系110により形成された被写体像をCCD140で撮像する撮像装置である。
CCD140で生成された画像データは、画像処理部160で各種処理が施され、メモリカード200に格納される。以下、デジタルカメラ100の構成を詳細に説明する。
光学系110は、ズームレンズやフォーカスレンズにより構成される。ズームレンズを光軸に沿って移動させることにより、被写体像の拡大、又は縮小をすることができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整することができる。
レンズ駆動部120は、光学系110に含まれる各種レンズを駆動させる。レンズ駆動部120は、例えばズームレンズを駆動するズームモータや、フォーカスレンズを駆動するフォーカスモータを含む。
絞り部300は、ユーザの設定に応じて又は自動で、光の開口部の大きさを調整し、透過する光の量を調整する。
シャッタ部130は、CCD140に透過させる光を遮光するための手段である。シャッタ部130は、光学系110及び絞り部300とともに、被写体像を示す光学情報を制御する光学系部を構成する。
CCD140は、光学系110で形成された被写体像を撮像して、画像データを生成する。CCD140は、カラーフィルタと、受光素子と、AGC(Auto Gain Controller)を含む。受光素子は、交換レンズ101によって集光された光学的信号を電気信号に変換し、画像情報を生成する。AGCは、受光素子から出力された電気信号を増幅する。CCD140はさらに、露光、転送、電子シャッタなどの各種動作を行うための駆動回路等を含む。詳細については、後述する。
ADC(A/Dコンバータ:アナログ―デジタル変換器)150は、CCD140で生成されたアナログ画像データをデジタル画像データに変換する。
画像処理部160は、CCD140で生成され、変換されたデジタル画像データに対して、コントローラ180の制御を受け、各種処理を施す。画像処理部160は、表示モニタ220に表示するための画像データを生成したり、メモリカード200に格納するための画像データを生成したりする。例えば、画像処理部160は、CCD140で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部160は、CCD140で生成された画像データを、H.264規格やMPEG2規格に準拠した圧縮形式等により圧縮する。画像処理部160は、DSP(Digital Signal Processor)やマイコンなどで実現可能である。また、画像処理部160は、CCD140で生成された画像データに基づいて、画素数4000×2000前後の動画の画像データ(4K動画像データ)を生成することができる。画像処理部160は、生成した4K動画像データに対して後述する種々の処理を行うことができる。
コントローラ180は、デジタルカメラ100の全体を制御する制御手段である。コントローラ180は、半導体素子などで実現可能である。コントローラ180は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ180は、マイコン、CPU、MPU、ASIC、FPGAなどで実現できる。
バッファ170は、画像処理部160及びコントローラ180のワークメモリとして機能する。バッファ170は、例えば、DRAM(Dynamic Random Access Memory)、強誘電体メモリなどで実現できる。
カードスロット190は、メモリカード200を着脱可能である。カードスロット190は、機械的及び電気的にメモリカード200と接続可能である。
メモリカード200は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部160で生成された画像ファイル等のデータを格納可能である。
内蔵メモリ240は、フラッシュメモリや強誘電体メモリなどで構成される。内蔵メモリ240は、デジタルカメラ100全体を制御するための制御プログラム等を記憶している。
操作部材210は、ユーザからの操作を受け付けるユーザーインターフェースの総称である。操作部材210は、例えば、ユーザからの操作を受け付ける選択ボタンや決定ボタン等がこれにあたる。
表示モニタ220は、CCD140で生成した画像データが示す画像(スルー画像)や、メモリカード200から読み出した画像データが示す画像を表示可能である。また、表示モニタ220は、デジタルカメラ100の各種設定を行うための各種メニュー画面等も表示可能である。表示モニタ220は、液晶表示デバイスや有機EL表示デバイスで構成される。
図2は、デジタルカメラ100の背面を示した図である。操作部材210は、ボタン、レバー、ダイヤル、タッチパネル等、ユーザによる操作を受け付ける部材を含む。例えば、操作部材210は、図2に示すように、レリーズボタン211、選択ボタン213、決定ボタン214、動画記録ボタン217等を含む。操作部材210は、ユーザによる操作を受け付けると、コントローラ180に種々の指示信号を送信する。
レリーズボタン211は、二段押下式の押下ボタンである。レリーズボタン211がユーザにより半押し操作されると、コントローラ180はオートフォーカス制御(AF制御)やオート露出制御(AE制御)などを実行する。また、レリーズボタン211がユーザにより全押し操作されると、コントローラ180は、押下操作のタイミングに撮像された画像データを記録画像としてメモリカード200等に記録する。
選択ボタン213は、上下左右方向に設けられた押下式ボタンである。ユーザは、選択ボタン213のいずれかの方向を押下することにより、カーソルを移動したり、表示モニタ220に表示される各種条件項目を選択したりすることができる。
決定ボタン214は、押下式ボタンである。デジタルカメラ100が撮影モードあるいは再生モードにあるときに、決定ボタン214がユーザにより押下されると、コントローラ180は表示モニタ220にメニュー画面を表示する。メニュー画面は、撮影/再生のための各種条件を設定するための画面である。決定ボタン214が各種条件の設定項目が選択されているときに押下されると、コントローラ180は、選択された項目の設定を確定する。
2.デジタルカメラの動作
本実施形態のデジタルカメラ100は、動作モードとして、動画を記録するための動画記録モードと、記録した画像を再生するための再生モードを有する。さらに、動画記録モードは、通常の動画を撮影するための通常動画モード(第1の動画モードの一例)と、高画質な静止画の切り出しを可能とするめの動画を撮影するためのフォト動画モード(第2の動画モードの一例)との2つの動画モードを含む。
2.1 フォト動画モード
フォト動画モードは、静止画を切り出すための動画を撮影するためのモードである。すなわち、図3に示すように、フォト動画モードで撮影された動画から、その動画を構成する複数のフレーム画像から1つのフレーム画像を切り出し、静止画として記録する。フォト動画モードでは、通常動画モードよりも静止画記録に適した撮影設定で動画の記録が行われる。
このようなフォト動画モードで撮影した動画からユーザは所望のシーンの画像(フレーム画像)を静止画として切り出すことができる。このため、ユーザはシャッタチャンスを意識せずに撮影した動画を構成するフレーム画像から所望の画像を選択でき、従来では難しかった決定的瞬間が撮影された画像の生成が可能となる。すなわち、いつ起こるかわからないハプニング/アクシデントの写真や、時間経過とともに状態が変化する被写体(液体、炎等)の瞬間的な状態の写真を容易に撮影することが可能となる。
フォト動画モードで撮影された動画は、動画を構成する1つ1つのフレーム画像を静止画として切り出すため、動画としての品位や画質(以後画質と表現)よりも静止画として切り出した際の画質が優先される。このため、フォト動画モードに設定されると、撮影に関する種々の設定が、静止画の記録に適したフォト動画モード特有の設定に自動的(強制的)に設定される。図4に、通常動画モードにおける設定と対比してフォト動画モード特有の設定を示す。フォト動画モード特有の設定においては、動画から切り出された静止画の画質を向上させるような値に各種の設定値が設定される。
例えば、画質設定(解像度)に関して、通常動画モードでは、VGA〜4K(4000ピクセルx2000ピクセル前後)の範囲の中でユーザが指定した値に設定される。これに対して、フォト動画モードでは、画質設定(解像度)はデジタルカメラ100において設定可能な最高解像度の4Kに設定される。これにより、高画質なフレーム画像の記録が可能となり、高画質な静止画の切り出しが可能となる。動画のフレームレートは、通常動画モードでは24p、25p、30pの中でユーザが指定した値に設定される。これに対して、フォト動画モードでは、最高フレームレートの30pに設定される。高フレームレートに設定することで、動画中のフレーム間の時間間隔が短くなり、同じ時間記録しても、静止画として切り出すことができるタイミングが増加する。なお、フォト動画モードは画素数4000×2000前後の4K動画に限定されるものではなく、高解像度の動画モードであれば、より高画質の静止画を得ることができる。例えば、デジタルカメラ100はフォト動画モードの設定画質として画素数8000×4000の8K動画像を設定できるようにしても良い。デジタルカメラ100は、通常動画モードの中で最高解像度を設定できるようになっていれば良い。あるいは、一般的に高解像度の動画は多くの処理性能が必要になるため、カメラのセンサ140が撮像する最高のフレームレートで記録できない場合がある。この場合は、フォト動画モードの設定に、「画質優先」「シャッタチャンス優先」の2つのモードを設けることが望ましい。画質優先モードでは、最高解像度の動画モードが選択される。一方シャッタチャンス優先モードでは、所定の解像度以上の中で、最高の記録フレームレートが担保できる動画モードが選択される。これによって、ユーザは切り出した静止画の画素が大きい動画モードと、より決定的瞬間を収められる可能性の高い(動画のフレームレートが高い)動画モードをより直感的に選択することが可能となる。
また、色調も、静止画として切り出すことを前提とした色設定にする必要があるため、動画とは異なる設定にする。また、露出設定に関して、通常動画モードでは、Pモード(プログラムモード)、Aモード(露出優先)、Sモード(シャッタスピード優先)、Mモード(マニュアルモード)のいずれかユーザにより設定されたモードに設定される。これに対して、フォト動画モードでは、Sモード(シャッタスピード優先)に設定される。
シャッタスピードに関しては、通常動画モードにおいては、シャッタスピードは、記録する動画のフレームレートに対応した値(例えば、フレームレートが30フレーム/秒の場合、1/30秒)に設定される。これに対して、フォト動画モードでは、フレーム期間の値よりも、より高速(例えば、1/30秒未満)に設定される。通常動画モードでは、動画再生時に滑らかな動画が再生されるよう動画のフレームレート程度の値にシャッタスピードが設定される。しかし上記の設定では、例えば動く動物などの被写体を撮影した場合、動画としては滑らかな映像になるが、静止画として切り出した場合、被写体ブレを起こした静止画となるため、静止画の画質としては悪くなる。そこで、本実施形態では、フォト動画モードにおけるシャッタスピードを、通常動画モードにおけるシャッタスピードよりも高速な値に設定する。これによって、静止画として切り出した時に被写体ブレの少ない高画質な静止画を切り出すことが可能となる。このようにフォト動画モードでは、動画における画質よりも静止画における画質を優先してシャッタスピードが設定される。
輝度レベルの範囲に関して、通常動画モードでは、HDMI(登録商標)規格を用いてTVに映像を表示するためなどの理由により、デジタルカメラが有する輝度レベル範囲の一部の範囲が設定される。これに対して、フォト動画モードでは、静止画としての画質を優先するため、輝度レベルを制限することは望ましくない。そこで本実施の形態に係るデジタルカメラ100は、フォト動画モードにおいて輝度レベル範囲をデジタルカメラが有する輝度レベル範囲の最大値に設定する。
画像縦横比に関して、通常動画モードでは、16:9に固定される。フォト動画モードでは、ユーザによる設定に応じて、16:9、4:3、3:2、1:1のいずれかの比に設定される。
自動ISOの上限に関して、フォト動画モードにおけるISOの上限値は、通常動画モードにおけるISOの上限値よりも高くする。例えば、通常動画モードにおいては自動ISOの上限は6400に設定される。一方、フォト動画モードにおいては自動ISOの上限は25600など、通常動画モードより高い値が設定される。これにより、フォト動画モードにおいては、通常動画モードよりも、より高いシャッタスピードを設定することが可能となる。
オートフォーカス(AF)追従速度、ホワイトバランス(WB)追従速度および自動露出(AE)追従速度に関しても、フォト動画モード時のそれらの値を、通常動画モード時の値よりも高速な値に設定する。オートフォーカス(AF)追従速度等を高速にすると、特に動く被写体に対してフォーカスが激しく変動するため、動画の品位は低下する。このため、通常動画モードにおいては、オートフォーカス(AF)を高速に制御することは好ましくない。しかしながら、フォト動画モードに関しては、オートフォーカス(AF)速度等を高速に制御した方が、よりピントが被写体に対して適切に合ったフレームが多くなるため、静止画を切り出すという目的には合致した動画を記録することが可能となる。フォト動画モードにおいては、静止画の画質を重視し、動画としての画質は低下するが、オートフォーカス(AF)追従速度、ホワイトバランス(WB)追従速度および自動露出(AE)追従速度をより高速な値に強制的に設定する。
フォト動画モードに設定された場合、以上のような静止画の記録に適した設定値に自動的(強制的)に設定されるため、より静止画を切り出すことに特化した動画を記録することが可能となる。このため、フォト動画モードにより撮影された動画から高画質の静止画を切り出すことができる。
動画モードをフォト動画モードへ設定するためには、図5A(a)に示すように、設定メニューから、フォト動画に関する選択項目を選択することで設定してもよい。または、図5Bに示すように、デジタルカメラ100にフォト動画モードに設定するための専用のボタン218を設けておいてもよく、この専用ボタン218の操作によりフォト動画モードに設定するようにしてもよい。または、デジタルカメラ100に設けられるモード選択ダイヤル等の操作系を操作することによりフォト動画モードに設定するようにしてもよい。
図5A(a)の動画設定画面ではフォト動画モードのON/OFF以外にも、フォト動画用の色調設定や記録方式や画質設定などの動画の設定を行うことができる。ここでフォト動画モードの設定を行うと、図5A(b)に示すフォト動画モードの詳細設定画面に遷移する。ここでは、ユーザは動画の縦横比の設定を行うことができる。また、この時の画面で、デジタルカメラ100はフォト動画モードで自動的に設定される設定内容を表示させるようにすることが望ましい。これは動画設定を行っている際に、画角など、多くの設定をユーザが記憶しておくことは困難であるためである。従って、上記のように表示することで、ユーザの利便性が向上する。フォト動画モードは、前述したように静止画の切り出しに特化した動画モードであるため、動画の画質が必ずしも良いとはいえない。従って、フォト動画モードをONにした場合は、図5A(c)に示すように警告画面や再確認のメッセージをユーザに提示することが望ましい。これによって、ユーザが適切ではない動画モードを選択してしまうことを抑制することができる。図5A(c)でユーザがフォト動画モードを選択した場合、動画設定画面に戻る。このとき、図5A(d)に示すようにフォト動画モードで自動的に設定される露出設定や輝度レベル等はグレーアウト等で表示態様を異ならせることが望ましい。
2.2 動画記録
図6のフローチャートを参照して本実施形態のデジタルカメラ100の動画記録動作を説明する。デジタルカメラ100では、ユーザにより動画記録ボタン217が押下されると、動画の記録が開始され、動画記録中に動画記録ボタン217が押下されると、動画の記録が停止される。
ユーザにより、デジタルカメラ100の背面に設けられた動画記録ボタン217が押下されると(S11)、コントローラ180は、設定されている動画モードが、通常動画モードかフォト動画モードかを判断する(S12)。
フォト動画モードが設定されている場合、コントローラ180は、図7(a)に示すようにフォト動画モードが設定されていることをユーザに警告するためのメッセージを表示する(S13)。フォト動画モードは、通常動画モードに比べてシャッタスピードが速く設定されており、動画像が滑らかでなく、動画撮影・再生に適していない。このため、ユーザの意図に反してフォト動画モードで撮影してしまうことを防止するため、通常動画モードとは異なるアイコンを表示するとともに、警告を表示する。なお、このような警告は、動画モードが通常動画モードからフォト動画モードに遷移した時に表示させるようにしてもよい。また、図7(b)のように動画記録中には、フォト動画モードであることを明示するためにアイコン400を液晶モニタ220に表示することが望ましい。
フォト動画モードが設定されている場合、コントローラ180は、動画記録に関する設定を、フォト動画モード用の設定(図4参照)に設定する(S14)。なお、通常動画モードが設定されている場合、コントローラ180は、現在設定されている通常動画モード用の設定を使用する。
その後、コントローラ180は、動画記録を開始する(S15)。その後、動画記録の停止指示を受けるまで、コントローラ180は設定された設定値に基づき動画記録を行う(S16)。動画記録中は、動画データはメモリカード200に記録されていく。なお、通常動画モードとフォト動画モードでは、動画データ用の所定のフォーマットに従い動画が記録される。例えば、MP4規格(H.264/MPEG-4 AVC方式)に従い動画が記録される。
ここで、本実施形態のデジタルカメラ100は、動画撮影時に、後に切り出したい対象のフレーム付近をマーキングすることができる。そこで、コントローラ180はユーザからのマーキングの指示がなされたか否かを判定する(S17)。マーキングは、動画におけるあるタイミングのフレーム画像を指定する操作である。マーキングの指示がなされた場合(S17でYES)、マーキング処理を実施する(S18)。マーキング処理の詳細については後述する。
動画記録中に、動画記録ボタン217が押下されると(S19でYES)、コントローラ180は動画記録動作を停止する(S20)。コントローラ180は、動画記録ボタン217が押下されるまで、動画記録動作を継続する(S19)。
2.3 動画データからの静止画切り出し
図8、9を用いて、フォト動画モードにより記録された動画データからの静止画切り出し処理について説明する。図8は、動画データからの静止画切り出し処理のフローチャートである。図9(a)は、メモリカード200に記録されている、フォト動画モードで記録された3つの動画A、動画B及び動画Cを示す。図9(b)は、静止画を切り出すための動画を選択する際に用いられる画像選択画面(操作画面)を示す。
ユーザによりデジタルカメラ100の所定のボタンが押下されると、コントローラ180は、図9(b)に示すような画像選択画面を表示モニタ220に表示する。画像選択画面には、各動画A〜Cについて、所定間隔毎のフレームのサムネイル画像31が表示される。すなわち、画像選択画面には、各動画A〜Cに対して、所定時間間隔で分割された動画データの代表サムネイル画像(分割された動画データの1フレーム目の画像)が表示される。図9(b)の例では、動画A、B、Cの各々について5秒毎のフレーム画像に対応するサムネイル画像が表示されている。例えば、動画Aについて、5秒毎のフレーム画像のサムネイル画像A1,A2、…が表示されている。フレームの時間間隔はボタン41、42によって5秒または10秒に変更できるようになっている。このように所定時間間隔のフレームのサムネイル画像を表示させていることで、ユーザは所望のシーンを含む動画を効率良く選択でき、結果として切り出したいシーンを迅速に見つけることが可能となる。
ユーザは、カメラ背面に設けられた選択ボタン213またはタッチパネルを操作して画像選択画面上でカーソルを移動して1つのサムネイル画像を選択できる。ユーザにより1つのサムネイル画像が選択されると(S30)、コントローラ180は、選択されたサムネイル画像の動画を、選択されたサムネイル画像のフレームから再生する(S31)。画像再生中、図10に示すような所定の操作ボタンが表示された画面が液晶モニタ220に表示される。この画面上の操作ボタンにより、ユーザは、動画データに対して、再生、停止等の操作を行うことができる。また、フォト動画モードで記録された動画は、アイコン502を液晶モニタ220に表示されることが望ましい。これにより、ユーザは静止画の切り出しに適したフォト動画モードで記録された動画であることを容易に認知することができる。
動画再生中にユーザにより一時停止ボタンを押下されると(S32)、コントローラ180は、動画表示を一時停止し、停止した位置のフレーム画像(静止画)を表示する(S33)。
図11(a)は、一時停止時に、表示モニタ220に表示される静止画の例を示す。表示モニタ220上には、コマ送りボタン55a、55bが表示されている。ユーザはこのコマ送りボタン55a、55bを操作することで、静止画を前後に1フレームずつコマ送りすることが可能となる。例えば、コマ送ボタン55aが操作された場合、表示モニタ220上には、現在表示されている画像の一つ前のフレームの画像が表示される。また、コマ送りボタン55bが操作された場合、表示モニタ220上には、現在表示されている画像の一つ後のフレームの画像が表示される。コマ送りボタン55a、55bが操作されると(S36)、コントローラ180は、表示モニタ220に表示される画像を切り替える(S37)。ユーザはコマ送りボタン55a、55bを操作し、所望の画像を表示モニタ220に表示させる。
ユーザにより決定ボタン214が押下されると(S34)、次に切り出すフレーム枚数を指定する(S35)。切り出す枚数を指定すると、表示中の画像(フレーム画像)から指定された枚数分が静止画として切り出されて、メモリカード200に記録される(S38)。具体的には、決定ボタン214が押下されると、図11(b)に示すようなユーザに対する確認メッセージが表示され、確認メッセージに対してユーザの指示(「はい」)が入力されると、コントローラ180は、動画データから表示中のフレームデータを切り出し静止画としてメモリカード200に記録する。なお、フォト動画モードで記録された動画データは動画用フォーマット(MP4)により記録されており、フレーム間圧縮が行われている。このため、動画データのフレームを切り出して静止画として切り出す際に、コントローラ180は、フレーム画像のデータを静止画用のフォーマット(例えば、JPEG)に変換して記録する。
以上のようにして、動画データから静止画データを切り出すことができる。
なお、図9(b)に示した画像選択画面においては、動画Aについてのサムネイル画像A1,A2、…に続いて、動画B、動画Cについてのサムネイル画像B1、B2、…、C1,C2、…が表示されている。このように動画A、動画B、動画Cそれぞれのサムネイル画像が連続して表示されている。このため、動画間の区切りが分かるように、動画の境界において区切りを示す表示50が表示されている。この区切りを示す表示は、図9に示したものに限定されない。図12に示すように、動画の境界の先頭に位置するサムネイル画像(B1、C1)の色を、他のものと異ならせても良い。
図13を用いて、図8のフローチャートにおけるステップS33の詳細について説明する。動画から静止画を切り出すときに、切り出したい写真をフレームごと詳細に比較することで、ユーザはより切り出しに適したフレームを選択できる。このため、デジタルカメラ100は、一時停止中の画面で、所定の操作によって、一時停止中のフレームの1フレーム前あるいは1フレーム後のフレームと並べて表示する機能を有することが望ましい(図13(b)参照)。さらに、デジタルカメラ100は、ユーザの拡大指示によって、並んだフレームの同じ特定の領域をズームする機能を有することが望ましい(図13(c)参照)。これによってユーザは、より詳細に、切り出したい静止画を選ぶことが容易となる。
2.4 マーキング処理
以下、マーキング処理(図6のフローチャートにおけるステップS18)について説明する。
デジタルカメラ100は、動画撮影時に、後で切り出したい対象のフレーム付近をマーキングする機能を有する。マーキングの指示は所定の操作ボタンの押下によりなされる。マーキングを行うということは、静止画として切り出す予定、あるいは切り出したいという意志の表れである。このためマーキングを行うボタンは、図14に示されるようにデジタルカメラ100において、レリーズボタン211と同一側面に備わったボタンに割り当てることが望ましい。これをマーキングボタン219と呼ぶ。これによって、写真を撮影するという動作であるレリーズボタン211の押下と同じような感覚でマーキングというフォト動画モードにおける静止画切り出し候補の選定を行うことができる。以下では、マーキングボタン219がデジタルカメラ100に設けられているとして説明する。
動画記録中にユーザによりマーキングボタン219が押下されると、その時の記録中のフレームがマーキングされる。マーキングされたフレームは、ユーザが静止画として切り出すフレームを探すための指標となる。本実施形態のデジタルカメラ100においては、マーキング可能なフレーム数は制限されている。
コントローラ180は、動画記録中にマーキング指示がなされた場合、図15に示すように、表示モニタ220に、マーキングされたことを示す表示219aを所定秒数表示する。デジタルカメラ100ではマーキング可能なフレーム数が制限されている。マーキングされたことを示す表示219aには、マーキングされた回数を示す情報と、マーキング可能なフレームの最大数(上限)を示す情報とが含まれる。この表示219aを参照することで、ユーザは、現時点でのマーキング回数を把握できるため、ユーザが不用意にマーキングを行った結果によるマーキング回数が上限に達してしまい、重要なシーンがマーキングできなくなってしまうことを防止できる。なお、マーキング回数に制限がない場合、最大可能マーキング回数の情報は表示しない。表示219aに含まれるマーキングされた回数を示す情報は、ユーザがマーキングボタン219を押下する毎に更新される。
マーキング指示がなされると、コントローラ180は、マーキングを管理するデータベース(Mark Data Base)に、マーキングのタイミングを示す情報を記録する。このデータベース(Mark Data Base)は図16に示される、動画データのヘッダ601に格納される。ここで、ヘッダ601とは、データに付加される、データ自体に関する情報である。デジタルカメラ100で撮像された静止画像/動画像などは、その静止画像/動画像のデータ(AVデータ)と、AVデータに付加されるヘッダとを有する。例えば、図17(a)に示すように、動画記録中に、ユーザにより、記録開始から3000、5500、8000msec経過時点でマーキング指示がなされたとする。この場合、コントローラ180は、図17(b)に示すように、マーキングされた時刻と関連付けて、実施されたマーキングを識別するためのMark IDをデータベース(Mark Data Base)に記録する。このデータベースを参照することで、コントローラ180はマーキングされたフレームの検索が可能となる。
フォト動画モードでの記録の完了後、画像が再生されると、図10に示すように画像に重畳して複数の所定の操作ボタンが表示される。これらの操作ボタンにより、ユーザは、動画データに対して、再生、停止、早送り等の操作に加えて、マーキング送りを行うことができる。以下、マーキング送りについて説明する。
マーキング送り用の操作ボタンとして、Prev Markカーソル(2191)とNext Markカーソル(2192)が液晶モニタ220に表示される。モニタに表示されたPrev Markカーソル(2191)またはNext Markカーソル(2192)がユーザによりタッチされると、コントローラ180は、データベース(Mark Data Base)を参照して、現在表示されているフレームの前後の時間内に存在する、マーキングされたフレーム画像を検出し、表示させる。Prev Markカーソル(2191)とNext Markカーソル(2192)とを操作することで、マーキングされた一の画像からマーキングされた他の画像へジャンプすることができる。このようにすることで、フォト動画モードで撮影中に指定(マーキング)された切り出し対象のフレーム付近を短時間で探すことが可能となる。
なお、現在表示されているフレームの前後にマーキングされたフレームが存在しない場合は、カーソル2191又は2192を表示しないようにしてもよい。あるいは、カーソル2191又は2192の表示を薄くする(グレーアウト)などしてもよい。
また、マーキング送り用の操作釦は、液晶モニタ220に表示されるものでなく、既存の操作系によってマーキング送りがなされるようにしてもよい。例えば、選択ボタン213の左右のボタンがダブルクリックされると、マーキング送りを行うようにしてもよい。若しくは、再生画面上に現れる早送り/巻き戻しカーソルがダブルタップされることでマーキング送りを行うようにしてもよい。このように既存の操作系を用いることで、新たにマーキング送り用の操作系を設ける必要がなく、スペースを有効に活用することができる。
また、デジタルカメラ100は、マーキング表示503を所定時間表示させることが望ましい。これによって、ユーザはマーキングしたフレームが過ぎたことを認知できるため、マーキング表示503の表示後に一時停止を押下し、マーキングしたフレーム周辺、すなわち、静止画として切り出したいフレーム周辺のフレームを容易に見つけることが可能となる。
また、カーソル2191及び2192は、所定のボタンを押下した時のみ表示されるようにしてもよい。この所定のボタンは、マーキングボタン219であることが望ましい。このようにマーキングという機能を一つのボタンに専門的にわりあてることで、デジタルカメラ100の操作性が向上する。
また、デジタルカメラ100の操作性の向上のために以下のような操作性にしてもよい。図18のように、記録開始から3000、5500、8000msec経過時点でマーキング指示がなされた、10000msecの動画があるとする。ここで現在時刻が5500msec(ポイント2201)であり、Mark#2に時間的に所定時間以上近いとする(ここでは所定秒数を例えば1000msecとする)。この場合に、Prev Markカーソル(2191)をユーザが押下した時は、Mark#2ではなく、Mark#1にジャンプすることが望ましい。また、現在の再生ポイントが90000msec(ポイント2202)である場合に、Next Markカーソル(2192)を操作した場合、動画の終端の100000msecに移動し、さらに一時停止することが望ましい。これによって、終端付近の静止画を容易に選択することが可能となる。
ユーザによりマーキングが施されたデータを表示する際には、既に説明した、所定時間(例えば、5秒)ごとに分割してサムネイルを表示する方法の他に、図19(b)に示すように、マーキングされた各フレームの画像を表示することも可能である。その際、マーキングされたフレームはサムネイルとして表示される。図19(b)に示すような、マーキングが施されたフレームのサムネイルを表示する画面へは、液晶モニタ220に表示されたボタン43を押下することで切り替わる。
2.5 ブラケット撮影
デジタルカメラ100は、フォト動画モードにおいて各種ブラケット撮影を行うことができる。ブラケット撮影とは、露出値や、シャッタスピード、フォーカスポイント、色調などを変更して複数の画像(フレーム)を作成する方法である。ここでは、例えばブラケット撮影として露出値をフレーム間で変更する場合について説明する。なお、ブラケット撮影において変更する設定以外の設定については、フォト動画モードで本来設定される値(図4参照)に設定される。
図20に示すように、デジタルカメラ100は、フォト動画モードにおいて取得する各フレームを、3枚ごとにグルーピングする。この3枚ごとのフレームの集合を、GOP(Group Of Picture)と称する。GOPの先頭の画像データ(フレーム)は、I画像と称する。
デジタルカメラ100は、GOP内において所定のブラケット撮影を行う。具体的には、GOPの1枚目のフレームであるI画像の露出値αを基準に、2枚目のフレームでは露出値をα+1、3枚目のフレームでは露出値をα−1として撮影する。これを連続して行うことで、短い間隔で撮影設定を切り換えて撮影することが可能となり、被写体の所望の撮影設定の静止画を後に切出すことが可能となる。
なお、撮影時にはGOP内でブラケット撮影を行うこととしたが、再生時にはI画像のみを再生することが好ましい。ブラケット撮影により得られた動画データをそのまま再生すると、高周期で撮影設定(例えば露出値)が切り替わって再生されるため、ユーザが違和感を覚える可能性が高い為である。このため、デジタルカメラ100は、ブラケット撮影により得られた動画データを再生する際には、撮影設定が変わらないI画像のみを再生し、コマ送り時にI画像以外の画像を表示することとする。
なお、上記の例では、ブラケット撮影において、露出値を変更したが、他の撮影設定条件を変更してもよい。例えば、シャッタスピード、フォーカスポイント、色調などを変更ながら撮影してもよい。また、ブラケット撮影において一つの撮影設定条件(例として、露出値)のみを変更する例を説明したが、複数の撮影設定条件を変更するようなブラケット撮影を行っても構わない。また、上記の例ではGOPとして3枚のフレームから成る集合を挙げたが、GOPは複数枚の画像から成る集合であれば何枚でもよい。
2.6 縦撮り
フォト動画モードは静止画として切り出すことを目的とした動画を撮影するモードであり、また、静止画撮影の際に縦撮りを行うことはよく行われる。このため、フォト動画モードではカメラを縦向きにした場合は、動画が縦向きで再生されるようにすることが望ましい。図21に動画を縦撮りで撮影した場合に、縦向き再生を行う場合と行わない場合を例示する。図21(a)のように、縦撮りで撮影した場合、そのままカメラで再生させると図21(b)のように、再生時の通常のカメラの持ち方では、90度回転した被写体が再生される。このため、より直感的に動画を閲覧するためには、カメラを回転させるなどする必要があり、煩雑である。このため、動画を再生させる場合には、図21(c)のように、記録時のカメラの撮影方向にかかわらず、被写体の上は同じになるように再生されることが望ましい。
図22に縦撮り動画のフローチャートを示す。デジタルカメラ100は、動画記録開始時にカメラの撮影方向を検出する(S50)。カメラの撮影方向が通常の水平方向の撮影(横撮影)の場合は。(S51のN)、従来通りのフォト動画モードの撮影を行う。撮影方向が垂直方向(縦撮影)である場合(S51のY)、デジタルカメラ100はCCD140から入力された映像信号を90度回転させ(S52)、回転させた映像を動画圧縮し、記録する(S53)。これにより、縦撮りの動画を記録することが可能となる。
また、動画記録は静止画撮影と比べて高い処理性能が必要になるため、記録中にフレーム毎にCCD140から入力された映像信号を回転させると、処理性能が間に合わない可能性がある。このため、図23、図24、のフローチャートに示されるように、記録中は動画のヘッダに回転情報(撮影方向情報)のみを記録しておき、再生時に表示のみを回転させ、静止画の切り出し時には静止画の撮影方向もあわせて回転させるという処理を実行しても良い。これによって、処理負荷が小さくなるため、より安価なLSIを搭載したデジタルカメラでも動画を縦撮りすることが可能となる。
図23は動画記録中のフローチャートである。CCD140からの映像信号を回転することはなく、回転情報(撮影方向情報)をヘッダに記録することのみを行う(S55)。また、図24に再生時のフローチャートを示す。再生時には、記録された回転情報を読み取り、カメラがどの向きで記録されたかを検出する(S31a)。水平方向(横方向)で記録された場合は(S31bのN)、デジタルカメラ100は通常通り再生を行う。垂直方向(縦方向)で記録された場合は(S31bのY)、デジタルカメラ100は、記録された映像を90度回転させて表示させ、あたかも縦方向に動画を記録したように表示させる。また、静止画を切り出すときは、同様に、動画の回転情報をヘッダから検出し(S38a)、動画の向きが横方向であれば、そのまま該当フレームを静止画として切り出し(S38b)、縦方向の場合は、選択されたフレーム画像を90度回転させ(S38c)る。その際、静止画のヘッダにも縦方向で撮影されたことを示す回転情報を付与して静止画の生成を行う。その他の動作は図8と同様であるとし、説明を省略する。なお、ステップS38cは、ヘッダに回転情報を付加せずにフレーム画像を回転させるだけでも良いし、静止画は回転させず、回転情報のみをヘッダに付与する校正にしても良い。ユーザが画像を再生させるときに、記録時のカメラの撮影方向に対応した方向に静止画が表示されるようになっていれば良い。
なお、動画の向きの検出は、動画記録開始時に1回だけ行っても良いし、動画記録中継続して行い、動画のヘッダ情報に時系列とともに回転情報を付加するようにしてもよい。あるいは、動画の向きの検出は、撮像された動画データを適宜回転させながら記録し、再生時には動画を適宜回転させながら表示させるようにしても良い。これによって、動画記録中にカメラを回転させても、回転情報を考慮した静止画を記録することが可能となる。図25に、動画のヘッダ601内に記録された回転情報を示す。さらに、動画中に可変となる静止画のExifに記録される情報は、回転情報以外の情報に関しても、ヘッダ601に記録することが望ましい。ヘッダ601に記録される情報の一例として、ズーム情報が挙げられる。動画記録中は被写体をフレーミングするために、ズームを多用する。動画から切り出した静止画に正しくズーム情報が記録されていることで、例えば写真共有サイトにこの写真をアップロードした際に、焦点距離情報でソートすることが可能となり、ユーザの利便性が向上する。
3.効果、等
本実施形態のデジタルカメラ100は、被写体像を示す光学情報を制御する光学系部(光学系110、シャッタ部130、絞り部300)と、光学系部を介して入力した光学情報から画像データを生成するCCD(撮像部)140と、撮像部により生成された画像データに所定の処理を行う画像処理部160と、動画撮影に関する設定に基づき光学系部、撮像部及び/または画像処理部を制御して動画データを生成するコントローラ180と、を備える。コントローラ180は、動画の記録を行う通常動画モード(第1の動画モードの一例)と、通常動画モードよりも静止画記録に適した撮影設定で動画の記録を行うフォト動画モード(第2の動画モードの一例)とを有する。コントローラ180は、フォト動画モードにおいて、動画撮影に関する設定を、静止画記録に適した所定の設定に自動的に設定する。
以上のように、本実施形態のデジタルカメラ100は、通常動画モードに加えて、高画質な静止画の切り出しを可能とするフォト動画モードを有する。フォト動画モードで動画を撮影し、その後に、撮影した動画から好ましい静止画を抽出することができる。このため、ユーザはシャッタチャンスを意識せずに、従来では難しかった決定的瞬間に撮影された画像の生成が可能となる。例えば、いつ起こるかわからないハプニング/アクシデントの写真や、時間経過とともに状態が変化する被写体(液体、炎等)の瞬間的な状態の写真を容易に撮影することが可能となる。フォト動画モードでは、撮影に関する設定を、高い画質の静止画が得られるような特定の設定に自動的(強制的に)に設定されるため、静止画として好適な画質の画像を得ることができる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
(1)上記の実施形態では、静止画の記録に適した設定として図4に具体例を示したが、静止画の記録に適した設定は、図4に示した設定に限定されない。静止画の記録に適した設定は、図4に示した設定項目以外の項目を含んでも良いし、また、図4に示した設定項目の全てを含む必要はなく、一部の項目のみを含んでも良い。
(2)上記の実施形態では、フォト動画モードでの動画記録中に、所定のボタンが押下されたときに、その時点で録画されているフレームがマーキングされた。マーキングが実行可能なタイミングはこれに限定されない。フォト動画モードで記録された動画の再生中に、マーキングのための所定のボタンが押下されたときに、その時点で再生されているフレームがマーキングされてもよい。
(3)上記の実施形態では、撮像装置の一例としてデジタルカメラを用いて説明したが、撮像装置はこれに限定されない。本開示の思想は、デジタルビデオカメラ、スマートフォン、ウェアラブルカメラ等の動画が撮影できる種々の撮像装置に対して適用することができる。
(4)上記の実施形態では、撮像素子をCCDで構成したが、撮像素子はこれに限定されない。撮像素子はNMOSイメージセンサやCMOSイメージセンサで構成してもよい。
(5)上記の実施形態に示したフォト動画モードは、レンズ交換式カメラ及びレンズ一体型カメラの双方に対して適用できる。
(6)上記の実施形態に示したフォト動画モードで記録された動画には、通常動画モードで撮影された動画と区別するためのアイコン等を表示するようにしてもよい。
(7)上記の実施形態に示したフォト動画モードでは、マーキングボタン等の操作系を別途設けるようにしたが、ファンクションボタン等のユーザが所望の機能を割り当てることが可能な操作系に割り当てるようにしてもよい。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。