JP6865395B2

JP6865395B2 - 撮像装置

Info

Publication number: JP6865395B2
Application number: JP2016197286A
Authority: JP
Inventors: 充義岡本; 智洋大神; 浩平福川; 幸治高山
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-03-10
Filing date: 2016-10-05
Publication date: 2021-04-28
Anticipated expiration: 2036-10-05
Also published as: JP2017169188A; US10148844B2; US20170264773A1

Description

本開示は、動画データからユーザの指定に基づき静止画を生成する撮像装置に関する。

特許文献１は、光学系部を介して入力した光学情報から画像データを生成する撮像部と、撮像部により生成された画像データに所定の処理を行う画像処理部と、動画撮影に関する設定に基づき撮像部及び画像処理部を制御して動画データを生成する制御部と、を備える撮像装置を開示する。この撮像装置において、制御部は、動画の記録モードとして第１の動画モードと、第２の動画モードとを有し、第２の動画モードにおいて、動画撮影に関する設定を、静止画記録に適した所定の設定に自動的に設定する。すなわち、特許文献１の撮像装置では、静止画に好適な設定（記録モード）で動画が記録されるため、記録した動画から高画質の静止画を得ることが可能となる。

日本国特許第５８６６６７４号明細書

特許文献１の撮像装置のように、記録した動画から静止画を抽出する場合、ユーザにより、抽出対象となる画像の指定がなされる必要がある。

本開示は、ユーザの指定にしたがい動画データから静止画データを生成（抽出）する撮像装置であって、ユーザが指定を行う際のユーザの利便性を向上した撮像装置を提供する。

本開示の一態様において撮像装置が提供される。撮像装置は、光学系と、光学系を介して入力した被写体像を撮像して画像信号を生成する撮像部と、撮像部により生成された画像信号に所定の処理を行い、画像データを生成する画像処理部と、画像データが示す画像を表示する表示部と、画像処理部及び表示部を制御する制御部と、を備える。制御部は、動画データを記録し、記録した動画データを構成する複数フレーム画像の全部または一部から、ユーザによりなされた画像または画像の領域の指定に基づき静止画を生成する。表示部は、記録した動画データを構成する複数フレーム画像の中の一のフレーム画像を、ユーザが画像または画像の領域の指定を行うための設定画像として表示するとともに、設定画像において合焦した部分を強調表示する。

本開示の撮像装置は、ユーザが画像または画像の領域の指定を行うための設定画像において合焦した部分を強調表示する。これにより、ユーザは画像において合焦部分を容易に把握できる。このため、合焦状態に基づいて所望の画像または画像の領域を選択する際のユーザの利便性が向上する。

本開示に係るデジタルカメラの構成を示す図デジタルカメラの背面図（Ａ）フォーカスセレクト機能におけるフォーカスレンズの移動を説明した図、（Ｂ）表示画像においてユーザによる合焦領域の指定を説明した図、（Ｃ）ユーザが指定した被写体（領域）に合焦した画像を説明した図動画データからの静止画の切り出しを説明した図（Ａ）画像領域に設定されたＡＦ領域を説明した図、（Ｂ）一つのＡＦ領域におけるコントラスト値の変化を説明した図（Ａ）合焦情報テーブルの例を示した図、（Ｂ）動画記録時のフォーカスレンズの移動範囲を説明した図フォーカスセレクト動作を示すフローチャート動画データから静止画を生成する処理を示すフローチャート動画データ記録後に表示される画像選択画面における強調表示の例を示す図ユーザによる所望の合焦領域を指定する操作を説明するための図高画質な動画データから１つのフレーム画像を切り出して静止画を生成することを説明した図第２の動画モードでの処理を示すフローチャート第２の動画モードで生成される合焦情報テーブルの例を示した図深度合成処理における合焦範囲を指定する画面において、合焦させる領域を強調表示した例を示した図深度合成範囲の強調表示処理を示すフローチャート

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるものであって、これらによって特許請求の範囲に記載の主題を限定することは意図されていない。

以下、図面を用いて本開示に係る撮像装置の実施の形態を説明する。

（実施の形態１）
［１．デジタルカメラの構成］
実施の形態１に係るデジタルカメラの電気的構成について図１を用いて説明する。図１は、デジタルカメラ１００の構成を示すブロック図である。デジタルカメラ１００は、１又は複数のレンズからなる光学系１１０により形成された被写体像をＣＣＤ１４０で撮像する撮像装置である。ＣＣＤ１４０で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、デジタルカメラ１００の構成を詳細に説明する。

光学系１１０は、ズームレンズやフォーカスレンズ１１１を含む。ズームレンズを光軸に沿って移動させることにより、被写体像の拡大又は縮小をすることができる。また、フォーカスレンズ１１１を光軸に沿って移動させることにより、被写体像のピント（合焦状態）を調整することができる。

レンズ駆動部１２０は、光学系１１０に含まれる各種レンズを駆動させる。レンズ駆動部１２０は、例えばズームレンズを駆動するズームモータや、フォーカスレンズ１１１を駆動するフォーカスモータを含む。

絞り部３００は、ユーザの設定に応じて又は自動で開口部の大きさを調整し、開口部を透過する光の量を調整する。

シャッタ部１３０は、ＣＣＤ１４０に透過させる光を遮光するための手段である。シャッタ部１３０は、光学系１１０及び絞り部３００とともに、被写体像を示す光学情報を制御する光学系部を構成する。また、光学系１１０及び絞り部３００はレンズ鏡筒（図示せず）内に収納される。

ＣＣＤ１４０は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。ＣＣＤ１４０は、カラーフィルタと、受光素子と、ＡＧＣ（ＡｕｔｏＧａｉｎＣｏｎｔｒｏｌｌｅｒ）とを含む。受光素子は、光学系１１０によって集光された光学的信号を電気信号に変換し、画像情報を生成する。ＡＧＣは、受光素子から出力された電気信号を増幅する。

ＡＤＣ（Ａ／Ｄコンバータ：アナログ−デジタル変換器）１５０は、ＣＣＤ１４０で生成されたアナログ画像データをデジタル画像データに変換する。

画像処理部１６０は、ＣＣＤ１４０で生成され、変換されたデジタル画像データに対して、コントローラ１８０の制御を受け、各種処理を施す。画像処理部１６０は、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＣＤ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＣＤ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。また、画像処理部１６０は、ＣＣＤ１４０で生成された画像データに基づいて、例えば、素数４０００×２０００前後の動画の画像データ（４Ｋ動画データ）を生成することができる。画像処理部１６０は、生成した４Ｋ動画データに対して後述する種々の処理を行うことができる。

コントローラ１８０は、デジタルカメラ１００の全体を制御する制御手段である。コントローラ１８０は、半導体素子などで実現可能である。
画像処理部１６０やコントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、マイコン、ＣＰＵ、ＭＰＵ、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、ＡＳＩＣ、ＦＰＧＡなどで実現できる。

バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、強誘電体メモリなどで実現できる。

カードスロット１９０は、メモリカード２００をデジタルカメラ１００に装着するための手段である。カードスロット１９０は、機械的及び電気的にメモリカード２００とデジタルカメラ１００を接続可能である。

メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納可能である。

内蔵メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内蔵メモリ２４０は、デジタルカメラ１００全体を制御するための制御プログラムやデータ等を記憶している。

操作部材２１０は、ユーザからの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０は、ユーザからの操作を受け付けるボタン、レバー、ダイヤル、タッチパネル、スイッチ等を含む。また、操作部材２１０は、レンズ鏡筒の外周に設けられたフォーカスリングを含む。フォーカスリングは、フォーカスレンズ１１１を移動させるためにユーザにより回転操作される部材である。

表示モニタ２２０は、ＣＣＤ１４０で生成した画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。表示モニタ２２０は、液晶表示デバイスや有機ＥＬ表示デバイスで構成される。

図２は、デジタルカメラ１００の背面を示した図である。図２では、操作部材２１０の例として、レリーズボタン２１１、選択ボタン２１３、決定ボタン２１４、タッチパネル２２２が示されている。操作部材２１０は、ユーザによる操作を受け付けると、コントローラ１８０に種々の指示信号を送信する。

レリーズボタン２１１は、二段押下式の押下式ボタンである。レリーズボタン２１１がユーザにより半押し操作されると、コントローラ１８０はオートフォーカス制御（ＡＦ制御）やオート露出制御（ＡＥ制御）などを実行する。また、レリーズボタン２１１がユーザにより全押し操作されると、コントローラ１８０は、押下操作のタイミングに撮像された画像データを記録画像としてメモリカード２００等に記録する。

選択ボタン２１３は、上下左右方向に設けられた押下式ボタンである。ユーザは、上下左右方向のいずれかの選択ボタン２１３を押下することにより、カーソルや後述する枠を移動したり、表示モニタ２２０に表示される各種条件項目を選択したりすることができる。

決定ボタン２１４は、押下式ボタンである。デジタルカメラ１００が撮影モードあるいは再生モードにあるときに、決定ボタン２１４がユーザにより押下されると、コントローラ１８０は表示モニタ２２０にメニュー画面を表示する。メニュー画面は、撮影/再生のための各種条件を設定するための画面である。決定ボタン２１４が各種条件の設定項目が選択されているときに押下されると、コントローラ１８０は、選択された項目の設定を確定する。

タッチパネル２２２は、表示モニタ２２０の表示画面と重畳して配置され、ユーザの指による表示画面上へのタッチ操作を検出する。これにより、ユーザは、表示モニタ２２０に表示された画像に対する領域の指定等の操作を行える。

［２．動作］
［２．１フォーカスセレクト機能］
本実施形態のデジタルカメラ１００は、それぞれ異なる合焦位置（フォーカスレンズ位置）で同時に撮影された複数フレームの画像の中からユーザが選択した１つのフレームを記録するフォーカスセレクト機能を有する。この機能により、ユーザが撮影後に合焦位置を選択することができる。フォーカスセレクト機能のＯＮ（有効）／ＯＦＦ（無効）はユーザ操作により、例えばメニュー上で設定できるようになっている。

フォーカスセレクト機能では、合焦位置を変化させながら撮影した動画を構成する複数フレームの画像の中から、ユーザが選択した１つのフレームを記録する。フォーカスセレクト機能では、例えば、画素数４０００×２０００前後の高解像度の４Ｋ動画が記録され、この４Ｋ動画から、ユーザの指定に基づき選択された１つのフレーム画像が切り出されて静止画が得られる。このようにして得られた静止画は４Ｋ動画から切り出されるため、高い画質を有している。

具体的には、フォーカスセレクト機能では、図３（Ａ）に示すように至近端側から無限端側（またはその逆）に向かってフォーカスレンズ１１１を移動させながら、すなわち、合焦位置を変化させながら動画撮影を行う。その後、図３（Ｂ）に示すように、ユーザ５０は、タッチ操作により、撮影された画像においてピントを合わせたい被写体５２（すなわち領域）を指定する。デジタルカメラ１００は、図４に示すように、動画を構成する複数フレーム画像の中から、ユーザにより指定された領域に合焦した１つのフレーム画像を選択して、静止画として切り出して記録する。これにより、図３（Ｃ）に示すようなユーザが指定した被写体（領域）５２に合焦した高画質の静止画を得ることができる。

本実施形態のデジタルカメラ１００においては、オートフォーカス動作に関して、画像領域４００において図５（Ａ）に示すような複数（例えば４９個）のＡＦ領域が設定される。そして、ＡＦ領域毎に、動画を構成する複数フレームの中から、その領域に合焦しているフレーム（以下「合焦フレーム」という）を求め、求めた合焦フレームに関する情報を合焦情報テーブルに記録する。デジタルカメラ１００は、フォーカスセレクト動作において動画を記録（撮影）する前にフォーカスサーチ動作を行い、合焦情報テーブルの一部の情報を生成する。合焦情報テーブルの残りの情報は、フォーカスサーチ動作後の動画記録動作において生成される。

図６（Ａ）は、合焦情報テーブルのデータ構造を示した図である。合焦情報テーブル６０は、フォーカスサーチ動作において最も至近端側でピントがあったときのフォーカスレンズ位置（Pnear）と、最も無限端側でピントがあったときのフォーカスレンズ位置（Pfar）と、を格納する（図６（Ａ）のａ参照）。合焦情報テーブル６０は、さらに、各ＡＦ領域に対して、そのＡＦ領域に合焦するフレームのフレーム番号と、合焦時のフォーカスレンズ１１１の位置とを格納する（図６（Ａ）のｂ、ｃ参照）。

例えば、フォーカスサーチ動作において、フォーカスレンズ１１１を移動させながらＡＦ領域毎にコントラスト値を求める。このとき、例えば、図５（Ａ）に示すＡＦ領域４１について、図５（Ｂ）に示すように、フォーカスレンズ位置Ｐにおいてコントラスト値のピークが検出された場合、そのフォーカスレンズ位置Ｐを合焦情報テーブルに記録する（図６（Ａ）のｃ参照）。その後、動画記録動作において、フォーカスレンズ位置Ｐのときに撮影されたフレームのフレーム番号（この例では、５０）をフォーカスレンズ１１１の位置（この例では、Ｐ）と対応させて合焦情報テーブル６０に記録する（図６（Ａ）のｂ）。合焦情報テーブル６０は、例えば動画撮影により得られた動画データのヘッダ部に格納される。

図７のフローチャートを参照し、デジタルカメラ１００のフォーカスセレクト動作を説明する。

デジタルカメラ１００において予めフォーカスセレクト機能が有効に設定された状態で、ユーザによりレリーズボタン２１１が半押しされると（Ｓ１１でＹＥＳ）、コントローラ１８０は、画像のＡＦ領域のそれぞれについて合焦位置を検出して合焦情報テーブル６０を作成するためのフォーカスサーチを行う（Ｓ１２）。

フォーカスサーチでは、コントローラ１８０は、フォーカスレンズ１１１を至近端から無限端に（またはその逆に）移動させながら、ＡＦ領域毎にコントラスト値を検出する（図５（Ａ）（Ｂ）参照）。

そして、コントローラ１８０は、検出したコントラスト値に基づき合焦情報テーブル６０を作成する。具体的には、コントローラ１８０は、フォーカスレンズ１１１を至近端から無限端に移動させたときに、ＡＦ領域毎に、複数の画像の中でコントラスト値が最大となる（図５（Ｂ）参照）フォーカスレンズ１１１の位置を合焦情報テーブル６０に記録する（図６（Ａ）のｃ参照）。なお、一の領域について、いずれの画像のコントラスト値も所定の閾値よりも低い場合、当該領域については、合焦フレーム（すなわち合焦位置）が定まらないとし、合焦情報テーブル６０には合焦位置が不明であることを示す所定の値が記録される。フォーカスサーチ実行中、表示モニタ２２０にはライブビュー画像が表示されるが、その際、画像における合焦領域に対して、合焦領域をユーザに認識させるための強調表示を行ってもよい。強調表示の詳細は後述する。この強調表示を行うことで、ユーザは画像において合焦された領域を容易に把握することが可能になる。ユーザが意図する領域が含まれているか否かを確認し、フォーカスサーチをやり直すことができるようになり、シャッターチャンスを逃すことを防止できる（Ｓ１３）。

コントローラ１８０は全範囲のサーチ後、さらに、フォーカスレンズ１１１を至近端から無限端に移動させたときに求まった合焦位置において、最も至近端に近い合焦位置（Pnear）と、最も無限端に近い合焦位置（Pfar）とを合焦情報テーブル６０に記録する（図６（Ａ）のａ参照）。以上によりフォーカスサーチは終了する。なお、この状態では、合焦情報テーブル６０において未だ合焦フレーム番号の情報は含まれていない。

その後、ユーザによりレリーズボタン２１１が全押しされると（Ｓ１４でＹＥＳ）、動画を記録する画像撮影動作が開始される。

すなわち、コントローラ１８０は、フォーカスレンズ１１１を至近端側に戻し、フォーカスレンズ１１１を所定の範囲を移動させながら動画記録を行う（Ｓ１５）。ここで、所定の範囲とは、図６（Ｂ）に示すように、最も至近端に近いフォーカスレンズ１１１の合焦位置（Pnear）から、最も無限端に近いフォーカスレンズ１１１の合焦位置（Pfar）までの範囲である。コントローラ１８０は合焦情報テーブル６０を参照してこの所定の範囲を決定する。フォーカスレンズ１１１の移動範囲をこのような範囲に制限することにより、合焦が得られない範囲においての動画記録が行われなくなり、動画記録にかかる時間を低減できる。なお、動画記録は、動画データ用の所定のフォーマットに従い動画が記録される。例えば、ＭＰ４規格（H.264/MPEG-4 AVC方式）に従い動画が記録される。

動画記録実行中、表示モニタ２２０には記録中の画像が表示されるが、その際、画像における合焦領域に対して、合焦領域をユーザに認識させるための強調表示を行ってもよい。強調表示の詳細は後述する。この強調表示を行うことで、ユーザは画像において合焦された領域を容易に把握することが可能になる。

また、コントローラ１８０は、動画記録中、各ＡＦ領域について、フォーカスレンズ１１１の位置と、動画を構成する各フレームのフレーム番号との対応づけを行う。すなわち、各ＡＦ領域について、合焦情報テーブル６０の合焦フォーカスレンズ位置（図６（Ａ）のｃ参照）が示すフォーカスレンズ位置で撮影されたフレームの番号を求め、合焦フォーカスレンズ位置と対応づけて合焦情報テーブル６０に記録する（図６（Ａ）のｂ参照）。これにより、合焦情報テーブル６０において各ＡＦ領域に対してフレーム番号の対応づけがなされる（図６（Ａ）のｂ参照）。

図７に戻り、動画記録（Ｓ１５）が終了すると、ヘッダ部に合焦情報テーブル６０が記録された動画データをメモリカード２００に記録する（Ｓ１６）。これにより画像撮影動作が終了する。

画像撮影動作の終了後、ユーザの指示にしたがい静止画を生成する処理が実行される（Ｓ１７）。具体的には、画像撮影動作において記録された動画から、ユーザが指定する被写体または画像の領域に合焦した静止画が生成される（切り出される）。以下、この静止画生成動作を説明する。

［２．１．１静止画生成］
図８のフローチャートを用いて、静止画生成動作（ステップＳ１７）について説明する。静止画生成動作では、画像撮影動作にて記録された動画から、ユーザが指定する被写体（領域）に合焦された静止画が生成される。

画像撮影動作の終了後、コントローラ１８０は、ユーザが複数のフレーム画像の中から１つの画像を選択するための画面（以下「画像選択画面」という）を表示モニタ２２０に表示する（Ｓ２１）。

画像選択画面とは、画像撮影動作の終了後に、ユーザが動画データから切り出したい静止画を指定するための画面である。画像選択画面には、ユーザがタッチ操作や選択ボタン２１３の操作などにより所望の合焦領域を指定するための画像（以下「静止画選択画像」という）が表示される。静止画選択画像として、画像撮影動作において記録された動画を構成する複数フレーム画像の中の１つが表示モニタ２２０に表示される。

図９（Ａ）は画像選択画面の表示例を示した図である。静止画選択画像として最初に表示されるフレーム画像は、画像撮影動作において記録された動画を構成する複数フレーム画像の中の所定の条件を満たす画像である。例えば、画像中央の領域に合焦したフレーム画像であってもよい。または、全てのフレーム画像の中で最も至近側に合焦位置を有するフレーム画像が、最初に表示される静止画選択画像として選択されてもよい。コントローラ１８０は、合焦情報テーブル６０を参照することにより、画像中央の領域（ＡＦ領域）に合焦したフレーム画像、または、全てのフレーム画像の中で最も至近側に合焦位置を有するフレーム画像を特定することができる。画像選択画面において、このようにして選択されたフレーム画像を静止画選択画像として最初に表示することで、ユーザに対してピントが合っていない画像を提示することがなく、また、ユーザが注目し易い領域にピントが合った画像を最初に提示できることから、ユーザが所望の画像を検索するときの利便性を向上できる。なお、図９（Ａ）に示す例では、被写体（または領域）５１が合焦している。

静止画選択画像において、図９（Ａ）に示すように、合焦された被写体（または領域）５１に対してピーキング表示７１が施される。具体的には、コントローラ１８０の制御にしたがい画像処理部１６０が、フレーム画像のＹＣデータのコントラスト値を判断し、コントラスト値が所定値よりも大きい画素について色差のパラメータを調整する。これにより、その対象画素を含む画像の輪郭が強調される。このようなピーキング表示７１による合焦領域の強調表示により、ユーザは画像の合焦状態及び合焦領域を容易に判別することが可能となる。

強調表示は図９（Ａ）に示すようなピーキング表示７１に限定されない。図９（Ｂ）に示すように、合焦された被写体（または領域）５１に対応する位置に枠７２を表示させてもよい。このような枠７２の表示によっても、ユーザは画像の合焦状態及び合焦領域を容易に判別することが可能となる。この場合、コントローラ１８０は、合焦情報テーブル６０を参照し、表示されるフレーム画像において合焦したＡＦ領域を特定し、特定したＡＦ領域に対応するフレーム画像上の位置に枠７２を重畳して表示する。

以上のようにして画像選択画面が表示されると（Ｓ２１）、ユーザは、カメラ背面に設けられたタッチパネル２２２を操作して、表示されている静止画選択画像上で、ピントを合わせたい被写体（すなわち領域）を指定する。例えば、図１０（Ａ）に示すように静止画選択画像が表示されているときに、ユーザ５０は被写体５２をタッチすることで、合焦させたい対象（領域）として被写体５２を指定することができる。なお、図１０（Ａ）では、被写体５１に合焦しているため、被写体５１に対してピーキング表示（強調表示）が施されている。

図８に戻り、ユーザにより被写体（すなわち領域）が指定されると（Ｓ２２でＹＥＳ）、コントローラ１８０は、合焦情報テーブル６０を参照して、ユーザにより指定された領域に対応するＡＦ領域に対する合焦フレームを特定する（Ｓ２３）。例えば、図１０（Ａ）に示すように、被写体５２がユーザにより指定された場合、図１０（Ｂ）に示すように、コントローラ１８０は、タッチされた被写体５２に対応するＡＦ領域４２を特定し、合焦情報テーブル６０を参照して、そのＡＦ領域４２に対する合焦フレームのフレーム番号を特定する。

そして、コントローラ１８０は、特定したフレーム番号のフレーム画像を新たな静止画選択画像として表示する（Ｓ２４）。例えば、図１０（Ａ）に示す静止画選択画像において被写体５２がユーザ５０により指定されると、図１０（Ｃ）に示すように、指定された被写体５２に合焦した画像が新たな静止画選択画像として表示される。新たな静止画選択画像においては、図１０（Ｃ）に示すように、合焦した被写体５２（コントラスト値が高い被写体）に対してピーキング表示（強調表示）が施される。このピーキング表示によりユーザは画像の合焦状態及び合焦領域を容易に判別できる。

ユーザは、表示モニタ２２０上に表示された静止画選択画像が所望のものである場合、決定ボタン２１４の押下により、その静止画選択画像を記録すべき静止画として確定することができる（Ｓ２５）。一方、表示モニタ２２０に表示された静止画選択画像が所望のものでない場合、ユーザは選択ボタン２１３やフォーカスリングの操作により、画像選択画面に表示させる静止画選択画像を切り替えることができる（Ｓ２７）。

ユーザによる静止画選択画像の切り替え操作がなされた場合（Ｓ２７でＹＥＳ）、コントローラ１８０は、画像選択画面に表示される静止画選択画像をユーザ操作に応じて切り替える（Ｓ２８）。すなわち、ユーザによる合焦領域の指定後、表示モニタ２２０に表示された静止画選択画像がユーザの所望のものでない場合、ユーザは選択ボタン２１３やフォーカスリングの回転操作により、表示モニタ２２０に表示させる画像を切り替えることができる。例えば、フォーカスリングを時計回りに回転させることで表示画像を時間的に前後のフレームの画像に切り替える、すなわち、コマ送りすることができる。このようなユーザ操作により、静止画選択画像を切り替えることができる。切り替えられた画像に対してもピーキング表示処理が適用される。

ユーザにより決定ボタン２１４が押下されると（Ｓ２５でＹＥＳ）、表示中の静止画選択画像（フレーム画像）が静止画として切り出されて、メモリカード２００に記録される（Ｓ２６）。例えば、決定ボタン２１４が押下されると、表示モニタ２２０にユーザに対する確認メッセージが表示され、確認メッセージに対してユーザの指示（「はい」）が入力されると、コントローラ１８０は、動画データから表示中のフレーム画像のデータを抽出し、静止画としてメモリカード２００に記録するようにしてもよい。なお、静止画データは、メモリカード２００に代えて又はそれに加えて、内蔵メモリ２４０や他の記録媒体に記録されてもよい。

動画データは動画用コーデック（Ｈ．２６４やＨ．２６５など）により記録されており、フレーム間圧縮が行われている。このため、動画データのフレームを切り出して静止画として切り出す際に、コントローラ１８０は、フレーム画像のデータを静止画用のフォーマット（例えば、ＪＰＥＧ）に変換して記録する。

以上のようにして、ユーザが指定した領域にピントが合った静止画データを動画データから切り出すことができる。すなわち、ユーザは所望の被写体に合焦した画像を得ることができる。

特に、本実施形態によれば、動画データから切り出す静止画を指定する画面である画像選択画面において表示される画像において、合焦した領域（コントラスト値が所定値よりも高い領域を合焦領域とする）において強調表示を行う。このように合焦した領域に対して強調表示を行うことにより、ユーザは画像の合焦状態や合焦領域を容易に把握することが可能になり、所望の画像の選択が容易となる。

さらに、本実施形態によれば、画像選択画面において最初に表示する静止画選択画像として、画像中央の領域に合焦したフレーム画像、または、全てのフレーム画像の中で最も至近側に合焦位置を有するフレーム画像を選択する。これにより、ユーザに対してピントが合っていない画像を提示することがなく、また、ユーザが注目し易い領域にピントが合った画像を最初に提示できることから、ユーザが所望の画像を検索するときの利便性を向上できる。

［３．効果、等］
本実施形態のデジタルカメラ１００（撮像装置の一例）は、光学系１１０と、光学系１１０を介して入力した被写体像を撮像して画像信号を生成するＣＣＤ１４０（撮像部の一例）と、ＣＣＤ１４０により生成された画像信号に所定の処理を行い、画像データを生成する画像処理部１６０と、画像データが示す画像を表示する表示モニタ２２０（表示部の一例）と、画像処理部１６０及び表示モニタ２２０を制御するコントローラ１８０（制御部の一例）と、を備える。コントローラ１８０は、動画データを記録し、記録した動画データを構成する複数フレーム画像の全部または一部から、ユーザによりなされた画像または画像の領域の指定に基づき静止画（例えば、ユーザが指定した領域に合焦領域を有するフレーム画像）を生成する。表示モニタ２２０は、記録した動画データを構成する複数フレーム画像の中の一のフレーム画像を、ユーザが画像または画像の領域の指定を行うための静止画選択画像（設定画像の一例）として表示するとともに、静止画選択画像において合焦した部分を強調表示する。

このように画像中の合焦した部分（コントラスト値が高い領域）に対して強調表示を行うことにより、ユーザは画像の合焦状態や合焦領域を容易に把握することが可能になり、所望の画像の選択が容易となる。

また、記録した動画データを構成する複数フレーム画像において、画像領域の中央に合焦領域を有するフレーム画像、または、最も至近側の合焦領域を有するフレーム画像を、静止画選択画像として選択してもよい。これにより、ユーザに対してピントが合っていない画像を提示することがなく、また、ユーザが注目し易い領域にピントが合った画像を最初に提示できることから、ユーザが所望の画像を検索するときの利便性を向上できる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

（１）上記の実施形態で説明した画像選択画面に関する機能（強調表示、最初の静止画選択画像の選択）は、フォーカスセレクト機能以外にも適用することができる。例えば、特許文献１に開示のデジタルカメラは、通常の動画モードに加えて、静止画生成のための動画を撮影する第２の動画モードを有する。この第２の動画モードでは、高画質（４K）な動画データを記録する。その後、第２の動画モードで記録された動画データを構成する複数のフレーム画像から、ユーザが指定した１つのフレーム画像が切り出されることにより、静止画が生成される（図１１参照）。

図１２は、そのような第２の動画モードでの処理を示すフローチャートである。ユーザによりレリーズボタン２１１が全押しされると（Ｓ５１でＹＥＳ）、静止画生成用の動画の記録が開始される。すなわち、コントローラ１８０は、ピント合わせを行いながら動画記録を行う（Ｓ５２）。その際、コントローラ１８０は、動画記録中に、各フレーム画像におけるＡＦ枠領域毎にコントラスト値を検出し、最もコントラスト値が大きいＡＦ枠領域を検出し、検出結果に基づき合焦情報テーブルを作成する。図１３は、第２の動画モードで作成される合焦情報テーブルの例を示す。合焦情報テーブル６０ｂは、各フレームのフレーム番号と、そのフレーム番号に対応するフレーム画像において最もコントラスト値が大きいＡＦ枠の番号とを対応づけて管理する。その後、動画データの記録が終了すると、コントローラ１８０は動画データをメモリカード２００に記録する（Ｓ５３）。

その後、上記のようにして記録された動画データを構成する複数のフレーム画像から、ユーザが指定した１つのフレーム画像が切り出される。例えば、図８に示すフローチャートの処理にしたがい静止画が切り出される。ここで、図８では、ユーザが指定した領域に対応するＡＦ領域に合焦するフレーム画像を静止画として切り出したが、ユーザが指定したフレーム画像を静止画として切り出してもよい。

このような機能を有するデジタルカメラにおいても、ユーザが所望の画像を指定する選択画面において表示される静止画選択画像（動画データを構成する複数のフレーム画像の中の１つ）に対して、上記の実施形態で説明した強調表示（ピーキング表示、枠表示）を適用することができる。また、ユーザが画像を指定する選択画面において最初に表示される静止画選択画像を、中央に合焦領域を有するフレーム画像、又は、全てのフレーム画像において撮影時のフォーカスレンズ位置が最も至近側となる合焦領域を有するフレーム画像としてもよい。

（２）上記の実施形態では、合焦領域（コントラスト値が高い領域）に対して、ピーキング表示や枠表示のような強調表示を行ったが、強調表示はこれらに限定されない。枠表示とピーキング表示を同時に行ってもよい。これにより、例えば枠の内部に複数の被写体があるような場合であっても、どの被写体に合焦しているかを確認することができる。ユーザに対して、画像における合焦領域（コントラスト値が高い領域）を視覚的に認識させる方法であれば、他の方法で強調してもよい。

（３）上記の実施形態で説明した画像選択画面において、静止画選択画像として、静止画を表示したが、動画を表示してもよい。その際、動画の再生中に、動画の各フレーム画像における合焦領域（コントラスト値が高い領域）に対して強調表示（ピーキング表示、枠表示等）を行ってもよい。これにより、ユーザは合焦領域を容易に把握でき、所望の画像に迅速にアクセスすることができる。現在表示しているフレームに対する合焦領域の強調表示と、現在表示しているフレームの前後の数フレームに対する合焦領域の強調表示を重畳しても良い。現在表示しているフレームの強調表示方法と、現在表示しているフレームの前後のフレームの強調表示方法とを、例えば枠の色を変えるなど異なる方法で表示しても良い。これにより、隣接するフレームで合焦領域が変化するような場合であっても、ユーザは合焦領域を容易に把握でき、所望の画像に迅速にアクセスすることができる。このような複数フレームに対して合焦領域の強調表示を重畳する処理は、動画記録中やフォーカスサーチ中のライブビュー画像における強調表示についても適用することができる。

（４）上記の実施形態で示した強調表示は、深度合成（焦点合成）機能において合焦させたい被写体の範囲（領域）を指定する際にも適用することができる。深度合成（焦点合成）処理とは、複数の合焦位置で記録した画像を合成して、擬似的に深い被写界深度を有する静止画を生成する処理である。なお、深度合成処理を行うためには、予め複数の静止画のデータ（または動画を構成する複数フレーム画像のデータ）及び各静止画内の複数の分割領域（ＡＦ領域）それぞれに対する合焦位置を管理する合焦情報テーブルを作成しておく必要がある。例えば、図７や図１２のフローチャートにしたがい、複数の静止画データ（動画データ）及び合焦情報テーブル６０、６０ｂを作成しておけばよい。

図１４（Ａ）は、深度合成においてユーザが合焦させたい被写体の範囲（領域）を指定するための設定画像の例を示した図である。この設定画像上でユーザはタッチ操作により２つの領域を指定することにより、合焦させたい被写体の範囲を指定することができる。例えば、図１４（Ａ）の例では、ユーザにより領域Ａと領域Ｂが合焦させたい被写体の範囲として指定されている。この場合、コントローラ１８０は、深度合成処理において、領域Ａに対応するＡＦ領域に対する合焦位置（以下「合焦位置Ａ」という）と、領域Ｂに対応するＡＦ領域に対する合焦位置（以下「合焦位置Ｂ」という）との間に合焦位置があるＡＦ領域を有する静止画（フレーム画像）群を合焦情報テーブル６０、６０ｂを参照して抽出する。そして、コントローラ１８０は、抽出した静止画（フレーム画像）群を合成して１つの静止画を生成する。その際、コントローラ１８０は、深度合成範囲を示す強調表示として、図１４（Ｂ）に示すように、設定画像上において、タッチされた領域Ａを含むＡＦ領域に対応する画像領域と、タッチされた領域Ｂを含むＡＦ領域に対応する画像領域と、合焦位置Ａと合焦位置Ｂの間に合焦位置を有するＡＦ領域に対応する画像領域とに対して強調表示７３を施す。

図１５は、深度合成範囲の強調表示処理を示すフローチャートである。コントローラ１８０は、深度合成処理においてユーザが合焦させたい被写体の範囲（領域）を指定するための設定画面（例えば、図１４（Ａ））を表示する（Ｓ６１）。この設定画面は、予め記録された複数の静止画（動画を構成する複数のフレーム画像）の中の１つの画像を含む。この設定画面上でユーザにより２つの領域が指定されることにより深度合成の範囲が指定されると（Ｓ６２）、コントローラ１８０は、合焦情報テーブル６０、６０ｂを参照して、２つの指定された領域に対応する合焦位置の間に合焦位置を有するＡＦ領域を特定する（Ｓ６３）。そして、コントローラ１８０は、指定された領域Ａ、Ｂに対応する領域と、特定されたＡＦ領域に対応する領域とを強調表示する（Ｓ６４）。図１４（Ｂ）は、このようにして強調表示された設定画面の例を示した図である。図１４（Ｂ）では、指定された領域Ａ、Ｂに対応する領域と、特定されたＡＦ領域に対応する領域に対して強調表示７３が施されている。強調表示された画面を参照することにより、ユーザは深度合成処理において合成させる被写体の領域を容易に確認することができる。２つの領域が指定された時に深度合成を行い、合成された静止画に対して強調表示を施しても良い。これにより、ユーザは意図する合成画像を得るまで、合成画像と合焦領域を同時に確認しながら作業をやり直すことができる。なお、図１４（Ｂ）では、ＡＦ領域の輝度を変化させて強調表示を施したが、図９（Ａ）、（Ｂ）に示すように、強調表示として、ピーキング表示７１または枠表示７２を施してもよい。

（５）上記の実施形態に開示した思想は、レンズ交換式カメラ及びレンズ一体型カメラの双方の種類のデジタルカメラに対して適用できる。

（６）上記の実施形態では、撮像装置の一例としてデジタルカメラを用いて説明したが、撮像装置はこれに限定されない。本開示の思想は、デジタルビデオカメラ、スマートフォン、ウェアラブルカメラ等の動画が撮影できる種々の撮像装置に対して適用することができる。

（７）上記の実施形態では、撮像素子をＣＣＤで構成したが、撮像素子はこれに限定されない。撮像素子はＮＭＯＳイメージセンサやＣＭＯＳイメージセンサで構成してもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、動画を撮影できる撮像装置に対して適用可能である。具体的には、デジタルカメラ、デジタルビデオカメラ、スマートフォン、ウェアラブルカメラ等の動画が撮影できる種々の撮像装置に対して適用することができる。

１００デジタルカメラ
１１０光学系
１１１フォーカスレンズ
１２０レンズ駆動部
１３０シャッタ部
１４０ＣＣＤ
１５０Ａ／Ｄコンバータ
１６０画像処理部
１７０バッファ
１８０コントローラ
１９０カードスロット
２００メモリカード
２１０操作部材
２２０表示モニタ
２４０内蔵メモリ
３００絞り部

Claims

光学系と、
前記光学系を介して入力した被写体像を撮像して画像信号を生成する撮像部と、
前記撮像部により生成された画像信号に所定の処理を行い、画像データを生成する画像処理部と、
画像データが示す画像を表示する表示部と、
前記画像処理部及び前記表示部を制御する制御部と、
を備え、
前記制御部は、記録媒体に動画データを記録し、前記動画データの記録が完了した後、前記表示部に表示された１枚の設定画像上でユーザによって指定された画像または前記画像の領域に基づいて、記録した動画データを構成する複数フレーム画像の全部または一部のうちの１枚を選択することによって、記録された前記動画データから静止画を生成し、
前記表示部は、記録した動画データを構成する前記複数フレーム画像の中の一のフレーム画像を前記設定画像として表示するとともに、前記設定画像において合焦した部分を強調表示し、
前記設定画像は、選択されるべきフレーム画像または合焦することが求められる領域を前記ユーザが指定するために提供される画像である、
撮像装置。
前記光学系はフォーカスレンズを有し、
前記制御部は、前記フォーカスレンズを移動させながら動画データを記録する、請求項１記載の撮像装置。
前記表示部は、前記強調表示として、前記設定画像において合焦した部分を含む領域のエッジ部分を強調表示する、請求項１または２に記載の撮像装置。
前記表示部は、前記強調表示として、前記設定画像において合焦した部分に対応した位置に所定の枠を表示する、請求項１または２に記載の撮像装置。
前記表示部は、前記動画データの記録中においても、記録中の動画データを構成する複数フレーム画像の中の一のフレーム画像を表示し、当該表示したフレーム画像において合焦した部分を強調表示する、請求項１または２に記載の撮像装置。
前記設定画像は、記録した動画データを構成する複数フレーム画像において、画像領域の中央に合焦領域を有するフレーム画像である、請求項１または２に記載の撮像装置。
前記設定画像は、記録した動画データを構成する複数フレーム画像において、最も至近側の合焦領域を有するフレーム画像である、請求項１または２に記載の撮像装置。
前記制御部は、記録した動画データを構成する複数フレーム画像の中から、ユーザにより指定された領域に合焦したフレーム画像を静止画として抽出する、請求項１または２に記載の撮像装置。
前記制御部は、記録した動画データを構成する複数フレーム画像の中から、ユーザにより指定された１つのフレーム画像を静止画として抽出する、請求項１または２に記載の撮像装置。
前記設定画像は、ユーザが深度合成の範囲を指定するための画像であって、
前記制御部は、記録した動画データを構成する複数フレーム画像の中から、前記設定画像上でユーザにより指定された範囲に合焦位置を有するフレーム画像を合成して前記静止画を生成する、請求項１または２に記載の撮像装置。
前記制御部は、前記動画データの記録が完了した後、記録された前記動画データから前記静止画を生成する前に、前記表示部に表示された１枚の前記設定画像を、新たな設定画像として他の１枚の静止画像に切り替え、
前記表示部は、前記新たな設定画像において合焦した部分を強調表示し、
前記制御部は、前記新たな設定画像上でユーザによって指定された画像または前記画像の領域に基づいて、記録した動画データを構成する複数フレーム画像の全部または一部のうちの１枚を選択することによって、記録された前記動画データから静止画を生成する、請求項１から１０のいずれかに記載の撮像装置。