JP7352745B2 - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに係り、特にマニュアルフォーカスの支援に好適な動画像データを生成する技術に関する。

近年、ミラーレスカメラや一眼レフカメラなどは動画機能が充実してきており、動画コンテンツ制作に多く用いられるようになってきた。これらのカメラは小型、軽量で撮像時に機動性が高い一方、ライブビュー画像や記録画像を確認するためのモニタも小さいため、主要被写体に対するフォーカスがユーザの意図通りに合焦しているか視認することが困難である。

この問題を解決するためにフォーカスアシスト機能が開発されており、「フォーカス部分の拡大表示機能」や、「合焦している被写体の輪郭部に色を付けて表示するピーキング機能」などを搭載しているカメラがある（特許文献１、２）。

特開２０１９－１０５７６８号公報 特開２０１７－１６９１８８号公報

本開示の技術に係る一つの実施形態は、ユーザがフォーカスを合わせたい主要被写体のフォーカス状態を動画像撮像中に認識することができ、かつ主要被写体の確認及びフレーミングの確認に適したライブビュー画像を表示させることができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供する。

第１態様に係る発明は、プロセッサと、メモリとを備える画像処理装置において、プロセッサは、入力された撮像データに基づいて第１動画像データを生成する処理と、撮像データ又は第１動画像データが表す撮像領域内の、特定被写体を含む特定被写体領域を設定する処理と、撮像データ又は第１動画像データに基づいてフォーカス状態を評価する処理と、特定被写体領域のデータ、フォーカス状態の評価結果、及び第１動画像データに基づいて特定被写体領域のフォーカス状態が視認可能な第２動画像データを生成する処理と、第２動画像データを表示先に出力する処理と、を行う。

本発明の第２態様に係る画像処理装置において、第２動画像データは、特定被写体領域のみのフォーカス状態が視認可能な動画像データであることが好ましい。

本発明の第３態様に係る画像処理装置において、第２動画像データを生成する処理は、第１動画像データが表す撮像領域内の、特定被写体領域のデータが表す特定被写体領域に対して、フォーカス状態の評価結果に基づくデータを付加する処理を行うことで第２動画像データを生成することが好ましい。

本発明の第４態様に係る画像処理装置において、プロセッサは、撮像データ又は第１動画像データに基づいて特定被写体のフォーカス状態の評価結果を含む第３動画像データを生成し、特定被写体領域、第１動画像データ、及び第３動画像データに基づいて第２動画像データを生成することが好ましい。

本発明の第５態様に係る画像処理装置において、プロセッサは、特定被写体領域を除く第１動画像データと、特定被写体領域の第３動画像データとを合成して第２動画像データを生成することが好ましい。

本発明の第６態様に係る画像処理装置において、フォーカス状態を評価する処理は、撮像データ又は第１動画像データに基づいて被写体の輪郭成分を抽出し、抽出した輪郭成分の振幅に応じた輪郭強調処理を第１動画像データに施す処理であることが好ましい。

本発明の第７態様に係る画像処理装置において、輪郭強調処理は、抽出した輪郭成分の振幅が第１閾値を超える部分に対して特定の色を付加し、及び／又は輪郭成分の振幅に応じて特定の色の濃度を変化させる処理であることが好ましい。

本発明の第９態様に係る画像処理装置において、プロセッサは、ユーザによる特定被写体の指示入力に基づいて特定被写体領域を設定することが好ましい。

本発明の第８態様に係る画像処理装置において、プロセッサは、特定被写体の動きを検出し、特定被写体の動きに応じて特定被写体領域を変更することが好ましい。

本発明の第１０態様に係る画像処理装置において、表示部又は外部表示機器と接続可能な第１接続部を備え、第２動画像データの表示先は、表示部又は第１接続部に接続された外部表示機器であることが好ましい。

本発明の第１１態様に係る画像処理装置において、記録部又は外部記録機器と接続可能な第２接続部を備え、プロセッサは、第１動画像データを記録部又は第２接続部に出力することが好ましい。

本発明の第１２態様に係る画像処理装置において、プロセッサは、第１動画像データと第２動画像データとを第１時間毎に交互に表示先に出力することが好ましい。

本発明の第１３態様に係る画像処理装置において、プロセッサは、特定被写体のフォーカス状態の評価結果を示すフォーカス評価値を取得し、取得したフォーカス評価値が第２閾値を超える場合、第１動画像データを表示先に出力することが好ましい。

本発明の第１４態様に係る画像処理装置において、プロセッサは、特定被写体のフォーカス状態の評価結果を示すフォーカス評価値を取得し、取得したフォーカス評価値が減少傾向になく、かつ減少傾向にない状態が第２時間継続する場合、第１動画像データを表示先に出力することが好ましい。

本発明の第１５態様に係る画像処理装置において、プロセッサは、特定被写体のフォーカス状態の評価結果を示すフォーカス評価値を取得し、直近の複数フレームに対するフォーカス評価値のうちの最大値となる最大評価値を取得し、マニュアルフォーカス期間中に最新フレームのフォーカス評価値が、最大評価値に基づいて設定される許容値を超える場合に、最新フレーム内の特定被写体のフォーカス状態が良好であることを示す報知情報を表示先に出力することが好ましい。

本発明の第１６態様に係る撮像装置は、撮像データを出力する撮像部と、上記の画像処理装置と、を備える。

第１７態様に係る発明は、プロセッサと、メモリとを備える画像処理装置によりマニュアルフォーカスを支援する動画像データを生成する画像処理方法であって、プロセッサの各処理は、入力された撮像データに基づいて第１動画像データを生成するステップと、撮像データ又は第１動画像データが表す撮像領域内の、特定被写体を含む特定被写体領域を設定するステップと、撮像データ又は第１動画像データに基づいてフォーカス状態を評価するステップと、特定被写体領域のデータ、フォーカス状態の評価結果、及び第１動画像データに基づいて特定被写体領域のフォーカス状態が視認可能な第２動画像データを生成するステップと、第２動画像データを表示先に出力するステップと、を含む。

本発明の第１８態様に係る画像処理方法において、撮像データ又は第１動画像データに基づいて特定被写体のフォーカス状態の評価結果を含む第３動画像データを生成するステップを更に含み、第２動画像データを生成するステップは、特定被写体領域、第１動画像データ、及び第３動画像データに基づいて第２動画像データを生成することが好ましい。

本発明の第１９態様に係る画像処理方法において、第２動画像データを生成するステップは、特定被写体領域を除く第１動画像データと、特定被写体領域の第３動画像データとを合成して第２動画像データを生成することが好ましい。

本発明の第２０態様に係る画像処理プログラムは、入力された撮像データに基づいて第１動画像データを生成する機能と、撮像データ又は第１動画像データが表す撮像領域内の、特定被写体を含む特定被写体領域を設定する機能と、撮像データ又は第１動画像データに基づいてフォーカス状態を評価する機能と、特定被写体領域のデータ、フォーカス状態の評価結果、及び第１動画像データに基づいて特定被写体領域のフォーカス状態が視認可能な第２動画像データを生成する機能と、第２動画像データを表示先に出力する機能と、をコンピュータに実現させる。

図１は、本発明に係る撮像装置の内部構成の実施形態を示す図である。 図２は、本発明に係る画像処理装置の実施形態を示すブロック図である。 図３は、輝度データから抽出される輪郭成分等を示す波形図である。 図４は、ピーキング処理が施されていない第１動画像データの一例を示す波形図である。 図５は、ピーキング処理が施された第１動画像データ（第３動画像データ）の一例を示す波形図である。 図６は、特定被写体及びピーキング範囲の一例を示す図である。 図７は、第１動画像データの記録先、及び第２動画像データの表示先を示す図である。 図８は、本発明に係る画像処理方法の第１実施形態を示すフローチャートである。 図９は、本発明に係る画像処理方法の第２実施形態を示すフローチャートである。 図１０は、本発明に係る画像処理方法の第３実施形態を示すフローチャートである。 図１１は、輪郭成分の振幅［Amp］の推移の一例を示す図である。 図１２は、本発明に係る画像処理方法の第４実施形態を示すフローチャートである。

以下、添付図面に従って本発明に係る画像処理装置、撮像装置、画像処理方法及び画像処理プログラムの好ましい実施形態について説明する。

［撮像装置の構成］
図１は、本発明に係る撮像装置の内部構成の実施形態を示す図である。

撮像装置１０は、動画像の撮像が可能なカメラであり、撮像レンズ１２、撮像部１４、プロセッサ１６、メモリ１８、表示部２０、入出力インターフェース２２、及び操作部２４等を備える。

撮像レンズ１２は、被写体像を結像させるフォーカスレンズを含む複数のレンズ群、光量を調節する絞り、フォーカスレンズの位置を手動で調整するフォーカスリング等を備える。また、撮像レンズ１２は、カメラボディに着脱可能な交換レンズでもよいし、カメラボディに一体化されたものでもよい。

撮像部１４は、光学像を電気信号に変換する撮像素子、アナログ信号処理部及びＡ／Ｄ（Analog to Digital）変換器等を備える。

撮像素子は、例えば、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサにより構成されている。尚、撮像素子は、ＣＭＯＳ型に限らず、ＣＣＤ（Charge Coupled Device）型の撮像素子でもよい。

撮像素子は、ｘ方向（水平方向）及びｙ方向（垂直方向）に二次元的に配列された光電変換素子（フォトダイオード）で構成される複数の画素上に、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の３原色のカラーフィルタのうちのいずれか１色のカラーフィルタが、所定のカラーフィルタ配列にしたがって配置され、ＲＧＢの各色の画素が構成される。カラーフィルタ配列は、一般的なベイヤ配列とすることできるが、これに限定されるものではなく、例えば、Ｘ－Ｔｒａｎｓ（登録商標）配列等の他のカラーフィルタ配列でもよい。

撮像レンズ１２によって撮像部１４の撮像素子の受光面に結像された被写体の光学像は、撮像素子の各画素に入射光量に応じた電荷として蓄積される。撮像素子からは各画素に蓄積された電荷量に応じた電気信号が画像信号として読み出され、アナログ信号処理部に出力される。

アナログ信号処理部は、サンプリングホールド回路、色分離回路、ＡＧＣ（Automatic Gain Control）回路等を含んで構成されている。ＡＧＣ回路は、撮像時の感度（ＩＳＯ感度(ＩＳＯ：International Organization for Standardization)）を調整する感度調整部として機能し、入力する画像信号を増幅する増幅器のゲインを調整し、画像信号の信号レベルが適切な範囲に入るようにする。Ａ／Ｄ変換器は、アナログ信号処理部から出力されたアナログの画像信号をデジタルの画像信号に変換する。尚、撮像素子がＣＭＯＳ型イメージセンサである場合、アナログ信号処理部及びＡ／Ｄ変換器は、ＣＭＯＳ型イメージセンサ内に内蔵されていることが多い。

動画像の撮像が行なわれる場合、撮像部１４からは、設定されたフレームレート（３０ｆｐｓ，６０ｆｐｓ等）で撮像データ（ＲＡＷデータ）が出力される。

プロセッサ１６は、ＣＰＵ（Central Processing Unit）、撮像データに対して特定の信号処理を行なう専用電気回路等を含み、撮像部１４から入力される撮像データに基づいて各種の動画像データを生成する画像処理装置として機能する。尚、プロセッサ１６による各種の動画像データの生成処理の詳細については後述する。

メモリ１８は、フラッシュメモリ、ＲＯＭ（Read-only Memory）、及びＲＡＭ(Random Access Memory)等を含む。フラッシュメモリ及びＲＯＭは、カメラ制御プログラム、及び本発明に係る画像処理プログラム，カメラ制御等に必要な各種データ等を記憶する不揮発性メモリである。ＲＡＭは、撮像データを一時的に記憶し、プロセッサ１６による処理の作業領域として機能する。また、フラッシュメモリ等に格納されたカメラ制御プログラム、画像処理プログラム等を一時的に記憶する。尚、プロセッサ１６が、メモリ１８の一部（ＲＡＭ）を内蔵していてもよい。

プロセッサ１６は、カメラ制御プログラム、あるいは画像処理プログラムにしたがい、ＲＡＭを作業領域としながらカメラボディの各部の制御、及び画像処理を行なう。

表示部２０は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic Light Emitting Diode）などのディスプレイであり、ディスプレイ上にはタッチパネルを備えていてもよい。

表示部２０は、カメラボディの背面に設けられ、撮像の際、ライブビュー画像を表示する。ユーザは、表示部２０に表示されるライブビュー画像により被写体のフォーカス状態を確認したり、フレーミングの確認を行なうことができる。

また、表示部２０は、ユーザに対して各種の報知情報を通知（表示）する通知部として機能する。更に、表示部２０は、各種設定を行う際、メニュー画面を表示し、ユーザの指示を受け付ける場合のユーザインターフェースとして使用される。尚、表示部２０には、ＥＶＦ（Electronic View Finder）の形態のものも含まれる。

入出力インターフェース２２は、外部表示機器と接続可能な第１接続部、外部記録機器と接続可能な第２接続部、メモリカードが着脱されるカード接続部、及びネットワークと接続可能な通信部等を含む。例えば、入出力インターフェース２２としては、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（ＨＤＭＩは登録商標）等を適用することができる。尚、ＵＳＢ及びＨＤＭＩは、それぞれ第１接続部及び第２接続部として共通に使用可能である。

また、カード接続部及びカード接続部に接続されたメモリカードは、外部記録機器に対してカメラ内部の記録部に相当する。

操作部２４は、撮像装置１０を操作するための各種操作部材を備える。操作部材には、電源ボタン、録画ボタンの他、各種操作ボタン類、タッチパネル等が含まれる。

プロセッサ１６は、所定のプログラム（カメラ制御プログラム、画像処理プログラム等）を実行することにより、撮像装置１０の制御部及び画像処理装置として機能する。

プロセッサ１６が行う制御には、ＡＥ（Automatic Exposure）、ＡＦ（Auto Focus）等の撮像制御の他、画像処理、表示部２０への表示制御、記録部への記録制御等が含まれる。

また、プロセッサ１６が行う画像処理には、撮像部１４から入力する撮像データ（ＲＡＷデータ）に基づいて記録用の動画像データ（第１動画像データ）を生成する処理、及び表示用（ライブビュー用）の動画像データ（第２動画像データ）を生成する処理、及び記録用の第１動画像データに対する圧縮処理等が含まれる。

［画像処理装置］
図２は、本発明に係る画像処理装置の実施形態を示すブロック図である。本発明に係る画像処理装置は、プロセッサ１６とメモリ１８とを備える。

図２に示すプロセッサ１６は、ホワイトバランス補正処理部１６Ａ，デモザイク処理部１６Ｂ、輝度・色差変換処理部１６Ｃ、輪郭成分抽出部１６Ｄ、輪郭強調処理部１６Ｅ、特定被写体領域設定部１６Ｆ、及び合成処理部１６Ｇを備える。

ホワイトバランス補正処理部１６Ａ、デモザイク処理部１６Ｂ、及び輝度・色差変換処理部１６Ｃ等は、入力する未処理の撮像データ（ＲＡＷデータ）から記録用の第１動画像データを生成する現像処理部である。

ホワイトバランス補正処理部１６Ａは、入力する撮像データ（Ｒデータ、Ｇデータ及びＢデータ）の色データ毎のホワイトバランスゲイン（ＷＢ（White Balance）ゲイン)Ｇr,Ｇg,Ｇbを算出し、Ｒデータ、Ｇデータ及びＢデータに、それぞれ算出したＷＢゲインＧr,Ｇg,Ｇbを乗算することにより撮像データをホワイトバランス補正する。ここで、ＷＢゲインＧr,Ｇg,Ｇbの算出方法としては、被写体の明るさ（ＥＶ値）によるシーン認識（屋外、屋内の判定等）及び周囲光の色温度等に基づいて被写体を照明している光源種を特定し、予め光源種毎に適切なＷＢゲインが記憶されているメモリ１８から特定した光源種に対応するＷＢゲインを読み出す方法等がある。

デモザイク処理部１６Ｂは、ＲＧＢからなる点順次のモザイク画像データから補間処理により画素毎にＲＧＢ全ての色情報を算出する処理部であり、モザイク画像データからデモザイク処理（デモザイキング処理、同時化処理ともいう）されたＲＧＢ３面の画像データを生成する。

輝度・色差変換処理部１６Ｃは、デモザイク処理されたＲＧＢデータを輝度データ（Ｙ）と色差データ（Ｃｂ、Ｃｒ）に変換する処理を行なう。

上記のようにして未処理の撮像データから画像処理された記録用の第１動画像データが生成される。尚、未処理の撮像データに対する現像処理では、ガンマ補正処理、輝度データ（Ｙ）に対する輪郭強調処理、及び色差データ（Ｃｂ、Ｃｒ）に対する色差マトリクス処理等も行なわれるが、これらは公知の処理であるため、その詳細な説明は省略する。

輪郭成分抽出部１６Ｄは、第１動画像データのうちの輝度データ（Ｙ）を入力し、撮像画像内の被写体の輪郭成分を抽出する。輪郭成分は、輝度データ（Ｙ）に対して輪郭抽出フィルタ（例えば、ソーベルフィルタ）をかけて抽出することができる。

図３は、輝度データから抽出される輪郭成分等を示す波形図である。

図３（Ａ）は、輪郭部の輝度データ（Ｙ）の波形図である。同図に示すように、輪郭部では、輝度データ（Ａ）が大きく変化している。

図３（Ｂ）は、図３（Ａ）の輝度データ（Ｙ）から抽出された輪郭成分を示す波形図である。輪郭成分抽出部１６Ｄは、図３（Ｂ）に示すように輝度データ（Ｙ）が変化する部分（輪郭部）を抽出し、その変化の大きさに応じた振幅［Amp］を有する輪郭成分を出力する。この振幅［Amp］は、被写体のフォーカス状態の評価結果を示すフォーカス評価値に対応しており、振幅［Amp］（フォーカス評価値）が大きい程、フォーカス状態が良好であることを示す。

輪郭強調処理部１６Ｅは、第１動画像データのうちの色差データ（Ｃｂ、Ｃｒ）と、輪郭成分抽出部１６Ｄにより抽出された被写体の輪郭成分とを入力し、輪郭成分の振幅［Amp］に応じた輪郭強調処理を第１動画像データ（本例では、色差データ（Ｃｂ、Ｃｒ））に施す部分である。

本例の輪郭強調処理部１６Ｅは、第１動画像データに対して被写体の輪郭部に特定の色（例えば、赤色）を付加する処理（ピーキング処理）を行なう部分であり、輪郭成分抽出部１６Ｄにより抽出された輪郭成分の振幅［Amp］が、第１閾値を超える部分に対して特定の色を付加する。

ここで、第１閾値は、被写体のフォーカス状態が適正である場合に得られる、その被写体の輪郭成分の振幅のうちの最小の振幅に設定することが好ましい。したがって、フォーカス状態が適正である被写体は、その輪郭成分の振幅が第１閾値を超えることになる。

尚、輪郭抽出フィルタの種類により抽出される輪郭成分の振幅［Amp］が異なるため、第１閾値は、輪郭抽出フィルタの種類を考慮して設定することが好ましい。また、被写体の輪郭成分の振幅は環境光の強度により変動するため、第１閾値は、被写体の明るさにより適宜設定することが好ましい。

また、輪郭強調処理部１６Ｅは、輪郭成分抽出部１６Ｄにより抽出された輪郭成分の振幅［Amp］に応じて特定の色の濃度を変化させるピーキング処理を行なってもよいし、輪郭成分の振幅［Amp］が第１閾値を超える部分に対して、更に輪郭成分の振幅に応じて特定の色の濃度を変化させるピーキング処理を行なってもよい。

ピーキング処理が施された第１動画像データ（第３動画像データ）は、被写体の輪郭部（即ち、コントラストが高い部分）に特定の色が付加されているため、撮像領域のフォーカス状態の評価結果を含むデータであり、ピーキング処理は、フォーカス状態を評価する処理である。

図４は、ピーキング処理が施されていない第１動画像データの一例を示す波形図であり、図５は、ピーキング処理が施された第１動画像データ（第３動画像データ）の一例を示す波形図である。

ピーキング処理が施されていない第１動画像データが、図４に示す輝度データ（Ｙ）、及び色差データ（Ｃｂ、Ｃｒ）を有する場合、図５に示すピーキング処理が施された第１動画像データ（第３動画像データ）では、輝度データ（Ｙ）が切り替わっている画素（輪郭部）が、赤色になるように色差データ（Ｃｂ、Ｃｒ）の値が置き換えられる。

特定被写体領域設定部１６Ｆは、撮像データ又は第１動画像データが表す撮像領域内の、特定被写体を含む特定被写体領域を設定する処理を行なう。

ここで、本例の特定被写体とは、撮像領域内の主要被写体の一部の被写体をいう。

図６は、特定被写体及びピーキング範囲の一例を示す図である。

図６（Ａ）に示すように撮像領域において、人物の顔が大きく写っている動画像の場合、人物の顔が主要被写体であり、人物の顔パーツ（本例では、「口元」）が特定被写体である。図６（Ａ）に示す特定被写体領域Ｒは、「口元」を含む矩形の領域である。

また、特定被写体領域Ｒは、ピーキング処理を施すピーキング範囲であり、特定被写体を含む領域である。図６（Ｂ）に示す動画像では、「口元」のみにピーキング処理が施される。

尚、人物の顔が主要被写体の場合、特定被写体は、「口元」に限らず、「目元」（一方の目のみを含む）、「鼻」、あるいは「頭髪」等でもよい。また、花を接写しているシーンの場合、「雌しべ」あるいは「雄しべ」を特定被写体とすることができる。

また、撮像領域内の人物が小さい場合、人物の顔全体を特定被写体とすることができ、撮像領域内に複数の花が存在する場合には、複数の花のうちの１つを特定被写体とすることができる。

特定被写体は、主要被写体の一部であり、特定被写体に焦点が合っている場合には、主要被写体にも焦点が合っている関係にあることが好ましい。撮像領域に対して主要被写体の領域が十分に小さい場合には、主要被写体を特定被写体としてもよい。

特定被写体領域設定部１６Ｆは、ユーザによる特定被写体の指示入力に基づいて特定被写体領域を設定することができる。この場合、ユーザは、表示部２０に表示されるライブビュー画像を見ながら、タッチパネル等を使用して特定被写体を指定することができる。

また、特定被写体領域設定部１６Ｆは、動画像の撮像開始時の撮像領域の中央領域を、特定被写体領域として自動設定することができる。この場合、ユーザは、動画像の撮像開始時に特定被写体が撮像領域の中央領域に入るようにフレーミングを行なうことが好ましい。

更に、特定被写体領域設定部１６Ｆは、特定被写体の動きを検出し、特定被写体の動きに応じて特定被写体領域（位置、サイズ）を変更することが好ましい。特定被写体の動きは、第１動画像データを構成する各フレームにおいて、特定被写体の特徴点を追跡することにより検出することができる。

合成処理部１６Ｇは、第１動画像データ、第３動画像データ、及び特定被写体領域設定部１６Ｆにより設定された特定被写体領域のデータを入力し、これらのデータに基づいて特定被写体領域のフォーカス状態が視認可能な動画像データ（第２動画像データ）を生成する。

合成処理部１６Ｇは、特定被写体領域を除く第１動画像データと、特定被写体領域の第３動画像データとを合成して第２動画像データを生成する。合成処理部１６Ｇは、第１動画像データの特定被写体領域に対応する部分を消去し、その部分に特定被写体領域の第３動画像データを嵌め込み合成して第２動画像データを生成することができる。

尚、第２動画像データの生成は、特定被写体領域を除く第１動画像データと特定被写体領域の第３動画像データとを合成して第２動画像データを生成する場合に限らず、特定被写体領域のデータ、フォーカス状態の評価結果、及び第１動画像データに基づいて、第１動画像データの特定被写体領域のみにピーキング処理を施すことで、第２動画像データを生成するようにしてもよい。この場合、画面全体にピーキング処理が施された第３動画像データの生成は不要になる。

また、特定被写体領域のフォーカス状態の評価結果に基づいて特定被写体の輪郭部に特定の色を付加するピーキング処理を行うことで第２動画像データを生成する場合に限らず、特定被写体の輪郭部を強調するエッジ強調処理を行うことで第２動画像データを生成するようにしてもよく、要はフォーカス状態の評価結果に基づくデータを付加する処理を行うことで第２動画像データを生成する処理であればよい。

図６（Ｂ）は、特定被写体領域Ｒのみにピーキング処理が施された第２動画像データに対応するライブビュー画像の一例を示す。

第２動画像データは、第１動画像データにおいて、特定被写体領域Ｒのみにピーキング処理が施された動画像データであり、図６（Ｂ）に示すように特定被写体である「口元」を含む特定被写体領域Ｒのみにピーキング処理が施される。

ユーザは、フォーカスリングを操作して主要被写体（特定被写体）に撮像レンズ１２の焦点を合わせる場合、表示部２０に表示されるライブビュー画像を見ながら（特定被写体のフォーカス状態を確認しながら）、フォーカスリングを操作する。

即ち、ユーザは、特定被写体領域Ｒのみにピーキング処理が施されたライブビュー画像を見ながら、特定被写体領域Ｒ内の特定被写体の輪郭部を強調する特定の色が現れるように、あるいは特定の色の濃度が最大になるようにフォーカスリングを操作することで、表示部２０の画面サイズが小さくても良好にマニュアルフォーカスを行なうことができる。

また、撮像領域全体ではなく、ユーザがピントを合わせたい一部（特定被写体領域Ｒ）のみにピーキング処理が施されるため、動画像撮像中でもライブビュー画像を見ながら、特定被写体領域Ｒのフォーカス状態を確認することができる。また、撮像領域全体にピーキング処理が施されていないため、例えば、人物の表情などの主要被写体の確認、及びフレーミング確認も適切に行なうことができる。

図７は、第１動画像データの記録先、及び第２動画像データの表示先を示す図である。

プロセッサ１６は、ピーキング処理が施されていない第１動画像データを、記録先として記録部２２Ａ又は第２接続部２２Ｂに接続された外部記録機器に出力することができる。

記録部２２Ａは、例えば、入出力インターフェース２２のカード接続部に装着されたメモリカードを含み、プロセッサ１６から入力する第１動画像データをメモリカードに記録する。

第２接続部２２Ｂは、例えば、入出力インターフェース２２のＵＳＢ、ＨＤＭＩ等であり、第２接続部２２Ｂに外部記録機器が接続されている場合には、外部記録機器は、プロセッサ１６から入力する第１動画像データを記録することができる。

プロセッサ１６は、圧縮処理部１６Ｈを備え、圧縮処理部１６Ｈにより圧縮した第１動画像データを記録部２２Ａ又は第２接続部２２Ｂに出力することが好ましい。

圧縮処理部１６Ｈでの圧縮処理は、所定の圧縮形式の動画像ファイルを生成する処理である。圧縮の際のコーデックには、公知ものを採用できる。例えば、ＭＰＥＧ（Moving Picture Experts Group）により標準化されたコーデック（ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４等）、Ｈ．２６４等を採用することができる。

また、第２接続部２２Ｂに接続された外部記録機器が大容量の記憶容量を有する場合、プロセッサ１６は、非圧縮の第１動画像データを第２接続部２２Ｂに出力することができる。

プロセッサ１６は、ピーキング処理が施された第１動画像データ（第２動画像データ）を、表示先として表示部２０又は第１接続部２２Ｃに接続された外部表示機器に出力する。

表示部２０は、スタンバイ中及び動画像撮像中にプロセッサ１６から入力する第２動画像データに基づいてライブビュー画像を表示することができる。

第１接続部２２Ｃは、例えば、入出力インターフェース２２のＵＳＢ、ＨＤＭＩ等であり、第１接続部２２Ｃに外部表示機器が接続されている場合には、外部表示機器は、プロセッサ１６から入力する第２動画像データに基づいてライブビュー画像を表示することができる。

尚、本例の第１動画像データ及び第２動画像データは、輝度データ（Ｙ）及び色差データ（Ｃｂ、Ｃｒ）であるが、輝度データ（Ｙ）及び色差データ（Ｃｂ、Ｃｒ）をＲＧＢデータに変換した動画像データでもよい。

［画像処理方法］
本発明に係る画像処理方法は、マニュアルフォーカスを支援する動画像データを生成する方法であり、図２に示したプロセッサ１６が各処理の主体となって動画像データを生成する。

＜第１実施形態＞
図８は、本発明に係る画像処理方法の第１実施形態を示すフローチャートである。

図８において、動画像の撮像を開始する場合、ユーザは、任意の特定被写体を選択する（ステップＳ１０）。これは、特定被写体を含む主要被写体に対するフォーカス状態を確認するためである。また、任意の特定被写体の選択は、ライブビュー画像を表示する表示部２０及びタッチパネル等のユーザインターフェースを使用して行なうことができる。

プロセッサ１６の特定被写体領域設定部１６Ｆは、ユーザによる特定被写体の指示入力を受け付けると、撮像領域内の特定被写体領域Ｒを設定する（ステップＳ１２）。この特定被写体領域Ｒは、ピーキング処理を施すピーキング範囲である。

プロセッサ１６は、撮像部１４から撮像データを取得する（ステップＳ１４）。

特定被写体領域設定部１６Ｆは、撮像データに基づいてユーザが選択した特定被写体を追尾し、特定被写体領域Ｒを更新する（ステップＳ１６）。特定被写体が動いてもユーザが確認したい主要被写体のフォーカス状態を確認するためである。尚、特定被写体の追尾は、撮像データから生成される第１動画像データに基づいて行なうようにしてもよい。

プロセッサ１６は、ステップＳ１４で取得した撮像データ（ＲＡＷデータ）を現像処理し、記録用の第１動画像データ（ピーキングＯＦＦの第１動画像データ）を生成する（ステップＳ１８）。

続いて、プロセッサ１６（輪郭成分抽出部１６Ｄ、輪郭強調処理部１６Ｅ）は、撮像データ又は第１動画像データに基づいてピーキング処理した第３動画像データ（ピーキングＯＮの第１動画像データ）を生成する（ステップＳ２０）。第３動画像データは、撮像領域の全範囲をピーキング範囲として、第１動画像データをピーキング処理した動画像データである。

合成処理部１６Ｇは、第１動画像データ、第３動画像データ、及び特定被写体領域設定部１６Ｆにより設定された特定被写体領域のデータに基づいて、特定被写体領域のフォーカス状態が視認可能な表示用の第２動画像データを生成する（ステップＳ２２）。即ち、合成処理部１６Ｇは、第１動画像データと特定被写体領域のデータに基づいて特定被写体領域を除く第１動画像データを生成し、一方、第３動画像データと特定被写体領域のデータに基づいて特定被写体領域の第３動画像データを生成し、特定被写体領域を除く第１動画像データと特定被写体領域の第３動画像データとを合成し、第２動画像データを生成する。

プロセッサ１６は、表示用の第２動画像データを表示先のカメラの表示部２０に出力し、特定被写体領域のフォーカス状態が視認可能な画像（ライブビュー画像）を表示させる（ステップＳ２４）。

また、プロセッサ１６は、動画記録中か否かを判別し（ステップＳ２６）、動画記録中の場合（「Yes」の場合）には、ステップＳ１８で生成した記録用の第１動画像データを記録部２２Ａに記録する（ステップＳ２８）。

動画記録中でない場合（「No」の場合）には、ステップＳ２８を経由せずにステップＳ３０に遷移させる。例えば、動画撮影開始前のライブビュー画像表示中が、動画記録中でない場合に相当する。

続いて、プロセッサ１６は、ピーキング表示を終了させるか否かを判別し（ステップＳ３０）、ピーキング表示を終了させないと判別すると（「No」の場合）、ステップＳ１４に遷移し、次のフレームの撮像データに対してステップＳ１４からステップＳ３０の処理を繰り返す。ピーキング表示を終了させるか否かの判別は、例えば、ユーザがピーキング設定をオフに変更する指示入力の有無に基づいて行なうことができる。

プロセッサ１６は、ピーキング表示を終了させると判別すると（「Yes」の場合）、本処理を終了する。

画像処理方法の第１実施形態によれば、撮像領域全体ではなく、ユーザがピントを合わせたい主要被写体の一部（特定被写体領域Ｒ）のみにピーキング処理を施すようにしたため、人物の表情などの主要被写体の確認、及びフレーミング確認も適切に行なうことができる。

また、第１実施形態の変形例として、プロセッサ１６は、特定被写体領域Ｒの特定被写体のフォーカス評価値（振幅［Amp］）が、合焦と見なせる閾値（第２閾値）を超える場合、第２動画像データに代えて、第１動画像データを表示先（表示部２０又は第１接続部２２Ｃ）に出力するようにしてもよい。

これによれば、ユーザは、フォーカスレンズが主要被写体に合焦している場合、ピーキングなしのライブビュー画像を見ることができ、主要被写体の確認をより一層容易にすることができる。

＜第２実施形態＞
図９は、本発明に係る画像処理方法の第２実施形態を示すフローチャートである。

画像処理方法の第２実施形態は、図８に示した第１実施形態と比較してピーキング表示の表示方法が異なるため、第１動画像データ及び第２動画像データの生成方法の説明は省略する。

画像処理方法の第２実施形態は、第１動画像データ（ピーキングなし）と第２動画像データ（ピーキングあり）とを第１時間毎に交互に表示先に出力する。

図９において、フレームカウンタ変数「count」を「０」にリセットし、画像セレクタ変数「sel」を「１」にセットする（ステップＳ１００）。

続いて、プロセッサ１６は、画像セレクタ変数「sel」が「０」よりも大きいか否か（sel＞０）を判別する（ステップＳ１０２）。sel＞０の場合（「Yes」の場合）には、ステップＳ１０４に進み、ここで第２動画像データにより「ピーキングあり」のライブビュー画像を表示部２０に表示させる。

一方、sel＞０でない場合（「No」の場合）には、ステップＳ１０６に進み、ここで第１動画像データにより「ピーキングなし」のライブビュー画像を表示部２０に表示させる。尚、撮像開始時には、画像セレクタ変数「sel」が「１」にセットされているため、「ピーキングあり」のライブビュー画像が表示部２０に表示される。

次に、プロセッサ１６は、フレームカウンタ変数「count」を１だけインクリメントし（ステップＳ１０８）、フレームカウンタ変数「count」がＮ未満か否か（count＜Ｎ）を判別する（ステップＳ１１０）。

いま、フレームレートが３０ｆｐｓであり、「ピーキングあり」のライブビュー画像と、「ピーキングなし」のライブビュー画像とを１～２秒毎に交互に表示させる場合には、Ｎは、３０～６０の範囲内の値に設定することが好ましい。

ステップＳ１１０において、count＜Ｎと判別されると（「Yes」の場合）、ステップＳ１１４に遷移させ、count＜Ｎでないと判別されると（「No」の場合）、ステップＳ１１２に遷移させる。尚、撮像開始時からＮフレームの撮像までは、count＜Ｎを満たすため、ステップＳ１１４に遷移させる。

次に、プロセッサ１６は、ピーキング表示を終了させるか否かを判別し（ステップＳ１１４）、ピーキング表示を終了させないと判別すると（「No」の場合）、ステップＳ１０２に遷移し、次のフレームの撮像データに対してステップＳ１０２からステップＳ１１４の処理を繰り返す。

一方、「ピーキングあり」のライブビュー画像の表示が第１時間（Ｎフレーム）継続すると、ステップＳ１１０において、count＜Ｎではないと判別され（「No」の場合）、ステップＳ１１２に遷移する。ステップＳ１１２では、フレームカウンタ変数「count」を「０」にリセットし、かつsel＝sel×(-1)とし、画像セレクタ変数「sel」の符号を反転させる。尚、撮像開始時には、画像セレクタ変数「sel」は「１」に設定されるため、撮像開始から第１時間後（Ｎフレーム後）の画像セレクタ変数「sel」は、「－１」に符号が反転される。

画像セレクタ変数「sel」が「－１」の場合、ステップＳ１０２において、sel＞０ではないと判別され、ステップＳ１０６に進み、ここで第１動画像データにより「ピーキングなし」のライブビュー画像を表示部２０に表示させる。

上記のようにしてプロセッサ１６は、第２動画像データによる「ピーキングあり」のライブビュー画像と第１動画像データによる「ピーキングなし」のライブビュー画像とを、第１時間（Ｎフレーム）毎に切り替えて表示部２０に表示させる。

画像処理方法の第２実施形態によれば、第１時間毎にピーキング表示が消えるため、主要被写体の確認がより一層容易になる。

＜第３実施形態＞
図１０は、本発明に係る画像処理方法の第３実施形態を示すフローチャートである。

画像処理方法の第３実施形態は、図８に示した第１実施形態と比較してピーキング表示の表示方法が異なるため、第１動画像データ及び第２動画像データの生成方法の説明は省略する。

画像処理方法の第３実施形態は、マニュアルフォーカスが不要な場合に「ピーキングなし」のライブビュー画像を表示し、マニュアルフォーカスが必要な場合に「ピーキングあり」のライブビュー画像を表示させる。

図１０において、フレームカウンタ変数「count」を「０」にリセットする（ステップＳ２００）。

続いて、プロセッサ１６の輪郭成分抽出部１６Ｄは、特定被写体領域Ｒの輝度データ（Ｙ）から特定被写体の輪郭成分を抽出し、輪郭成分の振幅［Amp_n］を取得する（ステップＳ２０２）。

振幅［Amp_n］は、現フレームｎの振幅［Amp］（図３（Ｂ））を示す。また、振幅［Amp_n］は、特定被写体の輪郭成分の振幅が閾値ｔｈ以上の画素の振幅を平均した値をとすることが望ましい。

プロセッサ１６は、過去の（ｋ＋１）フレーム分の振幅［Amp_n］～［Amp_n-k］から、振幅［Amp］の増減傾向を取得する（ステップＳ２０４）。振幅の増減傾向は、例えば、フレーム毎に直前フレームの振幅との差分ΔAmp_nを算出し、k+1フレーム分のΔAmp_n～ΔAmp_n-kの平均値が０未満の場合は減少傾向、０以上の場合は増加傾向とすることができる。

続いて、プロセッサ１６は、振幅［Amp］の増減傾向が減少傾向にあるか否かを判別する（ステップＳ２０６）。

図１１は、輪郭成分の振幅［Amp］の推移の一例を示す図である。図１１に示す例は、振幅［Amp］の増減傾向が減少傾向にある場合に関して示している。

ステップＳ２０６において、振幅［Amp］の増減傾向が減少傾向にあると判定されると（「Yes」の場合）、プロセッサ１６は、第２動画像データを表示部２０に出力し、「ピーキングあり」のライブビュー画像を表示部２０に表示させる（ステップＳ２０８）。

続いて、フレームカウンタ変数「count」を「０」にリセットし（ステップＳ２１０）、ステップＳ２２２に遷移させる。

ステップＳ２２２では、ピーキング表示を終了させるか否かが判別される。ピーキング表示を終了させないと判別されると（「No」の場合）、ステップＳ２０２に遷移し、次のフレームの撮像データに対してステップＳ２０２からステップＳ２２２の処理が繰り返えされる。

一方、ステップＳ２０６において、振幅［Amp］の増減傾向が減少傾向にないと判定されると（「No」の場合）、ステップＳ２１２に遷移し、ここで、フレームカウンタ変数「count」がＭ未満か否か（count＜Ｍ）が判別される。

ここでは、フォーカス評価値に対応する振幅［Amp］の減少傾向にない状態が、Ｍフレーム分継続（第２時間継続）するか否かが判別される。第２時間は、３～５秒程度が好ましく、フレームレートが３０ｆｐｓの場合には、Ｍは、９０～１５０の範囲内の値に設定することが好ましい。

ステップＳ２１２において、count＜Ｍと判別されると（「Yes」の場合）、ステップＳ２１４に遷移させる。ステップＳ２１４では、第２動画像データに基づいて「ピーキングあり」のライブビュー画像を表示部２０に表示させる（ステップＳ２０８）。

続いて、フレームカウンタ変数「count」を１だけインクリメントし（ステップＳ２１６）、ステップＳ２２２に遷移させる。

一方、ステップＳ２１２において、count＜Ｍでないと判別されると（「No」の場合）、即ち、振幅［Amp］が減少傾向になく、かつ減少傾向にない状態が、Ｍフレーム以上継続すると、プロセッサ１６は、第１動画像データを表示部２０に出力し、「ピーキングなし」のライブビュー画像を表示部２０に表示させ（ステップＳ２１８）、フレームカウンタ変数「count」を１だけインクリメントする（ステップＳ２２０）。

上記のようにしてプロセッサ１６は、振幅［Amp］が減少傾向になく、かつ減少傾向にない状態がＭフレーム以上（第２時間以上）継続すると、フォーカス状態が安定していてマニュアルフォーカスが不要である判定し、ピーキング表示を消し、ユーザによる主要被写体の確認をより一層容易にさせる。

一方、振幅［Amp］の増減傾向が減少傾向に変化すると（フォーカス状態が悪くなると）、プロセッサ１６は、ステップＳ２０６からステップＳ２０８に遷移させ、ピーキング表示を再開するため、ユーザはフォーカス状態が悪くなったことを容易に把握することができる。

尚、図１０には図示していないが、ユーザがフォーカスリングを操作し、フォーカスレンズのフォーカス位置が動いた場合は、ピーキング表示を再開するのが望ましい。

画像処理方法の第３実施形態によれば、フォーカス状態が安定していてマニュアルフォーカスが不要の場合、ピーキング表示を消すようにしたため、ユーザによる主要被写体の確認がより一層容易になる。

＜第４実施形態＞
図１２は、本発明に係る画像処理方法の第４実施形態を示すフローチャートである。

画像処理方法の第４実施形態は、第１実施形態から第３実施形態と比較してピーキング表示に加えて、フォーカス評価値が良好である否かをユーザに報知する点で相違するため、ピーキング表示方法の説明は省略する。

「ピーキングあり」のライブビュー画像を見ながら、ユーザがフォーカスリングを操作し、フォーカスレンズのフォーカス位置を移動させる場合に、フォーカスレンズを移動させすぎたり、フォーカスレンズを繰り返し往復移動させる場合が多い。

画像処理方法の第４実施形態は、マニュアルフォーカス中にフォーカス評価値が高くなり、フォーカスレンズの移動が不要であることをユーザに知らせ、フォーカスレンズの動かしすぎを防止する。

図１２において、プロセッサ１６の輪郭成分抽出部１６Ｄは、最新フレームの特定被写体領域Ｒの輝度データ（Ｙ）から特定被写体の輪郭成分を抽出し、輪郭成分の振幅［Amp_n］を取得する（ステップＳ３００）。

プロセッサ１６は、直近の複数フレームに対するフォーカス評価値のうちの最大値となる最大評価値を取得する。即ち、プロセッサ１６は、直近のｈフレーム分の輪郭成分の振幅［Amp_n-1］～［Amp_n-h］のうち最も高い振幅［Amp_max］を取得する（ステップＳ３０２）。ｈフレームは、マニュアルフォーカス時にフォーカスリングを一方の方向に回転させる時間に対応するフレーム数であることが好ましい。

続いて、プロセッサ１６は、ユーザがフォーカスリングを操作し、フォーカスレンズのフォーカス位置を変えたか否かを判別する（ステップＳ３０４）。フォーカス位置が変化したと判別すると（「Yes」の場合）、プロセッサ１６は、ステップＳ３００で取得した最新フレームのフォーカス評価値（振幅［Amp_n］）が、ステップＳ３０２で取得した最大評価値（振幅［Amp_max］）に基づいて設定される許容値を超えているか否かを判別する。ここで、許容値は、最大の振幅［Amp_max］に一定の割合（ratio)を乗算した値（Amp_max * ratio）である。

最新フレームの振幅［Amp_n］が許容値（Amp_max * ratio）を超えている場合（「Yes」の場合）、プロセッサ１６は、フォーカス評価値が高いことを示す報知情報（例えば、アイコン）を表示部２０に表示させ、ユーザに最新フレームが合焦していることを報知する（ステップＳ３０８）。

一方、最新フレームの振幅［Amp_n］が許容値（Amp_max * ratio）を超えていない場合（「No」の場合）、プロセッサ１６は、ステップＳ３０８の処理を行わずに、ステップＳ３１０に遷移させる。

ステップＳ３１０では、ピーキング表示を終了させるか否かが判別される。ピーキング表示を終了させないと判別されると（「No」の場合）、ステップＳ３００に遷移し、次のフレームに対してステップＳ３００からステップＳ３１０の処理を繰り返えす。

画像処理方法の第４実施形態によれば、マニュアルフォーカス期間中に最新フレームのフォーカス評価値が許容値を超える場合、フォーカス評価値が高いことをユーザが知ることができ、これによりマニュアルフォーカスによるフォーカスレンズの動かしすぎを防止することができる。

［その他］
本実施形態の表示用の第２動画像データは、特定被写体領域にピーキング処理が施され、特定被写体のフォーカス状態が視認可能な動画像データであるが、これに限らず、ピーキング処理以外の方法により特定被写体のフォーカス状態を視認可能にした動画像データでもよい。ピーキング処理以外の方法としては、例えば、フォーカス状態の評価結果に応じて特定被写体領域を意図的にぼかしたり、特定被写体を囲む枠の表示形態を変化させる方法等が考えられ、要は特定被写体のフォーカス状態を容易に確認できる動画像データが生成されればよい。

また、特定被写体のフォーカス状態の評価結果を示すフォーカス評価値としては、特定被写体の輪郭成分の振幅に限らず、例えば、特定被写体領域の動画像データの高周波成分の絶対値の積算値や、位相差画素を有する撮像素子の場合、特定被写体領域の位相差画素から得られる位相差データをフォーカス評価値とすることができる。

本実施形態において、例えば、プロセッサ１６の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

また、本発明は、コンピュータにインストールされることにより、コンピュータを本発明に係る画像処理装置として機能させる画像処理プログラム、及びこの画像処理プログラムが記録された不揮発性の記憶媒体を含む。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０ 撮像装置
１２ 撮像レンズ
１４ 撮像部
１６ プロセッサ
１６Ａ ホワイトバランス補正処理部
１６Ｂ デモザイク処理部
１６Ｃ 輝度・色差変換処理部
１６Ｄ 輪郭成分抽出部
１６Ｅ 輪郭強調処理部
１６Ｆ 特定被写体領域設定部
１６Ｇ 合成処理部
１６Ｈ 圧縮処理部
１８ メモリ
２０ 表示部
２２ 入出力インターフェース
２２Ａ 記録部
２２Ｂ 第２接続部
２２Ｃ 第１接続部
２４ 操作部
Ｒ 特定被写体領域
Ｓ１０～Ｓ３０、Ｓ１００～Ｓ１１４、Ｓ２００～Ｓ２２２、Ｓ３００～Ｓ３１０ ステップ

Claims (20)

1. プロセッサと、メモリとを備える画像処理装置において、
   前記プロセッサは、
   入力された撮像データに基づいて第１動画像データを生成する処理と、
   前記撮像データ又は前記第１動画像データが表す撮像領域内の、特定被写体を含む特定被写体領域を設定する処理と、
   前記撮像データ又は前記第１動画像データに基づいてフォーカス状態を評価する処理と、
   前記特定被写体領域のデータ、前記フォーカス状態の評価結果、及び前記第１動画像データに基づいて前記特定被写体領域のフォーカス状態が視認可能な第２動画像データを生成する処理と、
   前記第２動画像データを表示先に出力する処理と、を行い、
   前記プロセッサは、前記特定被写体のフォーカス状態の評価結果を示すフォーカス評価値を取得し、直近の複数フレームに対する前記フォーカス評価値のうちの最大値となる最大評価値を取得し、
   マニュアルフォーカス期間中に最新フレームのフォーカス評価値が、前記最大評価値に基づいて設定される許容値を超える場合に、前記最新フレーム内の前記特定被写体のフォーカス状態が良好であることを示す報知情報を前記表示先に出力する、
   画像処理装置。
2. プロセッサと、メモリとを備える画像処理装置において、
   前記プロセッサは、
   入力された撮像データに基づいて第１動画像データを生成する処理と、
   前記撮像データ又は前記第１動画像データが表す撮像領域内の、特定被写体を含む特定被写体領域を設定する処理と、
   前記撮像データ又は前記第１動画像データに基づいてフォーカス状態を評価する処理と、
   前記特定被写体領域のデータ、前記フォーカス状態の評価結果、及び前記第１動画像データに基づいて前記特定被写体領域のフォーカス状態が視認可能な第２動画像データを生成する処理と、
   前記第２動画像データ又は前記第１動画像データを表示先に出力する処理であって、前記特定被写体のフォーカス状態の評価結果を示すフォーカス評価値を取得し、前記取得したフォーカス評価値が減少傾向にある場合、前記第２動画像データを表示先に出力し、前記取得したフォーカス評価値が減少傾向になく、かつ前記減少傾向にない状態が第２時間継続する場合、前記第１動画像データを前記表示先に出力する処理と、を行う、
   画像処理装置。
3. プロセッサと、メモリと、を備える画像処理装置において、
   前記プロセッサは、
   入力された撮像データに基づいて第１動画像データを生成する処理と、
   前記撮像データ又は前記第１動画像データが表す撮像領域内の、特定被写体を含む特定被写体領域を設定する処理と、
   前記撮像データ又は前記第１動画像データに基づいてフォーカス状態を評価する処理と、
   前記特定被写体領域のデータ、前記フォーカス状態の評価結果、及び前記第１動画像データに基づいて前記特定被写体領域のフォーカス状態が視認可能な第２動画像データを生成する処理と、
   前記第２動画像データ又は前記第１動画像データを表示先に出力する処理であって、前記特定被写体のフォーカス状態の評価結果を示すフォーカス評価値を取得し、前記取得した前記フォーカス評価値が第２閾値未満の場合、前記第２動画像データを前記表示先に出力し、前記取得した前記フォーカス評価値が前記第２閾値を超える場合、前記第１動画像データを前記表示先に出力する処理と、を行う、
   画像処理装置。
4. 前記第２動画像データは、前記特定被写体領域のみのフォーカス状態が視認可能な動画像データである、
   請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記第２動画像データを生成する処理は、前記第１動画像データが表す撮像領域内の、前記特定被写体領域のデータが表す前記特定被写体領域に対して、前記フォーカス状態の評価結果に基づくデータを付加する処理を行うことで前記第２動画像データを生成する、
   請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記プロセッサは、前記撮像データ又は前記第１動画像データに基づいて前記特定被写体のフォーカス状態の評価結果を含む第３動画像データを生成し、前記特定被写体領域、前記第１動画像データ、及び前記第３動画像データに基づいて前記第２動画像データを生成する、
   請求項１から４のいずれか１項に記載の画像処理装置。
7. 前記プロセッサは、前記特定被写体領域を除く前記第１動画像データと、前記特定被写体領域の前記第３動画像データとを合成して前記第２動画像データを生成する、
   請求項６に記載の画像処理装置。
8. 前記フォーカス状態を評価する処理は、前記撮像データ又は前記第１動画像データに基づいて被写体の輪郭成分を抽出し、前記抽出した輪郭成分の振幅に応じた輪郭強調処理を前記第１動画像データに施す処理である、
   請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記輪郭強調処理は、前記抽出した輪郭成分の振幅が第１閾値を超える部分に対して特定の色を付加し、及び／又は前記輪郭成分の振幅に応じて特定の色の濃度を変化させる処理である、
   請求項８に記載の画像処理装置。
10. 前記プロセッサは、ユーザによる特定被写体の指示入力に基づいて前記特定被写体領域を設定する、
    請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記プロセッサは、前記特定被写体の動きを検出し、前記特定被写体の動きに応じて前記特定被写体領域を変更する、請求項１０に記載の画像処理装置。
12. 前記プロセッサは、前記第１動画像データと前記第２動画像データとを第１時間毎に交互に前記表示先に出力する、
    請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記撮像データを出力する撮像部と、
    請求項１から１２のいずれか１項に記載の画像処理装置と、
    を備えた撮像装置。
14. プロセッサと、メモリとを備える画像処理装置によりマニュアルフォーカスを支援する動画像データを生成する画像処理方法であって、
    前記プロセッサの各処理は、
    入力された撮像データに基づいて第１動画像データを生成するステップと、
    前記撮像データ又は前記第１動画像データが表す撮像領域内の、特定被写体を含む特定被写体領域を設定するステップと、
    前記撮像データ又は前記第１動画像データに基づいてフォーカス状態を評価するステップと、
    前記特定被写体領域のデータ、前記フォーカス状態の評価結果、及び前記第１動画像データに基づいて前記特定被写体領域のフォーカス状態が視認可能な第２動画像データを生成するステップと、
    前記第２動画像データを表示先に出力するステップと、を含み、
    前記プロセッサは、前記特定被写体のフォーカス状態の評価結果を示すフォーカス評価値を取得し、直近の複数フレームに対する前記フォーカス評価値のうちの最大値となる最大評価値を取得し、
    マニュアルフォーカス期間中に最新フレームのフォーカス評価値が、前記最大評価値に基づいて設定される許容値を超える場合に、前記最新フレーム内の前記特定被写体のフォーカス状態が良好であることを示す報知情報を前記表示先に出力する、
    画像処理方法。
15. プロセッサと、メモリとを備える画像処理装置によりマニュアルフォーカスを支援する動画像データを生成する画像処理方法であって、
    前記プロセッサの各処理は、
    入力された撮像データに基づいて第１動画像データを生成するステップと、
    前記撮像データ又は前記第１動画像データが表す撮像領域内の、特定被写体を含む特定被写体領域を設定するステップと、
    前記撮像データ又は前記第１動画像データに基づいてフォーカス状態を評価するステップと、
    前記特定被写体領域のデータ、前記フォーカス状態の評価結果、及び前記第１動画像データに基づいて前記特定被写体領域のフォーカス状態が視認可能な第２動画像データを生成するステップと、
    前記第２動画像データ又は前記第１動画像データを表示先に出力するステップであって、前記特定被写体のフォーカス状態の評価結果を示すフォーカス評価値を取得し、前記取得したフォーカス評価値が減少傾向にある場合、前記第２動画像データを前記表示先に出力し、前記取得したフォーカス評価値が減少傾向になく、かつ前記減少傾向にない状態が第２時間継続する場合、前記第１動画像データを前記表示先に出力するステップと、
    を含む画像処理方法。
16. プロセッサと、メモリとを備える画像処理装置によりマニュアルフォーカスを支援する動画像データを生成する画像処理方法であって、
    前記プロセッサの各処理は、
    入力された撮像データに基づいて第１動画像データを生成するステップと、
    前記撮像データ又は前記第１動画像データが表す撮像領域内の、特定被写体を含む特定被写体領域を設定するステップと、
    前記撮像データ又は前記第１動画像データに基づいてフォーカス状態を評価するステップと、
    前記特定被写体領域のデータ、前記フォーカス状態の評価結果、及び前記第１動画像データに基づいて前記特定被写体領域のフォーカス状態が視認可能な第２動画像データを生成するステップと、
    前記第２動画像データ又は前記第１動画像データを表示先に出力するステップであって、前記特定被写体のフォーカス状態の評価結果を示すフォーカス評価値を取得し、前記取得した前記フォーカス評価値が第２閾値未満の場合、前記第２動画像データを前記表示先に出力し、前記取得した前記フォーカス評価値が前記第２閾値を超える場合、前記第１動画像データを前記表示先に出力するステップと、
    を含む画像処理方法。
17. 前記撮像データ又は前記第１動画像データに基づいて前記特定被写体のフォーカス状態の評価結果を含む第３動画像データを生成するステップを更に含み、
    前記第２動画像データを生成するステップは、前記特定被写体領域、前記第１動画像データ、及び前記第３動画像データに基づいて前記第２動画像データを生成する、
    請求項１４から１６のいずれか１項に記載の画像処理方法。
18. 前記第２動画像データを生成するステップは、前記特定被写体領域を除く前記第１動画像データと、前記特定被写体領域の前記第３動画像データとを合成して前記第２動画像データを生成する、
    請求項１７に記載の画像処理方法。
19. 入力された撮像データに基づいて第１動画像データを生成する機能と、
    前記撮像データ又は前記第１動画像データが表す撮像領域内の、特定被写体を含む特定被写体領域を設定する機能と、
    前記撮像データ又は前記第１動画像データに基づいてフォーカス状態を評価する機能と、
    前記特定被写体領域のデータ、前記フォーカス状態の評価結果、及び前記第１動画像データに基づいて前記特定被写体領域のフォーカス状態が視認可能な第２動画像データを生成する機能と、
    前記第２動画像データを表示先に出力する機能と、
    前記特定被写体のフォーカス状態の評価結果を示すフォーカス評価値を取得し、直近の複数フレームに対する前記フォーカス評価値のうちの最大値となる最大評価値を取得する機能と、
    マニュアルフォーカス期間中に最新フレームのフォーカス評価値が、前記最大評価値に基づいて設定される許容値を超える場合に、前記最新フレーム内の前記特定被写体のフォーカス状態が良好であることを示す報知情報を前記表示先に出力する機能と、
    をコンピュータに実現させる画像処理プログラム。
20. 非一時的かつコンピュータ読取可能な記録媒体であって、請求項１９に記載のプログラムが記録された記録媒体。

Images