JP5760324B2 - 画像処理装置、画像処理方法、画像処理プログラム並びにこの画像処理プログラムが記録された記録媒体 - Google Patents

Description

本発明は、画像処理装置等に係り、ボカシ処理等の画像処理を行う画像処理装置、画像処理方法および画像処理プログラム並びにこの画像処理プログラムが記録された記録媒体に関する。

近年、デジタルカメラの普及により、デジタルカメラによる静止画像の撮影後に、撮影された静止画像に対して様々なデジタル画像処理が行われるようになっている。ボカシ処理もその一つである。ボカシ処理とは、静止画像のボケ量を変更する処理のことである。

ボカシ処理の技術として、静止画像に対して合焦させたい画素を選択すると、この画素に対応する部分に合焦されるように、一意に静止画像の各画素に対応する部分のボケ量を変更してボケ画像を生成するという技術がある。この技術は、同一のシーンの静止画像を焦点距離に応じて複数枚用意し、これらの複数枚の静止画像を元に３次元的な距離を算出することで、ボケ量を変更している（例えば、特許文献１参照）。

しかし、ボカシ処理を行うために、複数の焦点距離で取得した静止画像が必要であり、１枚の静止画像だけでボカシ処理を行うことができなかった。

そこで、１枚の静止画像が表示された表示部に指でタッチすると、タッチした位置の画素（以下、「注目画素」という）に対応する部分に合焦するように、当該静止画像のデプス・マップ（Depth Map）に応じてボカシ処理を行う技術が提案された（例えば、特許文献２参照）。デプス・マップとは、撮影時のレンズと被写体との距離（以下、「レンズ−被写体間距離」という）を示す距離データを、撮影した静止画像に写り込んだ被写体を構成している複数の画素のかたまりごと若しくは画素ごとに対応させたものの集合をいう。したがって、デプス・マップの距離データを参照することにより、レンズ−被写体間距離がわかる。

図１４は、表示部に表示された静止画像を示す説明図である。
静止画像７０２は、犬の被写体７０３およびこの被写体７０３に近接する猫の被写体７０４を含む画像である。

図１５は、撮影時（静止画像７０２取得時）の撮像レンズ７０６と被写体７０３，７０４の位置関係を示す説明図である。
図１５に示すように、被写体７０３は、被写体７０４よりも撮像レンズ７０６から近い位置にある。一方、被写体７０４は、被写体７０３よりも撮像レンズ７０６から遠い位置にある。すなわち、静止画像７０２において、被写体７０３を構成する各画素に対応する部分のレンズ−被写体間距離は、被写体７０４を構成する各画素に対応する部分のレンズ−被写体間距離よりも近くなる。

図１６は、図１４に示した静止画像７０２の水平方向の破線位置の各画素に対応する部分のデプス・マップを示す分布図である。
縦軸は各画素に対応する部分の距離データが示すレンズ−被写体間距離を表しており、横軸は各画素の画素番号を示している。
被写体７０３の左端である鼻の位置７０７に対応する画素番号７１１のレンズ−被写体間距離が最も近くなる。一方、被写体７０４の浮き輪の右端の位置７０８に対応する画素番号７１２のレンズ−被写体間距離が最も遠くなる。なお、画素番号７１１の画素（以下、「鼻画素」という）および画素番号７１２の画素（以下、「浮き輪画素」という）は互いに近隣画素であるが、それぞれの画素間でレンズ−被写体間距離が大幅に異なっている。

図１７は、図１４〜図１６で説明したような静止画像７０２に対してユーザが注目画素の選択を行う様子を示す説明図である。
ユーザは、鼻画素を注目画素として選択したい場合、静止画像７０２の鼻付近を指７０５でタッチする。このとき鼻画素が正確にタッチされていれば、鼻画素が注目画素として選択され、この鼻画素に対応する部分に合焦するようにボカシ処理がなされる。

特開２００３−１４１５０６号公報 特開２００９−１５８２８号公報

しかしながら、ユーザの指７０５の太さや接触する面積の違いにより、鼻画素の近隣画素である浮き輪画素が注目画素として選択される可能性がある。この場合、合焦したい鼻画素に対応する部分と大きくレンズ−被写体間距離が異なる浮き輪画素に対応する部分に合焦するようにボカシ処理がなされてしまう。

以上のように、特許文献２に記載された技術では、ユーザが希望する画素を選択できていないことがあり、ユーザが合焦させたいと指示した画素の位置（以下、「合焦ポイント」）がずれる可能性があるが、合焦ポイントがどこかを確認する手段がない。そのため、近隣画素間でレンズ−被写体間距離が大幅に異なるような静止画像で、ユーザの意図しないボカシ処理が行われてしまうという問題が生じる。

なお、特許文献１に記載された技術においても、合焦ポイントがどこかを確認する手段がない。そのため、近接する画素間でレンズ−被写体間距離が大幅に異なるような静止画像で合焦ポイントがずれていても気づかずに、意図しないボカシ処理が行われてしまうという、特許文献２に記載された技術と同様の問題がある。

本発明は、斯かる点に鑑みてなされたものであり、自身が選択した合焦ポイントを確実に把握でき、ユーザの思い通りのボケ画像を得られるようにすることを目的とする。

上記課題を解決するため、本発明は、指示体のタッチ位置を検出する機能を有する表示部を備える。この表示部に表示されている画像を構成する各画素の中から、指示体の位置に対応する画素である注目画素を特定し、該注目画素を示すためのアイコンを表示部の画面上に表示する。そして、画像を構成する各画素に対応する距離データを利用して、注目画素に対応する部分に合焦した画像を生成する。

本発明の上述した構成によれば、注目画素を示すアイコンを表示部に表示し、この注目画素に対応する部分に合焦したボケ画像が生成される。

本発明によれば、ユーザはアイコンによって注目画素の位置を目視確認することができる。この結果、ユーザは自分が選択した注目画素を確認できるので、ユーザの思い通りのボケ画像を得ることができる、という効果がある。

本発明の一実施形態に係る画像処理装置を示す外観構成図である。 本発明の一実施形態に係る画像処理装置の構成を示す機能ブロック図である。 本発明の一実施形態に係る画像処理装置の動作を示すフローチャートである。 図３のステップＳ６の処理のとき表示パネルに表示される画面を示す説明図である。 図３のステップＳ８の処理のとき表示パネルに表示される画面を示す説明図である。 図３のステップＳ９の処理のとき表示パネルに表示される画面を示す説明図である。 図３のステップＳ１０の処理のとき表示パネルに表示される画面を示す説明図である。 図３のステップＳ１１の処理のとき表示パネルに表示される画面を示す説明図である。 図３のステップＳ１２の処理のとき表示パネルに表示される画面を示す説明図である。 図３のステップＳ１４の処理のとき表示パネルに表示される画面を示す説明図である。 図３のステップＳ１５の処理のとき表示パネルに表示される画面を示す説明図である。 本発明の一実施形態に係る画像処理装置による注目輪郭検出処理を示す説明図である。 変形例に係る画像処理装置を示す説明図である。 従来の画像処理装置の表示部に表示された静止画像を示す説明図である。 図１４に示す静止画像取得時の撮像レンズと被写体の位置関係を示す説明図である。 図１４に示す点線の位置にある各画素に対応する部分のデプス・マップを示す分布図である。 図１４に示す静止画像に対してユーザが注目画素の選択を行う様子を示す説明図である。

以下、本発明を実施するための実施形態例について説明する。以下に述べる実施の形態例は、本発明の好適な具体例である。そのため、技術的に好ましい種々の限定が付されている。しかしながら、本発明は、下記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以下の説明で挙げる各パラメータの数値的条件は好適例に過ぎず、説明に用いた各図における寸法、形状および配置関係も概略的なものである。

以下の手順で説明を行う。
＜一実施形態例＞
１．画像処理装置の外観構成
２．画像処理装置の機能的構成
３．画像処理装置の動作

＜本発明の一実施形態例＞
本発明の一実施形態の例を、図１〜図１２を参照して説明する。
［１．画像処理装置の外観構成］

図１は、本発明の一実施形態に係る画像処理装置を示す外観構成図である。
画像処理装置１００は、例えば、パーソナルコンピュータ、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、テレビジョン放送受像機およびデジタルフォトフレーム等である。画像処理装置１００は、ＣＰＵ（Central Processing Unit）やメモリ等で構成される電子機器を内蔵する筐体１０２と、筐体１０２の表面に組み込まれる表示部１０３とを備える。表示部１０３は、画像を表示する表示パネル１０４と、この表示パネル１０４に積層され、検出面に触れたり置かれたりした指示体の検出面上での位置を検出する位置検出パネル１０５とで構成されている。なお、指示体とは、例えばユーザの指やタッチペン等である。

このような画像処理装置１００は、ユーザの位置検出パネル１０５に対する操作に基づいて、表示パネル１０４に表示中の画像を構成する各画素におけるボケ量を変更する処理（以下、「ボカシ処理」）を行い、ボケ画像を生成する。なお、ボカシ処理に係る演算は、筐体１０２に内蔵されている電子機器によって実行される。

[２．画像処理装置の機能的構成]
次に、ボカシ処理を実現するための画像処理装置１００の機能的な構成について図２を参照して説明する。
図２は、本発明の一実施形態に係る画像処理装置の構成を示す機能ブロック図である。

画像処理装置１００は、前述したように、表示部１０３に相当する表示パネル１０４および位置検出パネル１０５を備える。さらに、筐体１０２（図１を参照）に内蔵される電子機器に相当する制御部２０１、第１メモリ部２０４、記録媒体２０５、画像処理部２０６および第２メモリ部２０７を備える。

記録媒体２０５は、例えばハードディスクやフラッシュメモリ等の不揮発性の記録媒体であり、ボカシ処理やその他の処理を行うための各種プログラム、予め撮像された画像、当該画像に係るメータデータとしてデプスマップ（Depth Map）等が記録されている。また、記録媒体２０５には、ボカシ処理により生成されるボケ画像も記録される。なお、この記録媒体２０５は、内蔵記録媒体でも外付けの記録媒体でもどちらでもよい。

ここで、デプス・マップは、デプス・マップとは、撮影時のレンズと被写体との距離（以下、「レンズ−被写体間距離」という）を示す距離データを、撮影した静止画像に写り込んだ被写体を構成している複数の画素のかたまりごと若しくは画素ごとに対応させたものの集合であり、いわゆる距離データ分布である。また、距離データは、静止画像の各画素に対応する部分の奥行きの深さを示す情報ともいえる。デプス・マップの距離データを参照することにより、レンズ−被写体間距離がわかる。

この距離データを得る方法としては、例えばＴＯＦ（Time of flight）方式やボケ量解析（Depth from Defocus）等を採用することができる。ここで、ＴＯＦ法式とは、光源から出射された光が対象物で反射し、センサに到達するまでの光の遅れ時間と光の速度とから被写体までの距離を得る手法である。またボケ量解析とは、画像中のボケ量（合焦度合い）の解析結果から被写体までの距離を算出するものである。なお、これらの手法を実現するための具体的な構成としては、例えば特開２００９−１５８２８号公報に記載されている。

制御部２０１は、記録媒体２０５から取得し、第１メモリ部２０４に展開したプログラムに基づいて、制御部２０１内の各ブロックを機能させるための制御を行うものである。詳細は後述するが、制御部２０１は、記録媒体２０５から選択された画像を取得し、取得した画像（以下、「選択画像」という）を表示パネル１０４に表示させたり、当該選択画像に関する様々な画像を生成して表示パネル１０４に表示させたりする。この選択画像は画像処理部２０６にも出力される。なお、第１メモリ部２０４は、例えばＲＡＭ(Random Access Memory)等で構成され、制御部２０１が動作するのに必要なデータを一時的に記録する。

画像処理部２０６は、制御部２０１から入力される選択画像に対して、後述する注目画素に対応する部分に合焦するようにボカシ処理を施すものである。ボカシ処理は、選択画像に係るデプス・マップに基づいて実行される。

画像処理部２０６は、ボカシ処理を実行する際に必要なデータ(デプス・マップ等)を一時的に第２メモリ部２０７に記録する。生成されたボケ画像は、制御部２０１を介して記録媒体２０５に記録されるとともに、表示パネル１０４に出力される。なお、第２メモリ部２０７は第１メモリ部２０４と同じＲＡＭ等であり、第１メモリ部２０４と共通としてもよい。

次に、制御部２０１のより詳細な構成について説明する。
制御部２０１は、表示パネル１０４に表示する様々な表示画面を生成するために、ＧＵＩ表示制御部２０８と、拡大表示制御部２０９と、アイコン表示制御部２１０と、輪郭表示制御部２１１とを備える。

ＧＵＩ表示制御部２０８は、第１メモリ部２０４に記録されたプログラムに基づいて、表示パネル１０４に所定の操作画面や設定画面等を表示して、グラフィカル・ユーザ・インターフェイス（Graphical User Interface:ＧＵＩ）を実現するためのものである。さらに、位置検出パネル１０５に対するユーザの操作に応じて、当該ユーザの所望する処理を制御部２０１に実行させるための操作入力信号を生成する。

拡大表示制御部２０９は、選択画像の一部を拡大表示するためのものである。選択画像が表示パネル１０４に表示されているときに、位置検出パネル１０５により指示体の位置が検出されると、当該指示体の位置（以下、「指示体検出位置」という）に対応する画素（以下、「注目画素」）を、選択画像を構成する各画素の中から検出する。そして、表示パネル１０４内の一部領域を小ウィンドウ（子画面の一例）に割り当て、この小ウィンドウ内に、注目画素を含む所定領域の画像を拡大した拡大画像を表示する。なお、拡大画像の拡大率は、選択画像の解像度に応じて変更可能である。例えば、選択画像の解像度が表示パネルの画面解像度よりも大きい場合、選択画像を圧縮処理せず解像度をそのままにして選択画像の一部領域を小ウィンドウに出力すれば、最も拡大された拡大画像が小ウィンドウに表示される。

アイコン表示制御部２１０は、ボケ処理を行う際の基準となる注目画素の位置を示すアイコンを表示するためのものである。拡大画像が表示パネル１０４に表示されているとき、この拡大画像を構成する各画素の中から、選択画像における注目画素に対応する画素（以下、「対応画素」）を特定する。そして、この対応画素を示すためのアイコンを表示パネル１０４の小ウィンドウに表示する。また、アイコン表示制御部２１０は、ユーザの検出パネルに対する指示体の操作に基づき、アイコンを移動させる。アイコンが移動すると対応画素が変更されるので、このアイコンの移動に伴って注目画素も変更される。

輪郭表示制御部２１１は、被写体の輪郭を明確にして表示するためのものである。拡大画像が表示パネル１０４に表示されている状態のとき、アイコン表示制御部２１０で特定された注目画素を含む被写体の輪郭（以下、「注目輪郭」という）を検出する。そして、この注目輪郭が明確になるような表示を表示パネル１０４に対して行う。例えば、注目輪郭の色を強調色に変更したり、注目輪郭で囲まれる領域の色を変更したりすることにより、注目輪郭を明確にする。

[３．画像処理装置の動作]
次に、画像処理装置の動作について、図３〜図１１を参照して説明する。
図３は、本発明の一実施形態に係る画像処理装置の動作の流れを示すフローチャートである。図２に示した構成で実現される本発明の特徴部分の処理は、特に以下に示すステップＳ９〜ステップＳ１６の処理である。

まず、ユーザは、画像処理装置１００の電源をＯＮする（ステップＳ１）。すると、制御部２０１は、現在の編集モードが静止画像の編集モード（以下、静止画編集モード）に設定されているか否かを確認する（ステップＳ２）。

静止画像編集モードに設定されていないならば（ステップＳ２のＮＯ）、処理を終了する。静止画像編集モードに設定されているならば（ステップＳ２のＹＥＳ）、制御部２０１は、現在の編集モードが静止画像のボケ量を編集するモード（以下、「ボケ量編集モード」という）に設定されているか否かをさらに確認する（ステップＳ３）。

ボケ量編集モードに設定されていないならば（ステップＳ３のＮＯ）、処理を終了する。ボケ量編集モードに設定されているならば（ステップＳ３のＹＥＳ）、制御部２０１は、記録媒体２０５に記録されている静止画像の一覧を表示パネル１０４に表示する（ステップＳ４）。

ユーザは、位置検出パネル１０５を用いて、表示パネル１０４上に表示された静止画像の中から、編集する画像を選択する（ステップＳ５のＹＥＳ）。すると、制御部２０１は、図４に示すように、選択された静止画像を選択画像４０２として表示パネル１０４に表示する（ステップＳ６）。

続いて、ＧＵＩ表示制御部２０８は、「合焦させたいポイントをタッチしてください。」という文章を含むＧＵＩを生成し、表示パネル１０４に一時的に表示する（ステップＳ７）。このＧＵＩが表示パネル１０４から消去された後に、制御部２０１は、位置検出パネル１０５が指示体でタッチされた（指示体の位置検出を行った）か否かを確認する（ステップＳ８）。位置検出パネル１０５が一定時間タッチされていないならば（ステップＳ８のＮＯ）、ステップＳ７の処理に戻る。

例えば、図５に示すように、指示体４０３で位置検出パネル１０５がタッチされたならば（ステップＳ８のＹＥＳ）、拡大表示制御部２０９は、選択画像４０２を構成する各画素の中から、指示体４０３の位置に対応する注目画素を検出する。そして、図６に示すように、表示パネル１０４の例えば右下の一部領域を小ウィンドウ４０４に割り当て、この小ウィンドウ４０４内に、注目画素を含む所定領域の選択画像４０２を拡大した拡大画像４０５を表示する（ステップＳ９）。

続いて、アイコン表示制御部２１０は、拡大画像４０５を構成する各画素の中から、ステップＳ９の処理で特定された注目画素に対応する対応画素を特定する。そして、図７に示すように、特定した対応画素の位置を示すための「○（丸印）」のアイコン４０６を小ウィンドウ４０４内に表示する（ステップＳ１０）。

ステップＳ１０の処理で対応画素が特定されると、輪郭表示制御部２１１は、図７に示すように、対応画素を含む被写体である「浮き輪」の輪郭を注目輪郭４０７として検出する。そして、注目輪郭４０７に所定の色をつけて小ウィンドウ４０４内に表示する。なお、注目輪郭４０７の検出方法については、図１２を参照して後述する。

ここで、現在の注目画素を合焦ポイントにするか否かをユーザに確認させる。すなわち、ＧＵＩ表示制御部２０８は、図８に示すように、「現在のポイントで焦点を合わせますか？」という文章、「ＹＥＳ」ボタンおよび「ＮＯ」ボタンを含む確認用ＧＵＩ４０８を生成する。そして、表示パネル１０４の小ウィンドウ４０４以外の領域に確認用ＧＵＩ４０８を表示する（ステップＳ１１）。

「ＹＥＳ」ボタンが指示体４０３でタッチされたならば（ステップＳ１１のＹＥＳ）、拡大表示制御部２０９は、小ウィンドウ４０４の表示を停止する（ステップＳ１７）。
そして、画像処理部２０６は、選択画像４０２のデプス・マップを利用して、選択画像４０２を構成する各画素毎に、現在の注目画素に対応する部分に合焦されるようなボケ量（以下、「注目画素合焦ボケ量」という）を計算する（ステップＳ１８）。そして、選択画像４０２を構成する各画像毎のボケ量を注目画素合焦ボケ量に変更する（ステップＳ１９）。すると、ボケ量が変更された選択画像（以下、「編集画像」という）が、表示パネル１０４に入力・表示される（ステップＳ２０）。

以上の処理が完了した後、現在のボケ量でいいか否かをユーザに確認させる。すなわち、ＧＵＩ表示制御部２０８は、ステップＳ１０の処理と同様に、「今のボケ量の設定で良いですか？」という文章、「ＹＥＳ」ボタンおよび「ＮＯ」ボタンを含む確認用ＧＵＩを生成する。そして、生成した確認用ＧＵＩを表示パネル１０４に表示する（ステップＳ２１）。「ＹＥＳ」のボタンが指示体４０３でタッチされたならば（ステップＳ２１のＹＥＳ）、ＧＵＩ表示制御部２０８は、当該確認用ＧＵＩの表示パネル１０４に対する表示を停止する。そして、「編集した画像を保存しますか？」という文章、「ＹＥＳ」ボタンおよび「ＮＯ」ボタンを含む確認用ＧＵＩを生成し、表示パネル１０４に表示する（ステップＳ２６）。「ＮＯ」ボタンが指示体４０３でタッチされたならば（ステップＳ２６のＮＯ）、ステップＳ３の処理に戻る。

「ＹＥＳ」ボタンが指示体４０３でタッチされたならば（ステップＳ２６のＹＥＳ）、画像処理部２０６は、編集画像のデータをＪＰＥＧ（Joint Photographic Experts Group）圧縮する。そして、Ｊｐｅｇ方式による画像ファイルを生成する（ステップＳ２７）。制御部２０１は、ステップＳ２７の処理で生成された画像ファイルのファイル名をインクリメントして記録媒体２０５に記録し（ステップＳ２８）、処理を終了する。なお、ステップＳ２８の処理は、記録媒体２０５に記録される画像ファイルのファイル名を、前回生成された画像ファイルのファイル名と異なるファイル名にするための処理である。

ところで、確認用ＧＵＩ４０８（図８を参照）の「ＮＯ」ボタンが指示体４０３でタッチされたならば（ステップＳ１１のＮＯ）、ＧＵＩ表示制御部２０８は、確認用ＧＵＩ４０８の表示を停止する。そして、図９に示すように、「○マークを上下に動かしてください。」という文章および「ＯＫ」ボタンを含む確認用ＧＵＩ４０９を新たに生成する。続いて、表示パネル１０４の小ウィンドウ４０４以外の領域に確認用ＧＵＩ４０９を表示する（ステップＳ１２）。

確認用ＧＵＩ４０９の「ＯＫ」ボタンが指示体４０３でタッチされたならば（ステップＳ１３のＹＥＳ）、ＧＵＩ表示制御部２０８は、確認用ＧＵＩ４０９の表示を停止する。そして、「○（丸印）」のアイコン４０６の位置を変更するための位置調節用ＧＵＩ４１０および「位置が決定したら決定を押してください。」という文章と「決定」ボタンとを含む確認用ＧＵＩ４１１を生成する。生成された位置調節用ＧＵＩ４１０および確認用ＧＵＩ４１１は、図１０に示すように表示パネル１０４の小ウィンドウ４０４以外の領域に表示される（ステップＳ１４）。

ユーザは、位置調節用ＧＵＩ４１０としてアイコン表示されているカーソルキーを指示体４０３で操作することにより、アイコンの位置を小ウィンドウ４０４上で移動させる（ステップＳ１５）。このアイコン４０６の移動に伴い、対応画素を含む被写体が「浮き輪」から「犬」に変更された場合（図１１を参照）、輪郭表示制御部２１１は、「犬」の輪郭を注目輪郭４１２として検出する。そして、注目輪郭４１２に所定の色をつけて小ウィンドウ４０４内に表示する。

以上の処理が完了した後、制御部２０１は、確認用ＧＵＩ４１１の「決定」ボタンが指示体４０３でタッチされたか否かを確認する（ステップＳ１６）。「決定」ボタンがタッチされていないならば（ステップＳ１６のＮＯ）、ステップＳ１５の処理に戻り、「○（丸印）」のアイコン４０６の位置をさらに変更する。「決定」ボタンがタッチされたならば（ステップＳ１６のＹＥＳ）、前述のステップＳ１１の処理に移行する。

一方、ステップＳ２１の処理で生成された確認用ＧＵＩの「ＮＯ」のボタンがタッチされたならば（ステップＳ２１のＮＯ）、ＧＵＩ表示制御部２０８は、ステップＳ２０の処理で生成された編集画像のボケ量を調節するためのボケ量調節用ＧＵＩを生成する。そして、生成したボケ量調節用ＧＵＩを表示パネル１０４に表示する（ステップＳ２２）。このボケ量調節用ＧＵＩは「＋」ボタンと「−」ボタンで構成されており、「＋」ボタンが押されると編集画像のボケ量を上げ、「−」ボタンが押されると編集画像のボケ量を下げるものである。

このとき、さらに、ＧＵＩ表示制御部２０８は、「ボケ量を変更して最適な値になったら決定ボタンを押してください。」という文書および「決定」ボタンを含む確認用ＧＵＩを生成する。そして、生成した確認用ＧＵＩを表示パネル１０４に表示する（ステップＳ２３）。

ユーザがボケ量調節用ＧＵＩの「＋」ボタンおよび「−」ボタンを操作する。すると、画像処理部は、編集画像を構成する各画素における現在のボケ量を、「＋」ボタンおよび「−」ボタンに対するユーザの操作に応じたボケ量に変更して新たな編集画像を生成する（ステップＳ２４）。

以上の処理が完了した後、制御部２０１は、ステップＳ２３の処理で生成された確認用ＧＵＩの「決定」ボタンが指示体４０３でタッチされたか否かを確認する（ステップＳ２５）。「決定」ボタンがタッチされていないならば（ステップＳ２５のＮＯ）、ステップＳ２３の処理に戻る。「決定」ボタンがタッチされたならば（ステップＳ２５のＹＥＳ）、ＧＵＩ表示制御部２０８は、当該確認用ＧＵＩおよびボケ調節用ＧＵＩの表示パネル１０４に対する表示を停止し、ステップＳ２６の処理に移行する。

次に、ステップＳ１０やステップＳ１５の処理において、輪郭表示制御部２１１が注目輪郭４０７，４１２を検出する処理（以下、「注目輪郭検出処理」という）について図１２を参照して説明する。
図１２は、本発明の一実施形態に係る画像処理装置による注目輪郭検出処理を示す説明図である。
図１２（ａ）は、小ウィンドウ内に表示される拡大画像を示す説明図である。
図１２（ｂ）は、図１２（ａ）に示す破線部分の各画素に対応する部分のデプス・マップを示す分布図である。縦軸は、前述の距離データが示すレンズ−被写体間距離を表しており、横軸は各画素の画素番号を示している。

注目輪郭検出処理が開始されると、輪郭表示制御部２１１は、拡大画像４０５において、現在の対応画素５０２を含む行方向の各画素（以下、「ｎ行目の各画素」という）におけるデプス・マップ（ｎ行目の各画素に対応する部分の距離データ）を取得する。なお、ｎ行目の各画素は図１２に示す破線部分に相当する。そして、拡大画像４０５においてレンズ−被写体間距離が急激に変化している部分、すなわちｎ行目の輪郭を形成している輪郭画素５０３がどの画素番号かを調べるため、取得したデプス・マップを画素番号で微分して微分デプス・マップを算出する（処理１）。

続いて、輪郭表示制御部２１１は、算出した微分デプス・マップの絶対値が所定のしきい値よりも大きい画素番号を検出する。検出した画素番号の画素が輪郭画素５０３に相当する（処理２）。

次に、輪郭表示制御部２１１は、対応画素５０２から最も近い２つの輪郭画素５０３ａ，５０３ｂを、注目輪郭を形成する各画素の一部の画素（以下、「該当画素」という）として認定する（処理３）。

ここで、輪郭表示制御部２１１は、ｎ＋１行目の各画素におけるデプス・マップ（ｎ＋１行目の各画素に対応する部分の距離データ）を取得する。そして、取得したデプス・マップを画素番号で微分して微分被写界強度分布を算出する（処理４）。そして、処理４で算出した微分被写界強度分布に対して、処理２と同じ処理を行う（処理５）。

続いて、輪郭表示制御部２１１は、ｎ＋１行目の境界画素の中で、ｎ行目の該当画素（境界画素５０２ａ，５０２ｂ）と隣接する画素を、ｎ＋１行目の該当画素として認定する（処理６）。

以上の処理が完了した後、輪郭表示制御部２１１は、処理４〜処理６を繰り返す（処理７）。そして、拡大画像の列方向に対しても処理１〜処理７を行うことにより、注目輪郭が二次元的に検出される（処理８）。

以上説明したように、本発明の一実施形態では、注目画素を含む拡大画像およびこの注目画素に対応する対応画素の位置を示すアイコンを小ウィンドウ内に表示することができる。これにより、ユーザは自身が選択した注目画素を拡大画像ではっきり把握することができ、注目画素の選択ミスを防止できる。その結果、ユーザの思い通りのボケ画像を得ることができる、という効果がある。

また、本発明の一実施形態では、アイコンを小ウィンドウ上で移動させることにより、対応画素に対応している注目画素も変更することができる。これにより、変更後の注目画素を把握することができ、注目画像の選択ミスをより確実に防止できる。

また、本発明の一実施形態では、注目画素を含む被写体の輪郭を強調した拡大画像を、小ウィンドウに表示することができる。これにより、注目画素がどの被写体に含まれるものかを、ユーザにより分かりやすく知らせることができる。その結果、注目画像の選択ミスをより確実に防止できる。

なお、上述した一実施形態では、拡大画像４０５上で対応画素を示すアイコン４０６を動かして、注目画素を選択するようにした。しかし、図１３に示すように、注目画素を示すアイコン６０２を選択画像４０２上に表示するようにし、この選択画像４０２上でアイコン６０２を動かして注目画素を直接選択できるようにしてもよい。このようにした場合、処理するデータ量を減らすことができるので、処理の高速化を図ることができる。なお、選択画像において、注目画素を含む被写体の輪郭を強調して表示するようにしてもよいことはいうまでもない。

また、上述した一実施形態では、注目輪郭の検出を行う際に、デプス・マップの微分を利用して境界画素を検出した。しかし、デプス・マップの二重微分を利用して境界画素を検出することもできる。具体的には、拡大画像を構成する各画素におけるデプス・マップの二重微分値がゼロになるものが境界画素に相当する。

また、上述した一実施形態では、注目輪郭の検出には距離データを用いたが、輝度を利用して注目輪郭を検出することもできる。例えば、拡大画像の任意の画素と隣接画素の輝度を比較して、この隣接画素との輝度差が所定値以上の画素から注目輪郭を検出する。その他、濃淡画像による物体検出により、注目輪郭を検出したりしてもよいことはいうまでもない。

また、上述した一実施形態では、位置調節用ＧＵＩ４１０を用いてアイコン４０６の位置を変更するようにしたが、小ウィンドウ４０４において指示体でタッチした位置にアイコン４０６を移動させるようにしてもよい。

また、上述した一実施形態では、「○（丸印）」のアイコンとしたが、アイコンはこれに限られない。例えば、「×（バツ印）」でもよい。その場合、「×」のアイコンは「○」のアイコンと比較して背景の画像が隠れる部分が少なくなり、ユーザはより多くの情報を得られる。

また、上述した一実施形態では、ステップＳ１４，１６，２２，２３，２５の各処理においてＧＵＩに対して操作するようにしたが、装置本体にハードキーを設け、このハードキーで操作できるようにしてもよい。

また、上述した一実施形態では、編集画像データをＪＰＥＧ方式で圧縮したが、これに限られない。圧縮方式は、例えば、ＧＩＦ（Graphics Interchange Format）方式、ＰＮＧ（Portable Network Graphics）方式、ＢＭＰ（Bitmap）方式あるいはＴＩＦＦ（Tagged Image File Format）方式であってもよい。

また、上述した一実施形態では、新たに生成した画像ファイルのファイル名をインクリメントするようにしたが、フォルダ名をインクリメントしたフォルダを生成し、当該フォルダ内に、新たに生成したファイルを保存するようにしてもよい。

また、上述した一実施形態では、表示パネルの右下の一部領域を小ウィンドウに割当てて、この小ウィンドウに拡大画像を表示するようにしたが、これに限られない。例えば、表示パネルにおいて、自分が選択した注目画素が中心となるような一部領域を小ウィンドウに割当てて、この小ウィンドウに拡大画像を重畳して表示するようにしてもよい。これにより、ユーザは、自分で選択した注目画素に対応する位置から目線を動かさずに対応画素の確認が行えるようになるので、表示パネルの右下に小ウィンドウを表示する場合と比較して対応画素の選択がよりしやすくなる、という効果がある。

また、上述した一実施形態において、ボケ画像を生成する際に、撮影モード、シーン確認、被写体検出もしくはユーザのボケ画像編集の学習履歴等に基づいてボケ量を決定するようにしてもよい。

また、上述した一実施形態では、注目画素に対応する位置に合焦するように静止画像のボケ量を調節するようにしたが、各フレーム毎の注目画素に対応する位置に合焦するようにして動画像のボケ量を調節することもできる。動画像のボケ量を調節する手順は以下のとおりである。動画像のボケ量の調節は、上述した一実施形態と同様に画像処理部２０６と制御部２０１により実行することができる。

まず、ユーザは動画編集モードを選択して、動画像の編集を開始する。そして、編集したい動画像を選択する。次に、選択された動画像を再生させ、ユーザが編集したいと思うフレームの画像（選択画像）を選択する。そして、選択画像において、上述した一実施形態と同様にして注目画素を決定する。

注目画素を決定後、動画像の再生が再開されると、画像処理部２０６は、動画像に関して、各フレームにおける注目画素に対応する位置に合焦するようなボカシ処理を実行する。具体的には、現在の注目画素を含む所定の範囲（周辺領域）の画素から構成される画像（以下、「テンプレート画像」）を選択画像から切り出す。このテンプレート画像を、動画像を構成する各フレームの画像それぞれと比較してテンプレートマッチングを行う。なお、テンプレート画像と各フレームの画像それぞれとの比較には、輝度、距離データが示すレンズ−被写体間距離あるいは色等が用いられる。

次に、テンプレート画像と似ている、すなわちテンプレート画像の輝度、距離データが示すレンズ−被写体間距離あるいは色等を示す値が最も近い該当箇所をフレーム毎に検出する。そして、検出した各フレームの該当箇所毎に、注目画素に対応する部分と最もレンズ−被写体間距離が近い画素をそれぞれ特定することにより、各フレームにおける注目画素を追跡する。続いて、各フレームの注目画素の位置に合焦するように、デプス・マップ（Depth Map）に基づいて各フレームの画像のボケ量を調節する。

なお、動画像のボケ量を調節する他の方法として、注目画素を含む被写体画像の動体検出（動き検出）を各フレームで行い、テンプレートマッチングを行う際に、動体検出した各被写体画像をテンプレート画像の比較対象としてもよい。また、動画像が例えばＭＰＥＧ（Moving Picture Experts Group）方式でエンコードされたものである場合、上述の動体検出の処理をＭＰＥＧ方式の信号処理と共通化して実施することも可能である。この場合、この動画像をＭＰＥＧ方式でデコードしながら同時に前述のような動体検出を行うこともできる。

以上のボカシ処理が完了した後、制御部２０１は、ボケ量が調節された動画像を動画像ファイルとして記録媒体２０５に記録するとともに、動画像ファイルのファイル名をインクリメントする。このようにして記録媒体２０５に保存された動画ファイルに対して、ファイルの分割やつなぎ合わせる処理を行うことで、ボカシ処理にて生成した動画像をより有効活用できる、という効果がある。

以上、本発明の各実施形態の例について説明したが、本発明は上記各実施形態例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含むことはいうまでもない。

１００…画像処理装置、１０２…筐体、１０３…表示部、１０４…表示パネル、１０５…位置検出パネル、２０１…制御部、２０４…第１メモリ部、２０５…記録媒体、２０６…画像処理部、２０７…第２メモリ部、２０８…ＧＵＩ表示制御部、２０９…拡大表示制御部、２１０…アイコン表示制御部、２１１…輪郭表示制御部、４０２…選択画像、４０３…指示体、４０４…小ウィンドウ、４０５…拡大画像、４０６…アイコン、４０７…注目輪郭、４０８…確認用ＧＵＩ、４０９…確認用ＧＵＩ、４１０…位置調節用ＧＵＩ、４１１…確認用ＧＵＩ、４１２…注目輪郭、７０２…静止画像、７０３，７０４…被写体、７０５…指、７０７，７０８…位置、７０９，７１０…画素

Claims (9)

1. 表示部に表示される画像に対応する、前記画像とともに記録部に記録された二次元距離マップに基づいて、前記表示部に接触した指示体の位置に対応する画素である注目画素、もしくは前記注目画素に対応する画素を含む、前記二次元距離マップの微分値に基づき特定される注目輪郭の表示を、前記指示体による指示に応じて切り替える表示制御部と、
   前記二次元距離マップを利用して、前記注目画素に対応する部分に合焦した画像を画像処理部に生成させる画像処理制御部と、を備える
   画像処理装置。
2. 前記画像の前記注目画素に対応する部分の拡大画像を含む子画面を前記表示部に表示する拡大表示制御部、を更に備え、
   前記表示制御部は、前記拡大画像が前記表示部に表示されているとき、前記拡大画像を構成する各画素の中から前記注目画素に対応する画素を特定し、該注目画素に対応する画素を示すためのアイコンを前記子画面上に表示する
   請求項１に記載の画像処理装置。
3. 前記拡大表示制御部は、前記画像の前記注目画素に対応する部分を含む領域に重ねて前記子画面を前記表示部に表示する
   請求項２に記載の画像処理装置。
4. 前記表示制御部は、ユーザの操作に基づき、前記子画面内に表示された前記注目画素に対応する画素を示すためのアイコンを移動させる
   請求項２または３に記載の画像処理装置。
5. 前記表示制御部は、前記子画面に表示された前記拡大画像の二次元距離マップの微分値が所定のしきい値よりも大きくなる画素から前記注目輪郭を検出する
   請求項２乃至４のいずれかに記載の画像処理装置。
6. 前記表示制御部は、前記子画面に表示された前記拡大画像の二次元距離マップの二重微分値がゼロになる画素から前記注目輪郭を検出する
   請求項２乃至４のいずれかに記載の画像処理装置。
7. 表示制御部により、表示部に表示される画像に対応する、前記画像とともに記録部に記録された二次元距離マップに基づいて、前記表示部に接触した指示体の位置に対応する画素である注目画素、もしくは前記注目画素に対応する画素を含む、前記二次元距離マップの微分値に基づき特定される注目輪郭の表示を、前記指示体による指示に応じて切り替えるステップと、
   画像処理制御部により、前記二次元距離マップを利用して、前記注目画素に対応する部分に合焦した画像を画像処理部に生成させるステップと、を備える
   画像処理方法。
8. 表示部に表示される画像に対応する、前記画像とともに記録部に記録された二次元距離マップに基づいて、前記表示部に接触した指示体の位置に対応する画素である注目画素、もしくは前記注目画素に対応する画素を含む、前記二次元距離マップの微分値に基づき特定される注目輪郭の表示を、前記指示体による指示に応じて切り替える処理と、
   前記二次元距離マップを利用して、前記注目画素に対応する部分に合焦した画像を画像処理部に生成させる処理とを、
   コンピュータに実行させる画像処理プログラム。
9. 請求項８に記載の画像処理プログラムが記録された
   記録媒体。