JP2024064187A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 ＰＳＦの推定精度を向上させるとともに、画像の特定領域に対してブラー効果、またはデブラー効果を好適に付与すること可能にした画像処理装置、画像処理方法およびプログラムを提供すること。【解決手段】 画像内の特定領域を特定する特定手段と、前記特定領域におけるＰＳＦ推定を行うＰＳＦ推定手段と、を有し、前記ＰＳＦ推定手段は前記画像に対して、エッジ抽出とマスク処理のうち、少なくともひとつの処理を施すことができ、前記処理後の画像に対してＰＳＦを推定することを特徴とする画像処理装置。【選択図】 図３

Description

本発明は、画像に対してブラー効果、またはデブラー効果を付与する技術に関するものである。

従来から画像に含まれる被写体のブレやボケの特性を表す点像分布関数（ＰＳＦ）を推定し、推定したＰＳＦに基づいて画像に対してブラー効果、またはデブラー効果を付与する技術が知られている。例えば、特許文献１では、撮影画像内の特定領域を特定し、その特定領域の画像を参照してＰＳＦの演算し、求めたＰＳＦをデコンボリューションすることにより、撮影画像に含まれる像ブレを低減（デブラー）する方法が開示されている。

特開２００７－３０６５４８号公報 特開２００２－７７７１１号公報

渋谷亜紀、杉山善明、有木康雄、"スポーツ記事の自動判別と類似シーンの検索"、情報処理学会、第５５回全国大会講演論文集、ｐｐ．６５－６６（１９９７－０９） 荒木諒介， 真野航輔， 大西剛史， 平野正徳， 平川翼， 山下隆義， 藤吉弘亘， "画像生成ネットワークの逆伝播に基づく繰り返し更新による物体姿勢推定を用いた物体把持"， 日本ロボット学会学術講演会， ２０２０．

ＰＳＦ推定の特徴として、参照する被写体の模様によっては、ＰＳＦの推定結果を劣化させることがある。例えばテニスのガット部分など細かい格子模様が推定した特性に形状として現れる。つまり被写体のブレの特性を正しく推定できていないことになる。特許文献１の方法では、このような誤ったＰＳＦを用いて補正処理を行うことになり画質弊害が生じることがある。

本発明は、上記の問題点を鑑みてなされたものであり、ＰＳＦの推定精度を向上させるとともに、画像の特定領域に対してブラー効果、またはデブラー効果を好適に付与することが可能な画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、画像内の特定領域を特定する特定手段と、前記特定領域におけるＰＳＦ推定を行うＰＳＦ推定手段と、を有し、前記ＰＳＦ推定手段は前記画像に対して、エッジ抽出とマスク処理のうち、少なくともひとつの処理を施すことができ、前記処理後の画像に対してＰＳＦを推定することを特徴とする。

本発明によればＰＳＦの推定精度を向上させるとともに、画像の特定領域に対してブラー効果、またはデブラー効果を好適に付与すること可能にした画像処理装置、画像処理方法およびプログラムを提供することができる。

実施例１におけるデジタルカメラの構成を説明するための図。 実施例１における画像処理部の構成を説明するための図。 実施例１における画像処理部の動作を説明するためのフローチャート。 実施例１における撮影画像を説明するための図。 実施例１におけるＰＳＦ推定の対象領域を説明するための図。 実施例１におけるＰＳＦ推定の対象領域にかけるフィルタの特性を説明するための図。 実施例１におけるＰＳＦ推定結果を説明するための図。 実施例１におけるブラー付与処理の効果を説明するための図。 実施例２における画像処理部の構成を説明するための図。 実施例２における画像処理部の動作を説明するためのフローチャート。 実施例２における重みに換算するテーブルを説明するための図。

［実施例１］
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は撮像装置であり、撮像装置の一例としてのデジタルカメラに本発明を適用した例を説明する。なお、本発明は撮影画像に適用する補正処理、より具体的には推定用に画像信号を補正してからＰＳＦを推定し、推定したＰＳＦに基づいて画像の特定領域に対してブラー効果、またはデブラー効果を付与する方法に関する。従って、撮像装置における撮影や記録に関する構成は必須ではない。また、本実施例における「ボケ」とは画像の合焦ずれによる焦点ボケを含み、「ブレ」は手ブレや被写体ブレなどを含むが、これらに限定されるものではない。

図１は、本発明の実施形態に係るデジタルカメラの機能構成を示すブロック図である。制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。

ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

光学系１０４は、被写体像を撮像部１０５に結像する。光学系１０４には、例えば、固定レンズ、焦点距離を変更する変倍レンズ、焦点調節を行うフォーカスレンズ等が含まれている。光学系１０４には絞りも含まれており、絞りにより光学系の開口径を調節することで撮影時の光量調節を行う。

撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、光学系１０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データをＲＡＭ１０３に出力して記憶させる。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用した画像データをＲＡＭ１０３に出力する。また、画像処理部１０７は、撮影画像やＲＡＭ１０３に記憶されている画像データに対して、ブラー効果、またはデブラー効果を付与する処理を行う。

記録媒体１０８は着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶されている画像処理部１０７で処理された画像やＡ／Ｄ変換部１０６でＡ／Ｄ変換された画像などが、記録画像として記録される。

表示部１０９は、ＬＣＤ等の表示デバイスである。表示部１０９は撮像部１０５で取り込まれた被写体像をスルー表示することで電子ビューファインダー機能を構成したり、記録媒体１０８に記録された画像を再生表示したりするなど、デジタルカメラ１００における各種の情報提示を行う。

操作入力部１１０は、例えばレリーズスイッチ、設定ボタン、モード設定ダイアル等のユーザー入力インタフェースを含み、ユーザーによりなされた操作入力を検出すると、該操作入力に対応する制御信号を制御部１０１に出力する。また表示部１０９がタッチパネルセンサを備えている態様においては、操作入力部１１０は、表示部１０９に対してなされたタッチ操作を検出するインタフェースとしても機能する。

以上、デジタルカメラ１００の構成と、基本動作について説明した。

次に、本発明実施例１の特徴である画像処理部１０７の動作について、詳細に説明を行う。本実施例では、テニスのスウィングを行う被写体を撮影することを想定している。一般に、テニスやゴルフ、野球のバッティングなど手に持ったラケットやクラブ、バットなどをスウィングする動作を伴うスポーツ（以降、スウィングスポーツと呼ぶ）の撮影では、プレーしている被写体の顔にブレやボケは無いことが好ましい。一方、ラケットや腕などスウィングしている領域は、スウィングしている方向にブレていると躍動感があり、プレーの激しさを鑑賞者により印象的に伝えることができ、好印象な画像となる。本実施例ではスウィングしている領域におけるＰＳＦを高精度に推定し、推定したＰＳＦに基づいてブラー効果を付与する方法について説明する。

図２および図３を参照して、画像処理部１０７によるブラー効果の付与処理に関して説明する。図２は画像処理部１０７のブロック図である。また、図３は画像処理部１０７で行う処理のフローチャートである。ブラー効果を付与する処理は、処理の実行が指示された状態で撮影された画像や、メニュー画面などから処理の実行が指示された、例えば記録媒体１０８に記録済の画像に対して実施することができる。

図２に示されるように、画像処理部１０７は、主被写体検出部２０１、ＰＳＦ推定領域抽出部２０２、ＰＳＦ推定領域補正部２０３、ＰＳＦ推定部２０４、画像補正部２０５より構成される。また、画像処理部１０７の各部は制御部１０１の指令の下、それぞれの機能が実行される。

次に、図３のＳ３０１で、撮像部１０５は制御部１０１の制御の下、被写体の撮影を行う。撮影によりアナログ画像信号が得られると、Ａ／Ｄ変換部１０６はこれをＡ／Ｄ変換し、ＲＡＭ１０３に格納する。制御部１０１は、画像データ２０６として、画像処理部１０７に送る。撮影された画像データの例を図４に示す。図４はテニスのスウィングをしている人物被写体４０１を撮影したものである。露光時間は１／５００秒であり、顔にはブレが発生していない。またスウィングしているラケットは弱い動きブレが生じているものとする。また、画像のサイズは１０２４×６８０画素で、１画素のサイズは５μｍであるとする。なお、本実施例ではスウィング動作と伴うスポーツとしてテニスを例に説明を行うが、その他のスポーツにも本実施例を適用することが可能である。具体的にはゴルフ、バトミントン、卓球、野球、ラクロス、ホッケー、フェンシング、剣道、カヌー、ボートなどが挙げられる。それぞれのスポーツにおいてスウィングしている対象物（競技具）の領域に動きブレが生じるようなブラー効果を付与する処理を行うことで、躍動感のあるスポーツ画像を得ることができる。

Ｓ３０２で、主被写体検出部２０１は制御部１０１の制御の下、Ｓ３０１において撮影した画像データ２０８における主被写体の検出を行う。ここでは人物被写体４０１を検出する。人物被写体４０１を主被写体として検出する手法については公知の技術を利用すればよく、例えば特許文献２で開示されているような手法を用いればよい。

Ｓ３０３で、ＰＳＦ推定領域抽出部２０２は制御部１０１の制御の下、主被写体検出部２０１が検出した人物被写体４０１において、スウィングしている物体（テニスラケット）を含む矩形領域を抽出する（特定領域の抽出）。テニスラケットの領域を抽出する手法については公知の技術を利用すればよく、Ｓ３０２の主被写体と同じく、特許文献２で開示されているような手法を用いて領域を抽出することができる。または、操作入力部１１０を介してユーザーにＰＳＦ推定領域を指定させるようにしてもよい。本実施例では、ＰＳＦ推定領域のサイズを２５６×２５６画素と正方の領域とする。抽出した領域を図５（ａ）に示す。図５（ａ）では図４の画像からスウィングしている物体（テニスラケット）を含む領域がＰＳＦ推定の対象領域として抽出されている。

Ｓ３０４で、ＰＳＦ推定領域補正部２０３は制御部１０１の制御の下、ＰＳＦ推定領域抽出部２０２が抽出した領域に対してエッジを抽出するためのフィルタをかける。この処理箇所でＰＳＦの推定結果を劣化させるガット部分を除外する。具体的にはＰＳＦ推定領域に含まれる高周波成分を除外しつつ、エッジを抽出できるようなバンドパスフィルタを施す。

バンドパスフィルタの特性の例を図６に示す。図６において、横軸は周波数であり、“１”がナイキスト周波数である。カットオフ周波数はＰＳＦ推定領域のサイズを参考に設定されている。本実施例では、ＰＳＦ推定領域のサイズの約２％となる５画素周期で繰り返されるような細かい被写体はバンドパスフィルタを通過するとカットされるようにしている。エッジ抽出後のＰＳＦ推定領域を図５（ｂ）に示す。なお、本実施例ではエッジ抽出をする際の抽出帯域を制御することでＰＳＦ推定の精度を劣化させる被写体模様を除外したが、この方式に限られるものではない。例えばソーベルフィルタなどのエッジ抽出フィルタを施した信号に対し、エッジ間距離を算出し、ガット領域のようにエッジ間距離が短い領域に対して、信号値が低くなるようにマスク処置を施しても構わない。もしくは、エッジ抽出処理前の信号におけるガット領域に対して、信号値が０（輝度信号が０）となるようなマスク処理を施し、マスク処理後の信号に対してエッジを抽出する方法でもよい。いずれの方法を使ってもＰＳＦの推定結果を劣化させる被写体の模様を予め除外することができ、続くＰＳＦ推定の精度を向上させることができる。

Ｓ３０５で、ＰＳＦ推定部２０４は制御部１０１の制御の下、ＰＳＦ推定領域補正部２０３が出力した信号を使ってＰＳＦを推定する。ＰＳＦ推定は、公知の技術を用いることができる。以下、一例として、反復法を用いたＰＳＦ推定の概要を説明する。

ＰＳＦ推定領域の画像信号をＢ、推定する対象となるＰＳＦをＫ、ＰＳＦ推定領域におけるブレやボケの無い画像（潜像）をＬとして、画像のノイズを無視すると、以下の式（１）の関係が成り立つ。

式（１）において、Ｃｏｎｖは畳み込み演算を表す。式（１）は、ＫとＬの両方が未知数であるため、解析的に解くことはできない。そこで、次のような推定を行う。

まず、適当な潜像Ｌの初期値を定める。潜像Ｌの初期値としては、撮影画像に対してエッジ抽出処理を施した画像を用いることができる。

続いて、以下の式（２）で表されるエネルギー関数Ｅ（Ｋ）において、Ｌを固定、Ｋを未知数として、エネルギー関数Ｅ（Ｋ）を最小化するＫを算出する。

式（２）において、σは正則化項を表し、ここではＰＳＦの各要素の二乗和を取るＬ２ノルムを用いている。

続いて、算出したＫを用いて、以下の式（３）で表されるエネルギー関数Ｅ（Ｌ）において、Ｋを固定、Ｌを未知数として、エネルギー関数Ｅ（Ｌ）を最小化するＬを算出する。

そして、算出したＬを用いてエネルギー関数Ｅ（Ｋ）を最小化するＫを算出し、算出したＫを用いてエネルギー関数Ｅ（Ｌ）を最小化するＬを算出するという処理を、算出したＫが一定の値に収束するまで反復的に行うことによりＰＳＦを推定する。以上が、反復法を用いたＰＳＦ推定の概要である。

図７（ａ）は図５（ｂ）のＰＳＦ推定領域補正部２０３が出力した信号を使ってＰＳＦ推定した結果（カーネル）である。図７（ａ）において、尾引の方向がブレの方向、尾引の長さがブレの量、白黒の濃淡がブレの強度を表している。一方、図７（ｂ）は従来の補正なしの状態の信号を使ってＰＳＦ推定した結果である。図７（ｂ）では、ガット領域のエッジの格子模様がＰＳＦ推定結果に影響を与えていることがわかる。図７（ａ）では被写体の模様は見られず、ラケットのブレの方向や量を正しく推定することができていることがわかる。

Ｓ３０６で、画像補正部２０５は制御部１０１の制御の下、ＰＳＦ推定部２０４が出力した信号を参照し、画像データ２０６に対してブラー効果を付与する。まずは図７（ａ）のカーネルを参考に、ブレの方向に沿って、ブレを強調したカーネルを生成する。

生成したカーネルを図８（ａ）に示す。次に画像データ２０６において、Ｓ３０３にてＰＳＦ推定領域抽出部２０２が抽出した該当領域に対して、ブレを強調したカーネルで畳み込み演算を行い、ブラー効果を付与する。ブラー効果を付与した結果を図８（ｂ）に示す。図８（ｂ）より、プレーしている人物被写体の顔にブレやボケは発生していない。一方、スウィングしているラケット領域には強い動きブレが発生していて躍動感のある画像を生成することができている。

なお、強調するブレの量は、例えば、露光時間を参考にする場合、本実施例における露光時間は１／５００秒であり、これを１／２５０秒相当にする際は、ＰＳＦ推定の結果におけるブレの量（長さ）と、強度を倍にすればよい。また、画面内における競技具の大きさや、被写体までの距離を撮影時の焦点距離で割った値を参考にする構成としてもよく、参考にする値に応じたブレの強調量を予め決めておくようにする。もしくは、強調度合い（弱、中、強）といったプリセットを準備しておき、ユーザー選択に応じて決定する構成としてもよい。このように付与するブラー効果についてその特性を適切に決定することで、好適な画像を生成することが可能となる。

また、本実施例ではスウィングしているラケット領域にブラー効果を付与する場合について説明したが、ブレ（ボケを含む）が発生している領域（例えば顔領域）に対してデブラー効果を付与することも可能である。その場合、Ｓ３０３で、ＰＳＦ推定領域抽出部２０２は、主被写体検出部２０１が検出した人物被写体４０１における顔領域を特定領域として抽出する。そして、Ｓ３０４で、ＰＳＦ推定領域補正部２０３は、ＰＳＦ推定領域抽出部２０２が抽出した領域のうち、肌色部分のエッジのみが有効になるように、抽出領域における肌色領域を検出し、エッジ抽出結果に肌色領域のマスク処理を施す。このようにすることで、例えばメッシュ状の帽子など、顔周辺に存在する模様の細かい物体の影響によるＰＳＦ推定の劣化を防ぐことができる。次に、補正後のＰＳＦ推定領域の信号を使ってＰＳＦを推定する。最後に画像補正部２０５は、画像データ２０６における顔領域と推定したＰＳＦとの逆畳み込み演算を行うことでデブラー効果を付与する。逆畳み込み演算は次の式（４）で表される。

式（４）において、Ｆがフーリエ変換、Ｆ＾－１が逆フーリエ変換を表している。

また、本実施例において、ＰＳＦ推定領域のサイズを２５６×２５６画素と正方の領域としたが、これに限定されるものではなく、正方以外の領域を対象としてもよい。例えばスウィングしているものが野球のバットのように細長い物体の場合、ＰＳＦ推定領域も長方形にするのがよい。そのように構成すると、背景に存在する別の被写体が混入することを防ぐことができ、スウィングしている物体におけるＰＳＦ推定の精度が向上する。その場合、該当する長方形の領域を複数の正方矩形に分割し、それぞれの分割矩形でＰＳＦを推定し、周波数空間上で加算することで、もとの長方形におけるＰＳＦ推定結果を算出することができる。具体的に長方形をｎ領域に分割した場合、長方形におけるＰＳＦ推定結果の周波数空間上での値（Ｆ（Ｋ＿ａｌｌ））は次の式（５）で表現される。

また、演算に係る負荷の関係などで分割したすべての領域でＰＳＦを推定しない場合、エッジ抽出結果を参考に、ＰＳＦ推定に用いる分割領域の優先度を決めることができる。具体的には領域内に存在するエッジの角度が広く分散しているほど安定したＰＳＦの推定結果が得られるので、そのような領域を優先的に推定に参照するようにする。例えば競技具にメーカーのロゴや文字が印刷されている部分を含む領域を優先的に推定に参照するとよい。

また、直線状の物体よりも、円形状の物体を投入したほうがエッジの偏りが少なく、ブレの方向に関して、安定したＰＳＦ推定結果を得られることができる。そこで、例えばゴルフクラブの場合、シャフトの領域よりもヘッドの部分が含まれる領域を優先的に推定に用いるのがよい。

［実施例２］
以下、本発明の第２の実施形態について説明する。なお、以下で説明する実施形態は実施例１と同様に撮像装置であり、撮像装置の一例としてのデジタルカメラに本発明を適用した例を用いて説明する。

第１の実施例では、ＰＳＦ推定の精度を向上させることで躍動感のある画像を得ることを可能としたが、本実施例では機械学習やディープラーニングの技術によるシーン認識（シーン推定）を追加することで、高品質で躍動感のある画像を安定的に生成する。

本発明の実施形態に係るデジタルカメラの構成は、実施例１で説明した図１のブロック図と同様のため説明は省略する。本実施例では、実施例１と異なり、画像処理部１０７が図９に示すような構成となっている。以下、詳細を説明する。

図９において、主被写体検出部９０１、ＰＳＦ推定領域抽出部９０２、ＰＳＦ推定領域補正部９０３、ＰＳＦ推定部９０４は実施例１と同じである。画像補正部９０５は画像データ９０６とＰＳＦ推定部９０４、シーン認識部９０７の出力を受け入れるようになっている。シーン認識部９０７が実施例２で新たに加えられた処理である。

図１０が実施例２における画像処理部１０７で行う処理のフローチャートである。なお、実施例２でも図４と同じくテニスのスウィングを行う被写体を撮影することを想定している。図１０のＳ１００１からＳ１００３までの処理は、実施例１のＳ３０１からＳ３０３と同じ内容なので説明を省略する。

Ｓ１００４で、シーン認識部９０７は制御部１０１の制御の下、画像データ９０６に写っているシーンを認識（推定）する。ここではスポーツの種類を認識する。入力シーンにおいて、どのようなスポーツを行っているかを認識する手法については公知の技術を利用すればよく、例えば非特許文献１で開示されているような手法を用いればよい。テニスだけではなく、ゴルフや野球といったスポーツを行っていることを認識することができる。

更にシーン認識部９０７では、スポーツ種類の認識結果や、デジタルカメラ１００と人物被写体４０１との向き合い方、Ｓ１００３で抽出したラケット領域の画像データにおけるラケットの位置姿勢推定結果から、撮影時のラケットの移動方向を推定する。なお、ラケットの位置姿勢を推定する方法は、例えば非特許文献２で開示されているような手法を用いればよい。

Ｓ１００５の処理は、実施例１のＳ３０４と同じ内容なので説明を省略する。

Ｓ１００６で、ＰＳＦ推定部９０４は制御部１０１の制御の下、ＰＳＦ推定領域補正部９０３が出力した信号を使ってＰＳＦを推定する。本実施例におけるＰＳＦ推定では、実施例１の処理に加えて、入力された信号におけるエッジの偏り度合いの評価値を算出する。具体的には領域内に含まれる各エッジの角度を算出し、領域全体における角度の分散値を偏り度合いの評価値とする。評価値が高いほど領域内に様々な角度のエッジが存在することになる。ＰＳＦ推定は推定領域に様々な角度のエッジがあるほどブレの方向の推定結果が安定するため、エッジの偏り度合いの評価値が大きいほど高精度なＰＳＦ推定が生成される。ＰＳＦ推定部９０４はＰＳＦの推定結果と、エッジの偏り度合いの評価値を画像補正部９０５に対して出力する。

Ｓ１００７で、画像補正部９０５は制御部１０１の制御の下、ＰＳＦ推定部９０４が出力した信号と、シーン認識部９０７の出力信号を参照し、画像データ９０６に対してブラー効果を付与する。付与するブレの方向（角度）はＰＳＦ推定が推定した方向と、シーン認識部が推定した方向をエッジの偏り度合いの評価値から生成した重みを使って統合する。図１１はエッジの偏り度合いの評価値を重みαに換算する際のテーブルを表している。図１１よりエッジの偏り度合いの評価値が高くなる（ＰＳＦ推定の精度が高い）ほど、重みαが大きくように設計されている。次に最終的に付与するブレの方向（ＤＩＲ＿ＢＬＵＲ＿Ｆ）は、ＰＳＦ推定が推定した方向をＤＩＲ＿ＢＬＵＲ＿ＰＳＦ、シーン認識部が推定した方向をＤＩＲ＿ＢＬＵＲ＿ＳＣＥＮＥとすると、次の式（６）で表される。
ＤＩＲ＿ＢＬＵＲ＿Ｆ ＝ ＤＩＲ＿ＢＬＵＲ＿ＰＳＦ＊α ＋ ＤＩＲ＿ＢＬＵＲ＿ＳＣＥＮＥ（１．０－α） （６）
算出したＤＩＲ＿ＢＬＵＲ＿Ｆの方向に沿って、ブレを強調したカーネルを生成する。ブレを強調する方法とブレを付与する方法は実施例１と同じである。

本実施例のように構成することで、領域内のエッジが一部の角度に偏っている場合であったとしても、位置姿勢の推定など機械学習やディープラーニングの技術を併用することで、スウィングしている物体が移動する方向を推定することができる。これにより、例えば野球のバットなど直線成分が多い競技具であっても、ブレの方向を精度よく算出することができ、高品質で躍動感のある画像を安定的に得ることができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 光学系
１０５ 撮像部
１０６ Ａ／Ｄ変換部
１０７ 画像処理部
１０８ 記録媒体
１０９ 表示部
１１０ 操作入力部

Claims (14)

1. 画像内の特定領域を特定する特定手段と、
   前記特定領域におけるＰＳＦ推定を行うＰＳＦ推定手段と、を有し、
   前記ＰＳＦ推定手段は前記画像に対して、エッジ抽出とマスク処理のうち、少なくともひとつの処理を施すことができ、
   前記処理後の画像に対してＰＳＦを推定することを特徴とする画像処理装置。
2. 画像内の特定領域を特定する特定手段と、
   前記特定領域におけるＰＳＦ推定を行うＰＳＦ推定手段と、
   前記特定領域にブラー効果、またはデブラー効果を付与する演算手段と、を有する画像処理装置であって
   前記ＰＳＦ推定手段は前記画像に対して、エッジ抽出とマスク処理のうち、少なくともひとつの処理を施すことができ、
   前記処理後の画像に対してＰＳＦを推定し、
   前記演算手段は、前記ＰＳＦ推定の結果に基づいて、ブラー、またはデブラーの特性を決定することを特徴とする画像処理装置。
3. 画像内の特定領域を特定する特定手段と、
   前記特定領域におけるＰＳＦ推定を行うＰＳＦ推定手段と、
   前記特定領域が移動する方向を含む、前記画像におけるシーンを推定するシーン推定手段と
   前記特定領域にブラー効果、またはデブラー効果を付与する演算手段と、を有する画像処理装置であって
   前記演算手段は、前記ＰＳＦ推定の結果と、前記シーン推定の結果に基づいて、ブラー、またはデブラーの特性を決めることを特徴とする画像処理装置。
4. 前記特定領域はスウィング動作を伴うスポーツにおけるスウィングの対象物、もしくは主被写体の顔領域であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記スウィング動作を伴うスポーツにおけるスウィングの対象物とは、各スポーツにおける競技具であることを特徴とする請求項４に記載の画像処理装置。
6. 前記ブラー、または前記デブラーの特性とは、ＰＳＦ推定におけるブラーの量、ブラーの方向、および強度であることを特徴とする請求項２または３に記載の画像処理装置。
7. 前記シーン推定手段は、前記シーンとして前記画像に写っているスポーツの種類の認識、
   前記特定領域の位置姿勢の推定の少なくとも１つを行うことを特徴とする請求項３に記載の画像処理装置。
8. 前記シーン推定手段は前記画像に写っているスポーツの種類の認識結果、および前記特定領域の位置姿勢の推定結果に基づいて、前記特定領域が移動する方向を推定することを特徴とする請求項７に記載の画像処理装置。
9. 前記演算手段は、前記ＰＳＦ推定を実行する領域におけるエッジの角度における分散値が大きいほど、前記ＰＳＦ推定におけるブレの方向に対する重みを大きくすることを特徴とする請求項３に記載の画像処理装置。
10. 前記ＰＳＦ推定手段は前記画像の形状に応じて、推定領域を複数に分割し、それぞれをＰＳＦ推定した結果を周波数空間上で加算することで、統合することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
11. 前記ＰＳＦ推定手段は、前記複数に分割した推定領域におけるエッジの方向の角度の分布が広い領域ほど、統合する優先度を高くすることを特徴とする請求項１０に記載の画像処理装置。
12. 前記ＰＳＦ推定手段は、前記特定領域が主被写体の顔領域の場合、前記画像に対してエッジ抽出をした後に、肌色領域の信号のみが有効になるマスク処理を施すことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
13. 画像内の特定領域を特定する特定ステップと、
    前記特定領域におけるＰＳＦを推定するＰＳＦ推定ステップと、を有し、
    前記ＰＳＦ推定ステップでは前記画像に対して、エッジ抽出とマスク処理のうち、少なくともひとつの処理が実行でき、
    前記処理後の画像に対してＰＳＦを推定することを特徴とする画像処理方法。
14. コンピュータを、請求項１乃至３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images