JP5325800B2 - 画像処理装置、画像撮影装置、画像表示装置、およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像撮影装置、画像表示装置、およびプログラムに関し、より詳細には、奥行情報および／または動き情報を用いた画像処理を行う画像処理装置、画像撮影装置、画像表示装置、およびプログラムに関する。

画像撮影装置として、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）といった固体撮像素子を備えたデジタルカメラが広く普及している。一般に、動いている被写体を撮影する場合、被写体の動きぼけを低減するために、画像撮影装置のシャッタ速度を早くして撮影する。しかし、シャッタ速度を早くし動きぼけを低減した結果、被写体と背景のぼけ量の差も小さくなり、動いている被写体を撮影した臨場感が小さくなってしまう。

被写体の動きを画像に残す方法として、例えば特許文献１に記載の方法がある。特許文献１に記載の方法では、撮影画像に対して２フィールド前の画像を加算した画像を生成して保存している。これにより、動きのある被写体に対して残像を残している。

また、被写体の動きに応じてぼかし処理を加える方法として、例えば特許文献２に記載の方法がある。特許文献２に記載の方法では、動いている被写体の画像を撮影し、その後、その被写体がフレームアウトしたときに背景画像を撮影し、背景画像との差分で被写体部分を切り出す。そして、この方法では、被写体の動きに応じたぼかし処理を背景画像に加えておき、ぼかし処理を加えた背景画像と切り出した被写体部分の画像とを合成することで、流し撮り画像を簡単に得るようにしている。

特開２０００−１６５７４０号公報 特開２００６−３３９７８４号公報

しかしながら、上記方法では以下のような課題を有する。
特許文献１に記載の方法では、動いている被写体について撮影画像中での位置や形状が全く変化しなければ背景のみぼけた画像を得ることができるが、実際には動いている被写体を撮影画像中での位置や大きさを保ちながら撮影することは極めて困難である。したがって、結果的に、撮影したい被写体までぼけた画像を撮影することになってしまう。

また、特許文献２に記載の方法では、背景画像を被写体の移動方向にぼかすために、背景画像と被写体を分離する必要がある。このため、少なくとも２回の撮影を行う必要がある。そして、この２回の撮影は背景画像の移動が無いように十分に固定した状態で行う必要があり、簡単な撮影で背景をぼかすことができるとは言えない。さらにこの方法は、被写体が撮影画角の外側に出ない場合には適用することができず、特に、動画像の撮影では実現することができない。

本発明は、上述のような実状に鑑みてなされたものであり、その目的は、入力された画像から、その画像中の主たる被写体を除く領域にぼかし処理を施した高い臨場感をもった画像を簡単に生成することが可能で、かつ主たる被写体がフレームアウトしない場合にも適用可能な画像処理装置、その画像処理装置を備えた画像撮影装置、その画像処理装置を備えた画像表示装置、およびその画像処理をコンピュータに実行させるためのプログラムを提供することにある。

上記課題を解決するために、本発明の第１の技術手段は、画像情報および動き情報、若しくは画像情報、動き情報、および奥行情報を、入力情報として入力する画像処理装置であって、前記入力情報のうちいずれか１または複数に基づいて主たる被写体を決定する被写体決定部と、前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報に基づいて、若しくは前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報と、前記画像情報および／または前記奥行情報とに基づいて、ぼかし処理の方向および強度を算出するパラメータ算出部と、前記画像情報に対して、前記被写体決定部で決定された主たる被写体を除く領域に、前記パラメータ算出部で算出された方向および強度に応じてぼかし処理を施す画像処理部と、を備え、前記パラメータ算出部は、前記被写体決定部で決定された主たる被写体の領域の動き情報が、一様の方向を向いていない情報である場合には、前記主たる被写体の領域の動き情報から動き目標を算出し、該動き目標を中心とした放射状方向をぼかし処理の方向とすることを特徴としたものである。

第２の技術手段は、画像情報、動き情報、および奥行情報を、入力情報として入力する画像処理装置であって、前記入力情報のうちいずれか１または複数に基づいて主たる被写体を決定する被写体決定部と、前記奥行情報と前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報とに基づいて、若しくは前記奥行情報と前記画像情報と前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報とに基づいて、ぼかし処理の方向および強度を算出するパラメータ算出部と、前記画像情報に対して、前記被写体決定部で決定された主たる被写体を除く領域に、前記パラメータ算出部で算出された方向および強度に応じてぼかし処理を施す画像処理部と、を備え、前記パラメータ算出部は、前記被写体決定部で決定された主たる被写体の領域の奥行情報が、前記画像情報が示す画像の直前の画像として指定される画像中の前記主たる被写体の領域の奥行情報と比較して所定値以上の違いがある場合には、前記主たる被写体の領域の動き情報から動き目標を算出し、該動き目標を中心とした放射状方向をぼかし処理の方向とすることを特徴としたものである。

第３の技術手段は、画像情報、動き情報、および奥行情報を、入力情報として入力する画像処理装置であって、前記入力情報のうちいずれか１または複数に基づいて主たる被写体を決定する被写体決定部と、前記奥行情報と前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報とに基づいて、若しくは前記奥行情報と前記画像情報と前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報とに基づいて、ぼかし処理の方向および強度を算出するパラメータ算出部と、前記画像情報に対して、前記被写体決定部で決定された主たる被写体を除く領域に、前記パラメータ算出部で算出された方向および強度に応じてぼかし処理を施す画像処理部と、を備え、前記パラメータ算出部は、前記被写体決定部で決定された主たる被写体を除く領域のうち、前記主たる被写体の領域の動き情報との差が所定の動き量より小さい領域については、前記奥行情報に基づいてぼかし処理の強度を算出することを特徴としたものである。

第４の技術手段は、第１〜第３のいずれかの技術手段における画像処理装置を備えた画像撮影装置であって、撮影した画像情報を該画像処理装置に入力し該画像処理装置から出力されたぼかし処理後の画像情報を記録することを特徴としたものである。

第５の技術手段は、第１〜第３のいずれかの技術手段における画像処理装置を備えた画像表示装置であって、該画像処理装置から出力されたぼかし処理後の画像情報を表示することを特徴としたものである。

第６の技術手段は、画像処理用のプログラムであって、コンピュータに、画像情報および動き情報、若しくは画像情報、動き情報、および奥行情報を、入力情報として入力するステップと、前記入力情報のうちいずれか１または複数に基づいて主たる被写体を決定する決定ステップと、前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報に基づいて、若しくは前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報と、前記画像情報および／または前記奥行情報とに基づいて、ぼかし処理の方向および強度を算出する算出ステップと、前記画像情報に対して、前記決定ステップで決定された主たる被写体を除く領域に、前記算出ステップで算出された方向および強度に応じてぼかし処理を施すステップと、を実行させるためのプログラムであり、前記算出ステップは、前記決定ステップで決定された主たる被写体の領域の動き情報が、一様の方向を向いていない情報である場合には、前記主たる被写体の領域の動き情報から動き目標を算出し、該動き目標を中心とした放射状方向をぼかし処理の方向とすることを特徴としたものである。
第７の技術手段は、画像処理用のプログラムであって、コンピュータに、画像情報、動き情報、および奥行情報を、入力情報として入力するステップと、前記入力情報のうちいずれか１または複数に基づいて主たる被写体を決定する決定ステップと、前記奥行情報と前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報とに基づいて、若しくは前記奥行情報と前記画像情報と前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報とに基づいて、ぼかし処理の方向および強度を算出する算出ステップと、前記画像情報に対して、前記決定ステップで決定された主たる被写体を除く領域に、前記算出ステップで算出された方向および強度に応じてぼかし処理を施すステップと、を実行させるためのプログラムであり、前記算出ステップは、前記決定ステップで決定された主たる被写体の領域の奥行情報が、前記画像情報が示す画像の直前の画像として指定される画像中の前記主たる被写体の領域の奥行情報と比較して所定値以上の違いがある場合には、前記主たる被写体の領域の動き情報から動き目標を算出し、該動き目標を中心とした放射状方向をぼかし処理の方向とすることを特徴としたものである。
第８の技術手段は、画像処理用のプログラムであって、コンピュータに、画像情報、動き情報、および奥行情報を、入力情報として入力するステップと、前記入力情報のうちいずれか１または複数に基づいて主たる被写体を決定する決定ステップと、前記奥行情報と前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報とに基づいて、若しくは前記奥行情報と前記画像情報と前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報とに基づいて、ぼかし処理の方向および強度を算出する算出ステップと、前記画像情報に対して、前記決定ステップで決定された主たる被写体を除く領域に、前記算出ステップで算出された方向および強度に応じてぼかし処理を施すステップと、を実行させるためのプログラムであり、前記算出ステップは、前記決定ステップで決定された主たる被写体を除く領域のうち、前記主たる被写体の領域の動き情報との差が所定の動き量より小さい領域については、前記奥行情報に基づいてぼかし処理の強度を算出することを特徴としたものである。

本発明によれば、入力された画像から、その画像中の主たる被写体を除く領域にぼかし処理を施した高い臨場感をもった画像を簡単に生成することができ、かつ主たる被写体がフレームアウトしない場合にも適用できる。

本発明に係る画像処理装置の一構成例を示すブロック図である。 図１の画像処理装置に入力される画像情報の一例を示す図である。 図２の画像情報に対応して図１の画像処理装置に入力される奥行情報の一例を示す図である。 図２の画像情報に対応して図１の画像処理装置に入力される動き情報の一例を示す図である。 図２の画像情報に対して図１の画像処理装置におけるパラメータ算出部で算出されたパラメータの一例を示す図である。 図２の画像情報に対して図１の画像処理装置における画像処理部でぼかし処理を施した後の画像情報の一例を示す図である。 図２の画像情報に対して図１の画像処理装置におけるパラメータ算出部で算出されたパラメータの他の例を示す図である。 図２の画像情報に対して図１の画像処理装置における画像処理部でぼかし処理を施した後の画像情報の他の例を示す図である。 図１の画像処理装置に入力される画像情報の他の例を示す図である。 図９の画像情報に対応して図１の画像処理装置に入力される奥行情報の一例を示す図である。 図９の画像情報に対応して図１の画像処理装置に入力される動き情報の一例を示す図である。 図９の画像情報に対して図１の画像処理装置における画像処理部でぼかし処理を施した後の画像情報の一例を示す図である。 図９の画像情報に対して図１の画像処理装置における画像処理部でぼかし処理を施した後の画像情報の他の例を示す図である。 図９の画像情報に対応して図１の画像処理装置に入力される動き情報の一例を示す図である。 図９の画像情報に対して図１の画像処理装置におけるパラメータ算出部で算出されたパラメータの一例を示す図である。 図９の画像情報に対して図１の画像処理装置における画像処理部でぼかし処理を施した後の画像情報の他の例を示す図である。 図９の画像情報に対応して図１の画像処理装置に入力される動き情報の他の例を示す図である。 図９の画像情報に対して図１の画像処理装置におけるパラメータ算出部で算出されたパラメータの他の例を示す図である。 図９の画像情報に対して図１の画像処理装置における画像処理部でぼかし処理を施した後の画像情報の他の例を示す図である。 図１の画像処理装置を備えた画像撮影装置の一構成例を示すブロック図である。

本発明は、入力された画像に対してぼかし処理を施す技術に関し、以下、図面を参照しながら本発明の実施の形態について詳細に説明する。なお、各図におけるぼかし処理の表現は理解しやすいように誇張して記載しており、実際のぼかし処理結果とは異なる場合がある。

図１は、本発明に係る画像処理装置の一構成例を示すブロック図である。図１で例示する画像処理装置１０は、画像情報、動き情報、および奥行情報を入力情報として入力するように構成されており、かつ、被写体決定部１１、パラメータ算出部１２、および画像処理部１３を備えている。但し、後述するように各部１１〜１３におけるいずれの処理にも奥行情報を利用しない構成を採用することもでき、その場合には当然、奥行情報の入力は必要なくなる。

画像情報は、カラー画像の成分毎の画素値や白黒画像の画素値などを示す画像データである。なお、入力される画像データは圧縮符号化されていてもよく、その場合には画像処理装置１０内で伸張するように構成しておけば済む。また、画像情報は、その入力順や、別途付加した表示位置を示す情報などにより、画像データ中の各画素値の表示位置が特定できるようになっている。動き情報は、動きベクトルに代表される、フレーム間の被写体の動きを示すデータである。奥行情報は、被写体の距離情報を示すものであり、画像撮影装置から被写体までの距離データ（撮影距離データ）や、画像撮影装置で２つ以上の視点から撮影したときの視差データなどが挙げられる。奥行情報は、画素毎または所定領域でなるブロック毎に割り当てられていればよいが、オブジェクトベースで割り当てられていてもよい。

被写体決定部１１では、画像中の主たる被写体を決定する（つまり主たる被写体の領域を特定する）。言い換えると、被写体決定部１１は、ぼかし処理を行わない領域（主たる被写体の領域）とぼかし処理を行う領域（主たる被写体以外の領域）とを分離する。ここで、主たる被写体の決定は、奥行情報、動き情報、および画像情報のいずれか１または複数に基づいて行う。つまり、被写体決定部１１は、入力情報のうち１または複数に基づいて主たる被写体を決定する。

入力情報のうち一つに基づいて主たる被写体を決定する例を挙げる。
奥行情報を利用する場合、例えば被写体までの距離に応じて画像中のオブジェクトを分離することができ、この分離された情報により主たる被写体の領域（以下、被写体領域という）を決定することができる。例えば、一番距離が短いオブジェクトを主たる被写体に決定することができる。
動き情報を利用する場合、例えば同一オブジェクトは同一の動きをすることを利用し、動きベクトルの方向と大きさによってオブジェクトを分離でき、この情報により被写体領域を決定することができる。例えば、一番動きが小さいオブジェクトを主たる被写体に決定することができる。
画像情報を利用する場合、例えば画素値が示す色の違いおよび明るさの違いによってオブジェクトを分離し、この情報により被写体領域を決定することができる。例えば、画像情報の位置が撮影画像中の中心に位置するオブジェクトを主たる被写体に決定することができる。

一つの種類の情報だけを利用して主たる被写体を決定する例を挙げたが、上述した３種類の情報のうち一つだけでは決定が困難な場合も存在する。そのため、被写体決定部１１は、奥行情報、動き情報、および画像情報のいずれか複数の情報を併用して、被写体領域を特定することが好ましい。

一つの情報のみからでは主たる被写体の決定が困難な場合について、例を挙げる。
奥行情報だけで主たる被写体を決定するための一般的な方法として、上述したように、奥行情報が示す距離（視差）の違いでオブジェクトを分離するといった方法がある。しかし、この方法を採用した場合であっても、誤差が大きいオブジェクトが存在してしまう可能性をもった視差算出方法を用いた場合には、オブジェクトの分離に誤差が生じ、結果的に主たる被写体の決定に誤差が生じる。例えばステレオ撮影により視差を算出する場合にはオクルージョン領域が発生するが、オクルージョン領域に該当する視差値は誤りである可能性があるため、視差値だけではオブジェクトの分離に誤差が発生してしまう。その対処法としては、奥行情報だけでなく、画像情報および／または動き情報を併用して決定を行えばよい。例えば、画像情報を用い、同色で明るさが違う領域をオクルージョン領域とみなして、その領域の視差値を（一つオブジェクトが持つような連続的な値になるように）修正し、オクルージョン領域以外の視差値とオクルージョン領域の修正後の視差値とを用いてオブジェクトの分離を行えばよい。

動き情報だけで主たる被写体を決定するための一般的な方法として、上述したように、動きベクトルの向きと大きさでオブジェクトを分離するといった方法がある。しかし、この方法を採用した場合であっても、回転するオブジェクトが存在した場合などにはオクルージョン領域が発生し、その領域に該当する動きベクトルは均一でなく誤りである可能性すらある。また、オブジェクトが画像撮影装置に対して近づいたり遠のいたりする場合には、オブジェクトの動きベクトルは均一ではなくなる。これらの場合、動きベクトルだけではオブジェクトの分離に誤差が発生してしまい、主たる被写体を動き情報だけで決定するのは困難となる。その対処法としては、動き情報だけでなく、画像情報および／または奥行情報を併用して決定を行えばよい。例えば、まず入力画像情報から画像特徴を解析して、同等の特徴（エッジ等）が続いて入力される入力画像情報に再度現れるかを検索するなどして回転を検知し、回転が検知された領域を回転オブジェクトとして他の領域と分離し、該他の領域についてのみ動きベクトルの大きさと向きとでオブジェクトを分離すればよい。そして、動きベクトルの大きさと向きとで分離する際に、動きベクトルが均一でない領域については、パラメータ算出に関して後述する「動き目標」の考え方をオブジェクト分離処理でも採用し、動き目標が定められるか否かを判定し、同じ動き目標を持つ領域を一つのオブジェクトとして分離することで、画像撮影装置に対して近づいたり遠のいたりするオブジェクトは分離できる。

画像情報だけで主たる被写体を決定するための一般的な方法として、画素値が示す色の違いでオブジェクトを分離するといった方法がある。しかし、この方法を採用した場合、実際に色の違いが存在したときに、その違いが、オブジェクトが異なることに起因しているのか或いはオブジェクト中の模様に起因しているのかが区別できない。したがって、この方法では、対象となる入力画像情報によっては主たる被写体の決定が困難となり、所定の条件に基づき区別するように構成したとしても誤差が大きくなる可能性がある。その対処法としては、画像情報が示している色の違いだけでなく、奥行情報および／または動き情報を併用して決定を行えばよい。例えば、上記違いが生じる領域についての奥行情報が同じであるときや所定値以内の差で収まっているときにはオブジェクト中の模様であると判定でき、それ以外のときには異なるオブジェクトであると判定できる。

また、被写体領域の特定に利用する情報は上述した３種類に限ったものではない。例えば撮影した映像または画像であれば、フォーカス位置または撮影距離といった撮影時に得た情報（画像につき１つの情報）を奥行情報と共に利用することで、被写体領域の分離が容易となる。例えば、奥行情報がフォーカス位置と同じとなっている領域（若しくは同じでない領域）を被写体領域と特定することができる。さらに、主たる被写体の一部をユーザーが指定するようにし、この指定情報を、主たる被写体の位置を特定するための入力情報の一つとしてもよい。ここで、ユーザーによる指定は、タッチパネル上で画像を表示しながら行えるようにすることが好ましい。

パラメータ算出部１２は、ぼかし処理を行う際のパラメータを決定する。パラメータとしては、ぼかし処理の方向とぼかし処理の強度がある。方向については、主たる被写体と決定された領域（被写体領域）とそれ以外の領域（すなわち背景と決定された背景領域）とに関する動きベクトルなどの動き情報から算出される。強度についても動き情報から算出される。背景領域の動きベクトルと被写体領域の動きベクトルとの差分、より具体的には背景領域の動きベクトルから被写体領域の動きベクトルを差し引いた差分ベクトルを求め、この差分ベクトルに基づきぼかし処理の方向と強度を算出する。

パラメータ算出部１２は、例えば単純に上記差分ベクトルに比例するベクトルを求め、そのベクトルが示す大きさおよび方向を、ぼかし処理の強度および方向として算出することができる。その他、パラメータ算出部１２は、上記差分ベクトルに対して非線形な処理を施すことで、パラメータを算出してもよい。例えば、上記差分ベクトルの大きさが閾値Ｔｄ以下であるか、閾値Ｔｓ（＞Ｔｄ）より大きかった場合には、ぼかし処理をしないようなパラメータ（つまり強さ０）に決定し、Ｔｄより大きくＴｓ以下であった場合には、上記差分ベクトルの大きさを変数とする所定の関数で表される強さおよび上記差分ベクトルと同じ方向に決定することもできる。この例では、誤差により無用な臨場感を出す結果となってしまわないように、閾値Ｔｄ以下の場合にぼかし処理を施しておらず、また背景の動き自体で臨場感が既にある程度得られる場合でも臨場感を出す結果となってしまわないように、閾値Ｔｓより大きい場合にもぼかし処理を施していない。

このように、パラメータ算出部１２は、動き情報に基づいて、ぼかし処理の方向および強度を算出すればよい。なお、動画像の場合、例えば計算量の削減のためにＩフレーム毎に算出を実行するようにしてもよいが、ぼかし処理を施さない主たる被写体の領域とぼかし処理を施す背景領域とに誤差が生じる可能性があるため、フレーム毎に算出を実行することが好ましい。

画像処理部１３は、入力画像に対してぼかし処理を行って出力画像の生成を行う。すなわち、画像処理部１３は、入力画像情報に対して、被写体決定部１１で決定された被写体を除く領域に、パラメータ算出部１２で算出された方向および強度に応じてぼかし処理を施し、出力する。ぼかし処理は基本的にパラメータの算出の度に行うとよい。そして、ぼかし処理が施された画像が出力画像情報として画像処理装置１０から出力される。

ここで、ぼかし処理はフィルタリング処理などにより実現される。このフィルタリング処理時に用いるフィルタとしてはローパスフィルタを採用すればよい。その代表が、エッジを低減させるフィルタ、すなわち平均化フィルタである。平均化フィルタでは、例えば所定サイズの領域毎に画素値を平均化することで、エッジをぼかすことができる。ぼかし処理としてこのような空間フィルタを用いた場合、例えば、ぼかし処理の強さに応じた距離だけぼかし処理の方向に離間した位置までの画素値などを用いて注目画素の画素値を平均化すればよい。

また、空間フィルタではなく、周波数領域に変換したのちに周波数フィルタによって高域成分を除去しても同様の効果が得られる。この場合、フーリエ変換などでは空間情報が失われるため、領域分割など、被写体領域を分離する手段を別途設けておけばよい。このようなフィルタを用いた場合、例えば、予め定められた面積の除去範囲を用いてぼかし処理の方向に応じて除去範囲を当てはめる長手方向を決め、その除去範囲に含まれる領域を分割し、各分割領域について、ぼかし処理の強さに応じて除去対象の周波数成分を増やして除去を行うなどしてもよい。

次に、入力情報の具体的な例を挙げて、上述のぼかし処理について説明する。図２は図１の画像処理装置１０に入力される画像情報の一例を示す図、図３は図２の画像情報２０に対応して入力される奥行情報の一例を示す図、図４は図２の画像情報２０に対応して入力される動き情報の一例を示す図である。また、図５は図２の画像情報２０に対してパラメータ算出部１２で算出されたパラメータの一例を示す図、図６は図２の画像情報２０に対して画像処理部１３でぼかし処理を施した後の画像情報の一例を示す図である。

図２で例示する入力画像情報２０は、被写体Ａと被写体Ｂが存在しているものとし、対応する奥行情報は図３の奥行情報３０のように表現できる情報、対応する動き情報は図４の動き情報４０のような動きベクトルで表現できる情報とする。但し、便宜上、図３では被写体までの距離が大きいほど暗く表現し、図４では矢印の方向および長さで動きベクトルを表現している。図２の入力画像情報２０との位置的な対応をみると、図３の奥行情報３０は、被写体Ａの領域で距離が小さく、被写体Ｂを含む他の領域でより大きくなっていることが分かる。図２の入力画像情報２０との位置的な対応をみると、図４の動き情報４０は、被写体Ａの領域の動きベクトルが一様に左向き、他の領域の動きベクトルが一様に右向きとなっていることが分かる。

このような情報２０，３０，４０に対して、まず被写体決定部１１がぼかし処理を施さない被写体を決定する。情報２０，３０，４０の全てを利用した例を挙げると、まず画像情報２０における明るさや色の情報から画像をいくつかの領域に分割し、奥行情報３０および動き情報４０から被写体の連続性を考慮して分割された領域を統合していき、被写体を分離していく。そして、被写体決定部１１は、ぼかし処理を行わない主たる被写体を、画像の中心領域に存在すること、最も領域が大きいことなどにより特定してもよいし、顔認識による人物特定、撮影時フォーカス位置、ユーザーの指定などにより特定してもよい。動画の場合には、任意のフレームにおいて被写体を特定した後は、オブジェクトの追跡によって被写体を特定してもよい。

ここでは、被写体決定部１１が画像の中心領域に存在しかつ距離が小さいといった条件にしたがって、主たる被写体として図２の被写体Ａ（自動車）を特定された場合について、パラメータ算出およびぼかし処理の例を挙げる。

パラメータ算出部１２では、ぼかし処理の方向と強度を算出する。そのため、パラメータ算出部１２は、被写体決定部１１から決定された被写体Ａの領域を示す情報を入力すると共に、動き情報４０も入力し、被写体Ａを除く領域の動きベクトルと被写体Ａの領域の動きベクトルとを用いて算出を行う。より具体的には、パラメータ算出部１２は、被写体Ａの領域に対する、被写体Ａを除く領域の相対的な動きを算出する。図４で例示した動き情報４０から算出した結果は、図５の差分情報５０で示すようになり、パラメータ算出部１２はこの差分情報（差分ベクトル）の方向および大きさからパラメータ（ぼかし処理の方向および強度）を算出し、画像処理部１３に出力する。

画像処理部１３は、入力されたパラメータに基づいて、被写体Ａ以外の領域についてぼかし処理を施し、その結果、図６で例示した画像情報６０が出力される。このように画像情報６０は、図２の入力画像情報２０に対し、図５の差分情報５０が示すパラメータにしたがってぼかし処理が施された結果として出力された出力画像情報の例である。単純なぼかし処理例を挙げると、差分情報５０が示す向きの逆向きをぼかし処理の向きとし、差分情報５０が示す大きさをぼかし処理の強さとして採用した場合で、かつ、ぼかし処理に空間的な平均化フィルタを用いた場合、差分情報５０の動きベクトルの終点を注目画素として、始点に向かって上記大きさ分の距離だけ離間した位置（つまり始点位置）までに所定幅で存在する全ての画素値を平均化した値を、注目画素の値として出力する。

このぼかし処理例に限らず、画像情報６０では、被写体Ａ（自動車）は鮮明なまま保持され、被写体Ｂ（木）は、被写体Ｂ自身の他の領域の画素値や被写体Ａ，Ｂ以外の領域の画素値との平均化などによるぼかし処理が行われており、被写体Ａの動きが表現された臨場感のある画像となっていることが分かる。

次に、図２〜図４で説明した入力情報と同一の入力情報を用い、上述の例とは異なる被写体（被写体Ｂ）を主たる被写体とした場合について、図７および図８を併せて参照しながら説明する。図７は図２の画像情報２０に対してパラメータ算出部１２で算出されたパラメータの他の例を示す図、図８は図２の画像情報２０に対して画像処理部１３でぼかし処理を施した後の画像情報の他の例を示す図である。

この場合、パラメータ算出部１２は、被写体決定部１１から決定された被写体Ｂの領域を示す情報を入力すると共に、動き情報４０も入力し、被写体Ｂを除く領域の動きベクトルと被写体Ｂの領域の動きベクトルとを用いて算出を行う。より具体的には、パラメータ算出部１２は、被写体Ｂの領域に対する、被写体Ｂを除く領域の相対的な動きを算出する。図４で例示した動き情報４０から算出した結果は、図７の差分情報７０で示すようになり、パラメータ算出部１２はこの差分情報（差分ベクトル）の方向および大きさからパラメータ（ぼかし処理の方向および強度）を算出し、画像処理部１３に出力する。

画像処理部１３は、入力されたパラメータに基づいて、被写体Ｂ以外の領域についてぼかし処理を施し、その結果、図８で例示した画像情報８０が出力される。このように画像情報８０は、図２の入力画像情報２０に対し、図７の差分情報７０が示すパラメータにしたがってぼかし処理が施された結果として出力された出力画像情報の例である。画像情報８０では、被写体Ｂ（木）は鮮明なまま保持され、被写体Ａ（自動車）は、被写体Ａ自身の他の領域の画素値や被写体Ａ，Ｂ以外の領域の画素値との平均化などによるぼかし処理が行われており、被写体Ｂの動きが表現された臨場感のある画像となっていることが分かる。

図６の画像情報６０と図８の画像情報８０の比較により分かるように、被写体の特定を変更させると生成される画像も変化することになる。すなわち、同一の入力情報であっても、ユーザーが望む被写体に対して臨場感のある画像を容易に得ることができる。ここで、ユーザーが望む被写体については、上述したように、ユーザーが直接指定することや、ユーザーが被写体決定部１１における決定条件の設定を事前に行うことでその決定条件に合う被写体として間接的に指定することなどが可能である。

以上では、撮影被写体が基本的に被写体Ａ，Ｂの２つ存在する画像情報２０が入力された例（但し、画像情報２０中のそれ以外の領域は、図６の結果を得るためには被写体Ｂと同等に扱い、図８の結果を得るためには被写体Ａと同等に扱った例）を挙げて説明した。

次に、図９〜図１９を参照しながら、撮影被写体が基本的に被写体Ｃ，Ｄ，Ｅの３つ存在する画像情報が入力された例について説明する。図９は図１の画像処理装置１０に入力される画像情報の他の例を示す図、図１０は図９の画像情報９０に対応して画像処理装置１０に入力される奥行情報の一例を示す図、図１１は図９の画像情報９０に対応して画像処理装置１０に入力される動き情報の一例を示す図である。

図９で例示する入力画像情報９０は、被写体Ｃ，Ｄ，Ｅが存在しているものとし、対応する奥行情報は図１０の奥行情報１００のように表現できる情報、対応する動き情報は図１１の動き情報１１０のような動きベクトルで表現できる情報とする。但し、便宜上、図１０では距離が大きいほど暗く表現し、図１１では矢印の方向および長さで動きベクトルを表現している。図９の入力画像情報９０との位置的な対応をみると、図１０の奥行情報１００は、被写体Ｃの領域で距離が小さく、被写体Ｄ，Ｅを含む他の領域でより大きくなっていることが分かる。図９の入力画像情報９０との位置的な対応をみると、図１１の動き情報１１０は、左側の被写体Ｄの領域の動きベクトルが左方向に放射した向き、右側の被写体Ｄの領域の動きベクトルが右方向に放射した向き、他の領域の動きベクトルが０（つまり動き無し）となっていることが分かる。

このような情報９０，１００，１１０に対して、まず被写体決定部１１がぼかし処理を施さない被写体を決定する。特定の方法については上述した通りであり、説明を省略する。被写体決定部１１で決定した主たる被写体が被写体Ｃである場合について、図９〜図１１と共に、図１２を参照しながら説明する。ここで、図１２は図９の画像情報９０に対して画像処理部１３でぼかし処理を施した後の画像情報の一例を示す図である。

この場合、パラメータ算出部１２は、被写体決定部１１から決定された被写体Ｃの領域を示す情報を入力すると共に、動き情報１１０も入力し、被写体Ｃを除く領域の動きベクトルと被写体Ｃの領域の動きベクトルとを用いて算出を行う。より具体的には、パラメータ算出部１２は、被写体Ｃの領域に対する、被写体Ｃを除く領域の相対的な動きを算出する。被写体Ｃの動きは画像面内での動きは極めて小さいので、図１１で例示した動き情報１１０から算出した結果は、同じく図１１の動き情報１１０と同等の差分情報となる。パラメータ算出部１２はこの差分情報（差分ベクトル）の方向および大きさからパラメータ（ぼかし処理の方向および強度）を算出し、画像処理部１３に出力する。

画像処理部１３は、入力されたパラメータ（この例では図１１に示す方向と強度）に基づいて、被写体Ｃ以外の領域についてぼかし処理を施し、その結果、図１２で例示した画像情報１２０を出力する。このように画像情報１２０は、図９の入力画像情報９０に対し、図１１の動き情報１１０と同じ差分情報が示すパラメータにしたがってぼかし処理が施された結果として出力された出力画像情報の例である。画像情報１２０では、被写体Ｃ（自動車）は鮮明なまま保持され、被写体Ｄ（木）は、被写体Ｄ自身の他の領域の画素値や被写体Ｃ以外の領域の画素値との平均化などによるぼかし処理が行われており、被写体Ｃの動きが表現された臨場感のある画像となっていることが分かる。

以上の説明は、被写体決定部１１で決定された被写体であって、図６の結果を得る主たる被写体Ａ、図８の結果を得る主たる被写体Ｂ、図１２の結果を得る主たる被写体Ｃは、被写体の動き情報が、一様の方向を向いている場合または動き無しの場合についてのものである。このような場合や、動き無しとみなせるような所定の動き量より小さい場合、上述したようにパラメータ算出部１２は、上記被写体を除く領域の動き情報と上記被写体の領域の動き情報との差が示す方向（例えば差分ベクトルの方向）を、ぼかし処理の方向とする（但し向きは異ならせてもよい。以下同様。）ことで、上記被写体の動きが表現された臨場感を与えることができる。

このように、本発明によれば、入力された画像から、その画像中の主たる被写体を除く領域にぼかし処理を施した高い臨場感をもつ画像を、簡単に生成することができる。ここで、本発明では、主たる被写体とそれ以外との双方の動き情報をぼかし処理の方向と強度の算出に用いているため、主たる被写体がフレームアウトしない場合や主たる被写体以外の被写体が撮影画像中で移動する場合にも適用できる。このことは、高い臨場感を得るための本発明のぼかしが、動画像やその一部としての静止画像についても簡単に付加できることを意味する。つまり、本発明によれば、動いている被写体を撮影したときに、鮮明な被写体とそれ以外のぼけた領域（背景領域）とでなる、臨場感のある動画像やその静止画像を簡単に得ることができる。また、主たる被写体以外の被写体が移動しても適用できるため、従来のように、背景画像が撮影画像中で移動しないように固定して撮影するなどの面倒な撮影も必要なくなり、簡単に高臨場感の画像が生成できる。

但し、図１２の例では、図１０の奥行情報１００から分かるように、被写体Ｅ（山）は遠方にあるため被写体Ｃに対する動き量が小さく、ぼかし処理が行われた図１２の画像情報１２０においても鮮明な輪郭を保持している。このような出力画像は、被写体Ｃに対する被写体Ｅの領域での違和感のように、撮影環境によっては違和感のある画像となってしまう。

次に、このような違和感を取り除くための好ましい例であって、同じく、図９の画像情報９０について被写体決定部１１で決定した主たる被写体が被写体Ｃである場合の例を、図９〜図１１、図１３を参照しながら説明する。ここで、図１３は図９の画像情報９０に対して画像処理部１３でぼかし処理を施した後の画像情報の他の例を示す図である。

ここで説明する好ましい例では、上述した違和感を無くすために、被写体Ｃを除く領域において、被写体Ｃの領域との相対的な動き量が小さい場合、つまり被写体を除く領域のうち被写体の領域の動き情報との差が所定の動き量より小さい領域である場合には、奥行情報１１０を用いてぼかし処理のパラメータを算出するようにする。より具体的には、遠景で相対的な動き量が小さい被写体Ｅについては、被写体Ｃに対する動き量は小さいのでぼかし処理を行うパラメータのうち、方向を所定の方向に均一とするなどし、強度を被写体Ｅの領域の奥行情報１００（好ましくは被写体Ｃと被写体Ｅとの奥行情報１００の差）にしたがって算出し、ぼかし処理を行うことが好ましい。

その結果は図１３の画像情報１３０のようになり、遠くの被写体Ｅが存在する場合においても、被写体Ｃと同様に被写体Ｅがくっきり見えるような違和感がなく、臨場感を高めた画像を得ることができる。動き情報のみで処理した場合には、図１２の画像情報１２０のように意図しない形で被写体Ｅが強調されてしまったが、奥行情報も併せて利用することでこれを防ぐことができる。

もちろん、パラメータ算出部１２は、このような奥行情報を用いた算出方法とは異なる算出方法で、動き情報と奥行情報に基づいてぼかし処理の方向および強度を算出するようにしてもよい。このとき、奥行情報は、上述したように主たる被写体の領域とそれ以外の領域との双方用いることが好ましいが、主たる被写体以外の領域のみの奥行情報でも算出できる。

さらに、パラメータ算出部１２は、動き情報と画像情報に基づいて、若しくは動き情報と画像情報と奥行情報に基づいて、ぼかし処理の方向および強度を算出するようにしてもよい。なお、被写体決定時とパラメータ算出時とで用いる情報の種類を合わせる必要はない。例えば、背景のぼかし処理をより強調する場合を考える。動き情報の値が小さい被写体であっても、被写体からの距離が大きければ、実際の被写体の速度は大きい。したがって、距離が大きい領域のぼかし強度をより大きくすることで、実空間での被写体の速さを考慮した、ぼかし処理の強調が可能となる。すなわち、パラメータの算出に動き情報だけでなく奥行情報を利用することで、被写体の速さを考慮したぼかし処理が可能となる。

また、画像処理部１３は、ぼかし処理を行う際に、ぼかしの方向だけでなく動きの方向（主たる被写体に対して主たる被写体以外の領域が動く方向）を考慮して、ぼかしの範囲を限定すると効果的である。任意の注目画素の動きの方向とは逆方向の周辺画素に対して重み付けをして注目画素のぼかし処理を行えばよい。例えば、右方向への動きベクトルを持つ注目画素についてぼかし処理を行う場合には、その注目画素の左側領域の画素を使って平均化などのぼかし処理を施す。これは、注目画素の時間的な変化を考慮した処理となるため、より臨場感を高めた画像を得ることができる。

以上で説明したぼかし処理では、主たる被写体の動きベクトルが一様な方向を向いている場合（つまり一様な向きをもつ場合）または動き量無しとみなせる場合であったが、一様な方向に向いていない場合には、主たる被写体を除く領域からの動き情報の差を算出することが困難となる。

そこで、動き情報が図１１の動き情報１１０の代わりに図１４で例示する動き情報１４０であった場合の処理について、図１５および図１６も併せて参照して説明する。図１４は図９の画像情報９０に対応して画像処理装置１０に入力される動き情報の一例を示す図、図１５は図９の画像情報９０に対してパラメータ算出部１２で算出されたパラメータの一例を示す図、図１６は図９の画像情報９０に対して画像処理部１３でぼかし処理を施した後の画像情報の他の例を示す図である。

図９の画像情報９０、図１４の動き情報１４０、および奥行情報（例えば図１０の奥行情報１００のような奥行情報）に対して、まず被写体決定部１１がぼかし処理を施さない被写体を決定する。この例は、被写体決定部１１が、動き情報が一様な方向を向いていない被写体Ｃに決定した場合について説明することになる。なお、特定の方法については上述した通りであり説明を省略する。

パラメータの算出について説明する。図１４の動き情報１４０から分かるように、被写体Ｃに対応する動きベクトルは一様ではない。これは、画像平面内の動きではなく奥行方向への動きを含んでいるからである。例えば、被写体が近付いてくる場合には画像面内で被写体が大きくなるように、被写体が遠ざかる場合には画像面内で被写体が小さくなるように動き情報が得られる。このような被写体の動きは奥行情報の被写体領域の時間変化から判別することが可能である。なお、画像情報の画像解析が必要となるが、解析の結果、被写体がそれと相似な被写体に時間変化することから、このような被写体の動きを判別することもできる。

このように被写体が時間経過に伴い大きくまたは小さくなる場合、図１４の動き情報１４０中に被写体Ｃの動き目標を図示したように、被写体の各動きベクトルは被写体の動き目標を向いている。この動き目標は、主たる被写体以外の領域が拡散する始点であると言えるため、ぼかし処理のパラメータの算出に用いることができる。

より具体的には、パラメータ算出部１２には、被写体決定部１１から決定された被写体Ｃの領域を示す情報を入力すると共に、動き情報１４０および奥行情報も入力される。そして、パラメータ算出部１２は、被写体決定部１１で決定された被写体の領域の奥行情報が、画像情報が示す画像の直前の画像（ユーザ指定された画像や動画像であれば所定フレーム前などとして指定される画像）中の被写体の領域の奥行情報と比較して所定値以上の違いがある場合には、まず動き情報１４０のうち被写体Ｃに対応した動き情報から被写体Ｃの動き目標を算出し、その動き目標からぼかし処理の方向および強度を算出すればよい。

そして、パラメータ算出部１２は、算出した動き目標を中心とした放射状方向をぼかし処理の方向とする。また、ぼかし処理の強度は、この動き目標からの距離に応じて（好ましくは距離に反比例するように）設定すればよい。このようにして動き情報１４０に対して算出されたパラメータは、図１５に例示するベクトル情報１５０のようになる。

画像処理部１３は、入力されたパラメータ（図１５に示す方向と、図１５に示す大きさから求まる強度）に基づいて、被写体Ｃ以外の領域についてぼかし処理を施し、その結果、図１６で例示した画像情報１６０を出力する。このように画像情報１６０は、図９の入力画像情報９０に対し、図１４の動き情報１４０から算出されたパラメータにしたがってぼかし処理が施された結果として出力された出力画像情報の例である。画像情報１６０では、被写体Ｃ（自動車）は鮮明なまま保持され、被写体Ｄ（木）や被写体Ｅ（山）は、自身の他の領域の画素値や被写体Ｃ以外の領域の画素値との平均化などによるぼかし処理が行われており、被写体Ｃの動きが表現された臨場感のある画像となっていることが分かる。

また、動き情報が一様な方向を向いていない情報である場合のうち、主たる被写体が近付いてくる場合および遠ざかる場合に適用できる例を挙げた。しかし、被写体決定部１１で決定された主たる被写体がこのような動きに限らず一様な方向を向いていない動きであることを他の方法などで検出したときであっても、動き目標を算出して、それに基づきパラメータを算出してもよい。つまり、パラメータ算出部１２は、被写体決定部１１から決定された被写体の領域を示す情報を入力すると共に、動き情報も入力し、まず被写体に対応した被写体の動き情報から動き目標を算出し、算出した動き目標を中心とした放射状方向をぼかし処理の方向としてもよい。この例でも、ぼかし処理の強度は動き目標からの距離に反比例させるなどすればよい。

また、この例や図１４〜図１６で説明した例のように動き目標からぼかし方向を決定する方法を採用した場合でも、動きベクトルが小さい「動き目標の周辺」などで、図１２の画像情報１２０における被写体Ｅ（山）でのような違和感が生じることがある。この対策としては、算出されたぼかし強度が所定の値より小さくなった場合には被写体からの距離に応じてぼかし処理を行う、などと図１３で説明した処理と同様の処理を適用することで、違和感を低減することができる。

次に、主たる被写体が被写体Ｃ（自動車）ではなく被写体Ｄ（木）であった場合の図１４〜図１６に対応する処理結果について、図１７〜図１９を参照して補足的に説明する。図１７は図９の画像情報９０に対応して画像処理装置１０に入力される動き情報の他の例を示す図で、図１４に対応する図である。図１８は図９の画像情報９０に対してパラメータ算出部１２で算出されたパラメータの他の例を示す図で、図１５に対応する図である。図１９は図９の画像情報９０に対して画像処理部１３でぼかし処理を施した後の画像情報の他の例を示す図で、図１６に対応する図である。なお、主たる被写体が被写体Ｄ（木）であった場合、動きベクトルが一様ではないため図１２の出力画像情報１２０や図１３の出力画像情報１３０を得るための手法は採用できないが、図１４〜図１６で説明した処理、つまり図１７〜図１９を参照して次に説明する処理で対応できる。

被写体Ｄ（木）が主たる被写体であった場合、その動きベクトルは方向が一様ではなく図１７の動き情報１７０で示すようになり、それに基づいてパラメータ算出部１２は図１８の差分情報１８０で示すようなパラメータを算出する。差分情報１８０は、被写体Ｃと被写体Ｅの領域について存在し、その領域についてぼかし処理の方向と強度が得られる。画像処理部１３は、このパラメータが示す方向および強度で被写体Ｃと被写体Ｅの領域（被写体Ｄ以外の領域）についてぼかし処理を施す。その結果、図１９で例示した画像情報１９０のような画像情報が出力される。図１６の画像情報１６０が被写体Ｃの動きが表現されていたのに対して、画像情報１９０では、被写体Ｄ（木）が鮮明なまま、被写体Ｃ（自動車）や被写体Ｅ（山）がぼやけて、被写体Ｄの動きが表現された高い臨場感の画像となっていることが分かる。

また、図１〜図１９を参照した以上の説明では、基本的に１枚の画像について説明したが、その効果について説明したように、各フレーム画像に対して適用すれば動画像にも適用することができる。動画像の場合には、例えばユーザーによる指定にしたがって被写体決定部１１で被写体を決定し、画像情報、奥行情報、動き情報を使って追跡して被写体を決定することで、一度被写体を設定するだけで動画像に簡単にぼかし処理を行う、といった処理も可能となる。

次に、本発明に係る画像撮影装置（撮像装置）や画像表示装置について説明する。図２０は、図１の画像処理装置を備えた画像撮影装置の一構成例を示すブロック図である。
図２０で例示する画像撮影装置２００は、上述した様々な実施形態の画像処理装置１０を備え、撮影した画像を画像処理装置１０へ入力し、画像処理装置１０から出力されたぼかし処理後の画像情報を記録する装置である。このように画像撮影装置２００が画像処理装置１０を備えることにより、臨場感を高めた画像を撮影できる画像撮影装置を実現することができる。

具体的に図２０を参照しながら説明すると、画像撮影装置２００は、撮像素子２０１と撮像素子２０２という２つの撮像素子を備える。この２つの撮像素子２０１，２０２で撮影された画像は、画像補正部２０３、視差算出部２０４、動き算出部２０５に入力される。なお、撮像素子２０１，２０２の双方から画像補正部２０３や動き算出部２０５へデータを入力するように図示しているが、いずれか一方のみ接続されていれば済む。すなわち、画像補正部２０３や動き算出部２０５には、ぼかし処理を行う側の画像のみ（撮像素子２０１および２０２のいずれか一方のみ）を入力としてもよい。

画像補正部２０３では、シェーディング補正、デモザイキング、ノイズリダクション、輪郭強調、ガンマ補正などの画像処理が行われる。視差算出部２０４では、撮像素子２０１と撮像素子２０２とで同じ時刻に撮影された画像から視差を算出する。視差の算出にはブロックマッチングなどの一般的な方法を適用することができる。算出された視差を被写体までの距離、すなわち奥行情報として出力する。なお、距離データは、視差のデータと基線長と焦点距離とからを算出できる。距離データの取得方法としては、アクティブ方式とパッシブ方式に大別され、パッシブな例としてはステレオなどの方法があり、アクティブな例としてはＴＯＦ（Time Of Flight）や光切断法などが挙げられる。アクティブ方式を画像撮影装置２００に配置する場合には、光源とセンサを別途配置する必要があるが、画像処理装置１０としては、どのような手段で取得された奥行情報でも利用することができる。

動き算出部２０５では、撮像素子２０１または撮像素子２０２で撮影された時間的に連続する画像から動きベクトルを算出する。動きベクトルの算出には視差算出同様ブロックマッチングなどの一般的な方法を適用することができる。算出された動きベクトルは動き情報として出力される。このように算出された画像情報、奥行情報、動き情報を画像処理装置１０に入力し、ぼかし処理を行った出力画像情報を記憶装置２０６に記憶させることにより、臨場感を高めた画像が撮影可能な画像撮影装置を記録することができる。

以上の説明では、撮像素子２０１および撮像素子２０２の出力を視差算出部２０４に入力したが、視差算出部２０４へは画像補正部２０３を経由したデータを入力するようにしてもよい。また、撮像素子２０１または撮像素子２０２の出力を動き算出部２０５に入力したが、動き算出部２０５へは画像補正部２０３を経由したデータを入力するようにしてもよい。

同様にして、画像処理装置１０を備えた画像表示装置を構成することができる。画像情報、奥行情報、動き情報が入力情報として与えられる場合には、その入力情報を画像処理装置１０に入力し、出力されたぼかし処理後の画像情報を表示すればよい。入力情報として奥行情報、動き情報がない場合には、視差算出部、動き算出部を備えておき、適宜画像情報から算出すればよい。これにより、ぼかし処理を行って臨場感を高めた画像が表示可能な画像表示装置を得ることができる。

また、画像処理装置１０を含む画像撮影装置２００で撮像・記憶された映像データを表示する際に、同じく画像処理装置１０を備えた画像表示装置を用いる場合には、ぼかし処理が重なるため、ぼかしの度合いは倍増されてしまう。したがって、このような使用場面に備えて、画像撮影装置２００は、撮像・記憶する際にぼかし処理後である旨のフラグを付しておくことが好ましい。また、代替策として、画像撮影装置２００および／または画像表示装置において、ユーザーによってぼかし処理の実行の可否を選択可能にするか、画像表示装置において、画像解析でエッジ量を検出してぼかし処理済のコンテンツを判別可能にして処理済であれば実行しないように構成しておいてもよい。

ここで、静止画像を記録や表示する場合の動き情報の取得に関して補足する。撮影された動画像や記録媒体から読み出された動画像から静止画像を切り出すと共に、時間的に近隣の静止画像（少なくとも撮影時間が異なる静止画像）を切り出すか、動きベクトルを算出したものまたは算出済みの動きベクトルそのものを取得することで、動き情報を得ることができる。したがって、静止画像の画像情報のみが画像撮影装置や画像表示装置に入力されるとき、動き情報算出のためには２枚以上の画像が必要となり、奥行情報算出のためにも２枚以上の画像が必要となる。ただし、画像撮影装置としては、撮影時に各情報を算出しておいて付加情報として記録しておくこともできる。また、動き情報の算出精度がよくなるので、異なる時間に撮影された２枚の画像の時間間隔は小さい方が好ましい。

以上、本発明に係る画像処理装置１０、それを備えた画像表示装置や画像撮影装置２００について説明したが、汎用の画像処理装置に、本発明に係るぼかし処理に関する処理を実行する専用のＩＣ（Integrated Circuit）チップ等の集積回路／チップセットを搭載することでも、本発明の機能は実現できる。

以上、本発明に係る画像処理装置を中心に説明したが、本発明は、コンピュータに、次の入力ステップ、決定ステップ、算出ステップ、およびぼかし処理ステップを実行させるための画像処理用のプログラムとしての形態も採り得る。ここでいうコンピュータとしては、パーソナルコンピュータで代表される汎用コンピュータに限らず、例えば画像表示装置や画像撮影装置に組み込むためのマイクロコンピュータなど、様々な形態のコンピュータが適用できる。したがって、上述した専用のセットの代わりに、プログラム可能な汎用の集積回路／チップセットを搭載し、そのセットの記憶領域にここで説明するプログラムを、同じくセット内のＣＰＵが実行できるように格納することでも、本発明の機能は実現できる。

各ステップについて簡単に説明すると、入力ステップは、画像情報および動き情報、若しくは画像情報、動き情報、および奥行情報を、入力情報として入力するステップである。決定ステップは、入力情報のうちいずれか１または複数に基づいて主たる被写体を決定するステップである。算出ステップは、上記被写体の領域と上記被写体を除く領域の双方の動き情報、または画像情報および上記被写体の領域と上記被写体を除く領域の双方の動き情報に基づいて、若しくは上記被写体の領域と上記被写体を除く領域の双方の動き情報と、画像情報および／または奥行情報とに基づいて、ぼかし処理の方向および強度を算出するステップである。ぼかし処理ステップは、画像情報に対して、決定ステップで決定された被写体を除く領域に、算出ステップで算出された方向および強度に応じてぼかし処理を施すステップである。なお、本発明に係るプログラムの応用例としては、画像処理装置の説明として上述した様々な例が同様に適用できるため、その説明を省略する。

１０…画像処理装置、１１…被写体決定部、１２…パラメータ算出部、１３…画像処理部、２００…画像撮影装置、２０１，２０２…撮像素子、２０３…画像補正部、２０４…視差算出部、２０５…動き算出部、２０６…記憶装置。

Claims (8)

1. 画像情報および動き情報、若しくは画像情報、動き情報、および奥行情報を、入力情報として入力する画像処理装置であって、
   前記入力情報のうちいずれか１または複数に基づいて主たる被写体を決定する被写体決定部と、
   前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報に基づいて、若しくは前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報と、前記画像情報および／または前記奥行情報とに基づいて、ぼかし処理の方向および強度を算出するパラメータ算出部と、
   前記画像情報に対して、前記被写体決定部で決定された主たる被写体を除く領域に、前記パラメータ算出部で算出された方向および強度に応じてぼかし処理を施す画像処理部と、
   を備え、
   前記パラメータ算出部は、前記被写体決定部で決定された主たる被写体の領域の動き情報が、一様の方向を向いていない情報である場合には、前記主たる被写体の領域の動き情報から動き目標を算出し、該動き目標を中心とした放射状方向をぼかし処理の方向とすることを特徴とする画像処理装置。
2. 画像情報、動き情報、および奥行情報を、入力情報として入力する画像処理装置であって、
   前記入力情報のうちいずれか１または複数に基づいて主たる被写体を決定する被写体決定部と、
   前記奥行情報と前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報とに基づいて、若しくは前記奥行情報と前記画像情報と前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報とに基づいて、ぼかし処理の方向および強度を算出するパラメータ算出部と、
   前記画像情報に対して、前記被写体決定部で決定された主たる被写体を除く領域に、前記パラメータ算出部で算出された方向および強度に応じてぼかし処理を施す画像処理部と、
   を備え、
   前記パラメータ算出部は、前記被写体決定部で決定された主たる被写体の領域の奥行情報が、前記画像情報が示す画像の直前の画像として指定される画像中の前記主たる被写体の領域の奥行情報と比較して所定値以上の違いがある場合には、前記主たる被写体の領域の動き情報から動き目標を算出し、該動き目標を中心とした放射状方向をぼかし処理の方向とすることを特徴とする画像処理装置。
3. 画像情報、動き情報、および奥行情報を、入力情報として入力する画像処理装置であって、
   前記入力情報のうちいずれか１または複数に基づいて主たる被写体を決定する被写体決定部と、
   前記奥行情報と前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報とに基づいて、若しくは前記奥行情報と前記画像情報と前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報とに基づいて、ぼかし処理の方向および強度を算出するパラメータ算出部と、
   前記画像情報に対して、前記被写体決定部で決定された主たる被写体を除く領域に、前記パラメータ算出部で算出された方向および強度に応じてぼかし処理を施す画像処理部と、
   を備え、
   前記パラメータ算出部は、前記被写体決定部で決定された主たる被写体を除く領域のうち、前記主たる被写体の領域の動き情報との差が所定の動き量より小さい領域については、前記奥行情報に基づいてぼかし処理の強度を算出することを特徴とする画像処理装置。
4. 請求項１〜３のいずれか１項に記載の画像処理装置を備え、撮影した画像情報を該画像処理装置に入力し該画像処理装置から出力されたぼかし処理後の画像情報を記録することを特徴とする画像撮影装置。
5. 請求項１〜３のいずれか１項に記載の画像処理装置を備え、該画像処理装置から出力されたぼかし処理後の画像情報を表示することを特徴とする画像表示装置。
6. 画像処理用のプログラムであって、コンピュータに、
   画像情報および動き情報、若しくは画像情報、動き情報、および奥行情報を、入力情報として入力するステップと、
   前記入力情報のうちいずれか１または複数に基づいて主たる被写体を決定する決定ステップと、
   前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報に基づいて、若しくは前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報と、前記画像情報および／または前記奥行情報とに基づいて、ぼかし処理の方向および強度を算出する算出ステップと、
   前記画像情報に対して、前記決定ステップで決定された主たる被写体を除く領域に、前記算出ステップで算出された方向および強度に応じてぼかし処理を施すステップと、
   を実行させるためのプログラムであり、
   前記算出ステップは、前記決定ステップで決定された主たる被写体の領域の動き情報が、一様の方向を向いていない情報である場合には、前記主たる被写体の領域の動き情報から動き目標を算出し、該動き目標を中心とした放射状方向をぼかし処理の方向とすることを特徴とするプログラム。
7. 画像処理用のプログラムであって、コンピュータに、
   画像情報、動き情報、および奥行情報を、入力情報として入力するステップと、
   前記入力情報のうちいずれか１または複数に基づいて主たる被写体を決定する決定ステップと、
   前記奥行情報と前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報とに基づいて、若しくは前記奥行情報と前記画像情報と前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報とに基づいて、ぼかし処理の方向および強度を算出する算出ステップと、
   前記画像情報に対して、前記決定ステップで決定された主たる被写体を除く領域に、前記算出ステップで算出された方向および強度に応じてぼかし処理を施すステップと、
   を実行させるためのプログラムであり、
   前記算出ステップは、前記決定ステップで決定された主たる被写体の領域の奥行情報が、前記画像情報が示す画像の直前の画像として指定される画像中の前記主たる被写体の領域の奥行情報と比較して所定値以上の違いがある場合には、前記主たる被写体の領域の動き情報から動き目標を算出し、該動き目標を中心とした放射状方向をぼかし処理の方向とすることを特徴とするプログラム。
8. 画像処理用のプログラムであって、コンピュータに、
   画像情報、動き情報、および奥行情報を、入力情報として入力するステップと、
   前記入力情報のうちいずれか１または複数に基づいて主たる被写体を決定する決定ステップと、
   前記奥行情報と前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報とに基づいて、若しくは前記奥行情報と前記画像情報と前記主たる被写体の領域と前記主たる被写体を除く領域の双方の前記動き情報とに基づいて、ぼかし処理の方向および強度を算出する算出ステップと、
   前記画像情報に対して、前記決定ステップで決定された主たる被写体を除く領域に、前記算出ステップで算出された方向および強度に応じてぼかし処理を施すステップと、
   を実行させるためのプログラムであり、
   前記算出ステップは、前記決定ステップで決定された主たる被写体を除く領域のうち、前記主たる被写体の領域の動き情報との差が所定の動き量より小さい領域については、前記奥行情報に基づいてぼかし処理の強度を算出することを特徴とするプログラム。