JPWO2008096818A1 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Abstract

被写体を撮像することにより得た画像データであって、被写体を撮像する時の撮像条件に応じて該画像データで示される画像の動きぼけの度合いが変化する画像データに対して、画像処理を施す画像処理装置（１）において、撮像条件を示す撮像情報に基づいて、画像に関する動きを示す動き情報を補正する動き情報補正部（１２）と、動き情報補正部（１２）により補正された動き情報を用いて、画像データに対して画像処理を施すことにより、画像に動きぼけを付加する動きぼけ付加部（１３）とを備える。

Description

本発明は、動画像に対して動きぼけを付加する画像処理を行う画像処理装置、撮像装置、画像処理方法、及びその画像処理をコンピュータに実行させるプログラムに関する。
本出願は、日本国において２００７年２月７日に出願された日本特許出願番号２００７−０２８３８９を基礎として優先権を主張するものであり、この出願を参照することにより、本出願に援用される。

シャッタ機能を有する撮像装置によりフレームレートで決定される期間に対して各フレームが短い有効露光時間で撮像された動画像を、表示デバイスを用いて表示すると、画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が他重像を知覚してしまうという視覚上の画像劣化が発生する場合がある。
このような動きの不自然さによる動画像の劣化は、一般的にモーションジャーキネス（Motion Jerkiness）と呼ばれる（参考文献：ANSI T1.801.02-1996）。

モーションジャーキネスが発生する具体例について、図１１に示すような動画像撮像装置５００及び動画像再生装置６００を用いて説明する。
動画像撮像装置５００は、動画像を撮像してＭＰＥＧ（Moving Picture Experts Group）などの符号化方法で符号化し、この符号化された画像データをＤＶＤ（Digital Versatile Disc）などの記録媒体７００に記録するものであり、具体的には次のような構成を有している。
すなわち、動画像撮像装置５００は、被写体像からの光を集光する撮像光学系５１０と、この撮像光学系５１０により集光された光を受光して画像信号に変換する撮像素子５２０と、この撮像素子５２０により変換された画像信号を符号化する符号化処理部５３０と、符号化処理部５３０により符号化された画像データを伝送路を介して外部へ送信する送信処理部５４０と、符号化処理部５３０により符号化された画像データをＤＶＤ（Digital Versatile Disc）などの記録媒体７００に記録する記録処理部５５０とを備える。
また、この撮像光学系５１０は、外部から入射する光量を調節する絞り機構５１１と、絞り機構５１１により光量を調節された被写体光を撮像素子５２０の受光面に集光させる光学レンズ系５１２とから構成される。
一方、動画像再生装置６００は、符号化された画像データを復号して、ディスプレイなどに表示出力するものであり、具体的には次のような構成を有している。すなわち、動画像再生装置６００は、伝送路を介して伝送されてくる符号化された画像データを受信する受信処理部６１０と、記録媒体７００から符号化された画像データを再生する再生処理部６２０と、受信処理部６１０及び再生処理部６２０から出力される符号化された画像データを復号する復号処理部６３０と、復号処理部６３０によって復号された画像信号を表示するディスプレイなどの表示出力部６４０とを備える。
例えば明るい野外などで動画像を撮像するとき、動画像撮像装置５００では、絞り機構５１１を絞ることによって撮像素子５２０に入射させる光量を制限して露光量を適切に制御している。しかしながら、通常、絞り機構５１１を絞りすぎると回折現象により像がぼやけてしまうため、動画像撮像装置５００では、絞り機構５１１によって光量を調節するのに加えて、フレームレートで決定される期間に対する各フレームの有効露光時間の比を示すシャッタ速度を速くすることで適切な露光制御を行っている。また、絞り機構が設けられていない動画像撮像装置では、シャッタ速度を変更することで露光制御を行っている。
以上のような構成からなる動画像撮像装置５００では、シャッタ速度を速くすることで、野外撮像時などにおいて適切な露光制御を行うことができるが、これに伴って、上述したジャーキネスによる画像の劣化が生じてしまう。
すなわち、動画像再生装置６００は、動画像撮像装置５００によってジャーキネス劣化を含んで撮像されると、そのままジャーキネス劣化を含んだ画像データを復号して表示出力部６４０により表示することとなる。
以上のように、シャッタ速度を制御可能なシャッタ機能を有する撮像装置により、速いシャッタ速度で撮像されることで、動画像のフレームレートで決定される期間に対して有効露光期間が短い画像は、静止画像として表示したときには鮮鋭度が高いが、動画像として表示したときには画像中の動体の動きが滑らかではなく、人間の視覚特性上、不自然に見えてしまう。
本発明は、このような実情に鑑みて提案されたものであり、シャッタ機能を有する撮像装置により取り込まれた動画像に適切な動きぼけを付加することによりジャーキネス劣化を低減させる画像処理装置、撮像装置、画像処理方法、及びプログラムを提供することを目的とする。
上述した課題を解決するための手段として、本発明に係る画像処理装置は、被写体を撮像することにより得た画像データであって、被写体を撮像する時の撮像条件に応じて画像データで示される画像の動きぼけの度合いが変化する画像データに対して、画像処理を施す画像処理装置において、撮像条件を示す撮像情報に基づいて、画像に関する動きを示す動き情報を補正する動き情報補正手段と、動き情報補正手段により補正された動き情報を用いて、画像データに対して画像処理を施すことにより、画像に動きぼけを付加する動きぼけ付加手段とを備える。
また、本発明に係る撮像装置は、被写体を撮像することで、撮像条件に応じて撮像により得られる画像データで示される画像に生じる動きぼけの度合いが変化する画像データを出力する撮像手段と、撮像条件を示す撮像情報に基づいて、画像に関する動きを示す動き情報を補正する動き情報補正手段と、動き情報補正手段により補正された動き情報を用いて、画像データに対して画像処理を行うことにより、画像に動きぼけを付加する動きぼけ付加手段とを備える。
また、本発明に係る画像処理方法は、被写体を撮像することにより得た画像データであって、被写体を撮像する時の撮像条件に応じて画像データで示される画像の動きぼけの度合いが変化する画像データに対して画像処理を施す画像処理方法において、撮像条件を示す撮像情報に基づいて、画像に関する動きを示す動き情報を補正する動き情報補正ステップと、動き情報補正ステップにより補正された動き情報を用いて、画像データに対して画像処理を施すことにより、画像に動きぼけを付加する動きぼけ付加ステップとを有する。
また、本発明に係るプログラムは、被写体を撮像することにより得た画像データであって、被写体を撮像する時の撮像条件に応じて画像データで示される画像の動きぼけの度合いが変化する画像データに対して画像処理を施す画像処理方法をコンピュータに実行させるプログラムにおいて、画像処理方法は、撮像条件を示す撮像情報に基づいて、画像に関する動きを示す動き情報を補正する動き情報補正ステップと、動き情報補正ステップにより補正された動き情報を用いて、画像データに対して画像処理を施すことにより、画像に動きぼけを付加する動きぼけ付加ステップとを有する。
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

図１は、本発明が適用された画像処理装置の構成を示すブロック図である。 図２は、第１の実施形態に係る受信／再生装置の全体構成を示すブロック図である。 図３は、動きベクトル生成処理部の構成を示すブロック図である。 図４は、動きベクトル推定処理部が行う処理工程を説明するためのフローチャートである。 図５は、動きぼけ付加処理部の構成を示すブロック図である。 図６は、動きベクトルマスク処理部に係る具体的な処理工程を模式的に示す図である。 図７は、最適シャッタ速度算出／判別部及び動きベクトル補正部に係る具体的な処理工程を模式的に示す図である。 図８は、被写体速度に応じた最適シャッタ速度曲線の一例を示すグラフである。 図９は、フィルタパラメータ算出処理部の処理内容を説明するための図である。 図１０は、第２の実施形態に係る送信／記録装置の全体構成を示すブロック図である。 図１１は、動画像撮像装置と動画像再生装置との構成を示すブロック図である。

以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。
本発明が適用された画像処理装置は、人間の視覚特性上、不自然に見えてしまうジャーキネス劣化を含んだ動画像に対して、適応的に動きぼけを付加して、このような劣化を低減するものであり、例えば図１に示す画像処理装置１によって実現される。
すなわち、画像処理装置１は、被写体を撮像する時の撮像条件に応じて画像データで示される画像の動きぼけの度合いが変化する画像データに対して画像処理を施す処理装置であって、被写体を撮像することにより得た画像データを取り込む画像取込部１１と、画像取込部１１により取り込まれた画像データの画像に関する動きを示す動き情報を補正する動き情報補正部１２と、画像取込部１１により取り込まれた画像データに対して画像処理を施すことにより画像に動きぼけを付加させる動きぼけ付加部１３とを備える。
動き情報補正部１２は、画像取込部１１により取り込まれた画像データのフレームレートで決定される期間に対する各フレームの有効露光時間の比を示すシャッタ速度などの撮像情報に基づいて、画像データの画像に関する動きを示す動き情報を補正して、補正した動き情報を動きぼけ付加部１３に供給する。
ここで、撮像情報とは、被写体を撮像する時に撮像装置で設定される種々の条件のうち、画像データで示される画像の動きぼけの度合いを変化させる撮像条件を示す情報であればよく、上述したシャッタ速度を示す情報に限定されるものではない。
また、動き情報とは、フレーム間での画像の動きを示す情報に限定されるものではなく、例えばフィールド間での画像の動きを示す情報など、画像データを動画像として扱ったときの画像に関する動きを示す情報であればよい。
動きぼけ付加部１３は、動き情報補正部１２により補正された動き情報を用いて、画像データに動きぼけを付加して、当該画像処理装置１の外部へ出力する。
以上のような構成からなる画像処理装置１では、画像データで示される画像の動きぼけの度合いを変化させる撮像条件を示す撮像情報に基づいて適応的に画像データに動きぼけを付加することにより、人間の視覚特性上、不自然に見えてしまうジャーキネス劣化を含んだ動画像に対して動きぼけを付加して、このような劣化を低減するものである。
以下では、第１の実施形態及び第２の実施形態を用いて、上述した画像処理装置１に係る具体的な処理内容を説明する。
＜第１の実施形態＞
まず、画像処理装置１が適用された第１の実施形態に係る画像処理装置として、図２に示すような、伝送路を介して伝送されてくる画像データの受信、又はＤＶＤなどの記録媒体２００に記録された画像データの再生を行う受信／再生装置１００を説明する。
この受信／再生装置１００は、図２に示すように、伝送路を介して伝送されてくる符号化された画像データを受信する受信処理部１１０と、記録媒体２００から符号化された画像データを再生する再生処理部１２０と、符号化された画像データを復号画像データＤＤに復号する復号処理部１３０と、復号画像データＤＤから動きベクトルＶＤを生成する動きベクトル生成処理部１４０と、復号画像データＤＤに動きベクトルに応じた動きぼけを付加する動きぼけ付加処理部１５０と、動きぼけが付加されることによりジャーキネス劣化が低減された動画像を表示装置に表示させる動画像表示出力部１６０と、復号画像を静止画像として表示装置に表示させる静止画像表示出力部１７０とを備えている。
受信処理部１１０及び再生処理部１２０は、それぞれＭＰＥＧ規格などの画像の動き情報に基づいて予測符号化された画像データを取り込んで、この画像データを復号処理部１３０に供給する処理部である。
なお、受信／再生装置１００は、外部から画像データを取り込む機能として、受信処理部１１０及び再生処理部１２０のうち少なくとも何れか一方を備えていればよい。
また、受信／再生装置１００は、外部から画像データを取り込むのに加えて、画像データに関する撮像情報として、シャッタ速度ＳＳＤを示すシャッタ速度情報を取り込む。なお、シャッタ速度情報は、画像データのメタデータとして含まれていてもよい。
ここで、シャッタ速度情報とは、上述したように画像データで示される画像の動きぼけの度合いを変化させる撮像条件を示す撮像情報である。具体的に、シャッタ速度情報は、シャッタ機能を有する撮像装置により画像データが撮像された時のフレームレートで決定される期間に対する各単位画像の有効露光時間の比を示す。
また、シャッタ機能としては、撮像素子の有効露光時間を制御する電子シャッタ、開閉機構を用いて有効露光時間中だけ開放して撮像素子側へレンズからの光を通すメカニカルシャッタ、及び液晶素子の透過率を制御して有効露光時間中だけ撮像素子側へレンズからの光を通す液晶シャッタなどによって実現される。
また、受信処理部１１０及び再生処理部１２０によって動画像として取り込まれる画像データは、単位時間を１秒とし、この単位時間に対して６０フレームの画像数から構成されているものとする。すなわち、本実施形態では、画像データがフレームレートを６０［ｆｐｓ：ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ］のプログレッシブ形式の単位画像から構成されているものとして以下説明する。なお、画像データは、プログレッシブ形式に限定されるものではなく、フィールド画像単位で処理するインタレース方式で構成されているようにしても良い。また、フレームレートについても、本実施形態で用いる６０［ｆｐｓ］のみに限定するものではない。
復号処理部１３０は、受信処理部１１０、又は再生処理部１２０から取り込んだ画像データを復号する。なお、復号処理部１３０は、この復号処理時に、画像データとともに、この画像データに関する撮像情報としてシャッタ速度情報を取り込む。シャッタ速度情報は、データ量が少ないので画像データに含まれて圧縮させる必要性が低いので、圧縮されていない場合には、単に画像データと分離すればよい。また、画像データにメタデータとしてシャッタ速度情報が含まれている場合には、復号処理部１３０は、シャッタ速度情報も復号すればよい。
そして、復号処理部１３０は、この復号画像データＤＤを動きベクトル生成処理部１４０に供給する。また、復号処理部１３０は、この復号画像データＤＤとそのシャッタ速度情報とを動きぼけ付加処理部１５０に供給する。
また、復号処理部１３０は、この復号画像データＤＤを静止画像として処理するときには、静止画像表示出力部１７０にのみ復号画像データＤＤを供給して、復号画像データＤＤを動画像として処理しなくてもよい。
動きベクトル生成処理部１４０は、復号処理部１３０から供給される復号画像データＤＤから、この復号画像データＤＤの動き情報として、動きベクトルＶＤを生成する。ここで、動きベクトルとは、フレーム間における動画像の移動位置と移動方向とを示す情報である。本実施形態では、現在の処理対象となるフレーム画像を処理対象フレームと呼び、この処理対象フレームに対して１フレーム前のフレーム画像を直前フレームと呼ぶ。
また、精度良く動体の動き情報を取得するために画素単位で動きベクトルを生成するようにすることも可能であるが、本実施形態に係る動きベクトル生成処理部１４０では、演算処理の負担を軽減するため、フレーム画像を複数の領域に分割した画素ブロック単位で動きベクトルを生成する。
なお、ＭＰＥＧ規格などにより符号化された画像データには、符号化処理を行うための動き情報として動きベクトルが含まれている。本実施形態ではこのような符号化情報としての動きベクトルを流用して用いることも可能であり、これを採用することは処理の軽減化において有意である。しかし、この符号化情報としての動きベクトルは、あくまで動画像を符号化するための情報であり、符号化処理が動きベクトル以外に残差情報などと組み合わせて用いて行われるので、画像全体に亘って実際の動体の動きに応じた値を忠実に示しているとはいえない。
よって、本実施形態においては、より実際の動体の動きに忠実な動きぼけを付加するため、動きベクトル生成処理部１４０は、符号化処理を行うための動き情報とは異なる新たな動き情報として、後述する処理工程によって復号画像における実際の動体の動きに応じた動きベクトルを精度良く検出する。
なお、受信／再生装置１００では、上述したように復号画像データＤＤを用いて精度良く動きベクトルを検出し、この動きベクトルを用いて適切な大きさ／方向で画像に動きぼけを付加し、ジャーキネス劣化を低減することができる。よって、このような観点においては、必ずしも画像データで示される画像の動きぼけの度合いを変化させる撮像条件を示す撮像情報に基づいて動きベクトルを補正しなくても良い。
動きぼけ付加処理部１５０は、具体的には後述する処理工程により、復号処理部１３０から供給される復号画像データＤＤに対して、シャッタ速度情報及び動きベクトル生成処理部１４０から供給される動きベクトルＶＤに応じて動きぼけを付加する。
動画像表示出力部１６０は、動きぼけ付加処理部１５０によって動きぼけが付加されることにより、ジャーキネス劣化が低減された動画像を、ＬＣＤなどの表示装置に動画像として出力する。
静止画像表示出力部１７０は、復号処理部１３０から供給された復号画像データＤＤを静止画像として、ＬＣＤなどの表示装置に出力する。
次に動きベクトル生成処理部１４０の構成と動作について説明する。
動きベクトル生成処理部１４０は、上述したように画素ブロック単位で動きベクトルを精度良く生成する部位であって、具体的には、図３に示すように、処理対象フレームと直前フレームとから動きベクトルを検出する動きベクトル検出部１４１と、処理対象フレームの動きベクトルと直前フレームの動きベクトルとを画素ブロック毎に比較して、相関の高い画素ブロックを特定する画素ブロック特定処理部１４２と、画素ブロック特定処理部１４２により特定された画素ブロックの動きベクトルから、それ以外の画素ブロックの動きベクトルを推定する動きベクトル推定処理部１４３と、動きベクトルに対して平滑化処理を施す動きベクトル平滑化処理部１４４とから構成される。
動きベクトル検出部１４１は、復号処理部１３０から供給された復号画像データＤＤを１フレーム分遅延させる遅延部１４１ａが設けられている。動きベクトル検出部１４１は、復号処理部１３０から供給された復号画像データＤＤを処理対象フレームとし、遅延部１４１ａにより１フレーム分遅延された直前フレームとから、処理対象フレームの動きベクトルを、画素ブロック単位で検出して、検出した動きベクトルを画素ブロック特定処理部１４２に供給する。
なお、動きベクトル検出部１４１に係る処理をソフトウェアによって実装する場合には、一般的なブロックマッチング法を用いて画素ブロック単位で動きベクトルを検出すればよい。
画素ブロック特定処理部１４２は、動きベクトル検出部１４１から供給される動きベクトルを１フレーム分遅延させる遅延部１４２ａが設けられている。画素ブロック特定処理部１４２は、動きベクトル検出部１４１から供給される処理対象フレームの動きベクトルと、遅延部１４２ａにより遅延された直前フレームの動きベクトルとを、次に示すように画素ブロック単位で比較して、この比較結果から相関の高い画素ブロックを特定する。
具体的に、画素ブロック特定処理部１４２は、処理対象フレームの一の画素ブロックの動きベクトルを（ｘ，ｙ）とし、これに対応する直前フレームの画素ブロックの動きベクトルを（ｘ’，ｙ’）とし、任意に決定される相関判定係数をαとして、下記の式（１）により、この画素ブロックのベクトル相関係数σを算出する。

なお、相関判定係数αは、その定義域を０＜α＜１とし、αの値が大きいほど、ベクトル相関係数σの値が１として算出される係数である。
画素ブロック特定処理部１４２は、上述した式（１）から各画素ブロックのベクトル相関係数σを算出して、ベクトル相関係数σが１である画素ブロックを相関の高い動きベクトルを有するものとして特定する。
動きベクトル推定処理部１４３は、画素ブロック特定処理部１４２でベクトル相関係数σの値が１として特定された画素ブロックの動きベクトルから、このベクトル相関係数σの値が０である画素ブロックの動きベクトルを推定する。
すなわち、動きベクトル推定処理部１４３は、前段の画素ブロック特定処理部１４２で、ベクトル相関係数σの値が１とされた画素ブロックが有効な動きベクトルを有しているものとして、それ以外の画素ブロック、すなわち、ベクトル相関係数σの値が０とされ有効ではない動きベクトルを有している画素ブロックの動きベクトルを更新する。
具体的な動きベクトル推定処理部１４３の処理工程については、図４を参照して詳細に説明する。
ステップＳ１において、動きベクトル推定処理部１４３は、処理対象フレームにおける現在の処理対象の画素ブロック（以下、注目画素ブロックという。）のベクトル相関係数σが１か０であるかを判断する。すなわち、動きベクトル推定処理部１４３は、この画素ブロックの動きベクトルが有効であるか否かを判断する。そして、動きベクトル推定処理部１４３は、この画素ブロックの動きベクトルが有効であるとき動きベクトルの値を更新せずに本処理工程を終了し、この画素ブロックの動きベクトルが有効でないときステップＳ２に進む。
ステップＳ２において、動きベクトル推定処理部１４３は、注目画素ブロックに対して、その注目画素ブロックの周辺に有効なベクトルを有する周辺画素ブロックが存在するか否かを判断する。具体的には、動きベクトル推定処理部１４３は、周辺画素ブロックとして、この注目画素ブロックに隣接する合計８つの画素ブロックに対して有効な動きベクトルが存在するか否かを判断し、有効な動きベクトルが存在するとき、ステップＳ３に進み、有効な動きベクトルが存在しないとき、この注目画素ブロックの動きベクトルを更新せずに本処理工程を終了する。
ここで、有効な動きベクトルが存在しない注目画素ブロックに対して、より広範囲に位置する周辺画素ブロックを用いて推定処理を行わない理由は、次の通りである。
第１の理由としては、より広範囲に位置する画素ブロックを用いて推定処理を行うことは可能であるが、仮に実現したとしても、固定時間処理で本処理工程を終了するためには、周辺画素ブロックとして扱われる画像データを一時的に記憶するための記憶領域が増大してしまうからである。
第２の理由としては、本処理工程の後段で、上述した隣接する合計８つの画素ブロックよりも広範囲の周辺画素ブロックを用いて注目画素ブロックの動きベクトルに対して平滑化処理を施すことにより、有効ではない動きベクトルを適切に補正することができるからである。
ステップＳ３において、動きベクトル推定処理部１４３は、有効な動きベクトルを有する周辺画素ブロックの動きベクトルのみから、この注目画素ブロックの動きベクトルを推定して更新して、本処理を終了する。動きベクトル推定処理部１４３では、推定処理の一例として、有効な動きベクトルを有する周辺画素ブロックの動きベクトルのみを入力としたメディアンフィルタにより注目画素ブロックの動きベクトルを出力して平滑化する。
動きベクトル推定処理部１４３は、以上のようにして、処理対象フレームの動きベクトルを画素ブロック単位で推定する。そして、動きベクトル推定処理部１４３は、画素ブロック特定処理部１４２で特定された動きベクトルを含めた動きベクトルを、動きベクトル平滑化処理部１４４に供給する。
動きベクトル平滑化処理部１４４は、処理対象画像を構成する各画素ブロックの動きベクトルに対して平滑化処理を施す。具体的に、動きベクトル平滑化処理部１４４は、平滑化処理前の注目画素ブロックの動きベクトルと上述した隣接画素ブロックよりも広範囲の周辺画素ブロックの動きベクトルとを入力Ｉ（ｘ＋ｉ，ｙ＋ｊ）として、下記に示す（２）式に示すようなガウス型関数により、平滑化処理後の注目画素ブロックの動きベクトルＪ（ｘ，ｙ）を出力する。

ここで、ｒは注目画素ブロックと各周辺画素ブロックとの２次元空間上の距離を示し、σ^２はこの距離ｒについての分散を示し、ｔ^２は動きベクトルについての分散を示している。すなわち、σ^２及びｔ^２は、平滑化の度合いを表す値として任意に設定されるパラメータとなっている。
動きベクトル平滑化処理部１４４は、処理対象フレームを構成する各画素ブロックに対して上述した平滑化処理を施して、動きベクトルＶＤを動きぼけ付加処理部１５０に供給する。
このように、動きベクトル平滑化処理部１４４は、処理対象フレームを構成する各画素ブロックから、有効な動きベクトルを有する画素ブロックを特定し、この有効な動きベクトルからそれ以外の動きベクトルを推定するので、精度良く実際の動体の動きに応じた動きベクトルを生成することができる。
なお、動きベクトル生成処理部１４０では、動きベクトル検出部１４１により検出した動きベクトルを、画素ブロック特定処理部１４２及び動きベクトル推定処理部１４３を介さずに、直接動きベクトル平滑化処理部１４４に供給して平滑化処理を施してもよく、このような処理を行った場合にも、上述した符号化情報として動きベクトルに比べて、実際の動体の動きに応じた精度の良い動きベクトルを生成することができる。
次に、動きぼけ付加処理部１５０の具体的な構成について、図５を参照して詳細に説明する。
動きぼけ付加処理部１５０は、図５に示すように、動きぼけを付加する画像領域を特定する動きベクトルマスク情報を生成する動きベクトルマスク処理部１５１と、動きベクトルに応じて適したシャッタ速度（以下、最適シャッタ速度情報という。）を算出するとともに、この最適シャッタ速度情報と実際に動画像が撮像されたときのシャッタ速度情報とを比較して後述する判別処理を行う最適シャッタ速度算出／判別部１５２と、最適シャッタ速度算出／判別部１５２の判別結果に基づいて動きベクトルを補正する動きベクトル補正部１５３と、処理対象フレームの各画素に応じた動きぼけ付加のためのフィルタパラメータを算出するフィルタパラメータ算出部１５４と、処理対象フレームの各画素の画素値に対して動きぼけフィルタ処理を施す動きぼけ付加フィルタ１５５とから構成されている。
ここで、画素単位で全ての処理を行うことも可能であるが、演算処理の負担を軽減するため、動きぼけ付加処理部１５０では、動きベクトルマスク処理部１５１、最適シャッタ速度算出／判別部１５２、及び動きベクトル補正部１５３に係る処理を、画素ブロック単位で行うものとする。また、フィルタパラメータ算出部１５４、及び、動きぼけ付加フィルタ１５５は、復号画像データＤＤに動きぼけを付加するフィルタ処理に当たるため、画素ブロックではなく、画素単位で行う。
動きベクトルマスク処理部１５１は、処理対象フレームのうち、動きぼけを付加する画像領域を特定するため、動きベクトル生成処理部１４０から供給される画素ブロック単位の動きベクトルＶＤに対して、図６に示すようなマスク処理を施して、マスク処理後の画素ブロック単位の動きベクトルを最適シャッタ速度算出／判別部１５２及び動きベクトル補正部１５３に供給する。
ここで、動きぼけを付加する必要がある、ジャーキネス劣化が発生しやすい画像領域は、特に画面内の動体画像領域及びエッジ周辺の画像領域に集中する。
よって、動きベクトルマスク処理部１５１では、図６に示す処理により、ジャーキネスが発生しやすい、空間コントラストの高いエッジ周辺の画素ブロックの動きベクトルだけ有効な値として出力する。すなわち、ステップＳ１１において、動きベクトルマスク処理部１５１は、復号処理部１３０から供給される復号画像データＤＤに対し、画素ブロック単位で、処理対象フレーム内の空間コントラストの高い領域を特定するための処理として画像のエッジを検出する。
また、ステップＳ１１の処理と並列して、ステップＳ１２において、動きベクトルマスク処理部１５１は、処理対象フレーム内の動体領域を特定するための処理として、フレーム間での差分を画素ブロック単位で算出することによって動体画像領域を検出する。
ステップＳ１３において、動きベクトルマスク処理部１５１は、上述したステップＳ１１及びステップＳ１２の何れか一方又は両方に係る処理で、ジャーキネス劣化が発生しやすい領域として検出されたか否かを、画素ブロック単位で判断する。そして、ジャーキネス劣化が発生しやすい領域と判断した画素ブロックに対して、動きベクトルマスク処理部１５１は、マスク処理用のフラグを「１」に設定する。また、ジャーキネスが発生しやすい領域と判断されなかった画素ブロックに対して、動きベクトルマスク処理部１５１は、マスク処理用のフラグを「０」に設定する。
ステップＳ１４において、動きベクトルマスク処理部１５１は、動きベクトル生成処理部１４０から供給される動きベクトルＶＤに対して、上述したフラグが「１」に設定されている画素ブロックの動きベクトルＶＤであるか否かを判断する。
動きベクトルマスク処理部１５１は、フラグが「１」に設定されている画素ブロックの動きベクトルに対しては、その値を変えずに、後段の最適シャッタ速度算出／判別部１５２及び動きベクトル補正部１５３に出力する。
また、動きベクトルマスク処理部１５１は、フラグが「０」に設定されている画素ブロックの動きベクトルに対しては、ステップＳ１５において、動きベクトルの値を０又は無効にするマスク処理を施して、後段の最適シャッタ速度算出／判別部１５２及び動きベクトル補正部１５３に出力する。
次に最適シャッタ速度算出／判別部１５２、及び動きベクトル補正部１５３に係る処理工程について図７を用いて説明する。
ステップＳ３１として、最適シャッタ速度算出／判別部１５２は、例えば図８に示すような評価指標に基づいて処理対象フレームの各画素ブロックの動きベクトルに応じた最適シャッタ速度を算出する。
ここで、図８は、動きベクトルとして検出される動体の移動速度を示す被写体速度と、この被写体速度に応じた最適シャッタ速度曲線を表した図である。また、最適シャッタ速度とは、被写体の移動速度に応じた、視覚特性上、ジャーキネス劣化が知覚されにくく、且つ、動きぼけが過度に付加されることによって被写体のディテールが欠損したり不鮮明になるぼけ劣化も知覚されにくいシャッタ速度である。すなわち、この最適シャッタ速度よりも速いシャッタ速度で被写体を撮像すると、撮像画像には、ジャーキネス劣化が生じていると判断できる。一方、この最適シャッタ速度よりも遅いシャッタ速度で被写体を撮像すると、撮像画像には、ぼけ劣化が生じていると判断することができる。
そこで、最適シャッタ速度算出／判別部１５２は、各画素ブロックの動きベクトルを図８中の被写体速度に対応させることにより、各画素の動きベクトルに応じた最適シャッタ速度を算出する。なお、図８の実線で示されている最適シャッタ速度曲線ＳＳ０は、任意の被写体速度と最適なシャッタ速度との対応関係を示した一例であって、具体的には心理実験に基づいて得られた実験結果値を結んだ曲線である。ここで、図８に示す動きぼけ領域Ａ１は、最適シャッタ速度曲線ＳＳ０に基づいて、被写体の動きによる動きぼけが過度に含まれると判別される領域である。同様にして、ジャーキネス領域Ａ２は、最適シャッタ速度曲線ＳＳ０に基づいて、被写体の動きによる動きぼけが含まれず、視覚特性上ジャーキネス劣化が生じていると判別される領域である。
この実線で示されている最適シャッタ速度曲線ＳＳ０を直接用いて、動きベクトルに応じた最適シャッタ速度を求める場合には、任意の刻み幅で動きベクトルに応じた最適シャッタ速度情報をテーブルとして記憶媒体に予め記憶して、この記録媒体を参照すればよい。
また、本実施形態では、この実線で示された最適シャッタ速度曲線に近似する関数を用いることにより、動きベクトルに応じた最適シャッタ速度を算出するようにしてもよい。この場合、最適シャッタ速度算出／判別部１５２は、ある画素ブロックでの動きベクトルをｖとして、下記の式（３）に示す最適シャッタ速度曲線の近似関数により最適シャッタ速度ＳＳＤ’を算出する。

なお、上述した（３）における各パラメータＡ、Ｂ、γは、図８中に示す最適シャッタ速度曲線の曲線形状に応じて適当な値を選択して用いるようにすればよい。シャッタ速度曲線の具体例として、図８では、式（３）中の各パラメータのうち、Ａ、Ｂの値を固定にして、γを３段階に変化させたときの曲線形状ＳＳ１〜ＳＳ３を示している。
動きベクトルに応じた最適シャッタ速度ＳＳＤ’が算出されると、ステップＳ３２において、最適シャッタ速度算出／判別部１５２は、この最適シャッタ速度ＳＳＤ’と、復号処理部１３０から供給される実際に撮像されたシャッタ速度ＳＳＤとを比較して、画素ブロック単位で図８に示すジャーキネス領域Ａ２に該当しているかを判別する。
この判別結果から、現在の処理対象の画素ブロックにおいて、シャッタ速度ＳＳＤが最適シャッタ速度ＳＳＤ’よりも速く、ジャーキネス領域Ａ２に該当しているとき、動きベクトル補正部１５３は、ステップＳ３３に進む。また、現在の処理対象の画素ブロックにおいて、シャッタ速度ＳＳＤが最適シャッタ速度ＳＳＤ’よりも遅くジャーキネス領域Ａ２に該当してないとき、動きベクトル補正部１５３は、ステップＳ３４に進む。
ステップＳ３３において、動きベクトル補正部１５３は、処理対象の画素ブロックにおいてジャーキネス劣化が生じているので、例えば、シャッタ速度ＳＳＤが速くなるのに伴って増加して値が１に収束する関数ｆｓ（ＳＳＤ）を動きベクトルの値に乗じる処理を行う。
なお、動きベクトル補正部１５３は、関数ｆｓ（ＳＳＤ）に代えて、動きベクトルＶＤを変数としたｆｓ（ＶＤ）又は、シャッタ速度ＳＳＤと動きベクトルＶＤとを２変数としたｆｓ（ＳＳＤ，ＶＤ）を用いて乗算処理を行うようにしてもよい。
ステップＳ３４において、動きベクトル補正部１５３は、処理対象の画素ブロックにおいてジャーキネス劣化が生じていないので、例えばこの動きベクトルの値に０を乗じて無効にするマスク処理を施す。
このようにして、最適シャッタ速度算出／判別部１５２は、処理対象となっている動画像が実際に撮像された時のシャッタ速度ＳＳＤを考慮して、ジャーキネス劣化が生じているか否かを判別する。そして、動きベクトル補正部１５３は、ジャーキネス劣化が生じていると判別された画素ブロックの動きベクトルに対して、適切な動きぼけを付加するための補正処理を施すので、視覚特性上、より自然な動画像となるように動きぼけ付加処理を行うことができる。
本実施形態では、画像データで示される画像の動きぼけの度合いを変化させる撮像条件を示す撮像情報の一例として、シャッタ速度情報を挙げて説明したが、次に示すような撮像条件を示す撮像情報を用いて動きベクトルを補正するようにしてもよい。
すなわち、撮像素子に入射させる光量を制限して露光量を制御する絞り機構を有する撮像装置によって画像データが撮像されている場合、動きぼけ付加処理部１５０では、撮像情報として、画像データを撮像した時の絞り値Ｆを示す絞り値情報に基づいて、動きベクトルを補正するようにしてもよい。具体的に、絞り値Ｆが大きく被写界深度が深い撮像条件で撮像された画像データで示される画像は、空間コントラストが高い画像領域がより増えるので、ジャーキネス劣化が目立ちやすいという特徴がある。したがって、動きぼけ付加処理部１５０では、絞り値Ｆが大きくなるのに伴って増加して値が１に収束する関数を動きベクトルの値に乗じる補正処理をすればよい。
また、ジャイロスコープによって検出される角速度に応じて撮像画像のぶれを補正するぶれ補正機構を有する撮像装置によって画像データが撮像されている場合、動きぼけ付加処理部１５０では、撮像情報として、この画像データを撮像した時のジャイロスコープによって検出される角速度を示す角速度情報に基づいて、動きベクトルを補正するようにしてもよい。具体的に、ジャイロスコープによって検出される角速度が大きい撮像条件で撮像された画像データで示される画像は、画面内の動きが大きく、ジャーキネス劣化が目立ちやすいという特徴がある。したがって、動きぼけ付加処理部１５０では、ジャイロスコープによって検出される角速度が大きくなるのに伴って増加して値が１に収束する関数を動きベクトルの値に乗じる補正処理をすればよい。
また、被写体を拡大するズーム機能を有する撮像装置によって画像データが撮像されている場合、動きぼけ付加処理部１５０では、撮像情報として、この画像データを撮像した時の撮像装置に設けられているズーム機能の拡大率を示すズーム情報に基づいて、動きベクトルを補正するようにしてもよい。具体的に、拡大率が大きい撮像条件で撮像された画像データで示される画像は、画面内の動きが大きく、ジャーキネス劣化が目立ちやすいという特徴がある。したがって、動きぼけ付加処理部１５０では、拡大率が大きくなるのに伴って増加して値が１に収束する関数を動きベクトルの値に乗じる補正処理をすればよい。
なお、動きぼけ付加処理部１５０では、上述したシャッタ速度情報、絞り値情報、角速度情報、及びズーム情報を組み合わせて用いて動きベクトルを補正するようにしてもよい。また、撮像情報は、上述したシャッタ速度情報、絞り値情報、角速度情報、及びズーム情報に限定されるものではなく、画像データで示される画像の動きぼけの度合いを変化させる撮像条件を示す情報であれば、他の情報を用いて動きベクトルの補正処理をしてもよい。
フィルタパラメータ算出部１５４は、処理対象フレームを構成する各画素に対して動きぼけを付加するため、次に示すようなフィルタパラメータを画素単位で算出する。
まず、フィルタパラメータ算出部１５４は、有効な動きベクトル情報を有する画素を注目画素として、各注目画素の動きベクトル上に位置する画素（以下、パラメータ算出対象画素という。）を特定する。そして、フィルタパラメータ算出部１５４は、この注目画素に対する特定されたパラメータ算出対象画素の相対位置に応じたフィルタパラメータを、次に示すようにして算出する。
すなわち、フィルタパラメータ算出部１５４は、図９に示すように、動きベクトルの始点Ｓと終点Ｅとの中点を注目画素Ｐ０の位置としたベクトル上に位置する画素の全てをパラメータ算出対象画素として特定する。なお、図９に示すように、絶対値ｖは注目画素の動きベクトルの絶対値である。
続いて、フィルタパラメータ算出部１５４は、動きベクトルの絶対値ｖと、注目画素Ｐ０の画素位置と上述した処理により特定したパラメータ算出対象画素Ｐ１の画素位置との間の距離ｄとに応じて、動きぼけ付加の強度σを下記の式（４）により算出する。

ここで、式中の強度σを二乗した値が後段の動きぼけ付加フィルタ１５５におけるガウス型関数の分散となるように、式（４）は設定されている。
また、フィルタパラメータ算出部１５４は、注目画素Ｐ０を原点としたときの各パラメータ算出対象画素Ｐ１の直交座標平面ｘ−ｙの座標点を（ｘ_１，ｙ_１）として、動きぼけを付加する角度方向θを下記の式（５）より算出する。

このようにして、フィルタパラメータ算出部１５４は、注目画素の動きベクトルからパラメータ算出対象画素を特定して、特定した各パラメータ算出対象画素に対してパラメータ情報（σ，θ）を設定し、処理対象フレーム単位で動きぼけ付加フィルタ１５５に供給する。
なお、フィルタパラメータ算出部１５４に係る処理では、ある画素に対して重複してパラメータ算出対象画素が特定される場合がある。この場合には、処理を単純化するため、例えば、重複して特定されたパラメータ情報のうち、σの大きい値の情報を、その画素のパラメータ情報として設定すればよい。また、フィルタパラメータ算出部１５４では、各パラメータ算出対象画素のパラメータ情報（σ，θ）に対して、ガウス関数型フィルタ処理やメディアンフィルタ処理などの平滑化処理を施すことにより、後段の動きぼけ付加フィルタ１５５から出力される動画像の画質を高めることができる。
動きぼけ付加フィルタ１５５は、フィルタパラメータ算出部１５４から供給されるパラメータ情報に応じて、復号処理部１３０から供給される復号画像データＤＤの処理対象フレームの各画素の画素値に対して、次に示すような処理対象フレーム内での空間的なフィルタ処理を施す。本実施の形態において、動きぼけ付加フィルタ１５５は、以下に示す第１のフィルタ処理、又は第２のフィルタ処理の一方又は両方を実行することにより、動きぼけを付加した画像を出力する。
まず、第１のフィルタ処理について説明する。第１のフィルタ処理において、動きぼけ付加フィルタ１５５は、動きぼけ付加フィルタ処理前の動きぼけ付加対象画素の画素値とこの画素の周辺に位置する周辺画素の画素値とを入力Ｉ（ｘ＋ｉ，ｙ＋ｊ）として、下記の式（６）に示すようなガウス型関数により、フィルタ処理後の注目画像の画素値Ｊ（ｘ，ｙ）を出力する。

なお、入力Ｉ（ｘ＋ｉ，ｙ＋ｊ）となる周辺画素は、動きベクトルを付加する角度方向に応じて設定される。また、ｒは、動きぼけ付加対象画素と周辺画素との間の距離を示す。
動きぼけ付加フィルタ１５５は、処理対象フレームを構成する全画素のうち、パラメータ情報（σ，θ）が設定されている画素毎に、上述したフィルタ処理を施して画素値を更新する。このようにして動きぼけ付加フィルタ１５５は、ジャーキネス劣化が低減された動画像を動画像表示出力部１６０に供給することができる。
ところで、注目画素の周辺に位置する周辺画素には、元々動きのない領域、すなわち背景領域となっているものがある。このような背景領域に位置する周辺画素は、本来注目画素に対して動きぼけを付加するのに考慮する必要がない。このような点に注目した処理方法が次に示す第２のフィルタ処理である。
すなわち、第２のフィルタ処理において、動きぼけ付加フィルタ１５５は、注目画素の動きベクトルの値が０又は無効であるときに、その注目画素の周辺に位置する周辺画素のうち動きベクトルの値が０又は無効である画素の画素値Ｉ（ｘ＋ｉ_０，ｙ＋ｊ_０）を注目画素の画素値Ｉ（ｘ，ｙ）に代えて、上記の式（６）により注目画素の画素値Ｊ（ｘ，ｙ）を算出する。このようにして、動きぼけ付加フィルタ１５５は、第１のフィルタ処理よりも、視覚特性上自然にジャーキネス劣化を低減した画像を出力する。
以上のように、この受信／再生装置１００によれば、画素ブロック特定処理部１４２が処理対象フレームの動きベクトルと直前フレームの動きベクトルとを比較し、この比較結果から有効な動きベクトルを有する画素ブロックを特定し、動きベクトル推定処理部１４３がこの特定された画素ブロックの動きベクトルから、それ以外の画素ブロックの動きベクトルを推定することにより、全ての画像領域に対して実際の動きをより忠実に表した精度の高い動きベクトルを生成するので、この生成した動きベクトルに応じて視覚特性上、より自然な動画像となるように動きぼけを付加することができる。したがって、この受信／再生装置１００によれば、ジャーキネス劣化を含む動画像データから、人間の視覚特性上、より自然にジャーキネス劣化を低減した動画像を出力することができる。
また、この受信／再生装置１００によれば、最適シャッタ速度算出／判別部１５２が動画像の撮像時のシャッタ速度情報に応じて動きベクトルを補正することにより、後段のフィルタパラメータ算出部１５４で算出される動きぼけ付加強度σの値を制御するので、動きぼけ付加フィルタ１５５により撮像時のシャッタ速度情報に応じて適切な動きぼけを付加することができ、人間の視覚特性上、より自然にジャーキネス劣化を低減した画像を出力することができる。
なお、上述した本実施形態に係る受信／再生装置１００では、動きベクトルを用いて各単位画像に動きぼけを付加する空間的なフィルタ処理に代えて、他の動き情報を用いて画像データに動きぼけを付加するようにしてもよい。
例えば、受信／再生装置１００は、１フレームに対して複数のフレームを重ね合わせる時間的なフィルタ処理を行うことにより、動画像に動きぼけを付加する処理を行うようにしても良い。この場合、受信／再生装置１００は、動きベクトルの代わりに、動き情報としてフレーム間の差分により動体画像領域を検出して、この検出した動体画像領域を示す情報を撮像情報に基づいて補正してから、この動き情報を用いて時間的なフィルタ処理を施すことによって、撮像時のシャッタ速度情報に応じて適切な動きぼけを付加することができ、人間の視覚特性上、より自然にジャーキネス劣化を低減した画像を出力することができる。
なお、この時間的なフィルタ処理の具体例として、毎秒当たり２４０フレームのフレームレートで撮像した画像から、このようなジャーキネス劣化を低減するために、動きぼけを付加した毎秒当たり６０フレームのフレームレートの動画像を出力する画像処理装置が、本件出願人が先に出願し、本出願の優先日において未公開である特許文献（特願２００６−０９６７９２）に記載されている。
また、この受信／再生装置１００を構成する各処理部は、例えばＦＰＧＡ等によって設計されるハードウェアによって実現される。また、上述した符号化された画像データから動きぼけが付加された復調画像データを出力するまでの各処理部が行う画像処理工程は、プログラムに従ってコンピュータで実行されるようにしても良い。
＜第２の実施形態＞
次に、画像処理装置１が適用された第２の実施形態に係る画像処理装置として、図１０に示すような、被写体を撮像して、その撮像した動画像に上述した動きぼけ付加処理を施して、伝送路への送信処理、又はＤＶＤなどの記録媒体４００への記録処理を行う送信／記録装置３００の構成について説明する。
本実施形態では、前述した第１の実施形態と同様に、画像データがフレームレート６０ｆｐｓのプログレッシブ形式の単位画像から構成されているものとして説明する。なお、プログレッシブ形式に限定されるものではなく、インタレース方式で動画像の単位画像が構成されているようにしても良い。また、フレームレートについても、本実施形態で用いる６０［ｆｐｓ］のみに限定するものではない。
送信／記録装置３００は、図１０に示すように、被写体像からの光を集光する撮像光学系３１０と、この撮像光学系３１０により集光された光を受光して画像信号に変換する撮像素子３２０と、画像信号から動きベクトルを生成する動きベクトル生成処理部３３０と、画像信号に対して動きぼけを付加する動きぼけ付加処理部３４０と、画像信号をＭＰＥＧなどの動き情報に基づいて予測符号化する動画像符号化処理部３５０と、画像信号をＪＰＥＧなどの符号化手法により符号化する静止画符号化処理部３６０と、符号化された画像データを伝送路を介して外部へ送信する送信処理部３７０と、符号化された画像データを記録媒体４００に記録する記録処理部３８０とを備える。
撮像光学系３１０は、外部から入射する光量を調節する絞り機構３１１と、この絞り機構により光量が調節された被写体光を撮像素子３２０の受光面に集光させる光学レンズ系３１２とから構成されている。
撮像素子３２０は、撮像光学系３１０により集光された光を受光面で受光して画像信号に変換する。撮像素子３２０は、この画像信号を動画像として処理する場合には、動きぼけ付加処理部３４０及び動きベクトル生成処理部３３０に供給する。また、撮像素子３２０は、この画像信号を静止画として処理する場合には、静止画符号化処理部３６０に供給する。
以上のような撮像光学系３１０及び撮像素子３２０を備える送信／記録装置３００は、シャッタ速度を制御することにより露光量を制御するため、撮像素子の有効露光時間を制御する電子シャッタ、開閉機構を用いて有効露光時間中だけ開放して撮像素子側へレンズからの光を通すメカニカルシャッタ、及び液晶素子の透過率を制御して有効露光時間中だけ撮像素子側へレンズからの光を通す液晶シャッタなどによって実現されるシャッタ機能を有している。
また、送信／記録装置３００は、絞り機構３１１を用いて絞り値Ｆを調整することにより露光量を制御する。
更にまた、送信／記録装置３００は、撮像画像のぶれを補正するため上述したぶれ補正機能や、被写体を拡大して撮像するためのズーム機能を設けてもよい。
以上のように送信／記録装置３００では画像データで示される画像の動きぼけの度合いを変化させる撮像条件を示す種々の撮像情報を調整することによって被写体を撮像して、このような撮像情報を動きぼけ付加処理部３４０に通知する。なお、撮像情報は、画像信号のメタデータとして含めて出力するようにしてもよい。
以下では、撮像素子３２０から出力される画像信号が、例えば、露光制御するためにシャッタ速度を速くしたことにより、ジャーキネス劣化が生じているものとして説明する。
動きベクトル生成処理部３３０は、撮像素子３２０から供給される画像データから次に示す処理により、処理対象フレーム毎に動きベクトルを生成して、動きぼけ付加処理部３４０及び動画像符号化処理部３５０にそれぞれ供給する。
具体的に、動きベクトル生成処理部３３０は、前述した第１の実施形態における動きベクトル生成処理部１４０と同様の構成からなり、この構成により、処理対象フレームを構成する各画素ブロックに対して精度良く動きベクトルを生成することができる。なお、動きベクトル生成処理部３３０の具体的な構成とその処理に関しては、その説明を省略する。
また、送信／記録装置３００では、第１の実施形態と同様に、動きベクトル生成処理部３３０に係る処理を行う代わりに、動き情報としてフレーム間の差分により動体画像領域を検出して、この検出した動体画像領域を示す情報を、撮像情報に基づいて補正して時間的なフィルタ処理を施すことによって、撮像時のシャッタ速度情報に応じて適切な動きぼけを付加することができる。
動きぼけ付加処理部３４０は、撮像素子３２０から供給される画像データに対して、次に示す処理により、その画像データに対応する撮像情報及び動きベクトル生成処理部３３０から供給される動きベクトルに応じて動きぼけを付加する。具体的に、動きぼけ付加処理部３４０は、前述した第１の実施形態における動きぼけ付加処理部１５０と同様の構成からなり、この構成により、例えば動画像の撮像時のシャッタ速度情報に応じた動きぼけを付加するので、撮像情報に応じて適切な動きぼけを動画像に付加することができ、人間の視覚特性上、より自然にジャーキネス劣化を低減した動画像を出力することができる。なお、動きぼけ付加処理部３４０の具体的な構成とその処理に関しては、その説明を省略する。
動画像符号化処理部３５０は、動きぼけ付加処理部３４０から供給されるジャーキネス劣化が低減された画像データをＭＰＥＧなどの符号化手法によって符号化して、この符号化した画像データを、送信処理部３７０及び記録処理部３８０に供給する。なお、動画像符号化処理部３５０は、動きベクトル生成処理部３３０で検出した動きベクトル、又は、動きぼけ付加処理部３４０から供給される画像データから検出した動きベクトルを用いて符号化用の動きベクトル情報を生成する。
静止画符号化処理部３６０は、撮像素子３２０から供給される静止画データを、ＪＰＥＧなどの符号化手法で符号化して、符号化静止画データを、送信処理部３７０及び記録処理部３８０に供給する。
送信処理部３７０は、符号化された画像データを伝送路を介して外部へ送信する。また、記録処理部３８０は、符号化された画像データを記録媒体４００に記録する。なお、送信／記録装置３００は、画像データを出力するための機能として、送信処理部３７０及び記録処理部３８０のうち少なくとも何れか一方を備えていればよい。
このようにして、送信／記録装置３００は、上述したようにジャーキネス劣化が低減された画像データを符号化して送信処理又は記録処理を行うことができる。
したがって、この送信／記録装置３００によって送信された送信データ、及び記録媒体４００に記録された記録データの再生を行う再生装置は、動きぼけ付加処理を行うことなく、既存の再生処理工程を行うだけで、ジャーキネス劣化が低減された動画像を表示装置に表示させることができる。
また、送信／記録装置３００では、撮像素子３２０から出力される画像信号を静止画として処理する場合には、静止画符号化処理部３６０を介して送信処理又は記録処理を行う。また、送信／記録装置３００は、撮像素子３２０から出力される画像信号を静止画像データとして処理する場合に、動きぼけ付加処理部３４０による処理を無効にすれば、動画像符号化処理部３５０を介して送信処理又は記録処理を行うようにしてもよい。
このようにして、送信／記録装置３００では、撮像素子３２０により出力される画像データを動画像として画像処理を施すときのみ、動きぼけ付加処理部３４０が画像データに動きぼけを付加する処理を行うので、例えば画像データを静止画像として画像処理を施す場合には空間的なコントラストの高い画像データに対して記録処理又は送信処理を行うことができる。
また、第１の実施形態と同様に、送信／記録装置３００を構成する各処理部は、例えばＦＰＧＡ等によって設計されるハードウェアによって実現される。また、撮像した画像信号に動きぼけを付加して記録処理又は送信処理を行うまでの各処理部が行う画像処理工程は、プログラムに従ってコンピュータで実行させるようにしても良い。
なお、本発明は、図面を参照して説明した上述の実施例に限定されるものではなく、添付の請求の範囲及びその主旨を逸脱することなく、様々な変更、置換又はその同等のものを行うことができることは勿論である。

Claims (13)

1. １．被写体を撮像することにより得た画像データであって、該被写体を撮像する時の撮像条件に応じて該画像データで示される画像の動きぼけの度合いが変化する画像データに対して、画像処理を施す画像処理装置において、
   上記撮像条件を示す撮像情報に基づいて、上記画像に関する動きを示す動き情報を補正する動き情報補正手段と、
   上記動き情報補正手段により補正された動き情報を用いて、上記画像データに対して画像処理を施すことにより、上記画像に動きぼけを付加する動きぼけ付加手段とを備える画像処理装置。
2. ２．上記撮像情報は、撮像時のシャッタ速度を示す情報である請求の範囲第１項記載の画像処理装置。
3. ３．上記撮像情報は、撮像時の絞り値を示す情報である請求の範囲第１項記載の画像処理装置。
4. ４．上記画像データから、上記動き情報として動きベクトルを生成する動きベクトル生成手段を更に備え、
   上記動き情報補正手段は、上記撮像情報を用いて、上記動きベクトル生成手段により生成された動きベクトルを補正し、
   上記動きぼけ付加手段は、上記動き情報補正手段により補正された動きベクトルを用いて、上記画像データに空間的なフィルタ処理を施す請求の範囲第１項記載の画像処理装置。
5. ５．上記動きベクトル生成手段は、
   上記画像データから、処理対象画像となる単位画像の動きベクトルを検出する動きベクトル検出手段と、
   上記動きベクトル検出手段が検出した処理対象画像の動きベクトルと、該処理対象画像以前の処理対象画像の動きベクトルを画素ブロック単位で比較して、相関が高い画素ブロックを特定する画素ブロック特定手段と、
   上記画素ブロック特定手段により特定された画素ブロックの動きベクトルから、該特定された画素ブロック以外の画素ブロックの動きベクトルを推定する動きベクトル推定手段とを有する請求の範囲第４項記載の画像処理装置。
6. ６．上記動きベクトル生成手段は、
   上記画像データから、処理対象画像となる単位画像の動きベクトルを検出する動きベクトル検出手段と、
   上記動きベクトル検出手段が検出した処理対象画像の動きベクトルを平滑化する動きベクトル平滑化手段とを有する請求の範囲第４項記載の画像処理装置。
7. ７．上記動きぼけ付加手段は、
   上記処理対象画像を構成する注目画素に対する、上記動き情報補正手段により補正された動きベクトル上に位置するパラメータ算出対象画素を特定し、該注目画素から該パラメータ算出対象画素までの距離に応じたフィルタパラメータを算出するフィルタパラメータ算出処理手段と、
   上記処理対象画像を構成する各画素の画素値に、上記フィルタパラメータに応じたフィルタ処理を施す動きぼけフィルタとからなる請求の範囲第４項記載の画像処理装置。
8. ８．上記画像データは、上記動き情報を用いて符号化されており、
   上記画像データを、上記動き情報を用いて復号する復号手段を更に備え、
   上記動き情報補正手段は、上記撮像情報に基づいて、上記復号手段が上記画像データを復号するのに用いた動き情報を補正する請求の範囲第１項記載の画像処理装置。
9. ９．上記画像データは、上記動き情報を用いて符号化されており、
   上記画像データを、上記動き情報を用いて復号する復号手段と、
   上記復号手段により復号された画像データから、新たな動き情報を生成する動き情報生成手段とを更に備え、
   上記動き情報補正手段は、上記撮像情報に基づいて、上記動き情報生成手段により生成された動き情報を補正する請求の範囲第１項記載の画像処理装置。
10. １０．上記画像データを動画像として画像処理を施すときのみ、上記動きぼけ付加手段は、該画像データに動きぼけを付加する請求の範囲第１項記載の画像処理装置。
11. １１．被写体を撮像することで、撮像条件に応じて撮像により得られる画像データで示される画像に生じる動きぼけの度合いが変化する画像データを出力する撮像手段と、
    上記撮像条件を示す撮像情報に基づいて、上記画像に関する動きを示す動き情報を補正する動き情報補正手段と、
    上記動き情報補正手段により補正された動き情報を用いて、上記画像データに対して画像処理を行うことにより、上記画像に動きぼけを付加する動きぼけ付加手段とを備える撮像装置。
12. １２．被写体を撮像することにより得た画像データであって、該被写体を撮像する時の撮像条件に応じて該画像データで示される画像の動きぼけの度合いが変化する画像データに対して画像処理を施す画像処理方法において、
    上記撮像条件を示す撮像情報に基づいて、上記画像に関する動きを示す動き情報を補正する動き情報補正ステップと、
    上記動き情報補正ステップにより補正された動き情報を用いて、上記画像データに対して画像処理を施すことにより、上記画像に動きぼけを付加する動きぼけ付加ステップとを有する画像処理方法。
13. １３．被写体を撮像することにより得た画像データであって、該被写体を撮像する時の撮像条件に応じて該画像データで示される画像の動きぼけの度合いが変化する画像データに対して画像処理を施す画像処理方法をコンピュータに実行させるプログラムにおいて、
    上記画像処理方法は、
    上記撮像条件を示す撮像情報に基づいて、上記画像に関する動きを示す動き情報を補正する動き情報補正ステップと、
    上記動き情報補正ステップにより補正された動き情報を用いて、上記画像データに対して画像処理を施すことにより、上記画像に動きぼけを付加する動きぼけ付加ステップとを有するプログラム。

Images