WO2006068292A1

WO2006068292A1 - 画像処理装置と画像処理方法および画像処理プログラム

Info

Publication number: WO2006068292A1
Application number: PCT/JP2005/024000
Authority: WO
Inventors: Takahiro Nagano; Tetsujiro Kondo; Tsutomu Watanabe; Junichi Ishibashi; Hisakazu Shiraki; Naoki Fujiwara; Masanori Kanemaru; Shinichiro Kaneko; Yasuhiro Suto
Original assignee: Sony Corporation
Priority date: 2004-12-21
Filing date: 2005-12-21
Publication date: 2006-06-29
Also published as: JPWO2006068292A1; JP4766334B2; US20080095400A1; US7750943B2

Abstract

　撮影情報検出部（３１）は、撮像部（１０）から撮影情報を検出する。動き検出部（３３）は、撮影情報内の撮像部の動き方向に基づき画像の全画面動き方向を検出する。処理領域設定部（３６）は、予測される注目画像内の注目画素に対応する、注目画像および周辺画像のうち少なくとも何れか一方の処理領域を設定する。処理係数設定部（３７）は、動き検出部（３３）で検出した動き方向に対応する動きボケ除去用の処理係数を設定する。画素値生成部（３８）は、処理領域設定部（３６）で設定された処理領域内の画素の画素値と、処理係数設定部（３７）で設定された処理係数とに基づき、注目画素に対応する画素値を生成する。動きボケ除去処理を精度良く行うことができる。

Description

明細書

画像処理装置と画像処理方法および画像処理プログラム技術分野

この発明は、画像処理装置と画像処理方法おょぴ画像処理プログラムに関する。詳しくは、撮像部から撮影情報を検出して、この撮影情報内の撮像部の動き方向に基づき画像の全画面動き方向を検出する。また、予測される注目画像内の注目画素に対応する、注目画像および周辺画像のうち少なくとも何れか一方の処理領域と、検出した動き方向に対応する動きボケ除去用の処理係数を設定し、処理領域内の画素の画素値と、処理係数とに基づき、注目画素に対応する画素値を生成するものである。背景技術

従来より、現実世界における事象を、センサを用いてデータ化することが行われている。このセンサを用いて取得されたデータは、現実世界の情報（例えば、光）、現実世界より低い次元の時空間に射影して得られた情報である。このため、射影して得られた情報は、射影により発生する歪みを有している。例えば、静止している背景の前で移動する物体をビデオカメラで撮像して画像信号としてデータ化する場合、現実世界の情報をサンプリングしてデータ化することから、画像信号に基づいて表示される画像では、射影により発生する歪みとして、動いている物体がボケてしまう動きボケが生じる。 '

このため、特開 2 0 0 1— 2 5 0 1 1 9号公報（対応米国出願番号： 0 9 Z 8 3 0 8 5 8、対応欧州特許公開番号： E P 1 1 6 4 5 4 5 ) で開示されているように、例えば、入力画像に含まれる前景のオブジェクトに対応する画像オブジェタトの輪郭を検出することで、前景のオブジェクトに対応する画像オブジェクトを粗く抽出し、この粗く抽出された前景のオブジェクトに対応する画像オブジェクトの動きべクトルを検出して、検出した動きべクトルおょぴ動きべクトルの位置情報を用いて動きボケの除去が行われている。発明の開示

ところで、動きボケ除去処理においては、動きベクトルを精度良く検出しないと、動きボケを精度良く除去することができない。また、時間方向の情報も使用して処理精度を向上させるものとした場合、例えばシャッタ動作が行われて露光時間が 1フレーム期間よりも小さくなると、物体の動き量と入力画像のボケ量とは必ずしも一致しない。このため、露光時間の割合である露光時間比率を精度良く検出しないと入力画像のボケ量を正しく検出できず動きボケを精度良く除去することができなくなってしまう。

そこで、この発明では、動きボケ除去処理を精度良く行うことができる画像処理装置と画像処理方法および画像処理プログラムを提供するものである。

この発明に係る画像処理装置は、撮像部から撮影情報を検出する撮影情報検出部と、撮影情報内の撮像部の動き方向に基づき画像の全画面動き方向を検出する動き検出部と、予測される注目画像内の注目画素に対応する、注目画像おょぴ周辺画像のうち少なくとも何れか一方の処理領域を設定する処理領域設定部と、動き方向に対応する動きボケ除去用の処理係数を設定する処理係数設定部と、処理領域内の画素の画素値と、処理係数とに基づき、注目画素に対応する画素値を生成する画素値生成部とを備えるものである。

この発明に係る画像処理方法は、撮像部から撮影情報を検出する撮影情報検出工程と、撮影情報内の撮像部の動き方向に基づき画像の全画面動き方向を検出する動き検出工程と、予測される注目画像内の注目画素に対応する、注目画像および周辺画像のうち少なくとも何れか一方の処理領域を設定する処理領域設定工程と、動き方向に対応する動きボケ除去用の処理係数を設定する処理係数設定工程と、処理領域内の画素の画素値と、処理係数とに基づき、注目画素に対応する画素値を生成する画素値生成工程とを備えるものである。

この発明に係る画像処理プログラムは、コンピュータに、撮像部から撮影情報を検出する撮影情報検出ステップと、撮影情報内の撮像部の動き方向に基づき画像の全画面動き方向を検出する動き検出ステップと、予測される注目画像内の注目画素に対応する、注目画像および周辺画像のうち少なくとも何れか一方の処理領域を設定する処理領域設定ステップと'、動き方向に対応する動きボケ除去用の処理係数を設定する処理係数設定ステップと、処理領域内の画素.の画素値と、処理係数とに基づき、注目画素に対応する画素値を生成する画素値生成ステップとを実行させるものである。

この発明においては、露光時間や撮像部の動き、ガンマ値等を撮影情報として検出して、ガンマ値に基づき撮像部から供給された画像の逆ガンマ処理が行われる。また、撮影情報に基づき画像の動きベクトルや露光時間比率が検出されて、動きべクトルと露光時間比率に基づき動きボケ量が検出される。この動きボケ量に基づき、動きボケ除去用の処理係数が設定される。さらに、逆ガンマ処理後の画像を用いて、予測される注目画像内の注目画素に対応する、注目画像おょぴ周辺画像のうち少なくとも何れか一方に処理領域が設定されて、動きボケ除去用の処理係数と処理領域内の画素の画素値から注目画素に対応する画素値が生成される。この生成された画素値は、撮影情報のガンマ値に基づいてガンマ処理されたのち出力される。発明の効果

この発明によれば、撮像部から撮影情報が検出されて、この撮影情報内の撮像部の動き方向に基づき画像の全画面動き方向が検出される。また、予測される注目画像内の注目画素に対応する、注目画像おょぴ周辺画像のうち少なくとも何れか一方に処理領域が設定される。さらに、動き方向に対応する動きボケ除去用の処理係数が設定されて、処理領域内の画素の画素値と処理係数とに基づき、注目画素に対応する画素値が生成される。

このように、撮像部から撮影情報を検出して、この撮影情報を用いて動きボケ除去が行われるので、実世界信号を精度良く構築することができる。また、注目画像や周辺画像に処理領域を設定することで、時間方向の情報を用いた動きボケ除去が可能となり、さらに精度良く実世界信号を構築できる。

また、動きボケ量に応じて処理領域の大きさ、動き方向に応じて処理領域の方向、動きボケ量に応じて処理係数の設定が行われるので、画像の動きに応じた動きボケ除去を行うことができる。さらに、撮影情報に基づき逆ガンマ処理を施した画像を用いて動きボケ除去が行われて、生成された画素値に対してガンマ処理を施してから出力されるので、撮像部からガンマ処理された画像が出力されても、正しく動きボケ除去を行うことができる。図面の簡単な説明 .

図 1は、システムの構成を示す図である。

図 2は、撮像部による撮像を説明するための図である。

図 3 Aと図 3 Bは、撮像画像を説明するための図である。

図 4は、画素値の時間方向分割動作を説明するための図である。

図 5は、シャッタ動作を行ったときの画素値の時間方向分割動作を説明するための図である。

図 6は、画像処理装置の機能ブロック図である。

図 7は、ソフトウエアを用いるときの画像処理装置の構成を示す図である。図 8は、処理領域を説明するための図である。

図 9は、画素値の算出方法を説明するための図である。

図 1 0は、画像処理を示すフローチャートである。

図 1 1は、処理係数を学習によつて求めてボケ除去処理を行う場合の構成を示す図である。

図 1 2は、学習部の機能プロック図である。

図 1 3は、予測タップを離散的に選択する場合の動作を説明するための図である。o

図 1 4は、ビティの算出を説明するための図である。

図 1 5は、処理係数の学習処理を示すフローチャートである。

図 1 6は、クラス分類を用いた画像処理のフローチヤ一トである。

図 1 7は、クラス分類を行う場合の学習部の機能プロック図である。

図 1 8は、クラス分類を用いた処理係数の学習処理を示すフローチヤ一トである o

図 1 9は、処理領域を説明するための図である。

図 2 O Aと図 2 0 Bは、処理領域の設定例を示す図である。

図 2 1は、処理領域における実世界変数の時間混合（動き量 v = 5の場合）を説明するための図である。

図 2 2は、主要項と処理係数を説明するための図である。

図 2 3は、画像処理装置の他の機能プロック図である。

図 2 4は、シャツタ動作を行わないときの画像処理を示すフローチヤ一トでめる。■

図 2 5は、係数生成装置の機能ブロック図である。

図 2 6 Aと図 2 6 Bは、処理領域における実世界変数の時間混合（動き量 V = 4の場合）を説明するための図である。

図 2 7は、空間方向の位相を一致させるときの主要項と処理係数を説明するための図である。

図 2 8 Aと図 2 8 Bは、学習によって処理係数を求める場合を動作を説明するための図である。

図 2 9 Aと図 2 9 Bは、予測タップに対する処理係数を示す図である。図 3 0は、静止画像の動きボケ処理を行う画像処理装置の機能プロック図である。発明を実施するための最良の形態，

以下、図を参照しながら、この発明の実施の形態について説明する。図 1.は、本発明を適用するシステムの構成を示すブロック図である。撮像部 1 0は現実社会を撮像した画像信号 D Vaを生成して画像処理装置 2 0に供給する。画像処理装置 2 0は、供給された入力画像の画像信号 D Vaに埋もれてしまった情報の抽出を行い、埋もれてしまった情報を抽出した画像信号 D Voutを生成して出力する。なお、画像処理装置 2 0は、外部から供給された種々の情報 E Tを用いて、画像信号 D Vaに埋もれてしまつた情報の抽出を行うこともできるようになされている。

撮像部 1 0は、固体撮像素子である C C D (Charge-Coupled Device) エリァセンサゃ MO Sエリアセンサを備えたビデオ力メラなどで構成されており、現実社会を撮像する。例えば、図 2に示すように、撮像部 1 0と背景に対応するォブジェクト O Bbとの間を、前景に対応する動きォブジェクト O Bfが矢印 A方向に移動するとき、撮像部 1 0は、前景に対応する動きオブジェクト O B fを背景に対応するオブジェクト O Bbと共に撮像する。

この撮像部 1 0の検出素子は、露光時間に対応する期間、入力された光を電荷に変換して、光電変換された電荷を蓄積する。電荷の量は、入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、露光時間に対応する期間において、入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、露光時間に対応する期間、入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、時間に対して、積分効果があるとも言える。このように、画像センサで光電変換を行い、入力された光を画素単位で電荷に変換して露光時間単位で蓄積する。この蓄積さ. れた電荷量に応じて画素信号を生成して、この画素信号を用いて所望のフレームレートの画像信号を生成して画像処理装置に供給する。なお、画像センサの露光時間は、上述のように画像センサが入力された光を電荷に変換して検出素子にその電荷を蓄積する期間であり、シャッタ動作が行われていないときは画像時間間隔（例えば 1フレーム期間）と等しいものである。また、シャツタ動作が行われるときはシャツタ開時間と等しいものである。

図 3 Aおよび図 3 Bは、画像信号で示される撮像画像を説明するための図である。図 3 Aは、動いている前景に対応する動きオブジェクト O B fと、静止している背景に対応するオブジェクト O Bbとを撮像して得られる画像を示している。なお、前景に対応する動きオブジェクト O B fは、矢印 A方向に水平移動しているものとする。

図 3 Bは、図 3 Aに示すように矢印 A方向に伸びたライン L (破線で示す）の位置での画像と時間の関係を示している。動きオブジェクト O Bfのライン Lにおける移動方向の長さが例えば 9画素分であり、 1露光時間中に 5画素移動する場合、フレーム期間開始時に画素位置 P 21にあった前端と画素位置 P 13にあつ . た後端は、それぞれ画素位置 P 25， P 17で露光時間の終了となる。また、シャッタ動作が行われていないとき、 1フレームにおける露光時間は 1フレーム期間と等しいことから、次のフレーム期間開始時に前端が画素位置 P 26、後端が画素位置 P 18となる。このため、ライン Lのフレーム期間において、画素位置 P 12まと画素位置 P26からは、背景成分のみの背景領域となる。また、画素位置 P17〜P21は、前景成分のみの前景領域となる。画素位置 P 13〜 P 16と画素位置 P 22〜 P 25は、背景成分と前景成分が混合された混合領域となる。混合領域は、時間の経過に対応して背景成分が前景に覆い隠される力パードパックグランド領域と、時間の経過に対応して背景成分が現れるァンカバードバックグランド領域に分類される。なお、図 3Bでは、前景のオブジェクト OBfの進行方向前端側に位置する混合領域がカバードバッタグランド領域、後端側に位置する混合領域がアンカバードバックグランド領域となる。このように、画像信号には、前景領域、背景領域、またはカバードパックグランド領域若しくはアンカバードパックグランド領域を含む画像が含まれることとなる。

ここで、画像時間間隔は短時間であり、前景に対応する動きオブジェクト OB fは剛体であって等速に移動していると仮定して、ライン Lにおける画素値の時間方向分割動作を図 4に示すように行う。この時間方向分割動作では、画素値を時間方向に展開して仮想分割数で等時間間隔に分割する。なお、図 4において縦方向は時間に対応し、図中の上から下に向かって時間が経過することを示している。，

仮想分割数は、動きォブジェクトの画像時間間隔での動き量 Vなどに対応して設定する。例えば、 1フレーム期間内の動き量 Vが上述のように 5画素であるときは、動き量 Vに対応して仮想分割数を「5」に設定して、. 1フレーム期間を等時間間隔で 5分割する。

また、背景に対応するオブジェクト OBbを撮像したときに得られる画素位置 Pxの 1フレーム期間の画素値を Bx、ライン Lにおける長さが 9画素分である前景に対応する動きォブジェクト OBfを静止させて撮像したとき、各画素で得られる画素値を F09 (前端側）〜F01 (後端側）とする。

この場合、例えば画素位置 P 14の画素値 DP ₁₄は、式（1) で表される。

DPn=B14/v + B14/v + B14/v+F01/v + F02/v · · · (1) この画素位置 P14では、背景の成分を 3仮想分割時間（フレーム期間/ V) 含み、前景成分を 2仮想分割時間含むので、画素値に対する背景成分の混合比ひは (3/5) となる。同様に、例えば画素 f立置 P22では、背景の成分を 1仮想分割時間含み、前景成分を 4仮想分割時間含むので、混合比 αは（1/5) となるまた、シャツタ動作が行われて、 1フレーム期間に対する露光時間の比率を示す露光時間比率が変化されたとき、例えば、露光時間比率が「3ダ5」であるときは、図 5に示すように、 1フレーム期間における画素値の時間方向分割動作を行い、画素値を露光時間比率に応じた仮想分割数で等時間間隔に分割する。仮想分割数は、動きオブジェクトの画像時間間隔内での動き量 Vなどに対応して設定する。例えば、 1フレーム期間内の動き量 Vが上述のように 5画素であるときは、動き量 Vに対応して仮想分割数を'「5」に設定して、 1フレーム期間を等時間間隔で 5分割する。.

この場合、例えば画素位置 Ρ 14の画素値 DP ₁₄は、式（2) で表される。

この画素位置 P14では、背景の成分を 1仮想分割時間（フレーム期間 /V ) 含み、前景成分を 2仮想分割時間含むので、混合比ひは (1/3) となる。同様に、例えば画素位置 P22では、背景の成分を 1仮想分割時間含み、前景成分を 2 仮想分割時間含むので、混合比 αは（1Z3) となる。 .

また、シャツタ動作が行われたとき、露光時間比率と 1フレーム期間内での動き量 Vを乗算して露光時間内動き量 vsを算出することができる。 .

このように、前景の成分が移動することから、 1露光時間では、異なる前景の成分が加算されるので、動きオブジェクトに対応する前景の領域は、動きボケを含むものとなる。このため、画像処理装置 20では、画像信号に埋もれてしまつた有意情報を抽出して前景に対応する動きオブジェクト OBfの動きボケを軽減させた画像信号 D Voutを生成する。

図 6は、画像処理装置の機能プロック図である。なお、画像処理装置の各機能はハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、図 6の機能ブロックは、ハードウェアで実現するものとしても良く、ソフトゥヱァで実現するものとしても良い。

ここで、ソフトウエアを用いるときの画像処理装置 20の構成を例えば図 7に示す。 CPU (Central Processing Unit) 201は、 ROM (Read Only Me mory) 202、または記憶部 208に記憶されているプログラムに従つて各種の処理を実行するものであり、 ROM202や記憶部 208には、画像処理装置の各機能を実現するプログラムが記憶される。 R AM (Random Access Memo ry) 203には、 C PU 201が実行するプログラムやデータなどが適宜記憶される。これらの CPU201、 ROM202、および RAM203は、バス 20 4により相互に接続されている。

また、 CPU201には、バス 204を介して入出力インタフェース 205が接続されている。入出力インタフェース 205には、キーボード、マウス、マイクロホンなどよりなる入力部 206、ディスプレイ、スピーカなどよりなる出力部 207が接続されている。 CPU201は、入力部 206から入力される指令に対応して各種の処理を実行する。そして、 CPU201は、処理の結果得られた画像や音声等を出力部 207に出力する。

入出力インタフェース 205に接続されている記憶部 208は、例えばハードディスクなどで構成され、 CPU201が実行するプログラムや各種のデータを記憶する。通信部 209は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部 209はセンサの出力を.取り込む取得部として働く。また、通信部 209を介してプログラムを取得し、記憶部 20 8に記憶しても良い。 - 入出力インタフェース 205に接続されているドライブ 210は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどの記録媒体が装着されたとき、それらを駆動し、記録媒体に記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部 208に転送されて記憶される。

図 6に示すように、画像処理装置 20の撮影情報検出部 31は、撮像部 1 0で画像信号 DVaを生成したときの撮影情報を検出する。この撮影情報としては、撮像部 10でシャツタ動作を行ったときの露光時間 (シャツタスピード) を検出して、検出した露光時間を示す情報（露光時間情報） Shを撮影情報とする。撮像部 10で画像信号の生成時にガンマ処理を行っているときには、ガンマ処理で用いたガンマ値を検出して、検出したガンマ値を示す情報（ガンマ値情報） s _v を撮影情報とする。また、撮像部 1 0の撮影方向を手動で動かす場合、例えば磁気センサゃ三次元ジャイロなどを用いた角速度センサあるいは三次元加速度センサ等を撮像部 1 0に設けて、撮像部 1 0に設けたセンサからのセンサ信号に基づき撮像部の動きを検出して、検出した撮像部の動きを示す情報（撮像部動き情報 ) S cmを撮影情報とする。さらに、撮像部 1 0の撮影方向が遠隔制御される場合、外部から供給された制御信号に基づいて撮像部動き情報 S cmを生成することもできる。撮影情報検出部 3 1は、生成したガンマ値情報 S yを逆ガンマ処理部 3 2とガンマ処理部 4 0、露光時間情報 S hを動きボケ量検出部 3 4、撮像部動き情報 S cmを動き検出部 3 3に供給する。

逆ガンマ処理部 3 2は、撮像部 1 0から供給された画像信号 D Vaに対して、撮影情報検出部 3 1から供給されたガンマ値情報 S γに基づく逆ガンマ処理を行う。ここで、撮像部 1 0は、生成した画像信号 D Vaを用いて画像表示を行う表示デバイス（例えば陰極線管等）の入出力特性が非線形な特性を有するとき、予めその非線形特性を相殺することで、撮像部 1 0から表示デバイスまでの総合特性が線形となるようにガンマ処理を行う。このため、撮像部 1 0から供給された画像信号 D Vaは、非線形特性を相殺するように補正された信号であ？)から、この補正で用いたガンマ値に基づいて画像信号 D Vaの逆ガンマ処理を行い、ガンマ処理前の画像信号 D Vbを生成する。この画像信号 D Vbは、実世界の画像に対して線形特性を有した信号であり、この画像信号 D Vbを用いて動きボケ除去を行うことで、より正確に実世界の画像を推定できる。.

動き検出部 3 3の動きべクトル推定部 3 3 1は、画像信号 D Vbに基づき全画面の動き方向あるいは動きべクトルを推定して画像動き情報 v paとして画像動き選択部 3 3 2に供給する。この動きべクトル推定部 3 3 1では、例えばブロックマッチング法や勾配法等の手法を用いて画素毎の動き方向や動きべクトルを求め、頻度の最も高い動き方向や動きべクトルを全画面の動き方向や動きべクトルとする。

画像動き選択部 3 3 2は、撮影情報検出部 3 1から供給された撮像部動き情報 S cmに基づき画像の全画面動きを示す画像動き情報 v pbを生成する。ここで、撮像部動き情報 S cmは撮像部 1 0の動きを示しており、撮像部 1 0の動きに対して画像は逆方向に移動することから、撮像部動き情報 S cmの動き方向を逆方向として画像動き情報 v pbの動き方向を決定できる。また、撮像部動き情報 S c mの動き量と撮像部 1 0の画角に基づき画像動き情報 vpbの動き量を決定できる。この画像動き選択部 3 3 2は、画像動き情報 v paあるいは画像動き情報 v p bの何れかを選択して、画像動き情報 vpとして動きボケ量検出部 3 4と注目画素設定部 3 5や処理領域設定部 3 6、画素値生成部 3 8に供給する。この画像動き情報 v pa, v pbの選択は、ユーザが選択を行うものとしても良く、画像処理装置 2 0で自動的に選択を行うものとしても良い。また、撮影画像に応じて、画像動き情報 v pa， v pbの選択を行うものとすれば、画像の全画面動きの検出精度を高めて、動きボケ除去を良好に行うことが可能となる。例えば、撮像部 1 0 の撮像方向を移動しながら静止している被写体のみを撮像して画像信号 D Vaを生成したときは、画像動き情報 v pbを選択することにより全画面動きを精度良く検出できる。

さらに、画像動き選択部 3 3 2は、画素毎に画像動き情報を選択することもできる。例えば、動きのある被写体と静止している被写体が混在されており、静止している被写体部分が大きいとき、動きべクトル推定部 3 3 1で推^された動き方向や動きべクトルの発生頻度が高い画素位置で、画像動き情報 v pbを選択し、発生頻度が高くない画素位置で画像動き情報 v paを選択する。この場合、静止している被写体の画像部分の動きを精度良く得ることができる。

このように、画像動き選択部 3 3 2は、 1画像に対して画像動き情報 v paあるいは画像動き情報 v pbの何れか一方のみを選択することで、全画面動きを検出する。また、画素単位で画像動き情報 v paと画像動き情報 v pbの選択を行うものとすれば、画素単位での動き検出を行うこともできる。

動きボケ量検出部 3 4は、撮影情報検出部 3 1からの露光時間情報 S hに基づき、画像間隔に対する露光時間の割合である露光時間比率を検出して、この露光時間比率と動き検出部 3 3から供給された画像動き情報 v pを用いて乗算処理を行い、露光時間内の動きボケ量 MBを画素毎に検出して処理領域設定部 3 6と処理係数設定部 3 7に供給する。注目画素設定部 3 5は、注目画像を含めて複数の処理対象画像を設定して、動き検出部 3 3により設定された画像動き情報 v pに基づき、注目画像の注目画素に対応する処理対象画像上の画素を検出して、この検出した画像を各処理対象画像の注目画素に設定する。さらに、注目画素を設定した複数の処理対象画像の画像信号を処理領域設定部 3 6に供給する。ここで、注目画像とは、画像処理装置 2 0に供給された入力画像において動きボケ処理を行う画像を示しており、注目画素とは、注目画像内において、動きボケ処理を行う画素を示している。

例えば、（t ) フレームの画像を注目画像とするとき、（t一 1 ) フレーム， ( t ) フレーム、（ t + 1 ) フレームの画像を処理対象画像とする。ここで、画像動き情報 v pに基づき、注目画像の注目画素に対応する（t一 1 ) フレームや ( t + 1 ) フレームの画像上の画素を注目画素として設定する。さらに、（t ) フレームの処理対象画像の画像信号 D Vb(t)を処理領域設定部 3 6の（ t ) フレームタップ選択部 3 6 2、注目画素を設定した（t— l ) フレームの処理対象画像の画像信号 D Vb(t-1)を（ t— 1 ) フレームタップ選択部 3 6 1、注目画素を設定した（ t + 1 ) フレームの処理対象画像の画像信号 D Vb(t+1)を（ t + 1 ) フレームタップ選択部 3 6 3にそれぞれ供給する。

なお、注目画像の注目画素が（t + 1 ) フレームで画像動き情報 v pだけ移動する場合、（t + 1 ) フレームの画像を画像動き情報 v pだけ戻すように移動させれば、注目画像の注目画素と移動後の（t + 1 ) フレームの注目画素の位置は同じとなり、処理領域設定部 3 6における処理領域の設定を容易とすることがでさる。

また、基準となる注目画像は、（t ) フレームの画像に限られるものではなく、（ t— l ) フレームや（t + 1 ) フレームの画像を注目画像とすることもできる。さらに、注目画像のいずれの画素を注目画素とするかについては、外部から注目画素を指定したり、注目画像内の画素を順次自動的に注目画素に指定する。このようにすれば、所望の画素についてのみ、動きボケ除去処理を行うものとしたり、注目画像の全体に対して動きボケ除去処理を自動的に行うことができる。また、外部から範囲を指定して、この範囲内の画素を順次自動的に注目画素に指定するようにすれば、所望の範囲について動きボケ除去処理を行うことが可能となる。 .

処理領域設定部 3 6は、予測される注目画像内の注目画素に対応する、注目画像および周辺画像のうち少なくとも何れか一方の処理領域を設定する。なお、図 6では、注目画像と周辺画像の合わせて 3'フレーム分の動画像に対して処理領域を設定する場合を示している。また、後述するように、静止画であるときは、静止画である注目画像に対して処理領域を設定する。

処理領域設定部 3 6の（ t一 1 ) フレームタツプ選択部 3 6 1は、注目画素設定部 3 5から供給された処理対処画像における注目画素を基準として、例えば動きボケ量検出部 3 4で設定された動きボケ量 MBに応じた空間方向の大きさの処理領域を設定する。あるいは、動きボケ量検出部 3 4で設定された動きボケ量 M Bに応じた大きさで、動き検出部 3 3から供給された画像動き情報 v pで示された動き方向に処理領域を設定する。さらに、処理領域の画素値を画素値生成部 3 • 8のボケ除去処理部 3 8 1に供給する。図 8は、処理領域を示しており、丸印で示す注目画素 P naを基準として処理領域 WAを各処理対象画像に設定する。（ t ) フレームタップ選択部 3 6 2， ( t + 1 ) フレームタップ選択部 3 6 3も、 ( t - 1 ) フレームタップ選択部 3 6 1と同様に、それぞれ注目画素設定部 3 5 力、ら供給された処理対象画像における注目画素 Pnaを基準として、 »きボケ量検出部 3 4で設定された動きボケ量 MBに応じて処理領域を設定する。さらに、処理領域の画素値をボケ除去処理部 3 8 2， 3 8 3に供給する。 .

処理係数設定部 3 7は、メモリを用いて構成されており、メモリには動きボケ量あるいは動きボケ量と動き方向に応じた処理係数が予め記憶されている。処理係数設定部 3 7は、動き方向を特定の方向に設定して動きボケ量に応じて生成した特定の処理係数を記憶しているとき、動きボケ量検出部 3 4から供給された動きボケ量 MBに応じた処理係数をメモリから読み出して、ボケ除去処理部 3 8 1 , 3 8 2 , 3 8 3に供給することで、処理係数の設定を行う。また、処理係数設定部 3 7は、動きボケ量と動き方向に応じた処理係数を記憶しているとき、動きボケ量検出部 3 4から供給された動きボケ量 M Bと動き検出部 3 3から供給された画像動き情報 V pで示された動き方向に応じた処理係数をメモリから読み出して、ボケ除去処理部 3 8 1 , 3 8 2 , 3 8 3に供給することで、処理係数の設定 5 024000

を行う。また、処理係数設定部 3 7は、図示せずも外部から動きボケの調整を可能とする調整情報が供給されたとき、この調整情報に基づいて、画素値生成部 3 8に供給する処理係数の切り換えを行うことで動きボケ除去効果を調整できるようにしても良い。この場合、例えば最初に供給した処理係数で動きボケが最適に行われないような場合が生じても処理係数を切り換えることで動きボケを最適に除去することが可能となる。また、処理係数を切り換えることで意図的に動きボケを残すことも可能である。

画素値生成部 3 8のボケ除去処理部 3 8 1は、（ t一 1 ) フレームタップ選択部 3 6 1から供給された処理領域の画素値と、処理係数設定部 3 7から供給された処理係数を用いて線形結合を行い、ボケ除去処理後の画素値を生成して統合部 3 9に供給する。ここで、処理係数設定部 3 7から、動きボケ量に応じた特定の処理係数が供給されるとき、ボケ除去処理部 3 8 1は、（t一 1 ) フレームタツプ選択部 3 6 1から供給された処理領域の画素値と画像動き情報 v dから新たに処理用の画素値を生成して、この生成した処理用の画素値と特定の処理係数との積和演算を行い画素値を生成する。

ここで、処理用の画素値の生成は、以下のように行う。すなわち、ボケ除去処理に用いる処理係数を生成するとき、動き方向を特定の方向に設定して、このとき得られた処理係数を特定の処理係数として処理係数設定部 3 7に記憶させる。画素値生成部 3 8のボケ除去処理部 3 8 1は、画像動き情報 v dで示された動き方向が、処理係数を生成したときの特定の方向に対して角度差 Θを有する場合、例えば図 9に示すように、処理係数を生成するときに設定した動き方向が水平方向であり、画像動き情報 v dで示された動き方向が角度差 Θを有する場合、注目画素 P naから画像動き情報 V dで示された動き方向の処理係数に対応する画素位置は、三角印で示す位置 Pwa， Pwbとなる。このため、位置 Pwaの画素値 D P wを、周辺の画素位置 Pwl, Pw2, Pw3, Pw4の画素値を用いて式（3 ) . ら算出する。また、同様にして位置 Pwaとは逆方向である位置 Pwbの画素値 D Pwbを算出する。従って、（t一 1 ) フレームタップ選択部 3 6 1は、処理用の画素値を生成できるように処理領域を設定する。 0

DPwa= (1一 jSh) X ( 1一 β v) XDPwl

+ /3h X ( 1 - j3 v) XD Pw2

+ ( 1 - |8 h) X βν XDPw3

+ i3h X j3v XD Pw4 · · · (3) なお、式（3) において、 j3h= c o s j3v= s i n θ DPwlは画素位置 Pwlの画素値、 D Pw2~D Pw4は画素位置 Pw2〜Pw4の画素値である。

また、ボケ除去処理部 3 8 1は、動きボケ量と動き方向に応じた処理係数が供給されるとき、（t一 1) フレームタップ選択部 3 6 1で、この動きボケ量と動き方向に応じて設定された処理領域の画素値と処理係数設定部 3 7から供給された処理係数との積和演算を行い画素値を生成する。

ボケ除去処理部 38 1は、このようにして算出した画素値を処理用の画素値として、この処理用の画素値と、処理係数設定部 3 7から供給された処理係数との積和演算を行い画素値を生成する。

ボケ除去処理部 38 2は、ボケ除去処理部 38 1と同様にして、（ t ) フレームタツプ選択部 362カゝら供給された処理領域の画素値と、処理係数設定部 3 7 から供給された処理係数を用いて線形結合を行い、ボケ除去処理後の画素値を生成して統合部 3 9に供給する。ボケ除去処理部 3 8 3は、（t + 1) フレームタップ選択部 36 3から供給された処理領域の画素値と、処理係数設定部 3 7から供給された処理係数を用いて線形結合を行い、ボケ除去処理後の画素値を生成して統合部 3 9に供給する。

式（4) は、処理領域の画素値と処理係数の線形結合の一例として、積和演算を行う場合を示している。，

n

q' = l Φ χ _Ci · · · (4 )

i=0 式（4) において、 q' は、ボケ除去が行われた画素の画素値を表している。

Ci (iは、 1乃至 nの整数値で処理範囲の各画素を示す）は、処理領域の画素値を表している。また、 diは処理係数を表している。

統合部 3 9は、ボケ除去処理部 3 8：!〜 38 3から供給されたボケ除去後の画素値を統合して、動きボケ除去がなされた画像である予測画像における注目画素の画素値を生成して画像信号 DVoutとして出力する。この画素値の統合では、統計的処理を用いるものとする。例えば、単純平均、重み付け平均、メディアンフィルタ等を用いることができる。ここで'、重み付け平均では、例えば（t一 1 ) フレームの画素値： tフレームの画素値：（t + 1) フレームの画素値 =2 ： 6 ： 2の重み付けを行って平均値を算出する。

ガンマ処理部 40は、統合部 39から供給された画像信号 DVcに対して、撮影情報検出部 31から供給されたガンマ値情報 S γを用いてガンマ処理を行い画像信号 DVoutとして出力する。

図 10は、ソフトウェアで画像処理を行う場合のフローチャートを示している。ステップ ST 1で CPU201は、注目画像に動きボケの除去を行う注目画素を設定してステップ ST 2に進む。ステップ ST2で CPU201は、撮影情報で示されたガンマ値に基づいて注目画素の逆ガンマ処理を行い、実世界の画像を射影したときの画像信号を生成する。ステップ ST 3で C PU 201は、注目画素の動きベクトルを検出してステップ ST4に進む。ステップ ST4で CPU2 01は、注目画素の動きボケ量を検出する。すなわち、ステップ ST 3で検出した動きべクトルと撮影情報で示された露光時間情報に基づき、注目画素の露光時間における動きボケ量を検出する。

ステップ ST 5で CPU201は、処理領域を設定する。すなわち CPU 20 1は、注目画像の注目画素に基づき、処理対象画像を設定して、この処理対象画像に注目画素を設定する。さらに、各処理対象画像の注目画素を基準として、ステツプ S T 4で求めた動きボケ量に応じた処理領域、あるいはステップ ST 3で検出した動きべクトルに対応する動き方向とステップ ST 4で求めた動きボケ量に応じた処理領域を設定してステップ ST 6に進む。

ステップ ST 6で CPU 201は、処理係数を設定してステップ S T 7に進む。この処理係数の設定では、ステップ ST 4で求めた注目画素の動きボケ量に基づく特定の処理係数、あるいはステップ S T 4で求めた注目画素の動きボケ量とステップ ST 3で検出された動きべクトルに応じた動き方向に基づく処理係数を設定する。 4000

ステップ ST 7で CPU 201は、ステップ ST 6で設定した処理係数を用いてボケ除去処理を各処理対象画像に対して行う。すなわち、 CPU201は、ステツプ ST 5で設定した処理領域の画素値と、ステップ ST 6で動き量と動き方向に応じて設定した処理係数とに基づき、注目画素に対応する画素値を生成する。あるいは、処理領域の画素値から新たに処理用の画素値を生成すると共に、この処理用の画素値とステップ ST6で動き量に応じて設定した特定の処理係数とに基づき、注目画素に対応する画素値を算出する。このようにして、ボケ除去がなされた画素値を各処理対象画像の注目画素毎に算出してステップ ST8に進むステップ S T 8で C PU 201は、ステップ S T 7で処理対象画像毎に算出した画素値の統合処理を行い、得られた画素値を注目画素の動きボケ除去処理後の画素値として出力してステップ ST 9に進む。ステップ ST 9で CPU 201は、撮影情報で示されたガンマ値を用いて注目画素に対するガンマ処理を行い、ガンマ処理後の画素値を画像信号 DVoutとして出力する。

ステップ ST 10で CPU201は、処理範囲の全画素に対してボケ除去処理が完了したか否かを判別し、ボケ除去処理が行われていない画素があるときはステツプ S T 1に戻り、処理範囲の全画素に対してボケ除去が完了したときは注目画像に対する画像処理を終了する。

このように、撮影情報を検出して、この検出した撮影情報を用いて注目画素の動きボケ除去処理を行うことにより、動きボケ除去処理の処理精度を高めることができる。

次に、処理係数設定部 37に予め記憶される処理係数を学習によって求めてボケ除去処理を行う場合と、処理係数をモデル式から求めてボケ除去処理を行う場合について説明する。

図 1 1は、処理係数を学習によって求めてボケ除去処理を行う場合の構成を示したものである。学習部 51は、教師画像である静止画と、この静止画に動きポケを付カ卩した生徒画像を用いて学習処理を実行し、この学習により得られる処理係数を画像処理装置 20の処理係数設定部 37に記憶させる。画像処理装置 20 は、上述のように入力画像となる動きボケを含む画像から注目画素に対する処理領域を設定して、この処理領域の画素値と処理係数設定部 3 7に記憶されている動きボケ量に応じた処理係数を用いて演算処理を行い、ボケ除去後の画素値を生成する。

図 1 2は、学習部 5 1の機能プロック図である。学習部 5 1の生徒画像生成部 5 1 1は、入力画像である教師画像に対して動き量 Vに応じた動きボケを付加して生徒画像を生成して予測タップ抽出部 5 1 2に供給する。

予測タップ抽出部 5 1 2は、ボケ除去を行う注目画素に対して複数の画素を予測タップとして設定して、生徒画像から予測タップの画素値を抽出して、正規方程式生成部 5 1 3に出力する。なお、予測タップは、動き方向と動き量に応じた係数を生成する場合、上述の処理領域に対応するものである。

正規方程式生成部 5 1 3は、予測タップ抽出部 5 1 2から供給された予測タツプの画素値と、教師画像の画素値とから正規方程式を生成し、係数決定部 5 1 4 に供給する。係数決定部 5 1 4は、正規方程式生成部 5 1 3から供給された正規方程式に基づき処理係数を演算して、処理係数設定部 3 7に記憶させる。この正規方程式生成部 5 1 3と、係数決定部 5 1 4についてさらに説明する。

上述した式（4 ) において、学習前は処理係数 c のそれぞれが未定係数である。学習は、複数の教師画像（静止画像）の画素を入力することによって行う。教師画像の画素が m個存在し、 m個の画素の画素値を「q k ( kは、 1乃至 mの整数値）」と記述する場合、式（4 ) 力ら、次の式（5 ) が設定される。

n

q_k 2_ d j X c _{i k} = q _k' · · · ( ₅ )

i=0

すなわち、式（5 ) は、右辺の演算を行うことで、動きボケのない実際の画素値 q _kとほぼ等しいボケ除去後の画素値 q _k' を得ることができる。なお、式（5 ) において、イコールではなくニアリーイコールとなっているのは誤差を含むからである。すなわち、右辺の演算結果であるボケ除去後の画素値は、動きボケのない実際の画像における注目画素の画素値と厳密には一致せず、所定の誤差を含むためである。

この式（5 ) において、誤差の自乗和を最小にする処理係数 d iが学習により求まれば、その処理係数 d iは、ボケ除去後の画素値 q _kを動きボケのない画素値に近づけるための最適な係数と考えられる。従って、例えば、学習により集められた m個（ただし、 mは、 nより大きい整数）の画素値 q_kを用いて、最小自乗法により最適な処理係数 diを決定する。

式（5) の右辺の処理係数 diを最小自乗法で求める場合の正規方程式は、式 (6) として表すことができる。

〇1k^x Pk C2k ^x qk

Cnk^x

(6) 従って、式（6) に示す正規方程式を解くことで処理係数 diを決定できる。具体的には、式（6) で示される正規方程式の各行列のそれぞれを、次の式（7 ) 乃至（9) のように定義すると、正規方程式は、次の式（1 0) ,のように表される。 m m

cik^x cik cik C2k ·· 2L ^c1k^x °nk

k=1 k=1 k=1

m m m

l_。2k^x Cik . °2k^x C2k ·· X C2k^{x c}nk

C k=1 k=l k=1

MAT ( 7 )

m m

Cnk A c ∑c_nkX C2k ·· ♦· -^cnk^x °nk

k=l k=1

m

∑c_1KX q_k

k=1

m

∑ C2k ^x Qk

k=1

QMAT = ( 9 )

X Cnk^x Qk

k=1

式（8 ) で示されるように、行列 DMATの各成分は、求めたい処理係数 diである。従って、式（1 0) において、左辺の行列 CMATと右辺の行列 QMATが決定されれば、行列解法によって行列 DMAT (すなわち、処理係数 di) の算出が可能である。具体的には、式（7) で示されるように、行列 CMATの各成分は、予測タップ c_ikが既知であれば演算可能である。予測タップ c_ikは、予測タップ抽出部 5 1 2により抽出されるので、正規方程式生成部 5 1 3は、予測タップ抽出部 5 1 2から供給される予測タップ c_ikのそれぞれを利用して行列 CMATの各成分を演算することができる。

また、式（9 ) で示されるように、行列 QMATの各成分は、予測タップ Ciuと静止画像の画素値 q_kが既知であれば演算可能である。予測タップ _Cikは、行列 CMA τの各成分に含まれるものと同一のものであり、また、画素値 ( は、予測タップ c_ikに含まれる注目画素（生徒画像の画素）に対する教師画像の画素である。従つて、正規方程式生成部 5 1 3は、予測タップ抽出部 5 1 2より供給された予測タップ c _ikと、教師画像を利用して行列 QMATの各成分を演算することができる。このようにして、正規方程式生成部 5 1 3は、行列 C MATと tl 【J QMATの各成刀' を演算し、その演算結果を係数決定部 5 1'4に供給する。

係数決定部 5 1 4は、上述した式（8) の行列 DMATの各成分である処理係数 diを演算する。具体的には、上述した式（1 0) の正規方程式は、次の式（1 1) のように変形できる。

JL^MAT⁼ CMAT MAT · · · (丄 1)

式（1 1) において、左辺の行列 DMATの各成分が、求める処理係数 diである。また、行列 CMATと行列 QMATのそれぞれの各成分は、正規方程式生成部 5 1 3 より供給される。従って、係数決定部 5 1 4は、正規方程式生成部 5 1 3より行列 CMATと行列 QMATのそれぞれの各成分が供給されてきたとき、式（1 1 ) の右辺の行列演算を行うことで行列 DMATを演算し、その演算結果（処理係数 di) を処理係数設定部 37に記憶させる。ここで、動き方向を一定の方向として動き量を変えて上述の学習を行えば、動きボケ量に応じた特定の処理係数が記憶させることができる。また、動き方向も変えて上述の学習を行えば、動きボケ量と動き方向に応じた処理係数を記憶させることができる。

予測タップの選択は、動き量に比例した長さを用いて予測タップを選択する。例えば注目画素を基準として動き方向に「3 X動き量 + 9画素」の範囲に含まれる画素を予測タップとする。また、「2 X動き量 +3画素」の範囲に含まれる画素を予測タップとすれば、タップ数が少なく構成を簡単にできる。さらに、予測タップの選択では、動き量 Vに応じて予測タップを離散的に選択するものとしても良い。

ここで、動き量 Vに応じて予測タップを離散的に選択する場合について図 1 3 を用いて説明する。例えば図 13に示す画素位置 P 47を注目画素位置として注，目画素の画素値 F 19を求める場合、破線で示すように最初に注目画素の成分 F1 9/vが現れる画素位置 P 45、およぴ画素位置 P 45と隣接して注目画素の成分 F 19/ Vを有していない画素位置 P44ついて考えると、式（12) が成立する。なお、画素位置 P 44， P 45の画素値を DP ₄₄， DP₄₅とする。 TJP2005/024000

同様に、破線で示すように最後に注目画素の成分 F19/Vが現れる画素位置 P4 9、およぴ画素位置 P 40と隣接して注目画素の成分 F 19/vを有していな、画素位置 P50ついて考えると、式（1 3) が成立する。

F24-F19= (DP so- DP ₄₉) X v · · · (1 3)

ここで、画素値 F14のレベルは空間相関を利用して近似的に求める。例えば画素位置 P42と周辺画素の空間相関が高ければ式（14) に示すような近似が成立する。

F14^DP₄₂ · · · (14)

ここでいう空間相関とは、各画素のァタティビティ（Activity) の大小で表される関係である。すなわち、ァクティビティとは、例えば、基準とする画素に隣接する画素間の差分値の和である。図 14はァクティビティの算出を説明するための図である。例えば、画素位置 P42を中心として 3画素 X 3画素の合計 9画素の画素間の差分が画素位置 P42のァクティビティ AC(P42)であり、以下の式 (1 5) で示される。なお、図 14において、画素位置 P42-Uは画素位置 P42 よりも 1つ上のラインの画素、画素位置 P42-Lは画素位置 P42よりも 1つ下のラインの画素であることを示しており、他も同様である。 .

A C (P42)= I D P 41-u- D P 42-u | + | DP ₄₂-u一 D P ₄₃-v I

+ DP₄i - DP42 1 + 1 DP₄₂ " - D P₄₃

+ DP41-L- DP42-L + DP42-L- -D P43.L

+ DP41-U- -DP41 + 1 DP41 - -D P41-L

+ DP42-U- -DP42 + DP42 - - D P 42-L

+ D P43-U- -DP43 + 1 DP₄₃ 一 -D P43-L 式（15) で示される画素位置 P42で表される画素のアクティビティ AC(P4 2)は、その値が小さいほど、画素位置 P42の画素と周辺画素の空間相関が高く、画素位置 P42の画素値は周辺画素の画素値に近似していることが示される。逆に、アクティビティが大きいときは、画素位置 P42の画素と周辺画素の空間相関が低く、画素位置 P42の画素値は周辺画素の画素値と異なる可能性が高い 4000

。すなわち、空間相関が高いということは、画素内における画素値の変化も少ないと仮定することができるので、式（16) で示すような関係が成立すると考えられる。

F 12/v= F 13/v= F 14/v= F 15/v= F 16/v · · · (16) 従って、アクティビティ AC (P42)が小さいときには、以下の式（1 7) が導出されることになるため、式（14) が成立すると考えられる。

D P ₄₂/v= ( F 12/v+ F 13/v+ F 14/v+ F 15/v+ F 16/v) = F 14/v

… （1 7) 以上の結果から、式（1 2) を変形し、式（14) の関係を代入すると、以下の式（18) で示されるように、動きボケのない画像の画素に入射される光のレベルとして、 F19が求められることになる。

F19= (DP 45- DP ₄₄) XV+DP42 · · · (1 8)

同様に考えると式（19) も成立する。 '

F 19= DP 52+ (DP 49- DP 50) Xv · · · (1 9)

このように考えると、注目画素の画素値 F19を求めるときには、画素位置 P4 2,P44, P45, P49, P50, P52を得られれば良いことから、注目画素の画素位置 P 47を基準として画素位置 P 42, P 44， P45, P49, P50, P52の画素を予測タップとして用いることもできる。

図 1 5は、処理係数の学習処理を示すフローチャートである。ステップ ST 1 1では、教師画像から生徒画像を生成する。すなわち、教師画像に動きボケを付加して、動きボケが付加された画像である生徒画像を生成する。

ステップ ST 12では、生徒画像の中から予測タップを抽出する。ステップ S T 13では、予測タップおよび教師画像の画素から、正規方程式を生成する。ステップ ST 14では、ステップ ST 1 3で生成した正規方程式を解いて処理係数を決定し、処理係数設定部 37に記憶させる。

ステップ ST 15において、全ての画素について処理を施したか否かを判定して、全ての画素について処理を施していないときは、新たな画素に対してステツプ ST 12からの処理を繰り返し、全ての画素の処理が終了したときには、学習処理を終了する。 · JP2005/024000

以上の処理を行い、学習によって動きボケを除去するための予測係数を生成して処理係数設定部 3 7に記憶させることにより、動きボケの除去処理が実行可能となる。

また、上述のようにアクティビティの大小、すなわち、空間相関の有無を検出するときには、アクティビティの大小によりクラス分類を行い、クラス分類結果であるクラスコードに対応して処理領域を変更させることで、ボケ除去の精度を向上させることもできる。

この場合、処理領域設定部 3 6では、注目画素に対するクラスタップを抽出して、抽出したクラスタップからクラスコードを決定し、このクラスコードに応じて注目画素に対する処理領域を設定して、処理領域の画素値を画素値生成部 3 8 に供給する。また決定したクラスコードを処理領域設定部 3 6から処理係数設定部 3 7に供給して、動きボケ量 MBとクラスコードに応じた処理係数をメモリから読み出して画素値生成部 3 8に供給させる。

ここで、ァクティビティの大小によりクラス分類が行われているとき、クラスタップの抽出は、図 1 3，図 1 4を参照して説明したように、アクティビティの算出に用いた画素をクラスタップとして抽出する。この抽出したクラスタップを用いて上述のようにァクティビティを求め、求めたァクティビティによりクラスコードを検出する。例えばアクティビティ A C(P42), A C (P52)を求めて、ァクティビティ A C(P42)がァクティビティ A C (P52)よりも小さいときクラスコードきクラスコードを「2」として、クラスコードを処理係数設定部 3 7に供給するさらに、処理領域設定部 3 6では、クラスコードに対応して注目画素に対応する処理領域の設定を行う。例えば、クラスコードが「1」であった場合、画素位置 P 52よりも画素位置 P 42の空間相関が高いので、画素位置 P 42、 P 44、 P45. の画素値を処理領域の画素値として画素値生成部 3 8に供給する。また、クラスコードが「2」であった場合、画素位置 P 42よりも画素位置 P 52の空間相関が高いので、画素位置 P 49、 P 50、 P 52の画素値を処理領域の画素値として画素値生成部 3 8に供給する。 P T/JP2005/024000

処理係数設定部 37は、クラスコードに応じて、予め後述する学習部が学習により求めた処理係数を記憶しており、クラスコードおよび動き量に対応する処理係数を画素値生成部 38に供給する。

画素値生成部 38のボケ除去処理部 381〜 383は、処理領域の画素値と処理係数設定部 37から供給された処理係数を用いて演算処理を行い、ボケ除去処理後の画素値を生成して統合部 39に供給する。統合部 39は、ボケ除去処理部 381〜383から供給された画素値を統合して、動きボケ除去がなされた画像である予測画像における注目画素の画素値を出力する。

図 16は、クラス分類を用いた画像処理のフローチャートを示している。ステップ ST21で CPU201は、注目画像に動きボケの除去を行う注目画素を設. 定してステップ ST 22に進む。ステップ ST 22で CPU201は、撮影情報で示されたガンマ値に基づいて注目画素の逆ガンマ処理を行い、実世界の画像を射影したときの画像信号を生成する。ステップ ST 23で CPU201は、注目画素の動きべクトルを検出してステップ ST 24に進む。ステップ ST24で C PU201は、注目画素の動きボケ量を検出する。すなわち、撮影情報で示された露光時間情報とステップ ST 23で検出した動きべクトルを用いて演算処理を行い、注目画素の露光時間内での動きボケ量を検出する。

ステップ ST25で CPU201は、ステップ ST24で求めた動きボケ量に応じてクラスタップを抽出してステップ ST 26に進む。ステップ, ST26で C PU201は、クラス分類を行い、クラスタップからクラスコードを決定する。ステップ ST 27で CPU201は、処理領域を設定する。すなわち CPU 2 01は、注目画像の注目画素に基づき処理対象画像を設定して、処理対象画像に注目画素を設定する。さらに、各処理対象画像の注目画素を基準としてクラスコ一ドと注目画素の動きボケ量と動き方向に応じた処理領域を設定してステップ S T 28に進む。

ステップ ST 28で CPU 201は、注目画素の動きボケ量とクラスコードに応じた処理係数、あるいはステップ ST 22で検出した動きべクトルに応じた動き方向と注目画素の動きボケ量とクラスコードに応じた処理係数を設定してステップ ST 29に進む。ステップ ST29で CPU201は、ボケ除去処理を各処理対象画像に対して行う。すなわち、 CPU201は、ステップ ST 27で設定した処理領域の画素値と、ステップ ST 28において動き量と動き方向とクラスコードに応じて設定した処理係数との演算処理を行い、注目画素に対応する画素値を生成する。あるいは、処理領域の画素値から新たに処理用の画素値を生成すると共に、この処理用の画素値とステップ ST 28で動き量とクラスコードに応じて設定した特定の処理係数との演算処理を行い、ボケ除去がなされた画素値を各処理対象画像の注目画素毎に算出してステップ ST 30に進む。

ステップ ST 30で CPU201は、ステップ ST 29で処理対象画像毎に算出した画素値の統合処理を行い、得られた画素値を注目画素の動きボケ除去処理, 後の画素値として出力してステップ ST 3 1に進む。ステップ ST3 1で CPU 201は、撮影情報で示されたガンマ値を用いて注目画素に対するガンマ処理を行い、ガンマ処理後の画素値を画像信号 DVoutとして出力する。

ステップ ST32で CPU201は、処理範囲の全画素に対してボケ除去処理が完了したか否かを判別し、ボケ除去処理が行われていない画素があるときはステツプ ST21に戻り、処理範囲の全画素に対してボケ除去が完了したときは注目画像に対する画像処理を終了する。

次に、クラス分類を行う場合の処理係数の学習について説明する。図 1 7は、クラス分類を行う場合の学習部 52の機能ブロック図である。なお図 1 7において、図 12と対応する部分については同一符号を付し、詳細な説明は省略する。学習部 52のクラスタップ抽出部 521は、上述のようにクラスタップを選択して、選択したクラスタップをクラス分類部 522に供給する。クラス分類部 5 22は、上述のようにクラス分類を行いクラスコードを決定して予測タップ抽出部 523と正規方程式生成部 524に供給する。

予測タヅプ抽出部 523はクラスコードに応じて予測タップを切り換えて抽出して、正規方程式生成部 524に供給する。

正規方程式生成部 524は、基本的に図 1 2の正規方程式生成部 51 3と同様のものであるが、クラス分類部 522から供給されるクラスコード毎に正規方程式を生成して係数決定部 525に出力する。従って、係数決定部 525は、クラスコード毎に係数を決定し、クラスコード毎に決定した係数を処理係数設定部 3 7に記憶させる。ここで、動き方向を特定して動き量毎に生徒画像を生成しているときには、動き量とクラスコードに応じた特定の処理係数が処理係数設定部 3 7に記憶される。また、動き量と動き方向を切り換えて生徒画像を生成しているときには、動き量と動き方向おょぴクラスコードに応じた処理係数が処理係数設定部 37に記憶される。

図 18は、クラス分類を用いた処理係数の学習処理を示すフローチャートである。ステップ ST41では、教師画像から生徒画像を生成する。すなわち、教師画像に動きボケを付加して、動きボケが付加された画像である生徒画像を生成する。

ステップ ST42では、生徒画像からクラスタップを抽出する。このクラスタップの抽出は、上述のステップ ST 25と同様にして行う。

ステップ ST43では、抽出したクラスタップよりクラス分類を行いクラスコードを決定する。ステップ ST 44では、ステップ ST43で決定したクラスコードに対応して、生徒画像から予測タップを抽出する。

ステップ S T 45では、予測タップぉよび教師画像の画素からクラスコード毎に正規方程式を生成する。

ステップ ST46では、ステップ ST45で生成した正規方程式を解いて処理係数を決定し、クラスコード毎に処理係数設定部 37に記憶させる。

ステップ ST47において、全ての画素について処理を施したか否かを判定して、全ての画素について処理を施していないときは、新たな画素に対してステツプ ST 42からの処理を繰り返し、全ての画素の処理が終了したときは、学習処理を終了する。このようにして、動き量と動き方向とクラスに応じた動きボケ除去用の処理係数を生成できる。また、動き方向を一定方向とすることで、動き量とクラスに応じた特定の処理係数を生成できる。

次に、処理係数設定部 37に記憶される処理係数をモデル式から求めてボケ除去処理を行う場合について説明する。

図 19は、処理領域を空間方向に示したものであり、注目画素 Pnaを中心として例えば動き方向に（2N+ 1) 画素分の処理領域を設定する。図 2 OAおよ 4000

ぴ図 20 Bは処理領域の設定例を示しており、動きボケを軽減させる動きォブジヱクト OBfの画素に対して、動きべクトルの方向が例えば矢印 Bで示すように水平方向である場合は、図 20 Aに示すように水平方向に処理領域 WBを設定する。また、動きベクトルの方向が斜め方向である場合は、図 20Bに示したように、該当する角度方向に処理領域 WBを設定する。ただし、斜め方向に処理領域を設定する際には、処理領域の画素位置に相当する画素値を、補間等によって求める。

ここで、処理領域内では、図 21に示すように、実世界変数 (Y .8, · · · ,Υο ， . · .， Υ₈)が時間混合されている。なお、図 21は、動き量 Vが「ν = -5 」であって処理領域を 1 3画素（Ν==6 ： Νは注目画素 Pnaに対する処理幅の画素数）とした場合である。

ボケ除去処理では、この処理領域に対して実世界推定を行い、推定した実世界の中心画素変数 Yoのみを、動きボケ除去がなされた注目画素の画素値として出力する。

ここで、処理領域を構成する画素の画素値を Χ.Ν， Χ.Ν÷Ι, · · ·， Χ。， · · ·， ΧΝ-Ι, Χ_Νとすると、式（20) に示すような（2N+ 1) 個の混合式が成立する。なお、定数 hは、動き量 Vを 1/2倍したときの整数部分の値（小数点以下を切り捨てた値）を示している。 t+h

、〉 (Yi/_v) = X_t · · ■ (20) i=t-h 、

(t=-N, ■ ■ , O, - ■ ,Ν) し力し、求めたい実世界変数（Y-_N-h，- · · · , Yo, · · · , Y_N+h) は、（2 N+ v) 個ある。すなわち、変数の数よりも式の数が少ないので、式（20) に基づき実世界変数（Y._N-_h， · · ·， Yo, · · · , y_N+h) を求めることができない。

そこで、空間相関を用いた拘束式である式（21) を用いることで、実世界変数よりも式の数を増やし、最小自乗法を用いて、実世界変数の値を求める。

- - ·，0, · · - ,N+h-l) T/JP2005/024000

• · · (21) すなわち、式（20) で表される（2N+1) 個の混合式と式（21) で表される（2N+v— 1) 個の拘束式を合わせた（4N+v) 個の式を用いて、（2 N+ v) 個の未知変数である実世界変数（Ύ-Ν-h, · · ·， Y₀， · · ·， Y_N+h) を求める。

ここで、各式において発生する誤差の二乗和が最小となるような推定を行うことで、動きボケ軽減画像生成処理を行いながら、実世界での画素値の変動を小さくできる。

式（22) は、図 21に示すように処理領域を設定した場合を示しており、式 (20) と式（21) にそれぞれの式で発生する誤差を加えたものである。

• · · (22) この式（22) は式（23) として示すことができ、式（24) に示す誤差の二乗和 Eを最小とするような Y は式（25) として求まる。なお、式 2005/024000

(25) において、 Tは転置行列であることを示している。

A Y = X+ e (23)

E=|e|²=∑ e_mi ²+∑ (24)

γ = (Α^τΑ) A'X (25) ここで、誤差の二乗和は式（26) で示すものとなり、この誤差の二乗和を偏微分して、式（27) に示すように偏微分値が 0となるようにすれば、誤差の二乗和が最小となる式（25) を求めることができる。

E=(AY-X)'(AY-X)

=Υ^ΤΑ^ΤΑΥ— 2Υ'Α^ΤΧ+Χ^ΤΧ (26)

6Ε / 3Υ= 2 (Α^ΤΑΥ— Α^τΧ)=0 (27 ) この式（25) の線形結合を行うことで、実世界変数（Y-N-_h， · · · , Yo, • · · , Y_N+h) をそれぞれ求めることができ、中心画素変数 Yoの画素：を注目画素の画素値として出力する。すなわち、中心画素変数 Υ₀に対する係数を動き量毎に求めて処理係数として処理係数設定部 37に記憶させておき、この処理係数設定部 37に記憶されている動き量に応じた処理係数を用いて、画素値と積和演算を行うことにより動きボケが除去された画素値を出力する。このような処理を処理領域内の全画素に対して行うことで、動きボケが軽減されている実世界変数を処理領域について求めることができる。

上述では、 AY = X+ eにおける誤差の二乗和 Eを最小とするように、最小自乗法で実世界変数（Y.N.h, · · · , Υθ, · · ·， Y_N+h) を求めているが、式の数 =変数の数となるように式を作ることも可能である。この式を AY = Xとき、 Y = A ェと変形することにより、実世界変数（Y-_N-_h， · · ·， Υ₀， · · ·， YN+ を求めることができる。

ところで、上述の構成おょぴ処理は、シャツタ動作を行う場合、あるいはシャッタ動作を行わない場合のいずれでも適用可能であるが、撮像部 1 0でシャツタ動作を行わないものとしたときは、時間方向の主要項を用いることで 2フレームの画像から注目画素の画素値を得ることが可能となり画像処理装置の構成をさらに簡単にできる。

ここで、主要項について説明する。上述のモデル式等によって各画素に対して用いられる処理係数を求めると、処理係数は図 2 2に示すような形状を示すものとなり、処理係数の絶対値が大きくなる部分を生ずる。このような、処理係数の絶対値が大きくなる部分を主要項とする。この主要項の位置は、注目画素 P na . を基準として動き方向おょぴ動き量に応じた画素位置となる.。なお、図 2 2において、主要項 MC alは注目画素 P naに対して動き方向に最も近接した主要項、 •主要項 MCblは動き方向とは逆方向で最も近接した主要項を示している。この主要項 M Cal, M Cblは、注目画素 P naから動き量 Vの ( 1 / 2 ) だけ動き方向あるいは動き方向と逆方向に離れた位置に生ずるものである。また、注目画素 P naに隣接する主要項は、動き量だけ動き方向あるいは動き方向と逆方向に離れた位置に生ずるものである。

この主要項を時間方向に用いるものとした場合、主要項の位置は同じ画素位置に重なるものとなる。すなわち、上述の主要項 M C al, M Cblについて着目すると、（t— 1 ) フレームの画像上の主要項 MCalの位置は（t ) フレームの画像上の主要項 MCblの位置となる。従って、（t— 1 ) フレームと（t ) フレームとの真ん中の位相であって、主要項 MC al， M Cblと同じ画素位置は、注目画素 P naに相当する。このため、例えば 2フレームの主要項を用いて画素値を算出して、この画素値を 2フレームの中間の位相で出力すれば、動きボケが除去された注目画素 P naの画素値を正しく出力できる。

このように、時空間方向の主要項を使用して、フレーム間の真ん中を、動きポケ除去後の注目画素 P naの出力位相とした動きボケ除去を行う画像処理装置の機能ブロック図を図 2 3に示す。なお、図 2 3において、図 6と対応する部分については同一符号を付し、詳細な説明は省略する。時空間方向の主要項を使用して、フレーム間の真ん中を、動きボケ除去後の注目画素 P naの出力位相とすると、 1フレーム分の画像を得るためには、 2フレーム分の画像を用いなければならない。このため、図 2 3に示す画像処理装置の処理領域設定部には、（t一 1 ) フレームタップ選択部 3 6 l aと（t ) フレームタツプ選択部 3 6 2 aを設けるものとする _b 画素値生成部 3 8 aは、連続する 2フレームから抽出された画素値と、処理係数設定部 3 7から供給された処理係数を用いて、注目画素 Pnaの動きボケが除去された画素値を、 2フレームの真ん中を出力位相として画素値を生成する。

( t - 1 ) フレームタツプ選択部 3 6 1 aは、注目画素設定部 ·3 5から供給された処理対処画像から、この処理対象画像内の動きボケが生じている動きォブジエタトにおける注目画素の成分が主に含まれる主要項を抽出するため、（t一 1

) フレームと（t ) フレームの真ん中である位相の注目画素に対して空間位置が

+略同じ位置である画素の画素値を少なくとも抽出して画素値生成部 ·3 8に供給する。 '

( t ) フレームタップ選択部 3 6 2 aも（t一 1 ) フレームタップ選択部 3 6 l aと同様に、注目画素設定部 3 5から供給された処理対処画像から、この処理対象画像内の動きボケが生じている動きオブジェクトにおける注目画.素の成分が主に含まれる主要項を抽出するため、 2フレームの真ん中である位相の注目画素に対して空間位置が略同じ位置である画素の画素値を少なくとも抽出して画素値生成部 3 8に供給する。

処理係数設定部 3 7 aには、動きボケ量に基づいた特定の処理係数、あるいは動きボケ量と動き方向に基づいた処理係数を記憶しておき、動き検出部 3 3から供給された画像動き情報 v pに基づき、この画像動き情報 v pで示された動きボケ量に基づいた特定の処理係数を画素値生成部 3 8 aに供給する。あるいは、画像動き情報 V pで示された動きボケ量と動き方向に基づいた処理係数を画素値生成部 3 8 aに供給する。

画素値生成部 3 8 aは、処理係数設定部 3 7 aから動きボケ量に基づいた特定の処理係数が供給されるとき、処理領域設定部 3 6の（t一 1 ) フレームタップ選択部 3 6 l aから抽出した画素値と画像動き情報 v pで示された動き方向に応 5024000

じて、上述の式（3) を用いて処理用の画素値を生成する。この生成した処理用の画素値と特定の処理係数との積和演算を行い画素値を生成する。また、（t) フレームタップ選択部 362aから抽出した画素値と画像動き情報 vpで示された動き方向に応じて、新たに処理用の画素値を生成する。この生成した処理用の画素値と特定の処理係数との積和演算を行い画素値を生成する。

また、画素値生成部 38 aは、処理係数設定部 37 aから動きボケ量と動き方向に基づいた特定の処理係数が供給されるとき、処理領域設定部 36の（ t _ 1 ) フレームタツプ選択部 361 aから抽出した画素値と処理係数との積和演算を行い画素値を生成する。また、（t) フレームタップ選択部 362aから抽出した画素値と処理係数との積和演算を行い画素値を生成する。

さらに、画素値生成部 38aは、 2フレームの注目画素の画素値を用いて単純平均や重み付け加算、メディアンフィルタ処理等を行い 1つの注目画素の画素値を生成して、（t) フレームと ( t - 1) フレームの中間の位相で画像信号 DV cとしてガンマ処理部 40に供給する。

なお、時空間方向の主要項を使用して、フレーム間の真ん中を、動きボケ除去後の注目画素 Pnaの出力位相とした動きボケ除去を行う場合、主要項の位置は時間方向に対して注目画素の位置に重なるものとなる。従って、（t一 1) フレームタップ選択部 36 laと（t) フレームタップ選択部 362aは、（t一 1 ) フレームと（t) フレームの真ん中である位相の注目画素の位置を基準として、水平おょぴ垂直方向に広がりを持った処理領域を設定しておけば、動き方向毎に処理領域を設定しなくとも、画素値生成部 38 aで処理係数との積和演算に用いる画素値を得ることができる。

図 24は、シャツタ動作を行わない場合の画像処理を示すフローチャートである。シャツタ動作を行わない場合、ステップ ST51で CPU201は、注目画像に動きボケの除去を行う注目画素を設定してステップ ST 52に進む。ステツプ ST52で CPU201は、撮影情報で示されたガンマ値に基づいて注目画素の逆ガンマ処理を行い、実世界の画像を射影したときの画像信号を生成する。ステツプ ST53で CPU 201は、注目画素の動きべクトルを検出してステップ S T 54に進む。 5024000

ステップ3丁54で0?11201は、処理領域を設定する。すなわち CPU 2 01は、注目画像の注目画素に基づき、処理対象画像を設定して、この処理対象画像に注目画素を設定する。さらに、各処理対象画像の注目画素を基準として、ステップ ST 53で求めた動きべクトルに応じた処理領域を設定してステップ S T55に進む。ステップ ST 55で CPU201は、ステップ ST53で求めた動きべクトルの動き方向あるいは動き方向と動き量に応じて処理係数を設定してステップ ST 56に進む。

ステップ ST 56で CPU201は、ステップ ST 55で設定した処理係数を用いてボケ.除去処理を各処理対象画像に対して行う。すなわち、各処理対象画像に対してステップ ST 54で設定した処理範囲の画素値とステップ ST 55で設定した処理係数との積和演算を行い、注目画素の動きボケ除去処理後の画素値を生成してステップ ST 57に進む。

ステップ ST57で CPU201は、撮影情報で示されたガンマ値を用いて注目画素に対するガンマ処理を行い、ガンマ処理後の画素値を画像信号 DVoutとして出力する。

ステップ ST58で CPU201は、処理範囲の全画素に対してボケ除去処理が完了したか否かを判別し、ボケ除去処理が行われていない画素があるときはステツプ ST5 1に戻り、処理範囲の全画素に対してボケ除去が完了したときは注目画像に対する画像処理を終了する。このように、上述の図 10におけるステツプ ST 4の動きボケ量の検出が不要となり、より簡単な処理で動きボケ除去を行うことができる。

処理係数設定部 37aに記憶させる処理係数は、上述のモデル式を用いて求めることができる。すなわち、式（21) に示すように隣接画素差分 =0とする拘束を導入して、式（22) に示す足し込み特性を用いることにより、実世界変数に対応する静止画像内の注目画素を含む第 1の領域の画素（式（22) に示す Y

₈〜Y-8に相当）と、注目画素の空間位置と同じ動きボケを生じた画像内の画素を含む第 2の領域の画素（式（22) に示す Χ₆〜Χ-·₆に相当）間で行列演算を行い、注目画素に相当する中心画素変数 Υ。の算出に用いる係数を処理係数として処理係数設定部 37. aに記憶させる。このように、中心画素変数 Yoの算出に用いる係数を処理係数として用いるものとすれば、周辺画像の画素値を用いて動きボケが除去された画素値を算出できる。

図 2 5は、モデル式を用いて処理係数の生成を行う係数生成装置の機能プロック図である。動き設定部 7 1は、動き方向の設定や動き量の設定を行い、設定された動き方向や動き量を示す動き情報 MHを行列式生成部 7 5 1に供給する。処理係数生成部 7 5の行列式生成部 7 5 1は、動き情報 MHに基づき、画像に動きボケを付加した少なくとも 2つの画像からなるモデルを構築し、 2つの画像例えば（t一 1 ) フレームと（t ) フレームの画像の画像間に位置する注目画素の空間的位置と略同じ 2つの画像内の周辺画素の画素値の足し込み特性と、隣接画素差分 = 0とする拘束により行列式を生成する。

ここで、例えば動き量 v = 5の場合における処理係数の生成手法について説明する。この場合、図 1 9のようなモデルを構築し、行列式を生成する。主要項は画素値 X-₃、 X-2、 X₂、 Χ₃の画素に相当するので、行列式は式（2 8 ) として示すことができる。

… （2 8 ) これより、 Υ。を求めるための行列式を式（2 5 ) のように一意に求めることができる。すなわち、動き量 ν = 5における主要項の画素値 Χ.3, Χ.2, Χ₂， Χ₃に線形結合される処理係数 ' (行列式）を求めることができる。上述の式では未知数

Yと式の数が一致するように拘束式を追カ卩しているが、式（22) のように、さらに拘束式を追加して未知数 Y<式の数として、最小二乗法を用いて最小二乗法で処理係数を求めて.もかまわない。これより、行列式生成部 7 5 1は、動き量毎に上述のように行列式を生成し、係数決定部 7 5 2は、動き量毎に処理係数を求めることができる。また、動き量 ν = 4の場合、主要項の画素値は画素値 Χ-₃、 Χ·₂、 X. Xi 、 X₂、 X₃となるので、行列式は式（29) となる。

ところで、動き量 vが奇数画素数分であるとき、中心画素変数 Yoは図 21に示すように時間的に位相が中央となっている。し力し、動き量 Vが偶数画素数分であるとき、中心画素変数 Yoは図 26 Aに示すように時間的に位相が中央とならず位相差を生じてしまう。このため、仮想分割数を 2倍として、図 26 Bに示すように 1フレーム期間を等時間間隔で 8分割する。さらに、 Y_0aと Y_lbを加算することで、動き量 Vが奇数画素分であるときの中心画素変数 Yoと同様に、時間的に位相が中央である値を得ることができる。

また、空間的位相を考えたとき、動き量が奇数画素分である場合の主要項は、 2つの連続する画素単位で係数が大きく変化する。このため、主要項を用いて注目画素 Pnaを求めるものとした場合は、注目画素 Pnaの位相が 2つの画素の中央となる。すなわち、動きボケ除去後の画像は、（t一 1) フレームおよび（t ) フレームの画像に対して 1Z2画素分だけ位相がずれたものとなる。

また、 1Z2画素分の位相のずれを防止する場合は、図 27に示すように、中心画素変数 Yo に対する処理係数 KC-yOと変数 (あるいはに対する処理係数 KC-ylと加算して 1ノ2倍とした処理係数 KCを用いるものとすれば良い。なお、図 27において、丸印は画素位置を示している。このように処理係数 K Cを生成すると、主要項 MCは 3画素単位となることから、主要項 MCと処理係数 KCを用いることにより、注目画素 Pnaの位相が（t_l) フレームおよび (t) フレームの画像の画素と等しくなり、（t一 1) フレームおよび（t) フレームの画像と位相が等しい動きボケ除去画像を得ることができる。図 26 Bに示すように動き量 Vが偶数画素分の場合、仮想分割数が 2倍とされているので、変数 Y。_aは変数 Y。の 1/2倍、変数 Y_lbは変数 Yiの 1ノ 2倍であり、変数 Y_0aと変数 Y_lbを加算することで、中心画素変数 Y。に対する処理係数 KC-yOと変数 Υ 1 に対する処理係数 KC-ylを加算して 1Z2倍したものと同等となり、動き量 Vが偶数画素分であるときの主要項は 3画素単位となる。

このため、上述のように動き量 Vが偶数画素分であるときや、動き量が奇数画素分であるときに主要項を 3画素単位に変換して処理係数を設定して記憶させておけば、動きボケが除去された注目画素の画素値を、 2つのフレームの画素と同じ画素位置で出力させることができる。 · JP2005/024000

次に、主要項に対する処理係数を学習によって求める場合について説明する。図 2 8 Aと図 2 8 Bに示すように、教師画像を移動して、教師画像に対して（t - 1 ) フレームと（ t ) フレームの生徒画像を生成する。また、生徒画像に対して主要項を基準とした予測タップを構築して学習を行い、予測タップに対する処理係数を求める。ここで、教師画像は、（t一 1 ) フレームと（t ) フレームの生徒画像の中間の位相である。また、教師画像上の注目画素と対応する生徒画像上の位置は、図 2 2から明らかなように主要項の位置に相当する。従って、予測タップは、教師画像上の注目画素と対応する生徒画像上の位置を基準として、水平および垂直方向に広がりを持って設定する。なお、図 2 8 Aはプログレッシブフォーマットの場合を示しており、斜線で示す画素は注目画素であることを示している。また、インタレースフォーマットの画像信号を用いる場合には、図 2 8 Bに示すように例えば（ t一 1 ) フィールドのライン間の位置を基準として予測タップを構築する。このように予測タップを構築して、上述したように正規方程式の演算を行って処理係数を生成する。

図 2 9 Aおよぴ図 2 9 Bは学習によって求めた処理係数の具体例を示している。図 2 9 Aは、動き量を 2 0，動き方向を 0度としたときの（t一 1 ) フィールド用の処理係数と（t ) フィールド用の処理係数である。また、図 2 9 Bは、動き量を 2 0，動き方向を 4 5度としたときの（t一 1 ) フィールド用の処理係数と（t ) フィールド用の処理係数である。ここで、（t ) フィールドの注目画素の画素値を算出する場合、（t ) フレームタップ選択部 3 6 2 aは、注目画素の空間位置と略同じ位置の画素の画素値を少なくとも抽出する際に、図 2 9 Aや図 2 9 Bに示す予測タップの画素値、あるいは破線で示すように 0度方向や 4 5度方向の予測タップの画素値を抽出する。また画素値生成部 3 8 aは、破線で示すように 0度方向や 4 5度方向の処理係数と、この処理係数に予測タップの画素値を用いて積和演算を行い注目画素の画素値を算出する。また、（t一 1 ) フィールドの注目画素の画素値を算出する場合、（t ) フレームタップ選択部 3 6 2 a は、図 2 9 Aや図 2 9 Bに示す予測タップの画素値、あるいは破線で示すように 0度方向や 4 5度方向で注目画素に跨る 2ライン相当の予測タップの画素値を抽出する。また、画素値生成部 3 8 aは、破線で示すように 0度方向や 4 5度方向で注目画素に跨る 2ライン相当の処理係攀と予測タップの画素値を用いて積和演算を行う。さらに、 2ライン相当で積和演算を行っていることから、積和演算結果を 1 Z 2倍して注目画素の画素値とする。なお、図 2 9 Aと図 2 9 Bにおいて、積和演算に用いる処理係数は図 2 2に示す主要項の処理係数の形状と同様となつていることがわかる。

このようにシャツタ動作を行わない場合、動きボケ量検出部 3 4や統合部 3 9 を設けることなく、簡単な構成で動きボケ除去を行うことができる。また、主要項を時間方向例えば複数フレームや複数フィール分用いることで、口バストな動きボケ除去処理を行うことができる。

ところで動きボケ除去は、動画像に限られるものではなく、静止画像に対しても行うことができる。図 3 0は、静止画像の動きボケ除去を行う画像処理装置の構成を示している。なお、図 3 0においても図 6と対応する部分については同一符号を付している。

静止画像を用いる場合、画像信号 D Vbから動き検出を行うことはできない。従って、撮影情報検出部 3 1で検出した撮像部 1 0の動きを示す撮像部動き情報 S cmに基づき、処理領域設定部 3 6 bでは、注目画素あるいは主要項を基準として処理領域を設定する。また、処理係数設定部 3 7 bは撮像部動き情择 S cmに基づき処理係数を設定する。画素値生成部 3 8 bは、処理領域の画素値と処理係数に基づき積和演算処理を行い、動きボケ除去処理後の画素値を生成してガンマ処理部 4 0に供給する。このように、静止画像であっても、撮像部 1 0の動きを示す撮像部動き情報 S cmを用いることで動きボケ除去処理を行うことができる。静止画像を用いる場合の処理係数の生成は、図 1 9に示すように、空間方向にタップを張って、上述の式（2 2 ) を利用すれば生成できる。ここで、動画像の場合には、 2フレームの真ん中を出力位相とすることで主要項が注目画素の位置となる。し力し、静止画像の場合、注目画素は主要項の位置とならない。また、動き量が大きくなるに伴い、注目画素と主要項との間隔が広くなり、注目画素を基準としたとき、主要項の位置が固定した位置とならない。従って、動き量と動き方向に応じた処理係数を生成して、動き量と動き方向に応じた処理係数を選択して用いるものとして、主要項に対応する画素の画素値との積和演算を行うこと 024000

により、静止画像の動きボケ除去を精度良く行うことが可能となる。産業上の利用可能性

以上のように、本発明に係る画像処理装置と画像処理方法および画像処理プログラムは、撮像部を用いて現実社会を撮像して得られる画像信号に埋もれてしまつた情報を抽出する際に有用であり、動きボケを除去した解像度の高い画像を得る場合に好適である。

Claims

請求の範囲

1 . 撮像部から撮影情報を検出する撮影情報検出部と、

前記撮影情報内の前記撮像部の動き方向に基づき画像の全画面動き方向を検出する動き検出部と、

予測される注目画像内の注目画素に対応する、注目画像およぴ周辺画像のうち少なくとも何れか一方の処理領域を設定する処理領域設定部と、

前記動き方向に対応する動きボケ除去用の処理係数を設定する処理係数設定部と、

前記処理領域内の画素の画素値と、前記処理係数とに基づき、前記注目画素に対応する画素値を生成する画素値生成部とを備える画像処理装置。

2 . 前記撮影情報に基づき、動きボケ量を検出する動きボケ量検出部を備える請求項 1記載の画像処理装置。

3 . 前記処理領域設定部は、前記動きボケ量に応じて、前記処理領域の大きさを設定する請求項 2記載の画像処理装置。

4 . 前記処理領域設定部は、前記動き方向に応じて、前記処理領域の方向を決定する請求項 2記載の画像処理装置。

-

5 . 前記動き検出部は、前記撮影情報に基づき前記画像の動きベクトルを検出し前記動きボケ検出部は、前記撮影情報に基づき露光時間比率を検出して、前記動きべクトルと前記露光時間比率とに基づき、動きボケ量を検出し、

前記処理係数設定部は、前記動きボケ量に基づき、前記動きボケ除去用の処理係数を設定する請求項 2記載の画像処理装置。

6 . 前記処理領域設定部は、前記動きボケ量に基づき前記処理領域の大きさを設定し、前記動きべクトルの方向に基づき前記処理領域の方向を設定する請求項 5 記載の画像処理装置。

7 . 前記動き検出部は、前記画像の動きベクトルを検出し、

前記動きボケ量検出部は、前記動きべクトルの動き量を前記動きボケ量として検出する請求項 1記載の画像処理装置。

8 . 前記撮影情報内のガンマ値に基づき、前記画像に対して逆ガンマ処理を施す逆ガンマ処理部と、

前記画素値生成部により生成された画素値からなる処理画像に対してガンマ処理を施すガンマ処理部とを備える請求項 1記載の画像処理装置。

9 . 撮像部から撮影情報を検出する撮影情報検出工程と、

前記撮影情報内の前記撮像部の動き方向に基づき画像の全画面動き方向を検出する動き検出工程と、

予測される注目画像内の注目画素に対応する、注目画像および周辺画像のうち少なくとも何れか一方の処理領域を設定する処理領域設定工程と、 .

前記動き方向に対応する動きボケ除去用の処理係数を設定する処理係数設定ェ程と、 .

前記処理領域内の画素の画素値と、前記処理係数とに基づき、前記注目画素に対応する画素値を生成する画素値生成工程とを備える画像処理方法。

1 0 . コンピュータに、

撮像部から撮影情報を検出する撮影情報検出ステップと、

前記撮影情報内の前記撮像部の動き方向に基づき画像の全画面動き方向を検出する動き検出ステップと、

予測される注目画像内の注目画素に対応する、注目画像おょぴ周辺画像のうち少なくとも何れか一方の処理領域を設定する処理領域設定ステップと、

前記動き方向に対応する動きボケ除去用の処理係数を設定する処理係数設定ステツプと、

前記処理領域内の画素の画素値と、前記処理係数とに基づき、前記注目画素に対応する画素値を生成する画素値生成ステップとを実行させる画像処理プログラム。