WO2005001762A1

WO2005001762A1 - 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体

Info

Publication number: WO2005001762A1
Application number: PCT/JP2004/008690
Authority: WO
Inventors: Tetsujiro Kondo; Kazushi Yoshikawa; Tetsushi Kokubo; Hisakazu Shiraki; Michimasa Obana; Masanori Kanemaru; Hideo Kasama
Original assignee: Sony Corporation
Priority date: 2003-06-27
Filing date: 2004-06-15
Publication date: 2005-01-06
Also published as: JP4392584B2; CN101290677A; US20070115286A1; EP1640906A1; EP1640906A4; US20070110333A1; KR20060021375A; US7672526B2; JP2005018535A; CN101290677B; US7672536B2; CN1813267A; KR101002225B1; CN100388307C

Abstract

本発明は、現実世界の信号により近似した画像等を得ることができるようにした信号処理装置および信号処理方法、並びにプログラムおよび記録媒体に関する。実世界の光信号が射影され、その実世界の光信号の定常性の一部が欠落した実世界の光信号の次元よりも少ない次元の入力画像について、実世界信号推定部10003において、処理領域設定部10001で設定された処理領域内の入力画像から、定常性設定部10002で設定された定常性に応じて、実世界の信号が推定される。一方、ユーザの操作に応じて、処理領域、定常性、または実世界の信号のうちの少なくとも１つに関連する情報が、ユーザＩ／Ｆ10006から処理領域設定部10001、定常性設定部10002、または実世界推定部10003に供給される。本発明は、例えば、画像から動きボケを除去する場合などに適用することができる。

Description

明細書

信号処理装置および信号処理方法、並びにプログラムおよび記録媒体技術分野

本発明は、信号処理装置および信号処理方法、並びにプログラムおよび記録媒体に関し、特に、現実世界の信号により近似した画像等を得ることができるようにする信号処理装置および信号処理方法、並びにプログラムおよび記録媒体に関する。背景技術

実世界（現実世界）における事象をセンサで検出し、センサが出力するサンプリングデータを処理する技術が広く利用されている。例えば、実世界をィメージセンサで撮像し、画像データであるサンプリングデータを処理する画像処理技術が広く利用されている。

また、第 1の次元を有する現実世界の信号である第 1の信号をセンサによつて検出することにより得た、第 1の次元に比較し次元が少ない第 2の次元を有し、第 1の信号に対する歪を含む第 2の信号を取得し、第 2の信号に基づく信号処理を行うことにより、第 2の信号に比して歪の軽減された第 3の信号を生成するようにしているものもある（例えば；特開 2 0 0 1 - 2 5 0 1 1 9号公報参照）。 . .

しかしながら、従来においては、現実世界の信号の定常性を考慮した信号処理が行われていなかつたため、現実世界の信号により近似した画像等を得ることが困難であることがあった。 ' 発明の開示

本発明は、このような状況に鑑みてなされたものであり、現実世界の信号により近似した画像等を得ることができるようにするものである。本発明の信号処理装置は、第 1の次元を有する現実世界の信号である第 1の信号が射影され、現実世界の信号の定常性の一部が欠落した第 1の次元よりも少ない第 2の次元の第 2の信号について、処理の対象とする処理領域を設定する処理領域設定手段と、第 2の信号において欠落した現実世界の信号の定常性を設定する定常性設定手段と、定常性設定手段により設定された定常性に応じて、処理領域設定手段により設定された処理領域内の第 2の信号に対応する現実世界の信号を推定する実世界推定手段と、ユーザの操作に応じて、処理領域、定常性、または現実世界の信号のうちの少なくとも 1つに関連する情報を、処理領域設定手段、定常性設定手段、または実世界推定手段に供給する情報供給手段とを備えることを特徴とする。

本発明の信号処理方法は、第 1の次元を有する現実世界の信号である第 1の信号が射影され、現実世界の信号の定常性の一部が欠落した第 1の次元よりも少ない第 2の次元の第 2の信号について、処理の対象とする処理領域を設定する処理領域設定手段において、処理領域を設定する処理領域設定ステツプと、第 2の信号において欠落した現実世界の信号の定常性 ¾設定する定常性設定手段において、定常性を設定する定常性設定ステップと、定常性設定ステップにより設定された定常性に応じて、処理領域設定ステップにより設定された処理領域内の第 2の信号に対応する現実世界の信号を推定する世界信号推定手段において、現実世界の信号を推定する実世界推定ステップと、ユーザの操作に応じて、処理領域、定常性、または現実世界の信号のうちの少なくとも 1つに関連する情報を、処理領域設定手段、定常性設定手段、または実世界推定.手段に供給する情報供給ステップとを備えることを特徴とする。

本発明のプログラムは、第 1の次元を有する現実世界の信号である第 1の信号が射影され、現実世界の信号の定常性の一部が欠落した第 1の次元よりも少ない第 2の次元の第 2の信号について、処理の対象-とする処理領域を設定する処理領域設定手段において、処理領域を設定する処理領域設定ステップと、第 2の信号において欠落した現実世界の信号の定常性を設定する定常性設定手段において、定常性を設定する定常性設定ステップと、定常性設定ステップにより設定された定常性に応じて、処理領域設定ステップにより設定された処理領域内の第 2の信号に対応する現実世界の信号を推定する世界信号推定手段において、現実世界の信号を推定する実世界推定ステップと、ユーザの操作に応じて、処理領域、定常性、または現実世界の信号のうちの少なくとも 1つに関連する情報を、処理領域設定手段、定常性設定手段、または実世界推定手段に供給する情報供給ステップとを備えることを特徴とする。

本発明の記録媒体は、第 1の次元を有する現実世界の信号である第 1の信号が射影きれ、現実世界の信号の定常性の一部が欠落した第 1の次元よりも少ない第 2の次元の第 2の信号について、処理の対象とする処理領域を設定する処理領域設定手段において、処理領域を設定する処理領域設定ステップと、第 2 の信号において欠落した現実世界の信号の定常性を設定する定常性設定手段において、定常性を設定する定常性設定ステップと、定常性設定ステップにより設定された定常性に応じて、処理領域設定ステツプにより設定された処理領域内の第 2の信号に対応する現実世界の信号を推定する世界信号推定手段において、現実世界の信号を推定する実世界推定ステップと、ユーザの操作に応じて、処理領域、定常性、または現実世界の信号のうちの少なくとも 1つに関連する情報を、処理領域設定手段、定常性設定手段、または実世界推定手段に供給する情報供給ステップとを備えるプログラムが記録されていることを特徴とする。本発明の信号処理装置および信号処理方法、並びにプログラムおよび記録媒体においては、第 1の次元を有する現実世界の信号である第 1の信号が射影され、現実世界の信号の定常性の一部が欠落した第 1の次元よりも少ない第 2の次元の第 2の信号について、処理の対象とする処理領域を設定する処理領域設定手段において、処理領域が設定されるとともに、第 2の信号において欠落した現実世界の信号の定常性を設定する定常性設定手段において、定常性が設定' され、定常性に応じて、処理領域内の第 2の信号に対応する現実世界の信号を推定する世界信号推定手段において、現実世界の信号が推定される。一方、ュ一ザの操作に応じて、処理領域、定常性、または現実世界の信号のうちの少なくとも 1つに関連する情報が、処理領域設定手段、定常性設定手段、または実世界推定手段に供給される。図面の簡単な説明

図 1は、本発明の原理を示す図である。

図 2は、信号処理装置 4のハードウエア構成の例を示すプロック図である。図 3は、図 1の信号処理装置 4の一実施の形態の構成例を示すプロック図である。

図 4は、信号処理装置 4の信号処理の原理をより具体的に説明する図である。図 5は、イメージセンサ上の画素の配置の例を説明する図である。

6は、 CCDである検出素子の動作を説明する図である。

図 7は、画素 D乃至画素 Fに対応する検出素子に入射される光と、画素値との関係を説明する図である。

図 8は、時間の経過と、 1つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。

図 9は、実世界 1の線状の物の画像の例を示す図である。

図 1 0は、実際の撮像により得られた画像データの画素値の例を示す図である。図 1 1は、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像の例を示す図である。

図 1 2は、実際の撮像により得られた画像データの画素値の例を示す図である _c 図 1 3は、画像データの模式図である。

図 1 4は、 M個のデータ 1 6 2によるモデル 1 6 1の推定を説明する図である。図 1 5は、実世界 1の信号とデータ 3との関係を説明する図である。

図 1 6は、式を立てるときに注目するデータ 3の例を示す図である。

図 1 7は、式を立てる場合における、実世界 1における 2つの物体に対する信号および混合領域に属する値を説明する図である。図 1 8は、式（1 8 ) 、式（1 9 ) 、および式（2 2 ) で表される定常性を説明する図である。

図 1 9は、データ 3から抽出される、 M個のデータ 1 6 2の例を示す図である。図 2 0は、データ 3における、時間方向および 2次元の空間方向の実世界 1の信号の積分を説明する図である。

図 2 1は、空間方向により解像度の高い高解像度データを生成するときの、積分の領域を説明する図である。

図 2 2は、時間方向により解像度の高い高解像度データを生成するときの、積分の領域を説明する図である。

図 2 3は、時間空間方向により解像度の高い高解像度データを生成するときの、積分の領域を説明する図である。

図 2 4は、入力画像の元の画像を示す図である。

図 2 5は、入力画像の例を示す図である。 - 図 2 6は、従来のクラス分類適応処理を適用して得られた画像を示す図である。図 2 7は、細線の領域を検出した結果を示す図である。

図 2 8は、信号処理装置 4から出力された出力画像の例を示す図である。

図 2 9は、信号処理装置 4による、信号の処寧を説明するフローチャートである。

図 3 0は、データ定常性検出部 1 0 1の構成を示すブロック図である。

図 3 1は、背景の前に細線がある実世界 1の画像を示す図である。

図 3 2は、平面による背景の近似を説明する図である。

図 3 3は、細線の画像が射影された画像データの断面形状を示す図である。図 3 4は、細線の画像が射影された画像データの断面形状を示す図である。図 3 5は、細線の画像が射影された画像データの断面形状を示す図である。図 3 6は、頂点の検出および単調増減領域の検出の処理を説明する図である。図 3 7は、頂点の画素値が閾値を超え、隣接する画素の画素値が閾値以下である細線領域を検出する処理を説明する図である。 ' 図 3 8は、図 3 7の点線 AA'で示す方向に並ぶ画素の画素値を表す図である。図 3 9は、単調増減領域の連続性の検出の処理を説明する図である。

図 4 0は、細線の画像が射影された領域の検出の他の処理の例を示す図である。図 4 1は、定常性検出の処理を説明するフローチヤ一トである。

図 4 2は、時間方向のデータの定常性を検出の処理を説明する図である。

図 4 3は、非定常成分抽出部 2 0 1の構成を示すブロック図である。

図 4 4は、棄却される回数を説明する図である。

図 4 5は、非定常成分の抽出の処理を説明するフローチャートである。

図 4 6は、定常成分の抽出の処理を説明するフローチャートである。

図 4 7は、定常成分の抽出の他の処理を説明するフローチャートである。

図 4 8は、定常成分の抽出のさらに他の処理を説明するフローチャートである。図 4 9は、データ定常性検出部 1 0 1の他の構成を示すブロック図である。図 5 0は、データの定常性を有する入力画像におけるァクティビティを説明する図である。.

' 図 5 1は、アクティビティを検出するためのブロックを説明する図である。図 5 2は、ァクティビティに対するデータの定常性の角度を説明する図である。図 5 3は、データ定常性検出部 1◦ 1のより詳細な構成を示すプロック図である。 .

図 5 4は、画素の組を説明する図である。

図 5 5は、画素の組の位置とデータの定常性の角度との関係を説明する図である。

図 5 6は、データの定常性の検出の処理を説明するフローチャートである。図 5 7は、時間方向および空間方向のデータの定常性の角度を検出するとき、抽出される画素の組を示す図である。

図 5 8は、図 3の実世界推定部の実施の形態の 1例である、関数近似手法の原理を説明する図である。

図 5 9は、センサが C C Dとされる場合の積分効果を説明する図である。図 6 0は、図 5 9のセンサの積分効果の具体的な例を説明する図である。図 6 1は、図 5 9のセンサの積分効果の具体的な他の例を説明する図である。図 6 2は、図 6 0で示される細線含有実世界領域を表した図である。

図 6 3は、図 3の実世界推定部の ¾施の形態の 1例の原理を、図 5 8の例と対比させて説明する図である。

図 6 4は、図 6 0で示される細線含有データ領域を表した図である。

図 6 5は、図 6 4の細線含有データ領域に含まれる各画素値のそれぞれをダラフ化した図である。

図 6 6は、図 6 5の細線含有データ領域に含まれる各画素値を近似した近似関数をグラフ化した図である。

図 6 7は、図 6 0で示される細線含有実世界領域が有する空間方向の定常性を説明する図である。

図 6 8は、図 6 4の細線含有データ領域に含まれる各画素値のそれぞれをダラフ化した図である。

図 6 9は、図 6 8で示される入力画素値のそれぞれを、所定のシフト量だけシフトさせた状態を説明する図である。 ' 図 7 0は、空間方向の定常性を考慮して、図 6 5の細線含有データ領域に含まれる各画素値を近似した近似関数をグラフ化した図である。 - 図 7 1は、空間混合領域を説明する図である。

図 7 2は、空間混合領域における、実世界の信号を近似した近似関数を説明する図である。

図 7 3は、センサの積分特性と空間方向の定常性の両方を考慮して、図 6 5の細線含有データ領域に対応する実世界の信号を近似した近似関数をグラフ化した図である。

図 7 4は、図 5 8で示される原理を有する関数近似手法のうちの、 1次多項式近似手法を利用する実世界推定部の構成例を説明するプロック図である。図 7 5は、図 7 4の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。

図 7 6は、タップ範囲を説明する図である。

図 7 7は、空間方向の定常性を有する実世界の信号を説明する図である。図 7 8は、センサが C C Dとされる場合の積分効果を説明する図である。図 7 9は、断面方向距離を説明する図である。

図 8 0は、図 5 8で示される原理を有する関数近似手法のうちの、 2次多項式近似手法を利用する実世界推定部の構成例を説明するブロック図である。図 8 1は、図 8 0の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。

図 8 2は、タップ範囲を説明する図である。

図 8 3は、時空間方向の定常性の方向を説明する図である。

図 8 4は、センサが C C Dとされる場合の積分効果を説明する図である。 '図 8 5は、空間方向の定常性を有する実世界の信号を説明する図である。図 8 6は、時空間方向の定常性を有する実世界の信号を説明する図である。図 8 7は、図 5 8で示される原理を有する関数近似手法のうちの、 3次元近似手法を利用する実世界推定部の構成例を説明するブロック図である。

図 8 8は、図 8 7の構成の実世界推定部が実行する実世界の推定処理を説明するフローチヤ一トである。

図 8 9は、図 3の画像生成部の実施の形態の 1例である、再積分手法の原理を説明する図である。

図 9 0は、入力画素と、その入力画素に対応する、実世界の信号を近似する近似関数の例を説明する図である。

図 9 1は、図 9 0で示される近似関数から、図 9 0で示される 1つの入力画素における、高解像度の 4つの画素を創造する例を説明する図である。

図 9 2は、図 8 9で示される原理を有する再積分手法のうちの、 1次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。図 9 3は、図 9 2の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。

図 9 4は、力画像の元の画像の例を表す図である。

図 9 5は、図 9 4の画像に対応する画像データの例を表す図である。

図 9 6は、入力画像の例を表す図である。

図 9 7は、図 9 6の画像に対応する画像データの例を表す図である。

図 9 8は、入力画像に対して従来のクラス分類適応処理を施して得られる画像の例を表す図である。

図 9 9は、図 9 8の画像に対応する画像データの例を表す図である。

図 1 0 0は、入力画像に対して 1次元再積分手法の処理を施して得られる画像の例を表す図である。

図 1 0 1は、図 1 0 0の画像に対応する画像データの例を表す図である。図 1 0 2は、空間方向の定常性を有する実世界の信号を説明する図である。図 1 0 3は、図 8 9で示される原理を有する再積分手法のうちの、 2次元再積分手法を利用する画像生成部の構成例を説明するプロック図である。

図 1 0 4は、断面方向距離を説明する図である。

図 1 0 5は、図 1 0 3の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。 . . ' .

図 1 0 6は、入力画素の 1例を説明する図である。

図 1 0 7は、 2次元再積分手法により、図 1 0 6で示される 1つの入力画素における、高解像度の 4つの画素を創造する例を説明する図である。

図 1 0 8は、時空間方向の定常性の方向を説明する図である。

図 1 0 9は、図 8 9で示される原理を有する再積分手法のうちの、 3次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。

図 1 1 0は、図 1 0 9の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。 4 008690

10

図 1 1 1は、図 1の信号処理装置 4の他の一実施の形態の構成例を示すブロック図である。 - 図 1 1 2は、図 1 1 1の信号処理装置 4の処理を説明するフローチャートである。

図 1 1 3は、図 1 1 1の信号処理装置 4の応用例の一実施の形態の構成例を示すプロック図である。

図 1 1 4は、図 1 1 3の信号処理装置 4の処理を説明するフローチヤ一トである。

図 1 1 5は、処理領域設定部 11001の構成例を示すブロック図である。

図 1 1 6は、処理領域設定部 11001 の処理を説明するフローチャートである。図 1 1 7は、動きボケが生じている入力画像を示す図である。

図 1 1 8は、処理領域設定部 11001において設定された M通りの処理領域を表す枠の表示例を示す図である。

図 1 1 9は、図 1 1 1の信号処理装置 4の応用例の他の一実施の形態の構成例を示すプロック図である。

図 1 2 O Aは、動きベクトルを説明する図である。

図 1 2 0 Bは、動きベクトルを説明する図である。

図 1 2 0 Cは、動きベクトルを説明する図である。

図 1 2 0 Dは、動きベクトルを説明する図である。

図 1 2 1は、図 1 1 .9の信号処理装置 4の処理を説明するフローチャートである。

図 1 2 2は、定常性設定部 11042の構成例を示すプロック図である。

図 1 2 3は、定常性設定部 11042の処理を説明するフローチャートである。 ' 図 1 2 4は、定常性設定部 11042の処理を説明するフローチャートである。図 1 2 5は、定常性設定部 11042の処理を説明する図である。

図 1 2 6 Aは、 3通りの動き量それぞれについて得られる出力画像を示す図である。 4 008690

11

図 1 2 6 Bは、 3通りの動き量それぞれについて得られる出力画像を示す図である。

図 1 2 6 Cは、 3通りの動き量それぞれについて得られる出力画像を示す図である。 ·

図 1 2 6 Dは、 3通の動き量それぞれについて得られる出力画像を示す図でめる

図 1 2 6 Eは、. 3通りの動き量それぞれについて得られる出力画像を示す図である。

図 1 2 7は、図 1 1 1の信号処理装置 4の応用例の他の一実施の形態の構成例を示すブロック図である。 '

図 1 2 8は、図 1 2 7の信号処理装置 4の処理を説明するフローチヤ一トである。

図 1 2 9は、図 1 1 1の信号処理装置 4の応用例の他の一実施の形態の構成例を示すブロック図である。

図 1 3 0は、図 1 2 9の信号処理装置 4の処理を説明するフローチャートである。 _ 図 1 3 1は、図 1 2 9の信号処理装置 4の処理を説明するフローチヤ一トである。 ' '

図 1 3 2は、図 1 2 9の信号処理装置 4の処理を説明する図である。

図 1 3 3は、信号処理装置 4による本処理を説明するフローチヤ一トである。図 1 3 4は、入力画像における処理領域と,定常性の方向を示す図である。図 1 3 5 A'は、実世界 1の光信号と、その光信号についてセンサ 2から得られる入力画像を示す図である。

図 1 3 5 Bは、実世界 1の光信号と、その光信号についてセンサ 2から得られる入力画像を示す図である。

図 1 3 6 Aは、信号処理装置 4による本処理を説明する図である。

図 1 3 6 Bは、信号処理装置 4による本処理を説明する図である。 P T/JP2004/008690

12

図 1 3 6 Cは、信号処理装置 4による本処理を説明する図である。

図 1 3 6 Dは、信号処理装置 4による本処理を説明する図である。

図 1 3 6 Eは、信号処理装置 4による本処理を説明する図である。

図 1 3 7は、動き検出部 11062の構成例を示すブロック図である。

図 1 3 8は、動き量を説明する図である。

図 1 3 9は、背景オブジェクトの前を移動する前景オブジェクトをカメラで撮像したときに、カメラから出力される画像の画素値を示す図である。

図 1 4 0は、図 1 3 9で示される画像の画素の画素値の差分値を示す図である。図 1 4 1は、動き量の検出の処理を説明するフローチャートである。

図 1 4 2は、相関の検出の処理を説明するフローチャートである。

図 1 4 3は、図 1 1 1の信号処理装置 4の応用例の他の一実施の形態の構成例を示すプロック図である。

図 1 4 4は、図 1 4 3の信号処理装置 4の処理を説明するフローチヤ一トである。

図 1 4 5は、センサ 2が C C Dとされる場合の積分効果を説明する図である。 . 図 1 4 6は、動き量を説明する図である。

図 1 4 7 Aは、センサ 2の積分効果により発生する動きボケを説明する図である。 .

図 1 4 7 Bは、センサ 2の積分効果により発生する動きボケを説明する図である。

図 1 4 7 Cは、センサ 2の積分効果により発生する動きボケを説明する図である。

図 1 4 8 Aは、センサ 2の積分効果により発生する動きボケを説明する図である。

図 1 4 8 Bは、センサ 2の積分効果により発生する動きボケを説明する図である。 690

13

図 148 Cは、センサ 2の積分効果により発生する動きボケを説明する図である。

図 149は、実世界推定部 12003の実世界の推定処理を説明するフローチヤートである。

図 1 50は、方程式生成部 12012の構成例を示すブロック図である。

図 1 5 1は、図 14 9のステップ S12032の方程式生成処理を説明するフローチヤ一トである。

図 1 5 2Aは、拘束条件を説明する図である。

図 1 5 2Bは、拘束条件を説明する図である。

図 1 5 2 Cは、拘束条件を説明する図である。

図 1 5 3は、図 1 1 1の信号処理装置 4の応用例の他の一実施の形態の構成例を示すブロック図である。

図 1 54は、図 1 5 3の信号処理装置 4の処理を説明するフローチヤ一トである。

図 1 5 5は、実世界推定部 12073の実世界の推定処理を説明するフローチヤートである。

図 1 56は、方程式生成部 12082の構成例を示すプロック図である。' - . 図 1 5 7は、図 1 5 5のステップ312102の方程式生成処理を説明するフローチャートである。 - ' ' 図 1 5 8は、図 1 5 3の信号処理装置 4の処理の概要を説明する図である。図 1 5 9は、図 1 5 3の信号処理装置 4の処理の概要を説明する図である。図 16 OAは、拘束条件を説明する図である。

図 16 O Bは、拘束条件を説明する図である。

図 160 Cは、拘束条件を説明する図である。 '

図 1 6 1は、図 1 1 1の信号処理装置 4の応用例の他の一実施の形態の構成例を示すプロック図である。 0

14

図 1 6 2は、図 1 6 1の信号処理装置 4の処理を説明するフローチヤ一トである。

図 1 6 3は、実世界推定部 12163の実世界推定処理を説明するフローチヤ一トである。

図 1 6 4は、方程式生成部 12172の構成例を示す図である。

図 1 6 5は、図 1 6 3のステップ 12172の方程式生成処理を説明するフローチャートである。

図 1 6 6は、図 1 6 1の信号処理装置 4の処理の概要を説明する図である。図 1 6 7は、図 1 1 1の信号処理装置 4の応用例の他の一実施の形態の構成例を示すブロック図である。

図 1 6 8は、図 1 6 7め信号処理装置 4の処理を説明するフローチヤ一トである。

図 1 6 9は、実世界推定部 12243の実世界推定処理を説明するフローチヤ一トである。

図 1 7 0は、方程式生成部 12252の構成例を示す図である。

図 1 7 1は、図 1 6 9のステップ 12232の方程式生成処理を説明するフローチャートである。

図 1 7 2 Aは、図 1 6 7の信号処理装置 4の処理の概要を説明する図である。図 1 7 2 Bは、図 1 6 7の信号処理装置 4の処理の概要を説明する図である。図 1 7 3は、図 1 1 1の信号処理装置 4の応用例の他の一実施の形態の構成例を示すブロック図である。

図 1 7 4は、図 1 7 3の信号処理装置 4の処理を説明するフローチヤ一トである。

図 1 7 5は、実世界推定部 12293の実世界推定処理を説明するフローチヤ一トである。

図 1 7 6は、方程式生成部 12302の構成例を示す図である。図 1 77は、図 1 75のステップ S12292の方程式生成処理を説明するフローチヤ一トである。

図 1 78は、図 1 73の信号処理装置 4の処理の概要を説明する図である。図 1 79 Aは、図 1 7 3の信号処理装置 4の処理の概要を説明する図である。図 1 79 Bは、図 1 73の信号処理装置 4の処理の概要を説明する図である。図 1 80は、図 1 5 3、図 1 6 1、図 16 7、図 1 7 3の信号処理装置 4と等価な信号処理装置 4の構成例を示すブロック図である。

図 1 8 1は、図 1 80の信号処理装置 4の処理を説明するフローチヤ一トである。 '

図 1 8 2は、図 1 80の信号処理装置 4の処理を説明するフローチャートである。

図 1 83は、図 180の信号処理装置 4の処理を説明するフローチヤ一トである。

図 1 84は、図 1 80の信号処理装置 4の処理を説明するフローチャートである。 - 図 1 8 5は、入力画像を示す図である。

図 1 86は、図 1 8 5の入力画像に対する平坦領域の指示を説明する図である _c 図 1 8 7は、図 18 5の入力画像の処理結果である出力画像を示す図である。図 1 88は、図 18 5の入力画像の処理結果である出力画像を示す図である。図 1 8 9は、図 1 8 8の出力画像に対する不満領域の指示を説明する図である _c 図 1 9 OAは、図 1 88の出力画像の再処理結果である出力画像を示す図である。

図 1 90 Bは、図 1 88の出力画像の再処理結果である出力画像を示す図である。

図 1 9 1 Aは、図 1 90 Aと図 1 90 Bで選択された出力画像の再処理結果である出力画像を示す図である。図 1 9 1 Bは、図 1 90Aと図 1 90 Bで選択された出力画像の再処理結果である出力画像を示す図である。

図 1 9 1 Cは、図 1 90Aと図 1 90 Bで選択された出力画像の再処理結果である出力画像を示す図である。

図 1 9 1Dは、図 1 90Aと図 1 90 Bで選択された出力画像の再処理結果である出力画像を示す図である。

図 1 9 2は、図 18 5の入力画像を拡大した図である。

図 1 9 3は、図 1 9 2の入力画像の処理結果である出力画像を示す図である。図 1 94は、図 1 9 2の入力画像の処理結果である出力画像を示す図である。発明を実施するための最良の形態

図 1は、本発明の原理を表している。同図で示されるように、空間、時間、および質量の次元を有する実世界 1の事象（現象）は、センサ 2により取得され、データ化される。実世界 1の事舞とは、光（画像）、音声、圧力、温度、質量、濃度、明るさ暗さ、またはにおいなどをいう。実世界 1の事象は、時空間方向分布している。例えば、実世界 1の画像は、実世界 1の光の強度の時空間方向の分布である。

センサ 2に注目すると、空間、時間、および質量の次元を有する実世界 1の事象のうち、センサ 2が取得可能な、，実世界 1の事象が、センサ 2により、データ 3に変換される。センサ 2によって、実世界 1の事象を示す情報が取得されるとも言える。 '

すなわち、センサ 2は、実世界 1の事象を示す情報を、データ 3に変換する。空間、時間、および質量の次元を有する実世界 1の事象（現象 λを示す情報である信号がセンサ 2により取得され、データ化されるとも言える。

以下、実世界 1における、画像、音声、圧力、温度、質量、濃度、明るさ暗さ、またはにおいなどの事象の分布を、実世界 1の事象を示す情報である信号とも称する。また、実世界 1の事象を示す情報である信号を、単に、実世界 JP2004/008690

17

Γの信号とも称する。本明細書において、信号は、現象および事象を含み、送信側に意思がないものも含むものとする。

センサ 2から出力されるデータ 3 (検出信号）は、実世界 1の事象を示す情報を、実世界 1に比較して、より低い次元の時空間に射影して得られた情報である。例えば、動画像の画像データであるデータ 3は、実世界 1の 3次元の空間方向および時間方向の画像が、 2次元の空間方向、および時間方向からなる時空間に射影されて得られた情報である。また、例えば、データ 3がデジタルデータであるとき、データ 3は、サンプリングの単位に応じて、丸められている。データ 3がアナログデータであるとき、データ 3において、ダイナミックレンジに応じて、情報が圧縮されているか、またはリミッタなどにより、情報の一部が削除されている。

このように、所定の次元を有する実世界 1の事象を示す情報である信号をデータ 3 (検出信号）に射影することにより、実世界 1の事象を示す情報の一部が欠落する。すなわち、センサ 2が出力するデータ 3において、実世界 1の事象を示す情報の一部が欠落している。

しかしながら、射影により実世界 1の事象を示す情報の一部が欠落しているものの、データ 3は、実世界 1の事象（現象）を示す情報である信号を推定するための有意情報を含んでいる。

本発明においては、実世界 1の情報である信号を推定するための有意情報として、実世界 1またはデータ 3に含まれる定常性を有する情報を利用する。定常性は、新たに定義する概念である。

ここで、実世界 1に注目すると、実世界 1の事象は、所定の次元の方向に一定の特徴を含む。例えば、実世界 1の物体（有体物）において、空間方向または時間方向に、形状、模様、若しくは色彩などが連続するか、または形状、模様、若しくは色彩などのパターンが繰り返す。

従って、実世界 1の事象を示す情報には、所定の次元の方向に一定の特徴が含まれることになる。より具体的な例を挙げれば、糸、紐、またはロープなどの線状の物体は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有する。長さ方向の任意の位置において、断面形状が同じであるという空間方向に一定の特徴は、線状の物体が長いという特徴から生じる。

従って、線状の物体の画像は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有している。また、空間方向に広がりを有する有体物である、単色の物体は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有していると言える _c 同様に、空間方向に広がりを有する有体物である、単色の物体の画像は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有している _c このように、実世界 1 (現実世界）の事象は、所定の次元の方向に一定の特徴を有しているので、実世界 1の信号は、所定の次元の方向に一定の特徴を有する。

本明細書において、このような所定の次元の方向に一定の特徴を定常性と称する。実世界 1 (現実世界）の信号の定常性とは、実世界 1 (現実世界）の事象を示す信号が有している、所定の次元の方向に一定の特徴をいう。 ' 実世界 1 (現実世界）には、このような定常性が無数に存在する。

次に、データ 3に注目すると、データ 3は、センサ 2により、所定の次元を有する実世界 1の事象を示す情報である信号が射影されたものであるので、実世界の信号の定常性に対応する定常性を含んでいる。データ 3は、実世界の信号の定常性が射影された定常性を含んでいるとも言える。

しかしながら、上述したように、センサ 2が出力するデータ 3において、実世界 1の情報の一部が欠落しているので、データ 3から、実世界 1 (現実世界）の信号に含まれる定常性の一部が欠落し得る。 4 008690

19

換言すれば、データ 3は、データの定常性として、実世界 1 (現実世界）の信号の定常性の中の、少なくとも一部の定常性を含む。データの定常性とは、データ 3が有している、所定の次元の方向に一定の特徴である。

本発明においては、実世界 1の事象を示す情報である信号を推定するための有意情報として、実世界 1の信号の定常性、またはデータ 3が有する、データの定常性が利用される。

例えば、信号処理装置 4においては、データの定常性を利用して、データ 3 を信号処理することで、欠落した、実世界 1の事象を示す情報が生成される。なお、信号処理装置 4においては、実世界 1の事象を示す情報である信号の次元の、長さ（空間）、時間、および質量のうち、空間方向または時間方向の定常性が利用される。

図 1において、センサ 2は、例えば、デジタルスチルカメラ、またはビデオカメラなどで構成され、実世界 1の画像を撮像し、得られたデータ 3である画像データを信号処理装置 4に出力する。センサ 2は、例えば、サーモグラフィ装置、または光弾性を利用した圧力センサなどとすることができる。

信号処理装置 4は、例えば、パーソナルコンピュータなどで構成され、データ 3を対象とした信号処理を行う。

. 信号処理装置 4は、例えば、図 2で示されるように構成される。 CPU

(Central Processing Unit) 2 1は、 ROM (Read Only Memory) 2 2、または記憶部 2 8に記憶されているプログラムに従って各種の処理を実行する。

RAM (Random Access . Memory). 2 3には、 CPU 2 1が実行するプログラムゃデータなどが適宜記憶される。これらの CPU 2 1、 ROM 2 2、および RAM 2 3は、バス 2 4により相互に接続されている。

CPU 2 1にはまた、バス 2 4を介して入出力インタフェース 2 5が接続され. ている。入出力インタフェース 2 5には、キーボード、マウス、マイクロホンなどよりなる入力部 2 6、ディスプレイ、スピー力などよりなる出力部 2 7が ' 接続されている。 CPU 2 1は、入力部 2 6から入力される指令に対応して各種 PC蘭 004/00画

20

の処理を実行する。そして、 CPU 2 1は、処理の結果得られた画像や音声等を出力部 2 7に出力する。

入出力ィンタフェース 2 5に接続されている記憶部 2 8は、例えばハードデイスクなどで構成され、 CPU 2 1が実行するプログラムや各種のデータを記憶する。通信部 2 9は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部 2 9はセンサ 2の出力するデータ 3を取り込む取得部として働く。

, また、通信部 2 9を介してプログラムを取得し、記憶部 2 8に記憶してもよい。

入出力インタフェース 2 5に接続されているドライブ 3 0は、磁気ディスク 5 1、光ディスク 5 2、光磁気ディスク 5 3、或いは半導体メモリ 5 4などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部 2 8 に転送され、記憶される。

図 3は、信号処理装置 4を示すブロック図である。

なお、信号処理装置 4の各機能をハードウェアで実現するか、ソフトウェア，で実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのプロック図と考えても、ソフトウエアによる機能ブロック図と考えても良い。図 3に構成を示す信号処理装置 4においては、データ 3の一例である画像データが入力され、入力された画像データ（入力画像）からデータの定常性が検出される。次に、検出されたデータの宾常性から、セ /サ 2により取得された実世界 1の信号が推定される。そして、推定された実世界 1の信号を基に、画像が生成され、生成された画像（出力画像）が出力される。すなわち、図 3は、画像処理装置である信号処理装置 4の構成を示す図である。

信号処理装置 4に入力された入力画像（データ 3の一例である画像データ）は、データ定常性検出部 1 0 1および実世界推定部 1 0 2に供給される。データ定常性検出部 1 0 1は、入力画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報を実世界推定部 1 0 2および画像生成部 1 0 3に供給する。データ定常性情報は、例えば、入力画像における、データの定常性を有する画素の領域の位置、データの定常性を有する画素の領域の方向（時間方向および空間方向の角度または傾き）、またはデータの定常性を有する画素の領域の長さなどを含む。データ定常性検出部 1 0 1の構成の詳細は、後述する。実世界推定部 1 0 2は、入力画像、およびデータ定常性検出部 1 0 1から供給されたデータ定常性情報を基に、実世界 1の信号を推定する。すなわち、実世界推定部 1 0 2は、入力画像が取得されたときセンサ 2に入射された、実世界の信号である画像を推定する。実世界推定部 1 0 2は、実世界 1 の信号の推定の結果を示す実世界推定情報を画像生成部 1 0 3に供給する。実世界推定部 1 0 2の構成の詳細は、後述する。

画像生成部 1 0 3は、実世界推定部 1 0 2から供給された、推定された実世界 1の信号を示す実世界推定情報を基に、実世界 1の信号により近似した信号を生成して、生成した信号を出力する。または、画像生成部 1 0 3は、データ定常性検出部 1 0 1から供給されたデータ定常性情報、および実世界推定部 1 0 2から供給された.、推定された実世界 1の信号を示す実世界推定情報を基に、実世界 1の信号により近似した信号を生成して、生成した信号を出力する。すなわち、画像生成部 1 0 3は、実世界推定情報を基に、実世界 1の画像により近似した画像を生成して、生成した画像を出力画像として出力する。または、画像生成部 1 0 3は、データ定常性情報および実世界推定情報を基に、実世界 1の画像により近似した画像を生成して、生成した画像を出力画像として出力する。

例えば、画像生成部 1 0 3は、実世界推定情報を基に、推定された実世界 1 の画像を所望の空間方向または時間方向の範囲で積分することにより、入力画像に比較して、空間方向または時間方向により高解像度の画像を生成して、生成した画像を出力画像として出力する。例えば、画像生成部 1 0 3は、外揷補間により、画像を生成して、生成した画像を出力画像として出力する。

画像生成部 1 0 3の構成の詳細は、後述する。

次に、図 4を参照して、本発明の原理を説明する。

例えば、画像である、実世界 1の信号は、センサ 2の一例である CCD

(Charge Coupl ed Device) の受光面に結像される。センサ 2の一例である CCDは、積分特性を有しているので、 CCDから出力されるデータ 3には、実世界 1の画像との差が生じることになる。 .センサ 2の積分特性の詳細については、後述する。

信号処理装置 4による信号処理においては、 C0Dにより取得された実世界 1 の画像と、 CCDにより撮像され、出力されたデータ 3との関係が明確に考慮される。すなわち、データ 3と、センサ 2で取得された実世界の情報である信号との関係が明確に考慮される。

より具体的には、図 4で示されるように、信号処理装置 4は、モデル 1 6 1 を用いて、実世界 1を近似（記述）する。モデル 1 6 1は、例えば、 N個の変数で表現される。より正確には、モデル 1 6 1は、実世界 1の信号を近似（記述）する。

モデル 1 6 1を予測するために、信号処理装置 4は、データ 3から、 M個のデータ 1 6 2を抽出する。データ 3から、 M個のデータ 1 6 2を抽出するとき、信号処理装置 4は、例えば、データ 3に含まれるデータの定常性を利用する。換言すれば、信号処理装置 4は、データ 3に含まれるデータの定常性を基に、モデル 1 6 1を予測するためのデータ 1 6 2を抽出する。この場合、結果的に、モデル 1 6 1は、データの定常性に拘束されることになる。

すなわち、モデル 1 6 1は、センサ 2で取得されたとき、データ 3においてデータの定常性を生じさせる、定常性（所定の次元の方向に一定の特徴）を有する実世界 1の事象（を示す情報（信号））を近似する。 4 008690

23

ここで、データ 1 6 2の数 Mが、モデルの変数の数 N以上であれば、 M個のデータ 1 6 2から、 N個の変数で表現されるモデル 1 6 1を予測することができる。

このように、実世界 1 (の信号）を近似（記述）するモデル 1 6 1を予測することにより、 ΐ言号処理装置 4は、実世界 1の情報である信号を考慮することができる。

次に、センサ 2の積分効果について説明する。

画像を撮像するセンサ 2である、 CCDまたは CMOS (Complementary Metal- Oxide Semiconductor) センサなどのイメージセンサは、現実世界を撮像するとき、現実世界の情報である信号を 2次元のデータに投影する。イメージセンサの各画素は、いわゆる受光面（受光領域）として、それぞれ所定の面積を有する。所定の面積を有する受光面に入射した光は、画素毎に、空間方向おょぴ時間方向に積分され、各画素に対して 1つの画素値に換される。

図 5乃至図 8を参照して、画像の空間的時間的な積分について説明する。イメージセンサは、現実世界の対象物（オブジェクト）を撮像し、撮像の結果得られた画像データを 1フレーム単位で出力する。すなわち、イメージセンサは、実世界 1の対象物で反射された光である、実世界 1の信号を取得し、データ 3を出力する。 '

例えば、イメージセンサは、 1秒間に 3 0フレームからなる画像データを出力する。この場合、イメージセンサの露光時間は、 1 / 3 0秒とすることができる。露光時間は、イメージセンサが入射された光の電荷への変換を開始してから、入射された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャツタ時間とも称する。

図 5は、イメージセンサ上の画素の配置の例を説明する図である。図 5中において、 A乃至 Iは、個々の画素を示す。画素は、画像データにより表示される画像に対応する平面上に配置されている。 1つの画素に対応する 1つの検出素子は、イメージセンサ上に配置されている。イメージセンサが実世界 1の画 8690

. 24

像を撮像するとき、 1つの検出素子は、画像データを構成する 1つの画素に対応する 1つの画素値を出力する。例えば、検出素子の空間方向 Xの位置（X座標）は、画像データにより表示される画像上の横方向の位置に対応し、検出素子の空間方向 Yの位置（Y座標）は、画像データにより表示される画像上の縦方向の位置に対応する。

実世界 1の光の強度の分布は、 3次元の空間方向おょぴ時間方向に広がりを有するが、イメージセンサは、 2次元の空間方向および時間方向で、実世界 1 の光を取得し、 2次元の空間方向および時間方向の光の強度の分布を表現するデータ 3を生成する。

図 6で示されるように、例えば、 CCDである検出素子は、シャツタ時間に対応する期間、受光面（受光領域）（検出領域）に入力された光を電荷に変換して、変換された電荷を蓄積する。光は、 3次元の空間上の位置、および時刻により、強度が決定される実世 1の情報（信号）である,。実世界 1の光の強度の分布は、 3次元の空間上の位置 X, y、およぴ2、並びに時刻 tを変数とする関数 F (x，y, z，t)で表すことができる。

CCDである検出素子に蓄積される電荷の量は、 2次元の空間上の広がりを有する受光面の全体に入射された光の強さと、光が入射されている時間にほぼ比例する。検出素子は、シャツタ時間に対応する期間において、受光面の全体に入射された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャツタ時間に対応する期間、 2次元の空間上の広がりを有する受光面の全体に入射される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、空間（受光面) および時間（シャツタ時間）に対して、積分効果があるとも言える。

検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値はさらにデジタルデータなどの画素値に変換されて、データ 3として出力される。従って、ィメジセンサから出力される個々の画素値は、実世界 1の情報（信号）の時間的空間的に広がりを有するある部分を、シャツタ時間の時間方向および検出素子の受光面の空間方向について積分した結果である、 1次元の空間に射影した値を有する。

すなわち、 1つの画素の画素値は、 F (x， y, t)の積分で表される。 F (x，y, t) は、検出素子の受光面における、光の強度の分布を表す関数である。例えば、画素値 Pは、式（1 ) で表される。

P = F Cx, y, t) dxdydt

• · · ( l )

式（1 ) において、 _Xl は、検出素子の受光面の左側の境界の空間座標（X 座標）である。 x₂は、検出素子の受光面の右側の境界の空間座標（X座標）である。式（1 ) において、 _yiは、検出素子の受光面の上側の境界の空間座標（Y座標）である。 y₂ は、検出素子の受光面の下側の境界の空間座標（Y 座標）である。また、は、入射された光の電荷への変換を開始した時刻である。 t₂は、入射された光の電荷への変換を終了した時刻である。

なお、実際には、イメージセンサから出力される画像データの画素値は、例えばフレーム全体として、そのゲインが補正されている。

画像データの各画素値は、ィメージセンサの各検出素子の受光面に入射した光の積分値であり、イメージセンサに入射された光のうち、検出素子の受光面よりも微小な実世界 1の光の波形は、積分値としての画素値に隠されてしまう以下、本明細書において、所定の次元を基準として表現される信号の波形を単に波形とも称する。

このように、実世界 1の画像（光信号）は、画素を単位として、空間方向および時間方向に積分されてしまうので、画像データにおいては、実世界 1の画像の定常性の一部が欠落し、実世界 1の画像の定常性の他の一部が画像データに含まれることになる。または、画像データには、実世界 1の画像の定常性から変化してしまった定常性が含まれることがある。積分効果を有するイメージセンサにより撮像された画像の、空間方向の積分効果についてさらに説明する。

図 7は、画素 D乃至画素 Fに対応する検出素子に入射される光と、画素値との関係を説明する図である。図 7の F (x)は、空間上（検出素子上）の空間方向 Xの座標 Xを変数とする、実世界 1の光め強度の分布を表す関数の例である。言い換えれば、 F (x)は、空間方向 Yおよび時間方向に一定である場合の、実世界 1の光の強度の分布を表す関数の例である。図 7において、 Lは、画素 D乃至画素 Fに対応する検出素子の受光面の空間方向 Xの長さを示す。

1つの画素の画素値は、 F (x)の積分で表される。例えば、画素 Eの画素値 P は、式（2 ) で表される。

>X₂

P = /_x ^X2 F (x) dx

. · ■ · ( 2 )

式（2 ) において、 _Xl は、画素 Eに対応する検出素子の受光面の左側の境界の空間方向 Xの空間座標である。 x₂ は、画素 Eに対応する検出素子の受光面の右側の境界の空間方向 Xの空間座標である。

同様に、積分効果を有するイメージセンサにより撮像された画像の、時間方向の積分効果についてさらに説明する。

図 8は、時間の経過と、 1つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。図 8の F (t)は、時刻 tを変数とする、実世界 1の光の強度の分布を表す関数である。言い換えれば、 F (t)は、空間方向 Yおよび空間方向 Xに一定である場合の、実世界 1の光の強度の分布を表す関数の例である。 t_sは、シャツタ時間を示す。

フレーム #n- 1は、フレーム #nに対して時間的に前のフレームであり、フレーム #n+lは、フレーム #nに対して時間的に後のフレームである。すなわち、フレーム #n- 1、フレーム、およびフレームは、フレーム #n- 1、フレーム #n、およびフレーム ίίη+lの順で表示される。 2004/008690

27

なお、図 8で示される例において、シャツタ時間 t_s とフレーム間隔とが同一である。

1つの画素の画素値は、 F (t)の積分で表される。例えば、フレーム #nの画素の画素値 Pは、式（3 ) で表される。

• · · ( 3 )

式（3 ) において、は、入射された光の電荷への変換を開始した時刻である。は、入射された光の電荷への変換を終了した時刻である。

以下、センサ 2による空間方向の積分効果を単に空間積分効果と称し、センサ 2による時間方向の積分効果を単に時間積分効果と称する。また、空間積分効果または時間積分効果を単に積分効果とも称する。

次に、積分効果を有するイメージセンサにより取得されたデータ 3に含まれるデータの定常性の例について説明する。

図 9は、実世界 1の線状の物（例えば、.細線）の画像、すなわち光の強度の分布の例を示す図である。図 9において、図中の上側の位置は、光の強度（レベル）を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 Xの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。

実世界 1の線状の物の画像には、所定の定常性が含まれる。すなわち、図 9 で示される画像は、長さ方向の任意の位置において、断面形状（長さ方向に直交する方向の位置の変化に対するレベルの変化）が同じであるという定常性を有する。

図 1 0は、図 9で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。

即ち、図 1 0は、イメージセンサの画素の並ぴ（画素の縦または横の並び）とずれた方向に延びる、各画素の受光面の長さしょりも短い径の線状の物の 2004/008690

28

画像を、イメージセンサで撮像して得られた画像データの模式図である。図 1 0で示される画像データが取得された'ときにイメージセンサに入射された画像は、図 9の実世界 1の線状の物の画像である。

図 1 0において、図中の上側の位置は、画素値を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 Xの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。図 1 0における画素値を示す方向は、図 9におけるレベルの方向に対応し、図 1 0における空間方向 X、および空間方向 Yは、図 9における方向と同じである。

各画素の受光面の長さしょりも短い径の線状の物の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、線状の物は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さの円弧形状（かまぼこ型）で表される。各円弧形状は、ほぼ同じ形状である。 1つの円弧形状は、縦に 1列の画素の上、または横に 1列の画素の上に形成される。例えば、図 1 0 における 1つの円弧形状は、縦に 1列の画素の「こ形成される。，

このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、実世界 1の線状の物の画像が有していた、長さ方向の任意の位置において、空間方向 Yにおける断面形状が同じであるという定常性が失われている。また、実世界 1の線状の物の画像が有していた定常性は、縦に 1列の画素の上、または横に 1列の画素の上に形成された、同じ形状である円弧形状が一定の間隔で並ぶという定常性に変化していると言える。

図 1 1は、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像、すなわち光の強度の分布の例を示す図である。図 1 1において、図中の上側の位置は、光の強度（レベル）を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 Xの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。

背景とは異なる色の、直線状の縁を有する物の実世界 1の画像には、所定の定常性が含まれる。すなわち、図 1 1で示される画像は、縁の長さ方向の任意 T JP2004/008690

29

の位置において、断面形状（縁に直交する方向の位置の変化に対するレベルの変化）が同じであるという定常性を有する。

図 1 2は、図 1 1で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。図 1 2で示されるように、画像データは、画素を単位とした画素値からなるので、階段状になる。

図 1 3は、図 1 2に示す画像データの模式図である。

図 1 3で示される模式図は、イメージセンサの画素の並び（画素の縦または横の並び）とずれた方向に縁が延びる、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像を、イメージセンサで撮像して得られた画像データの模式図である。図 1 3で示される画像データが取得されたときにイメージセンサに入射された画像は、図 1 1で示される、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像である。 '

図 1 3において、図中の上側の位置は、画素値を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 Xの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。図 1 3における画素値を示す方向は、図 1 1におけるレベルの方向に対応し、図 1 3における空間方向 X、および空間方向 Yは、図 1 1における方向と同じである。

背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおい · て、直線状の縁は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さのつめ（pawl) 形状で表される。各つめ形状は、ほぼ同じ形状である。 1つのつめ形状は、縦に 1列の画素の上、または横に 1列の画素の上に形成される。例えば、図 1 3において、 1つのつめ形状は、縦に 1列の画素の上に^成される。

このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像が有していた、縁の長さ方向の任意の位置において、断面形状が同 T JP2004/008690

30

じであるという定常性が失われている。また、.背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像が有していた定常性は、縦に 1 列の画素の上、または横に 1列の画素の上に形成された、同じ形状であるつめ形状が一定の間隔で並ぶという定常性に変化していると言える。

データ定常性検出部 1 0 1は、このような、例えば、入力画像であるデータ 3が有するデータの定常性を検出する。例えば、データ定常性検出部 1 0 1は、所定の次元の方向に一定の特徴を有する領域を検出することにより、データの定常性を検出する。例えば、データ定常性検出部 1 0 1は、図 1 0で示される、同じ円弧形状が一定の間隔で並ぶ領域を検出する。また、例えば、データ定常性検出部 1 0 1は、図 1 3で示される、同じつめ形状が一定の間隔で並ぶ領域を検出する。

また、データ定常性検出部 1 0 1は、同様の形状の並び方を示す、空間方向の角度（傾き）を検出することにより、データの定常性を検出する。

また、例えば、データ定常性検出部 1 0 1は、空間方向および時間方向の同様の形状の並び方を示す、空間方向および時間方向の角度（動き）を検出することにより、データの定常性を検出する。

さらに、例えば、データ定常性検出部 1 0 1は、所定の次元の方向に一定の特徴を有する領域の長さを検出することにより、データの定常性を検出する。以下、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像がセンサ 2により射影されたデータ 3の部分を 2値エッジとも称する。ここで、従来の信号処理においては、データ 3から、例えば、所望の高解像度データが生成される。

これに対して、信号処理装置 4による信号処理においては、データ 3から、実世界 1が推定され、推定の結果に基づいて、高解像度データが生成される。すなわち、実世界 1が、データ 3から推定され、高解像度データが、データ 3 を考慮して、推定された実世界 1から高解像度データが生成される。 4 008690

31

実世界 1から高解像度データを生成するためには、実世界 1とデータ 3との関係を考慮する必要がある。例えば、実世界 1が、 CCD であるセンサ 2により、データ 3に射影されるとどうなるかが考慮される。

CCDであるセンサ 2は、上述したように、積分特性を有する。すなわち、データ 3の 1つの単位（例えば、画素値）は、実世界 1の信号をセンサ 2の検出素子（例えば、 CCD) の検出領域（例えば、受光面）で積分することにより算出することができる。

これを高解像度データについて当てはめると、仮想的な高解像度のセンサが実世界 1の信号をデータ 3に射影する処理を、推定された実世界 1に適用することにより、高解像度データを得ることができる。

換言すれば、データ 3から実世界 1の信号を推定できれば、実世界 1の信号を、仮想的な高解像度のセンサの検出素子の検出領域毎に（時空間方向に）積分することにより、高解像度データに含まれる 1つの値を得ることができる。例えば、センサ 2の検出素子の検出領域の大きさに比較して、実世界 1の信号の変化が、より小さいとき、データ 3は、実世界 1の信号の小さい変化を表すことができない。そこで、データ 3から推定された実世界 1の信号を、実世界 1の信号の変化に比較して、より小さい領域毎に（時空間方向に）積分することにより、実世界 1の信号の小さい変化を示す高解像度データを得ることができる。

すなわち、仮想的な高解像度のセンサの各検出素子について、推定された実世界 1の信号を検出領域で積分することにより、高解像度データを得ることができる。

信号処理装置 4において、画像生成部 1 0 3は、例えば、仮想的な高解像度のセンサの各検出素子の時空間方向の領域で、推定された実世界 1の信号を積分することにより、高解像度データを生成する。次に、データ 3から、実世界 1を推定するために、信号処理装置 4においては、データ 3と実世界 1との関係、定常性、およびデータ 3における空間的または時間的な混合（空間混合または時間混合）が利用される。

ここで、混合とは、データ 3において、実世界 1における 2つの物体に対する信号が混合されて 1つの値となることをいう。

空間混合とは、センサ 2の空間積分効果による、 2つの物体に対する信号の空間方向の混合をいう。時間混合については、後述する。

実世界 1そのものは、無限の数の事象からなり、従って、実世界 1そのものを、例えば、数式で表現するためには、無限の数の変数が必要になる。データ 3から、実世界 1の全ての事象を予測することはできない。

同様に、データ 3から、実世界 1の信号の全てを予測することはできない。そこで、信号処理装置 4においては、実世界 1の信号のうち、定常性を有し、関数 f (x， y, z, t)で表すことができる部分に注目し、関数 f (x， y, z, t)で表すことができる、定常性を有する実世界 1の信号の部分が、 N個の変数で表現されるモデル 1 6 1で近似される。そして、図 1 4で示されるように、モデル 1 6 1力データ 3の中の、 M個のデータ 1 6 2から予測される。

M個のデータ 1 6 2からモデル 1 6 1の予測を可能にするには、第 1に、モデル 1 6 1を、定常性に基づいて、 N個の変数で表し、第 2に、センサ.2の積分特性に基づいて、 N個の変数で表現されるモデル 1 6 1と M個のデータ 1 6 2との関係を示す、 N個の変数を使用した式を立てることが必要である。モデ. ル 1 6 1が、定常性に基づいて、 N個の変数で表されているので、 N個の変数で表現されるモデル 1 6 1と M個のデータ 1 6 2との関係を示す、 N個の変数を使用した式は、定常性を有する実世界 1の信号の部分と、データの定常性を有するデータ 3の部分との関係を記述しているとも言える。

換言すれば、 N個の変数で表現されるモデル 1 6 1で近似される、定常性を有する実世界 1の信号の部分は、データ 3において、データの定常性を生じさせる。 8690

33

データ定常性検出部 1 0 1は、定常性を有する実世界 1の信号の部分によつて、データの定常性が生じたデータ 3の部分、およびデータの定常性が生じた部分の特徴を検出する。

例えば、図 1 5で示されるように、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像において、図 1 5中 Aで示す、注目する位置における縁は、傾きを有している。図 1 5の Bの矢印は、縁の傾きを示す。所定の縁の傾きは、基準となる軸に対する角度または基準となる位置に対する方向で表すことができる。例えば、所定の縁の傾きは、空間方向 Xの座標軸と、縁との角度で表すことができる。例えば、所定の縁の傾きは、空間方向 Xの長さおよぴ空間方向 Yの長さで示される方向で表すことができる。

背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像が、センサ 2で取得されて、データ 3が出力されたとき、データ 3において、実世界 1の画像における、縁の注目する位置（A) に対する、図 1 5中 A ' で示す位置に、縁に対応するつめ形状が並び、実世界 1の画像の縁の傾きに対応する、図 1 5中 B ' で示す傾きの方向に、縁に対応するつめ形状が並ぶ。

N個の変数で表現されるモデル 1 6 1は、このような、データ 3において、データの定常性を生じさせる、実世界の 1の信号の部分を近似する。

N個の変数で表現されるモデル 1 6 1と M個のデータ 1 6 2との関係を示す、 N個の変数を使用した式を立てるとき、データ 3において、データの定常性が生じている部分の値を利用する。

この場合において、図 1 6で示される、データ 3において、データの定常性が生じ、混合領域に'属する値に注目して、実世界 1の信号を積分した値が、センサ 2の検出素子が出力する値に等しいとして、式が立てられる。-例えば、ータの定常性が生じている、データ 3における複数の値について、複数の式を立てることができる。

図 1 6において、 Aは、縁の注目する位置を示し、 A ' は、実世界 1の画像における、縁の注目する位置（A) に対する、画素（の位置）を示す。ここで、混合領域とは、データ 3において、実世界 1における 2つの物体に対する信号が混合されて 1つの値となっているデータの領域をいう。例えば、背景とは異なる色であって、単色の、直線状の緣を有する物の実世界 1の画像に対するデータ 3において、直線状の縁を有する物に対する画像、および背景に対する画像が積分されている画素値は、混合領域に属する。

図 1 7は、式を立てる場合における、実世界 1における 2つの物体に対する信号および混合領域に属する値を説明する図である。

図 1 7中の左側は、センサ 2の 1つの検出素子の検出領域で取得される、空間方向 Xおよび空間方向 Yに所定の広がりを有する、実世界 1における 2つの物体に対する実世界 1の信号を示す。図 1 7中の右側は、図 1 7中の左側に示す実世界 1の信号がセンサ 2の 1つの検出素子によって射影された、データ 3 の 1つの画素の画素値 Pを示す。すなわち、センサ 2の 1つの検出素子によつて取得された、空間方向 Xおよび空間方向 Yに所定の広がりを有する、実世界 1における 2つの物体に対する実世界 1の信号が射影された、データ 3の 1つの画素の画素値 Pを示す。

図 1 7の Lは、実世界 1における 1つの物体に対する、図 1 7の白い部分の実世界 1の信号のレベルを示す。図 1 7の Rは、実世界 1における他の 1つの物体に対する、図 1 7の斜線で表される部分の実世界 1の信号のレベルを示す。ここで、混合比は、センサ 2の 1つの検出素子の、空間方向 Xおよび空間方向 Yに所定の広がりを有する検出領域に入射された、 2つの物体に対する信号（の面積）の割合を示す。例えば、混合比 αは、センサ 2の 1つの検出素子の検出領域の面積に対する、空間方向 Xおよび空間方向 Υに所定の広がりを有する、センサ 2の 1つの検出素子の検出領域に入射された、レベル Lの信号の面積の割合を示す。

この場合において、レベル L、レベル R、および画素値 Pの関係は、式 ( 4 ) で表すことができる。

x L+f (1 - α ) x R = P • · ■ ( 4 )

なお、レベル Rは、注目している画素の右側に位置している、データ 3の画素の画素値とすることができる場合があり、レベル Lは、注目している画素の左側に位置している、データ 3の画素値とすることができる場合がある。また、混合比 αおよび混合領域は、空間方向と同様に、時間方向を考慮することができる。例えば、センサ 2に対して撮像の対象となる実世界 1の物体が移動しているとき、時間方向に、センサ 2の 1つの検出素子の検出領域に入射される、 2つの物体に対する信号の割合は変化する。センサ 2の 1つの検出素子の検出領域に入射された、時間方向に割合が変化する、 2つの物体に対する信号は、センサ 2の検出素子によって、データ 3の 1つの値に射影される。センサ 2の時間積分効果による、 2つの物体に対する信号の時間方向の混合を時間混合と称する。

データ定常性検出部 1 0 1は、例えば、実世界 1における 2つの物体に対する実世界 1の信号が射影された、データ 3における画素の領域を検出する。データ定常性検出部 1 0 1は、例えば、実世界 1の画像の縁の傾きに対応する、データ 3における傾きを検出する。

そして、実世界推定部 1 0 2は、例えば、データ定常性検出部 1 0 1で検出された、所定の混合比 αを有する画素の領域、および領域の傾きを基に、 Ν個の変数で表現されるモデル 1 6 1と Μ個のデータ 1 6 2との関係を示す、 Ν個の変数を使用した式を立てて、立てた式を解くことにより、実世界 1の信号を推定する。

さらに、具体的な実世界 1の推定について説明する。

関数 F (x, y, z, t)で表される実世界の信号のうち、空間方向 Zの断面（センサ 2の位置）における関数 F (x, y, 1:)で表される実世界の信号を、空間方向 X における位置 x、空間方向 Yにおける位置 y、および時刻 tで決まる近似関数 f (x, y, t) で近似することを考える。ここで、センサ 2の検出領域は、空間方向 Xおよび空間方向 Yに広がりを有する。換言すれば、近似関数 f (x, y, t) は、センサ 2で取得される、空間方向および時間方向に広がりを有する実世界 1の信号を近似する関数である。センサ 2による実世界 1の信号の射影によって、データ 3の値 P(x,y,t)が得られるものとする。データ 3の値 P(x，y, t)は、例えば、イメージセンサであるセンサ 2が出力する、画素値である。

ここで、センサ 2による射影を定式化できる場合、近似関数 f (x, y, t) を射影して得られた値を射影関数 S (x,y,t) と表すことができる。

射影関数 S (x,y，t) を求める上で、以下に示す問題がある。

第 1に、一般的に、実世界 1の信号を表す関数 F(x,y, z，t)は、無限の次数の関数となりうる。 .

第 2に、たとえ、実世界の信号を関数として記述できたとしても、センサ 2 の射影を介した、射影関数 S (x,y,t) を定めることは、一般的にはできない _c すなわち、センサ 2による射影の動作、言い換えればセンサ 2の入力信号と出力信号との関係を知らないので、射影関数 S (x, y,,t) を定めることはできない。

第 1の問題点に対して、実世界 1の信号を近似する関数 f ， y, t)を記述可能な関数（例えば、有限次数の関数）である関数（x，y,t) および変数の積和で表現することを考える。

また、第 2の問題点に対して、センサ 2による射影を定式化することで、関数 fi (x, y,t) の記述から、関数 Si (x, y, t) を記述することができる。

すなわち、実世界 1の信号を近似する関数： f(x,y，t)を関数 (x,y,t) および変数の積和で表現すると、式（5〉が得られる。

N

f (x, y, t) = ∑ Wjf j (x, y， t) ■ ■ · (5) 例えば、式（6) で示されるように、センサ 2の射影を定式化することにより、式（5) から、データ 3と実世界の信号の関係を式（7) のように定式化することができる。

(x, y, t) = OJ fj (x, y. t)dxdydt

· · · (6)

N

Ρ;(χ;, y;, ti) = ∑ WjS; (x:, y_i( t;)

i=1 .

• · · (7)

式（7) において、 jは、データのインデックスである。

式（7) の N個の変数^ (i=l乃至 N) が共通である M個のデータ群（j=l 乃至 M) が存在すれば、式（8) を満たすので、データ 3から実世界のモデル 1 6 1を求めることができる。

N ≤

• · · (8).

Nは、実世界 1を近似するモデル 1 6 1を表現する変数の数である。 Mは、データ 3に含まれるデータ 1 62の数である。

実世界 1の信号を近似する関数 f(x，y，t)を式（5) で表すことにより、として変数の部分を独立させることができる。このとき、 iは、そのまま変数の数を示すことになる。また、で示される関数の形を独立させることができ、として所望の関数を利用することができるようになる。 ·

つて、関数の形に依存せず、変数 Wi の数 Nを定義でき、変数 _Wi の数 Nとデータの数 Mとの関係で変数 ^ を求めることができる。

すなわち、以下の 3つを用いることで、データ 3から実世界 1を推定することができるようになる。

第 1に、 N個の変数を定める、すなわち、式（5) を定める。これは、定常性を用いて実世界 1を記述することにより可能になる。例えば、断面が多項式で表され、同じ断面形状が一定方向に続く、というモデル 1 6 1で実世界 1の信号を記述することができる。

第 2に、例えば、センサ 2による射影を定式化して、式（7) を記述する。例えば、実世界 2の信号の積分を行った結果がデータ 3であると定式化する。第 3に、 M個のデータ 1 6 2を集めて、式（8) を満足させる。例えば、データ定常性検出部 1 0 1で検出された、デタの定常性を有する領域から、データ 1 62が集められる。例えば、定常性の一例である、一定の断面が続く領域のデータ 1 6 2が集められる。

このように、式（5) によって、データ 3と実世界 1との関係を記述し、 M 個のデータ 1 6 2を集めることで、式（8) を満たすことにより、実世界 1を推定することができる。

より具体的には、 N=Mのとき、変数の数 Nと式の数 Mが等しいので、連立方程式を立てることにより、変数 ^ を求めることができる。

また、 N<Mのとき、様々な解法を適用できる。例えば、最小自乗法により、変数を求めることができる。 ―

ここで、最小自乗法による解法について、詳細に記ー載する。

まず、式（7) に従って、実世界 1からデータ 3を予測する式（9) を示す。

N

PjCXj.Yj, tj) = ∑ WjSjCxj, yj, tj)

… (9)

式（9) において、 P'j (_Xj , Yj , t j ) は、予測値である。

予測値 P'と実測値 Pとの差分自乗和 Eは、式（10) で表される。

M

E = ∑ (Pj(Xj,yj,tj)-P'j(Xj,yj,tj)) 2

j=1

(1 o) 差分自乗和 Eが最小になるように、変数が求められる。従って、各変数 w_kによる式（1 0) の偏微分値は 0とされる。すなわち、式（1 1) が成り立つ。 (x_j( yj, tj)) = 0

(1 1)

式（1 1) から式（1 2) が導かれる。

∑ (SkiXj.yj.tj) ! jSi j.yj.tj)) - ∑ S_k(Xj，yj，tj)Pj(Xj，yj，tj) j=1 i=1 」=1

• · · (1 2)

式（12) 力 S K=l 乃至 N で成り立つとき、最小自乗法による解が得られる, このときの正規方程式は、式（1 3) で示される。

(1 3)

ただし、式（1 3) において、 Si (_Xj , _Yj , t j ) は、 Si (j)と記述した

、

S₁(j)S_N(j) S₂(j)S_N(j)

S_N(j)S_N(j)

• (14) ( 1 5)

/

• · · (1 6)

' 式（14) 乃至式（1 6) から、式（1 3) は、 S_MATW_MAT=P_MAT と表すことができる。

式（1 3) において、 Si は、実世界 1の射影を表す。式（1 3) において、 Ρ』は、データ 3を表す。式（1 3) において、 _Wi は、実世界 1の信号の特徴を記述し、求めようとする変数である。

従って、式（1 3) にデータ 3を入力し、行列解法などにより W_MAT を求めることで、実世界 1を推定することが可能になる。すなわち、式（1 7) を演算することにより、実世界 1を推定することができるようになる。

%T ^{= S}MAT^P AT

• · · (1 7)

なお、 S_MATが正則でない場合、 S_MATの転置行列を利用して、 W_MAT を求めることができる。実世界推定部 10 2は、例えば、式（1 3) にデータ 3を入力し、行列解法などにより W_MAT を求めることで、実世界 1を推定する。

ここで、さらにより具体的な例を説明する。例えば、実世界 1の信号の断面形状、すなわち位置の変化に対するレベルの変化を、多項式で記述する。実世界 1の信号の断面形状が一定で、実世界 1の信号の断面が等速で移動すると仮定する。そして、センサ 2による実世界 1の信号からデータ 3への射影を、実世界 1の信号の時空間方向の 3次元で積分で定式化する。

実世界 1の信号の断面形状が、等速で移動するとの仮定から、式（1 8) および式（1 9) が得られる。

dx _

dt — ^Vx

• · · (1 8)

..... j ... \l

dt —

• ■ · (1 9)

ここで、 V_Xおよび V_yは、一定である。

実世界 1の信号の断面形状は、式（1 8) および式（1 9) を用いることで、式（20) と表される。

f (χ', y，） = f (x+v_xt, y+Vyt)

• · · (20)

センサ 2による実世界 1の.信号からデータ 3への射影を、実世界 1の信号の時空間方肉の 3次元で積分で定式化すれば、式（2 1) が得られる。

S(x, y,t) = J_x ^Xer^ye/_t ^tef(x',y')dxdydt

o ·* S S

= f_v ^Xef^ef, ^ef(^+v_xt, y+v_yt)dxdydt

• • • (21) 式（2 1) において、 S(x, y，t)は、空間方向 Xについて、位置 x_s から位置 x_eまで、空間方向 Yについて、位置 y_sから位置 y_e まで、時間方向 tについて、時刻 t_sから時刻 t_eまでの領域、すなわち時空間の直方体で表される領域の積分値を示す。

式（2 1) を定めることができる所望の関数 f(x'，y')を用いて、式（1 3) を解けば、実世界 1の信号を推定することができる。

以下では、関数 f (x'，y')の一例として、式（22) に示す関数を用いることとする。

f (X， y，) = w₁x'+w₂y'+W3

= w₁ (x+v„t) +w₂(y+v_yt) +w

■ · · (22)

すなわち、実世界 1の信号が、式（1 8) 、式（1 9) 、および式（22) で表される定常性を含むと仮定している。これは、図 1 8で示されるように、一定の形状の断面が、時空間方向に移動していることを示す。

式（2 1) に、式（22) を代入することにより、式（23) が得られる。

S(x, y, t) = J_Xs ^eJ_ys ^eJ_ts f (x+v_xt,y+v_yt)dxdydt = Vo I ume ( -y- ( x_e+x_s+ v_x ( t_e+t_s ) )

^ +~^(y_e+y_s+v_y(t_e+t_s))+w₂) = w₀S₀ (x, y， t) +w₁ S₁ (x, y, t) + ₂S₂ (x, y' t)

• · · (23)

ただし、

Volurae=(x_e-x_s) (y_e-y_s) (t_e - t_s)

S₀ (x， y， t) =Volume/2 X (x_e +x_s +v_x (t_e +t_s ) )

S_L (x, y, t) =Volume/2 X (y_e +y_s +v_y (t_e +t_s ) )

S₂ (x, y， t)=l である。

図 1 9は、データ 3から抽出される、 M個のデータ 1 6 2の例を示す図である。例えば、 27個の画素値が、データ 1 62として抽出され、抽出された画素値が、 Pj (x，y, t)とされる。この場合、 jは、 0乃至 26であ-る。

図 1 9に示す例において、 nである時刻 tの注目する位置に対応する画素の画素値が Pi ₃ (x,y，t)であり、データの定常性を有する画素の画素値の並ぶ方向（例えば、データ定常性検出部 10 1で検出された、同じ形状であるつめ形状が並ぶ方向〉力 P₄ (x，y, t)、 P₁₃ (x，y，t)、および P₂₂ (x, y， t)を結ぶ方向であるとき、 nである時刻 tにおける、画素値 P₉ (x，y, t)乃至 P₁₇ (x，y，t)、 n より時間的に前である、 n-1である時刻 tにおける、画素値 P。（x，y, t)乃至 P₈ (x，y，t)、および nより時間的に後である、 n+1である時刻 tにおける、画素値 ₈ (x, y，t)乃至 P₂₆ (x，y,t)が抽出される。

ここで、センサ 2であるイメージセンサから出力された、データ 3である画素値が取得された領域は、時間方向および 2次元の空間方向に広がりを有する c そこで、例えば、画素に対応する直方体（画素値が取得された領域）の重心を、画素の時空間方向の位置として使用することができる。

27個の画素値 P。（X, y, t)乃至 P₂₆ (x，y，t)、および式（23) から、式 (1 3) を生成し、 W を求めることで、実世界 1を推定することが可能になる _c このように、実世界推定部 102は、例えば、 27個の画素値 P。（X, y,t)乃至 P₂₆ (x，y,t)、および式（23) から、式（1 3) を生成し、 Wを求めることで、実世界 1の信号を推定する。

なお、関数 (x, y, t) として、ガウス関数、またはシグモイド関数などを利用することができる。

図 20乃至図 23を参照して、推定された実世界 1の信号から、データ 3に対応する、より高解像度の高解像度データを生成する処理の例について説明する。図 2 0で示されるように、データ 3は、時間方向および 2次元の空間方向に実世界 1の信号が積分された値を有する。例えば、センサ 2であるイメージセンサから出力された、データ 3である画素値は、検出素子に入射された光である、実世界 1の信号が、時間方向に、検出時間であるシャツタ時間で積分され、空間方向に、検出素子の受光領域で積分された値を有する。

これに対して、図 2 1で示されるように、空間方向により解像度の高い高解像度データは、推定された実世界 1の信号を、時間方向に、データ 3を出力したセンサ 2の検出時間と同じ時間で積分するとともに、空間方向に、データ 3 を出力したセンサ 2の検出素子の受光領域に比較して、より狭い領域で積分することにより、生成される。

なお、空間方向により解像度の高い高解像度データを生成する場合において、 '推定された実世界 1の信号が積分される領域は、データ 3を出力したセンサ 2 の検出素子の受光領域と全く無関係に設定することができる。例えば、高解像度データに、データ 3に対して、空間方向に整数倍の解像度を持たせることは勿論、 5 Z 3倍など、データ 3に対して、空間方向に有理数倍の解像度を持たせることができる。

また、図 2 2で示されるように、時間方向により解像度の高い高解像度データは、推定された実世界 1の信号を、空間方向に、データ 3を出力したセンサ 2の検出素子の受光領域と同じ領域で積分するとともに、時間方向に、データ 3を出力したセンサ 2の検出時間に比較して、より短い時間で積分することにより、生成される。

なお、時間方向により解像度の高い高解像度データを生成する場合において、推定された実世界 1の信号が積分される時間は、データ 3を出力したセンサ 2 の検出素子のシャツタ時間と全く無関係に設定することができる。例えば、高解像度データに、データ 3に対して、時間方向に整数倍の解像度を持たせることは勿論、 7 / 4倍など、データ 3に対して、時間方向に有理数倍の解像度を持たせることができる。動きボケを除去した高解像度データは、推定された実世界 1の信号を、時間方向に積分しないで、空間方向にのみ積分することにより、生成される。

さらに、図 2 3で示されるように、時間方向および空間方向により解像度の高い高解像度データは、推定された実世界 1の信号を、空間方向に、データ 3 を出力したセンサ 2の検出素子の受光領域に比較して、より狭い領域で積分するとともに、時間方向に、データ 3を出力したセンサ 2の検出時間に比較して、より短い時間で積分することにより、生成される。

この場合において、推定された実世界 1の信号が積分される領域および時間は、データ 3を出力したセンサ 2の検出素子の受光領域およびシャツタ時間と全く無関係に設定することができる。

このように、画像生成部 1 0 3は、例えば、推定された実世界 1の信号を所望の時空間の領域で積分することにより、時間方向、または空間方向に、より高解像度のデータを生成する。

以上のように、実世界 1の信号を推定することにより、実世界 1の信号に対してより正確で、時間方向、または空間方向に、より高解像度のデータを生成することができる。

図 2 4乃至図 2 8は、信号処理装置 4の信号処理を用いた入力画像の例と、処理の結果の例を示している。

図 2 4は、入力画像の元の画像（実世界 1の光信号に相当）を示す図である。図 2 5は、入力画像の例を示す図である。図 2 5で示される入力画像は、図 2 4で示される画像の 2 X 2の画素からなるプロックに属する画素の画素値の平均値を、 1つの画素の画素値として生成された画像である。すなわち、入力画像は、図 2 4で示される画像に、センサの積分特性を模した、空間方向の積分を適用することにより得られた画像である。

図 2 4で示される元の画像において、上下方向から、ほぼ 5度時計方向に傾いた細線の画像が含まれている。同様に、図 2 5で示される入力画像において、上下方向から、ほぼ 5度時計方向に傾いた細線の画像が含まれている。 8690

46 図 2 6は、図 2 5で示される入力画像に、従来のクラス分類適応処理を適用して得られた画像を示す図である。ここで、クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理では、例えば、低画質または標準画質の画像が、所定のタップ係数を用いてマッピング（写像）されることにより、高画質の画像に変換される。

即ち、適応処理では、第 1のデータが、所定のタップ係数を用いてマツピング（写像）されることにより、第 2のデータに変換される。

いま、このタップ係数を用いてのマッピング方法として、例えば、線形 1次結合モデルを採用するとともに、第 1のデータとして、高解像度の HD (High Definition)画像をローパスフィルタでフィルタリングすること等により得られる低解像度または標準解像度の SD (Standard Definition)画像を採用し、第 2のデータとして、その SD画像を得るのに用いた HD画像を採用することとして、適応処理について説明する。

上述の条件下において、 HD画像を構成する画素である HD画素 yは、例えば、 SD画像を構成する画素である SD画素から、 HD画素を予測するための予測タップとして抽出される複数の SD画素と、タップ係数とを用いて、次の線形 1 次式（線形結合）によって求めることができる。

N

y=∑w_nx_n

n=1

· ■ · ( 2 4 ) 但し、式（2 4 ) において、 x _nは、 HD画素 yについての予測タップを構成する、 n番目の SD画素（の画素値）を表し、 w_nは、 n 目の SD画素と染算される n番目のタップ係数を表す。なお、式（2 4 ) では、予測タップが、 N個の SD画素 _{X l}， χ ₂ , · ■ ·， x _Nで構成されるものとしてある。

ここで、 HD画素の画素値 yは、式（2 4 ) に示した線形 1次式ではなく、 2次以上の高次の式によって求めるようにすることも可能である。 JP2004/008690

47

いま、 HD画像において、 k番目の HD画素（の画素値）の真値を y_k と表すとともに、式（24) によって得られるその真値 y_kの予測値を y_k' と表すと、その予測誤差 e_kは、例えば、次式で表される。

e_k y_k— y_k · · · (25) 式（25) の予測値 y_k' は、式（24) にしたがって求められるため、式 (25) の y_k，を、式（24) にしたがって置き換えると、次式が得れる。

• · · (26) 但し、式（26) において、 x_n,_kは、 k番目の HD画素についての予測タップを構成する n番目の SD画素を表す。

式（26) の予測誤差 e_kを 0とするタップ係数 w_n力 HD画素を予測するのに最適なものとなるが、すべての HD画素について、そのようなタップ係数 w_nを求めることは、一般には困難である。

そこで、タップ係数 w_n が最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数 w_nは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和 Eを最小にすることで求めることができる。

K

に = >

k=1

■ · · (27) 但し、式（27) において、 Kは、 HD画素 y_k と、その HD画素 y_kについての予測タップを構成する SD画素 x_{1 k}， x₂, _k， · · ·， x_N,_k とのセットのサンプル数を表す。式（27) の自乗誤差の総和 Eを最小（極小）にするタップ係数 w_nは、その総和 Eをタップ係数 w_nで偏微分したものを 0とするものであり、従って、次式を満たす必要がある。

鼍 =e₁ ^+e₂¾ ₊ ..._+ek =0 (η=1, 2, ··.,Ν)

• · · (28) そこで、上述の式（26) をタップ係数 w_nで偏微分すると、次式が得られる。'

• · · (29) 式（28) と（29) から、次式が得られる。

• - · (30) 式（30) の e_kに、式（26) を代入することにより、式（30) は、式 (3 1) に示す正規方程式で表すことができる。

• ■ · (3 1) 式（3 1) の正規方程式は、 HD画素 y_k と SD画素 x_n, _k のセットを、ある程度の数だけ用意することでたてることができ、式（3 1) を解くことで、最 2004/008690

' 49

適なタップ係数 w_n を求めることができる。なお、式（3 1) を解くにあたつては、例えば、掃き出し法（Gauss- Jordanの消去法）などを採用することが可能である。

以上のように、多数の HD画素 _yi， y₂ , · · ·， y_Kを、タップ係数の学習の教師となる教師データとするとともに、各 HD画素 y_k についての予測タップを構成する SD画素 _Xl,_k， x₂， _k， · · ·， x_N，_k を、タップ係数の学習の生徒となる生徒データとして、式（3 1) を解くことにより、最適なタップ係数 w_n を求める学習を行っておき、さらに、そのタップ係数 w_nを用い、式 (24) により、 SD画素を、 HD画素にマッピング（変換）するのが適応処理である。

ここで、 HD画素 y_kについての予測タップを構成する SD画素 X

2,_k, · ■ ·， x_N, _k としては、その HD画素 y_k に対応する SD画像上の位置から空間的または時間的に近い位置にある SD画素を採用することができる。また、クラス分類適応処理では、タップ係数 w_nの学習と、そのタップ係数 w_nを用いたマッピングとは、クラスごとに行われる。クラス分類適応処理では、注目している HD画素 y_kを対象にクラス分類処理が行われ、そのクラス分類処理により得られるクラスごとに、タップ係数 w_nの学習と、そのタップ係数 w_n を用いたマッピングが行われる。

HD画素 y_kを対象としたクラス分類処理としては、例えば、その HD画素 y _kのクラス分類に用いるクラスタップとしての複数の SD画素を、 SD画像から抽出し、その複数の SD画素で構成されるクラスタップを用いて Mビット ADRC (Adaptive Dynamic Range Coding)処理を施す方法力 Sある。

Mビット ADRC処理においては、クラスタップを構成する SD画素の最大値 MAXと最小値 MINが検出され、 DR=MAX - MINを、局所的なダイナミックレンジとし、このダイナミックレンジ DRに基づいて、クラスタップを構成する SD 画素が Kビットに再量子化される。即ち、クラスタップを構成する各 SD画素から、最小値 MIN が減算され、その減算値が DR/2^K で除算（量子化）される。 2004/008690

50

従って、グラスタップが、例えば、 1ビット ADRC処理される場合には、そのクラスタップを構成する各 SD画素は 1ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各 SD画素についての 1ビットの画素値を、所定の順番で並べたビット列が、 ADRCコードとして出力され、この ADRCコードが、クラスを表すクラスコードとされる。なお、クラス分類適応処理は、 SD画素には含まれていないが、 HD画素に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、クラス分類適応処理では、式（2 4 ) だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当するタップ係数 w_n力 S、教師データとしての HD画素と生徒データとしての SD 画素とを用いての学習により求められるため、 HD画素に含まれる成分を再現することができる。

ここで、タップ係数 w_n の学習では、教師データ yと生徒データ Xとの組み合わせとして、どのようなものを採用するかによって、各種の変換を行うタツプ係数 w_nを求めることができる。

即ち、例えば、上述のように、教師データ yとして、高解像度の HD画像を採用するとともに、生徒データ Xとして、その HD画像の解像度を低下させた SD画像を採用した場合には、画像の解像度を向上させるマッピングを行うタップ係数 w_n を得ることができる。また、例えば、教師データ yとして、 HD 画像を採用するとともに、生徒データ Xとして、その HD画像の画素数を少なくした SD画像を採用した場合には、画像を構成する画素数を増加させるマツビングを行うタップ係数 w_nを得ることができる。

図 2 6は、図 2 5の入力画像に対して、上¾のようなクラス分類適応処理によるマッピングを施すことにより得られる画像である。図 2 6では、細線の画像が、図 2 4の元の画像とは異なるものになっていることがわかる。

図 2 7は、データ定常性検出部 1 0 1による、図 2 5の例で示される入力画像から細線の領域を検出した結果を示す図である。図 2 7において、白い領域は、細線の領域、すなわち、図 1 0で示される円弧形状が並んでいる領域を示す。

図 2 8は、図 2 5で示される画像を入力画像として、信号処理装置 4で信号処理を行うことにより得られる出力画像の例を示す図である。図 2 8で示されるように、信号処理装置 4によれば、図 2 4で示される元の画像の細線の画像により近い画像を得ることができる。

図 2 9は、信号処理装置 4による、信号処理を説明するフローチャートである。， .

ステップ S 1 0 1において、データ定常性検出部 1 0 1は、定常性の検出の処理を実行する。データ定常性検出部 1 0 1は、データ 3である入力画像に含まれているデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報を実世界推定部 1 0 2および画像生成部 1 0 3に供給する。

データ定常性検出部 1 0 1は、現実世界の信号の定常性に対応するデータの定常性を検出する。ステップ S 1 0 1の処理において、データ定常性検出部 1 0 1により検出されるデータの定常性は、データ 3に含まれる、実世界 1の画像の定常性の一部であるか、または、実世界 1の信号の定常性から変化してしまった定常性である。

例えば、データ定常性検出部 1 0 1は、所定の次元の方向に一定の特徴を有する領域を検出することにより、データの定常性を検出する。また、例えば、データ定常性検出部 1 0 1は、同様の形状の並び方を示す、空間方向の角度 (傾き）を検出することにより、データの定常性を検出する。

ステップ S 1 0 1における、定常性の検出の処理の詳細は、後述する。なお、データ定常性情報は、データ 3の特徴を示す特徴量として利用することができる。 '

ステップ S 1 0 2において、実世界推定部 1 0 2は、実世界の推定の処理を実行する。すなわち、実世界推定部 1 0 2は、入力画像、およびデータ定常性検出部 1 0 1から供給されたデータ定常性情報を基に、実世界 1の信号を推定する。例えば、ステップ S 1 0 2の処理において、実世界推定部 1 0 2は、実世界 1を近似（記述）するモデル 1 6 1を予測することにより、実世界 1の信号を推定する。実世界推定部 1 0 2は、推定された実世界 1の信号を示す実世界推定情報を画像生成部 1 0 3 'に供給する。

例えば、実世界推定部 1 0 2は、線状の物の幅を予測することにより、実世界 1の信号を推定する。また、例えば、実世界推定部 1 0 2は、線状の物の色を示すレベルを予測することにより、実世界 1の信号を推定する。

ステップ S 1 0 2における、実世界の推定の処理の詳細は、後述する。

なお、実世界推定情報は、データ 3の特徴を示す特徴量として利用することができる。

ステップ S 1 0 3において、画像生成部 1 0 3は、画像の生成の処理を実行して、処理は終了する。すなわち、画像生成部 1 0 3は、実世界推定情報を基に、画像を生成して、生成した画像を出力する。または、画像生成部 1 0 3は、データ定常性情報および実世界推定情報を基に、画像を生成して、生成した画像を出力する。

例えば、ステップ S 1 0 3の処理において、画像生成部 1 0 3は、実世界推定情報を基に、推定された現実世界の光を空間方向に積分す.ることにより、入力画像に比較して、空間方向により高解像度の画像を生成して、生^した画像を出力する。例えば、画像生成部 1 0 3は、実世界推定情報を基に、推定された現実世界の光を時空間方向に積分することにより、入力画像に比較して、時間方向およぴ空間方向により高解像度の画像を生成して、生成した画像を出力する。ステップ S 1 0 3における、画像の生成の処理の詳細は、後述する。このように、信号処理装置 4は、データ 3からデータの定常性を検出し、検出したデータの定常性を基に、実世界 1を推定する。そして、信号処理装置 4 は、推定された実世界 1を基に、より実世界 1に近似した信号を生成する。以上のように、現実世界の信号を推定して処理を実行するようにした場合には、正確で、精度の高い処理結果を得ることができるようになる。 4 008690

53

また、第 1の次元を有する現実世界の信号である第 1の信号が射影され、現実世界の信号の定常性の一部が欠落した第 1の次元よりも少ない第 2の次元の第 2の信号の、欠落した現実世界の信号の定常性に対応するデータの定常性を検出し、検出されたデータの定常性に基づいて、欠落した現実世界の信号の定常性を推定することにより第 1の信号を推定するようにした場合には、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

次に、データ定常性検出部 1 0 1の構成の詳細について説明する。

図 3 0は、データ定常性検出部 1 0 1の構成を示すプロック図である。

図 3 0に構成を示すデータ定常性検出部 1 0 1は、細線である対象物を撮像したとき、対象物の有する断面形状が同じであるという定常性から生じた、データ 3に含まれるデータの定常性を検出する。すなわち、図 3 0に構成を示すデータ定常性検出部 1 0 1は、細線である実世界 1の画像の有する、長さ方向の任意の位置において、長さ方向に直交する方向の位置の変化に対する光のレベルの変化が同じであるという定常性から生じた、データ 3に含まれるデータの定常性を検出する。

より具体的には、図 3 0に構成を示すデータ定常性検出部 1 0 1は、細線の画像を空間積分効果を有するセンサ 2で撮像して得られたデータ 3に含まれる、斜めにずれて隣接して並ぶ、複数の所定の長さの円弧形状（かまぼこ型）が配置される領域を検出する。

データ定常性検出部 1 0 1は、データ 3である入力画像から、データの定常性を有する細線の画像が射影された画像データの部分（以下、定常成分とも称する）以外の画像データの部分（以下、非定常成分と称する）を抽出し、抽出された非定常成分と入力画像とから、実世界 1の細線の画像が射影された画素を検出し、入力画像における、実世界 1の細線の画像が射影された画素からなる領域を検出する。 8690

54 '

非定常成分抽出部 2 0 1は、入力画像から非定常成分を抽出して、入力画像と共に、抽出された非定常成分を示す非定常成分情報を頂点検出部 2 0 2およぴ単調増減検出部 2 0 3に供給する。

例えば、図 3 1で示されるように、ほぼ一定の光のレベルの背景の前に細線がある実世界 1の画像がデータ 3に射影されたとき、図 3 2で示されるように、非定常成分抽出部 2 0 1は、データ 3である入力画像における背景を平面で近似することにより、背景である非定常成分を抽出する。図 3 2において、実線は、データ 3の画素値を示し、点線は、背景を近似する平面で示される近似値を示す。図 3 2において、 Aは、細線の画像が射影された画素の画素値を示し、 P Lは、背景を近似する平面を示す。

このように、データの定常性を有する画像データの部分における、複数の画素の画素値は、非定常成分に対して不連続となる。

非定常成分抽出部 2 0 1は、実世界 1の光信号である画像が射影され、実世界 1の画像の定常性の一部が欠落した、データ 3である画像データの複数の画素の画素値の不連続部を検出する。

非定常成分抽出部 2 0 1における非定常成分の抽出の処理の詳細は、後述す • る。

頂点検出部 2 0 2および単調增減検出部 2 0 3は、非定常成分抽出部 2 0 1 から供給された非定常成分情報を基に、入力画像から非定常成分を除去する。例えば、頂点検出部 2 0 2および単調増減検出部 2 0 3は、入力画像の各画素のうち、背景の画像のみが射影された画素の画素値を 0に設定することにより、入力画像から非定常成分を除去する。また、例えば、頂点検出部 2 0 2および単調増減検出部 2 0 3は、入力画像の各画素の画素値から、平面 P Lで近似される値を引き算することにより、入力画像から非定常成分を除去する。入力画像から背景を除去することができるので、頂点検出部 2 0 2乃至連続性検出部 2 0 4は、細線が射影された画像データの部分のみを処理の対象とす P T/JP2004/008690

55

ることができ、頂点検出部 2 0 2乃至連続性検出部 2 0 4における処理がより容易になる。

なお、非定常成分抽出部 2 0 1は、入力画像から非定常成分を除去した画像データを頂点検出部 2 0 2および単調増減検出部 2 0 3に供給するようにしてもよい。

以下に説明する処理の例において、入力画像から非定常成分が除去された画像データ、すなわち、定常成分を含む画素のみからなる画像データが対象となる。，

ここで、頂点検出部 2 0 2乃至連続性検出部 2 0 4が検出しょうとする、細線の画像が射影された画像データについて説明する。

図 3 1で示される細線の画像射影された画像データの空間方向 Yの断面形状（空間方向の位置の変化に対する画素値の変化）は、光学 LPFがないとした場合、センサ 2であるイメージセンサの空間積分効舉から、図 3 3に示す台形、または図 3 4に示す三角形となることが考えられる。しかしながら、通常のイメージセンサは、光学 LPFを備え、イメージセンサは、光学 LPFを通過した画像を取得し、取得した画像をデータ 3に射影するので、現実には、細線の画像データの空間方向 Yの断面形状は、図 3 5に示すようなガウス分布に類似した形状となる。

頂点検出部 2 0 2乃至連続性検出部 2 0 4は、細線の画像が射影された画素であって、同じ断面形状（空間方向の位置の変化に対する画素値の変化）が画面の上下方向に一定の間隔で並ぶものからなる領域を検出して、さらに、実世界 1の細線の長さ方向に対応した、領域の繋がりを検出することにより、データの定常性を有する領域である、細線の画像が射影された画素からなる領域を検出する。すなわち、頂点検出部 2 0 2乃至連続性検出部 2 0 4は、入力画像における、縦に 1列の画素の上に、円弧形状（かまぼこ型）が形成される領域を検出し、検出された領域が横方向に隣接して並んでいるか否かを判定して、 T JP2004/008690

56

実世界 1の信号である細線の画像の長さ方向に対応した、円弧形状が形成される領域の繋がりを検出する。

また、頂点検出部 2 0 2乃至連続性検出部 2 0 4は、細線の画像が射影された画素であって、同じ断面形状が画面の左右方向に一定の間隔で並ぶものからなる領域を検出して、さらに、実世界 1の細線の長さ方向に対応した、検出された領域の繋がりを検出することにより、データの定常性を有する領域である、細線の画像が射影された画素からなる領域を検出する。すなわち、頂点検出部 2 0 2乃至連続性検出部 2 0 4は、入力画像における、横に 1列の画素の上に、円弧形状が形成される領域を検出し、検出された領域が縦方向に隣接して並んでいるか否かを判定して、実世界 1の信号である細線の画像の長さ方向に対応した、円弧形状が形成される領域の繋がりを検出する。

まず、細線の画像が射影された画素であって、画面の上下方向に同じ円弧形状が一定の間隔で並ぶものからなる領域を検出する処理を説明する。

頂点検出部 2 0 2は、周囲の画素に比較して、より大きい画素値を有する画素、すなわち頂点を検出し、頂点の位置を示す頂点情報を単調増減検出部 2 0 3に供給する。画面の上下方向に 1列に並ぶ画素を対象とした場合、頂点検出部 2 0 2は、画面の上側に位置する画素の画素値、および画面の下側に位置する画素の画素値に比較して、より大きい画素値を有する画素を頂点として検出する。頂点検出部 2 0 2は、 1つの画像、例えば、 1つのフレームの画像から、 1または複数の頂点を検出する。

1つの画面には、フレームまたはフィールドが含まれる。以下の説明において、同様である。

例えば、頂点検出部 2 0 2は、 1フレームの画像からまだ注目画素とされ T いない画素の中から注目画素を選択し、注目画素の画素値と、注目画素の上側の画素の画素値とを比較し、注目画素の画素値と、注目画素の下側の画素の画素値とを比較して、上側の画素の画素値より大きい画素値を有し、下側の画素の画素値より大きい画素値を有する注目画素を検出して、検出された注目画素 2004/008690

57

を頂点とする。頂点検出部 2 0 2は、検出された頂点を示す頂点情報を単調増減検出部 2 0 3に供給する。

頂点検出部 2 0 2が、頂点を検出しない場合もある。例えば、 1つの画像の画素の画素値が全て同じ値であるとき、または、 1若しくは 2の方向に対して画素値が減少しているとき、頂点は検出されない。この場合、細線の画像は、画像データに射影されていない。 - 単調増減検出部 2 0 3は、頂点検出部 2 0 2から供給された、頂点の位置を示す頂点情報を基に、頂点検出部 2◦ 2で検出された頂点に対して上下方向に 1列に並ぶ画素であって、細線の画像が射影された画素からなる領域の候捕を検出し、頂点情報と共に、検出した領域を示す領域情報を連続性検出部 2 0 4 に供給する。

より具体的には、単調増減検出部 2 0 3は、頂点の画素値を基準として、単調減少している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候捕として検出する。単調減少とは、頂点からの距離がより長い画素の画素値が、頂点からの距離が短い画素の画素値に比較して、より小さいことをいう。

また、単調増減検出部 2 0 3は、頂点の画素値を基準として、単調増加している画素値を有する画素からなる領域を、.細線の画像が射影された画素からなる領域の候補として検出する。単調増加とは、頂点からの距離がより長い画素の画素値が、頂点からの距離が短い画素の画素値に比較して、より大きいことをいう。

以下、単調増加している画素値を有する画素からなる領域についての処理は、単調減少している画素値を有する画素からなる領域についての処理と同様なので、その説明は省略する。細線の画像が射影された画素であって、画面の横方向に同じ円弧形状が一定の間隔で並ぶものからなる領域を検出する処理における、単調増加している画素値を有する画素からなる領域についての処理も、単 04 008690

58

調減少している画素値を有する画素からなる領域についての処理と同様なので、その説明は省略する。

例えば、単調増減検出部 2 0 3は、頂点に対して縦に 1列に各画素について、各画素の画素値と、上側の画素の画素値との差分、および下側の画素の画素値との差分を求める。そして、単調増減検出部 2 0 3は、差分の符号が変化する画素を検出することにより、画素値が単調減少している領域を検出する。

さらに、単調増減検出部 2 0 3は、画素値が単調減少している領域から、頂点の画素値の符号を基準として、頂点の画素値の符号と同じ符号の画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。

例えば、単調増減検出部 2 0 3は、各画素の画素値の符号と、上側の画素の画素値の符号および下側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出することにより、画素値が単調減少している領域から、頂点と同じ符号の画素値を有する画素からなる領域を検出する。

このように、単調増減検出部 2 0 3は、上下方向に並ぴ、頂点に対して画素値が単調減少し、頂点と同じ符号の画素値を有する画素からなる領域を検出する。

図 3 6は、空間方向 Yの位置に対する画素値から、細線の画像が射影された画素の領域を検出する、頂点の検出および単調增減領域の検出の処理を説明する図である。

図 3 6乃至図 3 8において、 Pは、頂点を示す。図 3 0で構成が示されるデータ定常性検出部 1 0 1の説明において、 Pは、頂点を示す。

頂点検出部 2 0 2は、各画素の画素値と、これに空間方向 Yに隣接する画素の画素値とを比較して、空間方向 Yに隣接する 2つの画素の画素値より大きい画素値を有する画素を検出することにより、頂点 Pを検出する。

頂点 Pと、頂点 Pの空間方向 Yの両側の画素とからなる領域は、頂点 Pの画素値に対して、空間方向 Yの両側の画素の画素値が単調に減少する単調減少 JP2004/008690

59

領域である。図 3 6において、 Aで示す矢印、および Bで示す矢印は、頂点 P の両側に存在する単調減少領域を示す。

単調増減検出部 2 0 3は、各画素の画素値と、その画素に空間方向 Yに隣接する画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。単調増減検出部 2 0 3は、検出された、差分の符号が変化する画素と、その手前側（頂点 P側）の画素との境界を、細線の画像が射影された画素からなる細線領域の境界とする。

図 3 6において、差分の符号が変化する画素と、その手前側（頂点 P側）の画素との境界である細線領域の境界は Cで示される。

さらに、単調増減検出部 2 0 3は、単調減少領域において、各画素の画素値の符号と、その画素に空間方向 Yに隣接する画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。単調増減検出部 2 0 3は、検出された、画素値の符号が変化する画素と、その手前側（頂点 P側）の画素との境界を細線領域の境界とする。

図 3 6において、画素値の符号が変化する画素と、その手前側（頂点！³ 側）の画素との境界である細線領域の境界は Dで示される。

図 3 6で示されるように、細線の画像が射影された画素からなる細線領域 F は、細線領域の境界 Cと、細線領域の境界 Dとに挟まれる領域とされる。

単調増減検出部 2 0 3は、このような単調増減領域からなる細線領域 Fの中から、予め定めた閾値より長い細線領域 F、すなわち、閾値より多い数の画素を含む細線領域 Fを求める。例えば、閾値が 3であるとき、単調増減検出部 2 0 3は、 4つ以上の画素を含む細線領域 Fを検出する。 ' さらに、このように検出された細線領域 Fの中から、単調増減検出部 2 0 ' 3は、頂点 Pの画素値、および頂点 Pの右側の画素の画素値、および頂点 P の左側の画素の画素値を、それぞれ閾値と比較し、頂点 Pの画素値が閾値を超え、頂点 Pの右側の画素の画素値が閾値以下であり、頂点 Pの左側の画素の画素値が閾値以下である頂点 Pが属する細線領域 Fを検出し、検出された細線領域 Fを細線の画像の成分を含む画素からなる領域の候補とする。

言い換えれば、頂点 Pの画素値が閾値以下であるか、頂点 Pの右側の画素の画素値が閾値を超えるか、または頂点 Pの左側の画素の画素値が閾値を超える頂点 P が属する細線領域 F は、細線の画像の成分を含まないと判定され、細線の画像の成分を含む画素からなる領域の候補から除去される。

すなわち、囪 3 7で示されるように、単調増減検出部 2 0 3は、頂点 Pの画素値を閾値と比較すると共に、頂点 Pに対して、空間方向 X (点線 AA'で示す方向）に隣接する画素の画素値を、閾値と比較し、頂点 Pの画素値が閾値を超え、空間方向 Xに隣接する画素の画素値が閾値以下である、頂点 Pが属する細線領域 Fを検出する。

図 3 8は、図 3 7の点線 AA'で示す空間方向 Xに並ぶ画素の画素値を表す図である。頂点 Pの画素値が閾値 T h _s .を超え、頂点 Pの空間方向 Xに隣接する画素の画素値が、閾値 T h _s以下である、頂点 Pが属する細線領域 Fは、細線の成分を含む。

なお、単調增減検出部 2 0 3は、背景の画素値を基準として、頂点 Pの画素値と背景の画素値との差分を閾値と比較すると共に、頂点 Pに対して、空間方向 Xに隣接する画素の画素値と背景の画素値との差分を、閾値と比較し、頂点 Pの画素値と背景の画素値との差分が閾値を超え、空間方向 Xに隣接する画素の画素値と背景の画素値との差分が閾値以下である、頂点 Pが属する細線領域 Fを検出するようにしてもよい。

単調増減検出部 2 0 3は、頂点 Pを基準として、画素値が単調減少し、画 · 素値の符号が頂点 Pと同じである画素からなる領域であって、その頂点 Pが閾値を超え、頂点 Pの右側の画素の画素値が閾値以下であり、頂点 Pの左側の画素の画素値が閾値以下であるものを示す単調増減領域情報を連続性検出部 2 0 4に供給する。画面の上下方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する場合において、単調増減領域情報により示される領域に属する画素は、上下方向に並ぴ、細線の画像が射影された画素を含む。すなわち、単調増減領域情報により示される領域は、画面の上下方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を含む。

このように、頂点検出部 2 0 2および単調増減検出部 2 0 3は、細線の画像が射影された画素において、空間方向 Yの画素値の変化が、ガウス分布に類似するという性質を利用して、細線の画像が射影された画素からなる定常領域を検出する。

連続性検出部 2 0 4は、単調増減検出部 2 0 3から供給された単調増減領域情報で示される、上下方向に並ぶ画素からなる領域のうち、横方向に隣接している画素を含む領域、すなわち、相似した画素値の^化を有し、縦方向に重複している領域を、連続している領域として検出し、頂点情報、および検出された連続している領域を示すデータ定常性情報を出力する。データ定常性情報は、単調増減領域情報、および領域の繋がりを示す情報などを含んでいる。

細線が射影された画素において、円弧形状が隣接するように一定の間隔で並ぶので、検出された連続している領域は、細線が射影された画素を含んでいる。検出された連続している領域が、細線が射影された、円弧形状が隣接するように一定の間隔で並ぶ画素を含むので、検出された連続している領域を定常領域とし、連続性検出部 2 0 4は、検出された連続している領域を示すデータ定常性情報を出力する。

すなわち、連続性検出部 2 0 4は、長さ方向に連続するという、実世界 1の細線の画像の定常性から生じた、細線を撮像して得られたデータ 3における、円弧形状が隣接するように一定の間隔で並ぶ定常性を利用して、頂点検出部 2 0 2および単調増減検出部 2 0 3において検出された領域の候捕をさらに絞り込む。

図 3 9は、単調増減領域の連続性を検出の処理を説明する図である。 8690

62

図 3 9に示すように、連続性検出部 2 0 4は、画面の縦方向に 1列に並ぶ画素からなる細線領域 Fについて、横方向に隣接する画素を含んでいるとき、 2つの単調増減領域の間に連続性があるとし、横方向に隣接する画素を含んでいないとき、 2つの細線領域 Fの間に連続性がないとする。例えば、画面の縦方向に 1列に並ぶ画素からなる細線領域は、画面の縦方向に 1列に並ぶ画素からなる細線領域 F。の画素と横方向に隣接する画素を含んでいるとき、細線領域 F。と連続しているとされる。画面の縦方向に 1列に並ぶ画素からなる細線領域 F。は、画面の縦方向に 1列に並ぶ画素からなる細線領域の画素と横方向に隣接する画素を含んでいるとき、細線領域と連続しているとされる。

このように、頂点検出部 2 0 2乃至連続性検出部 2 0 4により、画面の上下方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域が検出される。

頂点検出部 2 0 2乃至連続性検出部 2 0 4は、上述したように、画面の上下方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出し、さらに、画面の左右方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する。

なお、処理の順序は、特に限定されるものではなく、並列に実行するようにしても良いことは当然である。

すなわち、頂点検出部 2 0 2は、画面の左右方向に 1列に並ぶ画素を対象として、画面の左側に位置する画素の画素値、および画面の右側に位置する画素の画素値に比較して、より大きい画素値を有する画素を頂点として検出し、検出した頂点の位置を示す頂点情報を単調増減検出部 2 0 3に供給する。頂点検出部 2 0 2は、 1つの画像、例えば、 1フレームの画像から、 1または複数の頂点を検出する。

例えば、頂点検出部 2 0 2は、 1フレームの画像からまだ注目画素とされていない画素の中から注目画素を選択し、注目画素の画素値と、注目画素の左側の画素の画素値とを比較し、注目画素の画素値と、注目画素の右側の画素の画素値とを比較して、左側の画素の画素値より大きレ、画素値を有し、右側の画素の画素値より大きい画素値を有する注目画素を検出して、検出された注目画素を頂点とする。頂点検出部 2 0 2は、検出された頂点を示す頂点情報を単調増減検出部 2 0 3に供給する。

頂点検出部 2 0 2が、頂点を検出しない場合もある。

単調増減検出部 2 0 3は、頂点検出部 2 0 2で検出された頂点に対して左右方向に 1列に並ぶ画素であって、細線の画像が射影された画素からなる領域の候補を検出検出し、頂点情報と共に、検出した領域を示す単調増減領域情報を連続性検出部 2 0 4に供給する。

より具体的には、単調増減検出部 2 0 3は、頂点の画素値を基準として、単調減少している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。

例えば、単調増減検出部 2 0 3は、頂点に対して横に 1列の各画素について、各画素の画素値と、左側の画素の画素値との差分、および右側の画素の画素値との差分を求め。そして、単調増減検出部 2 0 3は、差分の符号が変化する画素を検出することにより、画素値が単調減少している領域を検出する。

例えば、単調増減検出部 2 0 3は、各画素の画素値の符号と、左側の画素の画素値の符号または右側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出することにより、画素値が単調減少している領域から、頂点と同じ符号の画素値を有する画素からなる領域を検出する。 2004/008690

64

このように、単調増減検出部 2 0 3は、左右方向に並ぴ、頂点に対して画素値が単調減少し、頂点と同じ符号の画素値を有する画素からなる領域を検出する。

単調増減検出部 2 0 3は、このような単調増減領域からなる細線領域の中から、予め定めた閾値より長い細線領域、すなわち、閾値より多い数の画素を含む細線領域を求める。

さらに、このように検出された細線領域の中から、単調増減検出部 2 0 3は、頂点の画素値、および頂点の上側の画素の画素値、および頂点の下側の画素の画素値を、それぞれ閾値と比較し、頂点の画素値が閾値を超え、頂点の上側の画素の画素値が閾値以下であり、頂点の下側の画素の画素値が閾値以下である頂点が属する細線領域を検出し、検出された細線領域を細線の画像の成分を含む画素からなる領域の候補とする。

言い換えれば、頂点の画素値が閾値以下であるか、頂点の上側の画素の画素値が閾値を超えるか、または頂点の下側の画素の画素値が閾値を超える頂点が属する細線領域は、細線の画像の成分を含まないと判定され、細線の画像の成分を含む画素からなる領域の候補から除去される。

なお、単調増減検出部 2 0 3は、背景の画素値を基準として、頂点の画素値と背景の画素値との差分を閾値と比較すると共に、頂点に対して、上下方向に隣接する画素の画素値と背景の画素値との差分を、閾値と比較し、頂点の画素値と背景の画素値との差分が閾値を超え、上下方向に隣接する画素の画素値と背景の画素値との差分が閾値以下である、検出された細線領域を細線の画像の成分を含む画素からなる領域の候補とするようにしてもよい。

単調増減検出部 2 0 3は、頂点を基準として、画素値が単調減少し、画素値の符号が頂点と同じである画素からなる領域であって、その頂点が閾値を超え、頂点の右側の画素の画素値が閾値以下であり、頂点の左側の画素の画素値が閾値以下であるものを示す単調増減領域情報を連続性検出部 2 0 4に供給する。画面の左お方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する場合において、単調増減領域情報により示される領域に属する画素は、左右方向に並び、細線の画像が射影された画素を含む。すなわち、単調増減領域情報により示される領域は、画面の左右方向に並ぶ 1列の画素であって、細線の画像が射影されたものからなる領域を含む。

連続性検出部 2 0 4は、単調増減検出部 2 0 3から供給された単調増減領域情報で示される、左右方向に並ぶ画素からなる領域のうち、縦方向に隣接している画素を含む領域、すなわち、相似した画素値の変化を有し、横方向に重複している領域を、連続している領域として検出し、頂点情報、および検出された連続している領域を示すデータ定常性情報を出力する。データ定常性情報は、領域の繋がりを示す情報を含んでいる。

このように、データ定常性検出部 1 0 1は、入力画像であるデータ 3に含まれている定常性を検出することができる。すなわち、データ定常性検出部 1 0 1は、細線である実世界 1の画像がデータ 3に射影されることにより生じた、データ 3に含まれるデータの定常性を検出することができる。データ定常性検出部 1 0 1は、データ 3から、細線である実世界 1の画像が射影された画素からなる領域を検出する。

図 4 0は、定常性検出部 1 0 1における、細線の画像が射影された、定常性を有する領域の検出の他の処理の例を示す図である。

定常性検出部 1 0 1は、図 4 0に示すように、各画素について、隣接する画素との画素値の差分の絶対値を計算する。計算された差分の絶対値は、画素に対応させて、配置される。例えば、図 4 0に示すように、画素値がそれぞれ P0、 Pl、 P2である画素が並んでいるとき、定常性検出部 1 0 1は、差分 dO=PO - P1 および差分 dl=Pl- P2 を計算する。さらに、定常性検出部 1 0 1は、差分 dOおよび差分 dlの絶対値を算出する。

画素値 P0、 Pl、および P2に含まれている非定常性成分が同一であるとき、差分 dOおよび差分 dlには、細線の成分に対応した値のみが設定されることになる。

従って、定常性検出部 1 0 1は、画素に対応させて配置されている差分の絶対値のうち、隣り合う差分の値が同一であるとき、その 2つの差分の絶対値に対応する画素（2つの差分の絶対値に挟まれた画素）に細線の成分が含まれていると判定する。ただし、定常性検出部 1 0 1は、その差分の絶対値が小さい場合は細線として検出しなくてもよい。たとえば、その差分の絶対値が閾値以上であるとき、定常性検出部 1 0 1は、その画素に細線の成分が含まれていると判定する。

定常性検出部 1 0 1においては、このような、簡便な方法で細線を検出することもできる。

図 4 1は、定常性検出の処理を説明するフローチャートである。

ステップ S 2 0 1において、非定常成分抽出部 2 0 1は、入力画像から、細線が射影された部分以外の部分である非定常成分を抽出する。非定常成分抽出部 2 0 1は、.入力画像と共に、抽出された非定常成分を示す非定常成分情報を 04 008690

67

頂点検出部 2 0 2および単調増減検出部 2 0 3に供給する。非定常成分の抽出の処理の詳細は、後述する。

ステップ S 2 0 2において、頂点検出部 2 0 2は、非定常成分抽出部 2 0 1 から供給された非定常成分情報を基に、入力画像から非定常成分を除去し、入力画像に定常成分を含む画素のみを残す。さらに、ステップ S 2 0 2において、頂点検出部 2 0 2は、頂点を検出する。

すなわち、頂点検出部 2 0 2は、画面の縦方向を基準として、処理を実行する場合、定常成分を含む画素について、各画素の画素値と、上側および下側の画素の画素値とを比較して、上側の画素の画素値および下側の画素の画素値より大きい画素値を有する画素を検出することにより、頂点を検出する。また、ステップ S 2 0 2において、頂点検出部 2 0 2は、画面の横方向を基準として、処理を実行する場合、定常成分を含む画素について、各画素の画素値と、右側および左側の画素の画素値とを比較して、右側の画素の画素値および左側の画素の画素値より大きい画素値を有する画素を検出することにより、頂点を検出する。

頂点検出部 2 0 2は、検出した頂点を示す頂点情報を単調増減検出部 2 0 3 に供給する。

ステップ S 2 0 3において、単調増減検出部 2 0 3は、非定常成分抽出部 2 0 1から供給された非定常成分情報を基に、入力画像から非定常成分を除去し、入力画像に定常成分を含む画素のみを残す。さらに、ステップ S 2 0 3において、単調増減検出部 2 0 3は、頂点検出部 2 0 2から供給された、頂点の位置を示す頂点情報を基に、頂点に対する単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。

単調増減検出部 2 0 3は、画面の縦方向を基準として、処理を実行する場合、頂点の画素値、および頂点に対して縦に 1列に並ぶ画素の画素値を基に、縦に並ぶ 1列の画素であって、 1つの細線の画像が射影された画素からなる単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。すなわち、ステップ S 2 0 3において、単調増減検出部 2 0 3は、画面の縦方向を基準として、処理を実行する場合、頂点および頂点に対して縦に 1列に並ぶ画素について、各画素の画素値と、上側または下側の画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。また、単調増減検出部 2 0 3は、頂点および頂点に対して縦に 1列に並ぶ画素について、各画素の画素値の符号と、その画素の上側または下側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。さらに、単調増減検出部 2 0 3は、頂点の画素値、並びに頂点の右側および左側の画素の画素値を、閾値と比較し、頂点の画素値が閾値を超え、右側および左側の画素の画素値が閾値以下である画素からなる領域を検出する。

単調増減検出部 2 0 3は、このように検出された領域を単調増減領域として、単調増減領域を示す単調増減領域情報を連続性検出部 2 0 4に供給する。

また、単調増減検出部 2 0 3は、画面の横方向を基準として、処理を実行する場合、項点の画素値、および頂点に対して横に 1列に並ぶ画素の画素値を基に、横に並ぶ 1列の画素であって、 1つの細線の画像が射影された画素からなる単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。すなわち、ステップ S 2 0 3において、単調増減検出部 2 0 3は、画面の横方向を基準として、処理を実行する場合、頂点および頂点に対して横に 1列に並ぶ画素について、各画素の画素値と、左側または右側の画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。また、単調増減検出部 2 0 3は、頂点および頂点に対して横に 1列に並ぶ画素について、各画素の画素値の符号と、その画素の左側または右側の画素の画素値の符号とを比 ' 較し、画素値の符号が変化する画素を検出する。さらに、単調増減検出部 2 0 3は、頂点の画素値、並びに頂点の上側および下側の画素の画素値を、閾値と比較し、頂点の画素値が閾値を超え、上側および下側の画素の画素値が閾値以下である画素からなる領域を検出する。単調増減検出部 2 0 3は、このように検出された領域を単調増減領域として、単調増減領域を示す単調増減領域情報を連続性検出部 2 0 4に供給する。

ステップ S 2 0 4において、単調増減検出部 2 0 3は、全画素の処理が終了したか否かを判定する。例えば、非定常成分抽出部 2 0 1は、入力画像の 1つの画面（例えば、フレームまたはフィールドなど）の全画素について、頂点を検出し、単調增減領域を検出したか否かを判定する。

ステップ S 2 0 4において、全画素の処理が終了していない、すなわち、頂点の検出および単調増減領域の検出の処理の対象とされていない画素がまだあると判定された場合、ステップ S 2 0 2に戻り、頂点の検出および単調増減領域の検出の処理の対象とされていない画素から処理の対象となる画素を選択して、頂点の検出および単調増減領域の検出の処理を繰り返す。

ステップ S 2 0 4において、全画素の処理が終了した、すなわち、全ての画素を対象として頂点および単調増減領域が検出されたと判定された場合、ステップ S 2 0 5に進み、連続性検出部 2 0 4は、単調増減.領域情報を基に、検出された領域の連続性を検出する。例えば、連続性検出部 2 0 4は、単調増減領域情報で示され.る、画面の縦方向に 1列に並ぶ画素からなる単調増減領域について、横方向に隣接する画素を含んでいるとき、 2つの単調増減領域の間に連続性があるとし、横方向に隣接する画素を含んでいないとき、 2つの単調増減領域の間に連続性がないとする。例えば、連続性検出部 2 0 4は、単調増減領域情報で示される、画面の横方向に 1列に並ぶ画素からなる単調増減領域について、縦方向に隣接する画素を含んでいるとき、 2つの単調増減領域の間に連続性があるとし、縦方向に隣接する画素を含んでいないとき、 2つの単調増減領域の間に連続性がないとする。

連続性検出部 2 0 4は、検出された連続している領域をデータの定常性を有する定常領域とし、頂点の位置および定常領域を示すデータ定常性情報を出力する。データ定常性情報は、領域の繋がりを示す情報を含んでいる。連続性検出部 2 0 4から出力されるデータ定常性情報は、実世界 1の細線の画像が射影された画素からなる、定常領域である細線領域を示す。

ステップ S 2 0 6において、定常性方向検出部 2 0 5は、全画素の処理が終了したか否かを判定する。すなわち、定常性方向検出部 2 0 5は、入力画像の所定のフレームの全画素について、領域の連続性を検出したか否かを判定する。ステップ S 2 0 6において、全画素の処理が終了していない、すなわち、領域の連続性の検出の処理の対象とされていない画素がまだあると判定された場合、ステップ S 2 0 5に戻り、領域の連続性の検出の処理の対象とされていない画素から処理の対象となる画素を選択して、領域の連続性の検出の処理を繰り返す。

ステップ S 2 0 6において、全画素の処理が終了した、すなわち、全ての画素を対象として領域の連続性が検出されたと判定された場合、処理は終了する。このように、入力画像であるデータ 3に含まれている定常性が検出される。すなわち、細線である実世界 1の画像がデータ 3に射影されることにより生じた、データ 3に含まれるデータの定常性が検出され、データ 3から、細線である実世界 1の画像が射影された画素からなる、データの定常性を有する領域が検出される。

なお、図 3 0で構成が示されるデータ定常性検出部 1 0 1は、データ 3のフレームから検出されたデータの定常性を有する領域を基に、時間方向のデータの定常性を検出することができる。

例えば、図 4 2に示すように、連続性検出部 2 0 4は、フレーム #nにおいて、検出されたデータの定常性を有する領域、フレーム #n-lにおいて、検出 · されたデータの定常性を有する領域、およびフレーム #n+lにおいて、検出さ' れたデータの定常性を有する領域を基に、領域の端部を結ぶことにより、時間方向のデータの定常性を検出する。

フレーム to- 1は、フレーム #nに対して時間的に前のフレームであり、フレーム #n+lは、フレーム #nに対して時間的に後のフレームである。すなわち、フレーム #n- 1、フレーム、およびフレーム #n+lは、フレーム #n_l、フレーム #n、およびフレーム #n+l の順で表示される。

より具体的には、図 4 2において、 Gは、フレーム #nにおいて、検出されたデータの定常性を有する領域、フレーム #n-lにおいて、検出されたデータの定常性を有する領域、およびフレーム #n+lにおいて、検出されたデータの定常性を有する領域のそれぞれの一端を結ぶことにより得られた動きべクトルを示し、 G，は、検出されたデータの定常性を有する領域のそれぞれの他の一端を結ぶことにより得られた動きべクトルを示す。動きべクトル Gおよび動きベタトル G，は、時間方向のデータの定常性の一例である。

さらに、図 3 0で構成が示されるデータ定常性検出部 1 0 1は、データの定常性を有する領域の長さを示す情報を、データ定常性情報として出力することができる。

図 4 3は、データの定常性を有しない画像データの部分である非定常成分を平面で近似して、非定常成分を抽出する、非定常成分抽出部 2 0 1の構成を示すプロック図である。

図 4 3に構成を示す非定常成分抽出部 2 0 1は、入力画像から所定の数の画素でなるプロックを抽出し、プロックと平面で示される値との誤差が所定の閾値未満になるように、ブロックを平面で近似して、非定常成分を抽出する。入力画像は、ブロック抽出部 2 2 1に供給されるとともに、そのまま出力される。

プロック抽出部 2 2 1は、入力画像から、所定の数の画素からなるブロックを抽出する。例えば、ブロック抽出部 2 2 1は、 7 X 7の画素からなるプロックを抽出し、平面近似部 2 2 2に供給する。例えば、ブロック抽出部 2 2 1は、抽出されるプロックの中心となる画素をラスタスキャン順に移動させ、順次、入力画像からブロックを抽出する。平面近似部 222は、ブロックに含まれる画素の画素値を所定の平面で近似する。例えば、平面近似部 222は、式（32) で表される平面でブロックに含まれる画素の画素値を近似する。

z = ax+by+c

· ■ · (32) 式（3 2) において、 Xは、画素の画面上の一方の方向（空間方向 X) の位置を示し、 y は、画素の画面上の他の一方の方向（空間方向 Y) の位置を示す。 zは、平面で示される近似値を示す。 aは、平面の空間方向 Xの傾きを示し、 bは、平面の空間方向 Yの傾きを示す。式（32) において、 cは、平面のォフセット（切片）を示す。

例えば、平面近似部 222は、回帰の処理により、傾き a、傾き b、およびオフセッド cを求めることにより、式（32) で表される平面で、ブロックに含まれる画素の画素値を近似する。平面近似部 222は、棄却を伴う回帰の処理により、傾き a、傾き b、およびオフセット cを求めることにより、式

(32) で表される平面で、ブロックに含まれる画素の画素値を近似する。例えば、平面近似部 222は、最小自乗法により、ブロックの画素の画素値に対して、誤差が最小となる式（32) で表される平面を求めることにより、平面でブロックに含まれる画素の画素値を近似する。

なお、平面近似部 222は、式（3 2) で表される平面でブロックを近似すると説明したが、式（3 2) で表される平面に限らず、より高い自由度をもつた関数、例えば、 n次（nは、任意の整数）の多項式で表される面でプロックを近似するようにしてもよい。

繰り返し判定部 2 23は、ブロックの画素値を近似した平面で示される近似値と、プロックの対応する画素の画素値との誤差を計算する。式（3 3) は、プロックの画素値を近似した平面で示される近似値と、ブロックの対応する画素の画素値 Zi との差分である誤差 e_t を示す式である。

6; = Zj-Z = Zj- (aXj+DYj+c) • · · ( 3 3 ) 式（3 3 ) において、 z ハット（z に"を付した文字を z ハツトと記述する。以下、本明細書において、同様に記載する。）は、プロックの画素値を近似した平面で示される近似値を示し、 a ノヽットは、ブロックの画素値を近似した平面の空間方向 Xの傾きを示し、 bハットは、ブロックの画素値を近似した平面の空間方向 Yの傾きを示す。式（3 3 ) において、 cハットは、プロックの画素値を近似した平面のオフセット（切片）を示す。

繰り返し判定部 2 2 3は、式（3 3 ) で示される、近似値とプロックの対応する画素の画素値との誤差 _ei 力最も大きい画素を棄却する。このようにすることで、細線が射影された画素、すなわち定常性を有する画素が棄却されることになる。繰り返し判定部 2 2 3は、棄却した画素を示す棄却情報を平面近似部 2 2 2に供給する。

さらに、繰り返し判定部 2 2 3は、標準誤差を算出して、標準誤差が、予め定めた近似終了判定用の閾値以上であり、プロックの画素のうち、半分以上の画素が棄却されていないとき、繰り返し判定部 2 2 3は、平面近似部 2 2 2に、プロックに含まれる画素のうち、棄却された画素を除いた画素を対象として、平面による近似の処理を繰り返させる。

定常性を有する画素が棄却されるので、棄却された画素を除いた画素を対象として平面で近似をすることにより、平面は、非定常成分を近似することになる。

繰り返し判定部 2 2 3は、標準誤差が、近似終了判定用の閾値未満であるとき、または、プロックの画素のうち、半分以上の画素が棄却されたとき、平面による近似を終了する。

5 X 5の画素からなるプロックについて、標準誤差 e_s は、例えば、式（3 4 ) で算出される。 P T/JP2004/008690

74

=∑ ( (Zi - (aXi -byi +c) ] / (n-3)

• - · ( 3 4 ) ここで、 nは、画素の数である。

なお、繰り返し判定部 2 2 3は、標準誤差に限らず、プロックに含まれる全ての画素についての誤差の 2乗の和を算出して、以下の処理を実行するようにここで、ラスタスキャン方向に 1画素ずつずれたブロックを平面で近似するとき、図 4 4に示すように、図中黒丸で示す、定常性を有する画素、すなわち細線の成分を含む画素は、複数回棄却されることになる。 . 繰り返し判定部 2 2 3は、平面による近似を終了したとき、ブロックの画素値を近似した平面を示す情報（式（3 2 ) の平面の傾きおよび切片）を、非定常成分情報として出力する。

なお、繰り返し判定部 2 2 3は、画素毎の棄却された回数と予め定めた閾値とを比較して、棄却された回数が閾値以上である画素を定常成分を含む画素であるとして、定常成分を含む画素を示す情報を定常成分情報として出力するようにしてもよい。この場合、頂点検出部 2 0 2乃至定常性方向検出部 2 0 5は、定常成分情報で示される、定常成分を含む画素を対象として、それぞれの処理を実行する。

棄却された回数、プロックの画素の画素値を近似する平面の空間方向 Xの傾き、ブロックの画素の画素値を近似する平面の空間方向 Yの傾き、ブロックの画素の画素値を近似する平面で示される近似値、および誤差は、入力画像の特徴量としても利用することができる。

図 4 5は、ステップ S 2 0 1に対応する、図 4 3に構成を示す非定常成分抽出部 2 0 1による、非定常成分の抽出の処理を説明するフローチャートである。ステップ S 2 2 1において、プロック抽出部 2 2 1は、入力画素から、所定の数の画素からなるプロックを抽出し、抽出したプロックを平面近似部 2 2 2 に供給する。例えば、ブロック抽出部 2 2 1は、入力画素から、まだ、選択されていない画素のうち、 1つの画素を選択し、選択された画素を中心とする 7 X 7の画素からなるブロックを抽出する。例えば、プロック抽出部 2 2 1は、ラスタスキャン順に画素を選択することができる。

ステップ S 2 2 2において、平面近似部 2 2 2は、抽出されたブロックを平面で近似する。平面近似部 2 2 2は、例えば、回帰の処理により、抽出されたプロックの画素の画素値を、平面で近似する。例えば、平面近似部 2 2 2は、回帰の処理により、抽出されたブロックの画素のうち、棄却された画素を除いた画素の画素値を、平面で近似する。ステップ S 2 2 3において、繰り返し判定部 2 2 3は、繰り返し判定を実行する。例えば、プロックの画素の画素値と近似した平面の近似値とから標準誤差を算出し、棄却された画素の数を力ゥントすることにより、繰り返し判定を実行する。

ステップ S 2 2 4において、繰り返し判定部 2 2 3は、標準誤差が閾値以上であるか否かを判定し、標準誤差が閾値以上であると判定された場合、ステツプ S 2 2 5に進む。

なお、ステップ S 2 2 4において、繰り返し判定部 2 2 3は、ブロックの画素のうち、半分以上の画素が棄却されたか否か、および標準誤差が閾値以上であるか否かを判定し、ブロックの画素のうち、半分以上の画素が棄却されておらず、標準誤差が閾値以上であると判定された場合、ステップ S 2 2 5に進むようにしてもよい。

ステップ S 2 2 5において、繰り返し判定部 2 2 3は、プロックの画素毎に、画素の画素値と近似した平面の近似値との誤差を算出し、誤差が最も大きい画素を棄却し、平面近似部 2 2 2に通知する。手続きは、ステップ S 2 2 2に戻り、棄却された画素を除いた、ブロックの画素を対象として、平面による近似の処理および繰り返し判定の処理が繰り返される。ステップ S 2 2 5において、ラスタスキャン方向に 1画素ずつずれたプロックがステップ S 2 2 1の処理で抽出される場合、図 4 4に示すように、細線の成分を含む画素（図中の黒丸で示す）は、複数回棄却されることになる。

ステップ S 2 2 4において、標準誤差が閾値以上でないと判定された場合、プロックが平面で近似されたので、ステップ S 2 2 6に進む。

なお、ステップ S 2 2 4において、繰り返し判定部 2 2 3は、ブロックの画素のうち、半分以上の画素が棄却されたか否か、および標準誤差が閾値以上であるか否かを判定し、ブロックの画素のうち、半分以上の画素が棄却された力または標準誤差が閾値以上でないと判定された場合、ステップ S 2 2 5に進むようにしてもよレヽ。

ステップ S 2 2 6において、繰り返し判定部 2 2 3は、プロックの画素の画素値を近似する平面の傾きおよび切片を、非定常成分情報として出力する。ステップ S 2 2 7において、ブロック抽出部 2 2 1は、入力画像の 1つの画面の全画素について処理を終了したか否かを判定し、まだ処理の対象となってない画素があると判定された場合、ステップ S 2 2 1に戻り、まだ処理の対象となっていない画素からプロックを抽出して、上述した処理を繰り返す。

ステップ S 2 2 7において、入力画像の 1つの画面の全画素について、処理を終了したと判定された場合、処理は終了する。

このように、図 4 3に構成を示す非定常成分抽出部 2 0 1は、入力画像から非定常成分を抽出することができる。非定常成分抽出部 2 0 1が入力画像の非定常成分を抽出するので、頂点検出部 2 0 2および単調増減検出部 2 0 3は、入力画像と、非定常成分抽出部 2 0 1で抽出された非定常成分との差分を求め' ることにより、定常成分を含む差分を対象として処理を実行することができる。なお、平面による近似の処理において算出される、棄却した場合の標準誤差、棄却しない場合の標準誤差、画素の棄却された回数、平面の空間方向 Xの傾き (式（3 2 ) における aハット）、平面の空間方向 Yの傾き（式（3 2 ) における bハット）、平面で置き換えたときのレベル（式（3 2 ) における。ハット）、および入力画像の画素値と平面で示される近似値との差分は、特徴量として利用することができる。

図 4 6は、ステップ S 2 0 1に対応する非定常成分の抽出の処理に代わる、図 4 3に構成を示す非定常成分抽出部 2 0 1による、定常成分の抽出の処理を説明するフローチャートである。ステップ S 2 4 1乃至ステップ S 2 4 5の処理は、ステップ S 2 2 1乃至ステップ S 2 2 5の処理と同様なので、その説明は省略する。

ステップ S 2 4 6において、繰り返し判定部 2 2 3は、平面で示される近似値と入力画像の画素値との差分を、入力画像の定常成分として出力する。すなわち、繰り返し判定部 2 2 3は、平面による近似値と、真値である画素値との差分を出力する。

なお、繰り返し判定部 2 2 3は、平面で示される近似値と入力画像の画素値との差分が、所定の閾値以上である画素の画素値を、入力画像の定常成分として出力するようにしてもよい。

ステップ S 2 4 7の処理は、ステップ S 2 2 7の処理と同様なので、その説明は省略する。

平面が非定常成分を近似しているので、非定常成分抽出部 2 0 1は、入力画像の各画素の画素値から、画素値を近似する平面で示される近似値を引き箄することにより、入力画像から非定常成分を除去することができる。この場合、頂点検出部 2 0 2乃至連続性検出部 2 0 4は、入力画像の定常成分、すなわち細線の画像が射影された値のみを処理の対象とすることができ、頂点検出部 2 0 2乃至連続性検出部 2 0 4における処理が.より容易になる。

図 4 7は、ステップ S 2 0 1に対応する非定常成分の抽出の処理に代わる、図 4 3に構成を示す非定常成分抽出部 2 0 1による、定常成分の抽出の他の処理を説明するフローチャートである。ステップ S 2 6 1乃至ステップ S 2 6 5 の処理は、ステップ S 2 2 1乃至ステップ S 2 2 5の処理と同様なので、その説明は省略する。 T/JP2004/008690

78

ステップ S 2 6 6において、繰り返し判定部 2 2 3は、画素毎の、棄却の回数を記憶し、ステップ S 2 6 2に戻り、処理を繰り返す。

ステップ S 2 6 4において、標準誤差が閾値以上でないと判定された場合、プロックが平面で近似されたので、ステップ S 2 6 7に進み、繰り返し判定部 2 2 3は、入力画像の 1つの画面の全画素について処理を終了したか否かを判定し、まだ処理の対象となってない画素があると判定された場合、ステップ S 2 6 1に戻り、まだ処理の対象となっていない画素についてプロックを抽出して、上述した処理を繰り返す。

ステップ S 2 6 7において、入力画像の 1つの画面の全画素について、処理を終了したと判定された場合、ステップ S 2 6 8に進み、繰り返し判定部 2 2 3は、まだ選択されていない画素から 1つの画素を選択し、選択された画素について、棄却の回数が、閾値以上であるか否かを判定する。例えば、繰り返し判定部 2 2 3は、ステップ S 2 6 8において、選択された画素について、棄却の回数が、予め記憶している閾値以上であるか否かを判定する。

ステップ S 2 6 8において、選択された画素について、棄却の回数が、閾値以上であると判定された場合、選択された画素が定常成分を含むので、ステツプ S 2 6 9に進み、繰り返し判定部 2 2 3は、選択された画素の画素値（入力画像における画素値）を入力画像の定常成分として出力し、ステップ S 2 7 0 に進む。

ステップ S 2 6 8において、選択された画素について、棄却の回数が、閾値以上でないと判定された場合、選択された画素が定常成分を含まないので、ステツプ S 2 6 9の処理をスキップして、手続きは、ステップ S 2 7 0に進む。すなわち、棄却の回数が、閾値以上でないと判定された画素は、画素値が出力されない。

なお、棄却の回数が、閾値以上でないと判定された画素について、繰り返し判定部 2 2 3は、 0を設定した画素値を出力するようにしてもよい。 P T/JP2004/008690

79

ステップ S 2 7 0において、繰り返し判定部 2 2 3は、入力画像の 1つの画面の全画素について、棄却の回数が閾値以上であるか否かの判定の処理を終了したか否かを判定し、全画素について処理を終了していないと判定された場合、まだ処理の対象となってない画素があるので、ステップ S 2 6 8に戻り、まだ処理の対象となっていない画素から 1つの画素を選択して、上述した処理を操り返す。

ステップ S 2 7 0において、入力画像の 1つの画面の全画素について処理を終了したと判定された場合、処理は終了する。

このように、非定常成分抽出部 2 0 1は、定常成分情報として、入力画像の画素のうち、定常成分を含む画素の画素値を出力することができる。すなわち、非定常成分抽出部 2 0 1は、入力画像の画素のうち、細線の画像の成分を含む画素の画素値を出力することができる。

図 4 8は、ステップ S 2 0 1に対応する非定常成分の抽出の処理に代わる、図 4 3に構成を示す非定常成分抽出部 2 0 1による、定常成分の抽出のさらに他の処理を説明するフローチャートである。ステップ S 2 8 1乃至ステップ S 2 8 8の処理は、ステップ S 2 6 1乃至ステップ S 2 6 8の処理と同様なので、その説明は省略する。

ステップ S 2 8 9において、繰り返し判定部 2 2 3は、平面で示される近似値と、選択された画素の画素値との差分を入力画像の定常成分として出力する。すなわち、繰り返し判定部 2 2 3は、入力画像から非定常成分を除去した画像を定常性情報として出力する。

ステップ S 2 9 0の処理は、ステップ S 2 7 0の処理と同様なので、その説' 明は省略する。

このように、非定常成分抽出部 2 0 1は、入力画像から非定常成分を除去した画像を定常性情報として出力することができる。

以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、第 1の画像データの複数の画素の画素値の不連続部を検出し、検出された不連続部からデータの定常性を検出し、検出されたデータの定常性を基に、現実世界の光信号の定常性を推定することにより光信号を近似するモデル（関数）を生成し、生成された関数に基づき第 2の画像データを生成するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

図 4 9は、データ定常性検出部 1 0 1の他の構成を示すブロック図である。図 4 9に構成を示すデータ定常性検出部 1 0 1においては、注目している画素である注目画素について、入力画像の空間方向に対する画素値の変化、すなわち入力画像の空間方向のァクティビティが検出され、検出されたァクティビティに応じて、注目画素および基準軸を基準とした角度毎に、垂直方向に 1列または水平方向に 1列の所定の数の画素からなる画素の組が、複数抽出され、抽出された画素の組の相関が検出され、相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。

データの定常性の角度とは、基準軸と、データ 3が有している、一定の特徴が繰り返し現れる所定の次元の方向とがなす角度いう。一定の特徴が繰り返し現れるとは、例えば、データ 3における位置の変化に対する値の変化、すなわち断面形状が同じである場合などをいう。

基準軸は、例えば、空間方向 Xを示す軸（画面の水平方向）、または空間方向 Yを示す軸（画面の垂直方向）などとすることができる。

入力画像は、アクティビティ検出部 4 0 1およびデータ選択部 4 0 2に供給される。

アクティビティ検出部 4 0 1は、入力画像の空間方向に対する画素値の変化、すなわち空間方向のァクテ f ビティを検出して、検出した結果を示すァクティビティ情報をデータ選択部 4 0 2および定常方向導出部 4 0 4に供給する。例えば、アクティビティ検出部 4 0 1は、画面の水平方向に対する画素値の変化、および画面の垂直方向に対する画素値の変化を検出し、検出された水平方向に対する画素値の変化および垂直方向に対する画素値の変化を比較することにより、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいかを検出する。

アクティビティ検出部 4 0 1は、検出の結果である、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示すか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示すァクティビティ情報をデータ選択部 4 0 2および定常方向導出部 4 0 4に供給する。

垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、例えば、図 5 0で示されるように、垂直方向に 1列の画素に円弧形状（かまぼこ型）またはつめ形状が形成され、円弧形状またはつめ形状が垂直により近い方向に繰り返して形成されている。すなわち、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、基準軸を空間方向 Xを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、 4 5度乃至 9 0度のいずれかの値である。

水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、例えば、水平方向に 1列の画素に円弧形状またはつめ形状が形成され、円弧形状またはつめ形状が水平方向により近い方向に繰り返して形成されている。すなわち、水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、基準軸を空間方向 Xを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、 0度乃至 4 5度のいずれかの値である。

例えば、アクティビティ検出部 4 0 1は、図 5 1で示される、注目画素を中心とした 3 X 3の 9つの画素からなるプロックを入力画像から抽出する。ァクテイビティ検出部 4 0 1は、縦に隣接する画素についての画素値の差分の和、および横に隣接する画素についての画素値の差分の和を算出する。横に隣接する画素についての画素値の差分の和 h_{d i f f} は、式（3 5 ) で求められる。 ^hdiff ⁼∑ (^Pi+1, j^_Pi, j).

• · · (3 5) 同様に、縦に隣接する画素についての画素値の差分の和 v_{di f f} は、式（3 6) で求められる。

v_diff = (P_u+1-P_u)

• · · (3 6) 式（35) および式（36) において、 Pは、画素値を示し、 iは、画素の横方向の位置を示し、 jは、画素の縦方向の位置を示す。

ァクティビティ検出部 40 1は、算出された横に隣接する画素についての画素値の差分の和 h_{dif f} および縦に隣接する画素についての画素値の差分の和 v_{di f f} を比較して、入力画像における、基準軸を基準としたデータの定常性の角度の範囲を判定するようにしてもよい。すなわち、この場合、ァクティビティ検出部 401は、空間方向の位置に対する画素値の変化で示される形状が水平方向に繰り返して形成されているか、垂直方向に繰り返して形成されているかを判定する。

例えば、横に 1列の画素上に形成された円弧についての横方向の画素値の変化は、縦方向の画素値の変化に比較して大きく、横に 1列の画素上に形成された円弧についての縦方向の画素値の変化は、横方向の画素値の変化に比較して大きく、データの定常性の方向、すなわち、データ 3である入力画像が有している、一定の特徴の所定の次元の方向の変化は、データの定常性に直交する方向の変化に比較して小さいと言える。言い換えれば、データの定常性の方向の差分に比較して、データの定常性の方向に直交する方向（以下、非定常方向とも称する）の差分は大きい。

例えば、図 5 2に示すように、アクティビティ検出部 40 1は、算出された横に隣接する画素についての画素値の差分の和 h_{di ff} および縦に隣接する画素についての画素値の差分の和 v_{di f f} を比較して、横に隣接する画素についての画素値の差分の和 h_{di ff} が大きい場合、基準軸を基準としたデータの定常性の角度が、 4 5度乃至 1 3 5度のいずれかの値であると判定し、縦に隣接する画素についての画素値の差分の和 v_{d i f f} が大きい場合、基準軸を基準としたデータの定常性の角度が、 0度乃至 4 5度のいずれかの値、または 1 3 5 度乃至 1 8 0度のいずれかの値であると判定する。

例えば、アクティビティ検出部 4 0 1は、判定の結果を示すァタティビティ情報をデータ選択部 4 0 2および定常方向導出部 4 0 4に供給する。

なお、アクティビティ検出部 4 0 1は、 5 X 5の 2 5の画素からなるブロック、または 7 X 7の 4 9の画素からなるプロックなど、任意の大きさのプロックを抽出して、アクティビティを検出することができる。

データ選択部 4 0 2は、入力画像の画素から注目画素を順に選択し、ァクテイビティ検出部 4 0 1から供給されたアクティビティ情報を基に、注目画素おょぴ基準軸を基準とした角度毎に、垂直方向に 1列または水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

例えば、ァクティビティ情報が垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、 4 5度乃至 1 3 5度のいずれかの値なので、データ選択部 4 0 2 は、注目画素および基準軸を基準とした 4 5度乃至 1 3 5度の範囲の所定の角度毎に、垂直方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。ァクティビティ情報が水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度ヽ 0度乃至 4 5度または 1 3 5度乃至 1 8 0度のいずれかの値なので、データ選択部 4 0 2は、注目画素および基準軸を基準とした 0度乃至 4 5度または 1 3 5度乃至 1 8 0度の範囲の所定の角度毎に、水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

また、例えば、データの定常性の角度が 4 5度乃至 1 3 5度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部 4 0 2は、注目画素および基準軸を基準とした 4 5度乃至 1 3 5度の範囲の所定の角度毎に、垂直方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。データの定常性の角度が 0度乃至 4 5度または 1 3 5度乃至 1 8 0度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部 4 0 2は、注目画素おょぴ基準軸を基準とした 0度乃至 4 5度または 1 3 5度乃至 1 8 0度の範囲の所定の角度毎に、水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

データ選択部 4 0 2は、抽出した画素からなる複数の組を誤差推定部 4 0 3 に供給する。

誤差推定部 4 0 3は、抽出した画素からなる複数の組について、角度毎に、画素の組の相関を検出する。

例えば、誤差推定部 4 0 3は、 1つの角度に対応する、垂直方向に 1列の所定の数の画素からなる画素の複数の組について、画素の組における対応する位置の画素の画素値の相関を検出する。誤差推定部 4 0 3は、 1つの角度に対応する、水平方向に 1列の所定の数の画素からなる画素の複数の組について、組における対応する位置の画素の画素値の相関を検出する。

誤差推定部 4 0 3は、検出した相関を示す相関情報を定常方向導出部 4 0 4 に供給する。誤差推定部 4 0 3は、相関を示す値として、データ選択部 4 0 2 から供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、差分の絶対値の和を相関情報として定常方向導出部 4 0 4に供給する。

定常方向導出部 4 0 4は、誤差推定部 4 0 3から供給された相関情報に基いて、欠落した実世界 1の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。例えば、定常方向導出部 4 0 4は、誤差推定部 4◦ 3から供給された相関情報に基いて、データの定常性の角度として、最も相関の強い画素の組に対する角度を検出し、検出された最も相関の強い画素の組に対する角度を示すデータ定常性情報を出力する。

以下の説明において、適宜、 0度乃至 9 0度の範囲（いわゆる第 1象限）のデータの定常性の角度を検出するものとして説明する。

図 5 3は、図 4 9に示すデータ定常性検出部 1 0 1のより詳細な構成を示すブロック図である。

データ選択部 4 0 2は、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lを含む。誤差推定部 4 0 3は、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2 - Lを含む。定常方向導出部 4 0 4は、最小誤差角度選択部 4 1 3を含む。まず、アクティビティ情報で示される、データの定常性の角度が 4 5度乃至 1 3 5度のいずれかの値であるときの画素選択部 4 1 1 - 1乃至画素選択部 4 1 1一 Lの処理を説明する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、空間方向 Xを示す軸を基準軸として、注目画素を通る、それぞれ異なる所定の角度の直線を設定する。画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1 列の画素の列に属する画素であって、注目画素の上側の所定の数の画素、および注目画素の下側の所定の数の画素、並びに注目画素を画素の組として選択する。 ·

例えば、図 5 4で示されるように、画素選択部 4 1 1一 1乃至画素選択部 4 1 1ーは、注目画素が属する縦に 1列の画素の列に属する画素から、注目画素を中心として 9つの画素を画素の組として選択する。

図 5 4において、マス目状の 1つの四角（1つのマス目）は、 1つの画素を' 示す。図 5 4において、中央に示す丸は、注目画素を示す。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、左側の縦に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図 5 4において、注目画素の左下側の丸は、選択された画素の例を示す。そして、画素選択部 4 1 1 T/JP2004/008690

86

一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、左側の縦に 1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。

例えば、図 5 4で示されるように、画素選択部 4 1 1一 1乃至画素選択部 4 1 1ーは、注目画素が属する縦に 1列の画素の列の、左側の縦に 1列の画素の列に属する画素から、直線に最も近い位置の画素を中心として 9つの画素を画素の組として選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、左側に 2つめの縦に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図 5 4において、最も左側の丸は、選択された画素の例を示す。そして、画素選択部 4 1 1 - 1 乃至画素選択部 4 1 1 _ Lは、注目画素が属する縦に 1列の画素の列の、左側に 2つめの縦に 1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。

例えば、図 5 4で示されるように、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、左側に 2つめの縦に 1 列の画素の列に属する画素から、直線に最も近い位置の画素を中心として 9つの画素を画素の組として選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、右側の縦に 1列の画素の列に属する画素であって、それぞ' れに設定された直線に最も近い位置の画素を選択する。図 5 4において、注目画素の右上側の丸は、選択された画素の例を示す。そして、画素選択部 4 1 1 一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、右側の縦に 1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。

例えば、図 54で示されるように、画素選択部 41 1一 1乃至画素選択部 4 11—Lは、注目画素が属する縦に 1列の画素の列の、右側の縦に 1列の画素の列に属する画素から、直線に最も近い位置の画素を中心として 9つの画素を画素の組として選択する。

画素選択部 41 1一 1乃至画素選択部 41 1— Lは、注目画素が属する縦に 1列の画素の列の、右側に 2つめの縦に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図 54において、最も右側の丸は、このように選択された画素の例を示す。そして、画素選択部 41 1 - 1乃至画素選択部 41 1一 Lは、注目画素が属する縦に 1列の画素の列の、右側に 2つめの縦に 1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。

例えば、図 54で示されるように、画素選択部 41 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、右側に 2つめの縦に 1 列の画素の列に属する画素から、直線に最も近い位置の画素を中心として 9つの画素を画素の組として選択する。

このように、画素選択部 41 1— 1乃至画素選択部 41 1一 Lは、それぞれ、画素の組を 5つ選択する。

画素選択部 41 1 _ 1乃至画素選択部 41 1一 Lは、互いに異なる角度（に設定された直線）についての、画素の組を選択する。例えば、画素選択部 41 ' 1一 1は、 45度についての、画素の組を選択し、画素選択部 41 1— 2は、 47. 5度についての、画素の組を選択し、画素選択部 41 1一 3は、 50度についての、画素の組を選択する。画素選択部 41 1 - 1乃至画素選択部 41 1一 Lは、 52. 5度から 1 35度までの、 2. 5度毎の角度についての、画素の組を選択する。 JP2004/008690

88

なお、画素の組の数は、例えば、 3つ、または 7つなど、任意の数とすることができる。また、 1つの組として選択された画素の数は、例えば、 5つ、または 1 3など、任意の数とすることができる。

なお、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、縦方向に所定の範囲の画素から、画素の組を選択するようにすることができる。例えば、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、縦方向に 1 2 1個の画素（注目画素に対して、上方向に 6 0画素、下方向に 6 0画素）から、画素の組を選択する。この場合、データ定常性検出部 1 0 1は、空間方向 Xを示す軸に対して、 8 8 . 0 9度まで、データの定常性の角度を検出することができる。画素選択部 4 1 1— 1は、選択した画素の組を推定誤差算出部 4 1 2— 1に供給し、画素選択部 4 1 1 _ 2は、選択した画素の組を推定誤差算出部 4 1 2 一 2に供給する。同様に、画素選択部 4 1 1 _ 3乃至画素選択部 4 1 1一のそれぞれは、選択した画素の組を推定誤差算出部 4 1 2— 3乃至推定誤差算出部 4 1 2 _ Lのそれぞれに供給する。

推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。例えば、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、相関を示す値として、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。

より具体的には、推定誤差算出部 4 1 2 _ 1乃至推定誤差算出部 4 1 2 - L は、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左側の縦に 1列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から 2番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2 - L は、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左に 2つめの縦に 1列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。 ' そして、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2 _ Lは、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右側の縦に 1列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から 2番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右に 2つめの縦に 1列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。

推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、このように算出された画素値の差分の絶対値の和を全て加算して、画素値の差分の絶対値の総和を算出する。

推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、検出された相関を示す情報を、最小誤差角度選択部 4 1 3に供給する。例えば、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、算出された画素値の差分の絶対値の総和を最小誤差角度選択部 4 1 3に供給する。

なお、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素値の差分の絶対値の和に限らず、画素値の差分の自乗の和、または画素値を基にした相関係数など他の値を相関値として算出するようにすることができる。最小誤差角度選択部 4 1 3は、互いに異なる角度についての、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lにおいて検出された相関に基いて、欠落した実世界 1の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。すなわち、最小誤差角度選択部 4 1 3は、互いに異なる角度についての、推定誤差算出部 4 1 2 - 1 乃至推定誤差算出部 4 1 2— Lにおいて検出された相関に基いて、最も強い相関を選択し、選択された相関が検出された角度を、基準軸を基準としたデータの定常性の角度とすることにより、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。

例えば、最小誤差角度選択部 4 1 3は、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lから供給された、画素値の差分の絶対値の総和のうち、最小の総和を選択する。最小誤差角度選択部 4 1 3は、選択された総和が算出された画素の組について、注目画素に対して、左側に 2つめの縦に 1列の画素の列に属する画素であって、直線に最も近い位置の画素の位置、および、注目画素に対して、右側に 2つめの縦に 1列の画素の列に属する画素であって、直線に最も近い位置の画素の位置を参照する。

図 5 4で示されるように、最小誤差角度選択部 4 1 3は、注目画素の位置に対する、参照する画素の位置の縦方向の距離 Sを求める。最小誤差角度選択部 4 1 3は、図 5 5で示すように、式（3 7 ) から、欠落した実世界 1の光信号の定常性に対応する、画像データである入力画像における、基準軸である空間方向 Xを示す軸を基準としたデータの定常性の角度 Θを検出する。

-1 S

Θ = tan 2

• · · ( 3 7 )

次に、アクティビティ情報で示される、データの定常性の角度が 0度乃至 4 5度および 1 3 5度乃至 1 8 0度のいずれかの値であるときの画素選択部 4 1 1 - 1乃至画素選択部 4 1 1一 Lの処理を説明する。 T/JP2004/008690

. 91

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、空間方向 Xを示す軸を基準軸として、注目画素を通る、所定の角度の直線を設定し、注目画素が属する横に 1列の画素の列に属する画素であって、注目画素の左側の所定の数の画素、および注目画素の右側の所定の数の画素、並びに注目画素を画素の組として選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1列の画素の列の、上側の横に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1列の画素の列の、上側の横に 1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1列の画素の列の、上側に 2つめの横に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部 4 1 1— 1乃至画素選択部 4 1 1— Lは、注目画素が属する横に 1列の画素の列の、上側に 2つめの横に 1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1列の画素の列の、下側の横に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1列の画素の^ の、下側の横に 1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。 4 008690

92

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1列の画素の列の、下側に 2つめの横に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1列の画素の列の、下側に 2つめの横に 1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。

このように、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、それぞれ、画素の組を 5つ選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、互いに異なる角度についての、画素の組を選択する。例えば、画素選択部 4 1 1一 1は、 0度についての、画素の組を選択し、画素選択部 4 1 1一 2は、 2 . 5度についての、画素の組を選択し、画素選択部 4 1 1一 3は、 5度についての、画素の組を選択する。画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、 7 . 5度から 4 5 度おょぴ 1 3 5度から 1 8 0度までの、 2 . 5度毎の角度についての、画素の組を選択する。 '

画素選択部 4 1 1一 1は、選択した画素の組を推定誤差算出部 4 1 2— 1に供給し、画素選択部 4 1 1一 2は、選択した画素の組を推定誤差算出部 4 1 2 _ 2に供給する。同様に、画素選択部 4 1 1一 3乃至画素選択部 4 1 1一のそれぞれは、選択した画素の組を推定誤差算出部 4 1 2— 3乃至推定誤差算出部 4 1 2— Lのそれぞれに供給する。

推定誤差算出部 4 1 2 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、検出された相関を示す情報を、最小誤差角度選択部 4 1 3に供給する。最小誤差角度選択部 4 1 3は、推定誤差算出部 4 1 2 - 1乃至推定誤差算出部 4 1 2— Lにおいて検出された相関に基いて、欠落した実世界 1の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。

次に、図 5 6のフローチャートを参照して、ステップ S 1 0 1の処理に対応する、図 4 9で構成が示されるデータ定常性検出部 1 0 1による、データの定常性の検出の処理を説明する。

ステップ S 4 0 1において、アクティビティ検出部 4 0 1およびデータ選択部 4 0 2は、入力画像から、注目している画素である注目画素を選択する。ァクテイビティ検出部 4 0 1およびデータ選択部 4 0 2は、同一の注目画素を選択する。例えば、ァクティビティ検出部 4 0 1およびデータ選択部 4 0 2は、入力画像から、ラスタスキャン順に、注目画素を選択する。

ステップ S 4 0 2において、アクティビティ検出部 4 0 1は、注目画素に対するアクティビティを検出する。例えば、アクティビティ検出部 4 0 1は、注目画素を中心とした所定の数の画素からなるブロックの縦方向に並ぶ画素の画素値の差分および横方向に並ぶ画素の画素値の差分を基に、ァクティビティを検出する。

ァクティビティ検出部 4 0 1は、注目画素に対する空間方向のァクティビティを検出して、検出した結果を示すアクティビティ情報をデータ選択部 4 0 2 および定常方向導出部 4 0 4に供給する。

ステップ S 4 0 3において、データ選択部 4 0 2は、注目画素を含む画素の列から、注目画素を中心とした所定の数の画素を、画素の組として選択する。例えば、データ選択部 4 0 2は、注目画素が属する縦または横に 1列の画素の列に属する画素であって、注目画素の上側または左側の所定の数の画素、およぴ注目画素の下側または右側の所定の数の画素、並びに注目画素を画素の組として選択する。ステップ S 4 0 4において、データ選択部 4 0 2は、ステップ S 4 0 2の処理で検出されたアクティビティを基にした、所定の範囲の角度毎に、所定の数の画素の列から、それぞれ所定の数の画素を、画素の組として選択する。例えば、データ選択部 4 0 2は、所定の範囲の角度を有し、空間方向 Xを示す軸を基準軸として、注目画素を通る直線を設定し、注目画素に対して、横方向または縦方向に 1列または 2列離れた画素であって、直線に最も近い画素を選択し、選択された画素の上側または左側の所定の数の画素、および選択された画素の下側または右側の所定の数の画素、並びに線に最も近い選択された画素を画素の組として選択する。データ選択部 4 0 2は、角度毎に、画素の組を選択する。データ選択部 4 0 2は、選択した画素の組を誤差推定部 4 0 3に供給する。ステップ S 4 0 5において、誤差推定部 4 0 3は、注目画素を中心とした画素の組と、角度毎に選択した画素の組との相関を計算する。例えば、誤差推定部 4 0 3は、角度毎に、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。

角度毎に選択された、画素の組の相互の相関を基に、データの定常性の角度を検出するようにしてもよい。

誤差推定部 4 0 3は、算出された相関を示す情報を、定常方向導出部 4 0 4 に供給する。 '

ステップ S 4 0 6において、定常方向導出部 4 0 4は、ステップ S 4 0 5の処理で算出された相関を基に、相関が最も強い画素の組の位置から、欠落した実世界 1の光信号の定常性に対応する、画像データである入力画像における、基準軸を基準としたデータの定常性の角度を検出する。例えば、定常方向導出部 4 0 4は、画素値の差分の絶対値の総和のうち、最小の総和を選択し、選択された総和が算出された画素の組の位置から、データの定常性の角度 Θを検出する。

定常方向導出部 4 0 4は、検出したデータの定常性の角度を示すデータ定常性情報を出力する。ステップ S 4 0 7において、データ選択部 4 0 2は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップ S 4 0 1に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。

ステップ S 4 0 7において、全ての画素の処理を終了したと判定された場合、処理は終了する。

このように、データ定常性検出部 1 0 1は、欠落した実世界 1の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。

なお、図 4 9で構成が示されるデータ検出部 1 0 1は、注目しているフレームである注目フレームの、注目している画素である注目画素について、入力画像の空間方向のァクティビティを検出し、検出されたァクティビティに応じて、注目画素おょぴ空間方向の基準軸を基準とした角度、並びに動きべクトル毎に、注目フレームおよび注目フレームの時間的に前または後ろのフレームのそれぞれから、垂直方向に 1列または水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出し、抽出された画素の組の相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。

例えば、図 5 7に示すように、データ選択部 4 0 2は、検出されたァクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームであるフレーム #n、フレーム #n- 1、およびフレーム #n+lのそれぞれから、垂直方向に 1列または水平方向に 1列の所定 ' の数の画素からなる画素の組を、複数抽出する。

フレーム - 1は、フレーム #nに対して時間的に前のフレームであり、フレ一 Λ#η+1は、フレーム #ηに対して時間的に後のフレームである。すなわち、フレーム #η- 1、フレーム #η、およびフレーム #η+1は、フレーム #n- 1、フレーム #n、およびフレーム #n+lの順で表示される _π 誤差推定部 4 0 3は、抽出した画素からなる複数の組について、 1つの角度および 1つの動きベクトル毎に、画素の組の相関を検出する。定常方向導出部 4 0 4は、画素の組の相関に基づいて、欠落した実世界 1の光信号の定常性に対応する、入力画像における、時間方向および空間方向のデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。

次に、図 5 8乃至図 8 8を参照して、実世界推定部 1 0 2 (図 3 ) の実施の形態の他の例について説明する。

図 5 8は、この例の実施の形態の原理を説明する図である。

図 5 8で示されるように、センサ 2に入射される画像である、実世界 1の信号（光の強度の分布）は、所定の関数 Fで表される。なお、以下、この例の実施の形態の説明においては、画像である、実世界 1の信号を、特に光信号と称し、関数 Fを、特に光信号関数 Fと称する。

この例の実施の形態においては、光信号関数 Fで表される実世界 1の光信号が所定の定常性を有する場合、実世界推定部 1 0 2が、センサ 2からの入力画像（定常性に対応するデータの定常性を含む画像データ）と、データ定常性検出部 1 0 1からのデータ定常性情報（入力画像のデータの定常性に対応するデータ定常性情報）を使用して、光信号関数 Fを所定の関数 f で近似することによって、光信号関数 Fを推定する。なお、以下、この例の実施の形態の説明においては、関数 f を、特に近似関数 f と称する。

換言すると、この例の実施の形態においては、実世界推定部 1 0 2が、近似関数 f で表されるモデル 1 6 1 (図 4 ) を用いて、光信号関数 Fで表される画像（実世界 1の光信号）を近似（記述）する。従って、以下、この例の実施 ' の形態を、関数近似手法と称する。

ここで、関数近似手法の具体的な説明に入る前に、本願出願人が関数近似手法を発明するに至った背景について説明する。

図 5 9は、センサ 2が C C Dとされる場合の積分効果を説明する図である。 PC漏賺 ₀₈₆₉₀

97

図 5 9で示されるように、センサ 2の平面上には、複数の検出素子 2— 1が配置されている。

図 5 9の例では、検出素子 2— 1の所定の 1辺に平行な方向が、空間方向の 1方向である X方向とされており、 X方向に垂直な方向が、空間方向の他方向である Y方向とされている。そして、 X— Y平面に垂直な方向が、時間方向である t方向とされている。

また、図 59の例では、センサ 2の各検出素子 2— 1のそれぞれの空間的な形状は、 1辺の長さが 1の正方形とされている。そして、センサ 2のシャツタ時間（露光時間）が 1とされている。

さらに、図 5 9の例では、センサ 2の所定の 1つの検出素子 2— 1の中心が、空間方向（X方向と Y方向）の原点（X方向の位置 x = 0、および Y方向の位置 y = 0) とされており、また、露光時間の中間時刻が、時間方向（t方向）の原点（1方向の位置セ =0) とされている。

この場合、空間方向の原点（x = 0, y = 0) にその中心が存在する検出素子 2— 1は、 X方向に- 0.5乃至 0.5の範囲、 Y方向に- 0.5乃至 0.5の範囲、および t方向に- 0.5乃至 0.5の範囲で光信号関数 F(x，y，t)を積分し、その積分値を画素値 Pとして出力することになる。

即ち、空間方向の原点にその中心が存在する検出素子 2— 1から出力される画素値 Pは、次の式（38) で表される。

r+ .B p+0.5 r+O.B 、

P = J•'- _n0.5_R J «'- _n0.5. — _n 0.5_R F(x, y,t)dxdydt

• · · (38) その他の検出素子 2— 1も同様に、対象とする検出素子 2— 1の中心を空阛方向の原点とすることで、式（38) で示される画素値 Ρを出力することになる。

図 60は、センサ 2の積分効果の具体的な例を説明する図である。 P T/JP2004/008690

98

図 6 0において、 X方向と Y方向は、センサ 2の X方向と Υ方向（図 5 9 ) を表している。

実世界 1の光信号のうちの 1部分（以下、このような部分を、領域と称する） 2 3 0 1は、所定の定常性を有する領域の 1例を表している。

なお、実際には、領域 2 3 0 1は連続した光信号の 1部分（連続した領域）である。これに対して、図 6 0においては、領域 2 3 0 1は、 2 0個の小領域 (正方形の領域）に区分されているように示されている。これは、領域 2 3 0 1の大きさが、 X方向に対して 4個分、かつ Υ方向に対して 5個分のセンサ 2 の検出素子（画素）が並んだ大きさに相当することを表すためである。即ち、領域 2 3 0 1内の 2 0個の小領域（仮想領域）のそれぞれは 1つの画素に相当する。

また、領域 2 3 0 1のうちの図中白い部分は細線に対応する光信号を表している。従って、領域 2 3 0 1は、細線が続く方向に定常性を有していることになる。そこで、以下、領域 2 3 0 1を、細線含有実世界領域 2 3 0 1と称する。この場合、細線含有実世界領域 2 3 0 1 (実世界 1の光信号の 1部分）がセンサ 2により検出されると、センサ 2からは、積分効果により、入力画像（画素値）の領域 2 3 0 2 (以下、細線含有データ領域 2 3 0 2と称する）が出力される。 . '

なお、細線含有データ領域 2 3 0 2の各画素のそれぞれは、図中、画像として示されているが、実際には、所定の 1つの値を表すデータである。即ち、細線含有実世界領域 2 3 0 1は、センサ 2の積分効果により、所定の 1つの画素値をそれぞれ有する 2 0個の画素（X方向に 4画素分、かつ Υ方向に 5画素分の総計 2 0個の画素）に区分された細線含有データ領域 2 3 0 2に変化してしまう（歪んでしまう）。

図 6 1は、センサ 2の積分効果の具体的な他の例（図 6 0とは異なる例）を説明する図である。 2004/008690

99

図 6 1において、 X方向と Y方向は、センサ 2の X方向と Y方向（図 5 9 ) を表している。

実世界 1の光信号の 1部分（領域） 2 3 0 3は、所定の定常性を有する領域の他の例（図 6 0の細線含有実世界領域 2 3 0 1とは異なる例）を表している。なお、領域 2 3 0 3は、細線含有実世界領域 2 3 0 1と同じ大きさを有する領域である。即ち、細線含有実世界領域 2 3 0 1と同様に、領域 2 3 0 3も、実際には連続した実世界 1の光信号の 1部分（連続した領域）であるが、図 6 1においては、センサ 2の 1画素に相当する 2 0個の小領域（正方形の領域）に区分されているように示されている。

また、領域 2 3 0 3は、所定の第 1の光の強度（値）を有する第 1の部分と、所定の第 2の光の強度（値）を有する第 2の部分のエッジを含んでいる。従つて、領域 2 3 0 3は、エッジが続く方向に定常性を有していることになる。そこで、以下、領域 2 3 0 3を、 2値エッジ含有実世界領域 2 3 0 3と称する。この場合、 2値エッジ含有実世界領域 2 3 0 3 (実世界 1の光信号の 1部分）がセンサ 2により検出されると、センサ 2からは、積分効果により、入力画像（画素値）の領域 2 3 0 4 (以下、 2値エッジ含有データ領域 2 3 0 4と称する）が出力される。

なお、 2値エッジ含有データ領域 2 3 0 4の各画素値のそれぞれは、細線含有データ領域 2 3 0 2と同様に、図中、画像として表現されているが、実際には、所定の値を表すデータである。即ち、 2値エッジ含有実世界領域 2 3 0 3 は、センサ 2の積分効果により、所定の 1つの画素値をそれぞれ有する 2 0個の画素（X方向に 4画素分、かつ Υ方向に 5画素分の総計 2 0個の画素）に区分された 2値エッジ含有データ領域 2 3 0 4に変化してしまう（歪んでしま 5 ) 。

従来の画像処理装置は、このような細線含有データ領域 2 3 0 2や 2値エツジ含有データ領域 2 3 0 4等、センサ 2から出力された画像データを原点（基準）とするとともに、画像データを処理の対象として、それ以降の画像処理を行っていた。即ち、センサ 2から出力された画像データは、積分効果により実世界 1の光信号とは異なるもの（歪んだもの）となっているにも関わらず、従来の画像処理装置は、その実世界 1の光信号とは異なるデータを正として画像処理を行っていた。

その結果、従来の画像処理装置では、センサ 2から出力された段階で、実世界のディテールがつぶれてしまった波形（画像データ）を基準として、その波形から、元のディテールを復元することは非常に困難であるという課題があつた。

そこで、関数近似手法においては、この課題を解決するために、上述したように（図 5 8で示されるように）、実世界推定部 1 0 2力 S、細線含有データ領域 2 3 0 2や 2値エッジ含有データ領域 2 3 0 4のようなセンサ 2から出力された画像データ（入力画像）から、光信号関数 F (実世界 1の光信号）を近似関数 f で近似することによって、光信号関数 Fを推定する。

これにより、実世界推定部 1 0 2より後段において（いまの場合、図 3の画像生成部 1 0 3 ) 、積分効果が考慮された画像データ、即ち、近似関数 f により表現可能な画像データを原点として、その処理を実行することが可能になる。

以下、図面を参照して、このような関数近似手法のうちの 3つの具体的な手法（第 1乃至第 3の関数近似手法）のそれぞれについて個別に説明していく。はじめに、図 6 2乃至図 7 6を参照して、第 1の関数近似手法について説明する。

図 6 2は、上述した図 6 0で示される細線含有実世界領域 2 3 0 1を再度表した図である。

図 6 2において、 X方向と Y方向は、センサ 2の X方向と Y方向（図 5 9 ) を表している。

第 1の関数近似手法は、例えば、図 6 2で示されるような細線含有実世界領域 2 3 0 1に対応する光信号関数 F (x, y-，t)を X方向（図中矢印 2 3 1 1の方向）に射影した 1次元の波形（以下、このような波形を、 X断面波形 F(x)と称する）を、例えば、 n次（nは、任意の整数）の多項式などの近似関数 f(x)' で近似する手法である。従って、以下、第 1の関数近似手法を、特に、 1次元近似手法と称する。

なお、 1次元近似手法において、近似の対象となる X断面波形 F(x)は、勿論、図 62の細線含有実世界領域 230 1に対応するものに限定されない。即ち、後述するように、 1次元近似手法においては、定常性を有する実世界 1の光信号に対応する X断面波形 F(x)であれば、いずれのものでも近似することが可能である。

また、光信号関数 F(x，y，t)の射影の方向は X方向に限定されず、 Y方向または t方向でもよい。即ち、 1次元近似手法においては、光信号関数

F(x, y, t)を Y方向に射影した関数 F(y)を、所定の近似関数 f (y)で近似することも可能であるし、光信号関数 F(x，y，t)を t方向に射影した関数 F(t)を、所定の近似関数 f(t)で近似することも可能である。

より詳細には、 1次元近似手法は、例えば、 X断面波形 F(x)を、次の式

(39) で示されるような、 n次の多項式などの近似関数 f(x)で近似する手法である。

π

f (X) = W₀+W₁X+W₂X+- * '+W_nXⁿ = ∑ jX¹

• · · (3 9) 即ち、 1次元近似手法においては、実世界推定部 1 02が、式（39) の X¹ の係数（特徴量） ^ を演算することで、 X断面波形 F(x)を推定する。

この特徴量 ^ の演算方法は、特に限定されず、例えば、次の第 1乃至第 3 ' の方法が使用可能である。

即ち、第 1の方法は、従来から利用されている方法である。

これに対して、第 2の方法は、本願出願人が新たに発明した方法であって、第 1の方法に対して、さらに、空間方向の定常性を考慮した方法である。しかしながら、後述するように、第 1の方法と第 2の方法においては、センサ 2の積分効果が考慮されていない。従って、第 1の方法または第 2の方法により演算された特徴量を上述した式（3 9 ) に代入して得られる近似関数 f (x)は、入力画像の近似関数ではあるが、厳密には、 X断面波形 F (x)の近似関数とは言えない。

そこで、本願出願人は、第 2の方法に対して、センサ 2の積分効果をさらに考慮して特徴量 ^ を演算する第 3の方法を発明した。この第 3の方法により演算された特徴量 Wi を、上述した式（3 9 ) に代入して得られる近似関数 f (x)は、センサ 2の積分効果を考慮している点で、 X断面波形 F (x)の近似関数であると言える。

このように、厳密には、第 1の方法と第 2の方法は、 1次元近似手法とは言えず、第 3の方法のみが 1次元近似手法であると言える。

換言すると、図 6 3で示されるように、第 2の方法は、 1次元近似手法とは異なる。即ち、図 6 3は、第 2の方法に対応する実施の形態の原理を説明する図である。

図 6 3で示されるように、第 2の方法に対応する実施の形態においては、光信号関数 Fで表される実世界 1の光信号が所定の定常性を有する場合、実世界推定部 1 0 2が、センサ 2からの入力画像（定常性に対応するデータの定常性を含む画像データ）と、データ定常性検出部 1 0 1からのデータ定常性情報 (入力画像のデータの定常性に対応するデータ定常性情報）を使用して、 X断面波形 F (x)を近似するのではなく、センサ 2からの入力画像を所定の近似関数（X)で近似する。

このように、第 2の方法は、センサ 2の積分効果を考慮せず、入力画像の近似に留まっている点で、第 3の方法と同一レベルの手法であるとは言い難い。しかしながら、第 2の方法は、空間方向の定常性を考慮している点で、従来の第 1の方法よりも優れた手法である。 TJP2004/008690

103

以下、第 iの方法、第 2の方法、および第 3の方法のそれぞれの詳細について、その順番で個別に説明していく。

なお、以下、第 1の方法、第 2の方法、および第 3の方法により生成される近似関数 f(x)のそれぞれを、他の方法のものと区別する場合、特に、近似関数 ^ (x)、近似関数 f₂ (x)、および近似関数 f₃ ）とそれぞれ称する。

はじめに、第 1の方法の詳細について説明する。

第 1の方法においては、上述した式（3 9) で示される近似関数 ^ (X)が、図 64の細線含有実世界領域 230 1内で成り立つとして、次の予測方程式 (40) を定義する。 .

P , y) = ) +e

• · · (40) 式（40) において、 Xは、注目画素からの X方向に対する相対的な画素位置を表している。 yは、注目画素からの Y方向に対する相対的な画素位置を表している。 eは、誤差を表している。具体的には、例えば、いま、図 64で示されるように、注目画素が、細線含有データ領域 2302 (細線含有実世界領域 2301 (図 62) がセンサ 2により検出されて、出力されたデータ）のうちの、図中、左から X方向に 2画素目であって、下から Y方向に 3画素目の画素であるとする。また、注目画素の中心を原点（0,0)とし、センサ 2の X方向と Y方向（図 59) のそれぞれに平行な X 軸と y 軸を軸とする座標系（以下、注目画素座標系と称する）が設定されているとする。この場合、注目画素座標系の座標値（x， y)が、相対画素位置を表すことになる。

また、式（40) において、 P(x，y)は、相対画素位置（x，y)における画素値を表している。具体的には、いまの場合、細線含有データ領域 2302内の

P(x,y)は、図 65で示されるようになる。

図 6 5は、この画素値 P(x,y)をグラフ化したものを表している。

図 6 5において、各グラフのそれぞれの縦軸は、画素値を表しており、横軸は、注目画素からの X方向の相対位置 Xを表している。また、図中、上から 1 番目のグラフの点線は入力画素値 P(x，- 2)を、上から 2番目のグラフの 3点鎖線は入力画素値 P(x，- 1)を、上から 3番目のグラフの実線は入力画素値

P(x, 0)を、 o上から 4番目のグラフの 1点鎖線は入力画素値 P(x， 1)を、上から 5番目（下から 1番目）のグラフの 2点鎖線は入力画素値 P(x， ²)を、それぞれ表している。

上述した式（40) に対して、図 6 5で示される 20個の入力画素値 P(x, - 2),P(x, -l),P(x, 0),P(x, l),P(x, 2) (ただし、 xは、 _ 1乃至 2のうちのいずれかの整数値）のそれぞれを代入すると、次の式（41) で示される 20個の方程式が生成される。なお、 e_k (kは、 1乃至 20のうちのいずれかの整数値）のそれぞれは、誤差を表している。

P(-1,-2) ⁼ (― 1)+e

P(0，一 2) = (0) +e₂

P(1，一 2) = (1)+e₃

P(2,一 2) =fi (2)+e₄

P(-1,-1) = (一 1)+e₅

P(0, -1) ⁼ (0)+e₆

P(1,-1) = (1)+e₇

P(2， -1) ⁼ (2)+e₈

P(-1,0) ⁼ (-1)+e₉

⁼ (0)+e₁₀

P(1,0) ⁼ (1)+e"

P(2,0) ⁼ (2)+e₁₂

P(-1,1) ⁼ (-D+e₁₃

P(0,1) ⁼ (0)+e₁₄

P(1,1) ⁼ (D+e₁₅

P(2,1) ⁼ (2)+e₁₆

P(-1,2) =f₁ (— 1)+e₁₇

P(0,2) = (0)+e₁₈

P(1,2) =f_] (1)+e₁₉

P(2，2) = (2)+e₂₀

(41) 式（41) は、 20個の方程式より構成されているので、近似関数 f\ (x)の特徴量の個数が 20個より少ない場合、即ち、近似関数（X)が 1 9次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量の算出が可能である。なお、最小自乗法の具体的な解法は後述する。

例えば、いま、近似関数 ^ (x)の次数が 5次とされた場合、式（4 1) を利用して最小自乗法により演算された近似関数）（演算された特徴量 Wi により生成される近似関数（X)) は、図 66で示される曲線のようになる。なお、図 66において、縦軸は画素値を表しており、横軸は注目画素からの相対位置 Xを表している。

即ち、図 64の細線含有データ領域 2302を構成する 20個の画素値 P(x, y) のそれぞれ（図 65で示される入力画素値 P(x，-2)，P(x， - 1),? ，0),? ，1),? ，²)のそれぞれ）を、例えば、 X軸に沿ってそのまま足しこむ（Y方向の相対位置 yを一定とみなして、図 6 5で示される 5つのグラフを重ねる）と、図 66で示されるような、 X軸に平行な複数の線（点線、 3点鎖線、実線、 1点鎖線、および 2点鎖線）が分布する。

ただし、図 66においては、点線は入力画素値 P (x, -2)を、 3点鎖線は入力画素値 P(x，- 1)を、実線は入力画素値 P(x，0)を、 1点鎖線は入力画素値

P(x,l)を、 2点鎖線は入力画素値 P(x, 2)を、それぞれ表している。また、同一の画素値の場合、実際には 2本以上の線が重なることになるが、図 66においては、各線の区別がつくように、各線のそれぞれが重ならないように描画されている。

そして、このように分布した 20個の入力画素値 P(x，- ²),P(x, - 1)，Ρ(χ，0)，Ρ(χ, 1),P(_X， 2)のそれぞれと、値（X)の誤差が最小となるような回帰曲線（最小自乗法により演算された特徴量 ^ を上述した式（38) に代入して得られる近似関数））力図 66で示される曲線（近似関数

f_x ω) となる。このように、近似関数（x)は、 Y方向の画素値（注目画素からの X方向の相対位置が同一の画素値） P (x， -2)， P (X, -1)， P (x， 0) , P (x， 1)， P (x, 2)の平均値を、 X方向に結んだ曲線を単に表しているに過ぎない。即ち、光信号が有する空間方向の定常性を考慮することなく、近似関数 ^ (X)が生成されている。例えば、いまの場合、近似の対象は、細線含有実世界領域 2 3 0 1 (図 6 2 ) とされている。この細線含有実世界領域 2 3 0 1は、図 6 7で示されるように、傾き G_Fで表される空間方向の定常性を有している。なお、図 6 7において、 X方向と Y方向は、センサ 2の X方向と Y方向（図 5 9 ) を表している。従って、データ定常性検出部 1 0 1 (図 5 8 ) は、空間方向の定常性の傾き G_Fに対応するデータ定常性情報として、図 6 7で示されるような角度 0 (傾き G_F に対応する傾き G_f で表されるデータの定常性の方向と、 X方向のなす角度 0 ) を出力することができる。

しかしながら、第 1の方法においては、データ定常性検出部 1 0 1より出力されるデータ定常性情報は一切用いられていない。

換言すると、図 6 7で示されるように、細線含有実世界領域 2 3 0 1の空間方向の定常性の方向は略角度 Θ方向である。しかしながら、第 1の方法は、細線含有実世界領域 2 3 0 1の空間方向の定常性の方向は Y方向であると仮定して（即ち、角度 0が 9 0度であると仮定して）、近似関数（X)の特徴量 ^ を演算する方法である。

このため、近似関数）は、その波形が鈍り、元の画素値よりディテールが減少する関数となってしまう。換言すると、図示はしないが、第 1の方法により生成される近似関数 f i (x)は、実際の X断面波形 F (X)とは大きく異なる波形となってしまう。

そこで、本願出願人は、第 1の方法に対して、空間方向の定常性をさらに考盧して（角度 0を利用して）特徴量^ を演算する第 2の方法を発明した。

即ち、第 2の方法は、細線含有実世界領域 2 3 0 1の定常性の方向は略角度 0方向であるとして、近似関数 f₂ (x) の特徴量 ^ を演算する方法である。具体的には、例えば、空間方向の定常性に対応するデータの定常性を表す傾き G_f は、次の式（42) で表される。

6_f = tan θ

T =4 d^x.

• · · (42) なお、式（42) において、 dxは、図 6 7で示されるような X方向の微小移動量を表しており、 dyは、図 67で示されるような dxに対する Y方向の微小移動量を表している。

この場合、シフト量 C_x (y)を、次の式（43) のように定義すると、第 2の方法においては、第 1の方法で利用した式（40) に相当する式は、次の式 (44) のようになる。

• · · (43)

P(x, y) = f₂(x~C_x(y) ) +e

• - · (44) 即ち、第 1の方法で利用した式（40) は、画素の中心の位置（x、 y)のうちの X方向の位置 Xが、同一の位置に位置する画素の画素値 P(x，y)はいずれも同じ値であることを表している。換言すると、式（40) は、同じ画素値の画素が Y方向に続いている（Y方向に定常性がある）ことを表している。

これに対して、第 2の方法で利用する式（44) は、画素の中心の位置が，7)でぁる画素の画素値？（ 7)は、注目画素（その中心'の位置が原点（0，0) である画素）から X方向に Xだけ離れた場所に位置する画素の画素値 f₂ (x) ) とは一致せず、その画素からさらに X方向にシフト量 C_x (y〉だけ離れた場所に位置する画素（注目画素から X方向に x + C_x (y)だけ離れた場所に位置する画素）の画素値（^f₂ (x + C_x (y)) ) と同じ値であることを表している。換言すると、式（44) は、同じ画素値の画素が、シフト量 C_x (y)に対応 2004/008690

108

する角度 0方向に続い.ている（略角度 0方向に定常性がある）ことを表している。

このように、シフト量 C_x (y)が、空間方向の定常性（いまの場合、図 67の傾き G_Fで表される定常性（厳密には、傾き G_f で表されるデータの定常性））を考慮した補正量であり、シフト量 C_x (y)により式（40) を補正したものが式（44) となる。

この場合、図 64で示される細線含有データ領域 2302の 20個の画素値 P(x, y) (ただし、 Xは、一 1乃至 2のうちのいずれかの整数値。 yは、 _ 2乃至 2のうちのいずれかの整数値）のそれぞれを、上述した式（44) に代入すると次の式（45) で示される 20個の方程式が生成される。

P(-1,-2) = f₂( ;-1-C_x(-2))+e₁

P(0,一 2) = f₂( :0-C_x(-2))+e₂

P(1, - 2) = f₂( :i-C_x(-2))+e₃

P(2，一 2) = f₂( :2 - G_x (- 2))+e₄

P(— 1，一 1) = f₂( :-1-C_x(-1))+e₅

P(0, -1) =f₂ :0-C_x(-1))+e₆

P(1,-1) =f₂ :i-C_x(-1))+e₇

P(2，一 1) =f₂ :2-C_x(-1))+e₈

P(-1，0) =f₂ -1)+e₉

P(0,0) =f₂ ：0) +e₁₀

P(1,0) =f₂

P(2,0) =f₂ 〔2)+e₁₂

P(-1,1) =f₂ [-1-C_x(1))+e₁₃

P(0,1) = 〔0— G_x(1))+e₁₄

P(1,1) =f₂ (1-C_x(1))+e₁₅

P(2,1) =f₂ (2-C_x(1))+e₁₆

P (- 1,2) =f₂ (-1-C_x(2))+e₁₇

P(0，2) =f₂ (0-C_x(2))+e₁₈

P(1，2) =f₂ (1-C_x(2))+e_l9

P(2,2) =f₂ (2-C_x(2))+e₂₀

(45) 式（45) は、上述した式（4 1) と同様に、 20個の方程式より構成されている。従って、第 1の方法と同様に第 2の方法においても、近似関数 f₂ (x) の特徴量 Wi の個数が 20個より少ない場合、即ち、近似関数 f₂ (x)が 1 9次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量 Wi の算出が可能である。なお、最小自乗法の具体的な解法は後述する。

例えば、第 1の方法と同様に近似関数 f₂ (X)の次数が 5次とされた場合、第 2の方法においては、次のようにして特徴量が演算される。

即ち、図 68は、式（45) の左辺で示される画素値 P(x,y)をグラフ化したものを表している。図 68で示される 5つのグラフのそれぞれは、基本的に図 65で示されるものと同一である。

図 6 8で示されるように、最大の画素値（細線に対応する画素値）は、傾き G_f で表されるデータの定常性の方向に続いている。

そこで、第 2の方法においては、図 68で示される入力画素値 P(x，- 2),P(x,_l)，P(x,0),P(x， l),P(x,2)のそれぞれを、例えば、 x軸に沿って足しこむ場合、第 1の方法のようにそのまま足しこむ（yを一定とみなして、図 68で示される状態のまま 5つのグラフを重ねる）のではなく、図 69で示される状態に変化させてから足しこむ。

即ち、図 69は、図 68で示される入力画素値 P(x，- 2)，P(x, - 1)，Ρ(χ，0)，Ρ(χ, l),P(x, 2)のそれぞれを、上述した式（43) .で示されるシフト量 C_x (y)だけシフトさせた状態を表している。換言すると、図 69は、図 68で示される 5つのグラフを、データの定常性の実際の方向を表す傾き G_F を、あたかも傾き G とするように（図中、点線の直線を実線の直線とするように）移動させた状態を表している。

図 6 9の状態で、入力画素値 P (x, -2) , P (x， -1)， P (x, 0) , P (x， 1) , P (x, 2)のそれぞれを、例えば、 x軸に沿って足しこむと（図 6 9で示される状態で 5つのグラフを重ねると）、図 70で示されるような、 X軸に平行な複数の線（点線、 3点鎖線、実線、 1点鎖線、および 2点鎖線）が分布する。なお、図 7 0において、縦軸は画素値を表しており、横軸は注目画素からの相対位置 Xを表している。また、点線は入力画素値 P (x，-2)を、 3点鎖線は入力画素値 P (x，- 1)を、実線は入力画素値 Ρ (χ, Ο)を、 1点鎖線は入力画素値 Ρ (χ, 1)を、 2点鎖線は入力画素値 Ρ (χ， 2)を、それぞれ表している。さらに、— 同一の画素値の場合、実際には 2本以上の線が重なることになるが、図 7 0においては、各線の区別がつくように、各線のそれぞれが重ならないように描画されている。 '

そして、このように分布した 2 0個の入力画素値 P (x, y)のそれぞれ（ただし、 Xは、一 1乃至 2のうちのいずれかの整数値。 yは、一 2乃至 2のうちのいずれかの整数値）と、値 f₂ (x+C_x (y) )の誤差が最小となるような回帰曲線 (最小自乗法により演算された特徴量 ^ を上述した式（3 8 ) に代入して得られる近似関数 f₂ (X) ) は、図 7 0の実線で示される曲線 f₂ (X)となる。

このように、第 2の方法により生成された近似関数 f₂ ）は、データ定常性検出部 1 0 1 (図 5 8 ) より出力される角度 Θ方向（即ち、ほぼ空間方向の定常性の方向）の入力画素値 P (x，y)の平均値を X方向に結んだ曲線を表すことになる。

これに対して、上述したように、第 1の方法により生成された近似関数）は、 Y方向（即ち、空間方向の定常性とは異なる方向）の入力画素値 P (x，y)の平均値を、 X方向に結んだ曲線を単に表しているに過ぎない。

従って、図 7 0で示されるように、第 2の方法により生成された近似関数 f₂ (x)は、第 1の方法により生成された近似関数 ^ (x)よりも、その波形の鈍り度合いが減少し、かつ、元の画素値に対するディテールの減り具合も減少する関数となる。換言すると、図示はしないが、第 2の方法により生成される近似関数 f₂ (x)は、第 1の方法により生成される近似関数 ^ ）よりも実際の X 断面波形 F (X)により近い波形となる。

しかしながら、上述したように、近似関数 f₂ (x)は、空間方向の定常性が考慮されたものではあるが、入力画像（入力画素値）を原点（基準）として生成 PC蘭 004/00画

111

されたものに他ならない。即ち、上述した図 6 3で示されるように、近似関数 f₂ (x)は、 X断面波形 F (x)とは異なる入力画像を近似したに過ぎず、 X断面波形 F (x)を近似したとは言い難い。換言すると、第 2の方法は、上述した式

( 4 4 ) が成立するとして特徴量 _Wi を演算する方法であり、上述した式（3 8 ) の関係は考慮していない（センサ 2の積分効果を考慮していない）。

そこで、本願出願人は、第 2の方法に対して、センサ 2の積分効果をさらに考慮することで近似関数 f₃ (x)の特徴量 ^ を演算する第 3の方法を発明した。即ち、第 3の方法は、空間混合または時間混合の概念を導入した方法である。なお、空間混合と時間混合の両方を考慮すると、説明が複雑になるため、ここでは、空間混合と時間混合のうちの、例えば空間混合を考慮し、時間混合を無視するものとする。

そこで、第 3の方法の説明の前に、図 7 1を参照して、空間混合について説明する。

図 7. 1において、実世界 1の光信号の 1部分 2 3 2 1 (以下、領域 2 3 2 1 と称する）は、センサ 2の 1つの検出素子 (画素）と同じ面積を有する領域を表している。

領域 2 3 2 1がセンサ 2に検出されると、センサ 2からは、領域 2 3 2 1力 S 時空間方向（X方向，Υ方向，および t方向）に積分された値（1つの画素値）

2 3 2 2が出力される。なお、画素値 2 3 2 2は、図中、画像として表現されているが、実際には、所定の値を表すデータである。

実世界 1の領域 2 3 2 1は、前景（例えば、上述した細線）に対応する光信号（図中白い領域）と、背景に対応する光信号（図中黒い領域）に明確に区分される。

これに対して、画素値 2 3 2 2は、前景に対応する実世界 1の光信号と、背景に対応する実世界 1の光信号が積分された値である。換言すると、画素値 2

3 2 2は、前景に対応する光のレベルと背景に対応する光のレベルが空間的に混合されたレベルに対応する値である。このように、実世界 1の光信号のうちの 1画素（センサ 2の検出素子）に対応する部分が、同一レベルの光信号が空間的に一様に分布する部分ではなく、前景と背景のように異なるレベルの光信号のそれぞれが分布する部分である場合、その領域は、センサ 2により検出されると、センサ 2の積分効果により、異なる光のレベルがあたかも空間的に混合されて（空間方向に積分されて） 1 つの画素値となってしまう。このように、センサ 2の画素において、前景に対する画像（実世界 1の光信号）と、背景に対する画像（実世界 1の光信号）が空間的に積分されて、いわば混合されてしまうことが、空間混合であり、そのような画素からなる領域を、ここでは、空間混合領域と称する。

従って、第 3の方法においては、実世界推定部 1 0 2 (図 5 8 ) 1S 実世界 1の元の領域 2 3 2 1 (実世界 1の光信号のうちの、センサ 2の 1画素に対応する部分 2 3 2 1 ) を表す X断面波形 F (x)を、例えば、図 7 2で示されるような、 1次の多項式などの近似関数 f₃ (X)で近似することによって、 X断面波形 F (x)を推定する。

即ち、図 7 2は、空間混合領域である画素値 2 3 2 2 (図 7 1 ) に対応する近似関数 f₃ (x)、即ち、実世界 1の領域 2 3 3 1内の実線（図 7 1 ) に対応する X断面波形 F ( x ) を近似する近似関数 f₃ (X)の例を表している。図 7 2において、図中水平方向の軸は、画素値 2 3 2 2に対応する画素の左下端 x_s ら右下端 x_e までの辺（図 7 1 ) に平行な軸を表しており、 X 軸とされている。図中垂直方向の軸は、画素値を表す軸とされている。

図 7 2において、近似関数 f₃ (X)を x_sから x_e の範囲（画素幅）で積分したものが、センサ 2から出力される画素値 P (x, y)とほぼ一致する（誤差 eだけ存在する）として、次の式（4 6 ) を定義する。

= Γ ^e (w₀+w₁x+w₂x²+- ·■ +w_nxⁿ)dx+e

yⁿ _vⁿ n+1_ n+1

= w₀(x_e—x_s) + '.'+w_n—₁~~_? ~+w_{n n+1} +e

• · · (46) いまの場合、図 6 7で示される細線含有データ領域 2302の 20個の画素値 P (x, y) (ただし、 Xは、 _ 1乃至 2のうちのいずれかの整数値。 yは、一 2乃至 2のうちのいずれかの整数値）から、近似関数 f₃ (X)の特徴量 ^が算出されるので、式（46) の画素値 Pは、画素値 P(x,y)となる。

また、第 2の方法と同様に、空間方向の定常性も考慮する必要があるので、式（46) の積分範囲の開始位置 x_s と終了位置 x_eのそれぞれは、シフト量 C_x (y)にも依存することになる。即ち、式（46) の積分範囲の開始位置 x_s と終了位置 x_eのそれぞれは、次の式（47) のように表される。

x_s = x-C_x (y) -0.5

x_e = x-C_x (y) +0.5

• · · (47) この場合、図 67で示される細線含有データ領域 2302の各画素値それぞれ、即ち、図 68で示される入力画素値 P(x，- 2)，P(x， - 1),Ρ(χ，0)，Ρ(χ， l)，P(x, 2)のそれぞれ（ただし、 Xは、一 1乃至 2のうちのいずれかの整数値）を、上述した式（46) (積分範囲は、上述した式（4 7) ) に代入すると次の式（48) で示される 20個の方程式が生成される。 1-C_X(-2)+0.5

P(-1,-2) =/_

P(0， -2 一一一一

/o 1-0,(-2)-0.5 2，

1-¾(-2)+0.5

P(1,-2 ¾ (- 2) -0.5 f₃(x)dx+e₃,

2 - (- 2) +0.5

P(2, -2 2-¾(-2)-0.5 f₃(x)dx+e₄,

1 - G_X (- +0.5

P(-1,一 1 P(0, -1 _Γ0- ¾(-1)+0.5― ,、」

P(1, - 1 υ-。.5^F3⁽ 7，

2 - ¾(ー1)+0.5 _R ,、，

P(2, -1 = J H)—。.5^F3^(X)DX+E8'

P(-1,0 = !!-0.5 ^F3(X)^DX+E9，

_R2+0.5 ,、■

P(2,0 = l₂-0.5 ^F3^(X)DX+E12'

1-0,(1)+0.5

P(-1, 1 - 1 - (1)-0.5 f₃(x)dx+e₁₃,

,0-C_X(1)+0.5

P(0, 1 '-— ¾(1；) - 0。；.5 )

R 11-- 0,(1)） ++00..55 - ,、」

P(1,1 = /I -- ¾_¾((11)) -- 0O..55 f₃(^x)^dx+e ₁₅，

^. 22-- 00,,((11)) ++00..55 ，、，

P(2, 1 '2- ¾¾((11))--00..55

1-C_X(Z)+0.5

P (- 1,2 - (2)- 0.5 f₃(x)dx+e₁₇,

J—;

0- 0,(2) +0.5

P(0,2) 0-¾(2)-0.5 f₃(x)dx+e₁₈,

1- ¾(2)+0.5

P(1，2 ト -。.5 ^F3(^X)^DX+E19，

P(2,2 _R2 - (2)+0.5 .、」

(48) 式（48). は、上述した式（^{4 5}) と同様に、 20個の方程式より構成されている。従って- 第 2の方法と同様に第 3の方法においても、近似関数）の特徴量 ^ の個数が 2 0個より少ない場合、即ち、近似関数 f₃ (x)が 1 9次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量の算出が可能である。なお、最小自乗法の具体的な解法は後述する。

例えば、近似関数 f ₃ (X)の次数が 5次とされた場合、式（4 8 ) を利用して最小自乗法により演算された近似関数 f₃ (X) (演算された特徴量 ^ により生成される近似関数 f₃ (X) ) は、図 7 3の実線で示される曲線のようになる。なお、図 7 3において、縦軸は画素値を表しており、横軸は注目画素からの相対位置 Xを表している。

図 7 3で示されるように、第 3の方法により生成された近似関数（X) (図中、実線で示される曲線）は、第 2の方法により生成された近似関数 f₂ (X)

(図中、点線で示される曲線）と比較すると、 x = 0における画素値が大きくなり、また、曲線の傾斜の度合いも急な波形となる。これは、入力画素よりディティルが増加して、入力画素の解像度とは無関係となっているためである。即ち、近似関数 f₃ (x) は、 X断面波形 F (x)を近似していると言える。従って、図示はしないが、近似関数: ₃ (x)は、近似関数: f₂ (X)よりも X断面波形 F (x) に近い波形となる。

図 7 4は、このような 1次近似手法を利用する実世界推定部 1 0 2の構成例を表している。

図 7 4において、実世界推定部 1 0 2は、例えば、特徴量 ^ を上述した第 3の方法（最小自乗法）により演算し、演算した特徴量 Wi を利用して上述した式（3 9 ) の近似関数 f (x)を生成することで、 X断面波形 F (x)を推定する。図 7 4で示されるように、実世界推定部 1 0 2には、条件設定部 2 3 3 1、入力画像記憶部 2 3 3 2、入力画素値取得部 2 3 3 3、積分成分演算部 2 3 3 4、正規方程式生成部 2 3 3 5、および近似関数生成部 2 3 3 6が設けられている。条件設定部 23 3 1は、注目画素に対応する X断面波形 F(x)を推定するために使用する画素の範囲（以下、タップ範囲と称する）や、近似闋数 f(x)の次数 nを設定する。

入力画像記憶部 233 2は、センサ 2からの入力画像（画素値）を一次的に格納する。

入力画素値取得部 23 3 3は、入力画像記憶部 23 32に記憶された入力画像のうちの、条件設定部 223 1により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部² 3 35に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。

ところで、ここでは、実世界推定部 1 02は、上述した式（46) と式（4 7) を利用して最小自乗法により近似関数 f(x)の特徴量 ^ を演算するが、上述した式（46) は、次の式（49) のように表現することができる。

P(x,y)

" (x-C_x (y) +0.5)^,+1 - (x-C_x (y) -0.5) ¹⁺¹

= ∑ Wj x ― ^ +e

i=0 +1

• · · (49) 式（49) において、 Si (x_s , x_e ) は、 i次項の積分成分を表している。即ち、積分成分 Si (x_s，x_e)は、次の式（50) で示される。

i+1 i+1

, 、ズ g

ύΐ (^xs， ^xe) - f~j

■ · · (50) 積分成分演算部 2334は、この積分成分 Si (x_s、x_e)を演算する。具体的には、式（5 .0 ) で示される積分成分 Si (x_s，x_e ) (ただし、値 x_s と値は、上述した式（4 6 ) で示される値）は、相対画素位置（x, y)、シフト量 C_x (y)、および、 i次項の iが既知であれば演算可能である。また、これらのうちの、相対画素位置（x，y)は注目画素とタップ範囲により、シフト量 C_x (y)は角度 Θにより（上述した式（4 1 ) と式（4 3 ) により）、 iの範囲は次数 nにより、それぞれ決定される。

従って、積分成分演算部 2 3 3 4は、条件設定部 2 3 3 1により設定されたタップ範囲および次数、並びにデータ定常性検出部 1 0 1より出力されたデータ定常性情報のうちの角度 0に基づいて積分成分 Si (x_s，x_e )を演算し、その演算結果を積分成分テーブルとして正規方程式生成部 2 3 3 5に供給する。正規方程式生成部 2 3 3 5は、入力画素値取得部 2 3 3 3より供給された入力画素値テーブルと、積分成分演算部 2 3 3 4より供給された積分成分テープルを利用して、上述した式（4 6 ) 、即ち、式（4 9 ) の右辺の特徴量 ^ を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部 2 3 3 6に供給する。なお、正規方程式の具体例については後述する。

近似関数生成部 2 3 3 6は、正規方程式生成部 2 3 3 5より供給された正規方程式テーブルに含まれる正規方程式を行列解法で解くことにより、上述した式（4 9 ) の特徴量 _Wi (即ち、 1次元多項式である近似関数 f (X)の係数のそれぞれを演算し、画像生成部 1 0 3に出力する。

次に、図 7 5のフローチャートを参照して、 1次元近似手法を利用する実世界推定部 1 0 2 (図 7 4 ) の実世界の推定処理（図 2 9のステップ S 1 0 2の処理）について説明する。

例えば、いま、センサ 2から出力された 1フレームの入力画像であって、上述した図 6 0の細線含有データ領域 2 3 0 2を含む入力画像が、既に入力画像記憶部 2 3 3 2に記憶されているとする。また、データ定常性検出部 1 0 1力ステップ S 1 0 1 (図 2 9 ) の定常性の検出の処理において、細線含有データ領域 2 302に対してその処理を施して、データ定常性情報として角度 0を既に出力しているとする。

この場合、図 7 5のステップ S 2301において、条件設定部 23 3 1は、条件（タップ範囲と次数）を設定する。

例えば、いま、図 76で示されるタップ範囲 235 1が設定されるとともに、次数として 5次が設定されたとする。

即ち、図 76は、タップ範囲の 1例を説明する図である。図 76において、 X方向と Y方向は、センサ 2の X方向と Y方向（図 5 9) を表している。また、タップ範囲 23 5 1は、 X方向に 4画素分、かつ Y方向に 5画素分の総計 20 個の画素（図中、 20個の正方形）からなる画素群を表している。

さらに、図 76で示されるように、注目画素が、タップ範囲 23 5 1のうちの、図中、左から 2画素目であって、下から 3画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置（x，y) (注目画素の中心（0,0)を原点とする注目画素座標系の座標値）に応じて、図 76で示されるような番号 1 (1は、 0乃至 1 9のうちのいずれかの整数値）が付されるとする。

図 75に戻り、ステップ S 2302において、条件設定部 233 1は、注目画素を設定する。

ステップ S 2303において、入力画素値取得部 2 33 3は、条件設定部 2 3 3 1により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部 23 3 3は、細線含有データ領域 2302 (図 64) を取得し、入力画素値テーブルとして、 20個の入力画素値 P(l)からなるテーブルを生成する。

なお、いまの場合、入力画素値 P(l)と、上述した入力画素値 P(x，y)の関係は、次の式（5 1) で示される関係とされる。ただし、式（5 1) において、左辺が入力画素値 P ( 1 ) を表し、右辺が入力画素値 P(x，y)を表している。 JP2004/008690

119 r 、υノ r 、リ，リノ

、 ■ ノ = P Γ 〖、一 11，厶ノ)

II

p Γ (、 )ノ II II 乙ノ

Γ wノ ■ 、 o 1，ノ

Ρ (Λ)

Γ ノ Γ ，

Γ J / = P ■ ( V— 11， 1匿)ノ、■

< V ^, 1 ノ

、 /ノ V 1 , 國ノ

厂 ϋノ = Ρ(2,1)

Γ ノ = Ρ(-1,0)

1 、隱ノ = Ρ(1,0)

Γ ■ ■ ノ = Ρ(2,0)

「 ■乙ノ = Ρ(-1, -1)

■ 1 ノ

f 、 1 ノ = Ρ(1, -1)

P(16) = P(-1, -2)

P(17)

P(18) = P(1, -2)

P(19)

… ( 5 1 )

2 3 0 4において、積分成分演算部 2 3 3 4は、条件設定部 2 3 3 1により設定された条件（タップ範囲おょぴ次数）、並びにデータ定常性検出部 1 0 1より供給されたデータ定常性情報（角度 0 ) に基づいて積分成分を演算し、積分成分テーブルを生成する。

いまの場合、上述したように、入力画素値は、 P(x，y)でなく P(l)といった、画素の番号 1の値として取得されるので、積分成分演算部 2 3 3 4は、上述した式（5 0) の積分成分 Si (x_s， x_e)を、次の式（5 2) の左辺で示される積分成分 Si (1)といった 1の関数として演算する。

- · · ( 5 2) 具体的には、いまの場合、次の式（5 3) で示される積分成分 Si (1)が演算される。

), -0.5-C_x (2))

S i(2) =S (一 0,5— G_x (2),0.5-C_x(2))

S i(3) =s (0.5— G_x (2),1.5-C_X(2))

S i(4) =s (1.5-C_X(2),2.5-C_x(2))

S i(5) =s (-1.5-C_X(1), -0.5-C_x(D)

S i(6) =s (-0.5-C_x(1),0.5-C_x(D)

S i(7) =s (0.5-C_x(1), 1.5-C_X(D)

S i(8) =s (1.5-C_X(1),2.5-C_X(D)

S i(9) =s (—1.5，—0,5) -1),—0.5-C_x(-D)

-1),0.5-C_x(-D)

1), 1.5-C_x(-D)

1),2.5-C_X(-D)

-2), -0.5-C_x(-2))

Sj (17) =s ,(-0.5-C_x(-2),0.5-C_x(-2))

Sj (18) =s i(0.5-C_x(-2),1.5-C_x(-2))

Sj (19) =s i(1.5-C_x(-2),2.5-C_x(-2))

• · ■ (53) なお、式（5 3) において、左辺が積分成分 Si ( 1 )を表し、右辺が積分成分 Si (x_s,x_e)を表している。即ち、いまの場合、 iは 0乃至 5であるので、 2 0個の S。（1), 20個の Si (1)， 20個の S₂ (1), 20個の S₃ (1), 20個の S₄ (1), 20個の S₅ (1)の総計 1 20個の Si (1)が演算されることになる。より具体的には、はじめに、積分成分演算部 23 34は、データ定常性検出部 10 1より供給された角度 0を使用して、シフト量 C_x (-2) , C_x (- 1)，C_X (1)，C_X (2)のそれぞれを演算する。次に、積分成分演算部 23 34は、演算したシフト量 C_x (- 2)，C_X (- 1),C_X (1)，C_X (2)を使用して式（52) の右辺に示される 2◦個の積分成分 Si (x_s,x_e)のそれぞれを、 i二 0乃至 5のそれぞれについて演算する。即ち、 1 20個の積分成分 Si (x_s，_Xe〉が演算される。なお、この積分成分 Si (x_s,x_e)の演算においては、上述した式（50) が使用される。そして、積分成分演算部 2334は、式（53) に従って、演算した 1 20個の積分成分 Si (x_s，x_e)のそれぞれを、対応する積分成分 Si (1)に変換し、変換した 1 20個の積分成分 Si (1)を含む積分成分テーブルを生成する。

. なお、ステップ S 2303の処理とステップ S 2304の処理の順序は、図 75の例に限定されず、ステップ S 2304の処理が先に実行されてもよいし、ステップ S 2303の処理とステップ S 2 304の処理が同時に実行されてもよい。

次に、ステップ S 2305において、正規方程式生成部 23 3 5は、ステツプ S 2303の処理で入力画素値取得部 2333により生成された入力画素値テーブルと、ステップ S 2304の処理で積分成分演算部 23 34により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。

具体的には、いまの場合、最小自乗法により、上述した式（49) に対応する次の式（54) の特徴量 _Wi を演算する。それに対応する正規方程式は、次の式（55) のように表される。

P(l) = ∑ WjXSjiD+e

(54)

(5 5) なお、式（5 5) において、 Lは、タップ範囲の画素の番号 1のうちの最大値を表している。 nは、多項式である近似関数 f(x)の次数を表している。具体的には、いまの場合、 n=5となり、 L=1 9となる。

式（55) で示される正規方程式の各行列のそれぞれを、次の式（56) 乃至（5 8) のように定義すると、正規方程式は、次の式（59) のように表される。

6) 7)

(5 8) ¾T¾T = ^PMAT

. · · · (5 9) 式（57) で示されるように、行列 W_MAT の各成分は、求めたい特徴量 ^ である。従って、式（5 9) において、左辺の行列 S_MAT と右辺の行列 P_MAT が決定されれば、行列解法によって行列 W_MAT (即ち、特徴量の算出が可能である。

具体的には、式（56) で示されるように、行列 S_MAT の各成分は、上述した積分成分 Si (1)が既知であれば演算可能である。積分成分 Si (1)は、積分成分演算部 2 334より供給された積分成分テーブル含まれているので、正規方程式生成部 23 3 5は、積分成分テーブルを利用して行列 S_MAT の各成分を演算することができる。

また、式（5 8) で示されるように、行列 P_MAT の各成分は、積分成分 Si (1)と入力画素値 P(l)が既知であれば演算可能である。積分成分 Si (1)は、行列 S_MAT の各成分に含まれるものと同一のものであり、また、入力画素値 P(l)は、入力画素値取得部 233 3より供給された入力画素値テーブルに含まれているので、正規方程式生成部 23 3 5は、積分成分テーブルと入力画素値テーブルを利用して行列 P_MAT の各成分を演算することができる。

このようにして、正規方程式生成部 2 3 5は、行列 S_MAT と行列 P_MATの各成分を演算し、その演算結果（行列 S_MAT と行列 P_MATの各成分）を正規方程式テーブルとして近似関数生成部 233 6に出力する。

正規方程式生成部 23 35より正規方程式テーブルが出力されると、ステツプ S 2 306において、近似関数生成部 2336は、正規方程式テーブルに基づいて、上述した式（5 9) の行列 W_MAT の各成分である特徴量 ^ (即ち、 1 次元多項式である近似関数 f(x)の係数 Wi ) を演算する。

具体的には、上述した式（5 9) の正規方程式は、次の式（60) のように変形できる。 4008690

124

¾Γ = ¾ΑΤ^ΡΜΑΤ

• · · (60) 式（60) において、左辺の行列 W_MATの各成分が、求めたい特徴量である。また、行列 S_MAT と行列 P_MATのそれぞれの各成分は、正規方程式生成部 23 35より供給された正規方程式テーブルに含まれている。従って、近似関数生成部 23 36は、正規方程式テーブルを利用して、式（60) の右辺の行列演算を行うことで行列 W_MAT を演算し、その演算結果（特徴量を画像生成部 103に出力する。

ステップ S 2 30 7において、近似関数生成部 23 36は、全画素の処理を終了したか否かを判定する。

ステップ S 2 307において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 2302に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 2302乃至 S 2307の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 230 7において、全画素の処理が終了されたと判定されると）、実世界 1の推定処理は終了となる。なお、以上のようにして演算された係数（特徴量） ^ により生成される近似関数 f(x)の波形は、上述した図 73の近似関数 f₃ (x)のような波形となる。

このように、 1次元近似手法においては、 1次元の X断面波形 F(x)と同一形状の波形が定常性の方向に連なっていると仮定して、例えば、 1次元の多項式などの近似関数 f(x)の特徴量が演算される。従って、 1次元近似手法おいては、他の関数近似手法に比較して、少ない演算処理量で近似関数 f(x)の特徴量の算出が可能となる。

次に、図 77乃至図 8 3を参照して、第 2の関数近似手法について説明する。即ち、第 2の関数近似手法とは、例えば、図 77で示されるような、傾き G_Fで表される空間方向の定常性を有する実世界 1の光信号を、 X— Y平面上 4 008690

125

(空間方向の 1方向である X方向と、 X方向に垂直な Y方向に水平な平面上）の波形 F (x，y)とみなし、 2次元の多項式などの近似関数 f (x，y)で波形

F (x, y)を近似することによって、その波形 F (x，y)を推定する手法である。従つて、以下、第 2の関数近似手法を、 2次元近似手法と称する。

なお、図 7 7において、図中、水平方向は、空間方向の 1方向である X方向を、右上方向は、空間方向の他方向である Y方向を、垂直方向は、光のレベルを、それぞれ表している。 G_pは、空間方向の定常性の傾きを表している。

また、 2次元近似手法の説明においても、センサ 2は、図 7 8で示されるような、複数の検出素子 2— 1がその平面上に配置されて構成される C C Dとされる。

図 7 8の例では、検出素子 2 _ 1の所定の 1辺に平行な方向が、空間方向の 1方向である X方向とされており、 X方向に垂直な方向が、空間方向の他方向である Y方向とされている。そして、 X— Y平面に垂直な方向が、時間方向である t方向とされている。

また、図 7 8の例では、センサ 2の各検出素子 2— 1のそれぞれの空間的な形状は、 1辺の長さが 1め正方形とされている。そして、センサ 2のシャツタ時間（露光時間）が 1とされている。

さらに、図 7 8の例では、センサ 2の所定の 1つの検出素子 2— 1の中心が、空間方向（X方向と Y方向）の原点（X方向の位置 x = 0、および Y方向の位置 y = 0 ) とされており、また、露光時間の中間時刻が、時間方向（t方向）の原点（1方向の位置1: = 0 ) とされている。

この場合、空間方向の原点（x = 0 , y = 0 ) にその中心が存在する検出素子 2— 1は、 X方向に- 0. 5乃至 0. 5の範囲、 Y方向に -0. 5乃至 0. 5の範囲、および t方向に- 0. 5乃至 0. 5の範囲で光信号関数 F (x， y， t)を積分し、その積分値を画素値 Pとして出力することになる。

即ち、空間方向の原点にその中心が存在する検出素子 2— 1から出力される画素値 Pは、次の式（6 1 ) で表される。 X++00..55广广 ++00..55 ++00..55 、

- -o0. H5 J J--o0. _fi5 J J--o0.₅5 F(x,y,t)dxdydt

- · · (6 1) その他の検出素子 2— 1も同様に、対象とする検出素子 2— 1の中心を空間方向の原点とすることで、式（.6 1) で示される画素値 Pを出力することになる。

ところで、上述したように、 2次元近似手法は、実世界 1の光信号を、例えば、図 77で示されるような波形 F(x,y)として扱い、その 2次元の波形

F(x，y)を、 2次元の多項式などの近似関数 f(x,y)に近似する手法である。

そこで、はじめに、このような近似関数 f(x,y)を 2次元の多項式で表現する手法について説明する。

上述したように、実世界 1の光信号は、 3次元の空間上の位置 x，y、および z、並びに時刻 tを変数とする光信号関数 F(x，y，t)で表される。この光信号関数 F(x,y，t)を、 Y方向の任意の位置 yにおいて、 X方向に射影した 1次元の波形を、ここでは、 X断面波形 F(x)と称している。

この X断面波形 F ( X ) に注目すると、実世界 1の信号が、空間方向の所定の方向に定常性を有している場合、 X断面波形 F ( X ) と同一形状の波形がその定常性の方向に連なっていると考えることができる。例えば、図 77の例では、 X断面波形 F ( X ) と同一形状の波形が、傾き G_F の方向に連なっている。換言すると、 X断面波形 F ( X ) と同一形状の波形が傾き G_Fの方向に連なつて、波形 F(x，y)が形成されているとも言える。

従って、波形 F(x，y)を近似する近似関数 f (x，y)の波形は、 X断面波形 F(x)を近似する近似関数 f(x)と同一形状の波形が連なって形成されると考えることで、近似関数 f (x， y)を 2次元の多項式で表現することが可能になる。さらに詳細に、近似関数 f(x,y)の表現方法について説明する。 JP2004/008690

127 例えば、いま、上述した図 7 7で示されるような、実世界 1の光信号、即ち、傾き G_Fで表される空間方向の定常性を有する光信号が、センサ 2 (図 7 8 ) により検出されて入力画像（画素値）として出力されたとする。

さらに、図 7 9で示されるように、データ定常性検出部 1 0 1 (図 3 ) 1 この入力画像のうちの、 X方向に 4画素分、かつ Υ方向に 5画素分の総計 2 0 個の画素（図中、点線で表される 2 0個の正方形）から構成される入力画像の領域 2 4 0 1に対してその処理を実行し、データ定常性情報の 1つとして角度 Θ (傾き G_Fに対応する傾き G_f で表されるデータの定常性の方向と、 X方向とのなす角度 0 ) を出力したとする。

なお、入力画像の領域 2 4 0 1において、図中水平方向は、空間方向の 1 方向である X方向を表しており、図中垂直方向は、空間方向の他方向である Y 方向を表している。

また、図 7 9中、左から 2画素目であって、下から 3画素目の画素が注目画素とされ、その注目画素の中心を原点（0, 0)とするように（x，y)座標系が設定されている。そして、原点（0，0)を通る角度 0の直線（データの定常性の方向を表す傾き G_f の直線）に対する X方向の相対的な距離（以下、断面方向距離と称する）が x' と記述されている。

さらに、図 7 9中、右側のグラフは、 X断面波形 F (x ' )が近似された関数であって、 n次（nは、任意の整数）の多項式である近似関数 f (x' )を表している。右側のグラフの軸のうち、図中水平方向の軸は、断面方向距離を表しており、図中垂直方向の軸は、画素値を表している。

この場合、図 7 9で示される近似関数 f (x ' )は、 n次の多項式であるので、次の式（6 2 ) のように表される。

π

f ( X，） = W₀+WiX' +W₂X' + · · · +W_nX'ⁿ = ∑ WjX"

i =0

… （6 2 ) また、角度 Θが決定されていることから、原点（0,0)を通る角度 Θの直線は一意に決まり、 Υ方向の任意の位置 yにおける、直線の X方向の位置力次の式（6 3) のように表される。ただし、式（63) において、 sは cot Θ (= 1 /tan θ ) を表している。

Xi = sxy

• · · (63)

即ち、図 79で示されるように、傾き G_f で表されるデータの定常性に対応する直線上の点は、座標値（_Xl,y)で表される。

式（6 3) より、断面方向距離 x' は、次の式（64) のように表される。 x， = X— X| = x-s xy

- ■ . · (64)

従って、入力画像の領域 2401內の任意の位置（x,y)における近似関数 f (x,y)は、式（6 2) と式（64) より、次の式（6 5) のように示される。

n .

f (x， y = ∑ Wj (χ-sxy)'

i=0

• · · (6 5) なお、式（6 5) において、 Wi は、近似関数 f(x, y)の係数を表している。なお、近似関数 f(x,y)を含む近似関数 f の係数を、近似関数 f の特徴量と位置づけることもできる。従って、以下、近似関数 f の係数を、近似関数 f の特徴量 ^ とも称する。

このようにして、角度 0が既知であれば、 2次元波形の近似関数 f (x，y)を、式（6 5) の多項式として表現することができる。

従って、実世界推定部 102は、式（6 5) の特徴量を演算することが' できれば、図 77で示されるような波形 F(x,y)を推定することができる。

そこで、以下、式（65) の特徴量 _Wi を演算する手法について説明する。即ち、式（6 5) で表される近似関数 f (x，y)を、画素（センサ 2の検出素子 2— 1 (図 78) ) に対応する積分範囲（空間方向の積分範囲）で積分すれば、その積分値が、画素の画素値の推定値となる。このことを、式で表現したものが、次の式（6 6) である。なお、 2次元近似手法においては、時間方向 tは一定値とみなされるので、式（66) は、空間方向（X方向と Y方法）の位置 x，yを変数とする方程式とされている。

J. 'yy++00..55 f«χX++00..55 J πl

'y ν--00..55 J Jxx--00..55 |∑¾ Wi (x»sxy)'+e

• · · (66) 式（66) において、 P(x, y)は、センサ 2からの入力画像のうちの、その中心位置が位置（x,y) (注目画素からの相対位置（x，y)) に存在する画素の画素値を表している。また、 eは、誤差を表している。

このように、 2次元近似手法においては、入力画素値 P(x，y)と、 2次元の多項式などの近似関数 f (x,y)の関係を、式（66) で表現することが可能であるので、実世界雍定部 102は、式（6 6) を利用して、特徴量を、例えば、最小自乗法等により演算することで（演算した特徴量を式（64) に代入して近似関数 f(x,y)を生成することで）、 2次元の関数 F(x，y) (傾き G_F (図 77) で表される空間方向の定常性を有する実世界 1の光信号を、空間方向に着目して表した波形 F(x，y)) を推定することが可能となる。

図 80は、このような 2次元近似手法を利用する実世界推定部 1 02の構成例を表している。

図 80で示されるように、実世界推定部 102には、条件設定部 2421、入力画像記憶部 2422、入力画素値取得部 2423、積分成分演算部 242 4、正規方程式生成部 2425、および近似関数生成部 2426が設けられている。 .

条件設定部 242 1は、注目画素に対応する関数 F(x,y)を推定するために使用する画素の範囲（タップ範囲）や、近似関数 f (x，y)の次数 n を設定する _c 入力画像記憶部 2422は、センサ 2からの入力画像（画素値）を一次格納する。入力画素値取得部 2423は、入力画像記憶部 24 22に記憶された入力画像のうちの、条件設定部 242 1により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部²4 25に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素值が記述されたテープルである。なお、入力画素値テーブルの具体例については後述する。

ところで、上述したように、 2次元近似手法を利用する実世界推定部 102 は、上述した式（66) を最小自乗法で解くことにより、上述した式（65) で示される近似関数 f (x，y)の特徴量を演算する。

式（66) は、次の式（67) 乃至式（6 9) を用いることで得られる次の式（70) を使用することで、次の式（7 1) のように表現することができる _c i+1

x

x'dx =

+1

• · · (67)

• · · (68)

- - - (69)

J'y+ .5 x+o.5 y y-+o.5 i+1 x+0.5

(x-sxy)

^ _r (x-s y)'dxdy = I dy y-0 5 Jx-0.5 Jv y--'o.5 x-0.5

i+1

y+o.5 (x+o.5-sxy)ⁱ⁺¹ -(x-0.5-sxy)

• v一 I dy

y-0.5 +1

i+2 y+0.5 +2 y+0.5

(x+0.5-sxy) (x-0.5-sxy)

s(i+1) (i+2) J y-0.5 s( i+1) (i+2) 」y- 0.5

(x+Q.5-sxy+Q,5s)'^-(x+Q.5-s)<y-Q,5s)^i÷2-(x-0.5-sxy+Q.5s) 、i'^+2+(x-Q.5-sxy-Q. 、 2

(70)

I +2

P(x,y) =∑ {(x+0.5-s y+0.5s)

b s(i+1) (i+2)

+2

(x+0.5-sxy-O.5s)ⁱ⁺²-(x-0.5-sxy+O.5s)'

+ (x-0.5-s x y-0.5s)ⁱ⁺²) +e

= ∑ WjSj (x-0.5, x+0.5, y-0.5, y+0.5) +e

i=0

- … (71) 式（71) において、 Si (x-0.5, x+0.5, y-0.5, y+0.5) は、 i次項の積分成分を表している。即ち、積分成分 Si (x-0.5,x+0.5, y-0.5_;y+0.5) は、次の式（7 2) で示される通りである。

Sj (x-0.5， x+0.5, y-0.5, y+0.5) =

(x+0, 5-sxy+O.5s)ⁱ⁺²-(x+0.5-sxy-O.5s)ⁱ⁺²-(x-0.5-sxy+O.5s)ⁱ⁺²+(x-0.5-sxy-O.5s)ⁱ⁺²

■ · · (72) 積分成分演算部 2424は、この積分成分 Si (x-0.5, x+0.5, y- 0.5, y+0.5) を演算する。

具体的には、式（72) で示される積分成分 Si (x-0.5, x+0.5, y- 0.5, y+0.5) は、相対画素位置（x,y)、上述した式（6 5) における変数 s、および、 i次項の iが既知であれば、演算可能である。これらのうちの、相対画素位置（x，y)は注目画素とタップ範囲により、変数 sは cot Sであるので角度 Θにより、 iの範囲は次数 nにより、それぞれ決定される。

従って、積分成分演算部 2 4 2 4は、条件設定部 2 4 2 1により設定されたタップ範囲および次数、並びにデータ定常性検出部 1 0 1より出力されたデータ定常性情報のうちの角度 Θに基づいて積分成分 Si (X- 0. 5, x+0. 5, y- 0. 5, y+0. 5) を演算し、その演算結果を積分成分テーブルとして正規方程式生成部 2 4 2 5に供給する。

正規方程式生成部 2 4 2 5は、入力画素値取得部 2 4 2 3より供給された入力画素値テーブルと、積分成分演算部 2 4 2 4より供給された積分成分テープルを利用して、上述した式（6 6 ) 、即ち、式（7 1 ) を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部 2 4 2 6に出力する。なお、正規方程式の具体例については後述する。

近似関数生成部 2 4 2 6は、正規方程式生成部 2 4 2 5より供給された正規方程式テーブルに含まれる正規方程式を行列解法で解くことにより、上述した式（6 6 ) の特徴量（即ち、 2次元多項式である近似関数 f (x，y)の係数 w_t ) のそれぞれを演算し、画像生成部 1 0 3に出力する。

次に、図 8 1のフローチャートを参照して、 2次元近似手法が適用される実世界の推定処理（図 2 9のステップ S 1 0 2の処理）について説明する。例えば、いま、傾き G_Fで表される空間方向の定常性を有する実世界 1の光信号が、センサ 2 (図 7 8 ) により検出されて、 1フレームに対応する入力画像として、入力画像記憶部 2 4 2 2に既に記憶されているとする。また、データ定常性検出部 1 0 1力ステップ s 1 0 1 (図 2 9 ) の定常性の検出の処 a において、入力画像のうちの、上述した図 7 9で示される領域 2 4 0 1に対して処理を施して、データ定常性情報として角度 Θを既に出力しているとする。この場合、ステップ S 2 4 0 1において、条件設定部 2 4 2 1は、条件（タップ範囲と次数）を設定する。例えば、いま、図 8.2で示されるタップ'範囲 244 1が設定されるとともに、次数として 5次が設定されたとする。

即ち、図 82は、タップ範囲の 1例を説明する図である。図 82において、 X方向と Y方向は、センサ 2の X方向と Y方向（図 78) を表している。また、タップ範囲 2441は、 X方向に 4画素分、かつ Y方向に 5画素分の総計 20 個の画素（図中、 20個の正方形）からなる画素群を表している。

さらに、図 8 2に示されるように、注目画素が、タップ範囲 2441のうちの、図中、左から 2画素目であって、下から 3画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置（x,y) (注目画素の中心（0,0)を原点とする注目画素座標系の座標値）に応じて、図 8 2で示されるような番号 1 (1は、 0乃至 1 9のうちのいずれかの整数値）が付されるとする。

図 8 1に戻り、ステップ S 2402において、条件設定部 242 1は、注目画素を設定する。

ステップ S 2403において、入力画素値取得部 242 3は、条件設定部 2 421により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力面素値テーブルを生成する。即ち、いまの場合、入力画素値取得部 242 3は、入力画像の領域 240 1 (図 7 9) を取得し、入力画素値テーブルとして、 20個の入力画素値 P(l)からなるテーブルを生成する。

なお、いまの場合、入力画素値 P(l)と、上述した入力画素値 P(x，y)の関係は、次の式（7 3) で示される関係とされる。ただし、式（73) において、左辺が入力画素値 P (1 ) を表し、右辺が入力画素値 P(x，y)を表している。 Γ、 /ノ一 r 、υ， υノ

l J

I I · \ 1，乙ノ

厂、》一 I a. 、レ，乙ノ

r、¾ ノ

P(A)

厂、》一 «ゝ乙ノ

= M C

一 p画 (、— 11， ^圍)ノ

Γ、ϋノ ₌一 P(C

1 11 )ノ

、 / ノ 1 、 1，り

r、oノ 1 國ノ

「ノ 1 し Uノ

Γ 1 U 一 1 、 1， wノ

Ρ「(い11ノ -一P 1 (乙， \>) )

= P(-1, -1)

Γ 1 oノ = P(0, -1)

Γ J = P(1, -1)

P(15) = P(2,一 1)

P(16) =P (— 1， — 2)

P(17)

P(18) = P(1, -2)

P(19) = P(2,一 2)

• · · (73)

2404において、積分成分演算部 2424は、条件設定部 24 21により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部 1 01より供給されたデータ定常性情報（角度 0) に基づいて積分成分を演算し、積分成分テーブルを生成する。

いまの場合、上述したように、入力画素値は、 P(x， y)でなく P(l)といった、画素の番号 1の値として取得されるので、積分成分演算部 2424は、上述した式（72) の積分成分 Si (X- 0.⁵， x+0.⁵, y- 0. ⁵, y+0.⁵)を、次の式（7 4) の左辺で示される積分成分 Si (1)といった 1の関数として演算する。

Sj(l) (x-0.5, x+0.5, y-0.5, y+0.5)

- - · (74) 具体的には、いまの場合、次の式（75) で示される積分成分 Si (1)が演算される。

(0) = S 一 0· 5,0.5,一 0.5, 0.5)

=S -1.5, -0.5,1.5, 2.5)

(2) =S —0.5， 0.5,1.5, 2.5)

(3) =S 0.5,1.5,1.5, 2.5)

(4) =S 1.5, 2.5,1.5, 2.5)

(5) =S -1.5, -0.5,0.5, 1.5)

(6) =S -0.5, 0.5, 0.5,1.5)

(7) =S 0.5,1.5, 0.5,1.5)

(8) =S 1.5, 2.5， 0.5,1.5)

,(9) =S -1.5,一 0· 5,一 5, 0.5)

(10) =S 0.5, 1.5,一 0.5, 0.5)

=S 1.5, 2.5,一 5, 0.5)

(12) =S -1.5,一 0.5, -1.5, -0.5)

(13) =S 一 0.5, 0.5, -1.5, -0.5)

(14) =S 0.5, 1.5， -1.5, -0.5)

(15) =S 1.5, 2.5, -1.5, -0.5)

(16) =S -1.5, -0.5,—2.5, -1.5)

(17) =S 一 0, 5,0.5, -2.5, -1.5)

(18) =S 0.5,1.5,—2.5, -1.5)

(19) =S 1.5, 2.5, -2.5, -1.5)

• · · (75) なお、式（7 5) において、左辺が積分成分 ( 1 )を表し、右辺が積分成分 Si (X- 0.5，x+0.5，y- 0.5,y+0.5)を表している。即ち、いまの場合、 iは 0 乃至 5であるので、 20個の S。（1)， 20個の (1), 20個の S₂ (1), 20個の S₃ (1)， 20個の S₄ (1)， 20個の S₅ (1)の総計 1 20個の Si (1)が演算されることになる。

より具体的には、はじめに、積分成分演算部 2424は、データ定常性検出部 10 1より供給された角度 Θに対する cot0を演算し、それを変数 sとする。次に、積分成分演算部 2424は、演算した変数 sを使用して式（74) の右辺で示される 20個の積分成分 Si (x-0.5,x+0.5,y-0.5,y+0.5) のそれぞれを、

(76) なお、式（76) において、 Lは、タップ範囲の画素の番号 1のうちの最大値を表し /ている。 nは、多項式である近似関数 f(x)の次数を表している。具

∑一一

体的には、 - - ■ -いooまの場合、 n=5となり、 L=1 9となる。

s s s

式（76) で示される正規方程式の各行列のそれぞれを、次の式（77) 乃至（79) のように定義すると、正規方程式は、次の式（80) のように表現される。

(77) w₀

W1

(78)

^P AT -

(79) ^S AT½T ⁼ PMAT

- · · (80) 式（78) で示されるように、行列 _ATの各成分は、求めたい特徴量 ^ である。従って、式（80) において、左辺の行列 S_MAT と右辺の行列 P_MAT が決定されれば、行列解法によって行列 W_MATの演算が可能になる。

具体的には、式（77) で示されるように、行列 S_MAT の各成分は、上述した積分成分 Si (1)で演算可能である。即ち、積分成分 Si (1)は、積分成分演算部 2424より供給された積分成分テーブルに含まれているので、正規方程式生成部 2425は、積分成分テーブルを利用して行列 S_MATの各成分を演算することができる。

また、式（79) で示されるように、行列 P_MAT の各成分は、積分成分 Si (1)と入力画素値 P(l)で演算可能である。即ち、積分成分 Si (1)は、行列 S _MAT の各成分に含まれるものと同一のものであり、また、入力画素値 P(l)は、入力画素値取得部 2423より供給された入力画素値テーブルに含まれているので、正規方程式生成部 2425は、積分成分テーブルと入力画素値テーブルを利用して行列 P_MAT の各成分を演算することができる。

このようにして、正規方程式生成部 2425は、行列 S_MAT と行列 P_MAT の各成分を演算し、その演算結果（行列 S_MAT と行列 P_MATの各成分）を正規方程式テーブルとして近似関数生成部 2426に出力する。

正規方程式生成部 2425より正規方程式テーブルが出力されると、ステツプ S 2406において、近似関数生成部 2426は、正規方程式テーブルに基づいて、上述した式（80) の行列 _AT の各成分である特徴量 _Wi (即ち、 2 次元多項式である近似関数 f (x，y)の係数）を演算する。 . 具体的には、上述した式（80) の正規方程式は、次の式（8 1) のように変形できる。

½T ^{= S}MAT^PMAT • · · ( 8 1 ) 式（8 1 ) において、左辺の行列 W_{M A T}の各成分が、求めたい特徴量である。また、行列 S_{M A T} と行列 P_{M A T}のそれぞれの各成分は、正規方程式生成部 2 4 2 5より供給された正規方程式テーブルに含まれている。従って、近似関数生成部 2 4 2 6は、正規方程式テーブルを利用して、式（8 1 ) の右辺の行列演算を行うことで行列 W_{M A T} を演算し、その演算結果（特徴量）を画像生成部 1 0 3に出力する。

ステップ S 2 4 0 7において、近似関数生成部 2 4 2 6は、全画素の処理を終了したか否かを判定する。

ステップ S 2 4 0 7において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 2 4 0 2に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 2 4 0 2乃至 S 2 4 0 7の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 2 4 0 7において、全画素の処理が終了されたと判定されると）、実世界 1の推定処理は終了となる。以上、 2次元近似手法の説明として、空間方向（X方向と Y方向）に対する近似関数 f (x, y)の係数（特徴量） Wi を演算する例を用いたが、 2次元近似手法は、時空間方向（X方向と t方向、または、 Y方向と t方向）に対しても適用可能である。

即ち、上述した例は、実世界 1の光信号が、例えば、傾き G_F (図 7 7 ) で表される空間方向の定常性を有する場合の例であったので、上述した式（6 6 ) で示されるような、空間方向（X方向と Y方向）の二次元積分が含まれる式が利用された。しかしながら、二次元積分の考え方は、空間方向だけによるものではなく、時空間方向（X方向と t方向、または、 Y方向と t方向）に対して適用することも可能である。

換言すると、 2次元近似手法においては、推定したい光信号関数 F (x，y，t) I 空間方向の定常性のみならず、時空間方向（ただし、 X方向と t方向、または、 Y方向と t方向）の定常性を有している場合であっても、 2次元の近似関数 f により近似することが可能である。

具体的には、例えば、 X方向に水平に等速で動いている物体がある場合、その物体の動きの方向は、図 8 3で示されるような Χ-ΐ平面においては、傾き V_Fのように表される。換言すると、傾き V_Fは、 X_t平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部 1 0 1 は、上述した角度 0 (X- Y平面における、傾き G_Fで表される空間方向の定常性に対応するデータ定常性情報）と同様に、 X - 1平面における時空間方向の定常性を表す傾き V_Fに対応するデータ定常性情報として、図 8 3で示されるような動き Θ (厳密には、図示はしないが、傾き V_Pに対応する傾き V_f で表され. るデータの定常性の方向と、空間方向の X方向とのなす角度である動き 0 ) を出力することが可能である。

従って、 2次元近似手法を利用する実世界推定部 1 0 2は、動き 0を上述した角度 Θの代わりとして使用すれば、上述し方法と同様な方法で、近似関数 f (x t)の係数（特徴'量）を演算することが可能になる。ただし、この場合、使用される式は、上述した式（6 6 ) ではなく、次の式（8 2 ) である。

• tt++00.. 55 r r-xx++00.. 55 J π1

P (x, t) = |_{+ Λ} I ∑ Wj x-s t)' dxdt+e

=0

- · · ( 8 2 ) なお、式（8 2 ) において、 sは cot 0 (ただし、 0は動きである）である。また、空間方向 Xの変わりに、空間方向 Yに注目した近似関数 f (y t) も、上述した近似関数 f (X, t)と全く同様に取り扱うことが可能である。

このように、 2次元近似手法は、 1次元ではなく 2次元の積分効果を考慮しているので、 1次元近似手法に比較して、より正確に実世界 1の光信号を推定することが可能になる。

次に、図 8 4乃至図 8 8を参照して、第 3の関数近似手法について説明する。即ち、第 3の関数近似手法とは、例えば、時空間方向のうちの所定の方向の定常性を有する実世界 1の光信号が、光信号関数 F (X, y, t)で表されることに注目して、近似関数 f (x, y, t)で光信号関数 F (x, y, t)を近似することによって、光信号関数 F(x,y， t)を推定する手法である。従って、以下、第 3の関数近似手法を、 3次元近似手法と称する。

また、 3次元近似手法の説明においても、センサ 2は、図 8 4で示されるような、複数の検出素子 2— 1がその平面上に配置されて構成される CCDとされる。

図 8 4の例では、検出素子 2— 1の所定の 1辺に平行な方向が、空間方向の 1方向である X方向とされており、 X方向に垂直な方向が、空間方向の他方向である Y方向とされている。そして、 X— Y平面に垂直な方向が、時間方向である t方向とされている。

また、図 84の例では、センサ 2の各検出素子 2— 1のそれぞれの空間的な形状は、 1辺の長さが 1の正方形とされている。そして、センサ 2のシャツタ時間（露光時間）がとされている。

さらに、図 8 4の例では、センサ 2の所定の 1つの検出素子 2— 1の中心が、空間方向（X方向と Y方向）の原点（X方向の位置 x = 0、および Y方向の位置 y = 0) とされており、また、露光時間の中間時刻が、時間方向（t方向）の原点（1方向の位置1 = 0) とされている。

この場合、空間方向の原点（x == 0, y = 0) にその中心が存在する検出素子 2— 1は、 X方向に- 0.5乃至 0.5の範囲、 Y方向に- 0.5乃至 0.5の範囲、および t方向に- 0.5乃至 0.5の範囲で光信号関数 F(x，y，t)を積分し、その積分値を画素値 Pとして出力することになる。

即ち、空間方向の原点にその中心が存在する検出素子 2— 1から出力される画素値 Pは、次の式（8 3) で表される。

X +十0 υ..53 r+十0 υ..53 r ρ+十 υ..5 ο 、

-0.51θ 5 /-O B F(X，y,t〉dxd_ydt 2004/008690

142

- · · (83) その他の検出素子 2— 1も同様に、対象とする検出素子 2— 1の中心を空間方向の原点とすることで、式（8 3) で示される画素値 Pを出力することになる。

ところで、上述したように、 3次元近似手法においては、光信号関数

F(x, y, t)は、 3次元の近似関数 f (x， y, t)に近似される。

具体的には、例えば、近似関数 f(x，y，t)を、 N個の変数（特徴量）を有する関数とし、式（8 3) に対応する入力画素値 P(x,y，t)と近似関数 f (x，y, t) の関係式を定義する。これにより、 Nより大きい M個の入力画素値 P(x，y，t) が取得されていれば、定義された関係式から N個の変数（特徴量）の算出が可能である。即ち、実世界推定部 1 02は、 M個の入力画素値 P(x，y，t)を取得して N個の変数（特徴量）を演算することで、光信号関数 F(x,y,t)を推定することが可能である。

この場合、実世界推定部 1 02は、センサ 2からの入力画像（入力画素値）に含まれるデータの定常性を縛りとして（即ち、データ定常性検出部 101より出力される入力画像に対するデータ定常性情報を利用して）、入力画像全体のうちの、 M個の入力画像 P(x，y,t)を抽出（取得）する。結果的に、近似関数 f (x， y, t)は、データの定常性に拘束されることになる。

例えば、図 8 5で示されるように、入力画像に対応する光信号関数

F(x，y,t)が、傾き G_Fで表される空間方向の定常性を有している場合、データ定常性検出部 1 01は、入力画像に対するデータ定常性情報として、角度 0

(傾き G_F に対応する傾き G_f (図示せず）で表されるデータの定常性の方向と、 X方向のなす角度 Θ) を出力することになる。

この場合、光信号関数 F(x，y,t)を X方向に射影した 1次元の波形（ここでは、このような波形を、 X断面波形と称している）は、 Y方向のいずれの位置で射影した場合であっても同一の形状であるとする。 JP2004/008690

143

即ち、同一形状の X断面波形が、定常性の方向（X方向に対して角度 0方向）に連なっている 2次元の（空間方向の）波形が存在するとし、そのような 2次元波形が時間方向 tに連なった 3次元波形を、近似関数 f (x，y，t)で近似する。

換言すると、注目画素の中心から Y方向に位置 y だけずれた X断面波形は、注目画素の中心を通る X断面波形が X方向に所定の量（角度 0に応じて変化する量）だけ移動した（シフトした）波形となる。なお、以下、このような量を、シフト量と称する。

このシフト量は、次のようにして算出が可能である。

即ち、傾き V_f (例えば、図 8 5の傾き V_Fに対応する、データの定常性の方向を表す傾き V_f) と角度 0は、次の式（84) のように表される。

G_f = tan θ =

T dx

- · · (84) なお、式（84) において、 dxは、 X方向の微小移動量を表しており、 dy は、 dxに対する Y方向の微小移動量を表している。

従って、 X方向に対するシフト量を C_x (y)と記述すると、次の式（8 5) のように表される。

• · · (85) このようにして、シフト量 C_x (y)を定義すると、式（83) に対応する入力画素値 P(x，y，t)と近似関数 f (x，y，t)の関係式は、次の式（86) のように表される。

P(x，y，t) = Γ _ν Jノ f (x,y，t)dxdydt+e

• · · (86) 式（86) において、 eは、誤差を表している。 t_s は、 t方向の積分開始位置を表しており、は、 t方向の積分終了位置を表している。同様に、 y_s は、 Y方向の積分開始位置を表しており、 y_eは、 Y方向の積分終了位置を表している。また、 x_s は、 X方向の積分開始位置を表しており、 x_e は、 X方向の積分終了位置を表している。ただし、具体的な各積分範囲のそれぞれは、次の式（87) で示される通りになる。 t_s = t-0.5

t_e = t+0.5

y_s = y-o.5

x_s = x-C_x(y)-0.5

x_e = x-C_x(y)+0.5

• · · (87) 式（87) で示されるように、注目画素から空間方向に（x,y)だけ離れて位置する画素に対する X方向の積分範囲を、シフト量 C_x (y)だけ移動させることで、同一形状の X断面波形が、定常性の方向（X方向に対して角度 0方向）に連なっていることを表すことが可能になる。

このように、 3次元近似手法においては、画素値 P(x,y,t)と、 3次元の近似関数 f (x，y,t)の関係を式（86) (積分範囲は、式（8 7) ) で表すことができるので、式（86) と式（87) を利用して、近似関数 f (x,y，t)の N 個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数 F(x,y，t) (例えば、図 8 5で示されるような傾き V_F表される空間方向の定常性を有する光信号）の推定が可能となる。

なお、光信号関数 F(x，y，t)で表される光信号が、例えば、図 85で示されるような傾き V_Fで表される空間方向の定常性を有している場合、次のようにして光信号関数 F(x， y, t)を近似してもよい。 08690

145

即ち、光信号関数 F(x,y，t)を Y方向に射影した 1次元の波形（以下、このような波形を、 Υ断面波形と称する）は、 X方向のいずれの位置で射影した場合であっても同一の形状であるとする。

換言すると、同一形状の Υ断面波形が、定常性の方向（X方向に対して角度 0方向）に連なっている 2次元の（空間方向の）波形が存在するとし、そのような 2次元波形が時間方向 tに連なった 3次元波形を、近似関数 f (X, y， t)で近似する。

従って、注目画素の中心から X方向に Xだけずれた Y断面波形は、注目画素の中心を通る Y断面波形が Y方向に所定のシフト量（角度 0に応じて変化するシフト量）だけ移動した波形となる。

このシフト量は、次のようにして算出が可能である。

即ち、傾き G_F力上述した式（84) のように表されるので、 Y方向に対するシフト量を C_y (X)と記述すると、次の式（8 8) のように表される。

C_y (X) = 6_f χχ

- - - (88) このようにして、シフト量 C_y (X)を定義すると、式（8 3) に対応する入力画素値 P(x,y，t)と近似関数 f (x,y，t)の関係式は、シフト量 C_x (y)を定義したときと同様に、上述した式（86) で表される。

ただし、今度は、具体的な各積分範囲のそれぞれは、次の式（8 9) で示される通りになる。 t_s = t-0.5

t_e = t+0.5

y_s = y-C_y(x)-0.5

y_e = y-C_y(x)+0.5

x_s = x - 0.5

x_e = x+0.5

… - (89) 式（89) (および上述した式（8 6) ) で示されるように、注目画素から (x,y)だけ離れて位置する画素に対する Y方向の積分範囲を、シフト量 C_y (x) だけ移動させることで、同一形状の Y断面波形が、定常性の方向（X方向に対して角度 0方向）に連なっていることを表すことが可能になる。

このように、 3次元近似手法においては、上述した式（86) の右辺の積分範囲を式（87) のみならず式（89) とすることもできるので、積分範囲として式（8 9) が採用された式（86) を利用して、近似関数 f(x,y，t)の n 個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数 F(x,y,t) (傾き G_Fで表される空間方向の定常性を有する実世界 1の光信号）の推定が可能となる。

このように、積分範囲を表す式（8 7) と式（89) は、定常性の方向にあわせて周辺画素を X方向にシフトさせるか（式（87) の場合）、或いは Y 方向にシフトさせるか（式（8 9) の場合）の違いがあるだけであり、本質的には同じことを表している。

しかしながら、定常性の方向（傾き G_F) に応じて、光信号関数 F(x,y，t)を、 X断面波形の集まりと捉える力 \ Y断面波形の集まりと捉えるかが異なる。即ち、定常性の方向が Y方向に近い場合、光信号関数 F(x,y，t)を、 X断面波形の集まりと捉えた方が好適である。これに対して、定常性の方向が X方向に近い場合、光信号関数 F(x,y,t)を、 Y断面波形の集まりと捉えた方が好適である。

従って、実世界推定部 102は、積分範囲として式（8 7) と式（8 9) の両方を用意しておき、定常性の方向に応じて、適宜式（86) の右辺の積分範囲として、式（87) と式（8 9) のうちのいずれか一方を選択するとよい。以上、光信号関数 F(_X，y，t)が空間方向（X方向と Y方向）の定常性（例えば、図 8 5の傾き G_Fで表される空間方向の定常性〉を有する場合についての 3次元近似手法について説明したが、 3次元近似手法は、図 86で示されるように、光信号関数 F(x，y,t)が時空間方向（X方向、 Y方向、および t方向）の定常性（傾き V_F で表される定常性）を有する場合についても適用可能である。即ち、図 86において、フレーム番号 #N_1のフレームに対応する光信号関数が F(x，y， -1)とされ、フレーム番号 #Nのフレームに対応する光信号関数が F(x,y，#N)とされ、かつ、フレーム番号 #N+1のフレームに対応する光信号関数が F(x，y， +1)とされている。

なお、図 86において、図中、水平方向は、空間方向の 1方向である方向とされており、右斜め上方向は、空間方向の他方向である Y方向とされており、かつ、垂直方向は、時間方向である t方向とされている。

また、フレーム _1 は、フレーム #N に対して時間的に前のフレームであり、フレーム #N+1は、フレーム #Nに対して時間的に後のフレームである。即ち、フレーム - 1、フレーム無、およびフレーム洒 +1は、フレーム - 1、フレーム請、およびフレーム +1の順で表示される。

図 86の例では、傾き V_Fで示される方向（図中左下手前から右上奥の方向）に沿った断面の光のレベルがほぼ一定とされている。従って、図 86の例では、光信号関数 F(_X，y，t)は、傾き V_Fで表される時空間方向の定常性を有していると言える。

この場合、時空間方向の定常性を表す関数 C(x，y,t)を定義し、かつ、定義された関数 C(x,y，t)を利用して、上述した式（86) の積分範囲を定義すれば、上述した式（8 7) や式（8 9) と同様に、近似関数 f(x，y, t)の N個の特徴量の算出が可能になる。

関数 C(x,y，t)は、定常性の方向を表す関数であれば特に限定されない。ただし、以下においては、直線的な定常性であるとして、それに対応する関数 C(x,y, t)として、上述した空間方向の定常性を表す関数であるシフト量

C_x (y) (式（8 5) ) ゃシフト量 C_y (x) (式（8 7) ) に相当する、 C_x (t)と C_v (t)を次のように定義するとする。即ち、上述した空間方向のデータの定常性を表す傾き G_f に対応する、時空間方向のデータの定常性の傾きを V_f とすると、この傾き V_f を X方向の傾き

(以下、 V_fx と記述する）と Y方向の傾き（以下、 V_fy と記述する）に分割すると、傾き V_fx は次の式（90) で、傾き V_fyは次の式（9 1) で、それぞれ表される。

V 一

• · · (90)

V 一

^Vfy一 dt

• · · (9 1) この場合、関数 C_x (t)は、式（90) で示される傾き V_fx を利用して、次の式（9 2) のように表される。

C_x(t) =V_fxxt

• · · (9 2) 同様に、関数 C_y (t)は、式（9 1) で示される傾き V_fy を利用して、次の式 (93) のように表される。

C_y(t) =V_fyXt

• · · (9 3) このようにして、時空間方向の定常性 25 1 1を表す関数 C_x (t)と関数 C_y (t)を定義すると、式（8 6) の積分範囲は、次の式（94) のように表される。 PC漏 00傷 ₈₆₉₀

149 t_s = t-0.5

t_e = t+0.5

y_s = y-C_y(t)-0.5

y_e = y-C_y(t)+0.5

x_s = x-C_x(t)-0.5

x_e = x-C_x(t)+0.5

• · · (94) このように、 3次元近似手法においては、画素値 P(x, y,t)と、 3次元の近似関数 f (x,y，t)の関係を式（86) で表すことができるので、その式（8 6) の右辺の積分範囲として式（94) を利用して、近似関数 f (x,y,t)の n + 1個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数 F(x,y,t) (時空間方向の所定の方向に定常性を有する実世界 1の光信号）を推定することが可能となる。

図 87は、このような 3次元近似手法を利用する実世界推定部 102の構成例を表している。

なお、 3次元近似手法を利用する実世界推定部 10 2が演算する近似関数 f(x,y,t) (実際には、その特徴量（係数）を演算する）は、特に限定されないが、以下の説明においては、 n (n=N-l) 次の多項式とされる。

図 8 7で示されるように、実世界推定部 102には、条件設定部 25 2 1、入力画像記憶部 2522、入力画素値取得部 25 23、積分成分演算部 25 2 4、正規方程式生成部 2525、および近似関数生成部 25 26が設けられている。

条件設定部 25 2 1は、注目画素に対応する光信号関数 F(x,y，t)を推定するために使用する画素の範囲（タップ範囲）や、近似関数 f (x，y，t)の次数 n を設定する。

入力画像記憶部 25 22は、センサ 2からの入力画像（画素値) を一次格納する。入力画素値取得部 25 23は、入力画像記憶部 25 22に記憶された入力画像のうちの、条件設定部 25 2 1により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部 25 25に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。

ところで、上述したように、 3次元近似手法を利用する実世界推定部 102 は、上述した式（86) (ただし積分範囲は、式（8 7) 、式（90) 、または式（94) ) を利用して最小自乗法により近似関数 f (x,y,t)の N個の特徴量（いまの場合、各次の係数）を演算する。

式（86) の右辺は、その積分を演算することで、次の式（95) のように表現することができる。

P(x， y, t) = 1 WjSj (x_s， x_e, y_s, y_e， t_s, t_e) +e

i=0

• · · (9 5) 式（9 5) において、は、 i 次項の係数（特徴量）を表しており、また、 Si (x_s,x_e,y_s,y_e,t_s,t_e) は、 i次項の積分成分を表している。ただし、 x_s は X方向の積分範囲の開始位置を、 x_e は X方向の積分範囲の終了位置を、 y_s は Y方向の積分範囲の開始位置を、 y_e は Y方向の積分範囲の終了位置を、 t_s は t方向の積分範囲の開始位置を、 t_eは t方向の積分範囲の終了位置を、それぞれ表している。

積分成分演算部 2 524は、この積分成分 Si (x_s,x_e,y₅,y_e,t_s,t_e) を演算する。

即ち、積分成分演算部 25 24は、条件設定部 252 1により設定されたタップ範囲および次数、並びにデータ定常性検出部 10 1より出力されたデータ定常性情報のうちの角度若しくは動き（積分範囲として、上述した式（87) 若しくは式（90) が利用される場合には角度であり、上述した式（94) 力 S 利用される場合には動きである）に基づいて積分成分 Si (x_s,x_e,y_s,y_e,t_s,t_e) を演算し、その演算結果を積分成分テーブルとして正規方程式生成部 25 25に供給する。

正規方程式生成部 25 25は、入力画素値取得部 2523より供給された入力画素値テーブルと、積分成分演算部 25 24より供給された積分成分テープルを利用して、上述した式（9 5) を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部 25 26に出力する。正規方程式の例については、後述する。

近似関数生成部 25 26は、正規方程式生成部 25 25より供給された正規方程式テーブルに含まれる正規方程式を行列解法で解くことにより、特徴量 _Wi (いまの場合、多項式である近似関数 f(x,y, t)の係数）のそれぞれを演算し、画像生成部 1 03に出力する。

次に、図 88のフローチャートを参照して、 3次元近似手法が適用される実世界の推定処理（図 29のステップ S 10 2の処理）について説明する。

はじめに、ステップ S 250 1において、条件設定部 252 1は、条件（タップ範囲と次数）を設定する。

例えば、いま、 L個の画素からなるタップ範囲が設定されたとする。また、各画素のそれぞれに対して、所定の番号 1 (1は、 0乃至 L_ lのうちのいずれかの整数値）が付されるとする。

次に、ステップ S 2502において、条件設定部 252 1は、注目画素を設定する。

ステップ S 2 50 3において、入力画素値取得部 2523は、条件設定部 2 52 1により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。いまの場合、 L個の入力画素値 P(x， y， t)からなるテーブルが生成されることになる。ここで、 L個の入力画素値

P(x，y， t)のそれぞれを、その画素の番号 1の関数として P(l)と記述することにする。即ち、入力画素値テーブルは、 L個の P(l)が含まれるテーブルとなる。ステップ S 2504において、積分成分演算部 25 24は、条件設定部 25 2 1により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部 101より供給されたデータ定常性情報（角度若しくは動き）に基づいて積分成分を演算し、積分成分テーブルを生成する。

ただし、いまの場合、上述したように、入力画素値は、 P(x,y,t)でなく

P(l)といった、画素の番号 1の値として取得されるので、積分成分演算部 2 524は、上述した式（95) の積分成分 Si (x_s,x_e,y_s,y_e,t_s,t_e) を、積分成分 Si (1)といった 1の関数として演算することになる。即ち、積分成分テ一ブルは、 LX i個の Si (1)が含まれる.テーブルとなる。

なお、ステップ S 2503の処理とステップ S 2504の処理の順序は、図 88の例に限定されず、ステップ S 2 504の処理が先に実行されてもよいし、ステップ S 2503の処理とステップ S 2504の処理が同時に実行されてもよい。

次に、ステップ S 2505において、正規方程式生成部 25 25は、ステツプ S 250 3の処理で入力画素値取得部 2 5 23により生成された入力画素値テーブルと、ステップ S 2504の処理で積分成分演算部 2524により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。

具体的には、いまの場合、最小自乗法により、上述した式（95) に対応する次の式（96) の特徴量 ^ を演算する。で、それに対応する正規方程式は、次の式（9 7) のように表される。 i=0

• - · (9 6) 2004/008690

153

• · · (97) 式（.97) で示される正規方程式の各行列のそれぞれを、次の式（98) 乃至（1 00) のように定義すると、正規方程式は、次の式（1 01) のように表される。

∑ S₀( I )S₀( I ) ∑ SQC DS^ I ) … ∑ S₀(l)S_n(l)

1=0 1=0 1=0

^S AT ⁼ 1=0 1=0 1=0

∑ S_n(l)S₀ ∑ S_n(l)S_n

1=0 1=0 1=0

(9 8)

(9 9)

• · · (100)

^SMAT¾T二 PMAT

■ · · ( 1 0 1) 式（9 9) で示されるように、行列 W_MAT の各成分は、求めたい特徴量 _Wi である。従って、式（101) において、左辺の行列 S_MAT と右辺の行列 P_MATが決定されれば、行列解法によって行列 W_MAT (即ち、特徴量）の算出が可能である。

具体的には、式（9 8) で示されるように、行列 S_MAT の各成分は、上述した積分成分 Si (1)が既知であれば演算可能である。積分成分 Si (1)は、積分成分演算部 2 5 24より供給された積分成分テーブルに含まれているので、正規方程式生成部 2 5 2 5は、積分成分テーブルを利用して行列 S_MAT の各成分を演算することができる。

また、式（100) で示されるように、行列 P_MAT の各成分は、積分成分

Si (1)と入力画素値 P(l)が既知であれば演算可能である。積分成分 Si (1)は、行列 s_MATの各成分に含まれるものと同一のものであり、また、入力画素値 ' P(l)は、入力画素値取得部 2 5 2 3より供給された入力画素値テーブルに含まれているので、正規方程式生成部 2 5 2 5は、積分成分テーブルと入力画素値テーブルを利用して行列 P_MATの各成分を演算することができる。

のようにして、正規方程式生成部 2 5 2 5は、行列 S_MAT と行列 P MAT の各成分を演算し、その演算結果（行列 s_MAT と行列 P_MAT の各成分）を正規方程式テーブルとして近似関数生成部 2 5 2 6に出力する。正規方程式生成部 2526より正規方程式テーブルが出力されると、ステツプ S 2506において、近似関数生成部 2526は、正規方程式テーブルに基づいて、上述した式（101) の行列 W_MAT の各成分である特徴量 _Wi (即ち、近似関数 f(x，y,t)の係数 _Wi) を演算する。

具体的には、上述した式（101) の正規方程式は、次の式（102) のように変形できる。，

¾T ^{= S}MAT^PMAT

• · ■ (102) 式（102) において、左辺の行列 W_{M AT}の各成分が、求めたい特徴量 ^ である。また、行列 S_MAT と行列 P_MATのそれぞれの各成分は、正規方程式生成部 2525より供給された正規方程式テーブルに含まれている。従って、近似関数生成部 2526は、正規方程式テーブルを利用して、式（102) の右辺の行列演算を行うことで行列 W_MAT を演算し、その演算結果（特徴量を画像生成部 103に出力する。

ステップ S 2507において、近似関数生成部 2526は、全画素の処理を終了したか否かを判定する。

ステップ S 2507において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 2502に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 2502乃至 S 2507の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 5407において、全画素の処理が終了されたと判定されると）、実世界 1の推定処理は終了となる。以上、説明したように、 3次元近似手法は、 1次元や 2次元ではなく、時空間方向の 3次元の積分効果を考慮しているので、 1次元近似手法や 2次元近似手法に比較して、より正確に実世界 1の光信号を推定することが可能になる。次に、図 8 9乃至図 1 1 0を参照して、画像生成部 1 0 3 (図 3 ) の実施の形態の 1例について説明する。

図 8 9は、この例の実施の形態の原理を説明する図である。

図 8 9で示されるように、この例の実施の形態においては、実世界推定部 1 0 2が、関数近似手法を利用することが前提とされている。即ち、センサ 2に入射される画像である、実世界 1の信号（光の強度の分布）力所定の関数 F で表されるとして、実世界推定部 1 0 2が、センサ 2から出力された入力画像 (画素値 P ) と、データ定常性検出部 1 0 1から出力されたデータ定常性情報を使用して、関数 Fを所定の関数 f で近似することによって、関数 Fを推定することが前提とされている。

なお、以下、この例の実施の形態の説明においても、画像である、実世界 1 の信号を、特に光信号と称し、関数 Fを、特に光信号関数 Fと称する。また、関数 f を、特に近似関数 f と称する。

そこで、この例の実施の形態においては、このような前提に基づいて、画像生成部 1 0 3が、データ定常性検出部 1 0 1から出力されたデータ定常性情報と、実世界推定部 1 0 2から出力された実世界推定情報（図 8 9の例では、近似関数 f の特徴量、または特徴量が特定された近似関数 f) を使用して、近似関数 f を所定の時空間範囲で積分し、その積分値を出力画素値 M (出力画像）として出力する。なお、この例の実施の形態においては、入力画像の画素と出力画像の画素を区別するために、入力画素値を Pと記述し、出力画素値を Mと記述する。

換言すると、光信号関数 Fが 1度積分されて入力画素値 Pとなり、その入力画素値 Pから光信号関数 Fが推測され（近似関数 f で近似され）、推測された光信号関数 F (即ち、近似関数 f) が再度積分されて、出力画素値 Mが生成される。従って、以下、画像生成部 1 0 3が実行する近似関数 f の積分を、再積分と称する。また、この例の実施の形態を、再積分手法と称する。なお、後述するように、再積分手法において、出力画素値 Mが生成される場合の近似関数 f の積分範囲は、入力画素値 Pが生成される場合の光信号関数 Fの積分範囲（即ち、空間方向においては、センサ 2の検出素子の縦幅と横幅であり、時間方向においては、センサ 2の露光時間である）に限定されず、任意の積分範囲とすることが可能である。

例えば、出力画素値 Mが生成される場合、近似関数 f の積分範囲のうちの空間方向の積分範囲を可変することで、その積分範囲に応じて出力画像の画素ピッチを可変することが可能になる。即ち、空間解像度の創造が可能になる。同様に、例えば、出力画素値 Mが生成される場合、近似関数 f の積分範囲のうちの時間方向の積分範囲を可変することで、時間解像度の創造が可能になる。

以下、図面を参照して、このような再積分手法のうちの 3つの具体的な手法についてそれぞれ個別に説明していく。

即ち、 3つの具体的な手法とは、関数近似手法の 3つの具体的な手法（実世界推定部 1 0 2の実施の形態の上述した 3つの具体的な例）のそれぞれに対応する再積分手法である。

具体的には、 1つ目の手法は、上述した 1次元近似手法（関数近似手法の 1 手法）に対応する再積分手法である。従って、 1つ目の手法では 1次元の再積分を行うことになるので、以下、このような再積分手法を、 1次元再積分手法と称する。

2つ目の手法は、上述した 2次元近似手法（関数近似手法の 1手法）に対応する再積分手法である。従って、 2つ目の手法では 2次元の再積分を行うことになるので、以下、このような再積分手法を、 2次元再積分手法と称する。

3つ目の手法は、上述した 3次元近似手法（関数近似手法の 1手法）に対応する再積分手法である。従って、 3つ目の手法では 3次元の再積分を行うことになるので、以下、このような再積分手法を、 3次元再積分手法と称する。以下、 1次元再積分手法、 2次元再積分手法、および 3次元再積分手法のそれぞれの詳細について、その順番で説明していく。

はじめに、 1次元再積分手法について説明する。

1次元再積分手法においては、 1次元近似手法により近似関数 f ）が既に生成されていることが前提とされる。

即ち、 3次元の空間上の位置 x，y、および z、並びに時刻 tを変数とする光信号関数 F(x,y，t)を、空間方向である X方向、 Y方向、および Z方向、並ぴに時間方向である t方向のうちの所定の 1方向（例えば、 X方向）に射影した 1次元の波形（再積分手法の説明においても、このような波形のうちの X方向に射影した波形を、 X断面波形 F(x)と称することにする）力 n次（_nは、任意の整数）の多項式などの近似関数 f(x)で近似されていることが前提とされる。

この場合、 1次元再積分手法においては、出力画素値 Mは、次の式（10 3) のように演算される。 = G_ex Γ_χ ^ef (x)dx

• · · (1 03) なお、式（1 03) において、 x_s は、積分開始位置を表しており、 x_e は、積分終了位置を表している。また、 G_eは、所定のゲインを表している。

具体的には、例えば、いま、実世界推測部 102が、図 90で示されるような画素 3 1 0 1 (センサ 2の所定の 1つの検出素子に対応する画素 3 1 0 1) を注目画素として、図 90で示されるような近似関数 f(x) (X断面波形 F(x) の近似関数 f(x)) を既に生成しているとする。

なお、図 90の例では、画素 3 10 1の画素値（入力画素値）が Pとされ、かつ、画素 3 1 0 1の形状が、 1辺の長さが 1の正方形とされている。また、空間方向のうちの、画素 3 1 0 1の 1辺に平行な方向（図中水平方向）が X方向とされ、 X方向に垂直な方向（図中垂直方向）が Y方向とされている。 4008690

159

また、図 90の下側に、画素 3 10 1の中心が原点とされる空間方向（X方向と Y方向）の座標系（以下、注目画素座標系と称する）と、その座標系における画素 3 10 1が示されている。

さらに、図 90の上方に、 y=0 (yは、図中下側で示される注目画素座標系の Y方向の座標値）における近似関数 f(x)をグラフ化したものが示されている。このグラフにおいて、図中水平方向に平行な軸は、図中下側で示される注目画素座標系の X方向の X軸と同一の軸であり（原点も同一であり）、また、図中垂直方向に平行な軸は、画素値を表す軸とされている。

この場合、近似関数 f(x)と画素 3 1 01の画素値 Pの間には、次の式（1 04) の関係が成立する。

_Γ ■00..55

^{P =} J- -O0.5^{f (x) dX+e}

. . . (1 04) また、図 90で示されるように、画素 3 101は、傾き G_f で表される空間方向のデータの定常性を有しているとする。そして、データ定常性検出部 1 0 1 (図 8 9) 力傾き G_f で表されるデータの定常性に対応するデータ定常性情報として、図 90で示されるような角度 0を既に出力しているとする。

この場合、例えば、 1次元再積分方法においては、図 9 1で示されるように、 X方向に一 0. 5乃至 0. 5の範囲、かつ Y方向に一 0. 5乃至 0. 5の範囲 (図 90の画素 3 1 01が位置する範囲）に、 4個の画素 3 1 1 1乃至画素 3 1 14を新たに創造することが可能である。

なお、図 9 1の下側に、図 90のものと同一の注目画素座標系と、その注目画素座標系における画素 31 1 1乃至画素 3 1 1 4が示されている。また、図 9 1の上側に、図 90のものと同一のグラフ（y=0における近似関数 f (X)をグラフ化したもの）が示されている。

具体的には、図 9 1で示されるように、 1次元再積分方法においては、次の式（1 05) により画素 3 1 1 1の画素値 M (1) の算出が、次の式（10 6) により画素 31 1 2の画素値 M (2) の算出が、次の式（107) により画素 3 1 1 3の画素値 M (3) の算出が、次の式（1 08) により画素 3 1 1 4の画素値 M (4) の算出が、それぞれ可能である。 f (x)dx

•^:s1

(1 05)

(1 06)

(1 07)

• · · (1 08) なお、式 (1 05) の x_{s l}、式 (106) の x_s2、式 (1 0 7) の x_s3、および式（1 08) の x_s4 のそれぞれは、対応する式の積分開始位置を表している。また、式（1 05) の x_eい式（1 06) の x_eい式（107) の x_{e 3} およぴ式（108) の x_e4のそれぞれは、対応する式の積分終了位置を表している。

式（105) 乃至式（108) のそれぞれの右辺の積分範囲は、画素 3 1 1 1乃至画素 3 1 14のそれぞれの画素幅（X方向の長さ）となる。即ち、 x_{e l}— x_sい x_{e 2}— x_s2，x_e3— x_S3,x"一 X" のそれぞれは、 0. 5となる。

ただし、いまの場合、 y=0における近似関数 f(x)と同一形状の 1次元の波形が、 Y方向ではなく、傾き G_f で表されるデータの定常性の方向（即ち、角度 0方向）に連なっていると考えられる（実際には、 y=0における X断面波形 F(x)と同一形状の波形が定常性の方向に連なっている）。即ち、図 9 1の注 08690

161

目画素座標系における原点（0,0) (図 90の画素 3 1 0 1の中心）における画素値 f(0)を画素値 Π とした場合、画素値 fl が続く方向は、 Y方向ではなく、傾き G_f で表されるデータの定常性の方向（角度 Θ方向）である。

換言すると、 Y方向の所定の位置 y (ただし、 yは 0以外の数値）における近似関数 f(x)の波形を考えた場合、画素値 Πとなる位置は、位置（0，y) ではなく、位置（0，y) から X方向に所定の量（ここでも、このような量をシフト量と称することにする。また、シフト量は、 Y方向の位置 yに依存する量であるので、このシフト量を C_x (y)と記述することにする）だけ移動した位置 (C_x (y),y) である。従って、上述した式（105) 乃至式（108) のそれぞれの右辺の積分範囲として、求めたい画素値 M (1) (ただし、 1は、 1 乃至 4のうちのいずれかの整数値）の中心が存在する Y方向の位置 yを考慮した範囲、即ち、シフト量 C_x (y)を考慮した積分範囲の設定が必要である。具体的には、例えば、画素 3 1 1 1と画素 3 1 1 2の中心が存在する Y方向の位置 yは、 y=0ではなく、 y=0.25である。

従って、 y=0.25における近似関数 f (X)の波形は、 y=0における近似関数 f (X)の波形を X方向にシフト量 C_x (0.25)だけ移動させた波形に相当する。

換言すると、上述した式（10 5) において、画素 3 1 1 1に対する画素値 M(l)は、 y=0における近似関数 f(x)を所定の積分範囲（開始位置 x_slから終了位置 x_{e l}まで）で積分したものであるとすると、その積分範囲は、開始位置 x_sl =- 0.5から終了位置 x_el = 0までの範囲（画素 3 1 1 1が X方向に占める範囲そのもの）ではなく、図 9 1で示される範囲、即ち、開始位置 x_{s l} = -0.5 + C_x (0.25)から終了位置 x_el = 0 +C_X (0.25) (シフト量 C_x (0.25)だけ画素 3 1 1 1を仮に移動させた場合における、画素 3 1 1 1が X方向に占める範囲）となる。

同様に、上述した式（106) において、画素 3 1 1 2に対する画素値

M(2)は、 y=0における近似関数 f (X)を所定の積分範囲（開始位置 x_{s 2}から終 '了位置 x_e2まで）で積分したものであるとすると、その積分範囲は、開始位 JP2004/008690

162

置 x_s2 = 0から終了位置 x_e2=0.5までの範囲（画素 3 1 1 2の X方向に占める範囲そのもの）ではなく、図 9 1で示される範囲、即ち、開始位置 x_s2 = 0 + C_X (0.25)から終了位置 x_{e l}=0.5 + C_x (0.25) (シフト量 C_x (0.25)だけ画素 3 1 1 2を仮に移動させた場合における、画素 3 1 1 2の X方向に占める範囲）となる。

また、例えば、画素 3 1 1 3と画素 3 1 14の中心が存在する Y方向の位置 yは、 y=0ではなく、 y=- 0,25である。

従って、 y=-0.25における近似関数 f (X)の波形は、 y=0における近似関数 f (X)の波形を X方向にシフト量 C_x (-0.25)だけ移動させた波形に相当する。換言すると、上述した式（10 7) において、画素 3 1 1 3に対する画素値 M(3)は、 y=0における近似関数 f(x)を所定の積分範囲（開始位置 x_s3から終了位置 x_e3まで）で積分したものであるとすると、その積分範囲は、開始位置 x_s3 =- 0.5から終了位置 x_e3 = 0までの範囲（画素 3 1 1 3の X方向に占める範囲そのもの）ではなく、図 9 1で示される範囲、即ち、開始位置 x_{s 3} =_0.5 + C_x (- 0.25)から終了位置 x_e3 = 0 +C_X (- 0.25) (シフト量 C_x (- 0.25) だけ画素 3 1 1 3を仮に移動させた場合における、画素 3 1 1 3の X方向に占める範囲）となる。

同様に、上述した式（1 08) において、画素 3 1 14に対する画素値 M(4)は、 y=0における近似関数 f(x)を所定の積分範囲（開始位置 x_s4から終了位置 x_e4まで）で積分したものであるとすると、その積分範囲は、開始位置 x_s4 = 0から終了位置 χ_β4=0.5までの範囲（画素 3 1 14の X方向の占める範囲そのもの）ではなく、図 9 1で示される範囲、即ち、開始位置 x_s4==0 + C_X (-0.25)から終了位置 x_el =0.5 + C_x (-0, 25) (シフト量 C_x (- 0.25)だけ画素 3 1 14を仮に移動させた場合における、画素 3 1 14の X方向に占める範囲）となる。

従って、画像生成部 102 (図 89) は、上述した式（105) 乃至式（1 08) のそれぞれに、上述した積分範囲のうちの対応するものを代入してそれぞれ演算し、それらの演算結果を出力画素値 M (l)乃至 M ( 4 ) のそれぞれとして出力することになる。

このように、画像生成部 1 0 2は、 1次元再積分手法を利用することで、センサ 2 (図 8 9 ) からの出力画素 3 1 0 1 (図 9 0 ) における画素として、出力画素 3 1 0 1よりも空間解像度の高い 4つの画素、即ち、画素 3 1 1 1乃至画素 3 1 1 4 (図 9 1 ) を創造することができる。さらに、図示はしないが、上述したように、画像生成部 1 0 2は、画素 3 1 1 1乃至画素 3 1 1 4のみならず、積分範囲を適宜変えることで、出力画素 3 1 0 1に対して任意の倍率の空間解像度の画素を劣化することなく創造することができる。

図 9 2は、このような 1次元再積分手法を利用する画像生成部 1 0 3の構成例を表している。

図 9 2で示されるように、この例の画像生成部 1 0 3には、条件設定部 3 1 2 1、特徴量記憶部 3 1 2 2、積分成分演算部 3 1 2 3、および出力画素値演算部 3 1 2 4が設けられている。

条件設定部 3 1 2 1は、実世界推定部 1 0 2より供給された実世界推定情報 (図 9 2の例では、近似関数 f (X)の特徴量）に基づいて近似関数 f (x)の次数 nを設定する。

条件設定部 3 1 2 1はまた、近似関数 f (x)を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部 3 1 2 1が設定する積分範囲は、画素の幅である必要は無い。例えば、近似関数 f (X) は空間方向（X方向）に積分されるので、センサ 2 (図 8 9 ) からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部 1 0 3がこれから演算する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な積分範囲の決定が可能である。従って、条件設定部 3 1 2 1は、積分範囲として、例えば、空間解像度倍率を設定することもできる。

特徴量記憶部 3 1 2 2は、実世界推定部 1 0 2より順次供給されてくる近似関数 f (x)の特徴量を一次的に記憶する。そして、特徴量記憶部 3 1 2 2は、近似関数 f (x) の特徴量の全てを記憶すると、近似関数 f(x)の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部 3 1 24に供給する。ところで、上述したように、画像生成部 103は、上述した式（1 0 3) を利用して出力画素値 Mを演算するが、上述した式（1 03) の右辺に含まれる近似関数 f(x)は、具体的には、次の式（109) のように表される。

n .

f (χ) = j χχ

i=0

• · · (1 09) なお、式（1 09) において、 ^ は、実世界推定部 102より供給される近似関数 f(x)の特徴量を表している。

従って、上述した式（1 03) の右辺の近似関数 f(x)に、式（1 09) の近似関数 f (X) を代入して、式（1 03) の右辺を展開（演算）すると、出力画素値 Mは、次の式（1 10) のように表される。

M = G_exl w.x ^G ..

i.=0 I ⁺ I

n

=∑ Wj xk; (x_s， x_e)

i=0

• · · (1 10) 式（1 1 0) において、 Ki (x_{s >}x_e) は、 i次項の積分成分を表している。即ち、積分成分 Ki (x_s,x_e) は、次の式（1 1 1) で示される通りである。

積分成分演算部 3 1 2 3は、この積分成分 (x_s,x_e) を演算する。

具体的には、式（1 1 1) で示されるように、積分成分 (x_s , x_e ) は、積分範囲の開始位置 x_s、および終了位置 x_e、ゲイン G_e、並びに i次項の iが既知であれば演算可能である。これらのうちの、ゲイン G_e は、条件設定部 3 1 21により設定された空間解像度倍率（積分範囲）により決定される。

iの範囲は、条件設定部 3 1 21により設定された次数 nにより決定される。また、積分範囲の開始位置 x_s、および終了位置 x_eのそれぞれは、これから生成する出力画素の中心画素位置（x， y)および画素幅、並びにデータの定常性の方向を表すシフト量 C_x (y)により決定される。なお、（x，y)は、実世界推定部 1 02が近似関数 f(x)を生成したときの注目画素の中心位置からの相対位置を表している。

さらに、これから生成する出力画素の中心画素位置（x，y)および画素幅のそれぞれは、条件設定部 3 1 2 1により設定された空間解像度倍率（積分範囲）により決定される。

また、シフト量 C_x (y)と、データ定常性検出部 10 1より供給された角度 0 は、次の式（1 1 2) と式（1 1 3) のような関係が成り立つので、シフト量 C_x (y)は角度 0により決定される。

6_f = ta 0 =

T dx

• · · (1 1 2)

- · · (1 1 3) なお、式（1 1 2) において、 G_f は、データの定常性の方向を表す傾きを表しており、 0は、データ定常性検出部 1 0 1 (図 8 9) より出力されるデータ定常性情報の 1つである角度（空間方向の 1方向である X方向と、傾き G_f で表されるデータの定常性の方向とのなす角度）を表している。また、 dx は、 X方向の微小移動量を表しており、 d は、 dxに対する Y方向（X方向と垂直な空間方向）の微小移動量を表している。従って、積分成分演算部 3 1 23は、条件設定部 3 1 2 1により設定された次数および空間解像度倍率（積分範囲）、並びにデータ定常性検出部 1 01より出力されたデータ定常性情報のうちの角度 0に基づいて積分成分

(x_s , x_e ) を演算し、その演算結果を積分成分テーブルとして出力画素値演算部 3 1 24に供給する。

出力画素値演算部 3 1 24は、特徴量記憶部 3 1 22より供給された特徴量テーブルと、積分成分演算部 3 1 23より供給された積分成分テーブルを利用して、上述した式（1 10) の右辺を演算し、その演算結果を出力画素値 M として外部に出力する。

次に、図 93のフローチャートを参照して、 1次元再積分手法を利用する画像生成部 1 03 (図 9 2) の画像の生成の処理（図 29のステップ S 1 03の処理）について説明する。

例えば、いま、上述した図 29のステップ S 1 02の処理で、実世界推測部 102が、上述した図 90で示されるような画素 3 1 0 1を注目画素として、図 90で示されるような近似関数 f(x)を既に生成しているとする。

また、上述した図 29のステップ S 10 1の処理で、データ定常性検出部 1 0 1力データ定常性情報として、図 90で示されるような角度 0を既に出力しているとする。

この場合、図 93のステップ S 3 1 01において、条件設定部 3 1 2 1は、条件（次数と積分範囲）を設定する。

例えば、いま、次数として 5が設定されるとともに、積分範囲として空間 4 倍密（画素のピッチ幅が上下左右ともに 1/2倍となる空間解像度倍率）が設定されたとする。

即ち、この場合、図 9 1で示されるように、 X方向に一0. 5乃至 0. 5の範囲、かつ Y方向に一 0. 5乃至 0. 5の範囲（図 90の画素 3 1 0 1の範囲）に、 4個の画素 3 1 1 1乃至画素 3 1 14を新たに創造することが設定されたことになる。ステップ S 3 1 02において、特徴量記憶部 3 1 22は、実世界推定部 1 0 2より供給された近似関数 f(x)の特徴量を取得し、特徴量テーブルを生成する。いまの場合、 5次の多項式である近似関数 f(x)の係数 w。乃至 w₅が実世界推定部 1 02より供給されるので、特徴量テーブルとして、

{W₀ , , w₂ , w₃ , w₄ , w₅ 力生成される。

ステップ S 3 10 3において、積分成分演算部 3 1 23は、条件設定部 3 1 2 1により設定された条件（次数および積分範囲）、並びにデータ定常性検出部 10 1より供給されたデータ定常性情報（角度 0) に基づいて積分成分を演算し、積分成分テーブルを生成する。

具体的には、例えば、これから生成する画素 3 1 1 1乃至画素 3 1 14のそれぞれに対して、番号（このような番号を、以下、モード番号と称する） 1乃至 4のそれぞれが付されているとすると、積分成分演算部 3 1 23は、上述した式（1 1 1) の積分成分 (x₅,x_e) を、次の式（1 14) の左辺で示される積分成分 Ki (1)といった 1 (ただし、 1はモード番号を表している）の関数として演算する。

• · · (1 14)

具体的には、いまの場合、次の式（1 1 5) で示される積分成分 (1)が演算される。

（1) =k; (一 0.5-C_Y (一 0, 25) , 0-C_Y (-0.25))

(2) =k (0-C_x(-0.25),0.5-C_x(-0.25))

(3) =k (-0.5-C_x(0.25),0-C_x(0.25))

(4) =k (0-C_x(0.25),0.5-C_x(0.25))

… (1 1 5) なお、式（1 1 5) において、左辺が積分成分（1)を表し、右辺が積分成分 ^ (x_s,x_e) を表している。即ち、いまの場合、 1は、 1乃至 4のうちのいずれかであり、かつ、 iは 0乃至 5のうちのいずれかであるので、 6個の（1)， 6個の（2)， 6個の（3), 6個の（4)の総計 24個の（1)カ演算されることになる。

より具体的には、はじめに、積分成分演算部 3 1 23は、データ定常性検出部 10 1より供給された角度 0を使用して、上述した式（1 1 2) と式（1 1 3) よりシフト量 C_x (-0.25)、および C_x (0.25)のそれぞれを演算する。

次に、積分成分演算部 3 1 23は、演算したシフト量 C_x (-0.25), および C_x (0.25)を使用して、式（1 1 5) の 4つの式の各右辺の積分成分 Ki

(x_s,x_e) のそれぞれを、 i=0乃至 5についてそれぞれ演算する。なお、この積分成分 ^ (x_s , x_e ) の演算においては、上述した式（1 1 1) が使用される。

そして、積分成分演算部 3 1 23は、式（1 1 5) に従って、演算した 24 個の積分成分 (x_s,x_e) のそれぞれを、対応する積分成分（1)に変換し、変換した 24個の積分成分（1) (即ち、 6個の（1)、 6個の（2)、 6個の（3)、および 6個の ^ (4)) を含む積分成分テーブルを生成する。

なお、ステップ S 3 1 02の処理とステップ S 3 1 03の処理の順序は、図 93の例に限定されず、ステップ S 3 10 3の処理が先に実行されてもよいし、ステップ S 3 1 02の処理とステップ S 3 103の処理が同時に実行されてもよい。

次に、ステップ S 3 1 04において、出力画素値演算部 3 1 24は、ステツプ S 3 10 2の処理で特徴量記憶部 3 1 2 2により生成された特徴量テーブルと、ステップ S 3 1 03の処理で積分成分演算部 3 1 23により生成された積分成分テーブルに基づいて出力画素値 M(l)乃至 M(4)のそれぞれを演算する。具体的には、いまの場合、出力画素値演算部 3 1 24は、上述した式（1 1 0) に対応する、次の式（1 1 6) 乃至式（1 1 9) の右辺を演算することで、画素 3 1 1 1 (モード番号 1の画素）の画素値 M(l)、画素 3 1 1 2 (モード番号 2の画素）の画素値 M(2)、画素 3 1 1 3 (モード番号 3の画素）の画素値 M(3)、および画素 3 1 14 (モード番号 4の画素）の画素値 M(4)のそれぞれを演算する。

6)

• · · (1 1 7)

• ■ · (1 1 8)

· ■ ■ (1 1 9) ステップ S 3 105において、出力画素値演算部 3 1 24は、全画素の処理を終了したか否かを判定する。

ステップ S 3 10 5において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 3 10 2に戻.り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 3 1 02乃至 S 3 104の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 3 1 0 5において、全画素の処理が終了されたと判定すると）、出力画素値演算部 3 1 24は、ステップ S 3 1 06において、画像を出力する。その後、画像の生成の処理は終了となる。

次に、図 94乃至図 1 0 1を参照して、所定の入力画像に対して、 1次元再積分手法を適用して得られた出力画像と、他の手法（従来のクラス分類適応処理）を適用して得られた出力画像の違いについて説明する。図 9 4は、入力画像の元の画像を示す図であり、図 9 5は、図 9 4の元の画像に対応する画像データを示している。図 9 5において、図中垂直方向の軸は、画素値を示し、図中右下方向の軸は、画像の空間方向の一方向である X方向を示し、図中右上方向の軸は、画像の空間方向の他の方向である Y方向を示す。なお、後述する図 9 7、図 9 9、および図 1 0 1の軸のそれぞれは、図 9 5の軸と対応している。

図 9 6は、入力画像の例を示す図である。図 9 6で示される入力画像は、図 9 4で示される画像の 2 X 2の画素からなるブロックに属する画素の画素値の平均値を、 1つの画素の画素値として生成された画像である。即ち、入力画像は、図 9 4で示される画像に、センサの積分特性を模した、空間方向の積分を適用することにより得られた画像である。また、図 9 7は、図 9 6の入力画像に対応する画像データを示している。

図 9 4で示される元の画像において、上下方向から、ほぼ 5度時計方向に傾いた細線の画像が含まれている。同様に、図 9 6で示される入力画像において、上下方向から、ほぼ 5度時計方向に傾いた細線の画像が含まれている。

図 9 8は、図 9 6で示される入力画像に、従来のクラス分類適応処理を適用して得られた画像（以下、図 9 8で示される画像を、従来の画像と称する）を示す図である。また、図 9 9は、従来の画像に対応する画像データを示している。

なお、クラス分類適応処理は、上述したように、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理では、例えば、低画質または標準画質の画像が、所定のタップ係数を用いてマッピング（写像）されることにより、高画質の画像に変換される。

図 1 0 0は、図 9 6で示される入力画像に、 1次元再積分手法を適用して得られた画像（以下、図 1 0 0で示される画像を、再積分画像と称する）を示す図である。また、図 1 0 1は、再積分画像に対応する画像データを示している。図 9 8の従来の画像と、図 1 0 0の再積分画像を比較するに、従来の画像においては、細線の画像が、図 9 4の元の画像とは異なるものになっているのに対して、再積分画像においては、細線の画像が、図 9 4の元の画像とほぼ同じものになっていることがわかる。

この違いは、従来のクラス分類適応処理は、あくまでも図 9 6の入力画像を基準（原点）として処理を行う手法であるのに対して、 1次元再積分手法は、細線の定常性を考慮して、図 9 4の元の画像を推定し（元の画像に対応する近似関数 f (x)を生成し）、推定した元の画像を基準（原点）として処理を行う (再積分して画素値を演算する）手法であるからである。

このように、 1次元再積分手法においては、 1次元近似手法により生成された 1次元の多項式などの近似関数 f (X) (実世界の X断面波形 F (x)の近似関数 f (x) ) を基準（原点）として、近似関数 f (x)を任意の範囲に積分することで出力画像（画素値）が生成される。

従って、 1次元再積分手法においては、従来の他の手法に比較して、元の画像（センサ 2に入射される前の実世界 1の光信号）により近い画像の出力が可能になる。

また、 1次元再積分手法においては、上述したように、積分範囲は任意なので、積分範囲を可変することにより、入力画像の解像度とは異なる解像度（時間解像度、または空間解像度）を創造することも可能になる。即ち、入力画像の解像度に対して、整数値だけではなく任意の倍率の解像度の画像を生成することが可能になる。

さらに、 1次元再積分手法においては、他の再積分手法に比較して、より少ない演算処理量で出力画像（画素値）の算出が可能となる。

次に、図 1 0 2乃至図 1 0 8を参照して、 2次元再積分手法について説明する。

2次元再積分手法においては、 2次元近似手法により近似関数 f (x, y)が既に生成されていることが前提とされる。即ち、例えば、図 102で示されるような、傾き G_Fで表される空間方向の定常性を有する実世界 1 (図 8 9) の光信号を表す画像関数 F(x,y，t)を、空間方向（X方向と Y方向）に射影した波形、即ち、 X— Y平面上の波形

F(x，y)が、 n次（nは、任意の整数）の多項式などの近似関数 f (x， y)に近似されていることが前提とされる。

図 102において、図中、水平方向は、空間方向の 1方向である X方向を、右上方向は、空間方向の他方向である Y方向を、垂直方向は、光のレベルを、それぞれ表している。 G_Fは、空間方向の定常性の傾きを表している。

なお、図 102の例では、定常性の方向は、空間方向（X方向と Y方向）とされているため、近似の対象とされる光信号の射影関数は、関数 F(x，y)とされているが、後述するように、定常性の方向に応じて、関数 F(x,t)や関数 F(y，t)が近似の対象とされてもよい。

図 1 02の例の場合、 2次元再積分手法においては、出力画素値 Mは、次の式（1 20) のように演算される。 '

- - - (1 20) なお、式（1 20) において、 y_s は、 Y方向の積分開始位置を表しており、 y_eは、 Y方向の積分終了位置を表している。同様に、 x_sは、 X方向の積分開始位置を表しており、 x_e は、 X方向の積分終了位置を表している。また、 G_e は、所定のゲインを表している。

式（1 20) において、積分範囲は任意に設定可能であるので、 2次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ 2

(図 8 9) からの入力画像の画素）に対して任意の倍率の空間解像度の画素を劣化することなく創造することが可能になる。

図 1 03は、 2次元再積分手法を利用する画像生成部 1 03の構成例を表している。図 1 0 3で示されるように、この例の画像生成部 1 0 3には、条件設定部 3 2 0 1、特徴量記憶部 3 2 0 2、積分成分演算部 3 2 0 3、および出力画素値演算部 3 2 0 4が設けられている。

条件設定部 3 2◦ 1は、実世界推定部 1 0 2より供給された実世界推定情報 (図 1 0 3の例では、近似関数 f (x，y)の特徴量）に基づいて近似関数 f (x，y) の次数 nを設定する。

条件設定部 3 2 0 1はまた、近似関数 f (x，y)を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部 3 2 0 1が設定する積分範囲は、画素の縦幅や横幅である必要は無い。例えば、近似関数 f (x, y) は空間方向（X方向と Y方向）に積分されるので、センサ 2からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部 1 0 3がこれから生成する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な積分範囲の決定が可能である。従って、条件設定部 3 2 0 1は、積分範囲として、例えば、空間解像度倍率を設定することもできる。

特徴量記憶部 3 2 0 2は、実世界推定部 1 0 2より順次供給されてくる近似関数 f (x, y)の特徴量を一次的に記憶する。そして、特徴量記憶部 3 2 0 2は、近似関数 f (X, y)の特徴量の全てを記憶すると、近似関数 f (X, y)の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部 3 2 0 4に供給する。

ここで、近似関数 f (x， y)の詳細について説明する。

例えば、いま、上述した図 1 0 2で示されるような傾き G_Fで表される空間方向の定常性を有する実世界 1 (図 8 9 ) の光信号（波形 F (x，y) で表される光信号）が、センサ 2 (図 8 9 ) により検出されて入力画像（画素値）として出力されたとする。

さらに、 - 例えば、図 1 0 4で示されるように、データ定常性検出部 1 0 1 (図 3 ) 力この入力画像のうちの、 X方向に 4画素分、かつ Y方向に 5画素分の総計 2 0個の画素（図中、点線で表される 2 0個の正方形）から構成される入力画像の領域 3 2 2 1に対してその処理を実行し、データ定常性情報の 1 つとして角度 Θ (傾き G_F に対応する傾き G_f で表されるデータの定常性の方向と、 X方向とのなす角度 0) を出力したとする。

なお、実世界推定部 1 02から見ると、データ定常性検出部 10 1は、注目画素における角度 0を単に出力すればよいので、データ定常性検出部 10 1の処理範囲は、上述した入力画像の領域 3221に限定されない。

また、入力画像の領域 322 1において、図中水平方向は、空間方向の 1 方向である X方向を表しており、図中垂直方向は、空間方向の他方向である Y 方向を表している。

さらに、図 1 04中、左から 2画素目であって、下から 3画素目の画素が注目画素とされ、その注目画素の中心を原点（0,0)とするように（x，y)座標系が設定されている。そして、原点（0，0)を通る角度 0の直線（データの定常性の方向を表す傾き G_f の直線）に対する X方向の相対的な距離（以下、断面方向距離と称する）が x' とされている。

さらに、図 1 04中、右側のグラフは、 3次元の空間上の位置 x,y、および z、並びに時刻 tを変数とする画像関数 F(x，y，t)を、 Y方向の任意の位置 y において、 X方向に射影した 1次元の波形（以下、このような波形を、 X断面波形 F(x' )と称する）が近似された関数であって、 n次（nは、任意の整数）の多項式などの近似関数 f(x' )を表している。右側のグラフの軸のうち、図中水平方向の軸は、断面方向距離を表しており、図中垂直方向の軸は、画素値を表している。

この場合、図 1 04で示される近似関数 f (χ' )は、 n次の多項式であるので、次の式（1 2 1) のように表される。

n

f(X，） = WQ+V^X'+Wゥ Χ， + · · '+W_nX，ⁿ = ∑ WjX"

i=0

• · · (1 21) また、角度 0が決定されていることから、原点（0,0)を通る角度 Θの直線は一意に決まり、 Y方向の任意の位置 yにおける、直線の X方向の位置力次の式（1 22) のように表される。ただし、式（1 22) において、 sは cot Θを表している。

X| = sxy

• · · (1 22) 即ち、図 104で示されるように、傾き G_f で表されるデータの定常性に対応する直線上の点は、座標値（_Xl， y)で表される。

式（1 22) より、断面方向距離 x' は、次の式（1 23) のように表される。

一 ― Λ| ― A O Λ y

· · · (1 23) 従って、入力画像の領域 3 22 1内の任意の位置（x，y)における近似関数 f(x，y)は、式（1 21) と式（1 23) より、次の式（1 24) のように示される。

n

f , y) = ∑ Wj (x— sxy)

i=0

· · · ( 1 24) なお、式（1 24) において、 _Wi は、近似関数 f (x,y)の特徴量を表している。

図 1 03に戻り、式（1 24) に含まれる特徴量力実世界推定部 1 0 2より供給され、特徴量記憶部 3 202に記憶される。特徴量記憶部 3 202 は、式（1 24) で表される特徴量の全てを記憶すると、特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部 3 204に供給する。

また、上述した式（1 20) の右辺の近似関数 f (x，y)に、式（1 24) の • 近似関数 f (x, y) を代入して、式（1 20) の右辺を展開（演算）すると、出力画素値 Mは、次の式（1 25) のように表される。 0

176 n i^|+^T2 、i+2

、_e-sxy_e)'+² - (x_e - sxy_s) (x_s-sxy_e)^|T+(x_s-sり 'リ s

M = G_Px∑ ; x

=0 ^s 二∑ Wj ki (x_s, x_e，y_s， y_e)

i=0

- · · (1 25) 式（1 2 5) において、 Ki (x_s , x_e , y_s , y_e ) は、 i次項の積分成分を表している。即ち、積分成分 (x_s , x_e , y_s , y_e ) は、次の式（1 26) で示される通りである。 kj (x_s， x_e， y_s, y_e)

P 乂 l(x_e-sxy_e)ⁱ⁺²-(x_e-sxy_s)ⁱ⁺²-(x_s-sxy_e)ⁱ⁺²+(x_s-sxy_s)ⁱ⁺²) 一 ^Ue ί(ϊ+ϊ) (ΐ+2) .

• · - (1 26) 積分成分演算部 3 20 3は、この積分成分 Ki (x₅,x_e,y_s,y_e) を演算する < 具体的には、式（1 2 5) と式（1 26) で示されるように、積分成分 (x_s,x₆,y_s,y_e) は、積分範囲の X方向の開始位置 x_s、および X方向の終了位置 x_e、積分範囲の Y方向の開始位置 y_s、および Y方向の終了位置 y_e、変数 s、ゲイン G_e、並びに i次項の iが既知であれば演算可能である。

これらのうちの、ゲイン G_e は、条件設定部 3 201により設定された空間解像度倍率（積分範囲）により決定される。

iの範囲は、条件設定部 3 201により設定された次数 nにより決定される _t 変数 sは、上述したように、 cot 6であるので、データ定常性検出部 10 1 より出力される角度 eにより決定される。

また、積分範囲の X方向の開始位置 x_s、および X方向の終了位置 x_e、並びに、積分範囲の Y方向の開始位置 y_s、および Y方向の終了位置 y_eのそれぞれは、これから生成する出力画素の中心画素位置（x,y)および画素幅により決定される。なお、（x,y)は、実世界推定部 1 02が近似関数 f(x)を生成したときの注目画素の中心位置からの相対位置を表している。さらに、これから生成する出力画素の中心画素位置（x，y)および画素幅のそれぞれは、条件設定部 3 2 0 1により設定された空間解像度倍率（積分範囲）により決定される。

従って、積分成分演算部 3 2 0 3は、条件設定部 3 2 0 1により設定された次数および空間解像度倍率（積分範囲）、並びにデータ定常性検出部 1 0 1より出力されたデータ定常性情報のうちの角度 Θに基づいて積分成分

(x_s , x_e , y_s , y_e ) を演算し、その演算結果を積分成分テーブルと.して出力画素値演算部 3 2 0 4に供給する。

出力画素値演算部 3 2 0 4は、特徴量記憶部 3 2 0 2より供給された特徴量テーブルと、積分成分演算部 3 2 0 3より供給された積分成分テーブルを利用して、上述した式（1 2 5 ) の右辺を演算し、その演算結果を出力画素値 M として外部に出力する。

次に、図 1 0 5のフローチャートを参照して、 2次元再積分手法を利用する画像生成部 1 0 3 (図 1 0 4 ) の画像の生成の処理（図 2 9のステップ S 1 0 3の処理）について説明する。

例えば、いま、図 1 0 2で示される関数 F (x，y)で表される光信号がセンサ 2に入射されて入力画像となり、上述した図 2 9のステップ S 1 0 2の処理で、実世界推測部 1 0 2が、その入力画像のうちの、図 1 0 6で示されるような 1 つの画素 3 2 3 1を注目画素として、関数 F (x，y)を近似する近似関数 f (x, y) を既に生成しているとする。

なお、図 1 0 6において、画素 3 2 3 1の画素値（入力画素値）が Pとされ、かつ、画素 3 2 3 1の形状が、 1辺の長さが 1の正方形とされている。また、空間方向のうちの、画素 3 2 3 1の 1辺に平行な方向が X方向とされ、 X方向に垂直な方向が Y方向とされている。さらに、画素 3 2 3 1の中心が原点とされる空間方向（X方向と Y方向）の座標系（以下、注目画素座標系と称する）が設定されている。また、図 1 0 6において、上述した図 2 9のステップ S 1 0 1の処理で、データ定常性検出部 1 0 1力画素 3 2 3 1を注目画素として、傾き G_f で表されるデータの定常性に対応するデータ定常性情報として、角度 0を既に出力しているとする。

図 1 0 5に戻り、この場合、ステップ S 3 2 0 1において、条件設定部 3 2 0 1は、条件（次数と積分範囲）を設定する。

即ち、この場合、図 1 0 7で示されるように、 X方向に一 0 . 5乃至 0 . 5 の範囲、かつ Y方向に一 0 . 5乃至 0 . 5の範囲（図 1 0 6の画素 3 2 3 1の範囲）に、 4個の画素 3 2 4 1乃至画素 3 2 4 4を新たに創造することが設定されたことになる。なお、図 1 0 7においても、図 1 0 6のものと同一の注目画素座標系が示されている。

また、図 1 0 7において、 M (l)は、これから生成される画素 3 2 4 1の画素値を、 M (2)は、これから生成される画素 3 2 4 2の画素値を、 M (3)は、これから生成される画素 3 2 4 3の画素値を、 M (4)は、これから生成される画素 3 2 4 1の画素値を、それぞれ表している。

図 1 0 5に戻り、ステップ S 3 2 0 2において、特徴量記憶部 3 2 0 2は、実世界推定部 1 0 2より供給された近似関数 f (x，y)の特徴量を取得し、特徴量テーブルを生成する。いまの場合、 5次の多項式である近似関数 f (x)の係数^乃至 w₅が実世界推定部 1 0 2より供給されるので、特徴量テーブルとして、 (w₀ , w_x , w₂ , w₃ , w₄ , w₅ ) カ生成れる。

ステップ S 3 2 0 3において、積分成分演算部 3 2 0 3は、条件設定部 3 2 0 1により設定された条件（次数および積分範囲）、並びにデータ定常性検出部 1 0 1より供給されたデータ定常性情報（角度 Θ ) に基づいて積分成分を演算し、積分成分テーブルを生成する。具体的には、例えば、これから生成される画素 324 1乃至画素 3 244のそれぞれに対して、番号（このような番号を、以下、モード番号と称する） 1 乃至 4のそれぞれが付されているとすると、積分成分演算部 3 20 3は、上述した式（1 25) の積分成分 ^ (x_s,x_e,y₅,y_e) を、次の式（1 27) の左辺で示される積分成分 ^ (1)といった 1 (ただし、 1はモード番号を表している）の関数として演算する。

kj(l) = kj (x_s, x_e, y_s, y_e)

• · (1 27) 具体的には、いまの場合、次の式（1 28) で示される積分成分 Kiひ）が演算される。

(2) =k (0， 0.5， 0， 0.5)

(3) =k (-0.5， 0, -0.5,0)

(4) =k (0， 0.5, -0.5,0)

• ■ · (1 28) なお、式（1 28) において、左辺が積分成分（1)を表し、右辺が積分成分 Ki (x_s , x_e , y_s , y_e ) を表している。即ち、いまの場合、 1は、 1乃至 4のうちのいずれかであり、かつ、 iは 0乃至 5のうちのいずれかであるので、 6個の（1)， 6個の (2), 6個の（3)， 6個の（4)の総計 24個の (1) が演算されることになる。

より具体的には、はじめに、積分成分演算部 3 203は、データ定常性検出部 10 1より供給された角度 Θを使用して、上述した式 (1 22) の変数 s ( s =cot θ ) を演算する。

次に、積分成分演算部 3203は、演算した変数 sを使用して、式（ 1 2 8) の 4つの式の各右辺の積分成分 (x_s , x_e , y_s , y_e ) のそれぞれを、 i= 0 乃至 5についてそれぞれ演算する。なお、この積分成分 (x_{s )}x_e,y_s,y_e) の演算においては、上述した式（1 2 5) が使用される。そして、積分成分演算部 3 203は、式（1 28) に従って、演算した 24 個の積分成分 Ki (x_{s )}x_e,y_{s )}y_e) のそれぞれを、対応する積分成分（1)に変換し、変換した 24個の積分成分（1) (即ち、 6個の 1^ (1)、 6個の Ki (2)、 6個の（3)、および 6個の（4)) を含む積分成分テーブルを生成する。

なお、ステップ S 3202の処理とステップ S 3203の処理の順序は、図 1 05の例に限定されず、ステップ S 3203の処理が先に実行されてもよいし、ステップ S 3 202の処理とステップ S 3203の処理が同時に実行されてもよい。

次に、ステップ S 3204において、出力画素値演算部 3204は、ステツプ S 3 20 2の処理で特徴量記憶部 3 20 2により生成された特徴量テーブルと、ステップ S 3203の処理で積分成分演算部 3 203により生成された積分成分テーブルに基づいて出力画素値 M(l)乃至 M(4)のそれぞれを演算する。具体的には、いまの場合、出力画素値演算部 3 204は、上述した式（1 2 5) に対応する、次の式（1 29) 乃至式（1 3 2) の右辺のそれぞれを演算することで、図 107で示される、画素 3 241 (モード番号 1の画素）の画素値 M(l)、画素 3242 (モード番号 2の画素）の画素値 M (2)、画素 3 24 3 (モード番号 3の画素）の画素値 M (3)、および画素 3244 (モード番号 4の画素）の画素値 M(4)のそれぞれを演算する。

M(1) = ∑ Wj kj

i=0

(1 29)

(1 30)

(1 3 1) 8690

181

• · · ( 1 3 2 ) ただし、いまの場合、式（1 2 9 ) 乃至式（1 3 2 ) の n は全て 5となる。ステップ S 3 2 0 5において、出力画素値演算部 3 2 0 4は、，全画素の処理を終了したか否かを判定する。

ステップ S 3 2 0 5において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 3 2 0 2に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 3 2 0 2乃至 S 3 2 0 4の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 3 2 0 5において、全画素の処理が終了されたと判定すると）、出力画素値演算部 3 2 0 4は、ステップ S 3 2 0 6において、画像を出力する。その後、画像の生成の処理は終了となる。

このように、 2次元再積分手法を利用することで、センサ 2 (図 8 9 ) からの入力画像の画素 3 2 3 1 (図 1 0 6 ) における画素として、入力画素 3 2 3 1よりも空間解像度の高い 4つの画素、即ち、画素 3 2 4 1乃至画素 3 2 4 4 (図 1 0 7 ) を創造することができる。さらに、図示はしないが、上述したように、画像生成部 1 0 3は、画素 3 2 4 1乃至画素 3 2 4 4のみならず、積分範囲を適宜変えることで、入力画素 3 2 3 1に対して任意の倍率の空間解像度の画素を劣化することなく創造することができる。

以上、 2次元再積分手法の説明として、空間方向（X方向と Y方向）に対する近似関数 f (x，y)を 2次元積分する例を用いたが、 2次元再積分手法は、時空間方向（X方向と t方向、または、 Y方向と t方向）に対しても適用可能である。

即ち、上述した例は、実世界 1 (図 8 9 ) の光信号が、例えば、図 1 0 2で示されるような傾き G_Fで表される空間方向の定常性を有する場合の例であつたので、上述した式（1 2 0 ) で示されるような、空間方向（X方向と Y方向）の二次元積分が含まれる式が利用された。しかしながら、二次元積分の考え方は、空間方向だけによるものではなく、時空間方向（X方向と t方向、または、 Y方向と t方向）に対して適用することも可能である。

換言すると、 2次元再積分手法の前提となる 2次元近似手法においては、光信号を表す画像関数 F (x，y，t)が、空間方向の定常性のみならず、時空間方向 (ただし、 X方向と t方向、または、 Y方向と t方向）の定常性を有している場合であっても、 2次元の近似関数 f により近似することが可能である。具体的には、例えば、 X方向に水平に等速で動いている物体がある場合、その物体の動きの方向は、図 1 0 8で示されるような X_t平面においては、傾き V_Fのように表される。換言すると、傾き V_Fは、 X - 1平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部 1 0 1 (図 8 9 ) は、上述した角度 Θ (X- Y平面における、空間方向の定常性を表す傾き G_F に対応するデータ定常性情報）と同様に、 X-t平面における時空間方向の定常性を表す傾き V_Fに対応するデータ定常性情報として、図 1 0 8で示されるような動き 0 (厳密には、図示はしないが、傾き V_F に対応する傾き V_f で表されるデータの定常性の方向と、空間方向の X方向とのなす角度である動き 0 ) を出力することが可能である。

また、 2次元近似手法を利用する実世界推定部 1 0 2 (図 8 9 ) は、動き 0 を上述した角度 0の代わりとして使用すれば、上述した方法と同様な方法で、近似関数 f (x，t)の係数（特徴量） _Wi を演算することが可能になる。ただし、この場合、使用される式は、上述した式（1 2 4 ) ではなく、次の式（1 3 3 ) である。

门

f (x, y) = Wj (x-s x t)

i =0

· · · ( 1 3 3 ) なお、式（1 33) において、 sは cot0 (ただし、 0は動きである）である。

従って、 2次元再積分手法を利用する画像生成部 1 03 (図 8 9) は、次の式（1 34) の右辺に、上述した式（1 3 3) の f (x， t)を代入して、演算することで、画素値 Mを算出することが可能になる。

M = G_e j, J f (x, t)dxdt

■ · · (1 34) なお、式（1 34) において、 t_s は、 t方向の積分開始位置を表しており、 t_eは、 t方向の積分終了位置を表している。同様に、 x_s は、 X方向の積分開始位置を表しており、 x_e は、 X方向の積分終了位置を表している。 G_eは、所定のゲインを表している。

また、空間方向 Xの変わりに、空間方向 Yに注目した近似関数 f (y,t) も、上述した近似関数 f (x，t)と全く同様に取り扱うことが可能である。

ところで、式（1 33) において、 t方向を一定とみなし、即ち、 t方向の積分を無視して積分することで、時間方向には積分されないデータ、即ち、動きボケのないデータを得ることが可能になる。換言すると、この手法は、 2次元の近似関数 f のうちの所定の 1次元を一定として再積分する点で、 2次元再積分手法の 1つとみなしてもよいし、実際には、 X方向の 1次元の再積分をすることになるという点で、 1次元再積分手法の 1つとみなしてもよい。

また、式（1 34) において、積分範囲は任意に設定可能であるので、 2次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ 2 (図 8 9) からの入力画像の画素）に対して任意の倍率の解像度の画素を劣化することなく創造することが可能になる。

即ち、 2次元再積分手法においては、時間方向 tの積分範囲を適宜変えることで、時間解像度の創造が可能になる。また、空間方向 X (または、空間方向 Y) の積分範囲を適宜変えることで、空間解像度の創造が可能になる。さらに、時間方向 tと空間方向 Xの積分範囲のそれぞれを適宜変えることで、時間解像度と空間解像度の両方の創造が可能になる。

なお、上述したように、時間解像度と空間解像度のうちのいずれか一方の創造は、 1次元再積分手法でも可能であるが、両方の解像度の創造は、 1次元再積分手法では原理上不可能であり、 2次元以上の再積分を行うことではじめて可能になる。即ち、 2次元再積分手法と後述する 3次元再積分手法ではじめて、両方の解像度の創造が可能になる。

また、 2次元再積分手法は、 1次元ではなく 2次元の積分効果を考慮しているので、より実世界 1 (図 8 9 ) の光信号に近い画像を生成することも可能になる。

次に、図 1 0 9と図 1 1 0を参照して、 3次元再積分手法について説明する。 3次元再積分手法においては、 3次元近似手法により近似関数 f (x， y, ΐ)が既に生成されていることが前提とされる。

この場合、 3次元再積分手法においては、出力画素値 Μは、次の式（1 3

5 ) のように演算される。

M = G_e x /₊ f χ f (x, y, t) dxdydt

• · · ( 1 3 5 ) なお、式（1 3 5 ) において、 t_s は、 t方向の積分開始位置を表しており、 t_eは、 t方向の積分終了位置を表している。同様に、 y_s は、 Y方向の積分開始位置を表しており、 y_e は、 Y方向の積分終了位置を表している。また、 x_s は、 X方向の積分開始位置を表しており、 x_eは、 X方向の積分終了位置を表している。さらに、 G_eは、所定のゲインを表している。

式（1 3 5 ) において、積分範囲は任意に設定可能であるので、 3次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ 2

(図 8 9 ) からの入力画像の画素）に対して任意の倍率の時空間解像度の画素を劣化することなく創造することが可能になる。即ち、空間方向の積分範囲を小さくすれば、画素ピッチを自由に細かくできる。逆に、空間方向の積分範囲を大きくすれば、画素ピッチを自由に大きくすることができる。また、時間方向の積分範囲を小さくすれば、実世界波形に基づいて時間解像度を創造できる。図 1 0 9は、 3次元再積分手法を利用する画像生成部 1 0 3の構成例を表している。

図 1 0 9で示されるように、この例の画像生成部 1 0 3には、条件設定部 3 3 0 1、特徴量記憶部 3 3 0 2、積分成分演算部 3 3 0 3、および出力画素値演算部 3 3 0 4が設けられている。

条件設定部 3 3 0 1は、実世界推定部 1 0 2より供給された実世界推定情報 (図 1 0 9の例では、近似関数 f (x， y， t)の特徴量）に基づいて近似関数 f (x，y，t)の次数 nを設定する。

条件設定部 3 3 0 1はまた、近似関数 f (x, y, t)を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部 3 3 0 1が設定する積分範囲は、画素の幅（縦幅と横幅）やシャツタ時間そのものである必要は無い。例えば、センサ 2 (図 8 9 ) からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部 1 0 3がこれから生成する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な空間方向の積分範囲の決定が可能である。同様に、センサ 2 (図 8 9 ) のシャツタ時間に対する出力画素値の相対的な時間（時間解像度の倍率）がわかれば、具体的な時間方向の積分範囲の決定が可能である。従って、条件設定部 3 3 0 1は、積分範囲として、例えば、空間解像度倍率や時間解像度倍率を設定することもできる。

特徴量記憶部 3 3 0 2は、実世界推定部 1 0 2より順次供給されてくる近似関数 f (x，y，t)の特徴量を一次的に記憶する。そして、特徴量記憶部 3 3 0 2 は、近似関数 f (x， y, t)の特徴量の全てを記憶すると、近似関数 f (x， y, t)の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部 3 3 0 4に供給する。ところで、上述した式（1 35) の右辺の近似関数 f (x，y)の右辺を展開 (演算）すると、出力画素値 Mは、次の式（1 3 6) のように表される。

Μ=∑ Wj kj iXs, x_e, y_s, y_e, t_s, t_e)

i=0

• · · (1 36) 式（1 3 6) において、 Ki (x_s,x_e,y_s,y_e,t_s,t_e) は、 i次項の積分成分を表している。ただし、 x_s は X方向の積分範囲の開始位置を、 x_e は X方向の積分範囲の終了位置を、 y_s は Y方向の積分範囲の開始位置を、 y_e は Y方向の積分範囲の終了位置を、 t_s は t方向の積分範囲の開始位置を、 t_e は t方向の積分範囲の終了位置を、それぞれ表している。

積分成分演算部 3 303は、この積分成分 ^ (x_s,x_e,y_s,y_e,t_s,t_e) を演算する。

具体的には、積分成分演算部 3 303は、条件設定部 3 30 1により設定された次数、および積分範囲（空間解像度倍率や時間解像度倍率）、並びにデータ定常性検出部 10 1より出力されたデータ定常性情報のうちの角度 Θまたは動き 0に基づいて積分成分 ^ (x_s,x_e,y_s,y₉,t_s,t_e) を演算し、その演算結果を積分成分テーブルとして出力画素値演算部 3 304に供給する。

出力画素値演算部 3304は、特徴量記憶部 3 30 2より供給された特徴量テーブルと、積分成分演算部 3303より供給された積分成分テーブルを利用して、上述した式（1 3 6) の右辺を演算し、その演算結果を出力画素値 M として外部に出力する。

次に、図 1 1 0のフローチャートを参照して、 3次元再積分手法を利用する画像生成部 10 3 (図 1 09) の画像の生成の処理（図 2 9のステップ S 1 0 3の処理）について説明する。

例えば、いま、上述した図 29のステップ S 1 02の処理で、実世界推測部 102 (図 89) 力入力画像のうちの、所定の画素を注目画素として、実世界 1 (図 8 9) の光信号を近似する近似関数 f(x,y，t)を既に生成しているとする。

また、上述した図 29のステップ S 10 1の処理で、データ定常性検出部 1 01 (図 8 9) 力実世界推定部 102と同じ画素を注目画素として、データ定常性情報として、角度 Θまたは動き Θを既に出力しているとする。

この場合、図 1 1 0のステップ S 3 30 1において、条件設定部 3 30 1は、条件（次数と積分範囲）を設定する。

ステップ S 3 30 2において、特徴量記憶部 3 302は、実世界推定部 10 2より供給された近似関数 f(x,y，t)の特徴量を取得し、特徴量テーブルを生成する。

ステップ S 3 30 3において、積分成分演算部 3303は、条件設定部 3 3 0 1により設定された条件（次数および積分範囲）、並びにデータ定常性検出部 10 1より供給されたデータ定常性情報（角度.0または動き 0) に基づいて積分成分を演算し、積分成分テーブルを生成する。

なお、ステップ S 3302の処理とステップ S 3303の処理の順序は、図 1 10の例に限定されず、ステップ S 3303の処理が先に実行されてもよいし、ステップ S 3302の処理とステップ S 3303の処理が同時に実行されてもよい。

次に、ステップ S 3304において、出力画素値演算部 3304は、ステツプ S 3302の処理で特徴量記憶部 3302により生成された特徴量テーブルと、ステップ S 3303の処理で積分成分演算部 3 303により生成された積分成分テーブルに基づいて各出力画素値のそれぞれを演算する。

- ステップ S 3 30 5において、出力画素値演算部 3 304は、全画素の処理を終了したか否かを判定する。

ステップ S 3 305において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 3 302に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 3 3 0 2乃至 S 3 3 0 4の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 3 3 0 5において、全画素の処理が終了されたと判定すると）、出力画素値演算部 3 3 0 4は、ステップ S 3 3 0 6において、画像を出力する。その後、画像の生成の処理は終了となる。

このように、上述した式（1 3 5 ) において、その積分範囲は任意に設定可能であるので、 3次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ 2 (図 8 9 ) からの入力画像の画素）に対して任意の倍率の解像度の画素を劣化することなく創造す.ることが可能になる。

即ち、 3次元再積分手法においては、時間方向の積分範囲を適宜変えることで、時間解像度の創造が可能になる。また、空間方向の積分範囲を適宜変えることで、空間解像度の創造が可能になる。さらに、時間方向と空間方向の積分範囲のそれぞれを適宜変えることで、時間解像度と空間解像度の両方の創造が可能になる。

具体的には、 3次元再積分手法においては、 2次元や 1次元に落とすときの近似がないので精度の高い処理が可能になる。また、斜め方向の動きも 2次元に縮退することなく処理することが可能になる。さらに、 2次元に縮退していないので各次元の加工が可能になる。例えば、 2次元再積分手法において、空間方向（X方向と Y方向）に縮退している場合には時間方向である t方向の加ェができなくなってしまう。これに対して、 3次元再積分手法においては、時空間方向のいずれの加工も可能になる。

なお、上述したように、時間解像度と空間解像度のうちのいずれか一方の創造は、 1次元再積分手法でも可能であるが、両方の解像度の創造は、 1次元再積分手法では原理上不可能であり、 2次元以上の再積分を行うことではじめて可能になる。即ち、上述した 2次元再積分手法と 3次元再積分手法ではじめて、両方の解像度の創造が可能になる。また、 3次元再積分手法は、 1次元や 2次元ではなく 3次元の積分効果を考慮しているので、より実世界 1 (図 8 9 ) の光信号に近い画像を生成することも可能になる。

次に、図 3の信号処理装置 4においては、データ定常性検出部 1 0 1においてデータの定常性が検出され、実世界推定部 1 0 2において、その定常性に基づき、実世界 1の信号の波形の推定、即ち、例えば、 X断面波形 F ( x ) を近似する近似関数が求められる。

このように、信号処理装置 4では、定常性に基づいて、実世界 1の信号の波形の推定が行われるため、データ定常性検出部 1 0 1で検出される定常性が誤つていたり、あるいは、その検出精度が悪い場合には、実世界 1の信号の波形の推定精度も悪くなる。

また、信号処理装置 4では、ここでは、例えば、画像である、実世界 1の信号が有する定常性に基づいて信号処理を行うため、実世界 1の信号のうちの定常性が存在する部分に対しては、他の信号処理装置の信号処理に比べて、精度のよい信号処理を実行することができ、その結果、より実世界 1の信号に対応する画像に近い画像を出力することが可能になる。

しかしながら、信号処理装置 4は、定常性に基づいて信号処理を実行する以上、実世界 1の信号のうちの明確な定常性が存在しない部分に対しては、定常性が存在する部分に対する処理と同等の精度で、信号処理を実行することができず、その結果、実世界 1の信号に対応する画像に対して誤差を含む画像を出力することになる。

従って、信号処理装置 4において実世界 1の信号に対応する画像より近い画像を得るためには、信号処理装置 4による信号処理の対象とする処理領域や、信号処理装置 4で用いる定常性の精度などが問題となる。

そこで、図 1 1 1は、図 1の信号処理装置 4の他の一実施の形態の構成例を示している。図 1 1 1では、信号処理装置 4は、処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、およびユーザ I / F (Interface) 10006力ら構成されて! /、る。

図 1 1 1に構成を示す信号処理装置 4には、データ 3の一例である画像データ（入力画像） ί センサ 2 (図 1 ) から入力され、その入力画像は、処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部

10004、および画像表示部 10005に供給される。

処理領域設定部 10001は、入力画像について、処理領域を設定し、その処理領域を特定する処理領域情報を、定常性設定部 10002、実世界推定部 10003、および画像生成部 10004に供給する。

定常性設定部 10002は、処理領域設定部 10001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域の画像データにおいて欠落した実世界 1の信号の定常性を設定し、その定常性を表す定常性情報を、実世界推定部 10003および画像生成部 10004に供給する。

実世界推定部 10003は、モデル生成部 10011、方程式生成部 10012、および実世界波形推定部 10013から構成され、処理領域内の画像データから、対応する実世界 1の信号の定常性に応じて、その実世界 1の信号を推定する。

即ち、モデル生成部 10011は、処理領域設定部 10001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域を構成する画素と、その処理領域の画像データに対応する実世界 1の信号の定常性に応じて、処理領域内の各画素の画素値と実世界 1の信号との関係をモデル化したモデルとしての関数を生成し、方程式生成部 10012に供給する。

方程式生成部 10012は、処理領域設定部 10001から供給される処理領域情報から、入力画像における処理領域を認識する。さらに、方程式生成部 10012 は、その処理領域を構成する各画素の画素値を、モデル生成部 10011から供給されるモデルとしての関数に代入し、これにより、方程式を生成して、実世界波形推定部 10013に供給する。実世界波形推定部 10013は、方程式生成部 10012から供給される方程式を演算することにより、実世界 1の信号の波形を推定する。即ち、実世界波形推定部 10013 は、方程式生成部 10012 から供給される方程式を解くことにより、実世界 1の信号を近似する近似関数を求め、その近似関数を、実世界 1の信号の波形の推定結果として、画像生成部 10004に供給する。ここで、実世界 1 の信号を近似する近似関数には、引数の値にかかわらず、関数値が一定の関数も含まれる。

画像生成部 10004は、実世界推定部 10003で推定された実世界 1の信号の波形を表す近似関数と、定常性設定部 10002から供給される定常性情報とに基づいて、実世界 1の信号により近似した信号を生成する。即ち、画像生成部 10004は、処理領域設定部 10001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部 10003 (の実世界波形推定部 10013) から供給される近似関数と、定常性設定部 10002から供給される定常性情報とに基づき、実世界 1の信号に対応する画像により近似した画像データを生成する。

さらに、画像生成部 10004は、入力画像と、近似関数に基づいて生成した画像データ（以下、適宜、近似画像ともいう）とを合成し、入力画像の処理領域の部分を、近似画像に置き換えた画像を生成し、その画像を、出力画像として画像表示部 10005に供給する。

画像表示部 10005は、. CRT (Cathode Ray Tube)や LCD (Liquid Crystal

Display)で構成され、入力画像や、画像生成部 10004から供給される出力画像を表示する。

なお、画像表示部 10005は、 1または複数の CRTや LCDで構成することが可能である。画像表示部 10005を 1つの CRTや LCDで構成する場合には、その 1つの CRTや LCDの画面を複数の画面に分割し、ある画面に入力画像を表示するとともに、他の画面に出力画像を表示するようにすることができる。さらに、画像表示部 10005を複数の CRTや LCDで構成する場合には、ある 1つの CRTや LCDに入力画像を表示するとともに、他の CRTや LCDに出力画像を表示するようにすることができる。

また、画像表示部 10005は、ユーザ I Z F 10006の出力に応じて、各種の表示を行う。即ち、画像表示部 10005は、例えば、カーソルを表示し、ユーザがカーソルを移動するようにユーザ I / F 10006を操作した場合、その操作に応じて、カーソルを移動させる。また、画像表示部 10005は、例えば、ユーザが所定の範囲を選択するようにユーザ I Z F 10006を操作した場合、その操作に応じて、画面上の選択された範囲を囲む枠を表示する。

ユーザ I / F 10006は、ユーザによって操作され、そのユーザの操作に応じて、例えば、処理領域、定常性、または現実世界の信号のうちの少なくとも 1 つに関連する情報を、処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10003に供給する。

即ち、ユーザは、画像表示部 10005に表示された入力画像や出力画像を見て、その入力画像や出力画像に対する入力を与えるように、ユーザ I Z F 10006 を操作する。ユーザ I ZF 10006は、ユーザの操作に応じて、処理領域、定常性、または現実世界の信号に関連する情報を、処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10003の処理を捕助する補助情報として、処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10003 に供給する。

処理領域設定部 10001、定常性設定部 1Q002、または実世界推定部 10003は、ユーザ I Z F 10006から補助情報が供給された場合、その捕助情報に基づき、処理領域の設定、定常性の設定、または実世界 1の信号の推定を、それぞれ行

5。

但し、処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10003では、捕助情報を用いずに、即ち、ユーザによって、ユーザ I Z F

10006が操作されなくても、処理領域の設定、定常性の設定、または実世界 1 の信号の推定を、それぞれ行うことが可能である。具体的には、処理領域設定部 10001では、図 3 0乃至図 4 8で説明したように、図 3のデータ定常性検出部 1 0 1における場合と同様にして、入力画像から、定常領域を検出し、例えば、その定常領域を囲む矩形（長方形）の領域を、処理領域として設定することができる。

また、定常性設定部 10002では、図 4 9乃至図 5 7で説明したように、図 3のデータ定常性検出部 1 0 1における場合と同様にして、入力画像から、データの定常性を検出し、そのデータの定常性に基づき、対応する実世界 1の信号の定常性を設定すること、即ち、例えば、データの定常性を、そのまま実世界 1の信号の定常性として設定することができる。

さらに、実世界推定部 10003では、図 5 8乃至図 8 8で説明したように、図 3の実世界推定部 1 0 2における場合と同様にして、処理領域設定部 10001 で設定された処理領域の画像データから、定常性設定部 10002で設定された定常性に応じて、実世界 1の信号を推定することができる。なお、図 3では、実世界推定部 1 0 2において、実世界 1の信号の推定に、データの定常性を用いたが、実世界 1の信号の推定には、データの定常性に代えて、対応する実世界 1の信号の定常性を用いることができる。

次に、図 1 1 2のフローチヤ一トを参照して、図 1 1 1の信号処理装置 4の処理について説明する。

まず最初に、ステップ S 10001 において、信号処理装置 4は、前処理を行い、ステップ S 10002に進む。即ち、信号処理装置 4は、センサ 2 (図 1 ) からデータ 3として供給される、例えば 1フレームまたは 1フィールドの入力画像を、処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、および画像表示部 10005に供給する。さらに、信号処理部 4は、画像表示部 10005に、入力画像を表示させる。

ステップ S 10002では、ユーザ I / F 10006は、ユーザがユーザ I / F

10006を操作することにより、何らかのユーザ入力があつたかどうかを判定する。ステップ S 10002において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S10003乃至 S10005 をスキップして、ステップ S 10006に進む。

また、ステップ S 10002において、ユーザ入力があつたと判定された場合、即ち、ユーザが、画像表示部 10005に表示された入力画像を見て、ユーザ I / F 10006を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップ S 10003に進み、ユーザ I Z F 10006は、そのユーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。

ステップ S 10003 において、ユーザ入力が終了指示であると判定された場合、信号処理装置 4は処理を終了する。

また、ステップ S10003において、ユーザ入力が終了指示でないと判定された場合、ステップ S10004に進み、ユーザ I ZF 10006は、ユーザ入力が捕助情報であるかどうかを判定する。ステップ S10004において、ユーザ入力が補助情報でないと判定された場合、ステップ S10005をスキップして、ステップ S10006に進む。

また、ステップ S10004において、ユーザ入力が捕助情報であると判定された場合、ステップ S10005に進み、ユーザ I / F 10006は、その補助情報を、処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10006に供給し、ステップ S 10006に進む。

ステップ S10006では、処理領域設定部 10001は、入力画像について、処理領域を設定し、その処理領域を特定する処理領域情報を、定常性設定部 10002、実世界推定部 10003、および画像生成部 10004に供給し、ステップ S10007に進む。ここで、処理領域設定部 10001は、直前に行われたステップ S10005においてユーザ I ZF 10006から捕助情報が供給された場合は、その補助情報を用いて、処理領域の設定を行う。

ステップ S10007では、定常性設定部 10002は、処理領域設定部 10001から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部 10002は、その処理領域の画像データにおいて欠落した実世界 1の信号の定常性を設定し、その定常性を表す定常性情報を、実世界推定部 10003に供給して、ステップ S 10008に進む。ここで、定常性設定部 10002は、直前に行われたステップ S10005においてユーザ I / F 10006から補助情報が供給された場合は、その補助情報を用いて、定常性の設定を'行う。

ステップ S 10008では、実世界推定部 10003は、入力画像における処理領域内の画像データについて、対応する実世界 1の信号の定常性に応じて、その実世界 1の信号を推定する。

即ち、実世界推定部 10003では、モデル生成部 10011が、処理領域設定部 10001から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部 10002から供給される定常性情報から、処理領域の画像データに対応する実世界 1の信号の定常性を認識する。さらに、モデル生成部 10011は、入力画像における処理領域を構成する画素と、その処理領域の画像データに対応する実世界 1の信号の定常性に応じて、処理領域内の各画素の画素値と実世界 1の信号との関係をモデル化したモデルとしての関数を生成し、方程式生成部 10012に供給する。

方程式生成部 10012は、処理領域設定部 10001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域を構成する入力画像の各画素の画素値を、モデル生成部 10011から供給されるモデルとしての関数に代入し、これにより、実世界 1の信号を近似する近似関数を求める方程式を生成して、実世界波形推定部 10013に供給する。

実世界波形推定部 10013は、方程式生成部 10012から供給される方程式を' 演算することにより、実世界 1の信号の波形を推定する。即ち、実世界波形推定部 10013 は、方程式生成部 10012 から供給される方程式を解くことにより、実世界 1の信号をモデル化したモデルとしての近似関数を求め、その近似関数を、実世界 1の信号の波形の推定結果として、画像生成部 10004 に供給する。なお、実世界推定部 10003においては、モデル生成部 10011および方程式生成部 10012は、直前に行われたステップ S10005においてユーザ I / F 10006から捕助情^ gが供給された場合は、その補助情報を用いて、処理を行う。ステップ S 10008の処理後は、ステップ S 10009に進み、画像生成部 10004 は、実世界推定部 10003 (の実世界波形推定部 10013) から供給された、実世界 1の信号の波形を近似する近似関数に基づいて、実世界 1の信号により近似した信号を生成する。即ち、画像生成部 10004は、処理領域設定部 10001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部 10003から供給された近似関数に基づき、実世界 1の信号に対応する画像により近似した画像データである近似画像を生成する。さらに、画像生成部 10004は、入力画像の処理領域の部分を近似画像に置き換えた画像を、出力画像として生成し、画像表示部 10005 に供給して、ステップ S10009カゝら S10010に進む。

ステップ S 10010では、画像表示部 10005は、画像生成部 10004から供給された出力画像を、ステップ S 10001で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップ S10011に進む。

ステップ S10011では、ユーザ I Z F 10006は、ステップ S10002における場合と同様に、ユーザがユーザ I / F 10006を操作することにより、何らかのユーザ入力があつたかどうかを判定し、ユーザ入力がなかったと判定した場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S10011に戻り、何らかのユーザ入力があるまで待つ。

また、ステップ S 10011において、ユーザ入力があつたと判定された場合、即ち、ユーザが、画像表示部 10005 に表示された入力画像や出力画像を見て、ユーザ I ZF 10006を操作し、これにより、何らかの指示または情報を表すュザ入力があった場合、ステップ S 10012に進み、ユーザ I Z F 10006は、そのユーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。ステップ S 10012 において、ユーザ入力が終了指示であると判定された場合、信号処理装置 4は処理を終了する。

また、ステップ S 10012において、ユーザ入力が終了指示でないと判定された場合、ステップ S 10013に進み、ユーザ I / F 10006は、ユーザ入力が補助情報であるかどうかを判定する。ステップ S10013において、ユーザ入力が補助情報でないと判定された場合、ステップ S10011に戻り、以下、同様の処理が繰り返される。

また、ステップ S 10013において、ユーザ入力が補助情報であると判定された場合、ステップ S 10005に戻り、上述したように、ユーザ I Z F 10006は、その補助情報を、処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10006に供給する。そして、ステップ S10005から S 10006に進み、以下、同様の処理が繰り返される。

以上のように、図 1 1 1の信号処理装置 4によれば、ユーザの操作に応じて、処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10003の処理を補助する補助情報を、ユーザ I Z F 10006から処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10003に供給し、処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10003において、ユーザ I. Z F 10006からの補助情報に基づき、処理領域の設定、定常性の設定、または実世界 1の信号の推定を行うので、処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10003の処理精度を向上させ、例えば、ユーザの好みにあった、高画質の出力画像を得ることが可能となる。

次に、図 1 1 1に示した信号処理装置 4の各種の応用例について説明する。図 1 1 3は、図 1 1 1に示した信号処理装置 4の応用例の一実施の形態の構成例を示している。

図 1 1 3において、処理領域設定部 11001、定常性設定部 11002、実世界推定部 11003、画像生成部 11004、画像表示部 11005、ユーザ I Z F 11006は、図 1 1 1の処理領域設定部 10.001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ Iノ F 10006にそれぞれ対応しており、基本的には、処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ Iノ F 10006それぞれと同様の処理を行う。さらに、図 1 1 3において、実世界推定部 11003 は、モデル生成部 11011、方程式生成部 11012、実世界波形推定部 11013で構成されている。モデル生成部 11011、方程式生成部 11012、実世界波形推定部 11013は、図 1 1 1のモデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013にそれぞれ対応しており、基本的には、モデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013それぞれと同様の処理を行う。伹し、図 1 1 3においては、ユーザがユーザ I / F 11006を操作することにより、ユーザ I Z F 11006が出力する補助情報が、処理領域設定部 11001にのみ供給されるようになっている。

即ち、図 1 1 3では、ユーザは、ユーザ I / F 11006 を操作することにより、画像表示部 11005に表示された画像に対して、処理領域とする領域を指示することができるようになつており、ユーザ I / F 11006は、ユーザが処理領域を指示する操作を行うと、その操作によって指定された領域としての処理領域を表す処理領域指示情報を、補助情報として、処理領域設定部 11001に供給する。さらに、図 1 1 3では、画像表示部 11005には、後述するように、複数の出力画像が表示されるが、ユーザは、ユーザ I / F 11006を操作することにより、画像表示部 11005に表示された出力画像を選択することができるようになつており、ユーザ I Z F 11006は、ユーザが出力画像を選択する操作を行うと、その操作によって選択された出力画像を表す選択情報を、補助情報として、処理領域設定部 11001に供給する。

なお、ユーザ I Z F 11006を操作することにより処理領域を指示する方法としては、例えば、処理領域を囲む矩形によって指示する方法、処理領域をトリム（trim)することによって指示する方法、処理領域の中の任意の 1点以上をポインティングすることによって指示する方法などがあるが、ここでは、例えば、ユーザは、処理領域の中の任意の 1点を、ユーザ I / F 11006を操作することによりポインティングすることによって、処理領域を指示するものとする。この場合、ユーザ I / F 11006は、ユーザがポインティングした点を表す情報としての、例えば、その点の、画像上の座標を、処理領域指示情報として、処理領域設定部 11001に供給する。

次に、図 1 1 4のフローチヤ一トを参照して、図 1 1 3の信号処理装置 4の処理について説明する。

まず最初に、ステップ S11001 において、信号処理装置 4は、前処理を行い、ステップ S11002に進む。即ち、信号処理装置 4は、センサ 2 (図 1 ) からデタ 3として供給される、例えば 1フレームまたは 1フィールドの入力画像を、処理領域設定部 11001、定常性設定部 11002、実世界推定部 11003、画像生成部 11004、および画像表示部 11005に供給する。さらに、信号処理部 4は、画像表示部 11005に、入力画像を表示させる。

ステップ S 11002では、ユーザ I / F 11006は、ユーザがユーザ I / F 11006を操作することにより、処理領域指示情報の入力があつたかどうかを判定する。ステップ S 11002において、処理領域指示情報の入力がなかったと判定された場合、ステップ S11003に進み、ユーザ I Z F 11006は、ユーザがュ一ザ I Z F 11006を操作することにより、信号処理装置 4の処理の終了を指示する終了指示の入力があつたかどうかを判定する。

ステップ S 11003において、終了指示の入力があつたと判定された場合、即ち、例えば、画像表示部 11005に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じず、入力画像に対して信号処理を施さないで良いとして、信号処理装置 4の処理を終了するように、ユーザ I Z F 11006を操作した場合、処理を終了する。

また、ステップ S 11003において、終了指示の入力がなかったと判定された場合、ステップ S11002に戻り、以下、同様の処理を操り返す。一方、ステップ≤11002 ^;において、処理領域指示情報の入力があつたと判定された場合、即ち、画像表示部 11005 に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じ、その不満のある箇所をボインティングするように、ユーザ I / F 11006を操作した場合、ステップ S11004に進み、ユーザ I Z F 11006は、ユーザがユーザ I Z F 11006を操作することによってポィンティングした点を表す領域指示情報を、補助情報として、処理領域設定部 11001に供給し、ステップ S11005に進む。

ステップ S 11005では、処理領域設定部 11001は、ユーザ I Z F 11006から供給された捕助情報としての領域指示情報に基づいて、複数である M通りの処理領域を設定し、その M通りの処理領域を表す M通りの処理領域情報を、定常性設定部 11002、実世界推定部 11003、および画像生成部 11004に供給し、ステツプ S11006に進む。ここで、処理領域設定部 11001は、直前に行われたステツプ S11004 においてユーザ I Z F 11006 から補助情報が供給された場合は、その捕助情報を用いて、処理領域の設定を行う。

ステップ S 11006では、定常性設定部 11002は、処理領域設定部 11001から供給された M通りの処理領域情報から、入力画像における M通りの処理領域を認識する。さらに、定常性設定部 11002は、その M通りの処理領域の画像データそれぞれにおいて欠落した実世界 1の信号の定常性を設定し、その M通りの処理領域についての定常性を表す定常性情報を、実世界推定部 11003に供給して、ステップ S 11007に進む。

ステップ S 11007では、実世界推定部 11003は、入力画像における処理領域内の画像データについて、対応する実世界 1の信号の定常性に応じて、その実世界 1の信号を推定する。

即ち、実世界推定部 11003では、モデル生成部 11011が、処理領域設定部 11001から供給される M通りの処理領域情報から、入力画像における M通りの処理領域を認識するとともに、定常性設定部 11002から供給される、 M通りの処理領域それぞれの定常性情報から、 M通りの処理領域の画像データそれぞれに対応する実世界 1の信号の定常性を認識する。さらに、モデル生成部 11011は、入力画像における M通りの処理領域それぞれについて、各処理領域を構成する画素と、その処理領域の画像データに対応する実世界 1の信号の定常性に応じて、処理領域内の各画素の画素値と実世界 1の信号と関係をモデル化したモデルとしての関数を生成し、これにより、 M通りの処理領域それぞれに対して得られる M通りの関数を、方程式生成部 11012に供給する。

方程式生成部 11012は、処理領域設定部 11001から供給される M通りの処理領域情報から、入力画像における M通りの処理領域を認識し、その M通りの処理領域それぞれについて、モデル生成部 11011から供給されるモデルとしての関数に、入力画像を構成する必要な画素の画素値を代入し、これにより、実世界 1の信号を近似する近似関数を求める方程式を生成して、実世界波形推定部 11013に供給する。

実世界波形推定部 11013は、方程式生成部 11012から供給される、 M通りの処理領域それぞれについての方程式を解くことにより、 M通りの処理領域それぞれについて、実世界 1の信号の波形を推定、即ち、実世界 1の信号をモデル化したモデルとしての近似関数を求め、その M通りの処理領域それぞれについての近似関数を、画像生成部 11004に供給する。

ステップ S 11007の処理後は、ステップ S 11008に進み、画像生成部 11004 は、実世界推定部 11003 (の実世界波形推定部 11013) から供給された M通りの処理領域それぞれについての近似関数に基づいて、実世界 1の信号により近似した信号を生成する。即ち、画像生成部 11004は、処理領域設定部 11001 から供給される M通りの処理領域情報から、入力画像における M通りの処理領' 域を認識し、その M通りの処理領域それぞれについて、実世界推定部 11003 から供給された、対応する処理領域についての近似関数に基づき、実世界 1の信号により近似した画像データである近似画像を生成する。さらに、画像生成部 11004は、入力画像の M通りの処理領域の部分それぞれを、対応する処理領域について得られた近似画像に置き換えた M通りの画像を、出力画像として生成し、画像表示部 11005に供給して、ステップ S 11008から S11009に進む。ステップ S11009では、画像表示部 11005は、画像生成部 11004から供給された M通りの出力画像を、ステップ S11001で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップ S11010に進む。

ステップ S11010では、ユーザ I Z F 11006は、ユーザがユーザ I , F 11006を操作することにより、選択情報の入力があつたかどうかを判定する。即ち、ステップ S11009では、画像表示部 11005において、 M通りの出力画像が表示されるが、その M通りの出力画像を見たユーザが、その] VI通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択する選択情報の入力を、ユーザ I / F 11006を操作することにより行ったかどう力が、ステツプ S11010において判定される。

ステップ S11010において、選択情報の入力がなかったと判定された場合、ステップ S11013に進み、ステップ S11003における場合と同様に、ユーザ I / F 11006は、終了指示の入力があつたかどうかを判定する。

ステップ S11010において、終了指示の入力があつたと判定された場合、信号処理装置 4は、処理を終了する。

また、ステップ S 11013において、終了指示の入力がなかったと判定された場合、ステップ S11010に戻り、以下、同様の処理を繰り返す。

一方、ステップ S 11010において、選択情報の入力があつたと判定された場合、即ち、画像表示部 11005 に表示された M通りの出力画像を見たユーザが、その M通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択した場合、ステップ S11011に進み、ユーザ I 11006は、ユーザがユーザ I / F 11006を操作することにより、ユーザが選択した出力画像を、最終的な出力画像として確定する確定指示の入力があつたかどうかを判定する。ステップ S 11011において、確定指示の入力があつたと判定された場合、ステツプ S 11012に進み、画像表示部 11005は、例えば、その画面全体に、ユーザが選択した出力画像を表示し、処理を終了する。

また、ステップ S11011において、確定指示の入力がなかったと判定された場合、即ち、ユーザが、選択した出力画像の画質に不満があり、再度処理を行うために、確定指示の入力を行わなかった場合、ステップ S11004に戻り、ュ一ザ I / F 11006は、ユーザが選択した出力画像を表す選択情報を、補助情報として、処理領域設定部 11001に供給し、ステップ S 11005に進む。

ステップ S11005では、処理領域設定部 11001は、ユーザ I Z F 11006から供給された補助情報としての選択情報に基づいて、複数である M通りの処理領域を新たに設定する。即ち、この場合、ステップ S 11005では、処理領域設定部 11001は、ユーザ I Z F 11006から供給された補助情報としての選択情報が表す出力画像を得るのに用いられた入力画像の処理領域を基準に、新たな M通りの処理領域を設定する。さらに、ステップ S 11005では、処理領域設定部 11001は、その新たな M通りの処理領域を表す M通りの処理領域情報を、定常性設定部 11002、実世界推定部 11003、および画像生成部 11004に供給する。そして、ステップ S11005から S11006に進み、以下、同様の処理が繰り返される。

即ち、これにより、ステップ S 11004乃至 S 110013の処理が繰り返され、最終的には、ユーザが所望する画質の出力画像が得られる処理領域が設定され、その結果、ユーザが所望する画質の出力画像が得られる。

以上のように、図 1 1 3の信号処理装置 4では、入力画像に対する処理結果としての M通りの出力画像をユーザに提示し、その]^通りの出力画像の中からユーザが所望するものを選択してもらい、その選択結果を踏まえて、再度処理を行うようにしたので、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。即ち、信号処理装置 4は、入力画像に対する処理結果としての M通りの出力画像をユーザに提示する。一方、ユーザは、その M通りの出力画像それぞれの画質を認識、判断し、画質の良い出力画像を、信号処理装置 4にフィードバックする。そして、信号処理装置 4は、そのユーザからのフィードバックを踏まえ、再度、入力画像を処理し、以下、同様の処理が繰り返される。従って、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。

なお、このように、信号処理装置 4において、ユーザからのフィードバックを受けて入力画像に対する処理を行うことは、信号処理装置 4が、ユーザと協調しながら処理を行っているということができる。

次に、図 1 1 5は、図 1 1 3の処理領域設定部 11001の詳細構成例を示している。

画像メモリ 11021には、入力画像が供給され、画像メモリ 11021は、そこに供給される入力画像を記憶する。特徴量抽出部 11022は、画像メモリ 11021 に記憶された入力画像を構成する各画素について、その特徴量を抽出し、特徴量メモリ 11023に供給する。

なお、特徴量抽出部 11022では、例えば、色成分や、エッジの有無または画素値の変化の急峻さ（あるいは滑らかさ）を表す空間アクティビティ、水平方向と垂直方向の空間ァクティビティの差の絶対値、複数種類の特徴量の組み合わせなどを、画素の特徴量として抽出することができる。

ここで、入力画像において、例えば、あるオブジェクト（物体）力水平方向に動いている場合には、そのオブジェクトの表示部分には、水平方向に動きボケが生じる。このような水平方向の動きボケが生じている画素では、水平方向の空間ァクティビティが、垂直方向の空間ァクティビティに比較して大になる。従って、この場合、水平方向と垂直方向の空間アクティビティの差の絶対値を、画素の特徴量として採用したときには、その特徴量の値は、大になる。特徴量メモリ 11023は、特徴量抽出部 11022から供給される入力画像を構成する各画素の特徴量を記憶する。指定画素特徴検出部 11024は、制御部 U027の制御にしたがい、ユーザ I / F 11006 (図 1 1 3 ) から供給される処理領域指示情報が表す点の画素（以下、適宜、指定画素という）の特徴量を、特徴量メモリ 11023に記憶された特徴量の中から検出し、指定画素特徴量として、類似特徴領域検出部 11025 に供給する。

類似特徴領域検出部 11025は、指定画素特徴検出部 11024から供給される指定画素特徴量に類似する特徴量を有する画素で構成される入力画像の領域を、 M通りだけ検出し、処理領域として、領域情報生成部 11026に供給する。

即ち、類似特徴領域検出部 11025は、特徴量メモリ 11023に記憶された入力画像を構成する各画素の特徴量と、指定画素特徴検出部 11024から供給される指定画素特徴量との距離を、所定の識別関数を用いて求める。さらに、類似特徴領域検出部 11025は、入力画像を構成する画素の中から、指定画素特徴検出部 11024から供給される指定画素特徴量との距離を閾値以下にする特徴量の画素（以下、適宜、類似特徴画素という）を検出し、例えば、その類似特徴画素を囲む最小の矩形の領域を、類似特徴領域として検出する。

類似特徴領域検出部 11025は、後述する閾値設定部 11028から供給される M個の閾値それぞれに対して、類似特徴領域を検出し、その結果得られる M通りの類似特徴領域を、処理領域として、領域情報生成部 11026に供給する。領域情報生成部 11026は、類似特徴領域検出部 11025から供給される M通りの処理領域を表す M通りの'処理領域情報を生成して出力する。

制御部 11027は、ユーザ I / F 11006 (図 1 1 3 ) から供給される補助情報としての処理領域指示情報または選択情報を受信し、その処理領域指示情報または選択情報に応じて、指定画素特徴検出部 11024または閾値設定部 11028 を制御する。

閾値設定部 11028は、制御部 11027の制御にしたがい、類似特徴領域検出部 1102⁵において用いられる M個の閾値を設定し、類似特徴領域検出部 11025 に供給する。次に、図 1 1 6のフローチャートを参照して、図 1 1 5の処理領域設定部 11001が行う処理（処理領域設定処理）について説明する。

処理領域設定処理は、例えば、入力画像が、処理領域設定部 11001に供給されると開始される。

即ち、処理領域設定処理では、まず最初に、ステップ S11031において、画像メモリ 11021が、処理領域設定部 11001に供給された入力画像を記憶し、ステップ S11032に進む。ステップ S11032では、特徴量抽出部 11022は、画像メモリ 11021に記憶された入力画像を構成する各画素について、その特徴量を抽出し、特徴量メモリ 11023に供給して、ステップ S11033に進む。ステップ S11033では、特徴量メモリ 11023は、特徴量抽出部 11022から供給される入力画像を構成する各画素の特徴量を記憶し、ステップ S11034に進む。

ステップ S 11034では、制御部 11027力ユーザ I / F 11006から処理領域指示情報の入力があつたかどうかを判定する。ステップ S11034において、処理領域指示情報の入力がなかったと判定された場合、ステップ S 11035 に進み、制御部 11027は、ユーザがユーザ I Z F 11006を操作することにより、信号処理装置 4の処理の終了を指示する終了指示の入力があつたかどうかを判定する。ステップ S 11035において、終了指示の入力があつたと判定された場合、処理領域設定部 11001は、処理領域設定処理を終了する。

また、ステップ S11035において、終了指示の入力がなかったと判定された場合、ステップ S11034に戻り、以下、同様の処理を繰り返す。

そして、ステップ S11034において、処理領域指示情報の入力があつたと判定された場合、制御部 11027は、その処理領域指示情報を、指定画素特徴検出部 11024に供給し、ステップ S11036に進む。

ステップ S11036では、指定画素特徴検出部' 11024は、制御部 11027から供給された処理領域指示情報が表す点の画素（指定画素）の特徴量を、特徴量メモリ 11023に記憶された特徴量の中から検出し、指定画素特徴量として、類似特徴領域検出部 11025に供給して、ステップ S11037に進む。ステップ S 11037では、閾値設定部 11028は、 M個の閾値を設定し、類似特徴領域検出部 11025に供給して、ステップ S11038に進む。ここで、閾値設定部 11028には、例えば、デフォルトの M個の異なる値が記憶されており、ステツプ S 11037では、そのデフォルトの M個の異なる値が、 M個の閾値として設定される。その他、閾値設定部 11028では、ステップ S11037において、指定画素特徴量に基づき、可変の M個の閾値を設定すること、即ち、例えば、特徴量メモリ 11023に記憶された特徴量のうち、指定画素特徴量との差（の大きさ）が最大の特徴量と、指定画素特徴量との差を、 M+ 1等分以上する昇順で M個の値を、 M値の閾値として設定することが可能である。

ステップ S 11038では、類似特徴領域検出部 11025は、閾値設定部 11028から供給される M個の閾値それぞれに対して、指定画素特徴検出部 11024から供給される指定画素特徴量に類似する特徴量を有する画素を囲む最小の矩形の領域である類似特徴領域を検出する。

即ち、類似特徴領域検出部 11025は、特徴量メモリ 11023に記憶された入力画像を構成する各画素の特徴量と、指定画素特徴検出部 11024から供給される指定画素特徴量との距離を、所定の識別関数を用いて求める。さらに、類似特徴領域検出部 11025は、閾値設定部 11028から供給される M個の閾値のうちの任意の閾値を注目閾値として、入力画像を構成する画素の中から、指定画素特徴量との距離を注目閾値以下にする特徴量の画素である類似特徴画素を検出し、その類似特徴画素を囲む最小の矩形の領域を、注目閾値に対する類似特徴領域として検出する。類似特徴領域検出部 11025は、閾値設定部 11028 から供給される M個の閾値すベてを注目閾値として、その M個の閾値それそれに対する類似特徴領域を検出する。なお、類似特徴画素として検出する画素は、指定画素の位置から所定の範囲内にあるもののみに限定することが可能である。そして、類似特徴領域検出部 11025は、ステップ S11038から S11039に進み、 M個の閾値それそれに対して検出した類似特徴領域を、処理領域に設定し、領域情報生成部 11026に供給する。さらに、ステップ S 11039では、領域情報生成部 11026は、類似特徴領域検出部 11025から供給される M通りの処理領域を表す M通りの処理領域情報を生成して出力し、ステップ S 11040に進む。ステップ S 11040では、制御部 11027は、ユーザ I / F 11006から選択情報が供給されたかどうかを判定し、選択情報が供給されていないと判定した場合、ステップ S11042に進む。ステップ S11042では、制御部 11027は、ユーザがユーザ I / F 1 1006を操作することにより、確定指示または終了指示の入力があつたかどうかを判定する。

ステップ S11042において、確定指示または終了指示の入力があつたと判定された場合、処理領域設定部 11001は、処理領域設定処理を終了する。

また、ステップ S 11042において、確定指示おょぴ終了指示いずれの入力もなかったと判定された場合、ステップ S11040に戻り、以下、同様の処理が繰り返される。

そして、ステップ S11040において、選択情報がユーザ I Z F 11006から制御部 11027に供給されたと判定された場合、制御部 11027は、新たな M個の閾値を設定するように、閾値設定部 11028を制御し、ステップ S 11041に進む。ステップ S 11041では、閾値設定部 11028は、制御部 11027の制御にしたがレ、、新たな M個の閾値を設定する。即ち、この場合、閾値設定部 11028は、前回設定した M個の閾値のうち、ユーザ I / F 11006から供給された選択情報により選択された出力画像についての処理領域の設定に用いられた閾値に基づいて、新たな M個の閾値を設定する。

具体的には、閾値設定部 11028は、ユーザ I / F 11006から供給された選択情報により選択された出力画像についての処理領域の設定に用いられた閾値を中心として、前回設定した M個の閾値における隣接する閾値どうしの間隔よりも短い間隔の M個の値を、新たな M個の閾値として設定する。

そして、閾値設定部 11028は、新たな M個の閾値を、類似特徴領域検出部 11025に供給し、ステップ S11041カゝら S11038に戻る。ステップ S11038では、類似特徴領域検出部 11025が、閾値設定部 11028から供給される新たな M個の閾値それぞれに対して、指定画素特徴検出部 11024 から供給された指定画素特徴量に類似する特徴量を有する画素を囲む最小の矩形の領域である類似特徴領域を検出し、以下、同様の処理が繰り返される。以上の処理領域設定処理によれば、ユーザによる処理領域指示情報に基づき、複数である M通りの処理領域が設定され、その M通りの処理領域それぞれについて、後段の処理が行われる。さらに、その処理結果としての M通りの出力画像を表示し、その中からユーザが出力画像を選択すると、その選択結果に基づき、新たな M通りの処理領域が設定され、以下、同様の処理が繰り返される。従って、ユーザは、 M通りの出力画像の中から、例えば、所望の画質に近いものを選択することにより、適切な処理領域が設定され、その結果、ユーザが所望する画質の出力画像を得ることが可能となる。

なお、上述の場合には、まず最初に、ユーザに、指定画素を表す処理領域指示情報を入力してもらい、処理領域設定部 11001において、その処理領域指示情報に基づいて、指定画素を設定するようにしたが、指定画素は、ユーザからの処理領域指示情報なしで設定することが可能である。即ち、処理領域設定部 11001では、例えば、図 3のデータ定常性検出部 1 0 1における場合と同様にして、定常領域を検出し、その定常領域における所定の画素を、指定画素として設定することが可能である。この場合、ユーザは、処理領域指示情報を入力する必要がなくなり、 M通りの出力画像の中から、所望の画質に近いものを選択するだけで済む。

また、上述の場合には、 M通りの処理領域を設定し、その M通りの処理領域それぞれについて出力画像を表示し、その中からユーザが所望する出力画像を選択してもらうようにしたが、その他、例えば、 M通りの処理領域それぞれを提示する枠などを、入力画像上に表示し、ユーザには、処理領域を直接選択してもらうようにすることが可能である。この場合、例えば、図 1 1 7に示すような、自動車などのオブジェクトが、水平方向に一定速度で移動している 1シーンを、イメージセンサであるセンサ 2 (図 1 ) において撮像して得られる画像が、入力画像として、画像表示部 11005に表示されたときに、ユーザが、入力画像において、オブジェクトが移動することにより生じている動きボケのある部分を、ユーザ I / F 11006を操作することにより指定すると、処理領域設定部 11001において、 M通りの処理領域が設定される。さらに、画像表示部 11005において、図 1 1 8に示すように、その M通りの処理領域それぞれを提示する枠が、入力画像上に表示される。ここで、図 1 1 8では、 3通りの処理領域それぞれを提示する枠が表示されている。そして、ユーザが、 M通りの処理領域のうちのいずれかを選択するように、ユーザ I Z F 11006を操作すると、実世界推定部 11003および画像生成部 11004では、ユーザによって選択された処理領域について処理が行われ、その処理結果としての出力画像が、画像表示部 11005に表示される。

従って、この場合、ユーザは、実世界推定部 11003および画像生成部 11004 において処理すべき処理領域を、容易に選択することができる。

次に、図 1 1 9は、図 1 1 1に示した信号処理装置 4の応用例の他の一実施の形態の構成例を示している。

図 1 1 9において、処理領域設定部 11041、定常性設定部 11042、実世界推定部 11043、画像生成部 11044、画像表示部 11045、ユーザ I Z F 11046は、図 1 1 1の処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I F 10006にそれぞれ対応しており、基本的には、処理領域設定部 10001、定常性設定部 10002、実世界推 · 定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I , F 10006それぞれと同様の処理を行う。さらに、図 1 1 9において、実世界推定部 11043 は、モデル生成部 11051、方程式生成部 11052、実世界波形推定部 11053で構成されている。モデル生成部 11051、方程式生成部 11052、実世界波形推定部 11053は、図 1 1 1のモデル生成部 10011、方程式生成部 10012、実世界波形 T JP2004/008690

211

推定部 10013にそれぞれ対応しており、基本的には、モデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013それぞれと同様の処理を行う。但し、図 1 1 9においては、ユーザがユーザ I Z F 11046を操作することにより、ユーザ I ZF 11046が出力する捕助情報が、定常性設定部 11042にのみ供給されるようになっている。

即ち、図 1 1 9では、ユーザは、ユーザ I Z F 11046 を操作することにより、画像表示部 11045に表示された画像について、実世界 1の定常性に関する情報を指示することができるようになつており、ユーザ I / F 11046は、ユーザが実世界 1の定常性に関する情報を指示する操作を行うと、その操作によって指示された定常性に関する情報を表す定常性指示情報を、補助情報として、定常性設定部 11042に供給する。さらに、図 1 1 9では、画像表示部 11045には、後述するように、複数の出力画像が表示されるが、ユーザは、ユーザ I Z F 11046を操作することにより、画像表示部 11045に表示された出力画像を選択することができるようになつており、ユーザ I / F 11046は、ユーザが出力画像を選択する操作を行うと、その操作によって選択された出力画像を表す選択情報を、補助情報として、定常性設定部 11042に供給する。

なお、ここでは、定常性指示情報として、例えば、動き量を、ユーザがユーザ I Z F 11046を操作することにより入力するものとする。

即ち、例えば、いま、実世界 1において、自動車などのオブジェクトが、水平方向に一定速度で移動している 1シーンを、イメージセンサであるセンサ 2 (図 1 ) において撮像して得られる画像が、入力画像として、図 1 1 9の信号処理装置 4に入力されるものとする。

この場合、入力画像に対応する実世界 1の画像は、ある形状のオブジェクト (ここでは、自動車）が水平方向に一定速度で移動しているという定常性を有しており、ユーザは、入力画像を見て、その入力画像に対応する実世界 1の定常性を指示する定常性指示情報を、ユーザ I 11046を操作することにより入力する。具体的には、ここでは、ユーザ I ZF 11046が、例えば、回転式またはスライド式のボリューム（可変抵抗器）などで構成され、ユーザがユーザ I ZF 11046を操作すると、ユーザ I Z F 11046は、その操作に応じて、動き量を表す連続的な値を、定常性指示情報として、定常性設定部 11042に供給する。

ここで、動き量としては、例えば、いわゆるブロックマッチングによって動きべクトルを検出し、その動きべクトルの大きさを採用することが可能である。しかしながら、例えば、図 1 2 O Aに示すように、左から右方向に移動している自動車が存在する風景を背景とするとともに、右から左方向に移動している他の自動車を前景とする画像のように、前景と背景とで、異なる動き成分が交差する画像（入力画像）については、特に、図 1 2 0 Bに長方形で囲んで示す、前景と背景の動き成分が交差する部分の動きべクトルを、精度良く求めることが困難なことがある。

即ち、図 1 2 0 Cは、図 1 2 0 Bに長方形で囲んで示した部分について、プ口ックマッチングにより求められる、各プロックの動きべクトノレ（図 1 2 0 B に示す、求められた動きベクトルのうちの、囪 1 2 0 Bに長方形で囲んで示した部分の動きベクトル（拡大））を示している。ブロックマッチングでは、前景ゃ背景の区別をせずに、プロックごとにマッチングがとられるため、ォプジェクト（ここでは、前景になっている自動車と、背景にある自動車）の境界部分のプロックについて、動きベクトルを、精度良く求めることが困難なことがある。ここで、例えば、いま、図 1 2 O Dに示すように、ブロックの中心点 (重心の位置）の動きべクトノレを、そのプロックの動きべクトルとした場合、ブロックマッチングによれば、図 1 2 0 Dに示す真値の動きベクトルに対し、図 1 2 0 Cにおいて影を付してある部分のブロックにおいて、そのプロックの中心点の動きべクトルとは異なる、いわば不正確な動きべクトルが求められることになる。そこで、図 1 1 9の信号処理装置 4では、ユーザに、入力画像におけるォブジェクトの動き量を、定常性指示情報として入力してもらい、定常性設定部 11042において、その定常性指示情報に基づいて、定常性を設定する。

次に、図 1 2 1のフローチヤ一トを参照して、図 1 1 9の信号処理装置 4の処理について説明する。

図 1 1 9の信号処理装置 4では、定常性に基づいて、実世界が推定され、これにより、センサ 2の時間積分効果による、物体の信号の時間方向の混合（時間混合）によって生じる動きボケを除去する処理が行われる。

即ち、実世界 1において、自動車などのオブジェクトが移動している画像を、イメージセンサであるセンサ 2で撮像した場合に得られる入力画像においては、オブジェクトが時間経過とともに移動するため、センサ 2の時間積分効果によつて、そのオブジェクトの光信号と、そのオブジェクト以外の部分の光信号とが混合（時間混合）し、これにより、オブジェクトの境界部分などにおいて、いわゆる動きボケが生じる。図 1 1 9の信号処理装置 4では、このような時間混合によって生じた動きボケを入力画像から除去した高画質の出力画像が生成される。

図 1 1 9の信号処理装置 4は、まず最初に、ステップ S11061において、前処理を行い、ステップ S 11062に進む。即ち、信号処理装置 4は、センサ 2 (図 1 ) からデータ 3として供給される、例えば 1フレームまたは 1フィールドの入力画像を、処理領域設定部 11041、定常性設定部 11042、実世界推定部 11043、画像生成部 11044、および画像表示部 11045に供給する。さらに、信号処理部 4は、画像表示部 11045に、入力画像を表示させる。

なお、ここでは、自動車などのオブジェクトが水平方向に一定速度で移動しているシーンを、センサ 2で撮像することにより得られる、時間混合による動きボケが生じた画像が、入力画像として、信号処理装置 4に入力されるものとする。ステップ S 11062では、ユーザ I / F 11046は、ユーザがユーザ I , F

11046を操作することにより、定常性指示情報の入力があつたかどうかを判定する。ステップ S11062において、定常性指示情報の入力がなかったと判定された場合、ステップ S11063に進み、ユーザ I 11046は、ユーザがユーザ I / F 11046を操作することにより、信号処理装置 4の処理の終了を指示する · 終了指示の入力があつたかどうかを判定する。

ステップ S 11063において、終了指示の入力があつたと判定された場合、即ち、例えば、画像表示部 11045に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じず、入力画像に対して信号処理を施さないで良いとして、信号処理装置 4の処理を終了するように、ユーザ I Z F 11046を操作した場合、処理を終了する。

また、ステップ S11063において、終了指示の入力がなかったと判定された場合、ステップ S11062に戻り、以下、同様の処理を繰り返す。

一方、ステップ S11062において、定常性指示情報の入力があつたと判定された場合、即ち、画像表示部 11045に表示された入力画像を見たユーザが、その入力画像の画質（ここでは、動きボケを生じていること）に不満を感じ、入力画像におけるオブジェクトの動き量を指示するように、ユーザ I Z F 11046を操作した場合、ステップ S11064に進み、ユーザ I Z F 11046は、ュ一ザがユーザ Iノ F 11046を操作することによって指示した動き量を表す定常性指示情報を、補助情報として、定常性設定部 11042に供給し、ステップ S11065に進む。

ステップ S 11065では、処理領域設定部 11041は、処理領域を設定し、その ' 処理領域を表す処理領域情報を、定常性設定部 11042、実世界推定部 11043、および画像生成部 11044に供給し、ステップ S 11066に進む。

ここで、ステップ S11065における処理領域の設定は、ユーザに処理領域指示情報を入力してもらい、その処理領域指示情報に基づいて行うことも可能であるし、ユーザからの処理領域指示情報なしで行うことも可能である。ユーザからの処理領域指示情報なしでの処理領域の設定は、例えば、入力画像と、その前または後のフレームの画像とを用い、プロックマッチングを行うことによつて、入力画像から動きべクトルを検出し、その動きべクトルに基づいて行うことができる。即ち、例えば、入力画像において、所定の大きさ以上の動きべタトルのブロックを囲む最小の矩形領域を、処理領域として設定することが可能である。

ステップ S 11066では、定常性設定部 11042は、処理領域設定部 11041から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部 11042は、その処理領域の画像データにおいて欠落した実世界 1の信号の M通りの定常性を設定し、その M通りの定常性を表す定常性情報を、実世界推定部 11043に供給して、ステップ S11067に進む。

ここで、定常性設定部 11042は、直前に行われたステップ S 11064においてユーザ I Z F 11046から補助情報としての定常性指示情報が供給された場合は、その定常性指示情報に基づいて、 M通りの定常性を設定する。即ち、定常性設定部 11042は、直前に行われたステップ S11064においてユーザ I / F 11076 から供給された定常性指示情報が表す動き量を中心とする M通りの動き量を、 M通りの定常性の情報として設定する。

ステップ S 11067では、実世界推定部 11043は、入力画像における処理領域内の画像データについて、対応する実世界 1の信号の定常性に応じて、その実世界 1の信号を推定する。

即ち、実世界推定部 11043では、モデル生成部 11051力 S、処理領域設定部 11041から供給される処理領域情報から、入力画像における処理領域を認識す' るとともに、定常性設定部 11042 から供給される、 M通りの定常性情報から、処理領域の画像データに対応する実世界 1の信号の M通りの定常性を認識する。さらに、モデル生成部 11051は、 M通りの定常性それぞれについて、入力画像における処理領域を構成する画素と、その処理領域の画像データに対応する実世界 1の信号の定常性に応じて、処理領域内の各画素の画素値と実世界 1の信号との関係をモデル化したモデルとしての M通りの関数を生成し、これにより、 M通りの定常性それぞれに対して得られる M通りの関数を、方程式生成部 11052に供給する。

方程式生成部 11052は、処理領域設定部 11041から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域を構成する画素について、モデル生成部 11051から供給される、 M通りのモデルとしての関数それぞれに、入力画像の必要な画素の画素値を代入し、これにより、実世界 1 の信号を近似する近似関数を求める M通りの方程式を生成して、実世界波形推定部 11053に供給する。

実世界波形推定部 11053は、方程式生成部 11052から供給される、 M通りの方程式を解くことにより、 M通りの実世界 1の信号の波形を推定、即ち、実世界 1の信号をモデル化したモデルとしての近似関数を求め、その M通りの近似関数を、画像生成部 11044に供給する。

ステップ S 11067の処理後は、ステップ S 11068に進み、画像生成部 110 は、実世界推定部 11043 (の実世界波形推定部 11053) から供給された M通りの近似関数に基づいて、実世界 1の信号により近似した信号を M通りだけ生成する。即ち、画像生成部 11044は、処理領域設定部 11041から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、 · 実世界推定部 11043から供給された M通りの近似関数に基づき、実世界 1の信号に対応する画像により近似した画像データである近似画像を M通りだけ生成する。さらに、画像生成部 11044は、入力画像の処理領域の部分を、 M通りの近似画像にそれぞれ置き換えた M通りの画像を、出力画像として生成し、画像表示部 11045に供給して、ステップ S11068から S11069に進む。

ステップ S 11069では、画像表示部 11045は、画像生成部 11044から供給された M通りの出力画像を、ステップ S 11061で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップ S11070に進む。ステップ S 11070では、ユーザ I Z F 11046は、ユーザがユーザ I / F 11046を操作することにより、選択情報の入力があつたかどうかを判定する。即ち、ステップ S11069では、画像表示部 11045において、 M通りの出力画像が表示されるが、その M通りの出力画像を見たユーザが、その M通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像（ここでは、動きボケがより除去された画像）を選択する選択情報の入力を、ユーザ I Z F 11046を操作することにより行ったかどう力が、ステップ S11070において判定される。

ステップ S 11070において、選択情報の入力がなかったと判定された場合、ステップ S11073に進み、ステップ S11063における場合と同様に、ユーザ I / F 11046は、終了指示の入力があつたかどうかを判定する。

ステップ S 11073において、終了指示の入力があつたと判定された場合、信号処理装置 4は、処理を終了する。

また、ステップ S11073において、終了指示の入力がなかったと判定された場合、ステップ S11070に戻り、以下、同様の処理を繰り返す。

一方、ステップ S 11070において、選択情報の入力があつたと判定された場合、即ち、画像表示部 11045 に表示された M通りの出力画像を見たユーザが、その M通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択した場合、ステップ S11071に進み、ユーザ I Z F 11046は、ユーザがユーザ I / F 11046を操作することにより、ユーザが選択した出力画像を、最終的な出力画像として確定する確定指示の入力があつたかどうかを判定する。ステップ S 11071において、確定指示の入力があつたと判定された場合、ステツプ S 11072に進み、画像表示部 11045は、例えば、その画面全体に、ユーザが選択した出力画像を表示し、処理を終了する。

また、ステップ S 11071において、確定指示の入力がなかったと判定された場合、即ち、ユーザが、選択した出力画像の画質に不満があり、再度処理を行うために、確定指示の入力を行わなかった場合、ステップ S11064に戻り、ュ一ザ I / F 11046は、ユーザが選択した出力画像を表す選択情報を、補助情報として、定常性設定部 11042に供給し、ステップ S 11065に進む。

ステップ S 11065では、処理領域設定部 11041は、上述した場合と同様に、処理領域を設定し、その処理領域を表す処理領域情報を、定常性設定部 11042、実世界推定部 11043、および画像生成部 11044に供給して、ステップ S 11066 に進む。なお、ここで設定される処理領域は、例えば、前回のステップ

S11065の処理で設定されるのと同一であり、従って、ステップ S 11064乃至 S11073のループ処理が行われる場合においては、 2回目以降のステップ S11065の処理は、スキップすることができる。

ステップ S 11066では、定常性設定部 11042は、ユーザ I , F 11046から供給された補助情報としての選択情報に基づいて、複数である M通りの定常性を新たに設定する。即ち、この場合、ステップ S 11066では、定常性設定部 11042は、ユーザ I Z F 11046から供給された補助情報としての選択情報が表す出力画像を得るのに用いられた入力画像に対して設定された定常性を基準に、新たな M通りの定常性を設定する。さらに、ステップ S 11066では、定常性設定部 11042は、その新たな M通りの定常性を表す M通りの定常性情報を、実世界推定部 11043、および画像生成部 11044に供給する。そして、ステップ S11066から S11067に進み、以下、同様の処理が繰り返される。

即ち、これにより、ステップ S 11064乃至 S 11073の処理が繰り返され、最終的には、ユーザが所望する画質、具体的には、ここでは、動きボケが（十分に）除去された出力画像が得られる定常性が設定され、その結果、ユーザが所望する画質の出力画像が得られる。

以上のように、図 1 1 9の信号処理装置 4では、入力画像に対する処理結果としての M通りの出力画像をユーザに提示し、その M通りの出力画像の中からユーザが所望するものを選択してもらい、その選択結果を踏まえて、再度処理を行うようにしたので、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。即ち、信号処理装置 4は、入力画像に対する処理結果としての M通りの出力画像をユーザに提示する。一方、ユーザは、その M通りの出力画像それぞれの画質を認識、判断し、画質の良い出力画像を、信号処理装置 4にフィードバックする。そして、信号処理装置 4は、そのユーザからのフィードバックを踏まえ、再度、入力画像を処理し、以下、同様の処理が繰り返される。従って、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。

なお、図 1 1 9の信号処理装置 4では、図 1 1 3の信号処理装置 4における場合のように、複数である I ^通りの処理領域を設定し、その IV^通りの処理領域の中から、ユーザが所望するものを選択してもらってから、そのユーザが選択した処理領域についてだけ、複数である M₂通りの定常性を設定し、 M₂ 通りの出力画像を求めるようにすることが可能である。

さらに、図 1 1 9の信号処理装置では、図 1 1 3の信号処理装置 4における場合のように、処理領域設定部 11041において、複数である I ^通りの処理領域を設定するとともに、定常性設定部 11042において、その Mi通りの処理領域それぞれについて、複数である M₂通りの定常性を設定し、これにより、 M X M₂通りの出力画像を生成し、ユーザに、その中から所望のものを選択してもらうようにすることも可能である。

次に、図 1 2 2は、図 1 1 9の定常性設定部 11042の詳細構成例を示している。

画像メモリ 11061には、入力画像、さらには、必要に応じて、入力画像の前または後のフレームの画像が供給されるようになっており、画像メモリ

11061は、そこに供給される画像を記憶する。

動き検出部 11062には、処理領域設定部 11041から処理領域情報が供給されるようになっており、動き検出部 11062は、その処理領域情報によって特定される入力画像における処理領域の画像データ等を、画像メモリ 11061から読み出し、その処理領域におけるデータの定常性を表す動きを検出して、動き候補設定部 11063に供給する。なお、動き検出部 11062では、例えば、ブロックマッチングによって動きを検出することもできるし、その他の手法によって動きを検出することもできる。その他の手法については、後述する。

ここで、図 1 2 2では、画像メモリ 11061および動き検出部 11062を設けて、定常性設定部 11042を構成するようにしたが、入力画像（処理領域）から動きを検出せずに、その入力画像に対応する実世界 1の定常性を設定するのみであれば、即ち、例えば、ユーザから入力される定常性指示情報に基づき、実世界 1の定常性を設定するのみであれば、定常性設定部 11042は、画像メモリ 11061および動き検出部 11062を設けずに、後述する動き候補設定部 11063、定常性情報生成部 11064、および制御部 11065だけで構成することが可能である。

動き候補設定部 11063は、動き検出部 11062から供給される処理領域におけるデータの定常性を表す動きに基づき、対応する実世界 1の定常性を表す動きの M通りの候捕を設定し、定常性情報生成部 11064 に供給する。あるいは、また、動き候補設定部 11063は、制御部 11065の制御にしたがい、入力画像の処理領域における実世界 1の定常性を表す動きの M通りの候補を設定し、定常性情報生成部 11064に供給する。

定常性情報生成部 11064は、動き候補設定部 11063から供給される M通りの動きの候捕それぞれを表す定常性情報を生成し、その M通りの定常性情報を、実世界推定部 11046 (図 1 1 9 ) に出力する。

制御部 11065は、ユーザ I Z F 11046 (図 1 1 9 ) から供給される補助情報としての定常性指示情報または選択情報を受信し、その定常性指示情報または選択情報に応じて、動き候補設定部 11063を制御する。

次に、図 1 2 3のフローチャートを参照して、図 1 2 2の定常性設定部 11042が行う処理（定常性設定処理）について説明する。

定常性設定処理は、例えば、入力画像が、図 1 1 9の信号処理装置 4に供給されると開始される。即ち、定常性設定処理では、まず最初に、ステップ S 11081において、制御部 11065が、ユーザ I Z F 11046 (図 1 1 9 ) から定常性指示情報の入力があつたかどうかを判定する。ステップ S 11081において、定常性指示情報の入力がなかったと判定された場合、ステップ S 11082に進み、制御部 11065は、ュ一ザがユーザ I / F 11046を操作することにより、信号処理装置 4の処理の終了を指示する終了指示の入力があつたかどうかを判定する。

ステップ S 11082において、終了指示の入力があつたと判定された場合、定常性設定部 11042は、定常性設定処理を終了する。

また、ステップ S 11082において、終了指示の入力がなかったと判定された場合、ステップ S11081に戻り、以下、同様の処理を繰り返す。

そして、ステップ S11082において、定常性指示情報の入力があつたと判定された場合、制御部 11065は、その定常性指示情報を、動き候補設定部 i ioe3 に供給し、ステップ S11083に進む。

ステップ S11083では、動き候補設定部 11063は、制御部 11065から供給された定常性指示情報が表す動き量に基づいて、入力画像の処理領域におけるォブジエタトの動き量の候補（動き候補）を M通り設定し、その M通りの動き量の候補を、定常性情報生成部 11064に供給して、ステップ S11084に進む。ここで、ステップ S11083では、例えば、定常性指示情報が表す動き量を中心とする、所定の間隔ごとの M個の値を、 M通りの動き量の候補として設定することができる。なお、この場合の所定の間隔は、一定値であっても良いし、定常性指示情報が表す動き量から離れるほど、大きくまたは小さくしても良レ、。

ステップ S 11084では、定常性情報生成部 11064は、動き候補設定部 11063 · から供給される M通りの動き量の候補を表す M通りの定常性情報を生成して出力し、ステップ S11085に進む。

ステップ S 11085では、制御部 11065は、ユーザ I / F 11046から選択情報が供給されたかどうかを判定し、選択情報が供給されていないと判定した場合、ステップ S11086に進む。ステップ S11086では、制御部 11065は、ユーザがユーザ I Z F 11046を操作することにより、確定指示または終了指示の入力があつたかどうかを判定する。

ステップ S 11086において、確定指示または終了指示の入力があつたと判定された場合、定常性設定部 11042は、定常性設定処理を終了する。

また、ステップ S 11086において、確定指示および終了指示いずれの入力もなかったと判定された場合、ステップ S11085に戻り、以下、同様の処理が繰り返される。

そして、ステップ S11085において、選択情報がユーザ I / F 11046から制御部 11065に供給されたと判定された場合、制御部 11065は、新たな M個の動き量の候補を設定するように、動き候補設定部 11063を制御し、ステップ S11087に進む。

ステップ S 11041では、動き候捕設定部 11063は、制御部 11065の制御にしたがい、新たな M個の動き量の候補を設定する。即ち、この場合、動き候補設定部 11063は、前回設定した M個の動き量の候捕のうち、ユーザ I / F 11046 から供給された選択情報により選択された出力画像を得るのに用いられた定常性情報としての動き量の候補に基づいて、新たな M個の動き量の候補を設定する。

具体的には、動き候補設定部 11063は、ユーザ I Z F 11046から供給された選択情報により選択された出力画像を得るのに用いられた動き量の候補を中心として、前回設定した M個の動き量の候補における隣接する動き量の候補どうしの間隔よりも短い間隔の値を、新たな M個の動き量の候補として設定する。そじて、動き候補設定部 11063は、新たな M個の動き量の候補を、定常性情報生成部 11064に供給し、ステップ S11087から S11084に戻る。

ステップ S 11084では、定常性情報生成部 11064が、動き候補設定部 11063 から供給される新たな M個の動き量の候補を表す M通りの定常性情報を生成して出力して、ステップ S 11085に進み、以下、同様の処理が繰り返される。以上の定常性設定処理によれば、ユーザによる定常性指示情報に基づき、複数である M通りの定常性が設定され、その M通りの定常性それぞれについて、後段の処理が行われる。さらに、その処理結果としての M通りの出力画像を表示し、その中からユーザが出力画像を選択すると、その選択結果に基づき、新たな M通りの定常性が設定され、以下、同様の処理が繰り返される。従って、ユーザは、 M通りの出力画像の中から、例えば、所望の画質に近いものを選択することにより、適切な定常性の設定が行われ、ユーザが所望する画質に近い出力画像を得ることが可能となる。

なお、上述の場合には、まず最初に、ユーザに、入力画像におけるオブジェタトの動き量を表す定常性指示情報を入力してもらい、定常性設定部 11042 において、その定常性指示情報に基づいて、最初の M通りの動き量の候補を設定するようにしたが、最初の M通りの動き量の候補は、ユーザからの定常性指示情報なしで設定することが可能である。即ち、定常性設定部 11042では、例えば、画像メモリ 11061に、入力画像を記憶させ、動き検出部 11062において、画像メモリ 11061に記憶された入力画像の処理領域における動き量を検出し、その検出された動き量に基づいて、最初の M通りの動き量の候補を設定するようにすることが可能である。

また、定常性設定部 11042では、最初の M通りの動き量の候補は、定常性指示情報が表す動き量や、動き検出部 11062で検出される動き量を中心とする、ある動き量の範囲、あるいは、定常性指示情報が表す動き量や、動き検出部 11062で検出される動き量に関係のない、ある動き量の範囲に基づいて設定することが可能である。

ここで、図 1 2 4のフローチャートを参照して、最初の M通りの動き量の候補を、ある動き量の範囲に基づいて設定し、その後、ユーザによる出力画像の選択に応じて、新たな M通りの動き量を設定する場合の、定常性設定部 11042 の処理について説明する。なお、 M通りの動き量の候補を設定するときに用いる動き量の範囲の最小値と最大値それぞれを、以下、適宜、最小動き量 V_{m i n} と最大動き量 V_{m a x} という。

この場合、まず最初に、ステップ S11091において、制御部 1106⁵が、最小動き量 V_{m i n}から最大動き量 V_{m a x} までの範囲を M+ 1等分する M個の点を求め、動き候補補設定部 11063に供給して、ステップ S11092に進む。ステップ S 11092では、制御部 11065が、最小動き量 V_ra i _πから最大動き量 V_{m a x}までの範囲を M+ 1等分する M個の点のうちの隣接するものどうしの距離 Lを求め、ステップ S11093に進む。

ステップ S11093では、動き候捕設定部 11063は、制御部 11065から供給された M個の点の値を、 M通りの動き量の候補に設定し、その M通りの動き量の候補を、定常性情報生成部 11064に供給して、ステップ S11094に進む。

ステップ S 11094では、定常性情報生成部 11064は、動き候補設定部 11063 から供給される M通りの動き量の候補を表す M通りの定常性情報を生成して出力し、ステップ S11095に進む。

ステップ S 11095では、制御部 11065は、ユーザ I Z F 11046から選択情報が供給されたかどうかを判定し、選択情報が供給されていないと判定した場合、ステップ S11096に進む。ステップ S11096では、制御部 11065は、ユーザがユーザ I / F 11046を操作することにより、確定指示または終了指示の入力があつたかどうかを判定する。

ステップ S 11096において、確定指示または終了指示の入力があつたと判定された場合、定常性設定部 11042は、定常性設定処理を終了する。

また、ステップ S11096において、確定指示おょぴ終了指示いずれの入力もなかったと判定された場合、ステップ S11095に戻り、以下、同様の処理が繰り返される。

そして、ステップ S11095において、選択情報がユーザ I Z F 1104⁶から制御部 11065に供給されたと判定された場合、ステップ S 11097に進み、制御部 11065は、前回設定された M通りの動き量の候補のうち、ユーザ I / F 11046 力ら供給された選択情報により選択された出力画像を得るのに用いられた定常性情報としての動き量の候補 V_a に対して、直前のステップ S11092で求められた距離 Lを加算または減算し、その加算値または減算値を、それぞれ、最大動き量 V_maxまたは最小動き量 V_min に、新たに設定する。

その後は、ステップ S11097から S11091に戻り、以下、同様の処理が繰り返される。

従って、例えば、 Mを 3とすると、定常性設定部 11042では、図 1 25に示すように、まず最初に、最小動き量 V_minから最大動き量 V_maxまでの範囲を 4等分する 3個の点 Vい v₂, v₃が求められ、その 3個の点の値が、 3通りの動き量の候補 _Vl, v_{2 )} v₃ に設定されるとともに、 3通りの動き量の候補 Vi, v₂, v₃の隣接するものと v₂、または v₂ と v₃) どうしの距離 Lが求められる。

さらに、いま、その 3通りの動き量の候補 _Vl， v₂, v₃について得られた出力画像の中から、ユーザが、例えば、動き量の候補 v₂について得られた出力画像を選択したとすると、定常性設定部 11042では、図 1 25に示すように、その選択された出力画像を得るのに用いられた動き量の候補 v_a (ここでは、 v₂) に対して距離 Lを加算または減算した値を、それぞれ、新たに最大動き量 V_max' または最小動き量 V_{mi n}' として、その最小動き量 V_{rai n}' から最大動き量 V_max' までの範囲を 4等分する 3個の点 _Vl ' , ν₂ ' , ν₃ ' 求められ、その 3個の点の値が、 3通りの動き量の侯補 _Vl，， v₂，， ν₃·' に設定されるとともに、 3通りの動き量の候補 V ， ν₂' , ν₃' の隣接するもの（ν と ν₂' 、または ν₂' と ν₃' ) どうしの距離 L' が求められ ' る。

その後、その 3通りの動き量の候補 _Vl ' ， ν₂' , ν₃' について得られた出力画像の中から、ユーザが、例えば、動き量の候補 _Vl' について得られた出力画像を選択したとすると、定常性設定部 11042では、図 1 25に示すように、その選択された出力画像を得るのに用いられた動き量の候補 v_a' (ここでは、 _Vl' ) に対して距離 L' を加算または減算した値を、それぞれ、新たに最大動き量 V_max， ' または最小動き量 V_min，，として、その最小動き量 V_rain， ' から最大動き量 V_maノ ' までの範囲を⁴等分する ³個の点 V

，， v₂，，， v₃， ' が求められ、その 3個の点の値が、 3通りの動き量の候捕 V ，， ν₂' ' , ν₃ ' ' に設定されるとともに、 3通りの動き量の候補，， ν₂ ' ，， ν₃，，の隣接するもの（_Vl，，と v₂，，、または ν₂' ，と v₃， ' ）どうしの距離 L，，が求められる。

以下、同様にして、動き量の候補の範囲が狭められていき、最終的には、真値（または真値に極めて近い）動き量を定常性情報として、出力画像が得られることになる。

即ち、例えば、いま、 Mを 3とするとともに、最小動き量 V_min と最大動き量 V_max を、それぞれ 0と 50とする。さらに、入力画像として、例えば、図 1 26Aに示すように、自動車などのオブジェクトが、水平方向に一定速度で移動している様子を撮像することによって得られる、動きボケが生じている画像を採用し、オブジェクトが移動している速度、つまり真値の動き量が 20であるとする。

この場合、定常性設定部 11042では、最小動き量 0から最大動き量 50までの範囲を 4等分する 3個の点が求められ、その 3個の点の値が、 3通りの動き量の候補に設定される。従って、 1 3 (= 1 X 50/4) , 25 (= 2 X 5 0/4) ， 37 (= 3 X 50/4) ί 3通りの動き量の候補に設定される。なお、ここでは、動き量の候補の値については、その小数点以下の値を、適宜、切り下げまたは切り上げることによって、整数値を採用するものとする。

その後、実世界推定部 11043および画像生成部 11044において、 3通りの動き量の候捕 1 3， 25, 3 7それぞれについて、入力画像が処理され、これにより、画像表示部 11045では、図 1 26 Βに示すように、 3通りの動き量の候補 1 3， 2 5， 3 7それぞれについての入力画像の処理結果としての 3通りの出力画像が表示される。ユーザには、この 3通りの出力画像の中から、オブジェクトの輪郭が最もくつきりしたもの、即ち、入力画像に生じている動きボケが最も低減されているものを選択してもらう。いまの場合、真値の動き量が 2 0であるから、 3通りの動き量の候補 1 3， 2 5， 3 7それぞれについて得られた出力画像の中では、例えば、真値の動き量 2 0に最も近い動き量の候補 2 5について得られた出力画像が、動きボケが最も低減されたものとなる。従って、ユーザは、動き量の候補 2 5について得られた出力画像を選択する。

一方、最小動き量 0から最大動き量 5 0までの範囲を 4等分する 3個の点の隣接するものどうしの距離 Lは、 5 0/4であり、定常性設定部 11042は、ユーザが出力画像を選択すると、その選択された出力画像を得るのに用いられた動き量の候補 2 5に対して距離 5 0/4を加算または減算した値を、それぞれ、新たに最大動き量または最小動き量として、その最小動き量から最大動き量までの範囲を 4等分する 3個の点を、新たに 3通りの動き量の候補として設定する。

従って、いまの場合、 1 9 (= ( 1 X 5 0/4 + 2 5) ) / 2 , 2 5 (= 2

X 5 0/4 ) ， 3 1 ( ( 3 X 5 0/ 4 - 2 5 ) / 2) が、 3通りの動き量の候補に設定される。

その後、実世界推定部 11043および画像生成部 11044において、 3通りの動き量の候捕 1 9， 2 5 , 3 1それぞれについて、入力画像が処理され、これにより、画像表示部 11045では、図 1 2 6 Cに示すように、 3通りの動き量の候補 1 9， 2 5， 3 1それぞれについての入力画像の処理結果としての 3通りの出力画像が表示される。

そして、以下、同様の処理が繰り返されることにより、動き量の候補として、真値の動き量が設定され、その真値の動き量についての出力画像が得られる。即ち、 3通りの動き量の候補 1 9， 2 5， 3 1それぞれについての入力画像の処理結果としての 3通りの出力画像の中では、例えば、真値の動き量 2 0に最も近い動き量の候補 1 9について得られた出力画像が、動きボケが最も低減されたもの（最もくつきりしたもの）となる。従って、ユーザは、動き量の候補 1 9について得られた出力画像を選択する。

この場合、定常性設定部 11042は、上述した場合と同様にして、新たな 3 通りの動き量の侯補 1 6 , 1 9， 2 2を設定し、これにより、画像表示部 11045では、図 1 2 6 Dに示すように、その 3通りの動き量の候補 1 6， 1 9 , 2 2それぞれについての入力画像の処理結果としての 3通りの出力画像が表示される。

この 3通りの動き量の候補 1 6， 1 9， 2 2それぞれについての入力画像の処理結果としての 3通りの出力画像の中では、例えば、真値の動き量 2 0に最も近い動き量の候補 1 9について得られた出力画像が、動きボケが最も低減されたもの（最もくつきりしたもの）となる。従って、ユーザは、動き量の候補

1 9について得られた出力画像を選択する。

この場合、定常性設定部 11042は、上述した場合と同様にして、新たな 3 通りの動き量の候補 1 8， 1 9， 2 0を設定し、これにより、画像表示部 11045では、図 1 2 6 Eに示すように、その 3通りの動き量の候補 1 8， 1 9，

2 0それぞれについての入力画像の処理結果としての 3通りの出力画像が表示される。

動き量の候補 2 0は、真値の動き量であり、従って、動き量の候捕 2 0について得られた出力画像は、入力画像から動きボケが最も低減されたもの（最もくっきりしたもの）となる。

実世界 1の定常性を表す動き量として、その真値を設定することにより、実世界推定部 11043および画像生成部 11044では、時間混合により生じている動きボケを除去（低減）した出力画像を得ることができる。しかしながら、信号処理装置 4において、入力画像だけから、実世界 1の定常性の真値を求めることは困難な場合がある。そこで、ユーザに、実世界 1の定常性の真値を入力してもらう方法があるが、数値で表される動き量などの実世界 1の定常性の真値を、ユーザが入力するのは困難である。 —方、ユーザは、処理結果である出力画像を見れば、その出力画像において、動きボケが低減されているかどうか等の画質が改善されているかどうかを、容易に判断または認識することができる。

そこで、上述のように、信号処理装置 4において、 M通りの動き量の候補について、入力画像を処理することにより、 M通りの出力画像を求め、ユーザに、その M通りの出力画像の中から、動きボケが最も改善されているものを選択してもらい、その選択結果に応じて、新たに M通りの動き量の候補を設定し、その M通りの動き量の候捕について、 M通りの出力画像を求めることを繰り返すことにより、極めて効率的に、動きボケを除去することができる。

即ち、信号処理装置 4は、ユーザに処理結果を提示し、人間が得意とする画質の認識や判断を行ってもらう。そして、信号処理装置 4は、その認識や判断によるフィードバックを受けて、再度処理を行う。このように、ユーザは自身が得意とする認識や判断を行い、信号処理装置 4は、その認識や判断のフィードバックを受けて、自身が得意とする処理（信号処理）を行うという、ユーザと信号処理装置 4との協調によって、実世界 1の信号に対応する画像により近似した画質の良い画像を、容易に得ることができる。

なお、 M通りの動き量の候補それぞれについての入力画像の処理結果として ,の M通りの出力画像の中では、基本的には、真値の動き量に最も近い動き量の候補について得られた出力画像が、動きボケが最も低減されたものとなるが、ユーザが、出力画像の画質の認識、判断を誤って、真値の動き量に最も近い動き量の候補について得られた出力画像以外の出力画像を選択することがあり得る。この場合は、基本的に、その後に設定される新たな M通りの動き量の候捕' それぞれについて得られる出力画像の画質が、前回の出力画像の画質よりも劣化するから、ユーザは、前回の出力画像の選択が誤っていたことを認識することができる。このような場合に対処すべく、例えば、画像表示部 11045 には、信号処理装置 4の状態を、前回の出力画像の選択が行われる直前の状態に戻すことができる「戻る」ポタンを表示し、ユーザが、「戻る」ポタンを操作した場合には、信号処理装置 4において、その状態を、前回の出力画像の選択が行われる直前の状態に戻すのが望ましい。： '

また、ここでは、動いているオブジェクトを撮像して得られる画像を入力画像として用いることとしたが、その他、例えば、手ぶれが生じている画像などのオブジェクトを撮像するセンサ 2を備えるカメラが動いていることによって動きボケが生じている画像を、入力画像として用いることが可能である。入力画像において手ぶれが生じている場合には、出力画像として、その手ぶれを補正した画像を得ることができる。従って、図 1 1 9の信号処理装置 4は、動きボケ除去装置や手ぶれ補正装置などとして用いることができる。

次に、図 1 2 7は、図 1 1 1に示した信号処理装置 4の応用例の他の一実施の形態の構成例を示している。

図 1 2 7において、処理領域設定部 11071、定常性設定部 11072、実世界推定部 11073、画像生成部 11074、画像表示部 11075、ユーザ I / F 11076は、図 1 1 1の処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I / F 10006にそれぞれ対応しており、基本的には、処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I ZF 10006それぞれと同様の処理を行う。さらに、図 1 2 7において、実世界推定部 11073 は、モデル生成部 11081、方程式生成部 11082、実世界波形推定部 11083で構成されている。モデル生成部 11081、方程式生成部 11082、実世界波形推定部 11083は、図 1 1 1のモデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013にそれぞれ対応しており、基本的には、モデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013それぞれと同様の処理を行う。但し、図 1 2 7においては、ユーザがユーザ I Z F 11076を操作することにより、ユーザ I / F 11076が出力する補助情報が、実世界推定部 I IO⁷³にのみ供給されるようになっている。即ち、図 1 27では、ユーザは、ユーザ I/F 11076 を操作することにより、実世界 1の信号の推定に用いるモデルに関するモデル情報を指示することができるようになつており、ユーザ I /F 11076は、ユーザがモデル情報を指示する操作を行うと、その操作によって指示されたモデル情報を表すモデル指示情報を、捕助情報として、実世界推定部 11073に供給する。さらに、図 127 では、画像表示部 11075には、後述するように、複数の出力画像が表示されるが、ユーザは、ユーザ I /F 11076を操作することにより、画像表示部 11075に表示された出力画像を選択することができるようになつており、ユーザ IZF 11076は、ユーザが出力画像を選択する操作を行うと、その操作によつて選択された出力画像を表す選択情報を、補助情報として、実世界推定部部 11073に供給する。

なお、実世界 1の信号の推定に用いるモデルとしては、実世界 1の光信号の波形をモデル化したモデルとしての近似関数（例えば、式（46) に示した多項式 f ₃ (X) (= w₀ + W! X + w₂ X² + - ■ ■ +w_n xⁿ) など）と、その近似関数を用いて、センサ 2により得られた画像データ内の各画素の画素値と実世界 1の光信号との関係をモデル化したモデルとしての関数（式）（例えば、式（103) (または式（104) など）とがある。ここで、以下、適宜、実世界 1の光信号の波形をモデル化したモデルを、近似モデルと、センサ 2により得られた画像データ内の各画素の画素値と実世界 1の光信号との関係をモデル化したモデルを、関係モデルと、それぞれいう。

モデル指示情報としては、例えば、式（46) に示した多項式である近似関数 f ₃ (x) の次数 nを指示する情報を採用することができる。また、近似関 ' 数としては、多項式の他、スプライン関数、三角関数、シグモイド関数、ガウス関数、 1次関数（1次式）、関数値が一定の関数等の様々な種類の関数を用いることができるが、モデル指示情報としては、実世界 1の信号の推定に用いる近似関数の種類を指示する情報を採用することもできる。但し、ここでは、近似モデルとして、例えば、式（46) に示した多項式の近似関数 f ₃ (x) を採用することとし、ユーザがユーザ I /F 11076を操作することにより、例えば、式（46) に示した多項式の近似関数 f ₃ (X) の次数 nを指示する情報が、モデル指示情報として、ユーザ I/F 11076から実世界推定部 11073に供給されるものとする。

次に、図 1 28のフローチヤ一トを参照して、図 1 27の信号処理装置 4の処理について説明する。

図 1 27の信号処理装置 4は、まず最初に、ステップ S11101において、前処理を行い、ステップ S11102に進む。即ち、信号処理装置 4は、センサ 2 (図 1) からデータ 3として供給される、例えば 1フレームまたは 1フィールドの入力画像を、処理領域設定部 11071、定常性設定部 11072、実世界推定部 11073、画像生成部 11074、および画像表示部 11075に供給する。さらに、信号処理部 4は、画像表示部 11075に、入力画像を表示させる。

ステップ S11102では、ユーザ I ZF 11076は、ユーザがユーザ I/F 11076を操作することにより、モデル指示情報の入力があつたかどうかを判定する。ステップ S11102において、モデル指示情報の入力がなかったと判定された場合、ステップ S11103に進み、ユーザ I /F 11076は、ユーザがユーザ I /F 11076を操作することにより、信号処理装置 4の処理の終了を指示する終了指示の入力があつたかどうかを判定する。

ステップ S11103において、終了指示の入力があつたと判定された場合、即ち、例えば、画像表示部 11075に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じず、入力画像に対して信号処理を施さないで良いとして、信号処理装置 4の処理を終了するように、ユーザ I 11076を操作した場合、処理を終了する。

また、ステップ S11103において、終了指示の入力がなかったと判定された場合、ステップ S11102に戻り、以下、同様の処理を繰り返す。一方、ステップ S 11102において、モデル指示情報の入力があつたと判定された場合、即ち、画像表示部 11075に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じ、近似モデルとしての近似関数の次数を指示するように、ユーザ I Z F 11076を操作した場合、ステップ S 11104に進み、ユーザ I Z F 11076は、ユーザがユーザ I Z F 11076を操作することによって指示した次数を表すモデル指示情報を、補助情報として、実世界推定部 11073 に供給し、ステップ S11105に進む。

ステップ S 11105では、処理領域設定部 11071は、処理領域を設定し、その処理領域を表す処理領域情報を、定常性設定部 11072、実世界推定部 11073、および画像生成部 11074に供給し、ステップ S 11106に進む。ここで、ステツプ S 11105における処理領域の設定は、ユーザに処理領域指示情報を入力してもらい、その処理領域指示情報に基づいて行うことも可能であるし、ユーザからの処理領域指示情報なしで行うことも可能である。

ステップ S 11106では、定常性設定部 11072は、処理領域設定部 11071から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部 11072は、その処理領域の画像データにおいて欠落した実世界 1の信号の定常性を設定し、その定常性を表す定常性情報を、実世界推定部 11073に供給して、ステップ S11107に進む。ここで、ステップ S11106における定常性の設定は、ユーザに定常性指示情報を入力してもらい、その定常性指示情報に基づいて行うことも可能であるし、ユーザからの定常性指示情報なしで行うことも可能である。

ステップ S 11107では、実世界推定部 11073は、入力画像における処理領域内の画像データについて、対応する実世界 1の信号の定常性に応じて、その実世界 1の信号を推定する。

即ち、実世界推定部 11073では、モデル生成部 11081力処理領域設定部 11071から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部 11072から供給される定常性情報から、処理領域の画像データに対応する実世界 1の信号の定常性を認識する。さらに、モデル生成部 11081は、入力画像における処理領域を構成する画素と、その処理領域の画像データに対応する実世界 1の信号の定常性に応じて、処理領域内の各画素の画素値と実世界 1の信号との関係をモデル化した関係モデルとしての関数を M通りだけ生成し、その M通りの関数を、方程式生成部 11082に供給する。

ここで、モデル生成部 11081は、直前に行われたステップ S11104においてユーザ I Z F 11076から補助情報としてのモデル指示情報が供給された場合は、そのモデル指示情報を用いて、 M通りの関係モデルとしての関数を生成する。即ち、モデル生成部 Ι ΙΟδΙは、直前に行われたステップ S11104においてユーザ I Z F 11076から供給されたモデル指示情報が表す次数を含む Μ通りの次数の多項式を、近似関数として、その Μ通りの近似関数を用いた関係モデルである Μ通りの関数を生成する。

方程式生成部 11082は、処理領域設定部 11071から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域の各画素について、モデル生成部 11081から供給される、 Μ通りの関係モデルとしての関数それぞれに、入力画像の必要な画素の画素値を代入し、これにより、実世界 1の信号を近似する近似関数を求める Μ通りの方程式を生成して、実世界波形推定部 11083に供給する。

実世界波形推定部 11083は、方程式生成部 11082から供給される、 Μ通りの方程式を解くことにより、 Μ通りの実世界 1の信号の波形を推定、即ち、実世界 1の信号をモデル化したモデルとしての近似関数を求め、その Μ通りの近似関数を、画像生成部 11074に供給ずる

ステップ S 11107の処理後は、ステップ S11108に進み、画像生成部 11074 は、実世界推定部 11073 (の実世界波形推定部 11083) から供給された Μ通りの近似関数に基づいて、実世界 1の信号により近似した信号を Μ通りだけ生成する。即ち、画像生成部 11074は、処理領域設定部 11071から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部 11073から供給された M通りの近似関数に基づき、実世界 1の信号に対応する画像により近似した画像データである近似画像を M通りだけ生成する。さらに、画像生成部 11074は、入力画像の処理領域の部分を、 M通りの近似画像にそれぞれ置き換えた M通りの画像を、出力画像として生成し、画像表示部 11075に供給して、ステップ S11108から S11109に進む。

ステップ S 11109では、画像表示部 11075は、画像生成部 11074から供給された M通りの出力画像を、ステップ S 11101で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップ S11110に進む。

ステップ S 11110では、ユーザ I Z F 11076は、ユーザがユーザ I Z F

11076を操作することにより、選択情報の入力があつたかどうかを判定する。即ち、ステップ S11109では、画像表示部 11075において、 M通りの出力画像が表示されるが、その M通りの出力画像を見たユーザが、その M通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択する選択情報の入力を、ユーザ I Z F 11076を操作することにより行ったかどうかが、ステツプ S 11110において判定される。

ステップ S 11110において、選択情報の入力がなかったと判定された場合、ステップ S11113に進み、ステップ S11103における場合と同様に、ユーザ I / F 11076は、終了指示の入力があつたかどうかを判定する。

ステップ S 11113において、終了指示の入力があつたと判定された場合、信号処理装置 4は、処理を終了する。

また、ステップ S11113において、終了指示の入力がなかったと判定された場合、ステップ S11110に戻り、以下、同様の処理を繰り返す。

一方、ステップ S 11110において、選択情報の入力があつたと判定された場合、即ち、画像表示部 11075 に表示された M通りの出力画像を見たユーザが、その M通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択した場合、ステップ S11111に進み、ユーザ I Z F 11076は、ユーザがユーザ I Z F 11076を操作することにより、ユーザが選択した出力画像を、最終的な出力画像として確定する確定指示の入力があつたかどうかを判定する _c ステップ S11111において、確定指示の入力があつたと判定された場合、ステツプ S11112に進み、画像表示部 11075は、例えば、その画面全体に、ユーザが選択した出力画像を表示し、処理を終了する。

また、ステップ S11111において、確定指示の入力がなかったと判定された場合、即ち、ユーザが、選択した出力画像の画質に不満があり、再度処理を行うために、確定指示の入力を行わなかった場合、ステップ S11104に戻り、ュ一ザ I Z F 11076は、ユーザが選択した出力画像を表す選択情報を、補助情報として、実世界推定部 11073に供給し、ステップ S 11105に進む。

ステップ S 11105では、処理領域設定部 11071は、上述した場合と同様に、処理領域を設定し、その処理領域を表す処理領域情報を、定常性設定部 11072、実世界推定部 11073、および画像生成部 11074に供給して、ステップ S 11106 に進む。ステップ S11106では、定常性設定部 11072は、上述した場合と同様に、処理領域設定部 11071から供給された処理領域情報から、入力画像における処理領域を認識するとともに、その処理領域の画像データにおいて欠落した実世界 1の信号の定常性を設定し、その定常性を表す定常性情報を、実世界推定部 11073に供給して、ステップ S11107に進む。

なお、ステップ S11104乃至 S11113 のループ処理が行われる場合において、例えば、 2回目以降のステップ S11105で設定される処理領域は、前回のステップ S11105の処理で設定されるものと同一であり、さらに、 2回目以降のステツプ S11106で設定される定常性も、前回のステップ S11106の処理で設定されるものと同一である。従って、ステップ S11104乃至 S1 U13のループ処理が行われる場合においては、 2回目以降のステップ S11105および S11106 の処理は、スキップすることができる。ステップ S 11107では、実世界推定部 11073は、入力画像における処理領域内の画像データについて、対応する実世界 1の信号の定常性に応じて、その実世界 1の信号を推定する。

即ち、実世界推定部 11073では、モデル生成部 11081力 S、処理領域設定部 11071から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部 11072から供給される定常性情報から、処理領域の画像データに対応する実世界 1の信号の定常性を認識する。さらに、モデル生成部 11081は、直前のステップ S11104でユーザ Iノ F 11076から供給された補助情報としての選択情報に基づいて、関係モデルとしての関数を、新たに M通りだけ生成し、その M通りの関数を、方程式生成部 11082に供給する。具体的には、モデル生成部 11081は、直前に行われたステップ S 11104においてユーザ I Z F 11076から供給された補助情報としての選択情報が表す出力画像を得るのに用いられた近似関数の次数を含む M通りの次数の多項式を、近似関数として、その M通りの近似関数を用いた関係モデルである M通りの関数を新たに生成する。

方程式生成部 11082は、処理領域設定部 11071から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域の各画素について、モデル生成部 11081から供給きれる、 M通りの関係モデルとしての関数それぞれに、入力画像の必要な画素の画素値を代入し、これにより、実世界 1の信号を近似する近似関数を求める M通りの方程式を新たに生成して、実世界波形推定部 11083に供給する。

実世界波形推定部 11083は、方程式生成部 11082から供給される、 M通りの方程式を解くことにより、 M通りの実世界 1の信号の波形を推定、即ち、実世界 1の信号をモデル化したモデルとしての近似関数を新たに求め、その M通りの近似関数を、画像生成部 11074に供給する。

ステップ S 11107の処理後は、ステップ S11108に進み、以下、同様の処理が繰り返される。即ち、これにより、ステップ S 11104乃至 S 11113の処理が繰り返され、最終的には、高画質の出力画像が得られる近似関数の次数、つまりは、実世界 1 の光信号をより忠実に近似する近似関数の次数が設定され、その結果、高画質の出力画像が得られる。

以上のように、図 1 2 7の信号処理装置 4でも、入力画像に対する処理結果としての M通りの出力画像をユーザに提示し、その M通りの出力画像の中からユーザが所望するものを選択してもらい、その選択結果を踏まえて、再度処理を行うようにしたので、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。即ち、信号処理装置 4は、入力画像に対する処理結果としての M通りの出力画像をユーザに提示する。一方、ユーザは、その M通りの出力画像それぞれの画質を認識、判断し、画質の良い出力画像を、信号処理装置 4にフィードバックする。そして、信号処理装置 4は、そのユーザからのフィードバックを踏まえ、再度、入力画像を処理し、以下、同様の処理が繰り返される。従って、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。

なお、図 1 2 7の信号処理装置 4においては、 M通りの実世界 1の信号の推定（M通りの近似関数の算出）のために、 M個の実世界推定部 11073を設けることが可能である。さらに、図 1 2 7の信号処理装置 4においては、 M通りの近似関数から M通りの出力画像を生成するために、 M個の画像生成部 11074 を設けることが可能である。

次に、図 1 2 9は、図 1 1 1に示した信号処理装置 4の応用例の他の一実施の形態の構成例を示している。

図 1 2 9において、処理領域設定部 11091、定常性設定部 11092、実世界推定部 11093、画像生成部 11094、画像表示部 11095、ユーザ Iノ F 110%は、図 1 1 1の処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ Iノ F 10006にそれぞれ対応しており、基本的には、処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I / F 10006それぞれと同様の処理を行う。さらに、図 1 2 9において、実世界推定部 11093 は、モデル生成部 11101、方程式生成部 11102、実世界波形推定部 11103で構成されている。モデル生成部 11101、方程式生成部 11102、実世界波形推定部 11103は、図 1 1 1のモデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013にそれぞれ対応しており、基本的には、モデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013それぞれと同様の処理を行う。図 1 2 9においては、ユーザがユーザ I / F 11096を操作することにより、ユーザ I Z F 11096が出力する補助情報としての処理領域指示情報、定常性指示情報、またはモデル指示情報が、処理領域設定部 11091、定常性設定部

11092、または実世界推定部 11093にそれぞれ供給される。

次に、図 1 3 0および図 1 3 1のフローチヤ一トを参照して、図 1 2 9の信号処理装置 4の処理について説明する。

図 1 2 9の信号処理装置 4は、まず最初に、ステップ S11121において、前処理を行い、ステップ S 11122に進む。即ち、信号処理装置 4は、センサ 2

(図 1 ) からデータ 3として供給される、例えば 1フレームまたは 1フィールドの入力画像を、処理領域設定部 11091、定常性設定部 11092、実世界推定部

11093、画像生成部 11094、および画像表示部 11095に供給する。さらに、信号処理部 4は、画像表示部 11095に、入力画像を表示させる。

ステップ S 11122では、ユーザ I Z F 11096は、ユーザがユーザ I / F

11096を操作することにより、処理領域指示情報の入力があつたかどうかを判定する。ステップ S 11122において、処理領域指示情報の入力があつたと判定された場合、ステップ S11123に進み、ユーザ I Z F 11096は、その処理領域指示情報を、補助情報として、処理領域設定部 11091に供給して、ステップ S11124に進む。

また、ステップ S 11122において、処理領域指示情報の入力がなかったと判定された場合、ステップ S11123をスキップして、ステップ S11124に進み、ユーザ I Z F 11096は、ユーザがユーザ I / F 11096を操作することにより、定常性指示情報の入力があつたかどうかを判定する。ステップ S 11124において、定常性指示情報の入力があつたと判定された場合、ステップ S11125に進み、ユーザ I Z F 11096は、その定常性指示情報を、補助情報として、定常性設定部 11092に供給して、ステップ S11126に進む。

また、ステップ S 11124において、定常性指示情報の入力がなかったと判定された場合、ステップ S 11125をスキップして、ステップ S11126に進み、ュ一ザ I / F 11096は、ユーザがユーザ I / F 11096を操作することにより、モデル指示情報の入力があつたかどうかを判定する。ステップ S 11126 において、モデル指示情報の入力があつたと判定された場合、ステップ S 11127に進み、ユーザ I Z F 110%は、そのモデル指示情報を、補助情報として、実世界推定部 11093に供給して、ステップ S11128に進む。

また、ステップ Sl l l^において、モデル指示情報の入力がなかったと判定された場合、ステップ S 11127をスキップして、ステップ S11128に進み、ュ一ザ I " F 11096は、ユーザがユーザ I / F 11096を操作することにより、信号処理装置 4の処理の終了を指示する終了指示の入力があつたかどうかを判定する。

ステップ S11128において、終了指示の入力があつたと判定された場合、即ち、例えば、画像表示部 11095に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じず、入力画像に対して信号処理を施さないで良いとして、信号処理装置 4の処理を終了するように、ユーザ I Z F 11096を操作した場合、処理を終了する。

また、ステップ S11128において、終了指示の入力がなかったと判定された場合、ステップ S11129に進み、ユーザ I ZF 11096は、処理領域設定部

11091への処理領域指示情報の供給、定常性設定部 11092への定常性指示情報の供給、および実世界推定部 11093へのモデル指示情報の供給のすべてが行われたかどうかを判定する。ステップ S11129において、処理領域設定部 11091への処理領域指示情報の供給、定常性設定部 11092への定常性指示情報の供給、または実世界推定部 11093へのモデル指示情報の供給のうちのいずれかが行われていないと判定された場合、即ち、ユーザが、補助情報としての処理領域指示情報、定常性指示情報、またはモデル指示情報のうちのいずれかの入力を行っていない場合、例えば、画像表示部 11095は、その入力が行われていない情報の入力を促すメッセージの表示を行って、ステップ S11122に戻り、以下、同様の処理を繰り返す。

一方、ステップ S 11129において、処理領域設定部 11091への処理領域指示情報の供給、定常性設定部 11092への定常性指示情報の供給、および実世界推定部 11093へのモデル指示情報の供給のすべてが行われたと判定された場合、ステップ S11130に進み、処理領域設定部 11091は、ユーザ I Z F 11096 から直前に供給された処理領域指示情報に基づき、処理領域を設定し、その処理領域を表す処理領域情報を、定常性設定部 11092、実世界推定部 11093、および画像生成部 11094に供給して、ステップ S 11131に進む。

ステップ S 11131では、定常性設定部 11092は、処理領域設定部 11091から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部 11092は、その処理領域の画像データにおいて欠落した実世界 1の信号の定常性を、ユーザ I Z F 11096から直前に供給された定常性指示情報に基づいて設定し、その定常性を表す定常性情報を、実世界推定部 11003 に供給して、ステップ S 11132に進む。

ステップ S 11132では、実世界推定部 11093は、入力画像における処理領域内の画像データについて、対応する実世界 1の信号の定常性に応じて、その実世界 1の信号を推定する。

即ち、実世界推定部 11093では、モデル生成部 11101力処理領域設定部 11091から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部 11092から供給される定常性情報から、処理領域の画像データに対応する実世界 1の信号の定常性を認識する。さらに、モデル生成部 11101は、入力画像における処理領域を構成する画素と、その処理領域の画像データに対応する実世界 1の信号の定常性に応じて、処理領域内の各画素の画素値と実世界 1の信号との関係をモデル化した関係モデルとしての関数を、ユーザ I Z F 11096から直前に供給されたモデル指示情報に基づいて生成し、方程式生成部 11102に供給する。

方程式生成部 11102は、処理領域設定部 11091から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域の画素について、モデル生成部 11101から供給される関係モデルとしての関数に、入力画像の必要な画素の画素値を代入し、これにより、実世界 1の信号を近似する近似関数を求める方程式を生成して、実世界波形推定部 11103に供給する。

実世界波形推定部 11103は、方程式生成部 11102から供給される方程式を解くことにより、実世界 1の信号の波形を推定、即ち、実世界 1の信号をモデル化したモデルどしての近似関数を求め、画像生成部 11094に供給する。ステップ S 11132の処理後は、ステップ S11133に進み、画像生成部 11094 は、実世界推定部 11093 (の実世界波形推定部 11103) から供給された近似関数に基づいて、実世界 1の信号により近似した信号を生成する。即ち、画像生成部 11094は、処理領域設定部 11091から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部 11093から供給された近似関数に基づき、実世界 1の信号に対応する画像により近似した画像データである近似画像を生成する。さらに、画像生成部 11094 は、'入力画像の処理領域の部分を、近似画像に置き換えた画像を、出力画像として生成し、画像表示部 11095に供給して、ステップ S11133から S 11134に進む。

ステップ S11134では、画像表示部 11095は、画像生成部 11094から供給された出力画像を、ステップ S 11121で表示された入力画像に代えて、またはその入力画像とともに表示し、図 1 3 1のステップ S11141に進む。ステップ S 11 141では、ユーザ I Z F 11096は、ステップ S11122における場合と同様に、ユーザから処理領域指示情報の入力が新たにあつたかどうかを判定する。ステップ S11141において、処理領域指示情報の入力があつたと判定された場合、即ち、例えば、直前のステップ S11134で表示された出力画像を見たユーザが、その画質に不満を感じ、その画質改善のために、ユーザ I Z F 11096を操作して、処理領域指示情報を、新たに入力した場合、ステップ S11142に進み、ユーザ I / F 11096は、その処理領域指示情報を、補助情報として、処理領域設定部 11091に供給して、図 1 3 0のステップ S 11130に戻る。

この場合、ステップ S 11130では、処理領域設定部 11091は、ユーザ I Z F 11096から直前に供給された処理領域指示情報に基づき、新たな処理領域を設定し、その処理領域を表す処理領域情報を、定常性設定部 11092、実世界推定部 11093、および画像生成部 11094に供給して、ステップ S11131乃至

S11133に順次進む。ステップ S11131乃至 S11133では、新たな処理領域について、上述した場合と同様の処理が行われ、これにより、新たな出力画像が生成され、ステップ S 11134に進む。ステップ S 11134では、画像表示部 11095 は、新たな処理領域について生成された出力画像を表示して、図 1 3 1のステップ S11141に進み、以下、同様の処理が繰り返される。

また、ステップ S 11141において、処理領域指示情報の入力がなかったと判定された場合、ステップ S11142をスキップして、ステップ S11143に進み、ユーザ I / F 11096は、ステップ S11124における場合と同様に、ユーザから定常性指示情報の入力が新たにあつたかどうかを判定する。ステップ S 11143 において、定常性指示情報の入力があつたと判定された場合、即ち、例えば、' 直前のステップ S11134で表示された出力画像を見たユーザが、その画質に不満を感じ、その画質改善のために、ユーザ I Z F 11096を操作して、定常性指示情報を、新たに入力した場合、ステップ S11144に進み、ユーザ I Z F 11096は、その定常性指示情報を、補助情報とし X、定常性設定部 11092に供給して、図 1 3 0のステップ S11131に戻る。

この場合、ステップ S 11131では、定常性設定部 11092は、処理領域設定部 11092から前回供給された処理領域情報によつて認識される処理領域の画像データにおいて欠落した実世界 1の信号の定常性を、ユーザ I Z F 11096から直前に供給された定常性指示情報に基づいて新たに設定し、その新たに設定した定常性を表す定常性情報を、実世界推定部 11093に供給して、ステップ S11132, S11133に順次進む。ステップ S11132, S 11133では、新たに設定された定常性について、上述した場合と同様の処理が行われ、これにより、新たな出力画像が生成され、ステップ S11134に進む。ステップ S 11134では、画像表示部 11095は、新たに設定された定常性について生成された出力画像を表示して、図 1 3 1のステップ S 11141に進み、以下、同様の処理が繰り返される。

また、ステップ S 11143において、定常性指示情報の入力がなかったと判定された場合、ステップ S 11144をスキップして、ステップ S11145に進み、ュ一ザ I Z F 11096は、ステップ S11126における場合と同様に、ユーザからモデル指示情報の入力が新たにあつたかどうかを判定する。ステップ S11145において、モデル指示情報の入力があつたと判定された場合、即ち、例えば、直前のステップ S11134で表示された出力画像を見たユーザが、その画質に不満を感じ、その画質改善のために、ユーザ I Z F 11096を操作して、モデル指示情報を、新たに入力した場合、ステップ S 11146に進み、ュ"ザ I Z F I IO は、そのモデル指示情報を、補助情報として、実世界推定部 11093に供給して、図 1 3 0のステップ S11132に戻る。

この場合、ステップ S 11132では、実世界推定部 11093は、ユーザ I Z F 11096から直前に供給されたモデル指示情報に基づき、入力画像における処理領域内の実世界 1の信号を新たに推定する。即ち、実世界推定部 11093では、モデル生成部 11101力処理領域設定部 11091から前回供給された処理領域情報によつて認識される処理領域を構成する画素と、定常性設定部 111092から前回供給された定常性情報によって認識される、処理領域の画像データに対応する実世界 1の信号の定常性に応じて、処理領域内の各画素の画素値と実世界 1の信号との関係をモデル化した関係モデルとしての関数を、ユーザ I Z F 11096から直前に供給されたモデル指示情報に基づいて新たに生成し、方程式生成部 11102に供給する。

方程式生成部 11102は、処理領域設定部 11091から前回供給された処理領域情報から認識される処理領域の画素について、モデル生成部 11101から新たに供給された関係モデルとしての関数に、入力画像の必要な画素の画素値を代入し、これにより、実世界 1の信号を近似する近似関数を求める方程式を新たに生成して、実世界波形推定部 11103に供給する。

ステップ S 11132の処理後は、ステップ S11133に進み、画像生成部 11094 は、実世界推定部 11093 (の実世界波形推定部 11103) から新たに供給された近似関数に基づいて、実世界 1の信号により近似した信号を新たに生成する。即ち、画像生成部 11094は、処理領域設定部 11091から前回供給された処理領域情報から認識される処理領域について、実世界推定部 11093から新たに供給された近似関数に基づき、実世界 1の信号に対応する画像により近似した画像データである近似画像を生成する。さらに、画像生成部 11094は、入力画像の処理領域の部分を、近似画像に置き換えた画像を、出力画像として新たに生成し、画像表示部 11095に供給して、ステップ S11133から S11134に進む。

ステップ S 11134では、画像表示部 11095は、上述したようにして、新たな関係モデルとしての関数について生成された出力画像を表示して、図 1 3 1のステップ S11141に進み、以下、同様の処理が繰り返される。

一方、ステップ S 11145において、モデル指示情報の入力がなかったと判定された場合、ステップ S 11147に進み、ユーザ I Z F 11096は、ユーザがユーザ I / F 1 1096を操作することにより、信号処理装置 4の処理の終了を指示する終了指示の入力があつたかどうかを判定する。

ステップ S 11147において、終了指示の入力がなかったと判定された場合、即ち、例えば、画像表示部 11095に表示された出力画像を見たユーザが、その出力画像の画質に不満を感じ、処理領域指示情報、定常性指示情報、またはモデル指示情報を入力して、より良い画質の出力画像を得ようとしている場合、ステップ S11141に戻り、以下、同様の処理が繰り返される。

また、ステップ S11147において、終了指示の入力があつたと判定された場合、即ち、例えば、画像表示部 11095 に表示された出力画像を見たユーザが、その出力画像の画質に満足し、信号処理装置 4の処理を終了するように、ユーザ I Z F 11096を操作した場合、処理を終了する。

以上のように、図 1 2 9の信号処理装置 4では、ユーザからの入力に基づいて、処理領域と定常性が設定されるとともに、実世界 1の信号の推定に用いる関係モデルが生成される。さらに、その処理領域、定常性、関係モデルを用いて、実世界 1の信号が推定され、その実世界 1の信号を用いて、出力画像が生成される。そして、出力画像がユーザに提示され、その画質に不満がある場合にユーザが、処理領域、定常性、または関係モデルを変える入力を行うと、その入力に基づいて、新たな処理領域、定常性、または関係モデルが設定（生成）され、新たな出力画像が生成されることが繰り返される。

即ち、例えば、図 1 3 2に示すように、画像表示部 11095に入力画像が表示された状態において、ユーザは、ポタンや、つまみ、マウスで構成されるュ一ザ I Z F 11096を操作することにより、画質に不満がある領域を、処理領域として指示する。

なお、ユーザによる処理領域の指示方法としては、例えば、ユーザ I / F 11096としてのマウスを操作することによって、入力画像上の 2点をクリックする方法がある。この場合、処理領域設定部 11091では、例えば、そのクリックされた 2点を対角線とする長方形の領域を、処理領域として設定する。また、ユーザが画質に不満を感じる領域としては、上述したような時間混合によって動きボケが生じている領域、あるいは、例えば、センサ 2の空間積分効果による、 2つの物体に対する信号の空間方向の混合（空間混合）に起因して、解像度が劣化している領域がある。

ここで、いまの場合、入力画像において、例えば、遠方にあるロープなどの細い線状の物が表示されており、そのロープの境界部分において、ロープと背景の信号の空間混合が生じているものとし、ユーザは、その空間混合によって解像度が劣化している領域を、処理領域として指定するものとする。ユーザが、入力画像上の 2点をクリックすることにより、処理領域を指定した場合、画像表示部 11095においては、そのクリックされた 2点を対角線とする長方形の処理領域を囲む枠を表示（提示）することができ、この枠によって、ユーザは、適切な処理領域が設定されたかどうかを確認することができる。なお、処理領域は、入力画像上の 2点をクリックし直すことによって、指定し直すことがでさる。

さらに、ユーザは、例えば、図 1 3 2に示すように、ポタンや、つまみ、マウスで構成されるユーザ I Z F 11096を操作することにより、処理領域に表示された画像に対応する実世界 1の定常性を指示する。この場合、定常性設定部 11092では、その指示された定常性が、そのまま設定される。

なお、ユーザによる定常性の指示方法としては、例えば、ユーザ I Z F 11096としてのつまみを操作することによって、処理領域に表示された画像に対応する実世界の定常性の方向を指示する方法がある。即ち、いまの場合、上述したように、入力画像には、ロープなどの細い線状の物が表示されている力ユーザは、その線状の物が延びている方向（線状の物を表す直線の傾き）を、定常性の方向として指示する。この場合、画像表示部 11095においては、ュ一ザ I / F 11096としてのつまみの操作に応じて回転する矢印（の画像）を表示することができ、この矢印によって、ユーザは、適切な定常性が設定されたかどうかを確認することができる。また、ユーザは、ユーザ Iノ F 11096を操作することにより、実世界 1の信号の推定に用いるモデルを指示する。即ち、いま、実世界推定部 11093において、近似関数として、例えば、式（4 6 ) に示した多項式 f ₃ ( X ) ( = w ₀ + _{W l} x + w₂ x ² + - · ■ + w_n x ⁿ ) を使用するものとすると、ユーザは、ユーザ I / F 11096 を操作することにより、その近似関数の次数 nを指定する _c この場合、実世界推定部 11093では、その指示された次数 nの多項式を近似関数として用いて関係モデルを生成する。

図 1 2 9の信号処理装置 4では、以上のようにして、ユーザからの入力に基づいて得られる処理領域、定常性、関係モデルを用いて、実世界 1の信号が推定され、その実世界 1の信号を用いて、出力画像が生成される。そして、出力画像がユーザに提示され、その画質に不満がある場合にユーザが、処理領域、定常性、または関係モデルを変える入力を行うと、その入力が信号処理装置 4 にフィーバックされ、信号処理装置 4において、その入力に基づいて得られる新たな処理領域、定常性、または関係モデルを用いて、新たな出力画像が生成される。

従って、ユーザは、出力画像を見ながら、ユーザ I Z F 11096を操作することにより、高画質の出力画像を得ることができる。

次に、図 1 3 3のフローチヤ一トを参照して、図 1 2 9の信号処理装置 4に対して、例えば、上述したように、遠方にあるロープなどの細い線状の物が表示されており、そのロープの境界部分において、ロープと背景の信号の空間混合が生じている入力画像が入力された場合の実世界推定部 11093による実世界の推定処理（図 1 3 0のステップ S11132の処理）と、画像生成部 11094による出力画像の生成処理（図 1 3 0のステップ S11133の処理）の詳細について説明する。

なお、ここでは、処理領域設定部 11091 において、図 1 3 4に示すように、処理領域として、入力画像において、空間混合によって解像度が劣化している領域が設定され、その処理領域を表す処理領域情報が出力されているものとする。さらに、定常性設定部 11092では、図 1 34に示すように、入力画像における線状の物体の定常性が設定され、その定常性の方向、即ち、線状の物体が延ぴている方向を表す定常性情報が出力されているものとする。また、実世界推定部 11093では、近似関数として、例えば、式（46) と同様の式（1 37) に示す多項式 f ( X ) が採用されていることとする。即ち、ここでは、実世界 1の信号の推定にあたり、第 1の関数近似手法（1次元近似手法）を採用することとする。 f (X) = W₀+ ₁X+W X₂+- · . +w_nx w_nxⁿ

• · · (1 37)

ここで、式（1 3 7) において、 xは、処理領域を構成する画素上の x方向の位置（座標）を表し、 w_nは、近似関数 ί ( X ) を特徴づける係数である。また、ユーザ I /F 11096から実世界推定部 11093に対しては、近似関数 f ( X ) の次数 Nを表すモデル指示情報が供給されているものとする。

図 1 33に戻り、実世界推定部 11096のモデル生成部 11101は、ステップ S11161において、ユーザ I /F 11096から供給されるモデル指示情報と、定常性設定部 11092から供給される定常性情報に基づき、関係モデルとしての関数（式) を生成する。

即ち、いまの場合、モデル生成部 11101は、式（1 37) の近似関数 f ( X ) を用いて、上述の式（46) と同様の式（1 38) に示す関係モデルとしての関数を生成する。

= j_x (w₀+w₁x¹+w₂x²+- · ·+νν_ηχ^Ν)ο!χ

(1 3 8) ここで、式（138) において、左辺の変数 Pは、入力画像を構成する画素の画素値を表す。

式（138) の関係モデルは、センサ 2のある画素において得られる画素値 Pが、実世界の信号（を近似するモデル）を表す近似関数 f ( X ) を、その画素上の左端の位置 x_s から右端の位置 x_e までの範囲で積分した値であるとして、センサ 2が出力する入力画像の画素の画素値と実世界 1の光信号との関係をモデル化するものである。

即ち、 1次元近似手法は、近似モデルの時空間方向 X , y , tにおける、ある 1次元方向の位置に対応する各画素の画素値が、近似モデルを、その 1次元方向に積分することにより取得されるとして、処理領域を構成する画素の画素値と、実世界 1の光信号との関係をモデル化するものであり、式（138) の関係モデルでは、近似モデルの時空間方向 x， y , tにおける X方向の位置に対応する各画素の画素値が、近似モデルを、 X方向に積分することにより取得されるとして、処理領域を構成する画素の画素値と、実世界 1の光信号とが関係付けられている。

なお、式（1 38) における近似関数 f ( X ) の次数 Nは、ユーザ IZF 11096から供給されるモデル指示情報に基づいて決定される。

また、式（1 38) において、積分範囲の始点 x_s と終点 x_eは、定常性設定部 11092から供給される定常性情報に基づいて決定される。即ち、ここでは、積分範囲の始点 x_s と終点 x_eは、次式で表される。

x_s = x-C_x (y) -0.5

x_e = x-C_x (y) +0.5

• • • (139)

なお、式 (139) において、画素の x方向および y方向の幅は、図 82に示したように、いずれも 1であるとし、後述するステップ S11162で設定される注目画素の中心（重心）に、原点（0, 0) をとるものとする。また、式 (139) において、 C_x (y) は、式（42) および式（43) で説明した場合と同様に、積分範囲のシフト量を表し、入力画像において、線状の物体が延びている方向が、 X軸とつくる角度を、 6と表すと、次式で表される。

• · - ( 1 4 0 )

モデル生成部 11101において、式（1 4 0 ) の角度 Θは、定常性情報に基づいて認識される。

干デル生成部 11101は、ステップ S11161において、処理領域設定部 11091 から供給される処理領域情報から特定される処理領域を構成する各画素について、式（1 3 8 ) で表される関係モデルを生成し、方程式生成部 11102に供給して、ステップ S11162に進む。

ステップ S11162では、方程式生成部 11102は、処理領域設定部 11091から供給される処理領域情報から特定される処理領域を構成する画素の中から、まだ注目画素としていないものを、注目画素として選択し、ステップ S1 U63に進む。ステップ S11163では、方程式生成部 11102は、注目画素について、その注目画素で積分された実世界の光信号を表す近似モデルを求めるのにたてる方程式に用いる入力画像の領域（以下、適宜、方程式領域という）を設定する。即ち、方程式生成部 11102 は、例えば、入力画像において、注目画素を含む、横（X方向） X縦（y方向）が x _a X y _a画素を、方程式領域に設定する。ここで、方程式領域を構成する横と縦の画素数 x _a と y _a は、あらかじめ設定しておくこともできるし、ユーザが、ユーザ I Z F 11096を操作することにより入力するようにすることもできる。また、上述の場合には、処理領域、定常性、または近似モデルが異なる M通りの出力画像を生成するようにしたが、方程式領域を構成する横と縦の画素数 x _a と y _a の組み合わせが異なる M通りの出力画像を生成するようにすることができる。この場合、その M通りの出力画像の中からユーザが選択したものを、方程式生成部 11102 にフィードバックして、新たな M通りの方程式領域を設定し、その M通りの方程式領域それぞれについての出力画像を再度生成するようにすることが可能である。

ステップ S11163の処理後は、ステップ S11164に進み、方程式生成部

U102は、注目画素について生成した式（1 3 8) の関係モデルに対して、注目画素についての方程式領域の各画素の画素値を取得して代入することにより、注目画素で積分された実世界 1の光信号を表す近似モデルを求める方程式を生成する。

即ち、いま、方程式領域として、注目画素を中心とする 3 X 3画素の領域を採用することとする。さらに、画素の横および縦の幅がいずれも 1であるとするとともに、注目画素の中心位置を原点とする、図 8 2に示した座標系を導入し、方程式領域における 3 X 3画素の各画素値を、その画素の中心の座標（χ， y) を用いて、 P (x, y) と表すこととする。この場合、注目画素の画素値は、 P (0, 0) と表される。また、注目画素の左下の画素の画素値は、 P

(一 1， - 1) と表され、注目画素の下の画素の画素値は、 P (0，一 1) と表される。以下、同様に、注目画素の右下、左、右、左上、上、右上の画素の画素値は、それぞれ、 P (1， _ 1) ， P (— 1， 0) , P ( 1 , 0) , P

(— 1， 1) , P (0， 1) ， P (1， 1 ) と表される。

この場合、方程式生成部 11102では、方程式領域の 9画素の画素値を、式

(1 3 8) の関係モデルに代入することにより、注目画素について、式（1 4 1) に示す 9式からなる方程式が生成される。

_r-1-C_x(-1)+0.5

P (- 1，-"= — _υ—。.₅ f( d_X

ρ(ο，-υ

r-1+0.5

P(-1,0) =/__1-05 f(x)dx

J» 0+0.5

0-0.5 ^{f (X) dX}

_Γ1-0_χ(1)+0.5

，¹) : ) - 0.5 ^{f (X) dX}

• · · (14 1)

ここで、方程式生成部 11102において、注目画素についてたてられる方程式の数は、方程式領域を構成する画素の数に等しい。従って、注目画素についてたてられる方程式を解くことによって求められる式（1 3 7) の近似関数 f (X) の次数 N (未知数 w_nの数）は、方程式領域を構成する画素の数に制限される。逆に言えば、方程式領域を構成する画素数は、式（1 37) の近似関数 f (x) の次数 Nに応じて決定する必要がある。

方程式生成部 11102は、注目画素についての方程式を生成すると、その方程式を、実世界波形推定部 11103に供給して、ステップ S11164から S11165 に進む。

ステップ S11165では、実世界波形推定部 11103は、方程式生成部 11102から供給された注目画素についての方程式を、例えば、最小自乗法などによって 0

254

解くことにより、注目画素で積分された実世界 1の光信号の波形を推定する。即ち、ステップ S11165において、実世界波形推定部 11103は、方程式生成部 11102から供給された注目画素についての方程式を解くことにより、式（1 3 7) の近似関数 f ( X ) を規定するパラメータとしての変数 w_n を求め、これにより、その変数 w_nで規定される近似関数 f ( X ) を求める（特定する）。実世界波形推定部 11103は、注目画素について求められた近似関数 f

(x) を、画像生成部 11094に供給して、ステップ S111⁶⁵から Slll⁶6に進む。

ステップ S11166では、方程式生成部 11102は、処理領域設定部 11091から供給された処理領域情報から特定される処理領域を構成するすべての画素を、注目画素としたかどうかを判定する。ステップ S11166において、処理領域を構成するすべての画素を、まだ、注目画素としていないと判定された場合、ステツプ S11162に戻り、方程式生成部 11102は、処理領域を構成する画素の中から、まだ注目画素としていないものの 1つを、注目画素として新たに選択し、以下、同様の処理が繰り返される。

ここで、以上のステップ S11161乃至 S11166の処理が、図 1 30のステツプ S 11132 (実世界の推定）で行われる。

—方、ステップ S11166において、処理領域を構成するすべての画素が、注目画素とされたと判定された場合、ステップ S11167に進み、画像生成部 11094は、処理領域設定部 11091から供給された処理領域情報から特定される処理領域を構成する画素の中から、まだ、注目画素としていないものの 1つを、注目画素として選択し、ステップ S1U68に進む。

ステップ S11168では、画像生成部 11094は、実世界波形推定部 11103から供給された近似関数のうちの、注目画素についての近似関数（以下、適宜、注目近似関数という） ί ( χ ) を、式（1 38) の関係モデルと同様の式（14 2) にしたがって、 X方向に積分（再積分）することにより、注目画素について、高画質の画素値 Qを求める。

• · · (142)

但し、式（142) において、 Gは、所定のゲインを表す。また、式（14 2) において、積分範囲の始点 x_s と終点 x_eは、定常性設定部 11092から供給される定常性情報に基づいて決定される。即ち、ここでは、積分範囲の始点 x_s と終点 x_e は、例えば、式（1 3 9) と同一の次式で表される。

x_s = x-C_x(y)-0.5

x_e = x-C_x(y) +0.5

■ · · (143) '

その後、ステップ S11168から S11169に進み、画像生成部 11094は、処理領域を構成するすべての画素を注目画素としたかどうかを判定する。ステップ S11169において、処理領域を構成するすべての画素を、まだ注目画素としていないと判定された場合、ステップ S11167に戻り、画像生成部 11094は、処理領域構成する画素のうちの、まだ注目画素としていないものの 1つを、新たに、注目画素として選択し、以下、同様の処理を繰り返す。

また、ステップ S11169において、処理領域を構成するすべての画素を注目画素としたと判定された場合、即ち、処理領域について、高画質の画素値からなる画像（近似画像）が生成された場合、ステップ S11170に進み、画像生成部 11094 は、入力画像と、近似関数に基づいて生成した近似画像とを合成し、これにより、入力画像の処理領域の部分を、近似画像に置き換えた画像を生成し、その画像を、出力画像として画像表示部 10005に供給して、処理を終了する。

ここで、以上のステップ S11167乃至 S11170の処理が、図 1 30のステツプ S 11133 (出力画像の生成）で行われる。

なお、式（143) に示した積分範囲の始点 x_s と終点 x_e によれば、処理領域の 1画素を、近似画像の 1画素として、その 1画素の画素値 Qが、式（1 4 2) の再積分を行うことによって求められる。従って、この場合、処理領域の画素数と同一の近似画像が生成されるが、近似画像としては、処理領域よりも画素数の多い画像を得ることが可能である。

即ち、画像生成部 11094において、積分範囲の始点 x_s と終点 x_e として、式（1 44) および式（1 4 5) を採用して、式（1 4 2) の再積分の計算を行うことにより、 X方向の画素数が処理領域の 2倍になった近似画像を得ることができる。

x_s = x-C_x (y) -0.5

x_e = x-C_x (y)

- - · ( 1 44)

x_s = x-C_x(y)

x_e = x-C_x (y) +0.5

• · · ( 1 4 5)

ここで、式（1 44) と式（1 4 5) で表される積分範囲は、式（1 4 3) で表される積分範囲を 2等分したものとなっている。従って、式（1 44) と式（1 4 5) で表される積分範囲を採用した場合には、処理領域の 1画素を、近似画像の 2画素として、その 2画素の画素値 Qが、式（1 4 2) の再積分を、式（1 44) と式（1 4 5) で表される積分範囲それぞれについて行うことによって求められる。

即ち、式（1 44) の積分範囲は、処理領域における注目画素の左端の位置 x_sから中心までの範囲を表しており、式（1 4 5) の積分範囲は、処理領域における注目画素の中心から右端の位置 x_eまでの範囲を表している。

従って、例えば、いま、注目画素を、その中心から左側と右側に分割し、その左側と右側の画素を、それぞれ第 1注目画素と第 2注目画素というものとすると、式（1 4 2) の再積分を、式（1 44) で表される積分範囲について行うことにより、第 1注目画素の画素値が求められ、式（1 4 5) で表される積分範囲について行うことにより、第 2注目画素の画素値が求められる。この場合、 X方向の空間解像度が向上した高画質の近似画像を得ることができる。なお、式（1 4 2 ) の再積分の積分範囲は、式（1 4 3 ) や、式（1 4 4 ) および式（1 4 5 ) に示したものに限定されるものではない。

また、式（1 4 4 ) および式（1 4 5 ) に示した積分範囲は、注目画素を 2 分割するものであるが、注目画素を、より細かく分割する積分範囲を採用することにより、より空間解像度が向上した高画質の近似画像を得ることができる。なお、注目画素を、より細かく分割する場合、近似画像を構成する画素数が増加することとなるが、このことは、空間解像度の向上や、高倍率でのズームの実現を可能にする。 ·

ここで、図 1 3 3のフローチャートに示したような、実世界の推定処理と出力画像の生成処理を、以下、適宜、両方まとめて、本処理という。

本処理によれば、時間混合や空間混合により劣化した入力画像の画質を向上させた出力画像を得ることができる。

即ち、例えば、いま、空間混合について説明すれば、実世界 1の光信号は、図 1 3 5 Aに示すように、前景（例えば、細線など）に対応する光信号（図中白色で示す部分）と、背景に対応する光信号（図中黒色で示す部分）に明確に区分することができる。

センサ 2としてのイメージセンサの画素上に、実世界 1の光信号の同一レべルの部分が一様に分布せず、前景と背景のように異なるレベルの光信号それぞれが分布する場合、その画素では、センサ 2の積分効果により、異なる光のレベルがあたかも空間的に混合されて（空間方向に積分されて）、 1つの画素値とされる。このように、センサ 2の画素において、実世界 1の光信号のうちの前景の部分と背景の部分のように、異なるレベルの部分が、空間的に積分されることにより混合される現象が空間混合である。

センサ 2から出力される入力画像は、そのセンサ 2を構成する、ある有限の大きさを有する画素において、実世界 1の光信号が積分され、さらに有限の大きさの画素で量子化されることにより得られる画素値で構成されるため、例えば、図 1 3 5 Bに示すように、空間混合と量子化により歪んだものとなる。そこで、本処理では、入力画像における処理領域に対応する実世界 1の信号の定常性に基づき、その実世界 1の信号が推定され、その推定された実世界 1 の信号を用いて、入力画像における歪みを除去（低減）した近似画像が生成される。

即ち、例えば、 1次元近似手法を採用する本処理では、定常性情報に基づき、関係モデルが生成され、処理領域における注目画素の周辺にある x_a X y_a画素でなる領域が、方程式領域とされる。さらに、関係モデルに、方程式領域の画素の画素値が代入されることにより、注目画素における実世界 1の光信号の近似モデル f ( X ) を求めるための方程式が生成される。そして、その方程式を解くことで、注目画素における実世界 1の光信号を表す近似モデル f ( χ ) が求められ、その近似モデル f (x) を再積分することにより、高画質の近似画像が求められる。

具体的には、例えば、図 1 36Aに示すように、入力画像において、注目画素の周辺にある x_a X y_a画素でなる領域（図 1 36 Aでは、 3 X 3画素の領域）力方程式領域とされる。ここで、図 1 36 Aでは、横方向に X軸を、奥行き方向に y軸をそれぞれとるとともに、縦方向に画素値（のレベル）をとつて、センサ 2の各位置（x， y) の画素の画素値を表している。図 1 36Aにおいて、画素値が直方体で表されているが、この直方体の底面は、センサ 2の画素に相当する。

本処理では、さらに、図 1 36 Bに示すような、方程式領域の各画素の画素値が取得される。ここで、図 1 36 Bでは、横方向に X軸をとるとともに、縦方向に画素値をとつて、方程式領域の各画素の画素値を表している。後述する図 1 3 6 Cおよび図 1 3 6 Dにおいても、同様である。

そして、本処理では、関係モデルに、方程式領域の各画素の画素値を代入することにより、方程式が生成され、さらに、その方程式を解くことにより、注目画素における実世界 1の光信号を表す近似モデル f ( X ) が求められるが、これは、次のようなことを行っているのと等価である。

即ち、図 1 36 Bに示した方程式領域の各位置（X , y) の画素の画素値を、定常性情報にしたがい、図 1 36 Cに示すように、 X軸方向にシフトする。ここで、定常性情報が、図 1 3 5 Aおよぴ図 1 35 Bで説明したような前景としての細線が延びる方向を表すものとすると、実世界 1の光信号の波形は、上述の X断面波形が、定常性情報が表す方向に続いていった波形として表される。従って、実世界 1の光信号を表す近似モデル f (x) を精度良く推定するには、図 9 1およぴ図 92で説明したように、方程式領域の各位置（X , y) の画素の画素値も、定常性情報が表す方向にしたがって、 X軸方向にシフトし、これにより、いわば実世界 1の光信号の波形の位相と、その実世界 1の光信号を積分して得られる、方程式領域の各画素の画素値の位相とを一致させる必要がある。図 1 3 6 Cは、実世界 1の光信号の波形と、位相を一致させた、方程式領域の各画素の画素値を示している。

なお、方程式領域の各画素の画素値の位相を、実世界 1の光信号の波形の位相と一致させることは、式（1 3 9) で表される、式（1 38) の積分範囲の始点 x_s と終点 x_e を、定常性情報が表す方向としての角度 Θを用いて式（1 40) によって表されるシフト量 C_x (y ) に応じてシフトさせることに相当する。

方程式領域の各画素では、実世界 1の光信号が積分されて、その画素値が得られる。従って、上述のように、位相を、実世界 1の光信号の波形の位相と一致させた方程式領域の各画素の画素値は、図 1 3 6 Dに示すように、実世界 1 · の光信号の波形を近似している。

そこで、位相を、実世界 1の光信号の波形の位相と一致させた方程式領域の各画素の画素値を近似する、例えば式（1 3 7) の多項式が、実世界 1の光信号を表す近似モデル f ( X ) として求められる。そして、近似画像の生成時においては、図 1 3 6 Eに示すように、近似モデル f ( x ) を、 X断面波形として、その X断面波形が定常性情報によって表される方向に続いていった波形が、実世界 1の光信号の推定波形として、その推定波形を再積分することにより、近似画像の画素の画素値が求められる。ここで、図 1 3 6 Eでは、横方向に X軸を、奥行き方向に y軸をそれぞれとるとともに、縦方向に実世界 1の光信号のレベルをとつて、センサ 2の各位置（X , y ) における実世界 1の光信号のレベルを表している。図 1 3 6 Eにおいては、図 1 3 6 Aと異なり、レベル（画素値）が連続量で表されているが、これは、実世界 1の光信号が連続量であるからである。

なお、上述の場合には、近似モデルの時空間方向における X方向の位置に対応する各画素の画素値が近似モデルを X方向に積分することにより取得されるとして、処理領域の各画素の画素値と実世界 1の光信号との関係をモデル化した関係モデルを採用し、 1次元近似手法によって、実世界 1の光信号を推定するようにしたが、その他、上述した 2次元近似手法や 3次元近似手法によって、実世界 1の光信号を推定することが可能である。

即ち、実世界 1の光信号の推定にあたっては、近似モデルの時空間方向における Xと y方向の位置に対応する各画素の画素値が近似モデルを Xと y方向それぞれに積分することにより取得されるとして、処理領域の各画素の画素値と実世界 1の光信号との関係をモデル化した関係モデルを採用することや、近似モデルの時空間方向における χ· (または y ) と t方向の位置に対応する各画素の画素値が近似モデルを Xと t方向それぞれに積分することにより取得されるとして、処理領域の各画素の画素値と実世界 1の光信号との関係をモデル化した関係モデルを採用することが可能である。

さらに、実世界 1の光信号の推定にあたっては、近似モデルの時空間方向における X , y , t方向の位置に対応する各画素の画素値が近似モデルを x， y , t方向それぞれに積分することにより取得されるとして、処理領域の各画素の画素値と実世界 1の光信号との関係をモデル化した関係モデルを採用することも可能である。

ここで、近似モデルの積分方向として、空間方向（X , y方向）を考慮した場合には、空間混合により劣化した画質を向上させることができ、時間方向 ( t方向）を考慮した場合には、時間混合により劣化した画質を向上させることができる。さらに、近似モデルの積分方向として、時空間方向（空間方向と時間方向の両方）を考慮した場合には、空間混合と時間混合の両方により劣化した画質を向上させることができる。

次に、図 1 2 2の動き検出部 11062における動きの検出方法について説明する。

入力画像におけるあるオブジェクトが動いている場合の、そのオブジェクトの動きとしての、例えば動きベクトルを検出する方法としては、いわゆるプロックマッチング法が知られている。

しかしながら、ブロックマッチング法では、注目しているフレームと、その前または後のフレームとのマッチングを行うため、注目している 1フレームだけから動きを検出することは困難である。

そこで、動き検出部 11062では、 1フレームの入力画像だけから、動きの検出を行うことができるようになつている。

即ち、図 1 3 7は、図 1 2 2の動き検出部 11062の構成例を示している。図 1 3 7で構成が示される動き検出部 11062においては、入力画像の中の処理領域におけるォブジェクトの動き方向が検出され、動き方向が水平方向になるように入力画像が捕正される。そして、動き方向に隣接する画素の画素値' の差分値である、入力画像のォブジェクトの動き方向に一次微分した特徴量が検出される。

さらに、注目している画素の特徴量と動き方向に所定の距離の対応画素の特徴量との相関が検出され、検出された相関が最大である対応画素と注目画素との距離に応じてオブジェクトの動き量が検出される。すなわち、図 1 3 7で構成が示される動き検出部 11062は、動き方向検出部 11201、動き方向修正部 11202、特徴量検出部 11203、および動き量検出部 11204を含む。

さらに、動き方向検出部 11201は、アクティビティ演算部 11211およびァクテイビティ評価部 11212を含む。動き方向修正部 11202は、ァフィン変換部 11213を含む。

特徴量検出部 11203は、差分演算部 11214、差分評価部 11215、中間画像作成部 11216、中間画像作成部 11217、フレームメモリ 11218、符号反転部 11219、およびフレームメモリ 1 1220を含む。

さらに、動き量検出部 11204は、相関検出部 11221および相関評価部 11222を含む。

図 1 3 7で構成が示される動き検出部 11062において、図 1 2 2の画像メモリ 11061に記憶された入力画像は、動き方向検出部 11201および動き方向修正部 11202に供給される。さらに、図 1 1 9の処理領域設定部 11041が出力する処理領域情報も、動き方向検出部 1 1201および動き方向修正部 11202 に供給される。

動き方向検出部 11201は、入力画像と処理領域情報を取得して、取得した入力画像から処理領域における動き方向を検出する。

動いている対象物を撮像したとき、対象物の画像には動きボケが生じる。これは、対象物の画像を撮像するセンサ 2どしてのカメラまたはビデオカメラのイメージセンサの働きによるものである。

すなわち、 CCD (Charge Coupled Device) または CMOS (Complementary Metal-Oxi de Semiconductor) センサなどのイメージセンサは、露光時間 (シャツタ時間）において、画素毎に入射された光を連続的に電荷に変換し、さらに電荷を 1つの画像値に変換する。撮像の対象物が静止しているとき、露光している期間において、対象物の同じ部位の画像（光）が 1つの画素値に変換される。このように撮像された画像には、動きボケは含まれていない。これに対して、対象物が動いているとき、露光している期間において、 1つの画素に入射される対象物の部位の画像が変化し、対象物の異なる部位の画像が 1つの画素値に変換されてしまう。逆に言えば、対象物の 1つの部位の画像が複数の画素値に射影される。これが動きボケである。

動きボケは、対象物の動き方向に生じる。

動きボケが生じている部分（動きボケを含む領域）の動き方向に並んでいる画素の画素値のそれぞれに注目すると、動き方向に並んでいる画素の画素値には、対象物のほぼ同じ範囲の部位の画像が射影されている。従って、動きボケが生じている部分の、動き方向に並んでいる画素の画素値の変化は、より少なくなつていると言える。

動き方向検出部 11201は、このような入力画像の処理領域における画素の画素値の変化、すなわちアクティビティを基に、動き方向を検出する。

より具体的には、動き方向検出部 11201 のアクティビティ演算部 11211 は、予め定めた方向毎に、各方向に並んでいる画素の画素値の変化（ァクティビティ）を演算する。例えば、アクティビティ演算部 11211は、予め定めた方向毎に、各方向に対応して位置する画素の画素値の差分をアクティビティとして演算する。アクティビティ演算部 11211は、演算した画素値の変化を示す情報をァクティビティ評価部 11212に供給する。

ァクティビティ評価部 11212は、アクティビティ演算部 11211から供給された、予め定めた方向毎の画素の画素値の変化の中の、最小の画素値の変化を選択し、選択した画素値の変化に対応する方向を動き方向とする。

動き方向検出部 11201は、このように検出した動き方向を示す動き方向情 ' 報を動き方向修正部 11202に供給する。

動き方向修正部 11202には、処理領域情報も供給される。動き方向修正部 11202は、動き方向検出部 11201から供給された動き方向情報を基に、動き方向が画像の水平方向となるように入力画像における処理領域の中の画像データを変換する。例えば、動き方向修正部 11202のァフィン変換部 11213は、動き方向検出部 11201から供給された動き方向情報を基に、動き方向情報で示される動き方向が画像の水平方向となるように入力画像における処理領域の中の画像データをァフィン変換する。

動き方向修正部 11202は、動き方向が画像の水平方向となるように変換された入力画像における処理領域の中の画像データを特徴量検出部 11203に供給する。

特徴量検出部 11203は、動き方向修正部 11202から供給された画像の特徴量を検出する。

すなわち、特徴量検出部 11203の差分演算部 11214は、入力画像の処理領域の画素から 1つの画素を選択することにより、注目している注目画素とする。そして、特徴量検出部 1 1203 の差分演算部 11214 は、注目画素の画素値から、注目画素の右隣の画素の画素値を引き算することにより差分値を求める。

差分演算部 11214は、入力画像の処理領域の画素を順に注目画素として、差分値を求める。すなわち、差分演算部 11214は、入力画像の処理領域の全ての画素に対して、差分値を求める。差分演算部 11214は、差分値に対応する注目画素の位置を示す情報（差分値の画面上の位置を示す位置情報）と共に、このように演算された差分値を差分評価部 11215に供給する。

差分評価部 11215は、差分値が 0以上であるか否かを判定し、 ◦以上である差分値を、差分値の画面上に位置を示す位置情報と共に、中間画像作成部 11216に供給し、 0未満である差分値を、差分値の画面上の位置を示す位置情報と共に、中間画像作成部 11217に供給する。

中間画像作成部 11216は、差分値の画面上に位置を示す位置情報と共に、差分評価部 11215から供給された 0以上である差分値を基に、差分値からなる中間画像を作成する。すなわち、中間画像作成部 11216は、位置情報で示される画面上の位置の画素に、差分評価部 11215から差分値が供給された 0 以上である差分値を設定し、差分評価部 11215から差分値が供給されなかつた位置の画素に 0を設定して、中間画像を作成する。中間画像作成部 11216 は、このように作成した中間画像（以下、非反転中間画像と称する。）をフレームメモリ 1121⁸に供給する。

中間画像作成部 11217は、差分値の画面上に位置を示す位置情報と共に、差分評価部 11215から供給された 0未満（負の値）である差分値を基に、差分値からなる中間画像を作成する。すなわち、中間画像作成部 11217は、位置情報で示される画面上の位置の画素に、差分評価部 11215から差分値が供給された 0未満である差分値を設定し、差分評価部 11215から差分値が供給されなかった位置の画素に 0を設定して、中間画像を作成する。中間画像作成部 11216は、このように作成した中間画像を符号反転部 11219に供給する。符号反転部 11219は、中間画像作成部 11217から供給された中間画像の画素に設定されている、 0未満である差分値の符号を反転する。中間画像の画素に設定されている 0である値の符号は、反転されない。すなわち、符号反転部 11219は、中間画像作成部 11217から供給された中間画像の画素に設定されている、 0未満である差分値を選択し、選択した 0未満である差分値を、差分値と同じ絶対値の 0を超える値に変換する。例えば、一 1 5である差分値は、符号が反転され、 1 5に変換される。符号反転部 11219は、このように符号が反転された中間画像（以下、反転中間画像と称する。）をフレームメモリ 11220に供給する。

フレームメモリ 11218は、 0以上である差分値と 0とからなる非反転中間画像を、特徴量として動き量検出部 11204に供給する。フレームメモリ 11220 は、符号が反転され 0を超える値とされた差分値と 0とからなる反転中間画像を、 '特徴量として動き量検出部 11204に供給する。

動き量検出部 11204 は、特徴量検出部 11203 から供給された特徴量を基に、動きを検出する。すなわち、動き量検出部 11204は、入力画像の処理領域における対象物の画像（オブジェクト）の画素の中の少なくとも注目画素の特徴と、注目画素に対して動き方向に沿って配される対応画素の特徴との相関を検出し、検出された相関に応じて、入力画像の処理領域における対象物の画像 (オブジェクト）の動き量を検出する。

動き量検出部 11204の相関検出部 11221は、特徴量検出部 11203のフレームメモリ 11218から供給された、特徴量としての、非反転中間画像と、特徴量検出部 11203のフレームメモリ 11220から供給された、特徴量としての、反転中間画像との相関を検出する。相関検出部 11221は、検出された相関を相関評価部 11222に供給する。

より詳細に説明すれば、例えば、動き量検出部 11204の相関検出部 11221 は、特徴量検出部 11203のフレームメモリ 11218から供給された、 0以上である差分値と 0とからなる非反転中間画像に対して、特徴量検出部 11203のフレームメモリ 11220から供給された、符号が反転され 0を超える値とされた差分値と 0とからなる反転中間画像を、画素を単位として、画面の水平方向に移動させる（ずらす（シフトさせる））。すなわち、相関検出部 11221 は、反転中間画像を構成する画素の画面上の位置を水平方向に移動させる。

反転中間画像（の画素）を、画面上の水平方向に移動させることによって、非反転中間画像の画素と、反転中間画像の画素との画面上の位置の関係が変化する。例えば、移動前に、非反転中間画像の注目画素に対応する画面上の位置にある、反転中間画像の対応画素は、移動後において、移動量だけ、非反転中間画像の注目画素に対応する位置から離れることになる。より具体的には、反転中間画像を右に 2 0画素移動したとき、反転中間画像の対応画素は、非反転中間画像の注目画素に対応する位置から右に 2 0画素離れる。逆に言えば、移動後に、非反転中間画像の注目画素に対応する画面上の位置にある、反転中間画像の対応画素は、移動前において、注目画素に対応する位置から移動量だけ離れている。

相関検出部 11221は、非反転中間画像と、移動された反転中間画像との、対応する位置の画素の画素値の差分を演算し、差分の絶対値の和を相関値とする。例えば、相関検出部 11221 は、非反転中間画像に対して、反転中間画像を、画面の左方向に 7 0画素乃至画面の右方向に 7 0画素の範囲で、 1画素ずつ画面の水平方向に移動させ（ずらして）、移動させた位置毎（移動量毎）に、非反転中間画像および移動された反転中間画像について、画面上の同じ位置となる画素の画素値の差分を演算し、差分の絶対値の和を相関値とする。

例えば、非反転中間画像に対して反転中間画像を、画面の左方向に移動するとき、移動量を負（マイナス）で表す。非反転中間画像に対して反転中間画像を、画面の右方向に移動するとき、移動量を正（プラス）で表す。相関検出部 11221は、一 7 0画素乃至 + 7 0画素の移動量毎に、非反転中間画像おょぴ移動された反転中間画像について、画面上の同じ位置となる画素の画素値の差分を演算し、差分の絶対値の和を相関値とする。

相関検出部 11221は、移動量に対応する相関値を相関評価部 11222に供給する。すなわち、相関検出部 11221は、移動量と相関値との組を相関評価部 11222に供給する。

相関評価部 11222は、相関に応じて、入力画像の処理領域における対象物の画像の動き量を検出する。具体的には、相関評価部 11222は、相関検出部 11221から供給された相関のうち、最大の（最も強い）相関に対応する移動量を動き量とする。

例えば、相関評価部 11222は、相関検出部 11221から供給された相関値である、差分の絶対値の和の内、最小の値を選択し、選択された最小の値に対応する移動量を動き量に設定する。

相関評価部 11222は、検出された動き量を出力する。

図 1 3 8乃至図 1 4 0は、図 1 3 7の動き検出部 11062による動き検出の' 原理を説明する図である。

いま、撮像の対象物である、白い前景ォブジュタトが、他の撮像の対象物である、黒い背景オブジェクトの前（手前）に配置され、左側から右側に移動レており、 CCDまたは CMOSセンサなどのイメージセンサを有するカメラが、所定の露光時間（シャツタ時間）で、背景オブジェクトと共に、前景オブジェクトを撮像するものとする。

この場合にカメラが出力する画像の 1フレームに注目すると、背景オブジェクトは、黒いので、例えば、カメラは、背景オブジェクトの画像に対して 0である画素値を出力する。前景オブジェクトは、白いので、例えば、カメラは、前景オブジェクトの画像に対して 2 5 5である画素値を出力する。なお、ここでは、カメラが、 0乃至 2 ⁸— 1の範囲の画素値を出力するものであるとする。図 1 3 8上側の図は、カメラのシャツタが開いた瞬間（露光を開始した瞬間）における位置に、前景オブジェクトが静止しているとき、カメラが出力する画像の画素値を示す図である。

図 1 3 8下側の図は、カメラのシャツタが閉じる瞬間（露光を終了する瞬間）における位置に、前景オブジェクトが静止しているとき、カメラが出力する画像の画素値を示す図である。

図 1 3 8で示されるように、前景オブジェクトの画像の動き量は、カメラのシャツタが開いた瞬間から、カメラのシャツタが閉じる瞬間までに、前景ォプジェクトの画像が移動した距離である。

図1 3 9は、背景オブジェクトの前を移動する前景ォブジェクトをカメラで撮像したときに、カメラから出力される画像の画素値を示す図である。カメラのイメージセンサは、露光時間（シャツタ時間）において、画素毎に対象物の画像（光）を連続的に電荷に変換し、さらに電荷を 1つの画像値に変換するので、前景オブジェクト 11251の画像は、複数の画素の画素値に射影される。図 1 3 8で示される画像の画素値の最大値に比較して、図 1 3 9で示される画像の画素値の最大値は小さくなる。

図 1 3 9で示される画素値のスロープの幅は、背景オブジェクトの画像の幅に対応する。図 1 3 9で示される画像の個々の画素について、右隣の画素との差分値を計算し、差分値を画素に設定すると、図 1 4 0に示される、差分値からなる画像が得られる。

すなわち、図 1 3 9で示される画像の画素から 1つの画素が選択され、注目している注目画素とされる。そして、注目画素の画素値から、注目画素の右隣の画素の画素値が引き算されることにより差分値が求められる。差分値は、注目画素に対応する位置の画素に設定される。図 1 3 9で示される画像の画素が順に注目画素とされ、図 1 4 0で示される差分値からなる画像が求められる。図 1 3 8上側の図で示される、カメラのシャツタが開いた瞬間における、前景オブジェクトの位置に対して 1画素左側に、符号が負（マイナス）である差分値が現れ、図 1 3 8下側の図で示される、カメラのシャツタが閉じる瞬間における、前景オブジェクトの位置に対して 1画素左側に、符号が正（プラス）である差分値が現れる。

従って、図 1 4 0で示される、符号が負（マイナス）である差分値の符号を反転した値と、符号が正（プラス）である差分値とのマッチングをとると、例えば、マッチングしたときの、符号が正（プラス）である差分値を基準とした、符号が負（マイナス）である差分値の符号を反転した値の移動量は、動き量と同じである。

例えば、符号が正（プラス）である差分値を基準として、符号が負（マイナス）である差分値の符号を反転した値が水平方向に移動され、その移動量毎に、負である差分値を反転した値と正である差分値との相関が検出され、最大の

(最も強い）相関が検出される。最大の相関が検出されたときの移動量は、動き量と同じである。

より具体的には、例えば、符号が正（プラス）である差分値を基準として、符号が負（マイナス）である差分値の符号を反転した値が水平方向に移動され、その移動量毎に、負である差分値を反転した値と正である差分値との相関として、画素毎に、反転した値から正の差分値が引き算される。そして、引き算した結果の内の最小の値、すなわち最大の相関が検出される。検出された最大の相関に対応する移動量は、動き量と同じである。

以上のように、画像の 1フレームから、露光時間（シャツタ時間）において、対象物の画像が移動した量である動き量を検出することができる。

すなわち、特徴量検出部 11203の差分演算部 11²14は、入力画像の処理領域における画素から 1つの画素を選択して、注目画素とし、注目画素の画素値から、注目画素の右隣の画素の画素値を引き算することにより、例えば、図 1 4 0で示される差分値を演算する。差分評価部 11215 は、差分の符号を基に、正の差分値と負の差分値とに分類する。

中間画像作成部 11216は、分類された正の差分値から、その正の差分値からなる非反転中間画像を作成する。中間画像作成部 1 17は、分類された負の差分値から、その負の差分値からなる中間画像を作成する。符号反転部 11219は、負の差分値からなる中間画像の負の画素値の符号を反転することにより、反転中間画像を作成する。

動き量検出部 11204は、相関が最も強い非反転中間画像と反転中間画像との移動量を求めて、求められた移動量を動き量とする。

特徴量検出部 11203が、動いている対象物の画像（オブジェクト）を検出し、動いている対象物の画像の特徴量を検出したとき、動き量検出部 11204 は、特徴量を基に相関を検出し、検出された相関に応じて、入力画像内の対象物の画像（オブジェクト）の動き量を検出する。

また、特徴量検出部 11203が、動いている対象物の画像に属する画素から注目している画素である注目画素を選択し、注目画素の特徴量を検出したとき、動き量検出部 11204は、注目画素の特徴量と、注目画素に対して動き方向に沿って配される対応画素の特徴量との相関を検出し、検出された相関に応じて、入力画像の処理領域における対象物の画像の動き量を検出する。

図 1 4 1は、図 1 3 7の動き検出部 11062による動き量の検出の処理を説明するフローチヤ一トである。ステップ S 11201において、動き方向検出部 11201および動き方向修正部 11202は、入力画像と処理領域情報を取得し、ステップ S11202に進む。

ステップ S 11202において、動き方向検出部 11201 1のァクティビティ演算部 11211は、ステップ S 11201の処理により取得された入力画像における処理領域の画素について、アクティビティを演算し、ステップ S1 1203に進む。例えば、アクティビティ演算部 1121 1は、入力画像における処理領域の画素のうち、注目している画素である注目画素を選択する。アクティビティ演算部 1 1211は、注目画素の周辺の所定の数の周辺画素を抽出する。例えば、ァクテイビティ演算部 11211は、注目画素を中心とした、縦 X横が 5 X 5の画素からなる周辺画素を抽出する。

そして、アクティビティ演算部 1121 1は、抽出した周辺画素から、予め定めた画像上の方向に対応するァクティビティを検出する。

以下の説明において、横方向の画素の 1列の並びを行と称し、縦方向の画素の 1列の並びを列と称する。

アクティビティ演算部 1121 1は、例えば、 5 X 5の周辺画素について、画面上の上下方向（垂直）に隣接する画素の画素値の差分を算出して、算出された差分の絶対値の総和を差分の数で割り、その結果をァクティビティとすることにより、画面の水平方向を基準として、 9 0度の角度（画面の垂直方向）に対する、アクティビティを検出する。

例えば、 2 0組の、画面上の上下方向に隣接する 2つの画素について、画素値の差分が算出され、算出された差分の絶対値の和が 2 0で割り算され、その結果（商）力 9 0度の角度に対するアクティビティに設定される。

アクティビティ演算部 1121 1は、例えば、 5 X 5の周辺画素について、最も下の行の画素であって、最も左側の画素乃至左から 4番目の画素のそれぞれの画素値と、それぞれの画素に対して、 4画素上側であって、 1画素右側の画素の画素値との差分を算出して、算出された差分の絶対値の総和を差分の数で 2004/008690

272 .

割り、その結果をアクティビティとすることにより、画面の水平方向を基準として、 7 6度の角度（tan—¹ (4 ））に対する、アクティビティを検出する。そして、例えば、 4組の、右上方向であって、上下方向に 4画素、およぴ左右方向に 1画素離れた位置にある 2つの画素について、画素値の差分が算出され、算出された差分の絶対値の和が 4で割り算され、その結果（商）力 7 6 度の角度に対するアクティビティに設定される。

アクティビティ演算部 11211は、同様の処理で、画面の水平方向を基準として、 9 0度乃至 1 8 0度の範囲の角度に対するァクティビティを検出する。 9 0度乃至 1 8 0度の範囲の角度に対するアクティビティを検出する場合、左上方向に位置する画素の画素値の差分を基に、アクティビティが算出される。このように検出されたァクティビティは、注目画素に対するァクティビティとされる。

なお、検出されたアクティビティを、周辺画素に対するアクティビティとするよう.にしてもよい。

また、周辺画素は、縦 X横が 5 X 5の画素からなると説明したが、 5 X 5の画素に限らず、所望の範囲の画素とすることができる。周辺画素の数が多い場合、角度の分解能が向上する。，

ァクティビティ演算部 11211は、複数の方向に対応するァクティビティを示す情報をァクティビティ評価部 11212に供給する。

図 1 4 1に戻り、ステップ S11203において、アクティビティ評価部 11212 は、ステップ S11202の処理において算出された、所定の方向に対応するァクテイビティを基に、最小のアクティビティを選択し、選択された方向を動き方' 向とすることにより、動き方向を求めて、ステップ S11204に進む。

ステップ S 11204において、動き方向修正部 11202は、ステップ S11203の処理において求められた動き方向を基に、動き方向が画像の水平方向となるように入力画像の処理領域における画像データを変換し、ステップ S 11205に進む。例えば、ステップ S 11204において、動き方向修正部 11202のァフィン変換部 11213は、ステップ S 11203の処理において求められた動き方向を基に、動き方向が画像の水平方向となるように入力画像の処理領域における画像データをァフィン変換する。より具体的には、例えば、ァフィン変換部 11213 は、画面の水平方向を基準として、動き方向が 1 8度の角度であるとき、入力画像の処理領域における画像データを時計方向に 1 8度回動するようにァフィン変換する。

ステップ S11205において、特徴量検出部 11203の差分演算部 11214は、ステツプ S11204の処理において、動き方向が画面の水平方向となるように変換された入力画像の処理領域における各画素について、水平方向に隣接する画素との画素値の差分値を演算し、ステップ S 11206に進む。

例えば、ステップ S11205において、差分演算部 11214は、入力画像の処理領域における画素から 1つの画素を選択することにより、注目している注目画素とする。そして、差^演算部 1 14は、注目画素の画素値から、注目画素の右隣の画素の画素値を引き算することにより差分値を求める。

ステップ S 11206において、特徴量検出部 11203の差分評価部 11215は、差分値の符号を基に、差分値を振り分け、ステップ S 11207に進む。すなわち、差分評価部 11215 は、 0以上である差分値を中間画像作成部 11216 に供給し、 0未満である差分値を中間画像作成部 11217 に供給する。この場合において、差分評価部 11215は、差分値の画面上に位置を示す位置情報と共に、差分値を中間画像作成部 11216または中間画像作成部 11217に供給する。

ステップ S 11207において、特徴量検出部 11203の中間画像作成部 11216は、ステップ S11206の処理で振り分けられた、 0以上である差分値（正の差分値）を基に、正の差分値からなる中間画像を生成し、ステップ S 11208 に進む。すなわち、ステップ S11207において、中間画像作成部 11216は、位置情報で示される画面上の位置の画素に正の差分値を設定し、差分値が供給されなかつた位置の画素に 0を設定することにより、中間画像を作成する。このように、ステップ S11207の処理において、非反転中間画像が生成される。ステップ S11208において、特徴量検出部 11203の中間画像作成部

11217は、ステップ S 11206の処理で振り分けられた、 0未満である差分値 (負の差分値）を基に、負の差分値からなる中間画像を生成し、ステップ S 11209に進む。すなわち、ステップ S 11208において、中間画像作成部 11217 は、位置情報で示される画面上の位置の画素に負の差分値を設定し、差分値が供給されなかった位置の画素に 0を設定することにより、中間画像を作成する。ステップ S11209において、特徴量検出部 11203の符号反転部 11219は、ステツプ S 11208の処理で生成された負の差分値からなる中間画像の負の差分値の符号を反転する。すなわち、ステップ S11209において、負の中間画像の画素に設定されている、負の差分値が、同じ絶対値の正の値に変換される。

このように、ステップ S 11209 において、反転中間画像が生成され、その後、ステップ S 11210に進む。

ステップ S 11210において、動き量検出部 11204は、相関の検出の処理を実行する。ステップ S 11210の処理の詳細は、図 1 4 2のフローチャートを参照して、後述する。

ステップ S11211において、相関評価部 11222は、ステップ S 11210の処理で検出された相関のうち、最も強い相関を選択し、ステップ S 11212に進む。例えば、ステップ S 11211において、画素値の差分の絶対値の和である相関値のうち、最小の相関値が選択される。

ステップ S 11212において、相関評価部 11222は、ステップ S11211の処理で選択された、最も強い相関に対応する移動量を動き量に設定して、ステップ' S11213に進む。例えば、ステップ S11212において、画素値の差分の絶対値 ' の和である相関値のうち、選択された最小の相関値に対応して、後述するステップ S11223の処理により記憶されている、反転中間画像の移動量が動き量に設定される。ステップ S 11213において、動き量検出部 11204は、ステップ S11210の処理において検出した動き量を出力して、処理は終了する。

図 1 4 2は、ステップ S 11210の処理に対応する、相関の検出の処理を説明するフローチヤ一トである。

ステップ S 11221において、動き量検出部 11204の相関検出部 11221は、ステツプ S 11209の処理で生成された、反転中間画像の画素の位置を、画素を単位として水平方向に移動し、ステップ S 11222に進む。

ステップ S 11222において、相関検出部 11221は、非反転中間画像と、ステップ S11221の処理において、画素の位置が移動された反転中間画像との相関を検出し、ステップ S 11223に進む。例えば、ステップ S11222において、非反転中間画像の画素の画素値と、画面上で対応する位置の、反転中間画像の画素の画素値との差分が算出され、算出された差分の絶対値の和が相関値として検出される。相関検出部 11221は、ステップ S11221の処理における反転中間画像の画素の移動量と共に、検出された相関を示す相関情報を相関評価部 11222に供給する。

ステップ S11223において、相関評価部 11222は、ステップ S11221の処理における反転中間画像の画素の移動量と共に、ステップ S 11222の処理において検出された相関を記憶し、ステップ S 11224に進む。例えば、相関評価部 11222は、ステップ S 11221の処理における反転中間画像の画素の移動量と共に、画素値の差分の絶対値の和である相関値を記憶する。

ステップ S 11224において、相関検出部 11221は、全ての移動量に対する相関を検出したか否かを判定し、まだ相関を検出していない移動量があると判定された場合、ステップ S11221に戻り、次の移動量に対する相関を検出する処理を繰り返す。

例えば、ステップ S11224において、相関検出部 11221は、画面の左方向に 7 0画素乃至画面の右方向に 7 0画素の範囲で、反転中間画像の画素を移動したときの相関を全て検出したか杏かを判定する。ステップ S 11224において、全ての移動量に対する相関を検出したと判定された場合、処理は終了する（リターンする）。

このように、相関検出部 11221は、相関を検出することができる。

以上のように、図 1 3 7に構成を示す動き検出部 11062は、画像の 1つのフレームから、動き量を検出することができる。

なお、ここでは、処理領域を対象として動きを検出するようにしたか、全画面を処理対象とすることで、例えば、手振れにより発生した全画面の動きを検出することができる。

また、入力画像に同じ模様の繰り返しパターンが多く含まれていても、処理の対象となる入力画像の処理領域の動き量および動き方向が一定であれば、正確に動き量を検出することができる。

なお、上述の場合には、画像の 1つのフレームから動き量を検出すると説明したが、 1つのフィールドから動き量を検出するようにしてもよいことは勿論である。

また、選択した注目画素の周辺についてのみ、動き量を検出するようにしてあよい。

図 1 4 3は、図 1 1 1に示した信号処理装置 4の応用例の他の一実施の形態の構成例を示している。

なお、図 1 4 3は、例えば、一定方向に一定の速さで移動するという定常性を有するデータ 3の一例である動きボケが発生した画像データ（以下、'適宜、動きボケ画像データと称する）から、実世界 1の光信号を推定する信号処理装置 4の一実施の形態の構成例を示している。即ち、この信号処理装置 4は、例えば、撮影時に被写体（オブジェクト）が動いたことにより、被写体がボケて撮影されてしまった画像（以下、適宜、動きボケ画像と称する）から、そのポケがない画像（以下、適宜、動きボケのない画像と称する）を推定する。従つて、図 1 4 3の実施の形態では、入力画像として、移動しているオブジェクトを撮影することにより得られた動きボケが生じている動きボケ画像が、信号処理装置 4に入力される。なお、ここでは、入力画像として、水平方向（左から右方向）に一定の速さ（動き量）で移動しているオブジェクトを撮像して得られる画像を採用する。

図 1 4 3において、処理領域設定部 12001、定常性設定部 12002、実世界推定部 12003、画像生成部 12004、画像表示部 12005、ユーザ I / F 12006は、図 1 1 1の処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I ZF 10006にそれぞれ対応しており、基本的には、処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I / F 10006それぞれと同様の処理を行う。さらに、図 1 4 3において、実世界推定部 12003 は、モデル生成部 12011、方程式生成部 12012、実世界波形推定部 12013で構成されている。モデル生成部 12011、方程式生成部 12012、実世界波形推定部 12013は、図 1 1 1のモデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013にそれぞれ対応しており、基本的には、モデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013それぞれと同様の処理を行う。伹し、図 1 4 3においては、ユーザがユーザ I / F 12006を操作することにより、ユーザ I ZF 12006が出力する補助情報が、処理領域設定部 12001のみに供給されるようになっている。

即ち、図 1 4 3では、ユーザは、ユーザ I / F 12006 を操作することにより、画像表示部 12005に表示された画像に対して、処理領域とする領域を指示することができるようになつており、ユーザ I ZF 12006は、ユーザが処理領域を指示する操作を行うと、その操作によって指定された領域としての処理領域を表す処理領域指示情報を、処理領域設定部 12001に供給する。

なお、ユーザ I Z F 12006を操作することにより処理領域を指示する方法としては、例えば、処理領域を囲む矩形によって指示する方法、処理領域をトリム（trim)することによって指示する方法、処理領域の中の任意の 1点以上をポインティングすることによって指示する方法などがあるが、ここでは、例えば、ユーザは、処理領域の中の任意の 1点を、ユーザ I / F 12006を操作することによりボインティングすることによって、処理領域を指示するものとする。この場合、ユーザ I / F 12006は、ユーザがポインティングした点を表す情報としての、例えば、その点の、画像上の座標を、処理領域指示情報として、処理領域設定部 12001に供給する。

次に、図 1 4 4のフローチャートを参照して、図 1 4 3の信号処理装置 4の処理について説明する。

まず最初に、ステップ S 12001 において、信号処理装置 4は、前処理を行い、ステップ S12002に進む。即ち、信号処理装置 4は、センサ 2 (図 1 ) からデータ 3として供給される、例えば 1フレームまたは 1フィールドの入力画像を、処理領域設定部 12001、定常性設定部 12002、実世界推定部 12003、画像生成部 12004、および画像表示部 12005に供給する。さらに、信号処理部 4は、画像表示部 12005に、入力画像を表示させる。

ステップ S12002では、ユーザ I 12006は、ユーザがユーザ

12006を操作することにより、何らかのユーザ入力があつたかどうかを判定する。ステップ S12002において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S12003乃至 S12005 をスキップして、ステップ S12006に進む。

また、ステップ S 12002において、ユーザ入力があつたと判定された場合、即ち、ユーザが画像表示部 12005に表示された入力画像を見て、ユーザ I Z F 12006を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップ S 12003に進み、ユーザ I Z F 12006は、そのユーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。

ステップ S 12003 において、ユーザ入力が終了指示であると判定された場合、即ち、例えば、画像表示部 12005に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じず、入力画像に対して信号処理を施さないで良いとして、信号処理装置 4の処理を終了するように、ユーザ I / F 12006を操作した場合、信号処理装置 4は処理を終了する。

また、ステップ S12003において、ユーザ入力が終了指示でないと判定された場合、ステップ S12004に進み、ユーザ I Z F 12006は、ユーザ入力が処理領域指示情報であるかどうかを判定する。ステップ S12004において、ユーザ入力が処理領域指示情報でないと判定された場合、ステップ S 12005をスキップして、ステップ S 12006に進む。

一方、ステップ S12004において、処理領域指示情報の入力があつたと判定された場合、即ち、画像表示部 12005 に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じ、その不満のある箇所をポインティングするように、ユーザ I / F 12006を操作した場合、ステップ S 12005に進み、ユーザ Iノ F 12006は、ユーザがユーザ I Z F 12006を操作することによってポィンティングした点を表す処理領域指示情報を、処理領域設定部 12001に供給し、ステップ S 12006に進む。

ステップ S 12006では、処理領域設定部 12001は、ユーザ I / F 12006から供給された処理領域指示情報に基づいて、処理領域を設定し、その処理領域情報を、定常性設定部 12002、実世界推定部 12003、および画像生成部 12004に供給し、ステップ S 12007に進む。但し、ユーザ I Z F 12006から処理領域設定部 12001に処理領域指示情報が供給されなかった場合（ステップ S12002またはステップ S12004の処理の直後にステップ S12006の処理が行われる場合）には、処理領域設定部 12001は、所定の処理（例えば、入力画像において動きボケが生じている領域を検出する処理）を行うことにより、自動的に処理領域を設定する。

ステップ S 12007では、定常性設定部 12002は、処理領域設定部 12001から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部 12002は、その処理領域の画像データにおいて欠落した実世界 1の光信号の定常性を表す情報として、処理領域に表示されたォブジェクトの動き量を設定し、その定常性を表す定常性情報を、実世界推定部 12003に供給して、ステップ S 12008に進む。なお、この動き量は、ユーザがユーザ I / F 12006を操作して入力しても良い。また、ここでは、定常性設定部 12002は、入力画像において、オブジェクトが水平方向に移動していることを前提として、その動きの大きさだけを表す動き量を定常性情報として設定するようにしたが、その他、才ブジェクトの動きの大きさと方向を表す動きべクトルを定常性情報として設定することも可能である。

ステップ S 12008では、実世界推定部 12003は、処理領域設定部 12001から供給された処理領域情報に応じて、入力画像における処理領域内の画像データ (動きボケ画像のデータ）から、対応する実世界 1の光信号の動き量に基づいて、その実世界 1の光信号（動きボケのない画像）を推定する。

即ち、実世界推定部 12003では、モデル生成部 12011が、処理領域設定部 12001から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部 12002から供給される定常性情報から、処理領域の画像データに対応する実世界 1の光信号の動き量、つまり、ここでは、処理領域に表示されたオブジェクトの動き量を認識する。さらに、モデル生成部 12011は、入力画像における処理領域の各水平ラインを構成する画素と、その処理領域の画像データに対応する実世界 1の光信号の動き量に応じて、処理領域の各水平ラインの画素の画素値と実世界 1の光信号との関係をモデル化したモデル（以下、適宜、関係モデルという）を処理領域の水平ラインごとに生成し、方程式生成部 12012に供給する。

方程式生成部 12012は、処理領域設定部 12001から供給される処理領域情 · 報から、入力画像における処理領域を認識し、その処理領域に応じて、入力画像の各画素の画素値を、モデル生成部 12011から供給される処理領域の水平ラインごとの関係モデルに代入し、これにより、実世界 1の光信号を近似する近似モデルとしての近似関数を求める方程式を生成して、実世界波形推定部 1201³に供給する。さらに、方程式生成部 12012は、処理領域情報に基づいて、近似関数を拘束する拘束条件式を生成し、実世界波形推定部 12013に供給する。

実世界波形推定部 12013は、方程式生成部 12012から供給される方程式を演算することにより、実世界 1の光信号の波形を推定する。即ち、実世界波形推定部 12013は、方程式生成部 12012から供給される方程式を解くことにより、実世界 1の光信号をモデル化した近似モデルとしての近似関数を求め、実世界 1の光信号の波形の推定結果として、画像生成部 12004に供給する。

なお、以下、このような実世界推定部 12003が実行するステップ S12008の処理を、「実世界の推定処理」と称する。「実世界の推定処理」の詳細については、図 1 4 9のフローチャートを参照して後述する。

ステップ S 12008の処理後は、ステップ S12009に進み、画像生成部 12004 は、実世界推定部 12003 (の実世界波形推定部 12013) から供給された、実世界 1の光信号の波形を近似する近似関数に基づいて、実世界 1の光信号により近似した信号を生成する。即ち、画像生成部 12004は、処理領域設定部 12001 力ら供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部 12003から供給される近似関数に基づき、実世界 1の光信号により近似した近似画像（ここでは、例えば、動きボケのない画像）を生成する。

さらに、画像生成部 12004は、入力画像の処理領域の部分を、近似画像 (動きボケのない画像）に置き換えた画像を、出力画像として生成し、画像表示部 12005に供給して、ステップ S12009から S12010に進む。

ステップ S 12010では、画像表示部 12005は、画像生成部 12004から供給された出力画像を、ステップ S 12001で表示された入力画像に代えて、またはぞの入力画像とともに表示し、ステップ S12011に進む。

ステップ S 12011では、ユーザ I Z F 12006は、ステップ S12002における場合と同様に、ユーザがユーザ I Z F 12006を操作することにより、何らかのユーザ入力があつたかどうかを判定し、ユーザ入力がなかったと判定した場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S12011に戻り、何らかのユーザ入力があるまで待つ。

また、ステップ S12011において、ユーザ入力があつたと判定された場合、即ち、ユーザが、画像表示部 12005 に表示された入力画像や出力画像を見て、ユーザ I / F 12006を操作し、これにより、何らかの指示または情報を表すュ一ザ入力があった場合、ステップ S12012に進み、ユーザ I Z F 12006は、そのユーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。

ステップ S 12012 において、ユーザ入力が終了指示であると判定された場合、即ち、例えば、画像表示部 12005に表示された出力画像を見たユーザが、その出力画像の画質に不満を感じず、出力画像に対して信号処理を施さないで良いとして、信号処理装置 4の処理を終了するように、ユーザ I ZF 12006を操作した場合、信号処理装置 4は処理を終了する。

また、ステップ S 12012において、ユーザ入力が終了指示でないと判定された場合、ステップ S 12013に進み、ユーザ I / F 12006は、ユーザ入力が処理領域指示情報であるかどうかを判定する。ステップ S12013において、ユーザ入力が処理領域指示情報でないと判定された場合、ステップ S 12011に戻り、以下、同様の処理が繰り返される。

また、ステップ S12013において、ユーザ入力が処理領域指示情報であると判定された場合、即ち、画像表示部 12005に表示された出力画像を見たユーザが、その出力画像の画質に不満を感じ、その出力画像に対して、新たにその不満のある箇所をポインティングするように、ユーザ I Z F 12006を操作した場合、ステップ S 12005に戻り、上述したように、ユーザ I / F 12006は、ュ一ザがユーザ I F 12006を操作することによってポインティングした点を表す処理領域指示情報を、処理領域設定部 12001に供給する。そして、ステツプ S 12005からステップ S 12006に進み、以下、同様の処理が繰り返される。即ち、これにより、ステップ S 12005乃至 S 12013の処理が繰り返され、出力画像に対するユーザの不満が解消され、その結果、ユーザが所望する画質の出力画像が得られる。

以上のように、信号処理装置 4では、入力画像に対する処理結果としての出力画像をユーザに提示し、その出力画像から新たな処理領域を指示してもらい、その処理領域に基づいて、再度処理を行うようにしたので、ユーザの好みにあつた、高画質の出力画像を、容易に得ることができる。即ち、信号処理装置 4 は、入力画像に対する処理結果として出力画像をユーザに提示する。一方、ュ一ザは、その出力画像の画質を認識し、所望の画質の画像または所望の画質に近い画像であるかどうかを判断して、信号処理装置 4にフィードバックする。そして、信号処理装置 4は、そのユーザからのフィードバックを踏まえ、再度、入力画像を処理し、以下、同様の処理が繰り返される。従って、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。

ここで、実世界推定部 12003の具体的な説明に入る前に、処理領域内の各画素の画素値と実世界 1の光信号との関係をモデル化した関係モデルについて説明する。

図 1 4 5は、センサ 2が C C Dとされる場合の積分効果を説明する図である。図 1 4 5で示されるように、センサ 2の平面上には、複数の検出素子 2— 1 (画素）が配置されている。

図 1 4 5の例では、検出素子 2 - 1の所定の 1辺に平行な方向が、空間方向の 1方向である X方向とされており、 X方向に垂直な方向が、空間方向の他方向である Y方向とされている。そして、 X— Y平面に垂直な方向が、時間方向である t方向とされている。また、図 145の例では、センサ 2の各検出素子 2— 1のそれぞれの空間的な形状は、 1辺の長さが 1の正方形とされている。そして、センサ 2のシャツタ時間（露光時間）が 1とされている。

さらに、図 145の例では、センサ 2の所定の 1つの検出素子 2— 1の中心力、空間方向（X方向と Y方向）の原点（X方向の位置 x==0、および Y方向の位置 y = 0) とされており、また、露光時間の中間時刻が、時間方向（t方向）の原点（1;方向の位置1 =0) とされている。

この場合、空間方向の原点（x = 0, y = 0) にその中心が存在する検出素子 2— 1は、 X方向に- 0.5乃至 0.5の範囲、 Y方向に- 0.5乃至 0.5の範囲、および t方向に- 0.5乃至 0.5の範囲で実世界 1の光信号を表す光信号関数 F(x，y,t)を積分し、その積分値を画素値 Pとして出力することになる。

即ち、空間方向の原点にその中心が存在する検出素子 2— 1から出力される画素値 Pは、次の式（146) で表される。

X ++00..55 广++00.,55 ++0O..5 、

- -00.5 _R J J --0o.5 _R ^ J--0o.5 _R F(x, _yit)dxdyclt · · ■ (146)

その他の検出素子 2— 1も同様に、対象とする検出素子 2— 1の中心を空間方向の原点とすることで、式（146) で示される画素値 Pを出力することになる。

次に、ンサ 2の積分効果により発生する動きボケを、図 146、図 147 A乃至図 147 C、および図 148 A乃至図 148 Cを参照して説明する。この例において、センサ 2から出力される画像データには、空間混合がないものとする。即ち、実世界 1の光信号のうちの 1画素（センサ 2の検出素子）に对応する部分には、同一レベルの光信号が空間的に一様に分布するものとする。図 146は、センサ 1で撮影される実世界 1の光信号としての被写体（ォブジタト）が水平方向（X方向）に一定の速さで動いているという定常性を有する場合の、その動きの動き量を説明する図である。図 1 4 6において、 X方向と t方向は、センサ 2の X方向と t方向（図 1 4 5 ) を表している。また、露光開始時刻を、 t方向の原点（t方向の位置 t = 0 ) とし、露光開始時点での被写体の X方向のある位置を X方向の原点（X方向の位置 X= 0 ) とする。

被写体が水平方向（X方向）に一定速度で移動している場合、時刻 tと、被写体の X方向の位置との関係は、図 1 4 6において、点線で示す直線で表される。なお、この点線の直線の傾きが、被写体が移動する速さを表す。

ここで、いまの場合、図 1 4 6に実線で示すように、被写体は、ある時刻 Δ tは静止し、その後無限小の時間で 1画素分だけ移動することを繰り返すことにより、等価的に、という一定の速さで移動しているものとする。

以上のように、実世界 1の光信号のうちの 1画素に対応する部分が一定レベルであり、かつ、その動きが 1 画素単位で行われると仮定することにより、センサ 2の積分効果によって生じる空間混合と時間混合のうち、空間混合は生じなくなるので、時間混合だけを考えることができる。ここでは、説明を簡単にするため、センサ 2の積分効果によって生じる時間混合のみに起因する動きボケを対象として説明を行う。

ここで、動き量は、例えば、被写体が露光時間内に横切るセンサ 2の画素数で表すこととする。図 1 4 6において、例えば、露光時間が 5 Δ tであるとすると、露光時間内に被写体が動く画素数は 5であり、従って、動き量も 5となる。

図 1 4 7 A乃至図 1 4 7 Cは、露光時間において被写体（オブジェクト）が X方向に動き量 5で等速で移動する場合の光信号関数 F (x，y, t) の yと tを固定にした X断面波形 F (_X)、即ち、処理領域のある水平ラインに射影される光信号関数 F (x, y, t)の X断面波形 F (x)を近似した近似関数 f (X)を説明する図である。

図 1 4 7 A乃至図 1 4 7 Cの例では、処理領域の X方向の画素数（水平ラインの画素数）は 8である。図 147 A乃至図 147 Cにおいて、 X方向は、センサ 2の X方向（図 14 5) を表している。また、処理領域の左端の画素の中心が、 X方向の原点（X 方向の位置 x = 0) とされている。

図 147 Aは、露光開始時点での近似関数 f(x)とセンサ 2の X方向の位置の関係を示している。図 147 Aの近似関数 f (X)は、以下の式（147) で表される。

Q₀ (-0.5≤x<0.5

(0.5≤x<1.5

Q₂ (1.5≤x<2.5

Q₃ (2.5≤x<3.5

f(x)

Q₄ (3.5≤x<4.5

Q₅ (4.5≤xく 5.5

Q₆ (5.5≤x<6.5

(6.5≤x<7.5

… (147)

なお、ここでは、上述したように、近似関数 f(x)によって近似される実世界 1の光信号の 1画素に対応する部分には、同一レベルの光信号が空間的に一様に分布するものとしているので、式（147) において、 Q。乃至 Q₇ はそれぞれ一定値である。

ここで、被写体は動き量 5で等速で動いている。従って、例えば、露光時間を 1とすると、被写体が、前回 1画素動いてから次に 1画素動くまでの時間は、露光時間/動き量、即ち 1/5となる。

従って、露光開始時刻を 0とすると、時刻 1/5には、近似関数 f(x)とセン' サ 2の X方向の位置の関係は、図 14 7Bに示すようになる。即ち、近似関数 f(x)は、図 147 Aの状態から X方向に 1 画素分ずれた関数となる。従って、このときの近似関数 f(x)は、以下の式（148) で表される。 (0·5≤χく 1.5

(1.5≤x<2.5

Q₂ (2.5≤x<3.5

(3.5≤x<4.5

f(x) =

Q₄ (4.5≤x<5.5

(5.5≤x<6.5

Q₆ (6.5≤x<7.5

(7.5≤x<8.5

• · · (148)

同様に被写体が X方向に 1画素単位で移動していき、例えば、時刻 4/5には、近似関数 f(x)とセンサ 2の X方向の位置の関係は、図 14 7 Cに示すようになる。即ち、被写体は、時刻 4/5には、 X方向に 4画素移動しているので、近似関数 f(x)は、図 147Aの状態から、 X方向に 4画素分ずれた関数となる。従って、このときの近似関数 f(x)は、以下の式（149) で表される。

Q₀ (3.5≤x<4.5

(4.5≤x<5.5

Q₂ (5.5≤x<6.5

Q₃ (6.5≤x<7.5

f(x) =

Q₄ (7.5≤x<8.5

Q₅ (8.5≤x<9.5

Q₆ (9.5≤x<10.5

(10.5≤x<11.5 · · · ( 149)

ここで、図 145で上述したように、センサ 2から得られる画素値は、露光開始時刻における実世界 1の光信号から、露光終了時刻における実世界 1の光信号までが積分された値である _b 換言すると、画素値は、露光開始時刻における光のレベルから、露光終了時刻における光のレベルまでが時間的に混合されたレベルに対応する値である。

従って、実世界 1の光信号のうちの 1画素（センサ 2の検出素子）に対応する部分が、同一レベルの光信号が時間的に一様に分布する部分ではなく、例えば、被写体が動いた場合のように、時間によって異なるレベルの光信号のそれぞれが分布する部分である場合、その部分は、センサ 2により検出されると、センサ 2の積分効果により、異なる光のレベルが時間的に混合されて（時間方向に積分（加算）されて） 1つの画素値となってしまう。このように、被写体が動いたり、被写体の撮影時に手ぶれが生じた場合において、 1画素に対応する被写体の画像（実世界 1の光信号）が時間によって異なるレベルである画素からなる領域を、ここでは、時間混合領域と称する。そして、被写体が動いたことにより生じる時間混合領域を、動きボケ領域と称する。従って、動きボケ領域の画素値は、露光開始時刻における被写体の画像（実世界 1の光信号）から、露光終了時刻における被写体の画像（実世界 1の光信号）が時間的に積分 (加算）された値となる。図 1 4 3の実世界推定部 12003は、動きボケ領域の画素値から、実世界 1の光信号を推定する。即ち、実世界推定部 12003 は、動きボケ領域の画素値が、実世界 1の光信号を近似する近似関数 f (x)を、露光開始時刻から露光終了時刻までの間、動き量に対応して移動しながら積分することにより得られた値であるとして、動きボケ領域の画素値と近似関数 f (x)の関係をモデル化した関係モデルを生成し、その関係モデルに基づいて近似関数 f (x)を求める。

ここで、上述したように動き量が 5であるとすると、被写体は、露光終了時刻である時刻 1に、 X方向に 1画素移動し、露光開始時刻の位置から X方向に 5画素移動した位置に到達する。しかしながら、その瞬間に、センサ 2での露光が終了する。従って、露光時間である 1の間にセンサ 2における露光の対象となるのは、露光開始時刻を 0とすると、時刻 0, 1/5, 2/5, 3/5, 4/5における近似関数 f (X)となる。図 148 A乃至図 148 Cは、動きボケ領域のセンサ 2から出力される画像データと、実世界 1の光信号を表す光信号関数 F(x， y， t)を X方向に射影した X断面波形 F(x)を近似する近似関数 f (X)との関係（関係モデル）を説明する図である。

図 148 A乃至図 148 Cにおいて、 X方向と t方向は、センサ 2の X方向と t方向（図 145) を表している。領域 12031は、センサ 2の X方向に並ぶ複数の画素に対応する領域を表している。ここでは、領域 12031は、 8個の小領域（縦長の長方形の領域）に区分されており、この小領域のそれぞれは 1つの画素に相当する。なお、ここでは、領域 12031の小領域の数、即ち、画素数は、処理領域の各水平ラインの X方向の画素数に一致する。小領域の X 方向の一辺の長さは、センサ 2の画素の X方向の長さを表し、 t方向の 1辺の長さは、センサ 2の露光時間を表す。従って、領域 12031は、処理領域のある水平ラインを構成する画素の領域ととらえることができる。

図 148 Aは、センサ 2の領域 12031に対して、近似関数 f (x)で表される実世界 1の光信号が静止している場合に、その光信号が入力されたときのセンサ 2から出力される画像データ（画素値） Q。乃至 Q₇の例を示している。いま、 x。乃至 x₇それぞれを、領域 12031の 8個の画素の X方向の中心の座標値とする。伹し、 x。く · · · < x₇の関係があるとし、また、いまの場合、画素の X方向の幅を 1としているので、式 _Xl = x。+ 1， x₂ = _{X l} + 1， · · ·， x₇ = x₆+ 1の関係がある。この場合、近似関数 f(x)は、式 (1 50) で表すことができる。 Q₀ (x₀-0.5≤x≤x₀+0.5)

(x厂

Q₂ (x₂-0.5≤x≤x₂+0.5)

Q₃ (x₃-0.5≤x≤x₃+0.5)

f(x) =

Q₄ (x₄ - 0, 5≤x≤x₄+0.5)

Q₅ (x₅-0.5≤x≤x₅+0.5)

Q₆ (x₆-0.5≤x≤x₆+0.5)

Q₇ (x₇-0.5≤x≤x₇+0.5)

• · · (1 50)

実世界 1の光信号が静止している場合、領域 12031の 8個の画素において得られる画素値は、式（146) から、式（1 50) の近似関数 f(x)を、露光時間に亘つて積分した値となる。いまの場合、露光時間は 1であるから、領域 12031の 8個の画素で得られる画素値は、図 148 Aに示すように、式

(1 50) の近似関数 f (X)の値である Q。乃至 Q₇ と同一の値となる。従って、 Q。乃至 Q₇ は、実世界 1の光信号が静止している場合の領域 12031の 8個の画素の画素値であり、この画素値 Q。乃至 Q₇が得られる画素には動きボケが生じていないので、以下、適宜、動きボケのない画素値と称する。

図 148 Bは、近似関数 f(x)で表される実世界 1の光信号が、ある動き量 Vで水平方向に移動しているという定常性を有している場合に、センサ 2の領域 12031に対して、近似関数 f(x)で表される信号が入力されたときのセンサ 2から出力される画像データ（画素値） P。乃至 P₇ の例を示している。ここで、画素値 P。乃至 P₇は、領域 12031内の X方向の中心の座標が、それぞれ x_{0 >} X i , ■ · ·， x₇である 8個の画素の画素値である。

露光時間における動き量 V力例えば 5であるとき、画素値 P。乃至 P₇ は、動き量 Vと動きボケのない画素値 Q。乃至 Q₇ を用いて、図 148 Cで示すように表すことができる。即ち、実世界 1の光信号が、図 146および図 147 A乃至図 147 Cで説明したように、水平方向に一定速度で移動している場合、 X方向の中心の座標が x。乃至 x₇である 8個の画素には、 1/v (図 1 48 Cの場合、 1/5) の時間毎に、その画素の位置における、近似関数 f(x)で表される光信号に対応する電荷が蓄積される。

いま、 X方向の中心の座標値が _Xl である画素を、画素 # 1と表すこととすると、例えば、 X方向の中心の座標値が x₄の画素 # 4には、露光開始時刻である 0から、時刻 1/vまでの時間 1/vの間に、その画素 # 4の位置における近似関数 f(x)で表される光信号に対応する電荷が蓄積される。即ち、画素 # 4において、このとき蓄積される電荷による画素値は、露光時間が 1のときに蓄積される電荷による画素値 Q₄ の 1/vである、 Q₄/vとなる。つまり、このとき画素 # 4に蓄積される電荷による画素値は、式（1 50) の近似関数 f (X)における画素 # 4の位置における値 Q₄が時間 1/vだけ時間積分された値である Q₄/vとなる。

次に、時刻 1/vから時刻 2/vまでの 1/vの間に、画素 # 4には、その画素 #4の位置における近似関数 f(x)で表される光信号に対応する電荷が蓄積される。このとき、実世界 1の光信号が動き量 Vで水平方向に移動しているという定常性により、近似関数 f(x)は、露光開始時刻における状態から X方向に 1画素分ずれた状態となっているので、画素 # 4に蓄積される電荷による画素値は、 X方向に 1画素分ずれた近似関数 f(x)における画素 # 4の位置における値 Q₃が時間 1/vだけ時間積分された値である Q₃/vとなる。

露光時間の間に、近似関数 f(x)は X方向に等速で移動するので、以下、上述した場合と同様に、画素 # 4には、時刻 2/v力ゝら時亥 lj 3/vまでの時間 1/v ' の間に、画素値 Q₂/vに対応する電荷が蓄積され、時刻 3/vから時刻 4/vまでの時間 1/vの間に、画素値 Qi/vに対応する電荷が蓄積される。さらに、画素 #4には、時亥 IJ4/V力ら時刻 5/v (図 148 Cの場合、時刻 1、即ち、露光終了時刻〉までの時間 1/vの間に、画素値 Q。/vに対応する電荷が蓄積される。従って、最終的には、画素 # 4の画素値 P₄は、これらの画素値の和、即ち、 Qi/ +Qa/ +Qz/ +Qi/v+Qo/vとなる。

画素 # 4以外の画素も同様に考えられるので、領域 12031の画素の画素値 P₄乃至 P₇は、動き量 Vと動きボケのない画素値 Q。乃至 Q₇ を用いて、以下の式（1 5 1) で表される。

p₅ = (0^02+03+04+05)^

P₆二 (Q₂+Q₃+Q₄+Q₅+Q₆) v

P₇ = (Q₃+Q₄+Q₅+Q₆+Q₇)zv

• · · (1 5 1)

以上のように、センサ 2が出力する画素値 Pi ( i =0, 1, · ■ ·， 7) は、複数の動きボケのない画素値 Qi の和（積分）となるため、動きボケを有するものとなる。

ここで、近似関数 f(x)は、露光開始時刻における処理領域の画素 # 0乃至 # 7に射影される実世界の光信号を近似する。そして、いまの場合、処理領域における被写体が X方向（左から右方向）に移動している。このため、処理領域の左側にある画素、即ち、図 148 Cにおいては、画素 # 0, # 1， # 2， # 3の画素値は、近似関数 f(x)を用いて表すことができない。これにより、式（1 5 1) においては、動きボケのない画素値、つまり求めるべき変数 Q。乃至 Q₇ の数が、方程式の数より多くなる。

即ち、式（1 5 1) においては、求めるべき変数が Q。乃至 Q₇ の 8変数であるのに対して、方程式が 8より少ない 4式となっている。従って、動きボケのない画素値 Q。乃至 Q₇ を求めるためには、動きボケのない画素値 Q。乃至 Q₇ を用いた独立の方程式がさらに必要となる。そこで、ここでは、例えば、動きボケのない画素値 Q。乃至 Q₇を拘束する方程式を代入することとする。この方程式については、後述する。図 1 4 3の実世界推定部 12003は、処理領域の X方向の画素数と動き量 V に応じて、式（1 5 1 ) と同様の式を関係モデルとして生成し、その関係モデルに基づいて、動きボケのない画素値、即ち、実世界 1の光信号を近似する近似モデルとしての近似関数 f (x)を求める。

次に、図 1 4 9のフローチャートを参照して、実世界推定部 12003 (図 1 4 3 ) の実世界の推定処理（図 1 4 4のステップ S12008の処理）について詳細に説明する。

ステップ S 12031において、モデル生成部 1²011は、関係モデルを生成する _c 即ち、モデル生成部 12011が、処理領域設定部 12001から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部 12002から供給される定常性情報から、処理領域の画像データに対応する動き量を認識する。さらに、モデル生成部 12011は、入力画像における処理領域について、その処理領域の水平ラインを構成する画素と、その処理領域の画像データに対応する動き量に応じて、処理領域内のセンサ 2で検出された各画素の画素値 P i と、実世界 1の光信号を近似する近似モデルで表される動きボケのない画素の画素値 Q i との関係をモデル化した関係モデルを処理領域の水平ラインごとに生成し、方程式生成部 12012に供給する。そして、モデル生成部 12011は、ステップ S12031からステップ S 12032に進む。

具体的には、モデル生 J5¾部 12011は、処理領域の水平ラインの画素数と動き量に応じて、図 1 4 8 A乃至図 1 4 8 Cで説明した、処理領域の各水平ラインの画素の画素値 P i と、動きボケのない画素値 Q i との関係を表す式を関係モデルとして生成する。例えば、処理領域の水平ラインの画素数が 8であり、動き量 Vが 5である場合、関係モデルとして、上述した式（1 5 1 ) の方程' 式が生成される。

ステップ S 12032では、方程式生成部 12012は、方程式生成処理を行う。即ち、方程式生成部 12012は、処理領域設定部 12001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、入力画像の各画素の画素値 P i を、モデル生成部 12011から供給される、その処理領域の各水平ラインに対して得られた関係モデルに代入し、これにより、実世界 1の光信号を近似する近似関数で表される、動きボケのない画素値 Qi を求める式（1 5 1 ) の方程式（モデル方程式）を生成する。

さらに、方程式生成部 12012は、処理領域設定部 12001から供給される処理領域情報から認識される処理領域の水平ラインにおける実世界 1の光信号を近似する近似モデルを拘束する方程式である拘束条件式を生成する。即ち、モデル方程式では、式（1 5 1 ) に示したように、求めたい変数である動きボケのない画素値 Q i の方が、方程式の数より多いため、動きボケのない画素値 Q i を求めるには、方程式の総数を動きボケのない画素値 Q i の数以上とする方程式を導入する必要がある。ここで、方程式生成部 12012は、隣接する画素の、近似関数で表される動きボケのない画素値 Qi の差が小さい（空間相関がある）という拘束条件式を生成する。そして、方程式生成部 12012は、生成したモデル方程式と拘束条件式を合わせて、正規方程式を生成し、実世界波形推定部 12013に供給して、ステップ S12032からステップ S 12033に進む。

なお、以下、このような方程式生成部 12012が実行するステップ S12032の処理を、「方程式生成処理」と称する。「方程式生成処理」の詳細については、図 1 5 1のフローチヤ一トを参照して後述する。

ステップ S 12033において、実世界波形推定部 12013は、方程式生成部 12012から供給される、処理領域の各水平ラインについての正規方程式を解くことにより、実世界 1の光信号の波形を推定、即ち、近似関数で表される動きポケのない画素値 Q i を求め、その画素値を、画像生成部 12004に供給する。次に、図 1 5 0は、図 1 4 3の方程式生成部 12012の詳細構成例を示して ' いる。

図 1 5 0では、方程式生成部 12012は、モデル方程式生成部 12051、拘束条件式生成部 12052、および正規方程式生成部 12053から構成されている。図 1 5 0に構成を示す方程式生成部 12012 には、モデル生成部 12011 から、処理領域の各水平ラインの画素の画素値（動きボケ画像の画素値）と、動きボケのない画素値との関係をモデル化した関係モデルが入力され、モデル方程式生成部 12051に供給される。また、方程式生成部 12012には、入力画像が、センサ 2 (図 1 ) から入力され、その入力画像は、モデル方程式生成部 12051 に供給される。さらに、方程式生成部 12012には、処理領域情報が、処理領域設定部 12001から入力され、その処理領域情報が、モデル方程式生成部 12051と拘束条件式生成部 12052に供給される。

モデル方程式生成部 12051は、処理領域情報から入力画像の処理領域を認識し、モデル生成部 12011から供給された関係モデルの動きボケ画像の各画素の画素値 P i として、入力画像の処理領域の画素値を代入して、式（1 5 1 ) のモデル方程式を生成する。そして、モデル方程式生成部 12051は、正規方程式生成部 12053に、そのモデル方程式を供給する。なお、モデル生成部 12011で得られる関係モデルは、例えば、式（1 5 1 ) の動き量 Vに具体的な値が代入されたものであり、モデル方程式生成部 12051で得られるモデル方程式は、さらに式（1 5 1 ) の画素値 P ₄乃至 P ₇ に具体的な値が代入されたものである。

拘束条件式生成部 12052は、処理領域情報に基づいて、処理領域の各水平ラインの画素に対して、所定の拘束条件式を生成し、その拘束条件式を正規方程式生成部 12053に供給する。

正規方程式生成部 12053は、モデル方程式生成部 12051から供給されたモデル方程式と、拘束条件式生成部 12052から供給された拘束条件式とを合わ ' せて正規方程式を生成し、実世界波形推定部 120.13に供給する。

次に、図 1 5 1のフローチャートを参照して、方程式生成部 12012 (図 1 5 0 ) の方程式生成処理（図 1 4 9のステップ S 12032の処理）について詳細に説明する。ステップ S 12051において、モデル方程式生成部 12051は、モデル生成部 12011から処理領域の水平ラインごとの関係モデルを取得し、ステップ

S12052に進む。ステップ S12052において、モデル方程式生成部 12051は、センサ 2から入力画像を取得するとともに、処理領域設定部 12001から処理領域情報を取得する。そして、モデル方程式生成部 12051は、その入力画像と処理領域情報から、処理領域内の各画素の画素値 P i を認識し、その画素値 P i を、モデル生成部 12011から取得した式（1 5 1 ) の関係モデルに代入することにより、処理領域の水平ラインごとにモデル方程式を生成する。さらに、モデル方程式生成部 12051は、そのモデル方程式を正規方程式生成部 12053 に供給する。例えば、モデル方程式生成部 12051が、上述した式（1 5 1 ) で表される関係モデルを、モデル生成部 12011から取得した場合、式（1 5 1 ) の画素値 P ₄乃至 P ₇ に入力画像の画素値を代入することで、モデル方程式を生成する。

ステップ S 12052の処理後は、ステップ S 12053に進み、拘束条件式生成部 12052は、処理領域情報に基づいて拘束条件式を生成し、その拘束条件式を正規方程式生部 12053に供給して、ステップ S 12054に進む。即ち、拘束条件式生成部 12052は、近似関数で表される動きボケのない画素のうちの隣接するものどうしの画素値 Q i と Q _{i + 1} との差は小さいという拘束条件を表す拘束条件式を、処理領域の水平ラインの画素数に応じて生成する。例えば、処理領域の水平ラインの画素数が 8個あり、その 8画素の動きボケのない画素値を Q 。乃至 Q₇で表す場合、拘束条件式は、例えば、以下の式（1 5 2 ) で表される。 Q₁ = Q₂

Q₂ = Q₃

Q₃ = Q₄

Q₅ = Qg

• · · ( 1 5 2 )

即ち、式（1 5 2 ) は、処理領域の水平ラインにおいて、隣接する画素どうしの画素値 Qi と Q _{i + 1} とが等しいことを表している。

ステップ S 12054において、正規方程式生成部 12053は、モデル方程式生成部 12051から供給された式（1 5 1 ) のモデル方程式と、拘束条件式生成部 12052から供給された式（1 5 2 ) の拘束条件式を合わせて、正規方程式を生成し、その正規方程式を実世界波形推定部 12013に供給する。

この後、実世界波形推定部 12013は、正規方程式生成部 12053から供給された正規方程式を、例えば、最小二乗誤差最小規範で解くことにより、処理領域の各水平ラインの画素の動きボケのない画素値 Qi を求める。

なお、上述した実世界波形推定処理は、処理領域内の水平方向に並ぶ画素 (水平ライン）毎に行なわれる。即ち、実世界波形推定部 12013は、水平ライン毎に、処理領域の各画素の動きボケのない画素値 Qi を求める。そして、実世界波形推定部 12013は、処理領域内の全ての水平ラインにおいて、各画素の動きボケのない画素値 Q i を求めた後、処理領域の各画素の動きボケのない画素値 Q i を、画像生成部 12004に供給する。画像生成部 12004は、入力画像における処理領域の各画素の画素値 P i を、動きボケのない画素値 Qi に置き換えた画像を、出力画像として生成し、画像表示部 12005に供給して表示させる。ここで、図 1 5 2 A乃至図 1 5 2 Cは、センサ 2から出力される処理領域のある水平ラインの画素の画素値 Pi と、その水平ラインの動きボケのない画素の画素値 Qi との関係を示している。なお、図中、図 148 A乃至図 148 C における場合と対応する部分については同一の符号を付してあり、以下では、その説明は適宜省略する。

図 1 52 A乃至図 1 52 Cは、基本的には、上述の図 148 A乃至図 148 Cとそれぞれ同様の図であり、従って、動きボケのない画素値 Qi と、動きポケが生じている画素値 Pi との関係を表している。

さらに、図 1 52Aにおいて、動きボケのない画素の上に付した矢印 12061-1乃至 12061-7は、その矢印の両端が示す動きボケのない画素どうしの画素値と Q_{i + 1} との差が小さいという拘束条件を表している。図 1 52 Aに示した拘束条件は、処理領域である領域 1²031の水平ラインにおいて、動きボケのない画素のうちの隣接する全ての画素どうしの画素値 Qi と Q_{i + 1} の差が小さいことを表している。図 1 50の拘束条件式生成部 12052では、この図 1 52Aに示した拘束条件を採用し、その拘束条件を表す式（1 5 2) の拘束条件式を生成する。

図 1 53は、図 1 1 1に示した信号処理装置 4の応用例の他の一実施の形態の構成例を示している。

なお、図 1 5 3は、例えば、一定方向に一定の速さで移動するという定常性を有するデータ 3の一例である動きボケ画像データから、実世界 1の光信号を推定する信号処理装置 4の一実施の形態の構成例を示している。即ち、この信号処理装置 4は、例えば、撮影時に被写体（オブジェクト）が動いたことにより、被写体がボケて撮影されてしまった画像（動きボケ画像）から、そのボケがない画像（動きボケのない画像）を推定する。従って、図 1 5 3の実施の形態では、入力画像として、移動しているォブジェクトを撮影することにより得られた動きボケが生じている動きボケ画像が、信号処理装置 4に入力される。なお、ここでは、入力画像として、水平方向（左から右方向）に一定の速さ (動き量）で移動しているォブジェクトを撮像して得られる画像を採用する。図 1 5 3において、処理領域設定部 12071、定常性設定部 12072、実世界推定部 12073、画像生成部 12074、画像表示部 12075、ユーザ I F 12076は、図 1 1 1の処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I Z F 10006にそれぞれ対応しており、基本的には、処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I / F 10006それぞれと同様の処理を行う。さらに、図' 1 5 3において、実世界推定部 12073 は、モデル生成部 12081、方程式生成部 12082、実世界波形推定部 12083で構成されている。モデル生成部 1²081、方程式生成部 120⁸2、実世界波形推定部 12083は、図 1 1 1のモデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013にそれぞれ対応しており、基本的には、モデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013それぞれと同様の処理を行う。但し、図 1 5 3においては、ユーザがユーザ I ZF 12076を操作することにより、ユーザ I / F 12076が出力する補助情報が、処理領域設定部 1²071 と実世界推定部 12073に供給されるようになつている。

即ち、図 1 5 3では、ユーザは、ユーザ I / F 12076 を操作することにより、画像表示部 12075に表示された画像に対して、動きボケのない画像が平坦であると推定される領域を平坦領域として指示することができるようになっており、ユーザ I Z F 12076は、ユーザが平坦領域を指示する操作を行うと、その操作によって指定された領域としての平坦領域を表す平坦領域指示情報を、処理領域設定部 12071と実世界推定部 12073に供給する。

なお、ユーザ I Z F 12076を操作することにより平坦領域を指示する方法としては、例えば、平坦領域を囲む矩形によって指示する方法、平坦領域をトリム.（trim)することによって指示する方法、平坦領域の中の任意の 1点以上をポインティングすることによって指示する方法などがあるが、ここでは、例えば、ユーザは、平坦領域の中の任意の 1点を、ユーザ I Z F 12076を操作することによりポインティングすることによって、平坦領域を指示するものとする。この場合、ユーザ I ZF 12076は、ユーザがポインティングした点を表す情報としての、例えば、その点の、画像上の座標を、平坦領域指示情報として、処理領域設定部 12071と実世界推定部 12073に供給する。

次に、図 1 5 4のフローチヤ一トを参照して、図 1 5 3の信号処理装置 4の処理について説明する。

まず最初に、ステップ S 12071 において、信号処理装置⁴は、前処理を行い、ステップ S12072に進む。即ち、信号処理装置 4は、センサ 2 (図 1 ) からデータ 3として供給される、例えば 1フレームまたは 1フィールドの入力画像を、処理領域設定部 12071、定常性設定部 12072、実世界推定部 12073、画像生成部 12074、および画像表示部 12075に供給する。さらに、信号処理部 4は、画像表示部 12075に、入力画像を表示させる。

ステップ S 12072では、ユーザ I Z F 12076は、ユーザがユーザ I / F 12076を操作することにより、何らかのユーザ入力があつたかどうかを判定する。ステップ S12072において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S12073乃至 S12075 をスキップして、ステップ S 12076に進む。

また、ステップ S12072において、ユーザ入力があつたと判定された場合、即ち、ユーザが画像表示部 12075に表示された入力画像を見て、ユーザ I Z F 12076を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップ S 12073に進み、ユーザ I ZF 12076は、そのユーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。

ステップ S 12073 において、ユーザ入力が終了指示であると判定された場合、即ち、例えば、画像表示部 12075に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じず、入力画像に対して信号処理を施さないで良いとして、信号処理装置 4の処理を終了するように、ユーザ I Z F 12076を操作した場合、信号処理装置 4は処理を終了する。

また、ステップ S 12073において、ユーザ入力が終了指示でないと判定された場合、ステップ S12074に進み、ユーザ I / F 12076は、ユーザ入力が平坦領域指示情報であるかどうかを判定する。ステップ S12074において、ユーザ入力が平坦領域指示情報でないと判定された場合、ステップ S 12075をスキップして、ステップ S12076に進む。

一方、ステップ S 12074において、平坦領域指示情報の入力があつたと判定された場合、即ち、画像表示部 12075 に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じ、動きボケのない画像が平坦な画像であると推定される箇所をポインティングするように、ユーザ I Z F 12076を操作した場合、ステップ S 12075に進み、ユーザ I Z F 12076は、ユーザがユーザ I / F 12076を操作することによってポインティングした点を表す平坦領域指示情報を、処理領域設定部 12071 と実世界推定部 12073に供給し、ステップ

S12076に進む。

ステップ S 12076では、処理領域設定部 12071は、ユーザ I Z F 12076から供給された平坦領域指示情報に基づいて、例えば、平坦領域を含む所定の矩形の領域を処理領域として設定し、その処理領域情報を、定常性設定部 12072、実世界推定部 12073、および画像生成部 12074に供給し、ステップ S12077に進む。なお、この処理領域は、ユーザがユーザ I ZF 12076を操作して入力してもよい。

但し、ユーザ I / F 12076から処理領域設定部 12071に平坦領域指示情報が供給されなかった場合（ステップ S12072またはステップ S12074の処理直後にステップ S 12076の処理が行なわれる場合）には、処理領域設定部 12071は、所定の処理（例えば、入力画像において、動きボケが生じている領域を検出する処理）を行うことにより、自動的に処理領域を設定する。ステップ S12077では、定常性設定部 12072は、処理領域設定部 12071から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部 12072は、その処理領域の画像データにおいて欠落した実世界 1の光信号の定常性を表す情報として、処理領域に表示されたオブジェクトの動き量を設定し、その定常性を表す定常性情報を、実世界推定部 1²073に供給して、ステップ S 12078に進む。なお、この動き量は、ユーザがユーザ I / F 12076を操作して入力してもよい。また、ここでは、定常性設定部 12072は、入力画像において、オブジェクトが水平方向に移動していることを前提として、その動きの大きさだけを表す動き量を定常性情報として設定するようにしたが、その他、オブジェクトの動きの大きさと方向を表す動きベクトルを、定常性情報として設定することも可能である。

ステップ S 12078では、実世界推定部 12073は、処理領域設定部 12071から供給された処理領域情報と、ユーザ I Z F 12076から供給された平坦領域指示情報に応じて、入力画像における処理領域内の画像データ（動きボケ画像データ）から、対応する実世界 1の光信号の動き量に基づいて、その実世界 1の光信号（動きボケのない画像）を推定する。

即ち、実世界推定部 12073では、モデル生成部 12081が、処理領域設定部 12071から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部 12072から供給される定常性情報から、処理領域の画像データに対応する実世界 1の光信号の動き量、つまり、ここでは、処理領域に表示されたオブジェクトの動き量を認識する。さらに、モデル生成部 12081は、入力画像における処理領域の各水平ラインを構成する画素と、その処理領域の画像データに対応する実世界 1の光信号の動き量に応じて、処理領域の各水平ラインの画素の画素値と実世界 1の光信号との関係をモデル化した関係モデルを処理領域の水平ラインごとに生成し、方程式生成部 12082に供給する。方程式生成部 12082は、処理領域設定部 12071から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域に応じて、入力画像の各画素の画素値を、モデル生成部 12081から供給される処理領域の水平ラインごとの関係モデルに代入し、これにより、実世界 1の光信号を近似する近似モデルとしての近似関数を求める方程式を生成して、実世界波形推定部 12083に供給する。さらに、方程式生成部 12082は、処理領域情報または平坦領域指示情報に基づいて、近似関数を拘束する拘束条件式を生成し、実世界波形推定部 12083に供給する。

実世界波形推定部 12083は、方程式生成部 12082から供給される方程式を演算することにより、実世界 1の光信号の波形を推定する。即ち、実世界波形推定部 12083は、方程式生成部 12012から供給される方程式を解くことにより、実世界 1の光信号をモデル化した近似モデルとしての近似関数を求め、実世界 1の光信号の波形の推定結果として、画像生成部 12074に供給する。

なお、以下、このような実世界推定部 12073が実行するステップ S12078の処理を、「実世界の推定処理」と称する。「実世界の推定処理」の詳細については、図 1 5 5のフローチャートを参照して後述する。

ステップ S12078の処理後は、ステップ S 12079に進み、画像生成部 12074 は、実世界推定部 12073 (の実世界波形推定部 12083) から供給された、実世界 1の光信号の波形を近似する近似関数に基づいて、実世界 1の光信号により近似した信号を生成する。即ち、画像生成部 12074は、処理領域設定部 120ァ1 から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部 12073から供給される近似関数に基づき、実世界 1の光信号により近似した近似画像（ここでは、例えば、動きボケのない画像）を生成する。

さらに、画像生成部 12074は、入力画像の処理領域の部分を、近似画像

(動きボケのない画像）に置き換えた画像を、出力画像として生成し、画像表示部 12075に供給して、ステップ S 12079から S12080に進む。ステップ S12080では、画像表示部 12075は、画像生成部 12074から供給された出力画像を、ステップ S 12071で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップ S12081に進む。

ステップ S12081では、ユーザ I / F 12076は、ステップ S12072における場合と同様に、ユーザがユーザ I Z F 12076を操作することにより、何らかのユーザ入力があつたかどうかを判定し、ユーザ入力がなかったと判定した場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S12081に戻り、何らかのユーザ入力があるまで待つ。

また、ステップ S 12081において、ユーザ入力があつたと判定された場合、即ち、ユーザが、画像表示部 12075 に表示された入力画像や出力画像を見て、ユーザ I / F 12076を操作し、これにより、何らかの指示または情報を表すュ一ザ入力があった場合、ステップ S12082に進み、ユーザ I / F 12076は、そのユーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。

ステップ S 12082 において、ユーザ入力が終了指示であると判定された場合、即ち、例えば、画像表示部 12075に表示された出力画像を見たユーザが、その出力画像の画質に不満を感じず、出力画像に対して信号処理を施さないで良いとして、信号処理装置 4の処理を終了するように、ユーザ I 12076を操作した場合、信号処理装置 4は処理を終了する。

また、ステップ S12082において、ユーザ入力が終了指示でないと判定された場合、ステップ S 12083に進み、ユーザ I ZF 12076は、ユーザ入力が平坦領域指示情報であるかどうかを判定する。ステップ S1208³において、ユーザ入力が平坦領域指示情報でないと判定された場合、ステップ S 120S1に戻り、以下、同様の処理が繰り返される。

また、ステップ S 12083において、ユーザ入力が平坦領域指示情報であると判定された場合、即ち、画像表示部 12075に表示された出力画像を見たユーザが、その出力画像の画質に不満を感じ、その出力画像に対して、動きボケのない画像が平坦であると推定される箇所をボインティングするように、ユーザ I Z F 12076を操作した場合、ステップ S 12075に戻り、上述したように、ュ一ザ I / F 12076は、ユーザがユーザ I / F 12076を操作することによってポインティングした点を表す平坦領域指示情報を、処理領域設定部 12071と実世界推定部 12073に供給する。そして、ステップ S 12075からステップ S12076に進み、以下、同様の処理が繰り返される。

即ち、これにより、ステップ S12075乃至 S12083の処理が繰り返され、出力画像に対するユーザの不満が解消され、その結果、ユーザが所望する画質の出力画像が得られる。

以上のように、信号処理装置 4では、入力画像に対する処理結果としての出力画像をユーザに提示.し、その出力画像から、動きボケのない画像が平坦な画像であると推定される新たな平坦領域を指示してもらい、その平坦領域に基づいて、再度処理を行うようにしたので、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。

即ち、信号処理装置 4は、入力画像に対する処理結果として出力画像をユーザに提示する。一方、ユーザは、その出力画像を認識し、動きボケのない画像が平坦な画像であると推定される領域を平坦領域として、信号処理装置 4にフイードバックする。そして、信号処理装置 4は、そのユーザからのフィードバックを踏まえ、例えば、入力画像のうちユーザから指示された平坦領域に対してのみ、実世界 1の光信号を近似する近似モデルとしての近似関数を拘束する拘束条件式として、隣接する画素の画素値の差分が小さいという拘束条件式を生成する。信号処理装置 4は、その拘束条件式を用いて、再度、入力画像を処理し、以下、同様の処理が繰り返される。従って、信号処理装置 4は、入力画像のうち平坦な領域にのみ、隣接する画素の画素値の差分が小さいという拘束条件式を生成し、エッジのある領域には、隣接する画素の画素値の差分が小さいという拘束条件式は生成せずに、入力画像を処理するので、入力画像における平坦な領域のノイズが抑制され、エッジのある領域のエッジは保たれ、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。

次に、図 1 5 5のフローチャートを参照して、実世界推定部 12073 (図 1 5 3 ) の実世界の推定処理（図 1 5 4のステップ S12078の処理）について詳細に説明する。

ステップ S 12101において、モデル生成部 12081は、関係モデルを生成する。即ち、モデル生成部 12081が、処理領域設定部 12071から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部 12072から供給される定常性情報から、処理領域の画像データに対応する動き量を認識する。さらに、モデル生成部 12081は、入力画像における処理領域について、その処理領域の水平ラインを構成する画素と、その処理領域の画像データに対応する動き量に応じて、処理領域内のセンサ 2で検出された各画素の画素値 P i と、実世界 1の光信号を近似する近似モデルで表される動きボケのない画素の画素値 Q i との関係をモデル化した関係モデルを、処理領域の各水平ライン毎に生成し、方程式生成部 12082に供給する。そして、モデル生成部 12081は、ステップ S 12101からステップ Sl²102に進む。

具体的には、モデル生成部 12011は、処理領域の水平ラインの画素数と動き量に応じて、図 1 4 8 A乃至図 1 4 8 Cで説明した、処理領域の各水平ラインの画素の画素値 P i と、動きボケのない画素値との関係を表す式を関係モデルとして生成する。例えば、処理領域の水平ラインの画素数が 8であり、動き量 Vが 5である場合、関係モデルとして、上述した式（1 5 1 ) の方程式が生成される。

ステップ S12102では、方程式生成部 12082は、方程式生成処理を行う。即ち、方程式生成部 12082は、処理領域設定部 12071から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、その処理領域を構成する入力画像の各画素の画素値 P i を、モデル生成部 12081から供給される、その処理領域の各水平ラインに対して得られた関係モデルに代入し、これにより、実世界 1の光信号を近似する近似関数で表される、動きポケのない画素値 Qi を求める式（1 5 1 ) の方程式（モデル方程式）を生成する。

さらに、方程式生成部 12082は、処理領域設定部 12071から供給される処理領域情報から認識される処理領域の水平ラインにおける実世界 1の光信号を近似する近似モデルを拘束する方程式である拘束条件式を生成する。即ち、モデル方程式は、式（1 5 1 ) に示したように、求めたい変数である動きボケのない画素値 Q i の方が、方程式の数より多いため、動きボケのない画素値 Q i を求めるには、方程式の総数を動きボケのない画素値 Q i の数以上とする方程式を導入する必要がある。ここで、方程式生成部 12082 は、隣接する画素の、近似関数で表される動きボケのない画素値 Q i の差が小さい（空間相関がある）という拘束条件式を生成する。このとき、方程式生成部 12082は、ユーザにより平坦領域が指示された場合、その平坦領域に対してのみ拘束条件式を生成する。

従って、動きボケのない画像が平坦ではなく、例えば、何らかの模様があり、アクティビティの高い画像である場合においても、ユーザが所望する画質の動きボケのない画像が得られる。即ち、方程式生成部 12082は、動きポケのない画像において、平坦領域としてユーザにより指示されていない、光の強度が極端に異なるエッジ部分には、隣接画素の画素値の差は小さいという拘束条件を与えず、平坦領域としてユーザにより指示された平坦部分には、隣接画素の画素値の差は小さいという拘束条件を与え、拘束条件式を生成する。その結果、エッジ部分の画像においてはエッジが保たれ、平坦部分の画像においてはノィズが抑制された、画質の良い動きボケのない画像が得られる。また、ユーザが平坦領域を指示した場合、ユーザが処理領域の全ての画素に対して画素毎に拘束条件式を決定したり、方程式生成部 12082が入力画像の特徴量などから平坦である領域を推定し、拘束条件式を決定する必要なく、容易に、動きボケのない画像が平坦である領域にのみ、拘束条件式を与えることができる。その結果、信号処理装置 4は、ユーザが所望する画質の出力画像を容易に得ることができる。

方程式生成部 12082は、生成したモデル方程式と拘束条件式を合わせて、正規方程式を生成し、実世界波形推定部 12083に供給して、ステップ S12012 からステップ S 12013に進む。

なお、以下、このような方程式生成部 12082が実行するステップ S12102の処理を、「方程式生成処理」と称する。「方程式生成処理」の詳細については、図 1 5 7のフローチャートを参照して後述する。

ステップ S12103において、実世界波形推定部 12083は、方程式生成部 12082から供給される、処理領域の各水平ラインについての正規方程式を解くことにより、実世界 1の光信号の波形を推定、即ち、近似関数で表される動きボケのない画素値を求め、その画素値を、画像生成部 12074に供給する。

次に、図 1 5 6は、図 1 5 3の方程式生成部 12082の詳細構成例を示している。

図 1 5 6では、方程式生成部 12082は、モデル方程式生成部 12101、拘束条件式生成部 12102、および正規方程式生成部 12103から構成されている。

図 1 5 6に構成を示す方程式生成部 12082 には、モデル生成部 12081 から、処理領域の各水平ラインの画素の画素値（動きボケ画像の画素値）と、動きボケのない画素値との関係をモデル化した関係モデルが入力され、モデル方程式生成部 12101に供給される。また、方程式生成部 1²082には、入力画像が、センサ 2 (図 1 ) から入力され、その入力画像は、モデル方程式生成部 12101 に供給される。さらに、方程式生成部 12082には、処理領域情報が、処理領域設定部 1²071 から入力され、その処理領域情報が、モデル方程式生成部 12101 と拘束条件式生成部 12102に供給される。また、方程式生成部 120S2には、平坦領域指示情報が、ユーザ I Z F 120⁷6から入力され、その平坦領域指示情報は、拘束条件式生成部 12102に供給される。

モデル方程式生成部 12101は、処理領域情報から入力画像の処理領域を認識し、モデル生成部 12081から供給された関係モデルの動きボケ画像の各画素の画素値 P i として、入力画像の処理領域における画素値を代入して、式 ( 1 5 1 ) のモデル方程式を生成する。そして、モデル方程式生成部 12101 は、正規方程式生成部 12103に、そのモデル方程式を供給する。なお、モデル生成部 12081で得られる関係モデルは、例えば、式（1 5 1 ) の動き量 V に具体的な値が代入されたものであり、モデル方程式生成部 12101で得られるモデル方程式は、さらに式（1 5 1 ) の画素値 P ₄乃至 P ₇ に具体的な値が代入されたものである。

拘束条件式生成部 12102は、処理領域情報または平坦領域指示情報に基づいて、処理領域の各水平ラインの画素に対して、所定の拘束条件式を生成し、その拘束条件式を正規方程式生成部 12103に供給する。

正規方程式生成部 12103は、モデル方程式生成部 12101から供給されたモデル方程式と、拘束条件式生成部 12102から供給された拘束条件式を合わせて正規方程式を生成し、実世界波形推定部 12083に供給する。

次に、図 1 5 7のフローチャートを参照して、方程式生成部 12082 (図 1 5 6 ) の方程式生成処理（図 1 5 5のステップ S 12102の処理）について詳細に説明する。

ステップ S 12121において、モデル方程式生成部 12101は、モデル生成部 12081から処理領域の水平ラインごとの関係モデルを取得し、ステップ

S12122に進む。ステップ S12122において、モデル方程式生成部 1²101は、センサ 2から入力画像を取得するとともに、処理領域設定部 12071から処理領域情報を取得する。そして、モデル方程式生成部 12101は、その入力画像と処理領域情報から、処理領域内の各画素の画素値 P i を認識し、その画素値 P i を、モデル生成部 12081から取得した式（1 5 1 ) の関係モデルに代入することにより、処理領域の水平ラインごとにモデル方程式を生成する。さらに、モデル方程式生成部 12101は、そのモデル方程式を正規方程式生成部 12103 に供給する。即ち、例えば、モデル方程式生成部 12101力上述した式（1 5 1 ) で表される関係モデルを、モデル生成部 12081から取得した場合、式 ( 1 5 1 ) の画素値 P ₄乃至 P ₇ に入力画像の画素値を代入することで、モデル方程式を生成する。

ステップ S12122の処理後は、ステップ S 12123に進み、拘束条件式生成部 12102は、ユーザ I Z F 12076から平坦領域指示情報が入力されたかどうかを判定し、平坦領域指示情報が入力されていないと判定した場合、ステップ S12124をスキップし、ステップ S12125に進む。この場合、ステップ S 12125 では、拘束条件式生成部 12102は、例えば、処理領域設定部 12071が所定の処理を行うことにより自動的に設定した処理領域情報に基づいて、拘束条件式を生成し、その拘束条件式を正規方程式生成部 12103に供給して、ステップ S12125からステップ S12126に進む。即ち、拘束条件式生成部 12102は、近似関数で表される動きボケのない画素のうちの隣接するものどうしの画素値 Q i と Q _{i + 1} との差は小さいという拘束条件を表す拘束条件式を、例えば、処理領域の各水平ラインの全ての画素に対して生成する。例えば、処理領域の水平ラインの画素数が 8個であり、その 8画素の動きボケのない画素値を Q。乃至 Q₇で表す場合、拘束条件式は、例えば、上述した式（1 5 2 ) で表される。一方、ステップ S12123で、拘束条件式生成部 12102は、ユーザ I / F 12076から平坦領域指示情報が入力されたと判定した場合、拘束条件式生成部 12102は、ステップ S 12124に進み、ユーザ I / F 12076から平坦領域指示情報を取得して、ステップ S12125に進む。 8690

311

この場合、ステップ S12125では、拘束条件式生成部 12102は、平坦領域指示情報に基づいて、拘束条件式を生成する。即ち、拘束条件式生成部 1²102 は、平坦領域に対してのみ拘束条件式を生成する（平坦領域の画素に対応する拘束条件式に対する重みと平坦領域以外の画素に対応する拘束条件式に対する重みを、 1対 1から 1対 0に変更する。即ち、拘束条件式の一部に対する重みを変更する）。そして、拘束条件式生成部 12102は、生成した拘束条件式を正規方程式生成部 12103に供給し、ステップ S12125からステップ S1212⁶ に進む。 '

例えば、処理領域の水平ラインが図 1 4 8 A乃至図 1 4 8 Cまたは図 1 5 2 A乃至図 1 5 2 Cに示したように、 8個の画素 # 0乃至 # 7で構成され、平坦領域として、その 8画素 # 0乃至 # 7のうちの画素 # 0乃至 # 5が指定されている場合、その画素 # 0乃至 # 5の動きボケのない画素値 Q。乃至 Q₅ を用いて、拘束条件式は、例えば、以下の式（1 5 3 ) で表される。

Q₁ = Q₂

Q₂ = Q₃

Q₃ =

Q₄ = Q₅

· · · ( 1 5 3 )

即ち、式（1 5 3 ) は、平坦領域の隣接画素どうしの画素値 Qi と Q _{i + 1}力等しいことを表している。

従って、実際の画像が平坦な領域にのみ、動きボケのない画像の隣接画素の画素値の差が小さいという拘束条件を与えることができるので、信号処理装置 4は、実世界 1の光信号により近似した動きボケのない画像を生成することができる。

ステップ S 12126において、正規方程式生成部 12103は、モデル方程式生成部 12101から供給された式（1 5 1 ) のモデル方程式と、拘束条件式生成部 12102から供給された式（1 5 2 ) の拘束条件式または式（1 5 3 ) の拘束条件式（重みが変更された拘束条件式）を合わせて、正規方程式を生成し、その正規方程式を実世界波形推定部 12083に供給する。

この後、実世界波形推定部 12083は、正規方程式生成部 12103から供給された正規方程式を、例えば、最小二乗誤差最小規範で解くことにより、処理領域の各水平ラインの画素の動きボケのない画素値 Q i を求める。

なお、上述した実世界推定処理は、処理領域内の水平方向に並ぶ画素（水平ライン）毎に行なわれる。即ち、実世界波形推定部 12083は、水平ライン毎に、処理領域の各画素の動きボケのない画素値 Q i を求める。そして、実世界波形推定部 12083は、処理領域内の全ての水平ラインにおいて、各画素の動きポケのない画素値 Qi を求めた後、処理領域の各画素の動きボケのない画素値 Qi を、画像生成部 12074に供給する。画像生成部 12074は、入力画像における処理領域の各画素の画素値 P i を、動きボケのない画素値 Q i に置き換えた画像を、出力画像として生成し、画像表示部 12075 に供給して表示させる。また、上述の処理では、ユーザは、ユーザ I / F 12076を操作して、出力画像から平坦な領域を指示したが、エッジのある領域を指示してもよい。この場合、上述した処理と同様に、指示されたエッジのある領域が、エッジ領域指示情報として、処理領域設定部 12071と実世界推定部 12073に供給される。そして、拘束条件式生成部 12102は、処理領域のうち、エッジ領域として指示された領域以外の領域に対して拘束条件式を生成する（エッジ領域の画素に対応する拘束条件式に対する重みと、処理領域内のエツジ領域以外の領域の画素に対応する拘束条件式に対する重みを、 1対 1から 0対 1に変更する）。即ち、拘束条件式生成部 12102は、エッジ領域に対する拘束条件式を生成しない。 ' さらに、上述の処理では、平坦領域以外に対する拘束条件式は生成しなかつたが、平坦領域以外の領域における拘束条件式も、平坦領域における拘束条件式に対する重みに比べて小さい重みを付けて、生成してもよい。この場合、例えば、平坦領域における拘束条件式に対しては重み 1を付け、平坦領域以外の領域における拘束条件式に対しては、例えば、 0 . 5などの 1より小さい重みを付けた拘束条件式が生成される。

図 1 5 8と図 1 5 9は、図 1 5 3の信号処理装置 4の処理の概要を説明する図である。

図 1 5 8で示すように、ユーザは、入力画像 12121を見て、動きボケのない画像 12123を想像し、平坦であると推定される領域を、入力画像 12121に対して、平坦領域として指示する。また、ユーザは、入力画像 12121に対して信号処理装置 4で処理された処理結果としての出力画像 12122を見て、動きボケのない画像 12123を想像し、平坦であると推定される領域を、出力画像 12122に対して、平坦領域として指示する。そして、信号処理装置 4は、ユーザが平坦領域として指示した領域に対してのみ拘束条件式を生成し、その拘束条件式を用いて、実世界 1の光信号により近似した動きボケのない画像を生成する。

このように、信号処理装置 4では、入力画像または出力画像がユーザに提示され、ユーザは、その入力画像または出力画像に対して平坦領域を指示する。信号処理装置 4では、その平坦領域に対して、動きボケのない画像の隣接画素の画素値の差は小さいという拘束条件を与えるようにしたので、簡単に最適な拘束条件を設定し、実世界 1の光信号により近似した画像を得ることができる。また、ユーザは、画質に対する不満をダイレクトに信号処理装置 4に指示することが可能であり、所望の画質の画像または所望の画質に近い画像を容易に得ることができる。

図 1 5 9は、ユーザが、入力画像を見て平坦領域を指示した場合と指示しない場合の信号処理装置 4の処理を説明する図である。

図 1 5 9で示すように、ユーザが、入力画像 12142に対して平坦領域を指示しない場合、信号処理装置 4により処理領域が決定され、その処理領域の各水平ラインの全ての画素に対して、いわば均一（平等）に拘束条件式が生成される（均一処理）。一方、ユーザが、その入力画像 12142を見て、動きボケのない画像 12123 を想像し、その動きボケのない画像 12123が平坦な領域を、入力画像 12142 に対して指示した場合、不均一処理が行なわれる。即ち、図 1 5 9の例では、ユーザは、入力画像の画素値が P ₃ と P ₄である画素を、平坦領域として指示している。

信号処理装置 4は、ユーザにより指示された平坦領域に基づいて、入力画像の画素値が P ₃ と P ₄である画素に対応する動きボケのない画素値 Q₃ と Q₄の差が小さいという拘束条件式を生成する。また、信号処理装置 4は、処理領域の平坦領域以外の画素に対しては、平坦領域に対する拘束条件式より小さい重みを付けた拘束条件式を生成する。即ち、拘束条件式は、処理領域に対して、いわば不均一に生成される（不均一処理）。

従って、信号処理装置 4は、複雑な処理を行なわずに、実際の画像が平坦な領域に、処理領域内の他の領域に比べて大きい重みを付けた拘束条件を与えることができる。その結果、信号処理装置 4は、動きボケのない画像を、より実際の画像に近いものとすることができる。

図 1 6 O A乃至図 1 6 0 Cは、センサ 2から出力される処理領域のある水平ラインの画素の画素値 P i と、その水平ラインの動きボケのない画素の画素値 Q i との関係を示している。なお、図中、図 1 5 2 A乃至図 1 5 2 Cにおける場合と対応する部分については同一の符号を付してあり、以下では、その説明は適宜省略する。

図 1 6 0 A乃至図 1 6 0 Cは、基本的には、上述の図 1 5 2 A乃至図 1 5 2 Cとそれぞれ同様の図であり、従って、動きボケのない画素値 Q i と、動きポケが生じている画素値 P i との関係を表している。

図 1 6 O A乃至図 1 6 0 Cの'例では、ユーザは、ユーザ I Z F 12076を操作することにより、動きボケのない画素値が Q。とである画素の領域、動きボケのない画素値が Q₂乃至 Q₅である画素の領域、および動きボケのない画素値が Q₆ と Q₇である画素の領域を、平坦領域として指示している。従って、図 1 6 O Aに示すように、動きボケのない画素値が Q。とである画素の領域、動きボケのない画素値が Q₂乃至 Q₅である画素の領域、および動きボケのない画素値が Q₆ と Q₇である画素の領域（平坦領域として指示された領域）に対してのみ、動きボケのない画素のうちの隣接する画素どうしの画素値 Qi と Q _{i + 1} との差が小さいという拘束条件が与えられている。

図 1 6 1は、図 1 1 1に示した信号処理装置 4の応用例の他の一実施の形態の構成例を示している。

なお、図 1 6 1は、例えば、一定方向に一定の速さで移動するという定常性を有するデータ 3の一例である動きボケ画像データから、実世界 1の光信号を推定する信号処理装置 4の一実施の形態の構成例を示している。即ち、この信号処理装置 4は、例えば、撮影時に被写体（オブジェクト）が動いたことにより、被写体がボケて撮影されてしまった画像（動きボケ画像）から、そのボケがない画像（動きボケのない画像）を推定する。従って、図 1 6 1の実施の形態では、入力画像として、移動しているオブジェクトを撮影することにより得られた動きボケが生じている動きボケ画像が、信号処理装置 4に入力される。なお、ここでは、入力画像として、水平方向（左から右方向）に一定の速さ (動き量）で移動しているオブジェクトを撮像して得られる画像を採用する。図 1 6 1において、処理領域設定部 12161、定常性設定部 12162、実世界推定部 12163、画像生成部 12164、画像表示部 12165、ユーザ Iノ F 12166は、図 1 1 1の処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ Iノ F 10006にそれぞれ対応しており、基本的には、処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I Z F 10006それぞれと同様の処理を行う。さらに、図 1 6 1において、実世界推定部 12163 は、モデル生成部 12171、方程式生成部 12172、実世界波形推定部 12173で構成されている。モデル生成部 12171、方程式生成部 12172、実世界波形推定部 12173は、図 1 1 1のモデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013にそれぞれ対応しており、基本的には、モデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013それぞれと同様の処理を行う。但し、図 1 6 1においては、ユーザがユーザ I Z F 12166を操作することにより、ユーザ I Z F 12166が出力する補助情報が、処理領域設定部 12161 と実世界推定部 12163に供給されるようになっている。

即ち、図 1 6 1では、ユーザは、ユーザ I Z F 12166 を操作することにより、画像表示部 12165に表示された画像に対して、不満のある領域を不満領域として指示することができるようになつており、ユーザ I / F 12166は、ユーザが不満領域を指示する操作を行うと、その操作によって指定された領域としての不満領域を表す不満領域指示情報を、処理領域設定部 12161と実世界推定部 12163に供給する。さらに、図 1 6 1では、画像表示部 12165には、後述するように、複数の出力画像が表示されるが、ユーザは、ユーザ I Z F 1²166 を操作することにより、画像表示部 12165に表示された出力画像を選択することができるようになつており、ユーザ I Z F 12166は、ユーザが出力画像を選択する操作を行うと、その操作によって選択された出力画像を表す選択情報を、補助情報として、処理領域設定部 12161と実世界推定部 12163に供給する。

なお、ユーザ Iノ F 12166を操作することにより不満領域を指示する方法としては、例えば、不満領域を囲む矩形によって指示する方法、不満領域をトリム（trim)することによって指示する方法、不満領域の中の任意の 1点以上をポインティングすることによって指示する方法などがあるが、ここでは、例えば、ユーザは、不満領域の中の任意の 1点を、ユーザ I Z F 12166を操作することによりポインティングすることによって、不満領域を指示するものとする。この場合、ユーザ I Z F 12166は、ユーザがポインティングした点を表す情報としての、例えば、その点の、画像上の座標を、不満領域指示情報として、処理領域設定部 12161と実世界推定部 12163に供給する。次に、図 1 6 2のフローチヤ一トを参照して、図 1 6 1の信号処理装置 4の処理について説明する。

まず最初に、ステップ S 12141 において、信号処理装置 4は、前処理を行い、ステップ S12142に進む。即ち、信号処理装置 4は、センサ 2 (図 1 ) からデータ 3として供給される、例えば 1フレームまたは 1フィールドの入力画像を、処理領域設定部 12161、定常性設定部 12162、実世界推定部 12163、画像生成部 12164、および画像表示部 12165に供給する。さらに、信号処理部 4は、画像表示部 12165に、入力画像を表示させる。

ステップ S 12142では、ユーザ I / F 12166は、ユーザがユーザ I / F 12166を操作することにより、何らかのユーザ入力があつたかどうかを判定する。ステップ S12142において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S12143乃至 S12145 をスキップして、ステップ S12146に進む。

また、ステップ S 12142において、ユーザ入力があつたと判定された場合、即ち、ユーザが画像表示部 12165に表示された入力画像を見て、ユーザ 1 / F 12166を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップ S 12143に進み、ユーザ I F 12166は、そのユーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。

ステップ S12143 において、ユーザ入力が終了指示であると判定された場合、即ち、例えば、画像表示部 12165に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じず、入力画像に対して信号処理を施さないで良いとして、信号処理装置 4の処理を終了す.るように、 -ユーザ I ZF 12166を操作した場合、信号処理装置 4は処理を終了する。

また、ステップ S 12143において、ユーザ入力が終了指示でないと判定された場合、ステップ S12144に進み、ユーザ I Z F 12166は、ユーザ入力が不満領域指示情報であるかどうかを判定する。ステップ S12144において、ユーザ入力が不満領域指示情報でないと判定された場合、ステップ Sl²145をスキップして、ステップ S12146に進む。

一方、ステップ S12144において、不満領域指示情報の入力があつたと判定された場合、即ち、画像表示部 12165 に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じ、不満な箇所をポインティングするように、ユーザ I Z F 12166を操作した場合、ステップ S 12145に進み、ユーザ i Z F 12166は、ユーザがユーザ I / F 12166を操作することによってポインティングした点を表す不満領域指示情報を、補助情報として、処理領域設定部 12161 と実世界推定部 12163に供給し、ステップ S12146に進む。

ステップ S12146では、処理領域設定部 12161は、ユーザ I Z F 12166から供給された補助情報としての不満領域指示情報に基づいて、例えば、不満領域を含む所定の矩形の領域を処理領域として設定し、その処理領域情報を、定常性設定部 12162、実世界推定部 12163、および画像生成部 12164に供給して、ステップ S12147に進む。なお、この処理領域は、ユーザがユーザ I Z F 12166を操作して入力してもよい。

但し、ユーザ I Z F 12166から処理領域設定部 12161に不満領域指示情報が供給されなかった場合（ステップ S12142またはステップ S12144の処理直後にステップ S12146の処理が行われる場合）には、処理領域設定部 12161は、所定の処理（例えば、入力画像において、動きボケが生じている領域を検出する処理）を行うことにより、処理領域の設定を行う。

ステップ S12147では、定常性設定部 12162は、処理領域設定部 12161から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部 12162は、その処理領域の画像データにおいて欠落した実世界 1の光信号の定常性を表す情報として、処理領域に表示されたォブジェクトの動き量を設定し、その定常性を表す定常性情報を、実世界推定部 121S3に供給して、ステップ S 12148に進む。なお、この動き量は、ユーザがユーザ I F 12166を操作して入力してもよい。また、ここでは、定常性設定部 12162は、入力画像において、ォブジェクトが水平方向に移動していることを前提として、その動きの大きさだけを表す動き量を定常性情報として設定するようにしたが、その他、オブジェクトの動きの大きさと方向を表す動きべクトルを定常性情報として設定することも可能である。

ステップ S 12148では、実世界推定部 12163は、処理領域設定部 12161から供給された処理領域情報と、ユーザ I / F 12166から供給された不満領域指示情報に応じて、入力画像における処理領域内の画像データ（動きボケ画像データ）から、対応する実世界 1の光信号の動き量に基づいて、その実世界 1の光信号（動きボケのない画像）を複数である N通りの方法で推定する。

即ち、実世界推定部 12163では、モデル生成部 12171が、処理領域設定部 12161から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部 12162から供給される定常性情報から、処理領域の画像データに対応する実世界 1の光信号の動き量、つまり、ここでは、処理領域に表示されたオブジェクトの動き量を認識する。さらに、モデル生成部 12171は、入力画像における処理領域の各水平ラインを構成する画素と、その処理領域の画像データに対応する実世界 1の光信号の動き量に応じて、処理領域の各水平ラインの画素の画素値と実世界 1の光信号との関係をモデル化した関係モデルを処理領域の水平ラインごとに生成し、方程式生成部 12172に供給する。

方程式生成部 12172は、処理領域設定部 12161から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域に応じて、入力画像の各画素の画素値を、モデル生成部 12171から供給される処理領域の水平ラインごとの関係モデルに代入し、これにより、実世界 1の光信号を近似する近似モデルとしての近似関数を求める方程式を生成する。さらに、方程式生成部 12172は、処理領域情報または不満領域指示情報に基づいて、近似関数を拘束する拘束条件式に N通りの重みを付けた、 N通りの拘束条件式を生成する。方程式生成部 12172は、実世界 1の光信号を近似する近似モデルとしての近似関数を求める方程式と N通りの拘束条件式のそれぞれとを合わせて、 N通りの正規方程式を生成し、実世界波形推定部 12173に供給する。

実世界波形推定部 12173は、方程式生成部 12172から供給される N通りの正規方程式をそれぞれ演算することにより、 N通りの実世界 1の光信号の波形を推定する。即ち、実世界波形推定部 12173は、方程式生成部 12172から供給される N通りの正規方程式をそれぞれ解くことにより、実世界 1の光信号をモデル化した近似モデルとしての N通りの近似関数を求め、 N通りの実世界 1 の光信号の波形の推定結果として、画像生成部 12164に供給する。

なお、以下、このような実世界推定部 12163が実行するステップ S12148の処理を、「実世界の推定処理」と称する。「実世界の推定処理」の詳細については、図 1 6 3のフローチャートを参照して後述する。

ステップ S12148の処理後は、ステップ S 12149に進み、画像生成部 12164 は、実世界推定部 12163 (の実世界波形推定部 12173) から供給された、実世界 1の光信号の波形を近似する N通りの近似関数に基づいて、実世界 1の光信号により近似した N通りの信号を生成する。即ち、画像生成部 12164は、処理領域設定部 12161から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部 12163から供給される N通りの近似関数に基づき、実世界 1の光信号により近似した N通りの近似画像（動きボケのない画像）を生成する。

さらに、画像生成部 12164は、入力画像の処理領域の部分を、 N通りの近似画像（動きボケのない画像）に置き換えた画像を、 N通りの出力画像として生成し、画像表示部 12165に供給して、ステップ S 12149から S12150に進む。ステップ S 12150では、画像表示部 12165は、画像生成部 12164から供給された N通りの出力画像を、ステップ S 12141で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップ S12151に進む。

ステップ S 12151では、ユーザ I Z F 12166は、ユーザがユーザ I , F 12166を操作することにより、選択情報の入力があつたかどうかを判定する。即ち、ステップ S12150では、画像表示部 12165において、 N通りの出力画像が表示されるが、その N通りの出力画像を見たユーザが、その N通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択する選択情報の入力を、ユーザ I Z F 12166を操作することにより行ったかどう力が、ステツプ S 12151において判定される。

ステップ S12151において、選択情報の入力がなかったと判定された場合、ステップ S12154に進み、ステップ S12143における場合と同様に、ユーザ I / F 12166は、終了指示の入力があつたかどうかを判定する。

ステップ S12154において、終了指示の入力があつたと判定された場合、信号処理装置 4は、処理を終了する。

また、ステップ S 12154において、終了指示の入力がなかったと判定された場合、ステップ S12151に戻り、以下、同様の処理を繰り返す。

—方、ステップ S 12151において、選択情報の入力があつたと判定された場合、即ち、画像表示部 12165 に表示された N通りの出力画像を見たユーザが、その N通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択した場合、ステップ S12152に進み、ユーザ I / F 12166は、ユーザがユーザ I / F 12166を操作することにより、ユーザが選択した出力画像を、最終的な出力画像として確定する確定指示の入力があつたかどうかを判定する。ステップ S12152において、確定指示の入力があつたと判定された場合、ステツプ S 12153に進み、画像表示部 12165は、例えば、その画面全体に、ユーザが選択した出力画像を表示し、処理を終了する。

また、ステップ S 12152において、確定指示の入力がなかったと判定された場合、即ち、ユーザが、選択した出力画像の画質に不満があり、再度処理を行うために、確定指示の入力を行わなかった場合、ステップ S12145に戻り、ュ一ザ I Z F 12166は、ユーザが選択した出力画像を表す選択情報を、補助情報として、処理領域設定部 12161と実世界推定部 12163に供給し、ステップ S12146, S12147, S 12148に順次進む。ステップ S 12146の処理領域の設定処 4 008690

322

の定常性の設定処理では、前回設定された処理領域と定常性が設定される。そして、その処理領域情報が定常性設定部 12162、実世界推定部 12163、および画像生成部 12164に供給され、その定常性情報が実世界推定部 12163に供給される。なお、 2回目以降に行われるステップ S1² 6おょぴ S12147の処理は、スキップすることができる。

ステップ S 12148では、実世界推定部 12163は、ユーザ I Z F 12166から供給された補助情報としての選択情報に基づいて、その実世界 1の光信号（動きボケのない画像）を新たな N通りの方法で推定する。

即ち、この場合、ステップ S12148においては、実世界推定部 12163の方程式生成部 12172では、ユーザ I Z F 12166から供給された補助情報としての選択情報が表す出力画像を得るのに用いられた拘束条件式を基準に、新たな N通りの拘束条件式を設定する。方程式生成部 12172は、実世界 1の光信号を近似する近似モデルとしての近似関数を求める方程式と、新たな N通りの拘束条件式のそれぞれとを合わせて、新たな N通りの正規方程式を生成し、その新たな N通りの正規方程式を実世界波形推定部 12173に供給する。さらに、実世界狭形推定部 12173は、方程式生成部 12172から供給される新たな N通りの正規方程式をそれぞれ演算することにより、新たな N通りの実世界 1の光信号の波形を推定する。そして、ステップ S12148から S12149に進み、以下、同様の処理が繰り返される。

即ち、これにより、ステップ S12145乃至 S 12154の処理が繰り返され、最終的には、出力画像に対するユーザの不満が解消された、ユーザが所望する画質の出力画像が得られる。

以上のように、信号処理装置 4では、入力画像に対する処理結果としての N 通りの出力画像をユーザに提示し、その N通りの出力画像の中からユーザが所望するものを選択してもらい、その選択結果を踏まえて、再度処理を行うようにしたので、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。即ち、信号処理装置 4は、入力画像に対する処理結果としての N通りの出力画像をユーザに提示する。一方、ユーザは、その N通りの出力画像それぞれの画質を認識、判断し、画質の良い出力画像を、信号処理装置 4にフィードバックする。そして、信号処理装置 4は、そのユーザからのフィードバックを踏まえ、再度、入力画像を処理し、以下、同様の処理が繰り返される。従つて、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。なお、このように、信号処理装置 4において、ユーザからのフィードバックを受けて入力画像に対する処理を行うことは、信号処理装置 4が、ユーザと協調しながら処理を行っているということができる。

次に、図 1 6 3のフローチャートを参照して、実世界推定部 12163 (図 1 6 1 ) の実世界の推定処理（図 1 6 2のステップ S 12148の処理）について詳細に説明する。

ステップ S 12171において、モデル生成部 12171は、関係モデルを生成する _c 即ち、モデル生成部 12171が、処理領域設定部 12161から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部 12162から供給される定常性情報から、処理領域の画像データに対応する動き量を認識する。さらに、モデル生成部 12171は、入力画像における処理領域について、その処理領域の水平ラインを構成する画素と、その処理領域の画像データに対応する動き量に応じて、処理領域内のセンサ 2で検出された各画素の画素値 P i と、実世界 1の光信号を近似する近似モデルで表される動きボケのない画素の画素値との関係をモデル化した関係モデルを処理領域の水平ラインごとに生成し、方程式生成部 12172に供給する。そして、モデル生成部 12171は、ステップ S 12171からステップ S 12172に進む。

具体的には、モデル生成部 12171は、処理領域の水平ラインの画素数と動き量に応じて、図 1 4 8 A乃至図 1 4 8 Cで説明した、処理領域の各水平ラインの画素の画素値 P i と、動きボケのない画素値 Q i との関係を表す式を関係モデルとして生成する。例えば、処理領域の水平ラインの画素数が 8であり、動き量 vが 5である場合、関係モデルとして、上述した式（1 5 1 ) の方程式が生成される。

ステップ S12172では、方程式生成部 12172は、方程式生成処理を行う。即ち、方程式生成部 12172は、処理領域設定部 12161から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、その処理領域を構成する入力画像の各画素の画素値 P i を、モデル生成部 12171から供給される、その処理領域の各水平ラインに対して得られた関係モデルに代 ^し、これにより、実世界 1の光信号を近似する近似関数で表される、動きポケのない画素値 Q i を求める式 ( 1 5 1 ) の方程式（モデル方程式）を生成する。

さらに、方程式生成部 12172は、処理領域設定部 12161から供給される処理領域情報から認識される処理領域の水平ラインにおける実世界 1の光信号を近似する近似モデルを拘束する方程式である拘束条件式を生成する。即ち、モデル方程式は、式（1 5 1 ) に示したように、求めたい変数である動きボケのない画素値 Q i の方が、方程式の数より多いため、動きボケのない画素値 Q i を求めるには、方程式の総数を動きボケのない画素値 Q i の数以上とする方程式を導入する必要がある。ここで、方程式生成部 12172 は、隣接する画素の'、近似関数で表される動きボケのない画素値 Qi の差が小さい（空間相関がある）という拘束条件式を生成する。このとき、方程式生成部 12172は、ユーザにより不満領域が指示された場合、その不満領域に対して重みを付けた拘束条件式を生成する。

伹し、不満領域に対する重み付けの仕方により画質の異なる出力画像が得られるため、方程式生成部 12172は、 N通りの重みを付けた拘束条件式を生成する。その結果、信号処理装置 4では、 N通りの出力画像が生成されて、表示される。そして、ユーザは、その N通りの出力画像を見て、その中から所望の画質の画像または所望の画質に近い画像を選択する。従って、動きボケのない画像が平坦ではなく、例えば、何らかの模様があり、ァクティビティの高い画像である場合においても、ユーザが所望する画質の動きボケのない画像が得られる。即ち、方程式生成部 12172は、ユーザにより不満のある領域であると指示された領域に対して、 N通りの重みを付けた、隣接画素の動きボケのない画素値の差は小さいという拘束条件式を生成する。ュ一ザは、その結果得られる N通りの出力画像から所望の画質の画像が選択することができるので、不満のある領域に対して最適な拘束条件が設定された、所望する画質の画像を容易に得ることができる。

方程式生成部 12172は、モデル方程式を生成するとともに、不満領域指示情報に基づいて、 N通りの重みを付けた拘束条件式を生成し、生成されたモデル方程式と N通りの拘束条件式のそれぞれとを合わせて、 N通りの正規方程式を生成する。方程式生成部 12172は、その N通りの正規方程式を、実世界波形推定部 12173に供給して、ステップ S 12172からステップ S12173に進む。なお、以下、このような方程式生成部 12172が実行するステップ S12172の処理を、「方程式生成処理」と称する。「方程式生成処理」の詳細については、図 1 6 5のフローチヤ一トを参照して後述する。

ステップ S12173において、実世界波形推定部 12173は、方程式生成部 12172から供給される N通りの正規方程式を解くことにより、 N通りの実世界 1の光信号の波形を推定、即ち、 N通りの近似関数で表される動きボケのない画素値を求め、その N通りの画素値を、画像生成部 12164に供給する。

次に、図 1 6 4は、図 1 6 1の方程式生成部 12172の詳細構成例を示している。

図 1 6 4では、方程式生成部 12172は、モデル方程式生成部 12191、重み設定部 12192、拘束条件式生成部 12193、および正規方程式生成部 12194から構成されている。

図 1 6 4に構成を示す方程式生成部 12172 には、モデル生成部 1²171 から、処理領域の水平ラインの各画素の画素値（動きボケ画像の画素値）と、動きポケのない画素値との関係をモデル化した関係モデルが入力され、モデル方程式生成部 12191に供給される。また、方程式生成部 12172には、入力画像が、センサ 2 (図 1 ) から入力され、その入力画像は、モデル方程式生成部 12191 に供給される。

さらに、方程式生成部 12172には、処理領域情報が、処理領域設定部 12161 から入力され、その処理領域情報が、モデル方程式生成部 12191と拘束条件式生成部 12193に供給される。また、方程式生成部 12172には、補助情報として不満領域指示情報と選択情報が、ユーザ I Z F 12166から入力され、その不満領域指示情報は、拘束条件式生成部 12193に、選択情報は、重み設定部 12192にそれぞれ供給される。

モデル方程式生成部 12191は、処理領域情報から入力画像の処理領域を認識し、モデル生成部 12171から供給された関係モデルの動きボケ画像の各画素の画素値 P i として、入力画像の処理領域における画素値を代入して、処理領域の水平ラインごとに式（1 5 1 ) のモデル方程式を生成する。そして、モデル方程式生成部 12191は、正規方程式生成部 12194に、そのモデル方程式を供給する。なお、モデル生成部 12171で得られる関係モデルは、例えば、式（1 5 1 ) の動き量 Vに具体的な値が代入されたものであり、モデル方程式生成部 12191で得られるモデル方程式は、さらに式（1 5 1 ) の画素値 P ₄乃至 p ₇ に具体的な値が代入されたものである。

重み設定部 12192は、ユーザ I Z F 12166から入力された選択情報に基づいて、拘束条件式に付ける N通りの重みを設定し、その N通りの重みを、拘束条件式生成部 12193に供給する。拘束条件式生成部 12193は、処理領域情報、ユーザ I Z F 12166から入力された不満領域指示情報、および重み設定部 12192で設定された N通りの重みに基づいて、不満領域の水平ラインの各画素に対して、 N通りの重みを付けた N通りの所定の拘束条件式をそれぞれ生成し、その N通りの拘束条件式を正規方程式生成部 12194に供給する。正規方程式生成部 12194は、モデル方程式生成部 12191から供給されたモデル方程式と、拘束条件式生成部 12193から供給された N通りの拘束条件式のそれぞれとを合わせて、 N通りの正規方程式を生成し、実世界波形推定部 12173に供給する。

次に、図 1 6 5のフローチャートを参照して、方程式生成部 12172 (図 1 6 4 ) の方程式生成処理（図 1 6 3のステップ S12172の処理）について詳細に説明する。

ステップ S 12191において、モデル方程式生成部 12191は、モデル生成部 12171から処理領域の水平ラインごとの関係モデルを取得し、ステップ

S12192に進む。ステップ S12192において、モデル方程式生成部 12191は、センサ 2から入力画像を取得するとともに、処理領域設定部 12161から処理領域情報を取得する。そして、モデル方程式生成部 12191は、その入力画像と処理領域情報から、処理領域内の各画素の画素値 P i を認識し、その画素値 P i を、モデル生成部 12171から取得した式（1 5 1 ) の関係モデルに代入することにより、処理領域の水平ラインごとにモデル方程式を生成する。さらに、モデル方程式生成部 12191は、そのモデル方程式を正規方程式生成部 12194 に供給する。即ち、例えば、モデル方程式生成部 12191力上述した式（1 5 1 ) で表される関係モデルを、モデル生成部 12171から取得した場合、式 ( 1 5 1 ) の画素値 P ₄乃至 P ₇ に入力画像の画素値を代入することで、モデル方程式を生成する。

ステップ S 12192の処理後は、ステップ S 12193に進み、重み設定部 12192 は、 N通りの重みを設定してそれぞれの重みを拘束条件式生成部 121Θ3に供給し、ステップ S12194に進む。ここで、重み設定部 12192は、ユーザ i Z F 12166から選択情報が入力された場合、その選択情報が表す出力画像を得るのに用いられた重みを基準に、新たな N通りの重みを設定する。即ち、重み設定部 12192は、最初に重みを設定する場合、例えば、 0 . 5を中心として 0乃至 1の範囲内で等間隔に、 N通りの重みを設定する。そして、重み設定部 12192は、ユーザ I Z F 12166から選択情報が入力された場合、その選択情報が表す出力画像を得るのに用いられた重みを中心として、前回の重みの設定時よりも細かい等間隔で（但し、 0乃至 1の範囲）、新たな N通りの重みを設定する。

ユーザが前回の処理で出力された N通りの出力画像の中から所望するものを選択すると、その選択結果を踏まえて、新たな N通りの重みが設定されるので、ユーザは N通りの出力画像の中から所望するものの選択を繰り返すことにより、最終的には、ユーザが所望する画質の出力画像が得られる重みが設定され、その結果、ユーザが所望する画質の出力画像が得られる。

ステップ S12194では、拘束条件式生成部 12193は、ユーザ I / F 1²166から不満領域指示情報が入力されたかどうかを判定し、不満領域指示情報が入力されていないと判定した場合、ステップ S12195をスキップし、ステップ S12196に進む。この場合、ステップ S12196では、拘束条件式生成部 12193 は、例えば、処理領域設定部 12161が所定の処理を行うことにより自動的に設定した処理領域情報に基づいて、重み設定部 12192から供給された N通りの重みを付けた拘束条件式をそれぞれ生成し、その N通りの拘束条件式を正規方程式生成部 12194に供給する。即ち、不満領域指示情報が入力されなかつた場合、拘束条件式生成部 12193は、処理領域の水平ラインの全ての画素に対して N通りの拘束条件式を生成する。

例えば、処理領域の水平ラインの画素数が、例えば、図 1 5 2 A乃至図 1 5 2 Cに示したように 8個であり、各画素の動きボケのない画素値を Q。乃至 Q ₇で表す場合、拘束条件式は、例えば、以下の式（1 5 4 ) で表される。 W - Q₀) = 0

W =0

W(Q₃-Q₂) = 0

W(Q₄-Q₃) = 0

(Q₅-Q₄) = 0

(Q₆-Q₅) = 0

W(Q厂 ¾) = 0

• · · (1 54)

なお、式（1 54) において、 Wは重みを表し、拘束条件式生成部 12193 は、重み Wが異なる N通りの式（1 54) で示される拘束条件式を生成する。重み Wの値が大きいほど、隣接画素の画素値の差分が小さいという拘束条件の重みが大きくなる。即ち、式（1 54) におけるある拘束条件式（Q_{i + 1}—Q = 0の重み Wが大きいほど、画素値 Qi と Q_{i + 1} とは、同一の値となるように、いわば強く拘束される。重み Wが小さい場合には、そのような拘束が、いわば弱くなり、画素値 Qi と Q_{i + 1} とは、異なる値をとり易くなる。

一方、ステップ S12194で、拘束条件式生成部 12193は、ユーザ I /F 12166から不満領域指示情報が入力されたと判定した場合、ステップ S12194 からステップ S12195に進み、ユーザ I / F 12166から不満領域指示情報を取得してステップ S12196に進む。

この場合、ステップ S12196では、拘束条件式生成部 12193は、処理領域情報と不満領域指示情報に基づいて、重み設定部 12192から供給された N通りの重みを付けた拘束条件式をそれぞれ生成し、その N通りの拘束条件式を正規方程式生成部 12194 に供給する。即ち、不満領域指示情報が入力された場合、拘束条件式生成部 12193は、処理領域のうちの、不満領域指示情報が表す不満領域の各水平ラインの画素に対応する拘束条件式に N通りの重みを付けた N 通りの拘束条件式を生成する。例えば、図 1 52 A乃至図 1 52 Cに示したように、処理領域の水平ラインが 8個の画素 # 0乃至 # 7で構成され、その各画素 # 0乃至 # 7の動きボケのない画素値を Q。乃至 Q₇で表す場合において、ユーザにより指示された不満領域が画素値 Q。乃至 Q₄ の 5つの画素 # 0乃至 # 4で構成されるとき、拘束条件式は、以下の式（1 5 5) 'で表される。

W(Q厂 Q₀) = 0

W ({½-()】） = 0

(Q₃-Q₂) = 0

(Q₄-Q₃) = 0

W(Q₅-Q₄) = 0

• - • (1 5 5) ' なお、式（1 55) において、 Wは重みを表し、拘束条件式生成部 1 ⁹3 は、重み Wが異なる N通りの式（1 5 5) で示される拘束条件式を生成する。式（1 54) における場合と同様に、重み Wの値が大きいほど、隣接画素の画素値の差分が小さいという拘束条件の重みが大きくなる。

ステップ S12196の処理後は、ステップ S12197に進み、正規方程式生成部 12194は、モデル方程式生成部 12191から供給された式（1 5 1) のモデル方程式に、拘束条件式生成部 12193から供給された N通りの式（1 54) または式（1 5 5) で示される拘束条件式をそれぞれ合わせて、水平ラインごとに N通りの正規方程式を生成し、その N通りの正規方程式を実世界波形推定部 12173に供給する。

この後、実世界波形推定部 12173は、正規方程式生成部 12194から供給された N通りの正規方程式を、例えば最小二乗誤差最小規範でそれぞれ解くことにより、処理領域の各水平ラインの画素の N通りの動きボケのない画素値 Qi を求める。

なお、上述した実世界推定処理は、処理領域内の水平方向に並ぶ画素（水平ライン）毎に行なわれる。即ち、実世界波形推定部 12173は、水平ライン毎に、処理領域の各画素の N通りの動きボケのない画素値 Q i を求める。そして、実世界波形推定部 12173は、処理領域内の全ての水平ラインにおいて、各画素の N通りの動きボケのない画素値 Q i を求めた後、処理領域の各画素の N通りの動きボケのない画素値 Q i を、画像生成部 12164に供給する。画像生成部 12164は、入力画像における処理領域の各画素の画素値 P i を、 N通りの動きボケのない画素値 Q i にそれぞれ置き換えた画像を、 N通りの出力画像として生成し、画像表示部 12165に供給して表示させる。

また、上述の処理では、不満領域がユーザにより指示された場合、拘束条件式生成部 12193は、不満領域以外に対する拘束条件式を生成しなかったが、不満領域以外に対する拘束条件式も、所定の重みを付けて、生成してもよい。この場合、例えば、拘束条件式生成部 12193は、図 1 5 2 A乃至図 1 5 2 C に示したように、処理領域の水平ラインが 8個の画素 # 0乃至 # 7で構成され、その各画素 # 0乃至 # 7の動きボケのない画素値を Q。乃至 Q₇で表す場合において、ユーザにより指示された不満領域が画素値 Q。乃至 Q₄の 5つの画素 # 0乃至 # 4で構成されるとき、画素値 Q ₅乃至 Q₇ の 3つの画素 # 5乃至 # 7に対しても所定の重み（例えば、不満領域の画素に対する重みとは異なる重み） Wを付けた拘束条件式を生成する。

図 1 6 6は、図 1 6 1の信号処理装置 4の処理の概要を説明する図である。図 1 6 6で示すように、ユーザは、入力画像 12211を見て、不満のある領域を、不満領域として指示する。そして、信号処理装置 4は、ユーザにより指示された不満領域の拘束条件式の重みを変更（設定〉し、 N通りの重みを付けた拘束条件式を用いて、 N通りの出力画像 12222-1 乃至 12222- N を生成して、表示する。ユーザは、 N通りの出力画像 12222- 1乃至 12222- Nを見て、その' N通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択する。図 1 6 6の例では、ユーザは、 N通りの出力画像 12222- 1乃至 12222- Nのうちの 12222- Nを選択している。信号処理装置 4は、ユーザから選択された出力画像 12222- Nを得るのに用いられた拘束条件式の重みを基準 4 008690

332

にして、不満領域の拘束条件式に、新たな N通りの重みを付け（重みを変更し）、その新たな N通りの重みに基づいて得られる新たな N通りの出力画像を表示することを繰り返す。

従って、ユーザは、出力画像の選択や不満領域の指示を行うだけで、簡単に最適な拘束条件を設定し、実世界 1の光信号により近似した画像を得ることができる。即ち、ユーザは、所望の画質の画像または所望の画質に近い画像を容易に得ることができる。

図 1 6 7は、図 1 1 1に示した信号処理装置 4の応用例の他の一実施の形態の構成例を示している。

なお、図 1 6 7は、例えば、一定方向に一定の速さで移動するという定常性を有するデータ 3の一例である動きボケ画像データから、実世界 1の光信号を推定する信号処理装置 4の一実施の形態の構成例を示している。即ち、この信号処理装置 4は、例えば、撮影時に被写体（オブジェクト）が動いたことにより、被写体がボケて撮影されてしまった画像（動きボケ画像）から、そのボケがない画像（動きボケのない画像）を推定する。従って、図 1 6 7の実施の形態では、入力画像として、移動しているオブジェクトを撮影することにより得られた動きボケが生じている動きボケ画像が、信号処理装置 4に入力される。なお、ここでは、入力画像として、水平方向（左から右方向）に一定の速さ (動き量）で移動しているオブジェクトを撮像して得られる画像を採用する。図 1 6 7において、処理領域設定部 12241、定常性設定部 12242、実世界推定部 12243、画像生成部 12244、画像表示部 12245、ユーザ I / F 12246は、図 1 1 1の処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I / F 10006にそれぞれ対応しており、基本的には、処理領域設定部 10001、定常性設定部 100ひ 2、実世界推定部 10003、面像生成部 10004、画像表示部 10005、ユーザ I / F 10006それぞれと同様の処理を行う。さらに、図 1 6 7において、実世界推定部 12243 は、モデル生成部 12251、方程式生成部 12252、実世界波形推定部 1²2δ3で構成されている。モデル生成部 12251、方程式生成部 12252、実世界波形推定部 12253は、図 1 1 1のモデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013にそれぞれ対応しており、基本的には、モデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013それぞれと同様の処理を行う。但し、図 1 6 7においては、ユーザがユーザ I / F 12246を操作することにより、ユーザ I / F 12246が出力する補助情報が、処理領域設定部 1²²⁴1 と実世界推定部 12243に供給されるようになっている。

即ち、図 1 6 7では、ユーザは、ユーザ I / F 12246を操作することにより、画像表示部 12245に表示された画像に対して、不満のある領域を不満領域として指示することができるようになつており、ユーザ I / F 12246は、ユーザが不満領域を指示する操作を行うと、その操作によって指定された領域としての不満領域を表す不満領域指示情報を、処理領域設定部 12241と実世界推定部 12243に供給する。さらに、図 1 6 7では、画像表示部 12245には、後述するように、複数の出力画像が表示されるが、ユーザは、ユーザ I Z F 12246 を操作することにより、画像表示部 12245に表示された出力画像を選択することができるようになつており、ユーザ I Z F 12246は、ユーザが出力画像を選択する操作を行うと、その操作によって選択された出力画像を表す選択情報を、捕助情報として、処理領域設定部 12241と実世界推定部 12243に供給する。

なお、ユーザ I Z F 12246を操作することにより不満領域を指示する方法としては、例えば、不満領域を囲む矩形によって指示する方法、不満領域をトリム（trim)することによって指示する方法、不満領域の中の任意の 1点以上をポインティングすることによって指示する方法などがあるが、ここでは、例えば、ユーザは、不満領域の中の任意の 1点を、ユーザ I / F 12246を操作することによりポインティングすることによって、不満領域を指示するものとする。この場合、ユーザ I / F 12246は、ユーザがポインティングした点を表す情報 4 008690

334

としての、例えば、その点の、画像上の座標を、不満領域指示情報として、処理領域設定部 12241と実世界推定部 12243に供給する。

次に、図 1 6 8のフローチャートを参照して、図 1 6 7の信号処理装置 4の処理について説明する。

まず最初に、ステップ S 12211 において、信号処理装置 4は、前処理を行い、ステップ S12212に進む。即ち、信号処理装置 4は、センサ 2 (図 1 ) からデータ 3として供給される、例えば 1フレームまたは 1フィールドの入力画像を、処理領域設定部 12241、定常性設定部 12242、実世界推定部 12243、画像生成部 12244、および画像表示部 12245に供給する。さらに、信号処理部 4は、画像表示部 12245に、入力画像を表示させる。

ステップ S 12212では、ユーザ I Z F 12246は、ユーザがユーザ I / F

12246を操作することにより、何らかのユーザ入力があつたかどうかを判定する。ステップ S12212において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S12213乃至 S12215 をスキップして、ステップ S 12216に進む。

また、ステップ S12212において、ユーザ入力があつたと判定された場合、即ち、ユーザが画像表示部 12245に表示された入力画像を見て、ユーザ Iノ F 12246を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップ S 12213に進み、ユーザ I / F 12246は、そのユーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。

ステップ S12213 において、ユーザ入力が終了指示であると判定された場合、即ち、例えば、画像表示部 12245に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じず、入力画像に対して信号処理を施さないで良いとして、信号処理装置 4の処理を終了するように、ユーザ I / F 12246を操作した場合、信号処理装置 4は処理を終了する。また、ステップ S12213において、ユーザ入力が終了指示でないと判定された場合、ステップ S 12214に進み、ユーザ I Z F 12246は、ユーザ入力が不満領域指示情報であるかどうかを判定する。ステップ S12214において、ユーザ入力が不満領域指示情報でないと判定された場合、ステップ S 12215をスキップして、ステップ S12216に進む。

一方、ステップ S12214において、不満領域指示情報の入力があつたと判定された場合、即ち、画像表示部 12245 に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じ、不満な箇所をボインティングするように、ユーザ I Z F 12246を操作した場合、ステップ S12215に進み、ユーザ i Z F 12246は、ユーザがユーザ I Z F 12246を操作することによってポインティングした点を表す不満領域指示情報を、補助情報として、処理領域設定部 1²241 と実世界推定部 12243に供給し、ステップ S12216に進む。

ステップ S 12216では、処理領域設定部 12241は、ユーザ I / F 12246から供給された補助情報としての不満領域指示情報に基づいて、例えば、不満領域を含む所定の矩形の領域を処理領域として設定し、その処理領域情報を、定常性設定部 12242、実世界推定部 12243、および画像生成部 12244に供給し、ステツプ S12217に進む。なお、この処理領域は、ユーザがユーザ I / F 12246 を操作して入力してもよい。

但し、ユーザ I Z F 12246から処理領域設定部 12241に不満領域指示情報が供給されなかった場合（ステップ S12212またはステップ S12214の処理直後にステップ S12216の処理が行われる場合）には、処理領域設定部 12241は、所定の処理（例えば、入力画像において、動きボケが生じている領域を検出する処理）を行うことにより、処理領域の設定を行う。

ステップ S12217では、定常性設定部 12242は、処理領域設定部 12241から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部 12242は、その処理領域の画像データにおいて欠落した実世界 1の光信号の定常性を表す情報として、処理領域に表示されたオブジェクトの動き量を設定し、その定常性を表す定常性情報を、実世界推定部 12243に供給して、ステップ S 12218に進む。なお、この動き量は、ユーザがユーザ I / F 12246を操作して入力しても良い。また、ここでは、定常性設定部 12242は、入力画像において、オブジェクトが水平方向に移動していることを前提として、その動きの大きさだけを表す動き量を定常性情報として設定するようにしたが、その他、オブジェクトの動きの大きさと方向を表す動きべクトルを、定常性情報として設定することも可能である。

ステップ S 12218では、実世界推定部 12243は、処理領域設定部 12241から供給された処理領域情報と、ユーザ I / F 12246から供給された不満領域指示情報に応じて、入力画像における処理領域内の画像データ（動きボケ画像データ）から、対応する実世界 1の光信号の動き量に基づいて、その実世界 1の光信号（動きボケのない画像）を複数である N通りの方法で推定する。

即ち、実世界推定部 12243では、モデル生成部 12251が、処理領域設定部 12241から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部 12242から供給される定常性情報から、処理領域の画像データに対応する実世界 1の光信号の動き量、つまり、ここでは、処理領域に表示されたオブジェクトの動き量を認識する。さらに、モデル生成部 12251は、入力画像における処理領域の各水平ラインを構成する画素と、その処理領域の画像データに対応する実世界 1の光信号の動き量に応じて、処理領域の各水平ラインの画素の画素値と実世界 1の光信号との関係をモデル化した関係モデルを処理領域の水平ラインごとに生成し、方程式生成部 12252に供給する。

方程式生成部 12252は、処理領域設定部 12241から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域に応じて、入力画像の各画素の画素値を、モデル生成部 12251から供給される処理領域の水平ラインごとの関係モデルに代入し、これにより'、実世界 1の光信号を近似する近似モデルとしての近似関数を求める方程式を生成する。さらに、方程式生成部 12252は、処理領域情報と入力画像の特徴量に基づいて、近似関数を拘束する拘束条件式に N通りの重みを付けた、 N通りの拘束条件式を生成する。方程式生成部 12252は、実世界 1の光信号を近似する近似モデルとしての近似関数を求める方程式と N通りの拘束条件式のそれぞれとを合わせて、 N通りの正規方程式を生成し、実世界波形推定部 12253に供給する。

実世界波形推定部 12253は、方程式生成部 12252から供給される N通りの正規方程式をそれぞれ演算することにより、 N通りの実世界 1の光信号の波形を推定する。即ち、実世界波形推定部 12253は、方程式生成部 12252から供給される N通りの正規方程式をそれぞれ解くことにより、実世界 1の光信号をモデル化した近似モデルとしての N通りの近似関数を求め、 N通りの実世界 1 の光信号の波形の推定結果として、画像生成部 12244に供給する。

なお、以下、このような実世界推定部 12243が実行するステップ S12218の処理を、「実世界の推定処理」と称する。「実世界の推定処理」の詳細については、図 1 6 9のフローチャートを参照して後述する。

ステップ S 12218の処理後は、ステップ S12219に進み、 '画像生成部 12244 は、実世界推定部 12243 (の実世界波形推定部 12253) から供給された、実世界 1の光信号の波形を近似する N通りの近似関数に基づいて、実世界 1の光信号により近似した N通りの信号を生成する。即ち、画像生成部 12244は、処理領域設定部 12241から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部 12243から供給される N通りの近似関数に基づき、実世界 1の光信号により近似した N通りの近似画像（動きボケのない画像）を生成する。

さらに、画像生成部 12244は、入力画像の処理領域の部分を、 N通りの近' 似画像（動きボケのない画像）に置き換えた画像を、 N通りの出力画像として生成し、画像表示部 12245 に供給して、ステップ S 12219から S12220に進む。ステップ S 12220では、画像表示部 12245は、画像生成部 12244から供給された N通りの出力画像を、ステップ S 1221 1で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップ S12221に進む。

ステップ S 12221では、ユーザ I Z F 12246は、ユーザがユーザ I / F 12246を操作することにより、選択情報の入力があつたかどうかを判定する。即ち、ステップ S12220では、画像表示部 12245において、 N通りの出力画像が表示されるが、その N通りの出力画像を見たユーザが、その N通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択する選択情報の入力を、ユーザ I Z F 12246を操作することにより行ったかどう力が、ステツプ S12221において判定される。

ステップ S 12221において、選択情報の入力がなかったと判定された場合、ステップ S12224に進み、ステップ S12213における場合と同様に、ユーザ I Z F 12246は、終了指示の入力があつたかどうかを判定する。

ステップ S12224において、終了指示の入力があつたと判定された場合、信号処理装置 4は、処理を終了する。

また、ステップ S 12224において、終了指示の入力がなかったと判定された場合、ステップ S12221に戻り、以下、同様の処理を繰り返す。

一方、ステップ S 12221において、選択情報の入力があつたと判定された場合、即ち、画像表示部 12245 に表示された N通りの出力画像を見たユーザが、その N通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択した場合、ステップ S12222に進み、ユーザ I Z F 12246は、ユーザがユーザ I 12246を操作することにより、ユーザが選択した出力画像を、最終的な出力画像として確定する確定指示の入力があったか.どうかを判定する。ステップ S12222において、確定指示の入力があつたと判定された場合、ステツプ S 12223に進み、画像表示部 12245は、例えば、その画面全体に、ユーザが選択した出力画像を表示し、処理を終了する。また、ステップ S 12222において、確定指示の入力がなかったと判定された場合、即ち、ユーザが、選択した出力画像の画質に不満があり、再度処理を行うために、確定指示の入力を行わなかった場合、ステップ S12215に戻り、ュ一ザ I / F 12246は、ユーザが選択した出力画像を表す選択情報を、補助情報として、処理領域設定部 12241 と実世界推定部 12243に供給し、ステップ S12216, S12217, 12218に順次進む。ステップ S12216の処理領域の設定処理とステップ S12217の定常性の設定処理では、前回設定された処理領域と定常性が設定される。そして、その処理領域情報が定常性設定部 12242、実世界推定部 12243、および画像生成部 12244に供給され、その定常性情報が実世界推定部 12243に供給される。なお、 2回目以降に行われるステップ S12216およぴ S12217の処理は、スキップすることができる。

ステップ S12218では、実世界推定部 12243は、ユーザ Iダ F 12246から供給された補助情報としての選択情報に基づいて、その実世界 1の光信号（動きボケのない画像）を新たな N通りの方法で推定する。

即ち、この場合、ステップ S12218では、実世界推定部 12243の方程式生成部 12252では、ユーザ I / F 12246から供給された捕助情報としての選択情報が表す出力画像を得るのに用いられた拘束条件式を基準に、新たな N通りの拘束条件式を設定する。方程式生成部 12252は、実世界 1の光信号を近似する近似モデルとしての近似関数を求める方程式と、新たな N通りの拘束条件式のそれぞれとを合わせて、新たな N通りの正規方程式を生成し、その新たな N通りの正規方程式を実世界波形推定部 12253に供給する。さらに、実世界波形推定部 12253は、方程式生成部 12252か供給される新たな N通りの正規方程式をそれぞれ演算することにより、新たな N通りの実世界 1の光信号の波形を推定する。そして、ステップ S12218から S12219に進み、以下、同様の処理が繰り返される。 08690

340

即ち、これにより、ステップ S 12215乃至 S 12224の処理が繰り返され、最終的には、出力画像に対するユーザの不満が解消された、ユーザが所望する画質の出力画像が得られる。

次に、図 1 6 9のフローチャートを参照して、実世界推定部 12243 (図 1 6 7 ) の実世界の推定処理（図 1 6 8のステップ S12218の処理）について詳細に説明する。

ステップ S 12231において、モデル生成部 12251は、関係モデルを生成する。即ち、モデル生成部 12251が、処理領域設定部 12241から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部 12242から供給される定常性情報から、処理領域の画像データに対応する動き量を認識する。さらに、モデル生成部 12251は、入力画像における処理領域について、その処理領域の水平ラインを構成する画素と、その処理領域の画像データに対応する動き量に応じて、処理領域内のセンサ 2で検出された各画素の画素値と、実世界 1の光信号を近似する近似モデルで表される動きボケのな 4 008690

341

い画像との関係をモデル化した関係モデルを、処理領域の水平ラインごとに生成し、方程式生成部 12252に供給する。そして、モデル生成部 12²⁵1は、ステツプ S 12231からステップ S 12232に進む。

具体的には、モデル生成部 12251は、処理領域の水平ラインの画素数と動き量に応じて、図 1 4 8 A乃至図 1 4 8 Cで説明した、処理領域の各水平ラインの画素の画素値 P i と、動きボケのなぃ_画素値 Q i との関係を表す式を関係モデルとして生成する。例えば、処理領域の水平ラインの画素数が 8であり、動き量 Vが 5である場合、関係モデルとして、上述した式（1 5 1 ) が生成される。

ステップ S 12232では、方程式生成部 12252は、方程式生成処理を行う。即ち、方程式生成部 12252は、処理領域設定部 12241から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、その処理領域を構成する入力画像の各画素の画素値を、モデル生成部 1²251から供給される、その処理領域の各水平ラインに対して得られた関係モデルに代入し、これにより、実世界 1の光信号を近似する近似関数で表される、動きボケのない画素値 Q i を求める式（1 5 1 ) の方程式（モデル方程式）を生成する。さらに、方程式生成部 12252は、処理領域設定部 12241から供給される処理領域情報から認識される処理領域の水平ラインにおける実世界 1の光信号を近似する近似モデルを拘束する拘束条件式を生成する。即ち、式（1 5 1 ) のモデル方程式は、求めたい変数である動きボケのない画素値の方が、方程式の数より多いため、動きボケのない画素値 Q i を求めるには、方程式の総数を動きボケのない画素値 Q i の数以上とする方程式を導入する必要がある。ここで、方程式生成部 12252は、隣接する画素の、近似関数で表される動きボケのない画素値 Q i の差が小さい（空間相関がある）という拘束条件式を生成する。このとき、方程式生成部 12252は、ユーザにより指示された不満領域の画素と、処理領域内における不満領域の画素と類似（同一を含む）の特徴量を有する画素に対して、重みを付けた拘束条件式を生成する。但し、不満領域に対する重み付けの仕方により画質の異なる出力画像が得られるため、方程式生成部 12252は、 N通りの重み付けた拘束条件式を生成する。その結果、信号処理装置 4では、 N通りの出力画像が生成されて、表示される。そして、ユーザは、その N通りの出力画像を見て、その中から所望の画質の画像または所望の画質に近い画像を選択する。

従って、動きボケのない画像が平坦ではなく、例えば、何らかの模様があり、アクティビティの高い画像である場合においても、ユーザが所望する画質の動きボケのない画像が得られる。即ち、方程式生成部 12252は、ユーザにより不満のある領域であると指示された領域に対して、 N通りの重みを付けた、隣接画素の動きボケのない画素値の差は小さいという拘束条件式を生成する。ュ一ザは、その結果得られる N通りの出力画像から所望の画質の画像が選択することができるので、不満のある領域に対して最適な拘束条件を設定し、所望する画質の画像を容易に得ることができる。

また、方程式生成部 12252は、不満領域の画素だけでなく、不満領域の画素と類似する特徴量を有する処理領域内の画素に対しても、不満領域の画素と同一の N通りの拘束条件式を生成するので、不満領域の画素と類似の特徴量を有する画素に対して同一の拘束条件式を与えたい場合、ユーザは不満領域とする画素すベてを指示する必要がなく、不満領域とするある画素を指示するだけで、容易に、その指示した画素と類似の特徴量を有する画素に対して最適な拘束条件を設定することができる。従って、ユーザの負担を軽減することができる。

方程式生成部 12252は、モデル方程式を生成するとともに、不満領域指示 ' 情報に基づいて、不満領域の画素と、不満領域の画素と類似の特徴量を有する処理領域内の画素に対して、 N通りの重みを付けた拘束条件式を生成し、生成されたモデル方程式と N通りの拘束条件式のそれぞれとを合わせて、 N通りの正規方程式を生成する。方程式生成部 12252 は、その N通りの正規方程式を、実世界波形推定部 12253に供給して、ステップ S 12232からステップ S 12233 に進む。

なお、以下、このような方程式生成部 12252が実行するステップ S 12232の処理を、「方程式生成処理」と称する。「方程式生成処理」の詳細については、図 1 7 1のフローチャートを参照して後述する。

ステップ S 12233において、実世界波形推定部 12253は、方程式生成部 12252から供給される、処理領域の各水平ラインについての N通りの正規方程式を解くことにより、 N通りの実世界 1の光信号の波形を推定、即ち、 N通りの近似関数で表される動きボケのない画素値 Q i を求め、その N通りの画素値を、画像生成部 12244に供給する。

次に、図 1 7 0は、図 1 6 7の方程式生成部 12252の詳細構成例を示している。

図 1 7 0では、方程式生成部 12252は、モデル方程式生成部 12271、特徴量抽出部 12272、特徴量空間 LUT (Look Up Tabl e) 生成部 12273、重み設定部 12274、拘束条件式生成部 12275、および正規方程式生成部 12276から構成されている。

図 1 7 0に構成を示す方程式生成部 12252 には、モデル生成部 12251 から、処理領域の水平ラインごとに得られる、処理領域内のセンサ 2で検出される各画素の画素値（動きボケ画像の画素値）と、動きボケのない画素値との関係をモデル化した関係モデルが入力され、モデル方程式生成部 12271に供給される。また、方程式生成部 12252には、入力画像が、センサ 2 (図 1 ) から入力され、その入力画像は、モデル方程式生成部 12271と特徴量抽出部 12272 に供給される。

さらに、方程式生成部 12252には、処理領域情報が、処理領域設定部 12241 から入力され、その処理領域情報が、モデル方程式生成部 12²71と特徴量抽出部 12272に供給される。また、方程式生成部 12252には、補助情報として不満領域指示情報または選択情報が、ユーザ I Z F 12246から入力され、その不満領域指示情報は、特徴量空間 LUT生成部 12273に、選択情報は、特徴量空間 LUT生成部 12273と重み設定部 12274にそれぞれ供給される。 .

モデル方程式生成部 12271は、処理領域情報から入力画像の処理領域を認識し、モデル生成部 12251から供給された処理領域の水平ラインごとの関係モデルの動きボケ画像の各画素の画素値 P i として、入力画像の処理領域における画素値を代入して、処理領域の水平ラインごとにモデル方程式を生成する。そして、モデル方程式生成部 12271は、正規方程式生成部 12²⁷6に、そのモデル方程式を供給する。

特徴量抽出部 12272は、処理領域設定部 12241から入力された処理領域情報と入力画像から、処理領域を構成する画素（の画素値）を認識し、その処理領域を構成する各画素について、複数種類の特徴量を抽出（検出）する。そして、特徴量抽出部 12272は、その処理領域の各画素の複数種類の特徴量を特徴量空間 LUT生成部 12273に供給する。

ここで、画素の複数種類の特徴量としては、例えば、その画素に隣接する画素との画素値の差分（1次微分）や、その差分の差分（2次微分）、画素値としての輝度と色差との比、動きベクトル、隣接するフレームの同一位置にある画素との画素値の差分、その他アクティビティを表す任意の値などを採用することが可能である。

特徴量空間 LUT生成部 12273は、特徴量抽出部 12272から供給された処理領域の各画素の複数種類の特徴量ごとに、その処理領域の各画素をクラス分け (クラス分類）した特徴量空間 LUTを生成する。

また、特徴量空間 LUT生成部 12273は、ユーザ I Z F 12246から入力される不満領域指示情報に基づき、処理領域内の画素の中から、不満領域の画素と、その画素と同一のクラスの特徴量を有する画素を選択（抽出）し、拘束条件式によって拘束する対象の拘束対象画素として、その拘束対象画素の情報を拘束条件式生成部 12275に供給する。 690

345

さらに、特徴量空間 LUT生成部 12273は、ユーザ I / F 12246から選択情報が入力された場合、即ち、ユーザが N通りの出力画像を見て、ユーザ I / F 12246 を操作することにより所望の画像または所望に近い画像を選択した場合、生成した特徴量空間 LUTに、不満領域の画素の属するクラスに対して、選択情報が表す出力画像を得るのに用いられた拘束条件式に対する重みを記憶させる。特徴量空間 LUT生成部 12273は、ユーザ I Z F 12246から選択情報の入力が繰り返されると、特徴量空間 LUTの、不満領域の画素の属するクラスに対して、前回記憶された重みに代え、今回選択された出力画像を得るのに用いられた拘束条件式に対する重みを記憶させ、最終的には、不満領域の画素の属するクラスに対して、最適な重みを記憶させる。

このように、特徴量空間 LUTには、不満領域の画素の属するクラスに対して、そのクラスが表す特徴量を有する画素にとって最適な重みが記憶されるので、特徴量空間 LUTに、そのような最適な重みが記憶された後は、その特徴量空間 LUTにしたがい、各特徴量の画素に対応する拘束条件式に対する重みを、その画素の属するクラスに記憶された重みとすることにより、ユーザが不満領域を指示しなくても、任意の入力画像に対して、ユーザが所望する画質の出力画像を得ることが可能となる。

重み設定部 12274は、ユーザ I Z F 12246から入力された選択情報に基づいて、拘束条件式に付ける N通りの重みを設定し、その N通りの重みを、拘束条件式生成部 12275に供給する。拘束条件式生成部 1227⁵は、特徴量空間 LUT 生成部 12273から供給された拘束対象画素に対して、重み設定部 12274で設定された N通りの重みに基づいて、 N通りの所定の拘束条件式をそれぞれ生成し、その N通りの拘束条件式を正規方程式生成部 12276に供給する。

正規方程式生成部 12276は、モデル方程式生成部 12271から供給されたモデル方程式と、拘束条件式生成部 12275から供給された N通りの拘束条件式のそれぞれを合わせて、 N通りの正規方程式を生成し、実世界波形推定部 12253に供給する。次に、図 1 7 1のフローチャートを参照して、方程式生成部 12252 (図 1 7 0 ) の方程式生成処理（図 1 6 9のステップ S 12232の処理）について詳細に説明する。

ステップ S 12251において、モデル方程式生成部 12271は、モデル生成部 12251から処理領域の水平ラインごとの関係モデルを取得し、ステップ

S12252に進む。ステップ S12252において、モデル方程式生成部 12271は、センサ 2から入力画像を取得するとともに、処理領域設定部 12241から処理領域情報を取得する。そして、モデル方程式生成部 12271は、その入力画像と処理領域情報から、処理領域内の各画素の画素値 P i を認識し、その画素値 P i を、モデル生成部 12251から取得した式（1 5 1 ) の関係モデルに代入することにより、処理領域の水平ラインごとにモデル方程式を生成する。さらに、モデル方程式生成部 12271は、そのモデル方程式を正規方程式生成部 12276 に供給する。即ち、例えば、モデル方程式生成部 12271が、上述した式（1 5 1 ) で表される関係モデルを、モデル生成部 12251から取得した場合、式 ( 1 5 1 ) の画素値 P ₄乃至 P ₇ に入力画像の画素値を代入することで、モデル方程式を生成する。

ステップ S 12252の処理後は、ステップ S12253に進み、特徴量抽出部

12272は、入力画像の特徴量を抽出し、特徴量空間 LUT生成部 12273に供給する。即ち、特徴量抽出部 12272は、処理領域設定部 12241から処理領域情報を取得し、入力画像を取得する。そして、特徴量抽出部 12272は、.その処理領域情報から、入力画像の処理領域内の画像データを認識し、処理領域内の画素毎に複数種類の特徴量を抽出して、その複数種類の特徴量を、特徴量空間 LUT生成部 12273に供給する。

ステップ S 12253の処理後は、ステップ S12254に進み、特徴量空間 LUT生成部 12273は、特徴量抽出部 12272から供給された複数種類の特徴量に基づいて、処理領域内の各画素を、クラス分類し、特徴量空間 LUTを生成する。なお、ある処理領域について、特徴量空間 LUTが既に生成されており、ュ一ザ I Z F 12246から選択情報が入力された、即ち、ユーザが N通りの出力画像を見て、所望の画像または所望に近い画像を選択した場合には、特徴量空間 LUT生成部 12273は、ステップ S12253と ' S 12254の処理に代えて、選択情報が表す出力画像を得るのに用いられた重みを、ユーザによって指示された不満領域の画素（ユーザによって不満領域が指示されていない場合は、処理領域の画素）の属するクラスに対して、 LUT値として特徴量空間 LUTに記億させる。特徴量空間 LUT生成部 12273は、ユーザ I ZF 12246から選択情報の入力が繰り返されると、不満領域の画素の特徴量クラスに対して、前回記憶された重みに代え、今回選択された出力画像を得るのに用いられた拘束条件式に対する重みを記憶し、最終的には、不満領域の画素の属するクラスに対して、最適な重みを記憶させる。

この場合、方程式生成部 12252は、特徴量空間 LUTに記億された拘束条件式の重みを、他の入力画像に対しても適用することができる。即ち、他の入力画像が新たに入力された場合、方程式生成部 12252は、その入力画像の処理領域内の画素毎に複数種類の特徴量を抽出し、その複数種類の特徴量に基づいて処理領域内の各画素をクラス分類する。方程式生成部 122δ2は、特徴量空間 LUTのクラスのうちの、クラス分類によって得られる処理領域の各画素のクラスと同一のクラスに対して LUT値として既に記億された重みを、その画素に対応する拘束条件式に対する重みとして設定する。この場合、ユーザは、入力画像ごとに最適な重みを設定する必要がなく、ユーザの負担が軽減される。なお、新たな入力画像が入力されるたびに、特徴量空間 LUTを新たに生成または更新してもかまわない。

ステップ S 12254の処理後は、ステップ S 12255に進み、特徴量空間 LUT生成部 12273は、拘束条件によって拘束する拘束対象画素を決定し、拘束条件式生成部 12275に供給して、ステップ S12256に進む。即ち、特徴量空間 LUT 生成部 12273は、ユーザ I F 12246から不満領域指示情報を取得し、ステツプ S12254で生成した特徴量空間 LUTに基づいて、不満領域の画素と、その画素と同一の特徴量のクラス（特徴量クラス）に属する画素を、拘束対象画素として決定し、拘束条件式生成部 12275に供給する。

ここで、ユーザが不満領域を指示せず、ユーザ I / F 12246から不満領域指示情報が入力されない場合は、特徴量空間 LUT生成部 1²273は、例えば、処理領域のすべての画素を、拘束条件式の対象となる拘束対象画素に決定する。ステップ S 12256では、重み設定部 12274は、 N通りの重みを設定してそれぞれの重みを拘束条件式生成部 12275に供給し、ステップ S12257に進む。ここで、重み設定部 12274は、ユーザ I Z F 12246から選択情報が入力された場合、その選択情報が表す出力画像を得るのに用いられた重みを基準に、新たな N通りの重みを設定する。即ち、重み設定部 12274は、最初に重みを設定する場合、例えば、 0 . 5を中心として、 0乃至 1の範囲內で等間隔に、 N通りの重みを設定する。そして、重み設定部 12274は、ユーザ I Z F 12246から選択情報が入力された場合、その選択情報が表す出力画像を得るのに用いられた重みを中心として、前回の重みの設定時よりも細かい等間隔で（伹し、 0乃至 1の範囲）、新たな N通りの重みを設定する。

従って、ユーザが前回の処理で出力された N通りの出力画像の中から所望するものを選択すると、その選択結果を踏まえて、新たな N通りの重みが設定されるので、ユーザは N通りの出力画像の中から所望するものの選択を繰り返すことにより、最終的には、ユーザが所望する画質の出力画像が得られる重みが設定され、その結果、ユーザが所望する画質の出力画像が得られる。

ステップ S12257では、拘束条件式生成部 12275は、ステップ Sl²2⁵⁵で決定された拘束対象画素に対して、ステップ S12256で設定された N通りの重み' に基づいて、拘束条件式を生成する。即ち、拘束条件式生成部 12275は、拘束対象画素に対して N通りの重みを付けた拘束条件式を生成する。そして、拘束条件式生成部 12275は、生成した N通りの拘束条件式を正規方程式生成部 12276に供給する。例えば、拘束対象画素の水平ラインの画素数が、例えば、図 1 5 2 A乃至図 1 5 2 Cに示したように 8個であり、拘束対象画素の動きボケのない画素値を Q。乃至 Q₇で表す場合、拘束条件式は、上述した式（1 5 4 ) で表される。拘束条件式生成部 12275は、重み Wが異なる N通りの式（1 5 4 ) で示される拘束条件式を生成する。

ステップ S 12257の処理後は、ステップ S 12258に進み、正規方程式生成部 12276は、モデル方程式生成部 12271から供給されたモデル方程式に、拘束条件式生成部 12275から供給された N通りの拘束条件式をそれぞれ合わせて、 N通りの正規方程式を生成し、その N通りの正規方程式を実世界波形推定部 12253に供給する。

この後、実世界波形推定部 12253は、正規方程式生成部 12276から供給された N通りの正規方程式を、例えば、最小二乗誤差最小規範でそれぞれ解くことにより、処理領域内の各水平ラインの画素の N通りの動きボケのない画素値 Q i を求める。

なお、上述した実世界推定処理は、処理領域内の水平方向に並ぶ画素（水平ライン）毎に行なわれる。即ち、実世界波形推定部 12253は、水平ライン毎に、処理領域の各画素の N通りの動きボケのない画素値を求める。そして、実世界波形推定部 12253は、処理領域内の全ての水平ラインにおいて、各画素の N通りの動きボケのない画素値を求めた後、処理領域の各画素の N通りの動きボケのない画素値を、画像生成部 12244 に供給する。画像生成部 1²²44 は、入力画像の処理領域の各画素の画素値を、 N通りの動きボケのない画素値にそれぞれ置き換えた画像を、 N通りの出力画像として生成し、画像表示部 12245 に供給して、表示させる。

また、上述の処理では、拘束条件式生成部 12275は、拘束対象画素以外に対する拘束条件式は生成しなかったが、拘束対象画素以外に対する拘束条件式も、所定の重みを付けて、生成してもよい。例えば、拘束条件式生成部 12²75 では、図 1 5 2 A乃至図 1 5 2 Cに示したように、処理領域の水平ラインが 8 個の画素 # 0乃至 # 7で構成され、その各画素 # 0乃至 # 7の動きボケのない画素値を Q。乃至 Q₇で表す場合において、拘束対象画素が画素値 Q。乃至 Q₄ の 5つの画素 # 0乃至 # 4で構成されるとき、画素値 Q₅乃至 Q₇ の 3つの画素 # 5乃至 # 7に対しても所定の重み（例えば、拘束対象画素に対する重みとは異なる重み） Wを付けた拘束条件式を生成することができる。

図 1 7 2 Aと図 1 7 2 Bは、図 1 6 7の信号処理装置 4の処理の概要を説明する図である。なお、ここでは、処理領域の画素の特徴量として、例えば、 3 つの特徴量 A， B , Cが抽出され、特徴量空間 LUT が構成されるものとする。図 1 7 2 Aと図 1 7 2 Bの例では、 3つの特徴量 A乃至 Cのうちの、例えば 2つの特徴量 Aと Cだけに注目し、横軸を特徴量 Aとするとともに、縦軸を特徴量 Cとして、特徴量空間 LUT12281を示している。

図 1 7 2 Aおよび図 1 7 2 Bに示すように、ユーザは、入力画像 12280を見て、不満のある領域を、不満領域として指示する（ポインティングする）。そして、信号処理装置 4は、ユーザにより指示された不満領域に基づいて処理領域を設定し、その処理領域内の入力画像データから、画素毎に特徴量 A乃至 Cを抽出する。信号処理装置 4は、特徴量 A乃至 Cそれぞれに基づいて、処理領域の各画素をクラス分類した、特徴量空間 LUT12281を生成する。即ち、信号処理装置 4は、画素の特徴量 A乃至 Cで規定する特徴量空間において、その画素の特徴量 A乃至 Cをコンポーネントとするベタトルが属する部分空間によつて、画素をクラス分類し、その部分空間としてのクラス（特徴量クラス）と、画素とを対応付けた特徴量空間 LUT12281を生成する。なお、図 1 7 2 Aおよび図 1 7 2 Bでは、上述したように、特徴量 Aと Cだけに注目した特徴量空間 LUT12281を示している。また、特徴量空間 LUT12281のマス目は、特徴量空間の部分空間としての特徴量クラスを表している。

信号処理装置 4は、特徴量 LUT12281から、ユーザによって指示された不満領域の画素の特徴量クラス 12282を認識し、その特徴量クラス 12282に分類された全ての画素を、拘束対象画素として設定する。さらに、信号処理装置 4 は、 N通りの重みを設定し、拘束対象画素に対して、 N通りの重みそれぞれを付けた拘束条件式を生成して、その N通りの拘束条件式を用いて得られる N通りの出力画像を表示する。

なお、図 1 7 2 Aと図 1 7 2 Bは、拘束対象画素に対して異なる重みを付けた拘束条件式から得られた出力画像 12283と出力画像 12284が表示された例をそれぞれ示している。なお、出力画像 12283上の丸印と出力画像 12284上の三角印は、拘束対象画素を表している。

信号処理装置 4は、図 1 7 2 Aおよび図 1 7 2 Bで説明した出力画像を、 N 通り生成して表示する。そして、ユーザは、その N通りの出力画像の中から、所望の画像または所望の画像に近い画像を選択し、信号処理装置 4は、その選択された画像を得るのに用いた重みを基準として、新たな N通りの重みを設定することを繰り返す。

従って、ユーザは、簡単に最適な重みと拘束対象画素を設定し、実世界 1の光信号により近似した画像を得ることができる。即ち、ユーザは、所望の画質の画像または所望の画質に近い画像を容易に得ることができる。また、不満領域と同一の特徴量クラスの画素に対して、拘束条件式が生成されるので、ユーザは、不満領域とする画素全てを指示する必要がなく、ユーザの負担を軽減することができる。

なお、図 1 7 2 Aおよび図 1 7 2 Bでは、画素から抽出される 3つの特徴量 A乃至 Cのうちの 2つの特徴量 Aと Cに注目し、その 2つの特徴量 Aと Cのクラスが不満領域の画素と同一の画素を拘束対象画素とすることとしたが、その他、例えば、特徴量 A乃至 Cの全てのクラスまたはいずれか 1のクラスが不満領域の画素と同一の画素を、拘束対象画素とすることが可能である。また、特徴量 Aと Bや、特徴量 Bと Cだけに注目して、拘束対象画素を決定することも可能である。ここで、どの特徴量に注目するかは、例えば、ユーザによる操作に基づいて決定することが可能である。また、信号処理装置 4では、注目する特徴量だけ抽出するようにすることが可能である。 4 008690

352

図1 7 3は、図 1 1 1に示した信号処理装置 4の応用例の他の一実施の形態の構成例を示している。

なお、図 1 7 3は、例えば、一定方向に一定の速さで移動するという定常性を有するデータ 3の一例である動きボケ画像データから、実世界 1の光信号を推定する信号処理装置 4の一実施の形態の構成例を示している。即ち、この信号処理装置 4は、例えば、撮影時に被写体（オブジェクト）が動いたことにより、被写体がボケて撮影されてしまった画像（動きボケ画像）から、そのボケがない画像（動きボケのない画像）を推定する。従って、図 1 7 3の実施の形態では、入力画像として、移動しているオブジェクトを撮影することにより得られた動きボケが生じている動きボケ画像が、信号処理装置 4に入力される。なお、ここでは、入力画像として、水平方向（左から右方向）に一定の速さ (動き量）で移動しているォブジェクトを撮像して得られる画像を採用する。図 1 7 3において、処理領域設定部 12291、定常性設定部 12292、実世界推定部 12293、画像生成部 12294、画像表示部 12295、ユーザ I Z F 12296は、図 1 1 1の処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I ZF 10006にそれぞれ対応しており、基本的には、処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I Z F 10006それぞれと同様の処理を行う。さらに、図 1 7 3において、実世界推定部 12293 は、モデル生成部 12301、方程式生成部 12302、実世界波形推定部 12303で構成されている。モデル生成部 12301、方程式生成部 12302、実世界波形推定部 12303は、図 1 1 1のモデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013にそれぞれ対応しており、基本的には、モデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013それぞれと同様の処理を行う。但し、図 1 7 3においては、ユーザがユーザ I ZF 12296を操作することにより、ユーザ I / F 12296が出力する補助情報が、処理領域設定部 1²291と実世界推定部 12293に供給されるようになつている。即ち、図 1 7 3では、ユーザは、ユーザ I Z F 12296 を操作することにより、画像表示部 12295に表示された画像に対して、不満のある領域を不満領域として指示することができるようになつており、ユーザ I Z F 12296は、ユーザが不満領域を指示する操作を行うと、その操作によって指定された領域としての不満領域を表す不満領域指示情報を、処理領域設定部 12291と実世界推定部 12293に供給する。さらに、図 1 7 3では、画像表示部 12295には、後述するように、複数の出力画像が表示されるが、ユーザは、ユーザ I Z F 12296 を操作することにより、画像表示部 12295に表示された出力画像を選択することができるようになつており、ユーザ I Z F 12296は、ユーザが出力画像を選択する操作を行うと、その操作によって選択された出力画像を表す選択情報を、補助情報として、処理領域設定部.12291と実世界推定部 12293に供給する。

なお、ユーザ I / F 12296を操作することにより不満領域を指示する方法としては、例えば、不満領域を囲む矩形によって指示する方法、不満領域をトリム（trim)することによって指示する方法、不満領域の中の任意の 1点以上をポインティングすることによって指示する方法などがあるが、ここでは、例えば、ユーザは、不満領域の中の任意の 1点を、ユーザ I / F 122%を操作することによりポインティングすることによって、不満領域を指示するものとする。この場合、ユーザ I ZF 12296は、ユーザがポインティングした点を表す情報としての、例えば、その点の、画像上の座標を、不満領域指示情報として、処理領域設定部 12291と実世界推定部 12293に供給する。

次に、図 1 7 4のフローチャートを参照して、図 1 7 3の信号処理装置 4の処理について説明する。

まず最初に、ステップ S12271 において、信号処理装置 4は、前処理を行い、ステップ S12272に進む。即ち、信号処理装置 4は、センサ 2 (図 1 ) からデータ 3として供給される、例えば 1フレームまたは 1フィールドの入力画像を、処理領域設定部 12291、定常性設定部 12292、実世界推定部 12293、画像生成 690

354

部 12294、および画像表示部 12295に供給する。さらに、信号処理装置 4は、画像表示部 12295に、入力画像を表示させる。

ステップ S12272では、ユーザ I / F 12296は、ユーザがユーザ I / F 122%を操作することにより、何らかのユーザ入力があつたかどうかを判定する。ステップ S12272において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S12273乃至 S12275 をスキップして、ステップ S 12276に進む。

また、ステップ S 12272において、ユーザ入力があつたと判定された場合、即ち、ユーザが画像表示部 ₁₂₂₉₅に表示された入力画像を見て、ユーザ I / F 12296を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップ S 12273に進み、ユーザ I / F 12296は、そのユーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。

ステップ S12273 において、ユーザ入力が終了指示であると判定された場合、即ち、例えば、画像表示部 12295に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じず、入力画像に対して信号処理を施さないで良いとして、信号処理装置 4の処理を終了するように、ユーザ I 7 F 12296を操作した場合、信号処理装置 4は処理を終了する。

また、ステップ S 12273において、ユーザ入力が終了指示でないと判定された場合、ステップ S 12274に進み、ユーザ I / F 12296は、ユーザ入力が不満領域指示情報であるかどうかを判定する。ステップ S12274において、ユーザ入力が不満領域指示情報でないと判定された場合、ステップ S 12275をスキップして、ステップ S12276に進む。

一方、ステップ S12274において、不満領域指示情報の入力があつたと判定された場合、即ち、画像表示部 12295 に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じ、不満な箇所をボインティングするように、ユーザ I Z F 12296を操作した場合、ステップ S12275に進み、ユーザ I , F 12296は、ユーザがユーザ I / F 12296を操作することによってポィンティングした点を表す不満領域指示情報を、補助情報として、処理領域設定部 12291 と実世界推定部 12293に供給し、ステップ S12276に進む。

ステップ S12276では、処理領域設定部 12291は、ユーザ I Z F 12296から供給された補助情報としての不満領域指示情報に基づいて、例えば、不満領域を含む所定の矩形の領域を処理領域として設定し、その処理領域情報を、定常性設定部 12292、実世界推定部 12293、および画像生成部 12294に供給し、ステツプ S12277に進む。なお、この処理領域は、ユーザがユーザ I ZF 12296 を操作して入力してもよレ、。

伹し、ユーザ I / F 12296から処理領域設定部 12291に不満領域指示情報が供給されなかった場合（ステップ S12272またはステップ S12274の処理直後にステップ S12276の処理が行われる場合）には、処理領域設定部 12291は、所定の処理（例えば、入力画像において、動きボケが生じている領域を検出する処理）を行うことにより、処理領域の設定を行う。

ステップ S12277では、定常性設定部 12292は、処理領域設定部 12291から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部 12292は、その処理領域の画像データにおいて欠落.した実世界 1の光信号の定常性を表す情報として、処理領域に表示されたォブジェクトの動き量を設定し、その定常性を表す定常性情報を、実世界推定部 122S3に供給して、ステップ S 12278に進む。なお、この動き量は、ユーザがユーザ I Z F 12296を操作して入力しても良い。また、ここでは、定常性設定部 12292は、入力画像において、ォブジェクトが水平方向に移動していることを前提として、その動きの大きさだけを表す動き量を定常性情報として設定するようにしたが、その他、オブジェクトの動きの大きさと方向を表す動きべクトルを、定常性情報として設定することも可能である。

ステップ S12278では、実世界推定部 12293は、処理領域設定部 12291から供給された処理領域情報と、ュザ I / F 12296から供給された不満領域指示情報に応じて、入力画像における処理領域内の画像データ（動きボケ画像データ）から、対応する実世界 1の光信号の動き量に基づいて、その実世界 1の光信号（動きボケのない画像）を複数である M通りの方法で推定する。

即ち、実世界推定部 12293では、モデル生成部 12301が、処理領域設定部 12291から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部 12292から供給される定常性情報から、処理領域の画像データに対応する実世界 1の光信号の動き量、つまり、ここでは、処理領域に表示されたオブジェクトの動き量を認識する。さらに、モデル生成部 12301は、入力画像における処理領域の各水平ラインを構成する画素と、その処理領域の画像データに対応する実世界 1の光信号の動き量に応じて、処理領域の各水平ラィンの画素の画素値と実世界 1の光信号との関係をモデル化した関係モデルを処理領域の水平ラインごとに生成し、方程式生成部 12302に供給する。

方程式生成部 12302は、処理領域設定部 12291から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域に応じて、入力画像の各画素の画素値を、モデル生成部 12301から供給される処理領域の水平ラインごとの関係モデルに代入し、これにより、実世界 1の光信号を近似する近似モデルとしての近似関数を求める方程式を生成する。さらに、方程式生成部 12302は、処理領域情報と入力画像の M通りの特徴量に基づいて、近似関数を拘束する M通りの拘束条件式を生成する。方程式生成部 12302は、実世界 1の光信号を近似する近似モデルとしての近似関数を求める方程式と M通りの拘束条件式のそれぞれとを合わせて、 M通りの正規方程式を生成し、実世界波形推定部 12303に供給する。

実世界波形推定部 12303は、方程式生成部 12302から供給される M通りの正規方程式をそれぞれ演算することにより、 M通りの実世界 1の光信号の波形を推定する。即ち、実世界波形推定部 12303は、方程式生成部 12302から供給される M通りの正規方程式をそれぞれ解くことにより、実世界 1の光信号をモデル化した近似モデルとしての M通りの近似関数を求め、 M通りの実世界 1 の光信号の波形の推定結果として、画像生成部 12294に供給する。

なお、以下、このような実世界推定部 12293が実行するステップ S 12278の処理を、「実世界の推定処理」と称する。「実世界の推定処理」の詳細については、図 1 7 5のフローチャートを参照して後述する。

ステップ S 12278の処理後は、ステップ S12279に進み、画像生成部 12294 は、実世界推定部 12293 (の実世界波形推定部 12303) から供給された、実世界 1の光信号の波形を近似する M通りの近似関数に基づいて、実世界 1の光信号により近似した M通りの信号を生成する。即ち、画像生成部 12294は、処理領域設定部 12291から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部 12293から供給される M通りの近似関数に基づき、実世界 1の光信号により近似した M通りの近似画像（動きボケのない画像）を生成する。

さらに、画像生成部 12294は、入力画像の処理領域の部分を、 M通りの近似画像（動きボケのない画像）に置き換えた画像を、 M通りの出力画像として生成し、画像表示部 12295に供給して、ステップ S 12279から S12280に進む _c ステップ S 12280では、画像表示部 122 は、画像生成部 12294から供給された M通りの出力画像を、ステップ S12271で表示された入力画像に代えて、またはその入力面像とともに表示し、ステップ S12281に進む。

ステップ S 12281では、ユーザ I Z F 12296は、ユーザがユーザ I / F

12296を操作することにより、選択情報の入力があつたかどうかを判定する。即ち、ステップ S12280では、画像表示部 12295において、 M通りの出力画像が表示されるが、その M通りの出力画像を見たユーザが、その M通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択する選択情報の入力を、ユーザ I Z F 12296を操作することにより行ったかどうかが、ステツプ S 12281において判定される。ステップ S 12284において、選択情報の入力がなかったと判定された場合、ステップ S12284に進み、ステップ S12273における場合と同様に、ユーザ I / F 12296は、終了指示の入力があつたかどうかを判定する。

ステップ S 12284において、終了指示の入力があつたと判定された場合、信号処理装置 4は、処理を終了する。

また、ステップ S12281において、終了指示の入力がなかったと判定された場合、ステップ S12281に戻り、以下、同様の処理を繰り返す。

一方、ステップ S 12281において、選択情報の入力があつたと判定された場合、即ち、画像表示部 12295 に表示された M通りの出力画像を見たユーザが、その M通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択した場合、ステップ S12282に進み、ユーザ I / F 12296は、ユーザがユーザ I / F 12296を操作することにより、ユーザが選択した出力画像を、最終的な出力画像として確定する確定指示の入力があつたかどうかを判定する。ステップ S 12282において、確定指示の入力があつたと判定された場合、ステツプ S12283に進み、画像表示部 12295は、例えば、その画面全体に、ユーザが選択した出力画像を表示し、処理を終了する。

また、ステップ S 12282において、確定指示の入力がなかったと判定された場合、即ち、ユーザが、選択した出力画像の画質に不満があり、再度処理を行うために、確定指示の入力を行わなかった場合、ステップ S12275に戻り、ュ一ザ I Z F 12296は、ユーザが選択した出力画像を表す選択情報を、補助情報として、処理領域設定部 12291 と実世界推定部 12293に供給し、ステップ S12276, S12277, S12278に順次進む。ステップ S12276の処理領域の設定処理とステップ S12277の定常性の設定処理では、前回設定された処理領域と定常性が設定される。そして、その処理領域情報が定常性設定部 12292、実世界推定部 12293、および画像生成部 12294に供給され、その定常性情報が実世界推定部 12293に供給される。なお、 2回目以降に行われるステップ S12276および S12277の処理は、スキップすることができる。ステップ S 12278では、実世界推定部 12293は、ユーザ I / F 12296から供給された補助情報としての選択情報に基づいて、その実世界 1の光信号（動きボケのない画像）を新たな M通りの方法で推定する。

即ち、この場合、ステップ S12278では、実世界推定部 12293の方程式生成部 12302では、ユーザ I / F 12296から供給された補助情報としての選択情報が表す出力画像を得るのに用いられた拘束条件式を基準に、新たな M通りの拘束条件式を設定する。方程式生成部 12302は、実世界 1の光信号を近似する近似モデルとしての近似関数を求める方程式と、新たな M通りの拘束条件式のそれぞれとを合わせて、新たな M通りの正規方程式を生成し、その新たな M通りの正規方程式を実世界波形推定部 12303に供給する。さらに、実世界波形推定部 12303は、方程式生成部 12302から供給される新たな M通りの正規方程式をそれぞれ演算することにより、新たな M通りの実世界 1の光信号の波形を推定する。そして、ステップ S12278から S 12279に進み、以下、同様の処理が繰り返される。

即ち、これにより、ステップ S12275乃至 S 12284の処理が操り返され、最終的には、出力画像に対するユーザの不満が解消された、ユーザが所望する画質の出力画像が得られる。

以上のように、信号処理装置 4では、入力画像に対する処理結果としての M 通りの出力画像をユーザに提示し、その M通りの出力画像の中からユーザが所望するものを選択してもらい、その選択結果を踏まえて、再度処理を行うようにしたので、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。即ち、信号処理装置 4は、入力画像に対する処理結果としての M通りの出力画像をユーザに提示する。一方、ユーザは、その M通りの出力画像それぞれの画質を認識、判断し、画質の良い出力画像を、信号処理装置 4にフィードバックする。そして、信号処理装置 4は、そのユーザからのフィードバックを踏まえ、再度、入力画像を処理し、以下、同様の処理が繰り返される。従つて、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。なお、このように、信号処理装置 4において、ユーザからのフィードバックを受けて入力画像に対する処理を行うことは、信号処理装置 4が、ユーザと協調しながら処理を行っているということができる。

次に、図 1 7 5のフローチャートを参照して、実世界推定部 12293 (図 1 7 3 ) の実世界の推定処理（図 1 7 4のステップ S 12278の処理）について詳細に説明する。

ステップ S 12291において、モデル生成部 12³01は、関係モデルを生成する _c 即ち、モデル生成部 12301力処理領域設定部 12291から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部 12292から供給される定常性情報から、処理領域の画像データに対応する動き量を認識する。さらに、モデル生成部 12301は、入力画像における処理領域について、その処理領域の水平ラインを構成する画素と、その処理領域の画像データに対応する動き量に応じて、処理領域内のセンサ 2で検出された各画素の画素値と、実世界 1の光信号を近似する近似モデルで表される動きボケのない画像との関係をモデル化した関係モデルを生成し、これにより、処理領域に対して得られる関係モデルを、処理領域の水平ラインごとに生成し、方程式生成部 12302に供給する。そして、モデル生成部 12301は、ステップ S 122⁹ lからステップ S 12292に進む。

具体的には、モデル生成部 12301は、処理領域の水平ラインの画素数と動き量に応じて、図 1 4 8 A乃至図 1 4 8 Cで説明した、処理領域の各水平ラインの画素の画素値 P i と、動きボケのない画素値 Q i との関係を表す式を関係モデルとして生成する。例えば、処理領域の水平ラインの画素数が 8であり、動き量 Vが 5である場合、関係モデルとして、上述した式（1 5 1 ) が生成される。

ステップ S 12292では、方程式生成部 12302は、方程式生成処理を行う。即ち、方程式生成部 12302は、処理領域設定部 12291から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、その処理領域を構成する入力画像の各画素の画素値を、モデル生成部 12301から供給される、その処理領域の各水平ラインに対して得られた関係モデルに代入し、これにより、実世界 1の光信号を近似する近似関数で表される、動きボケのない画素値 Qi を求める式（1 5 1 ) の方程式（モデル方程式）を、処理領域の水平ラインごとに生成する。

さらに、方程式生成部 12302は、処理領域設定部 12291から供給される処理領域情報から認識される処理領域における実世界 1の光信号を近似する近似モデルを拘束する拘束条件式を生成する。即ち、式（1 5 1 ) のモデル方程式は、求めたい変数である動きボケのない画素値の方が、方程式の数より多いため、動きボケのない画素値を求めるためには、方程式の総数を動きボケのない画素値 Qi の数以上とする方程式を導入する必要がある。ここで、方程式生成部 12302は、隣接する画素の、近似関数で表される動きボケのない画素値の差が小さい（空間相関がある）という拘束条件式を生成する。このとき、方程式生成部 12302は、ユーザにより指示された不満領域の画素と、処理領域内における不満領域の画素と類似の特徴量を有する画素を、拘束対象画素として、その拘束対象画素に対して、重みを付けた拘束条件式を生成する。

即ち、方程式生成部 12302は、処理領域の各画素について複数種類の特徴量を抽出し、不満領域と類似の特徴量を有する処理領域内の画素を、拘束条件式の対象となる拘束対象画素として選択する。具体的には、方程式生成部 12302は、複数種類の特徴量の 1以上の組み合わせを、 M通り設定し、その M 通りの特徴量（の 1以上の組み合わせ）それぞれについて、拘束対象画素を選択する。そして、方程式生成部 12302は、その拘束対象画素に対して、所定の重みを付けた拘束条件式を生成する。その結果、 M通りの出力画像が生成されて表示される。そして、ユーザは、 M通りの出力画像を見て、その M通りの出力画像の中から所望の画質の画像または所望の画質に近い画像を選択する。以上のように、方程式生成部 12302は、不満領域の画素だけでなく、 M通りの特徴量の 1以上の組み合わせに基づいて、不満領域の画素と類似の特徴量を有する処理領域内の画素に対しても、不満領域の画素と同一の拘束条件式を生成するので、ユーザは、その結果得られる M通りの出力画像から所望の画像の選択することにより、同一の拘束条件式を与えたい箇所に、容易に、同一の拘束条件を与えることができる。従って、ユーザは同一の拘束条件式を与えたい箇所が複数ある場合においても、その複数の箇所それぞれを、不満領域として指示する必要がなく、ユーザの負担を軽減することができる。

方程式生成部 12302は、モデル方程式を生成するとともに、不満領域指示情報に基づいて、不満領域の画素と、 M通りの種類の特徴量（M通りの特徴量の 1以上の組み合わせ）それぞれについて不満領域の画素と類似の特徴量を有する処理領域内の画素に対して、所定の重みを付けた M通りの拘束条件式を生成し、生成されたモデル方程式と M通りの拘束条件式のそれぞれとを合わせて、 M通りの正規方程式を生成する。方程式生成部 12302は、その M通りの正規方程式を、実世界波形推定部 12303に供給して、ステップ S12292からステツプ S 12293に進む。

なお、以下、このような方程式生成部 12302が実行するステップ S12292の処理を、「方程式生成処理」と称する。「方程式生成処理」の詳細については、図 1 7 7のフローチャートを参照して後述する。

ステップ S12293において、実世界波形推定部 12303は、方程式生成部 12302から供給される、処理領域の各水平ラインについての M通りの正規方程式を解くことにより、 M通りの近似関数で表される動きボケのない画素値 Q i を求め、その M通りめ画素値を、画像生成部 12294に供給する。

次に、図 1 7 6は、図 1 7 3の方程式生成部 12302の詳細構成例を示している。

図 1 7 6では、方程式生成部 12302は、モデル方程式生成部 123S1、特徴量抽出部 12322、特徴量軸設定部 12323、特徴量空間 LUT生成部 12324、拘束条件式生成部 12325、および正規方程式生成部 12326から構成されている。図 1 7 6に構成を示す方程式生成部 12302 には、モデル生成部 12：301 から、処理領域の水平ラインごとに得られる、処理領域の各水平ラインの画素の画素値（動きボケ画像の画素値）と、動きボケのない画素値との関係をモデル化した関係モデルが入力され、モデル方程式生成部 12321に供給される。また、方程式生成部 12302には、入力画像が、センサ 2 (図 1 ) から入力され、その入力画像は、モデル方程式生成部 12321 と特徴量抽出部 12322に供給される。

さらに、方程式生成部 12302には、処理領域情報が、処理領域設定部 12²91 から入力され、その処理領域情報が、モデル方程式生成部 123²1 と特徴量抽出部 12322に供給される。また、方程式生成部 12302には、補助情報として不満領域指示情報と選択情報が、ユーザ I Z F 122⁹6から入力され、不満領域指示情報は、特徴量空間 LUT生成部 12324に、選択情報は、特徴量空間 LUT 生成部 12324と特徴量軸設定部 12323にそれぞれ供給される。

モデル方程式生成部 12321は、処理領域情報から入力画像の処理領域を認識し、モデル生成部 12301から供給された処理領域の水平ラインごとの関係モデルの動きボケ画像の各画素の画素値 P i として、入力画像の処理領域における画素値を代入して、処理領域の水平ラインごとに、式（1 5 1 ) のモデル方程式を生成する。そして、モデル方程式生成部 121321は、正規方程式生成部 12326に、そのモデル方程式を供給する。

特徴量抽出部 12322は、処理領域設定部 12291から入力された処理領域情報と入力画像から、処理領域を構成する画素（の画素値) を認識し、その処理領域を構成する各画素について、複数種類の特徴量を抽出する。そして、特徴量抽出部 12322は、その処理領域の画素毎の複数種類の特徴量を特徴量空間 LUT生成部 12324に供給する。

特徴量軸設定部 12323は、ユーザ I Z F 12296から入力された選択情報に基づいて、特徴量空間 LUTを生成するための M通りの特徴量軸を設定する。なお、この特徴量軸は、入力画像から抽出される複数の特徴量のいずれかを表す軸である。

特徴量空間 LUT生成部 12324は、特徴量抽出部 12322から供給された処理領域の各画素の複数種類の特徴量のうちの、特徴量軸設定部 12323から供給される特徴量軸に対応する特徴量に基づいて、処理領域の各画素をクラス分け (クラス分類）し、特徴量空間 LUTを生成する。なお、特徴量空間 LUT生成部 12324は、特徴量軸設定部 12323から供給される M通りの特徴量軸それぞれについて、処理領域の各画素をクラス分けし、これにより、 M通りの特徴量空間 LUTを生成する。また、特徴量空間 LUT生成部 12324は、生成した M通りの特徴量空間 LUTと、ユーザ I / F 12296から入力される不満領域指示情報に基づき、処理領域内の画素の中から、不満領域の画素と、その画素と類似の特徴量を有する画素をそれぞれ選択し、拘束対象画素として、その拘束対象画素の情報を拘束条件式生成部 12325に供給する。従って、特徴量空間 LUT生成部 12324は、 M通りの特徴量空間 LUTについて、 M通りの拘束対象画素を選択する。

さらに、特徴量空間 LUT生成部 12324は、ユーザ I Z F 12²%から選択情報が入力された場合、即ち、ユーザが M通りの出力画像を見て、ユーザ I / F 12296 を操作することにより所望の画像または所望に近い画像を選択した場合、生成した M通りの特徴量空間 LUTのうち、選択情報が表す出力画像を得るのに用いられた特徴量空間 LUTの、ユーザによって指示された不満領域の画素

(ユーザによって不満領域が指示されていない場合は、処理領域の画素）の特徴量クラスに対して、拘束条件式に付けられた重みを記憶させる。

特徴量空間 LUT生成部 12324は、ユーザ I 12296から選択情報の入力が繰り返されると、前回生成された特徴量空間 LUTを削除し、今回生成された M通りの特徴量空間 LUTのうちの、今回選択された出力画像を得るのに用いられた特徴量空間 LUTの、不満領域の画素の特徴量クラスに対して重みを記憶させ、最終的には、ユーザが最も良いとした画質の出力画像が得られたときに用いられた、いわば最適な特徴量空間 LUTに、重みを記憶させる。従つて、この最適な特徴量空間 LUTにおいては、拘束対象画素とするのに、最適な画素の属する特徴量クラスに対して、重みが記憶されているので、そのような最適な特徴量空間 LUTが得られた後は、その最適な特徴量空間 LUTにした力^、、各特徴量の画素に対応する拘束条件式の重みを、その画素の属するクラスに記憶された重みとすることにより、ユーザが不満領域を指示しなくても、任意の入力画像に対してユーザが所望する画質の出力画像を得ることが可能となる。

なお、ここでは、特徴量空間 LUTに、重みを記憶させるようにしたが、特徴量空間 LUT には、重みそのものではなく、重みが付されたこと（あるいは、拘束対象画素とされたこと）を表す情報を記億させてもよい。

また、ここでは、特徴量軸設定部 12323において、 M通りの特徴量軸を設定し、特徴量空間 LUT生成部 12324において、その M通りの特徴量軸それぞれによつて規定される特徴量空間で処理領域の画素をクラス分類する M通りの特徴量空間 LUTを生成するようにしたが、 M通りの特徴量空間 LUTは、その他、例えば、特徴量軸はすべて同一とし、その同一の特徴量軸を区切って特徴量クラスを作るときの、その特徴量軸の区切り方を M通り用意することによつて生成することも可能である。

拘束条件式生成部 12325は、特徴量空間 LUT生成部 12324から供給された M通りの拘束対象画素に対して、所定の重みを付けた M通りの所定の拘束条件式をそれぞれ生成し、その M通りの拘束条件式を正規方程式生成部 1²³²6に供給する。

正規方程式生成部 12326は、モデル方程式生成部 12321から供給されたモデル方程式と、拘束条件式生成部 12325から供給された M通りの拘束条件式それぞれとを合わせて、 M通りの正規方程式を生成し、実世界波形推定部 12303に供給する。次に、図 1 7 7のフローチャートを参照して、方程式生成部 12302 (図 1 7 6 } の方程式生成処理（図 1 7 5のステップ S 12292の処理）について詳細に説明する。

ステップ S 12311において、モデル方程式生成部 1²321は、モデル生成部 12301から処理領域の水平ラインごとの関係モデルを取得し、ステップ

S12312に進む。ステップ S12312において、モデル方程式生成部 12321は、センサ 2から入力画像を取得するとともに、処理領域設定部 12291から処理領域情報を取得する。そして、モデル方程式生成部 12321は、その入力画像と処理領域情報から、処理領域内の各画素の画素値 P i を認識し、その画素値 P i を、モデル生成部 12301から取得した式（1 5 1 ) の関係モデルの処理領域内の各画素の画素値に代入することにより、処理領域の水平ラインごとにモデル方程式を生成する。さらに、モデル方程式生成部 12321は、そのモデル方程式を正規方程式生成部 12326に供給する。即ち、例えば、モデル方程式生成部 12321が、上述した式 ( 1 5 1 ) で表される関係モデルを、モデル生成部 12301から取得した場合、式（1 5 1 ) の画素値 P ₄乃至 P ₇ に入力画像の画素値を代入する。

ステップ S 12312の処理後は、ステップ S 12313に進み、特徴量抽出部 12322は、入力画像の特徴量を抽出し、特徴量空間 LUT生成部 12324に供給する。即ち、特徴量抽出部 12322は、処理領域設定部 12291から処理領域情報を取得するとともに、入力画像を取得する。そして、特徴量抽出部 12322 は、その処理領域情報から、入力画像の処理領域内の画素を認識し、その処理領域内の画素毎に複数種類の特徴量を抽出して、特徴量空間 LUT生成部 12324 に供給する。

ステップ S 12313の処理後は、ステップ S 12314に進み、特徴量軸設定部 12323は、例えば、特徴量抽出部 12322で抽出される複数の特徴量の 1以上を組み合わせることによって、 M通りの特徴量軸を設定して、特徴量空間 LUT 生成部 12324に供給し、ステップ S 12315に進む。ここで、特徴量設定部 12323は、ユーザ I Z F 12296から選択情報が入力された場合、その選択情報が表す出力画像を得るのに用いられた特徴量軸を基準に、新たな M通りの特徴量軸を設定する。即ち、特徴量軸設定部 12323は、最初に特徴量軸を設定する場合、例えば、ある特徴量 Aを 1つの特徴量軸とし、他の M通りの特徴量それぞれを他の特徴量軸として、 M通りの特徴量軸（M通りの、 2つの特徴量軸の組み合わせ）を設定する。そして、特徴量軸設定部 12323は、ユーザ I Z F 12296から選択情報が入力された場合、その選択情報が表す出力画像を得るのに用いられた 2つの特徴量軸、例えば、特徴量 Aおよび Bの特徴量軸に加えて、その特徴量 Aおよび B以外の M通りの特徴量それぞれを新たな他の特徴量軸として、新たな M通りの特徴量軸（M通りの、 3つの特徴量軸の組み合わせ）を設定する。

従って、ユーザが前回の処理で出力された M通りの出力画像の中から所望するものを選択することによって、その選択結果を踏まえて、新たな M通りの特徴量軸が設定され、拘束条件の対象となる拘束対象画素が決定されるので、この処理を操り返すことにより、最終的には、ユーザが所望する画質の出力画像が得られる特徴量軸が設定され、その結果、ユーザが所望する画質の出力画像が得られる。

なお、上述の場合には、 M通りの特徴量軸（の組み合わせ）として、同一の数の特徴量軸からなる M通りの特徴量軸を設定するようにしたが、 M通りの特徴量軸の設定方法は、これに限定されるものではない。即ち、 M通りの特徴量軸としては、その他、例えば、異なる数の特徴量軸からなる M通りの特徴量軸 (例えば、特徴量 Aだけの特徴量軸と、特徴量 Aおよび Bの特徴量軸など）を設定することが可能である。

ステップ S12315では、特徴量空間 LUT生成部 12324は、特徴量抽出部 12322から供給された処理領域内の各画素の特徴量から、それぞれの画素を、ステップ S12314で設定された M通りの特徴量軸に基づいて、特徴量クラスに分類し、 M通りの特徴量空間 LUTを生成する。即ち、例えば、いま、特徴量軸抽出部 12322において、複数の特徴量として、 3つの特徴量 A， B , Cが抽出され、特徴量軸設定部 12323において、 M通りの特徴量軸として、 3つの特徴量 A乃至 Cのうちの特徴量 A , B , C , Aと B , Aと C， Bと C， Aと Bと Cの 7通りの軸が設定されたとする。この場合、特徴量軸設定部 12322で設定された 7通りの特徴量軸のうちの、例えば、特徴量 Aと Bの軸に注目すると、特徴量空間 LUT生成部 12324は、例えば、特徴量 Aと Bの軸を所定の間隔で区切ることによって、その特徴量 Aと B で規定される空間（特徴量空間）に生じる部分空間を特徴量クラスとして、その特徴量クラスに特徴量 Aと Bが含まれる画素の情報を、その特徴量クラスに登録（分類）することにより、特徴量 Aと Bの軸を有する特徴量空間 LUTを生成する。

なお、ある処理領域について、 M通りの特徴量空間 LUTが既に生成されており、ユーザ I ZF 12296から選択情報が入力された、即ち、ユーザが M通りの出力画像を見て、所望の画像または所望に近い画像を選択した場合には、特徴量空間 LUT生成部 12324は、ステップ S12314と S12315の処理に代えて、選択情報が表す出力画像を得るのに用いられた特徴量空間 LUTの、不領域の画素の特徴量クラスに対して、 LUT値として拘束条件式に付けられた重みを記億させる。

特徴量空間 LUT生成部 12324は、ユーザ I / F 12296から選択情報の入力が繰り返されると、前回生成された特徴量空間 LUTを削除し、今回生成された Μ通りの特徴量空間 LUTのうちの、今回選択された出力画像を得るのに用いられた特徴量空間 LUTの、不満領域の画素の特徴量クラスに対して重みを記憶させ、最終的には、ユーザが最も良いとした画質の出力画像が得られたときに用いられた、いわば最適な特徴量空間 LUTに、重みを記憶させる。

この場合、方程式生成部 12302は、特徴量空間 LUTに記億された拘束条件式の重みを、他の入力画像に対しても適用することができる。即ち、他の入力画像が新たに入力された場合、方程式生成部 12302は、その入力画像の処理領域内の画素毎に複数種類の特徴量を抽出し、その複数種類の特徴量に基づいて処理領域内の各画素をクラス分類する。方程式生成部 12302は、特徴量空間 LUTのクラスのうちの、クラス分類によって得られる処理領域の各画素のクラスと同一のクラスに対して LUT値として既に記億された重みを、その画素に対応する拘束条件式に対する重みとして設定する。この場合、ユーザは、入力画像ごとに最適な重みを設定する必要がなく、ユーザの負担が軽減される _c なお、新たな入力画像が入力されるたびに、特徴量空間 LUTを新たに生成または更新してもかまわない。

ステップ S 12315の処理後は、ステップ S 12316に進み、特徴量空間 LUT生成部 12324は、拘束条件の対象となる拘束対象画素を決定し、拘束条件式生成部 12325に供給して、ステップ S 12317に進む。即ち、特徴量空間 LUT生成部 12324は、ユーザ I / F 12296から不満領域指示情報を取得し、ステップ S12315で生成した M通りの特徴量空間 LUTそれぞれについて、不満領域の画素と、その画素と同一の特徴量クラスの画素を、拘束対象画素として決定し、この決定により得られる M通りの拘束対象画素を、拘束条件式生成部 12325 に供給する。

ここで、ユーザが不満領域を指示せず、ユーザ I / F 12296から不満領域指示情報が入力されない場合は、特徴量空間 LUT生成部 12324は、例えば、処理領域すベての画素を、拘束対象画素に決定する。

ステップ S 12317では、拘束条件式生成部 12325は、ステップ S12316で決定された M通りの拘束対象画素に対応する拘束条件式に所定の重みを付けた M 通りの拘束条件式を生成する。そして、拘束条件式生成部 12325は、生成した M通りの拘束条件式を正規方程式生成部 12326に供給する。

例えば、拘束対象画素が 8個であり、その拘束対象画素の動きボケのない画素値を Q。乃至 Q₇で表す場合、ある 1通りの拘束条件式は、上述した式（1 5 4 ) で表される。拘束条件式生成部 12325は、 M通りの特徴量空間 LUTについて、式（1 5 4 ) と同様の M通りの拘束条件式を生成する。ステップ S 12317の処理後は、ステップ S12318に進み、正規方程式生成部 12326は、モデル方程式生成部 12321から供給されたモデル方程式に、拘束条件式生成部 12325から供給された M通りの拘束条件式それぞれを合わせて、 M通りの正規方程式を生成し、実世界波形推定部 12303に供給する。

この後、実世界波形推定部 12303は、正規方程式生成部 12325から供給された M通りの正規方程式を最小二乗誤差最小規範でそれぞれ解くことにより、処理領域内の各水平ラインの画素の M通りの動きボケのない画素値を求める。なお、上述した実世界推定処理は、処理領域内の水平方向に並ぶ画素（水平ライン）毎に行なわれる。即ち、実世界波形推定部 12303は、水平ライン毎に、処理領域の各画素の M通りの動きボケのない画素値を求める。そして、実世界波形推定部 12303は、処理領域内の全ての水平ラインにおいて、各画素の M通りの動きボケのない画素値を求めた後、処理領域の各画素の M通りの動きボケのない画素値を、画像生成部 12294 に供給する。画像生成部 12294 は、入力画像における処理領域の各画素の画素値を、 M通りの動きボケのない画素値にそれぞれ置き換えた画像を、 M通りの出力画像として生成し、画像表示部 12295に供給して表示させる。

また、上述の処理では、拘束条件式生成部 12325は、拘束対象画素以外【こ対する拘束条件式は生成しなかったが、拘束対象画素以外に対する拘束条件式も、所定の重み（例えば、拘束対象画素に対する重みとは異なる重み） Wを付けて、生成してもよい。

また、上述の処理では、 M通りの特徴量軸に基づいて、 M通りの特徴量空間 LUTを生成するようにしたが、方程式生成部 12302では、上述したように、特徴量軸ではなく、特徴量クラスの分類の区切り方を M通り設定し、それぞれの区切り方に基づいて、処理領域内の画素を特徴量クラスに分類し、 M通りの特徴量空間 LUTを生成してもよい。

図 1 7 8は、図 1 7 3の信号処理装置 4の処理の概要を説明する図である。図 1 7 8に示すように、ユーザは、入力画像 12341を見て、不満のある領域を、不満領域として指示する。または、ユーザは、入力画像 12341 を見て、不満領域を指示せず、信号処理装置 4が所定の条件に基づいて処理した出力画像 12342を見て、不満のある領域を、不満領域として指示する。

そして、信号処理装置 4は、ユーザにより指示された不満領域に基づいて処理領域を設定し、その処理領域内の入力画像データから、画素毎に複数種類の特徴量を抽出する。信号処理装置 4は、 M通りの特徴量軸を設定し、画素毎の特徴量から、その M通りの特徴量軸に基づいて、各画素を特徴量クラスに分類し、特徴量空間 LUT12343を生成する。なお、図 1 7 8では、 1通りの特徴量空間 LUT12343 しか図示していないが、信号処理装置 4では、 M通りの特徴量空間 LUTが生成される。ここで、特徴量空間 LUT12343のマス目は、特徴量クラスを表している。また、特徴量空間 LUT12343の丸印は、不満領域の画素を表している。丸印が中にあるマス目である特徴量クラスに含まれる画素が、拘束対象画素とされる。なお、図 1 7 8では、不満領域の画素は、ある 1つの特徴量クラスだけに属しているが、不満領域の画素が属する特徴量クラスは、 1つに限らない。即ち、不満領域の画素は、複数の特徴量クラスに属する場合がある。

信号処理装置 4は、 M通りの特徴量空間 LUTそれぞれについて、不満領域の画素の特徴量クラスに属する画素を拘束対象画素として決定する。さらに、信号処理装置 4は、 M通りの特徴量空間 LUTからそれぞれ決定された拘束対象画素に対して、所定の重みを付けた拘束条件式をそれぞれ生成し、その結果得られる M通りの出力画像 12344-1乃至 12344- Mを表示する。そして、ユーザは、その M通りの出力画像の中から、所望の画像または所望の画像に近い繭像を選択し、信号処理装置 4は、その選択された画像を得るのに用いた特徴量軸を基準として、新たな M通りの特徴量軸を設定することを繰り返す。

従って、ユーザは、簡単に最適な拘束対象画素を設定し、実世界 1の光信号により近似した画像を得ることができる。即ち、ユーザは、所望の画質の画像または所望の画質に近い画像を容易に得ることができる。また、不満領域と同一の特徴量クラスの画素に対して、拘束条件式が生成されるので、ユーザは、不満領域とする画素全てを指示する必要がなく、ユーザの負担を軽減することができる。

図 1 7 9 Aと図 1 7 9 Bを参照して、図 1 7 3の信号処理装置 4の処理の概要について、さらに説明する。

図 1 7 9 Aおよぴ図 1 7 9 Bでは、画素から複数種類の特徴量として、例えば、 3つの特徴量 A乃至 Cが抽出されるものとしてある。そして、図 1 7 9 A の例では、特徴量空間 LUT12362は、横軸を特徴量 Aとするとともに、縦軸を特徴量 Bとする特徴量軸を有している。また、図 1 7 9 Bの例では、特徴量空間 LUT12364は、横軸を特徴量 Aとするとともに、縦軸を特徴量 Cとする特徴量軸を有している。

図 1 7 9 Aに示すように、ユーザは、入力画像 12361を見て、不満のある領域を、不満領域として指示する（ポインティングする）。そして、信号処理装置 4は、ユーザにより指示された不満領域に基づいて処理領域を設定し、その処理領域内の入力画像データから、画素毎に複数種類の特徴量 A乃至 Cを抽出する。信号処理装置 4は、その画素毎の特徴量 A乃至 Cのうちの、特徴量 A と Bに基づいて、各画素を特徴量クラスに分類し、特徴量空間 LUT12362を生成する。

信号処理装置 4は、特徴量空間 LUT12362から、ユーザによって指示された不満領域の画素の特徴量クラス 12363を認識し、その特徴量クラス 12363に分類された全ての画素を、拘束対象画素として設定する。さらに、信号処理装置 4は、この拘束対象画素に対して、所定の重みを付けた拘束条件式を生成し、その拘束条件式を用いて得られる出力画像 12364を表示する。なお、出力画像 12364上の丸印は、特徴量空間 LUT12362の特徴量クラス 12363に分類され、拘束対象画素とされた画素を表している。図 1 7 9 Bは、図 1 7 9 Aと異なる特徴量軸に基づいて、特徴量空間

LUT12365が生成された例を示している。即ち、信号処理装置 4は、横軸を特微量 Aとし、縦軸を特徴量 Cとした特徴量軸に基づいて、特徴量空間

LUT12365を生成し、ユーザによって指示された不満領域の画素の特徴量クラス 12366に分類された全ての画素を拘束対象画素として、拘束条件式を生成する。なお、この拘束条件式には、例えば、図 1 7 9 Aに示した場合と同じ重みが付けられる。信号処理装置 4は、拘束条件式を用いて得られる出力画像 12367を生成して、表示する。

信号処理装置 4は、図 1 7 9 Aおよぴ図 1 7 9 Bにおける場合と同様に、特徴量軸の異なる M通りの特徴量空間 LUTに基づいて、 M通りの出力画像を生成して表示する。そして、ユーザは、その M通りの出力画像の中から、所望の画像または所望の画像に近い画像を選択し、信号処理装置 4は、その選択された画像を得るのに用いた特徴量空間 LUTの特徴量軸を基準として、新たな M 通りの特徴量軸を設定することを繰り返す。

図 1 8 0は、図 1 5 3、図 1 6 1、図 1 6 7、図 1 7 3の信号処理装置 4と等価な信号処理装置 4の構成例を示している。

即ち、図 1 8 0において、処理領域選択部 12381は、例えば、図 1 5 3の処理領域設定部 12071に、動き量パラメータ入力部 12382は、例えば、図 1 5 3の定常性設定部 12072に、特徴量抽出部 12383、特徴量空間 LUT生成部

12384、拘束条件設定部 12385、および動きボケ除去処理部 12386 は、例えば、図 1 5 3の実世界推定部 12073に、出力画像生成部 12387は、例えば、図 1 5 3の画像生成部 12074に、画像表示部 12388は、例えば、図 1 5 3の画像表示部 12075に、ユーザ I Z F 12389は、例えば、図 1 5 3のユーザ I / F 12076にそれぞれ対応している。

なお、図 1 8 0は、例えば、一定方向に一定の速さで移動するという定常性を有するデータ 3の一例である動きボケが発生した画像データ（動きボケ画像データ）から、実世界 1の光信号を推定する信号処理装置 4の一実施の形態の構成例を示している。即ち、この信号処理装置 4は、例えば、撮影時に被写体 (オブジェクト）が動いたことにより、被写体がボケて撮影されてしまった画像（動きボケ画像）から、そのボケがない画像（動きボケのない画像）を推定する。

図 1 8 0の実施の形態では、入力画像として、例えば水平方向（左から右方向）に一定の動き量で移動しているォブジェクトを撮影することにより得られた動きボケが生じている動きボケ画像が、信号処理装置 4に入力され、処理領域選択部 12381、特徴量抽出部 12383、拘束条件設定部 12385、出力画像生成部 12387、および画像表示部 ί2388に供給される。

処理領域選択部 12381は、入力画像から処理領域を選択（設定）し、その処理領域の情報を、動き量パラメータ入力部 12382、拘束条件設定部 12385、および出力画像生成部 12387に供給する。

動き量パラメータ入力部 12382は、オブジェクトの動きを表す動き量パラメータ（動き量を表す値）を設定し、その動き量パラメータを拘束条件設定部 12385に供給する。なお、ここでは、動き量パラメータ入力部 12382は、入力画像において、オブジェクトが水平方向に移動していることを前提として、その動きの大きさだけを表す動き量を設定するようにしたが、その他、オブジェクトの動きの大きさと方向を表す動きべクトルを設定することも可能である。特徴量抽出部 12383 は、入力画像から画素毎に複数種類の特徴量を抽出し、その複数種類の特徴量を特徴量空間 LUT生成部 12384に供給する。特徴量空間 LUT生成部 12384は、特徴量抽出部 12383から供給された複数種類の特徴量から、複数通りである M通りの特徴量軸に基づいて、入力画像の各画素を特徴量クラスに分類し、特徴量空間 LUTを生成する。特徴量空間 LUT生成部 12384は、その特徴量空間 LUTを拘束条件設定部 12385に供給する。

拘束条件設定部 12385は、入力画像と処理領域選択部 12381から供給された処理領域情報から、処理領域の各水平ラインの画素の画素値を認識するとともに、動き量パラメータ入力部 12382 から供給された動き量パラメータから、オブジェクトの動き量を認識する。拘束条件設定部 12385は、オブジェクトの動き量に基づいて、処理領域の水平ラインの各画素の画素値と、動きボケのない画素の画素値の関係をモデル化した関係モデルを、処理領域の水平ラインごとに生成し、その関係モデルに処理領域の水平ラインの各画素の画素値を代入して、水平ラインごとにモデル方程式を生成する。

また、拘束条件設定部 12385は、動きボケのない画素の画素値を拘束する拘束条件式を水平ラインごとに設定する。このとき、拘束条件設定部 12385 は、特徴量空間 LUT生成部 12384から供給された特徴量空間 LUTに基づいて、拘束条件式を設定する。拘束条件設定部 12385は、水平ラインごとのモデル方程式と拘束条件式を動きボケ除去処理部 12386に供給する。

動きボケ除去処理部 12386は、拘束条件設定部 12385から供給されたモデル方程式と拘束条件式を、水平ラインごとに最小二乗誤差最小規範で解くことにより、処理領域の各水平ラインの画素について、動きポケのない画素値を求める。動きボケ除去処理部 12386は、処理領域の各水平ラインの画素の動きボケのない画素値を、出力画像生成部 12387に供給する。

出力画像生成部 12387は、処理領域選択部 12381から供給された処理領域情報から、処理領域の各水平ラインの画素を認識し、その各水平ラインの画素を、動きボケ除去処理部 12386から供給された処理領域の各水平ラインの画素の動きボケのない画素値に置き換えた画像を出力画像として生成する。出力画像生成部 12387は、その出力画像を、画像表示部 12388に供給して、表示させる。画像表示部 12388は、入力画像や、出力画像生成部 12387から供給される出力画像を表示する。

ユーザ I / F 12389は、ユーザによって操作され、そのユーザの操作に応じて、例えば、処理領域と動き量に関連する情報を、処理領域選択部 12381 と動き量パラメータ入力部 12382にそれぞれ供給する。

即ち、ユーザは、画像表示部 12388に表示された入力画像や出力画像を見て、その入力画像や出力画像に対する入力を与えるように、ユーザ I Z F 12389を操作する。ユーザ I / F 12389は、ユーザの操作に応じて、処理領域を選択する情報を処理領域選択部 12381に供給する。また、ユーザ I Z F 12389は、ユーザの操作に応じて、処理領域におけるオブジェクトの動き量の情報を、動き量パラメータ入力部 12382に供給する。

さらに、ユーザ I Z F 12389は、ユーザの操作に応じて、処理領域内の画素に対して拘束条件を不均一に設定するために、拘束条件を与える領域に関する情報を、特徴量空間 LUT生成部 12384と拘束条件設定部 12385に供給する。また、ユーザ I Z F 12389は、ユーザの操作に応じて、拘束条件に対する'重みを指示する重み指示情報を、拘束条件設定部 12385に供給する。

図 1 8 1と図 1 8 2のフローチヤ一トを参照して、図 1 8 0の信号処理装置 4の処理について説明する。なお、オブジェクトは水平方向に一定速度で動いているものとする。

まず最初に、ステップ S12331において、信号処理装置 4は、入力画像として動きボケ画像の画像信号を取得し、処理領域選択部 12381、特徴量抽出部 12383、拘束条件設定部 12385、出力画像生成部 12387、および画像表示部 12388に供給する。そして、特徴量抽出部 12383は、入力画像から、画素毎に複数種類の特徴量を抽出し、その複数種類の特徴量を特徴量空間 LUT生成部 12384に供給する。特徴量空間 LUT生成部 12384は、特徴量抽出部 1²³83から供給された複数種類の特徴量に基づいて、複数通りの特徴量軸に基づく特徴量空間 LUT (図 1 7 9 Aと図 1 7 9 B ) を生成する。さらに、ステップ S12331 では、信号処理装置 4は、画像表示部 12388 に、入力画像を表示させ、ステップ S12332に進む。

ステップ S 12332では、ユーザ I / F 12389は、ユーザにより動きボケ領域が指示された、即ち、画像表示部 12388に表示された入力画像（動きボケ画像）を見たユーザが、その入力画像に動きボケが生じていると感じ、動きボケが生じている箇所をボインティングするように、ユーザ I / F 12389を操作したかどうかを判定する。ステップ S12332において、ユーザにより動きボケ領域が指示されていない、即ち、画像表示部 12388に表示された入力画像を見たユーザが、その入力画像に動きボケが生じておらず、不満がないと感じた場合、図 1 8 2のステップ S12342に進む。ステップ S12342において、出力画像生成部 12387は、出力画像として入力画像を画像表示部 12388に供給して表示させる。

一方、ステップ S12332において、ユーザにより動きボケ領域が指示されたと判定された場合、ユーザ I / F 12389は、ユーザがユーザ I Z F 12389を操作することによって指示した動きボケ領域を表す動きボケ領域指示情報を、処理領域選択部 12381に供給して、ステップ S12333に進む。ステップ S12333 では、処理領域選択部 12381は、ユーザ I ZF 12389から供給された動きボケ領域指示情報に基づいて、例えば、動きボケ領域を含む矩形を、入力画像の領域から処理領域として選択し、その処理領域を表す処理領域情報を、動き量パラメータ入力部 12382、拘束条件設定部 12385、および出力画像生成部 12387 に供給する。

ステップ S 12333の処理後は、ステップ S 12334に進み、動き量パラメータ入力部 12382は、処理領域におけるオブジェクトの動き量を表す動きパラメータを、拘束条件設定部 12385に入力する。即ち、例えば、ユーザが画像表示部 12388に表示された入力画像（動きボケ画像）を見て、ユーザ I Z F

12389を操作することにより、処理領域におけるオブジェクトの動き量を入力した場合、動き量パラメータ入力部 12382は、ユーザ I Z F 12389から入力される動き量を表す動き量パラメータを拘束条件設定部 12385に供給する。あるいは、また、動き量パラメータ入力部 12382は、処理領域におけるォブジェタトの動き量を検出し、その動き量を表すパラメータを、拘束条件設定部 12385に供給する。拘束条件設定部 12385は、その動き量パラメータと処理領域選択部 12381から供給された処理領域情報に基づいて、処理領域内の水平ラインの各画素の画素値と、動きボケのない画素の画素値の関係をモデル化した関係モデルを、処理領域の水平ラインごとに生成して記憶し、ステップ S12334からステップ S12335に進む。

ステップ S 12335では、ユーザ I / F 12389は、ユーザにより、入力画像である動きボケ画像から平坦領域が指示されたかどうかを判定する。ステップ S 12335において、ユーザ I Z F 12389は、ユーザがユーザ I / F 12389を操作することにより、動きボケ画像から平坦領域が指示された、即ち、ユーザが入力画像を見て、処理領域内における動きボケのない画像が平坦であると推定される平坦領域を指示したと判定した場合、ステップ S 12336に進み、ユーザ I Z F 12389は、ユーザがユーザ I Z F 12389を操作することによって指示した平坦領域を表す平坦領域指示情報を、拘束条件設定部 12385に供給する。ステップ S12336の処理後は、ステップ S 12337に進み、特徴量空間 LUT生成部 12384は、生成した複数の特徴量空間 LUTのうち、例えば、ユーザがュ一ザ I ZF 12389を操作することによって選択した特徴量空間 LUTを選択し、拘束条件設定部 12385に供給して、ステップ S 12339に進む。即ち、ステップ S12337では、例えば、特徴量空間 LUT生成部 12384が生成した複数通りの特徴量空間 LUT に対応するポタンが、画像表示部 12388 に表示される。そして、ユーザがユーザ I Z F 12389を操作することにより、画像表示部 12388に表示されたボタンをクリック等して選択すると、ステップ S 12337では、その選択されたボタンに対応する特徴量空間 LUTが選択される。

ステップ S 12339において、拘束条件設定部 12385は、ユーザ I / F 12389 から供給された平坦領域指示情報から、処理領域内の平坦領域を認識する。さらに、拘束条件設定部 12385は、特徴量空間 LUT生成部 12384から供給された特徴量空間 LUTから、平坦領域の画素と同一の特徴量クラスの処理領域の画素を認識する。そして、拘束条件設定部 12385は、平坦領域の画素と、平坦領域の画素と同一の特徴量クラスの画素を拘束対象画素として、その拘束対象画素に対して、処理領域の水平ラインごとに拘束条件式を生成し、その拘束条件式を動きボケ除去処理部 12386に供給して、図 1 8 2のステップ S 12340 に進む。例えば、処理領域において、拘束対象画素が 6個だけ水平方向に並んでおり、その各画素の動きボケのない画素値を Q。乃至 Q₅で表す場合、拘束条件式は、例えば、上述した式（1 5 3 ) で示される。

—方、図 1 8 1のステップ S12335において、ユーザ I ZF 12389は、動きボケ画像から平坦領域が指示されていないと判定した場合、ステップ S12338 に進み、出力画像の不満領域が指示されたかどう力、即ち、ユーザが前回のステツプ S12342 (図 1 8 2 ) で画像表示部 12388 に表示された出力画像を見て、不満を感じ、その不満を感じた領域を、ユーザがユーザ I / F 12389を操作することにより指示したかどうかを判定する。ステップ S12338において、ユーザ I Z F 12389は、出力画像の不満領域が指示されていないと判定した場合、ステップ S12339に進む。この場合、ユーザにより平坦領域も不満領域も指示されていないので、ステップ S 12339では、拘束条件設定部 12385は、例えば、処理領域のすべての画素を拘束対象画素として、その拘束対象画素に対して、水平ラインごとに拘束条件式を生成する。

拘束条件設定部 12385は、その拘束条件式を動きボケ除去処理部 12386に供給し、ステップ S 12339から図 1 8 2のステップ S12340に進む。例えば、処理領域の水平ラインの画素が 8個あり、その各画素の動きボケのない画素値を Q。乃至 Q ₇ で表す場合、拘束条件式は、上述した式（1 5 2 ) で示される。ステップ S 12340では、拘束条件設定部 12385は、処理領域選択部 12381から供給された処理領域情報と入力画像から、入力画像における処理領域の各水平ラインの画素の画素値を認識する。また、ステップ S 12340において、拘束条件設定部 12385は、入力画像における処理領域の各水平ラインの画素の画素値を、ステップ S 12334で生成して記憶した関係モデルに代入して、水平ラインごとに、式（1 5 1 ) に示したモデル方程式を生成する。そして、拘束条件設定部 12385は、そのモデル方程式を動きボケ除去処理部 12386に供給する。

ステップ S 12340の処理後は、ステップ S12341に進み、拘束条件設定部 12385は、動きボケ除去処理を行う。即ち、動きボケ除去処理部 12386は、拘束条件設定部 12385から供給された拘束条件式とモデル方程式を用いて、処理領域の水平ラインごとに正規方程式を生成する。さらに、動きボケ除去処理部 12386は、その正規方程式を、最小二乗誤差最小規範で解くことにより、処理領域の各水平ラインの画素の動きボケのない画素値を求める。そして、動きボケ除去処理部 12386は、処理領域の各水平ラインの画素の動きボケのない画素値を、出力画像生成部 12387に供給し、ステップ S12341からステップ S12342に進む。

ステップ S 12342において、出力画像生成部 12387は、処理領域選択部

12381から供給された処理領域情報から、処理領域の各水平ラインの画素を認識し、その処理領域の各水平ラインの画素の画素値を、動きボケ除去処理部 12386から供給される動きボケのない画素値に置き換えることにより、出力画像を生成する。さらに、ステップ S12342では、出力画像生成部 12^7は、その出力画像を画像表示部 12388に供給して表示させ、ステップ S 12351に進む。一方、図 1 8 1のステップ S12338において、ユーザ I _ F 12389は、出力画像の不満領域が指示されたと判定した場合、ステップ S12343に進み、ユーザがユーザ I F 12389を操作することによって指示した不満領域を表す不満領域指示情報を拘束条件設定部 12385に供給し、ステップ S12344に進む。ステツプ S12344において、拘束条件設定部 12385は、不満領域の画素における拘束条件式に対する N通りの重みを設定し、ステップ S 12345に進む。ステツプ S 12345において、特徴量空間 LUT生成部 12384は、生成した複数の特徴量空間 LUTから、例えば、ステップ S12337における場合と同様に、ユーザがュ一ザ I ZF 12389を操作することによつて選択した特徴量空間 LUTを選択し、その特徴量空間 LUTを拘束条件設定部 12385に供給する。

ステップ S12345の処理後は、ステップ S 12346に進み、拘束条件設定部 12385は、ユーザ I Z F 12389から供給された不満領域指示情報により、不満領域を認識するとともに、処理領域選択部 12381から供給された処理領域情報により、処理領域を認識する。拘束条件設定部 12385は、特徴量空間 LUT 生成部 12384から供給きれた特徴量空間 LUTから、処理領域の画素のうち、不満領域の画素と同一の特徴量クラスの画素を認識し、拘束対象画素とする。そして、拘束条件設定部 12385は、ステップ S 12344で設定した N通りの重みを用いて、拘束対象画素に対して、 N通りの重みを付けた拘束条件式を水平ラインごとに生成する。拘束条件設定部 12385は、その N通りの拘束条件式を動きボケ除去処理部 12386に供給し、図 1 8 2のステップ S12347に進む。例えば、処理領域において、拘束対象画素が 8個だけ水平方向に並んでおり、その各画素の動きボケのない画素値を Q。乃至 Q₇で表す場合、拘束条件式に対する 1通りの重みを Wとすると、ある 1通りの拘束条件式は、上述した式 ( 1 5 4 ) で表される。拘束条件設定部 12385は、式（1 5 4 ) の拘束条件式において重み Wの異なる式を N通り生成する。

ステップ S12347では、拘束条件設定部 12385は、処理領域選択部 12381から供給された処理領域情報と入力画像から、入力画像における処理領域の各水平ラインの画素の画素値を認識する。また、ステップ S 12347において、拘束条件設定部 12385は、入力画像における処理領域の各水平ラインの画素の画素値を、ステップ S 12334で生成し、記憶した関係モデルに代入して、水平ラインごとの式（1 5 1 ) のモデル方程式を生成する。そして、拘束条件設定部 12385は、そのモデル方程式を動きボケ除去処理部 12386に供給する。

ステップ S 12347の処理後は、ステップ S 12348に進み、拘束条件設定部 12385は、動きボケ除去処理を行う。即ち、動きボケ除去処理部 12386は、拘束条件設定部 12385から供給された N通りの拘束条件式それぞれとモデル方程式とから、 N通りの正規方程式を、処理領域の水平ラインごとに生成し、その N通りの正規方程式を最小二乗誤差最小規範で解くことにより、処理領域の各水平ラインの画素について、 N通りの動きボケのない画素値を求める。そして、動きボケ除去処理部 12386は、処理領域の各水平ラインの画素の N通りの動きボケのない画素値を、出力画像生成部 12387に供給し、ステップ

S12348からステップ S12349に進む。

ステップ S 12349において、出力画像生成部 12387は、処理領域選択部 12381から供給された処理領域情報から、処理領域の各水平ラインの画素を認識し、その処理領域の各水平ラインの画素の画素値を、動きボケ除去処理部

12386から供給される N通りの動きボケのない画素値に置き換えることにより、 N通りの出力画像を生成する。さらに、ステップ S12349において、出力画像生成部 12387 は、 N通りの出力画像を画像表示部 12388 に供給して表示させ、ステップ S12350に進む。

ステップ S 12350では、ユーザ I ZF 12389は、ユーザにより出力画像が選択されたかどうかを判定する。即ち、ステップ S12349では、画像表示部 12388において、 N通りの出力画像が表示されるが、その N通りの出力画像を見たユーザが、その N通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択したかどうかが、ステップ S12350において判定される。ステップ S12350において、ユーザ I / F 12389は、ユーザにより出力画像が選択されていないと判定した場合、ユーザにより出力画像が選択されるまで待機する。

ステップ S 12350において、ユーザ I / F 12389は、ユーザにより出力画像が選択されたと判定した場合、ステップ S 12351に進む。

ステップ S 12351において、ユーザ I ZF 12389は、処理領域内の画像に不満があるかどうかを判定する。即ち、ユーザが、ステップ S12342で画像表示部 12388に表示される出力画像またはステップ S12350で選択された出力画像を見て、ステップ S 12333で選択された処理領域内の画像に不満を感じ、不満があることを知らせるように、ユーザ I Z F 12389を操作したかどうかが、ステツプ S12351で判定される。ステップ S12351において、ユーザ I / F 12389 は、処理領域内の画像に不満があると判定した場合、図 1 8 1のステップ S12335に戻り、上述の処理を繰り返す。なお、この場合、次に行われるステップ S12344では、直前のステップ S12350で選択された出力画像を得るのに用いられた拘束条件式に対する重みを基準に、新たな重みが N通り設定される。従って、ユーザが前回の処理で出力された N通りの出力画像の中から所望するものを選択すると、その選択結果を踏まえて、新たな N通りの重みが設定されるので、ユーザは N通りの出力画像の中から所望するものの選択を繰り返すことにより、最終的には、ユーザが所望する画質の出力画像が得られる重みが設定される。その結果、ユーザは、入力画像の処理領域の部分が、所望の画質の画像または所望の画質に近い画像とされた出力画像を得ることができる。一方、ステップ S12351において、ユーザ I / F 12389は、処理領域内の画像に不満がないと判定した場合、ステップ S12352に進み、他の動きボケ領域が指示されたかどうかを判定する。即ち、ユーザがステップ S 12342で表示された出力画像またほステップ S12350で選択された出力画像を見て、処理領域以外の画像に動きボケがあると感じ、その動きボケのある領域を、ユーザ I Z F 12389を操作することにより指示したかどう力が、ステップ S12352において判定される。ステップ S 12352において、ユーザ I ZF 12389は、他の動きボケ領域が指示されたと判定した場合、ステップ S12333に戻り、上述した処理を繰り返す。即ち、信号処理装置 4は、新たな動きボケ領域に対して処理を行う。なお、この場合、直前のステップ S 12342で表示された出力画像またはステップ S12350で選択された出力画像を入力画像として、あるいは、入力画像の処理領域について、その処理領域に対して最終的に得られた画素値に置き換えた画像を入力画像として、処理が行なわれる。また、ステップ S 12352において、ユーザ I Z F 12389は、他の動きボケ領域が指示されていないと判定した場合、ユーザは、出力画像に満足しているので、処理を終了する。

図 1 8 3と図 1 8 4のフローチャートを参照して、図 1 8 0の信号処理装置の他の処理について説明する。なお、オブジェクトは水平方向に一定速度で動いているものとする。

まず最初に、ステップ S12371において、信号処理装置 4は、入力画像として動きボケ画像の画像信号を取得し、処理領域選択部 12381、特徴量抽出部 12383、拘束条件設定部 12385、出力画像生成部 12387、および画像表示部 12388に供給する。そして、特徴量抽出部 12383は、入力画像から、画素毎に複数種類の特徴量を抽出し、その複数種類の特徴量を特徴量空間 LUT生成部 12384に供給する。特微量空間 LUT生成部 12384は、特徴量抽出部 123δ3から供給された複数種類の特徴量に基づいて、複数通りの特徴量軸に基づく特徴量空間 LUT (図 1 7 9 Aと図 1 7 9 B ) を生成する。さらに、ステップ

S12371 では、信号処理装置 4は、画像表示部 12388 に、入力画像を表示させ、ステップ S12372に進む。

ステップ S 12372では、ユーザ I Z F 12389は、ユーザにより動きボケ領域が指示された、即ち、画像表示部 12388に表示された入力画像（動きボケ画像）を見たユーザが、その入力画像に動きボケが生じていると感じ、動きボケが生じている箇所をポインティングするように、ユーザ I Z F 121389を操作したかどうかを判定する。ステップ S12372において、ユーザにより動きポケ領域が指示されていない、即ち、画像表示部 12388に表示された入力画像を見たユーザが、その入力画像に動きボケが生じておらず、不満がないと感じた璩合、図 1 8 4のステップ S12382に進む。ステップ S12382において、出力画像生成部 12387は、出力画像として入力画像を画像表示部 12388に供給して表示する。一方、ステップ S12372において、ユーザにより動きボケ領域が指示されたと判定された場合、ユーザ I / F 12389は、ユーザがユーザ I / F 12389を操作することによつて指示した動きボケ領域を表す動きボケ領域指示情報を、処理領域選択部 12381に供給して、ステップ S12373に進む。ステップ S12373 では、処理領域選択部 12381は、ユーザ I Z F 12389から供給された動きボケ領域指示情報に基づいて、例えば、動きボケ領域を含む矩形を、入力画像の領域から処理領域として選択し、その処理領域を表す処理領域情報を、動き量パラメータ入力部 12382、拘束条件設定部 12385、および出力画像生成部 12387 に供給する。

ステップ S 12373の処理後は、ステップ S12374に進み、動き量パラメータ入力部 12382は、処理領域におけるオブジェクトの動き量を表す動きパラメータを、拘束条件設定部 12385に入力する。即ち、例えば、ユーザが画像表示部 12388に表示された入力画像を見て、ユーザ I / F 12389を操作することにより、処理領域におけるオブジェクトの動き量を入力した場合、動き量パラメータ入力部 12382は、ユーザ I / F 12389から入力される動き量を表す動き量パラメータを拘束条件設定部 12385に供給する。あるいは、また、動き量パラメータ入力部 12382は、処理領域におけるォブジェクトの動き量を検出し、その動き量を表す動き量パラメータを、拘束条件設定部 12385に供給する。拘束条件設定部 12385は、その動き量パラメータと処理領域選択部 12381 から供給された処理領域情報に基づいて、処理領域内の水平ラインの各画素の画素値と、動きボケのない画素の画素値の関係をモデル化した関係モデルを、処理領域の水平ラインごとに生成して記憶し、ステップ S12374からステップ S12375に進む。

ステップ S 12375では、ユーザ I / F 12389は、ユーザにより、入力画像である動きボケ画像から平坦領域が指示されたかどうかを判定する。ステップ S12375において、ユーザ I / F 12389は、ユーザがユーザ I / F 12389を操作することにより、動きボケ画像から平坦領域が指示された、即ち、ユーザが入力画像を見て、処理領域内における動きボケのない画像が平坦であると推定される平坦領域を指示したと判定した場合、ステップ S 12376に進み、ユーザ I / F 12389は、ユーザがユーザ I / F 12389を操作することによって指示した平坦領域を表す平坦領域指示情報を、拘束条件設定部 12385に供給する。ステップ S 12376の処理後は、ステップ S 12377に進み、特徴量空間 LUT生成部 12384は、生成した複数の特徴量空間 LUTのうち、例えば、ユーザがュ一ザ I Z F 12389を操作することによって選択した特徴量空間 LUTを選択し、拘束条件設定部 12385に供給して、ステップ S 12379に進む。即ち、ステップ S12377では、例えば、特徴量空間 LUT生成部 12384が生成した複数通りの特徴量空間 LUT に対応するボタンが、画像表示部 12388 に表示される。そして、ユーザがユーザ I ZF 12389を操作することにより、画像表示部 12388に表示されたボタンをクリック等して選択すると、ステップ S12377では、その選択されたポタンに対応する特徴量空間 LUTが選択される。

ステップ S 12379において、拘束条件設定部 12385は、ユーザ I Z F 12389 から供給された平坦領域指示情報から、処理領域内の平坦領域を認識する。さらに、拘束条件設定部 12385は、特徴量空間 LUT生成部 12384から供給された特徴量空間 LUTから、平坦領域の画素と同一の特徴量クラスの処理領域の画素を認識する。そして、拘束条件設定部 12385は、.平坦領域の画素と、平坦領域の画素と同一の特徴量クラスの画素を拘束対象画素として、その拘束対象画素に対して、処理領域の水平ラインごとに拘束条件式を生成し、その拘束条件式を動きボケ除去処理部 12386に供給して、図 1 8 4のステップ S 12380 に進む。例えば、処理領域において、拘束対象画素が 6個だけ水平方向に並んでおり、その各画素の動きボケのない画.素値を Q。乃至 Q₅で表す場合、拘束条件式は、例えば、上述した式（1 5 3 ) で示される。

—方、図 1 8 1のステップ S12375において、ユーザ I / F 12389は、動きボケ画像から平坦領域が指示されていないと判定した場合、ステップ S 12378 に進み、出力画像の不満領域が指示された、即ち、ユーザが前回 < S12382 (図 1 8 4 ) で画像表示部 12388に表示された出力画像を見て、不満を感じ、その不満を感じた領域を、ユーザがユーザ I / F 12389を操作することにより指示したかどうかを判定する。ステップ S 12378において、ユーザ I Z F 12389は、出力画像の不満領域が指示されていないと判定した場合、ステップ S12379に進む。この場合、ユーザにより平坦領域も不満領域も指示されていないので、ステップ S12379では、拘束条件設定部 12385は、例えば、処理領域のすべての画素を拘束対象画素として、水平ラインごとに、その拘束対象画素に対して拘束条件式を生成する。拘束条件設定部 123S5は、その拘束条件式を動きボケ除去処理部 12386に供給し、ステップ S12379から図 1 8 4 のステップ S 12380 に進む。例えば、処理領域の水平ラインの画素が 8個あり、その各画素の動きボケのない画素値を Q。乃至 Q ₇ で表す場合、拘束条件式は、上述した式（1 5 2 ) で示される。

ステップ S 12380では、拘束条件設定部 12385は、処理領域選択部 12381から供給された処理領域情報と入力画像から、入力画像における処理領域の各水平ラインの画素の画素値を認識する。また、ステップ S 12380において、拘束条件設定部 12385は、入力画像における処理領域の各水平ラインの画素の画素値を、ステップ S 12384で生成して記憶した関係モデルに代入して、水平ラインごとに、式 ( 1 5 1 ) に示したモデル方程式を生成する。そして、拘束条件設定部 12385は、そのモデル方程式を動きボケ除去処理部 12386に供給する。

ステップ S 12380の処理後は、ステップ S12381に進み、拘束条件設定部 12385は、動きボケ除去処理を行う。即ち、動きボケ除去処理部 12386は、拘束条件設定部 12385から供給された拘束条件式とモデル方程式を用いて、処理領域の水平ラインごとに正規方程式を生成する。さらに、動きボケ除去処理部 12386は、その正規方程式を、最小二乗誤差最小規範で解くことにより、処理領域の各水平ラインの画素の動きボケのない画素値を求める。そして、動きポケ除去処理部 12386は、処理領域の各水平ラインの画素の動きボケのない画素値を、出力画像生成部 12387に供給し、ステップ S12381からステップ S 12382に進む。

ステップ S12382において、出力画像生成部 12387は、処理領域選択部 12381から供給された処理領域情報から、処理領域の各水平ラインの画素を認識し、その処理領域の各水平ラインの画素の画素値を、動きボケ除去処理部 12386から供給される動きボケのない画素値に置き換えることにより、出力画像を生成する。さらに、ステップ S12382では、出力画像生成部 12387は、その出力画像を画像表示部 12388に供給して表示させ、ステップ S12391に進む _c —方、図 1 8 3のステップ S12378において、ユーザ I ZF 12389は、出力画像の不満領域が指示されたと判定した場合、ステップ S12383に進み、ユーザがユーザ I Z F 12389を操作することによって指示した不満領域を表す不満領域指示情報を拘束条件設定部 12385に供給し、ステップ S12384に進む。ステツプ S 12384において、拘束条件設定部 12385は、不満領域の画素における拘束条件式に対する所定の重みを設定し、ステップ S12385に進む。なお、重みは、ユーザがユーザ I Z F 12389を操作することにより設定してもよい。ステップ S 12385において、特徴量空間 LUT生成部 12384は、生成した特徴量空間 LUTから、 M通りの特徴量空間 LUTを選択し、 M通りの特徴量空間 LUT を拘束条件設定部 12385に供給する。

ステップ S12385の処理後は、ステップ S 12386に進み、拘束条件設定部 12385は、ユーザ I Z F 12389から供給された不満領域指示情報により、不満領域を認識するとともに、処理領域選択部 12381から供給された処理領域情報により、処理領域を認識する。拘束条件設定部 12385は、特徴量空間 LUT 生成部 12384から供給された M通りの特徴量空間 LUTから、処理領域の画素のうち、不満領域の画素と同一の特徴量クラスの画素を、拘束対象画素として認識する。従って、拘束条件設定部 12385は、水平ラインごとに、 M通りの拘束対象画素を認識する。そして、拘束条件設定部 12385は、ステップ

S12384で設定した所定の重みを用いて、拘束対象画素に対して、水平ラインごとに、所定の重みを付けた M通りの拘束条件式を生成する。拘束条件設定部 12385は、その M通りの拘束条件式を動きボケ除去処理部 12386に供給し、図 1 8 4のステップ S12387に進む。

例えば、処理領域において、拘束対象画素が 8個だけ水平方向に並んでおり、その各画素の動きボケのない画素値を Q。乃至 Q₇で表す場合、拘束条件式に対する重みを Wとすると、ある 1通りの拘束条件式は、上述した式（1 5 4 ) で表される。従って、拘束条件設定部 12385は、 M通りの拘束対象画素に対して、式（1 5 4 ) の拘束条件式において、拘束対象がその異なる式を M通り生成する。

ステップ S12387では、拘束条件設定部 12385は、処理領域選択部 12381から供給された処理領域情報と入力画像から、入力画像における処理領域の各水平ラインの画素の画素値を認識する。また、ステップ S 12387において、拘束条件設定部 12385は、入力画像における処理領域の各水平ラインの画素の画素値を、ステップ S 12374で生成し、記憶した関係モデルに代入して、水平ラインごとの式（1 5 1 ) のモデル方程式を生成する。そして、拘束条件設定部 12385は、そのモデル方程式を動きボケ除去処理部 12386に供給する。

ステップ S 12387の処理後は、ステップ S12388に進み、拘束条件設定部 12385は、動きボケ除去処理を行う。即ち、動きボケ除去処理部 12386は、拘束条件設定部 12385から供給された M通りの拘束条件式それぞれとモデル方程式とから、 M通りの正規方程式を、処理領域の水平ラインごとに生成し、その M通りの正規方程式を最小二乗誤差最小規範で解くことにより、処理領域の各水平ラインの画素について、 M通りの動きボケのない画素値を求める。そして、動きボケ除去処理部 12386は、処理領域の各水平ラインの画素の M通りの動きボケのない画素値を、出力画像生成部 12387に供給し、ステップ

S12388からステップ S12389に進む。

ステップ S 12389において、出力画像生成部 12387は、処理領域選択部 12381から供給された処理領域情報から、処理領域の各水平ラインの画素を認識し、その処理領域の各水平ラインの画素の画素値を、動きボケ除去処理部 12386から供給される M通りの動きボケのない画素値に置き換えることにより、 M通りの出力画像を生成する。さらに、ステップ S12389において、出力画像生成部 12387 は、 M通りの出力画像を画像表示部 12388 に供給して表示させ、ステップ S12390に進む。

ステップ S 12390では、ユーザ I / F 12389は、ユーザにより出力画像が選択されたかどうかを判定する。即ち、ステップ S12389では、画像表示部 12388において、 M通りの出力画像が表示されるが、その M通りの出力画像を見たユーザが、その M通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択したかどうかが、ステップ S12390において判定される。ステップ S12390において、ユーザ I / F 12389は、ユーザにより出力画像が選択されていないと判定した場合、ユーザにより出力画像が選択されるまで待機する。

ステップ S 12390において、ユーザ I Z F 12389は、ユーザにより出力画像が選択されたと判定した場合、ステップ S 12391に進む。

ステップ S 12391において、ユーザ I Z F 12389は、処理領域内の画像に不満があるかどうかを判定する。即ち、ユーザが、ステップ S12382で画像表示部 12388に表示される出力画像またはステップ S12390で選択された出力画像を見て、ステップ S12373で選択された処理領域内の画像に不満を感じ、不満があることを知らせたるように、ユーザ I / F 12389を操作したかどうかが、ステップ S12391で判定される。ステップ S 12391において、ユーザ I , F 12389は、処理領域内の画像に不満があると判定した場合、図 1 8 3のステツプ S12375に戻り、上述の処理を繰り返す。なお、この場合、次に行われるステツプ S 12385では、直前のステップ S 12390で選択された出力画像を得るのに用いられた特徴量空間 LUTの特徴量軸を基準に、新たな特徴量軸を M通り選択し、その M通りの特徴量軸を有する特徴量空間 LUTを選択する。従って、ユーザが前回の処理で出力された M通りの出力画像の中から所望するものを選択することによって、その選択結果を踏まえて、新たな M通りの特徴量軸が設定され、拘束条件の対象となる拘束対象画素が決定されるので、この処理を繰り返すことにより、最終的には、ユーザが所望する画質の出力画像が得られる特徴量軸が設定される。その結果、ユーザは、入力画像の処理領域の部分が、所望の画質の画像または所望の画質に近い画像とされた出力画像を得ることができる。

一方、ステップ S12391において、ユーザ I / F 12389は、処理領域内の画像に不満がないと判定した場合、ステップ S12392に進み、他の動きボケ領域が指示されたかどうかを判定する。即ち、ユーザがステップ S12382で表示された出力画像またはステップ S12390で選択された出力画像を見て、処理領域以外の画像に動きボケがあると感じ、その動きボケのある領域を、ユーザ 1 / F 12389を操作することにより指示したかどうかが、ステップ S12392において判定される。ステップ S12392において、ユーザ I Z F 12389は、他の動きボケ領域が指示されたと判定した場合、ステップ S12373に戻り、上述した処理を繰り返す。即ち、信号処理装置 4は、新たな動きボケ領域に対して処理を行う。なお、この場合、直前のステップ S 12382で表示された出力画像またはステップ S12390で選択された出力画像を入力画像として、あるいは、入力画像の処理領域について、その処理領域に対して最終的に得られた画素値に置き換えた画像を入力画像として、処理が行なわれる。

また、ステップ S 12392において、ユーザ I / F 12389は、他の動きボケ領域が指示されていないと判定した場合、ユーザは、出力画像に満足しているので、処理を終了する。

なお、図 1 8 1および図 1 8 2に示すフローチャートの処理と、図 1 8 3および図 1 8 4に示すフローチヤ一トの処理とは組み合わせて行うようにしてもよい。即ち、ユーザが出力画像を見て不満領域を指示した場合、拘束条件設定部 12385は、拘束対象画素における拘束条件式に対する重みを N通り設定するとともに、 M通りの特徴量空間 LUTに基づく M通りの拘束対象画素を認識し、合計 N X M通りの出力画像を生成してもよい。また、ユーザが出力画像を見て不満領域を指示した場合、拘束条件設定部 12385は、不満領域の拘束条件に対する重みを N通り設定して N通りの出力画像を生成することと、 M通りの特徴量空間 LUTに基づいて M通りの拘束対象画素を認識して M通りの出力画像を生成することを交互に行ってもよい。

図 1 8 5乃至図 1 9 4は、図 1 8 0に示す信号処理装置 4が、図 1 8 1および図 1 8 2に示すフローチヤ一トの処理と、図 1 8 3および図 1 8 4に示すフローチャートの処理とを組み合わせて行なった例を説明する図である。この例において、ユーザは、入力画像から処理領域を指示し、さらに動きポケ画像が平坦であると推定される領域を指示する。そして、ユーザは、その処理結果である出力画像を見て、不満のある領域を指示し、再度の処理結果である 2通りの出力画像を得る。さらに、ユーザは、その 2通りの出力画像から、所望の画像に近い画像を選択し、その選択結果を踏まえて処理された 4通りの出力画像を得る。最後に、ユーザは、その 4通りの出力画像から所望の画像または所望の画像に近い画像を選択する。

なお、ここでは、動き量パラメータについては、その真値が信号処理装置 4 に与えられるものとする。

図 1 8 5は、入力画像を見たユーザが処理領域を指示した状態を示している。図 1 8 5の入力画像は、画面中を飛行機（の玩具）が左から右へ水平に移動している瞬間を撮影して得られたものである。図 1 8 5に示すように、この入力画像は、動きボケにより文字「TAL」等のエッジ部分（輪郭部分）が鈍っている。ここで、ユーザは、「TAL」という文字が表示された部分を囲む矩形の領域を、処理領域として指示している。

図 1 8 6は、図 1 8 5に示した入力画像を見たユーザが、動きボケのない画像が平坦であると推定される部分を平坦領域としてポインティングした例である。ここで、画像の中の X印の部分は、ユーザが平坦領域を指示するためにポインティングした位置を表し、図 1 8 6では、このユーザによりポインティングされた位置を含む文字「L」の右側の部分を囲む矩形の領域が、平坦領域として設定されている。また、図 1 8 6において、画像上左側の正方形で囲まれた画像は、そのユーザが指示した領域の周辺を拡大した画像であり、その中の長方形で Hまれた部分が、ユーザがポインティングしたことにより設定された平坦領域である。

図 1 8 7は、図 1 8 5に示した入力画像に対して、ユーザによる平坦領域の指示なしで、信号処理装置 4が処理を行うことにより得られた処理結果としての出力画像を示している。即ち、信号処理装置 4は、図 1 8 1および図 1 8 2 のステップ S 12331乃至ステップ S12335、ステップ S12338乃至ステップ

S12342の処理を行い、画像表示部 12388に図 1 8 7に示す出力画像を表示する。この場合、拘束条件式は、処理領域の全ての画素に対して生成される。図 1 8 7に示すように、出力画像においては、図 1 8 5または図 1 8 6に示す入力画像に比べて、動きボケが低減され、「TALJ という文字が鮮明になっている。

図 1 8 8は、図 1 8 6に示すように、図 1 8 5の入力画像に対してユーザが平坦領域を指示した場合に、信号処理装置 4が、その平坦領域に基づいて処理を行うことにより得られる処理結果としての出力画像を示している。即ち、信号処理装置 4は、図 1 8 1およぴ図 1 8 2のステップ S 12331乃至ステップ S12337、ステップ S12339乃至ステップ S 12342の処理を行い、画像表示部

12388に図 1 8 8に示す出力画像を表示する。この場合、拘束条件式は、平坦領域の画素に対してのみ生成される。図 1 8 8の出力画像では、図 1 8 7と同様に、動きボケが低減され、「TAL」という文字が鮮明になっている。さらに、図 1 8 8の出力画像では、図 1 8 7における場合よりも、エッジ部分と平坦部分の画質が向上している。

図 1 8 9は、図 1 8 8に示した出力画像に対して、ユーザが不満のある領域を指示した状態を示す図である。即ち、ユーザは、出力画像に対して、想像している動きボケのない画像と異なる（画質が劣化している）領域を不満領域として指示する。図 1 89の例の場合、ユーザは、文字「TAL」のうちの「L」の右側近傍の白い劣化部分を不満領域として指示している。つまり、図中、長方形の部分が、不満領域として指示された領域である。

図 1 90Aと図 1 90 Bは、図 1 8 9に示すように、ユーザから指示された不満領域に基づいて、信号処理装置 4が処理を行うことにより得られる出力画像を示している。即ち、信号処理装置 4は、図 1 8 1および図 1 82のステツプ S12331乃至ステップ S12335,ステップ S12338、ステップ S12343乃至ステップ S12349の処理を行い、画像表示部 12388に図 1 90Aと図 1 90 Bに示す出力画像を表示する。

図 1 90 Aと図 1 90 Bでは、信号処理装置 4は、ユーザから指示された不満領域に対して、 2通りの重みを付けた拘束条件式をそれぞれ生成し、その 2 通りの拘束条件式を用いて処理を行うことにより得られる 2通りの出力画像を表示している。ユーザは、この 2通りの出力画像を見て、所望の画質に近い画像を選択する。ここで、図中、画像が四角で囲まれた画像（図 1 9 OA) 力ユーザにより選択された画像を表している。

図 1 9 1 A乃至図 1 9 1Dは、図 1 90Aと図 1 90 Bで選択された画像を再度処理して得られた出力画像を示している。即ち、信号処理装置 4は、図 1 8 1および図 1 82のステップ S12331乃至ステップ S12335、ステップ S12338、ステップ S12343乃至ステップ S12351の処理後、図 1 83および図 1 84のステップ S12375、ステップ S12378、ステップ S12383乃至ステップ S12389の処理を行い、画像表示部 12388に図 1 9 1 A乃至図 1 9 1 Dの出力画像を表示ずる。

図 1 9 1 A乃至図 1 9 1 Dでは、信号処理装置 4は、ユーザから指示された不満領域における拘束条件を、処理領域の不満領域以外の領域に反映させる仕方を決定するために、入力画像の複数種類の特徴量から 4通りの特徴量軸に基づく特徴量空間 LUTを生成し、その 4通りの特徴量空間 LUTに基づいて、 4 通りの出力画像を生成して表示している。

ユーザは、その 4通りの出力画像から、所望の画質の画像または所望の画質に近い画像を選択する。ここで、図中、四角で囲われた画像（図 1 9 1 D ) ί ユーザにより選択された画像を表している。

図 1 9 2は、図 1 8 5に示した入力画像の「TAL」という文字を拡大した図である。

図 1 9 3は、図 1 9 2に示した入力画像に対して、ユーザが平坦領域および不満領域を指示しない場合に、信号処理装置 4から得られる出力画像を示している。図 1 9 3に示すように、出力画像では、動きボケが低減（除去）され、「TALJ という文字が明確になっている。

図1 9 4は、図 1 9 2に示した入力画像に対して、ユーザが平坦領域を一回指示し、不満領域を 2回指示した場合に、信号処理装置 4から得られる出力画像を示している。図 1 9 4の出力画像では、図 1 9 3に示した出力画像に比べて、文字「TAL」が鮮明になっている。さらに、図 1 9 4の出力画像では、図 1 9 3における場合よりも、文字「L」の横の白い平坦領域の画質が向上している。

なお、上述した説明では、拘束条件式に対して重みを与え、その重みを変更したが、拘束条件式だけでなく、モデル方程式に対して重みを与え、その重みを変更してもよレ、。

上述した実施の形態には、請求の範囲に記載した発明についての実施の形態の他、以下に示す第 1乃至第 6の信号処理装置についての実施の形態も含まれている。

第 1の信号処理装置は、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の処理領域を設定する処理領域設定手段と、画像データにおいて定常性の一部が欠落した現実世界の光信号の定常性に対応する画像データ内のオブジェクトの動きべクトルを設定する動きべクトル設定手段と、処理領域内の各画素の画素値は、才ブジェクトに対応する動きボケが生じていない各画素の画素値が動きべクトルに対応して移動しながら積分された値であるとして、処理領域內の各画素の画素値と、動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成手段と、モデル生成手段により生成されたモデルに対して、処理領域内の各画素の画素値を代入した第 1の方程式と、動きボケが生じていない各画素間の関係を拘束する第 2の方程式とにより正規方程式を生成する正規方程式生成手段と、ユーザ入力に応じて第 1または第 2の方程式の一部に対する重みを変更する重み変更手段と、重み変更手段により重みが変更された第 1または第 2の方程式から生成される正規方程式を演算することにより動きボケの生じていない各画素の画素値を推定する実世界推定手段とを備えることを特徴とする。

第 2の信号処理装置は、第 1の信号処理装置の特徴に加え、処理領域内の各画素の画素値、または動きボケが生じていない各画素の画素値のうちの少なくとも一方を表示する表示手段をさらに備え、重み変更手段は、表示手段に表示される各画素の画素値に対するユーザ入力に応じた画素に対応する第 1または第 2の方程式の重みを変更することを特徴とする。

第 3の信号処理装置は、第 2の信号処理装置の特徴に加え、重み変更手段は、ユーザ入力に応じた画素に対応する第 1または第 2の方程式の重みが大きくなるように重みを変更し、実世界推定手段は、重みが変更された第 1または第 2 の方程式から生成される正規方程式を演算することにより動きボケが生じていない各画素の画素値を推定することを特徴とする。

第 4の信号処理装置は、第 2の信号処理装置の特徴に加え、重み変更手段は、ユーザ入力に応じた画素に対応する第 1または第 2の方程式の重みを複数設定し、実世界推定手段は、複数の重みが設定された第 1または第 2の方程式からそれぞれ生成される正規方程式を各々演算することにより複数の動きボケが生じていない各画素の画素値を推定し、表示手段は、実世界推定手段により推定された複数の動きボケが生じていない各画素の画素値を表示することを特徴とする。

第 5の信号処理装置は、第 2の信号処理装置の特徴に加え、ユーザ入力に応じた画素の特徴を検出する特徴検出手段と、特徴検出手段によって検出された特徴に類似する特徴を有する画素を抽出する画素抽出手段とをさらに備え、重み変更手段は、画素抽出手段により抽出された画素に対応する第 1または第 2 の方程式の重みが大きくなるように重みを変更し、実世界推定手段は、重みが変更された第 1または第 2の方程式から生成される正規方程式を演算することにより動きボケが生じていない各画素の画素値を推定することを特徴とする。第 6の信号処理装置は、第 2の信号処理装置の特徴に加え、ユーザ入力に応じた画素の複数種類の特徴を検出する特徴検出手段と、特徴検出手段によって検出された複数種類の特徴それぞれについて、その特徴に類似する特徴を有する画素を抽出する画素抽出手段とをさらに備え、重み変更手段は、複数種類の特徴それぞれについて、その特徴に類似する特徴を有する画素に対応する第 1 または第 2の方程式の重みを変更し、実世界推定手段は、複数種類の特徴それぞれについて重みが変更された第 1または第 2の方程式から生成される正規方程式を各々演算することにより複数種類の動きボケが生じていない各画素の画素値を推定し、表示手段は、実世界推定手段により推定された複数種類の動きボケが生じていない各画素の画素値を表示することを特徴とする。

また、上述した実施の形態には、以下に示す、信号処理方法、プログラム、並びに記録媒体についての実施の形態も含まれている。

即ち、信号処理方法、プログラム、並びに記録媒本は、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の処理領域を設定する処理領域設定ステツプと、画像データにおいて定常性の一部が欠落した現実世界の光信号の定常性に対応する画像データ内のオブジェクトの動きべクトルを設定する動きべクトル設定ステップと、処理領域内の各画素の画素値は、オブジェクトに対応する動きボケが生じていない各画素の画素値が動きべクトルに対応して移動しながら積分された値であるとして、処理領域内の各画素の画素値と、動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成ステップと、モデル生成ステップの処理により生成されたモデルに対して、処理領域内の各画素の画素値を代入した第 1の方程式と、動きボケが生じていない各画素間の関係を拘束する第 2の方程式とにより正規方程式を生成する正規方程式生成ステツプと、ユーザ入力に応じて第 1または第 2の方程式の一部に対する重みを変更する重み変更ステップと、重み変更ステップの処理により重みが変更された第 1または第 2の方程式から生成される正規方程式を演算することにより動きボケの生じていない各画素の画素値を推定する実世界推定ステップとを含むことを特徴とする。産業上の利用可能性

以上の如く、本発明によれば、現実世界の信号により近似した画像等を得る: とが可能となる。

Claims

請求の範囲

1 . 第 1の次元を有する現実世界の信号である第 1の信号が射影され、現実世界の信号の定常性の一部が欠落した前記第 1の次元よりも少ない第 2の次元の第 2の信号について、処理の対象とする処理領域を設定する処理領域設定手段と、

前記第 2の信号において欠落した現実世界の信号の定常性を設定する定常性設定手段と、

前記定常性設定手段により設定された定常性に応じて、前記処理領域設定手段により設定された処理領域内の前記第 2の信号に対応する、前記現実世界の信号を推定する実世界推定手段と、

ユーザの操作に応じて、前記処理領域、前記定常性、または前記現実世界の信号のうちの少なくとも 1つに関連する情報を、前記処理領域設定手段、前記定常性設定手段、または前記実世界推定手段に供給する情報供給手段と

を備えることを特徴とする信号処理装置。

2 . 前記処理領域設定手段は、時間または空間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データについて、前記処理領域を設定し、

前記定常性設定手段は、前記画像データにおいて欠落した現実世界の光信号 ' の定常性を設定し、

前記実世界推定手段は、前記処理領域内の前記画像データに対応する前記現実世界の光信号をモデル化することにより、前記現実世界の光信号を推定することを特徴とする請求の範囲第 1項に記載の信号処理装置。

3 . 前記定常性設定手段は、前記情報供給手段から供給される情報に応じて、前記画像データにおいて欠落した現実世界の光信号の定常性に対応する前記画像データ内のオブジェクトの動きを設定し、

前記実世界推定手段は、前記処理領域および前記動きに応じて、前記画像データ内の各画素の画素値と前記現実世界の光信号との関係をモデル化した関係モデルを生成するモデル生成手段と、

前記モデル生成手段により生成された関係モデルに対して前記画像データ内の各画素の画素値を代入して方程式を生成する方程式生成手段と、

前記方程式生成手段により生成された方程式を演算することにより、前記現実世界の光信号を推定する実世界波形推定手段と

を有する

ことを特徴とする請求の範囲第 2項に記載の信号処理装置。

4 . 前記定常性設定手段は、前記情報供給手段から供給される情報に応じて、前記画像データにおいて欠落した現実世界の光信号の定常性に対応する前記画像データ内のオブジェクトの空間的な方向を設定し、

前記実世界推定手段は、

前記処理領域および前記空間的な方向に応じ、前記画像データに対応する前記現実世界の光信号の波形をモデル化した近似モデルの時空間方向における少なくとも 1次元方向の位置に対応する各画素の画素値が前記近似モデルを前記少なくとも 1次元方向に積分することにより取得されるとして、前記画像データ内の各画素の画素値と前記現実世界の光信号との関係をモデル化した関係モデルを生成するモデル生成手段と、

前記方程式生成手段により生成された方程式を演算することにより、前記現実世界の光信号の波形を推定する実世界波形推定手段と

を有する

5 . 前記モデル生成手段は、前記処理領域および前記空間的な方向に応じて、前記画像データに対応する前記現実世界の光信号を複数種類の次数の多項式でモデル化した前記複数種類の近似モデルそれぞれについて、前記光信号の波形の近似モデルの時空間方向における少なくとも 1次元方向の位置に対応する各画素の画素値が前記近似モデルを前記少なくとも 1次元方向に積分することにより取得されるとして、前記関係モデルを生成し、

前記方程式生成手段は、前記複数種類の近似モデルそれぞれについて生成された関係モデルに対して画素値を代入して方程式を生成し、

前記実世界波形推定手段は、前記方程式生成手段により生成された前記複数種類の近似モデルそれぞれについての方程式を演算することにより、複数の前記現実世界の光信号の波形を推定し、

前記実世界波形推定手段により推定された前記複数の光信号の波形に基づいて、複数の画像を生成する画像生成手段と、

前記画像生成手段により生成された前記複数の画像を表示する表示手段とをさらに備え、

前記モデル生成手段は、さらに、前記ユーザが前記複数の画像のうちの 1つを選択する操作をした場合に前記情報供給手段から供給される情報に基づいて、前記画像データに対応する前記現実世界の光信号をモデル化した近似モデルの多項式の次数を設定する

ことを特徴とする請求の範囲第 4項に記載の信号処理装置。

6 . 前記実世界波形推定手段により推定された前記光信号より画像を生成する画像生成手段と、

前記画像生成手段により生成された前記画像を表示する表示手段と

をさらに備え、

前記情報供給手段は、前記表示手段により前記画像を表示した後のユーザの操作に応じて、再び、前記処理領域、前記定常性、または前記現実世界の信号のうちの少なくとも 1つに関連する情報を、前記処理領域設定手段、前記定常性設定手段、または前記実世界推定手段に供給する

7 . 前記定常性設定手段は、前記情報供給手段から供給された情報に応じて、複数の定常性を設定し、

前記実世界推定手段は、前記複数の定常性それぞれに応じて、前記処理領域内の前記画像データに対応する前記現実世界の光信号をモデル化することにより、複数の前記現実世界の光信号を推定し、

前記表示手段は、前記画像生成手段により生成された前記複数の現実世界の光信号に対応する複数の画像それぞれを表示し、

前記定常性設定手段は、さらに、前記ユーザが前記複数の画像のうちの 1つを選択する操作をした場合に前記情報供給手段から供給される情報に基づいて、定常性を設定する

ことを特徴とする請求の範囲第 6項に記載の信号処理装置。

8 . 前記処理領域設定手段は、前記ユーザが画像データを選択する操作をした場合にその選択された画像データの特徴に応じて、複数の処理領域を設定し、さらに、前記ユーザが前記複数の処理領域に対する処理結果のうちの 1つを選択する操作をした場合にそのユーザの操作に応じて、処理領域を設定することを特徴とする請求の範囲第 2項に記載の信号処理装置。

9 . 第 1の次元を有する現実世界の信号である第 1の信号が射影され、現実世界の信号の定常性の一部が欠落した前記第 1の次元よりも少ない第 2の次元の第 2の信号について、処理の対象とする処理領域を設定する処理領域設定手段において、前記処理領域を設定する処理領域設定ステップと、

前記第 2の信号において欠落した現実世界の信号の定常性を設定する定常性設定手段において、前記定常性を設定する定常性設定ステップと、

前記定常性設定ステップにより設定された定常性に応じて、前記処理領域設定ステップにより設定された処理領域内の前記第 2の信号に対応する前記現実世界の信号を推定する世界信号推定手段において、前記現実世界の信号を推定する実世界推定ステップと、ユーザの操作に応じて、前記処理領域、前記定常性、または前記現実世界の信号のうちの少なくとも 1つに関連する情報を、前記処理領域設定手段、前記定常性設定手段、または前記実世界推定手段に供給する情報供給ステップとを備えることを特徴とする信号処理方法。

1 0 . コンピュータに所定の信号処理を行わせるプログラムにおいて、第 1の次元を有する現実世界の信号である第 1の信号が射影され、現実世界の信号の定常性の一部が欠落した前記第 1の次元よりも少ない第 2の次元の第 2の信号について、処理の対象とする処理領域を設定する処理領域設定手段において、前記処理領域を設定する処理領域設定ステップと、

前記定常性設定ステップにより設定された定常性に応じて、前記処理領域設定ステップにより設定された処理領域内の前記第 2の信号に対応する前記現実世界の信号を推定する世界信号推定手段において、前記現実世界の信号を推定する実世界推定ステップと、

ユーザの操作に応じて、前記処理領域、前記定常性、または前記現実世界の信号のうちの少なくとも 1つに関連する情報を、前記処理領域設定手段、前記定常性設定手段、または前記実世界推定手段に供給する情報供給ステップとを備えることを特徴とするプログラム。

1 1 . コンピュータに所定の信号処理を行わせるプログラムが記録されている記録媒体において、

第 1の次元を有する現実世界の信号である第 1の信号が射影され、現実世界の信号の定常性の一部が欠落した前記第 1の次元よりも少ない第 2の次元の第 2の信号について、処理の対象とする処理領域を設定する処理領域設定手段において、前記処理領域を設定する処理領域設定ステップと、

前記第 2の信号において欠落した現実世界の信号の定常性を設定する定常性設定手段において、前記定常性を設定する定常性設定ステップと、前記定常性設定ステップにより設定された定常性に応じて、前記処理領域設定ステップにより設定された処理領域内の前記第 2の信号に対応する前記現実世界の信号を推定する世界信号推定手段において、前記現実世界の信号を推定する実世界推定ステップと、

ユーザの操作に応じて、前記処理領域、前記定常性、または前記現実世界の信号のうちの少なくとも 1つに関連する情報を、前記処理領域設定手段、前記定常性設定手段、または前記実世界推定手段に供給する情報供給ステツプとを備えるプログラムが記録されている

ことを特徴とする記録媒体。