WO2005001763A1

WO2005001763A1 - 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体

Info

Publication number: WO2005001763A1
Application number: PCT/JP2004/008691
Authority: WO
Inventors: Tetsujiro Kondo; Tetsushi Kokubo; Kazushi Yoshikawa; Hisakazu Shiraki; Michimasa Obana; Hideo Kasama; Masanori Kanemaru
Original assignee: Sony Corporation
Priority date: 2003-06-27
Filing date: 2004-06-15
Publication date: 2005-01-06
Also published as: US7512285B2; CN1816826A; JP4392583B2; CN100433058C; KR20060021374A; JP2005018533A; US7684635B2; US20070116372A1; KR101016355B1; US20070098289A1

Abstract

本発明は、現実世界の信号により近似した画像等を得ることができるようにした信号処理装置および信号処理方法、並びにプログラムおよび記録媒体に関する。動き量ｖで水平方向に動いているオブジェクトが撮像され、オブジェクトがボケた画像が信号処理装置に入力される。定常性設定部15012は、オブジェクトの動き量ｖを定常性情報として実世界推定部15013に供給する。実世界推定部15013は、入力画像の画素値とボケがない画像の画素値との関係を、動き量ｖに応じてモデル化したモデル方程式と、ボケがない画像の画素間を拘束する拘束条件の式とで構成される正規方程式を演算することにより、ボケがない画像の画素値を推定し、画像生成部15014に供給する。本発明は、例えば、画像から動きボケを除去する場合などに適用することができる。

Description

1

明細書

信号処理装置および信号処理方法、並びにプログラムおよぴ記録媒体技術分野

本発明は、信号処理装置および信号処理方法、並びにプログラムおよび記録媒体に関し、特に、現実世界の信号により近似した画像等を得ることができるようにする信号処理装置および信号処理方法、並びにプログラムおよぴ記録媒体に関する。背景技術

実世界（現実世界）における事象をセンサで検出し、センサが出力するサンプリングデータを処理する技術が広く利用されている。例えば、実世界をイメージセンサで撮像し、画像データであるサンプリングデータを処理する画像処理技術が広く利用されている。

また、第 1の次元を有する現実世界の信号である第 1の信号をセンサによって検出することにより得た、第 1の次元に比較し次元が少ない第 2の次元を有し、第 1の信号に対する歪を含む第 2の信号を取得し、第 2の信号に基づく信号処理を行うことにより、第 2の信号に比して歪の軽減された第 3の信号を生成するようにしているものもある（例えば、特開 2 0 0 1— 2 5 0 1 1 9号公報参照）。しかしながら、従来においては、現実世界の信号の定常性を考慮した信号処理が行われていなかつたため、現実世界の信号により近似した画像等を得ることが困難であることがあった。発明の開示

本発明は、このような状況に鑑みてなされたものであり、現実世界の信号により近似した画像等を得ることができるようにするものである。本発明の信号処理装置は、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の処理領域を設定する処理領域設定手段と、画像データにおいて定常性の一部が欠落した現実世界の光信号の定常性に対応する画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定手段と、処理領域内の各画素の画素値は、オブジェクトに対応する動きボケが生じていない各画素の画素値が動きべクトルに対応して移動しながら積分された値であると.して、処理領域内の各画素の画素値と、動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成手段と、モデル生成手段により生成されたモデルに対して、処理領域内の各画素の画素値を代入した第 1の方程式と、動きボケが生じていない各画素間の関係を拘束する第 2の方程式とにより、正規方程式を生成する正規方程式生成手段と、正規方程式生成手段により生成された正規方程式を演算することにより、動きボケが生じていない各画素の画素値を推定する実世界推定手段とを備えることを特徴とする。

正規方程式生成手段には、モデル生成手段により生成されたモデルに対して処理領域内の各画素の画素値を代入する第 1の方程式と、動きボケが生じていない各画素間の画素値の差分を 0とする第 2の方程式とにより正規方程式を生成させるようにすることができる。

本発明の信号処理方法は、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の処理領域を設定する処理領域設定ステップと、画像データにおいて定常性の一部が欠落した現実世界の光信号の定常性に対応する画像データ内のオブジェクトの動きべクトルを設定する動きべクトル設定ステップと、処理領域内の各画素の画素値は、オブジェクトに対応する動きボケが生じていない各画素の画素値が動きベクトルに対応して移動しながら積分された値であるとして、処理領域内の各画素の画素^:と、動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成ステップと、モデル生成ステップの処理により生成されたモデルに対して、処理領域内の各画素の画素値を代入した第 1の方程式と、動きボケが生じていない各画素間の関係を拘束する第 2の方程式とにより、正規方程式を生成する正規方程式生成ステップと、正規方程式生成ステップの処理により生成された正規方程式を演算することにより、動きボケが生じていない各画素の画素値を推定する実世界推定ステツプとを含むことを特徴とする。

本発明の記録媒体のプログラムは、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の処理領域を設定する処理領域設定ステップと、画像データにおいて定常性の一部が欠落した現実世界の光信号の定常性に対応する画像データ内のォブジェクトの動きべクトルを設定する動きべクトル設定ステップと、処理領域内の各画素の画素値は、オブジェクトに対応する動きボケが生じていない各画素の画素値が動きべクトルに対応して移動しながら積分された値であるとして、処理領域内の各画素の画素値と、動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成ステップと、モデル生成ステップの処理により生成されたモデルに対して、処理領域内の各画素の画素値を代入した第 1の方程式と、動きボケが生じていない各画素間の関係を拘束する第 2の方程式とにより、正規方程式を生成する正規方程式生成ステツプと、正規方程式生成ステップの処理により生成された正規方程式を演算することにより、動きボケが生じていない各画素の画素値を推定する実世界推定ステツプとを含むことを特徴とする。

本発明のプログラムは、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の処理領域を設定する処理領域設定ステップと、画像データにおいて定常性の一部が欠落した現実世界の光信号の定常性に対応する画像データ内のオブジェクトの動きべクトルを設定する動きべクトル設定ステップと、処理領域内の各画素の画素値は、オブジェクトに対応する動きボケが生じていない各画素の画素値が動きべクトルに対応して移動しながら積分された値であるとして、処理領域内の各画素の画素値と、動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成ステップと、モデル生成ステツプの処理により生成されたモデルに対して、処理領域内の各画素の画素値を代入した第 1の方程式と、動きボケが生じていない各画素間の関係を拘束する第 2の方程式とにより、正規方程式を生成する正規方程式生成ステップと、正規方程式生成ステップの処理により生成された正規方程式を演算することにより、動きボケが生じていない各画素の画素値を推定する実世界推定ステップとをコンピュータに実行させることを特徴とする。本発明においては、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の処理領域が設定され、画像データにおいて定常性の一部が欠落した現実世界の光信号の定常性に対応する画像データ内のオブジェクトの動きべクトルが設定され、処理領域内の各画素の画素値は、オブジェクトに対応する動きボケが生じていない各画素の画素値が動きべクトルに対応して移動しながら積分された値であるとして、処理領域内の各画素の画素値と、動きボケが生じていない各画素の画素値との関係がモデル化され、そのモデルに対して、処理領域内の各画素の画素値を代入した第 1の方程式と、動きボケが生じていない各画素間の関係を拘束する第 2の方程式とにより、正規方程式が生成され、その生成された正規方程式を演算することにより、動きボケが生じていない各画素の画素値が推定される。図面の簡単な説明

図 1は、本発明の原理を示す図である。

図 2は、信号処理装置 4のハードウェア構成の例を示すプロック図である。

図 3は、図 1の信号処理装置 4の一実施の形態の構成例を示すプロック図である。図 4は、信号処理装置 4の信号処理の原理をより具体的に説明する図である。図 5は、ィメージセンサ上の画素の配置の例を説明する図である。

図 6は、 CCDである検出素子の動作を説明する図である。

図 7は、画素 D乃至画素 Fに対応する検出素子に入射される光と、画素値との関係を説明する図である。図 8は、時間の経過と、 1つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。

図 9は、実世界 1の線状の物の画像の例を示す図である。

図 1 0は、実際の撮像により得られた画像データの画素値の例を示す図である。図 1 1は、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像の例を示す図である。

図 1 2は、実際の撮像により得られた画像データの画素値の例を示す図である。図 1 3は、画像データの模式図である。

図 1 4は、 M個のデータ 1 6 2によるモデル 1 6 1の推定を説明する図である。図 1 5は、実世界 1の信号とデータ 3との関係を説明する図である。

図 1 6は、式を立てるときに注目するデータ 3の例を示す図である。

図 1 7は、式を立てる場合における、実世界 1における 2つの物体に対する信号およぴ混合領域に属する値を説明する図である。

図 1 8は、式（1 8 ) 、式（1 9 ) 、および式（2 2 ) で表される定常性を説明する図である。

図 1 9は、データ 3から抽出される、 M個のデータ 1 6 2の例を示す図である。図 2 0は、データ 3における、時間方向および 2次元の空間方向の実世界 1の信号の積分を説明する図である。

図 2 1は、空間方向により解像度の高い高解像度データを生成するときの、積分の領域を説明する図である。

図 2 2は、時間方向により解像度の高い高解像度データを生成するときの、積分の領域を説明する図である。

図 2 3は、時間空間方向により解像度の高い高解像度データを生成するときの、積分の領域を説明する図である。

図 2 4は、入力画像の元の画像を示す図である。

図 2 5は、入力画像の例を示す図である。

図 2 6は、従来のクラス分類適応処理を適用して得られた画像を示す図である。図 2 7は、細線の領域を検出した結果を示す図である。

図 2 8は、信号処理装置 4から出力された出力画像の例を示す図である。

図 2 9は、信号処理装置 4による、信号の処理を説明するフローチャートである。図 3 0は、データ定常性検出部 1 0 1の構成を示すブロック図である。

図 3 1は、背景の前に細線がある実世界 1の画像を示す図である。

図 3 2は、平面による背景の近似を説明する図である。

図 3 3は、細線の画像が射影された画像データの断面形状を示す図である。

図 3 4は、細線の画像が射影された画像データの断面形状を示す図である。

図 3 5は、細線の画像が射影された画像データの断面形状を示す図である。

図 3 6は、頂点の検出おょぴ単調増減領域の検出の処理を説明する図である。図 3 7は、頂点の画素値が閾値を超え、隣接する画素の画素値が閾値以下である細線領域を検出する処理を説明する図である。

図 3 8は、図 3 7の点線 AA'で示す方向に並ぶ画素の画素値を表す図である。図 3 9は、単調増減領域の連続性の検出の処理を説明する図である。

図 4 0は、細線の画像が射影された領域の検出の他の処理の例を示す図である。図 4 1は、定常性検出の処理を説明するフローチヤ一トである。

図 4 2は、時間方向のデータの定常性を検出の処理を説明する図である。

図 4 3は、非定常成分抽出部 2 0 1の構成を示すプロック図である。

図 4 4は、棄却される回数を説明する図である。

図 4 5は、非定常成分の抽出の処理を説明するフローチャートである。

図 4 6は、定常成分の抽出の処理を説明するフローチャートである。

図 4 7は、定常成分の抽出の他の処理を説明するフローチヤ一トである。

図 4 8は、定常成分の抽出のさらに他の処理を説明するフローチャートである。図 4 9は、データ定常性検出部 1 0 1の他の構成を示すブロック図である。

図 5 0は、データの定常性を有する入力画像におけるァクティビティを説明する図である。

図 5 1は、ァクティビティを検出するためのプロックを説明する図である。図 5 2は、ァクティビティに対するデータの定常性の角度を説明する図である。図 5 3は、データ定常性検出部 1 0 1のより詳細な構成を示すブロック図である。図 5 4は、画素の組を説明する図である。

図 5 5は、画素の組の位置とデータの定常性の角度との関係を説明する図である。図 5 6は、データの定常性の検出の処理を説明するフローチャートである。

図 5 7は、時間方向および空間方向のデータの定常性の角度を検出するとき、抽出される画素の組を示す図である。

図 5 8は、図 3の実世界推定部の実施の形態の 1例である、関数近似手法の原理を説明する図である。

図 5 9は、センサが C C Dとされる場合の積分効果を説明する図である。

図 6 0は、図 5 9のセンサの積分効果の具体的な例を説明する図である。

図 6 1は、図 5 9のセンサの積分効果の具体的な他の例を説明する図である。図 6 2は、図 6 0で示される細線含有実世界領域を表した図である。

図 6 3は、図 3の実世界推定部の実施の形態の 1例の原理を、図 5 8の例と対比させて説明する図である。

図 6 4は、図 6 0で示される細線含有データ領域を表した図である。

図 6 5は、図 6 4の細線含有データ領域に含まれる各画素値のそれぞれをグラフィ匕した図である。

図 6 6は、図 6 5の細線含有データ領域に含まれる各画素値を近似した近似関数をグラフ化した図である。

図 6 7は、図 6 0で示される細線含有実世界領域が有する空間方向の定常性を説明する図である。

図 6 8は、図 6 4の細線含有データ領域に含まれる各画素値のそれぞれをグラフィ匕した図である。

図 6 9は、図 6 8で示される入力画素値のそれぞれを、所定のシフト量だけシフトさせた状態を説明する図である。図 7 0は、空間方向の定常性を考慮して、図 6 5の細線含有データ領域に含まれる各画素値を近似した近似関数をグラフ化した図である。

図 7 1は、空間混合領域を説明する図である。

図 7 2は、空間混合領域における、実世界の信号を近似した近似関数を説明する図である。

図 7 3は、センサの積分特性と空間方向の定常性の両方を考慮して、図 6 5の細線含有データ領域に対応する実世界の信号を近似した近似関数をグラフ化した図である。

図 7 4は、図 5 8で示される原理を有する関数近似手法のうちの、 1次多項式近似手法を利用する実世界推定部の構成例を説明するプロック図である。

図 7 5は、図 7 4の構成の実世界推定部が実行する実世界の推定処理を説明するフローチヤ一トである。

図 7 6は、タップ範囲を説明する図である。

図 7 7は、空間方向の定常性を有する実世界の信号を説明する図である。

図 7 8は、センサが C C Dとされる場合の積分効果を説明する図である。

図 7 9は、断面方向距離を説明する図である。

図 8 0は、図 5 8で示される原理を有する関数近似手法のうちの、 2次多項式近似手法を利用する実世界推定部の構成例を説明するプロック図である。

図 8 1は、図 8 0の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。

図 8 2は、タップ範囲を説明する図である。

図 8 3は、時空間方向の定常性の方向を説明する図である。

図 8 4は、センサが C C Dとされる場合の積分効果を説明する図である。

図 8 5は、空間方向の定常性を有する実世界の信号を説明する図である。

図 8 6は時空間方向の定常性を有する実世界の信号を説明する図である。図 8 7は、図 5 8で示される原理を有する関数近似手法のうちの、 3次元近似手法を利用する実世界推定部の構成例を説明するプロック図である。図 8 8は、図 8 7の構成の実世界推定部が実行する実世界の推定処理を説明するフローチヤ一トである。

図 8 9は、図 3の画像生成部の実施の形態の 1例である、再積分手法の原理を説明する図である。

図 9 0は、入力画素と、その入力画素に対応する、実世界の信号を近似する近似関数の例を説明する図である。

図 9 1は、図 9 0で示される近似関数から、図 9 0で示される 1つの入力画素における、高解像度の 4つの画素を創造する例を説明する図である。

図 9 2は、図 8 9で示される原理を有する再積分手法のうちの、 1次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。

図 9 3は、図 9 2の構成の画像生成部が実行する画像の生成処理を説明するフロ一チヤ一トである。

図 9 4は、入力画像の元の画像の例を表す図である。

図 9 5は、図 9 4の画像に対応する画像データの例を表す図である。

図 9 6は、入力画像の例を表す図である。

図 9 7は、図 9 6の画像に対応する画像データの例を表す図である。

図 9 8は、入力画像に対して従来のクラス分類適応処理を施して得られる画像の例を表す図である。

図 9 9は、図 9 8の画像に対応する画像データの例を表す図である。

図 1 0ひは、入力画像に対して 1次元再積分手法の処理を施して得られる画像の例を表す図である。

図 1 0 1は、図 1 0 0の画像に対応する画像データの例を表す図である。

図 1 0 2は、空間方向の定常性を有する実世界の信号を説明する図である。図 1 0 3は、図 8 9で示される原理を有する再積分手法のうちの、 2次元再積分手法を利用する画像生成部の構成例を説明するプロック図である。

図 1 0 4は、断面方向距離を説明する図である。図 1 0 5は、図 1 0 3の構成の画像生成部が実行する画像の生成処理を説明するフローチヤ一トである。

図 1 0 6は、入力画素の 1例を説明する図である。

図 1 0 7は、 2次元再積分手法により、図 1 0 6で示される 1つの入力画素における、高解像度の 4つの画素を創造する例を説明する図である。

図 1 0 8は、時空間方向の定常性の方向を説明する図である。

図 1 0 9は、図 8 9で示される原理を有する再積分手法のうちの、 3次元再積分手法を利用する画像生成部の構成例を説明するプロック図である。

図 1 1 0は、図 1 0 9の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。

図 1 1 1は、図 1の信号処理装置 4の他の一実施の形態の構成例を示すブロック図である。

図 1 1 2は、図 1 1 1の信号処理装置 4の処理を説明するフローチヤ一トである。図 1 1 3は、図 1 1 1の信号処理装置 4の応用例の一実施の形態の構成例を示すブロック図である。

図 1 1 4は、図 1 1 3の信号処理装置 4の処理を説明するフローチヤ一トである。図 1 1 5は、実世界 1の光信号を説明する図である。

図 1 1 6は、センサ 2が C C Dとされる場合の積分効果について説明する図である。

図 1 1 7は、実世界 1の近似関数 f (x，y)を表した図である。

図 1 1 8は、図 1 1 3の信号処理装置 4に入力される入力画像と、処理領域について説明する図である。

図 1 1 9は、図 1 1 3の信号処理装置 4で設定される処理領域の例について説明する図である。

図 1 2 0は、図 1 2 0の近似関数 f (x，y)のうちの、 yの値が所定の値 y。（y = y _c ) の X断面の近似関数 f (x)を示す図である。

図 1 2 1は、図 1 2 0の近似関数 f (x)の l Z v時間後を示す図である。図 1 2 2は、図 1 2 1の近似関数 f (x)の l Z v時間後を示す図である。

図 1 2 3は、入力画像に撮像される物体が、シャツタ時間あたり V画素で動くときの動き方を説明する図である。

図 1 2 4は、図 1 2 0に示した、所定の瞬時のタイミングにおける、 y = y _cの近似関数 f (x)を、 X— t平面で表した図である。

図 1 2 5は、図 1 2 4の画素値 Q_c乃至 Q₉ に対応するように、動きボケが生じている画素値 P。乃至 P ₉ を、 X— t平面で表した図である。

図 1 2 6は、入力画像の画素値 P。乃至 P ₉ を図 1 2 4の画素値 Q。乃至 Q₉で表した図である。

図 1 2 7は、図 1 2 6の空白領域に対して、処理領域の端部を「平坦である」と仮定して解く方法を説明する図である。

図 1 2 8は、図 1 1 9の処理領域における、注目ラインを説明する図である。図 1 2 9は、図 1 1 3の実世界推定部 15013 の構成例を示すブロック図である。図 1 3 0は、図 1 1 4のステップ S15008の実世界推定処理を説明するフローチヤートである。

図 1 3 1は、図 1 1 4のステップ S15008の実世界推定処理を説明するフローチヤートである。

図 1 3 2は、図 1 1 3の信号処理装置 4に入力される入力画像を示す図である。図 1 3 3は、図 1 1 3の信号処理装置 4が、図 1 3 2の入力画像を、処理領域の端部を「平坦である」と仮定した式を付加する、第 1の方法により処理し、出力した画像を示す図である。

図 1 3 4は、図 1 1 3の信号処理装置 4が、図 1 3 2の入力画像を、隣接する画素値の関係を拘束する条件式を付加する、第 2の方法により処理し、出力した画像を示す図である。

図 1 3 5は、図 1 1 1の信号処理装置 4の応用例の他の一実施の形態の構成例を示すプロック図である。

図 1 3 6は、図 1 3 5の信号処理装置 4の処理を説明するフローチヤ一トである。 JP2004/008691

12

図 1 3 7は、図 1 3 5の実世界推定部 15083 の構成例を示すブロック図である。図 1 3 8は、図 1 3 6のステップ S15088の実世界推定処理を説明するフローチヤートである。

図 1 3 9は、図 1 3 6のステップ S15088の実世界推定処理を説明するフローチヤートである。

図 1 4 0は、図 1 1 1の信号処理装置 4の応用例の他の一実施の形態の構成例を示すブロック図である。

図 1 4 1は、図 1 4 0の信号処理装置 4の処理を説明するフローチヤ一トである。図 1 4 2は、図 1 4 0の実世界推定部 15113 の構成例を示すプロック図である。図 1 4 3は、図 1 4 1のステップ S15168の実世界推定処理を説明するフローチヤートである。

図 1 4 4は、図 1 4 0の信号処理装置 4に入力される入力画像を示す図である。図 1 4 5は、図 1 4 4の入力画像を、図 1 3 5の信号処理装置 4が、拘束条件式に対する重み W_{b j} を、全ての拘束条件式について、同じ重みとして処理した出力画像の例を示す図である。

図 1 4 6は、図 1 4 4の入力画像を、図 1 4 0の信号処理装置 4が、拘束条件式に対する重み W を、入力画像のアクティビティに応じて、 0または 1として処理した出力画像の例を示す図である。

図 1 4 7は、図 1 1 1の信号処理装置 4の応用例の他の一実施の形態の構成例を示すブロック図である。

図 1 4 8は、図 1 4 7の信号処理装置 4の処理を説明するフローチヤ一トである。図 1 4 9は、図 1 4 7の実世界推定部 15153 の構成例を示すブロック図である。図 1 5 0は、図 1 4 8のステップ S15218の実世界推定処理を説明するフローチヤーである。

図 1 5 1は、図 1 4 8のステップ S15218の実世界推定処理を説明するフローチヤートである。

図 1 5 2は、図 1 1 3の定常性設定部 15012 の構成例を示すブロック図である。図 1 5 3は、動き量を説明する図である。

図 1 5 4は、背景オブジェクトの前を移動する前景オブジェクトをカメラで撮像したときに、カメラから出力される画像の画素値を示す図である。

図 1 5 5は、図 1 5 4で示される画像の画素の画素値の差分値を示す図である。図 1 5 6は、動き量の検出の処理を説明するフローチャートである。

図 1 5 7は、相関の検出の処理を説明するフローチャートである。発明を実施するための最良の形態

図 1は、本発明の原理を表している。同図で示されるように、空間、時間、および質量の次元を有する実世界 1の事象（現象）は、センサ 2により取得され、データ化される。実世界 1の事象とは、光（画像）、音声、圧力、温度、質量、濃度、明るさ/暗さ、またはにおいなどをいう。実世界 1の事象は、時空間方向に分布している。例えば、実世界 1の画像は、実世界 1の光の強度の時空間方向の分布である。

センサ 2に注目すると、空間、時間、および質量の次元を有する実世界 1の事象のうち、センサ 2が取得可能な、実世界 1の事象が、センサ 2により、データ 3に変換される。センサ 2によって、実世界 1の事象を示す情報が取得されるとも言える。

すなわち、センサ 2は、実世界 1の事象を示す情報を、データ 3に変換する。空間、時間、および質量の次元を有する実世界 1の事象（現象）を示す情報である信号がセンサ 2により取得され、データ化されるとも言える。

以下、実世界 1における、画像、音声、圧力、温度、質量、濃度、明るさ/暗さ、またはにおいなどの事象の分布を、実世界 1の事象を示す情報である信号とも称する。また、実世界 1の事象を示す情報である信号を、単に、実世界 1の信号とも称する。本明細書において、信号は、現象および事象を含み、送信側に意思がないものも含むものとする。 P T/JP2004/008691

14

センサ 2から出力されるデータ 3 (検出信号）は、実世界 1の事象を示す情報を、実世界 1に比較して、より低い次元の時空間に射影して得られた情報である。例えば、動画像の画像データであるデータ 3は、実世界 1の 3次元の空間方向および時間方向の画像が、 2次元の空間方向、および時間方向からなる時空間に射影されて得られた情報である。また、例えば、データ 3がデジタルデータであるとき、データ 3は、サンプリングの単位に応じて、丸められている。データ 3がアナログデータであるとき、データ 3において、ダイナミックレンジに応じて、情報が圧縮されているか、またはリミッタなどにより、情報の一部が削除されている。

このように、所定の次元を有する実世界 1の事象を示す情報である信号をデータ 3 (検出信号）に射影することにより、実世界 1の事象を示す情報の一部が欠落する。すなわち、センサ 2が出力するデータ 3において、実世界 1の事象を示す情報の一部が欠落している。

しかしながら、射影により実世界 1の事象を示す情報の一部が欠落しているものの、データ 3は、実世界 1の事象（現象）を示す情報である信号を推定するための有意情報を含んでいる。

本発明においては、実世界 1の情報である信号を推定するための有意情報として、実世界 1またはデータ 3に含まれる定常性を有する情報を利用する。定常性は、新たに定義する概念である。

ここで、実世界 1に注目すると、実世界 1の事象は、所定の次元の方向に一定の特徴を含む。例えば、実世界 1の物体（有体物）において、空間方向または時間方向に、形状、模様、若しくは色彩などが連続するか、または形状、模様、若しくは色彩などのパターンが繰り返す。

従って、実世界 1の事象を示す情報には、所定の次元の方向に一定の特徴が含まれることになる。

より具体的な例を挙げれば、糸、紐、またはロープなどの線状の物体は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有する。長さ方向の任意の位置において、断面形状が同じであるという空間方向に一定の特徴は、線状の物体が長いという特徴から生じる。従って、線状の物体の画像は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有している。

また、空間方向に広がりを有する有体物である、単色の物体は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有していると言える。同様に、空間方向に広がりを有する有体物である、単色の物体の画像は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有している。このように、実世界 1 (現実世界）の事象は、所定の次元の方向に一定の特徴を有しているので、実世界 1の信号は、所定の次元の方向に一定の特徴を有する。本明細書において、このような所定の次元の方向に一定の特徴を定常性と称する。実世界 1 (現実世界）の信号の定常性とは、実世界 1 (現実世界）の事象を示す信号が有している、所定の次元の方向に一定の特徴をいう。

実世界 1 (現実世界）には、このような定常性が無数に存在する。

次に、データ 3に注目すると、データ 3は、センサ 2により、所定の次元を有する実世界丄の事象を示す情報である信号が射影されたものであるので、実世界の信号の定常性に対応する定常性を含んでいる。データ 3は、実世界の信号の定常性が射影された定常性を含んでいるとも言える。

しかしながら、上述したように、センサ 2が出力するデータ 3において、実世界 1の情報の一部が欠落しているので、データ 3から、実世界 1 (現実世界）の信号に含まれる定常性の一部が欠落し得る。

換言すれば、データ 3は、データの定常性として、実世界 1 (現実世界）の信号の定常性の中の、少なくとも一部の定常性を含む。データの定常性とは、データ 3が有している、所定の次元の方向に一定の特徴である。

本発明においては、実世界 1の事象を示す情報である信号を推定するための有意情報として、実世界 1の信号の定常性、またはデータ 3が有する、データの定常性が利用される。例えば、信号処理装置 4においては、データの定常性を利用して、データ 3を信号処理することで、欠落した、実世界 1の事象を示す情報が生成される。

なお、信号処理装置 4においては、実世界 1の事象を示す情報である信号の次元の、長さ（空間）、時間、および質量のうち、空間方向または時間方向の定常性が利用される。

図 1において、センサ 2は、例えば、デジタルスチルカメラ、またはビデオ力メラなどで構成され、実世界 1の画像を撮像し、得られたデータ 3である画像データを信号処理装置 4に出力する。センサ 2は、例えば、サーモグラフィ装置、または光弾性を利用した圧力センサなどとすることができる。

信号処理装置 4は、例えば、パーソナルコンピュータなどで構成され、データ 3を対象とした信号処理を行う。

信号処理装置 4は、例えば、図 2で示されるように構成される。 CPU

(Central Processing Unit) 2 1は、 ROM (Read Only Memory) 2 2、または記憶部 2 8に記憶されているプログラムに従って各種の処理を実行する。 RAM (Random Access Memory) 2 3には、 CPU 2 1が実行するプログラムやデータなどが適宜記憶される。これらの CPU 2 1、 ROM 2 2 _N および RAM 2 3は、バス 2 4により相互に接続されている。

CPU 2 1にはまた、バス 2 4を介して入出力ィンタフェース 2 5が接続されている。入出力インタフェース 2 5には、キーボード、マウス、マイクロホンなどよりなる入力部 2 6、ディスプレイ、スピーカなどよりなる出力部 2 7が接続されている。 CPU 2 1は、入力部 2 6から入力される指令に対応して各種の処理を実行する。そして、 CPU 2 1は、処理の結果得られた画像や音声等を出力部 2 7 に出力する。

入出力インタフェース 2 5に接続されている記憶部 2 8は、例えばハードディスクなどで構成され、 CPU 2 1が実行するプログラムや各種のデータを記憶する。通信部 2 9は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部 2 9はセンサ 2の出力するデータ 3を取り込む取得部として働く。

また、通信部 2 9を介してプログラムを取得し、記憶部 2 8に記憶してもよい。入出力ィンタフェース 2 5に接続されているドライブ 3 0は、磁気ディスク 5 1、光ディスク 5 2、光磁気ディスク 5 3、或いは半導体メモリ 5 4などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部 2 8に転送され、記憶される。

図 3は、信号処理装置 4を示すブロック図である。

なお、信号処理装置 4の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブ口ック図と考えても、ソフトウエアによる機能プロック図と考えても良い。

図 3に構成を示す信号処理装置 4においては、データ 3の一例である画像データが入力され、入力された画像データ（入力画像）からデータの定常性が検出される。次に、検出されたデータの定常性から、センサ 2により取得された実世界 1の信号が推定される。そして、推定された実世界 1の信号を基に、画像が生成され、生成された画像（出力画像）が出力される。すなわち、図 3は、画像処理装置である信号処理装置 4の構成を示す図である。

信号処理装置 4に入力された入力画像（データ 3の一例である画像データ）は、データ定常性検出部 1 0 1および実世界推定部 1 0 2に供給される。

データ定常性検出部 1 0 1は、入力画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報を実世界推定部 1 0 2および画像生成部 1 0 3に供給する。データ定常性情報は、例えば、入力画像における、データの定常性を有する画素の領域の位置、データの定常性を有する画素の領域の方向（時間方向および空間方向の角度または傾き）、またはデータの定常性を有する画素の領域の長さなどを含む。データ定常性検出部 1 0 1の構成の詳細は、後述する。実世界推定部 1 0 2は、入力画像、およびデータ定常性検出部 1 0 1から供給されたデータ定常性情報を基に、実世界 1の信号を推定する。すなわち、実世界推定部 1 0 2は、入力画像が取得されたときセンサ 2に入射された、実世界の信号である画像を推定する。実世界推定部 1 0 2は、実世界 1の信号の推定の結果を示す実世界推定情報を画像生成部 1 0 3に供給する。実世界推定部 1 0 2の構成の詳細は、後述する。

画像生成部 1 0 3は、実世界推定部 1 0 2から供給された、推定された実世界 1の信号を示す実世界推定情報を基に、実世界 1の信号により近似した信号を生成して、生成した信号を出力する。または、画像生成部 1 0 3は、データ定常性検出部 1 0 1から供給されたデータ定常性情報、および実世界推定部 1 0 2から供給された、推定された実世界 1の信号を示す実世界推定情報を基に、実世界 1 の信号により近似した信号を生成して、生成した信号を出力する。

すなわち、画像生成部 1 0 3は、実世界推定情報を基に、実世界 1の画像により近似した画像を生成して、生成した画像を出力画像として出力する。または、画像生成部 1 0 3は、データ定常性情報および実世界推定情報を基に、実世界 1 の画像により近似した画像を生成して、生成した画像を出力画像として出力する。例えば、画像生成部 1 0 3は、実世界推定情報を基に、推定された実世界 1の画像を所望の空間方向または時間方向の範囲で積分することにより、入力画像に比較して、空間方向または時間方向により高解像度の画像を生成して、生成した画像を出力画像として出力する。例えば、画像生成部 1 0 3は、外揷補間により、画像を生成して、生成した画像を出力画像として出力する。

画像生成部 1 0 3の構成の詳細は、後述する。

次に、図 4を参照して、本発明の原理を説明する。

例えば、画像である、実世界 1の信号は、センサ 2の一例である CCD (Charge Coupled Device) の受光面に結像される。センサ 2の一例である CCDは、積分特性を有しているので、 CCDから出力されるデータ 3には、実世界 1の画像との差が生じることになる。センサ 2の積分特性の詳細については、後述する。 T/JP2004/008691

19

信号処理装置 4による信号処理においては、 CCDにより取得された実世界 1の画像と、 CCD により撮像され、出力されたデータ 3との関係が明確に考慮される。すなわち、データ 3と、センサ 2で取得された実世界の情報である信号との関係が明確に考慮される。

より具体的には、図 4で示されるように、信号処理装置 4は、モデル 1 6 1を用いて、実世界 1を近似（記述）する。モデル 1 6 1は、例えば、 N個の変数で表現される。より正確には、モデル 1 6 1は、実世界 1の信号を近似（記述）する。

モデ Λ^ Ι 6 1を予測するために、信号処理装置 4は、データ 3から、 Μ個のデータ 1 6 2を抽出する。データ 3から、 Μ個のデータ 1 6 2を抽出するとき、信号処理装置 4は、例えば、データ 3に含まれるデータの定常性を利用する。換言すれば、信号処理装置 4は、データ 3に含まれるデータの定常性を基に、モデル

1 6 1を予測するためのデータ 1 6 2を抽出する。この場合、結果的に、モデル

1 6 1は、データの定常性に拘束されることになる。

すなわち、モデル 1 6 1は、センサ 2で取得されたとき、データ 3においてデータの定常性を生じさせる、定常性（所定の次元の方向に一定の特徴）を有する実世界 1の事象（を示す情報（信号））を近似する。

ここで、データ 1 6 2の数 Μが、モデルの変数の数 Ν以上であれば、 Μ個のデータ 1 6 2から、 Ν個の変数で表現されるモデル 1 6 1を予測することができる。このように、実世界 1 (の信号）を近似（記述）するモデル 1 6 1を予測することにより、信号処理装置 4は、実世界 1の情報である信号を考慮することができる。

次に、センサ 2の積分効果について説明する。

画像を撮像するセンサ 2である、 CCDまたは CMOS (Complementary Metal- Oxide Semiconductor) センサなどのイメージセンサは、現実世界を撮像するとき、現実世界の情報である信号を 2次元のデータに投影する。イメージセンサの各画素は、いわゆる受光面（受光領域）として、それぞれ所定の面積を有する。所定の面積を有する受光面に入射した光は、画素毎に、空間方向おょぴ時間方向に積分され、各画素に対して 1つの画素値に変換される。

図 5乃至図 8を参照して、画像の空間的時間的な積分について説明する。

イメージセンサは、現実世界の対象物（オブジェクト）を撮像し、撮像の結果得られた画像データを 1フレーム単位で出力する。すなわち、イメージセンサは、実世界 1の対象物で反射された光である、実世界 1の信号を取得し、データ 3を出力する。

例えば、イメージセンサは、 1秒間に 3 0フレームからなる画像データを出力する。この場合、イメージセンサの露光時間は、 1 Z 3 0秒とすることができる。露光時間は、イメージセンサが入射された光の電荷への変換を開始してから、入射された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。

図 5は、イメージセンサ上の画素の配置の例を説明する図である。図 5中において、 A乃至 Iは、個々の画素を示す。画素は、画像データにより表示される画像に対応する平面上に配置されている。 1つの画素に対応する 1つの検出素子は、イメージセンサ上に配置されている。イメージセンサが実世界 1の画像を撮像するとき、 1つの検出素子は、画像データを構成する 1つの画素に対応する 1つの画素値を出力する。例えば、検出素子の空間方向 Xの位置（X座標）は、画像データにより表示される画像上の横方向の位置に対応し、検出素子の空間方向 Yの位置（Y座標）は、画像データにより表示される画像上の縦方向の位置に対応する。

実世界 1の光の強度の分布は、 3次元の空間方向および時間方向に広がりを有するが、イメージセンサは、 2次元の空間方向および時間方向で、実世界 1の光を取得し、 2次元の空間方向および時間方向の光の強度の分布を表現するデータ 3を生成する。

図 6で示されるように、例えば、 CCDである検出素子は、シャツタ時間に対応する期間、受光面（受光領域）（検出領域）に入力された光を電荷に変換して、変換された電荷を蓄積する。光は、 3次元の空間上の位置、および時刻により、強度が決定される実世界 1の情報（信号）である。実世界 1の光の強度の分布は、 3次元の空間上の位置 x, y、および z、並びに時刻 tを変数とする関数

F (x, y, z, t)で表すことができる。

CCDである検出素子に蓄積される電荷の量は、 2次元の空間上の広がりを有する受光面の全体に入射された光の強さと、光が入射されている時間にほぼ比例する。検出素子は、シャツタ時間に対応する期間において、受光面の全体に入射された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャツタ時間に対応する期間、 2次元の空間上の広がりを有する受光面の全体に入射される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、空間（受光面）および時間（シャツタ時間）に対して、積分効果があるとも言える。

検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値はさらにデジタルデータなどの画素値に変換されて、データ 3として出力される。従って、イメージセンサから出力される個々の画素値は、実世界 1の情報

(信号）の時間的空間的に広がりを有するある部分を、シャツタ時間の時間方向および検出素子の受光面の空間方向について積分した結果である、 1次元の空間に射影した値を有する。

すなわち、 1つの画素の画素値は、 F (x, y，t)の積分で表される。 F (x，y, t)は、検出素子の受光面における、光の強度の分布を表す関数である。例えば、画素値 Pは、式（1 ) で表される。 ^p=£ ^F(x，^y'^t)dxdydt

• · · ( 1 )

式（1 ) において、 _Xl は、検出素子の受光面の左側の境界の空間座標（X座標）である。 x₂は、検出素子の受光面の右側の境界の空間座標（X座標）である。式（1 ) において、 _yiは、検出素子の受光面の上側の境界の空間座標（Y 座標）である。 y₂は、検出素子の受光面の下側の境界の空間座標（Y座標）である。また、は、入射された光の電荷への変換を開始した時刻である。は、入射された光の電荷への変換を終了した時刻である。

なお、実際には、イメージセンサから出力される画像データの画素値は、例えばフレーム全体として、そのゲインが補正されている。

画像データの各画素値は、イメージセンサの各検出素子の受光面に入射した光の積分値であり、イメージセンサに入射された光の.うち、検出素子の受光面よりも微小な実世界 1の光の波形は、積分値としての画素値に隠されてしまう。

以下、本明細書において、所定の次元を基準として表現される信号の波形を単に波形とも称する。

このように、実世界 1の画像（光信号）は、画素を単位として、空間方向およぴ時間方向に積分されてしまうので、画像データにおいては、実世界 1の画像の定常性の一部が欠落し、実世界 1の画像の定常性の他の一部が画像データに含まれることになる。または、画像データには、実世界 1の画像の定常性から変化してしまった定常性が含まれることがある。

積分効果を有するイメージセンサにより撮像された画像の、空間方向の積分効果についてさらに説明する。

図 7は、画素 D乃至画素 Fに対応する検出素子に入射される光と、画素値との関係を説明する図である。図 7の F (x)は、空間上（検出素子上）の空間方向 X の座標 Xを変数とする、実世界 1の光の強度の分布を表す関数の例である。言い換えれば、 F (x)は、空間方向 Yおよび時間方向に一定である場合の、実世界 1の光の強度の分布を表す関数の例である。図 7において、 Lは、画素 D乃至画素 Fに対応する検出素子の受光面の空間方向 Xの長さを示す。

1つの画素の画素値は、 F (x)の積分で表される。例えば、画素 Eの画素値 P は、式（2 ) で表される。

P = r^A2 F (x) dx 4 008691

23

• · · ( 2 )

式（2 ) において、 _Xl は、画素 Eに対応する検出素子の受光面の左側の境界の空間方向 Xの空間座標である。 x₂は、画素 Eに対応する検出素子の受光面の右側の境界の空間方向 Xの空間座標である。

同様に、積分効果を有するイメージセンサにより撮像された画像の、時間方向の積分効果についてさらに説明する。

図 8は、時間の経過と、 1つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。図 8の F (t)は、時刻 tを変数とする、実世界 1の光の強度の分布を表す関数である。言い換えれば、 F (t)は、空間方向 Y および空間方向 Xに一定である場合の、実世界 1の光の強度の分布を表す関数の例である。 t_s は、シャツタ時間を示す。

フレーム #n_lは、フレーム #nに対して時間的に前のフレームであり、フレー A#n+1は、フレーム #nに対して時間的に後のフレームである。すなわち、フレ一ム - 1、フレーム、およびフレーム #n+lは、フレーム #n- 1、フレーム、およびフレームの順で表示される。

なお、図 8で示される例において、シャツタ時間 t_s とフレーム間隔とが同一である。

1つの画素の画素値は、 F (t)の積分で表される。例えば、フレーム #nの画素の画素値 Pは、式（3 ) で表される。

• · · ( 3 )

式（3 ) において、は、入射された光の電荷への変換を開始した時刻である。 t₂ は、入射された光の電荷への変換を終了した時刻である。

以下、センサ 2による空間方向の積分効果を単に空間積分効果と称し、センサ 2による時間方向の積分効果を単に時間積分効果と称する。また、空間積分効果または時間積分効果を単に積分効果とも称する。 T JP2004/008691

24

次に、積分効果を有するイメージセンサにより取得されたデータ 3に含まれるデータの定常性の例について説明する。

図 9は、実世界 1の線状の物（例えば、細線）の画像、すなわち光の強度の分布の例を示す図である。図 9において、図中の上側の位置は、光の強度（レべル）を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 X の位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。

実世界 1の線状の物の画像には、所定の定常性が含まれる。すなわち、図 9で示される画像は、長さ方向の任意の位置において、断面形状（長さ方向に直交する方向の位置の変化に対するレベルの変化）が同じであるという定常性を有する。図 1 0は、図 9で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。

即ち、図 1 0は、イメージセンサの画素の並び（画素の縦または横の並ぴ）とずれた方向に延びる、各画素の受光面の長さょりも短い径の線状の物の画像を、イメージセンサで撮像して得られた画像データの模式図である。図 1 0で示される画像データが取得されたときにイメージセンサに入射された画像は、図 9 の実世界 1の線状の物の画像である。

図 1 0において、図中の上側の位置は、画素値を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 Xの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。図 1 0における画素値を示す方向は、図 9におけるレベルの方向に対応し、図 1 0における空間方向 X、および空間方向 Yは、図 9における方向と同じである。

各画素の受光面の長さしょりも短い径の線状の物の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、線状の物は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さの円弧形状（かまぼこ型）で表される。各円弧形状は、ほぼ同じ形状である。 1つの円弧形状は、縦に 1列の画素の上、または横に 1列の画素の上に形成される。例えば、図 1 0における 1 つの円弧形状は、縦に 1列の画素の上に形成される。

このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、実世界 1の線状の物の画像が有していた、長さ方向の任意の位置において、空間方向 Yにおける断面形状が同じであるという定常性が失われている。また、実世界 1の線状の物の画像が有していた定常性は、縦に 1列の画素の上、または横に 1列の画素の上に形成された、同じ形状である円弧形状が一定の間隔で並ぶという定常性に変化していると言える。

図 1 1は、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像、すなわち光の強度の分布の例を示す図である。図 1 1において、図中の上側の位置は、光の強度（レベル）を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 Xの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。

背景とは異なる色の、直線状の縁を有する物の実世界 1の画像には、所定の定常性が含まれる。すなわち、図 1 1で示される画像は、縁の長さ方向の任意の位置において、断面形状（縁に直交する方向の位置の変化に対するレベルの変化）が同じであるという定常性を有する。

図 1 2は、図 1 1で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。図 1 2で示されるように、画像データは、画素を単位とした画素値からなるので、階段状になる。

図 1 3は、図 1 2に示す画像データの模式図である。

図 1 3で示される模式図は、イメージセンサの画素の並び（画素の縦または横の並び）とずれた方向に縁が延びる、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像を、イメージセンサで撮像して得られた画像データの模式図である。図 1 3で示される画像データが取得されたときにィメージセンサに入射された画像は、図 1 1で示される、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像である。図 1 3において、図中の上側の位置は、画素値を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 Xの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。図 1 3における画素値を示す方向は、図 1 1におけるレベルの方向に対応し、図 1 3における空間方向 X、および空間方向 Yは、図 1 1における方向と同じである。

背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、直線状の縁は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さのつめ (pawl) 形状で表される。各つめ形状は、ほぼ同じ形状である。 1つのつめ形状は、縦に 1列の画素の上、または横に 1列の画素の上に形成される。例えば、図 1 3において、 1つのつめ形状は、縦に' 1列の画素の上に形成される。

このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1 の画像が有していた、縁の長さ方向の任意の位置において、断面形状が同じであるという定常性が失われている。また、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像が有していた定常性は、縦に 1列の画素の上、または横に 1列の画素の上に形成された、同じ形状であるつめ形状が一定の間隔で並ぶという定常性に変化していると言える。

データ定常性検出部 1 0 1は、このような、例えば、入力画像であるデータ 3 が有するデータの定常性を検出する。例えば、データ定常性検出部 1 0 1は、所定の次元の方向に一定の特徴を有する領域を検出することにより、データの定常性を検出する。例えば、データ定常性検出部 1 0 1は、図 1 0で示される、同じ円弧形状が一定の間隔で並ぶ領域を検出する。また、例えば、データ定常性検出部 1 0 1は、図 1 3で示される、同じつめ形状が一定の間隔で並ぶ領域を検出する。 '

また、データ定常性検出部 1 0 1は、同様の形状の並び方を示す、空間方向の角度（傾き）を検出することにより、データの定常性を検出する。また、例えば、データ定常性検出部 1 0 1は、空間方向および時間方向の同様の形状の並び方を示す、空間方向および時間方向の角度（動き）を検出することにより、データの定常性を検出する。

さらに、例えば、データ定常性検出部 1 0 1は、所定の次元の方向に一定の特徴を有する領域の長さを検出することにより、データの定常性を検出する。

以下、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1 の画像がセンサ 2により射影されたデータ 3の部分を 2値エッジとも称する。ここで、従来の信号処理においては、データ 3から、例えば、所望の高解像度データが生成される。

これに対して、.信号処理装置 4による信号処理においては、データ 3から、実世界 1が推定され、推定の結果に基づいて、高解像度データが生成される。すなわち、実世界 1が、データ 3から推定され、高解像度データが、データ 3を考慮して、推定された実世界 1から高解像度データが生成される。

実世界 1から高解像度データを生成するためには、実世界 1とデータ 3との関係を考慮する必要がある。例えば、実世界 1が、 CCDであるセンサ 2により、データ 3に射影されるとどうなるかが考慮される。

CCDであるセンサ 2は、上述したように、積分特性を有する。すなわち、データ 3の 1つの単位（例えば、画素値）は、実世界 1の信号をセンサ 2の検出素子 (例えば、 CCD) の検出領域（例えば、受光面）で積分することにより算出することができる。

これを高解像度データについて当てはめると、仮想的な高解像度のセンサが実世界 1の信号をデータ 3に射影する処理を、推定された実世界 1に適用することにより、高解像度データを得ることができる。

換言すれば、データ 3から実世界 1の信号を推定できれば、実世界 1の信号を、仮想的な高解像度のセンサの検出素子の検出領域毎に（時空間方向に）積分することにより、高解像度データに含まれる 1つの値を得ることができる。例えば、センサ 2の検出素子の検出領域の大きさに比較して、実世界 1の信号の変化が、より小さいとき、データ 3は、実世界 1の信号の小さい変化を表すことができない。そこで、データ 3から推定された実世界 1の信号を、実世界 1の信号の変化に比較して、より小さい領域毎に（時空間方向に）積分することにより、実世界 1の信号の小さい変化を示す高解像度データを得ることができる。すなわち、仮想的な高解像度のセンサの各検出素子について、推定された実世界 1の信号を検出領域で積分することにより、高解像度データを得ることができる。

信号処理装置 4において、画像生成部 1 0 3は、例えば、仮想的な高解像度のセンサの各検出素子の時空間方向の領域で、推定された実世界 1の信号を積分することにより、高解像度データを生成する。

次に、データ 3から、実世界 1を推定するために、信号処理装置 4においては、データ 3と実世界 1との関係、定常性、およびデータ 3における空間的または時間的な混合（空間混合または時間混合）が利用される。

ここで、混合とは、データ 3において、実世界 1における 2つの物体に対する信号が混合されて 1つの値となることをいう。

空間混合とは、センサ 2の空間積分効果による、 2つの物体に対する信号の空間方向の混合をいう。時間混合については、後述する。

実世界 1そのものは、無限の数の事象からなり、従って、実世界 1そのものを、例えば、数式で表現するためには、無限の数の変数が必要になる。データ 3から、実世界 1の全ての事象を予測することはできない。

同様に、データ 3から、実世界 1の信号の全てを予測することはできない。そこで、信号処理装置 4においては、実世界 1の信号のうち、定常性を有し、関数 f (X, y, z , t)で表すことができる部分に注目し、関数 f (X, y, z , t )で表すことができる、定常性を有する実世界 1の信号の部分が、 N個の変数で表現されるモデル 1 6 1で近似される。そして、図 1 4で示されるように、モデル 1 6 1が、データ 3の中の、 M個のデータ 1 6 2から予測される。 M個のデータ 1 6 2からモデル 1 6 1の予測を可能にするには、第 1に、モデル 1 6 1を、定常性に基づいて、 N個の変数で表し、第 2に、センサ 2の積分特性に基づいて、 N個の変数で表現されるモデル 1 6 1と M個のデータ 1 6 2との関係を示す、 N個の変数を使用した式を立てることが必要である。モデル 1 6 1 、定常性に基づいて、 N個の変数で表されているので、 N個の変数で表現されるモデル 1 6 1と M個のデータ 1 6 2との関係を示す、 N個の変数を使用した式は、定常性を有する実世界 1の信号の部分と、データの定常性を有するデータ 3 の部分との関係を記述しているとも言える。

換言すれば、 N個の変数で表現されるモデル 1 6 1で近似される、定常性を有する実世界 1の信号の部分は、データ 3において、データの定常性を生じさせる。データ定常性検出部 1 0 1は、定常性を有する実世界 1の信号の部分によって、データの定常性が生じたデータ 3の部分、およぴデータの定常性が生じた部分の特徴を検出する。

例えば、図 1 5で示されるように、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像において、図 1 5中 Aで示す、注目する位置における縁は、傾きを有している。図 1 5の Bの矢印は、縁の傾きを示す。所定の縁の傾きは、基準となる軸に対する角度または基準となる位置に対する方向で表すことができる。例えば、所定の縁の傾きは、空間方向 Xの座標軸と、縁との角度で表すことができる。例えば、所定の縁の傾きは、空間方向 Xの長さおょぴ空間方向 Yの長さで示される方向で表すことができる。

背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像が、センサ 2で取得されて、データ 3が出力されたとき、データ 3において、実世界 1の画像における、縁の注目する位置（A) に対する、図 1 5中 A ' で示す位置に、縁に対応するつめ形状が並び、実世界 1の画像の縁の傾きに対応する、図 1 5中 B ' で示す傾きの方向に、縁に対応するつめ形状が並ぶ。

N個の変数で表現されるモデル 1 6 1は、このような、データ 3において、データの定常性を生じさせる、実世界の 1の信号の部分を近似する。 N個の変数で表現されるモデル 1 6 1と M個のデータ 1 6 2との関係を示す、 N個の変数を使用した式を立てるとき、データ 3において、データの定常性が生じている部分の値を利用する。

この場合において、図 1 6で示される、データ 3において、データの定常性が生じ、混合領域に属する値に注目して、実世界 1の信号を積分した値が、センサ 2の検出素子が出力する値に等しいとして、式が立てられる。例えば、データの定常性が生じている、データ 3における複数の値について、複数の式を立てることができる。

図 1 6において、 Aは、縁の注目する位置を示し、 A，は、実世界 1の画像における、縁の注目する位置（A) に対する、画素（の位置）を示す。

ここで、混合領域とは、データ 3において、実世界 1における 2つの物体に対する信号が混合されて 1つの値となっているデータの領域をいう。例えば、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像に対するデータ 3において、直線状の縁を有する物に対する画像、および背景に対する画像が積分されている画素値は、混合領域に属する。

図 1 7は、式を立てる場合における、実世界 1における 2つの物体に対する信号および混合領域に属する値を説明する図である。

図 1 7中の左側は、センサ 2の 1つの検出素子の検出領域で取得される、空間方向 Xおよび空間方向 Yに所定の広がりを有する、実世界 1における 2つの物体に対する実世界 1の信号を示す。図 1 7中の右側は、図 1 7中の左側に示す実世界 1の信号がセンサ 2の 1つの検出素子によって射影された、データ 3の 1つの画素の画素値 Pを示す。すなわち、センサ 2の 1つの検出素子によって取得された、空間方向 Xおよび空間方向 Yに所定の広がりを有する、実世界 1における 2 つの物体に対する実世界 1の信号が射影された、データ 3の 1つの画素の画素値 Pを示す。図 1 7の Lは、実世界 1における 1つの物体に対する、図 1 7の白い部分の実世界 1の信号のレベルを示す。図 1 7の Rは、実世界 1における他の 1つの物体に対する、図 1 7の斜線で表される部分の実世界 1の信号のレベルを示す。

ここで、混合比 αは、センサ 2の 1つの検出素子の、空間方向 Xおよび空間方向 Υに所定の広がりを有する検出領域に入射された、 2つの物体に対する信号 (の面積）の割合を示す。例えば、混合比 αは、センサ 2の 1つの検出素子の検出領域の面積に対する、空間方向 Xおよび空間方向 Υに所定の広がりを有する、センサ 2の 1つの検出素子の検出領域に入射された、レベル Lの信号の面積の割合を示す。

この場合において、レベル L、レベル R、および画素値 Pの関係は、式（4 ) で表すことができる。

a x L+f (1 - Qf ) x R = P

• · · ( 4 )

なお、レベル Rは、注目している画素の右側に位置している、データ 3の画素の画素値とすることができる場合があり、レベル Lは、注目している画素の左側に位置している、データ 3の画素値とすることができる場合がある。

また、混合比 αおよび混合領域は、空間方向と同様に、時間方向を考慮することができる。例えば、センサ 2に対して撮像の対象となる実世界 1の物体が移動しているとき、時間方向に、センサ 2の 1つの検出素子の検出領域に入射される、 2つの物体に対する信号の割合は変化する。センサ 2の 1つの検出素子の検出領域に入射された、時間方向に割合が変化する、 2つの物体に対する信号は、センサ 2の検出素子によって、データ 3の 1つの値に射影される。

センサ 2の時間積分効果による、 2つの物体に対する信号の時間方向の混合を時間混合と称する。

データ定常性検出部 1 0 1は、例えば、実世界 1における 2つの物体に対する実世界 1の信号が射影された、データ 3における画素の領域を検出する。データ定常性検出部 1 0 1は、例えば、実世界 1の画像の縁の傾きに対応する、データ 3における傾きを検出する。

そして、実世界推定部 1 0 2は、例えば、データ定常性検出部 1 0 1で検出された、所定の混合比を有する画素の領域、および領域の傾きを基に、 N個の変数で表現されるモデル 1 6 1と M個のデータ 1 6 2との関係を示す、 N個の変数を使用した式を立てて、立てた式を解くことにより、実世界 1の信号を推定する。さらに、具体的な実世界 1の推定について説明する。

関数 F (x，y，z, t)で表される実世界の信号のうち、空間方向 Zの断面（センサ 2の位置）における関数 F (x，y, t)で表される実世界の信号を、空間方向 Xにおける位置 x、空間方向 Yにおける位置 y、および時刻 tで決まる近似関数 f (x，y，t) で近似することを考える。

ここで、センサ 2の検出領域は、空間方向 Xおよび空間方向 Yに広がりを有する。換言すれば、近似関数 f (x，y，t) は、センサ 2で取得される、空間方向および時間方向に広がりを有する実世界 1の信号を近似する関数である。

センサ 2による実世界 1の信号の射影によって、データ 3の値 P (x，y，t)が得られるものとする。データ 3の値 P (x，y, t)は、例えば、イメージセンサであるセンサ 2が出力する、画素値である。

ここで、センサ 2による射影を定式化できる場合、近似関数 f (x, y, t) を射影して得られた値を射影関数 S (x, y, t) と表すことができる。

射影関数 S (x, y, t) を求める上で、以下に示す問題がある。

第 1に、一般的に、実世界 1の信号を表す関数 F (x，y, _Z, t)は、無限の次数の関数となりうる。

第 2に、たとえ、実世界の信号を関数として記述できたとしても、センサ 2の射影を介した、射影関数 S (x, y, t) を定めることは、一般的にはできない。すなわち、センサ 2による射影の動作、言い換えればセンサ 2の入力信号と出力信号との関係を知らないので、射影関数 S (x, y, t) を定めることはできない。第 1の問題点に対して、実世界 1の信号を近似する関数 f (x， y, t)を記述可能な関数（例えば、有限次数の関数）である関数（x,y，t) および変数 _Wi の積和で表現することを考える。

また、第 2の問題点に対して、センサ 2による射影を定式化することで、関数 (x, y,t) の記述から、関数 Si (x，y,t) を記述することができる。

すなわち、実世界 1の信号を近似する関数 f(x，y, t)を関数 (x,y,t) および変数の積和で表現すると、式（5) が得られる。

N

f (x, y， t) = ∑ WiTj (x, y, t)

i=1

• · · (5)

例えば、式（6) で示されるように、センサ 2の射影を定式化することにより、式（5) から、データ 3と実世界の信号の関係を式（7) のように定式化することができる。

Sj (x， y, t) = JJj f j (x, y， t) dxdydt

• · · (6)

N

Pj(Xj，y」，tj) = ∑ WjSjiXj.yj, tj)

i=1

• · · (7)

式（7) において、 jは、データのインデックスである。

式（7) の N個の変数 ^ (i=l乃至 N) が共通である M個のデータ群（j = l乃至 M) が存在すれば、式（8) を満たすので、データ 3から実世界のモデル 1 6 1を求めることができる。

N ≤ M

• · · (8)

Nは、実世界 1を近似するモデル 1 6 1を表現する変数の数である。 Mは、データ 3に含まれるデータ 1 6 2の数である。実世界 1の信号を近似する関数 f (x，y, t)を式（5 ) で表すことにより、として変数の部分を独立させることができる。このとき、 iは、そのまま変数の数を示すことになる。また、 fi で示される関数の形を独立させることができ、として所望の関数を利用することができるようになる。

従って、関数の形に依存せず、変数^ の数 Nを定義でき、変数^ の数 N とデータの数 Mとの関係で変数を求めることができる。

すなわち、以下の 3つを用いることで、データ 3から実世界 1を推定することができるようになる。

第 1に、 N個の変数を定める、すなわち、式（5 ) を定める。これは、定常性を用いて実世界 1を記述することにより可能になる。例えば、断面が多項式で表され、同じ断面形状が一定方向に続く、というモデル 1 6 1で実世界 1の信号を記述することができる。

第 2に、例えば、センサ 2による射影を定式化して、式（7 ) を記述する。例えば、実世界 2の信号の積分を行った結果がデータ 3であると定式化する。第 3に、 M個のデータ 1 6 2を集めて、式（8 ) を満足させる。例えば、データ定常性検出部 1 0 1で検出された、データの定常性を有する領域から、データ 1 6 2が集められる。例えば、定常性の一例である、一定の断面が続く領域のデータ 1 6 2が集められる。

このように、式（5 ) によって、データ 3と実世界 1との関係を記述し、 M個のデータ 1 6 2を集めることで、式（8 ) を満たすことにより、実世界 1を推定することができる。

より具体的には、 N=Mのとき、変数の数 Nと式の数 Mが等しいので、連立方程式を立てることにより、変数を求めることができる。

また、 Nく Mのとき、様々な解法を適用できる。例えば、最小自乗法により、変数 ^ を求めることができる。

ここで、最小自乗法による解法について、詳細に記載する。

まず、式（7 ) に従って、実世界 1からデータ 3を予測する式（9 ) を示す。 Pj(xj, yj, tj) = ∑ WjSjiXj, yj, tj)

(9)

式（9) において、 P，j (_Xj , Yj , t j ) は、予測値である。

予測値 P'と実測値 Pとの差分自乗和 Eは、式（10) で表される,

E = ∑ (Pj(Xj,yj,tj)-P'j(Xj,yj,tj)) 2

j=1

• · · (10)

差分自乗和 Eが最小になるように、変数 Wiが求められる。従って、各変数 w_k による式（10) の偏微分値は 0とされる。すなわち、式（1 1) が成り立つ。 = -2 I w,S_k (xj, _yj, tj) (Pj (xj, y_jf ) - WiSi (x_jf y_jftj)) = 0

J =l

(1 1)

式から式（1 2) が導かれる

S_k(Xj,yj,tj}Pj(Xj,yj,tj)

• · · (1 2)

式（1 2) が K=l乃至 Nで成り立つとき、最小自乗法による解が得られる。 -のときの正規方程式は、式（1 3) で示される。

j(j)

(1 3)

ただし、式（1 3) において、 Si (χ,. , y.. , tj ) は、 Si (j)と記述した。

• · · (1 6)

式（14) 乃至式（1 6) から、式（1 3) は、 S_MATW_MAT=P_MAT と表すことができる。

式（1 3) において、 Si は、実世界 1の射影を表す。式（1 3) において、 Pj は、データ 3を表す。式（1 3) において、 _Wi は、実世界 1の信号の特徴を記述し、求めようとする変数である。従って、式（1 3) にデータ 3を入力し、行列解法などにより W_MAT を求めることで、実世界 1を推定することが可能になる。すなわち、式（1 7) を演算することにより、実世界 1を推定することができるようになる。

¾T ⁼ °ΜΑΤ^ΡΜΑΤ

… （1 7)

なお、 S_MATが正則でない場合、 S_MATの転置行列を利用して、 W_MAT を求めることができる。

実世界推定部 102は、例えば、式（1 3) にデータ 3を入力し、行列解法などにより W_MATを求めることで、実世界 1を推定する。

ここで、さらにより具体的な例を説明する。例えば、実世界 1の信号の断面形状、すなわち位置の変化に対するレベルの変化を、多項式で記述する。実世界 1 の信号の断面形状が一定で、実世界 1の信号の断面が等速で移動すると仮定する。そして、センサ 2による実世界 1の信号からデータ 3への射影を、実世界 1の信号の時空間方向の 3次元で積分で定式化する。

実世界 1の信号の断面形状が、等速で移動するとの仮定から、式（1 8) およぴ式（1 9) が得られる。 dx

dt ^{= Vx}

• · · (1 8)

• ■ · (1 9)

ここで、 v_xおよび v_yは、一定である。

実世界 1の信号の断面形状は、式（1 8) および式（1 9) を用いることで、式（2◦) と表される。

f(x，，y，） = f (x+v_xt, y+v_vt) • - - (20)

センサ 2による実世界 1の信号からデータ 3への射影を、実世界 1の信号の時空間方向の 3次元で積分で定式化すれば、式（2 1) が得られる。

S(x, y,t) - (x', ')dxdydt

八 s^{e te}

"s ^Ls

• ■ · (2 1 )

式（2 1) において、 S(x,y， t)は、空間方向 Xについて、位置 x_sから位置 x_e まで、空間方向 Yについて、位置 y_sから位置 y_e まで、時間方向 tについて、時刻 t_sから時刻 t_eまでの領域、すなわち時空間の直方体で表される領域の積分値を示す。

式（2 1) を定めることができる所望の関数 f(x' ,y')を用いて、式（1 3) を解けば、実世界 1の信号を推定することができる。

以下では、関数 f (x，，y')の一例として、式（2 2) に示す関数を用いることとする。

f (χ', y，） = w₁x'+ ₂y'+w^

= vii (x+v_xt) +w₂(y+v_yt) +w₃

• · · (2 2)

すなわち、実世界 1の信号が、式（1 8) 、式（1 9) 、およぴ式（2 2) で表される定常性を含むと仮定している。これは、図 1· 8で示されるように、一定の形状の断面が、時空間方向に移動していることを示す。

式 (2 1 ) に、式 (2 2) を代入することにより、式 (2 3) が得られる。 8691

39

S(x, y,t) = /χ₃ ^β f (x +v_xt, y +v_y t) dxdy dt

= Volume(-y-( x_e+x_s+v_x (t_e+t_s))

+ （y_e+y_s+v_y(t_e+t_s))+w₂)

= w₀S₀ (x， y, t) +w】 S (x, y, t) +w₂S₂ (x, y， t)

• · - (2 3)

ただし、

Volume=(x_e-x_s) (y_e-y_{s )} (t_e-t_s)

S。（x, y, t) =Volume/2 X (x_e +x_s +v_x (t_e +t_s ) )

S (x, y, t) =Volume/2 X (y_e +y_s +v_y (t_e +t_s ) )

S₂ (x，y, t)=l

である。

図 1 9は、データ 3から抽出される、 M個のデータ 1 6 2の例を示す図である。例えば、 2 7個の画素値が、データ 1 6 2として抽出され、抽出された画素値が、 Ρ」（x， y， t)とされる。この場合、 jは、 0乃至 2 6である。

図 1 9に示す例において、 nである時刻 tの注目する位置に対応する画素の画素値が P₁₃ (x，y，t)であり、データの定常性を有する画素の画素値の並ぶ方向

(例えば、データ定常性検出部 1 0 1で検出された、同じ形状であるつめ形状が並ぶ方向）力 P₄ (x，y, t)、 P₁₃ (x, y，t)、および P₂₂ (x， y, t)を結ぶ方向であるとき、 nである時刻 tにおける、画素値 P₉ (x，y，t)乃至 P₁₇ (x，y，t)、 nより時間的に前である、 n- 1である時刻 tにおける、画素値 P。（x，y，t)乃至 P₈ (x，y ）、および nより時間的に後である、 n+1である時刻 tにおける、画素値

P₁₈ (x，y,t)乃至 P₂₆ (x,y，t)が抽出される。

ここで、センサ 2であるイメージセンサから出力された、データ 3である画素値が取得された領域は、時間方向および 2次元の空間方向に広がりを有する。そこで、例えば、画素に対応する直方体（画素値が取得された領域）の重心を、画素の時空間方向の位置として使用することができる。

2 7個の画素値 P。（X, y，t)乃至 P_{2 6} (X, y, t)、および式（2 3 ) から、式（1 3 ) を生成し、 Wを求めることで、実世界 1を推定することが可能になる。

このように、実世界推定部 1 0 2は、例えば、 2 7個の画素値 P。（x， y， t)乃至 P_{2 6} (x，y, t)、および式（2 3 ) から、式（1 3 ) を生成し、 W を求めることで、実世界 1の信号を推定する。

なお、関数 fi ( , y, t) として、ガウス関数、またはシグモイド関数などを利用することができる。

図 2 0乃至図 2 3を参照して、推定された実世界 1の信号から、データ 3に対応する、より高解像度の高解像度データを生成する処理の例について説明する。図 2 0で示されるように、データ 3は、時間方向おょぴ 2次元の空間方向に実世界 1の信号が積分された値を有する。例えば、センサ 2であるイメージセンサから出力された、データ 3である画素値は、検出素子に入射された光である、実世界 1の信号が、時間方向に、検出時間であるシャツタ時間で積分され、空間方向に、検出素子の受光領域で積分された値を有する。

これに対して、図 2 1で示されるように、空間方向により解像度の高い高解像度データは、推定された実世界 1の信号を、時間方向に、データ 3を出力したセンサ 2の検出時間と同じ時間で積分するとともに、空間方向に、データ 3を出力したセンサ 2の検出素子の受光領域に比較して、より狭い領域で積分することにより、生成される。

なお、空間方向により解像度の高い高解像度データを生成する場合において、推定された実世界 1の信号が積分される領域は、データ 3を出力したセンサ 2の検出素子の受光領域と全く無関係に設定することができる。例えば、高解像度データに、データ 3に対して、空間方向に整数倍の解像度を持たせることは勿論、 5 / 3倍など、データ 3に対して、空間方向に有理数倍の解像度を持たせることができる。また、図 2 2で示されるように、時間方向により解像度の高い高解像度データは、推定された実世界 1の信号を、空間方向に、データ 3を出力したセンサ 2の検出素子の受光領域と同じ領域で積分するとともに、時間方向に、データ 3を出力したセンサ 2の検出時間に比較して、より短い時間で積分することにより、生成される。

なお、時間方向により解像度の高い高解像度データを生成する場合において、推定された実世界 1の信号が積分される時間は、データ 3を出力したセンサ 2の検出素子のシャツタ時間と全く無関係に設定することができる。例えば、高解像度データに、データ 3に対して、時間方向に整数倍の解像度を持たせることは勿論、 7 Z 4倍など、データ 3に対して、時間方向に有理数倍の解像度を持たせることができる。

動きボケを除去した高解像度データは、推定された実世界 1の信号を、時間方向に積分しないで、空間方向にのみ積分することにより、生成される。

さらに、図 2 3で示されるように、時間方向および空間方向により解像度の高い高解像度データは、推定された実世界 1の信号を、空間方向に、データ 3を出力したセンサ 2の検出素子の受光領域に比較して、より狭い領域で積分するとともに、時間方向に、データ 3を出力したセンサ 2の検出時間に比較して、より短い時間で積分することにより、生成される。

この場合において、推定された実世界 1の信号が積分される領域および時間は、データ 3を出力したセンサ 2の検出素子の受光領域およびシャッタ時間と全く無関係に設定することができる。

このように、画像生成部 1 0 3は、例えば、推定された実世界 1の信号を所望の時空間の領域で積分することにより、時間方向、または空間方向に、より高解像度のデータを生成する。

以上のように、実世界 1の信号を推定することにより、実世界 1の信号に対してより正確で、時間方向、または空間方向に、より高解像度のデータを生成することができる。図 2 4乃至図 2 8は、信号処理装置 4の信号処理を用いた入力画像の例と、処理の結果の例を示している。

図 2 4は、入力画像の元の画像（実世界 1の光信号に相当）を示す図である。図 2 5は、入力画像の例を示す図である。図 2 5で示される入力画像は、図 2 4 で示される画像の 2 X 2の画素からなるブロックに属する画素の画素値の平均値を、 1つの画素の画素値として生成された画像である。すなわち、入力画像は、図 2 4で示される画像に、センサの積分特性を模した、空間方向の積分を適用することにより得られた画像である。

図 2 4で示される元の画像において、上下方向から、ほぼ 5度時計方向に傾いた細線の画像が含まれている。同様に、図 2 5で示される入力画像において、上下方向から、ほぼ 5度時計方向に傾いた細線の画像が含まれている。

図 2 6は、図 2 5で示される入力画像に、従来のクラス分類適応処理を適用して得られた画像を示す図である。ここで、クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理では、例えば、低画質または標準画質の画像が、所定のタップ係数を用いてマッピング (写像）されることにより、高画質の画像に変換される。

即ち、適応処理では、第 1のデータが、所定のタップ係数を用いてマッピング (写像）されることにより、第 2のデータに変換される。

いま、このタップ係数を用いてのマッピング方法として、例えば、線形 1次結合モデルを採用するとともに、第 1のデータとして、高解像度の HD (High

Definit ion)画像をローパスフィルタでフィルタリングすること等により得られる低解像度または標準解像度の SD (Standard Definition)画像を採用し、第 2 のデータとして、その SD画像を得るのに用いた HD 画像を採用することとして、適応処理について説明する。

上述の条件下において、 HD画像を構成する画素である HD画素 yは、例えば、 SD画像を構成する画素である SD画素から、 HD画素を予測するための予測タツプとして抽出される複数の SD画素と、タップ係数とを用いて、次の線形 1次式 (線形結合）によって求めることができる。

N

y=∑w_nx_n

• · ■ (24) 但し、式（24) において、 x_nは、 HD画素 yについての予測タップを構成する、 n番目の SD画素（の画素値）を表し、 w_nは、 n番目の SD画素と乗算される n番目のタップ係数を表す。なお、式（24) では、予測タップが、 N個の SD画素で構成されるものとしてある。

ここで、 HD画素の画素値 yは、式（24) に示した線形 1次式ではなく、 2 次以上の高次の式によって求めるようにすることも可能である。

いま、 HD画像において、 k番目の HD画素（の画素値）の真値を y_k と表すとともに、式（24) によって得られるその真値 y_kの予測値を y_k' と表すと、その予測誤差 e_k は、例えば、次式で表される。

e_k=y_k— y_k

• · · (2 5) 式（25) の予測値 y_k' は、式（24) にしたがって求められるため、式 (25) の y_k，を、式（24) にしたがって置き換えると、次式が得られる。

(26) 但し、式（26) において、 x_n，_kは、 k番目の HD画素についての予測タツプを構成する n番目の SD画素を表す。

式（26) の予測誤差 e_kを 0とするタップ係数 w_nが、 HD画素を予測するのに最適なものとなるが、すべての HD画素について、そのようなタップ係数 w_n を求めることは、一般には困難である。そこで、タップ係数 w_nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数 w_nは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和 Eを最小にすることで求めることができる。に = >

k=1

• · - (27) 但し、式（27) において、 Kは、 HD画素 y_k と、その HD画素 y_kについての予測タップを構成する SD画素 X _k, x₂, _k， ■ ■ , x_N, _k とのセットのサンプル数を表す。

式（27) の自乗誤差の総和 Eを最小（極小）にするタップ係数 w_nは、その総和 Eをタップ係数 w_nで偏微分したものを 0とするものであり、従って、次式を満たす必要がある。 2, ...,Ν)

• · · (28) そこで、上述の式（26) をタップ係数 w_n で偏微分すると、次式が得られる, x

，，2，…，

• · · (29) 式 (28) と (2 9) から、次式が得られる。

k k k

∑e_kxi,k=0, e_kX2，k=0, - --2.ekXN,k=0

k=1 k=1 k=1

• · · (30) 式（30) の e_kに、式（26) を代入することにより、式（30) は、式 (31) に示す正規方程式で表すことができる。 l,kYk) 2, kyk) N, kYk)

• · · (3 1) 式（3 1) の正規方程式は、 HD画素 y_k と SD画素 x_{n k} のセットを、ある程度の数だけ用意することでたてることができ、式（3 1) を解くことで、最適なタップ係数 w_n を求めることができる。なお、式（3 1) を解くにあたっては、例えば、掃き出し法（Gauss- Jordanの消去法）などを採用することが可能である。

以上のように、多数の HD画素 _yi， y₂， · · ·， y_K を、タップ係数の学習の教師となる教師データとするとともに、各 HD画素 y_k についての予測タップを構成する SD画素 _Xl, _k, x_{2) k}, ■ · ·， x_N,_k を、タップ係数の学習の生徒となる生徒データとして、式（3 1) を解くことにより、最適なタップ係数 w_n を求める学習を行っておき、さらに、そのタップ係数 w_n を用い、式（24) により、 SD画素を、 HD画素にマッピング（変換）するのが適応処理である。

ここで、 HD画素 y_k についての予測タップを構成する SD画素 _k， x ₂,_k， · ■ · , x_N, _k としては、その HD画素 y_k に対応する SD画像上の位置から空間的または時間的に近い位置にある SD画素を採用することができる。

また、クラス分類適応処理では、タップ係数 w_n の学習と、そのタップ係数 w _n を用いたマッピングとは、クラスごとに行われる。クラス分類適応処理では、注目している HD画素 y_k を対象にクラス分類処理が行われ、そのクラス分類処理により得られるクラスごとに、タップ係数 w_nの学習と、そのタップ係数 w_n を用いたマッビングが行われる。 HD画素 y _k を対象としたクラス分類処理としては、例えば、その HD画素 y _k のクラス分類に用いるクラスタップとしての複数の SD画素を、 SD画像から抽出し、その複数の SD画素で構成されるクラスタップを用いて Mビット

ADRC (Adaptive Dynamic Range Coding)処理を施す方法力 Sある。

Mビット ADRC処理においては、クラスタップを構成する SD画素の最大値 MAX と最小値 MINが検出され、 DR=MAX - MINを、局所的なダイナミックレンジとし、このダイナミックレンジ DRに基づいて、クラスタップを構成する SD画素が K ビットに再量子化される。即ち、クラスタップを構成する各 SD画素から、最小値 MINが減算され、その減算値が DR/2^K で除算（量子化）される。従って、クラスタップが、例えば、 1ビット ADRC処理される場合には、そのクラスタップを構成する各 SD画素は 1ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各 SD画素についての 1ビットの画素値を、所定の順番で並べたビット列が、 ADRCコードとして出力され、この ADRCコードが、クラスを表すクラスコードとされる。

なお、クラス分類適応処理は、 SD画素には含まれていないが、 HD画素に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、クラス分類適応処理では、式（2 4 ) だけを見る限りは、いわゆる補間フィルタを用いての捕間処理と同一であるが、その補間フィルタのタップ係数に相当するタツプ係数 w_nが、教師データとしての HD画素と生徒データとしての SD画素とを用いての学習により求められるため、 HD画素に含まれる成分を再現することができる。

ここで、タップ係数 w_n の学習では、教師データ yと生徒データ Xとの組み合わせとして、どのようなものを採用するかによって、各種の変換を行うタップ係数 w_n を求めることができる。

即ち、例えば、上述のように、教師データ yとして、高解像度の HD画像を採用するとともに、生徒データ Xとして、その HD画像の解像度を低下させた SD 画像を採用した場合には、画像の解像度を向上させるマッピングを行うタップ係 • 数 w_nを得ることができる。また、例えば、教師データ yとして、 HD画像を採用するとともに、生徒データ Xとして、その HD画像の画素数を少なくした SD 画像を採用した場合には、画像を構成する画素数を増加させるマッピングを行うタップ係数 w_nを得ることができる。

図 2 6は、図 2 5の入力画像に対して、上述のようなクラス分類適応処理によるマッピングを施すことにより得られる画像である。図 2 6では、細線の画像が、図 2 4の元の画像とは異なるものになっていることがわかる。

図 2 7は、データ定常性検出部 1 0 1による、図 2 5の例で示される入力画像から細線の領域を検出した結果を示す図である。図 2 7において、白い領域は、細線の領域、すなわち、図 1 0で示される円弧形状が並んでいる領域を示す。図 2 8は、図 2 5で示される画像を入力画像として、信号処理装置 4で信号処理を行うことにより得られる出力画像の例を示す図である。図 2 8で示されるように、信号処理装置 4によれば、図 2 4で示される元の画像の細線の画像により近い画像を得ることができる。

図 2 9は、信号処理装置 4による、信号処理を説明するフローチャートである。ステップ S 1 0 1において、データ定常性検出部 1 0 1は、定常性の検出の処理を実行する。データ定常性検出部 1 0 1は、データ 3である入力画像に含まれているデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報を実世界推定部 1 0 2および画像生成部 1 0 3に供給する。

データ定常性検出部 1 0 1は、現実世界の信号の定常性に対応するデータの定常性を検出する。ステップ S 1 0 1の処理において、データ定常性検出部 1 0 1 により検出されるデータの定常性は、データ 3に含まれる、実世界 1の画像の定常性の一部であるか、または、実世界 1の信号の定常性から変化してしまった定常性である。

例えば、データ定常性検出部 1 0 1は、所定の次元の方向に一定の特徴を有する領域を検出することにより、データの定常性を検出する。また、例えば、データ定常性検出部 1 0 1は、同様の形状の並び方を示す、空間方向の角度（傾き）を検出することにより、データの定常性を検出する。

ステップ S 1 0 1における、定常性の検出の処理の詳細は、後述する。

なお、データ定常性情報は、データ 3の特徴を示す特徴量として利用することができる。

ステップ S 1 0 2において、実世界推定部 1 0 2は、実世界の推定の処理を実行する。すなわち、実世界推定部 1 0 2は、入力画像、およびデータ定常性検出部 1 0 1から供給されたデータ定常性情報を基に、実世界 1の信号を推定する。例えば、ステップ S 1 0 2の処理において、実世界推定部 1 0 2は、実世界 1を近似（記述）するモデル 1 6 1を予測することにより、実世界 1の信号を推定する。実世界推定部 1 0 2は、推定された実世界 1の信号を示す実世界推定情報を画像生成部 1 0 3に供給する。

例えば、実世界推定部 1 0 2は、線状の物の幅を予測することにより、実世界 1の信号を推定する。また、例えば、実世界推定部 1 0 2は、線状の物の色を示すレベルを予測することにより、実世界 1の信号を推定する。

ステップ S 1 0 2における、実世界の推定の処理の詳細は、後述する。

なお、実世界推定情報は、データ 3の特徴を示す特徴量として利用することができる。

ステップ S 1 0 3において、画像生成部 1 0 3は、画像の生成の処理を実行して、処理は終了する。すなわち、画像生成部 1 0 3は、実世界推定情報を基に、画像を生成して、生成した画像を出力する。または、画像生成部 1 0 3は、データ定常性情報および実世界推定情報を基に、画像を生成して、生成した画像を出力する。

例えば、ステップ S 1 0 3の処理において、画像生成部 1 0 3は、実世界推定情報を基に、推定された現実世界の光を空間方向に積分することにより、入力画像に比較して、空間方向により高解像度の画像を生成して、生成した画像を出力する。例えば、画像生成部 1 0 3は、実世界推定情報を基に、推定された現実世界の光を時空間方向に積分することにより、入力画像に比較して、時間方向および空間方向により高解像度の画像を生成して、生成した画像を出力する。ステツプ S 1 0 3における、画像の生成の処理の詳細は、後述する。

このように、信号処理装置 4は、データ 3からデータの定常性を検出し、検出したデータの定常性を基に、実世界 1を推定する。そして、信号処理装置 4は、推定された実世界 1を基に、より実世界 1に近似した信号を生成する。

以上のように、現実世界の信号を推定して処理を実行するようにした場合には、正確で、精度の高い処理結果を得ることができるようになる。

また、第 1の次元を有する現実世界の信号である第 1の信号が射影され、現実世界の信号の定常性の一部が欠落した第 1の次元よりも少ない第 2の次元の第 2 の信号の、欠落した現実世界の信号の定常性に対応するデータの定常性を検出し、検出されたデータの定常性に基づいて、欠落した現実世界の信号の定常性を推定することにより第 1の信号を推定するようにした場合には、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。次に、データ定常性検出部 1 0 1の構成の詳細について説明する。

図 3 0は、データ定常性検出部 1 0 1の構成を示すプロック図である。

図 3 0に構成を示すデータ定常性検出部 1 0 1は、細線である対象物を撮像したとき、対象物の有する断面形状が同じであるという定常性から生じた、データ 3に含まれるデータの定常性を検出する。すなわち、図 3 0に構成を示すデータ定常性検出部 1 0 1は、細線である実世界 1の画像の有する、長さ方向の任意の位置において、長さ方向に直交する方向の位置の変化に対する光のレベルの変化が同じであるという定常性から生じた、データ 3に含まれるデータの定常性を検出する。

より具体的には、図 3 0に構成を示すデータ定常性検出部 1 0 1は、細線の画像を空間積分効果を有するセンサ 2で撮像して得られたデータ 3に含まれる、斜めにずれて隣接して並ぶ、複数の所定の長さの円弧形状（かまぼこ型）が配置される領域を検出する。データ定常性検出部 1 0 1は、データ 3である入力画像から、データの定常性を有する細線の画像が射影された画像データの部分（以下、定常成分とも称する）以外の画像データの部分（以下、非定常成分と称する）を抽出し、抽出された非定常成分と入力画像とから、実世界 1の細線の画像が射影された画素を検出し、入力画像における、実世界 1の細線の画像が射影された画素からなる領域を検出する。

非定常成分抽出部 2 0 1は、入力画像から非定常成分を抽出して、入力画像と共に、抽出された非定常成分を示す非定常成分情報を頂点検出部 2 0 2および単調増減検出部 2 0 3に供給する。

例えば、図 3 1で示されるように、ほぼ一定の光のレベルの背景の前に細線がある実世界 1の画像がデータ 3に射影されたとき、図 3 2で示されるように、非定常成分抽出部 2 0 1は、データ 3である入力画像における背景を平面で近似することにより、背景である非定常成分を抽出する。図 3 2において、実線は、データ 3の画素値を示し、点線は、背景を近似する平面で示される近似値を示す。図 3 2において、 Aは、細線の画像が射影された画素の画素値を示し、 P Lは、背景を近似する平面を示す。

このように、データの定常性を有する画像データの部分における、複数の画素の画素値は、非定常成分に対して不連続となる。

非定常成分抽出部 2 0 1は、実世界 1の光信号である画像が射影され、実世界 1の画像の定常性の一部が欠落した、データ 3である画像データの複数の画素の画素値の不連続部を検出する。

非定常成分抽出部 2 0 1における非定常成分の抽出の処理の詳細は、後述する。頂点検出部 2 0 2および単調増減検出部 2 0 3は、非定常成分抽出部 2 0 1から供給された非定常成分情報を基に、入力画像から非定常成分を除去する。例えば、頂点検出部 2 0 2および単調増減検出部 2 0 3は、入力画像の各画素のうち、背景の画像のみが射影された画素の画素値を 0に設定することにより、入力画像から非定常成分を除去する。また、例えば、頂点検出部 2 0 2および単調増減検出部 2 0 3は、入力画像の各画素の画素値から、平面 P Lで近似される値を引き算することにより、入力画像から非定常成分を除去する。

入力画像から背景を除去することができるので、頂点検出部 2 0 2乃至連続性検出部 2 0 4は、細線が射影された画像データの部分のみを処理の対象とすることができ、頂点検出部 2 0 2乃至連続性検出部 2 0 4における処理がより容易になる。

なお、非定常成分抽出部 2 0 1は、入力画像から非定常成分を除去した画像デ —タを頂点検出部 2 0 2および単調増減検出部 2 0 3に供給するようにしてもよい。

以下に説明する処理の例において、入力画像から非定常成分が除去された画像データ、すなわち、定常成分を含む画素のみからなる画像データが対象となる。ここで、頂点検出部 2 0 2乃至連続性検出部 2 0 4が検出しょうとする、細線の画像が射影された画像データについて説明する。

図 3 1で示される細線の画像が射影された画像データの空間方向 Yの断面形状 (空間方向の位置の変化に対する画素値の変化）は、光学 LPFがないとした場合、センサ 2であるイメージセンサの空間積分効果から、図 3 3に示す台形、または図 3 4に示す三角形となることが考えられる。しかしながら、通常のィメージセンサは、光学 LPFを備え、イメージセンサは、光学 LPFを通過した画像を取得し、取得した画像をデータ 3に射影するので、現実には、細線の画像データの空間方向 Yの断面形状は、図 3 5に示すようなガウス分布に類似した形状となる。

頂点検出部 2 0 2乃至連続性検出部 2 0 4は、細線の画像が射影された画素であって、同じ断面形状（空間方向の位置の変化に対する画素値の変化）が画面の上下方向に一定の間隔で並ぶものからなる領域を検出して、さらに、実世界 1の細線の長さ方向に対応した、領域の繋がりを検出することにより、データの定常性を有する領域である、細線の画像が射影された画素からなる領域を検出する。すなわち、頂点検出部 2 0 2乃至連続性検出部 2 0 4は、入力画像における、縦に 1列の画素の上に、円弧形状（かまぼこ型）が形成される領域を検出し、検出された領域が横方向に隣接して並んでいるか否かを判定して、実世界 1の信号である細線の画像の長さ方向に対応した、円弧形状が形成される領域の繋がりを検出する。

また、頂点検出部 2 0 2乃至連続性検出部 2◦ 4は、細線の画像が射影された画素であって'、同じ断面形状が画面の左右方向に一定の間隔で並ぶものからなる領域を検出して、さらに、実世界 1の細線の長さ方向に対応した、検出された領域の繋がりを検出することにより、データの定常性を有する領域である、細線の画像が射影された画素からなる領域を検出する。すなわち、頂点検出部 2 0 2乃 '至連続性検出部 2 0 4は、入力画像における、横に 1列の画素の上に、円弧形状が形成される領域を検出し、検出された領域が縦方向に隣接して並んでいるか否かを判定して、実世界 1の信号である細線の画像の長さ方向に対応した、円弧形状が形成される領域の繋がりを検出する。

まず、細線の画像が射影された画素であって、画面の上下方向に同じ円弧形状が一定の間隔で並ぶものからなる領域を検出する処理を説明する。

頂点検出部 2 0 2は、周囲の画素に比較して、より大きい画素値を有する画素、すなわち頂点を検出し、頂点の位置を示す頂点情報を単調増減検出部 2 0 3に供給する。画面の上下方向に 1列に並ぶ画素を対象とした場合、頂点検出部 2 0 2 は、画面の上側に位置する画素の画素値、および画面の下側に位置する画素の画素値に比較して、より大きい画素値を有する画素を頂点として検出する。頂点検出部 2 0 2は、 1つの画像、例えば、 1つのフレームの画像から、 1または複数の頂点を検出する。

1つの画面には、フレームまたはフィールドが含まれる。以下の説明において、同様である。

例えば、頂点検出部 2 0 2は、 1フレームの画像からまだ注目画素とされていない画素の中から注目画素を選択し、注目画素の画素値と、注目画素の上側の画素の画素値とを比較し、注目画素の画素値と、注目画素の下側の画素の画素値とを比較して、上側の画素の画素値より大きい画素値を有し、下側の画素の画素値より大きい画素値を有する注目画素を検出して、検出された注目画素を頂点とする。頂点検出部 2 0 2は、検出された頂点を示す頂点情報を単調増減検出部 2 0 • 3に供給する。

頂点検出部 2 0 2が、頂点を検出しない場合もある。例えば、 1つの画像の画素の画素値が全て同じ値であるとき、または、 1若しくは 2の方向に対して画素値が減少しているとき、頂点は検出されない。この場合、細線の画像は、画像データに射影されていない。

単調増減検出部 2 0 3は、頂点検出部 2 0 2から供給された、頂点の位置を示す頂点情報を基に、頂点検出部 2 0 2で検出された頂点に対して上下方向に 1列に並ぶ画素であって、細線の画像が射影された画素からなる領域の候補を検出し、頂点情報と共に、検出した領域を示す領域情報を連続性検出部 2 0 4に供給する。より具体的には、単調増減検出部 2 0 3は、頂点の画素値を基準として、単調減少している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。単調減少とは、頂点からの距離がより長い画素の画素値が、頂点からの距離が短い画素の画素値に比較して、より小さいことをいう。

また、単調増減検出部 2 0 3は、頂点の画素値を基準として、単調増加している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。単調増加とは、頂点からの距離がより長い画素の画素値が、頂点からの距離が短い画素の画素値に比較して、より大きいことをいう。以下、単調増加している画素値を有する画素からなる領域についての処理は、単調減少している画素値を有する画素からなる領域についての処理と同様なので、その説明は省略する。細線の画像が射影された画素であって、画面の横方向に同じ円弧形状が一定の間隔で並ぶものからなる領域を検出する処理における、単調増加している画素値を有する画素からなる領域についての処理も、単調減少している画素値を有する画素からなる領域についての処理と同様なので、その説明は省略する。

例えば、単調増減検出部 2 0 3は、頂点に対して縦に 1列に各画素について、各画素の画素値と、上側の画素の画素値との差分、および下側の画素の画素値との差分を求める。そして、単調増減検出部 2 0 3は、差分の符号が変化する画素を検出することにより、画素値が単調減少している領域を検出する。

さらに、単調増減検出部 2 0 3は、画素値が単調減少している領域から、頂点の画素値の符号を基準として、頂点の画素値の符号と同じ符号の画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。

例えば、単調増減検出部 2 0 3は、各画素の画素値の符号と、上側の画素の画素値の符号おょぴ下側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出することにより、画素値が単調減少している領域から、頂点と同じ符号の画素値を有する画素からなる領域を検出する。

このように、単調増減検出部 2 0 3は、上下方向に並び、頂点に対して画素値が単調減少し、頂点と同じ符号の画素値を有する画素からなる領域を検出する。図 3 6は、空間方向 Yの位置に対する画素値から、細線の画像が射影された画素の領域を検出する、頂点の検出および単調増減領域の検出の処理を説明する図である。

図 3 6乃至図 3 8において、 Pは、頂点を示す。図 3 0で構成が示されるデータ定常性検出部 1 0 1の説明において、 Pは、頂点を示す。

頂点検出部 2 0 2は、各画素の画素値と、これに空間方向 Yに隣接する画素の画素値とを比較して、空間方向 Yに隣接する 2つの画素の画素値より大きい画素値を有する画素を検出することにより、頂点 Pを検出する。

頂点 Pと、頂点 Pの空間方向 Yの両側の画素とからなる領域は、頂点 Pの画素値に対して、空間方向 Yの両側の画素の画素値が単調に減少する単調減少領域である。図 3 6において、 Aで示す矢印、および Bで示す矢印は、頂点 Pの両側に存在する単調減少領域を示す。

単調増減検出部 2 0 3は、各画素の画素値と、その画素に空間方向 Yに隣接する画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。単調増減検出部 2 0 3は、検出された、差分の符号が変化する画素と、その手前側 (頂点 P側）の画素との境界を、細線の画像が射影された画素からなる細線領域の

境界とする。

図 3 6において、差分の符号が変化する画素と、その手前側（頂点 P側）の画素との境界である細線領域の境界は Cで示される。

さらに、単調増減検出部 2 0 3は、単調減少領域において、各画素の画素値の符号と、その画素に空間方向 Yに隣接する画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。単調増減検出部 2 0 3は、検出された、画素値の符号が変化する画素と、その手前側（頂点 P側）の画素との境界を細線領域の境界とする。

図 3 6において、画素値の符号が変化する画素と、その手前側（頂点 P側） —の画素との境界である細線領域の境界は Dで示される。

図 3 6で示されるように、細線の画像が射影された画素からなる細線領域 F は、細線領域の境界 Cと、細線領域の境界 Dとに挟まれる領域とされる。

単調增減検出部 2 0 3は、このような単調増減領域からなる細線領域 Fの中から、予め定めた閾値より長い細線領域 F、すなわち、閾値より多い数の画素を含む細線領域 Fを求める。例えば、閾値が 3であるとき、単調増減検出部 2 0 3は、 4つ以上の画素を含む細線領域 Fを検出する。

さらに、このように検出された細線領域 Fの中から、単調増減検出部 2 0 3 は、頂点 Pの'画素値、および頂点 Pの右側の画素の画素値、および頂点 Pの左側の画素の画素値を、それぞれ閾値と比較し、頂点 Pの画素値が閾値を超え、頂点 Pの右側の画素の画素値が閾値以下であり、頂点 Pの左側の画素の画素値が閾値以下である頂点 Pが属する細線領域 Fを検出し、検出された細線領域 F を細線の画像の成分を含む画素からなる領域の候補とする。

言い換えれば、頂点 Pの画素値が閾値以下であるか、頂点 Pの右側の画素の画素値が閾値を超えるか、または頂点 Pの左側の画素の画素値が閾値を超える頂点 Pが属する細線領域 Fは、細線の画像の成分を含まないと判定され、細線の画像の成分を含む画素からなる領域の候補から除去される。

すなわち、図 3 7で示されるように、単調増減検出部 2 0 3は、頂点 Pの画素値を閾値と比較すると共に、頂点 Pに対して、空間方向 X (点線 ΑΑ'で示す方向）に隣接する画素の画素値を、閾値と比較し、頂点 Ρ の画素値が閾値を超え、空間方向 Xに隣接する画素の画素値が閾値以下である、頂点 Ρが属する細線領域 Fを検出する。

図 3 8は、図 3 7の点線 AA'で示す空間方向 Xに並ぶ画素の画素値を表す図である。頂点 Ρの画素値が閾値 T h _s を超え、頂点 Pの空間方向 Xに隣接する画素の画素値が、閾値 T h _s以下である、頂点 Pが属する細線領域 Fは、細線の成分を含む。

なお、単調増減検出部 2 0 3は、背景の画素値を基準として、頂点 Pの画素値と背景の画素値との差分を閾値と比較すると共に、頂点 Pに対して、空間方向 Xに隣接する画素の画素値と背景の画素値との差分を、閾値と比較し、頂点 P の画素値と背景の画素値との差分が閾値を超え、空間方向 Xに隣接する画素の画素値と背景の画素値との差分が閾値以下である、頂点 Pが属する細線領域 Fを検出するようにしてもよい。

単調増減検出部 2 0 3は、頂点 Pを基準として、画素値が単調減少し、画素値の符号が頂点 Pと同じである画素からなる領域であって、その頂点 Pが閾値を超え、頂点 Pの右側の画素の画素値が閾値以下であり、頂点 Pの左側の画素の画素値が閾値以下であるものを示す単調増減領域情報を連続性検出部 2 0 4に供給する。画面の上下方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する場合において、単調増減領域情報により示される領域に属する画素は、上下方向に並び、細線の画像が射影された画素を含む。すなわち、単調増減領域情報により示される領域は、画面の上下方向に 1列に並ぶ画素であつて、細線の画像が射影されたものからなる領域を含む。

このように、頂点検出部 2 0 2および単調増減検出部 2 0 3は、細線の画像が射影された画素において、空間方向 Yの画素値の変化が、ガウス分布に類似するという性質を利用して、細線の画像が射影された画素からなる定常領域を検出する。

連続性検出部 2 0 4は、単調増減検出部 2 0 3から供給された単調増減領域情報で示される、上下方向に並ぶ画素からなる領域のうち、横方向に隣接している画素を含む領域、すなわち、相似した画素値の変化を有し、縦方向に重複している領域を、連続している領域として検出し、頂点情報、および検出された連続している領域を示すデータ定常性情報を出力する。データ定常性情報は、単調増減領域情報、および領域の繋がりを示す情報などを含んでいる。

細線が射影された画素において、円弧形状が隣接するように一定の間隔で並ぶので、検出された連続している領域は、細線が射影された画素を含んでいる。検出された連続している領域が、細線が射影された、円弧形状が隣接するように一定の間隔で並ぶ画素を含むので、検出された連続している領域を定常領域とし、連続性検出部 2 0 4は、検出された連続している領域を示すデータ定常性情報を出力する。

すなわち、連続性検出部 2 0 4は、長さ方向に連続するという、実世界 1の細線の画像の定常性から生じた、細線を撮像して得られたデータ 3における、円弧形状が隣接するように一定の間隔で並ぶ定常性を利用して、頂点検出部 2 0 2および単調増減検出部 2 0 3において検出された領域の候補をさらに絞り込む。図 3 9は、単調増減領域の連続性を検出の処理を説明する図である。図 3 9に示すように、連続性検出部 2 0 4は、画面の縦方向に 1列に並ぶ画素からなる細線領域 Fについて、横方向に隣接する画素を含んでいるとき、 2つの単調増減領域の間に連続性があるとし、横方向に隣接する画素を含んでいないとき、 2つの細線領域 Fの間に連続性がないとする。例えば、画面の縦方向に 1列に並ぶ画素からなる細線領域は、画面の縦方向に 1列に並ぶ画素からなる細線領域 F_Qの画素と横方向に隣接する画素を含んでいるとき、細線領域 F₀ と連続しているとされる。画面の縦方向に 1列に並ぶ画素からなる細線領域 F。は、画面の縦方向に 1列に並ぶ画素からなる細線領域の画素と横方向に隣接する画素を含んでいるとき、細線領域 F_L と連続しているとされる。

このように、頂点検出部 2 0 2乃至連続性検出部 2 0 4により、画面の上下方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域が検出される。

頂点検出部 2 0 2乃至連続性検出部 2 0 4は、上述したように、画面の上下方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出し、さらに、画面の左右方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する。

なお、処理の順序は、特に限定されるものではなく、並列に実行するようにしても良いことは当然である。

すなわち、頂点検出部 2 0 2は、画面の左右方向に 1列に並ぶ画素を対象として、画面の左側に位置する画素の画素値、および画面の右側に位置する画素の画素値に比較して、より大きい画素値を有する画素を頂点として検出し、検出した頂点の位置を示す頂点情報を単調増減検出部 2 0 3に供給する。頂点検出部 2 0 2は、 1つの画像、例えば、 1フレームの画像から、 1または複数の頂点を検出する。 - 例えば、頂点検出部 2 0 2は、 1フレームの画像からまだ注目画素とされていない画素の中から注目画素を選択し、注目.画素の画素値と、注目画素の左側の画素の画素値とを比較し、注目画素の画素値と、注目画素の右側の画素の画素値とを比較して、左側の画素の画素値より大きい画素値を有し、右側の画素の画素値より大きい画素値を有する注目画素を検出して、検出された注目画素を頂点とする。頂点検出部 2 0 2は、検出された頂点を示す頂点情報を単調増減検出部 2 0 3に供給する。

頂点検出部 2 0 2が、頂点を検出しない場合もある。

単調増減検出部 2 0 3は、頂点検出部 2 0 2で検出された頂点に対して左右方向に 1列に並ぶ画素であって、細線の画像が射影された画素からなる領域の候補を検出検出し、頂点情報と共に、検出した領域を示す単調増減領域情報を連続性検出部 2 0 4に供給する。

より具体的には、単調増減検出部 2 0 3は、頂点の画素値を基準として、単調減少している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の侯補として検出する。

例えば、単調増減検出部 2 0 3は、頂点に対して横に 1列の各画素について、各画素の画素値と、左側の画素の画素値との差分、および右側の画素の画素値との差分を求める。そして、単調増減検出部 2 0 3は、差分の符号が変化する画素を検出することにより、画素値が単調減少している領域を検出する。

例えば、単調増減検出部 2 0 3は、各画素の画素値の符号と、左側の画素の画素値の符号または右側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出することにより、画素値が単調減少している領域から、頂点と同じ符号の画素値を有する画素からなる領域を検出する。

このように、単調増減検出部 2 0 3は、左右方向に並び、頂点に対して画素値が単調減少し、頂点と同じ符号の画素値を有する画素からなる領域を検出する。単調増減検出部 2 0 3は、このような単調増減領域からなる細線領域の中から、予め定めた閾値より長い細線領域、すなわち、閾値より多い数の画素を含む細線領域を求める。

さらに、このように検出された細線領域の中から、単調増減検出部 2 0 3は、頂点の画素値、および頂点の上側の画素の画素値、および頂点の下側の画素の画素値を、それぞれ閾値と比較し、頂点の画素値が閾値を超え、頂点の上側の画素の画素値が閾値以下であり、頂点の下側の画素の画素値が閾値以下である頂点が属する細線領域を検出し、検出された細線領域を細線の画像の成分を含む画素からなる領域の候補とする。

言い換えれば、頂点の画素値が閾値以下であるか、頂点の上側の画素の画素値が閾値を超えるか、または頂点の下側の画素の画素値が閾値を超える頂点が属する細線領域は、細線の画像の成分を含まないと判定され、細線の画像の成分を含む画素からなる領域の候補から除去される。

なお、単調増減検出部 2 0 3は、背景の画素値を基準として、頂点の画素値と背景の画素値との差分を閾値と比較すると共に、頂点に対して、上下方向に隣接する画素の画素値と背景の画素値との差分を、閾値と比較し、頂点の画素値と背景の画素値との差分が閾値を超え、上下方向に隣接する画素の画素値と背景の画素値との差分が閾値以下である、検出された細線領域を細線の画像の成分を含む画素からなる領域の候補とするようにしてもよい。

単調増減検出部 2 0 3は、頂点を基準として、画素値が単調減少し、画素値の符号が頂点と同じである画素からなる領域であって、その頂点が閾値を超え、頂点の右側の画素の画素値が閾値以下であり、頂点の左側の画素の画素値が閾値以下であるものを示す単調増減領域情報を連続性検出部 2 0 4に供給する。

画面の左右方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する場合において、単調増減領域情報により示される領域に属する画素は、左右方向に並び、細線の画像が射影された画素を含む。すなわち、単調増減領域情報により示される領域は、画面の左右方向に並ぶ 1列の画素であつて、細線の画像が射影されたものからなる領域を含む。

連続性検出部 2 0 4は、単調増減検出部 2 0 3から供給された単調増減領域情報で示される、左右方向に並ぶ画素からなる領域のうち、縦方向に隣接している画素を含む領域、すなわち、相似した画素値の変化を有し、横方向に重複している領域を、連続している領域として検出し、頂点情報、および検出された連続している領域を示すデータ定常性情報を出力する。データ定常性情報は、領域の繋がりを示す情報を含んでいる。

すなわち、連続性検出部 2 0 4は、長さ方向に連続するという、実世界 1の細線の画像の定常性から生じた、細線を撮像して得られたデータ 3における、円弧. 形状が隣接するように一定の間隔で並ぶ定常性を利用して、頂点検出部 2 0 2および単調増減検出部 2 0 3において検出された領域の候補をさらに絞り込む。このように、データ定常性検出部 1 0 1は、入力画像であるデータ 3に含まれている定常性を検出することができる。すなわち、データ定常性検出部 1 0 1は、細線である実世界 1の画像がデータ 3に射影されることにより生じた、データ 3 に含まれるデータの定常性を検出することができる。データ定常性検出部 1 0 1 は、データ 3から、細線である実世界 1の画像が射影された画素からなる領域を検出する。

図 4 0は、定常性検出部 1 0 1における、細線の画像が射影された、定常性を有する領域の検出の他の処理の例を示す図である。定常性検出部 1 0 1は、図 4 0に示すように、各画素について、隣接する画素との画素値の差分の絶対値を計算する。計算された差分の絶対値は、画素に対応させて、配置される。例えば、図 4 0に示すように、画素値がそれぞれ P0、 Pl、 P2である画素が並んでいるとき、定常性検出部 1 0 1は、差分 dO=PO- P1および差分 dl=Pl-P2を計算する。さらに、定常性検出部 1 0 1は、差分 dOおよび差分 dlの絶対値を算出する。

画素値 P0、 Pl、および P2に含まれている非定常性成分が同一であるとき、差分 dOおよび差分 dlには、細線の成分に対応した値のみが設定されることになる。

従って、定常性検出部 1 0 1は、画素に対応させて配置されている差分の絶対値のうち、隣り合う差分の値が同一であるとき、その 2つの差分の絶対値に対応する画素（2つの差分の絶対値に挟まれた画素）に細線の成分が含まれていると判定する。ただし、定常性検出部 1 0 1は、その差分の絶対値が小さい場合は細線として検出しなくてもよい。たとえば、その差分の絶対値が閾値以上であるとき、定常性検出部 1 0 1は、その画素に細線の成分が含まれていると判定する。定常性検出部 1 0 1においては、このような、簡便な方法で細線を検出することもできる。

図 4 1は、定常性検出の処理を説明するフローチャートである。

ステップ S 2 0 1において、非定常成分抽出部 2 0 1は、入力画像から、細線が射影された部分以外の部分である非定常成分を抽出する。非定常成分抽出部 2 0 1は、入力画像と共に、抽出された非定常成分を示す非定常成分情報を頂点検出部 2 0 2および単調増減検出部 2 0 3に供給する。非定常成分の抽出の処理の詳細は、後述する。

ステップ S 2 0 2において、頂点検出部 2 0 2は、非定常成分抽出部 2 0 1から供給された非定常成分情報を基に、入力画像から非定常成分を除去し、入力画像に定常成分を含む画素のみを残す。さらに、ステップ S 2 0 2において、頂点検出部 2 0 2は、頂点を検出する。すなわち、頂点検出部 2 0 2は、画面の縦方向を基準として、処理を実行する場合、定常成分を含む画素について、各画素の画素値と、上側および下側の画素の画素値とを比較して、上側の画素の画素値おょぴ下側の画素の画素値より大きい画素値を有する画素を検出することにより、頂点を検出する。また、ステップ S 2 0 2において、頂点検出部 2 0 2は、画面の横方向を基準として、処理を実行する場合、定常成分を含む画素について、各画素の画素値と、右側おょぴ左側の画素の画素値とを比較して、右側の画素の画素値および左側の画素の画素値より大きい画素値を有する画素を検出することにより、頂点を検出する。

頂点検出部 2 0 2は、検出した頂点を示す頂点情報を単調増減検出部 2 0 3に供給する。

ステップ S 2 0 3において、単調増減検出部 2 0 3.は、非定常成分抽出部 2 0 1から供給された非定常成分情報を基に、入力画像から非定常成分を除去し、入力画像に定常成分を含む画素のみを残す。さらに、ステップ S 2 0 3において、単調増減検出部 2 0 3は、頂点検出部 2 0 2から供給された、頂点の位置を示す頂点情報を基に、頂点に対する単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。

単調増減検出部 2 0 3は、画面の縦方向を基準として、処理を実行する場合、頂点の画素値、および頂点に対して縦に 1列に並ぶ画素の画素値を基に、縦に並ぶ 1列の画素であつて、 1つの細線の画像が射影された画素からなる単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。すなわち、ステップ S 2 0 3において、単調増減検出部 2 0 3は、画面の縦方向を基準として、処理を実行する場合、頂点および頂点に対して縦に 1列に並ぶ画素について、各画素の画素値と、上側または下側の画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。また、単調増減検出部 2 0 3は、頂点および頂点に対して縦に 1列に並ぶ画素について、各画素の画素値の符号と、その画素の上側または下側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。さらに、単調増減検出部 2 0 3は、頂点の画素値、並びに頂点の右側および左側の画素の画素値を、閾値と比較し、頂点の画素値が閾値を超え、右側およぴ左側の画素の画素値が閾値以下である画素からなる領域を検出する。

単調増減検出部 2 0 3は、このように検出された領域を単調増減領域として、単調増減領域を示す単調増減領域情報を連続性検出部 2 0 4に供給する。

また、単調増減検出部 2 0 3は、画面の横方向を基準として、処理を実行する場合、頂点の画素値、および頂点に対して横に 1列に並ぶ画素の画素値を基に、横に並ぶ 1列の画素であって、 1つの細線の画像が射影された画素からなる単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。すなわち、ステップ S 2 0 3において、単調増減検出部 2 0 3は、画面の横方向を基準として、処理を実行する場合、頂点および頂点に対して横に 1列に並ぶ画素について、各画素の画素値と、左側または右側の画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。また、単調増減検出部 2 0 3は、頂点および頂点に対して横に 1列に並ぶ画素について、各画素の画'素値の符号と、その画素の左側または右側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。さらに、単調増減検出部 2 0 3は、頂点の画素値、並びに頂点の上側および下側の画素の画素値を、閾値と比較し、頂点の画素値が閾値を超え、上側および下側の画素の画素値が閾値以下である画素からなる領域を検出する。

ステップ S 2 0 4において、単調増減検出部 2 0 3は、全画素の処理が終了したか否かを判定する。例えば、非定常成分抽出部 2 0 1は、入力画像の 1つの画面 (例えば、フレームまたはフィールドなど）の全画素について、頂点を検出し、単調增減領域を検出したか否かを判定する。

ステップ S 2 0 4において、全画素の処理が終了していない、すなわち、頂点の検出および単調増減領域の検出の処理の対象とされていない画素がまだあると判定された場合、ステップ S 2 0 2に戻り、頂点の検出および単調増減領域の検出の処理の対象とされていない画素から処理の対象となる画素を選択して、頂点の検出および単調増減領域の検出の処理を繰り返す。

ステップ S 2 0 4において、全画素の処理が終了した、すなわち、全ての画素を対象として頂点おょぴ単調増減領域が検出されたと判定された場合、ステップ S 2 0 5に進み、連続性検出部 2 0 4は、単調増減領域情報を基に、検出された領域の連続性を検出する。例えば、連続性検出部 2 0 4は、単調増減領域情報で示される、画面の縦方向に 1列に並ぶ画素からなる単調増減領域について、横方向に隣接する画素を含んでいるとき、 2つの単調増減領域の間に連続性があるとし、横方向に隣接する画素を含んでいないとき、 2つの単調増減領域の間に連続性がないとする。例えば、連続性検出部 2 0 4は、単調増減領域情報で示される、画面の横方向に 1列に並ぶ画素からなる単調増減領域について、縦方向に隣接する画素を含んでいるとき、 2つの単調増減領域の間に連続性があるとし、縦方向に隣接する画素を含んでいないとき、 2つの単調増減領域の間に連続性がないとする。

連続性検出部 2 0 4は、検出された連続している領域をデータの定常性を有する定常領域とし、頂点の位置および定常領域を示すデータ定常性情報を出力する。データ定常性情報は、領域の繋がりを示す情報を含んでいる。連続性検出部 2 0 4から出力されるデータ定常性情報は、実世界 1の細線の画像が射影された画素からなる、定常領域である細線領域を示す。

ステップ S 2 0 6において、定常性方向検出部 2 0 5は、全画素の処理が終了したか否かを判定する。すなわち、定常性方向検出部 2 0 5は、入力画像の所定のフレームの全画素について、領域の連続性を検出したか否かを判定する。

ステップ S 2 0 6において、全画素の処理が終了していない、すなわち、領域の連続性の検出の処理の対象とされていない画素がまだあると判定された場合、ステップ S 2 0 5に戻り、領域の連続性の検出の処理の対象とされていない画素から処理の対象となる画素を選択して、領域の連続性の検出の処理を繰り返す。ステップ S 2 0 6において、全画素の処理が終了した、すなわち、全ての画素を対象として領域の連続性が検出されたと判定された場合、処理は終了する。このように、入力画像であるデータ 3に含まれている定常性が検出される。すなわち、細線である実世界 1の画像がデータ 3に射影されることにより生じた、データ 3に含まれるデータの定常性が検出され、データ 3から、細線である実世界 1の画像が射影された画素からなる、データの定常性を有する領域が検出される。

なお、図 3 0で構成が示されるデータ定常性検出部 1 0 1は、データ 3のフレームから検出されたデータの定常性を有する領域を基に、時間方向のデータの定常性を検出することができる。

例えば、図 4 2に示すように、連続性検出部 2 0 4は、フレーム #n において、検出されたデータの定常性を有する領域、フレーム #n - 1において、検出されたデータの定常性を有する領域、およびフレーム #n+ lにおいて、検出されたデータの定常性を有する領域を基に、領域の端部を結ぶことにより、時間方向のデータの定常性を検出する。

フレーム #n- 1は、フレーム #nに対して時間的に前のフレームであり、フレーム #η+ 1は、フレーム #ηに対して時間的に後のフレームである。すなわち、フレーム #η- 1、フレーム #η、およびフレーム #η+1は、フレーム #η- 1、フレーム #η、およびフレームの順で表示される。

より具体的には、図 4 2において、 Gは、フレーム #ηにおいて、検出されたデータの定常性を有する領域、フレーム #η-1において、検出されたデータの定常性を有する領域、およびフレーム #η+ 1において、検出されたデータの定常性を有する領域のそれぞれの一端を結ぶことにより得られた動きべクトルを示し、 G ' は、検出されたデータの定常性を有する領域のそれぞれの他の一端を結ぶことにより得られた動きべクトルを示す。動きべクトル Gおよび動きべクトル G ' は、時間方向のデータの定常性の一例である。さらに、図 3 0で構成が示されるデータ定常性検出部 1 0 1は、データの定常性を有する領域の長さを示す情報を、データ定常性情報として出力することがでさる。

図 4 3は、データの定常性を有しない画像データの部分である非定常成分を平面で近似して、非定常成分を抽出する、非定常成分抽出部 2 0 1の構成を示すブ口ック図である。

図 4 3に構成を示す非定常成分抽出部 2 0 1は、入力画像から所定の数の画素でなるプロックを抽出し、プロックと平面で示される値との誤差が所定の閾値未満になるように、ブロックを平面で近似して、非定常成分を抽出する。

入力画像は、ブロック抽出部 2 2 1に供給されるとともに、そのまま出力される。

プロック抽出部 2 2 1は、入力画像から、所定の数の画素からなるプロックを抽出する。例えば、ブロック抽出部 2 2 1は、 7 X 7の画素からなるブロックを抽出し、平面近似部 2 2 2に供給する。例えば、ブロック抽出部 2 2 1は、抽出されるプロックの中心となる画素をラスタスキャン順に移動させ、順次、入力画像からプロックを抽出する。

平面近似部 2 2 2は、ブロックに含まれる画素の画素値を所定の平面で近似する。例えば、平面近似部 2 2 2は、式（3 2 ) で表される平面でブロックに含まれる画素の画素値を近似する。

z = ax+by+c

• · · ( 3 2 ) 式（3 2 ) において、 Xは、画素の画面上の一方の方向（空間方向 X ) の位置を示し、 yは、画素の画面上の他の一方の方向（空間方向 Y) の位置を示す。 z は、平面で示される近似値を示す。 a は、平面の空間方向 Xの傾きを示し、 b は、平面の空間方向 Yの傾きを示す。式（3 2 ) において、 cは、平面のオフセット (切片）を示す。 4 008691

68

例えば、平面近似部 2 2 2は、回帰の処理により、傾き a、傾き b、およぴォフセット cを求めることにより、式（3 2 ) で表される平面で、プロックに含まれる画素の画素値を近似する。平面近似部 2 2 2は、棄却を伴う回帰の処理により、傾き a、傾き b、およびオフセット cを求めることにより、式（3 2 ) で表される平面で、ブロックに含まれる画素の画素値を近似する。

例えば、平面近似部 2 2 2は、最小自乗法により、プロックの画素の画素値に対して、誤差が最小となる式（3 2 ) で表される平面を求めることにより、平面でプロックに含まれる画素の画素値を近似する。

なお、平面近似部 2 2 2は、式（3 2 ) で表される平面でプロックを近似すると説明したが、式（3 2 ) で表される平面に限らず、より高い自由度をもった関数、例えば、 n次（nは、任意の整数）の多項式で表される面でプロックを近似するようにしてもよい。

繰り返し判定部 2 2 3は、ブロックの画素値を近似した平面で示される近似値と、ブロックの対応する画素の画素値との誤差を計算する。式（3 3 ) は、プロックの画素値を近似した平面で示される近似値と、ブロックの対応する画素の画素値との差分である誤差を示す式である。

6 j = 2 j -Z = Z j - (aXj + y j +c

• · · ( 3 3 ) 式（3 3 ) において、 zハット（zにを付した文字を zハットと記述する。以下、本明細書において、同様に記載する。）は、ブロックの画素値を近似した平面で示される近似値を示し、 aハットは、ブロックの画素値を近似した平面の空間方向 Xの傾きを示し、 b ノヽットは、ブロックの画素値を近似した平面の空間方向 Yの傾きを示す。式（3 3 ) において、 cハットは、ブロックの画素値を近似した平面のオフセット（切片）を示す。

繰り返し判定部 2 2 3は、式（3 3 ) で示される、近似値とブロックの対応する画素の画素値との誤差力最も大きい画素を棄却する。このようにすることで、細線が射影された画素、すなわち定常性を有する画素が棄却されることになる。繰り返し判定部 2 2 3は、棄却した画素を示す棄却情報を平面近似部 2 2 2に供給する。

さらに、繰り返し判定部 2 2 3は、標準誤差を算出して、標準誤差が、予め定めた近似終了判定用の閾値以上であり、プロックの画素のうち、半分以上の画素が棄却されていないとき、繰り返し判定部 2 2 3は、平面近似部 2 2 2に、プロックに含まれる画素のうち、棄却された画素を除いた画素を対象として、平面による近似の処理を繰り返させる。

定常性を有する画素が棄却されるので、棄却された画素を除いた画素を対象として平面で近似をすることにより、平面は、非定常成分を近似することになる。操り返し判定部 2 2 3は、標準誤差が、近似終了判定用の閾値未満であるとき、または、プロックの画素のうち、半分以上の画素が棄却されたとき、平面による近似を終了する。

5 X 5の画素からなるプロックについて、標準誤差 e_s は、例えば、式（3 4 ) で算出される。

=∑ ( ( Z i - ( aX i +byj +c) } (n-3)

• - · ( 3 4 ) ここで、 nは、画素の数である。

なお、繰り返し判定部 2 2 3は、標準誤差に限らず、ブロックに含まれる全ての画素についての誤差の 2乗の和を算出して、以下の処理を実行するようにしてもよい。

ここで、ラスタスキャン方向に 1画素ずつずれたプロックを平面で近似するとき、図 4 4に示すように、図中黒丸で示す、定常性を有する画素、すなわち細線の成分を含む画素は、複数回棄却されることになる。繰り返し判定部 2 2 3は、平面による近似を終了したとき、ブロックの画素値を近似した平面を示す情報（式（3 2 ) の平面の傾きおよび切片）を、非定常成分情報として出力する。

なお、繰り返し判定部 2 2 3は、画素毎の棄却された回数と予め定めた閾値とを比較して、棄却された回数が閾値以上である画素を定常成分を含む画素であるとして、定常成分を含む画素を示す情報を定常成分情報として出力するようにしてもよい。この場合、頂点検出部 2 0 2乃至定常性方向検出部 2 0 5は、定常成分情報で示される、定常成分を含む画素を対象として、それぞれの処理を実行する。

棄却された回数、ブロックの画素の画素値を近似する平面の空間方向 Xの傾き、プロックの画素の画素値を近似する平面の空間方向 Yの傾き、プロックの画素の画素値を近似する平面で示される近似値、および誤差 e_t は、入力画像の特徴量としても利用することができる。

図 4 5は、ステップ S 2 0 1に対応する、図 4 3に構成を示す非定常成分抽出部 2 0 1による、非定常成分の抽出の処理を説明するフローチャートである。ステップ S 2 2 1において、ブロック抽出部 2 2 1は、入力画素から、所定の数の画素からなるプロックを抽出し、抽出したブロックを平面近似部 2 2 2に供給する。例えば、ブロック抽出部 2 2 1は、入力画素から、まだ、選択されていない画素のうち、 1つの画素を選択し、選択された画素を中心とする 7 X 7の画素からなるプロックを抽出する。例えば、プロック抽出部 2 2 1は、ラスタスキャン順に画素を選択することができる。

ステップ S 2 2 2において、平面近似部 2 2 2は、抽出されたプロックを平面で近似する。平面近似部 2 2 2は、例えば、回帰の処理により、抽出されたプロックの画素の画素値を、平面で近似する。例えば、平面近似部 2 2 2は、回帰の処理により、抽出されたプロックの画素のうち、棄却された画素を除いた画素の画素値を、平面で近似する。ステップ S 2 2 3において、繰り返し判定部 2 2 3 は、繰り返し判定を実行する。例えば、プロックの画素の画素値と近似した平面の近似値とから標準誤差を算出し、棄却された画素の数を力ゥントすることにより、繰り返し判定を実行する。

ステップ S 2 2 4において、繰り返し判定部 2 2 3は、標準誤差が閾値以上であるか否かを判定し、標準誤差が閾値以上であると判定された場合、ステップ S 2 2 5に進む。

なお、ステップ S 2 2 4において、繰り返し判定部 2 2 3は、ブロックの画素のうち、半分以上の画素が棄却されたか否か、および標準誤差が閾値以上であるか否かを判定し、プロックの画素のうち、半分以上の画素が棄却されておらず、標準誤差が閾値以上であると判定された場合、ステップ S 2 2 5に進むようにしてもよい。

ステップ S 2 2 5において、繰り返し判定部 2 2 3は、ブロックの画素毎に、画素の画素値と近似した平面の近似値との誤差を算出し、誤差が最も大きい画素を棄却し、平面近似部 2 2 2に通知する。手続きは、ステップ S 2 2 2に戻り、棄却された画素を除いた、プロックの画素を対象として、平面による近似の処理および繰り返し判定の処理が繰り返される。

ステップ S 2 2 5において、ラスタスキャン方向に 1画素ずつずれたプロックがステップ S 2 2 1の処理で抽出される場合、図 4 4に示すように、細線の成分を含む画素（図中の黒丸で示す）は、複数回棄却されることになる。

ステップ S 2 2 4において、標準誤差が閾値以上でないと判定された場合、ブロックが平面で近似されたので、ステップ S 2 2 6に進む。

なお、ステップ S 2 2 4において、繰り返し判定部 2 2 3は、ブロックの画素のうち、半分以上の画素が棄却されたか否か、および標準誤差が閾値以上であるか否かを判定し、ブロックの画素のうち、半分以上の画素が棄却されたか、または標準誤差が閾値以上でないと判定された場合、ステップ S 2 2 5に進むようにしてもよい。

ステップ S 2 2 6において、繰り返し判定部 2 2 3は、プロックの画素の画素値を近似する平面の傾きおよび切片を、非定常成分情報として出力する。ステップ S 2 2 7において、ブロック抽出部 2 2 1は、入力画像の 1つの画面の全画素について処理を終了したか否かを判定し、まだ処理の対象となってない画素があると判定された場合、ステップ S 2 2 1に戻り、まだ処理の対象となつていない画素からブロックを抽出して、上述した処理を繰り返す。

ステップ S 2 2 7において、入力画像の 1つの画面の全画素について、処理を終了したと判定された場合、処理は終了する。

このように、図 4 3に構成を示す非定常成分抽出部 2 0 1は、入力画像から非定常成分を抽出することができる。非定常成分抽出部 2 0 1が入力画像の非定常成分を抽出するので、頂点検出部 2 0 2および単調増減検出部 2 0 3は、入力画像と、非定常成分抽出部 2 0 1で抽出された非定常成分との差分を求めることにより、定常成分を含む差分を対象として処理を実行することができる。

なお、平面による近似の処理において算出される、棄却した場合の標準誤差、棄却しない場合の標準誤差、画素の棄却された回数、平面の空間方向 Xの傾き (式（3 2 ) における aハット）、平面の空間方向 Yの傾き（式（3 2 ) における bハット）、平面で置き換えたときのレベル（式（3 2 ) における cハツト）、および入力画像の画素値と平面で示される近似値との差分は、特徴量として利用することができる。

図 4 6は、ステップ S 2 0 1に対応する非定常成分の抽出の処理に代わる、図 4 3に構成を示す非定常成分抽出部 2 0 1による、定常成分の抽出の処理を説明するフローチャートである。ステップ S 2 4 1乃至ステップ S 2 4 5の処理は、ステップ S 2 2 1乃至ステップ S 2 2 5の処理と同様なので、その説明は省略する。

ステップ S 2 4 6において、繰り返し判定部 2 2 3は、平面で示される近似値と入力画像の画素値との差分を、入力画像の定常成分として出力する。すなわち、繰り返し判定部 2 2 3は、平面による近似値と、真値である画素値との差分を出力する。なお、繰り返し判定部 2 2 3は、平面で示される近似値と入力画像の画素値との差分が、所定の閾値以上である画素の画素値を、入力画像の定常成分として出力するようにしてもよい。

ステップ S 2 4 7の処理は、ステップ S 2 2 7の処理と同様なので、その説明は省略する。

平面が非定常成分を近似しているので、非定常成分抽出部 2 0 1は、入力画像の各画素の画素値から、画素値を近似する平面で示される近似値を引き算することにより、入力画像から非定常成分を除去することができる。この場合、頂点検出部 2 0 2乃至連続性検出部 2 0 4は、入力画像の定常成分、すなわち細線の画像が射影された値のみを処理の対象とすることができ、頂点検出部 2 0 2乃至連続性検出部 2 0 4における処理がより容易になる。

図 4 7は、ステップ S 2 0 1に対応する非定常成分の抽出の処理に代わる、図 4 3に構成を示す非定常成分抽出部 2 0 1による、定常成分の抽出の他の処理を説明するフローチャートである。ステップ S 2 6 1乃至ステップ S 2 6 5の処理は、ステップ S 2 2 1乃至ステップ S 2 2 5の処理と同様なので、その説明は省略する。

ステップ S 2 6 6において、繰り返し判定部 2 2 3は、画素毎の、棄却の回数を記憶し、ステップ S 2 6 2に戻り、処理を繰り返す。

ステップ S 2 6 4において、標準誤差が閾値以上でないと判定された場合、ブロックが平面で近似されたので、ステップ S 2 6 7に進み、繰り返し判定部 2 2 3は、入力画像の 1つの画面の全画素について処理を終了したか否かを判定し、まだ処理の対象となってない画素があると判定された場合、ステップ S 2 6 1に戻り、まだ処理の対象となっていない画素についてプロックを抽出して、上述した処理を繰り返す。

ステップ S 2 6 7において、入力画像の 1つの画面の全画素について、処理を終了したと判定された場合、ステップ S 2 6 8に進み、繰り返し判定部 2 2 3は、まだ選択'されていない画素から 1つの画素を選択し、選択された画素について、棄却の回数が、閾値以上であるか否かを判定する。例えば、繰り返し判定部 2 2 3は、ステップ S 2 6 8において、選択された画素について、棄却の回数が、予め記憶している閾値以上であるか否かを判定する。

ステップ S 2 6 8において、選択された画素について、棄却の回数が、閾値以上であると判定された場合、選択された画素が定常成分を含むので、ステップ S 2 6 9に進み、繰り返し判定部 2 2 3は、選択された画素の画素値（入力画像における画素値）を入力画像の定常成分として出力し、ステップ S 2 7 0に進む。ステップ S 2 6 8において、選択された画素について、棄却の回数が、閾値以上でないと判定された場合、選択された画素が定常成分を含まないので、ステツプ S 2 6 9の処理をスキップして、手続きは、ステップ S 2 7 0に進む。すなわち、棄却の回数が、閾値以上でないと判定された画素は、画素値が出力されない。なお、棄却の回数が、閾値以上でないと判定された画素について、繰り返し判定部 2 2 3は、 0を設定した画素値を出力するようにしてもよい。

ステップ S 2 7 0において、操り返し判定部 2 2 3は、入力画像の 1つの画面の全画素について、棄却の回数が閾値以上であるか否かの判定の処理を終了したか否かを判定し、全画素について処理を終了していないと判定された場合、まだ処理の対象となってない画素があるので、ステップ S 2 6 8に戻り、まだ処理の対象となっていない画素から 1つの画素を選択して、上述した処理を繰り返す。ステップ S 2 7 0において、入力画像の 1つの画面の全画素について処理を終了したと判定された場合、処理は終了する。

このように、非定常成分抽出部 2 0 1は、定常成分情報として、入力画像の画素のうち、定常成分を含む画素の画素値を出力することができる。すなわち、非定常成分抽出部 2 0 1は、入力画像の画素のうち、細線の画像の成分を含む画素の画素値を出力することができる。

図 4 8は、ステップ S 2 0 1に対応する非定常成分の抽出の処理に代わる、図 4 3に構成を示す非定常成分抽出部 2 0 1による、定常成分の抽出のさらに他の処理を説明するフローチヤ一トである。ステップ S 2 8 1乃至ステップ S 2 8 8 の処理は、ステップ S 2 6 1乃至ステップ S 2 6 8の処理と同様なので、その説明は省略する。

ステップ S 2 8 9において、繰り返し判定部 2 2 3は、平面で示される近似値と、選択された画素の画素値との差分を入力画像の定常成分として出力する。すなわち、繰り返し判定部 2 2 3は、入力画像から非定常成分を除去した画像を定常性情報として出力する。

ステップ S 2 9 0の処理は、ステップ S 2 7 0の処理と同様なので、その説明は省略する。

このように、非定常成分抽出部 2 0 1は、入力画像から非定常成分を除去した画像を定常性情報として出力することができる。

以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、第 1の画像データの複数の画素の画素値の不連続部を検出し、検出された不連続部からデータの定常性を検出し、検出されたデータの定常性を基に、現実世界の光信号の定常性を推定することにより光信号を近似するモデル (関数）を生成し、生成された関数に基づき第 2の画像データを生成するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるよう'になる。

図 4 9は、データ定常性検出部 1 0 1の他の構成を示すプロック図である。図 4 9に構成を示すデータ定常性検出部 1 0 1においては、注目している画素である注目画素について、入力画像の空間方向に対する画素値の変化、すなわち入力画像の空間方向のアクティビティが検出され、検出されたァクティビティに応じて、注目画素および基準軸を基準とした角度毎に、垂直方向に 1列または水平方向に 1列の所定の数の画素からなる画素の組が、複数抽出され、抽出された画素の組の相関が検出され、相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。

データの定常性の角度とは、基準軸と、データ 3が有している、一定の特徴が繰り返し現れる所定の次元の方向とがなす角度をいう。一定の特徴が繰り返し現れるとは、例えば、データ 3における位置の変化に対する値の変化、すなわち断面形状が同じである場合などをいう。

基準軸は、例えば、空間方向 Xを示す軸（画面の水平方向）、または空間方向 Yを示す軸（画面の垂直方向）などとすることができる。

入力画像は、アクティビティ検出部 4 0 1およびデータ選択部 4 0 2に供給される。

ァクティビティ検出部 4 0 1は、入力画像の空間方向に対する画素値の変化、すなわち空間方向のァクティビティを検出して、検出した結果を示すァクテイビティ情報をデータ選択部 4 0 2および定常方向導出部 4 0 4に供給する。

例えば、アクティビティ検出部 4 0 1は、画面の水平方向に対する画素値の変化、および画面の垂直方向に対する画素値の変化を検出し、検出された水平方向に対する画素値の変化および垂直方向に対する画素値の変化を比較することにより、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいかを検出する。

アクティビティ検出部 4 0 1は、検出の結果である、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示すか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示すァクティビティ情報をデータ選択部 4 0 2および定常方向導出部 4 0 4に供給する。

垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、例えば、図 5 0で示されるように、垂直方向に 1列の画素に円弧形状（かまぼこ型）またはつめ形状が形成され、円弧形状またはつめ形状が垂直により近い方向に繰り返して形成されている。すなわち、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、基準軸を空間方向 Xを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、 4 5度乃至 9 0度のいずれかの値である。水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、例えば、水平方向に 1列の画素に円弧形状またはつめ形状が形成され、円弧形状またはつめ形状が水平方向により近い方向に繰り返して形成されている。すなわち、水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、基準軸を空間方向 Xを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、 0度乃至 45度のいずれかの値である。

例えば、アクティビティ検出部 40 1は、図 5 1で示される、注目画素を中心とした 3 X 3の 9つの画素からなるブロックを入力画像から抽出する。ァクティビティ検出部 40 1は、縦に隣接する画素についての画素値の差分の和、および横に隣接する画素についての画素値の差分の和を算出する。横に隣接する画素についての画素値の差分の和 h_{di ff} は、式（35) で求められる。

hdiff =∑ (Pi₊1,j-Pi.j).

• · · (3 5) 同様に、縦に隣接する画素についての画素値の差分の和 v_diff は、式（3 6) で求められる。

v_diff =∑ (P_u+1-P_u)

• · · (36) 式（3 5) および式（36) において、 Pは、画素値を示し、 iは、画素の横方向の位置を示し、 jは、画素の縦方向の位置を示す。

ァクティビティ検出部 40 1は、算出された横に隣接する画素についての画素値の差分の和 h_{di f f} および縦に隣接する画素についての画素値の差分の和 v_{di f f} を比較して、入力画像における、基準軸を基準としたデータの定常性の角度の範囲を判定するようにしてもよい。すなわち、この場合、アクティビティ検出部 4 0 1は、空間方向の位置に対する画素値の変化で示される形状が水平方向に繰り返して形成されているか、垂直方向に繰り返して形成されているかを判定する。例えば、横に 1列の画素上に形成された円弧についての横方向の画素値の変化は、縦方向の画素値の変化に比較して大きく、横に 1列の画素上に形成された円弧についての縦方向の画素値の変化は、横方向の画素値の変化に比較して大きく、データの定常性の方向、すなわち、データ 3である入力画像が有している、一定の特徴の所定の次元の方向の変化は、データの定常性に直交する方向の変化に比較して小さいと言える。言い換えれば、データの定常性の方向の差分に比較して、データの定常性の方向に直交する方向（以下、非定常方向とも称する）の差分は大きい。

例えば、図 5 2に示すように、アクティビティ検出部 4 0 1は、算出された横に隣接する画素についての画素値の差分の和 h_{i i f f} および縦に隣接する画素についての画素値の差分の和 v_{d i f f} を比較して、横に隣接する画素についての画素値の差分の和 h_{d i f f} が大きい場合、基準軸を基準としたデータの定常性の角度が、 4 5度乃至 1 3 5度のいずれかの値であると判定し、縦に隣接する画素についての画素値の差分の和 v_{d i f f} が大きい場合、基準軸を基準としたデータの定常性の角度が、 0度乃至 4 5度のいずれかの値、または 1 3 5度乃至 1 8 0度のいずれかの値であると判定する。

例えば、アクティビティ検出部 4 0 1は、判定の結果を示すアクティビティ情報をデータ選択部 4 0 2および定常方向導出部 4 0 4に供給する。

なお、アクティビティ検出部 4 0 1は、 5 X 5の 2 5の画素からなるブロック、または 7 X 7の 4 9の画素からなるプロックなど、任意の大きさのブロックを抽出して、ァクティビティを検出することができる。

データ選択部 4 0 2は、入力画像の画素から注目画素を順に選択し、ァクティビティ検出部 4 0 1から供給されたァクティビティ情報を基に、注目画素および基準軸を基準とした角度毎に、垂直方向に 1列または水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

例えば、アクティビティ情報が垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、 4 5度乃至 1 3 5度のいずれかの値なので、データ選択部 4 0 2は、注目画素および基準軸を基準とした 4 5度乃至 1 3 5度の範囲の所定の角度毎に、垂直方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

ァクティビティ情報が水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、 0度乃至 4 5度または 1 3 5度乃至 1 8 0度のいずれかの値なので、データ選択部 4 0 2は、注目画素および基準軸を基準とした 0度乃至 4 5度または 1 3 5度乃至 1 8 0度の範囲の所定の角度毎に、水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

また、例えば、データの定常性の角度が 4 5度乃至 1 3 5度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部 4 0 2は、注目画素および基準軸を基準とした 4 5度乃至 1 3 5度の範囲の所定の角度毎に、垂直方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

データの定常性の角度が 0度乃至 4 5度または 1 3 5度乃至 1 8 0度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部 4 0 2は、注目画素および基準軸を基準とした 0度乃至 4 5度または 1 3 5度乃至 1 8 0度の範囲の所定の角度毎に、水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。 ■

データ選択部 4 0 2は、抽出した画素からなる複数の組を誤差推定部 4◦ 3に供給する。

誤差推定部 4 0 3は、抽出した画素からなる複数の組について、角度毎に、画素の組の相関を検出する。

例えば、誤差推定部 4 0 3は、 1つの角度に対応する、垂直方向に 1列の所定の数の画素からなる画素の複数の組について、画素の組における対応する位置の画素の画素値の相関を検出する。誤差推定部 4 0 3は、 1つの角度に対応する、水平方向に 1列の所定の数の画素からなる画素の複数の組について、組における対応する位置の画素の画素値の相関を検出する。誤差推定部 4 0 3は、検出した相関を示す相関情報を定常方向導出部 4 0 4に供給する。誤差推定部 4 0 3は、相関を示す値として、データ選択部 4 0 2から供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、差分の絶対値の和を相関情報として定常方向導出部 4 0 4に供給する。

定常方向導出部 4 0 4は、誤差推定部 4 0 3から供給された相関情報に基いて、欠落した実世界 1の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。例えば、定常方向導出部 4 0 4は、誤差推定部 4 0 3から供給された相関情報に基いて、データの定常性の角度として、最も相関の強い画素の組に対する角度を検出し、検出された最も相関の強い画素の組に対する角度を示すデータ定常性情報を出力する。

以下の説明において、適宜、 0度乃至 9 0度の範囲（いわゆる第 1象限）のデータの定常性の角度を検出するものとして説明する。

図 5 3は、図 4 9に示すデータ定常性検出部 1 0 1のより詳細な構成を示すブ口ック図である。

データ選択部 4 0 2は、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lを含む。誤差推定部 4 0 3は、推定誤差算出部 4 1 2 - 1乃至推定誤差算出部 4 1 2 —Lを含む。定常方向導出部 4 0 4は、最小誤差角度選択部 4 1 3を含む。

まず、アクティビティ情報で示される、データの定常性の角度が 4 5度乃至 1 3 5度のいずれかの値であるときの画素選択部 4 1 1 - 1乃至画素選択部 4 1 1 一 Lの処理を説明する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、空間方向 Xを示す軸を基準軸として、注目画素を通る、それぞれ異なる所定の角度の直線を設定する。画素選択部 4 1 1 _ 1乃至画素選択部 4 1 1 _ Lは、注目画素が属する縦に 1列の画素の列に属する画素であって、注目画素の上側の所定の数の画素、および注目画素の下側の所定の数の画素、並びに注目画素を画素の組として選択する。例えば、図 5 4で示されるように、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列に属する画素から、注目画素を中心として 9つの画素を画素の組として選択する。

図 5 4において、マス目状の 1つの四角（1つのマス目）は、 1つの画素を示す。図 5 4において、中央に示す丸は、注目画素を示す。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1 列の画素の列の、左側の縦に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図 5 4において、注目画素の左下側の丸は、選択された画素の例を示す。そして、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、左側の縦に 1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。

例えば、図 5 4で示されるように、画素選択部 4 1 1一 1乃至画素選択部 4 1 1— Lは、注目画素が属する縦に 1列の画素の列の、左側の縦に 1列の画素の列に属する画素から、直線に最も近い位置の画素を中心として 9つの画素を画素の組として選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1 列の画素の列の、左側に 2つめの縦に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図 5 4において、最も左側の丸は、選択された画素の例を示す。そして、画素選択部 4 1 1— 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、左側に 2つめの縦に 1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。

例えば、図 5 4で示されるように、画素選択部 4 1 1 - 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、左側に 2つめの縦に 1列の画素の列に属する画素から、直線に最も近い位置の画素を中心として 9つの画素を画素の組として選択する。

画素選択部 4 1 1 _ 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1 列の画素の列の、右側の縦に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図 5 4において、注目画素の右上側の丸は、選択された画素の例を示す。そして、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、右側の縦に 1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。

例えば、図 5 4で示されるように、画素選択部 4 1 1一 1乃至画素選択部 4 1 1—Lは、注目画素が属する縦に 1列の画素の列の、右側の縦に 1列の画素の列に属する画素から、直線に最も近い位置の画素を中心として 9つの画素を画素の組として選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1 列の画素の列の、右側に 2つめの縦に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図 5 4において、最も右側の丸は、このように選択された画素の例を示す。そして、画素選択部 4 1 1一 1乃至画素選択部 4 1 1—Lは、注目画素が属する縦に 1列の画素の列の、右側に 2つめの縦に 1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。

例えば、図 5 4で示されるように、画素選択部 4 1 1一 1乃至画素選択部 4 1 1—Lは、注目画素が属する縦に 1列の画素の列の、右側に 2つめの縦に 1列の画素の列に属する画素から、直線に最も近い位置の画素を中心として 9つの画素を画素の組として選択する。このように、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、それぞれ、画素の組を 5つ選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、互いに異なる角度（に設定された直線）についての、画素の組を選択する。例えば、画素選択部 4 1 1一 1は、 4 5度についての、画素の組を選択し、画素選択部 4 1 1— 2は、 4 7 . 5度についての、画素の組を選択し、画素選択部 4 1 1一 3は、 5 0度についての、画素の組を選択する。画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、 5 2 . 5度から 1 3 5度までの、 2 . 5度毎の角度についての、画素の組を選択する。

なお、画素の組の数は、例えば、 3つ、または 7つなど、任意の数とすることができる。また、 1つの組として選択された画素の数は、例えば、 5つ、または 1 3など、任意の数とすることができる。

なお、画素選択部 4 1 1一 1乃至画素選択部 4 1 1 _ Lは、縦方向に所定の範囲の画素から、画素の組を選択するようにすることができる。例えば、画素選択部 4 1 1— 1乃至画素選択部 4 1 1一 Lは、縦方向に 1 2 1個の画素（注目画素に対して、上方向に 6 0画素、下方向に 6 0画素）から、画素の組を選択する。この場合、データ定常性検出部 1 0 1は、空間方向 Xを示す軸に対して、 8 8 . 0 9度まで、データの定常性の角度を検出することができる。

画素選択部 4 1 1 _ 1は、選択した画素の組を推定誤差算出部 4 1 2— 1に供給し、画素選択部 4 1 1一 2は、選択した画素の組を推定誤差算出部 4 1 2 - 2 に供給する。同様に、画素選択部 4 1 1一 3乃至画素選択部 4 1 1一 Lのそれぞれは、選択した画素の組を推定誤差算出部 4 1 2— 3乃至推定誤差算出部 4 1 2 一 Lのそれぞれに供給する。

推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。例えば、推定誤差算出部 4 1 2 _ 1乃至推定誤差算出部 4 1 2— Lは、相関を示す値として、画素選択部 4 1 1 — 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。

より具体的には、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1 _ 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左側の縦に 1列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から 2番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1一 1乃至画素選択部 4 1 1—Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左に 2つめの縦に 1列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。

そして、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2 _ Lは、画素選択部 4 1 1 _ 1乃至画素選択部 4 1 1 _ Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右側の縦に 1列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から 2番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1 - 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右に 2つめの縦に 1列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、このように算出された画素値の差分の絶対値の和を全て加算して、画素値の差分の絶対値の総和を算出する。

推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、検出された相関を示す情報を、最小誤差角度選択部 4 1 3に供給する。例えば、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、算出された画素値の差分の絶対値の総和を最小誤差角度選択部 4 1 3に供給する。

なお、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素値の差分の絶対値の和に限らず、画素値の差分の自乗の和、または画素値を基にした相関係数など他の値を相関値として算出するようにすることができる。

最小誤差角度選択部 4 1 3は、互いに異なる角度についての、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lにおいて検出された相関に基いて、欠落した実世界 1の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。すなわち、最小誤差角度選択部 4 1 3は、互いに異なる角度についての、推定誤差算出部 4 1 2 _ 1乃至推定誤差算出部 4 1 2— Lにおいて検出された相関に基いて、最も強い相関を選択し、選択された相関が検出された角度を、基準軸を基準としたデータの定常性の角度とすることにより、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。

例えば、最小誤差角度選択部 4 1 3は、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lから供給された、画素値の差分の絶対値の総和のうち、最小の総和を選択する。最小誤差角度選択部 4 1 3は、選択された総和が算出された画素の組について、注目画素に対して、左側に 2つめの縦に 1列の画素の列に属する画素であって、直線に最も近い位置の画素の位置、および、注目画素に対して、右側に 2つめの縦に 1列の画素の列に属する画素であって、直線に最も近い位置の画素の位置を参照する。図 5 4で示されるように、最小誤差角度選択部 4 1 3は、注目画素の位置に対する、参照する画素の位置の縦方向の距離 Sを求める。最小誤差角度選択部 4 1 3は、図 5 5で示すように、式（3 7 ) から、欠落した実世界 1の光信号の定常性に対応する、画像データである入力画像における、基準軸である空間方向 X を示す軸を基準としたデータの定常性の角度 Θを検出する。 θ ⁼ Ϊ3Π ™Q"

• · · ( 3 7 )

次に、アクティビティ情報で示される、データの定常性の角度が 0度乃至 4 5 度および 1 3 5度乃至 1 8 0度のいずれかの値であるときの画素選択部 4 1 1 - 1乃至画素選択部 4 1 1一 Lの処理を説明する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、空間方向 Xを示す軸を基準軸として、注目画素を通る、所定の角度の直線を設定し、注目画素が属する横に 1列の画素の列に属する画素であって、注目画素の左側の所定の数の画素、および注目画素の右側の所定の数の画素、並びに注目画素を画素の組として選択する。

画素選択部 4 1 1— 1乃至画素選択部 4 1 1 _ Lは、注目画素が属する横に 1 列の画素の列の、上側の横に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部 4 1 1 - 1乃至画素選択部 4 1 1— Lは、注目画素が属する横に 1列の画素の列の、上側の横に 1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。

画素選択部 4 1 1 _ 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1 列の画素の列の、上側に 2つめの横に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部 4 1 1一 1乃至画素選択部 4 1 1— Lは、注目画素が属する横に 1列の画素の列の、上側に 2つめの横に 1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1 列の画素の列の、下側の横に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部 41 1 - 1乃至画素選択部 4 1 1 _Lは、注目画素が属する横に 1列の画素の列の、下側の横に 1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、びに選択された画素を画素の組として選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1— Lは、注目画素が属する横に 1 列の画素の列の、下側に 2つめの横に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部 41 1一 1乃至画素選択部 41 1 _Lは、注目画素が属する横に 1列の画素の列の、下側に 2つめの横に 1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並ぴに選択された画素を画素の組として選択する。

このように、画素選択部 4 1 1— 1乃至画素選択部 41 1一 Lは、それぞれ、画素の組を 5つ選択する。

画素選択部 41 1一 1乃至画素選択部 41 1一 Lは、互いに異なる角度についての、画素の組を選択する。例えば、画素選択部 4 1 1一 1は、 0度についての、画素の組を選択し、画素選択部 4 1 1— 2は、 2. 5度についての、画素の組を選択し、画素選択部 41 1一 3は、 5度についての、画素の組を選択する。画素選択部 41 1一 1乃至画素選択部 41 1一 Lは、 7. 5度から 45度および 1 3 5度から 1 80度までの、 2. 5度毎の角度についての、画素の組を選択する。画素選択部 41 1一 1は、選択した画素の組を推定誤差算出部 4 1 2— 1に供給し、画素選択部 4 1 1—2は、選択した画素の組を推定誤差算出部 4 1 2- 2 に供給する。同様に、画素選択部 4 1 1— 3乃至画素選択部 4 1 1—Lのそれぞれは、選択した画素の組を推定誤差算出部 4 1 2— 3乃至推定誤差算出部 4 1 2 一 Lのそれぞれに供給する。

推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1— 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、検出された相関を示す情報を、最小誤差角度選択部 4 1 3に供給する。

最小誤差角度選択部 4 1 3は、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lにおいて検出された相関に基いて、欠落した実世界 1の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。

次に、図 5 6のフローチャートを参照して、ステップ S 1 0 1の処理に対応する、図 4 9で構成が示されるデータ定常性検出部 1 0 1による、データの定常性の検出の処理を説明する。

ステップ S 4 0 1において、ァクティビティ検出部 4 0 1およびデータ選択部 4 0 2は、入力画像から、注目している画素である注目画素を選択する。ァクティビティ検出部 4 0 1およびデータ選択部 4 0 2は、同一の注目画素を選択する。例えば、ァクティビティ検出部 4 0 1およびデータ選択部 4 0 2は、入力画像から、ラスタスキャン順に、注目画素を選択する。

ステップ S 4 0 2において、アクティビティ検出部 4 0 1は、注目画素に対するアクティビティを検出する。例えば、アクティビティ検出部 4 0 1は、注目画素を中心とした所定の数の画素からなるプロックの縦方向に並ぶ画素の画素値の差分および横方向に並ぶ画素の画素値の差分を基に、ァクティビティを検出する。アクティビティ検出部 4 0 1は、注目画素に対する空間方向のアクティビティを検出して、検出した結果を示すァクティビティ情報をデータ選択部 4 0 2および定常方向導出部 4 0 4に供給する。ステップ S 4 0 3において、データ選択部 4 0 2は、注目画素を含む画素の列から、注目画素を中心とした所定の数の画素を、画素の組として選択する。例えば、データ選択部 4 0 2は、注目画素が属する縦または横に 1列の画素の列に属する画素であって、注目画素の上側または左側の所定の数の画素、および注目画素の下側または右側の所定の数の画素、並びに注目画素を画素の組として選択する。

ステップ S 4 0 4において、データ選択部 4 0 2は、ステップ S 4 0 2の処理で検出されたアクティビティを基にした、所定の範囲の角度毎に、所定の数の画素の列から、それぞれ所定の数の画素を、画素の組として選択する。例えば、データ選択部 4 0 2は、所定の範囲の角度を有し、空間方向 Xを示す軸を基準軸として、注目画素を通る直線を設定し、注目画素に対して、横方向または縦方向に 1列または 2列離れた画素であって、直線に最も近い画素を選択し、選択された画素の上側または左側の所定の数の画素、および選択された画素の下側または右側の所定の数の画素、並びに線に最も近い選択された画素を画素の組として選択する。データ選択部 4 0 2は、角度毎に、画素の組を選択する。

データ選択部 4 0 2は、選択した画素の組を誤差推定部 4 0 3に供給する。ステップ S 4 0 5において、誤差推定部 4 0 3は、注目画素を中心とした画素の組と、角度毎に選択した画素の組との相関を計算する。例えば、誤差推定部 4 0 3は、角度毎に、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。

角度毎に選択された、画素の組の相互の相関を基に、データの定常性の角度を検出するようにしてもよい。

誤差推定部 4 0 3は、算出された相関を示す情報を、定常方向導出部 4 0 4に供給する。

ステップ S 4 0 6において、定常方向導出部 4 0 4は、ステップ S 4 0 5の処理で算出された相関を基に、相関が最も強い画素の組の位置から、欠落した実世界 1の光信号の定常性に対応する、画像データである入力画像における、基準軸を基準としたデータの定常性の角度を検出する。例えば、定常方向導出部 4 0 4 は、画素値の差分の絶対値の総和のうち、最小の総和を選択し、選択された総和が算出された画素の組の位置から、データの定常性の角度 0を検出する。

定常方向導出部 4 0 4は、検出したデータの定常性の角度を示すデータ定常性情報を出力する。

ステップ S 4 0 7において、データ選択部 4 0 2は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステツプ S 4 0 1に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。

ステップ S 4 0 7において、全ての画素の処理を終了したと判定された場合、処理は終了する。

このように、データ定常性検出部 1 0 1は、欠落した実世界 1の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。

なお、図 4 9で構成が示されるデータ検出部 1 0 1は、注目しているフレームである注目フレームの、注目している画素である注目画素について、入力画像の空間方向のアクティビティを検出し、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームおよび注目フレームの時間的に前または後ろのフレームのそれぞれから、垂直方向に 1列または水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出し、抽出された画素の組の相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。

例えば、図 5 7に示すように、データ選択部 4 0 2は、検出されたァクテイビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームであるフレーム #n、フレーム #n - 1、およびフレーム #n+lのそれぞれから、垂直方向に 1列または水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

フレーム #n- 1は、フレーム #nに対して時間的に前のフレームであり、フレーム #n+lは、フレーム #ηに対して時間的に後のフレームである。すなわち、フレーム ifn- 1、フレーム #η、およびフレーム #η+1は、フレーム #η- 1、フレーム #η、およびフレーム #η+1の順で表示される。

誤差推定部 4 0 3は、抽出した画素からなる複数の組について、 1つの角度おょぴ 1つの動きベクトル毎に、画素の組の相関を検出する。定常方向導出部 4 0 4は、画素の組の相関に基づいて、欠落した実世界 1の光信号の定常性に対応する、入力画像における、時間方向おょぴ空間方向のデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。

次に、図 5 8乃至図 8 8を参照して、実世界推定部 1 0 2 (図 3 ) の実施の形態の他の例について説明する。

図 5 8は、この例の実施の形態の原理を説明する図である。

図 5 8で示されるように、センサ 2.に入射される画像である、実世界 1の信号 (光の強度の分布）は、所定の関数 Fで表される。なお、以下、この例の実施の形態の説明においては、画像である、実世界 1の信号を、特に光信号と称し、関数 Fを、特に光信号関数 Fと称する。

この例の実施の形態においては、光信号関数 Fで表される実世界 1の光信号が所定の定常性を有する場合、実世界推定部 1 0 2が、センサ 2からの入力画像

(定常性に対応するデータの定常性を含む画像データ）と、データ定常性検出部 1 0 1からのデータ定常性情報（入力画像のデータの定常性に対応するデータ定常性情報）を使用して、光信号関数 Fを所定の関数 f で近似することによって、光信号関数 Fを推定する。なお、以下、この例の実施の形態の説明においては、関数 f を、特に近似関数 f と称する。

換言すると、この例の実施の形態においては、実世界推定部 1 0 2が、近似関数 f で表されるモデル 1 6 1 (図 4 ) を用いて、光信号関数 Fで表される画像 (実世界 1の光信号）を近似（記述）する。従って、以下、この例の実施の形態を、関数近似手法と称する。

ここで、関数近似手法の具体的な説明に入る前に、本願出願人が関数近似手法を発明するに至った背景について説明する。

図 5 9は、センサ 2が CCDとされる場合の積分効果を説明する図である。図 5 9で示されるように、センサ 2の平面上には、複数の検出素子 2— 1が配置されている。

図 5 9の例では、検出素子 2— 1の所定の 1辺に平行な方向が、空間方向の 1 方向である X方向とされており、 X方向に垂直な方向が、空間方向の他方向である Y方向とされている。そして、 X— Y平面に垂直な方向が、時間方向である t 方向とされている。

また、図 5 9の例では、センサ 2の各検出素子 2— 1のそれぞれの空間的な形状は、 1辺の長さが 1の正方形とされている。そして、センサ 2のシャツタ時間 (露光時間）が 1とされている。

さらに、図 5 9の例では、センサ 2の所定の 1つの検出素子 2 _ 1の中心が、空間方向 (X方向と Y方向) の原点（X方向の位置 x = 0、および Y方向の位置 y = 0) とされており、また、露光時間の中間時刻が、時間方向（t方向）の原点（1方向の位置も = 0) とされている。

この場合、空間方向の原点（x = 0, y = 0) にその中心が存在する検出素子 2— 1は、 X方向に- 0.5乃至 0.5の範囲、 Y方向に- 0.5乃至 0.5の範囲、および t方向に- 0.5乃至 0.5の範囲で光信号関数 F(x， y, t)を積分し、その積分値を画素値 Pとして出力することになる。

即ち、空間方向の原点にその中心が存在する検出素子 2— 1から出力される画素値 Pは、次の式（3 8) で表される。

广 +0.5 _r+ . P+0.B

P = _Λ c

J I一 _Λ 0. ¾ J I - O.b I一 _η O.t .) F(x, y, t)dxdydt

- … (3 8) その他の検出素子 2— 1も同様に、対象とする検出素子 2— 1の中心を空間方向の原点とすることで、式（3 8 ) で示される画素値 Pを出力することになる。図 6 0は、センサ 2の積分効果の具体的な例を説明する図である。

図 6 0において、 X方向と Y方向は、センサ 2の X方向と Y方向（図 5 9 ) を表している。

実世界 1の光信号のうちの 1部分（以下、このような部分を、領域と称する） 2 3 0 1は、所定の定常性を有する領域の 1例を表している。

なお、実際には、領域 2 3 0 1は連続した光信号の 1部分（連続した領域）である。これに対して、図 6 0においては、領域 2 3 0 1は、 2 0個の小領域（正方形の領域）に区分されているように示されている。これは、領域 2 3 0 1の大きさが、 X方向に対して 4個分、かつ Y方向に対して 5個分のセンサ 2の検出素子（画素）が並んだ大きさに相当することを表すためである。即ち、領域 2 3 0 1内の 2 0個の小領域（仮想領域）のそれぞれは 1つの画素に相当する。

また、領域 2 3 0 1のうちの図中白い部分は細線に対応する光信号を表している。従って、領域 2 3 0 1は、細線が続く方向に定常性を有していることになる。そこで、以下、領域 2 3 0 1を、細線含有実世界領域 2 3 0 1と称する。

この場合、細線含有実世界領域 2 3 0 1 (実世界 1の光信号の 1部分）がセンサ 2により検出されると、センサ 2からは、積分効果により、入力画像（画素値）の領域 2 3 0 2 (以下、細線含有データ領域 2 3 0 2と称する）が出力される。

なお、細線含有データ領域 2 3 0 2の各画素のそれぞれは、図中、画像として示されているが、実際には、所定の 1つの値を表すデータである。即ち、細線含有実世界領域 2 3 0 1は、センサ 2の積分効果により、所定の 1つの画素値をそれぞれ有する 2 0個の画素（X方向に 4画素分、かつ Y方向に 5画素分の総計 2 0個の画素）に区分された細線含有データ領域 2 3 0 2に変化してしまう（歪んでしまう）。図 6 1は、センサ 2の積分効果の具体的な他の例（図 6 0とは異なる例）を説明する図である。

図 6 1において、 X方向と Y方向は、センサ 2の X方向と Y方向（図 5 9 ) を表している。

実世界 1の光信号の 1部分（領域） 2 3 0 3は、所定の定常性を有する領域の他の例（図 6 0の細線含有実世界領域 2 3 0 1とは異なる例）を表している。なお、領域 2 3 0 3は、細線含有実世界領域 2 3 0 1と同じ大きさを有する領域である。即ち、細線含有実世界領域 2 3 0 1と同様に、領域 2 3 0 3も、実際には連続した実世界 1の光信号の 1部分（連続した領域）であるが、図 6 1においては、センサ 2の 1画素に相当する 2 0個の小領域（正方形の領域）に区分されているように示されている。

また、領域 2 3 0 3は、所定の第 1の光の強度（値）を有する第 1の部分と、所定の第 2の光の強度（値）を有する第 2の部分のエッジを含んでいる。従って、領域 2 3 0 3は、エッジが続く方向に定常性を有していることになる。そこで、以下、領域 2 3 0 3を、 2値エッジ含有実世界領域 2 3 0 3と称する。

この場合、 2値エッジ含有実世界領域 2 3 0 3 (実世界 1の光信号の 1部分）がセンサ 2により検出されると、センサ 2からは、積分効果により、入力画像 (画素値）の領域 2 3 0 4 (以下、 2値エッジ含有データ領域 2 3 0 4と称する）が出力される。

なお、 2値ェッジ含有データ領域 2 3 0 4の各画素値のそれぞれは、細線含有データ領域 2 3 0 2と同様に、図中、画像として表現されているが、実際には、所定の値を表すデータである。即ち、 2値エッジ含有実世界領域 2 3 0 3は、センサ 2の積分効果により、所定の 1つの画素値をそれぞれ有する 2 0個の画素 ( X方向に 4画素分、かつ Y方向に 5画素分の総計 2 0個の画素）に区分された 2値エッジ含有データ領域 2 3 0 4に変化してしまう（歪んでしまう）。

従来の画像処理装置は、このような細線含有データ領域 2 3 0 2や 2値エッジ含有データ領域 2 3 0 4等、センサ 2から出力された画像データを原点（基準）とするとともに、画像データを処理の対象として、それ以降の画像処理を行っていた。即ち、センサ 2から出力された画像データは、積分効果により実世界 1の光信号とは異なるもの（歪んだもの）となっているにも関わらず、従来の画像処理装置は、その実世界 1の光信号とは異なるデータを正として画像処理を行っていた。

その結果、従来の画像処理装置では、センサ 2から出力された段階で、実世界のディテールがつぶれてしまった波形（画像データ）を基準として、その波形から、元のディテールを復元することは非常に困難であるという課題があった。そこで、関数近似手法においては、この課題を解決するために、上述したように（図 5 8で示されるように）、実世界推定部 1 0 2が、細線含有データ領域 2 3 0 2や 2値エッジ含有データ領域 2 3 0 4のようなセンサ 2から出力された画像データ（入力画像）から、光信号関数 F (実世界 1の光信号）を近似関数 f で近似することによって、光信号関数 Fを推定する。

これにより、実世界推定部 1 0 2より後段において（いまの場合、図 3の画像生成部 1 0 3 ) 、積分効果が考慮された画像データ、即ち、近似関数 f により表現可能な画像データを原点として、その処理を実行することが可能になる。以下、図面を参照して、このような関数近似手法のうちの 3つの具体的な手法 (第 1乃至第 3の関数近似手法）のそれぞれについて個別に説明していく。はじめに、図 6 2乃至図 7 6を参照して、第 1の関数近似手法について説明する。

図 6 2は、上述した図 6 0で示される細線含有実世界領域 2 3 0 1を再度表した図である。

図 6 2において、 X方向と Y方向は、センサ 2の X方向と Y方向（図 5 9 ) を表している。

第 1の関数近似手法は、例えば、図 6 2で示されるような細線含有実世界領域 2 3 0 1に対応する光信号関数 F (x, y, t)を X方向（図中矢印 2 3 1 1の方向）に射影した 1次元の波形（以下、このような波形を、 X断面波形 F (x)と称する）を、例えば、 n次（nは、任意の整数）の多項式などの近似関数 f(x)で近似する手法である。従って、以下、第 1の関数近似手法を、特に、 1次元近似手法と称する。

なお、 1次元近似手法において、近似の対象となる X断面波形 F(_x)は、勿論、図 62の細線含有実世界領域 230 1に対応するものに限定されない。即ち、後述するように、 1次元近似手法においては、定常性を有する実世界 1の光信号に対応する X断面波形 F(x)であれば、いずれのものでも近似することが可能である。

また、光信号関数 F(x，y，t)の射影の方向は X方向に限定されず、 Y方向または t方向でもよい。即ち、 1次元近似手法においては、光信号関数 F(x，y，t)を Y方向に射影した関数 F(y)を、所定の近似関数 f (y)で近似することも可能であるし、光信号関数 F(x,y,t)を t方向に射影した関数 F(t)を、所定の近似関数 f(t)で近似することも可能である。

より詳細には、 1次元近似手法は、例えば、 X断面波形 F(x)を、次の式（3 9) で示されるような、 n次の多項式などの近似関数 f(x)で近似する手法である。

π .

f ) = W₀+W₁X+W₂X+' - ' +W_nXⁿ = ∑ jX¹

i=0

• - · (3 9) 即ち、 1次元近似手法においては、実世界推定部 102が、式（39) の _Xi の係数（特徴量） _Wi を演算することで、 X断面波形 F(x)を推定する。

この特徴量 Wi の演算方法は、特に限定されず、例えば、次の第 1乃至第 3の方法が使用可能である。

即ち、第 1の方法は、従来から利用されている方法である。

これに対して、第 2の方法は、本願出願人が新たに発明した方法であって、第 1の方法に対して、さらに、空間方向の定常性を考慮した方法である。しかしながら、後述するように、第 1の方法と第 2の方法においては、センサ 2の積分効果が考慮されていない。従って、第 1の方法または第²の方法により演算された特徴量 ^ を上述した式（3 9 ) に代入して得られる近似関数 f (x)は、入力画像の近似関数ではあるが、厳密には、 X断面波形 F (x)の近似関数とは言えない。

そこで、本願出願人は、第 2の方法に対して、センサ 2の積分効果をさらに考慮して特徴量 _Wi を演算する第 3の方法を発明した。この第 3の方法により演算された特徴量 _Wi を、上述した式（3 9 ) に代入して得られる近似関数 f (x)は、センサ 2の積分効果を考慮している点で、 X断面波形 F (X)の近似関数であると言える。

このように、厳密には、第 1の方法と第 2の方法は、 1次元近似手法とは言えず、第 3の方法のみが 1次元近似手法であると言える。

換言すると、図 6 3で示されるように、第 2の方法は、 1次元近似手法とは異なる。即ち、図 6 3は、第 2の方法に対応する実施の形態の原理を説明する図である。

図 6 3で示されるように、第 2の方法に対応する実施の形態においては、光信号関数 Fで表される実世界 1の光信号が所定の定常性を有する場合、実世界推定部 1 0 2が、センサ 2からの入力画像（定常性に対応するデータの定常性を含む画像データ）と、データ定常性検出部 1 0 1からのデータ定常性情報（入力画像のデータの定常性に対応するデータ定常性情報）を使用して、 X断面波形 F (x) を近似するのではなく、センサ 2からの入力画像を所定の近似関数 f₂ (X)で近似する。 '

このように、第 2の方法は、センサ 2の積分効果を考慮せず、入力画像の近似に留まっている点で、第 3の方法と同一レベルの手法であるとは言い難い。しかしながら、第 2の方法は、空間方向の定常性を考慮している点で、従来の第 1の方法よりも優れた手法である。以下、第 1の方法、第 2の方法、および第 3の方法のそれぞれの詳細について、その順番で個別に説明していく。

なお、以下、第 1の方法、第 2の方法、および第 3の方法により生成される近似関数 f (x)のそれぞれを、他の方法のものと区別する場合、特に、近似関数 f , (χ) , 近似関数 f₂ (x)、および近似関数 f ₃ (x)とそれぞれ称する。

はじめに、第 1の方法の詳細について説明する。

第 1の方法においては、上述した式（3 9 ) で示される近似関数: ^ (X)が、図 6 4の細線含有実世界領域 2 3 0 1内で成り立つとして、次の予測方程式（4 0 ) を定義する。

P (x, y) = (x) +e

• · - ( 4 0 ) 式（4 0 ) において、 xは、注目画素からの X方向に対する相対的な画素位置を表している。 yは、注目画素からの Y方向に対する相対的な画素位置を表している。 eは、誤差を表している。具体的には、例えば、いま、図 6 4で示されるように、注目画素が、細線含有データ領域 2 3 0 2 (細線含有実世界領域 2 3 0 1 (図 6 2 ) がセンサ 2により検出されて、出力されたデータ) のうちの、図中、左から X方向に 2画素目であって、下から Y方向に 3画素目の画素であるとする。また、注目画素の中心を原点（0, 0)とし、センサ 2の X方向と Y方向（図 5 9 ) のそれぞれに平行な X軸と y軸を軸とする座標系（以下、注目画素座標系と称する）が設定されているとする。この場合、注目画素座標系の座標値（x，y)が、相対画素位置を表すことになる。

また、式（4 0 ) において、 P (x，y)は、相対画素位置（x，y)における画素値を表している。具体的には、いまの場合、細線含有データ領域 2 3 0 2内の

P (x, y)は、図 6 5で示されるようになる。

図 6 5は、この画素値 P (x， y)をグラフ化したものを表している。

図 6 5において、各グラフのそれぞれの縦軸は、画素値を表しており、横軸は、注目画素からの X方向の相対位置 Xを表している。また、図中、上から 1番目のグラフの点線は入力画素値 P(x，- 2)を、上から 2番目のグラフの 3点鎖線は入力画素値 P(x，- 1)を、上から 3番目のグラフの実線は入力画素値 P(x，0)を、上から 4番目のグラフの 1点鎖線は入力画素値 P(x, l)を、上から 5番目（下から 1番目）のグラフの 2点鎖線は入力画素値 P(x, 2)を、それぞれ表している。上述した式（40) に対して、図 6 5で示される 20個の入力画素値 P(x, - 2),P(x，— l)，P(x， 0),P(x, l),P(x, 2) (ただし、 xは、一 1乃至 2のうちのいずれかの整数値）のそれぞれを代入すると、次の式（4 1) で示される 20個の方程式が生成される。なお、 e_k (kは、 1乃至 20のうちのいずれかの整数値）のそれぞれは、誤差を表している。

P(—1, - ■2) ⁼ (ー1)+

ρ( - ■2) = (0) +e₂

Ρ(1,- ■2) ⁼ (D+e₃

Ρ(2, - ■2) = (2) +e₄

Ρ (- 1, - ■1) = (-D+e₅

Ρ(0， - ■1) = (0) +e₆

Ρ(1， - -1) ⁼ (1)+e₇

Ρ(2，- -1) ⁼ (2)+e₈

Ρ(-1, 0) ⁼ (一 1)+e₉

Ρ(0, 0) = (0)+e₁₀

Ρ(1, 0) = (1)+e

Ρ(2, 0) ⁼ (2)+e₁₂

Ρ(-1, 1) ⁼ (一 1)+e₁₃

Ρ(0, 1) = (0)+e₁₄

Ρ(1, 1) ⁼ (1)+e₁₅

Ρ(2, 1) ⁼ (2)+e₁₆

Ρ(-1, 2) ⁼ (-1)+e₁₇

Ρ(0, 2) =f (0)+e₁₈

Ρ(1, 2) = (D+e₁₉

Ρ(2， 2) = (2)+e₂₀

■ · · (41) 式（41) は、 20個の方程式より構成されているので、近似関数 ^ (x)の特徴量 ^ の個数が 20個より少ない場合、即ち、近似関数（X)が 1 9次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量 _Wi の算出が可能である。なお、最小自乗法の具体的な解法は後述する。

例えば、いま、近似関数（X)の次数が 5次とされた場合、式（41) を利用して最小自乗法により演算された近似関数（X) (演算された特徴量 _Wi により生成される近似関数 ^ (X) ) は、図 66で示される曲線のようになる。

なお、図 66において、縦軸は画素値を表しており、横軸は注目画素からの相対位置 Xを表している。

即ち、図 64の細線含有データ領域 2302を構成する 20個の画素値

P(x,y) のそれぞれ（図 6 5で示される入力画素値 P(x, -²)， P(x，- 1)，？，0)，？，1)，？，2)のそれぞれ）を、例えば、 X軸に沿ってそのまま足しこむ（Y方向の相対位置 yを一定とみなして、図 6 5で示される 5つのダラフを重ねる）と、図 66で示されるような、 X軸に平行な複数の線（点線、 3点鎖線、実線、 1点鎖線、,および 2点鎖線）が分布する。

ただし、図 66においては、点線は入力画素値 P(x，- 2)を、 3点鎖線は入力画素値 P(x，- 1)を、実線は入力画素値 P(x,0)を、 1点鎖線は入力画素値 Ρ(χ, 1)を、 2点鎖線は入力画素値 Ρ(χ, 2)を、それぞれ表している。また、同一の画素値の場合、実際には 2本以上の線が重なることになるが、図 66においては、各線の区別がつくように、各線のそれぞれが重ならないように描画されている。

そして、このように分布した 20個の入力画素値 Ρ (X, -2)， Ρ (X, - 1)，Ρ(χ，0)，Ρ(χ， 1)，Ρ(χ, ²)のそれぞれと、値（X)の誤差が最小となるような回帰曲線（最小自乗法により演算された特徴量 ^ を上述した式（38) に代入して得られる近似関数（X) ) 力図 66で示される曲線（近似関数（X) ) となる。

このように、近似関数（X)は、 Y方向の画素値（注目画素からの X方向の相対位置 Xが同一の画素値） P(x, - ²)，P(x，_l),P(x, 0),P(x, l)，P(x, ²)の平均値を、 X方向に結んだ曲線を単に表しているに過ぎない。即ち、光信号が有する空間方向の定常性を考慮することなく、近似関数 ^ (X)が生成されている。例えば、いまの場合、近似の対象は、細線含有実世界領域 2 3 0 1 (図 6 2 ) とされている。この細線含有実世界領域 2 3 0 1は、図 6 7で示されるように、傾き G_Fで表される空間方向の定常性を有している。なお、図 6 7において、 X 方向と Y方向は、センサ 2の X方向と Y方向（図 5 9 ) を表している。

従って、データ定常性検出部 1 0 1 (図 5 8 ) は、空間方向の定常性の傾き G_Fに対応するデータ定常性情報として、図 6 7で示されるような角度 Θ (傾き G_Fに対応する傾き G_f で表されるデータの定常性の方向と、 X方向のなす角度 Θ ) を出力することができる。

しかしながら、第 1の方法においては、データ定常性検出部 1 0 1より出力されるデータ定常性情報は一切用いられていない。

換言すると、図 6 7で示されるように、細線含有実世界領域 2 3 0 1の空間方向の定常性の方向は略角度 0方向である。しかしながら、第 1の方法は、細線含有実世界領域 2 3 0 1の空間方向の定常性の方向は Y方向であると仮定して（即ち、角度 0が 9 0度であると仮定して）、近似関数（X)の特徴量を演算する方法である。

このため、近似関数 ^ (x)は、その波形が鈍り、元の画素値よりディテールが減少する関数となってしまう。換言すると、図示はしないが、第 1の方法により生成される近似関数： ^ (X)は、実際の X断面波形 F (x)とは大きく異なる波形となってしまう。

そこで、本願出願人は、第 1の方法に対して、空間方向の定常性をさらに考慮して（角度 0を利用して）特徴量 ^ を演算する第 2の方法を発明した。

即ち、第 2の方法は、細線含有実世界領域 2 3 0 1の定常性の方向は略角度 Θ 方向であるとして、近似関数 f₂ (x) の特徴量を演算する方法である。

具体的には、例えば、空間方向の定常性に対応するデータの定常性を表す傾き G_f は、次の式（4 2 ) で表される。

G_f = tan θ = • · · (42) なお、式（42) において、 dxは、図 6 7で示されるような X方向の微小移動量を表しており、 dyは、図 6 7で示されるような dxに対する Y方向の微小移動量を表している。

この場合、シフト量 C_x (y)を、次の式（43) のように定義すると、第 2の方法においては、第 1の方法で利用した式（40) に相当する式は、次の式（4 4) のようになる。

• ■ ■ (43) P(x, y) = f₂(x-C_x(y) ) +e

• · · (44) 即ち、第 1の方法で利用した式（40) は、画素の中心の位置（x、y)のうちの X方向の位置 Xが、同一の位置に位置する画素の画素値 P(x， y)はいずれも同じ値であることを表している。換言すると、式（40) は、同じ画素値の画素が Y 方向に続いている (Y方向に定常性がある) ことを表している。

これに対して、第 2の方法で利用する式（44) は、画素の中心の位置が (X, y)である画素の画素値 P(x，y)は、注目画素（その中心の位置が原点（0,0)である画素）から X方向に Xだけ離れた場所に位置する画素の画素値（^f₂ (x)) とは一致せず、その画素からさらに X方向にシフト量 C_x (y)だけ離れた場所に位置する画素（注目画素から X方向に x + C_x (y)だけ離れた場所に位置する画素）の画素値（ f₂ (x + C_x (y)) ) と同じ値であることを表している。換言すると、式（44) は、同じ画素値の画素が、シフト量 C_x (y)に対応する角度 0方向に続いている（略角度 6方向に定常性がある）ことを表している。

このように、シフト量 C_x (y)が、空間方向の定常性（いまの場合、図 6 7の傾き G_F で表される定常性（厳密には、傾き G_f で表されるデータの定常性））を考慮した補正量であり、シフト量 C_x (y)により式（40) を補正したものが式（4 4) となる。

この場合、図 64で示される細線含有データ領域 230 2の 20個の画素値 P(x, y) (ただし、 Xは、一 1乃至 2のうちのいずれかの整数値。 yは、一 2乃至 2のうちのいずれかの整数値）.のそれぞれを、上述した式（44) に代入すると次の式（45) で示される 20個の方程式が生成される。

P(— 1，- ■2) = f₂( .-1-C_x(-2))+e₁

P(0， - ■2) = f₂( :0-C_x(-2))+e₂

P(1， - -2) = f₂( :i-C_x(-2))+e₃

P(2，- -2) = f₂( :2-G_x(— 2))+e₄

P (- 1， - -1) = f₂( :-1-C_x(-1))+e₅

P(0, - -1) = f₂( :0-C_x(-1))+e₆

P(1, - -1) = f₂( :i-C_x(-1))+e₇

P(2，- -1) =f₂ :2-G_x (- 1))+e₈

P(-1, 0) =f₂ :—1)+e₉

P(0, 0) =f₂ :0)+e₁₀

P(1, 0) =f₂

P(2, 0) =f₂ (2)+e₁₂

P(-1, 1) =f₂ (-1-C_x(1))+e₁₃

P(0， 1) iO-C_x(1)) H-e₁₄

P(1， 1) =f₂ (1-C_x(1))+e₁₅

P(2, 1) =f₂ (2-C_x(1))+e₁₆

P(-1， 2) =f₂ (-1-C_x(2))+e_l7

P(0， 2) =f₂ (0-C_x(2))+e₁₈

P(1, 2) =f₂ (1-C_x(2))+e₁₉

P(2， 2) =f₂ (2— G_x(2))+e₂₀

• · · (45) 式（45) は、上述した式（4 1) と同様に、 20個の方程式より構成されている。従って、第 1の方法と同様に第 2の方法においても、近似関数 f₂ (x)の特徴量 _Wi の個数が 20個より少ない場合、即ち、近似関数 f₂ (X)が 1 9次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量 ^ の算出が可能である。なお、最小自乗法の具体的な解法は後述する。例えば、第 1の方法と同様に近似関数 f₂ (x)の次数が 5次とされた場合、第 2 の方法においては、次のようにして特徴量 Wi が演算される。

即ち、図 68は、式（45) の左辺で示される画素値 P(x，y)をグラフ化したものを表している。図 68で示される 5つのグラフのそれぞれは、基本的に図 6 5で示されるものと同一である。

図 68で示されるように、最大の画素値（細線に対応する画素値）は、傾き G_f で表されるデータの定常性の方向に続いている。

そこで、第 2の方法においては、図 68で示される入力画素値 P(x, - 2),P(x,- l),P(x, 0)，P(x， l),P(x, 2)のそれぞれを、例えば、 x軸に沿って足しこむ場合、第 1の方法のようにそのまま足しこむ（yを一定とみなして、図 68 で示される状態のまま 5つのグラフを重ねる）のではなく、図 69で示される状態に変化させてから足しこむ。

即ち、図 69は、図 6 8で示される入力画素値 P(x，- 2)，P(x， - 1)，？，0),?( ，1)，？，²)のそれぞれを、上述した式（43) で示されるシフト量 C_x (y)だけシフトさせた状態を表している。換言すると、図 6 9は、図 68 で示される 5つのグラフを、データの定常性の実際の方向を表す傾き G_F を、あたかも傾き G_F' とするように（図中、点線の直線を実線の直線とするように）移動させた状態を表している。

図 6 9の状態で、入力画素値 P (X, -2)， P (X, - 1) , P (X, 0)， P (x， 1)， P (x, ²)のそれぞれを、例えば、 X軸に沿って足しこむと（図 69で示される状態で 5つのグラフを重ねると）、図 70で示されるような、 X軸に平行な複数の線（点線、 3 点鎖線、実線、 1点鎖線、および 2点鎖線）が分布する。

なお、図 70において、縦軸は画素値を表しており、横軸は注目画素からの相対位置 Xを表している。また、点線は入力画素値 P(x，- 2)を、 3点鎖線は入力画素値 P(x,-1)を、実線は入力画素値 P(x,0)を、 1点鎖線は入力画素値 Ρ(χ, 1)を、 2点鎖線は入力画素値 Ρ(χ， 2)を、それぞれ表している。さらに、同一の画素値の場合、実際には 2本以上の線が重なることになるが、図 7 0においては、各線の区別がつくように、各線のそれぞれが重ならないように描画されている。

そして、このように分布した 2 0個の入力画素値 P (x，y)のそれぞれ（ただし、 Xは、一 1乃至 2のうちのいずれかの整数値。 yは、一 2乃至 2のうちのいずれかの整数値）と、値 f₂ (x+C_x (y) )の誤差が最小となるような回帰曲線（最小自乗法により演算された特徴量 ^ を上述した式（3 8 ) に代入して得られる近似関数 f₂ (x) ) は、図 7 0の実線で示される曲線 f₂ (X)となる。

このように、第 2の方法により生成された近似関数 f₂ (X)は、データ定常性検出部 1 0 1 (図 5 8 ) より出力される角度 Θ方向（即ち、ほぼ空間方向の定常性の方向）の入力画素値 P (x，y)の平均値を X方向に結んだ曲線を表すことになる。これに対して、上述したように、第 1の方法により生成された近似関数（X) は、 Y方向（即ち、空間方向の定常性とは異なる方向）の入力画素値 P (x，y)の平均値を、 X方向に結んだ曲線を単に表しているに過ぎない。

従って、図 7 0で示されるように、第 2の方法により生成された近似闋数 f₂ (x)は、第 1の方法により生成された近似関数（X)よりも、その波形の鈍り度合いが減少し、かつ、元の画素値に対するディテールの減り具合も減少する関数となる。換言すると、図示はしないが、第 2の方法により生成される近似関数 f₂ (X)は、第 1の方法により生成される近似関数（X)よりも実際の X断面波形 F (x)により近い波形となる。

しかしながら、上述したように、近似関数 f₂ (x)は、空間方向の定常性が考慮されたものではあるが、入力画像（入力画素値）を原点（基準）として生成されたものに他ならない。即ち、上述した図 6 3で示されるように、近似関数 f₂ (x) は、 X断面波形 F (x)とは異なる入力画像を近似したに過ぎず、 X断面波形 F (x) を近似したとは言い難い。換言すると、第 2の方法は、上述した式（4 4 ) が成立するとして特徴量を演算する方法であり、上述した式（3 8 ) の関係は考慮していない（センサ 2の積分効果を考慮していない）。そこで、'本願出願人は、第 2の方法に対して、センサ 2の積分効果をさらに考慮することで近似関数 f₃ (x)の特徴量 _Wi を演算する第 3の方法を発明した。即ち、第 3の方法は、空間混合または時間混合の概念を導入した方法である。なお、空間混合と時間混合の両方を考慮すると、説明が複雑になるため、ここでは、空間混合と時間混合のうちの、例えば空間混合を考慮し、時間混合を無視するものとする。

そこで、第 3の方法の説明の前に、図 7 1を参照して、空間混合について説明する。

図 7 1において、実世界 1の光信号の 1部分 2 3 2 1 (以下、領域 2 3 2 1と称する）は、センサ 2の 1つの検出素子（画素）と同じ面積を有する領域を表している。，

領域 2 3 2 1がセンサ 2に検出されると、センサ 2からは、領域 2 3 2 1が時空間方向（X方向， Y方向，および t方向）に積分された値（1つの画素値） 2 3 2 2が出力される。なお、画素値 2 3 2 2は、図中、画像として表現されている 1 実際には、所定の値を表すデータである。

実世界 1の領域 2 3 2 1は、前景（例えば、上述した細線）に対応する光信号 (図中白い領域）と、背景に対応する光信号（図中黒い領域）に明確に区分される。

これに対して、画素値 2 3 2 2は、前景に対応する実世界 1の光信号と、背景に対応する実世界 1の光信号が積分された値である。換言すると、画素値 2 3 2 2は、前景に対応する光のレベルと背景に対応する光のレベルが空間的に混合されたレベルに対応する値である。

このように、実世界 1の光信号のうちの 1画素（センサ 2の検出素子）に対応する部分が、同一レベルの光信号が空間的に一様に分布する部分ではなく、前景と背景のように異なるレベルの光信号のそれぞれが分布する部分である場合、その領域は、センサ 2により検出されると、センサ 2の積分効果により、異なる光のレベルがあたかも空間的に混合されて（空間方向に積分されて） 1つの画素値となってしまう。このように、センサ 2の画素において、前景に対する画像（実世界 1の光信号）と、背景に対する画像（実世界 1の光信号）が空間的に積分されて、いわば混合されてしまうことが、空間混合であり、そのような画素からなる領域を、ここでは、空間混合領域と称する。

従って、第 3の方法においては、実世界推定部 10 2 (図 5 8) 1 実世界 1 の元の領域 23 21 (実世界 1の光信号のうちの、センサ 2の 1画素に対応する部分 232 1) を表す X断面波形 F(x)を、例えば、 .図 72で示されるような、 1次の多項式などの近似関数 f₃ (X)で近似することによって、 X断面波形 F(x) を推定する。

即ち、図 72は、空間混合領域である画素値 2322 (図 7 1) に対応する近似関数 f₃ (x)、即ち、実世界 1の領域 23 3 1内の実線（図 7 1) に対応する X 断面波形 F (x) を近似する近似関数 f₃ (X)の例を表している。図 72において、図中水平方向の軸は、画素値 23 22に対応する画素の左下端 x_sから右下端 x_e までの辺（図 7 1) に平行な軸を表しており、 X軸とされている。図中垂直方向の軸は、画素値を表す軸とされている。

図 72において、近似関数 f₃ (x)を x_sからの範囲（画素幅）で積分したものが、センサ 2から出力される画素値 P (x，y)とほぼ一致する（誤差 eだけ存在する）として、次の式 (46) を定義する。

P= L f₃(x)dx+e v (w₀+ iX+w₂x +·■· +w_nx ) dx+e

• · · (46) いまの場合、図 6 7で示される細線含有データ領域 2302の 20個の画素値 P (x，y) (ただし、 Xは、一 1乃至 2のうちのいずれかの整数値。 yは、一 2乃至 2のうちのいずれかの整数値）から、近似関数 f₃ (X)の特徴量 ^が算出されるので、式（46) の画素値 Pは、画素値 P(x,y)となる。

また、第 2の方法と同様に、空間方向の定常性も考慮する必要があるので、式 (46) の積分範囲の開始位置 x_s と終了位置 x_eのそれぞれは、シフト量 C_x (y) にも依存することになる。即ち、式（46) の積分範囲の開始位置 x_s と終了位置 x_e のそれぞれは、次の式（47) のように表される。

X. = x-C_x(y) -0.5

x_e = x-C_x (y) +0.5

• · · (47) この場合、図 67で示される細線含有データ領域 2 302の各画素値それぞれ、即ち、図 68で示される入力画素値 P(x，- 2),P(x,-l),P(x，0)，P(x, l),P(x, 2) のそれぞれ（ただし、 Xは、一 1乃至 2のうちのいずれかの整数値）を、上述した式（46) (積分範囲は、上述した式（47) ) に代入すると次の式（48) で示される 20個の方程式が生成される。

_r-1-G_x(-2)+0.5

P(-1,一 2 ⁼ J - 5 ( + ，

r0- (-2)+0.5

P(0, -2 = Jo- 0.5 ^f3(x)dx+e₂，

P(1,一 2 ₃ )dx+e₃, P(2,一 2 f₃(x)dx+e₄,

-1-C_X (- 1)+0.5

P (- 1, - 1) ⁼ ■1-— (- 1 υ) -— Ο。.:ί5 ^f3^(x)dx+e5- r 00-G,((--11))++00.·55

P(0, -1

= Jo-¾(-1)-0.5 ^f3^(x)dX+e6'

r1一 (一 1)+0.5

P(1, -1 ⁼ JI-¾(-1)-O.5 ^f3(x) e₇，

f一 1+0.5

P(-1, 0) =· J一卜。.₅ f₃(x)d +e₉,

P(0, 0) -

^f3(x)dx+e₁₀，

+0.5

P(1, 0) =. Jl_0.5 ^f3(^x)^dx+e11'

2+0.5

P(2, 0) =■ J₂_o.5 f₃(x)dx+e₁₂,

r0-C_x(1)+0.5

P(0, 1) =, fl)一 0.5 ^f3^(x)dX+e1 '

P(1, 1) =,

r2-C_>((1)+0.5

P(2, 1) =. J2-c_xa)-o.5 ^f3(x)dx+e₁₆,

r- 1 - (^(ΰ+ο.δ

P (- 1, 2) =· 卜 ¾₍₂₎ - 0.5 ^f3^(x)dX+e17-

(.0-0,(2) +0.5

P(0, 2) =, Jo-¾(2)-0.5 f₃(^X)^dx+^e1₈，

1- (2)+0.5

P(1, 2) =■ Jl-_¾(2)-0.5 f3(x)dx+e₁₉，

P(2, 2) =' l₂-c(2)-o.5 f₃(x)dx+ ₀

• · ■ (4 8) 式（48) は、上述した式（4 5) と同様に、 20個の方程式より構成されている。従って、第 2の方法と同様に第 3の方法においても、近似関数 f₃ (X)の特徴量の個数が 2 0個より少ない場合、即ち、近似関数 f₃ (x)が 1 9次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量の算出が可能である。なお、最小自乗法の具体的な解法は後述する。

例えば、近似関数 f ₃ (X)の次数が 5次とされた場合、式（4 8 ) を利用して最小自乗法により演算された近似関数 f₃ (x) (演算された特徴量により生成される近似関数 f ₃ (X) ) は、図 7 3の実線で示される曲線のようになる。

なお、図 7 3において、縦軸は画素値を表しており、横軸は注目画素からの相対位置 Xを表している。

図 7 3で示されるように、第 3の方法により生成された近似関数 f ₃ (X) (図中、実線で示される曲線）は、第 2の方法により生成された近似関数 f₂ (X) (図中、点線で示される曲線）と比較すると、 x = 0における画素値が大きくなり、また、曲線の傾斜の度合いも急な波形となる。これは、入力画素よりディティルが増加して、入力画素の解像度とは無関係となっているためである。即ち、近似関数 f₃ (X) は、 X断面波形 F (x)を近似していると言える。従って、図示はしないが、近似関数 f₃ (X)は、近似関数 f ₂ (X)よりも X断面波形 F (x)に近い波形となる。図 7 4は、このような 1次近似手法を利用する実世界推定部 1 0 2の構成例を表している。

図 7 4において、実世界推定部 1 0 2は、例えば、特徴量を上述した第 3 の方法（最小自乗法）により演算し、演算した特徴量^ を利用して上述した式 ( 3 9 ) の近似関数 f (x)を生成することで、 X断面波形 F (x)を推定する。

図 7 4で示されるように、実世界推定部 1 0 2には、条件設定部 2 3 3 1、入力画像記憶部 2 3 3 2、入力画素値取得部 2 3 3 3、積分成分演算部 2 3 3 4、正規方程式生成部 2 3 3 5、および近似関数生成部 2 3 3 6が設けられている。条件設定部 2 3 3 1は、注目画素に対応する X断面波形 F (x)を推定するために使用する画素の範囲（以下、タップ範囲と称する）や、近似関数 f (x)の次数 nを設定する。入力画像記憶部 233 2は、センサ 2からの入力画像（画素値）を一次的に格納する。

入力画素値取得部 23 3 3は、入力画像記憶部 23 32に記憶された入力画像のうちの、条件設定部 223 1により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部 233 5に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。

ところで、ここでは、実世界推定部 10 2は、上述した式（46) と式（4 7) を利用して最小自乗法により近似関数 f(x)の特徴量を演算するが、上述した式（46) は、次の式（49) のように表現することができる。

P(x,y)

n (x-C_x (y) +0.5)ⁱ⁺¹一 (x-C_x(y) -0.5)ⁱ⁺¹

= ∑ Wj —— r—.—— +e

i =0 ¹1 ¹

• · ■ (49) 式（49) において、 Si (x_s,x_e) は、 i 次項の積分成分を表している。即ち、積分成分 Si (x_s,x_e)は、次の式 (50) で示される。

• · · (50) 積分成分演算部 2334は、この積分成分 Si (x_s、x_e)を演算する。

具体的には、式（50) で示される積分成分 Si (x_s，x_e) (ただし、値 x_s と値 x_eは、上述した式（46) で示される値）は、相対画素位置（x,y)、シフト量 C_x (y)、および、 i次項の iが既知であれば演算可能である。また、これらのうちの、相対画素位置（x，y)は注目画素とタップ範囲により、シフト量 C_x (y)は角度 Θにより（上述した式（4 1 ) と式（4 3 ) により）、 iの範囲は次数 ηにより、それぞれ決定される。

従って、積分成分演算部 2 3 3 4は、条件設定部 2 3 3 1により設定されたタップ範囲および次数、並びにデータ定常性検出部 1 0 1より出力されたデータ定常性情報のうちの角度 Θに基づいて積分成分 Si (x_s，x_e )を演算し、その演算結果を積分成分テーブルとして正規方程式生成部 2 3 3 5に供給する。

正規方程式生成部 2 3 3 5は、入力画素値取得部.2 3 3 3より供給された入力画素値テーブルと、積分成分演算部 2 3 3 4より供給された積分成分テーブルを利用して、上述した式（4 6 ) 、即ち、式（4 9 ) の右辺の特徴量 ^ を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部 2 3 3 6に供給する。なお、正規方程式の具体例については後述する。近似関数生成部 2 3 3 6は、正規方程式生成部 2 3 3 5より供給された正規方程式テーブルに含まれる正規方程式を行列解法で解くことにより、上述した式 ( 4 9 ) の特徴量 ^ (即ち、 1次元多項式である近似関数 f (x)の係数のそれぞれを演算し、画像生成部 1 0 3に出力する。

次に、図 7 5のフローチャートを参照して、 1次元近似手法を利用する実世界推定部 1 0 2 (図 7 4 ) の実世界の推定処理（図 2 9のステップ S 1 0 2の処理）について説明する。

例えば、いま、センサ 2から出力された 1フレームの入力画像であって、上述した図 6 0の細線含有データ領域 2 3 0 2を含む入力画像が、既に入力画像記憶部 2 3 3 2に記憶されているとする。また、データ定常性検出部 1 0 1が、ステップ S 1 0 1 (図 2 9 ) の定常性の検出の処理において、細線含有データ領域 2 3 0 2に対してその処理を施して、データ定常性情報として角度 0を既に出力しているとする。

この場合、図 7 5のステップ S 2 3 0 1において、条件設定部 2 3 3 1は、条件（タップ範囲と次数）を設定する。例えば、いま、図 76で示されるタップ範囲 235 1が設定されるとともに、次数として 5次が設定されたとする。

即ち、図 76は、タップ範囲の 1例を説明する図である。図 76において、 X 方向と Y方向は、センサ 2の X方向と Y方向 (図 59) を表している。また、タップ範囲 235 1は、 X方向に 4画素分、かつ Y方向に 5画素分の総計 20個の画素（図中、 20個の正方形）からなる画素群を表している。

さらに、図 76で示されるように、注目画素が、タップ範囲 23 5 1のうちの、図中、左から 2画素目であって、下から 3画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置（x，y) (注目画素の中心（0,0)を原点とする注目画素座標系の座標値）に応じて、図 76で示されるような番号 1 (1は、 0乃至 1 9のうちのいずれかの整数値）が付されるとする。

図 75に戻り、ステップ S 2302において、条件設定部 233 1は、注目画素を設定する。

ステップ S 2303において、入力画素値取得部 2 3 3 3は、条件設定部 23 31により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部 23 33は、細線含有データ領域 2302 (図 64) を取得し、入力画素値テーブルとして、 20個の入力画素値 P(l)からなるテーブルを生成する。

なお、いまの場合、入力画素値 P(l)と、上述した入力画素値 P(x,y)の関係は、次の式 (5 1) で示される関係とされる。ただし、式 (5 1) において、左辺が入力画素値 P ( 1 ) を表し、右辺が入力画素値 P(x，y)を表している。 P(0) = P(0,0)

P(1)

P(2) = II P(0,2)

(1,2)

• · · (5 1) ステップ S 2304において、積分成分演算部 23 34は、条件設定部 233 1により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部 101より供給されたデータ定常性情報（角度 0) に基づいて積分成分を演算し、積分成分テーブルを生成する。

いまの場合、上述したように、入力画素値は、 P(x，y)でなく P(l)といった、画素の番号 1の値として取得されるので、積分成分演算部 23 34は、上述した式（50) の積分成分 Si (x_s,x_e)を、次の式 (5 2) の左辺で示される積分成分 Si (1)といった 1の関数として演算する。

• · · (5 2) 具体的には、いまの場合、次の式（53) で示される積分成分 Si (1)が演算される。

S (0) =S (一 0.5,0.5)

S (1) =S (-1.5-C_x(2),-0.5-C_x(2))

S (2) =S (-0.5-C_x(2),0.5-C_x(2))

S (3) =S (0.5-C_x(2),1.5-C_x(2))

S (4) =S (1.5-C_X(2),2.5-C_x(2))

S (5) =S (-1.5-C_X(1), -0.5-C_x(D)

S (6) =S (-0.5-C_x(1),0.5-C_x(D)

S (7) =S (0.5-C_x(1),1.5-C_x(D)

S (8) =S (1.5-C_X(1),2.5-C_x(1))

S (9) =S (-1.5, -0.5)

S (10) =S (0.5,1.5)

S (11) =S (1.5, 2.5)

S (12) =S (-1.5-C_X(-1), -0.5-C_x(-D)

S (13) =S (-0.5-C_x(-1),0.5-C_x(-D)

S (14) =S (0.5-C_x(-1),1.5-C_x(-D)

S (15) =S (1.5-C_X(-1),2.5-C_X(-D)

S (16) =S (-1.5-C_x(-2),-0.5-C_x(-2))

S (17) =S (-0.5-C_x(-2),0.5-C_x(-2))

S (18) =S (0.5-C_x(-2),1.5-C_x(-2))

S (19) =s (1.5-C_x(-2),2.5-C_x(-2))

• · · (53) なお、式（5 3) において、左辺が積分成分 Si (1 )を表し、右辺が積分成分 Si (x_s,x_e)を表している。即ち、いまの場合、 iは 0乃至 5であるので、 20個の S。（1)， 20個の (1), 20個の S₂ (1)， 20個の S₃ (1)， 20個の S₄ (1), 20 個の S₅ (1)の総計 1 20個の Si (1)が演算されることになる。

より具体的には、はじめに、積分成分演算部 2334は、データ定常性検出部 101より供給された角度 0を使用して、シフト量 C_x (- 2)，C_X (- 1)，C_X (1),C_X (2)のそれぞれを演算する。次に、積分成分演算部 23 34は、演算したシフト量 C_x (-²)，（- 1)，C_X (1)，C_X (²)を使用して式（52) の右辺に示される 20個の積分成分 Si (x_s, x_e)のそれぞれを、 i=0乃至 5のそれぞれについて演算する。即ち、 1 20個の積分成分 Si (x_s,x_e)が演算される。なお、この積分成分 Si (x_s，x_e)の演算においては、上述した式（50) が使用される。そして、積分成分演算部 23 34は、式（53) に従って、演算した 1 20個の積分

X

成分 Si (x_s，x_e)のそ sれぞれを、対応する積分成分 Si (1)に変換し、変換した 1 2 0個の積分成分 Si (1)を含む積分成分テーブルを生成する。

なお、ステップ S 2303の処理とステップ S 2304の処理の順序は、図 7 5の例に限定されず、ステップ S 2304の処理が先に実行されてもよいし、ステツプ S 2303の処理とステップ S 2304の処理が同時に実行されてもよい次に、ステップ S 2305において、正規方程式生成部 23 3 5は、ステップ S 2303の処理で入力画素値取得部 2333により生成された入力画素値テーブルと、ステップ S 2304の処理で積分成分演算部 23 34により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。

具体的には、いまの場合、最小自乗法により、上述した式 s s s（49) に対応する次の式（54) の特徴量 _Wi を演算する。それに対応する正規方程式は、次の式

(55) のように表される。

(54)

(55) なお、式（55) において、 Lは、タップ範囲の画素の番号 1のうちの最大値を表している。 nは、多項式である近似関数 f(x)の次数を表している。具体的には、いま Lの場合、 n=5となり、 L=l 9となる。

s

式（55) で示される正規方程式の各行列のそれぞれを、次の式（56) 乃至 (58) のように定義すると、正規方程式は、次の式（59) のように表される _c ノ (l)

(l)

(56)

(57)

∑ S₀(I)P(I)

l=0

(58)

^SMAT¾T = ^PMAT • · · (5 9) 式（57) で示されるように、行列 W_MAT の各成分は、求めたい特徴量である。従って、式（59) において、左辺の行列 S_MAT と右辺の行列 P_MATが決定されれば、行列解法によって行列 W_MAT (即ち、特徴量 _Wi) の算出が可能である。

具体的には、式（56) で示されるように、行列 S_MAT の各成分は、上述した積分成分 Si (1)が既知であれば演算可能である。積分成分 Si (1)は、積分成分演算部 2334より供給された積分成分テーブルに含まれているので、正規方程式生成部 23 35は、積分成分テーブルを利用して行列 S_MAT の各成分を演算することができる。

また、式（58) で示されるように、行列 P_MAT の各成分は、積分成分 Si (1) と入力画素値 P(l)が既知であれば演算可能である。積分成分 Si (1)は、行列 S _MAT の各成分に含まれるものと同一のものであり、また、入力画素値 P(l)は、入力画素値取得部 2 33 3より供給された入力画素値テーブルに含まれているので、正規方程式生成部 233 5は、積分成分テーブルと入力画素値テーブルを利用して行列 P_MATの各成分を演算することができる。

このようにして、正規方程式生成部 23 35は、行列 S_MAT と行列 P_MATの各成分を演算し、その演算結果（行列 S_MAT と行列 P_MATの各成分）を正規方程式テーブルとして近似関数生成部 2336に出力する。

正規方程式生成部 23 35より正規方程式テーブルが出力されると、ステップ S 2306において、近似関数生成部 23 36は、正規方程式テーブルに基づいて、上述した式（5 9) の行列 W_MAT の各成分である特徴量 _Wi (即ち、 1次元多項式である近似関数 f(x)の係数^) を演算する。

具体的には、上述した式（5 9) の正規方程式は、次の式（60) のように変形できる。

¾Τ = ¾ΑΤ^Γ ΑΤ • · · ( 6 0 ) 式（6 0 ) において、左辺の行列 W_{M A T}の各成分が、求めたい特徴量 ^ である。また、行列 S_{M A T} と行列 P_{M A T}のそれぞれの各成分は、正規方程式生成部 2 3 3 5より供給された正規方程式テーブルに含まれている。従って、近似関数生成部 2 3 3 6は、正規方程式テーブルを利用して、式（6 0 ) の右辺の行列演算を行うことで行列 W_{M A T} を演算し、その演算結果（特徴量 _Wi ) を画像生成部 1 0 3に出力する。

ステップ S 2 3 0 7において、近似関数生成部 2 3 3 6は、全画素の処理を終了したか否かを判定する。

ステップ S 2 3 ◦ 7において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 2 3 0 2に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 2 3 0 2乃至 S 2 3 0 7の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 2 3 0 7において、全画素の処理が終了されたと判定されると）、実世界 1の推定処理は終了となる。

なお、以上のようにして演算された係数（特徴量） _Wi により生成される近似関数 f (x)の波形は、上述した図 7 3の近似関数（X)のような波形となる。

このように、 1次元近似手法においては、 1次元の X断面波形 F (x)と同一形状の波形が定常性の方向に連なっていると仮定して、例えば、 1次元の多項式などの近似関数 f (x)の特徴量が演算される。従って、 1次元近似手法においては、他の関数近似手法に比較して、少ない演算処理量で近似関数 f (x)の特徴量の算出が可能となる。 .

次に、図 7 7乃至図 8 3を参照して、第 2の関数近似手法について説明する。即ち、第 2の関数近似手法とは、例えば、図 7 7で示されるような、傾き G_F で表される空間方向の定常性を有する実世界 1の光信号を、 X— Y平面上（空間方向の 1方向である X方向と、 X方向に垂直な Y方向に水平な平面上）の波形 F (x, y)とみなし、 2次元の多項式などの近似関数 f (X, y)で波形 F (x， y)を近似することによって、その波形 F(x，y)を推定する手法である。従って、以下、第 2 の関数近似手法を、 2次元近似手法と称する。

なお、図 77において、図中、水平方向は、空間方向の 1方向である X方向を、右上方向は、空間方向の他方向である Y方向を、垂直方向は、光のレベルを、それぞれ表している。 G_Fは、空間方向の定常性の傾きを表している。

また、 2次元近似手法の説明においても、センサ 2は、図 78で示されるような、複数の検出素子 2— 1がその平面上に配置されて構成される CCDとされる。図 78の例では、検出素子 2 _ 1の所定の 1辺に平行な方向が、空間方向の 1 方向である X方向とされており、 X方向に垂直な方向が、空間方向の他方向である Y方向とされている。そして、 X— Y平面に垂直な方向が、時間方向である t 方向とされている。

また、図 78の例では、センサ 2の各検出素子 2— 1のそれぞれの空間的な形状は、 1辺の長さが 1の正方形とされている。そして、センサ 2のシャツタ時間 (露光時間）が 1とされている。

さらに、図 78の例では、センサ 2の所定の 1つの検出素子 2— 1の中心が、空間方向 (X方向と Y方向) の原点（X方向の位置 x = 0、および Y方向の位置 y = 0) とされており、また、露光時間の中間時刻が、時間方向（t方向）の原点（1方向の位置 =0) とされている。

この場合、空間方向の原点（x==0, y = 0) にその中心が存在する検出素子 2— 1は、 X方向に -0.5乃至 0.5の範囲、 Y方向に- 0.5乃至 0.5の範囲、および t方向に- 0.5乃至 0.5の範囲で光信号関数 F(_X, y， t)を積分し、その積分値を画素値 Pとして出力することになる。

即ち、空間方向の原点にその中心が存在する検出素子 2— 1から出力される画素値 Pは、次の式（6 1) で表される。

/+0.5 p+O.B p+O.B _/ 、

ハ c

-0.5 J I一 n

0.5 J J - _Λ 0.5 F(x, y, t)dxdydt

• · · (6 1) その他の検出素子 2— 1も同様に、対象とする検出素子 2— 1の中心を空間方向の原点とすることで、式（6 1) で示される画素値 Pを出力することになる。ところで、上述したように、 2次元近似手法は、実世界 1の光信号を、例えば、図 77で示されるような波形 F(x, y)として扱い、その 2次元の波形 F(x，y)を、 2次元の多項式などの近似関数 f(x,y)に近似する手法である。

そこで、はじめに、このような近似関数 f(x,y)を 2次元の多項式で表現する手法について説明する。

上述したように、実世界 1の光信号は、 3次元の空間上の位置 x， y、および z、並びに時刻 tを変数とする光信号関数 F (x， y, ΐ)で表される。この光信号関数 F(x,y，t)を、 Y方向の任意の位置 yにおいて、 X方向に射影した 1次元の波形を、ここでは、 X断面波形 F(x)と称している。

この X断面波形 F (x) に注目すると、実世界 1の信号が、空間方向の所定の方向に定常性を有している場合、 X断面波形 F ( X ) と同一形状の波形がその定常性の方向に連なっていると考えることができる。例えば、図 77の例では、 X 断面波形 F ( X ) と同一形状の波形が、傾き G_Fの方向に連なっている。換言すると、 X断面波形 F (x) と同一形状の波形が傾き G_Fの方向に連なって、波形 F(x,y)が形成されているとも言える。

従って、波形 F(x,y)を近似する近似関数 f (x，y)の波形は、 X断面波形 F(x) を近似する近似関数 f(x)と同一形状の波形が連なって形成されると考えることで、近似関数 f(x，y)を 2次元の多項式で表現することが可能になる。

さらに詳細に、近似関数 f(x，y)の表現方法について説明する。

例えば、いま、上述した図 77で示されるような、実世界 1の光信号、即ち、傾き G_Fで表される空間方向の定常性を有する光信号が、センサ 2 (図 78) により検出されて入力画像（画素値）として出力されたとする。

さらに、図 79で示されるように、データ定常性検出部 10 1 (図 3) 力この入力画像のうちの、 X方向に 4画素分、かつ Y方向に 5画素分の総計 2◦個の画素（図中、点線で表される 20個の正方形）から構成される入力画像の領域 2 40 1に対してその処理を実行し、データ定常性情報の 1つとして角度 Θ (傾き G_Fに対応する傾き G_f で表されるデータの定常性の方向と、 X方向とのなす角度 Θ) を出力したとする。

なお、入力画像の領域 2401において、図中水平方向は、空間方向の 1方向である X方向を表しており、図中垂直方向は、空間方向の他方向である Y方向を表している。

また、図 79中、左から 2画素目であって、下から.3画素目の画素が注目画素とされ、その注目画素の中心を原点（0,0)とするように（x，y)座標系が設定されている。そして、原点（0,0)を通る角度 Θの直線（データの定常性の方向を表す傾き G_f の直線）に対する X方向の相対的な距離（以下、断面方向距離と称する）が x，と記述されている。

さらに、図 79中、右側のグラフは、 X断面波形 F(x' )が近似された関数であって、 n次（nは、任意の整数）の多項式である近似関数 f(x' )を表している。右側のグラフの軸のうち、図中水平方向の軸は、断面方向距離を表しており、図中垂直方向の軸は、画素値を表している。

この場合、図 79で示される近似関数 f(x，）は、 n次の多項式であるので、次の式（6 2) のように表される。

π .

f{X') = V/₀+WiX' +W₂X^? + · ·■ +W_nX = ∑ WjX"

i=0

• · · (6 2) また、角度 0が決定されていることから、原点（0,0)を通る角度 0の直線は一意に決まり、 Y方向の任意の位置 yにおける、直線の X方向の位置力次の式（6 3) のように表される。ただし、式（63) において、 sは cot Θ (= 1 /tan θ ) を表している。

X| = sxy

■ · ■ (63) 即ち、図 79で示されるように、傾き G_f で表されるデータの定常性に対応する直線上の点は、座標値（_Xl,y)で表される。

式（63) より、断面方向距離 x' は、次の式（64) のように表される。

x， = χ-χ| = x-s xy

· · · (64)

従って、入力画像の領域 240 1内の任意の位置（x，y)における近似関数 f (X, y)は、式（6 2) と式 (64) より、次の式 (6 5) のように示される。

" n .

f (x, y = ∑ Wj -sxy)¹

i=0

• · - (6 5) なお、式（6 5) において、 Wi は、近似関数 f (x, y)の係数を表している。なお、近似関数 f(x,y)を含む近似関数 f の係数 ^ を、近似関数 f の特徴量と位置づけることもできる。従って、以下、近似関数 f の係数を、近似関数 f の特徴量 _Wi とも称する。

このようにして、角度 0が既知であれば、 2次元波形の近似関数 f(x, y)を、式（6 5) の多項式として表現することができる。

従って、実世界推定部 102は、式（6 5) の特徴量を演算することができれば、図 77で示されるような波形 F(x，y)を推定することができる。

そこで、以下、式（6 5) の特徴量 Wi を演算する手法について説明する。

即ち、式（6 5) で表される近似関数 f (x，y)を、画素（センサ 2の検出素子 2— 1 (図 78) ) に対応する積分範囲（空間方向の積分範囲）で積分すれば、その積分値が、画素の画素値の推定値となる。このことを、式で表現したものが、次の式（66) である。なお、 2次元近似手法においては、時間方向 tは一定値とみなされるので、式（66) は、空間方向（X方向と Y方法）の位置 x，yを変数とする方程式とされている。

• · · ( 6 6 ) 式（6 6 ) において、 P (x, y)は、センサ 2からの入力画像のうちの、その中心位置が位置（x, y) (注目画素からの相対位置（x，y) ) に存在する画素の画素値を表している。また、 eは、誤差を表している。

このように、 2次元近似手法においては、入力画素値 P (x，y)と、 2次元の多項式などの近似関数 f (x，y)の関係を、式（6 6 ) で表現することが可能であるので、実世界推定部 1 0 2は、式（6 6 ) を利用して、特徴量 Wi を、例えば、最小自乗法等により演算することで（演算した特徴量 _Wi を式（6 4 ) に代入して近似関数 f (x，y)を生成することで）、 2次元の関数 F (x，y) (傾き G_F (図 7 7 ) で表される空間方向の定常性を有する実世界 1の光信号を、空間方向に着目して表した波形 F (x, y) ) を推定することが可能となる。

図 8 0は、このような 2次元近似手法を利用する実世界推定部 1 0 2の構成例を表している。

図 8 0で示されるように、実世界推定部 1 0 2には、条件設定部 2 4 2 1、入力画像記憶部 2 4 2 2、入力画素値取得部 2 4 2 3、積分成分演算部 2 4 2 4、正規方程式生成部 2 4 2 5、および近似関数生成部 2 4 2 6が設けられている。条件設定部 2 4 2 1は、注目画素に対応する関数 F (x，y)を推定するために使用する画素の範囲（タップ範囲）や、近似関数 f (x，y)の次数 nを設定する。入力画像記憶部 2 4 2 2は、センサ 2からの入力画像（画素値）を一次格納する。

入力画素値取得部 2 4 2 3は、入力画像記憶部 2 4 2 2に記憶された入力画像のうちの、条件設定部 2 4 2 1により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部 2 4 2 5に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。ところで、上述したように、 2次元近似手法を利用する実世界推定部 1 0 2は、上述した式（6 6) を最小自乗法で解くことにより、上述した式（6 5) で示される近似関数 f(x，y)の特徴量 ^ を演算する。

式（6 6) は、次の式（6 7) 乃至式（6 9) を用いることで得られる次の式 (70) を使用することで、次の式（7 1) のように表現することができる。

(6 7)

(6 8)

(x-sxy)

J (x-sxy)'dy

(6 9)

y+0.5 +2 y+0.5

(x+0.5-sxy)ⁱ⁺² (x-0.5-sxy)

L s(i+1) (i+2) 」_y - 0.5 s(i+1) (i+2) y-0.5

(x+0 -sxy+0Js)ⁱ⁺²-(x+0.5-s)<H.5s) i^l†+'2-(x-0.5-sxy+0.5s) 、^li^†+'2+(x-0.5-s)<y-0,

s(i+1Hi+2)

(70)

一（x+0.5-sxy-0.5s)ⁱ⁺²-(x-0.5-sxy+0.5s)ⁱ⁺²

+ (x-0.5-s x y-0.5s)ⁱ⁺²] +e

n

= ∑ WjSj (x-0.5， x+0.5， y-0.5, y+0.5) +e

i=0

• · · (71) 式（7 1) において、 Si (x-0.5, x+0.5, y-0.5, y+0.5) は、 i次項の積分成分を表している。即ち、積分成分 Si (x-0.5, x+0.5, y-0.5, y+0.5) は、次の式 (72) で示される通りである。

Sj (x-0.5, x+0.5, y-0.5, y+0.5) =

(x+0i-sxv+0is)ⁱ⁺²-(x+0i-sxy 5s)ⁱ⁺²-(x-0 -sxy+0.5s)ⁱ⁺²+(x-0.5-sxy-0.5s)ⁱ⁺²

^ ^+D(i+2) .

• · - (72) 積分成分演算部 2424は、この積分成分 Si (x-0.5, x+0.5, y-0.5, y+0.5) を演算する。

具体的には、式（72) で示される積分成分 Si (x-0.5, x+0.5, y-

0.5, y+0.5) は、相対画素位置（x,y)、上述した式（6 5) における変数 s、および、 i次項の iが既知であれば、演算可能である。これらのうちの、相対画素位置（x，y)は注目画素とタップ範囲により、変数 sは cot 0であるので角度 0により、 iの範囲は次数 nにより、それぞれ決定される。

従って、積分成分演算部 2424は、条件設定部 242 1により設定されたタップ範囲および次数、並びにデータ定常性検出部 10 1より出力されたデータ定常性情報のうちの角度 Θに基づいて積分成分 Sj (x-0.5， x+0.5， y-0.5, y+0.5) を演算し、その演算結果を積分成分テーブルとして正規方程式生成部 2425に供給する。正規方程式生成部 2 4 2 5は、入力画素値取得部 2 4 2 3より供給された入力画素値テーブルと、積分成分演算部 2 4 2 4より供給された積分成分テーブルを利用して、上述した式（6 6 ) 、即ち、式（7 1 ) を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部 2 4 2 6 に出力する.。なお、正規方程式の具体例については後述する。

近似関数生成部 2 4 2 6は、正規方程式生成部 2 4 2 5より供給された正規方程式テーブルに含まれる正規方程式を行列解法で解くことにより、上述した式

( 6 6 ) の特徴量^ (即ち、 2次元多項式である近似関数 f (x，y)の係数 _Wi ) のそれぞれを演算し、画像生成部 1 0 3に出力する。

次に、図 8 1のフローチャートを参照して、 2次元近似手法が適用される実世界の推定処理（図 2 9のステップ S 1 0 2の処理）について説明する。

例えば、いま、傾き G_Fで表される空間方向の定常性を有する実世界 1の光信号が、センサ 2 (図 7 8 ) により検出されて、 1フレームに対応する入力画像として、入力画像記憶部 2 4 2 2に既に記憶されているとする。また、データ定常性検出部 1 0 1力ステップ S 1 0 1 (図 2 9 ) の定常性の検出の処理において、入力画像のうちの、上述した図 7 9で示される領域 2 4 0 1に対して処理を施して、データ定常性情報として角度 Θを既に出力しているとする。

この場合、ステップ S 2 4 0 1において、条件設定部 2 4 2 1は、条件（タップ範囲と次数）を設定する。

例えば、いま、図 8 2で示されるタップ範囲 2 4 4 1が設定されるとともに、次数として 5次が設定されたとする。

即ち、図 8 2は、タップ範囲の 1例を説明する図である。図 8 2において、 X 方向と Y方向は、センサ 2の X方向と Y方向（図 7 8 ) を表している。また、タップ範囲 2 4 4 1は、 X方向に 4画素分、かつ Y方向に 5画素分の総計 2 0個の画素（図中、 2 0個の正方形）からなる画素群を表している。

さらに、図 8 2に示されるように、注目画素が、タップ範囲 2 4 4 1のうちの、図中、左から 2画素目であって、下から 3画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置（x,y) (注目画素の中心（0，0)を原点とする注目画素座標系の座標値）に応じて、図 82で示されるような番号 1 (1は、 0乃至 1 9のうちのいずれかの整数値）が付されるとする。

図 8 1に戻り、ステップ S 2402において、条件設定部 242 1は、注目画素を設定する。

ステップ S 240 3において、入力画素値取得部 2423は、条件設定部 24 21により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部 2423は、入力画像の領域 240 1 (図 79) を取得し、入力画素値テーブルとして、 20 個の入力画素値 P (1)からなるテーブルを生成する。

なお、いまの場合、入力画素値 P(l)と、上述した入力画素値 P(x,y)の関係は、次の式（7 3) で示される関係とされる。ただし、式（73) において、左辺が入力画素値 P ( 1 ) を表し、右辺が入力画素値 P(x，y)を表している。

P(0) -P(0，0)

P(1) = P(-1,2)

P(19) = P(2,一 2)

• · · (73) ステップ S 2404において、積分成分演算部 2424は、条件設定部 242 1により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部 101より供給されたデータ定常性情報（角度 0) に基づいて積分成分を演算し、積分成分テーブルを生成する。

いまの場合、上述したように、入力画素値は、 P(x，y)でなく P(l)といった、画素の番号 1の値として取得されるので、積分成分演算部 2424は、上述した式 (72) の積分成分 Si (x-0.5, x+0.5, y-0.5， y+0.5)を、次の式（74) の左辺で示される積分成分 Si (1)といった 1の関数として演算する。

Sj(l) (x-0.5, x+0.5, y-0.5， y+0.5)

- - - (74) 具体的には、いまの場合、次の式（75) で示される積分成分 Si (1)が演算される。

5|(0) =S (一 5, 0.5, -0.5, 0.5)

Sj(1) =S (一 1.5，一 0· 5,1.5, 2.5)

Sj(2) =S (-0.5, 0.5,1.5, 2.5)

Sj(3) =S (0.5,1.5,1.5, 2.5)

Sj(4) =S (1.5, 2.5,1.5, 2.5)

Sj(5) =S (-1.5,一 0.5, 0.5,1.5)

Sj(6) =S (-0.5, 0.5, 0.5, 1.5)

Sj(7) =S (0.5, 1.5, 0.5,1.5)

Sj(8) =S (1.5, 2.5, 0.5,1.5)

S:(9) =S (-1.5, -0.5, -0.5， 0.5)

S (10) =S (0.5, 1.5, -0.5， 0.5)

S (11) =S (1.5， 2.5,一 0· 5, 0.5)

S (12) =S (-1.5, -0.5,-1.5, -0.5)

S (13) =S (-0.5,0.5, -1.5, -0.5)

S (14) =S (0.5,1.5, -1.5, -0.5)

S (15) =S (1.5, 2.5， -1.5, -0.5)

S (16) =s (-1.5,一 0.5， -2.5,一 1.5)

S (17) =s (一 0.5, 0.5， -2.5, -1.5)

S (18) =s (0.5, 1.5, -2.5， -1.5)

S (19) =s (1.5, 2.5,一 2.5, -1.5)

• · · (75) なお、式（7 5) において、左辺が積分成分 Si ( 1 )を表し、右辺が積分成分 Si (X - 0.5, x+0.5, y_0.5, y+0.5)を表している。即ち、いまの場合、 iは 0乃至 5 であるので、 20個の S。（1), 20個の (1)， 20個の S₂ (1)， 20個の S₃ (1), 20個の S₄ (1)， 20個の S₅ (1)の総計 1 20個の Si (1)が演算されることになる。

より具体的には、はじめに、積分成分演算部 2424は、データ定常性検出部 1◦ 1より供給された角度 0に対する cot 0を演算し、それを変数 sとする。次に、積分成分演算部 2424は、演算した変数 sを使用して式（74) の右辺で示される 20個の積分成分 Si (X - 0.5, x+0.5, y- 0.5, y+0.5) のそれぞれを、 i=0 乃至 5のそれぞれについて演算する。即ち、 1 2 0個の積分成分 Si (X -

0. 5, x+0. 5, y-0. 5, y+0. 5) が演算されることになる。なお、この積分成分 Si (x -

0. 5, x+0. 5, y-0

. 5, y+0. 5) の演算においては、上述した式（7 2 ) が使用される。そして、積分成分演算部 2 4 2 4は、式（7 5 ) に従って、演算した 1 2 0個の積分成分 Si (x-0. 5, x+0. 5, y-0. 5, y+0. 5)のそれぞれを、対応する Si (1)のそれぞれに変換し、変

換した 1 2 0個の Si (1)を含む積分成分テーブルを生成する。

なお、ステップ S 2 4 0 3の処理とステップ S 2 4 0 4の処理の順序は、図 8 1の例に限定されず、ステップ S 2 4 0 4の処理が先に実行されてもよいし、ステツプ S 2 4 0 3の処理とステップ S 2 4 0 4の処理が同時に実行されてもよい , 次に、ステップ S 2 4 0 5において、正規方程式生成部 2 4 2 5は、ステップ S 2 4 0 3の処理で入力画素値取得部 2 4 2 3により生成された入力画素値テーブルと、ステップ S 2 4 0 4の処理で積分成分演算部 2 4 2 4により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。

具体的には、いまの場合、上述した式（7 1 ) を利用して最小自乗法により特徴量が演算される（ただし、式（7 0 ) において、積分成分 Si (X - 0. 5, x+0. 5，y- 0. 5，y+0. 5)は、式（7 4 ) により変換される Si (1)が使用される）ので、それに

対応する正規方程式は、次の式（7 6 ) のように表される

( 7 6 ) なお、式（76) において、 Lは、タップ範囲の画素の番号 1のうちの最大値を表している。 nは、多項式である近似関数 f(x)の次数を表している。具体的には、いまの場合、 n=5となり、 L=1 9となる。

式（76) で示される正規方程式の各行列のそれぞれを、次の式（77) 乃至 (79) のように定義すると、正規方程式は、次の式（80) のように表現される。

(l)

(77)

(78)

(79) AT¾T ^{= P} AT

• · · (80) 式（78) で示されるように、行列 W_MAT の各成分は、求めたい特徴量 _Wi である。従って、式（80) において、左辺の行列 S_MAT と右辺の行列 P_MATが決定されれば、行列解法によって行列 W_MAT の演算が可能になる。

具体的には、式（77) で示されるように、行列 S_MAT の各成分は、上述した積分成分 Si (1)で演算可能である。即ち、積分成分 Si (1)は、積分成分演算部 2

424より供給された積分成分テーブルに含まれているので、正規方程式生成部 2425は、積分成分テーブルを利用して行列 S_MAT の各成分を演算することができる。

また、式（79) で示されるように、行列 P_MAT の各成分は、積分成分 Si (1) と入力画素値 P(l)で演算可能である。即ち、積分成分 Si (1)は、行列 S_MAT の各成分に含まれるものと同一のものであり、また、入力画素値 P(l)は、入力画素値取得部 2423より供給された入力画素値テーブルに含まれているので、正規方程式生成部 242 5は、積分成分テーブルと入力画素値テーブルを利用して行列 P_MAT の各成分を演算することができる。

このようにして、正規方程式生成部 2425は、行列 S_MAT と行列 P_MATの各成分を演算し、その演算結果（行列 S_MAT と行列 P_MAT の各成分）を正規方程式テーブルとして近似関数生成部 2426に出力する。

正規方程式生成部 2425より正規方程式テーブルが出力されると、ステップ

52406において、近似関数生成部 2426は、正規方程式テーブルに基づいて、上述した式（80) の行列 W_MAT の各成分である特徴量 _Wi (即ち、 2次元多項式である近似関数 f(x，y)の係数^) を演算する。

具体的には、上述した式 (80) の正規方程式は、次の式（8 1) のように変形できる。

W, ,Τ ^PMAT • · · ( 8 1 ) 式（8 1 ) において、左辺の行列 W_{M A T}の各成分が、求めたい特徴量である。また、行列 S_{M A T} と行列 P_{M A T}のそれぞれの各成分は、正規方程式生成部 2 4 2 5より供給された正規方程式テーブルに含まれている。従って、近似関数生成部 2 4 2 6は、正規方程式テーブルを利用して、式（8 1 ) の右辺の行列演算を行うことで行列 W_{M A T} を演算し、その演算結果（特徴量 _Wi ) を画像生成部 1 0 3に出力する。

ステップ S 2 4 0 7において、近似関数生成部 2 4 2 6は、全画素の処理を終了したか否かを判定する。

ステップ S 2 4 0 7において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 2 4 0 2に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 2 4 0 2乃至 S 2 4 0 7の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 2 4 0 7において、全画素の処理が終了されたと判定されると）、実世界 1の推定処理は終了となる。

以上、 2次元近似手法の説明として、空間方向（X方向と Y方向）に対する近似関数 f (x, y)の係数（特徴量） Wi を演算する例を用いたが、 2次元近似手法は、時空間方向（X方向と t方向、または、 Y方向と t方向）に対しても適用可能である。

即ち、上述した例は、実世界 1の光信号が、例えば、傾き G_F (図 7 7 ) で表される空間方向の定常性を有する場合の例であったので、上述した式（6 6 ) で示されるような、空間方向（X方向と Y方向）の二次元積分が含まれる式が利用された。しかしながら、二次元積分の考え方は、空間方向だけによるものではなく、時空間方向（X方向と t方向、または、 Y方向と t方向）に対して適用することも可能である。

換言すると、 2次元近似手法においては、推定したい光信号関数 F (x, y，t)力空間方向の定常性のみならず、時空間方向（ただし、 X方向と t方向、または、 Y方向と t方向）の定常性を有している場合であっても、 2次元の近似関数 f により近似することが可能である。

具体的には、例えば、 X方向に水平に等速で動いている物体がある場合、その物体の動きの方向は、図 8 3で示されるような X-t平面においては、傾き V_Fのように表される。換言すると、傾きは、 X - 1平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部 1 0 1は、上述した角度 0 (X- Y平面における、傾き G_Fで表される空間方向の定常性に対応するデータ定常性情報）と同様に、 X-t平面における時空間方向の定常性を表す傾き V_Fに対応するデータ定常性情報として、図 8 3で示されるような動き Θ (厳密には、図示はしないが、傾き V_Fに対応する傾き V_f で表されるデータの定常性の方向と、空間方向の X方向とのなす角度である動き 0 ) を出力することが可能である。

従って、 2次元近似手法を利用する実世界推定部 1 0 2は、動き Θを上述した角度 0の代わりとして使用すれば、上述した方法と同様な方法で、近似関数 f (x，t)の係数（特徴量） _Wi を演算することが可能になる。ただし、この場合、使用される式は、上述した式（6 6 ) ではなく、次の式（8 2 ) である。

t -t+0.5 x+0.5 Jl ；

P(x, t) = •' It- _ΛO. 5 _ • I'χ- _Λ0. 5 j∑_Q W; I (x-s t)' dxdt+e

• · · ( 8 2 ) なお、式（8 2 ) において、 sは cot 0 (ただし、 Θは動きである）である。また、空間方向 Xの変わりに、空間方向 Υに注目した近似関数 f (y, t) も、上述した近似関数 f (x， t)と全く同様に取り扱うことが可能である。

このように、 2次元近似手法は、 1次元ではなく 2次元の積分効果を考慮しているので、 1次元近似手法に比較して、より正確に実世界 1の光信号を推定することが可能になる。

次に、図 8 4乃至図 8 8を参照して、第 3の関数近似手法について説明する。即ち、第 3の関数近似手法とは、例えば、時空間方向のうちの所定の方向の定常性を有する実世界 1の光信号が、光信号関数 F(x， y, t)で表されることに注目して、近似関数 f(x，y,t)で光信号関数 F(x,y,t)を近似することによって、光信号関数 F(_X,y,t)を推定する手法である。従って、以下、第 3の関数近似手法を、 3次元近似手法と称する。

また、 3次元近似手法の説明においても、センサ 2は、図 84で示されるような、複数の検出素子 2— 1がその平面上に配置されて構成される CCDとされる。図 84の例では、検出素子 2 _ 1の所定の 1辺に平行な方向が、空間方向の 1 方向である X方向とされており、 X方向に垂直な方向が、空間方向の他方向である Y方向とされている。そして、 X— Y平面に垂直な方向が、時間方向である t 方向とされている。

また、図 84の例では、センサ 2の各検出素子 2— 1のそれぞれの空間的な形状は、 1辺の長さが 1の正方形とされている。そして、センサ 2のシャツタ時間 (露光時間）が 1とされている。

さらに、図 84の例では、センサ 2の所定の 1つの検出素子 2 _ 1の中心が、空間方向（X方向と Y方向）の原点（X方向の位置 x = 0、および Y方向の位置 y = 0) とされており、また、露光時間の中間時刻が、時間方向（t方向）の原点 ^向の位置 =0) とされている。

この場合、空間方向の原点（x = 0， y = 0) にその中心が存在する検出素子 2— 1は、 X方向に- 0.5乃至 0.5の範囲、 Y方向に- 0.5乃至 0.5の範囲、およぴ t方向に- 0.5乃至 0.5の範囲で光信号関数 F (x, y, t)を積分し、その積分値を画素値 Pとして出力することになる。

即ち、空間方向の原点にその中心が存在する検出素子 2— 1から出力される画素値 Pは、次の式（83) で表される。

广 +0,5 _r+0.B P+ .B _t 、

p⁼ J-o.5 J-0.5 J-0.5 F(x,y,t)dxdydt

• · · (8 3) その他め検出素子 2— 1も同様に、対象とする検出素子 2— 1の中心を空間方向の原点とすることで、式（83) で示される画素値 Pを出力することになる。ところで、上述したように、 3次元近似手法においては、光信号関数

F(x, y, t)は、 3次元の近似関数 f (x, y， t)に近似される。

具体的には、例えば、近似関数 f(x,y，t)を、 N個の変数（特徴量）を有する関数とし、式（83) に対応する入力画素値 P(x,y,t)と近似関数 f (x,y，t)の関係式を定義する。これにより、 Nより大きい M個の入力画素値 P(x,y，t)が取得されていれば、定義された関係式から N個の変数（特徴量）の算出が可能である。即ち、実世界推定部 102は、 M個の入力画素値 P(x，y,t)を取得して N個の変数（特徴量）を演算することで、光信号関数 F(x,y，i:)を推定することが可能である。

この場合、実世界推定部 1 02は、センサ 2からの入力画像（入力画素値）に含まれるデータの定常性を縛りとして（即ち、データ定常性検出部 10 1より出力される入力画像に対するデータ定常性情報を利用して）、入力画像全体のうちの、 M個の入力画像 P(x,y，t)を抽出（取得）する。結果的に、近似関数

f (x,y，t)は、データの定常性に拘束されることになる。

例えば、図 8 5で示されるように、入力画像に対応する光信号関数 F(x,y,t) 力 S、傾き G_Fで表される空間方向の定常性を有している場合、データ定常性検出部 10 1は、入力画像に対するデータ定常性情報として、角度 0 (傾き G_Fに対応する傾き G_f (図示せず）で表されるデータの定常性の方向と、 X方向のなす角度 Θ) を出力することになる。

この場合、光信号関数 F(_X，y,t)を X方向に射影した 1次元の波形（ここでは、このような波形を、 X断面波形と称している）は、 Y方向のいずれの位置で射影した場合であっても同一の形状であるとする。

即ち、同一形状の X断面波形が、定常性の方向（X方向に対して角度 0方向）に連なっている 2次元の（空間方向の）波形が存在するとし、そのような 2次元波形が時間方向 tに連なった 3次元波形を、近似関数 f (x,y, t)で近似する。換言すると、注目画素の中心から Y方向に位置 yだけずれた X断面波形は、注目画素の中心を通る X断面波形が X方向に所定の量（角度 Θに応じて変化する量）だけ移動した（シフトした）波形となる。なお、以下、このような量を、シフト量と称する。

このシフト量は、次のようにして算出が可能である。

即ち、傾き V_f (例えば、図 85の傾き V_Fに対応する、データの定常性の方向を表す傾き V_f) と角度 0は、次の式（84) のように表される。

G_f = tan θ =

τ dx

• · · (84) なお、式（84) において、 dx は、 X方向の微小移動量を表しており、 dy は、 dxに対する Y方向の微小移動量を表している。

従って、 X方向に対するシフト量を C_x (y)と記述すると、次の式（8 5) のように表される。 )⁼

• - · (85) このようにして、シフト量 C_x (y)を定義すると、式（8 3) に対応する入力画素値 P(x, y，t)と近似関数 f(x, y，t)の関係式は、次の式（86) のように表される。

P(x, y, t)

„ f f (χ, y, t)dxdydt+e

• · · (86) 式（86) において、 eは、誤差を表している。 t_s は、 t方向の積分開始位置を表しており、 t_e は、 t方向の積分終了位置を表している。同様に、 y_s は、 Y方向の積分開始位置を表しており、 y_eは、 Y方向の積分終了位置を表している。また、は、 X方向の積分開始位置を表しており、 χ_β は、 X方向の積分終了位置を表している。ただし、具体的な各積分範囲のそれぞれは、次の式（8 7) で示される通りになる。 t_s = t-0.5

t_e = t+0.5

y_s = y-o.5

x_s = x-C_x(y)-0.5

x_e = x-C_x(y)+0.5

• · · (87) 式（87) で示されるように、注目画素から空間方向に（x,y)だけ離れて位置する画素に対する X方向の積分範囲を、シフト量 C_x (y)だけ移動させることで、同一形状の X断面波形が、定常性の方向（X方向に対して角度 0方向）に連なつていることを表すことが可能になる。

このように、 3次元近似手法においては、画素値 P(x,y,t)と、 3次元の近似関数 f(x，y,t)の関係を式（8 6) (積分範囲は、式（87) ) で表すことができるので、式（86) と式（87) を利用して、近似関数 f(x,y，t)の N個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数 F(x，y,t)

(例えば、図 8 5で示されるような傾き V_F表される空間方向の定常性を有する光信号）の推定が可能となる。

なお、光信号関数 F(x,y，t)で表される光信号が、例えば、図 85で示されるような傾き V_Fで表される空間方向の定常性を有している場合、次のようにして光信号関数 F (X, y， ΐ)を近似してもよい。

即ち、光信号関数 F(x，y，t)を Υ方向に射影した 1次元の波形（以下、このような波形を、 Y断面波形と称する）は、 X方向のいずれの位置で射影した場合であっても同一の形状であるとする。

換言すると、同一形状の Y断面波形が、定常性の方向（X方向に対して角度 0 方向）に連なっている 2次元の（空間方向の）波形が存在するとし、そのような 2次元波形が時間方向 tに連なった 3次元波形を、近似関数 f (x，y，t)で近似する。 '

従って、注目画素の中心から X方向に Xだけずれた Y断面波形は、注目画素の中心を通る Y断面波形が Y方向に所定のシフト量（角度 Θに応じて変化するシフト量）だけ移動した波形となる。

このシフト量は、次のようにして算出が可能である。

即ち、傾き G_F力上述した式（84) のように表されるので、 Y方向に対するシフト量を C_y ）と記述すると、次の式（88) のように表される。

Cy (x) = 6_fxx

■ · · (88) このようにして、シフト量 C_y (X)を定義すると、式（8 3) に対応する入力画素値 P(x，y，t)と近似関数 f (x，y，t)の関係式は、シフト量 C_x (y)を定義したときと同様に、上述した式（86) で表される。

ただし、今度は、具体的な各積分範囲のそれぞれは、次の式（8 9) で示される通りになる。 t_s = t-0.5

t_e = t+0.5

y_s = y-C_y(x)-0.5 '

y_e = y-C_y(x)+0.5

x = x-0.5

x_e = x+0.5

• · · (89) 式（89) (および上述した式（8 6) ) で示されるように、注目画素から (x,y)だけ離れて位置する画素に対する Y方向の積分範囲を、シフト量 C_y (X)だけ移動させることで、同一形状の Y断面波形が、定常性の方向（X方向に対して角度 0方向）に連なっていることを表すことが可能になる。このように、 3次元近似手法においては、上述した式（86) の右辺の積分範囲を式（8 7) のみならず式（8 9) とすることもできるので、積分範囲として式（8 9) が採用された式（86) を利用して、近似関数 f (x,y，t)の n個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数 F(x,y，t) (傾き G_Fで表される空間方向の定常性を有する実世界 1の光信号）の推定が可能となる。

このように、積分範囲を表す式（8 7) と式（89) は、定常性の方向にあわせて周辺画素を X方向にシフトさせるか（式（8 7) の場合）、或いは Y方向にシフトさせるか（式（89) の場合）の違いがあるだけであり、本質的には同じことを表している。

しかしながら、定常性の方向（傾き G_F) に応じて、光信号関数 F(x，y,t)を、 X断面波形の集まりと捉えるか、 Y断面波形の集まりと捉えるかが異なる。即ち、定常性の方向が Y方向に近い場合、光信号関数 F(x,y,t)を、 X断面波形の集まりと捉えた方が好適である。これに対して、定常性の方向が X方向に近い場合、光信号関数 F(x，y，t)を、 Y断面波形の集まりと捉えた方が好適である。

従って、実世界推定部 102は、積分範囲として式（87) と式（8 9) の両方を用意しておき、定常性の方向に応じて、適宜式（86) の右辺の積分範囲として、式（87) と式（89) のうちのいずれか一方を選択するとよい。

以上、光信号関数 F(x，y，t)が空間方向（X方向と Y方向）の定常性（例えば、図 85の傾き G_Fで表される空間方向の定常性）を有する場合についての 3次元近似手法について説明したが、 3次元近似手法は、図 86で示されるように、光信号関数 F(x,y，t)が時空間方向（X方向、 Y方向、および t方向）の定常性（傾き V_Fで表される定常性）を有する場合についても適用可能である。

即ち、図 86において、フレーム番号 #N-1のフレームに対応する光信号関数が F(x，y,#N- 1)とされ、フレーム番号 #Nのフレームに対応する光信号関数が F(x,y,#N)とされ、かつ、フレーム番号 #N+1のフレームに対応する光信号関数が F(x,y, +1)とされている。なお、図 86において、図中、水平方向は、空間方向の 1方向である X方向とされており、右斜め上方向は、空間方向の他方向である Y方向とされており、かつ、垂直方向は、時間方向である t方向とされている。

また、フレーム - 1は、フレームに対して時間的に前のフレームであり、フレーム +1は、フレームに対して時間的に後のフレームである。即ち、フレーム #N-1、フレーム #N、およびフレーム #N+1 は、フレーム #N- 1、フレーム #N およびフレーム #N+1の順で表示される。

図 86の例では、傾き V_Fで示される方向（図中左下手前から右上奥の方向）に沿った断面の光のレベルがほぼ一定とされている。従って、図 86の例では、光信号関数 F(x，y，t)は、傾き V_Fで表される時空間方向の定常性を有しているとこの場合、時空間方向の定常性を表す関数 C(x,y,t)を定義し、かつ、定義された関数 C(x，y，t)を利用して、上述した式（86) の積分範囲を定義すれば、上述した式（8 7) や式（8 9) と同様に、近似関数 f (x，y，t)の N個の特徴量の算出が可能になる。

関数 C(x,y，t)は、定常性の方向を表す関数であれば特に限定されない。ただし、以下においては、直線的な定常性であるとして、それに対応する関数

C(x，y,t)として、上述した空間方向の定常性を表す関数であるシフト量 C_x (y) (式（8 5) ) ゃシフト量 C_y (x) (式（8 7) ) に相当する、 C_x (t)と C_y (t)を次のように定義するとする。

即ち、上述した空間方向のデータの定常性を表す傾き G_f に対応する、時空間方向のデータの定常性の傾きを V_f とすると、この傾き V_f を X方向の傾き（以下、 V_fx と記述する）と Y方向の傾き（以下、 V_fy と記述する）に分割すると、傾き V_fxは次の式 (90) で、傾き V_fyは次の式（9 1) で、それぞれ表される。

V = • · · (90) v_f =

V^fy dt.

• · · (9 1) この場合、関数 C_x (t)は、式（90) で示される傾き V_fx を利用して、次の式 (92) のように表される。

C_x(t) =V_fxxt

• · · (9 2) 同様に、関数 C_y (t)は、式（9 1) で示される傾き V_fyを利用して、次の式 (93) のように表される。

C_y(t) =V_fyxt

• · · (93) このようにして、時空間方向の定常性 25 1 1を表す関数 C_x (t)と関数 C_y (t) を定義すると、式（86) の積分範囲は、次の式（94) のように表される。 t_s = t-0.5

t_e = t+0.5

y_s = y-C_y(t)-0.5

y_e = y-C_y(t)+0.5

x_s = x-C_x(t)-0.5

x_e = x-C_x(t)+0.5

• · · (94) このように、 3次元近似手法においては、画素値 P(x，y，t)と、 3次元の近似関数 f (X, y, t)の関係を式（86) で表すことができるので、その式（86) の右辺の積分範囲として式（94) を利用して、近似関数 f(x，y，t)の n+ 1個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数 F(x，_y，t)

(時空間方向の所定の方向に定常性を有する実世界 1の光信号）を推定することが可能となる。図 8 7は、このような 3次元近似手法を利用する実世界推定部 1 0 2の構成例を表している。

なお、 3次元近似手法を利用する実世界推定部 1 0 2が演算する近似関数 f (x, y, t) (実際には、その特徴量（係数）を演算する）は、特に限定されない力以下の説明においては、 n (n=N-l) 次の多項式とされる。

図 8 7で示されるように、実世界推定部 1 0 2には、条件設定部 2 5 2 1、入力画像記憶部 2 5 2 2、入力画素値取得部 2 5 2 3、積分成分演算部 2 5 2 4、正規方程式生成部 2 5 2 5、および近似関数生成部 2 5 2 6が設けられている。条件設定部 2 5 2 1は、注目画素に対応する光信号関数 F (x，y，t)を推定するために使用する画素の範囲（タップ範囲）や、近似関数 f (x，y，t)の次数 nを設定する。

入力画像記憶部 2 5 2 2は、センサ 2からの入力画像（画素値）を一次格納する。

入力画素値取得部 2 5 2 3は、入力画像記憶部 2 5 2 2に記憶された入力画像のうちの、条件設定部 2 5 2 1により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部 2 5 2 5に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。

ところで、上述したように、 3次元近似手法を利用する実世界推定部 1 0 2は、上述した式 ( 8 6 ) (ただし積分範囲は、式（8 7 ) 、式（9 0 ) 、または式 ( 9 4 ) ) を利用して最小自乗法により近似関数 f (x，y, t)の N個の特徴量（いまの場合、各次の係数）を演算する。

式（8 6 ) の右辺は、その積分を演算することで、次の式（9 5 ) のように表現することができる。

n

P (x, y， t) = WjSj (x_s， x_e, y_s， y_e， t_s, t_e) +e

i =0

• · · ( 9 5 ) 式（95) において、 _Wi は、 i次項の係数（特徴量）を表しており、また、 Si (x_s,x_e,y_s,y_e)t_s,t_e) は、 i次項の積分成分を表している。ただし、 x_s は X 方向の積分範囲の開始位置を、 x_eは X方向の積分範囲の終了位置を、 y_s は Y方向の積分範囲の開始位置を、 y_eは Y方向の積分範囲の終了位置を、 t_s は t方向の積分範囲の開始位置を、 t_e は t方向の積分範囲の終了位置を、それぞれ表している。

積分成分演算部 2524は、この積分成分 Si (x₅,x_e,y_s,y_e,t_s,t_e) を演算する。

即ち、積分成分演算部 25 24は、条件設定部 25 2 1により設定されたタツプ範囲および次数、並びにデータ定常性検出部 1 0 1より出力されたデータ定常性情報のうちの角度若しくは動き（積分範囲として、上述した式（8 7) 若しくは式（90) が利用される場合には角度であり、上述した式（94) が利用される場合には動きである）に基づいて積分成分 Si (x₅,x_e)y_s,y_{e )}t_s,t_e) を演算し、その演算結果を積分成分テーブルとして正規方程式生成部 25 25に供給する。

正規方程式生成部 25 25は、入力画素値取得部 2523より供給された入力画素値テーブルと、積分成分演算部 2524より供給された積分成分テーブルを利用して、上述した式（95)' を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部 25 26に出力する。正規方程式の例については、後述する。

近似関数生成部 2526は、正規方程式生成部 25 25より供給された正規方程式テーブルに含まれる正規方程式を行列解法で解くことにより、特徴量 _Wi

(いまの場合、多項式である近似関数 f(x，y，t)の係数のそれぞれを演算し、画像生成部 1 03に出力する。

次に、図 88のフローチャートを参照して、 3次元近似手法が適用される実世界の推定処理（図 29のステップ S 1 02の処理）について説明する。はじめに、ステップ S 250 1において、条件設定部 252 1は、条件（タツプ範囲と次数）を設定する。

例えば、いま、 L個の画素からなるタップ範囲が設定されたとする。また、各画素のそれぞれに対して、所定の番号 1 (1は、 0乃至 L_ 1のうちのいずれかの整数値）が付されるとする。

次に、ステップ S 2502において、条件設定部 252 1は、注目画素を設定する。

ステップ S 2503において、入力画素値取得部 2523は、条件設定部 25 21により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テープルを生成する。いまの場合、 L個の入力画素値 P(x，y, t)からなるテーブルが生成されることになる。ここで、 L個の入力画素値 P(x, y，t)のそれぞれを、その画素の番号 1の関数として P(l)と記述することにする。即ち、入力画素値テーブルは、 L個の P(l)が含まれるテーブルとなる。

ステップ S 2504において、積分成分演算部 25 24は、条件設定部 2 52 1により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部 101より供給されたデータ定常性情報（角度若しくは動き）に基づいて積分成分を演算し、積分成分テーブルを生成する。

ただし、いまの場合、上述したように、入力画素値は、 P(x,y, t)でなく P(l) といった、画素の番号 1の値として取得されるので、積分成分演算部 2524 は、上述した式（9 5) の積分成分 Si (x_s,x_e,y_s,y_eJt_s,t_e) を、積分成分

Si (1)といった 1 の関数として演算することになる。即ち、積分成分テーブルは、 L X i個の Si (1)が含まれるテーブルとなる。

なお、ステップ S 2503の処理とステップ S 2504の処理の順序は、図 8 8の例に限定されず、ステップ S 2504の処理が先に実行されてもよいし、ステツプ S 2503の処理とステップ S 2504の処理が同時に実行されてもよレ、。次に、ステップ S 2505において、正規方程式生成部 25 25は、ステップ S 2503の処理で入力画素値取得部 25 23により生成された入力画素値テーブルと、ステップ S 2504の処理で積分成分演算部 25 24により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。

具体的には、いまの場合、最小自乗法により、上述した式（95) に対応する次の式（9 6) の特徴量を演算する。で、それに対応する正規方程式は、次の式（97) のように表される。 WjSjiD+e

(96)

… （97) 式 (97) で示される正規方程式の各行列のそれぞれを、次の式 (9 8) 乃至 (100) のように定義すると、正規方程式は、次の式（10 1) のように表される。

(98) ∑ L - -o s s

(9 9)

0

^PMAT =

∑ S_n(l)P(l)

\l=0 ノ

(1 00)

• ■ · (1 01) 式（99) で示されるように、行列 W_MAT の各成分は、求めたい特徴量 ^ である。従って、式（10 1) において、左辺の行列 S_MAT と右辺の行列 P_MATが決定されれば、行列解法によって行列 W_MAT (即ち、特徴量 _Wi) の算出が可能である。

具体的には、式（98) で示されるように、行列 S_MAT の各成分は、上述した積分成分 Si (1)が既知であれば演算可能である。積分成分 Si (1)は、積分成分演算部 2 524より供給された積分成分テーブルに含まれているので、正規方程式生成部 25 25は、積分成分テーブルを利用して行列 S_MATの各成分を演算することができる。

また、式（1 00) で示されるように、行列 P_MAT の各成分は、積分成分

(1)と入力画素値 P(l)が既知であれば演算可能である。積分成分 Si (1)は、行列 S_MATの各成分に含まれるものと同一のものであり、また、入力画素値 P(l) は、入力画素値取得部 2523より供給された入力画素値テーブルに含まれているので、正規方程式生成部 2525は、積分成分テーブルと入力画素値テーブルを利用して行列 P_MATの各成分を演算することができる。

このようにして、正規方程式生成部 2525は、行列 S_MAT と行列 P_MAT の各成分を演算し、その演算結果（行列 S_MAT と行列 P_MAT の各成分）を正規方程式テーブルとして近似関数生成部 2526に出力する。

正規方程式生成部 2526より正規方程式テーブルが出力されると、ステップ S 2506において、近似関数生成部 2526は、正規方程式テーブルに基づいて、上述した式（101) の行列 W_MATの各成分である特徴量 _Wi (即ち、近似関数 f (X, y, t)の係数を演算する。

具体的には、上述した式（101) の正規方程式は、次の式（102) のように変形できる。

¾Γ ^{= S} AT^PMAT

· ■ · (102) 式（102) において、左辺の行列 W_MATの各成分が、求めたい特徴量^ である。また、行列 S_MAT と行列 P_MATのそれぞれの各成分は、正規方程式生成部 2525より供給された正規方程式テーブルに含まれている。従って、近似関数生成部 2526は、正規方程式テーブルを利用して、式（102) の右辺の行列演算を行うことで行列 _AT を演算し、その演算結果（特徴量 _Wi) を画像生成部 103に出力する。

ステップ S 2507において、近似関数生成部 2526は、全画素の処理を終了したか否かを判定する。

ステップ S 2507において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 2502に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 2 5 0 2乃至 S 2 5 0 7の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 2 5 0 7において、全画素の処理が終了されたと判定されると）、実世界 1の推定処理は終了となる。

以上、説明したように、 3次元近似手法は、 1次元や 2次元ではなく、時空間方向の 3次元の積分効果を考慮しているので、 1次元近似手法や 2次元近似手法に比較して、より正確に実世界 1の光信号を推定することが可能になる。

次に、図 8 9乃至図 1 1 0を参照して、画像生成部 1 0 3 (図 3 ) の実施の形態の 1例について説明する。

図 8 9は、この例の実施の形態の原理を説明する図である。

図 8 9で示されるように、この例の実施の形態においては、実世界推定部 1 0 2が、関数近似手法を利用することが前提とされている。即ち、センサ 2に入射される画像である、実世界 1の信号（光の強度の分布）力所定の関数 Fで表されるとして、実世界推定部 1 0 2が、センサ 2から出力された入力画像（画素値 P ) と、データ定常性検出部 1 0 1から出力されたデータ定常性情報を使用して、関数!⁷を所定の関数 f で近似することによって、関数 Fを推定することが前提とされている。

なお、以下、この例の実施の形態の説明においても、画像である、実世界 1の信号を、特に光信号と称し、関数 Fを、特に光信号関数 Fと称する。また、関数 ίを、特に近似関数 f と称する。

そこで、この例の実施の形態においては、このような前提に基づいて、画像生成部 1 0 3が、データ定常性検出部 1 0 1から出力されたデータ定常性情報と、実世界推定部 1 0 2から出力された実世界推定情報（図 8 9の例では、近似関数 f の特徴量、または特徴量が特定された近似関数 f) を使用して、近似関数 f を所定の時空間範囲で積分し、その積分値を出力画素値 M (出力画像）として出力する。なお、この例の実施の形態においては、入力画像の画素と出力画像の画素を区別するために、入力画素値を Pと記述し、出力画素値を Mと記述する。換言すると、光信号関数 Fが 1度積分されて入力画素値 Pとなり、その入力画素値 Pから光信号関数 Fが推測され（近似関数 f で近似され）、推測された光信号関数 F (即ち、近似関数 f) が再度積分されて、出力画素値 Mが生成される。従って、以下、画像生成部 1 0 3が実行する近似関数 f の積分を、再積分と称する。また、この例の実施の形態を、再積分手法と称する。

なお、後述するように、再積分手法において、出力画素値 Mが生成される場合の近似関数 f の積分範囲は、入力画素値 Pが生成される場合の光信号関数 Fの積分範囲（即ち、空間方向においては、センサ 2の検出素子の縦幅と横幅であり、時間方向においては、センサ 2の露光時間である）に限定されず、任意の積分範囲とすることが可能である。

例えば、出力画素値 Mが生成される場合、近似関数 f の積分範囲のうちの空間方向の積分範囲を可変することで、その積分範囲に応じて出力画像の画素ピッチを可変することが可能になる。即ち、空間解像度の創造が可能になる。

同様に、例えば、出力画素値 Mが生成される場合、近似関数 f の積分範囲のうちの時間方向の積分範囲を可変することで、時間解像度の創造が可能になる。以下、図面を参照して、このような再積分手法のうちの 3つの具体的な手法についてそれぞれ個別に説明していく。

即ち、 3つの具体的な手法とは、関数近似手法の 3つの具体的な手法（実世界推定部 1 0 2の実施の形態の上述した 3つの具体的な例）のそれぞれに対応する再積分手法である。

具体的には、 1つ目の手法は、上述した 1次元近似手法（関数近似手法の 1手法）に対応する再積分手法である。従って、 1つ目の手法では 1次元の再積分を行うことになるので、以下、このような再積分手法を、 1次元再積分手法と称する。

2つ目の手法は、上述した 2次元近似手法（関数近似手法の 1手法）に対応する再積分手法である。従って、 2つ目の手法では 2次元の再積分を行うことになるので、以下、このような再積分手法を、 2次元再積分手法と称する。 3つ目の手法は、上述した 3次元近似手法（関数近似手法の 1手法）に対応する再積分手法である。従って、 3つ目の手法では 3次元の再積分を行うことになるので、以下、このような再積分手法を、 3次元再積分手法と称する。

以下、 1次元再積分手法、 2次元再積分手法、および 3次元再積分手法のそれぞれの詳細について、その順番で説明していく。

はじめに、 1次元再積分手法について説明する。

1次元再積分手法においては、 1次元近似手法により近似関数 f (X)が既に生成されていることが前提とされる。

即ち、 3次元の空間上の位置 x，y、および z、並びに時刻 tを変数とする光信号関数 F(x,y，t)を、空間方向である X方向、 Y方向、および Z方向、並びに時間方向である t方向のうちの所定の 1方向（例えば、 X方向）に射影した 1次元の波形（再積分手法の説明においても、このような波形のうちの X方向に射影した波形を、 X断面波形 F(x)と称することにする） I n次（nは、任意の整数）の多項式などの近似関数 f(x)で近似されていることが前提とされる。

この場合、 1次元再積分手法においては、出力画素値 Mは、次の式（103) のように演算される。

• · ■ (10 3) なお、式（1 03) において、 x_sは、積分開始位置を表しており、 x_e は、積分終了位置を表している。また、 G_eは、所定のゲインを表している。

具体的には、例えば、いま、実世界推測部 102が、図 90で示されるような画素 3 10 1 (センサ 2の所定の 1つの検出素子に対応する画素 3 10 1) を注目画素として、図 90で示されるような近似関数 f(x) (X断面波形 F(x)の近似関数 f(x)) を既に生成しているとする。

なお、図 90の例では、画素 3 10 1の画素値（入力画素値）が Pとされ、かつ、画素 3 101の形状が、 1辺の長さが 1の正方形とされている。また、空間方向のうちの、画素 3 1 0 1の 1辺に平行な方向（図中水平方向）が X方向とされ、 X方向に垂直な方向（図中垂直方向）が Y方向とされている。

また、図 90の下側に、画素 3 10 1の中心が原点とされる空間方向（X方向と Y方向）の座標系（以下、注目画素座標系と称する）と、その座標系における画素 3 10 1が示されている。

さらに、図 90の上方に、 y=0 (yは、図中下側で示される注目画素座標系の Y方向の座標値）における近似関数 f(x)をグラフ化したものが示されている。このグラフにおいて、図中水平方向に平行な軸は、図中下側で示される注目画素座標系の X方向の X軸と同一の軸であり（原点も同一であり）、また、図中垂直方向に平行な軸は、画素値を表す軸とされている。

この場合、近似関数 f(x)と画素 3 1 0 1の画素値 Pの間には、次の式（10 4) の関係が成立する。

(104) また、図 90で示されるように、画素 3 10 1は、傾き G_f で表される空間方向のデータの定常性を有しているとする。そして、データ定常性検出部 10 1 (図 8 9) 、傾き G_f で表されるデータの定常性に対応するデータ定常性情報として、図 90で示されるような角度 Θを既に出力しているとする。

この場合、例えば、 1次元再積分方法においては、図 9 1で示されるように、 X方向に一 0. 5乃至 0. 5の範囲、かつ Y方向に _0. 5乃至 0. 5の範囲 (図 90の画素 3 1 0 1が位置する範囲）に、 4個の画素 3 1 1 1乃至画素 3 1 14を新たに創造することが可能である。

なお、図 9 1の下側に、図 90のものと同一の注目画素座標系と、その注目画素座標系における画素 3 1 1 1乃至画素 3 1 14が示されている。また、図 9 1 の上側に、図 90のものと同一のグラフ（y=0における近似関数 f (X)をグラフ化したもの）が示されている。具体的には、図 9 1で示されるように、 1次元再積分方法においては、次の式 (105) により画素 3 1 1 1の画素値 M (1) の算出が、次の式（1 06) により画素 3 1 1 2の画素値 M (2) の算出が、次の式（1 07) により画素 3 1 1 3の画素値 M ( 3 ) の算出が、次の式（108) により画素 3 1 14の画素値 M (4) の算出が、それぞれ可能である。

M(1) =2x I ^te1f (x)dx

… (105) f (x)dx

•^:s2

• · · (106) f (x)dx

【s3

• · · (107) f (x)dx

-【s4

- · ■ (108) なお、式（1 05) の x_{s l}、式（106) の x_s2、式（107) の x_sいおよび式（1 08) の x_s4 のそれぞれは、対応する式の積分開始位置を表している。また、式（1 0 5) の x_eい式（1 06) の x_eい式（107) の x_e3、および式（1 08) の x_e4のそれぞれは、対応する式の積分終了位置を表している。式（105) 乃至式（108) のそれぞれの右辺の積分範囲は、画素 3 1 1 1 乃至画素 3 1 14のそれぞれの画素幅（X方向の長さ）となる。即ち、 x_el - x_sい x_e2_x_s2,x_e3- x_s3，x_e4- x_s4 のそれぞれは、 0. 5となる。

ただし、いまの場合、 y=0における近似関数 f (X)と同一形状の 1次元の波形ヽ Y方向ではなく、傾き G_f で表されるデータの定常性の方向（即ち、角度 0 方向）に連なっていると考えられる（実際には、 y=0における X断面波形 F(x) と同一形状の波形が定常性の方向に連なっている）。即ち、図 9 1の注目画素座標系における原点（0, 0) (図 90の画素 3 1 01の中心）における画素値 f(0)を ' 画素値 flとした場合、画素値 Πが続く方向は、 Y方向ではなく、傾き G_f で表されるデータの定常性の方向（角度 0方向）である。

換言すると、 Y方向の所定の位置 y (ただし、 yは 0以外の数値）における近似関数 f(x)の波形を考えた場合、画素値 Πとなる位置は、位置（0,y) ではなく、位置（0, y) から X方向に所定の量（ここでも、このような量をシフト量と称することにする。また、シフト量は、 Y方向の位置 yに依存する量であるので、このシフト量を C_x (y)と記述することにする）だけ移動した位置（C_x (y)，y) である。従って、上述した式（1 05) 乃至式（108) のそれぞれの右辺の積分範囲として、求めたい画素値 M (1) (ただし、 1は、 1乃至 4のうちのいずれかの整数値）の中心が存在する Y方向の位置 yを考慮した範囲、即ち、シフト量 C_x (y)を考慮した積分範囲の設定が必要である。

具体的には、例えば、画素 3 1 1 1と画素 3 1 1 2の中心が存在する Y方向の位置 yは、 y=0ではなく、 y=0.25である。

従って、 y=0.25における近似関数 f ）の波形は、 y=0における近似関数 f (X)の波形を X方向にシフト量 C_x (0.25)だけ移動させた波形に相当する。

換言すると、上述した式（105) において、画素 3 1 1 1に対する画素値 M(l)は、 y=0における近似関数 f(x)を所定の積分範囲（開始位置 x_slから終了位置 x_el まで）で積分したものであるとすると、その積分範囲は、開始位置 x_{s l} =_0.5から終了位置 x_{e l} = 0までの範囲（画素 3 1 1 1が X方向に占める範囲そのもの）ではなく、図 9 1で示される範囲、即ち、開始位置 x_{s l}=-0.5 + C_x (0.25)から終了位置 x_el = 0 +C_X (0.25) (シフト量 C_x (0.25)だけ画素 3 1 1 1を仮に移動させた場合における、画素 3 1 1 1が X方向に占める範囲）となる。

同様に、上述した式（1 06) において、画素 3 1 1 2に対する画素値 M (2) は、 y=0における近似関数 f(x)を所定の積分範囲（開始位置 x_s2から終了位置 x_e2まで）で積分したものであるとすると、その積分範囲は、開始位置 x_s2 = 0 から終了位置 x_e2 =0.5までの範囲（画素 3 1 1 2の X方向に占める範囲そのもの）ではなく、図 9 1で示される範囲、即ち、開始位置 x_s2 = 0+C_x (0.25)から終了位置 x_el=0.5 + C_x (0.25) (シフト量 C_x (0.25)だけ画素 3 1 1 2を仮に移動させた場合における、画素 3 1 1 2の X方向に占める範囲）となる。

また、例えば、画素 3 1 1 3と画素 3 1 14の中心が存在する Y方向の位置 y は、 y=0ではなく、 y=- 0.25である。

従って、 y=- 0.25における近似関数 f(x)の波形は、 y=0における近似関数 f (X)の波形を X方向にシフト量 C_x (-0.25)だけ移動させた波形に相当する。換言すると、上述した式（107) において、画素 3 1 1 3に対する画素値 M(3)は、 y=0における近似関数 f(x)を所定の積分範囲（開始位置 x_s3から終了位置 x_e3まで）で積分したものであるとすると、その積分範囲は、開始位置 x_{s 3} =- 0.5から終了位置 x_e3 = 0までの範 ffl (画素 3 1 1 3の X方向に占める範囲そのもの）ではなく、図 9 1で示される範囲、即ち、開始位置 x_{s 3}=- 0.5 + C_x (- 0.25)から終了位置 x_e3 = 0+C_x (-0.25) (シフト量 C_x (-0.25)だけ画素 3 1 1 3を仮に移動させた場合における、画素 3 1 1 3の X方向に占める範囲）となる。

同様に、上述した式（108) において、画素 3 1 14に対する画素値 M(4) は、 y=0における近似関数 f (X)を所定の積分範囲（開始位置 x_s4から終了位置 x_e4まで）で積分したものであるとすると、その積分範囲は、開始位置 x_s4 = 0 から終了位置 x_e4 =0.5までの範囲（画素 3 1 14の X方向の占める範囲そのもの）ではなく、図 9 1で示される範囲、即ち、開始位置 x_s4 = 0+C_x (- 0.25)から終了位置 x_el=0.5 + C_x (-0.25) (シフト量 C_x (-0.25)だけ画素 3 1 1 4を仮に移動させた場合における、画素 3 1 14の X方向に占める範囲）となる。

従って、画像生成部 1 02 (図 89) は、上述した式（105) 乃至式（10 8) のそれぞれに、上述した積分範囲のうちの対応するものを代入してそれぞれ演算し、それらの演算結果を出力画素値 M(l)乃至 M (4) のそれぞれとして出力することになる。

このように、画像生成部 1 02は、 1次元再積分手法を利用することで、センサ 2 (図 8 9) からの出力画素 3 10 1 (図 90) における画素として、出力画素 3 1 01よりも空間解像度の高い 4つの画素、即ち、画素 3 1 1 1乃至画素 3 1 14 (図 9 1) を創造することができる。さらに、図示はしないが、上述したように、画像生成部 10 2は、画素 3 1 1 1乃至画素 3 1 14のみならず、積分範囲を適宜変えることで、出力画素 3 10 1に対して任意の倍率の空間解像度の画素を劣化することなく創造することができる。

図 9 2は、このような 1次元再積分手法を利用する画像生成部 1 03の構成例を表している。

図 9 2で示されるように、この例の画像生成部 103には、条件設定部 3 1 2 1、特徴量記憶部 3 1 22、積分成分演算部 3 1 23、および出力画素値演算部 3 1 24が設けられている。

条件設定部 3 1 2 1は、実世界推定部 1 02より供給された実世界推定情報 (図 9 2の例では、近似関数 f (X)の特徴量）に基づいて近似関数 f(x)の次数 n を設定する。

条件設定部 3 1 2 1はまた、近似関数 f(x)を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部 3 1 2 1が設定する積分範囲は、画素の幅である必要は無い。例えば、近似関数 f (x) は空間方向（X 方向）に積分されるので、センサ 2 (図 8 9) からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部 103がこれから演算する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な積分範囲の決定が可能である。従って、条件設定部 3 1 21は、積分範囲として、例えば、空間解像度倍率を設定することもできる。

特徴量記憶部 3 1 22は、実世界推定部 102より順次供給されてくる近似関数 f(x)の特徴量を一次的に記憶する。そして、特徴量記憶部 3 122は、近似関数 (x) の特徴量の全てを記憶すると、近似関数 f(x)の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部 31 24に供給する。

ところで、上述したように、画像生成部 103は、上述した式（103) を利用して出力画素値 Mを演算するが、上述した式（103) の右辺に含まれる近似関数 f(x)は、具体的には、次の式（109) のように表される。

n .

f (X) = ∑ Wj χχ'

i=0

• ■ · (1 0 9) なお、式（1 09) において、は、実世界推定部 102より供給される近似関数 f(x)の特徴量を表している。

従って、上述した式（103) の右辺の近似関数 f(x)に、式（1 09) の近似関数 f (X) を代入して、式（10 3) の右辺を展開（演算）すると、出力画素値 Mは、次の式（1 10) のように表される。 = G_eX∑ W. X 、^e .~ ^ΰ

i=o i + l

n .

=∑ Wj xkj (x_s， x_e)

i=0

• · ■ (1 1 0) 式（1 1 0) において、 Ki (x_s,x_e) は、 i次項の積分成分を表している。即ち、積分成分 (x_s,x_e) は、次の式 (1 1 1) で示される通りである。

積分成分演算部 3 1 23は、この積分成分 (x_s,x_e) を演算する。

具体的には、式（1 1 1) で示されるように、積分成分 (x_s,x_e) は、積分範囲の開始位置 x_s、および終了位置 x_e、ゲイン G_e、並びに i次項の iが既知であれば演算可能である。これらのうちの、ゲイン G_e は、条件設定部 31 21により設定された空間解像度倍率（積分範囲）により決定される。

iの範囲は、条件設定部 3 1 2 1により設定された次数 nにより決定される。また、積分範囲の開始位置 x_s、および終了位置 x_eのそれぞれは、これから生成する出力画素の中心画素位置（x,y)および画素幅、並びにデータの定常性の方向を表すシフト量 C_x (y)により決定される。なお、（x,y)は、実世界推定部 10

2が近似関数 f (X)を生成したときの注目画素の中心位置からの相対位置を表している。

さらに、これから生成する出力画素の中心画素位置（x,y)および画素幅のそれぞれは、条件設定部 3 1 21により設定された空間解像度倍率（積分範囲）により決定される。

また、シフト量 C_x (y)と、データ定常性検出部 10 1より供給された角度 0は、次の式（1 1 2) と式（1 1 3) のような関係が成り立つので、シフト量 C_x (y) は角度 0により決定される。

G_f = tan θ =

' dx

• · · (1 1 2)

G_x(y) =

• · ■ (1 1 3) なお、式（1 1 2) において、 G_f は、データの定常性の方向を表す傾きを表しており、 0は、データ定常性検出部 10 1 (図 8 9) より出力されるデータ定常性情報の 1つである角度（空間方向の 1方向である X方向と、傾き G_f で表されるデータの定常性の方向とのなす角度）を表している。また、 dxは、 X方向の微小移動量を表しており、 dyは、 dxに対する Y方向（X方向と垂直な空間方向）の微小移動量を表している。従って、積分成分演算部 3 1 2 3は、条件設定部 3 1 2 1により設定された次数および空間解像度倍率（積分範囲）、並びにデータ定常性検出部 1 0 1より出力されたデータ定常性情報のうちの角度 Θに基づいて積分成分 (x_s , x_e ) を演算し、その演算結果を積分成分テーブルとして出力画素値演算部 3 1 2 4に供給する。 .

出力画素値演算部 3 1 2 4は、特徴量記憶部 3 1 2 2より供給された特徴量テ一ブルと、積分成分演算部 3 1 2 3より供給された積分成分テーブルを利用して、上述した式（1 1 0 ) の右辺を演算し、その演算結果を出力画素値 Mとして外部に出力する。

次に、図 9 3のフローチャートを参照して、 1次元再積分手法を利用する画像生成部 1 0 3 (図 9 2 ) の画像の生成の処理（図 2 9のステップ S 1 0 3の処理）について説明する。

例えば、いま、上述した図 2 9のステップ S 1 0 2の処理で、実世界推測部 1 0 2が、上述した図 9 0で示されるような画素 3 1 0 1を注目画素として、図 9 0で示されるような近似関数 f (x)を既に生成しているとする。

また、上述した図 2 9のステップ S 1 0 1の処理で、データ定常性検出部 1 0 1が、データ定常性情報として、図 9 0で示されるような角度 Θを既に出力しているとする。

この場合、図 9 3のステップ S 3 1 0 1において、条件設定部 3 1 2 1は、条件（次数と積分範囲）を設定する。

例えば、いま、次数として 5が設定されるとともに、積分範囲として空間 4倍密（画素のピッチ幅が上下左右ともに 1/2倍となる空間解像度倍率）が設定されたとする。

即ち、この場合、図 9 1で示されるように、 X方向に一 0 . 5乃至 0 . 5の範囲、かつ Y方向に一 0 . 5乃至 0 . 5の範囲（図 9 0の画素 3 1 0 1の範囲）に、 4個の画素 3 1 1 1乃至画素 3 1 1 4を新たに創造することが設定されたことになる。ステップ S 3 1 0 2において、特徴量記憶部 3 1 2 2は、実世界推定部 1 0 2 より供給された近似関数 f(x)の特徴量を取得し、特徴量テーブルを生成する。いまの場合、 5次の多項式である近似関数 f(x)の係数^乃至 w₅が実世界推定部 1 0 2より供給されるので、特徴量テーブルとして、（M^ Wp W^ W W Ws ) が生成される。

ステップ S 3 1 0 3において、積分成分演算部 3 1 2 3は、条件設定部 3 1 2 1により設定された条件（次数および積分範囲）、並びにデータ定常性検出部 1 0 1より供給されたデータ定常性情報（角度 0 ) に基づいて積分成分を演算し、積分成分テーブルを生成する。

具体的には、例えば、これから生成する画素 3 1 1 1乃至画素 3 1 1 4のそれぞれに対して、番号（このような番号を、以下、モード番号と称する） 1乃至 4 のそれぞれが付されているとすると、積分成分演算部 3 1 2 3は、上述した式

( 1 1 1) の積分成分 (x_s , χ_β ) を、次の式 ( 1 1 4) の左辺で示される積分成分ひ）といった 1 (ただし、 1はモード番号を表している）の関数として演算する。

• · · (1 1 4)

具体的には、いまの場合、次の式（1 1 5) で示される積分成分（1)が演算される。 kj(1) = kj (—0, 5-C_x(-0.25),0-C_x(-0.25))

kj (2) = kj (0-C_x (-0.25), 0.5-C_x (-0.25))

kj(3) = kj (-0.5-C_x (0.25)， 0-C_x (0.25))

kj (4) = kj (0-C_x(0.25),0.5-C_x(0.25))

• · · ( 1 1 5) なお、式 ( 1 1 5) において、左辺が積分成分 Ki (1)を表し、右辺が積分成分 (x_s,x_e) を表している。即ち、いまの場合、 1は、 1乃至 4のうちのいずれかであり、かつ、 iは 0乃至 5のうちのいずれかであるので、 6個の（1), 6 個の（2), 6個の（3), 6個の（4)の総計 24個の（1)が演算されることになる。

より具体的には、はじめに、積分成分演算部 3 1 2 3は、データ定常性検出部 1 0 1より供給された角度 6を使用して、上述した式（1 1 2) と式（1 1 3) よりシフト量 C_x (- 0.25)、およぴ（0.25)のそれぞれを演算する。

次に、積分成分演算部 3 1 2 3は、演算したシフト量 C_x (-0.25)、および

C_x (0.25)を使用して、式（1 1 5) の 4つの式の各右辺の積分成分

(x_{s )}x_e) のそれぞれを、 i= 0乃至 5についてそれぞれ演算する。なお、この積分成分 Ki (x_s , x_e ) の演算においては、上述した式（1 1 1 ) が使用される。そして、積分成分演算部 3 1 2 3は、式（1 1 5) に従って、演算した 24個の積分成分 ^ (x_s,x_e) のそれぞれを、対応する積分成分（1)に変換し、変換した 24個の積分成分（1) (即ち、 6個の（1)、 6個の（2)、 6個の（³)、および 6個の（4)) を含む積分成分テーブルを生成する。

なお、ステップ S 3 1 0 2の処理とステップ S 3 1 0 3の処理の順序は、図 9 3の例に限定されず、ステップ S 3 1 0 3の処理が先に実行されてもよいし、ステツプ S 3 1 0 2の処理とステップ S 3 1 0 3の処理が同時に実行されてもよい。次に、ステップ S 3 1 04において、出力画素値演算部 3 1 24は、ステップ S 3 1 0 2の処理で特徴量記憶部 3 1 2 2により生成された特徴量テーブルと、ステップ S 3 1 0 3の処理で積分成分演算部 3 1 2 3により生成された積分成分テーブルに基づいて出力画素値 M(l)乃至 M (4)のそれぞれを演算する。

具体的には、いまの場合、出力画素値演算部 3 1 24は、上述した式（1 1 0) に対応する、次の式（1 1 6) 乃至式（1 1 9) の右辺を演算することで、画素 3 1 1 1 (モード番号 1の画素）の画素値 M(l)、画素 3 1 1 2 (モード番号 2の画素）の画素値 M (2)、画素 3 1 1 3 (モード番号 3の画素）の画素値

M(3)、および画素 3 1 1 4 (モード番号 4の画素）の画素値 M (4)のそれぞれを演算する。

• · · (1 1 6)

• · · (1 1 7)

• ■ · (1 1 8)

■ · · (1 1 9) ステップ S 3 1 05において、出力画素値演算部 3 1 24は、全画素の処理を終了したか否かを判定する。

ステップ S 3 105において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 3 1 02に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 3 1 02乃至 S 3 1 04の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 3 10 5において、全画素の処理が終了されたと判定すると）、出力画素値演算部 3 1 24は、ステップ S 3 1 06において、画像を出力する。その後、画像の生成の処理は終了となる。次に、図 94乃至図 10 1を参照して、所定の入力画像に対して、 1次元再積分手法を適用して得られた出力画像と、他の手法（従来のクラス分類適応処理）を適用して得られた出力画像の違いについて説明する。

図 94は、入力画像の元の画像を示す図であり、図 95は、図 94の元の画像に対応する画像データを示している。図 9 5において、図中垂直方向の軸は、画素値を示し、図中右下方向の軸は、画像の空間方向の一方向である X方向を示し、図中右上方向の軸は、画像の空間方向の他の方向である Y方向を示す。なお、後述する図 9 7、図 9 9、およぴ図 1 0 1の軸のそれぞれは、図 9 5の軸と対応している。

図 9 6は、入力画像の例を示す図である。図 9 6で示される入力画像は、図 9 4で示される画像の 2 X 2の画素からなるプロックに属する画素の画素値の平均値を、 1つの画素の画素値として生成された画像である。即ち、入力画像は、図 9 4で示される画像に、センサの積分特性を模した、空間方向の積分を適用することにより得られた画像である。また、図 9 7は、図 9 6の入力画像に対応する画像データを示している。

図 9 4で示される元の画像において、上下方向から、ほぼ 5度時計方向に傾いた細線の画像が含まれている。同様に、図 9 6で示される入力画像において、上下方向から、ほぼ 5度時計方向に傾いた細線の画像が含まれている。

図 9 8は、図 9 6で示される入力画像に、従来のクラス分類適応処理を適用して得られた画像（以下、図 9 8で示される画像を、従来の画像と称する）を示す図である。また、図 9 9は、従来の画像に対応する画像データを示している。なお、クラス分類適応処理は、上述したように、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理では、例えば、低画質または標準画質の画像が、所定のタップ係数を用いてマッピング（写像）されることにより、高画質の画像に変換される。

図 1 0 0は、図 9 6で示される入力画像に、 1次元再積分手法を適用して得られた画像（以下、図 1 0 0で示される画像を、再積分画像と称する）を示す図である。また、図 1 0 1は、再積分画像に対応する画像データを示している。図 9 8の従来の画像と、図 1 0 0の再積分画像を比較するに、従来の画像においては、細線の画像が、図 9 4の元の画像とは異なるものになっているのに対して、再積分画像においては、細線の画像が、図 9 4の元の画像とほぼ同じものになっていることがわかる。この違いは、従来のクラス分類適応処理は、あくまでも図 9 6の入力画像を基準（原点）として処理を行う手法であるのに対して、 1次元再積分手法は、細線の定常性を考慮して、図 9 4の元の画像を推定し（元の画像に対応する近似関数 f (x)を生成し）、推定した元の画像を基準（原点）として処理を行う（再積分して画素値を演算する）手法であるからである。

このように、 1次元再積分手法においては、 1次元近似手法により生成された 1次元の多項式などの近似関数 f (x) (実世界の X断面波形 F (X)の近似関数 f (x) )

を基準（原点）として、近似関数 f (x)を任意の範囲に積分することで出力画像 (画素値）が生成される。

従って、 1次元再積分手法においては、従来の他の手法に比較して、元の画像 (センサ 2に入射される前の実世界 1の光信号）により近い画像の出力が可能になる。

また、 1次元再積分手法においては、上述したように、積分範囲は任意なので、積分範囲を可変することにより、入力画像の解像度とは異なる解像度（時間解像度、または空間解像度）を創造することも可能になる。即ち、入力画像の解像度に対して、整数値だけではなく任意の倍率の解像度の画像を生成することが可能になる。

さらに、 1次元再積分手法においては、他の再積分手法に比較して、より少ない演算処理量で出力画像（画素値）の算出が可能となる。

次に、図 1 0 2乃至図 1 0 8を参照して、 2次元再積分手法について説明する。 2次元再積分手法においては、 2次元近似手法により近似関数 f (X, y)が既に生成されていることが前提とされる。

即ち、例えば、図 1 0 2で示されるような、傾き G_Fで表される空間方向の定常性を有する実世界 1 (図 8 9 ) の光信号を表す画像関数 F (x，y，t)を、空間方向（X方向と Y方向）に射影した波形、即ち、 X— Y平面上の波形 F (x, y)が、 n 次（nは、任意の整数）の多項式などの近似関数 f(x,y)に近似されていることが前提とされる。

図 1 02において、図中、水平方向は、空間方向の 1方向である X方向を、右上方向は、空間方向の他方向である Y方向を、垂直方向は、光のレベルを、それぞれ表している。 G_pは、空間方向の定常性の傾きを表している。

なお、図 102の例では、定常性の方向は、空間方向（X方向と Y方向）とされているため、近似の対象とされる光信号の射影関数は、関数 F(x，y)とされているが、後述するように、定常性の方向に応じて、関数 F(x,t)や関数 F(y,t)が近似の対象とされてもよい。

図 102の例の場合、 2次元再積分手法においては、出力画素値 Mは、次の式 (1 20) のように演算される。

^{M = X}Jy_{s x}:^ef(X'^y)dXdy

• · · (1 20) なお、式（1 20) において、 y_s は、 Y方向の積分開始位置を表しており、 y_eは、 Y方向の積分終了位置を表している。同様に、 x_s は、 X方向の積分開始位置を表しており、 x_eは、 X方向の積分終了位置を表している。また、 G_eは、所定のゲインを表している。

式（1 20) において、積分範囲は任意に設定可能であるので、 2次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ 2 (図 8 9 ) からの入力画像の画素）に対して任意の倍率の空間解像度の画素を劣化することなく創造することが可能になる。

図 1 03は、 2次元再積分手法を利用する画像生成部 1 03の構成例を表している。

図 1 03で示されるように、この例の画像生成部 1 03には、条件設定部 3 2 0 1、特徴量記憶部 3202、積分成分演算部 3 203、および出力画素値演算部 3204が設けられている。条件設定部 3 2 0 1は、実世界推定部 1 0 2より供給された実世界推定情報 (図 1 0 3の例では、近似関数 f (x，y)の特徴量）に基づいて近似関数 f (x，y)の次数 nを設定する。

条件設定部 3 2 0 1はまた、近似関数 f (x，y)を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部 3 2 0 1が設定する積分範囲は、画素の縦幅や横幅である必要は無い。例えば、近似関数 f (x, y) は空間方向（X方向と Y方向）に積分されるので、センサ 2からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部 1 0 3がこれから生成する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な積分範囲の決定が可能である。従って、条件設定部 3 2 0 1は、積分範囲として、例えば、空間解像度倍率を設定することもできる。

特徴量記憶部 3 2 0 2は、実世界推定部 1 0 2より順次供給されてくる近似関数 f (x, y)の特徴量を一次的に記憶する。そして、特徴量記憶部 3 2 0 2は、近似関数 f (x，y)の特徴量の全てを記憶すると、近似関数 f (x，y)の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部 3 2 0 4に供給する。

ここで、近似関数 f (x, y)の詳細について説明する。

例えば、いま、上述した図 1 0 2で示されるような傾き G_Fで表される空間方向の定常性を有する実世界 1 (図 8 9 ) の光信号（波形 F (x，y) で表される光信号）が、センサ 2 (図 8 9 ) により検出されて入力画像（画素値）として出力されたとする。

さらに、例えば、図 1 0 4で示されるように、データ定常性検出部 1 0 1 (図 3 ) 力、この入力画像のうちの、 X方向に 4画素分、かつ Y方向に 5画素分の総計 2 0個の画素（図中、点線で表される 2 0個の正方形）から構成される入力画像の領域 3 2 2 1に対してその処理を実行し、データ定常性情報の 1つとして角度 Θ (傾き G_F に対応する傾き G_f で表されるデータの定常性の方向と、 X方向とのなす角度 e ) を出力したとする。なお、実世界推定部 1 02から見ると、データ定常性検出部 10 1は、注目画素における角度 0を単に出力すればよいので、データ定常性検出部 10 1の処理範囲は、上述した入力画像の領域 3221に限定されない。

また、入力画像の領域 322 1において、図中水平方向は、空間方向の 1方向である X方向を表しており、図中垂直方向は、空間方向の他方向である Y方向を表している。

さらに、図 1 04中、左から 2画素目であって、下から 3画素目の画素が注目画素とされ、その注目画素の中心を原点（0，0)とするように（x，y)座標系が設定されている。そして、原点（0,0)を通る角度 0の直線（データの定常性の方向を表

す傾き G_f の直線）に対する X方向の相対的な距離（以下、断面方向距離と称する）が x' とされている。

さらに、図 1 04中、右側のグラフは、 3次元の空間上の位置 x,y、および z、並びに時刻 tを変数とする画像関数 F(x，y, t)を、 Y方向の任意の位置 yにおいて、 X方向に射影した 1次元の波形（以下、このような波形を、 X断面波形 .

F(x⁵ )と称する）が近似された関数であって、 n次（nは、任意の整数）の多項式などの近似関数 f(x' )を表している。右側のグラフの軸のうち、図中水平方向の軸は、断面方向距離を表しており、図中垂直方向の軸は、画素値を表している。

この場合、図 1 04で示される近似関数 f (x，）は、 n次の多項式であるので、次の式 (1 2 1) のように表される。

π .

f ') = W₀+W₁X'H-W9X' + "' '+W_nx'ⁿ = ∑ WjX"

ί=0

• · · (1 21) また、角度 Θが決定されていることから、原点（0，0)を通る角度 6の直線は一意に決まり、 Υ方向の任意の位置 yにおける、直線の X方向の位置 _Xl力次の式（1 22) のように表される。ただし、式 (1 22) において、 sは cot Θを表している。

x w

X| = sxy

… (1 22) 即ち、図 104で示されるように、傾き G_f で表されるデータの定常性に対応する直線上の点は、座標値（_Xl , y)で表される。

式（1 22) より、断面方向距離 x' は、次の式 (1 23) のように表される。 x， = x-X| = x-s xy

- … (1 23) 従って、入力画像の領域 322 1内の任意の位置（x,y)における近似関数 f(x，y)は、式（1 21) と式（1 23) より、次の式 (1 24) のように示される。

门

f{x, y) = ∑ Wj (x— sxy)

i=0

. · · ■ (1 24) なお、式（1 24) において、 ^ は、近似関数 f (x，y)の特徴量を表している。図 1 03に戻り、式（1 24) に含まれる特徴量^ ヽ実世界推定部 102 より供給され、特徴量記憶部 3202に記憶される。特徴量記憶部 3202は、式（1 24) で表される特徴量の全てを記憶すると、特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部 3 204に供給する。

また、上述した式（1 20) の右辺の近似関数 f (x,y)に、式（1 24) の近似関数 f (x,y) を代入して、式（1 20) の右辺を展開（演算）すると、出力画素値 Mは、次の式（1 25) のように表される。 i(x_e-sxy_e)ⁱ⁺-(x_e-sxy_s)ⁱ⁺²-(x sxy_e}ⁱ⁺²+(x_s-sxy_s)ⁱ⁺²l

1 s(i+1)(i+2)

> i (x_s， x_e，y_s, y_e) • · · (1 25) 式（1 25) において、 (x_{s )}x_e,y_{s )}y_e) は、 i次項の積分成分を表している。即ち、積分成分 Ki (x_s , x_e , y_s , y_e ) は、次の式（1 26) で示される通りである。 ki (^x _s'^x _e' y_s，y_e)

P _v j (x_e-s χ y_e ⁺²- (x_e-s x y_s)ⁱ⁺²- (x_s-s (x_s-s x y_s)ⁱ⁺²)

e s(i+1)(i+2) .

• ■ · (1 26) 積分成分演算部 3 20 3は、この積分成分 (x_s,x_e,y_s,y_e) を演算する。具体的には、式（1 25) と式（1 26) で示されるように、積分成分 Ki (x_s,x_e,y_s,y_e) は、積分範囲の X方向の開始位置 x_s、および X方向の終了位置 x_e、積分範囲の Y方向の開始位置 y_s、および Y方向の終了位置 y_e、変数 s、ゲイン G_e、並びに i次項の iが既知であれば演算可能である。

これらのうちの、ゲイン G_eは、条件設定部 3201により設定された空間解像度倍率（積分範囲）により決定される。

iの範囲は、条件設定部 320 1により設定された次数 nにより決定される。変数 sは、上述したように、 coteであるので、データ定常性検出部 10 1より出力される角度 Θにより決定される。

また、積分範囲の X方向の開始位置 x_s、および X方向の終了位置 x_e、並びに、積分範囲の Y方向の開始位置 y_s、および Y方向の終了位置 y_e のそれぞれは、これから生成する出力画素の中心画素位置（x， y)および画素幅により決定される。なお、（x，y)は、実世界推定部 102が近似関数 f(x)を生成したときの注目画素の中心位置からの相対位置を表している。

さらに、これから生成する出力画素の中心画素位置（x,y)および画素幅のそれぞれは、条件設定部 320 1により設定された空間解像度倍率（積分範囲）により決定される。従って、積分成分演算部 3 2 0 3は、条件設定部 3 2 0 1により設定された次数および空間解像度倍率（積分範囲）、並びにデータ定常性検出部 1 0 1より出力されたデータ定常性情報のうちの角度 0に基づいて積分成分

(x_s , x_e , y_s , y_e ) を演算し、その演算結果を積分成分テーブルとして出力画素値演算部 3 2 0 4に供給する。

出力画素値演算部 3 2 0 4は、特徴量記憶部 3 2 0 2より供給された特徴量テ一ブルと、積分成分演算部 3 2 0 3より供給された積分成分テーブルを利用して、上述した式（1 2 5 ) の右辺を演算し、その演算結果を出力画素値 Mとして外部に出力する。

次に、図 1 0 5のフローチャートを参照して、 2次元再積分手法を利用する画像生成部 1 0 3 (図 1 0 4 ) の画像の生成の処理（図 2 9のステップ S 1 0 3の処理）について説明する。

例えば、いま、図 1 0 2で示される関数 F (x, y)で表される光信号がセンサ 2 に入射されて入力画像となり、上述した図 2 9のステップ S 1 0 2の処理で、実世界推測部 1 0 2が、その入力画像のうちの、図 1 0 6で示されるような 1つの画素 3 2 3 1を注目画素として、関数 F (x, y)を近似する近似関数 f (x，y)を既に生成しているとする。

なお、図 1 0 6において、画素 3 2 3 1の画素値（入力画素値）が Pとされ、かつ、画素 3 2 3 1の形状が、 1辺の長さが 1の正方形とされている。また、空間方向のうちの、画素 3 2 3 1の 1辺に平行な方向が X方向とされ、 X方向に垂直な方向が Y方向とされている。さらに、画素 3 2 3 1の中心が原点とされる空間方向（X方向と Y方向）の座標系（以下、注目画素座標系と称する）が設定されている。

また、図 1 0 6において、上述した図 2 9のステップ S 1 0 1の処理で、データ定常性検出部 1 0 1力画素 3 2 3 1を注目画素として、傾き G_f で表されるデータの定常性に対応するデータ定常性情報として、角度 0を既に出力しているとする。図 1 05に戻り、この場合、ステップ S 320 1において、条件設定部 3 20 1は、条件（次数と積分範囲）を設定する。

即ち、この場合、図 1 07で示されるように、 X方向に一0. 5乃至 0. 5の範囲、かつ Y方向に一 0. 5乃至 0. 5の範囲（図 106の画素 323 1の範囲）に、 4個の画素 3241乃至画素 3244を新たに創造することが設定されたことになる。なお、図 107においても、図 1 06のものと同一の注目画素座標系が示されている。

また、図 107において、 M(l)は、これから生成される画素 3241の画素値を、 M(2)は、これから生成される画素 3 242の画素値を、 M(3)は、これから生成される画素 3 243の画素値を、 M(4)は、これから生成される画素 32 41の画素値を、それぞれ表している。 '

図 105に戻り、ステップ S 3 202において、特徴量記憶部 3 202は、実世界推定部 102より供給された近似関数 f(x，y)の特徴量を取得し、特徴量テ一ブルを生成する。いまの場合、 5次の多項式である近似関数 f(x)の係数 w。乃至^が実世界推定部 102より供給されるので、特徴量テーブルとして、

(w₀ , ₁ , Ψ₂ , Ψ_{3 >} Ψ₄ , Ψ₅ ) カ生成される。

ステップ S 3 203において、積分成分演算部 3203は、条件設定部 3 20 1により設定された条件（次数および積分範囲）、並びにデータ定常性検出部 1 0 1より供給されたデータ定常性情報（角度 0) に基づいて積分成分を演算し、積分成分テーブルを生成する。

具体的には、例えば、これから生成される画素 324 1乃至画素 3244のそれぞれに対して、番号（このような番号を、以下、モード番号と称する） 1乃至 4のそれぞれが付されているとすると、積分成分演算部 3 20 3は、上述した式 (1 2 5) の積分成分 (x_s , x_e , y_s , y_e ) を、次の式 (1 27) の左辺で示される積分成分 Ki (1)といった 1 (ただし、 1はモード番号を表している）の関数として演算する。

kj (I) = kj (x_s, x_e, y_s, y_e)

• · (1 27) 具体的には、いまの場合、次の式（1 2 8) で示される積分成分 ^ (1)が演算さ；^る。 )

• · · (1 2 8) なお、式（1 2 8) において、左辺が積分成分（1)を表し、右辺が積分成分 (x_s,x_e,y_s,y_e) を表している。即ち、いまの場合、 1は、 1乃至 4のうちのいずれかであり、かつ、 iは 0乃至 5のうちのいずれかであるので、 6個の

（1)， 6個の (2), 6個の（3), 6個の ^ (4)の総計 24個の ^ (1)が演算されることになる。

より具体的には、はじめに、積分成分演算部 3 20 3は、データ定常性検出部 1 0 1より供給された角度 0を使用して、上述した式（1 2 2) の変数 s ( s = cot 0 ) を演算する。

次に、積分成分演算部 3 2 0 3は、演算した変数 sを使用して、式（1 2 8) の 4つの式の各右辺の積分成分 (x_s,x_e,y_s,y_e) のそれぞれを、 i= 0乃至 5 についてそれぞれ演算する。なお、この積分成分 ^ (x_s , χ_θ , y_s , y_e ) の演算においては、上述した式（1 2 5) が使用される。

そして、積分成分演算部 3 20 3は、式（1 2 8) に従って、演算した 2 4個の積分成分 ^ (x_s , x_e , y_s , y_e ) のそれぞれを、対応する積分成分（1)に変換し、変換した 24個の積分成分 ^ (1) (即ち、 6個の（1)、 6個の（2)、 6個の（3)、および 6個の（4)) を含む積分成分テーブルを生成する。なお、ステップ S 32◦ 2の処理とステップ S 3203の処理の順序は、図 1 05の例に限定されず、ステップ S 3 203の処理が先に実行されてもよいし、ステップ 202の処理とステップ S 3 203の処理が同時に実行されてもよ

W

い。

次に、ステップ S 3204において、出力画素値演算部 3204は、ステップ S 3202の処理で特徴量記憶部 3202により生成された特徴量テーブルと、ステップ S 3203の処理で積分成分演算部 3203により生成された積分成分テーブルに基づいて出力画素値 M(l)乃至 M (4)のそれぞれを演算する。

具体的には、いまの場合、出力画素値演算部 3 204は、上述した式（1 2 5) に対応する、次の式（1 29) 乃至式（1 3 2) の右辺のそれぞれを演算することで、図 1 07で示される、画素 3241 (モード番号 1の画素）の画素値 ¾1(1)、画素3242 (モード番号 2の画素）の画素値 M(2)、画素 3243 (モード番号 3の画素）の画素値 M (3)、および画素 3 244 (モード番号 4の画素）の画素値 M(4)のそれぞれを演算する。

• · · (1 2 9) xk-,(2)

■ ■ · (1 30)

• · · (1 3 1)

• · · (1 3 2) ただし、いまの場合、式（1 29) 乃至式（1 32) の nは全て 5となる。ステップ S 3 2 0 5において、出力画素値演算部 3 2 0 4は、全画素の処理を終了したか否かを判定する。

ステップ S 3 2 0 5において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 3 2 0 2に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 3 2 0 2乃至 S 3 2 0 4の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 3 2 0 5において、全画素の処理が終了されたと判定すると）、出力画素値演算部 3 2 0 4は、ステップ S 3 2 0 6において、画像を出力する。その後、画像の生成の処理は終了となる。このように、 2次元再積分手法を利用することで、センサ 2 (図 8 9 ) からの入力画像の画素 3 2 3 1 (図 1 0 6 ) における画素として、入力画素 3 2 3 1よりも空間解像度の高い 4つの画素、即ち、画素 3 2 4 1乃至画素 3 2 4 4 (図 1 0 7 ) を創造することができる。さらに、図示はしないが、上述したように、画像生成部 1 0 3は、画素 3 2 4 1乃至画素 3 2 4 4のみならず、積分範囲を適宜変えることで、入力画素 3 2 3 1に対して任意の倍率の空間解像度の画素を劣化することなく創造することができる。

以上、 2次元再積分手法の説明として、空間方向（X方向と Y方向）に対する近似関数 f (x, y)を 2次元積分する例を用いたが、 2次元再積分手法は、時空間方向（X方向と t方向、または、 Y方向と t方向）に対しても適用可能である。即ち、上述した例は、実世界 1 (図 8 9 ) の光信号が、例えば、図 1 0 2で示されるような傾き G_Fで表される空間方向の定常性を有する場合の例であつたので、上述した式（1 2 0 ) で示されるような、空間方向（X方向と Y方向）の二次元積分が含まれる式が利用された。しかしながら、二次元積分の考え方は、空間方向だけによるものではなく、時空間方向（X方向と t方向、または、 Y方向と t方向）に対して適用することも可能である。

換言すると、 2次元再積分手法の前提となる 2次元近似手法においては、光信号を表す画像関数 F (x，y, t)が、空間方向の定常性のみならず、時空間方向（ただし、 X方向と t方向、または、 Y方向と t方向）の定常性を有している場合であっても、 2次元の近似関数 f により近似することが可能である。

具体的には、例えば、 X方向に水平に等速で動いている物体がある場合、その物体の動きの方向は、図 108で示されるような X-t平面においては、傾き V_F のように表される。換言すると、傾き V_Fは、 X-t平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部 10 1 (図 8 9) は、上述した角度 ø (X- Y平面における、空間方向の定常性を表す傾き G_F に対応するデータ定常性情報）と同様に、 X_t平面における時空間方向の定常性を表す傾き V_Fに対応するデータ定常性情報として、図 108で示されるような動き Θ (厳密には、図示はしないが、傾き V_Fに対応する傾き V_f で表されるデータの定常性の方向と、空間方向の X方向とのなす角度である動き e ) を出力することが可能である。

また、 2次元近似手法を利用する実世界推定部 102 (図 89) は、動き 0を上述した角度 Θの代わりとして使用すれば、上述した方法と同様な方法で、近似関数 f(x,t)の係数（特徴量） _Wi を演算することが可能になる。ただし、この場合、使用される式は、上述した式（1 24) ではなく、次の式（1 3 3) である。

n

f (x, y) = ∑ Wj (x-sx t)

i=0

• · · (1 33) なお、式（1 33) において、 sは cot0 (ただし、 Θは動きである）である。従って、 2次元再積分手法を利用する画像生成部 1 03 (図 89) は、次の式 (1 34) の右辺に、上述した式（1 33) の f(x，t)を代入して、演算することで、画素値 Mを算出することが可能になる。

• · · (1 34) なお、式（1 3 4 ) において、 t_s は、 t方向の積分開始位置を表しており、は、 t方向の積分終了位置を表している。同様に、 x_s は、 X方向の積分開始位置を表しており、 x_e は、 X方向の積分終了位置を表している。 G_e は、所定のゲインを表している。

また、空間方向 Xの変わりに、空間方向 Yに注目し近似関数 f (y, t) も、上述した近似関数 f (x，t)と全く同様に取り扱うことが可能である。

ところで、式（1 3 3 ) において、 t方向を一定とみなし、即ち、 t方向の積分を無視して積分することで、時間方向には積分されないデータ、即ち、動きポケのないデータを得ることが可能になる。換言すると、この手法は、 2次元の近似関数 f のうちの所定の 1次元を一定として再積分する点で、 2次元再積分手法の 1つとみなしてもよいし、実際には、 X方向の 1次元の再積分をすることになるという点で、 1次元再積分手法の 1つとみなしてもよい。

また、式（1 3 4 ) において、積分範囲は任意に設定可能であるので、 2次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ 2 (図 8 9 ) からの入力画像の画素）に対して任意の倍率の解像度の画素を劣化することなく創造することが可能になる。

即ち、 2次元再積分手法においては、時間方向 tの積分範囲を適宜変えることで、時間解像度の創造が可能になる。また、空間方向 X (または、空間方向 Y) の積分範囲を適宜変えることで、空間解像度の創造が可能になる。さらに、時間方向 tと空間方向 Xの積分範囲のそれぞれを適宜変えることで、時間解像度と空間解像度の両方の創造が可能になる。

なお、上述したように、時間解像度と空間解像度のうちのいずれか一方の創造は、 1次元再積分手法でも可能であるが、両方の解像度の創造は、 1次元再積分手法では原理上不可能であり、 2次元以上の再積分を行うことではじめて可能になる。即ち、 2次元再積分手法と後述する 3次元再積分手法ではじめて、両方の解像度の創造が可能になる。また、 2次元再積分手法は、 1次元ではなく 2次元の積分効果を考慮しているので、より実世界 1 (図 8 9 ) の光信号に近い画像を生成することも可能になる。次に、図 1 0 9と図 1 1 0を参照して、 3次元再積分手法について説明する。

3次元再積分手法においては、 3次元近似手法により近似関数 f (x, y, t)が既に生成されていることが前提とされる。

この場合、 3次元再積分手法においては、出力画素値 Mは、次の式（1 3 5 ) のように演算される。 = G_e x f^te f^Ve f^Xe f (x, y, t) dxdydt

• · · ( 1 3 5 ) なお、式（1 3 5 ) において、 t_s は、 t方向の積分開始位置を表しており、 t_eは、 t方向の積分終了位置を表している。同様に、 y_s は、 Y方向の積分開始位置を表しており、 y_eは、 Y方向の積分終了位置を表している。また、 x_s は、 X方向の積分開始位置を表しており、 x_eは、 X方向の積分終了位置を表している。さらに、 G_e は、所定のゲインを表している。

式（1 3 5 ) において、積分範囲は任意に設定可能であるので、 3次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ 2 (図 8 9 ) からの入力画像の画素）に対して任意の倍率の時空間解像度の画素を劣化することなく創造することが可能になる。即ち、空間方向の積分範囲を小さくすれば、画素ピッチを自由に細かくできる。逆に、空間方向の積分範囲を大きくすれば、画素ピッチを自由に大きくすることができる。また、時間方向の積分範囲を小さくすれば、実世界波形に基づいて時間解像度を創造できる。

図 1 0 9は、 3次元再積分手法を利用する画像生成部 1 0 3の構成例を表している。

図 1 0 9で示されるように、この例の画像生成部 1 0 3には、条件設定部 3 3 0 1、特徴量記憶部 3 3 0 2、積分成分演算部 3 3 0 3、および出力画素値演算部 3 3 0 4が設けられている。条件設定部 3 30 1は、実世界推定部 1 02より供給された実世界推定情報 (図 1 09の例では、近似関数 f (x，y，t)の特徴量）に基づいて近似関数 f (x，y，t)の次数 nを設定する。

条件設定部 3 30 1はまた、近似関数 f (x，y,t)を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部 3 30 1が設定する積分範囲は、画素の幅（縦幅と横幅）やシャツタ時間そのものである必要は無い。例えば、センサ 2 (図 8 9) からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部 103がこれから生成する画素）の相対的な大きさ (空間解像度の倍率）がわかれば、具体的な空間方向の積分範囲の決定が可能である。同様に、センサ 2 (図 89) のシャツタ時間に対する出力画素値の相対的な時間（時間解像度の倍率）がわかれば、具体的な時間方向の積分範囲の決定が可能である。従って、条件設定部 3301は、積分範囲として、例えば、空間解像度倍率や時間解像度倍率を設定することもできる。

特徴量記憶部 3 302は、実世界推定部 1◦ 2より順次供給されてくる近似関数 f (x，y,t)の特徴量を一次的に記憶する。そして、特徴量記憶部 3 302は、近似関数 f (x， y， ΐ)の特徴量の全てを記憶すると、近似関数 f ， y， t)の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部 3 304に供給する。

ところで、上述した式（1 35) の右辺の近似関数 f (x，y)の右辺を展開（演算）すると、出力画素^ tMは、次の式（1 36) のように表される。

π

M = え Wi ki(x_s, x_e, y₅, y_e, t_s, t_e)

1=0

• · · (1 36) 式（1 36) において、 (_Xs,x_e,y_s,y_e,t_s,t_e) は、 i次項の積分成分を表している。ただし、 x_s は X方向の積分範囲の開始位置を、 x_eは X方向の積分範囲の終了位置を、 y_s は Y方向の積分範囲の開始位置を、 y_e は Y方向の積分範囲の終了位置を、 t_s は t方向の積分範囲の開始位置を、 t_eは t方向の積分範囲の終了位置を、それぞれ表している。積分成分演算部 3 303は、この積分成分 Ki (x_s,x_e)y_s,y_e,t_s,t_e) を演算する。

具体的には、積分成分演算部 3 303は、条件設定部 3301により設定された次数、および積分範囲（空間解像度倍率や時間解像度倍率）、並びにデータ定常性検出部 10 1より出力されたデータ定常性情報のうちの角度 Θまたは動き 0 に基づいて積分成分 ^ (x₅,x_e,y_s,y_e,t_s,t_e) を演算し、その演算結果を積分成分テーブルとして出力画素値演算部 3304に供給する。

出力画素値演算部 3 304は、特徴量記憶部 3 30 2より供給された特徴量テ一ブルと、積分成分演算部 3 303より供給された積分成分テーブルを利用して、上述した式（1 36) の右辺を演算し、その演算結果を出力画素値 Mとして外部に出力する。

次に、図 1 1 0のフローチャートを参照して、 3次元再積分手法を利用する画像生成部 1 03 (図 109) の画像の生成の処理（図 29のステップ S 1 03の処理）について説明する。

例えば、いま、上述した図 29のステップ S 1 02の処理で、実世界推測部 1 02 (図 8 9) が、入力画像のうちの、所定の画素を注目画素として、実世界 1 (図 8 9) の光信号を近似する近似関数 f(x,y，t)を既に生成しているとする。また、上述した図 29のステップ S 10 1の処理で、データ定常性検出部 1 0 1 (図 89) i 実世界推定部 1 02と同じ画素を注目画素として、データ定常性情報として、角度 6または動き 0を既に出力しているとする。

この場合、図 1 1 0のステップ S 3 30 1において、条件設定部 330 1は、条件（次数と積分範囲）を設定する。

ステップ S 3 302において、特徴量記憶部 3 302は、実世界推定部 1 02 より供給された近似関数 f(x，y，t)の特徴量 _Wi を取得し、特徴量テーブルを生成する。

ステップ S 3 303において、積分成分演算部 3303は、条件設定部 3 30 1により設定された条件（次数および積分範囲）、並びにデータ定常性検出部 1 0 1より供給されたデータ定常性情報（角度 Θまたは動き 0 ) に基づいて積分成分を演算し、積分成分テーブルを生成する。

なお、ステップ S 3 3 0 2の処理とステップ S 3 3 0 3の処理の順序は、図 1 1 0の例に限定されず、ステップ S 3 3 0 3の処理が先に実行されてもよいし、ステップ S 3 3 0 2の処理とステップ S 3 3 0 3の処理が同時に実行されてもよい。

次に、ステップ S 3 3 0 4において、出力画素値演算部 3 3 0 4は、ステップ S 3 3 0 2の処理で特徴量記憶部 3 3 0 2により生成された特徴量テーブルと、ステップ S 3 3 0 3の処理で積分成分演算部 3 3 0 3により生成された積分成分テーブルに基づいて各出力画素値のそれぞれを演算する。

ステップ S 3 3 0 5において、出力画素値演算部 3 3 0 4は、全画素の処理を終了したか否かを判定する。

ステップ S 3 3 0 5において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 3 3 0 2に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 3 3 0 2乃至 S 3 3 0 4の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 3 3 0 5において、全画素の処理が終了されたと判定すると）、出力画素値演算部 3 3 0 4は、ステップ S 3 3 0 6において、画像を出力する。その後、画像の生成の処理は終了となる。このように、上述した式（1 3 5 ) において、その積分範囲は任意に設定可能であるので、 3次元再積分手法においては、この積分範囲を適宜変えることで、元の画素 (センサ 2 (図 8 9 ) からの入力画像の画素）に対して任意の倍率の解像度の画素を劣化することなく創造することが可能になる。

即ち、 3次元再積分手法においては、時間方向の積分範囲を適宜変えることで、時間解像度の創造が可能になる。また、空間方向の積分範囲を適宜変えることで、空間解像度の創造が可能になる。さらに、時間方向と空間方向の積分範囲のそれぞれを適宜変えることで、時間解像度と空間解像度の両方の創造が可能になる。具体的には、 3次元再積分手法においては、 2次元や 1次元に落とすときの近似がないので精度の高い処理が可能になる。また、斜め方向の動きも 2次元に縮退することなく処理することが可能になる。さらに、 2次元に縮退していないので各次元の加工が可能になる。例えば、 2次元再積分手法において、空間方向 ( X方向と Y方向）に縮退している場合には時間方向である t方向の加工ができなくなってしまう。これに対して、 3次元再積分手法においては、時空間方向のいずれの加工も可能になる。

なお、上述したように、時間解像度と空間解像度のうちのいずれか一方の創造は、 1次元再積分手法でも可能であるが、両方の解像度の創造は、 1次元再積分手法では原理上不可能であり、 2次元以上の再積分を行うことではじめて可能になる。即ち、上述した 2次元再積分手法と 3次元再積分手法ではじめて、両方の解像度の創造が可能になる。

また、 3次元再積分手法は、 1次元や 2次元ではなく 3次元の積分効果を考慮しているので、より実世界 1 (図 8 9 ) の光信号に近い画像を生成することも可能になる。

次に、図 3の信号処理装置 4においては、データ定常性検出部 1 0 1においてデータの定常性が検出され、実世界推定部 1 0 2において、その定常性に基づき、実世界 1の信号の波形の推定、即ち、例えば、 X断面波形 F ( X ) を近似する近似関数が求められる。

このように、信号処理装置 4では、定常性に基づいて、実世界 1の信号の波形の推定が行われるため、データ定常性検出部 1 0 1で検出される定常性が誤っていたり、あるいは、その検出精度が悪い場合には、実世界 1の信号の波形の推定精度も悪くなる。

また、信号処理装置 4では、ここでは、例えば、画像である、実世界 1の信号が有する定常性に基づいて信号処理を行うため、実世界 1の信号のうちの定常性が存在する部分に対しては、他の信号処理装置の信号処理に比べて、精度のよい信号処理を実行することができ、その結果、より実世界 1の信号に対応する画像に近い画像を出力することが可能になる。

しかしながら、信号処理装置 4は、定常性に基づいて信号処理を実行する以上、実世界 1の信号のうちの明確な定常性が存在しない部分に対しては、定常性が存在する部分に対する処理と同等の精度で、信号処理を実行することができず、その結果、実世界 1の信号に対応する画像に対して誤差を含む画像を出力することになる。

従って、信号処理装置 4において実世界 1の信号に対応する画像より近い画像を得るためには、信号処理装置 4による信号処理の対象とする処理領域や、信号処理装置 4で用いる定常性の精度などが問題となる。

そこで、図 1 1 1は、図 1の信号処理装置 4の他の一実施の形態の構成例を示している。

図 1 1 1では、信号処理装置 4は、処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、およびュ一ザ I Z F (Interface) 10006力、ら構成されている。

図 1 1 1に構成を示す信号処理装置 4には、データ 3の一例である画像データ (入力画像）センサ 2 (図 1 ) から入力され、その入力画像は、処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、および画像表示部 10005に供給される。

処理領域設定部 10001は、入力画像について、処理領域を設定し、その処理領域を特定する処理領域情報を、定常性設定部 10002、実世界推定部 10003、および画像生成部 10004に供給する。 ·

定常性設定部 10002は、処理領域設定部 10001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域の画像データにおいて欠落した実世界 1の信号の定常性を設定し、その定常性を表す定常性情報を、実世界推定部 10003および画像生成部 10004に供給する。実世界推定部 10003は、モデル生成部 10011、方程式生成部 10012、および実世界波形推定部 10013から構成され、処理領域内の画像データから、対応する実世界 1の信号の定常性に応じて、その実世界 1の信号を推定する。

即ち、モデル生成部 10011は、処理領域設定部 10001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域を構成する画素と、その処理領域の画像データに対応する実世界 1の信号の定常性に応じて、処理領域内の各画素の画素値と実世界 1の信号との関係をモデル化したモデルとしての関数を生成し、方程式生成部 10012に供給する。

方程式生成部 10012は、処理領域設定部 10001から供給される処理領域情報から、入力画像における処理領域を認識する。さらに、方程式生成部 10012 は、その処理領域を構成する各画素の画素値を、モデル生成部 10011から供給されるモデルとしての関数に代入し、これにより、方程式を生成して、実世界波形推定部 10013に供給する。

実世界波形推定部 10013は、方程式生成部 10012から供給される方程式を演算することにより、実世界 1の信号の波形を推定する。即ち、実世界波形推定部 10013は、方程式生成部 10012から供給される方程式を解くことにより、実世界 1の信号を近似する近似関数を求め、その近似関数を、実世界 1の信号の波形の推定結果として、画像生成部 10004に供給する。ここで、実世界 1の信号を近似する近似関数には、引数の値にかかわらず、関数値が一定の関数も含まれる。画像生成部 10004は、実世界推定部 10003で推定された実世界 1の信号の波形を表す近似関数と、定常性設定部 10002から供給される定常性情報とに基づいて、実世界 1の信号により近似した信号を生成する。即ち、画像生成部 10004 は、処理領域設定部 10001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部 10003 (の実世界波形推定部 10013) から供給される近似関数と、定常性設定部 10002から供給される定常性情報とに基づき、実世界 1の信号に対応する画像により近似した画像データを生成する。さらに、画像生成部 10004は、入力画像と、近似関数に基づいて生成した画像データ（以下、適宜、近似画像ともいう）とを合成し、入力画像の処理領域の部分を、近似画像に置き換えた画像を生成し、その画像を、出力画像として画像表示部 10005に供給する。

画像表示部 10005は、 CRT (Cathode Ray Tube)や LCD (Liquid Crystal

Display)で構成され、入力画像や、画像生成部 10004から供給される出力画像を表示する。

なお、画像表示部 10005は、 1または複数の CRTや LCDで構成することが可能である。画像表示部 10005を 1つの CRTや LCDで構成する場合には、その 1 つの CRTや LCDの画面を複数の画面に分割し、ある画面に入力画像を表示するとともに、他の画面に出力画像を表示するようにすることができる。さらに、画像表示部 10005を複数の CRTや LCDで構成する場合には、ある 1つの CRTや LCDに入力画像を表示するとともに、他の CRTや LCDに出力画像を表示するようにすることができる。

また、画像表示部 10005は、ユーザ I Z F 10006の出力に応じて、各種の表示を行う。即ち、画像表示部 10005は、例えば、カーソルを表示し、ユーザが力一ソルを移動するようにユーザ I Z F 10006 を操作した場合、その操作に応じて、カーソルを移動させる。また、画像表示部 10005は、例えば、ユーザが所定の範囲を選択するようにユーザ I Z F 10006を操作した場合、その操作に応じて、画面上の選択された範囲を囲む枠を表示する。

ユーザ I / F 10006は、ユーザによって操作され、そのユーザの操作に応じて、例えば、処理領域、定常性、または現実世界の信号のうちの少なくとも 1つに関連する情報を、処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10003に供給する。

即ち、ユーザは、画像表示部 10005 に表示された入力画像や出力画像を見て、その入力画像や出力画像に対する入力を与えるように、ユーザ I / F 10006を操作する。ユーザ I Z F 10006は、ユーザの操作に応じて、処理領域、定常性、または現実世界の信号に関連する情報を、処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10003の処理を補助する補助情報として、処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10003に供給する。処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10003は、ユーザ I / F 10006から補助情報が供給された場合、その補助情報に基づき、処理領域の設定、定常性の設定、または実世界 1の信号の推定を、それぞれ行う。伹し、処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10003では、補助情報を用いずに、即ち、ユーザによって、ユーザ I Z F 10006 が操作されなくても、処理領域の設定、定常性の設定、または実世界 1の信号の推定を、それぞれ行うことが可能である。

具体的には、処理領域設定部 10001では、図 3 0乃至図 4 8で説明したように、図 3のデータ定常性検出部 1 0 1における場合と同様にして、入力画像から、定常領域を検出し、例えば、その定常領域を囲む矩形（長方形）の領域を、処理領域として設定することができる。

また、定常性設定部 10002では、図 4 9乃至図 5 7で説明したように、図 3 のデータ定常性検出部 1 0 1における場合と同様にして、入力画像から、データの定常性を検出し、そのデータの定常性に基づき、対応する実世界 1の信号の定常性を設定すること、即ち、例えば、データの定常性を、そのまま実世界 1の信号の定常性として設定することができる。

さらに、実世界推定部 10003では、図 5 8乃至図 8 8で説明したように、図 3の実世界推定部 1 0 2における場合と同様にして、処理領域設定部 10001で設定された処理領域の画像データから、定常性設定部 10002で設定された定常性に応じて、実世界 1の信号を推定することができる。なお、図 3では、実世界推定部 1 0 2において、実世界 1の信号の推定に、データの定常性を用いたが、実世界 1の信号の推定には、データの定常性に代えて、対応する実世界 1の信号の定常性を用いることができる。次に、図 1 1 2のフローチャートを参照して、図 1 1 1の信号処理装置 4の処理について説明する。

まず最初に、ステップ S10001において、信号処理装置 4は、前処理を行い、ステップ S 10002に進む。即ち、信号処理装置 4は、センサ 2 (図 1 ) からデータ 3として供給される、例えば 1フレームまたは 1フィールドの入力画像を、処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、および画像表示部 10005に供給する。さらに、信号処理部 4は、画像表示部 10005に、入力画像を表示させる。

ステップ S10002では、ユーザ I / F 10006は、ユーザがユーザ I / F 10006 を操作することにより、何らかのユーザ入力があつたかどうかを判定する。ステップ S10002において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S 10003乃至 S 10005をスキップして、ステップ S 10006に進む。

また、ステップ S 10002において、ユーザ入力があつたと判定された場合、即ち、ユーザが、画像表示部 10005に表示された入力画像を見て、ユーザ I / F 10006を操作し、これにより、何らかの指示または情報を表すユーザ入力があつた場合、ステップ S 10003に進み、ユーザ I / F 10006は、そのユーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。ステップ S 10003において、ユーザ入力が終了指示であると判定された場合、信号処理装置 4は処理を終了する。

また、ステップ S 10003において、ユーザ入力が終了指示でないと判定された場合、ステップ S10004に進み、ユーザ I Z F 10006は、ユーザ入力が補助情報であるかどうかを判定する。ステップ S10004において、ユーザ入力が補助情報でないと判定された場合、ステップ S10005をスキップして、ステップ S 10006 に進む。

また、ステップ S 10004において、ユーザ入力が補助情報であると判定された場合、ステップ S10005に進み、ユーザ I ZF 10006は、その補助情報を、処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10006に供給し、ステップ S 10006に進む。

ステップ S 10006では、処理領域設定部 10001は、入力画像について、処理領域を設定し、その処理領域を特定する処理領域情報を、定常性設定部 10002、実世界推定部 10003、および画像生成部 10004に供給し、ステップ S 10007に進む。ここで、処理領域設定部 10001は、直前に行われたステップ S 10005においてュ一ザ I Z F 10006から補助情報が供給された場合は、その補助情報を用いて、処理領域の設定を行う。

ステップ S10007では、定常性設定部 10002は、処理領域設定部 10001から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部 10002は、その処理領域の画像データにおいて欠落した実世界 1の信号の定常性を設定し、その定常性を表す定常性情報を、実世界推定部 10003 に供給して、ステップ S 10008に進む。ここで、定常性設定部 10002は、直前に行われたステップ S 10005においてユーザ I Z F 10006から補助情報が供給された場合は、その補助情報を用いて、定常性の設定を行う。

ステップ S 10008では、実世界推定部 10003は、入力画像における処理領域内の画像データについて、対応する実世界 1の信号の定常性に応じて、その実世界 1の信号を推定する。

即ち、実世界推定部 10003では、モデル生成部 10011力処理領域設定部 10001から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部 10002から供給される定常性情報から、処理領域の画像データに対応する実世界 1の信号の定常性を認識する。さらに、モデル生成部 10011は、入力画像における処理領域を構成する画素と、その処理領域の画像データに対応する実世界 1の信号の定常性に応じて、処理領域内の各画素の画素値と実世界 1の信号との関係をモデル化したモデルとしての関数を生成し、方程式生成部 10012に供給する。方程式生成部 10012は、処理領域設定部 10001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域を構成する入力画像の各画素の画素値を、モデル生成部 10011から供給されるモデルとしての関数に代入し、これにより、実世界 1の信号を近似する近似関数を求める方程式を生成して、実世界波形推定部 10013に供給する。

実世界波形推定部 10013は、方程式生成部 10012から供給される方程式を演算することにより、実世界 1の信号の波形を推定する。即ち、実世界波形推定部 10013は、方程式生成部 10012から供給される方程式を解くことにより、実世界 1の信号をモデル化したモデルとしての近似関数を求め、その近似関数を、実世界 1の信号の波形の推定結果として、画像生成部 10004に供給する。

なお、実世界推定部 10003においては、モデル生成部 10011および方程式生成部 10012は、直前に行われたステップ S10005においてユーザ I / F 10006力、ら補助情報が供給された場合は、その補助情報を用いて、処理を行う。

ステップ S 10008の処理後は、ステップ S10009に進み、画像生成部 10004は、実世界推定部 10003 (の実世界波形推定部 10013) から供給された、実世界 1の信号の波形を近似する近似関数に基づいて、実世界 1の信号により近似した信号を生成する。即ち、画像生成部 10004は、処理領域設定部 10001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部 10003から供給された近似関数に基づき、実世界 1の信号に対応する画像により近似した画像データである近似画像を生成する。さらに、画像生成部 10004 は、入力画像の処理領域の部分を近似画像に置き換えた画像を、出力画像として生成し、画像表示部 10005に供給して、ステップ S 10009から S10010に進む。

ステップ S 10010では、画像表示部 10005は、画像生成部 10004から供給された出力画像を、ステップ S10001で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップ S10011に進む。ステップ S10011では、ユーザ I / F 10006は、ステシプ S10002における場合と同様に、ユーザがユーザ I Z F 10006を操作することにより、何らかのユーザ入力があつたかどうかを判定し、ユーザ入力がなかったと判定した場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S10011に戻り、何らかのュ一ザ入力があるまで待つ。

また、ステップ S 10011において、ユーザ入力があつたと判定された場合、即ち、ユーザが、画像表示部 10005に表示された入力画像や出力画像を見て、ュ一ザ I / F 10006を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップ S 10012に進み、ユーザ I Z F 10006は、そのユーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。

ステップ S 10012において、ユーザ入力が終了指示であると判定された場合、信号処理装置 4は処理を終了する。

また、ステップ S 10012において、ユーザ入力が終了指示でないと判定された場合、ステップ S1001³に進み、ユーザ I Z F 10006は、ユーザ入力が補助情報であるかどうかを判定する。ステップ S10013において、ユーザ入力が捕助情報でないと判定された場合、ステップ S 10011に戻り、以下、同様の処理が繰り返される。

また、ステップ S 10013において、ユーザ入力が補助情報であると判定された場合、ステップ S10005に戻り、上述したように、ユーザ I / F 10006は、その補助情報を、処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10006に供給する。そして、ステップ S10005から S 10006に進み、以下、同様の処理が繰り返される。

以上のように、図 1 1 1の信号処理装置 4によれば、ユーザの操作に応じて、処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10003の処理を補助する補助情報を、ユーザ I / F 10006から処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10003に供給し、処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10003において、ユーザ I Z F 10006からの補助情報に基づき、処理領域の設定、定常性の設定、または実世界 1の信号の推定を行うので、処理領域設定部 10001、定常性設定部 10002、または実世界推定部 10003の処理精度を向上させ、例えば、ユーザの好みにあった、高画質の出力画像を得ることが可能となる。

次に、図 1 1 1に示した信号処理装置 4の各種の応用例について説明する。図 1 1 3は、図 1 1 1に示した信号処理装置 4の応用例の一実施の形態の構成例を示している。

図 1 1 3の信号処理装置 4には、センサ 2からデータ 3として、例えば、 1フレームまたは 1フィールドの画像が入力される。なお、ここでは、入力画像に画像の水平方向（横方向）にシャツタ時間（露光時間）あたり V画素の一定速度で移動している所定の形状を有する物体（オブジェクト）が表示されているものとする。即ち、入力画像は、物体が水平方向に V画素の動き量で動いているために、センサ 2の時間積分効果によって、そのオブジェクトの光信号と、そのオブジェタト以外の部分の光信号とが混合（時間混合）し、これにより、オブジェクトの境界部分などにおいて、ボケた画像となっている。図 1 1 3の信号処理装置 4では、このような時間混合によって生じた動きボケを入力画像から除去した高画質の出力画像が生成される。

図 1 1 3において、処理領域設定部 15011、定常性設定部 15012、実世界推定部 15013、画像生成部 15014、画像表示部 15015、ユーザ I / F 15016は、図 1 1 1の処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I / F 10006にそれぞれ対応しており、基本的には、処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I 10006それぞれと同様の処理を行う。さらに、図 1 1 3において、実世界推定部 15013は、モデル生成部 15021、方程式生成部 15022、実世界波形推定部 15023で構成されている。モデル生成部 15021、方程式生成部 15022、実世界波形推定部 15023は、図 1 1 1のモデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013にそれぞれ対応しており、基本的には、モデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013それぞれと同様の処理を行う。

伹し、図 1 1 3においては、ユーザがユーザ I Z F 15016を操作することにより、ユーザ I Z F 15016が出力する補助情報が、方程式生成部 15022に供給されるようになっている。

即ち、図 1 1 3では、ユーザは、ユーザ I Z F 15016を操作することにより、方程式生成部 15022において、入力画像に対応する実世界 1の画像である、動きボケがない画像の各画素間の関係を拘束する拘束条件を設定することができるようになつており、ユーザ I / F 15016は、ユーザが拘束条件を設定する操作を行うと、その操作によって設定された拘束条件を表す拘束条件情報を、方程式生成部 15022に供給する。

具体的には、例えば、画像表示部 15015に表示された、物体がボケて映っている画像を見たユーザが、本来の画像、即ち、入力画像に対応する実世界 1の画像である、動きボケがない画像を推測する。そして、例えば、ユーザは、ボケが発生している所定の領域をェッジ部分と推測し、ェッジ部分の隣り合う画素間の画素値（レベル）の差は大きい、などの各画素間の画素値の関係（拘束条件）を推測する。さらに、ユーザは、その推測した各画素間の画素値の関係に適合する条件を、ユーザ I Z F 15016を操作することにより、方程式生成部 15022に設定することができる。

また、図 1 1 3においては、処理領域設定部 15011から実世界推定部 15013 に供給される処理領域情報は、実世界推定部 15013のうちのモデル生成部 15021 と方程式生成部 1δ022に供給されるようになっている。モデル生成部 15021と方程式生成部 15022は、処理領域設定部 15011から供給される処理領域情報から、入力画像における処理領域を認識する。

定常性設定部 15012は、入力画像において、物体（オブジェクト） 1S 画像の水平方向にシャッタ時間あたり V画素の一定速度で移動しているという定常性の情報として、動き量（動きベクトル） Vを設定し、その動き量 Vを定常性情報として、実世界推定部 15013のモデル生成部 15021に供給する。

モデル生成部 15021は、処理領域設定部 15011から供給される処理領域情報から認識される処理領域について、定常性設定部 15012から供給される定常性情報としての動き量 Vを考慮した、入力画像としての動きボケ画像の各画素の画素値と、実世界 1の信号との関係をモデル化したモデル（以下、適宜、関係モデルと称する）としての方程式（以下、適宜、モデル方程式と称する）を生成し、その生成したモデル方程式を方程式生成部 15022に供給する。

方程式生成部 15022は、ユーザ I Z F 15016から供給される拘束条件情報に基づいて、拘束条件の方程式（以下、適宜、拘束条件式と称する）を生成し、その拘束条件式と、モデル生成部 1δ021から方程式生成部 15022に供給されるモデル方程式に、処理領域を構成する入力画像の各画素の画素値を代入し、これにより、実世界 1の信号をモデル化したモデル（以下、適宜、近似モデルと称する）としての近似関数を求める方程式を生成して、実世界波形推定部 15023に供給する。

実世界波形推定部 15023は、方程式生成部 15022から供給される方程式を演算することにより、実世界 1の信号の波形を推定する。即ち、実世界波形推定部 15023は、近似モデルとしての近似関数を求め、その近似関数を、実世界 1の信号の波形の推定結果として、画像生成部 15014に供給する。ここで、実世界 1 の信号を近似する近似関数には、引数の値にかかわらず、関数値が一定の関数も含まれる。

画像生成部 15014は、処理領域設定部 15011から供給された処理領域情報に基づいて、入力画像の処理領域を認識する。また、画像生成部 15014は、実世界波形推定部 15023から供給された近似関数から、実世界 1の信号により近似した信号、即ち、動きボケがない画像を生成し、入力画像の処理領域の画像を、動きボケがない画像に置き換えて出力画像として生成し、画像表示部 15015に供給する。次に、図 1 1 4のフローチヤ一トを参照して、図 1 1 3の信号処理装置 4の処理について説明する。

最初に、ステップ S15001において、信号処理装置 4は、前処理を行い、ステップ S15002に進む。即ち、信号処理装置 4は、センサ 2 (図 1 ) からデータ 3 として供給される、例えば 1フレームまたは 1フィールドの入力画像を、処理領域設定部 15011、定常性設定部 15012、実世界推定部 15013、画像生成部 15014、および画像表示部 15015に供給する。さらに、信号処理装置 4は、画像表示部 15015に、入力画像を表示させる。

ステップ S 15002では、ユーザ I / F 15016は、ユーザがユーザ I Z F 15016 を操作することにより、何らかのユーザ入力があつたかどうかを判定する。ステップ S15002において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S 15003乃至 S 15005をスキップして、ステップ S 15006に進む。

一方、ステップ S15002において、ユーザ入力があつたと判定された場合、即ち、ユーザが、画像表示部 15015に表示された入力画像を見て、ユーザ I Z F 15016を操作し、これにより、何らかの指示または情報を表すユーザ入力があつた場合、ステップ S 15003に進み、ユーザ I Z F 15016は、そのユーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。ステップ S 15003において、ユーザ入力が終了指示であると判定された場合、信号処理装置 4は処理を終了する。

また、ステップ S 15003において、ユーザ入力が終了指示でないと判定された場合、ステップ S15004に進み、ユーザ I / F 15016は、ユーザ入力が拘束条件情報であるかどうかを判定する。ステップ S15004において、ユーザ入力が拘束条件情報でないと判定された場合、ステップ S 15005をスキップして、ステップ S15006に進む。また、ステップ S15004において、ユーザ入力が拘束条件情報であると判定された場合、ステップ S15005に進み、ユーザ I Z F 15016は、その拘束条件情報を、方程式生成部 15022に供給し、ステップ S 15006に進む。

ステップ S 15006では、処理領域設定部 15011は、入力画像について、処理領域を設定し、その処理領域を特定する処理領域情報を、定常性設定部 15012、実世界推定部 15013のモデル生成部 15021および方程式生成部 15022、並びに画像生成部 15014に供給し、ステップ S15007に進む。ここで、ステップ S15006 における処理領域の設定は、ユーザがユーザ I Z F 15016を操作することにより処理領域指示情報を入力し、その処理領域指示情報に基づいて行うことも可能であるし、ユーザからの処理領域指示情報なしで行うことも可能である。

ステップ S 15007では、定常性設定部 15012は、処理領域設定部 15011から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部 15012は、その処理領域の画像データにおいて定常性の一部が欠落した実世界 1の信号の定常性を設定し、その定常性を表す定常性情報を、実世界推定部 15013のモデル生成部 15021に供給して、ステップ S15008に進む。ここで、定常性設定部 15012は、シャツタ時間（露光時間）あたり V画素の一定速度で水平方向に移動していることを表す動き量 Vを定常性情報として設定し、実世界推定部 15013のモデル生成部 15021に供給するものとする。なお、ここでは、定常性設定部 15012は、入力画像において、オブジェクトが水平方向に移動していることを前提として、その動きの大きさだけを表す動き量を定常性情報として設定するようにしたが、その他、オブジェクトの動きの大きさと方向を表す動きベクトルを、定常性情報として設定することも可能である。ステップ S15007における定常性の設定は、ユーザがユーザ I Z F 15016を操作することにより定常性指示情報を入力し、その定常性指示情報に基づいて行うことも可能であるし、ユーザからの定常性指示情報なしで行うことも可能である。

ステップ S15008では、実世界推定部 15013は、実世界推定処理を行う。即ち、実世界推定部 15013では、モデル生成部 15021が、ステップ S 15007において定常性設定部 15012から供給された動き量 Vと、ステップ S15006において処理領域設定部 15011から供給された処理領域情報に基づいて、入力画像としての動きボケ画像の各画素の画素値と、実世界 1の信号との関係をモデル化したモデル (関係モデル) としての方程式 (モデル方程式）を生成し、その生成したモデル方程式を方程式生成部 15022に供給する。

方程式生成部 15022は、ステップ S15005においてユーザ I / F 15016から供給される拘束条件情報に基づいて、拘束条件式を生成し、さらに、その拘束条件式とモデル生成部 15021から方程式生成部 15022に供給されるモデル方程式とから、実世界 1の信号をモデル化したモデル（近似モデル）としての近似関数を求める方程式を生成し、その方程式に入力画像の各画素の画素値を代入して、実世界波形推定部 15023に供給する。

実世界波形推定部 15023は、方程式生成部 15022から供給される方程式を演算することにより、実世界 1の信号の波形を推定、即ち、実世界 1の信号をモデル化したモデルとしての近似関数を求め、その近似関数を、実世界 1の信号の波形の推定結果として、画像生成部 15014に供給する。

なお、ステップ S 15008の実世界推定処理の詳細については、図 1 3 0を参照して後述する。

ステップ S 15008の処理後は、ステップ S15009に進み、画像生成部 15014は実世界波形推定部 15023から供給された近似関数から、実世界 1の信号により近似した信号、即ち、動きボケがない画像を生成し、処理領域設定部 1501 1から供給された処理領域情報に基づいて、入力画像の処理領域の部分を、生成した動きボケがない画像に置き換えて、出力画像として生成し、画像表示部 15015 に供給して、ステップ S 15010に進む。

ステップ S 15010では、画像表示部 15015は、画像生成部 15014から供給された出力画像を、ステップ S15001で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップ S15011に進む。ステップ S15011では、ユーザ I Z F 15016は、ステップ S15002における場合と同様に、ユーザがユーザ I / F 15016を操作することにより、何らかのユーザ入力があつたかどうかを判定し、ユーザ入力がなかったと判定した場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S15011に戻り、何らかのュ一ザ入力があるまで待つ。

また、ステップ S 15011において、ユーザ入力があつたと判定された場合、即ち、ユーザが、画像表示部 15015に表示された入力画像や出力画像を見て、ュ一ザ I / F 15016を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップ S15012に進み、ユーザ I Z F 15016は、そのユーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。

ステップ S15012において、ユーザ入力が終了指示であると判定された場合、信号処理装置 4は処理を終了する。

—方、ステップ S 15012において、ユーザ入力が終了指示でないと判定された場合、ステップ S15013に進み、ユーザ I Z F 15016は、ユーザ入力が拘束条件情報であるかどうかを判定する。ステップ S15013において、ユーザ入力が拘束条件情報でないと判定された場合、ステップ S 15011に戻り、以下、同様の処理が繰り返される。

また、ステップ S 15013において、ユーザ入力が拘束条件情報であると判定された場合、ステップ S15005に戻り、上述したように、ユーザ I Z F 15016は、その拘束条件情報を、方程式生成部 15022に供給する。そして、ステップ

S15005から S15006に進み、以下、同様の処理が繰り返される。なお、信号処理装置 4が、ステップ S15005乃至 S15013の処理を繰り返す場合において、上述のステップ S15006ぉょぴ S 15007の処理は、 1回目の S15006および S 15007 の処理で設定されるものと同一であり、 1回目の処理と同じ処理を繰り返しても良いし、スキップするようにしても良い。以上のように、図 1 1 3の信号処理装置 4では、実世界 1の信号をモデル化したモデルとしての近似関数を求めることにより、動きボケがない、高画質の出力画像を生成することができる。

また、ユーザは、ユーザ I ZF 15016を操作することにより、本来の動きボケがないときの画像における、各画素間の関係を拘束する拘束条件を設定することができ、新たな拘束条件が入力された場合には、再度、動きボケがない画像を求めることができるので、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。

なお、図 1 1 3の信号処理装置 4では、実世界 1の光信号を近似する近似闋数を求めることにより、動きボケのない出力画像を生成するが、この出力画像は、入力画像から動きボケが除去されたものであるとみることができる。従って、図 1 1 3の信号処理装置 4では、動きボケ除去の処理が行われるということができる。

以下において、図 1 1 3の信号処理装置 4による、動きボケ除去の処理の詳細について説明する。初めに、動きボケ発生のメカュズムをモデル化（定式化）することにより、入力画像としての動きボケ画像の各画素の画素値と、実世界 1 の信号との関係をモデル化した関係モデルを生成する。実世界 1の光信号は、動きボケを有していないので、関係モデルは、動きボケ画像の各画素の画素値と、動きボケのない画像の各画素の画素値との関係をモデル化したものである。

図 1 1 5は、実世界 1の光信号を説明する図である。

実世界 1の光信号を、図 1 1 5に示されるような、 X— Y平面上（空間方向の 1方向である X方向と、 X方向に垂直な Y方向からなる平面上）の波形 F (x, y) とみなすこととする。図 1 1 3の信号処理装置 4に入力される信号は、上述したように、水平方向に V画素の動き量で動いているので、空間方向 Xと同じ方向に、シャツタ時間あたり V画素の動き量で動いている波形 F (x, y)と等価である。以下では、波形 F (x, y)を光信号関数 F (x, y)と称する。図 1 1 3の信号処理装置 4の実世界推定部 15013は、センサ 2からの入力画像に基づいて、実世界 1の光信号関数 F(x,y)を近似する近似関数 f(x，y)を求めることにより、実世界 1の光信号関数 F(x，y)を推定する。

センサ 2の出力である、入力画像は、積分効果を有する、センサの検出素子 (画素）により、上述の実世界 1の光信号（光信号関数 F(x,y)) が画素値として射影された複数の画素で構成される画像データである。

そこで、図 1 1 6を参照して、センサ 2が CCDとされる場合の積分効果について説明する。

図 1 1 6で示されるように、センサ 2の平面上には、複数の検出素子（画素） 15031が配置されている。

図 1 1 6の例では、検出素子 15031の所定の 1辺に平行な方向が、空間方向の 1方向である X方向とされており、 X方向に垂直な方向が、空間方向の他方向である Y方向とされている。そして、 X— Y平面に垂直な方向が、時間方向である t方向とされている。

また、図 1 1 6の例では、センサ 2の各検出素子 15031 (センサ 2が出力する画像データの画素に対応する)' のそれぞれの空間的な形状は、 1辺の長さが 1の正方形とされている。そして、センサ 2のシャツタ時間（露光時間）が 1とされている。

さらに、図 1 1 6の例では、センサ 2の所定の 1つの検出素子 15031の中心、空間方向（X方向と Y方向）の原点（X方向の位置 x = 0、および Y方向の位置 y = 0) とされており、また、露光時間の中間時刻が、時間方向（t方向）の原点（1：方向の位置1: =0) とされている。

この場合、空間方向の原点（x = 0, y = 0) にその中心が存在する検出素子 15031は、 X方向に- 0.5乃至 0.5の範囲、 Y方向に -0.5乃至 0.5の範囲、および t方向に- 0.5乃至 0.5の範囲で光信号関数 F(x,y，t)を積分し、その積分値を画素値 Pとして出力することになる。即ち、空間方向の原点にその中心が存在する検出素子 15031から出力される画素値 Pは、次の式（1 3 7 ) で表される。 -

^{P =} J-o.5 Jo.5 0. 5 F ，y, t) d_Xdydt

• · · ( 1 3 7 ) その他の検出素子 15031も同様に、対象とする検出素子 15031の中心を空間方向の原点とすることで、式（1 3 7 ) で示される画素値 Pを出力することになる。

以上のように、センサ 2からの入力画像は、それぞれ 1つの検出素子（画素） 15031が、センサ 2の積分効果により、一定の画素値とされるデータの集まりである。また、センサ 2の積分効果は、実世界 1の光信号の空間方向（X _ Y方向）の積分（空間混合）と、時間方向（t方向）の積分（時間混合）とで構成されている。

従って、入力画像に物体の動きボケが発生している場合においても、厳密に言えば、入力画像の各画素の画素値は、空間積分効果と時間積分効果の両方が生じた（空間混合と時間混合がされた）値であるが、物体の水平方向の移動による動きボケでは、時間積分効果の影響が大であるので、この実施の形態では、より簡単に動きボケの発生をモデル化するために、物体がシャツタ時間あたり V画素の移動をすることによる時間積分効果のみ生じるものとして、近似関数 f (x， y)をモデル化するものとする。

即ち、実世界 1を近似する近似関数 f (x, y)は、図 1 1 7に示すように、空間積分効果がない、換言すれば、センサの各画素内では一定の値を有する関数であり、動きボケが発生している入力画像の各画素の画素値は、図 1 1 7の近似関数 f (x, y)が、動き量 Vの一定速度で水平方向に移動することにより、時間積分された値であるとする。

図 1 1 8は、信号処理装置 4に入力される入力画像と、処理領域設定部 15011 で設定される処理領域の関係を表す図である。センサ 2 (図 1) から信号処理装置 4に入力される画像 15041 (入力画像）は、空間方向の X方向と空間方向の Y方向に所定の画素数を有する画像である。画像 15041の 1部分または全部である領域 15042が、処理領域設定部 15011 により処理領域として設定される。画像 15041内の領域 15042を示す情報が、処理領域情報として、処理領域設定部 15011から定常性設定部 15012、実世界推定部 15013、および画像生成部 15014に供給されるようになっている。以下において、領域 15042を処理領域 15042と称する。

図 1 1 9は、処理領域 15042を表す図である。

処理領域 15042は、例えば、図 1 1 9に示すように、処理領域幅 1 = 10画素、ライン数 k==4を有する領域であるとする。即ち、図 1 1 9では、処理領域 15042は、 1 0 X 4 = 40画素で構成されている。

図 1 20は、処理領域 15042内の、 yの値が所定の値 y_e (y = y。）の 1ラインについて、所定の瞬時のタイミングにおける、図 1 1 7の近似関数 f(x, y) を表した図である。即ち、図 1 20は、所定の瞬時のタイミングにおける近似関数 f (x，y_c)を示す図である。この近似関数 f(x,y_c)は、時間方向 tおよび空間方向 Yが、ある固定の値であるときの空間方向 Xの位置と画素のレベルとの関係を示した近似関数 f(x,y)であり、単に近似関数 f ）と称する。

図 1 20の近似関数 f (X)は、次の式（1 38) のように表すことができる。

% 一 0.5≤x<0.5

Q₂ 1. 5≤x<2. 5

Q₄ 3. 5≤x<4. 5

f(x) 二

Q₆ 5. 5≤x<6. 5

Q₇ 6. 5≤x<7. 5

Q₉ 8. 5≤x<9. 5

• • • (1 38) 式（1 38) は、瞬時のタイミングにおける近似関数 f(x)であり、実際には、近似関数 f(x)は、動き量 Vを有しているので、図 1 20の lZv時間後には、図 1 2 1に示される状態になる。図 1 2 1の近似関数 f ）は、次の式（1 3 9) で表される。

0 -0. 5≤x<0. 5

1. 5≤x<2. 5

Q₂ 2. 5≤x<3. 5

Q₃ 3. 5≤x<4. 5

¾ 4. 5≤x<5. 5

Q₆ 6. 5≤x<7. 5

Q₇ 7. 5≤x<8. 5

Q₈ 8. 5≤x<9. 5

• · - (1 3 9) さらに、図 1 21の 1 時間後には、図 1 22に示されるようになり、このときの近似関数 f (X)は、次の式（140) で表される。

f (X) =

■ · · (140) ここで、図 1 20乃至図 1 22に示した近似関数 f(x)の動きより、物体の動き量 Vを、図 1 23に示すような簡略化した形態で考えることにする。即ち、物体は、 lZv時間おきに、瞬時に X方向に 1つ隣の画素の中心へ移動し、 1/v 時間はそこに留まる。従って、 1/v時間の間は、物体が動いていないときと同様の値の画素値が、センサの画素に蓄積される。そして、次の lZv時間は、 X 方向に 1だけ進んだ画素に対して、物体が動いていないときと同様の画素値が、蓄積される。

つまり、物体（実世界 1の光信号）が動き量 Vで移動している場合、 1つの画素には、物体が動き量 Vで移動していないときと同じ画素値の 1/ v倍の画素値、 lZv時間ごとに順次、蓄積されていくと考えることができる。

なお、上述のように、物体が lZv時間おきに瞬時に X方向に 1画素分だけ移動するという考え方を採用しても、図 1 23において直線で示すように、いわゆるマクロ的には、物体は、単位時間あたり V画素の動き量で X方向に等速で移動していると見ることができる。動き量 Vを有する物体の、センサの検出素子による蓄積（時間積分）について、図 1 24乃至図 1 26を参照して、さらに説明する。

図 1 24は、図 1 20に示した、所定の瞬時のタイミングにおける、 y = y_c の近似関数 f(x)を、 X_ t平面で表した図である。

図 1 24において、それぞれの画素 15031の X方向の幅は、図 1 16で説明したように 1であり、 t方向の高さは、シャツタ時間（= 1) である。そして、それぞれの画素 15031の面積（X方向の幅 X t方向の高さ）力それぞれの画素 15031に蓄積される（電荷の総量で表される）画素値 Q。乃至 Q₉ となっている。この画素値 Q。乃至 Q₉ は、動きボケがない画像の画素値である。

一方、図 1 25は、図 1 24の画素値 Q。乃至 Q₉ に対応するように、物体が動き量 Vで動いているときに、時間積分されて蓄積される画素値を、それぞれ P 0乃至 P₉ として表した図である。即ち、処理領域 15042内の y = y_cの 1ラインについての、入力画像の画素値 P。乃至 P₉の X— t平面の図である。

例えば、 v = 4 (画素）として、上述の図 1 20乃至図 1 23で説明した、物体の動きに基づいて、図 1 25の画素値 P。乃至 P₉ を、図 1 24の画素値 Q。乃至 Q₉ を用いて表すと、図 1 26のようになる。

即ち、シャツタ時間のうち、最初の lZv時間は、動きボケのない画素値 Q_h (h = 0乃至 9) の lZvに相当する画素値（に対応する電荷）力 x = hのそれぞれの画素に蓄積される。そして、次の lZv時間には、 X方向の移動方向側 (図中、右側の画素）に 1画素ずれて、同様の画素値 Q_h (h = 0乃至 8) の 1 Zvに相当する画素値が、 x = hのそれぞれの画素に蓄積される。以下、同様に、 lZv時間ごとに、 1画素ずつ X方向の移動方向側にずれながら、画素値 Q_h (h = 0乃至 9) の 1/vに相当する画素値が蓄積されていく。なお、以下において、添え字の変数 hについて特に断りがない限り、変数 hは、 h = 0乃至 9の整数を表すものとする。

即ち、 X=0を中心とする画素（以下において、 X=0の画素と称する）では、画素値 Q。の 1/ vの画素値 (Q。 V ) が蓄積される。 X=0の画素の右隣の X= lを中心とする画素（以下において、 X= lの画素と称する）では、画素値の 1/vの画素値（Qi/v) と画素値 Q。の 1/vの画素値（Qi/v) 力 S 蓄積される。 X= 1の画素の右隣の X= 2を中心とする画素（以下において、 X = 2の画素と称する）では、画素値 Q。の lZvの画素値（Q。Zv) 、画素値の lZvの画素値（QiZv) 、および画素値 Q₂ の 1/vの画素値（Q₂Z

V) が蓄積される。以下、同様に画素値 Q_hの lZvの画素値が、それぞれの画素に 1/v時間ごとにずれて、蓄積されていく。

図 1 25と図 1 26に示される関係を式で表すと、次の式（14 1) が得られる。

(Q₀H-Q₁+Q₂+Q₃)/v = P₃

(Q₂+Q₃+Q₄+Q₅)/v = P₅

(0₃+Q₄+Q₅+Q₆)/v = P₆

(Q₄+Q₅+Q₆+Q₇) v = P₇

(Q₅+Q₆+Q₇+Q₈)/v = P₈

(Q₆+Q₇+Q₈+Q₉レ v = P₉

• · · (141) ここで、 x = 0, 1，および 2の画素には、蓄積される画素値が空白（未知）の領域が存在する。そのため、 P。， P_{1 ;} および P₂ のそれぞれは、シャツタ時間内の全てにおいて蓄積される画素値が得られていないので、式をたてることができない。

式（14 1) は、動きボケ画像の各画素の画素値を、動きボケが生じていない画像の各画素の画素値が、動き量 Vで移動しながら蓄積（積分）された値であるとして、動きボケ発生のメカニズムをモデル化した連立方程式である。式（ 14 1) において、物体が動き量 Vで動いているときの画素値 P_hは、信号処理装置 4に入力される入力画像の既知の画素値であり、物体の動きがないときの画素値 Q_h ヽ求めるべき動きボケがない画素値を表している。以上から、物体が動き量 vで動いているときの画素値 P_hは、物体の動きがないときの画素値 Q_hを 1/v時間ずつ混合した（時間混合した）画素値であるといえる。以下においては、物体が動き量 Vで動いているときの画素値 P_h を混合画素値 P_h、物体の動きがないときの画素値 Q_hを、単に画素値 Q_h と称する。実世界 1の信号をモデル化した近似モデルとしての近似関数 f(x)は、上述の例では、式（1 39) で示されるように、 Q_hの値で構成されるので、式（14 1) は、入力画像としての動きボケ画像の各画素の画素値と、実世界 1の信号との関係をモデル化した関係モデルとしてのモデル方程式である。そして、動きボケがない画素値 Q_hを求めることは、実世界推定部 15013が実世界 1の信号をモデル化した近似関数 f (X)を求めることに等しい。

上述の連立方程式（141) は、処理領域 15042の処理領域幅 1 と動き量 V が設定されることにより、たてることができる。しかしながら、連立方程式（1 41) は、変数の数が画素値 Q_hの 10個に対して、式の数が 7個しかない。従つて、式（14 1) だけでは画素値 Q_h を求めることは困難である。

そこで、少なくとも式の数と変数の数を同じようにするための 2つの方法を説明する。

第 1の方法は、処理領域の端部を「平坦である」と仮定する方法である。即ち、図 1 27に示すように、画素値の空白（未知）領域 15051に対して、蓄積される画素値は、最初の lZv時間の端部である、画素値 Q。の lZvの画素値（Q 。Zv) と同じであると仮定する方法である。

この場合、新たに次の式（142) を得ることができる。

(Q₀+Q₀+Q₀+Q₀)/v = P₀

/V = P】

(Q₀+Q₀+Q₁ +0₂)^ = ?o

• · · (142) 式（14 1) と式（142) とにより、式の数が 10個、変数の数が 10個となり、画素値 Q_h を求めることができる。図 1 14のフローチャートを参照して説明した処理において、ユーザによる拘束条件の指定（設定）がない場合、即ち、ユーザ I/F15016から方程式生成部 15022に拘束条件情報が供給されない場合などでは、例えば、第 1の方法などが採用される。しかしながら、第 1の方法では、処理領域の端部が「平坦である」と仮定するため、第 1の方法で求められる画素値 Q_hから構成される画像には、ノィズが生じることがあり得る。

そこで、ユーザ I /F15016から方程式生成部 15022に拘束条件情報が供給された場合には、第 1の方法と異なる第 2の方法を適用することができる。第 2 の方法は、動きボケがない画像における、隣接する各画素の画素値の関係を仮定する（拘束する）式（以下、拘束条件式と称する）を立てることにより、式（1 41) と合せて変数の数以上の式の数を得るという方法である。

一般に、画像は、空間的な相関関係を有している場合が多いため、隣り合う画素値が大きく異なるという場合は少ないと考えることができる。そこで、例えば、動きボケが生じていない各画素間の画素値 Q_hの差分が 0 (以下、適宜、「隣接画素差分 =0」と称する）という条件（以下、拘束条件と称する）を仮定することができる。この拘束条件は、次の式（143) で表すことができる。

Q_h— = h = 1，…， (1-1)

■ · · (143) また、例えば、「なだらかに画素値が変化している」という条件を仮定することができる。この拘束条件は、例えば、次の式（144) で表すことができる。一 Q_h— ·! +2Q_h-Q_h+1 =0 h = 1 ' …，（ト 2)

• · · (144) ユーザは、画像表示部 15015に表示された、物体がボケて映っている画像を見て、本来の画像、即ち、入力画像に対応する実世界 1の画像である、動きボケがない画像を推測し、その推測した状態を表す各画素間の関係式（拘束条件）をユーザ I/F 15016を操作することにより、方程式生成部 15022に設定することができる。図 113の信号処理装置 4においては、式（143) の拘束条件がユーザにより設定された（ユーザ IZF1⁵016から式（143) を指示する拘束条件情報が供給された）とする。その場合、図 124で示されるラインについては、次の式 (145) で表される拘束条件式が得られる。

QQ-Q! = 0

Q厂 Q₂ = 0

Q₂-Q₃ = 0

Q₅ - Q₆ = 0

Q₆-Q₇ = 0

Q厂 ¾ = 0

… (145) 式（145) は、式の数が 9個であり、式（141) と合せると、式の数は 1 6個となり、変数 Q_h の数は 10個なので、例えば、最小自乗法を用いることにより、それぞれの式において発生する誤差の二乗和が最小となる変数 Q_h を算出することができる。すなわち、動きボケを除去した（動きボケがない）画素値 Q _hの推定が可能となる。

具体的には、式（141) のそれぞれの式で発生する誤差を e_mi (i ==3乃至 9) 、式（145) のそれぞれの式で発生する誤差を e_bj ( j = 0乃至 8) とすると、式（141) と式（145) は、それぞれ式（146) および式（1 47) で表すことができる。 ((¾+() +Q₂+Q₃),v = P₃+e_m3

(Q₁ -Q₂+Q3+Q₄)/v = P4+e_tn4

(Q₂+Q₃+Q₄+Q₅)zv = P₅+e_m5

(Q₃+Q₄+Q₅+Q₆レ v = P₆+e_m6

(Q₄+Q₅+Q₆+Q₇) v = P₇+e_m7

(Q₅+Q₆+Q₇+0₈)/v = P₈+e_m8

(Q₆+Q₇+Q₈+Q₉)/v = P₉+e_m9

Q₀- = 0+e_b0

Q₂- -Q₃ = 0+e_b2

Q₃- -O4 = 0+e_b3

Q₅" -Q₆ = 0+e_b5

Q₆" - Q₇ = 0+e_b6

Q₇- -Q₈二 0+e_b7

-Q₉ = 0+e_b8

■ ' · (147) 式（146) および式（147) から次の式（148) が成立する。

• · · (.148) なお、以下において、変数 i， jについて特に断りがない限り、 iは、 i = 3 乃至 9， jは、 j = 0乃至 8の整数をそれぞれ表すものとする。

式（ 148) を、行列 A、列べクトノレ x， y , eを用いて、式（ 149) に置き換える。

Ax - y+e

• · · (149) この場合、式（146) の誤差 e_mi と式（147) の誤差 e_bjの二乗誤差の総和 Eは、次式で表すことができる。

E= |e| =∑e_mi +∑e_bj

= (Ax-y)'(Ax-y)

= x^TA^TAx-2x^TA^Ty+y^Ty

(1 50) 二乗誤差の総和 Eを最小にする Q_hを求めるためには、式（1 50) の二乗誤差の総和 Eを、 Q_hをコンポーネントとする列べクトル Xで偏微分した値が 0となればよいことから、次式が導かれる。 - = 2(A^TAx-A^Ty) =0 · · · (1 5 1) 式（1 5 1) から、求める列ベクトル X (画素値 Q_h をコンポーネントとする列べクトル X ) は、式 (1 5 2) で表すことができる。 x = (A^TA)一 Vy

• ■ · (1 5 2) なお、式（1 5 2) において、上付きの Tは転置を表し、上付きの一 1は、逆行列を表す。

式（1 5 2) に混合画素値 Pi をコンポーネントとする列ベクトル yを代入して演算することにより、動きボケを除去した（動きボケがない）画素値 Q_hを推定することができる。

図 1 28は、処理領域 15042を再度、表した図である。

式（1 5 2) により求めることができる列ベクトル X (=画素値 Q_h) は、図 1 28で示される処理領域 15042の y = y_cの 1ラインについての列べクトル x (=画素値 Q_h) なので、処理領域 15042の全ての画素について、動きボケがない画素値を推定するためには、式（1 5 2) の演算をライン数と同じ k (=4) 回繰り返す必要がある。

即ち、上述の説明における、 y = y_eのラインのように、動きボケがない画素値 Q_hを求める処理を行う 1ラインを、注目ラインと呼ぶことにすると、実世界推定部 15013は、それぞれのライン全てを、順次、注目ラインとして設定し、注目ラインの近似関数 f(x)である、画素値 Q。乃至 Q。を推定する処理を行うことにより、入力画像の処理領域 15042について、動きボケがない画像を推定する。

図 1 2 9は、図 1 1 3の実世界推定部 15013の内部の構成例である。

実世界推定部 15013は、モデル生成部 15021、方程式生成部 15022、およぴ実世界波形推定部 150²3で構成されている。さらに、方程式生成部 15022は、拘束条件設定部 15061と正規方程式生成部 15062とで構成されている。

モデル生成部 15021には、定常性.設定部 15012から定常性情報としての動き量 Vが供給される。この例での動き量 Vは、入力画像のうちの処理領域設定部 15011で設定された処理領域において、物体がシャツタ時間あたり V画素だけ水平方向に移動していることを表しており、例えば、上述の例と同様に V = 4とする。また、動き量 Vは、ライン毎に異なる値でもよく、動き量 Vがライン毎に異なる場合には、ライン数に等しい k個の動き量 Vが、定常性情報として、定常性設定部 15012からモデル生成部 15021に供給される。

また、モデル生成部 15021には、処理領域設定部 15011から入力画像のなかの処理領域を特定する処理領域情報も供給される。処理領域として矩形の形状の領域を採用する場合には、処理領域情報は、例えば、入力画像の所定の位置（画素）を原点とする絶対座標系に対する、矩形の処理領域の対角の座標値や、処理領域の中心座標と処理領域の幅（水平方向）と高さ（垂直方向）などで表すことができる。

モデル生成部 1δ0²1は、処理領域設定部 15011から供給された処理領域情報から、例えば、図 1 1 9に示したような、処理領域幅 1 とライン数 kを取得する。この例では、処理領域 15042は、矩形とされ、例えば、 1 = 1 0， k = 4とするものとする。この場合、各ラインの処理領域幅（画素数）は、同じとされているが、処理領域 15042は、各ラインで異なる処理領域幅となるようにすることもできる。処理領域幅 1がライン毎に異なる場合には、モデル生成部 15021 は、ライン数と同じ個数（k個）の処理領域幅 1を取得する。そして、モデル生成部 15021は、定常性設定部 15012から供給された動き量 Vと、処理領域情報から取得した処理領域幅 1 とライン数 kに基づいて、上述の式（141) で示した混合画素値 Pi の方程式（モデル方程式）を生成し、正規方程式生成部 15062に供給する。

拘束条件設定部 15061には、ユーザが、ユーザ I/F 15016を操作することにより指定した拘束条件情報がユーザ I /F 15016から供給される。例えば、ユーザは、拘束条件設定部 15061の内部に予め設定されている、上述した式（14 3) や式（144) などの、動きボケのない画像の各画素の画素値 Q_hの関係を拘束する拘束条件の中から、所望の拘束条件を選択（指定）する操作をユーザ I ZF15016により行い、ユーザ I /F 15016が、その選択された拘束条件を示す情報を拘束条件情報として、拘束条件設定部 15061に供給する。

拘束条件設定部 15061は、自身の内部に有する拘束条件式のなかから、ユーザ I /F15016から供給された拘束条件情報に対応する拘束条件式を選択する。さらに、拘束条件設定部 15061は、処理領域設定部 15011から方程式生成部 15022に供給される入力画像の処理領域情報に基づいて処理領域幅 1を取得し、拘束条件式を処理領域幅 1に対応する数だけ生成する。例えば、拘束条件情報として、「隣接画素差分 =0」という条件である式（143) が採用される場合には、拘束条件設定部 15061は、処理領域設定部 15011から供給された処理領域情報に基づいて処理領域幅 1を取得することにより、上述した式（145) で示した拘束条件式を生成し、正規方程式生成部 15062に供給する。なお、図 1 1 9で示した処理領域 15042の例では、処理領域 15042が矩形であり、各ラインの処理領域幅 1は同じとされているが、ライン毎に処理領域幅 1が異なる場合には、拘束条件の式の数もライン毎に異なることとなる。

正規方程式生成部 15062には、モデル生成部 15021からライン数と同じ k個の混合画素値 Pi の方程式（式（141) ) と、拘束条件設定部 15061からユーザがユーザ I / F 15016を操作することにより選択した拘束条件に対応する拘束条件の方程式（式（145) ) とが供給される。初めに、正規方程式生成部 15062は、図 1 28に示されるように、処理領域 15042のなかから、所定の 1つのラインを注目ラインとして選択する。そして、正規方程式生成部 15062は、選択した注目ラインに対応する、モデル生成部 15021から供給された式（141) で示される混合画素値 Pi の方程式と、拘束条件設定部 15061から供給された式（145) で示される拘束条件の方程式とから、式（148) (式（149) ) で示される正規方程式を生成する。

さらに、正規方程式生成部 15062は、式（1 5 2) の右辺の列べクトル yの係数である、行列（A^TA) ^A^Tを演算し、センサ 2 (図 1) から供給された入力画像に基づいて取得した混合画素値 Pi を、列べクトル yに代入する。行列 (Α^τ A) ¹ Α^τが演算され、さらに混合画素値 Pi が代入された式（1 5 2) 力正規方程式生成部 15062から実世界波形推定部 15023に供給される。

正規方程式生成部 15062は、選択している注目ラインに対して、上述した、正規方程式の生成、行列（A^TA) -¹ Α^τの演算、および、混合画素値 Pi の代入等の処理を終了すると、まだ選択されていないラインを次の注目ラインとして選択し、その選択された次の注目ラインに対して同様の処理を行う。

実世界波形推定部 15023は、正規方程式生成部 15062から供給された式（1 52) を演算することにより、列ベクトル x、即ち、動きボケがない画素値 Q_h (近似関数）を求め、画像生成部 15014 (図 1 1 3) に供給する。

画像生成部 15014は、処理領域設定部 15011から供給された処理領域情報に基づいて、入力画像の処理領域 15042の部分を、実世界波形推定部 15023から供給された、動きボケがない画素値 Q_hの画像に置き換えて、出力画像として生成し、画像表示部 15015に供給する。

次に、図 1 30のフローチヤ一トを参照して、図 1 14のステップ S15008における実世界推定部 15013の実世界推定処理について詳述する。

初めに、ステップ S15031では、モデル生成部 15021は、処理領域設定部

15011から供給される処理領域情報に基づいて、処理領域幅 1 とライン数 kを取得して、ステップ S15032に進む。ステップ S15032では、モデル生成部 15021は、処理領域 1504²のライン数に等しい k個の動き量 Vを、定常性設定部 15012から取得して、ステップ S15033 に進む。

ステップ S15033では、モデル生成部 15021は、ライン毎に混合画素値 P i の方程式を生成して、ステップ S1S034に進む。即ち、モデル生成部 15021は、 k 個のモデル方程式（式（14 1) ) を生成する。

ステップ S15034では、拘束条件設定部 15061は、自身の内部に有する拘束条件式のなかから、ユーザ I ZF15016から供給された拘束条件情報に対応する拘束条件式を選択する。また、拘束条件設定部 15061は、処理領域設定部 15011 から方程式生成部 15022に供給される、入力画像の処理領域情報から、処理領域幅 1を取得し、処理領域幅 1に対応する方程式の数で構成される、ユーザ I / F15016からの拘束条件情報に対応する拘束条件の方程式（式（145) ) を生成し、ステップ S15035に進む。

ステップ S15035では、正規方程式生成部 15062は、処理領域 15042のなかから、所定の 1つのラインを注目ラインとして選択して、ステップ S15036 に進む。ステップ S15036では、正規方程式生成部 15062は、モデル生成部 15021から供給された式（14 1) で示される混合画素値 Pi の方程式（モデル方程式）と、拘束条件設定部 15061から供給された式（145) で示される拘束条件の方程式（拘束条件式）とから、式（148) (式（1 49) ) で示される正規方程式を生成して、ステップ Sl⁵0³7に進む。

ステップ S15037では、正規方程式生成部 15062は、式（1 52) の右辺の列ベタトル yの係数である、行列（A^TA) -¹ Α^τを演算し、ステップ Sl⁵0³8に進む。

ステップ S15038では、正規方程式生成部 15062は、センサ 2 (図 1 ) から供給された入力画像に基づいて取得した混合画素値 Pi を、列べクトル yに代入して、ステップ S15039に進む。ステップ S15039では、実世界波形推定部 15023は、正規方程式を演算する。即ち、実世界波形推定部 15023は、正規方程式生成部 15062から供給された、式（1 5 2 ) を演算することにより、動きボケがない画素値 Q_h を求めて、ステップ S15040に進む。

ステップ S 15040では、処理領域 15042の全てのラインに対して、動きボケがない画素値 Q_hを求める処理が行われたか否かが判定される。処理領域 15042の全てのラインに対して、動きボケがない画素値 Q_h を求める処理が行われていないと判定された場合、処理はステップ S15035に戻り、ステップ S15035乃至 S15040の処理が繰り返される。即ち、まだ選択されていない処理領域 15042のうちの 1ラインが注目ラインとして選択され、動きボケがない画素値 Q_h を求める処理が行われる。

一方、処理領域 15042の全てのラインに対して、動きボケがない画素値 Q_h を求める処理が行われたと判定された場合、実世界推定処理を終了してリターンする。

以上のように、処理領域 15042の注目ラインとした 1ラインに対して、正規方程式（式（1 4 8 ) ) を生成し、動きボケがない画素値 Q_hを求める処理を、処理領域 15042のライン数である k回繰り返すことにより、処理領域 15042の全域に亘る動きボケがない画素値 Q_hを求めることができる。

ここで、処理領域 15042の各ラインの動き量 Vと処理領域幅 1が、それぞれ同じ場合には、式（1 4 8 ) の行列 Aは、各ラインで同じものとなる。従って、式（1 5 2 ) の行列（A^T A) - ¹ Α^τ も各ラインで同じものとなり、ライン毎に行列（A^T A) — ¹ A^T を演算する処理を省略することができる。

そこで、図 1 3 1のフローチャートを参照して、処理領域 15042の各ラインの動き量 Vと処理領域幅 1力それぞれ同じ場合の、図 1 1 4のステップ

S15008 における実世界推定部 15013 の実世界推定処理について説明する。なお、図 1 3 1において、図 1 3 0のフローチャートと同様の部分については、その説明を適宜省略する。図 1 3 1においては、図 1 3 0のステップ S 15035に対応するステップ

S15057の処理が、ステップ S 15054と S15055の間ではなくて、ステップ

S15056と S 15058の間に配置されている。さらに、ステップ S15060で、処理領域 15042の全てのラインに対して、動きボケがない画素値 Q_hを求める処理が行われていないと判定された場合、ステップ S15057に戻る処理とされている。即ち、処理領域 15042の各ラインの動き量 Vと処理領域幅 1力それぞれ同じ場合、ステップ S 15055で生成される正規方程式は、各ラインで同じものとなるため、最初の注目ラインに対して、ステップ S15056で、行列（A^T A) - ¹ Α^τ を演算した後、その後の注目ラインに対しては、行列（A^T A) - ¹ Α^τ の演算 (ステップ S 15056の処理）を行う必要がない。従って、注目ラインの選択（ステツプ S 15057) 、混合画素値 P i の代入（ステップ S15058の処理）、正規方程式の演算（ステップ S15059の処理）を、順次、まだ選択されていない処理領域 15042のラインに対して実行するだけでよい。

以上のように、図 1 1 3に示される実施の形態においては、動きボケが発生している画素値を、動きボケのない画素値でモデル化した混合画素値 Pi の方程式 (モデル方程式）と、動きボケのない画素値の隣接する画素間の関係を用いた拘束条件式とから、正規方程式を生成し、その正規方程式を演算することにより、動きボケがない画素値（近似関数）を求めるので、画質の良い画像を生成することができる。

図 1 3 2乃至図 1 3 4は、図 1 1 3の信号処理装置 4による処理結果を説明する図である。

図 1 3 2は、図 1 1 3の信号処理装置 4に入力される入力画像を示している。図 1 3 2の入力画像においては、「T A L」の文字が左から右方向に等速で移動しており、水平方向に動きボケが発生している。

図 1 3 3は、図 1 3 2の入力画像から、上述した第 1の方法、即ち、モデル方程式に、処理領域の端部を「平坦である」と仮定した式を付加して正規方程式を生成し、その正規方程式を演算することにより生成された画像である。図 1 3 2と、図 1 3 3とを比較して明らかなように、図 1 3 3の画像では、図 1 3 2の入力画像に生じている動きボケが低減され、「T A L」の文字が比較的はっきりと表示されている。

一方、図 1 3 4は、図 1 3 2の入力画像から、上述した第 2の方法、即ち、モデル方程式に、隣接する画素値の関係を拘束する条件式を付加して正規方程式を生成し、その正規方程式を演算することにより生成された画像である。図 1 3 4の画像においても、図 1 3 2の入力画像に生じている動きボケが低減され、「T A L」の文字がはっきりと表示されている。

なお、図 1 3 2乃至図 1 3 4の実施の形態では、第 2の方法による図 1 3 4の画像は、第 1の方法による図 1 3 3の画像よりもノイズが少ない、動きボケのない画像になっている。

上述の例では、ユーザ I Z F 15016から拘束条件設定部 15061に供給される拘束条件情報は、拘束条件設定部 15061の内部に予め設定されている、いくつかの拘束条件のなかから、ユーザがどの拘束条件を選択（指定）したかを表す情報としたが、ユーザがユーザ I / F 15016を操作することにより、拘束条件式を直接入力するようにしてもよい。

図 1 1 3に示した信号処理装置 4の実施の形態においては、式（1 5 0 ) で表される二乗誤差の総和 Eの全体が最小となるような、即ち、混合画素値 P i の方程式で発生する誤差と、拘束条件の方程式で発生する誤差との全体が最小となるような、動きボケのない画像が生成される。これに対して、例えば、式（1 4

6 ) の混合画素値 P i の方程式で発生する誤差 e _{m i} と、式（1 4 7 ) の拘束条件の方程式で発生する誤差 e _b j のうち、どちらか一方の誤差の方をできるだけ小さくする、というように、モデル方程式と拘束条件式のバランス（重み）を調整して、動きボケのない画像を生成するようにすることもできる。

図 1 3 5は、そのような、混合画素値 P i の方程式（モデル方程式）と、拘束条件の方程式（拘束条件式）との重みを調整して、動きボケのない画像を生成する信号処理装置 4の実施の形態の構成例を示している。即ち、図 1 3 5は、図 1 1 1に示した信号処理装置 4の応用例のその他の一実施の形態の構成例を示している。

図 1 3 5の信号処理装置 4には、センサ 2からデータ 3として、例えば、 1フレームまたは 1フィールドの画像が入力される。なお、ここでは、入力画像に画像の水平方向（横方向）にシャツタ時間（露光時間）あたり V画素の一定速度で移動している所定の形状を有する物体（オブジェクト）が表示されているものとする。即ち、入力画像は、物体が水平方向に V画素の動き量で動いているために、センサ 2の時間積分効果によって、そのオブジェクトの光信号と、そのオブジェタト以外の部分の光信号とが混合（時間混合）し、これにより、オブジェクトの境界部分などにおいて、ボケた画像となっている。図 1 3 5の信号処理装置 4では、このような時間混合によって生じた動きボケを入力画像から除去した高画質の出力画像が生成される。

図 1 3 5において、処理領域設定部 15081、定常性設定部 15082、実世界推定部 15083、画像生成部 15084、画像表示部 15085、ユーザ I Z F 15086は、図 1 1 1の処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I Z F 10006 にそれぞれ対応しており、基本的には、処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I / F 10006それぞれと同様の処理を行う。さらに、図 1 3 5において、実世界推定部 15083は、モデル生成部 15091、方程式生成部 15092、実世界波形推定部 15093で構成されている。モデル生成部 15091、方程式生成部 15092、実世界波形推定部 15093は、図 1 1 1のモデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013にそれぞれ対応しており、基本的には、モデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013それぞれと同様の処理を行う。

伹し、図 1 3 5においては、ユーザがユーザ I ZF 15086を操作することにより、ユーザ I Z F 15086が出力する補助情報が、方程式生成部 15092に供給されるようになっている。即ち、図 1 3 5では、ユーザは、ユーザ I / F 15086を操作することにより、方程式生成部 15092において、入力画像に対応する実世界 1の画像である、動きボケがない画像の各画素間の関係を拘束する拘束条件を設定することができるようになつており、ユーザ I / F 15086は、ユーザが拘束条件を設定する操作を行うと、その操作によって設定された拘束条件を表す拘束条件情報を、方程式生成部 15092に供給する。

具体的には、例えば、画像表示部 15085に表示された、物体がボケて映っている画像を見たユーザが、本来の画像、即ち、入力画像に対応する実世界 1の画像である、動きボケがない画像を推測する。そして、例えば、ユーザは、ボケが発生している所定の領域をエッジ部分と推測し、エッジ部分の隣り合う画素間の画素値（レベル）の差は大きい、などの各画素間の画素値の関係（拘束条件）を推測する。さらに、ユーザは、その推測した各画素間の画素値の関係に適合する条件を、ユーザ I / F 15086を操作することにより、方程式生成部 15092に設定することができる。

また、図 1 3 5においては、処理領域設定部 15081から実世界推定部 15083 に供給される処理領域情報は、実世界推定部 15083のうちのモデル生成部 15091 と方程式生成部 15092に供給されるようになっている。モデル生成部 15091と方程式生成部 15092は、処理領域設定部 15081から供給される処理領域情報から、入力画像における処理領域を認識する。

定常性設定部 15082は、入力画像において、物体（オブジェクト）力画像の水平方向にシャッタ時間あたり V画素の一定速度で移動しているという定常性の情報として、動き量（動きベクトル） Vを設定し、その動き量 Vを定常性情報として実世界推定部 15083のモデル生成部 15091に供給する。

モデル生成部 15091は、処理領域設定部 15081から供給される処理領域情報から認識される処理領域について、定常性設定部 15082から供給された定常性情報としての動き量 Vを考慮した、入力画像としての動きボケ画像の各画素の画素値と、実世界 1の信号との関係をモデル化したモデル（以下、適宜、関係モデルと称する) としての方程式 (以下、モデル方程式と称する) を生成し、その生成したモデル方程式を方程式生成部 15092に供給する。

方程式生成部 150⁹2は、ユーザ I Z F 15086から供給される拘束条件情報に基づいて、拘束条件の方程式（以下、拘束条件式と称する）を生成する。また、方程式生成部 15092は、その拘束条件式に、モデル生成部 15091から供給されるモデル方程式とのバランスを調整する重みを設定し、重み付けされた拘束条件式とモデル方程式とからなる方程式に、処理領域を構成する入力画像の各画素の画素値を代入し、これにより、実世界 1の信号をモデル化したモデル（以下、適宜、近似モデルと称する）としての近似関数を求める方程式を生成して、実世界波形推定部 15093に供給する。

実世界波形推定部 15093は、方程式生成部 15092から供給される方程式を演算することにより、実世界 1の信号の波形を推定する。即ち、実世界波形推定部 15093は、近似モデルとしての近似関数を求め、その近似関数を、実世界 1の信号の波形の推定結果として、画像生成部 15084に供給する。ここで、実世界 1 の信号を近似する近似関数には、引数の値にかかわらず、関数値が一定の関数も含まれる。

画像生成部 15084は、処理領域設定部 15081から供給された処理領域情報に基づいて、入力画像の処理領域を認識する。また、画像生成部 15084は、実世界波形推定部 15093から供給された近似関数から、実世界 1の信号により近似した信号、即ち、動きボケがない画像を生成し、入力画像の処理領域の画像を動きボケがない画像に置き換えて、出力画像として生成し、画像表示部 15085に供給する。

次に、図 1 3 6のフローチャートを参照して、図 1 3 5の信号処理装置 4の処理について説明する。

最初に、ステップ S15081において、信号処理装置 4は、前処理を行い、ステップ S15082に進む。即ち、信号処理装置 4は、センサ 2 (図 1 ) からデータ 3 として供給される、例えば 1フレームまたは 1フィールドの入力画像を、処理領域設定部 15081、定常性設定部 15082、実世界推定部 15083、画像生成部 15084、および画像表示部 15085に供給する。さらに、信号処理装置 4は、画像表示部 15085に、入力画像を表示させる。

ステップ S15082では、ユーザ I / F 15086は、ユーザがユーザ I Z F 15086 を操作することにより、何らかのユーザ入力があつたかどうかを判定する。ステップ S15082において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S 15083乃至 S 15085をスキップして、ステップ S15086に進む。

一方、ステップ S15082において、ユーザ入力があつたと判定された場合、即ち、ユーザが、画像表示部 15085に表示された入力画像を見て、ユーザ I Z F 15086を操作し、これにより、何らかの指示または情報を表すユーザ入力があつた場合、ステップ S 15083に進み、ユーザ I ZF 15086は、そのーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。ステップ S 15083において、ユーザ入力が終了指示であると判定された場合、信号処理装置 4は処理を終了する。

一方、ステップ S 15083において、ユーザ入力が終了指示でないと判定された場合、ステップ S15084に進み、ユーザ I ZF 15086は、ユーザ入力が拘束条件情報であるかどうかを判定する。ステップ S15084において、ユーザ入力が拘束条件情報でないと判定された場合、ステップ S 15085をスキップして、ステップ S15086に進む。

また、ステップ S 15084において、ユーザ入力が拘束条件情報であると判定された場合、ステップ S15085に進み、ユーザ I Z F 15086は、その拘束条件情報を、方程式生成部 15092に供給し、ステップ S 15086に進む。

ステップ S 15086では、処理領域設定部 15081は、入力画像について、処理領域を設定し、その処理領域を特定する処理領域情報を、定常性設定部 15082、実世界推定部 15083のモデル生成部 15091および方程式生成部 15092、並びに画像生成部 15084に供給し、ステップ S15087に進む。ここで、ステップ S15086 における処理領域の設定は、ユーザがユーザ I Z F 15086を操作することにより処理領域指示情報を入力し、その処理領域指示情報に基づいて行うことも可能であるし、ユーザからの処理領域指示情報なしで行うことも可能である。

ステップ S 15087では、定常性設定部 15082は、処理領域設定部 15081から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部 15082は、その処理領域の画像データにおいて定常性の一部が欠落した実世界 1の信号の定常性を設定し、その定常性を表す定常性情報を、実世界推定部 15083のモデル生成部 15091に供給して、ステップ S 15088に進む。ここで、定常性設定部 15082は、シャツタ時間（露光時間）あたり V画素の一定速度で水平方向に移動していることを表す動き量 Vを定常性情報として設定し、実世界推定部 15083のモデル生成部 15091に供給するものとする。なお、ここでは、定常性設定部 15082は、入力画像において、オブジェクトが水平方向に移動していることを前提として、その動きの大きさだけを表す動き量を定常性情報として設定するようにしたが、その他、オブジェクトの動きの大きさと方向を表す動きベクトルを、定常性情報として設定することも可能である。ステップ S15087における定常性の設定は、ユーザがユーザ I Z F 15086を操作することにより定常性指示情報を入力し、その定常性指示情報に基づいて行うことも可能であるし、ユーザからの定常性指示情報なしで行うことも可能である。

ステップ S 15088では、実世界推定部 15083は、実世界推定処理を行う。即ち、実世界推定部 15083では、モデル生成部 15091が、ステップ S 15087において定常性設定部 15082から供給された動き量 Vと、ステップ S15086において処理領域設定部 15081から供給された処理領域情報に基づいて、入力画像としての動きボケ画像の各画素の画素値と、実世界 1の信号との関係をモデル化したモデル (関係モデル) としての方程式 (モデル方程式) を生成し、その生成したモデル方程式を方程式生成部 15092に供給する。

方程式生成部 15092は、ステップ S15085においてユーザ I Z F 15086から供給される拘束条件情報に基づいて拘束条件式を生成し、生成した拘束条件式に、モデル方程式とのバランスを調整する重みを設定する。そして、方程式生成部 15092は、重み付けされた拘束条件式と、モデル生成部 15091から方程式生成部 15092に供給されるモデル方程式とから、実世界 1の信号をモデル化したモデノレ (近似モデル）としての近似関数を求める方程式を生成し、その方程式に入力画像の各画素の画素値を代入して、実世界波形推定部 15093 に供給する。ここで、ユーザが拘束条件情報を指定（設定）しなかった場合、即ち、ステップ S15082 または S 15084で N Oと判定された場合、方程式生成部 15092は、例えば、図 1 1 3の実施の形態において説明した、モデル方程式と処理領域の端部を「平坦である」と仮定した式とから成る連立方程式を解く方法などの、所定の処理が行われる。

なお、重みは、拘束条件式だけに設定する他、モデル方程式だけ、または拘束条件式とモデル方程式の両方に設定することが可能である。

実世界波形推定部 15093は、方程式生成部 15092から供給される方程式を演算することにより、実世界 1の信号の波形を推定、即ち、実世界 1の信号をモデル化したモデルとしての近似関数を求め、その近似関数を、実世界 1の信号の波形の推定結果として、画像生成部 15084に供給する。

なお、ステップ S15088の実世界推定処理の詳細については、図 1 3 8を参照して後述する。

ステップ S15088 の処理後は、ステップ S15089に進み、画像生成部 15084は、実世界波形推定部 15093から供給された近似関数から、実世界 1の信号により近似した信号、即ち、動きボケがない画像を生成し、処理領域設定部 15081から供給された処理領域情報に基づいて、入力画像の処理領域の部分を、生成した動きボケがない画像に置き換えて、出力画像として生成し、画像表示部 15085 に供給して、ステップ S 15090に進む。

ステップ S 15090では、画像表示部 15085は、画像生成部 15084から供給された出力画像を、ステップ S 15081で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップ S15091に進む。ステップ S15091では、ユーザ I Z F 15086は、ステップ S15082における場合と同様に、ユーザがユーザ I / F 15086を操作することにより、何らかのユーザ入力があつたかどうかを判定し、ユーザ入力がなかったと判定した場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S15091に戻り、何らかのュ一ザ入力があるまで待つ。

また、ステップ S 15091において、ユーザ入力があつたと判定された場合、即ち、ユーザが、画像表示部 15085に表示された入力画像や出力画像を見て、ュ一ザ I Z F 15086を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップ S15092に進み、ユーザ I / F 15086は、そのユーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。

ステップ S15092において、ユーザ入力が終了指示であると判定された場合、信号処理装置 4は処理を終了する。

一方、ステップ S15092において、ユーザ入力が終了指示でないと判定された場合、ステップ S15093に進み、ユーザ I / F 15086は、ユーザ入力が拘束条件情報であるかどうかを判定する。ステップ S15093において、ユーザ入力が拘束条件情報でないと判定された場合、ステップ S 15091に戻り、以下、同様の処理が繰り返される。

また、ステップ S 15093において、ユーザ入力が拘束条件情報であると判定された場合、ステップ S15085に戻り、上述したように、ユーザ I F 15086は、その拘束条件情報を、方程式生成部 15092に供給する。そして、ステップ

S15085から S15086に進み、以下、同様の処理が繰り返される。なお、信号処理装置 4が、ステップ S15085乃至 S15093の処理を繰り返す場合において、上述のステップ S15086および S 15087の処理は、 1回目の S15086および S 15087 の処理で設定されるものと同一であり、 1回目の処理と同じ処理を繰り返しても良いし、スキップするようにしても良い。以上のように、図 1 3 5の信号処理装置 4では、実世界 1の信号をモデル化したモデルとしての近似関数を求めることにより、動きボケがない、高画質の出力画像を生成することができる。

また、ユーザは、ユーザ I / F 15086を操作することにより、本来の動きボケがないときの画像における、各画素間の関係を拘束する拘束条件を設定することができ、新たな拘束条件が入力された場合には、再度、動きボケがない画像を求めることができるので、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。

なお、図 1 3 5の信号処理装置 4では、実世界 1の光信号を近似する近似関数を求めることにより、動きボケのない出力画像を生成するが、この出力画像は、入力画像から動きボケが除去されたものであるとみることができる。従って、図 1 3 5の信号処理装置 4では、動きボケ除去の処理が行われるということができる。

次に、図 1 3 7を参照して、図 1 3 5の実世界推定部 15083の内部の構成について説明する。なお、図 1 3 5の実施の形態においても、入力画像に映っている物体の動きボケ発生のメカニズムを、一例である図 1 2 5と図 1 2 6に示される、上述した式（1 4 1 ) の関係として、モデル化するものとする。

即ち、入力画像としての動きボケ画像の各画素の画素値を、動きボケが生じていない画像の各画素の画素値（に対応する電荷）力動き量 Vで移動しながら蓄積（積分）された値であるとして、動きボケ発生のメカニズムをモデル化するものとする。

実世界推定部 15083は、モデル生成部 15091、方程式生成部 15092、および実世界波形推定部 15093で構成されている。さらに、方程式生成部 15092は、拘束条件設定部 15101、重み変更部 15102、および正規方程式生成部 15103とで構成されている。

モデル生成部 15091には、定常性設定部 15082から定常性情報としての動き量 Vが供給される。この例での動き量 Vは、入力画像のうちの処理領域設定部 15081で設定された処理領域において、物体がシャツタ時間あたり V画素の一定速度で水平方向に移動している定常性を表しており、例えば、上述の例と同様に v = 4とする。また、動き量 Vは、ライン毎に異なる値でもよく、動き量 Vがライン毎に異なる場合には、ライン数に等しい k個の動き量 Vが、定常性情報として、定常性設定部 15082からモデル生成部 15091に供給される。

また、モデル生成部 15091には、処理領域設定部 15081から入力画像のなかの処理領域を特定する処理領域情報も供給される。処理領域として矩形の形状の領域を採用する場合には、処理領域情報は、例えば、入力画像の所定の位置（画素）を原点とする絶対座標系に対する、矩形の処理領域の対角の座標値や、処理領域の中心座標と処理領域の幅（水平方向）と高さ（垂直方向）などで表すことができる。

モデル生成部 15091は、処理領域設定部 15081から供給された処理領域情報から、例えば、図 1 1 9に示したような、処理領域幅 1 とライン数 kを取得する。この例では、処理領域 15042は、矩形とされ、例えば、 1 = 1 0 , k = 4とするものとする。この場合、各ラインの処理領域幅（画素数）は、同じとされているが、処理領域 15042は、各ラインで異なる処理領域幅となるようにすることもできる。処理領域幅 1がライン毎に異なる場合には、モデル生成部 15091 は、ライン数と同じ個数（k個）の処理領域幅 1を取得する

そして、モデル生成部 15091は、定常性設定部 15082から供給された動き量 Vと、処理領域情報から取得した処理領域幅 1 とライン数 kに基づいて、上述の式（1 4 1 ) で示した混合画素値 P i の方程式（モデル方程式）を生成し、正規方程式生成部 15103に供給する。

拘束条件設定部 15101には、ユーザが、ユーザ I / F 15086を操作することにより指定した拘束条件情報がユーザ I / F 15086から供給される。例えば、ユーザは、拘束条件設定部 15101の内部に予め設定されている、上述した式（1 4 3 ) や式（1 4 4 ) などの、動きボケのない画像の各画素の画素値 Q_hの関係を拘束する拘束条件の中から、所望の拘束条件を選択（指定）する操作をユーザ I Z F 15086により行い、ユーザ I / F 15086が、その選択された拘束条件を示す情報を拘束条件情報として、拘束条件設定部 15101に供給する。

拘束条件設定部 15101は、自身の内部に有する拘束条件式のなかから、ユーザ I Z F 15086から供給された拘束条件情報に対応する拘束条件式を選択する。さらに、拘束条件設定部 15101は、処理領域設定部 15081から方程式生成部 15092に供給される入力画像の処理領域情報に基づいて処理領域幅 1を取得し、拘束条件式を処理領域幅 1に対応する数だけ生成する。例えば、拘束条件情報として、「隣接画素差分 = 0」という条件である式（1 4 3 ) が採用される場合には、拘束条件設定部 15101は、処理領域設定部 15081から供給された処理領域情報に基づいて処理領域幅 1を取得することにより、上述した式（1 4 5 ) で示した拘束条件式を生成し、正規方程式生成部 15103に供給する。なお、図 1 1 9で示した処理領域 15042の例では、処理領域 15042が矩形であり、各ラインの処理領域幅 1は同じとされているが、ライン毎に処理領域幅 1が異なる場合には、拘束条件の式の数もライン毎に異なることとなる。

重み変更部 15102には、モデル方程式に対する重み W_m と、拘束条件式に対する重み W_bが予め設定されている。なお、この実施の形態では、拘束条件式に係る重み係数 Wを、式（1 5 3 ) により設定し、拘束条件式に係る重みのみを利用して、モデル方程式と拘束条件式とのバランスを調整する。

W = W_b/ _m

· · · ( 1 5 3 ) 重み変更部 15102は、正規方程式生成部 15103に重み係数 Wを供給することにより、正規方程式生成部 15103で生成される正規方程式における、モデル方程式と拘束条件式との重みを変更する。

正規方程式生成部 15103には、モデル生成部 15091からライン数と同じ k個の混合画素値 P i の方程式（式（1 4 1 ) ) と、拘束条件設定部 15101からユーザがユーザ I Z F 15086を操作することにより選択した拘束条件に対応する拘束条件の方程式（式（1 4 5 ) ) とが供給される。正規方程式生成部 1δ103では、拘束条件設定部 15101から供給された拘束条件式（145) に誤差 e_bj を考慮した式（147) について、重み変更部

15102により重み係数 Wが設定される（1 ： 1であったモデル方程式と拘束条件に対する重み Wが変更される）。

即ち、式（147) は、その両辺に重み Wを乗じた次の式（1 54) に変更される。ここで、重み係数 Wは、例えば、 0. 1などの所定の値とされる。この場合、モデル方程式の誤差 e_mi の方を、拘束条件式の誤差 e_bj よりも、より小さくする画素値 Q_hが求められることになる。

W(Q厂 Q₂) =We_b1

W(Q₂-Q₃) = e_b2

W(Q₃-Q₄) =We_b3

W(Q₄-Q₅) =We_b4

W(Q₅ - Q₆) =We_b5

W(Q₆-Q₇) =We_b6

W(Q广 Q₈) = e_b7

W(Q₈ - Q₉) = We_b8

- - - (1 54) 正規方程式生成部 15103は、図 1 28に示されるように、処理領域 15042のなかから、所定の 1つのラインを注目ラインとして選択する。そして、正規方程式生成部 15103は、選択した注目ラインに対応する、モデル生成部 15091から供給された式（14 1) で示される混合画素値 Pi の方程式 (モデル方程式) と、拘束条件設定部 15101から供給された式（145) に重み係数 Wが付加された式（1 54) で示される拘束条件の方程式とから、次の式（1 5 5) で示される正規方程式を生成する。 1/V 1/V 1/v 1/v 0 0 0 0 0 0 P₃ ¾3

0 1/V 1/v 1/v 1/v 0 0 0 0 0 P₄ ^em4

0 0 1/v 1/v 1/v 1/v 0 0 0 0 p₅ ^em5

0 0 0 1/v 1/v 1/v 1/v 0 0 0 p₆ ^eni6

0 0 0 0 1/v 1/v 1/v 1/v 0 0 p₇ ^em7

0 0 0 0 0 1/v 1/v 1/v 1/v 0 ₈ ^em8

0 0 0 0 0 0 1/v 1/v 1/v 1/v ^eni9

w 一 If 0 0 0 0 0 0 0 0 o

0 w -w 0 0 0 0 0 0 0 o

0 0 w -w 0 0 0 0 0 0 o Ie_b2

0 0 0 w -w 0 0 0 0 0 o We_b3

0 0 0 0 -w 0 0 0 0 o We_b4

0 0 0 0 0 w -w 0 0 0 o

0 0 0 0 0 0 -w 0 0 o

0 0 0 0 0 0 0 ΪΪ - w 0 o

0 0 0 0 0 0 0 0 1 o 23456789 I o We_b8

• · · ( 1 5 5) なお、 e_{m i} は、式（1 4 1 ) のそれぞれの式で発生する誤差であり、 e_{b j} は、式（1 54) のそれぞれの式で発生する誤差である。

ここで、式（1 5 5) を行列 A'、列べクトル X , y , e'を用いて、式（1 5 6) に置き換える。

A'x - y+e，

• · · ( 1 5 6) この場合、式（1 4 6) の誤差 e_{m i} と式（1 5 4) の誤差 e_{b j}の二乗誤差の総和 E，は、次式で表すことができる。

2

：， =∑e_mi ²+Vf ∑e_bj

( 1 5 7) 二乗誤差の総和 E'を最小とする Q_h を求めるためには、列べクトル X (画素値 Q_hをコンポーネントとする列ベクトル X ) は、上述の式（1 50) および (1 5 1) と同様の式から、式（1 5 8) で表すことができる。 x = (A"A')~¹A'^Ty · · · ( 1 5 8) なお、式（1 58) において、上付きの Tは転置を表し、上付きの— 1は、逆行列を表す。

式（1 5 7) において、重み係数 Wが小さいときには、多少ノイズを許容しても式（14 1) をより満たすような鮮鋭な画像を求めることができ、一方、重み係数 Wが大きいときには、式（141) の成立よりも式（145) を満たすような、平坦でノイズの少ない画像を求めることができる。即ち、重み係数 Wの値を調整することにより、「鮮鋭感」と「ノイズ感」のバランスを調整することがで含る。

正規方程式生成部 15103は、式（1 58) の右辺の列べクトル yの係数である、行列（Α'^ΤΑ') -¹ Α'^τ を演算し、センサ 2 (図 1) から供給された入力画像に基づいて取得した混合画素値 Pi を、列べクトル yに代入する。行列（Α'τ Α') が演算され、混合画素値 Pi が代入された式（1 58) 1 正規方程式生成部 15103から実世界波形推定部 15093に供給される。

正規方程式生成部 15103は、選択している注目ラインに対して、上述した、正規方程式の生成、行列（Α'^ΤΑ') -¹ Α'^τの演算、および、混合画素値 Pi の代入等の処理を終了すると、まだ選択されていないラインを次の注目ラインとして選択し、その選択された次の注目ラインに対して同様の処理を行う。

実世界波形推定部 15093は、正規方程式生成部 15103から供給された式（ 1 58) を演算することにより、列ベクトル x、即ち、動きボケのない画素値 Q_h を求め、画像生成部 15084 (図 1 35) に供給する。画像生成部 15084は、処理領域設定部 15081から供給された処理領域情報に基づいて、入力画像の処理領域 15042の部分を、実世界波形推定部 15093から供給された、動きボケがない画素値 Q_hの画像に置き換えて、出力画像として生成し、画像表示部 15085に供給する。

次に、図 1 3 8のフローチャートを参照して、図 1 3 6のステップ S15088における実世界推定部 15083の実世界推定処理について詳述する。

初めに、ステップ S15101では、モデル生成部 15091は、処理領域設定部 15081から供給される処理領域情報に基づいて、処理領域幅 1 とライン数 kを取得して、ステップ S 15102に進む。

ステップ S15102では、モデル生成部 15091は、処理領域 15042のライン数に等しい k個の動き量 Vを、定常性設定部 15082から取得して、ステップ S 15103 に進む。

ステップ S 15103では、モデル生成部 15091は、ライン毎に混合画素値 P i の方程式を生成して、ステップ S15104に進む。即ち、モデル生成部 15091は、 k 個のモデル方程式（式（1 4 1 ) ) を生成する。

ステップ S 15104では、拘束条件設定部 15101は、自身の内部に有する拘束条件式のなかから、ユーザ I " F 15086から供給された拘束条件情報に対応する拘束条件式を選択する。また、拘束条件設定部 15101は、処理領域設定部 15081 から方程式生成部 15092に供給される、入力画像の処理領域情報から、処理領域幅 1を取得し、処理領域幅 1に対応する方程式の数で構成される、ユーザ I / F 15086からの拘束条件情報に対応する拘束条件の方程式（式（1 4 5 ) ) を生成し、ステップ S 15105に進む。

ステップ S15105では、重み変更部 15102は、自身の内部に予め設定されている、式（1 5 3 ) で表される重み係数 Wを正規方程式生成部 15103に供給し、拘束条件式に対する重みを変更して、ステップ S15106に進む。即ち、重み変更部 15102は、正規方程式生成部 15103において、上述の式（1 5 4 ) を生成させる。ステップ S15106では、正規方程式生成部 15103は、処理領域 15042のなかから、所定の 1つのラインを注目ラインとして選択して、ステップ S15107 に進む。ステップ S15107では、正規方程式生成部 15103は、モデル生成部 15091から供給された式（14 1) で示される混合画素値 Pi の方程式にそれぞれの式の誤差 e_rai を考慮した式（146) と、拘束条件設定部 15101から供給された式

(145) にそれぞれの式の誤差 e_bj を考慮した式（147) に、ステップ S15105で重み変更部 15102により重みが変更された拘束条件の方程式（1 5 4) とから、式（1 55) (式（1 56) ) で示される正規方程式を生成して、ステップ S15108に進む。

ステップ S15108では、正規方程式生成部 15103は、式（1 58) の右辺の列ベタトル yの係数である、行列（Α，^ΤΑ') -¹ Α'^τ を演算し、ステップ S15109 に進む。

ステップ S15109では、正規方程式生成部 15103は、センサ 2 (図 1 ) から供給された入力画像に基づいて取得した混合画素値 Pi を、列べクトル yに代入して、ステップ S15110に進む。

ステップ S15110では、実世界波形推定部 15093は、正規方程式を演算する。即ち、実世界波形推定部 15093は、正規方程式生成部 15103から供給された、式（1 58) を演算することにより、動きボケがない画素値 Q_h を求めて、ステップ S15111に進む。

ステップ S15111では、処理領域 15042の全てのラインに対して、動きボケがない画素値 Q_hを求める処理が行われたか否かが判定される。処理領域 15042の全てのラインに対して、動きボケがない画素値 Q_hを求める処理が行われていないと判定された場合、処理はステップ S15106に戻り、ステップ S15106乃至 S15111の処理が繰り返される。即ち、まだ選択されていない処理領域 15042のうちの 1ラインが注目ラインとして選択され、動きボケがない画素値 Q_h を求める処理が行われる。一方、処理領域 15042の全てのラインに対して、動きボケがない画素値 Q_h を求める処理が行われたと判定された場合、実世界推定処理を終了してリターンする。

以上のように、処理領域 15042の注目ラインとした 1ラインに対して、正規方程式（式（1 5 5 ) ) を生成し、動きボケがない画素値 Q_hを求める処理を、処理領域の 15042のライン数である k回繰り返すことにより、処理領域 15042 の全域に亘る動きボケがない画素値 Q_hを求めることができる。

ここで、処理領域 15042の各ラインの動き量 Vと処理領域幅 1が、それぞれ同じ場合には、式（1 5 5) の行列 Aは、各ラインで同じものとなる。従って、式（1 5 8 ) の行列（Α，^Τ Α' ) — ¹ Α，^τ も各ラインで同じものとなり、ライン毎に行列（Α' ^Τ Α' ) ^ Α'τ を演算する処理を省略することができる。

そこで、図 1 3 9のフローチャートを参照して、処理領域 15042の各ラインの動き量 Vと処理領域幅 1力それぞれ同じ場合の、図 1 3 6のステップ

S15088 における実世界推定部 15083 の実世界推定処理について説明する。なお、図 1 3 9において、図 1 3 8のフローチャートと同様の部分については、その説明を適宜省略する。

図 1 3 9においては、図 1 3 8のステップ S15106に対応するステップ

S15138の処理が、ステップ S15135と S15136の間ではなくて、ステップ

S15137と S15139の間に配置されている。さらに、ステップ S15141で、処理領域 15042の全てのラインに対して、動きボケがない画素値 Q_hを求める処理が行われていないと判定された場合、ステップ S15138に戻る処理とされている。

即ち、処理領域 15042の各ラインの動き量 Vと処理領域幅 1力それぞれ同じ場合、ステップ S15136で生成される正規方程式は、各ラインで同じものとなるため、最初の注目ラインに対して、ステップ S15137で、行列（Α' ^Τ Α' ) 一¹ Α' ^τ を演算した後、その後の注目ラインに対しては、行列（Α'^Τ Α' ) -¹ Α'^τ の演算（ステップ S15137の処理）を行う必要がない。従って、注目ラインの選択（ステップ S1⁵1³8) 、混合画素値 Pi の代入（ステップ S151³9の処理）、正規方程式の演算（ステップ S15140の処理）を、順次、まだ選択されていない処理領域 15042のラインに対して実行するだけでよい。

以上のように、図 1 3 5に示される実施の形態においては、動きボケが発生している画素値を動きボケのない画素値でモデル化した混合画素値 Pi の方程式 (モデル方程式）と、動きボケのない画素値の隣接する画素間の関係を用いた拘束条件式とから、正規方程式を生成し、その正規方程式を演算することにより、動きボケがない画素値（近似関数）を求めるので、画質の良い画像を生成することができる。

また、混合画素値 P i の方程式と、拘束条件の方程式とのバランス（重み）を調整することができるので、「鮮鋭感」と「ノイズ感」のバランスを考慮したュ一ザの好みの画質の、動きボケのない画像を生成することができる。

上述の例では、ユーザ I Z F 15086から拘束条件設定部 15101に供給される拘束条件情報は、拘束条件設定部 15101の内部に予め設定されている、いくつかの拘束条件のなかから、ユーザがどの拘束条件を選択（指定）したかを表す情報としたが、ユーザがユーザ I / F 15086を操作することにより、拘束条件式を直接入力するようにしてもよい。

図 1 3 5の信号処理装置 4の実施の形態においては、混合画素値 P i の方程式と、拘束条件の方程式との重み（バランス）を調整する、拘束条件の方程式に係る重み係数 Wが、予め設定された所定の値（上述の場合には、 0 . 1 ) とされていた。

しかしながら、拘束条件の方程式に係る重み係数 Wを、所定の値（一定値）とすることは、拘束条件が成立していない個所（画素間の関係）に対しても、拘束条件が成立している個所と同様に、拘束条件を適用することになり、処理画像を劣化させてしまうことがあり得る。

そこで、次に、信号処理装置 4が、拘束条件の方程式等に係る重みを、入力画像のアクティビティ（特徴量）に対応して決定するようにすることができるようにした実施の形態について説明する。図 1 4 0は、図 1 1 1に示した信号処理装置 4の応用例のその他の一実施の形態の構成例を示している。

図 1 4 0の信号処理装置 4には、センサ 2からデータ 3として、例えば、 1フレームまたは 1フィールドの画像が入力される。なお、ここでは、入力画像に画像の水平方向（横方向）にシャツタ時間（露光時間）あたり V画素の一定速度で移動している所定の形状を有する物体（オブジェクト）が表示されているものとする。即ち、入力画像は、物体が水平方向に V画素の動き量で動いているために、センサ 2の時間積分効果によって、そのオブジェクトの光信号と、そのオブジェクト以外の部分の光信号とが混合（時間混合）し、これにより、オブジェクトの境界部分などにおいて、ボケた画像となっている。図 1 4 0の信号処理装置 4では、このような時間混合によって生じた動きボケを入力画像から除去した高画質の出力画像が生成される。

図 1 4 0において、処理領域設定部 15111、定常性設定部 15112、実世界推定部 15113、画像生成部 15114、画像表示部 15115、ユーザ IZF15116は、図 1 1 1の処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I Z F 10006にそれぞれ対応しており、基本的には、処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I / F 10006それぞれと同様の処理を行う。さらに、図 1 4 0において、実世界推定部 15113は、モデル生成部 15121、方程式生成部 15122、実世界波形推定部 15123で構成されている。モデル生成部 15121、方程式生成部 15122、実世界波形推定部 15123は、図 1 1 1のモデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013にそれぞれ対応しており、基本的には、モデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013それぞれと同様の処理を行う。

但し、図 1 4 0においては、ユーザがユーザ I/F15116を操作することにより、ユーザ I/F15116が出力する補助情報が、方程式生成部 15122に供給されるようになっている。即ち、図 1 4 0では、ユーザは、ユーザ I Z F 15116を操作することにより、方程式生成部 15122において、入力画像に対応する実世界 1の画像である、動きボケがない画像の各画素間の関係を拘束する拘束条件を設定することができるようになつており、ユーザ I / F 15116は、ユーザが拘束条件を設定する操作を行うと、その操作によって設定された拘束条件を表す拘束条件情報を、方程式生成部 15122に供給する。

具体的には、例えば、画像表示部 15115に表示された、物体がボケて映っている画像を見たユーザが、本来の画像、即ち、入力画像に対応する実世界 1の画像である、動きボケがない画像を推測する。そして、例えば、ユーザは、ボケが発生している所定の領域をエッジ部分と推測し、エッジ部分の隣り合う画素間の画素値（レベル）の差は大きい、などの各画素間の画素値の関係（拘束条件）を推測する。さらに、ユーザは、その推測した各画素間の画素値の関係に適合する条件を、ユーザ I / F 15116を操作することにより、方程式生成部 15122に設定することができる。

また、図 1 4 0においては、処理領域設定部 15111から実世界推定部 15113 に供給される処理領域情報は、実世界推定部 15113のうちのモデル生成部 15121 と方程式生成部 15122に供給されるようになっている。モデル生成部 15121と方程式生成部 15122は、処理領域設定部 15111から供給される処理領域情報から、入力画像における処理領域を認識する。

定常性設定部 15112は、入力画像において、物体（オブジェクト）、画像の水平方向にシャッタ時間あたり V画素の一定速度で移動しているという定常性の情報として、動き量（動きベクトル） Vを設定し、その動き量 Vを定常性情報として実世界推定部 15113のモデル生成部 15121に供給する。

モデル生成部 15121は、処理領域設定部 15111から供給される処理領域情報から認識される処理領域について、定常性設定部 15112から供給された定常性情報としての動き量 Vを考慮した、入力画像としての動きボケ画像の各画素の画素値と、実世界 1の信号との関係をモデル化したモデル（以下、適宜、関係モデノレと称する) としての方程式 (以下、モデル方程式と称する) を生成し、その生成したモデル方程式を方程式生成部 15122に供給する。

方程式生成部 15122は、ユーザ I/F15116から供給される拘束条件情報に基づいて、拘束条件の方程式（以下、拘束条件式と称する）を生成する。また、方程式生成部 15122は、その拘束条件式と、モデル生成部 15121から供給されるモデル方程式とに、入力画像のアクティビティから決定される重みを設定し、重み付けされた拘束条件式とモデル方程式とから成る方程式に、処理領域を構成する入力画像の各画素の画素値を代入し、これにより、実世界 1の信号をモデル化したモデル（以下、適宜、近似モデルと称する）としての近似関数を求める方程式を生成して、実世界波形推定部 15123に供給する。

実世界波形推定部 15123は、方程式生成部 15122から供給される方程式を演算することにより、実世界 1の信号の波形を推定する。即ち、実世界波形推定部 15123は、近似モデルとしての近似関数を求め、その近似関数を、実世界 1の信号の波形の推定結果として、画像生成部 15114に供給する。ここで、実世界 1 の信号を近似する近似関数には、引数の値にかかわらず、関数値が一定の関数も含まれる。

画像生成部 15114は、処理領域設定部 15111から供給された処理領域情報に基づいて、入力画像の処理領域を認識する。また、画像生成部 15114は、実世界波形推定部 15123から供給された近似関数から、実世界 1の信号により近似した信号、即ち、動きボケがない画像を生成し、入力画像の処理領域の画像を動きボケがない画像に置き換えて、出力画像として生成し、画像表示部 15115に供給する。

次に、図 1 4 1のフローチャートを参照して、図 1 4 0の信号処理装置 4の処理について説明する。

最初に、ステップ S15161において、信号処理装置 4は、前処理を行い、ステップ S15162に進む。即ち、信号処理装置 4は、センサ 2 (図 1 ) からデータ 3 として供給される、例えば 1フレームまたは 1フィールドの入力画像を、処理領域設定部 15111、定常性設定部 15112、実世界推定部 15113、画像生成部 15114、および画像表示部 15115に供給する。さらに、信号処理装置 4は、画像表示部 15115に、入力画像を表示させる。

ステップ S 15162では、ユーザ IZF15116は、ユーザがユーザ IZF15116を操作することにより、何らかのユーザ入力があつたかどうかを判定する。ステップ S15162において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S 15163乃至 S15165をスキップして、ステップ S15166に進む。

—方、ステップ S 15162において、ユーザ入力があつたと判定された場合、即ち、ユーザが、画像表示部 15115に表示された入力画像を見て、ユーザ IZ

F15116を操作し、これにより、何らかの指示または情報を表すユーザ入力があつた場合、ステップ S15163に進み、ユーザ I/F15116は、そのユーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。ステップ S 15163において、ユーザ入力が終了指示であると判定された場合、信号処理装置 4は処理を終了する。

一方、ステップ S 15163において、ユーザ入力が終了指示でないと判定された場合、ステップ S15164に進み、ユーザ IZF15116は、ユーザ入力が拘束条件情報であるかどうかを判定する。ステップ S 15164において、ユーザ入力が拘束条件情報でないと判定された場合、ステップ S15165をスキップして、ステップ S 15166に進む。

また、ステップ S15164において、ユーザ入力が拘束条件情報であると判定された場合、ステップ S 15165に進み、ユーザ IZF15116は、その拘束条件情報を、方程式生成部 15122に供給し、ステップ S15166に進む。

ステップ S15166では、処理領域設定部 15111は、入力画像について、処理領域を設定し、その処理領域を特定する処理領域情報を、定常性設定部 15112、実世界推定部 15113のモデル生成部 15121および方程式生成部 15122、並びに画像生成部 15114に供給し、ステップ S15167に進む。ここで、ステップ S15166 における処理領域の設定は、ユーザがユーザ I / F l⁵116を操作することにより処理領域指示情報を入力し、その処理領域指示情報に基づいて行うことも可能であるし、ユーザからの処理領域指示情報なしで行うことも可能である。

ステップ S15167では、定常性設定部 15112は、処理領域設定部 15111から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部 15112は、その処理領域の画像データにおいて定常性の一部が欠落した実世界 1の信号の定常性を設定し、その定常性を表す定常性情報を、実世界推定部 15113のモデル生成部 15121に供給して、ステップ S 15168に進む。ここで、定常性設定部 15112は、シャツタ時間（露光時間）あたり V画素の一定速度で水平方向に移動していることを表す動き量 Vを定常性情報として設定し、実世界推定部 15113のモデル生成部 15121に供給するものとする。なお、ここでは、定常性設定部 15112は、入力画像において、オブジェクトが水平方向に移動していることを前提として、その動きの大きさだけを表す動き量を定常性情報として設定するようにしたが、その他、オブジェクトの動きの大きさと方向を表す動きベクトルを、定常性情報として設定することも可能である。ステップ S15167における定常性の設定は、ユーザがユーザ I / F 15116を操作することにより定常性指示情報を入力し、その定常性指示情報に基づいて行うことも可能であるし、ユーザからの定常性指示情報なしで行うことも可能である。

ステップ S 15168では、実世界推定部 15113は、実世界推定処理を行う。即ち、実世界推定部 15113では、モデル生成部 15121が、ステップ S 1S 167において定常性設定部 15112から供給された動き量 Vと、ステップ S15166において処理領域設定部 15111から供給された処理領域情報に基づいて、入力画像としての動きボケ画像の各画素の画素値と、実世界 1の信号との関係をモデル化したモデル (関係モデル) としての方程式 (モデル方程式) を生成し、その生成したモデル方程式を方程式生成部 15122に供給する。

方程式生成部 15122は、ステップ S15165においてユーザ IZF15116から供給される拘束条件情報に基づいて、拘束条件式を生成し、生成された拘束条件式と、モデル生成部 15121から方程式生成部 15122に供給されるモデル方程式とに、入力画像のアクティビティから決定される重みを設定する。そして、方程式生成部 15122は、重み付けされた拘束条件式とモデル方程式とから成る方程式に、処理領域を構成する入力画像の各画素の画素値を代入し、これにより、実世界 1 の信号をモデル化したモデル（近似モデル) としての近似関数を求める方程式を生成して、実世界波形推定部 15123に供給する。ここで、ユーザが拘束条件情報を指定（設定）しなかった場合、即ち、ステップ. S15162または S15164で N Oと判定された場合、方程式生成部 15122は、例えば、図 1 1 3の実施の形態において説明した、モデル方程式と処理領域の端部を「平坦である」と仮定した式とから成る連立方程式を解く方法などの、所定の処理が行われる。

実世界波形推定部 15123は、方程式生成部 15122から供給される方程式を演算することにより、実世界 1の信号の波形を推定、即ち、実世界 1の信号をモデル化したモデルとしての近似関数を求め、その近似関数を、実世界 1の信号の波形の推定結果として、画像生成部 15114に供給する。

なお、ステップ S 15168の実世界推定処理の詳細については、図 1 4 3を参照して後述する。

ステップ S 15168 の処理後は、ステップ S15169に進み、画像生成部 15114は、実世界波形推定部 15123から供給された近似関数から、実世界 1の信号により近似した信号、即ち、動きボケがない画像を生成し、処理領域設定部 15111から供給された処理領域情報に基づいて、入力画像の処理領域の部分を、生成した動きボケがない画像に置き換えて、出力画像として生成し、画像表示部 15115 に供給して、ステップ S 15170に進む。

ステップ S 15170では、画像表示部 15115は、画像生成部 15114から供給された出力画像を、ステップ S15161で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップ S15171に進む。

ステップ S 15171では、ユーザ IZF15116は、ステップ S 15162における場合と同様に、ユーザがユーザ I/F15116を操作することにより、何らかのユーザ入力があつたかどうかを判定し、ユーザ入力がなかったと判定した場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S15171に戻り、何らかのュ一ザ入力があるまで待つ。

また、ステップ S15171において、ユーザ入力があつたと判定された場合、即ち、ユーザが、画像表示部 15115に表示された入力画像や出力画像を見て、ュ一ザ IZF15116を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップ S15172に進み、ユーザ IZF15116は、そのユーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。

ステップ S 15172において、ユーザ入力が終了指示であると判定された場合、信号処理装置 4は処理を終了する。

一方、ステップ S15172において、ユーザ入力が終了指示でないと判定された場合、ステップ S15173に進み、ユーザ IZF15116は、ユーザ入力が拘束条件情報であるかどうかを判定する。ステップ S15173において、ユーザ入力が拘束条件情報でないと判定された場合、ステップ S 15171に戻り、以下、同様の処理が繰り返される。

また、ステップ S15173において、ユーザ入力が拘束条件情報であると判定された場合、ステップ S15165に戻り、上述したように、ユーザ I / F 15116は、その拘束条件情報を、方程式生成部 15122に供給する。そして、ステップ S15165から S15166に進み、以下、同様の処理が繰り返される。なお、信号処理装置 4が、ステップ S 15165乃至 S15173の処理を繰り返す場合において、上述のステップ S15166および S 15167の処理は、 1回目の S15166および S 15167 の処理で設定されるものと同一であり、 1回目の処理と同じ処理を繰り返しても良いし、スキップするようにしても良い。 '

以上のように、図 1 4 0の信号処理装置 4では、実世界 1の信号をモデル化したモデルとしての近似関数を求めることにより、動きボケがない、高画質の出力画像を生成することができる。また、ユーザは、ユーザ I Z F 15116を操作することにより、本来の動きボケがないときの画像における、各画素間の関係を拘束する拘束条件を設定することができ、新たな拘束条件が入力された場合には、再度、動きボケがない画像を求めることができるので、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。

なお、図 1 4 0の信号処理装置 4では、実世界 1の光信号を近似する近似関数を求めることにより、動きボケのない出力画像を生成するが、この出力画像は、入力画像から動きボケが除去されたものであるとみることができる。従って、図 1 4 0の信号処理装置 4では、動きポケ除去の処理が行われるということができる。

次に、図 1 4 2を参照して、図 1 4 0の実世界推定部 15113の内部の構成について説明する。なお、図 1 4 0の実施の形態においても、入力画像に映っている物体の動きボケ発生のメカニズムを、一例である図 1 2 5と図 1 2 6に示される、上述した式（1 4 1 ) の関係として、モデル化するものとする。

実世界推定部 15113は、モデル生成部 15121、方程式生成部 15122、および実世界波形推定部 15123で構成されている。さらに、方程式生成部 15122は、拘束条件設定部 15131、ァクティビティ検出部 15132、重み変更部 15133、および正規方程式生成部 15134で構成されている。

モデル生成部 15121には、定常性設定部 15112から定常性情報としての動き量 Vが供給される。この例での動き量 Vは、入力画像のうちの処理領域設定部 15111で設定された処理領域において、物体がシャツタ時間あたり V画素の一定速度で水平方向に移動している定常性を表しており、例えば、上述の例と同様に v = 4とする。また、動き量 Vは、ライン毎に異なる値でもよく、動き量 Vがライン毎に異なる場合には、ライン数に等しい k個の動き量 Vが、定常性情報として、定常性設定部 15112からモデル生成部 15121に供給される。

また、モデル生成部 15121には、処理領域設定部 15111から入力画像のなかの処理領域を特定する処理領域情報も供給される。処理領域として矩形の形状の領域を採用する場合には、処理領域情報は、例えば、入力画像の所定の位置（画素）を原点とする絶対座標系に対する、矩形の処理領域の対角の座標値や、処理領域の中心座標と処理領域の幅（水平方向）と高さ（垂直方向）などで表すことができる。，

モデル生成部 15121は、処理領域設定部 15111から供給された処理領域情報から、例えば、図 1 1 9に示したような、処理領域幅 1 とライン数 kを取得する。この例では、処理領域 15042は、矩形とされ、例えば、 1 = 1 0, k = 4とするものとする。この場合、各ラインの処理領域幅（画素数）は、同じとされているが、処理領域 15042は、各ラインで異なる処理領域幅となるようにすることもできる。処理領域幅 1がライン毎に異なる場合には、モデル生成部 15121 は、ライン数と同じ個数（k個）の処理領域幅 1を取得する

そして、モデル生成部 15121は、定常性設定部 15112から供給された動き量 Vと、処理領域情報から取得した処理領域幅 1 とライン数 kに基づいて、上述の式（141) で示した混合画素値 Pi ( i =3乃至 9) の方程式（モデル方程式）を生成し、正規方程式生成部 15134に供給する。

拘束条件設定部 15131には、ユーザが、ユーザ I ZF 15116を操作することにより指定した拘束条件情報がユーザ I /F15116から供給される。例えば、ユーザは、拘束条件設定部 15131の内部に予め設定されている、上述した式（14 3) や式（144) などの、動きボケのない画像の各画素の画素値 Q_hの関係を拘束する拘束条件の中から、所望の拘束条件を選択（指定）する操作をユーザ I /F15116により行い、ユーザ I /F 15116が、その選択された拘束条件を示す情報を拘束条件情報として、拘束条件設定部 15131に供給する。拘束条件設定部 15131は、自身の内部に有する拘束条件式のなかから、ユーザ I ZF 15116から供給された拘束条件情報に対応する拘束条件式を選択する。さらに、拘束条件設定部 15131は、処理領域設定部 15111から方程式生成部 15122に供給される入力画像の処理領域情報に基づいて処理領域幅 1を取得し、拘束条件式を処理領域幅 1に対応する数だけ生成する。例えば、拘束条件情報として、「隣接画素差分 =0」という条件である式（143) が採用される場合には、拘束条件設定部 15131は、処理領域設定部 15111から供給された処理領域情報に基づいて処理領域幅 1を取得することにより、上述した式（145) で示した拘束条件式を生成し、正規方程式生成部 15134に供給する。なお、図 1 1 9で示した処理領域 15042の例では、処理領域 15042が矩形であり、各ラインの処理領域幅 1は同じとされているが、ライン毎に処理領域幅 1が異なる場合には、拘束条件の式の数もライン毎に異なることとなる。

アクティビティ検出部 15132では、重み変更部 15133が、各混合画素値の方程式（モデル方程式）に対する重み W_mi、および、各拘束条件式に対する重み W_bj を決定するための情報となる、入力画像の処理領域内の各画素（注目画素）のアクティビティ（特徴量）が検出される。

即ち、アクティビティ検出部 15132は、例えば、入力画像の処理領域内の各画素を注目画素 Pj として、例えば、その注目画素 Ρ」とその右隣の画素 P_{j + 1} との隣接画素差分（Pj— P_{j + 1}) の値などを、注目画素 Ρ」のアクティビティとして検出し、重み変更部 15133に供給する。

重み変更部 151133は、各混合画素値 Pi の方程式（モデル方程式）に対する重み W_mi (以下、単に重み W_mi と称する）と、各拘束条件式に対する重み W_bj (以下、単に重み W_bj と称する）を有している。

重み変更部 15133は、重み W_mi と重み W_bj とを、正規方程式生成部 15134に供給することにより、正規方程式生成部 15134で生成される、モデル生成部

15121から供給される混合画素値 Pi の方程式（モデル方程式）と、拘束条件設定部 15131から供給される拘束条件式とから成る方程式の、それぞれの式の重みを変更（設定）する。

実世界推定部 15113で得られる画素値 Q_hで構成される画像の劣化は、拘束条件が不適切な個所で発生することが多いと考えられるので、重み W_rai よりも重み W_bj を適切に調整する方がより効果的である。そこで、この実施の形態では、重み W_mi は所定の値（一定値）とし、重み W_bj を、アクティビティ検出部

15132より供給されるアクティビティに基づいて変更することとする。なお、重み W_mi についても、以下で説明する同様の方法や、その他の方法により求められるァタティビティにより変更するようにしてもよい。

拘束条件式として、例えば、上述の式（143) で表される「隣接画素差分 = 0」を採用した場合、式（143) で表される拘束条件式が成立しない個所（画素）は、動きボケのない画像における、物体（オブジェクト）のエッジ部分に対応する画素である。ここで、式（143) で表される拘束条件式は、空間方向 X の方向に隣合う画素間の差分を考えているので、拘束条件式が成立しないォブジエタトのエッジ部分とは、オブジェクトのエッジの方向 (境界線) が、水平方向

(空間方向 Xと平行な方向）ではない方向のエッジである。

動きボケの発生していない画像のェッジ部分は、動きボケの発生している画像においても、エッジになっている。換言すれば、動きボケの発生している画像においても、動きボケの発生していない画像でエッジ部分であった画素は、その画素の近傍で、エッジの特徴が残って表れている。従って、動きボケの発生している画像（入力画像）の隣接画素差分（Pj_P_{j + 1}) の値に応じて、重み W_bj を決定するようにすることができる。

即ち、入力画像の隣接画素差分（Pj— P_{j + 1}) の値が大きい個所は、動きボケの発生していない画像において、エッジである可能性が高い。そこで、隣接画素どうしの差分が小さいという、上述の式（143) の拘束条件式の重み W_bj を小さくする（拘束条件を緩くする）ようにする。アクティビティを表す隣接画素差分（Pj— P_{j + 1}) に応じて重み W_bj を小さくする方法として、例えば、以下に説明する 2つの方法がある。

第 1の方法は、入力画像の隣接画素差分（Pj— P_{j + 1}) の値の逆比を、重み W_bj として採用する方法である。式で表すと、次のように書くことができる。

¾ = P¾ j =0， . . .，8

• · · (1 5 9) 第 2の方法は、入力画像の隣接画素差分（Pj— P_{j + 1}) の値に応じて、拘束条件式の重み W_bj を 0または 1のうちのいずれかにし、等価的に、拘束条件式を入れるか入れないかを決定する方法である。式で表すと、次のように書くことができる。 j =0， ,8

(1 60) ここで、式（1 60) において、閾値 Thは、拘束条件式を入れるか入れないかを判断する基準となる値であり、重み変更部 15133に予め設定しておくことができる。重み W_bj が 0と設定された拘束条件式は、実質的に拘束条件式から削除されることになる。

正規方程式生成部 15134には、モデル生成部 15121からライン数と同じ k個の混合画素値 Pi の方程式（式（14 1) ) が供給される。また、正規方程式生成部 15134には、拘束条件設定部 15132からユーザがユーザ I ZF 15116を操作することにより選択した拘束条件に対応する拘束条件の方程式（式（14 5) ) が供給される。

正規方程式生成部 15134では、重み変更部 15133により、拘束条件設定部 15132から供給された拘束条件式（145) に誤差 e_bj を考慮した式（14 7) について、重み W_bj が設定される（1 ： 1であったモデル方程式と拘束条件に対する重み W_bj が変更される）。即ち、式（147) は、その両辺に重み W_bj を乗じた次の式（161) 更される。

W_bi(Qr -Q₂) = W_bie_b1

W_b2(Q₂- -Q₃) - W_b2e_b2

b₃(Q₃- -Q₄) = ¾₃e_b3

4(Q₄- -Q₅) 二 W_b4e_b4 <

II II

b₅(Q5- -Q₆)二 W_b5e_b5

X

-Q₉) = ¾₈e_b8

• · - (161) また、正規方程式生成部 15134では、重み変更部 15133により、モデル生成部 15121から供給された混合画素値 Piの方程式（モデル方程式）（141) に i を考慮した式（146) について、重み W_mi が設定される。

即ち、式（146) は、その両辺に：重み w_rai

更される。

"v = W_m3x (Ρ3⁺½

W_m5x (Q₂+Q₃+Q₄+Q₅)/ "v = W_m5x

6^X (Q3„ ⁺Q6レ "v = W_m6x

W_m7x (Q₄+Q₅+Q₆+Q₇)/ = W_m7x

8^X (Q5⁺Q6⁺Q7+Q8レ "v = W_m8x (P₈+e_m8

W_m9X (Q₆ -Q₇+Q₈+Q₉)/ (Pg⁺e_m9

• · · (162) なお、上述したよう .では、式（162) における重み W_mi は、一定値である。正規方程式生成部 15134は、図 1 28に示されるように、処理領域 15042のなかから、所定の 1つのラインを注目ラインとして選択する。そして、正規方程式生成部 15134は、選択した注目ラインに対応する、式（16 1) と式（1 6 2) と力ゝら、次の式（1 63) で示される正規方程式を生成する。

… (163)

·>- - で、式 (1 6 3) を行列 A" ヽ列クトル x， y ョ" を用いて、式（1 64) に置き換える。

A"x = y+e"

• · · (1 64) この場合、式（1 6 1) の誤差 e_bj と式（1 6 2) の誤差 e_miの二乗誤差の総和 E" は、次式で表すことができる。

2

:' =∑(W_mie_mi) +∑( _bje_bj)

(1 6 5) 二乗誤差の総和 E" を最小とする Q_h を求めるためには、列べクトル X (画素値 Q_hをコンポーネントとする列ベクトル X ) は、上述の式（1 5 0) および (1 5 1) と同様の式から、式（1 6 6) で表すことができる。 x= (A"^TA")"¹A"^Ty

- - - ( 1 6 6) なお、式（1 6 6) において、上付きの Tは転置を表し、上付きの一 1は、逆行列を表す。

従って、正規方程式生成部 15134は、式（1 6 6) の右辺の列べクトル yの係数である、行列（A" ^T A" ) -¹ A" ^τ を演算し、センサ 2 (図 1) から供給された入力画像に基づいて取得した混合画素値 Pi を、列ベクトル yに代入する。行列（A" ^TA" ) -¹ A" ^τが演算され、混合画素値 Pi が代入された式（1 6 6) 正規方程式生成部 15134から実世界波形推定部 15123に供給される。以上のような、処理領域 15042の所定の 1ラインを注目ラインとして行った処理が終了すると、正規方程式生成部 15134は、まだ選択されていないラインを次の注目ラインとして選択し、その選択された次の注目ラインに対して同様の処理を行う。

実世界波形推定部 15123は、正規方程式生成部 15134から供給された式（1 6 6) を演算することにより、列ベクトル x、即ち、動きボケのない画素値 Q_h を求め、画像生成部 15114 (図 1 40) に供給する。

画像生成部 15114は、処理領域設定部 15111から供給された処理領域情報に基づいて、入力画像の処理領域 15042の部分を、実世界波形推定部 15123から供給された、動きボケがない画素値 Q_h の画像に置き換えて、出力画像として生成し、画像表示部 15115に供給する。

次に、図 1 4 3のスローチャートを参照して、図 1 4 1のステップ S15168における実世界推定部 15113の実世界推定処理について詳述する。初めに、ステップ S15191では、モデル生成部 15121は、処理領域設定部 15111から供給される処理領域情報に基づいて、処理領域幅 1 とライン数 kを取得して、ステップ S 15192に進む。

ステップ S 15192では、モデル生成部 15121は、処理領域 15042のライン数に等しい k個の動き量 Vを、定常性設定部 15112から取得して、ステップ S15193 に進む。

ステップ S 15193,では、モデル生成部 15121は、ライン毎に混合画素値 P i の方程式を生成して、ステップ S15194に進む。即ち、モデル生成部 15121は、 k 個のモデル方程式（式（1 4 1 ) ) を生成する。

ステップ S 15194では、拘束条件設定部 15131は、自身の内部に有する拘束条件式のなかから、ユーザ I / F 15116から供給された拘束条件情報に対応する拘束条件式を選択する。また、拘束条件設定部 15131は、処理領域設定部 15111 から方程式生成部 15122に供給される、入力画像の処理領域情報から、処理領域幅 1を取得し、処理領域幅 1に対応する方程式の数で構成される、ユーザ I Z F l⁵116からの拘束条件情報に対応する拘束条件の方程式（式（1 4 5 ) ) を生成し、ステップ S15195に進む。

ステップ S 15195では、アクティビティ検出部 15132は、重み変更部 15133力重み W_{b j} を決定するための情報となる、入力画像の処理領域内の各画素のァクテイビティ（特徴量）を検出し、重み変更部 ' 15133に供給して、ステップ

S15196に進む。

ステップ S 15196では、重み変更部 15133は、アクティビティ検出部 15132から供給された、入力画像の処理領域内の各画素のアクティビティを用いて、例えば、上述の第 1 または第 2の方法などで求められる重み W_{b j} を算出する。また、重み変更部 15133は、算出した重み W_{b j} と予め一定値として与えられている重み W_{ra i} とを、正規方程式生成部 15134の混合画素値 P i の方程式（モデル方程式）と、拘束条件の方程式（拘束条件式）のそれぞれの式の重みとして設定して、ステップ S15197に進む。ステップ S15197では、正規方程式生成部 15134は、処理領域 15042のなかから、所定の 1つのラインを注目ラインとして選択して、ステップ S15198 に進むステップ S15198では、正規方程式生成部 15134は、モデル生成部 15121から供給された式（14 1) で示される混合画素値 Pi の方程式に、それぞれの式の誤差 e_mi を考慮した式（146) に対して、ステップ S15196で重み変更部 15133により重み W_raiが変更された式（1 62) と、拘束条件設定部 15131から供給された拘束条件式（145) に、それぞれの式の誤差 e_bj を考慮した式 (147) に対して、ステップ S15196で重み変更部 1δ1³3により重み W_bjが変更された拘束条件の方程式（1 6 1) とから、式（1 6 3) (式（1 64) ) で示される正規方程式を生成して、ステップ S15199に進む。

ステップ S15199では、正規方程式生成部 15134は、式（1 66) の右辺の列ベタトル yの係数である、行列（A" ^T A" ) ^Α" ^τを演算し、ステップ S15200に進む。

ステップ S15200では、正規方程式生成部 15134は、センサ 2 (図 1 ) から供給された入力画像に基づいて取得した混合画素値 Pi を、列べクトル yに代入して、ステップ S15201に進む。

ステップ S15201では、実世界波形推定部 15123は、正規方程式を演算する。即ち、実世界波形推定部 15123は、正規方程式生成部 15134から供給された、式（1 66) を演算することにより、動きボケがない画素値 Q_h を求めて、ステップ S15202に進む。

ステップ S15202では、処理領域 15042の全てのラインに対して、動きボケがない画素値 Q_hを求める処理が行われたか否かが判定される。処理領域 15042の全てのラインに対して、動きボケがない画素値 Q_h を求める処理が行われていないと判定された場合、処理はステップ S15197に戻り、ステップ S15197乃至 S15202の処理が繰り返される。即ち、まだ選択されていない処理領域 15042のうちの 1ラインが注目ラインとして選択され、動きボケがない画素値 Q_h を求める処理が行われる。一方、処理領域 15042の全てのラインに対して、動きボケがない画素値 Q_h を求める処理が行われたと判定された場合、実世界推定処理を終了してリターンする。

以上のように、処理領域 15042の注目ラインとした 1ラインに対して、正規方程式（式（1 6 3 ) ) を生成し、動きボケがない画素値 Q_hを求める処理を、処理領域の 15042のライン数である k回繰り返すことにより、処理領域 15042 の全域に亘る動きボケがない画素値 Q_hを求めることができる。

以上のように、図 1 4 0に示される実施の形態においては、動きボケの発生している画素値を動きボケのない画素値でモデル化した混合画素値 Pi の方程式と動きボケのない画素値の隣接する画素間の関係を用いた拘束条件式とから、正規方程式を生成し、その正規方程式を演算することにより、動きボケがない画素値を求めるので、画質の良い画像を生成することができる。

また、拘束条件の方程式のそれぞれの重みを、入力画像のアクティビティに基づいて変更するので、入力画像の特徴量に応じた、画質の良い画像を生成することができる。

図 1 4 4乃至図 1 4 6は、図 1 4 0の信号処理装置 4の処理結果を説明する図である。 .

図 1 4 4は、図 1 4 0の信号処理装置 4に入力される入力画像を示している。図 1 4 4の入力画像においては、「T A L j の文字が左から右方向に等速で移動しており、水平方向に動きボケが発生している。

図 1 4 5は、図 1 4 4の入力画像を、図 1 3 5の信号処理装置 4が処理した出力画像を示している。即ち、拘束条件式に対する重み W_{b j} が、全ての拘束条件式について、同じ重みとして処理された場合の、図 1 4 4の入力画像に対する出力画像である。図 1 4 4と、図 1 4 5とを比較して明らかなように、図 1 4 5の画像では、図 1 4 4の入力画像に生じている動きボケが低減され、「T A L」の文字が比較的はっきりと表示されている。一方、図 1 4 6は、図 1 4 4の入力画像を、上述した実施の形態である、図 1 4 0の信号処理装置 4が、上述の第 2の方法を利用して処理した出力画像を示している。即ち、拘束条件式に対する重み W_{b j}力入力画像のアクティビティに応じて、 0または 1とされたときの、図 1 4 4の入力画像に対する出力画像である。図 1 4 6の画像においても、図 1 4 4の入力画像に生じている動きボケが低減され、「T A L」の文字がはっきりと表示されている。

なお、図 1 4 4乃至図 1 4 6の実施の形態では、図 1 4 6の処理画像の方が、図 1 4 5の処理画像よりもエッジ部分が鮮明になった画像になっている。

なお、上述の例では、ユーザ I / F 15116から拘束条件設定部 15131に供給される拘束条件情報は、拘束条件設定部 15131の内部に予め設定されている、いくつかの拘束条件のなかから、ユーザがどの拘束条件を選択（指定）したかを表す情報としたが、ユーザがユーザ I Z F 15116を操作することにより、拘束条件式を直接入力するようにしてもよい。

また、重み変更部 15133において上述の第 2の方法を採用した場合、拘束条件式を入れるか入れないかを判断する基準となる値である閾値 T hを、その内部に予め設定しておくようにしたが、ユーザが画像表示部 15115に表示される処理画像を見ながら、ユーザ I Z F 15116を操作することにより、閾値 T hを適宜調整できるようにすることもできる。

図 1 4 7は、図 1 1 1に示した信号処理装置 4の応用例のその他の一実施の形態の構成例を示している。

図 1 4 7の信号処理装置 4には、センサ 2からデータ 3として、例えば、 1フレームまたは 1フィールドの画像が入力される。なお、ここでは、入力画像に画像の水平方向（横方向）にシャツタ時間（露光時間）あたり V画素の一定速度で移動している所定の形状を有する物体（オブジェクト）が表示されているものとする。即ち、入力画像は、物体が水平方向に V画素の動き量で動いているために、センサ 2の時間積分効果によって、そのオブジェクトの光信号と、そのオブジェタト以外の部分の光信号とが混合（時間混合）し、これにより、オブジェクトの境界部分などにおいて、ボケた画像となっている。図 1 4 7の信号処理装置 4では、このような時間混合によって生じた動きボケを入力画像から除去した高画質の出力画像が生成される。

図 1 4 7において、処理領域設定部 15151、定常性設定部 15152、実世界推定部 15153、画像生成部 15154、画像表示部 15155、ユーザ I F 15156は、図 1 1 1の処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I / F 10006 にそれぞれ対応しており、基本的には、処理領域設定部 10001、定常性設定部 10002、実世界推定部 10003、画像生成部 10004、画像表示部 10005、ユーザ I Z F 10006それぞれと同様の処理を行う。さらに、図 1 4 7において、実世界推定部 15153は、モデル生成部 15161、方程式生成部 15162、実世界波形推定部 15163で構成されている。モデル生成部 15161、方程式生成部 15162、実世界波形推定部 15163は、図 1 1 1のモデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013にそれぞれ対応しており、基本的には、モデル生成部 10011、方程式生成部 10012、実世界波形推定部 10013それぞれと同様の処理を行う。

伹し、図 1 4 7においては、ユーザがユーザ I Z F 15156を操作することにより、ユーザ I / F 15156が出力する補助情報が、方程式生成部 15162に供給されるようになっている。

即ち、図 1 4 7では、ユーザは、ユーザ I / F 15156を操作することにより、方程式生成部 15162において、入力画像に対応する実世界 1の画像である、動きボケがない画像の各画素間の関係を拘束する拘束条件と、その拘束条件に対する重みとを設定することができるようになつており、ユーザ I / F 15156は、ュ一ザが拘束条件を設定する操作や重みを設定する操作を行うと、その操作によつて設定された拘束条件を表す拘束条件情報や拘束条件に対する重みを、方程式生成部 15162に供給する。

具体的には、例えば、画像表示部 15155に表示された、物体がボケて映っている画像を見たユーザが、本来の画像、即ち、入力画像に対応する実世界 1の画像である、動きボケがない画像を推測する。そして、例えば、ユーザは、ボケが発生している所定の領域をェッジ部分と推測し、ェッジ部分の隣り合う画素間の画素値（レベル）の差は大きい、などの各画素間の画素値の関係（拘束条件）を推測する。さらに、ユーザは、その推測した各画素間の画素値の関係に適合する条件を、ユーザ I Z F 15156を操作することにより、方程式生成部 15162に設定することができる。

また、図 1 4 7においては、処理領域設定部 15151から実世界推定部 15153 に供給される処理領域情報は、実世界推定部 15153のうちのモデル生成部 15161 と方程式生成部 15162に供給されるようになっている。モデル生成部 15161と方程式生成部 15162は、処理領域設定部 15151から供給される処理領域情報から、入力画像における処理領域を認識する。

定常性設定部 15152は、入力画像において、物体（オブジェクト）ヽ画像の水平方向にシャツタ時間あたり V画素の一定速度で移動しているという定常性の情報として、動き量（動きベクトル） Vを設定し、その動き量 Vを定常性情報として実世界推定部 15153のモデル生成部 15161に供給する。

モデル生成部 15161は、処理領域設定部 15151から供給される処理領域情報から認識される処理領域について、定常性設定部 15152から供給された定常性情報としての動き量 Vを考慮した、入力画像としての動きボケ画像の各画素の画素値と、実世界 1の信号との関係をモデル化したモデル（以下、適宜、関係モデルと称する）としての方程式 (以下、モデル方程式と称する) を生成し、その生成したモデル方程式を方程式生成部 15162に供給する。

方程式生成部 1δ162は、ユーザ I / F 15156から供給される拘束条件情報に基づいて、拘束条件の方程式（以下、拘束条件式と称する）を生成する。また、方程式生成部 15162は、その拘束条件式と、モデル生成部 15161から方程式生成部 15162に供給されるモデル方程式とに、ユーザ I Z F 15156から供給される重みを設定し、重み付けされた拘束条件式とモデル方程式とから成る方程式に、処理領域を構成する入力画像の各画素の画素値を代入し、これにより、実世界 1の信号をモデル化したモデル（以下、適宜、近似モデルと称する）としての近似関数を求める方程式を生成して、実世界波形推定部 15163に供給する。

実世界波形推定部 15163は、方程式生成部 15162から供給される方程式を演算することにより、実世界 1の信号の波形を推定する。即ち、実世界波形推定部 15163は、近似モデルとしての近似関数を求め、その近似関数を、実世界 1の信号の波形の推定結果として、画像生成部 15154に供給する。ここで、実世界 1 の信号を近似する近似関数には、引数の値にかかわらず、関数値が一定の関数も含まれる。

画像生成部 15154は、処理領域設定部 15151から供給された処理領域情報に基づいて、入力画像の処理領域を認識する。また、画像生成部 15154は、実世界波形推定部 15163から供給された近似関数から、実世界 1の信号により近似した信号、即ち、動きボケがない画像を生成し、入力画像の処理領域の画像を動きボケがない画像に置き換えて、出力画像として生成し、画像表示部 15155に供給する。

次に、図 1 4 8のフローチャートを参照して、図 1 4 7の信号処理装置 4の処理について説明する。

最初に、ステップ S15211において、信号処理装置 4は、前処理を行い、ステップ S15212に進む。即ち、信号処理装置 4は、センサ 2 (図 1 ) からデータ 3 として供給される、例えば 1フレームまたは 1フィールドの入力画像を、処理領域設定部 15151、定常性設定部 15152、実世界推定部 15153、画像生成部 15154、および画像表示部 15155に供給する。さらに、信号処理装置 4は、画像表示部

15155に、入力画像を表示させる。

ステップ S 15212では、ユーザ I / F 15156は、ユーザがユーザ I Z F 15156 を操作することにより、何らかのユーザ入力があつたかどうかを判定する。ステップ S15212において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S 15213乃至 S 15215をスキップして、ステップ S15216に進む。一方、ステップ S 15212において、ユーザ入力があつたと判定された場合、即ち、ユーザが、画像表示部 15155に表示された入力画像を見て、ユーザ I Z F 15156を操作し、これにより、何らかの指示または情報を表すユーザ入力があつた場合、ステップ S 15213に進み、ユーザ I Z F 15156は、そのユーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。ステップ S 15213において、ユーザ入力が終了指示であると判定された場合、信号処理装置 4は処理を終了する。

一方、ステップ S 15213において、ユーザ入力が終了指示でないと判定された場合、ステップ S15214に進み、ユーザ I / F 15156は、ユーザ入力が拘束条件情報または重みであるかどうかを判定する。ステップ S 15214において、ユーザ入力が拘束条件情報および重みのいずれでもないと判定された場合、ステップ S15215をスキップして、ステップ S15216に進む。

また、ステップ S 15214において、ユーザ入力が拘束条件情報または重みであると判定された場合、ステップ S 15215に進み、ユーザ I Z F 15156は、その拘束条件情報または重みを、方程式生成部 15162に供給し、ステップ S15216に進む。ユーザ I Z F 15156では、拘束条件情報と重みの両方を入力することが可能であり、ユーザが拘束条件情報と重みの両方を入力した場合には、ユーザ I / F 15156は、入力された拘束条件情報と重みの両方を方程式生成部 15162に供給する。

ステップ S 15216では、処理領域設定部 15151は、入力画像について、処理領域を設定し、その処理領域を特定する処理領域情報を、定常性設定部 15152、実世界推定部 15153のモデル生成部 15161および方程式生成部 15162、並びに画像生成部 15154に供給し、ステップ S15217に進む。ここで、ステップ S 15216 における処理領域の設定は、ユーザがユーザ I / F 15156を操作することにより処理領域指示情報を入力し、その処理領域指示情報に基づいて行うことも可能であるし、ユーザからの処理領域指示情報なしで行うことも可能である。ステップ S15217では、定常性設定部 15152は、処理領域設定部 15151から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部 15152は、その処理領域の画像データにおいて定常性の一部が欠落した実世界 1の信号の定常性を設定し、その定常性を表す定常性情報を、実世界推定部 15153のモデル生成部 15161に供給して、ステップ S15218に進む。ここで、定常性設定部 15152は、シャツタ時間（露光時間）あたり V画素の一定速度で水平方向に移動していることを表す動き量 Vを定常性情報として設定し、実世界推定部 15153のモデル生成部 15161に供給するものとする。なお、ここでは、定常性設定部 15152は、入力画像において、オブジェクトが水平方向に移動していることを前提として、その動きの大きさだけを表す動き量を定常性情報として設定するようにしたが、その他、オブジェクトの動きの大きさと方向を表す動きベクトルを、定常性情報として設定することも可能である。ステップ S15217における定常性の設定は、ユーザがユーザ I Z F 15156を操作することにより定常性指示情報を入力し、その定常性指示情報に基づいて行うことも可能であるし、ユーザからの定常性指示情報なしで行うことも可能である。

ステップ S 15218では、実世界推定部 15153は、実世界推定処理を行う。即ち、実世界推定部 15153では、モデル生成部 15161が、ステップ S 15217において定常性設定部 15152から供給された動き量 Vと、ステップ S15216において処理領域設定部 15151から供給された処理領域情報に基づいて、入力画像としての動きボケ画像の各画素の画素値と、実世界 1の信号との関係をモデル化したモデル (関係モデル) としての方程式 (モデル方程式) を生成し、その生成したモデル方程式を方程式生成部 15162に供給する。

方程式生成部 15162は、ステップ S 15215においてユーザ I / F 15156から供給される拘束条件情報に基づいて、拘束条件式を生成し、生成された拘束条件式と、モデル生成部 15161から方程式生成部 15162に供給されるモデル方程式とに、ユーザ I / F 15156から供給される重みを設定する。そして、方程式生成部 15162は、重み付けされた拘束条件式とモデル方程式とから成る方程式に、処理領域を構成する入力画像の各画素の画素値を代入し、これにより、実世界 1の信号をモデル化したモデル (近似モデル）としての近似関数求める方程式を生成して、実世界波形推定部 15163に供給する。ここで、ユーザが拘束条件情報を指定（設定）しなかった場合、即ち、ステップ S15212または S15214で N Oと判定された場合、方程式生成部 15162は、例えば、図 1 1 3の実施の形態において説明した、モデル方程式と処理領域の端部を「平坦である」と仮定した式とから成る連立方程式を解く方法などの、所定の処理が行われる。

なお、重みは、拘束条件式とモデル方程式の両方に設定する他、拘束条件式だけ、またはモデル方程式だけに設定するすることが可能である。

実世界波形推定部 15163は、方程式生成部 15162から供給される方程式を演算することにより、実世界 1の信号の波形を推定、即ち、実世界 1の信号をモデル化したモデルとしての近似関数を求め、その近似関数を、実世界 1の信号の波形の推定結果として、画像生成部 15154に供給する。

なお、ステップ S 15218の実世界推定処理の詳細については、図 1 5 0を参照して後述する。

ステップ S 15218の処理後は、ステップ S15219に進み、画像生成部 15154は、実世界波形推定部 15163から供給された近似関数から、実世界 1の信号により近似した信号、即ち、動きボケがない画像を生成し、処理領域設定部 15151から供給された処理領域情報に基づいて、入力画像の処理領域の部分を、生成した動きボケがない画像に置き換えて、出力画像として生成し、画像表示部 15155 に供給して、ステップ S 15220に進む。

ステップ S 15220では、画像表示部 15155は、画像生成部 15154から供給された出力画像を、ステップ S15211で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップ S15221に進む。

ステップ S 15221では、ユーザ I / F 15156は、ステップ S 15212における場合と同様に、ユーザがユーザ I / F 15156を操作することにより、何らかのユーザ入力があつたかどうかを判定し、ユーザ入力がなかったと判定した場合、即ち、ユーザが何らの操作も行わなかった場合、ステップ S15221に戻り、何らかのュ一ザ入力があるまで待つ。

また、ステップ S 15221において、ユーザ入力があつたと判定された場合、即ち、ユーザが、画像表示部 15155に表示された入力画像や出力画像を見て、ュ —ザ I Z F 15156を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップ S15222に進み、ユーザ I / F 15156は、そのユーザ入力が、信号処理装置 4の処理の終了を指示する終了指示であるかどうかを判定する。

ステップ S 15222において、ユーザ入力が終了指示であると判定された場合、信号処理装置 4は処理を終了する。

—方、ステップ S 15222において、ユーザ入力が終了指示でないと判定された場合、ステップ S15223に進み、ユーザ I / F 15156は、ユーザ入力が拘束条件情報または重みであるかどうかを判定する。ステップ S 15223において、ユーザ入力が拘束条件情報および重みのいずれでもないと判定された場合、ステップ S15221に戻り、以下、同様の処理が繰り返される。

また、ステップ S 15223において、ユーザ入力が拘束条件情報または重みであると判定された場合、ステップ S 15215に戻り、上述したように、ユーザ I / F 1⁵1δ6は、その拘束条件情報または重みを、方程式生成部 15162に供給する。そして、ステップ S 15215 から S15216 に進み、以下、同様の処理が繰り返される。なお、信号処理装置 4が、ステップ S 15215乃至 S15223の処理を繰り返す場合において、上述のステップ S 15216および S 15217の処理は、 1回目の S15216および S15217の処理で設定されるものと同一であり、 1回目の処理と同じ処理を繰り返しても良いし、スキップするようにしても良い。

以上のように、図 1 4 7の信号処理装置 4では、実世界 1の信号をモデル化したモデルとしての近似関数を求めることにより、動きボケがない、高画質の出力画像を生成することができる。また、ユーザは、ユーザ I Z F 15156を操作することにより、本来の動きボケがないときの画像における、各画素間の関係を拘束する拘束条件を設定することができ、新たな拘束条件が入力された場合には、再度、動きボケがない画像を求めることができるので、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。

なお、図 1 4 7の信号処理装置 4では、実世界 1の光信号を近似する近似関数を求めることにより、動きボケのない出力画像を生成するが、この出力画像は、入力画像から動きボケが除去されたものであるとみることができる。従って、図 1 4 7の信号処理装置 4では、動きボケ除去の処理が行われるということができる。

次に、図 1 4 9を参照して、図 1 4 7の実世界推定部 15153の内部の構成について説明する。なお、図 1 4 7の実施の形態においても、入力画像に映っている物体の動きボケ発生のメカニズムを、一例である図 1 2 5と図 1 2 6に示される、上述した式（1 4 1 ) の関係として、モデル化するものとする。

実世界推定部 15153は、モデル生成部 15161、方程式生成部 15162、および実世界波形推定部 15163で構成されている。さらに、方程式生成部 15162は、拘束条件設定部 15171、重み変更部 15172、および正規方程式生成部 15173で構成されている。

モデル生成部 15161には、定常性設定部 15152から定常性情報としての動き量 Vが供給される。この例での動き量 Vは、入力画像のうちの処理領域設定部 15151で設定された処理領域において、物体がシャツタ時間あたり V画素の一定速度で水平方向に移動している定常性を表しており、例えば、上述の例と同様に v = 4とする。また、動き量 Vは、ライン毎に異なる値でもよく、動き量 Vがライン毎に異なる場合には、ライン数に等しい k個の動き量 Vが、定常性情報として、定常性設定部 15152からモデル生成部 15161に供給される。

また、モデル生成部 15161には、処理領域設定部 15151から入力画像のなかの処理領域を特定する処理領域情報も供給される。処理領域として矩形の形状の領域を採用する場合には、処理領域情報は、例えば、入力画像の所定の位置（画素）を原点とする絶対座標系に対する、矩形の処理領域の対角の座標値や、処理領域の中心座標と処理領域の幅（水平方向）と高さ .（垂直方向）などで表すことができる。

モデル生成部 15161は、処理領域設定部 15151から供給された処理領域情報から、例えば、図 1 1 9に示したような、処理領域幅 1 とライン数 kを取得する。この例では、処理領域 15042は、矩形とされ、例えば、 1 = 1 0 , k = 4とするものとする。この場合、各ラインの処理領域幅（画素数）は、同じとされているが、処理領域 15042は、各ラインで異なる処理領域幅となるようにすることもできる。処理領域幅 1がライン毎に異なる場合には、モデル生成部 15021 は、ライン数と同じ個数（k個）の処理領域幅 1を取得する

そして、モデル生成部 15161は、定常性設定部 15152から供給された動き量 Vと、処理領域情報から取得した処理領域幅 1 とライン数 kに基づいて、上述の式（1 4 1 ) で示した混合画素値 P i の方程式（モデル方程式）を生成し、正規方程式生成部 15173に供給する。

拘束条件設定部 15171には、ユーザが、ユーザ I Z F 15156を操作することにより指定した拘束条件情報がユーザ I Z F 15156から供給される。例えば、ユーザは、拘束条件設定部 15171の内部に予め設定されている、上述した式（1 4 3 ) や式（1 4 4 ) などの、動きボケのない画像の各画素の画素値 Q_hの関係を拘束する拘束条件の中から、所望の拘束条件を選択（指定）する操作をユーザ I / F 15156により行い、ユーザ I / F 15156が、その選択された拘束条件を示す情報を拘束条件情報として、拘束条件設定部 15171に供給する。拘束条件設定部 15171は、自身の内部に有する拘束条件式のなかから、ユーザ I/F15156から供給された拘束条件情報に対応する拘束条件式を選択する。さらに、拘束条件設定部 15171は、処理領域設定部 15151から方程式生成部 15162に供給される入力画像の処理領域情報に基づいて処理領域幅 1を取得し、拘束条件式を処理領域幅 1に対応する数だけ生成する。例えば、拘束条件情報として、「隣接画素差分 =0」という条件である式（143) が採用される場合には、拘束条件設定部 15171は、処理領域設定部 15151から供給された処理領域情報に基づいて処理領域幅 1を取得することにより、上述した式（145) で示した拘束条件式を生成し、正規方程式生成部 15173に供給する。なお、図 1 1 9で示した処理領域 15042の例では、処理領域 15042が矩形であり、各ラインの処理領域幅 1は同じとされているが、ライン毎に処理領域幅 1が異なる場合には、拘束条件の式の数もライン毎に異なることとなる。

重み変更部 1δΠ2は、各混合画素値 Pi の方程式（モデル方程式）に対する重み W_rai (以下、単に重み W_rai と称する）と、各拘束条件式に対する重み W_bj (以下、単に重み W_bj と称する）を有している。重み W_mi と重み W_bjのそれぞれの値は、ユーザがユーザ I ZF 15156を操作することにより、ユーザ I ZF 15156から供給されて、デフォルトの値（例えば 1) から変更される。即ち、ュ一ザはユーザ IZF 15156を操作することにより、重み W_mi と重み W_bj のそれぞれの値を決定（設定）することができる。重み変更部 15172は、ユーザにより設定された重み W_mi と重み W_bj のそれぞれを正規方程式生成部 15173 に供給し、正規方程式生成部 15173のモデル方程式と拘束条件式のそれぞれ対応する式の重みを設定（変更）する。

具体的には、正規方程式生成部 15173では、重み変更部 15172により、拘束条件設定部 15171から供給された拘束条件式（145) に誤差 e_bj を考慮した式（147) について、重み W_bjが設定される。即ち、式（147) は、その両辺に重み W_bj を乗じた式（161) に変更される。また、正規方程式生成部 15173では、重み変更部 15172により、モデル生成部 15161から供給された混合画素値 Pi の方程式（モデル方程式）（141) に、誤差 e_mi を考慮した式（146) に対して、重み W_mi が設定される。即ち、式 (146) は、その両辺に重み W_mi を乗じた上述の式（1 6 2) に変更される。正規方程式生成部 15173は、図 1 28に示されるように、処理領域 15042のなかから、所定の 1つのラインを注目ラインとして選択する。そして、正規方程式生成部 15173は、選択した注目ラインに対応する、式（1 6 1) と式（1 6 2) とから、上述の式（1 6 3) で示される正規方程式を生成する。

ここで、式（16 3) を行列 A" 、列べクトル y , e" を用いて、式（1 64) に置き換える。この場合、式（16 1) の誤差 e_bj と式（1 6 2) の誤差 e_mi の二乗誤差の総和 E" は、式（1 6 5) と表すことができ、二乗誤差の総和 E" を最小とする Q_hを求めるためには、列べクトル X (画素値 Q_h をコンポーネントとする列べクトル X ) は、上述の式（1 50) および（1 5 1) と同様の式から、式 (1 66) で表すことができる。

従って、正規方程式生成部 15173は、式（1 66) の右辺の列べクトルの係数である、行列（A" ^TA" ) -¹ A" τ を演算し、センサ 2 (図 1) から供給された入力画像に基づいて取得した混合画素値 Pi を、列ベクトル yに代入する。行列（A" ^T A" ) -¹ A" ^τが演算され、混合画素値 Pi が代入された式（1 6 6) 力正規方程式生成部 15173から実世界波形推定部 15163に供給される。以上のような、処理領域 15042の所定の 1ラインを注目ラインとして行った処理が終了すると、正規方程式生成部 15173は、まだ選択されていないラインを次の注目ラインとして選択し、その選択された次の注目ラインに対して同様の処理を行う。

実世界波形推定部 15163は、正規方程式生成部 15173から供給された式（1 66) を演算することにより、列ベクトル x、即ち、動きポケのない画素値 Q_h を求め、画像生成部 1δ1δ4 (図 147) に供給する。画像生成部 15154は、処理領域設定部 15151から供給された処理領域情報に基づいて、入力画像の処理領域 15042の部分を、実世界波形推定部 15163から供給された、動きボケがない画素値 Q_h の画像に置き換えて、出力画像として生成し、画像表示部 15155に供給する。

次に、図 1 5 0のフローチャートを参照して、図 1 4 8のステップ S 15218における実世界推定部 15153の実世界推定処理について詳述する。

初めに、ステップ S 15251では、モデル生成部 15161は、処理領域設定部 15151から供給される処理領域情報に基づいて、処理領域幅 1 とライン数 kを取得して、ステップ S15252に進む。

ステップ S15252では、モデル生成部 15161は、処理領域 15042のライン数に等しい k個の動き量 Vを、定常性設定部 15152から取得して、ステップ S 15253 に進む。

ステップ S 15253では、モデル生成部 15161は、ライン毎に混合画素値 P i の方程式を生成して、ステップ S15254に進む。即ち、モデノレ生成部 15161は、 k 個のモデル方程式（式 ( 1 4 1 ) ) を生成する。

ステップ S 15254では、拘束条件設定部 15171は、自身の内部に有する拘束条件式のなかから、ユーザ I / F 15156から供給された拘束条件情報に対応する拘束条件式を選択する。また、拘束条件設定部 15171は、処理領域設定部 15151 から方程式生成部 15162に供給される、入力画像の処理領域情報から、処理領域幅 1を取得し、処理領域幅 1に対応する方程式の数で構成される、ユーザ I Z F 15156からの拘束条件情報に対応する拘束条件の方程式（式（1 4 5 ) ) を生成し、ステップ S15255に進む。

ステップ S 15255では、重み変更部 15172は、ユーザ I Z F 15156から供給された重み W_{b j} と重み W_{m i} とを正規方程式生成部 15173に供給することにより、モデル生成部 15161から供給される混合画素値 P i の方程式（モデル方程式）と、拘束条件設定部 15171から供給される拘束条件式のそれぞれの式の重みとして設定して、ステップ S15256に進む。ステップ S15256では、正規方程式生成部 15173は、処理領域 15042のなかから、所定の 1つのラインを注目ラインとして選択して、ステップ S15257 に進むステップ S152⁵⁷では、正規方程式生成部 15173は、モデル生成部 15161から供給された式（14 1) で示される混合画素値 Pi の方程式にそれぞれの式の誤差 e_rai を考慮した式（146) に対して、ステップ S15255で重み変更部 15172 により重み W_rai が変更された式（1 6 2) と、拘束条件設定部 15171から供給された式（145) に、ステップ S15255で重み変更部 15172により重み W_bJ. が変更された拘束条件の方程式（1 6 1) と力ゝら、式（1 63) (式（1 6 4) ) で示される正規方程式を生成して、ステップ S15258に進む。

ステップ S15258では、正規方程式生成部 15173は、式（1 66) の右辺の列ベタトル yの係数である、行列（A" ^TA" ) 一¹ A" τ を演算し、ステップ S15259に進む。

ステップ S15259では、正規方程式生成部 15173は、センサ 2 (図 1) から供給された入力画像に基づいて取得した混合画素値 Pi を、列べクトル yに代入して、ステップ S15260に進む。

ステップ S15260では、実世界波形推定部 15163は、正規方程式を演算する。即ち、実世界波形推定部 15163は、正規方程式生成部 15173から供給された、式（1 66) を演算することにより、動きボケがない画素値 Q_h を求めて、ステップ S15261に進む。

ステップ S15261では、処理領域 15042の全てのラインに対して、動きボケがない画素値 Q_hを求める処理が行われたか否かが判定される。処理領域 15042の全てのラインに対して、動きボケがない画素値 Q_h を求める処理が行われていないと判定された場合、処理はステップ S15256に戻り、ステップ S15256乃至 S152⁶lの処理が繰り返される。即ち、まだ選択されていない処理領域 15042のうちの 1ラインが注目ラインとして選択され、動きボケがない画素値 Q_hを求める処理が行われる。一方、処理領域 15042の全てのラインに対して、動きボケがない画素値 Q_h を求める処理が行われたと判定された場合、実世界推定処理を終了してリターンする。

以上のように、処理領域 15042の注目ラインとした 1ラインに対して、正規方程式（式（1 63) ) を生成し、動きボケがない画素値 Q_hを求める処理を、処理領域の 15042のライン数である k回繰り返すことにより、処理領域 15042 の全域に亘る動きボケがない画素値 Q_hを求めることができる。

ここで、処理領域 15042の各ラインの動き量 Vと処理領域幅 1力それぞれ同じであり、かつ、ユーザ I ZF 15156から重み変更部 15172に供給される重み W_bj と重み W_mi が処理領域 15042の各ラインで同じように設定（供給）された場合には、式（16 3) の行列 Aは、各ラインで同じものとなる。従って、式 (1 6 6) の行列（A" ^τ A" ) -¹ A" ^τ も各ラインで同じものとなり、ライン毎に行列（A" ^T A" ) -¹ A" ^τ を演算する処理を省略することができる。

そこで、図 1 51のフローチャートを参照して、処理領域 15042の各ラインの動き量 Vと処理領域幅 1が、それぞれ同じで、かつ、ユーザ I /F 15156から重み変更部 15172に供給される重み W_bj と重み W_rai I 処理領域 15042の各ラインで同じように設定（供給）された場合の、図 148のステップ S15218における実世界推定部 15153の実世界推定処理について説明する。なお、図 1 5 1 において、図 1 50のフローチャートと同様の部分については、その説明を適宜省略する。

図 1 5 1においては、図 1 50のステップ S15256に対応するステップ S15288の処理が、ステップ S15285と S15286の間ではなくて、ステップ S15287と S15289の間に配置されている。さらに、ステップ S15291で、処理領域 15042の全てのラインに対して、動きボケがない画素値 Q_h を求める処理が行われていないと判定された場合、ステップ S15288に戻る処理とされている。即ち、処理領域 15042の各ラインの動き量 Vと処理領域幅 1力それぞれ同じで、かつ、ユーザ I ZF15156から重み変更部 15172に供給される重み W_{b j} と重み W_{m i} が処理領域 15042 の各ラインで同じように設定（供給）された場合、ステップ S15286で生成される正規方程式は、各ラインで同じものとなるため、最初の注目ラインに対して、ステップ S15287で、行列（A" ^τ A" ) ~ ¹ A" ^τ を演算した後、その後の注目ラインに対しては、行列（A" ^T A" ) - ¹ A" ^τの演算（ステップ S15287の処理）を行う必要がない。従って、注目ラインの選択

(ステップ S 1S28⁸) 、混合画素値 P i の代入（ステップ S1S289の処理）、正規方程式の演算（ステップ S15290の処理）を、順次、まだ選択されていない処理領域 15042のラインに対して実行するだけでよい。

以上のように、図 1 4 7に示される実施の形態においては、動きボケの発生している画素値を動きボケのない画素値でモデル化した混合画素値 Pi の方程式と、動きボケのない画素値の隣接する画素間の関係を用いた拘束条件式とから、正規方程式を生成し、その正規方程式を演算することにより、動きボケがない画素値を求めるので、画質の良い画像を生成することができる。

また、混合画素値 P iの方程式と拘束条件の方程式のそれぞれの重みを、ユーザがユーザ I Z F 15156を操作することにより、信号処理装置 4に供給し、所望の値にすることができるので、ユーザの好みに合った、画質の良い画像を生成することができる。

なお、上述の例では、ユーザ I Z F 15156から拘束条件設定部 15171に供給される拘束条件情報として、拘束条件設定部 15171 の内部に予め設定されている、いくつかの拘束条件のなかから、ユーザがどの拘束条件を選択（指定）したかを表す情報を採用することとしたが、ユーザがユーザ I Z F 15156を操作することにより、拘束条件式を直接入力するようにしてもよい。

また、上述した実施.の形態の他に、拘束条件設定部 15171では、所定の拘束条件が決定されていて（固定されていて）、ユーザがユーザ I Z F 15156を操作して、拘束条件を選択したり、拘束条件式を直接入力する必要がないような、実施の形態を採用することもできる。なお、図 1 1 3の定常性設定部 15012 (他の定常性設定部においても同様）においては、定常性情報としての動きは、ユーザの操作に基づいて設定する他、入力画像から動きを検出して設定することもできる。

そこで、図 1 1 3の定常性設定部 15012における動きの検出方法について説明する。

入力画像におけるあるオブジェクトが動いている場合の、そのオブジェクトの動きとしての、例えば動きベクトルを検出する方法としては、いわゆるプロックマツチング法が知られている。

しかしながら、プロックマッチング法では、注目しているフレームと、その前または後のフレームとのマッチングを行うため、注目している 1フレームだけから動きを検出することは困難である。

そこで、定常性設定部 15012では、 1フレームの入力画像だけから、動きの検出を行うことができるようになっている。

図1 5 2は、図 1 1 3の定常性設定部 15012の構成例を示している。

図 1 5 2で構成が示される定常性設定部 15012においては、入力画像の中の処理領域におけるオブジェクトの動き方向が検出され、動き方向が水平方向になるように入力画像が補正される。そして、動き方向に隣接する画素の画素値の差分値である、入力画像のォブジェクトの動き方向に一次微分した特徴量が検出される。

さらに、注目している画素の特徴量と動き方向に所定の距離の対応画素の特徴量との相関が検出され、検出された相関が最大である対応画素と注目画素との距離に応じてオブジェクトの動き量が検出される。

すなわち、図 1 5 2で構成が示される定常性設定部 15012は、動き方向検出部 11201、動き方向修正部 11202、特徴量検出部 11203、および動き量検出部 11204を含む。さらに、動き方向検出部 1 1201は、アクティビティ演算部 11211およびァクテイビティ評価部 11212を含む。動き方向修正部 1 1202は、ァフィン変換部 11213を含む。

特徴量検出部 11203は、差分演算部 11214、差分評価部 11215、中間画像作成部 11216、中間画像作成部 11217、フレームメモリ 11218、符号反転部 11219、およびフレームメモリ 11220を含む。

さらに、動き量検出部 11204は、相関検出部 11221および相関評価部 1 1222 を含む。

図 1 5 2で構成が示される定常性設定部 15012において、入力画像は、動き方向検出部 11201および動き方向修正部 11202に供給される。さらに、図 1 1 3の処理領域設定部 1501 1が出力する処理領域情報も、動き方向検出部 11201 および動き方向修正部 11202に供給される。

動き方向検出部 1 1201は、入力画像と処理領域情報を取得して、取得した入力画像から処理領域における動き方向を検出する。

動いている対象物を撮像したとき、対象物の画像には動きボケが生じる。これは、対象物の画像を撮像するセンサ 2としてのカメラまたはビデオカメラのィメージセンサの働きによるものである。

すなわち、 CCD (Charge Coupled Devi ce) または CMOS (Compl ementary Metal-Oxi de Semiconductor) センサなどのイメージセンサは、露光時間（シャッタ時間）において、画素毎に入射された光を連続的に電荷に変換し、さらに電荷を 1つの画像値に変換する。撮像の対象物が静止しているとき、露光している期間において、対象物の同じ部位の画像（光）が 1つの画素値に変換される。このように撮像された画像には、動きボケは含まれていない。

これに対して、対象物が動いているとき、露光している期間において、 1つの画素に入射される対象物の部位の画像が変化し、対象物の異なる部位の画像が 1 つの画素値に変換されてしまう。逆に言えば、対象物の 1つの部位の画像が複数の画素値に射影される。これが動きボケである。動きボケは、対象物の動き方向に生じる。

動きボケが生じている部分（動きボケを含む領域）の動き方向に並んでいる画素の画素値のそれぞれに注目すると、動き方向に並んでいる画素の画素値には、対象物のほぼ同じ範囲の部位の画像が射影されている。従って、動きボケが生じている部分の、動き方向に並んでいる画素の画素値の変化は、より少なくなつていると言える。

動き方向検出部 11201は、このような入力画像の処理領域における画素の画素値の変化、すなわちアクティビティを基に、動き方向を検出する。

より具体的には、動き方向検出部 11201のァクティビティ演算部 11211は、予め定めた方向毎に、各方向に並んでいる画素の画素値の変化（ァクティビティ）を演算する。例えば、アクティビティ演算部 11211は、予め定めた方向毎に、各方向に対応して位置する画素の画素値の差分をァクティビティとして演算する。アクティビティ演算部 11²11は、演算した画素値の変化を示す情報をァタティビティ評価部 11212に供給する。

アクティビティ評価部 11212は、アクティビティ演算部 11211から供給された、予め定めた方向毎の画素の画素値の変化の中の、最小の画素値の変化を選択し、選択した画素値の変化に対応する方向を動き方向とする。

動き方向検出部 11201は、このように検出した動き方向を示す動き方向情報を動き方向修正部 11202に供給する。

動き方向修正部 11202には、処理領域情報も供給される。動き方向修正部

11202は、動き方向検出部 11201から供給された動き方向情報を基に、動き方向が画像の水平方向となるように入力画像における処理領域の中の画像データを変換する。

例えば、動き方向修正部 11202のァフィン変換部 11213は、動き方向検出部 11201から供給された動き方向情報を基に、動き方向情報で示される動き方向が画像の水平方向となるように入力画像における処理領域の中の画像データをァフィン変換する。動き方向修正部 11202は、動き方向が画像の水平方向となるように変換された入力画像における処理領域の中の画像データを特徴量検出部 11203に供給する。

なお、ここでは、入力画像において、オブジェクトが水平方向（左から右方向）に移動していることを仮定しているので、定常性設定部 15012は、動き方向検出部 l l l と動き方向修正部 11202 を設けずに構成することが可能である。特徴量検出部 11203は、動き方向修正部 11202から供給された画像の特徴量を検出する。

すなわち、特徴量検出部 11203の差分演算部 11214は、入力画像の処理領域の画素から 1つの画素を選択することにより、注目している注目画素とする。そして、特徴量検出部 11203の差分演算部 11214は、注目画素の画素値から、注目画素の右隣の画素の画素値を引き算することにより差分値を求める。

差分演算部 11214は、入力画像の処理領域の画素を順に注目画素として、差分値を求める。すなわち、差分演算部 11214は、入力画像の処理領域の全ての画素に対して、差分値を求める。差分演算部 11214は、差分値に対応する注目画素の位置を示す情報（差分値の画面上の位置を示す位置情報）と共に、このように演算された差分値を差分評価部 11215に供給する。

差分評価部 11215は、差分値が 0以上であるか否かを判定し、 0以上である差分値を、差分値の画面上に位置を示す位置情報と共に、中間画像作成部 11216 に供給し、 0未満である差分値を、差分値の画面上の位置を示す位置情報と共に、中間画像作成部 11217に供給する。 ·

中間画像作成部 11216は、差分値の画面上に位置を示す位置情報と共に、差分評価部 11215から供給された 0以上である差分値を基に、差分値からなる中間画像を作成する。すなわち、中間画像作成部 11216は、位置情報で示される画面上の位置の画素に、差分評価部 11215から差分値が供給された 0以上である差分値を設定し、差分評価部 11215から差分値が供給されなかった位置の画素に 0を設定して、中間画像を作成する。中間画像作成部 11216は、このように作成した中間画像（以下、非反転中間画像と称する。）をフレームメモリ 11218に供給する。

中間画像作成部 11217は、差分値の画面上に位置を示す位置情報と共に、差分評価部 11215から供給された 0未満（負の値）である差分値を基に、差分値からなる中間画像を作成する。すなわち、中間画像作成部 11217は、位置情報で示される画面上の位置の画素に、差分評価部 11215から差分値が供給された 0未満である差分値を設定し、差分評価部 11215から差分値が供給されなかつた位置の画素に 0を設定して、中間画像を作成する。中間画像作成部 11216 は、このように作成した中間画像を符号反転部 11219に供給する。

符号反転部 11219は、中間画像作成部 11217から供給された中間画像の画素に設定されている、 0未満である差分値の符号を反転する。中間画像の画素に設定されている 0である値の符号は、反転されない。すなわち、符号反転部 11219 は、中間画像作成部 11217から供給された中間画像の画素に設定されている、 0未満である差分値を選択し、選択した 0未満である差分値を、差分値と同じ絶対値の 0を超える値に変換する。例えば、一 1 5である差分値は、符号が反転され、 1 5に変換される。符号反転部 11219は、このように符号が反転された中間画像（以下、反転中間画像と称する。）をフレームメモリ 11220 に供給する。フレームメモリ 11218は、 0以上である差分値と 0とからなる非反転中間画像を、特徴量として動き量検出部 11204 に供給する。フレームメモリ 11220 は、符号が反転され 0を超える値とされた差分値と 0とからなる反転中間画像を、特徴量として動き量検出部 11204に供給する。

動き量検出部 11204は、特徴量検出部 11203から供給された特徴量を基に、動きを検出する。すなわち、動き量検出部 11204は、入力画像の処理領域における対象物の画像（オブジェクト）の画素の中の少なくとも注目画素の特徴と、注目画素に対して動き方向に沿って配される対応画素の特徴との相関を検出し、検出された相関に応じて、入力画像の処理領域における対象物の画像（オブジェクト）の動き量を検出する。動き量検出部 11204の相関検出部 11221は、特徴量検出部 11203のフレームメモリ 11218から供給された、特徴量としての、非反転中間画像と、特徴量検出部 11203のフレームメモリ 11220から供給された、特徴量としての、反転中間画像との相関を検出する。相関検出部 11221は、検出された相関を相関評価部 11222に供給する。

より詳細に説明すれば、例えば、動き量検出部 11204 の相関検出部 11221 は、特徴量検出部 11203のフレームメモリ 11218から供給された、 0以上である差分値と 0とからなる非反転中間画像に対して、特徴量検出部 11203のフレームメモリ 11220から供給された、符号が反転され 0を超える値とされた差分値と 0とからなる反転中間画像を、画素を単位として、画面の水平方向に移動させる (ずらす（シフトさせる））。すなわち、相関検出部 11221は、反転中間画像を構成する画素の画面上の位置を水平方向に移動させる。

反転中間画像（の画素）を、画面上の水平方向に移動させることによって、非反転中間画像の画素と、反転中間画像の画素との画面上の位置の関係が変化する。例えば、移動前に、非反転中間画像の注目画素に対応する画面上の位置にある、反転中間画像の対応画素は、移動後において、移動量だけ、非反転中間画像の注目画素に対応する位置から離れることになる。より具体的には、反転中間画像を右に 2 0画素移動したとき、反転中間画像の対応画素は、非反転中間画像の注目画素に対応する位置から右に 2 0画素離れる。逆に言えば、移動後に、非反転中間画像の注目画素に対応する画面上の位置にある、反転中間画像の対応画素は、移動前において、注目画素に対応する位置から移動量だけ離れている。

相関検出部 11221は、非反転中間画像と、移動された反転中間画像との、対応する位置の画素の画素値の差分を演算し、差分の絶対値の和を相関値とする。例えば、相関検出部 11221は、非反転中間画像に対して、反転中間画像を、画面の左方向に 7 0画素乃至画面の右方向に 7 0画素の範囲で、 1画素ずつ画面の水平方向に移動させ（ずらして）、移動させた位置毎（移動量毎）に、非反転中間画像および移動された反転中間画像について、画面上の同じ位置となる画素の画素値の差分を演算し、差分の絶対値の和を相関値とする。

例えば、非反転中間画像に対して反転中間画像を、画面の左方向に移動するとき、移動量を負（マイナス）で表す。非反転中間画像に対して反転中間画像を、画面の右方向に移動するとき、移動量を正（プラス）で表す。相関検出部 11221 は、一 7 0画素乃至 + 7 0画素の移動量毎に、非反転中間画像および移動された反転中間画像について、画面上の同じ位置となる画素の画素値の差分を演算し、差分の絶対値の和を相関値とする。

相関検出部 Π221は、移動量に対応する相関値を相関評価部 11222に供給する。すなわち、相関検出部 11221は、移動量と相関値との組を相関評価部 112²² に供給する。

相関評価部 11222は、相関に応じて、入力画像の処理領域における対象物の画像の動き量を検出する。具体的には、相関評価部 11222は、相関検出部 11221 から供給された相関のうち、最大の（最も強い）相関に対応する移動量を動き量とする。

例えば、相関評価部 11222は、相関検出部 11221から供給された相関値である、差分の絶対値の和の内、最小の値を選択し、選択された最小の値に対応する移動量を動き量に設定する。

相関評価部 11222は、検出された動き量を出力する。

図 1 5 3乃至図 1 5 5は、図 1 5 2の定常性設定部 15012による動き検出の原理を説明する図である。

いま、撮像の対象物である、白い前景オブジェクトが、他の撮像の対象物である、黒い背景オブジェクトの前（手前）に配置され、左側から右側に移動しており、 CCDまたは CMOSセンサなどのイメージセンサを有するカメラが、所定の露光時間（シャツタ時間）で、背景オブジェクトと共に、前景オブジェクトを撮像するものとする。この場合にカメラが出力する画像の 1フレームに注目すると、背景ォブジェクトは、黒いので、例えば、カメラは、背景オブジェクトの画像に対して 0である画素値を出力する。前景オブジェクトは、白いので、例えば、カメラは、前景ォブジエタトの画像に対して 2 5 5である画素値を出力する。なお、ここでは、力メラが、 0乃至 2⁸— 1の範囲の画素値を出力するものであるとする。

図 1 5 3上側の図は、カメラのシャツタが開いた瞬間（露光を開始した瞬間）における位置に、前景オブジェクトが静止しているとき、カメラが出力する画像の画素値を示す図である。

図 1 5 3下側の図は、カメラのシャツタが閉じる瞬間（露光を終了する瞬間）における位置に、前景オブジェクトが静止しているとき、カメラが出力する画像の画素値を示す図である。

図 1 5 3で示されるように、前景オブジェクトの画像の動き量は、カメラのシャッタが開いた瞬間から、カメラのシャツタが閉じる瞬間までに、前景オブジェクトの画像が移動した距離である。

図 1 5 4は、背景オブジェクトの前を移動する前景オブジェクトをカメラで撮像したときに、カメラから出力される画像の画素値を示す図である。カメラのィメージセンサは、露光時間（シャツタ時間）において、画素毎に対象物の画像

(光）を連続的に電荷に変換し、さらに電荷を 1つの画像値に変換するので、前景ォブジェクト 11251の画像は、複数の画素の画素値に射影される。図 1 5 3 で示される画像の画素値の最大値に比較して、図 1 5 4で示される画像の画素値の最大値は小さくなる。

図 1 5 4で示される画素値のスロープの幅は、背景ォブジェクトの画像の幅に対応する。

図 1 5 4で示される画像の個々の画素について、右隣の画素との差分値を計算し、差分値を画素に設定すると、図 1 5 5に示される、差分値からなる画像が得られる。すなわち、図 1 5 4で示される画像の画素から 1つの画素が選択され、注目している注目画素とされる。そして、注目画素の画素値から、注目画素の右隣の画素の画素値が引き算されることにより差分値が求められる。差分値は、注目画素に対応する位置の画素に設定される。図 1 5 4で示される画像の画素が順に注目画素とされ、図 1 5 5で示される差分値からなる画像が求められる。

図 1 5 3上側の図で示される、カメラのシャツタが開いた瞬間における、前景オブジェクトの位置に対して 1画素左側に、符号が負（マイナス）である差分値が現れ、図 1 5 3下側の図で示される、カメラのシャツタが閉じる瞬間における、前景ォブジェクトの位置に対して 1画素左側に、符号が正（プラス）である差分値が現れる。

従って、図 1 5 5で示される、符号が負（マイナス）である差分値の符号を反転した値と、符号が正 (プラス) である差分値とのマッチングをとると、例えば、マッチングしたときの、符号が正（プラス）である差分値を基準とした、符号が負（マイナス）である差分値の符号を反転した値の移動量は、動き量と同じである。

例えば、符号が正（プラス）である差分値を基準として、符号が負（マイナス）である差分値の符号を反転した値が水平方向に移動され、その移動量毎に、負である差分値を反転した値と正である差分値との相関が検出され、最大の（最も強い）相関が検出される。最大の相関が検出されたときの移動量は、動き量と同じである。

より具体的には、例えば、符号が正（プラス）である差分値を基準として、符号が負（マイナス）である差分値の符号を反転した値が水平方向に移動され、その移動量毎に、負である差分値を反転した値と正である差分値との相関として、画素毎に、反転した値から正の差分値が引き算される。そして、引き算した結果の内の最小の値、すなわち最大の相関が検出される。検出された最大の相関に対応する移動量は、動き量と同じである。以上のように、画像の 1フレームから、露光時間（シャツタ時間）において、対象物の画像が移動した量である動き量を検出することができる。

すなわち、特徴量検出部 11203の差分演算部 11214は、入力画像の処理領域における画素から 1つの画素を選択して、注目画素とし、注目画素の画素値から、注目画素の右隣の画素の画素値を引き算することにより、例えば、図 1 5 5で示される差分値を演算する。差分評価部 11215は、差分の符号を基に、正の差分値と負の差分値とに分類する。

中間画像作成部 11216は、分類された正の差分値から、その正の差分値からなる非反転中間画像を作成する。中間画像作成部 11217は、分類された負の差分値から、その負の差分値からなる中間画像を作成する。符号反転部 11219 は、負の差分値からなる中間画像の負の画素値の符号を反転することにより、反転中間画像を作成する。

動き量検出部 11204は、相関が最も強い非反転中間画像と反転中間画像との移動量を求めて、求められた移動量を動き量とする。

特徴量検出部 11203 、動いている対象物の画像（オブジェクト）を検出し、動いている対象物の画像の特徴量を検出したとき、動き量検出部 11204は、特徴量を基に相関を検出し、検出された相関に応じて、入力画像内の対象物の画像 (オブジェクト）の動き量を検出する。

また、特徴量検出部 11203が、動いている対象物の画像に属する画素から注目している画素である注目画素を選択し、注目画素の特徴量を検出したとき、動き量検出部 11204は、注目画素の特徴量と、注目画素に対して動き方向に沿つて配される対応画素の特徴量との相関を検出し、検出された相関に応じて、入力画像の処理領域における対象物の画像の動き量を検出する。

図 1 5 6は、図 1 5 2の定常性設定部 15012による動き量の検出の処理を説明するフローチャートである。

ステップ S 11201において、動き方向検出部 11201および動き方向修正部 11202は、入力画像と処理領域情報を取得し、ステップ S11202に進む。ステップ S 11202において、動き方向検出部 11201 1のァクティビティ演算部 11211は、ステップ S 11201の処理により取得された入力画像における処理領域の画素について、アクティビティを演算し、ステップ S 11203に進む。

例えば、アクティビティ演算部 11211は、入力画像における処理領域の画素のうち、注目している画素である注目画素を選択する。アクティビティ演算部 1121 1は、注目画素の周辺の所定の数の周辺画素を抽出する。例えば、ァクティビティ演算部 1121 1は、注目画素を中心とした、縦 X横が 5 X 5の画素からなる周辺画素を抽出する。

そして、アクティビティ演算部 1121 1は、抽出した周辺画素から、予め定めた画像上の方向に対応するアクティビティを検出する。

以下の説明において、横方向の画素の 1列の並びを行と称し、縦方向の画素の 1列の並びを列と称する。

アクティビティ演算部 11211は、例えば、 5 X 5の周辺画素について、画面上の上下方向（垂直）に隣接する画素の画素値の差分を算出して、算出された差分の絶対値の総和を差分の数で割り、その結果をアクティビティとすることにより、画面の水平方向を基準として、 9 0度の角度（画面の垂直方向）に対する、アクティビティを検出する。

例えば、 2 0組の、画面上の上下方向に隣接する 2つの画素について、画素値の差分が算出され、算出された差分の絶対値の和が 2 0で割り算され、その結果 (商）力 9 0度の角度に対するアクティビティに設定される。

アクティビティ演算部 1121 1は、例えば、 5 X 5の周辺画素について、最も下の行の画素であって、最も左側の画素乃至左から 4番目の画素のそれぞれの画素値と、それぞれの画素に対して、 4画素上側であって、 1画素右側の画素の画素値との差分を算出して、算出された差分の絶対値の総和を差分の数で割り、その結果をアクティビティとすることにより、画面の水平方向を基準として、 7 6 度の角度（tan—¹ (4/ 1) ) に対する、アクティビティを検出する。そして、例えば、 4組の、右上方向であって、上下方向に 4画素、および左右方向に 1画素離れた位置にある 2つの画素について、画素値の差分が算出され、算出された差分の絶対値の和が 4で割り算され、その結果（商）力 7 6度の角度に対するァクティビティに設定される。

アクティビティ演算部 11211は、同様の処理で、画面の水平方向を基準として、 9 0度乃至 1 0度の範囲の角度に対するアクティビティを検出する。 9 0 度乃至 1 8 0度の範囲の角度に対するァクティビティを検出する場合、左上方向に位置する画素の画素値の差分を基に、ァクティビティが算出される。

このように検出されたァクティビティは、注目画素に対するァクティビティとされる。

なお、検出されたアクティビティを、周辺画素に対するアクティビティとするようにしてもよい。

また、周辺画素は、縦 X横が 5 X 5の画素からなると説明したが、 5 X 5の画素に限らず、所望の範囲の画素とすることができる。周辺画素の数が多い場合、角度の分解能が向上する。

ァクティビティ演算部 11211は、複数の方向に対応するァクティビティを示す情報をァクティビティ評価部 11212に供給する。

図 1 5 6に戻り、ステップ S11203において、アクティビティ評価部 11212は、ステップ S11202の処理において算出された、所定の方向に対応するァクティビティを基に、最小のアクティビティを選択し、選択された方向を動き方向とすることにより、動き方向を求めて、ステップ S11204に進む。

ステップ S 11204において、動き方向修正部 11202は、ステップ S 11203の処理において求められた動き方向を基に、動き方向が画像の水平方向となるように入力画像の処理領域における画像データを変換し、ステップ S 11205に進む。例えば、ステップ S11204において、動き方向修正部 11202のァフィン変換部

11213は、ステップ S 11203の処理において求められた動き方向を基に、動き方向が画像の水平方向となるように入力画像の処理領域における画像データをァフィン変換する。より具体的には、例えば、ァフィン変換部 11213は、画面の水平方向を基準として、動き方向が 1 8度の角度であるとき、入力画像の処理領域における画像データを時計方向に 1 8度回動するようにァフィン変換する。

ステップ S 11205において、特徴量検出部 11²03の差分演算部 11214は、ステップ S11204の処理において、動き方向が画面の水平方向となるように変換された入力画像の処理領域における各画素について、水平方向に隣接する画素との画素値の差分値を演算し、ステップ S 11206に進む。

例えば、ステップ S11205において、差分演算部 11214は、入力画像の処理領域における画素から 1つの画素を選択することにより、注目している注目画素とする。そして、差分演算部 11214は、注目画素の画素値から、注目画素の右隣の画素の画素値を引き算することにより差分値を求める。

ステップ S11206において、特徴量検出部 11203の差分評価部 11215は、差分値の符号を基に、差分値を振り分け、ステップ S 11207に進む。すなわち、差分評価部 11215は、 0以上である差分値を中間画像作成部 11216に供給し、 0未満である差分値を中間画像作成部 11217に供給する。この場合において、差分評価部 11215は、差分値の画面上に位置を示す位置情報と共に、差分値を中間画像作成部 11216または中間画像作成部 11217に供給する。

ステップ S 11207において、特徴量検出部 11203の中間画像作成部 11216は、ステップ S11206の処理で振り分けられた、 0以上である差分値（正の差分値）を基に、正の差分値からなる中間画像を生成し、ステップ S 11208に進む。すなわち、ステップ S11207において、中間画像作成部 11216は、位置情報で示される画面上の位置の画素に正の差分値を設定し、差分値が供給されなかった位置の画素に 0を設定することにより、中間画像を作成する。

このように、ステップ S 11207 の処理において、非反転中間画像が生成される。ステップ S11208において、特徴量検出部 11203の中間画像作成部 11217は、ステツプ S11206の処理で振り分けられた、 0未満である差分値（負の差分値）を基に、負の差分値からなる中間画像を生成し、ステップ S 11209に進む。すなわち、ステップ S11208において、中間画像作成部 11217は、位置情報で示される画面上の位置の画素に負の差分値を設定し、差分値が供給されなかった位置の画素に 0を設定することにより、中間画像を作成する。

ステップ S 11209において、特徴量検出部 11203の符号反転部 11219は、ステップ S11208の処理で生成された負の差分値からなる中間画像の負の差分値の符号を反転する。すなわち、ステップ S 11209において、負の中間画像の画素に設定されている、負の差分値が、同じ絶対値の正の値に変換される。

このように、ステップ S11209において、反転中間画像が生成され、その後、ステップ S 11210に進む。

ステップ S11210において、動き量検出部 11204は、相関の検出の処理を実行する。ステップ S 11210 の処理の詳細は、図 1 5 7のフローチャートを参照して、後述する。

ステップ S11211において、相関評価部 11222は、ステップ S11210の処理で検出された相関のうち、最も強い相関を選択し、ステップ S11212に進む。例えば、ステップ S11211 において、画素値の差分の絶対値の和である相関値のうち、最小の相関値が選択される。

ステップ S 11212において、相関評価部 11222は、ステップ S11211の処理で選択された、最も強い相関に対応する移動量を動き量に設定して、ステップ S11213に進む。例えば、ステップ S 11212において、画素値の差分の絶対値の和である相関値のうち、選択された最小の相関値に対応して、後述するステップ S11223の処理により記憶されている、反転中間画像の移動量が動き量に設定される。

ステップ S 11213において、動き量検出部 11204は、ステップ S11210の処理において検出した動き量を出力して、処理は終了する。

図 1 5 7は、ステップ S1 1210の処理に対応する、相関の検出の処理を説明するフローチヤ一トである。ステップ S 11221において、動き量検出部 11204の相関検出部 11221は、ステップ S 11209の処理で生成された、反転中間画像の画素の位置を、画素を単位として水平方向に移動し、ステップ S 11222に進む。

ステップ S 11222において、相関検出部 11221は、非反転中間画像と、ステツプ S 11221の処理において、画素の位置が移動された反転中間画像との相関を検出し、ステップ S 11223に進む。例えば、ステップ S11222において、非反転中間画像の画素の画素値と、画面上で対応する位置の、反転中間画像の画素の画素値との差分が算出され、算出された差分の絶対値の和が相関値として検出される。相関検出部 11221は、ステップ S11221の処理における反転中間画像の画素の移動量と共に、検出された相関を示す相関情報を相関評価部 11222に供給する。ステップ S 11223において、相関評価部 11222は、ステップ S11221の処理における反転中間画像の画素の移動量と共に、ステップ S 11222の処理において検出された相関を記憶し、ステップ S 11224に進む。例えば、相関評価部 11222は、ステップ S11221の処理における反転中間画像の画素の移動量と共に、画素値の差分の絶対値の和である相関値を記憶する。

ステップ S 11224において、相関検出部 11221は、全ての移動量に対する相関を検出したか否かを判定し、まだ相関を検出していない移動量があると判定された場合、ステップ S11221に戻り、次の移動量に対する相関を検出する処理を綠り返す。

例えば、ステップ S11224において、相関検出部 11221は、画面の左方向に 7 0画素乃至画面の右方向に 7 0画素の範囲で、反転中間画像の画素を移動したときの相関を全て検出したか否かを判定する。

ステップ S 11224において、全ての移動量に対する相関を検出したと判定された場合、処理は終了する（リターンする）。

このように、相関検出部 11221は、相関を検出することができる。

以上のように、図 1 5 2に構成を示す定常性設定部 15012は、画像の 1つのフレームから、動き量を検出することができる。なお、ここでは、処理領域を対象として動きを検出するようにしたが、全画面を処理対象とすることで、例えば、手振れにより発生した全画面の動きを検出することができる。

また、入力画像に同じ模様の繰り返しパターンが多く含まれていても、処理の対象となる入力画像の処理領域の動き量および動き方向が一定であれば、正確に動き量を検出することができる。

なお、上述の場合には、画像の 1つのフレームから動き量を検出すると説明したが、 1つのフィールドから動き量を検出するようにしてもよいことは勿論である。

また、選択した注目画素の周辺についてのみ、動き量を検出するようにしてもよい。

上述した実施の形態には、請求の範囲に記載した発明についての実施の形態の他、以下に示す第 1及び第 2の信号処理装置についての実施の形態も含まれている。

第 1の信号処理装置は、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の処理領域を設定する処理領域設定手段と、画像データにおいて定常性の一部が欠落した現実世界の光信号の定常性に対応する画像データ内のオブジェクトの動きべクトルを設定する動きべクトル設定手段と、処理領域内の各画素の画素値は、オブジェクトに対応する動きボケが生じていない各画素の画素値が動きべクトルに対応して移動しながら積分された値であるとして、処理領域内の各画素の画素値と、動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成手段と、モデル生成手段により生成されたモデルに対して、処理領域内の各画素の画素値を代入した第 1の方程式と、動きボケが生じていない各画素間の関係を拘束する第 2の方程式とにより正規方程式を生成する正規方程式生成手段と、処理領域内の各画素に対応するァクティビティを検出するァクティビティ検出手段と、アクティビティ検出手段による検出結果に応じて、第 1及び第 2の方程式の一部に対する重みを変更する重み変更手段と、正規方程式生成手段により生成され、重み変更手段により重みが変更された正規方程式を演算することにより動きボケが生じていない各画素の画素値を推定する実世界推定手段とを備えることを特徴とする。

第 2の信号処理装置は、第 1の信号処理装置の特徴に加え、重み変更手段は、画像データの処理領域内の注目画素に対応する、ァクティビティが所定の閾値以上であるとき、注目画素に対応する、第 1及び第 2の方程式の一部に対する重みを 0に変更することを特徴とする。

また、上述した実施の形態には、以下に示す、信号処理方法、プログラム、並びに記録媒体についての実施の形態も含まれている。

即ち、信号処理方法、プログラム、並びに記録媒体は、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の処理領域を設定する処理領域設定ステップと、画像データにおいて定常性の一部が欠落した現実世界の光信号の定常性に対応する画像データ内のォブジェクトの動きべクトルを設定する動きべクトル設定ステップと、処理領域内の各画素の画素値は、オブジェクトに対応する動きボケが生じていない各画素の画素値が動きべクトルに対応して移動しながら積分された値であるとして、処理領域内の各画素の画素値と、動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成ステップと、モデル生成ステップの処理により生成されたモデルに対して、処理領域内の各画素の画素値を代入した第 1の方程式と、動きボケが生じていない各画素間の関係を拘束する第 2の方程式とにより正規方程式を生成する正規方程式生成ステップと、処理領域内の各画素に対応するァクティビティを検出するァクティビティ検出ステップと、ァクティビティ検出ステップの処理による検出結果に応じて、第 1及び第 2の方程式の —部に対する重みを変更する重み変更ステップと、正規方程式生成ステップにより生成され、重み変更ステツプにより重みが変更された正規方程式を演算することにより動きボケが生じていない各画素の画素値を推定する実世界推定ステップとを含むことを特徴とする。産業上の利用可能性

以上の如く、本発明によれば、現実世界の信号により近似した画像等を得ることが可能となる。

Claims

請求の範囲

1 . それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の処理領域を設定する処理領域設定手段と、

前記画像データにおいて定常性の一部が欠落した現実世界の光信号の定常性に対応する前記画像データ内のオブジェクトの動きべクトルを設定する動きべクトル設定手段と、

前記処理領域内の各画素の画素値は、前記オブジェクトに対応する動きボケが生じていない各画素の画素値が前記動きべクトルに対応して移動しながら積分された値であるとして、前記処理領域内の各画素の画素値と、前記動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成手段と、

前記モデル生成手段により生成されたモデルに対して、前記処理領域内の各画素の画素値を代入した第 1の方程式と、前記動きボケが生じていない各画素間の関係を拘束する第 2の方程式とにより、正規方程式を生成する正規方程式生成手段と、

前記正規方程式生成手段により生成された前記正規方程式を演算することにより、前記動きボケが生じていない各画素の画素値を推定する実世界推定手段とを備えることを特徴とする信号処理装置。

2 . 前記正規方程式生成手段は、前記モデル生成手段により生成されたモデルに対して前記処理領域内の各画素の画素値を代入する第 1の方程式と、前記動きボケが生じていない各画素間の画素値の差分を 0とする第 2の方程式とにより正規方程式を生成する

ことを特徴とする請求の範囲第 1項に記載の信号処理装置。

3 . それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の処理領域を設定する処理領域設定ステップと、前記画像データにおいて定常性の一部が欠落した現実世界の光信号の定常性に対応する前記画像データ内のオブジェクトの動きべクトルを設定する動きべクトル設定ステップと、

前記処理領域内の各画素の画素値は、前記オブジェクトに対応する動きボケが生じていない各画素の画素値が前記動きべクトルに対応して移動しながら積分された値であるとして、前記処理領域内の各画素の画素値と、前記動きボケが生じていなレ、各画素の画素値との関係をモデル化するモデル生成ステツプと、前記モデル生成ステップの処理により生成されたモデルに対して、前記処理領域内の各画素の画素値を代入した第 1の方程式と、前記動きボケが生じていない各画素間の関係を拘束する第 2の方程式とにより、正規方程式を生成する正規方程式生成ステップと、

前記正規方程式生成ステップの処理により生成された前記正規方程式を演算することにより、前記動きボケが生じていない各画素の画素値を推定する実世界推定ステップと

を含むことを特徴とする信号処理方法。

4 . コンピュータに所定の信号処理を行わせるプログラムにおいて、

それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の処理領域を設定する処理領域設定ステップと、

前記画像データにおいて定常性の一部が欠落した現実世界の光信号の定常性に対応する前記画像データ内のオブジェクトの動きべクトルを設定する動きべクトル設定ステップと、

前記処理領域内の各画素の画素値は、前記ォブジェクトに対応する動きボケが生じていない各画素の画素値が前記動きべクトルに対応して移動しながら積分された値であるとして、前記処理領域内の各画素の画素値と、前記動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成ステップと、前記モデル生成ステップの処理により生成されたモデルに対して、前記処理領域内の各画素の画素値を代入した第 1の方程式と、前記動きボケが生じていない各画素間の関係を拘束する第 2の方程式とにより、正規方程式を生成する正規方程式生成ステップと、

を含むことを特徴とするプログラム。

5 . コンピュータに所定の信号処理を行わせるプログラムが記録されている記録媒体において、

前記処理領域内の各画素の画素値は、前記ォブジェクトに対応する動きボケが生じていない各画素の画素値が前記動きべクトルに対応して移動しながら積分された値であるとして、前記処理領域内の各画素の画素値と、前記動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成ステツプと、前記モデル生成ステップの処理により生成されたモデルに対して、前記処理領域内の各画素の画素値を代入した第 1の方程式と、前記動きボケが生じていない各画素間の関係を拘束する第 2の方程式とにより、正規方程式を生成する正規方程式生成ステップと、

前記正規方程式生成ステップの処理により生成された前記正規方程式を演算することにより、前記動きボケが生じていない各画素の画素値を推定する実世界推定ステップとを含むプログラムが記録されていることを特徴とする記録媒体。