WO2004077354A1

WO2004077354A1 - 画像処理装置および方法、並びにプログラム

Info

Publication number: WO2004077354A1
Application number: PCT/JP2004/001585
Authority: WO
Inventors: Tetsujiro Kondo; Takashi Sawao; Junichi Ishibashi; Takahiro Nagano; Naoki Fujiwara; Toru Miyake; Seiji Wada
Original assignee: Sony Corporation
Priority date: 2003-02-25
Filing date: 2004-02-13
Publication date: 2004-09-10
Also published as: JP4143916B2; US20060159368A1; JP2004264917A; CN1332355C; US7593601B2; KR101041060B1; CN1754185A; KR20050101225A

Abstract

本発明は、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようにする。非定常成分抽出部２０１は、入力画像の複数の画素の画素値の不連続部を検出する。頂点検出部２０２は、不連続部から画素値の変化の頂点を検出する。単調増減検出部２０３は、頂点から単調に画素値が増加または減少している単調増減領域を検出する。連続性検出部２０４は、単調増減領域の中の、他の単調増減領域が画面上の隣接する位置に存在する単調増減領域を、データの定常性を有する定常領域として検出する。データ定常性方向検出部３０１は、定常領域の連続性の方向を検出する。実世界推定部は、定常領域および定常領域の連続性の方向に基づいて、現実世界の光信号の定常性を推定することにより現実世界の光信号を推定する。本発明は、高解像度の画像を生成する画像処理装置に適用できる。

Description

明細書

画像処理装置および方法、並びにプログラム技術分野

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、データが取得された現実世界を考慮した画像処理装置および方法、並びにプログラムに関する。背景技術

実世界（現実世界）における事象をセンサで検出し、センサが出力するサンプリングデータを処理する技術が広く利用されている。例えば、実世界をイメージセンサで撮像し、画像データであるサンプリングデータを処理する画像処理技術が広く利用されている。

また、特開 2 0 0 1— 2 5 0 1 1 9号公報においては、第 1の次元を有する現実世界の信号である第 1の信号をセンサによって検出することにより得た、第 1 の次元に比較し次元が少ない第 2の次元を有し、第 1の信号に対する歪を含む第 2の信号を取得し、第 2の信号に基づく信号処理を行うことにより、第 2の信号に比して歪の軽減された第 3の信号を生成することが開示されている。

しかしながら、第 1の次元を有する現実世界の信号である第 1の信号が射影されることにより取得される、現実世界の信号の定常性の一部が欠落した第 1の次元よりも少ない第 2の次元の第 2の信号には、欠落した現実世界の信号の定常性に対応するデータの定常性を有していることを考慮して第 2の信号から第 1の信号を推定する信号処理はこれまで考えられていなかった。発明の開示

本発明はこのような状況に鑑みてなされたものであり、データが取得された現実世界を考慮し、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようにすることを目的とする。

本発明の画像処理装置は、それぞれ時空間積分効果を有する複数の検出素子に現実世界の光信号が射影されることにより取得された、現実世界の光信号の定常性の一部が欠落した画像データ内の複数の画素の画素値の不連続部を検出する不連続部検出手段と、不連続部から画素値の変化の頂点を検出する頂点検出手段と、頂点から単調に画素値が増加または減少している単調増減領域を検出する単調増減領域検出手段と、単調増減領域検出手段により検出された単調増減領域の中の、他の単調増減領域が画像データ上の隣接する位置に存在する単調増減領域を、画像データの定常性を有する定常領域として検出する連続性検出手段と、定常領域の連続性の方向を検出する方向検出手段と、連続性検出手段により検出された定常領域および方向検出手段により検出された定常領域の連続性の方向に基づいて、現実世界の光信号の定常性を推定することにより現実世界の光信号を推定する実世界推定手段とを含むことを特徴とする。

方向検出手段は、連続性検出手段により検出された単調増減領域の中の、第 1 の単調増減領域に配される複数の第 1の画素の画素値の変化と、第 1の単調増減領域に隣接する第 2の単調増減領域に配される、複数の第 1の画素に隣接する複数の第 2の画素の画素値の変化とに基づいて、定常領域の連続性の方向を検出するようにすることができる。

方向検出手段は、第 1の単調増減領域に配される複数の第 1の画素の画素値の増分と、第 2の単調増減領域に配される複数の第 2の画素の画素値の減分とがー致するとき、第 1の単調増減領域と第 2の単調増減領域とから定まる方向を、定常領域の連続性の方向として検出するようにすることができる。

不連続部検出手段は、画像データの複数の画素の画素値に対応する回帰平面を求めて、回帰平面との距離が閾値以上である画素値を有する画素からなる領域を不連続部として検出し、不連続部の画素の画素値から、回帰平面で近似される値を減算した差分値を演算し、頂点検出手段は、差分値に基づいて、頂点を検出し、単調増減領域検出手段は、差分値に基づいて、単調増減領域を検出し、方向検出手段は、差分値に基づいて、定常領域の連続性の方向を検出するようにすることができる。

本発明の画像処理方法は、それぞれ時空間積分効果を有する複数の検出素子に現実世界の光信号が射影されることにより取得された、現実世界の光信号の定常性の一部が欠落した画像データ内の複数の画素の画素値の不連続部を検出する不連続部検出ステップと、不連続部から画素値の変化の頂点を検出する頂点検出ステツプと、頂点から単調に画素値が増加または減少している単調増減領域を検出する単調増減領域検出ステップと、単調増減領域検出ステップにおいて検出された単調増減領域の中の、他の単調増減領域が画像データ上の隣接する位置に存在する単調増減領域を、画像データの定常性を有する定常領域として検出する連続性検出ステップと、定常領域の連続性の方向を検出する方向検出ステップと、連続性検出ステップにおいて検出された定常領域おょぴ方向検出ステップにおいて検出された定常領域の連続性の方向に基づいて、現実世界の光信号の定常性を推定することにより現実世界の光信号を推定する実世界推定ステップとを含むことを特徴とする。

本発明のプログラムは、コンピュータに、それぞれ時空間積分効果を有する複数の検出素子に現実世界の光信号が射影されることにより取得された、現実世界の光信号の定常性の一部が欠落した画像データ内の複数の画素の画素値の不連続部を検出する不連続部検出ステップと、不連続部から画素値の変化の頂点を検出する頂点検出ステップと、頂点から単調に画素値が増加または減少している単調増減領域を検出する単調増減領域検出ステツプと、単調増減領域検出ステップにおいて検出された単調増減領域の中の、他の単調増減領域が画像データ上の隣接する位置に存在する単調増減領域を、画像データの定常性を有する定常領域として検出する連続性検出ステップと、定常領域の連続性の方向を検出する方向検出ステップと、連続性検出ステップにおいて検出された定常領域おょぴ方向検出ステツプにおいて検出された定常領域の連続性の方向に基づいて、現実世界の光信号の定常性を推定することにより現実世界の光信号を推定する実世界推定ステツプとを実行させることを特徴とする。

本発明の画像処理装置および方法、並びにプログラムにおいては、それぞれ時空間積分効果を有する複数の検出素子に現実世界の光信号が射影されることにより取得された、現実世界の光信号の定常性の一部が欠落した画像データ内の複数の画素の画素値の不連続部が検出され、不連続部から画素値の変化の頂点が検出され、頂点から単調に画素値が増加または減少している単調増減領域が検出され、検出された単調増減領域の中の、他の単調増減領域が画像データ上の隣接する位置に存在する単調増減領域が、画像データの定常性を有する定常領域として検出され、定常領域の連続性の方向が検出され、検出された定常領域および検出された定常領域の連続性の方向に基づいて、現実世界の光信号の定常性を推定することにより現実世界の光信号が推定される。

画像処理装置は、独立した装置であっても良いし、画像処理を行うプロックでめってあ良い。図面の簡単な説明

図 1は、本発明の原理を示す図である。

図 2は、信号処理装置の構成の例を示すプロック図である。

図 3は、信号処理装置を示すプロック図である。

図 4は、従来の信号処理装置の処理の原理を説明する図である。

図 5は、信号処理装置の処理の原理を説明する図である。

図 6は、本発明の原理をより具体的に説明する図である。

図 7は、本発明の原理をより具体的に説明する図である。

図 8は、イメージセンサ上の画素の配置の例を説明する図である。

図 9は、 CCDである検出素子の動作を説明する図である。

図 1 0は、画素 D乃至画素 Fに対応する検出素子に入射される光と、画素値との関係を説明する図である。

図 1 1は、時間の経過と、 1つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。

図 1 2は、実世界の線状の物の画像の例を示す図である。

図 1 3は、実際の撮像により得られた画像データの画素値の例を示す図である。図 1 4は、画像データの模式図である。

図 1 5は、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像の例を示す図である。

図 1 6は、実際の撮像により得られた画像データの画素値の例を示す図である。図 1 7は、画像データの模式図である。

図 1 8は、本発明の原理を説明する図である。

図 1 9は、本発明の原理を説明する図である。

図 2 0は、高解像度データの生成の例を説明する図である。

図 2 1は、モデルによる近似を説明する図である。

図 2 2は、 M個のデータによるモデルの推定を説明する図である。

図 2 3は、実世界の信号とデータとの関係を説明する図である。

図 2 4は、式を立てるときに注目するデータの例を示す図である。

図 2 5は、式を立てる場合における、実世界における 2つの物体に対する信号および混合領域に属する値を説明する図である。

図 2 6は、式（1 8 ) 、式（1 9 ) 、および式 ( 2 2 ) で表される定常性を説明する図である。

図 2 7は、データから抽出される、 M個のデータの例を示す図である。

図 2 8は、データである画素値が取得された領域を説明する図である。

図 2 9は、画素の時空間方向の位置の近似を説明する図である。

図 3 0は、データにおける、時間方向および 2次元の空間方向の実世界の信号の積分を説明する図である。

図 3 1は、空間方向により解像度の高い高解像度データを生成するときの、積分の領域を説明する図である。

図 3 2は、時間方向により解像度の高い高解像度データを生成するときの、積分の領域を説明する図である。

図 3 3は、動きボケを除去した高解像度データを生成するときの、積分の領域を説明する図である。

図 3 4は、時間空間方向により解像度の高い高解像度データを生成するときの、積分の領域を説明する図である。

図 3 5は、入力画像の元の画像を示す図である。

図 3 6は、入力画像の例を示す図である。

図 3 7は、従来のクラス分類適応処理を適用して得られた画像を示す図である。図 3 8は、細線の領域を検出した結果を示す図である。

図 3 9は、信号処理装置から出力された出力画像の例を示す図である。

図 4 0は、信号処理装置による、信号の処理を説明するフローチャートである。図 4 1は、データ定常性検出部の構成を示すプロック図である。

図 4 2は、背景の前に細線がある実世界の画像を示す図である。

図 4 3は、平面による背景の近似を説明する図である。

図 4 4は、細線の画像が射影された画像データの断面形状を示す図である。図 4 5は、細線の画像が射影された画像データの断面形状を示す図である。図 4 6は、細線の画像が射影された画像データの断面形状を示す図である。図 4 7は、頂点の検出および単調増減領域の検出の処理を説明する図である。図 4 8は、頂点の画素値が閾値を超え、隣接する画素の画素値が閾値以下である細線領域を検出する処理を説明する図である。

図 4 9は、図 4 8の点線 AA'で示す方向に並ぶ画素の画素値を表す図である。図 5 0は、単調増減領域の連続性の検出の処理を説明する図である。

図 5 1は、平面での近似により定常成分を抽出した画像の例を示す図である。図 5 2は、単調減少している領域を検出した結果を示す図である。

図 5 3は、連続性が検出された領域を示す図である。

図 5 4は、連続性が検出された領域の画素値を示す図である。

図 5 5は、細線の画像が射影された領域の検出の他の処理の例を示す図である。図 5 6は、定常性検出の処理を説明するフローチャートである。

図 5 7は、時間方向のデータの定常性を検出の処理を説明する図である。図 5 8は、非定常成分抽出部の構成を示すブロック図である。

図 5 9は、棄却される回数を説明する図である。

図 6 0は、入力画像の例を示す図である。

図 6 1は、棄却をしないで平面で近似した結果得られる標準誤差を画素値とした画像を示す図である。

図 6 2は、棄却をして平面で近似した結果得られる標準誤差を画素値とした画像を示す図である。

図 6 3は、棄却された回数を画素値とした画像を示す図である。

図 6 4は、平面の空間方向 Xの傾きを画素値とした画像を示す図である。図 6 5は、平面の空間方向 Yの傾きを画素値とした画像を示す図である。図 6 6は、平面で示される近似値からなる画像を示す図である。 '

図 6 7は、平面で示される近似値と画素値との差分からなる画像を示す図である。

図 6 8は、非定常成分の抽出の処理を説明するフローチヤ一トである。

図 6 9は、定常成分の抽出の処理を説明するフローチャートである。

図 7 0は、定常成分の抽出の他の処理を説明するフローチャートである。図 7 1は、定常成分の抽出のさらに他の処理を説明するフローチヤ一トである図 7 2は、データ定常性検出部の他の構成を示すブロック図である。

図 7 3は、データ定常性方向検出部の構成を示すブロック図である。

図 7 4は、モアレが含まれている入力画像の例を示す図である。

図 7 5は、モアレが含まれている入力画像の例を示す図である。

図 7 6は、細線の画像が射影されたデータの画素を示す図である。

図 7 7は、細線の画像が射影されたデータにおける、 3列の画素の画素値を示す図である。

図 7 8は、細線の画像が射影されたデータの画素を示す図である。図 7 9は、細線の画像が射影されたデータにおける、 3列の画素の画素値を示す図である。

図 8 0は、細線の画像が射影されたデータの画素を示す図である。

図 8 1は、細線の画像が射影されたデータにおける、 3列の画素の画素値を示す図である。

図 8 2は、入力された画像の例を示す図である。

図 8 3は、誤った方向を採用して画像を処理した場合の、処理の結果の例を示す図である。

図 8 4は、正しい定常性の方向を検出した場合の、処理の結果の例を示す図である。

図 8 5は、データの定常性の検出の処理を説明するフローチヤ一トである。図 8 6は、データの定常性の方向の検出の処理を説明するフローチャートである。

図 8 7は、データ定常性検出部の他の構成を示すブロック図である。

図 8 8は、実世界推定部の構成を示すブロック図である。

図 8 9は、実世界の信号における、細線の幅を検出する処理を説明する図である。

図 9 0は、実世界の信号における、細線の幅を検出する処理を説明する図である。

図 9 1は、実世界の信号における、細線の信号のレベルを推定する処理を説明する図である。

図 9 2は、実世界の推定の処理を説明するフローチヤ一トである。

図 9 3は、実世界推定部の他の構成を示すプロック図である。

図 9 4は、境界検出部の構成を示すプロック図である。

図 9 5は、分配比の算出の処理を説明する図である。

図 9 6は、分配比の算出の処理を説明する図である。

図 9 7は、分配比の算出の処理を説明する図である。図 9 8は、単調増減領域の境界を示す回帰直線の算出の処理を説明する図である。

図 9 9は、単調増減領域の境界を示す回帰直線の算出の処理を説明する図であ。

図 1 0 0は、実世界の推定の処理を説明するフローチャートである。

図 1 0 1は、境界検出の処理を説明するフローチャートである。

図 1 0 2は、空間方向の微分値を実世界推定情報として推定する実世界推定部の構成を示すブ口ック図である。

図 1 0 3は、図 1 0 2の実世界推定部による実世界推定の処理を説明するフロ一チャートである。

図 1 0 4は、参照画素を説明する図である。

図 1 0 5は、空間方向の微分値を求める位置を説明する図である。

図 1 0 6は、空間方向の微分値とシフト量の関係を説明する図である。

図 1 0 7は、空間方向の傾きを実世界推定情報として推定する実世界推定部の構成を示すブロック図である。

図 1 0 8は、図 1 0 7の実世界推定部による実世界推定の処理を説明するフロ一チヤ一トである。

図 1 0 9は、空間方向の傾きを求める処理を説明する図である。

図 1 1 0は、空間方向の傾きを求める処理を説明する図である。

図 1 1 1は、フレーム方向の微分値を実世界推定情報として推定する実世界推定部の構成を示すプロック図である。

図 1 1 2は、図 1 1 1の実世界推定部による実世界推定の処理を説明するフロ一チヤ一トである。

図 1 1 3は、参照画素を説明する図である。

図 1 1 4は、フレーム方向の微分値を求める位置を説明する図である。

図 1 1 5は、フレーム方向の微分値とシフト量の関係を説明する図である。図 1 1 6は、フレーム方向の傾きを実世界推定情報として推定する実世界推定部の構成を示すプロック図である。

図 1 1 7は、図 1 1 6の実世界推定部による実世界推定の処理を説明するフロ —チヤ一トである。

図 1 1 8は、フレーム方向の傾きを求める処理を説明する図である。

図 1 1 9は、フレーム方向の傾きを求める処理を説明する図である。

図 1 2 0は、図 3の実世界推定部の実施の形態の一例である、関数近似手法の原理を説明する図である。

図 1 2 1は、センサが C C Dとされる場合の積分効果を説明する図である。図 1 2 2は、図 1 2 1のセンサの積分効果の具体的な例を説明する図である。図 1 2 3は、図 1 2 1のセンサの積分効果の具体的な他の例を説明する図である。

図 1 2 4は、図 1 2 2で示される細線含有実世界領域を表した図である。図 1 2 5は、図 3の実世界推定部の実施の形態の 1例の原理を、図 1 2 0の例と対比させて説明する図である。

図 1 2 6は、図 1 2 2で示される細線含有データ領域を表した図である。図 1 2 7は、図 1 2 6の細線含有データ領域に含まれる各画素値のそれぞれをグラフ化した図である。

図 1 2 8は、図 1 2 7の細線含有データ領域に含まれる各画素値を近似した近似関数をグラフ化した図である。

図 1 2 9は、図 1 2 2で示される細線含有実世界領域が有する空間方向の定常性を説明する図である。

図 1 3 0は、図 1 2 6の細線含有データ領域に含まれる各画素値のそれぞれをグラフ化した図である。

図 1 3 1は、図 1 3 0で示される入力画素値のそれぞれを、所定のシフト量だけシフトさせた状態を説明する図である。

図 1 3 2は、空間方向の定常性を考慮して、図 1 2 7の細線含有データ領域に含まれる各画素値を近似した近似関数をグラフ化した図である。図 1 3 3は、空間混合領域を説明する図である。

図1 3 4は、空間混合領域における、実世界の信号を近似した近似関数を説明する図である。

図 1 3 5は、センサの積分特性と空間方向の定常性の両方を考慮して、図 1 2 7の細線含有データ領域に対応する実世界の信号を近似した近似関数をグラフ化した図である。

図 1 3 6は、図 1 2 0で示される原理を有する関数近似手法のうちの、 1次多項式近似手法を利用する実世界推定部の構成例を説明するプロック図である。図 1 3 7は、図 1 3 6の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。

図 1 3 8は、タップ範囲を説明する図である。

図 1 3 9は、空間方向の定常性を有する実世界の信号を説明する図である。図 1 4 0は、センサが C C Dとされる場合の積分効果を説明する図である。図 1 4 1は、断面方向距離を説明する図である。

図 1 4 2は、図 1 2 0で示される原理を有する関数近似手法のうちの、 2次多項式近似手法を利用する実世界推定部の構成例を説明するプロック図である。図 1 4 3は、図 1 4 2の構成の実世界推定部が実行する実世界の推定処理を説明するフローチヤ一トである。

図 1 4 4は、タップ範囲を説明する図である。

図 1 4 5は、時空間方向の定常性の方向を説明する図である。

図 1 4 6は、センサが C C Dとされる場合の積分効果を説明する図である。図 1 4 7は、空間方向の定常性を有する実世界の信号を説明する図である。図 1 4 8は、時空間方向の定常性を有する実世界の信号を説明する図である。図 1 4 9は、図 1 2 0で示される原理を有する関数近似手法のうちの、 3次元関数近似手法を利用する実世界推定部の構成例を説明するプロック図である。図 1 5 0は、図 1 4 9の構成の実世界推定部が実行する実世界の推定処理を説明するフローチヤ一トである。図 1 5 1は、図 3の画像生成部の実施の形態の一例である、再積分手法の原理を説明する図である。

図 1 5 2は、入力画素と、その入力画素に対応する、実世界の信号を近似する近似関数の例を説明する図である。

図 1 5 3は、図 1 5 2で示される近似関数から、図 1 5 2で示される 1つの入力画素における、高解像度の 4つの画素を創造する例を説明する図である。図 1 5 4は、図 1 5 1で示される原理を有する再積分手法のうちの、 1次元再積分手法を利用する画像生成部の構成例を説明するプロック図である。

図 1 5 5は、図 1 5 4の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。

図 1 5 6は、入力画像の元の画像の例を表す図である。

図1 5 7は、図 1 5 6の画像に対応する画像データの例を表す図である。図 1 5 8は、入力画像の例を表す図である。

図 1 5 9は、図 1 5 8の画像に対応する画像データの例を表す図である。図 1 6 0は、入力画像に対して従来のクラス分類適応処理を施して得られる画像の例を表す図である。

図 1 6 1は、図 1 6 0の画像に対応する画像データの例を表す図である。図 1 6 2は、入力画像に対して本発明の 1次元再積分手法の処理を施して得られる画像の例を表す図である。

図 1 6 3は、図 1 6 2の画像に対応する画像データの例を表す図である。図1 6 4は、空間方向の定常性を有する実世界の信号を説明する図である。図 1 6 5は、図 1 5 1で示される原理を有する再積分手法のうちの、 2次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。

図 1 6 6は、断面方向距離を説明する図である。

図 1 6 7は、図 1 6 5の構成の画像生成部が実行する画像の生成処理を説明するフローチヤ一トである。

図 1 6 8は、入力画素の 1例を説明する図である。図 1 69は、 2次元再積分手法により、図 168で示される 1つの入力画素における、高解像度の 4つの画素を創造する例を説明する図である。

H11 70は、時空間方向の定常性の方向を説明する図である。

図 1 71は、図 1 51で示される原理を有する再積分手法のうちの、 3次元再積分手法を利用する画像生成部の構成例を説明するプロック図である。

図 1 72は、図 1 71の構成の画像生成部が実行する画像の生成処理を説明するフローチヤ一トである。

図 1 73は、本発明を適用した画像生成部のその他の構成を示すプロック図である。

図 1 74は、図 1 73の画像生成部による画像の生成の処理を説明するフローチヤ一トである。

図1 75は、入力画素から 4倍密度の画素を生成する処理を説明する図である。図1 76は、画素値を示す近似関数とシフト量との関係を示す図である。

図 177は、本発明を適用した画像生成部のその他の構成を示すプロック図である。

図 1 78は、図 1 77の画像生成部による画像の生成の処理を説明するフローチヤ一トである。

図179は、入力画素から 4倍密度の画素を生成する処理を説明する図である。図 180は、画素値を示す近似関数とシフト量との関係を示す図である。

図 181は、図 3の画像生成部の実施の形態の一例である、クラス分類適応処理捕正手法の 1次元再積分手法を利用する画像生成部の構成例を説明するプロック図である。

図 182は、図 181の画像生成部のクラス分類適応処理部の構成例を説明するプロック図である。

図 183は、図 18 1のクラス分類適応処理部と、クラス分類適応処理捕正部が使用する係数を学習により決定する学習装置の構成例を示すプロック図である。図 184は、図 1 83のクラス分類適応処理用学習部の詳細な構成例を説明するブロック図である。 '

図 1 85は、図 1 82のクラス分類適応処理部の処理結果の例を示す図である。図 1 86は、図 1 8 5の予測画像と HD画像の差分画像を示す図である。

図 1 87は、図 1 86で示される領域に含まれる X方向に連続した 6個の HD 画素のうちの、図中左から 4個の HD画素に対応する、図 1 8 5の HD画像の具体的な画素値、 SD画像の具体的な画素値、および、実際の波形（実世界の信号）のそれぞれをプロットしたものを示す図である。

図 1 88は、図 1 8 5の予測画像と HD画像の差分画像を示す図である。

図 1 89は、図 1 88で示される領域に含まれる X方向に連続した 6個の HD 画素のうちの、図中左から 4個の HD画素に対応する、図 1 8 5の HD画像の具体的な画素値、 SD画像の具体的な画素値、および、実際の波形（実世界の信号）のそれぞれをプロットしたものを示す図である。

図 1 90は、図 1 87乃至図 1 89に示される内容に基づいて得られた知見を説明する図である。

図 1 9 1は、図 1 8 1の画像生成部のクラス分類適応処理補正部の構成例を説明するプロック図である。

図 1 92は、図 1 8 3のクラス分類適応処理補正用学習部の詳細な構成例を説明するブロック図である。

図 1 93は、画素内傾斜を説明する図である。

図 1 94は、図 1 8 5の SD画像と、その SD画像の各画素の画素内傾斜を画素値とする特徴量画像を示す図である。 · 図 1 95は、画素内傾斜の算出方法を説明する図である。

図 1 96は、画素内傾斜の算出方法を説明する図である。

図 1 97は、図 1 8 1の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。

図 1 98は、図 1 9 7の画像の生成処理の入力画像クラス分類適応処理の詳細を説明するフローチャートである。図 1 9 9は、図 1 9 7の画像の生成処理のクラス分類適応処理の補正処理の詳細を説明するフローチャートである。

図 2 00は、クラスタップの配置例を説明する図である。

図 2 0 1は、クラス分類の一例を説明する図である。

図 2 0 2は、予測タップ配置例を説明する図である。

図 2 0 3は、図 1 8 3の学習装置の学習処理を説明するフローチヤ一トである。図 2 04は、図 2 0 3の学習処理のクラス分類適応処理用学習処理の詳細を説明するフローチヤ一トである。

図 2 0 5は、図 2 0 3の学習処理のクラス分類適応処理補正用学習処理の詳細を説明するフローチャートである。

図 2 0 6は、図 1 8 5の予測画像と、その予測画像に捕正画像を加算した画像 (図 1 8 1の画像生成部により生成される画像）を表した図である。

図 2 0 7は、図 1の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第 1の構成例を説明するプロック図である。

図 2 0 8は、図 2 0 7の信号処理装置の、クラス分類適応処理を実行する画像生成部の構成例を説明するプロック図である。

図 2 0 9は、図 20 8の画像生成部に対する学習装置の構成例を説明するプロック図である。

図 2 1 0は、図 2 0 7の構成の信号処理装置が実行する信号の処理を説明するフローチャートである。

図 2 1 1は、図 2 1 0の信号の処理のクラス分類適応処理の実行処理の詳細を説明するフローチャートである。

図 2 1 2は、図 20 9の学習装置の学習処理を説明するフローチヤ一トである。図 2 1 3は、図 1の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第 2の構成例を説明するプロック図である。

図 2 1 4は、図 2 1 1の構成の信号処理装置が実行する信号の処理を説明するフローチヤ一トである。図 2 1 5は、図 1の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第 3の構成例を説明するプロック図である。

図 2 1 6は、図 2 1 3の構成の信号処理装置が実行する信号の処理を説明するフローチヤ一トである。

図 2 1 7は、図 1の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第 4の構成例を説明するブロック図である。

図 2 1 8は、図 2 1 5の構成の信号処理装置が実行する信号の処理を説明するフローチヤ一トである。

図 2 1 9は、図 1の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第 5の構成例を説明するプロック図である。

図 2 2 0は、図 2 1 7の構成の信号処理装置が実行する信号の処理を説明するフローチヤ一トである。

図 2 2 1は、データ定常性検出部の他の実施の形態の構成を示すブロック図でめる。

図 2 2 2は、図 2 2 1のデータ定常性検出部によるデータの定常性の検出処理を説明するフローチャートである。発明を実施するための最良の形態

図 1は、本発明の原理を表している。同図で示されるように、空間、時間、および質量などの次元を有する実世界 1の事象（現象）は、センサ 2により取得され、データ化される。実世界 1の事象とは、光（画像）、音声、圧力、温度、質量、濃度、明るさ/暗さ、またはにおいなどをいう。実世界 1の事象は、時空間方向に分布している。例えば、実世界 1の画像は、実世界 1の光の強度の時空間方向の分布である。

センサ 2に注目すると、空間、時間、および質量の次元を有する実世界 1の事象のうち、センサ 2が取得可能な、実世界 1の事象が、センサ 2により、データ 3に変換される。センサ 2によって、実世界 1の事象を示す情報が取得されるとも言える。

すなわち、センサ 2は、実世界 1の事象を示す情報を、データ 3に変換する。空間、時間、および質量などの次元を有する実世界 1の事象（現象）を示す情報である信号がセンサ 2により取得され、データ化されるとも言える。

以下、実世界 1における、画像、音声、圧力、温度、質量、濃度、明るさ/暗さ、またはにおいなどの事象の分布を、実世界 1の事象を示す情報である信号とも称する。また、実世界 1の事象を示す情報である信号を、単に、実世界 1の信号とも称する。本明細書において、信号は、現象おょぴ事象を含み、送信側に意思がないものも含むものとする。

センサ 2から出力されるデータ 3 (検出信号）は、実世界 1の事象を示す情報を、実世界 1に比較して、より低い次元の時空間に射影して得られた情報である。例えば、動画像の画像データであるデータ 3は、実世界 1の 3次元の空間方向おょぴ時間方向の画像が、 2次元の空間方向、および時間方向からなる時空間に射影されて得られた情報である。また、例えば、データ 3がデジタルデータであるとき、データ 3は、サンプリングの単位に応じて、丸められている。データ 3がアナログデータであるとき、データ 3において、ダイナミックレンジに応じて、情報が圧縮されているか、またはリミッタなどにより、情報の一部が削除されている。

このように、所定の次元を有する実世界 1の事象を示す情報である信号をデータ 3 (検出信号）に射影することにより、実世界 1の事象を示す情報の一部が欠落する。すなわち、センサ 2が出力するデータ 3において、実世界 1の事象を示す情報の一部が欠落している。

しかしながら、射影により実世界 1の事象を示す情報の一部が欠落しているものの、データ 3は、実世界 1の事象 (現象）を示す情報である信号を推定するための有意情報を含んでいる。

本発明においては、実世界 1の情報である信号を推定するための有意情報として、データ 3に含まれる定常性を有する情報を利用する。定常性は、新たに定義する概念である。

ここで、実世界 1に注目すると、実世界 1の事象は、所定の次元の方向に一定の特徴を含む。例えば、実世界 1の物体 (有体物) において、空間方向または時間方向に、形状、模様、若しくは色彩などが連続するか、または形状、模様、若しくは色彩などのパタ一ンが繰り返す。

従って、実世界 1の事象を示す情報には、所定の次元の方向に一定の特徴が含まれることになる。

より具体的な例を挙げれば、糸、紐、またはロープなどの線状の物体は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有する。長さ方向の任意の位置において、断面形状が同じであるという空間方向に一定の特徴は、線状の物体が長いという特徴から生じる。従って、線状の物体の画像は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有している。

また、空間方向に広がりを有する有体物である、単色の物体は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有していると言える。同様に、空間方向に広がりを有する有体物である、単色の物体の画像は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有している。このように、実世界 1 (現実世界）の事象は、所定の次元の方向に一定の特徴を有しているので、実世界 1の信号は、所定の次元の方向に一定の特徴を有する。本明細書において、このような所定の次元の方向に一定の特徴を定常性と称する。実世界 1 (現実世界）の信号の定常性とは、実世界 1 (現実世界）の事象を示す信号が有している、所定の次元の方向に一定の特徴をいう。

実世界 1 (現実世界）には、このような定常性が無数に存在する。

次に、データ 3に注目すると、データ 3は、センサ 2により、所定の次元を有する実世界 1の事象を示す情報である信号が射影されたものであるので、実世界の信号の定常性に対応する定常性を含んでいる。データ 3は、実世界の信号の定常性が射影された定常性を含んでいるとも言える。しかしながら、上述したように、センサ 2が出力するデータ 3において、実世界 1の情報の一部が欠落しているので、データ 3から、実世界 1 (現実世界）の信号に含まれる定常性の一部が欠落してしまう。

換言すれば、データ 3は、データの定常性として、実世界 1 (現実世界）の信号の定常性の中の、一部の定常性を含む。データの定常性とは、データ 3が有している、所定の次元の方向に一定の特徴である。

本発明においては、実世界 1の事象を示す情報である信号を推定するための有意情報として、データ 3が有する、データの定常性が利用される。

例えば、本発明においては、データの定常性を利用して、データ 3を信号処理することで、欠落した、実世界 1の事象を示す情報が生成される。

なお、本発明においては、実世界 1の事象を示す情報である信号の次元の、長さ（空間〉、時間、および質量のうち、空間方向または時間方向の定常性が利用される。

図 1に戻り、センサ 2は、例えば、デジタルスチルカメラ、またはビデオカメラなどで構成され、実世界 1の画像を撮像し、得られたデータ 3である画像データを信号処理装置 4に出力する。センサ 2は、例えば、サーモグラフィ装置、または光弾性を利用した圧力センサなどとすることができる。

信号処理装置 4は、例えば、パーソナルコンピュータなどで構成される。信号処理装置 4は、例えば、図 2で示されるように構成される。 CPU

(Central Proces sing Uni t) 2 1は、 ROM (Read Only Memory) 2 2、または記憶部 2 8に記憶されているプログラムに従って各種の処理を実行する。 RAM (Random Access Memory) 2 3には、 CPU 2 1が実行するプログラムやデータなどが適宜記憶される。これらの CPU 2 1、 ROM 2 2 および RAM 2 3は、バス 2 4により相互に接続されている。

CPU 2 1にはまた、バス 2 4を介して入出力インタフェース 2 5が接続されている。入出力インタフェース 2 5には、キーボード、マウス、マイクロホンなどよりなる入力部 2 6、ディスプレイ、スピーカなどよりなる出力部 2 7が接続されている。 CPU 2 1は、入力部 2 6から入力される指令に対応して各種の処理を実行する。そして、 CPU 2 1は、処理の結果得られた画像や音声等を出力部 2 7 に出力する。

入出力ィンタフェース 2 5に接続されている記憶部 2 8は、例えばハードディスクなどで構成され、 CPU 2 1が実行するプ口グラムゃ各種のデータを記憶する。通信部 2 9は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部 2 9はセンサ 2の出力するデータ 3を取り込む取得部として働く。

また、通信部 2 9を介してプログラムを取得し、記憶部 2 8に記憶してもよい。入出力ィンタフェース 2 5に接続されているドライブ 3 0は、磁気ディスク 5 1、光ディスク 5 2、光磁気ディスク 5 3、或いは半導体メモリ 5 4などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部 2 8に転送され、記憶される。

図 3は、信号処理装置 4を示すブロック図である。

なお、信号処理装置 4の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブ口ック図と考えても、ソフトウエアによる機能プロック図と考えても良い。

図 3に構成を示す信号処理装置 4においては、データ 3の一例である画像データが入力され、入力された画像データ（入力画像）からデータの定常性が検出される。次に、検出されたデータの定常性から、センサ 2により取得された実世界 1の信号が推定される。そして、推定された実世界 1の信号を基に、画像が生成され、生成された画像 (出力画像) が出力される。すなわち、図 3は、画像処理装置である信号処理装置 4の構成を示す図である。

信号処理装置 4に入力された入力画像（データ 3の一例である画像データ）は、データ定常性検出部 1 0 1および実世界推定部 1 0 2に供給される。

データ定常性検出部 1 0 1は、入力画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報を実世界推定部 1 0 2および画像生成部 1 0 3に供給する。データ定常性情報は、例えば、入力画像における、データの定常性を有する画素の領域の位置、データの定常性を有する画素の領域の方向（時間方向および空間方向の角度または傾き）、またはデータの定常性を有する画素の領域の長さなどを含む。データ定常性検出部 1 0 1の構成の詳細は、後述する。実世界推定部 1 0 2は、入力画像、およびデータ定常性検出部 1 0 1から供給されたデータ定常性情報を基に、実世界 1の信号を推定する。すなわち、実世界推定部 1 0 2は、入力画像が取得されたときセンサ 2に入射された、実世界の信号である画像を推定する。実世界推定部 1 0 2は、実世界 1の信号の推定の結果を示す実世界推定情報を画像生成部 1 0 3に供給する。実世界推定部 1 0 2の構成の詳細は、後述する。

画像生成部 1 0 3は、実世界推定部 1 0 2から供給された、推定された実世界 1の信号を示す実世界推定情報を基に、実世界 1の信号により近似した信号を生成して、生成した信号を出力する。または、画像生成部 1 0 3は、データ定常性検出部 1 0 1から供給されたデータ定常性情報、および実世界推定部 1 0 2から供給された、推定された実世界 1の信号を示す実世界推定情報を基に、実世界 1 の信号により近似した信号を生成して、生成した信号を出力する。

すなわち、画像生成部 1 0 3は、実世界推定情報を基に、実世界 1の画像により近似した画像を生成して、生成した画像を出力画像として出力する。または、画像生成部 1 0 3は、データ定常性情報および実世界推定情報を基に、実世界 1 の画像により近似した画像を生成して、生成した画像を出力画像として出力する _c 例えば、画像生成部 1 0 3は、実世界推定情報を基に、推定された実世界 1の画像を所望の空間方向または時間方向の範囲で積分することにより、入力画像に比較して、空間方向または時間方向により高解像度の画像を生成して、生成した画像を出力画像として出力する。例えば、画像生成部 1 0 3は、外揷補間により、画像を生成して、生成した画像を出力画像として出力する。

画像生成部 1 0 3の構成の詳細は、後述する。次に、図 4乃至図 7を参照して、本発明の原理を説明する。

図 4は、従来の信号処理装置 1 2 1における処理の原理を説明する図である。従来の信号処理装置 1 2 1は、データ 3を処理の基準とすると共に、データ 3を処理の対象として、高解像度化などの処理を実行する。従来の信号処理装置 1 2 1においては、実世界 1が考慮されることはなく、データ 3が最終的な基準となり、データ 3に含まれている情報以上の情報を出力として得ることはできない。また、従来の信号処理装置 1 2 1において、データ 3に存在する、センサ 2による歪み (実世界 1の情報である信号とデータ 3との差) は全く考慮されないので、従来の信号処理装置 1 2 1は、歪みを含んだままの信号を出力することになる。さらに、信号処理装置 1 2 1の処理の内容によっては、データ 3に存在する、センサ 2による歪みがさらに増幅されて、增幅された歪みを含むデータが出力されることになる。

このように、従来の信号処理においては、データ 3が取得された実世界 1 (の信号）そのものが考慮されることはなかった。換言すれば、従来の信号処理においては、データ 3に含まれている情報の枠内で実世界 1を捉えていたので、データ 3に含まれている情報および歪みにより、信号処理の限界が決定される。なお、本出願人は、実世界 1を考慮した信号処理を別途提案しているが、後述する定常性を考慮していなかった。

これに対して、本発明の信号処理においては、実世界 1 (の信号）そのものを明確に考慮して、処理が実行される。

図 5は、本発明に係る信号処理装置 4における処理の原理を説明する図である。実世界 1の事象を示す情報である信号をセンサ 2が取得し、センサ 2が、実世界 1の情報である信号を射影したデータ 3を出力する点では、従来と同様である _c しかしながら、本発明においては、センサ 2により取得された、実世界 1の事象を示す情報である信号が明確に考慮される。すなわち、データ 3が、センサ 2 による歪み（実世界 1の情報である信号とデータ 3との差）を含むことを意識して信号処理がなされる。このようにすることで、本発明の信号処理においては、データ 3に含まれている情報および歪みにより処理の結果が限定されることがなく、例えば、従来に比較して、実世界 1の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。すなわち、本発明によれば、センサ 2に入力された、実世界 1の事象を示す情報である信号に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

図 6および図 7は、本発明の原理をより具体的に説明する図である。

図 6で示されるように、例えば、画像である、実世界 1の信号が、レンズ、または光学 LPF (Low Pas s Fi lter) などでなる光学系 1 4 1により、センサ 2の一例である CCD (Charge Coupl ed Device) の受光面に結像される。センサ 2の一例である CCDは、積分特性を有しているので、 CCDから出力されるデータ 3には、実世界 1の画像との差が生じることになる。センサ 2の積分特性の詳細については、後述する。

本発明の信号処理においては、 CCDにより取得された実世界 1の画像と、 CCD により撮像され、出力されたデータ 3との関係が明確に考慮される。すなわち、データ 3と、センサ 2で取得された実世界の情報である信号との関係が明確に考慮される。

より具体的には、図 7で示されるように、信号処理装置 4は、モデル 1 6 1を用いて、実世界 1を近似（記述）する。モデル 1 6 1は、例えば、 N個の変数で表現される。より正確には、モデル 1 6 1は、実世界 1の信号を近似（記述）する。

モデル 1 6 1を予測するために、信号処理装置 4は、データ 3から、 M個のデータ 1 6 2を抽出する。データ 3から、 M個のデータ 1 6 2を抽出するとき、信号処理装置 4は、データ 3に含まれるデータの定常性を利用する。換言すれば、信号処理装置 4は、データ 3に含まれるデータの定常性を基に、モデル 1 6 1を予測するためのデータ 1 6 2を抽出する。結果的に、モデル 1 6 1は、データの定常性に拘束されることになる。すなわち、モデル 1 6 1は、センサ 2で取得されたとき、データ 3においてデータの定常性を生じさせる、定常性（所定の次元の方向に一定の特徴）を有する実世界 1の事象 (を示す情報 (信号) ) を近似する。

ここで、データ 1 6 2の数 Mが、モデルの変数の数 N以上であれば、 M個のデータ 1 6 2から、 N個の変数で表現されるモデル 1 6 1を予測することができる。このように、実世界 1 (の信号) を近似 (記述) するモデル 1 6 1を予測することにより、信号処理装置 4は、実世界 1の情報である信号を考慮することがでさる。

次に、センサ 2の積分効果について説明する。

画像を撮像するセンサ 2である、 CCDまたは CMOS (Complementary Metal- Oxi de Semiconductor) センサなどのイメージセンサは、現実世界を撮像するとき、現実世界の情報である信号を 2次元のデータに投影する。イメージセンサの各画素は、いわゆる受光面（受光領域）として、それぞれ所定の面積を有する。所定の面積を有する受光面に入射した光は、画素毎に、空間方向および時間方向に積分され、各画素に対して 1つの画素値に変換される。

図 8乃至図 1 1を参照して、画像の空間的時間的な積分について説明する。イメージセンサは、現実世界の対象物（オブジェクト）を撮像し、撮像の結果得られた画像データを 1フレーム単位で出力する。すなわち、イメージセンサは、実世界 1の対象物で反射された光である、実世界 1の信号を取得し、データ 3を出力する。

例えば、イメージセンサは、 1秒間に 3 0フレームからなる画像データを出力する。この場合、イメージセンサの露光時間は、 1 / 3 0秒とすることができる。露光時間は、イメージセンサが入射された光の電荷への変換を開始してから、入射された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。

図 8は、イメージセンサ上の画素の配置の例を説明する図である。図 8中において、 A乃至 Iは、個々の画素を示す。画素は、画像データにより表示される画像に対応する平面上に配置されている。 1つの画素に対応する 1つの検出素子は、ィメージセンサ上に配置されている。ィメージセンサが実世界 1の画像を撮像するとき、 1つの検出素子は、画像データを構成する 1つの画素に対応する 1つの画素値を出力する。例えば、検出素子の空間方向 Xの位置（X座標）は、画像データにより表示される画像上の横方向の位置に対応し、検出素子の空間方向 Yの位置（Y座標）は、画像データにより表示される画像上の縦方向の位置に対応する。

実世界 1の光の強度の分布は、 3次元の空間方向、および時間方向に広がりを有するが、イメージセンサは、 2次元の空間方向、および時間方向で、実世界 1 の光を取得し、 2次元の空間方向、および時間方向の光の強度の分布を表現するデータ 3を生成する。

図 9で示されるように、例えば、 CCDである検出素子は、シャツタ時間に対応する期間、受光面（受光領域）（検出領域）に入力された光を電荷に変換して、変換された電荷を蓄積する。光は、 3次元の空間上の位置、および時刻により、強度が決定される実世界 1の情報（信号）である。実世界 1の光の強度の分布は、 3次元の空間上の位置 x, y、および z、並びに時刻 tを変数とする関数

F (x, y，z，t)で表すことができる。

CCDである検出素子に蓄積される電荷の量は、 2次元の空間上の広がりを有する受光面の全体に入射された光の強さと、光が入射されている時間にほぼ比例する。検出素子は、シャツタ時間に対応する期間において、受光面の全体に入射された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャツタ時間に対応する期間、 2次元の空間上の広がりを有する受光面の全体に入射される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、空間（受光面）および時間（シャツタ時間）に対して、積分効果があるとも言える。

検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値はさらにデジタルデータなどの画素値に変換されて、データ 3として出力される。従って、イメージセンサから出力される個々の画素値は、実世界 1の情報

(信号）の時間的空間的に広がりを有するある部分を、シャツタ時間の時間方向および検出素子の受光面の空間方向について積分した結果である、 1次元の空間に射影した値を有する。

すなわち、 1つの画素の画素値は、 F (x, y, t)の積分で表される。 F (x，y，t)は、検出素子の受光面における、光の強度の分布を表す関数である。例えば、画素値 Pは、式（1 ) で表される。

P二 F (x， y， t) dxdydt

… ( 1 )

式（1 ) において、は、検出素子の受光面の左側の境界の空間座標（X座標）である。 x₂は、検出素子の受光面の右側の境界の空間座標（X座標）である。式（1 ) において、 _yi は、検出素子の受光面の上側の境界の空間座標（Y 座標）である。 y₂は、検出素子の受光面の下側の境界の空間座標（Y座標）である。また、は、入射された光の電荷への変換を開始した時刻である。は、入射された光の電荷への変換を終了した時刻である。

なお、実際には、イメージセンサから出力される画像データの画素値は、例えばフレーム全体として、そのゲインが補正されている。

画像データの各画素値は、イメージセンサの各検出素子の受光面に入射した光の積分値であり、イメージセンサに入射された光のうち、検出素子の受光面よりも微小な実世界 1の光の波形は、積分値としての画素値に隠されてしまう。

以下、本明細書において、所定の次元を基準として表現される信号の波形を単に波形とも称する。

このように、実世界 1の画像は、画素を単位として、空間方向および時間方向に積分されてしまうので、画像データにおいては、実世界 1の画像の定常性の一部が欠落し、実世界 1の画像の定常性の他の一部のみが画像データに含まれることになる。または、画像データには、実世界 1の画像の定常性から変化してしまつた定常性が含まれることがある。

積分効果を有するイメージセンサにより撮像された画像の、空間方向の積分効果についてさらに説明する。

図 1 0は、画素 D乃至画素 Fに対応する検出素子に入射される光と、画素値との関係を説明する図である。図 1 0の F (x)は、空間上（検出素子上）の空間方向 Xの座標 X を変数とする、実世界 1の光の強度の分布を表す関数の例である _c 言い換えれば、 F (x)は、空間方向 Yおよび時間方向に一定である場合の、実世界 1の光の強度の分布を表す関数の例である。図 1 0において、 Lは、画素 D乃至画素 Fに対応する検出素子の受光面の空間方向 Xの長さを示す。

1つの画素の画素値は、 F (x)の積分で表される。例えば、画素 Eの画素値 P は、式（2 ) で表される。

,x₂

P = J '² F (x) dx

, xi

• · · ( 2 )

式（2 ) において、 _Xl は、画素 Eに対応する検出素子の受光面の左側の境界の空間方向 Xの空間座標である。 x₂は、画素 Eに対応する検出素子の受光面の右側の境界の空間方向 Xの空間座標である。

同様に、積分効果を有するイメージセンサにより撮像された画像の、時間方向の積分効果についてさらに説明する。

図 1 1は、時間の経過と、 1つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。図 1 1の F (t)は、時刻 tを変数とする、実世界 1の光の強度の分布を表す関数である。言い換えれば、 F (t)は、空間方向 Yおよび空間方向 Xに一定である場合の、実世界 1の光の強度の分布を表す関数の例である。 t_s は、シャツタ時間を示す。

フレーム #n- 1は、フレーム #nに対して時間的に前のフレームであり、フレームは、フレーム #nに対して時間的に後のフレームである。すなわち、フレーム #n- 1、フレーム #n、およびフレーム #n+lは、フレーム #n- 1、フレーム #n、およびフレーム #_n+lの順で表示される。

なお、図 1 1で示される例において、シャツタ時間 t_s とフレーム間隔とが同一である。

1つの画素の画素値は、 F (t)の積分で表される。例えば、フレーム #nの画素の画素値 Pは、式（3 ) で表される。

P = £^t2 F (t) dx

• · · ( 3 )

式（3 ) において、は、入射された光の電荷への変換を開始した時刻である。 t₂ は、入射された光の電荷への変換を終了した時刻である。

以下、センサ 2による空間方向の積分効果を単に空間積分効果と称し、センサ 2による時間方向の積分効果を単に時間積分効果と称する。また、空間積分効果または時間積分効果を単に積分効果とも称する。

次に、積分効果を有するイメージセンサにより取得されたデータ 3に含まれるデータの定常性の例について説明する。

図 1 2は、実世界 1の線状の物（例えば、細線）の画像、すなわち光の強度の分布の例を示す図である。図 1 2において、図中の上側の位置は、光の強度（レベル）を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 Xの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。

実世界 1の線状の物の画像には、所定の定常性が含まれる。すなわち、図 1 2 で示される画像は、長さ方向の任意の位置において、断面形状（長さ方向に直交する方向の位置の変化に対するレベルの変化) が同じであるという定常性を有する。

図 1 3は、図 1 2で示される画像に対応する、実際の撮像により得られた画像タの画素値の例を示す図である。

図 1 4は、図 1 3に示す画像データの模式図である , 図 1 4で示される模式図は、イメージセンサの画素の並ぴ（画素の縦または横の並び）とずれた方向に延びる、各画素の受光面の長さ Lよりも短い径の線状の物の画像を、イメージセンサで撮像して得られた画像データの模式図である。図 1 4で示される画像データが取得されたときにィメージセンサに入射された画像は、図 1 2の実世界 1の線状の物の画像である。

図 1 4において、図中の上側の位置は、画素値を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 Xの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。図 1 4における画素値を示す方向は、図 1 2におけるレベルの方向に対応し、図 1 4における空間方向 X、および空間方向 Yは、図 1 2における方向と同じである。

各画素の受光面の長さしょりも短い径の線状の物の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、線状の物は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さの円弧形状（かまぼこ型）で表される。各円弧形状は、ほぼ同じ形状である。 1つの円弧形状は、縦に 1列の画素の上、または横に 1列の画素の上に形成される。例えば、図 1 4における 1 つの円弧形状は、縦に 1列の画素の上に形成される。

このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、実世界 1の線状の物の画像が有していた、長さ方向の任意の位置において、空間方向 Yにおける断面形状が同じであるという定常性が失われている。また、実世界 1の線状の物の画像が有していた定常性は、縦に 1列の画素の上、または横に 1列の画素の上に形成された、同じ形状である円弧形状が一定の間隔で並ぶという定常性に変化していると言える。

図 1 5は、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像、すなわち光の強度の分布の例を示す図である。図 1 5において、図中の上側の位置は、光の強度（レベル）を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 Xの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。背景とは異なる色の、直線状の縁を有する物の実世界 1の画像には、所定の定常性が含まれる。すなわち、図 1 5で示される画像は、縁の長さ方向の任意の位置において、断面形状（縁に直交する方向の位置の変化に対するレベルの変化）が同じであるという定常性を有する。

図 1 6は、図 1 5で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。図 1 6で示されるように、画像データは、画素を単位とした画素値からなるので、階段状になる。

図 1 7は、図 1 6に示す画像データの模式図である。

図 1 7で示される模式図は、イメージセンサの画素の並び (画素の縦または横の並ぴ）とずれた方向に縁が延びる、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像を、イメージセンサで撮像して得られた画像データの模式図である。図 1 7で示される画像データが取得されたときにィメージセンサに入射された画像は、図 1 5で示される、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像である。

図 1 7において、図中の上側の位置は、画素値を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 Xの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。図 1 7における画素値を示す方向は、図 1 5におけるレベルの方向に対応し、図 1 7における空間方向 X、および空間方向 Yは、図 1 5における方向と同じである。

背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、直線状の縁は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さのつめ

(pawl) 形状で表される。各つめ形状は、ほぼ同じ形状である。 1つのつめ形状は、縦に 1列の画素の上、または横に 1列の画素の上に形成される。例えば、図 1 7において、 1つのつめ形状は、縦に 1列の画素の上に形成される。

このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1 の画像が有していた、縁の長さ方向の任意の位置において、断面形状が同じであるという定常性が失われている。また、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像が有していた定常性は、縦に 1列の画素の上、または横に 1列の画素の上に形成された、同じ形状であるつめ形状が一定の間隔で並ぶという定常性に変化していると言える。

データ定常性検出部 1 0 1は、このような、例えば、入力画像であるデータ 3 が有するデータの定常性を検出する。例えば、データ定常性¾出部 1 0 1は、所定の次元の方向に一定の特徴を有する領域を検出することにより、データの定常性を検出する。例えば、データ定常性検出部 1 0 1は、図 1 4で示される、同じ円弧形状が一定の間隔で並ぶ領域を検出する。また、例えば、データ定常性検出部 1 0 1は、図 1 7で示される、同じつめ形状が一定の間隔で並ぶ領域を検出する。

また、データ定常性検出部 1 0 1は、同様の形状の並び方を示す、空間方向の角度（傾き）を検出することにより、データの定常性を検出する。

また、例えば、データ定常性検出部 1 0 1は、空間方向および時間方向の同様の形状の並ぴ方を示す、空間方向および時間方向の角度（動き）を検出することにより、データの定常性を検出する。

さらに、例えば、データ定常性検出部 1 0 1は、所定の次元の方向に一定の特徴を有する領域の長さを検出することにより、データの定常性を検出する。

以下、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1 の画像がセンサ 2により射影されたデータ 3の部分を 2値エッジとも称する。次に、本発明の原理をさらに具体的に説明する。

図 1 8で示されるように、従来の信号処理においては、データ 3から、例えば、所望の高解像度データ 1 8 1が生成される。

これに対して、本発明に係る信号処理においては、データ 3から、実世界 1が推定され、推定の結果に基づいて、高解像度データ 1 8 1が生成される。すなわち、図 1 9で示されるように、実世界 1が、データ 3から推定され、高解像度データ 1 8 1が、データ 3を考慮して、推定された実世界 1から高解像度データ 1 8 1が生成される。

実世界 1から高解像度データ 1 8 1を生成するためには、実世界 1とデータ 3 との関係を考慮する必要がある。例えば、実世界 1が、 CCDであるセンサ 2により、データ 3に射影されるとどうなるかが考慮される。

CCDであるセンサ 2は、上述したように、積分特性を有する。すなわち、データ 3の 1つの単位 (例えば、画素値) は、実世界 1の信号をセンサ 2の検出素子

(例えば、 CCD) の検出領域（例えば、受光面）で積分することにより算出することができる。

これを高解像度データ 1 8 1について当てはめると、仮想的な高解像度のセンサが実世界 1の信号をデータ 3に射影する処理を、推定された実世界 1に適用することにより、高解像度データ 1 8 1を得ることができる。

換言すれば、図 2 0で示されるように、データ 3から実世界 1の信号を推定できれば、実世界 1の信号を、仮想的な高解像度のセンサの検出素子の検出領域毎に（時空間方向に）積分することにより、高解像度データ 1 8 1に含まれる 1つの値を得ることができる。

例えば、センサ 2の検出素子の検出領域の大きさに比較して、実世界 1の信号の変化が、より小さいとき、データ 3は、実世界 1の信号の小さい変化を表すことができない。そこで、データ 3から推定された実世界 1の信号を、実世界 1の信号の変化に比較して、より小さい領域毎に（時空間方向に）積分することにより、実世界 1の信号の小さい変化を示す高解像度データ 1 8 1を得ることができる。

すなわち、仮想的な高解像度のセンサの各検出素子について、推定された実世界 1の信号を検出領域で積分することにより、高解像度データ 1 8 1を得ることができる。

本発明において、画像生成部 1 0 3は、例えば、仮想的な高解像度のセンサの各検出素子の時空間方向の領域で、推定された実世界 1の信号を積分することにより、高解像度データ 1 8 1を生成する。

次に、データ 3から、実世界 1を推定するために、本発明においては、データ 3と実世界 1との関係、定常性、およびデータ 3における空間混合が利用される。ここで、混合とは、データ 3において、実世界 1における 2つの物体に対する信号が混合されて 1つの値となることをいう。

空間混合とは、センサ 2の空間積分効果による、 2つの物体に対する信号の空間方向の混合をいう。

実世界 1そのものは、無限の数の事象からなり、従って、実世界 1そのものを、例えば、数式で表現するためには、無限の数の変数が必要になる。データ 3から、実世界 1の全ての事象を予測することはできない。

同様に、データ 3から、実世界 1の信号の全てを予測することはできない。そこで、図 2 1で示されるように、本発明においては、実世界 1の信号のうち、定常性を有し、関数 f (x，y, z，t)で表すことができる部分に注目し、関数

f (x, y, _Z, t)で表すことができる、定常性を有する実世界 1の信号の部分が、 N 個の変数で表現されるモデル 1 6 1で近似される。そして、図 2 2で示されるように、モデル 1 6 1力データ 3の中の、 M個のデータ 1 6 2から予測される。

M個のデータ 1 6 2からモデル 1 6 1の予測を可能にするには、第 1に、モデル 1 6 1を、定常性に基づいて、 N個の変数で表し、第 2に、センサ 2の積分特性に基づいて、 N個の変数で表現されるモデル 1 6 1と M個のデータ 1 6 2との関係を示す、 N個の変数を使用した式を立てることが必要である。モデル 1 6 1 力 S、定常性に基づいて、 N個の変数で表されているので、 N個の変数で表現されるモデル 1 6 1と M個のデータ 1 6 2との関係を示す、 N個の変数を使用した式は、定常性を有する実世界 1の信号の部分と、データの定常性を有するデータ 3 の部分との関係を記述しているとも言える。

換言すれば、 N個の変数で表現されるモデル 1 6 1で近似される、定常性を有する実世界 1の信号の部分は、データ 3において、データの定常性を生じさせる。データ定常性検出部 1 0 1は、定常性を有する実世界 1の信号の部分によって、データの定常性が生じたデータ 3の部分、およびデータの定常性が生じた部分の特徴を検出する。

例えば、図 2 3で示されるように、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像において、図 2 3中 Aで示す、注目する位置における縁は、傾きを有している。図 2 3の Bの矢印は、縁の傾きを示す。所定の縁の傾きは、基準となる軸に対する角度または基準となる位置に対する方向で表すことができる。例えば、所定の縁の傾きは、空間方向 Xの座標軸と、縁との角度で表すことができる。例えば、所定の緣の傾きは、空間方向 Xの長さおよび空間方向 Yの長さで示される方向で表すことができる。

背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像力センサ 2で取得されて、データ 3が出力されたとき、データ 3において、実世界 1の画像における、縁の注目する位置（A) に対する、図 2 3中 A ' で示す位置に、縁に対応するつめ形状が並び、実世界 1の画像の縁の傾きに対応する、図 2 3中 B ' で示す傾きの方向に、縁に対応するつめ形状が並ぶ。

N個の変数で表現されるモデル 1 6 1は、このような、データ 3において、データの定常性を生じさせる、実世界の 1の信号の部分を近似する。

N個の変数で表現されるモデル 1 6 1と M個のデータ 1 6 2との関係を示す、 N個の変数を使用した式を立てるとき、データ 3において、データの定常性が生じている部分の値を利用する。

この場合において、図 2 4で示される、データ 3において、データの定常性が生じ、混合領域に属する値に注目して、実世界 1の信号を積分した値が、センサ 2の検出素子が出力する値に等しいとして、式が立てられる。例えば、データの定常性が生じている、データ 3における複数の値について、複数の式を立てることができる。

図 2 4において、 Aは、縁の注目する位置を示し、 A，は、実世界 1の画像における、縁の注目する位置（A) に対する、画素（の位置）を示す。

ここで、混合領域とは、データ 3において、実世界 1における 2つの物体に対する信号が混合されて 1つの値となっているデータの領域をいう。例えば、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界 1の画像に対するデータ 3において、直線状の縁を有する物に対する画像、および背景に対する画像が積分されている画素値は、混合領域に属する。

図 2 5は、式を立てる場合における、実世界 1における 2つの物体に対する信号および混合領域に属する値を説明する図である。

図 2 5中の左側は、センサ 2の 1つの検出素子の検出領域で取得される、空間方向 Xおよび空間方向 Yに所定の広がりを有する、実世界 1における 2つの物体に対する実世界 1の信号を示す。図 2 5中の右側は、図 2 5中の左側に示す実世界 1の信号がセンサ 2の 1つの検出素子によって射影された、データ 3の 1つの画素の画素値 Pを示す。すなわち、センサ 2の 1つの検出素子によって取得された、空間方向 Xおよび空間方向 Yに所定の広がりを有する、実世界 1における 2 つの物体に対する実世界 1の信号が射影された、データ 3の 1つの画素の画素値 Pを示す。

図 2 5の Lは、実世界 1における 1つの物体に対する、図 2 5の白い部分の実世界 1の信号のレベルを示す。図 2 5の Rは、実世界 1における他の 1つの物体に対する、図 2 5の斜線で表される部分の実世界 1の信号のレベルを示す。ここで、混合比 aは、センサ 2の 1つの検出素子の、空間方向 Xおよび空間方向 Yに所定の広がりを有する検出領域に入射された、 2つの物体に対する信号 (の面積）の割合を示す。例えば、混合比ひは、センサ 2の 1つの検出素子の検出領域の面積に対する、空間方向 Xおよび空間方向 Yに所定の広がりを有する、センサ 2の 1つの検出素子の検出領域に入射された、レベル Lの信号の面積の割合を示す。

この場合において、レベル L、レベル R、および画素値 Pの関係は、式（4 ) で表すことができる。

a X L + ( 1 - α ) X R = Ρ · · · ( 4 ) なお、レベル Rは、注目している画素の右側に位置している、データ 3の画素の画素値とすることができる場合があり、レベル Lは、注目している画素の左側に位置している、データ 3の画素値とすることができる場合がある。

また、混合比 aおよび混合領域は、空間方向と同様に、時間方向を考慮することができる。例えば、センサ 2に対して撮像の対象となる実世界 1の物体が移動しているとき、時間方向に、センサ 2の 1つの検出素子の検出領域に入射される、 2つの物体に対する信号の割合は変化する。センサ 2の 1つの検出素子の検出領域に入射された、時間方向に割合が変化する、 2つの物体に対する信号は、センサ 2の検出素子によって、データ 3の 1つの値に射影される。

センサ 2の時間積分効果による、 2つの物体に対する信号の時間方向の混合を時間混合と称する。

データ定常性検出部 1 0 1は、例えば、実世界 1における 2つの物体に対する実世界 1の信号が射影された、データ 3における画素の領域を検出する。データ定常性検出部 1 0 1は、例えば、実世界 1の画像の縁の傾きに対応する、データ 3における傾きを検出する。

そして、実世界推定部 1 0 2は、例えば、データ定常性検出部 1 0 1で検出された、所定の混合比 αを有する画素の領域、および領域の傾きを基に、 Ν個の変数で表現されるモデル 1 6 1と Μ個のデータ 1 6 2との関係を示す、 Ν個の変数を使用した式を立てて、立てた式を解くことにより、実世界 1の信号を推定する。さらに、具体的な実世界 1の推定について説明する。

関数 F (x，y， z， t)で表される実世界の信号のうち、空間方向 Zの断面（センサ 2の位置）における関数 F (x, y, t)で表される実世界の信号を、空間方向 Xにおける位置 x、空間方向 Yにおける位置 y、および時刻 tで決まる

近似関数 f (x， y，t) で近似することを考える。

ここで、センサ 2の検出領域は、空間方向 Xおよび空間方向 Yに広がりを有する。換言すれば、近似関数 f (x, y, t) は、センサ 2で取得される、空間方向おょぴ時間方向に広がりを有する実世界 1の信号を近似する関数である。

センサ 2による実世界 1の信号の射影によって、データ 3の値 P (X, y, t)が得 585

37

られるものとする。データ 3の値 P(x, y, t)は、例えば、イメージセンサであるセンサ 2が出力する、画素値である。

ここで、センサ 2による射影を定式化できる場合、近似関数 f (x, y, t) を射影して得られた値を射影関数 S (x, y, t) と表すことができる。

射影関数 S (x, y, t) を求める上で、以下に示す問題がある。

第 1に、一般的に、実世界 1の信号を表す関数 F(_X，y,z，t)は、無限の次数の関数となりうる。

第 2に、たとえ、実世界の信号を関数として記述できたとしても、センサ 2の射影を介した、射影関数 S (x,y，t) を定めることは、一般的にはできない。すなわち、センサ 2による射影の動作、言い換えればセンサ 2の入力信号と出力信号との関係を知らないので、射影関数 S (x, y, t) を定めることはできない。

第 1の問題点に対して、実世界 1の信号を近似する関数 f(x, y, t)を記述可能な関数（例えば、有限次数の関数）である関数 (χ,γ,ΐ) および変数の積和で表現することを考える。

また、第 2の問題点に対して、センサ 2による射影を定式化することで、関数 fi (x, y,t) の記述から、関数 Si (x，y，t) を記述することができる。

すなわち、実世界 1の信号を近似する関数 f(x,y,t)を関数 (x,y,t) およぴ変数 _Wi の積和で表現すると、式（5) が得られる。

N

f , y, t) = ∑ Wjtj (x, y, t) · · ■ (5)

例えば、式（6) で示されるように、センサ 2の射影を定式化することにより、式 (5) から、データ 3と実世界の信号の関係を式 (7) のように定式化することができる。

Sj (x， y, t) = ffjfj (x， y， t)dxdydt

· · · (6) N

Pj(Xj,yj, tj) = ∑ WjSjCxj.yj.tj)

• · · (7)

式（7) において、 jは、データのインデックスである。

式（7) の N個の変数 (i=l乃至 N) が共通である M個のデータ群 (j=l乃至 M) が存在すれば、式（8) を満たすので、データ 3から実世界のモデル 1 6 1を求めることができる。

N≤M ■ · ■ (8)

Nは、実世界 1を近似するモデル 16 1を表現する変数の数である。 Mは、データ 3に含まれるデータ 1 62の数である。

実世界 1の信号を近似する関数 f(x，y, t)を式（5) で表すことにより、 _Wi として変数の部分を独立させることができる。このとき、 iは、そのまま変数の数を示すことになる。また、で示される関数の形を独立させることができ、として所望の関数を利用することができるようになる。

従って、関数の形に依存せず、変数の数 Nを定義でき、変数 ^の数 N とデータの数 Mとの関係で変数を求めることができる。

すなわち、以下の 3つを用いることで、データ 3から実世界 1を推定することができるようになる。

第 1に、 N個の変数を定める、すなわち、式（5) を定める。これは、定常性を用いて実世界 1を記述することにより可能になる。例えば、断面が多項式で表され、同じ断面形状が一定方向に続く、というモデル 1 6 1で実世界 1の信号を記述することができる。

第 2に、例えば、センサ 2による射影を定式化して、式（7) を記述する。例えば、実世界 2の信号の積分を行った結果がデータ 3であると定式化する。第 3に、 M個のデータ 1 6 2を集めて、式 (8) を満足させる。例えば、データ定常性検出部 1 0 1で検出された、データの定常性を有する領域から、データ 1 62が集められる。例えば、定常性の一例である、一定の断面が続く領域のデータ 162が集められる。

このように、式（5) によって、データ 3と実世界 1との関係を記述し、 M個のデータ 162を集めることで、式 (8) を満たすことにより、実世界 1を推定することができる。

より具体的には、 N=Mのとき、変数の数 Nと式の数 Mが等しいので、連立方程式を立てることにより、変数を求めることができる。

また、 N<Mのとき、様々な解法を適用できる。例えば、最小自乗法により、変数 ^ を求めることができる。

ここで、最小自乗法による解法について、詳細に記載する。

まず、式（7) に従って、実世界 1からデータ 3を予測する式（9) を示す。

N

Pj(Xj, yj, tj) = ∑ WjSj j, yj.tj)

• · · (9)

式（9) において、 P，j (_Xj,_yj, tj) は、予測値である。

予測値 P'と実測値 Pとの差分自乗和 Eは、式（10) で表される。

M

2

E = ∑ (P_i(Xj,yj,tj)-P'j(x_i,yj,tj))

j=1

■ · ■ (10)

差分自乗和 Eが最小になるように、変数 Wiが求められる。従って、各変数 w_k による式（10) の偏微分値は 0とされる。すなわち、式（1 1) が成り立つ。 a M N

=—2∑ w_sS_k (χ』， y_jftj) (Pj (xj, Yj.tj)-∑ WiSi (xj, _y t 〉 = 0

式 (1 1) から式 ( 1 2) が導かれる。

M N M

∑ (¾(Xj,yj，tj) _ WiSjiXj.yj.tj)} = ∑ S_k(x_j,y_jltj)Pj(Xj,Vj,tj} j=1 i=i 」=1

• · · (12) 式（1 2) が K=l乃至 Nで成り立つとき、最小自乗法による解が得られる, のときの正規方程式は、式（1 3) で示される。

(1 3)

ただし、式（1 3) において、 Si (_Xj , _Yj , t j ) は、 Si (j)と記述した。

(1 5) 5

41

(1 6)

式（14) 乃至式 (1 6) から、式 (1 3) は、 °M A T ¾ A T _ ' M―A..T― と表すことができる。

式（1 3) において、 Si は、実世界 1の射影を表す。式（1 3) において、 Pj は、データ 3を表す。式（1 3) において、 ^ は、実世界 1の信号の特徴を記述し、求めようとする変数である。

従って、式（1 3) にデータ 3を入力し、行列解法などにより W_MAT を求めることで、実世界 1を推定することが可能になる。すなわち、式（1 7) を演算することにより、実世界 1を推定することができるようになる。

^'M A T ^=tJM A T "A T ( 1 7) なお、 S_MATが正則でない場合、 S_MAT の転置行列を利用して、 W_MAT を求めることができる。

実世界推定部 10 2は、例えば、式（1 3) にデータ 3を入力し、行列解法などにより W_MAT を求めることで、実世界 1を推定する。

ここで、さらにより具体的な例を説明する。例えば、実世界 1の信号の断面形状、すなわち位置の変化に対するレベルの変化を、多項式で記述する。実世界 1 の信号の断面形状が一定で、実世界 1の信号の断面が等速で移動すると仮定する _c そして、センサ 2による実世界 1の信号からデータ 3への射影を、実世界 1の信号の時空間方向の 3次元で積分で定式化する。

実世界 1の信号の断面形状が、等速で移動するとの仮定から、式 (1 8) およぴ式（1 9) が得られる。 dx _

dt 一 ^Vx

• · · ( 1 8) g

dt 一

• · · ( 1 9)

ここで、 v_xおよび v_yは、一定である。

実世界 1の信号の断面形状は、式（1 8) および式（1 9) を用いることで、式（20) と表される。

f (x',y')=f (x+v_xt,y+v_yt) · · · (2 0)

センサ 2による実世界 1の信号からデータ 3への射影を、実世界 1の信号の時空間方向の 3次元で積分で定式化すれば、式（2 1) が得られる。

S(x，y，t) = f _v ^Y _† ^tef(x',y')dxdydt

⁼ _s £^{e f} (^{x +v} ' ^{y +v}y^{t) dxdydt}

• · · (2 1 )

式（2 1 ) において、 S(x，y，t)は、空間方向 Xについて、位置 x_sから位置 x_e まで、空間方向 Yについて、位置 y_sから位置 y_eまで、時間方向 tについて、時刻から時刻 t_e までの領域、すなわち時空間の直方体で表される領域の積分値を示す。

式（2 1) を定めることができる所望の関数 f(x'，y')を用いて、式（1 3) を解けば、実世界 1の信号を推定することができる。

以下では、関数 f (x',y' )の一例として、式（2 2) に示す関数を用いることとする。

f , y J =w₁ x +w₂ y +w₃

=w₁ (x+v_xt)+w₂ (y+v_yt)+w₃ ■ · · (2 2)

すなわち、実世界 1の信号が、式（1 8) 、式（1 9) 、および式（2 2) で表される定常性を含むと仮定している。これは、図 26で示されるように、一定の形状の断面が、時空間方向に移動していることを示す。

式 (21) に、式 (22) を代入することにより、式 (23) が得られる。

S(x, , t) = 1Hx+v_xt, y+v_vt)dxdycH:

^y

w₀

Vo I匿 d 9 ( _p+ ¹x ^rts„+ 'v ^vx_x(t_P+t_s))

+ - (y_e+y_s+v_y(t_e+t_s) ) +w₂)

= w₀S₀(x, y t) +νν_Ί (x, y, t) +w₂S₂ (x, y t) · · · (23)

ただし、

Volume= (x_e - x_s ) (y_e - y_s ) (t_e - t_s )

S₀ (x, y， t) =Volume/2 X (x_e +x_s +v_x (t_e +t_s ) )

S_x (x, y， t) =Volume/2 X (y_e +y_s +v_y (t_e +t_s ) )

S₂ (x, y, t)=l

である。

図 27は、データ 3から抽出される、 M個のデータ 16 2の例を示す図である, 例えば、 27個の画素値が、データ 1 62として抽出され、抽出された画素値が.

Ρ』（x，y, t)とされる。この場合、 jは、 0乃至 26である。

図 27に示す例において、 nである時刻 ΐの注目する位置に対応する画素の画素値が P₁₃ (x,y, t)であり、データの定常性を有する画素の画素値の並ぶ方向

(例えば、データ定常性検出部 1 0 1で検出された、同じ形状であるつめ形状が並ぶ方向) が、 P₄ (X, y, t)、 P₁₃ (x, y，t)、および P₂₂ ( , y, t)を結ぶ方向であるとき、 nである時刻 tにおける、画素値 P₉ (x，y，t)乃至 P₁₇ (X, y，t)、 nより時間的に前である、 n-1である時刻 tにおける、画素値 P。（X, y t)乃至 P₈ (x，y，t). および nより時間的に後である、 n+ 1である時刻 tにおける、画素値

P₁₈ , ，1：)乃至？₂₆ (x,y t)が抽出される。ここで、センサ 2であるイメージセンサから出力された、データ 3である画素値が取得された領域は、図 2 8で示されるように、時間方向おょぴ 2次元の空間方向に広がりを有する。そこで、例えば、図 2 9で示されるように、画素に対応する直方体（画素値が取得された領域）の重心を、画素の時空間方向の位置として使用することができる。図 2 9中の丸は、重心を示す。

2 7個の画素値 P。（X, y, t)乃至 P_{2 6} (X, y, t)、および式（2 3 ) から、式（1 3 ) を生成し、 Wを求めることで、実世界 1を推定することが可能になる。

このように、実世界推定部 1 0 2は、例えば、 2 7個の画素値 P。 (x, y, t)乃至 P_{2 6} (x，y, t)、および式 ( 2 3 ) から、式 ( 1 3 ) を生成し、 W を求めることで、実世界 1の信号を推定する。

なお、関数 fi (x, y, t) として、ガウス関数、またはシグモイド関数などを利用することができる。

図 3 0乃至図 3 4を参照して、推定された実世界 1の信号から、データ 3に対応する、より高解像度の高解像度データ 1 8 1を生成する処理の例について説明する。

図 3 0で示されるように、データ 3は、時間方向および 2次元の空間方向に実世界 1の信号が積分された値を有する。例えば、センサ 2であるイメージセンサから出力された、データ 3である画素値は、検出素子に入射された光である、実世界 1の信号が、時間方向に、検出時間であるシャツタ時間で積分され、空間方向に、検出素子の受光領域で積分された値を有する。

これに対して、図 3 1で示されるように、空間方向により解像度の高い高解像度データ 1 8 1は、推定された実世界 1の信号を、時間方向に、データ 3を出力したセンサ 2の検出時間と同じ時間で積分するとともに、空間方向に、データ 3 を出力したセンサ 2の検出素子の受光領域に比較して、より狭い領域で積分することにより、生成される。

なお、空間方向により解像度の高い高解像度データ 1 8 1を生成する場合において、推定された実世界 1の信号が積分される領域は、データ 3を出力したセンサ 2の検出素子の受光領域と全く無関係に設定することができる。例えば、高解像度データ 1 8 1に、データ 3に対して、空間方向に整数倍の解像度を持たせることは勿論、 5 / 3倍など、データ 3に対して、空間方向に有理数倍の解像度を持たせることができる。

また、図 3 2で示されるように、時間方向により解像度の高い高解像度データ

1 8 1は、推定された実世界 1の信号を、空間方向に、データ 3を出力したセンサ 2の検出素子の受光領域と同じ領域で積分するとともに、時間方向に、データ

3を出力したセンサ 2の検出時間に比較して、より短い時間で積分することにより、生成される。

なお、時間方向により解像度の高い高解像度データ 1 8 1を生成する場合において、推定された実世界 1の信号が積分される時間は、データ 3を出力したセンサ 2の検出素子のシャツタ時間と全く無関係に設定することができる。例えば、高解像度データ 1 8 1に、データ 3に対して、時間方向に整数倍の解像度を持たせることは勿論、 7 / 4倍など、データ 3に対して、時間方向に有理数倍の解像度を持たせることができる。

図 3 3で示されるように、動きボケを除去した高解像度データ 1 8 1は、推定された実世界 1の信号を、時間方向に積分しないで、空間方向にのみ積分することにより、生成される。

さらに、図 3 4で示されるように、時間方向および空間方向により解像度の高い高解像度データ 1 8 1は、推定された実世界 1の信号を、空間方向に、データ 3を出力したセンサ 2の検出素子の受光領域に比較して、より狭い領域で積分するとともに、時間方向に、データ 3を出力したセンサ 2の検出時間に比較して、より短い時間で積分することにより、生成される。

この場合において、推定された実世界 1の信号が積分される領域および時間は、データ 3を出力したセンサ 2の検出素子の受光領域おょぴシャツタ時間と全く無関係に設定することができる。

このように、画像生成部 1 0 3は、例えば、推定された実世界 1の信号を所望の時空間の領域で積分することにより、時間方向、または空間方向に、より高解像度のデータを生成する。

以上のように、実世界 1の信号を推定することにより、実世界 1の信号に対してより正確で、時間方向、または空間方向に、より高解像度のデータを生成することができる。

図 3 5乃至図 3 9を参照して、本発明に係る信号処理装置 4の、入力画像の例と、処理の結果の例を示す。

図 3 5は、入力画像の元の画像を示す図である。図 3 6は、入力画像の例を示す図である。図 3 6で示される入力画像は、図 3 5で示される画像の 2 X 2の画素からなるブロックに属する画素の画素値の平均値を、 1つの画素の画素値として生成された画像である。すなわち、入力画像は、図 3 5で示される画像に、センサの積分特性を模した、空間方向の積分を適用することにより得られた画像である。

図 3 5で示される元の画像において、上下方向から、ほぼ 5度時計方向に傾いた細線の画像が含まれている。同様に、図 3 6で示される入力画像において、上下方向から、ほぼ 5度時計方向に傾いた細線の画像が含まれている。

図 3 7は、図 3 6で示される入力画像に、従来のクラス分類適応処理を適用して得られた画像を示す図である。ここで、クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理では、例えば、低画質または標準画質の画像が、所定のタップ係数を用いてマッピング (写像）されることにより、高画質の画像に変換される。

図 3 7で示される画像において、細線の画像が、図 3 5の元の画像とは異なるものになっていることがわかる。

図 3 8は、データ定常性検出部 1 0 1による、図 3 6の例で示される入力画像から細線の領域を検出した結果を示す図である。図 3 8において、白い領域は、細線の領域、すなわち、図 1 4で示される円弧形状が並んでいる領域を示す。図 3 9は、図 3 6で示される画像を入力画像として、本発明に係る信号処理装置 4から出力された出力画像の例を示す図である。図 3 9で示されるように、本発明に係る信号処理装置 4によれば、図 3 5で示される元の画像の細線の画像により近い画像を得ることができる。

図 4 0は、本発明に係る信号処理装置 4による、信号の処理を説明するフローチヤ一トである。

ステップ S 1 0 1において、データ定常性検出部 1 0 1は、定常性の検出の処理を実行する。データ定常性検出部 1 0 1は、データ 3である入力画像に含まれているデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報を実世界推定部 1 0 2および画像生成部 1 0 3に供給する。

データ定常性検出部 1 0 1は、現実世界の信号の定常性に対応するデータの定常性を検出する。ステップ S 1 0 1の処理において、データ定常性検出部 1 0 1 により検出されるデータの定常性は、データ 3に含まれる、実世界 1の画像の定常性の一部であるか、または、実世界 1の信号の定常性から変化してしまった定常性である。

例えば、データ定常性検出部 1 0 1は、所定の次元の方向に一定の特徴を有する領域を検出することにより、データの定常性を検出する。また、例えば、データ定常性検出部 1 0 1は、同様の形状の並び方を示す、空間方向の角度（傾き）を検出することにより、データの定常性を検出する。

ステップ S 1 0 1における、定常性の検出の処理の詳細は、後述する。

なお、データ定常性情報は、データ 3の特徴を示す特徴量として利用することができる。

ステップ S 1 0 2において、実世界推定部 1 0 2は、実世界の推定の処理を実行する。すなわち、実世界推定部 1 0 2は、入力画像、およびデータ定常性検出部 1 0 1から供給されたデータ定常性情報を基に、実世界 1の信号を推定する。例えば、ステップ S 1 0 2の処理において、実世界推定部 1 0 2は、実世界 1を近似（記述）するモデル 1 6 1を予測することにより、実世界 1の信号を推定する。実世界推定部 1 0 2は、推定された実世界 1の信号を示す実世界推定情報を画像生成部 1 0 3に供給する。

例えば、実世界推定部 1 0 2は、線状の物の幅を予測することにより、実世界

1の信号を推定する。また、例えば、実世界推定部 1 0 2は、線状の物の色を示すレベルを予測することにより、実世界 1の信号を推定する。

ステップ S 1 0 2における、実世界の推定の処理の詳細は、後述する。

なお、実世界推定情報は、データ 3の特徴を示す特徴量として利用することができる。

ステップ S 1 0 3において、画像生成部 1 0 3は、画像の生成の処理を実行して、処理は終了する。すなわち、画像生成部 1 0 3は、実世界推定情報を基に、画像を生成して、生成した画像を出力する。または、画像生成部 1 0 3は、データ定常性情報および実世界推定情報を基に、画像を生成して、生成した画像を出力する。

例えば、ステップ S 1 0 3の処理において、画像生成部 1 0 3は、実世界推定情報を基に、生成された現実世界の光信号を近似する関数を空間方向に積分することにより、入力画像に比較して、空間方向により高解像度の画像を生成して、生成した画像を出力する。例えば、画像生成部 1 0 3は、実世界推定情報を基に、生成された現実世界の光信号を近似する関数を時空間方向に積分することにより、入力画像に比較して、時間方向および空間方向により高解像度の画像を生成して、生成した画像を出力する。ステップ S 1 0 3における、画像の生成の処理の詳細は、後述する。

このように、本発明に係る信号処理装置 4は、データ 3からデータの定常性を検出し、検出したデータの定常性を基に、実世界 1を推定する。そして、信号処理装置 4は、推定された実世界 1を基に、より実世界 1に近似した信号を生成する。

以上のように、現実世界の信号を推定して処理を実行するようにした場合には、正確で、精度の高い処理結果を得ることができるようになる。また、第 1の次元を有する現実世界の信号である第 1の信号が射影され、現実世界の信号の定常性の一部が欠落した第 1の次元よりも少ない第 2の次元の第 2 の信号の、欠落した現実世界の信号の定常性に対応するデータの定常性を検出し、検出されたデータの定常性に基づいて、欠落した現実世界の信号の定常性を推定することにより第 1の信号を推定するようにした場合には、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。次に、データ定常性検出部 1 0 1の構成の詳細について説明する。

図 4 1は、データ定常性検出部 1 0 1の構成を示すプロック図である。

図 4 1に構成を示すデータ定常性検出部 1 0 1は、細線である対象物を撮像したとき、対象物の有する断面形状が同じであるという定常性から生じた、データ 3に含まれるデータの定常性を検出する。すなわち、図 4 1に構成を示すデータ定常性検出部 1 0 1は、細線である実世界 1の画像の有する、長さ方向の任意の位置において、長さ方向に直交する方向の位置の変化に対する光のレベルの変化が同じであるという定常性から生じた、データ 3に含まれるデータの定常性を検出する。

より具体的には、図 4 1に構成を示すデータ定常性検出部 1 0 1は、細線の画像を空間積分効果を有するセンサ 2で撮像して得られたデータ 3に含まれる、斜めにずれて隣接して並ぶ、複数の所定の長さの円弧形状（かまぼこ型）が配置される領域を検出する。

データ定常性検出部 1 ◦ 1は、データ 3である入力画像から、データの定常性を有する細線の画像が射影された画像データの部分（以下、定常成分とも称する）以外の画像データの部分（以下、非定常成分と称する）を抽出し、抽出された非定常成分と入力画像とから、実世界 1の細線の画像が射影された画素を検出し、入力画像における、実世界 1の細線の画像が射影された画素からなる領域を検出する。

非定常成分抽出部 2 0 1は、入力画像から非定常成分を抽出して、入力画像と共に、抽出された非定常成分を示す非定常成分情報を頂点検出部 2 0 2および単調増減検出部 2 0 3に供給する。

例えば、図 4 2で示されるように、ほぼ一定の光のレベルの背景の前に細線がある実世界 1の画像がデータ 3に射影されたとき、図 4 3で示されるように、非定常成分抽出部 2 0 1は、データ 3である入力画像における背景を平面で近似することにより、背景である非定常成分を抽出する。図 4 3において、実線は、データ 3の画素値を示し、点線は、背景を近似する平面で示される近似値を示す。図 4 3において、 Aは、細線の画像が射影された画素の画素値を示し、 P Lは、背景を近似する平面を示す。

このように、データの定常性を有する画像データの部分における、複数の画素の画素値は、非定常成分に対して不連続となる。

非定常成分抽出部 2 0 1は、実世界 1の光信号である画像が射影され、実世界 1の画像の定常性の一部が欠落した、データ 3である画像データの複数の画素の画素値の不連続部を検出する。

非定常成分抽出部 2 0 1における非定常成分の抽出の処理の詳細は、後述する。頂点検出部 2 0 2および単調増減検出部 2 0 3は、非定常成分抽出部 2 0 1から供給された非定常成分情報を基に、入力画像から非定常成分を除去する。例えば、頂点検出部 2 0 2および単調増減検出部 2 0 3は、入力画像の各画素のうち、背景の画像のみが射影された画素の画素値を 0に設定することにより、入力画像から非定常成分を除去する。また、例えば、頂点検出部 2 0 2および単調増減検出部 2 0 3は、入力画像の各画素の画素値から、平面 P Lで近似される値を引き算することにより、入力画像から非定常成分を除去する。

入力画像から背景を除去することができるので、頂点検出部 2 0 2乃至連続性検出部 2 0 4は、細線が射影された画像データの部分のみを処理の対象とすることができ、頂点検出部 2 0 2乃至連続性検出部 2 0 4における処理がより容易になる。

なお、非定常成分抽出部 2 0 1は、入力画像から非定常成分を除去した画像データを頂点検出部 2 0 2および単調増減検出部 2 0 3に供給するようにしてもよい。

以下に説明する処理の例において、入力画像から非定常成分が除去された画像データ、すなわち、定常成分を含む画素のみからなる画像データが対象となる。ここで、頂点検出部 2 0 2乃至連続性検出部 2 0 4が検出しようとする、細線の画像が射影された画像データについて説明する。

図 4 2で示される細線の画像が射影された画像データの空間方向 Yの断面形状 (空間方向の位置の変化に対する画素値の変化) は、光学 LPFがないとした場合、センサ 2であるイメージセンサの空間積分効果から、図 4 4に示す台形、または図 4 5に示す三角形となることが考えられる。しかしながら、通常のィメージセンサは、光学 LPFを備え、イメージセンサは、光学 LPFを通過した画像を取得し、取得した画像をデータ 3に射影するので、現実には、細線の画像データの空間方向 Yの断面形状は、図 4 6に示すようなガウス分布に類似した形状となる。

頂点検出部 2 0 2乃至連続性検出部 2 0 4は、細線の画像が射影された画素であって、同じ断面形状（空間方向の位置の変化に対する画素値の変化）が画面の上下方向に一定の間隔で並ぶものからなる領域を検出して、さらに、実世界 1の細線の長さ方向に対応した、領域の繋がりを検出することにより、データの定常性を有する領域である、細線の画像が射影された画素からなる領域を検出する。すなわち、頂点検出部 2 0 2乃至連続性検出部 2 0 4は、入力画像における、縦に 1列の画素の上に、円弧形状（かまぼこ型）が形成される領域を検出し、検出された領域が横方向に隣接して並んでいるか否かを判定して、実世界 1の信号である細線の画像の長さ方向に対応した、円弧形状が形成される領域の繋がりを検出する。

また、頂点検出部 2 0 2乃至連続性検出部 2 0 4は、細線の画像が射影された画素であって、同じ断面形状が画面の左右方向に一定の間隔で並ぶものからなる領域を検出して、さらに、実世界 1の細線の長さ方向に対応した、検出された領域の繋がりを検出することにより、データの定常性を有する領域である、細線の画像が射影された画素からなる領域を検出する。すなわち、頂点検出部 2 0 2乃至連続性検出部 2 0 4は、入力画像における、横に 1列の画素の上に、円弧形状が形成される領域を検出し、検出された領域が縦方向に瞵接して並んでいるか否かを判定して、実世界 1の信号である細線の画像の長さ方向に対応した、円弧形状が形成される領域の繫がりを検出する。

まず、細線の画像が射影された画素であって、画面の上下方向に同じ円弧形状が一定の間隔で並ぶものからなる領域を検出する処理を説明する。

頂点検出部 2 0 2は、周囲の画素に比較して、より大きい画素値を有する画素、すなわち頂点を検出し、頂点の位置を示す頂点情報を単調増減検出部 2 0 3に供給する。画面の上下方向に 1列に並ぶ画素を対象とした場合、頂点検出部 2 0 2 は、画面の上側に位置する画素の画素値、および画面の下側に位置する画素の画素値に比較して、より大きい画素値を有する画素を頂点として検出する。頂点検出部 2 0 2は、 1つの画像、例えば、 1つのフレームの画像から、 1または複数の頂点を検出する。

1つの画面には、フレームまたはフィールドが含まれる。以下の説明において、同様である。

例えば、頂点検出部 2 0 2は、 1フレームの画像からまだ注目画素とされていない画素の中から注目画素を選択し、注目画素の画素値と、注目画素の上側の画素の画素値とを比較し、注目画素の画素値と、注目画素の下側の画素の画素値とを比較して、上側の画素の画素値より大きい画素値を有し、下側の画素の画素値より大きい画素値を有する注目画素を検出して、検出された注目画素を頂点とする。頂点検出部 2 0 2は、検出された頂点を示す頂点情報を単調増減検出部 2 0 3に供給する。

頂点検出部 2 0 2が、頂点を検出しない場合もある。例えば、 1つの画像の画素の画素値が全て同じ値であるとき、または、 1若しくは 2の方向に対して画素値が減少しているとき、頂点は検出されない。この場合、細線の画像は、画像データに射影されていない。単調増減検出部 2 0 3は、頂点検出部 2 0 2から供給された、頂点の位置を示す頂点情報を基に、頂点検出部 2 0 2で検出された頂点に対して上下方向に 1列に並ぶ画素であって、細線の画像が射影された画素からなる領域の候補を検出し、頂点情報と共に、検出した領域を示す領域情報を連続性検出部 2 0 4に供給する。

より具体的には、単調増減検出部 2 0 3は、頂点の画素値を基準として、単調減少している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。単調減少とは、頂点からの距離がより長い画素の画素値が、頂点からの距離が短い画素の画素値に比較して、より小さいことをヽう。

また、単調増減検出部 2 0 3は、頂点の画素値を基準として、単調増加している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。単調増加とは、頂点からの距離がより長い画素の画素値が、頂点からの距離が短い画素の画素値に比較して、より大きいことをいう。以下、単調増加している画素値を有する画素からなる領域についての処理は、単調減少している画素値を有する画素からなる領域についての処理と同様なので、その説明は省略する。細線の画像が射影された画素であって、画面の横方向に同じ円弧形状が一定の間隔で並ぶものからなる領域を検出する処理における、単調増加している画素値を有する画素からなる領域についての処理も、単調減少している画素値を有する画素からなる領域についての処理と同様なので、その説明は省略する。

例えば、単調増減検出部 2 0 3は、頂点に対して縦に 1列に各画素について、各画素の画素値と、上側の画素の画素値との差分、および下側の画素の画素値との差分を求める。そして、単調増減検出部 2 0 3は、差分の符号が変化する画素を検出することにより、画素値が単調減少している領域を検出する。

さらに、単調増減検出部 2 0 3は、画素値が単調減少している領域から、頂点の画素値の符号を基準として、頂点の画素値の符号と同じ符号の画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候捕として検出する。

例えば、単調増減検出部 2 0 3は、各画素の画素値の符号と、上側の画素の画素値の符号および下側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出することにより、画素値が単調減少している領域から、頂点と同じ符号の画素値を有する画素からなる領域を検出する。

このように、単調増減検出部 2 0 3は、上下方向に並び、頂点に対して画素値が単調減少し、頂点と同じ符号の画素値を有する画素からなる領域を検出する。図 4 7は、空間方向 Yの位置に対する画素値から、細線の画像が射影された画素の領域を検出する、頂点の検出おょぴ単調増減領域の検出の処理を説明する図である。

図 4 7乃至図 4 9において、 Pは、頂点を示す。図 4 1で構成が示されるデータ定常性検出部 1 0 1の説明において、 Pは、頂点を示す。

頂点検出部 2 0 2は、各画素の画素値と、これに空間方向 Yに隣接する画素の画素値とを比較して、空間方向 Yに隣接する 2つの画素の画素値より大きい画素値を有する画素を検出することにより、頂点 Pを検出する。

頂点 Pと、頂点 Pの空間方向 Yの両側の画素とからなる領域は、頂点 Pの画素値に対して、空間方向 Yの両側の画素の画素値が単調に減少する単調減少領域である。図 4 7において、 Aで示す矢印、および Bで示す矢印は、頂点 Pの両側に存在する単調減少領域を示す。

単調増減検出部 2 0 3は、各画素の画素値と、その画素に空間方向 Yに隣接する画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。単調増減検出部 2 0 3は、検出された、差分の符号が変化する画素と、その手前側 (頂点 P側）の画素との境界を、細線の画像が射影された画素からなる細線領域の境界とする。

図 4 7において、差分の符号が変化する画素と、その手前側（頂点 P側）の画素との境界である細線領域の境界は Cで示される。

さらに、単調増減検出部 2 0 3は、単調減少領域において、各画素の画素値の 2004/001585

55

符号と、その画素に空間方向 Yに隣接する画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。単調増減検出部 2 0 3は、検出された、画素値の符号が変化する画素と、その手前側（頂点 Ρ側）の画素との境界を細線領域の境界とする。

図 4 7において、画素値の符号が変化する画素と、その手前側（頂点 Ρ側）の画素との境界である細線領域の境界は Dで示される。

図 4 7で示されるように、細線の画像が射影された画素からなる細線領域 F は、細線領域の境界 Cと、細線領域の境界 Dとに挟まれる領域とされる。

単調増減検出部 2 0 3は、このような単調増減領域からなる細線領域 Fの中から、予め定めた閾値より長い細線領域 F、すなわち、閾値より多い数の画素を含む細線領域 Fを求める。例えば、閾値が 3であるとき、単調増減検出部 2 0 3は、 4つ以上の画素を含む細線領域 Fを検出する。

さらに、このように検出された細線領域 Fの中から、単調増減検出部 2 0 3 は、頂点 Pの画素値、および頂点 Pの右側の画素の画素値、および頂点 Pの左側の画素の画素値を、それぞれ閾値と比較し、頂点 Pの画素値が閾値を超え、頂点 Pの右側の画素の画素値が閾値以下であり、頂点 Pの左側の画素の画素値が閾値以下である頂点 Pが属する細線領域 Fを検出し、検出された細線領域 F を細線の画像の成分を含む画素からなる領域の候捕とする。

言い換えれば、頂点 Pの画素値が閾値以下であるか、頂点 Pの右側の画素の画素値が閾値を超えるか、または頂点 Pの左側の画素の画素値が閾値を超える頂点 Pが属する細線領域 Fは、細線の画像の成分を含まないと判定され、細線の画像の成分を含む画素からなる領域の候補から除去される。

すなわち、図 4 8で示されるように、単調増減検出部 2 0 3は、頂点 Pの画素値を閾値と比較すると共に、頂点 Pに対して、空間方向 X (点線 AA'で示す方向）に瞵接する画素の画素値を、閾値と比較し、頂点 P の画素値が閾値を超え、空間方向 Xに隣接する画素の画素値が閾値以下である、頂点 Pが属する細線領域 Fを検出する。図 4 9は、図 4 8の点線 AA'で示す空間方向 Xに並ぶ画素の画素値を表す図である。頂点 Pの画素値が閾値 T h _sを超え、頂点 Pの空間方向 Xに隣接する画素の画素値が、閾値 T h _s以下である、頂点 Pが属する細線領域 Fは、細線の成分を含む。

なお、単調増減検出部 2 0 3は、背景の画素値を基準として、頂点 Pの画素値と背景の画素値との差分を閾値と比較すると共に、頂点 Pに対して、空間方向 Xに隣接する画素の画素値と背景の画素値との差分を、閾値と比較し、頂点!³ の画素値と背景の画素値との差分が閾値を超え、空間方向 Xに隣接する画素の画素値と背景の画素値との差分が閾値以下である、頂点 Pが属する細線領域 Fを検出するようにしてもよい。

単調増減検出部 2 0 3は、頂点 Pを基準として、画素値が単調減少し、画素値の符号が頂点 Pと同じである画素からなる領域であって、その頂点 Pが閾値を超え、頂点 Pの右側の画素の画素値が閾値以下であり、頂点 Pの左側の画素の画素値が閾値以下であるものを示す単調増減領域情報を連続性検出部 2 0 4に供給する。

画面の上下方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する場合において、単調増減領域情報により示される領域に属する画素は、上下方向に並び、細線の画像が射影された画素を含む。すなわち、単調増減領域情報により示される領域は、画面の上下方向に 1列に並ぶ画素であつて、細線の画像が射影されたものからなる領域を含む。

このように、頂点検出部 2 0 2および単調増減検出部 2 0 3は、細線の画像が射影された画素において、空間方向 Yの画素値の変化が、ガウス分布に類似するという性質を利用して、細線の画像が射影された画素からなる定常領域を検出する。

連続性検出部 2 0 4は、単調増減検出部 2 0 3から供給された単調増減領域情報で示される、上下方向に並ぶ画素からなる領域のうち、横方向に隣接している画素を含む領域、すなわち、相似した画素値の変化を有し、縦方向に重複している領域を、連続している領域として検出し、頂点情報、およぴ検出された連続している領域を示すデータ定常性情報を出力する。データ定常性情報は、単調増減領域情報、および領域の繋がりを示す情報などを含んでいる。

細線が射影された画素において、円弧形状が隣接するように一定の間隔で並ぶので、検出された連続している領域は、細線が射影された画素を含んでいる。検出された連続している領域が、細線が射影された、円弧形状が隣接するように一定の間隔で並ぶ画素を含むので、検出された連続している領域を定常領域とし、連続性検出部 2 0 4は、検出された連続している領域を示すデータ定常性情報を出力する。

すなわち、連続性検出部 2 0 4は、長さ方向に連続するという、実世界 1の細線の画像の定常性から生じた、細線を撮像して得られたデータ 3における、円弧形状が隣接するように一定の間隔で並ぶ定常性を利用して、頂点検出部 2 0 2および単調増減検出部 2 0 3において検出された領域の候補をさらに絞り込む。図 5 0は、単調増減領域の連続性を検出の処理を説明する図である。

図 5 0に示すように、連続性検出部 2 0 4は、画面の縦方向に 1列に並ぶ画素からなる細線領域 Fについて、横方向に隣接する画素を含んでいるとき、 2つの単調増減領域の間に連続性があるとし、横方向に隣接する画素を含んでいないとき、 2つの細線領域 Fの間に連続性がないとする。例えば、画面の縦方向に 1列に並ぶ画素からなる細線領域は、画面の縦方向に 1列に並ぶ画素からなる細線領域 F₀の画素と横方向に隣接する画素を含んでいるとき、細線領域 F₀ と連続しているとされる。画面の縦方向に 1列に並ぶ画素からなる細線領域 F₀ は、画面の縦方向に 1列に並ぶ画素からなる細線領域の画素と横方向に隣接する画素を含んでいるとき、細線領域 1^ と連続しているとされる。

このように、頂点検出部 2 0 2乃至連続性検出部 2 0 4により、画面の上下方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域が検出される。

頂点検出部 2 0 2乃至連続性検出部 2 0 4は、上述したように、画面の上下方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出し、さらに、画面の左右方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領城を検出する。

なお、処理の順序は、本発明を限定するものではなく、並列に実行するようにしても良いことは当然である。

すなわち、頂点検出部 2 0 2は、画面の左右方向に 1列に並ぶ画素を対象として、画面の左側に位置する画素の画素値、および画面の右側に位置する画素の画素値に比較して、より大きい画素値を有する画素を頂点として検出し、検出した頂点の位置を示す頂点情報を単調増減検出部 2 0 3に供給する。頂点検出部 2 0 2は、 1つの画像、例えば、 1フレームの画像から、 1または複数の頂点を検出する。

例えば、頂点検出部 2 0 2は、 1フレームの画像からまだ注目画素とされていない画素の中から注目画素を選択し、注目画素の画素値と、注目画素の左側の画素の画素値とを比較し、注目画素の画素値と、注目画素の右側の画素の画素値とを比較して、左側の画素の画素値より大きい画素値を有し、右側の画素の画素値より大きい画素値を有する注目画素を検出して、検出された注目画素を頂点とする。頂点検出部 2 0 2は、検出された頂点を示す頂点情報を単調増減検出部 2 0 3に供給する。

頂点検出部 2 0 2が、頂点を検出しない場合もある。

単調増減検出部 2 0 3は、頂点検出部 2 0 2で検出された頂点に対して左右方向に 1列に並ぶ画素であって、細線の画像が射影された画素からなる領域の候捕を検出し、頂点情報と共に、検出した領域を示す単調増減領域情報を連続性検出部 2 0 4に供給する。

より具体的には、単調増減検出部 2 0 3は、頂点の画素値を基準として、単調減少している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候捕として検出する。

例えば、単調増減検出部 2 0 3は、頂点に対して横に 1列の各画素について、各画素の画素値と、左側の画素の画素値との差分、および右側の画素の画素値との差分を求める。そして、単調増減検出部 2 0 3は、差分の符号が変化する画素を検出することにより、画素値が単調減少している領域を検出する。

さらに、単調増減検出部 2 0 3は、画素値が単調減少している領域から、頂点の画素値の符号を基準として、頂点の画素値の符号と同じ符号の画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。

例えば、単調増減検出部 2 0 3は、各画素の画素値の符号と、左側の画素の画素値の符号または右側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出することにより、画素値が単調減少している領域から、頂点と同じ符号の画素値を有する画素からなる領域を検出する。

このように、単調増減検出部 2 0 3は、左右方向に並び、頂点に対して画素値が単調減少し、頂点と同じ符号の画素値を有する画素からなる領域を検出する。単調増減検出部 2 0 3は、このような単調増減領域からなる細線領域の中から、予め定めた閾値より長い細線領域、すなわち、閾値より多い数の画素を含む細線領域を求める。

さらに、このように検出された細線領域の中から、単調増減検出部 2 0 3は、頂点の画素値、および頂点の上側の画素の画素値、および頂点の下側の画素の画素値を、それぞれ閾値と比較し、頂点の画素値が閾値を超え、頂点の上側の画素の画素値が閾値以下であり、頂点の下側の画素の画素値が閾値以下である頂点が属する細線領域を検出し、検出された細線領域を細線の画像の成分を含む画素からなる領域の候補とする。

言い換えれば、頂点の画素値が閾値以下であるか、頂点の上側の画素の画素値が閾値を超えるか、または頂点の下側の画素の画素値が閾値を超える頂点が属する細線領域は、細線の画像の成分を含まないと判定され、細線の画像の成分を含む画素からなる領域の候補から除去される。

なお、単調増減検出部 2 0 3は、背景の画素値を基準として、頂点の画素値と背景の画素値との差分を閾値と比較すると共に、頂点に対して、上下方向に隣接する画素の画素値と背景の画素値との差分を、閾値と比較し、頂点の画素値と背景の画素値との差分が閾値を超え、上下方向に隣接する画素の画素値と背景の画素値との差分が閾値以下である、検出された細線領域を細線の画像の成分を含む画素からなる領域の候補とするようにしてもよい。

単調増減検出部 2 0 3は、頂点を基準として、画素値が単調減少し、画素値の符号が頂点と同じである画素からなる領域であって、その頂点が閾値を超え、頂点の右側の画素の画素値が閾値以下であり、頂点の左側の画素の画素値が閾値以下であるものを示す単調増減領域情報を連続性検出部 2 0 4に供給する。

画面の左右方向に 1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する場合において、単調増減領域情報により示される領域に属する画素は、左右方向に並び、細線の画像が射影された画素を含む。すなわち、単調増減領域情報により示される領域は、画面の左右方向に並ぶ 1列の画素であつて、細線の画像が射影されたものからなる領域を含む。

連続性検出部 2 0 4は、単調増減検出部 2 0 3から供給された単調増減領域情報で示される、左右方向に並ぶ画素からなる領域のうち、縦方向に隣接している画素を含む領域、すなわち、相似した画素値の変化を有し、横方向に重複している領域を、連続している領域として検出し、頂点情報、および検出された連続している領域を示すデータ定常性情報を出力する。データ定常性情報は、領域の繋がりを示す情報を含んでいる。

すなわち、連続性検出部 2 0 4は、長さ方向に連続するという、実世界 1の細線の画像の定常性から生じた、細線を撮像して得られたデータ 3における、円弧形状が隣接するように一定の間隔で並ぶ定常性を利用して、頂点検出部 2 0 2および単調増減検出部 2 0 3において検出された領域の候補をさらに絞り込む。図 5 1は、平面での近似により定常成分を抽出した画像の例を示す図である。図 5 2は、図 5 1に示す画像から頂点を検出し、単調減少している領域を検出した結果を示す図である。図 5 2において、白で示される部分が、検出された領域である。

図 5 3は、図 5 2に示す画像から、隣接している領域の連続性を検出して、連続性が検出された領域を示す図である。図 5 3において、白で示される部分が、連続性が検出された領域である。連続性の検出により、領域がさらに特定されていることがわかる。

図 5 4は、図 5 3に示す領域の画素値、すなわち、連続性が検出された領域の画素値を示す図である。

このように、データ定常性検出部 1 0 1は、入力画像であるデータ 3に含まれている定常性を検出することができる。すなわち、データ定常性検出部 1 0 1は、細線である実世界 1の画像がデータ 3に射影されることにより生じた、データ 3 に含まれるデータの定常性を検出することができる。データ定常性検出部 1 0 1 は、データ 3から、細線である実世界 1の画像が射影された画素からなる領域を検出する。

図 5 5は、定常性検出部 1 0 1における、細線の画像が射影された、定常性を有する領域の検出の他の処理の例を示す図である。定常性検出部 1 0 1は、図 5 5に示すように、各画素について、隣接する画素との画素値の差分の絶対値を計算する。計算された差分の絶対値は、画素に対応させて、配置される。例えば、図 5 5に示すように、画素値がそれぞれ P0、 Pl、 P2である画素が並んでいるとき、定常性検出部 1 0 1は、差分 dO=PO-Plおよび差分 dl=P l-P2を計算する。さらに、定常性検出部 1 0 1は、差分 doおよび差分 dlの絶対値を算出する。画素値 P0、 Pl、および P2に含まれている非定常性成分が同一であるとき、差分 dOおよび差分 dlには、細線の成分に対応した値のみが設定されることになる。

従って、定常性検出部 1 0 1は、画素に対応させて配置されている差分の絶対- 値のうち、隣り合う差分の値が同一であるとき、その 2つの差分の絶対値に対応する画素（2つの差分の絶対値に挟まれた画素）に細線の成分が含まれていると判定する。なお、定常性検出部 1 0 1は、画素に対応させて配置されている差分の絶対値のうち、隣り合う差分の値が同一である場合、差分の絶対値が所定の閾値より小さいとき、その 2つの差分の絶対値に対応する画素 ( 2つの差分の絶対値に挟まれた画素）に細線の成分が含まれていないと判定する。

定常性検出部 1 0 1においては、このような、簡便な方法で細線を検出することもできる。

図 5 6は、定常性検出の処理を説明するフローチャートである。

ステップ S 2 0 1において、非定常成分抽出部 2 0 1は、入力画像から、細線が射影された部分以外の部分である非定常成分を抽出する。非定常成分抽出部 2 0 1は、入力画像と共に、抽出された非定常成分を示す非定常成分情報を頂点検出部 2 0 2および単調増減検出部 2 0 3に供給する。非定常成分の抽出の処理の詳細は、後述する。

ステップ S 2 ◦ 2において、頂点検出部 2 0 2は、非定常成分抽出部 2 0 1から供給された非定常成分情報を基に、入力画像から非定常成分を除去し、入力画像に定常成分を含む画素のみを残す。さらに、ステップ S 2 0 2において、頂点検出部 2 0 2は、頂点を検出する。

すなわち、頂点検出部 2 0 2は、画面の縦方向を基準として、処理を実行する場合、定常成分を含む画素について、各画素の画素値と、上側および下側の画素の画素値とを比較して、上側の画素の画素値おょぴ下側の画素の画素値より大きい画素値を有する画素を検出することにより、頂点を検出する。また、ステップ S 2 0 2において、頂点検出部 2 0 2は、画面の横方向を基準として、処理を実行する場合、定常成分を含む画素について、各画素の画素値と、右側および左側の画素の画素値とを比較して、右側の画素の画素値おょぴ左側の画素の画素値より大きい画素値を有する画素を検出することにより、頂点を検出する。

頂点検出部 2 0 2は、検出した頂点を示す頂点情報を単調増減検出部 2 0 3に供給する。

ステップ S 2 0 3において、単調増減検出部 2 0 3は、非定常成分抽出部 2 0 1から供給された非定常成分情報を基に、入力画像から非定常成分を除去し、入力画像に定常成分を含む画素のみを残す。さらに、ステップ S 2 0 3において、単調増減検出部 2 0 3は、頂点検出部 2 0 2から供給された、頂点の位置を示す頂点情報を基に、頂点に対する単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。

単調増減検出部 2 0 3は、画面の縦方向を基準として、処理を実行する場合、頂点の画素値、および頂点に対して縦に 1列に並ぶ画素の画素値を基に、縦に並ぶ 1列の画素であって、 1つの細線の画像が射影された画素からなる単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。すなわち、ステップ S 2 0 3において、単調増減検出部 2 0 3は、画面の縦方向を基準として、処理を実行する場合、頂点および頂点に対して縦に 1列に並ぶ画素について、各画素の画素値と、上側または下側の画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。また、単調増減検出部 2 0 3は、頂点および頂点に対して縦に 1列に並ぶ画素について、各画素の画素値の符号と、その画素の上側または下側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。さらに、単調増減検出部 2 0 3は、頂点の画素値、並びに頂点の右側および左側の画素の画素値を、閾値と比較し、頂点の画素値が閾値を超え、右側および左側の画素の画素値が閾値以下である画素からなる領域を検出する。

単調増減検出部 2 0 3は、このように検出された領域を単調増減領域として、単調増減領域を示す単調増減領域情報を連続性検出部 2 0 4に供給する。

また、単調増減検出部 2 0 3は、画面の横方向を基準として、処理を実行する場合、頂点の画素値、および頂点に対して横に 1列に並ぶ画素の画素値を基に、横に並ぶ 1列の画素であって、 1つの細線の画像が射影された画素からなる単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。すなわち、ステップ S 2 0 3において、単調増減検出部 2 0 3は、画面の横方向を基準として、処理を実行する場合、頂点および頂点に対して横に 1列に並ぶ画素について、各画素の画素値と、左側または右側の画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。また、単調増減検出部 2 0 3は、頂点おょぴ頂点に対して横に 1列に並ぶ画素について、各画素の画素値の符号と、その画素の左側または右側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。さらに、単調増減検出部 2 0 3は、頂点の画素値、並ぴに頂点の上側おょぴ下側の画素の画素値を、閾値と比較し、頂点の画素値が閾値を超え、上側および下側の画素の画素値が閾値以下である画素からなる領域を検出する。

ステップ S 2 0 4において、単調増減検出部 2 0 3は、全画素の処理が終了したか否かを判定する。例えば、非定常成分抽出部 2 0 1は、入力画像の 1つの画面（例えば、フレームまたはフィールドなど）の全画素について、頂点を検出し、単調増減領域を検出したか否かを判定する。

ステップ S 2 0 4において、全画素の処理が終了していない、すなわち、頂点の検出おょぴ単調増減領域の検出の処理の対象とされていない画素がまだあると判定された場合、ステップ S 2 0 2に戻り、頂点の検出および単調増減領域の検出の処理の対象とされていない画素から処理の対象となる画素を選択して、頂点の検出および単調増減領域の検出の処理を繰り返す。

ステップ S 2 0 4において、全画素の処理が終了した、すなわち、全ての画素を対象として頂点おょぴ単調増減領域が検出されたと判定された場合、ステップ S 2 0 5に進み、連続性検出部 2 0 4は、単調増減領域情報を基に、検出された領域の連続性を検出する。例えば、連続性検出部 2 0 4は、単調増減領域情報で示される、画面の縦方向に 1列に並ぶ画素からなる単調増減領域について、横方向に隣接する画素を含んでいるとき、 2つの単調増減領域の間に連続性があるとし、横方向に隣接する画素を含んでいないとき、 2つの単調増減領域の間に連続性がないとする。例えば、連続性検出部 2 0 4は、単調増減領域情報で示される、画面の横方向に 1列に並ぶ画素からなる単調増減領域について、縦方向に隣接する画素を含んでいるとき、 2つの単調増減領域の間に連続性があるとし、縦方向に隣接する画素を含んでいないとき、 2つの単調増減領域の間に連続性がないとする。

連続性検出部 2 0 4は、検出された連続している領域をデータの定常性を有する定常領域とし、頂点の位置および定常領域を示すデータ定常性情報を出力する。データ定常性情報は、領域の繋がりを示す情報を含んでいる。連続性検出部 2 0 4から出力されるデータ定常性情報は、実世界 1の細線の画像が射影された画素からなる、定常領域である細線領域を示す。

ステップ S 2 0 6において、定常性方向検出部 2 0 5は、全画素の処理が終了したか否かを判定する。すなわち、定常性方向検出部 2 0 5は、入力画像の所定のフレームの全画素について、領域の連続性を検出したか否かを判定する。

ステップ S 2 0 6において、全画素の処理が終了していない、すなわち、領域の連続性の検出の処理の対象とされていない画素がまだあると判定された場合、ステップ S 2 0 5に戻り、領域の連続性の検出の処理の対象とされていない画素から処理の対象となる画素を選択して、領域の連続性の検出の処理を繰り返す。ステップ S 2 0 6において、全画素の処理が終了した、すなわち、全ての画素を対象として領域の連続性が検出されたと判定された場合、処理は終了する。このように、入力画像であるデータ 3に含まれている定常性が検出される。すなわち、細線である実世界 1の画像がデータ 3に射影されることにより生じた、データ 3に含まれるデータの定常性が検出され、データ 3から、細線である実世界 1の画像が射影された画素からなる、データの定常性を有する領域が検出される。

なお、図 4 1で構成が示されるデータ定常性検出部 1 0 1は、データ 3のフレームから検出されたデータの定常性を有する領域を基に、時間方向のデータの定常性を検出することができる。

例えば、図 5 7に示すように、連続性検出部 2 0 4は、フレーム #n において、検出されたデータの定常性を有する領域くフレーム - 1において、検出されたデータの定常性を有する領域、およびフレーム #n+ lにおいて、検出されたデータの定常性を有する領域を基に、領域の端部を結ぶことにより、時間方向のデータの定常性を検出する。

フレーム #n-lは、フレーム #nに対して時間的に前のフレームであり、フレーム #n+lは、フレームに対して時間的に後のフレームである。すなわち、フレーム #n_ l、フレーム #n、およびフレーム #n+l は、フレーム #n_ l、フレーム、およびフレーム +1の順で表示される。

より具体的には、図 5 7において、 Gは、フレーム #nにおいて、検出されたデータの定常性を有する領域、フレーム #n-lにおいて、検出されたデータの定常性を有する領域、およびフレーム +1において、検出されたデータの定常性を有する領域のそれぞれの一端を結ぶことにより得られた動きべクトルを示し、 G ' は、検出されたデータの定常性を有する領域のそれぞれの他の一端を結ぶことにより得られた動きべクトルを示す。動きべクトル Gおよび動きべクトル G ' は、時間方向のデータの定常性の一例である。

さらに、図 4 1で構成が示されるデータ定常性検出部 1 0 1は、データの定常性を有する領域の長さを示す情報を、データ定常性情報として出力することがでさる。

図 5 8は、データの定常性を有しない画像データの部分である非定常成分を平面で近似して、非定常成分を抽出する、非定常成分抽出部 2 0 1の構成を示すプ口ック図である。

図 5 8に構成を示す非定常成分抽出部 2 0 1は、入力画像から所定の数の画素でなるプロックを抽出し、プロックと平面で示される値との誤差が所定の閾値未満になるように、ブロックを平面で近似して、非定常成分を抽出する。

入力画像は、プロック抽出部 2 2 1に供給されるとともに、そのまま出力される。

ブロック抽出部 2 2 1は、入力画像から、所定の数の画素からなるブロックを抽出する。例えば、ブロック抽出部 2 2 1は、 7 X 7の画素からなるブロックを抽出し、平面近似部 2 2 2に供給する。例えば、プロック抽出部 2 2 1は、抽出されるプロックの中心となる画素をラスタスキャン順に移動させ、順次、入力画像からプロックを抽出する。

平面近似部 2 2 2は、プロックに含まれる画素の画素値を所定の平面で近似する。例えば、平面近似部 2 2 2は、式（2 4 ) で表される平面でプロックに含まれる画素の画素値を近似する。

z=ax+by+c · · ■ 2 4 ) 式（2 4 ) において、 Xは、画素の画面上の一方の方向（空間方向 X ) の位置を示し、 yは、画素の画面上の他の一方の方向（空間方向 Y ) の位置を示す。 z は、平面で示される近似値を示す。 a は、平面の空間方向 Xの傾きを示し、 b は、平面の空間方向 Yの傾きを示す。式（2 4 ) において、 cは、平面のオフセット (切片）を示す。

例えば、平面近似部 2 2 2は、回帰の処理により、傾き a、傾き b、およぴォフセット cを求めることにより、式（2 4 ) で表される平面で、ブロックに含まれる画素の画素値を近似する。平面近似部 2 2 2は、棄却を伴う回帰の処理により、傾き a、傾き b、およびオフセット cを求めることにより、式 ( 2 4 ) で表される平面で、プロックに含まれる画素の画素値を近似する。

例えば、平面近似部 2 2 2は、最小自乗法により、ブロックの画素の画素値に対して、誤差が最小となる式（2 4 ) で表される平面を求めることにより、平面でプロックに含まれる画素の画素値を近似する。

なお、平面近似部 2 2 2は、式（2 4 ) で表される平面でブロックを近似すると説明したが、式（2 4 ) で表される平面に限らず、より高い自由度をもった関数、例えば、 n次（nは、任意の整数）の多項式で表される面でプロックを近似するようにしてもよい。

繰り返し判定部 2 2 3は、プロックの画素値を近似した平面で示される近似値と、ブロックの対応する画素の画素値との誤差を計算する。式 ( 2 5 ) は、プロックの画素値を近似した平面で示される近似値と、プロックの対応する画素の画素値 z i との差分である誤差 e iを示す式である。

e. _{= z} . -z =∑j - ( j + y j +c)

• · ■ ( 2 5 ) 式（2 5 ) において、 zハット (zに"を付した文字を zハットと記述する。以下、本明細書において、同様に記載する。）は、ブロックの画素値を近似した平面で示される近似値を示し、 a ノ、ットは、プロックの画素値を近似した平面の空間方向 Xの傾きを示し、 bハットは、ブロックの画素値を近似した平面の空間方向 Yの傾きを示す。式（2 5 ) において、 c ノ、ットは、プロックの画素値を近似した平面のオフセット (切片) を示す。

繰り返し判定部 2 2 3は、式 ( 2 5 ) で示される、近似値とプロックの対応する画素の画素値との誤差 ei力 S、最も大きい画素を棄却する。このようにすることで、細線が射影された画素、すなわち定常性を有する画素が棄却されることになる。繰り返し判定部 2 2 3は、棄却した画素を示す棄却情報を平面近似部 2 2 2に供給する。

さらに、繰り返し判定部 2 2 3は、標準誤差を算出して、標準誤差が、予め定めた近似終了判定用の閾値以上であり、プロックの画素のうち、半分以上の画素が棄却されていないとき、繰り返し判定部 2 2 3は、平面近似部 2 2 2に、プロックに含まれる画素のうち、棄却された画素を除いた画素を対象として、平面による近似の処理を繰り返させる。

定常性を有する画素が棄却されるので、棄却された画素を除いた画素を対象として平面で近似をすることにより、平面は、非定常成分を近似することになる。繰り返し判定部 223は、標準誤差が、近似終了判定用の閾値未満であるとき、または、ブロックの画素のうち、半分以上の画素が棄却されたとき、平面による近似を終了する。

5 X 5の画素からなるブロックについて、標準誤差 e_s は、例えば、式（2 6) で算出される。

=∑ ((Zj-(aXi+Dyj+c)}/(n-3)

• · · (26) ここで、 nは、画素の数である。

なお、繰り返し判定部 223は、標準誤差に限らず、ブロックに含まれる全ての画素についての誤差の 2乗の和を算出して、以下の処理を実行するようにしてもよい。

ここで、ラスタスキャン方向に 1画素ずつずれたプロックを平面で近似するとき、図 59に示すように、図中黒丸で示す、定常性を有する画素、すなわち細線の成分を含む画素は、複数回棄却されることになる。

繰り返し判定部 223は、平面による近似を終了したとき、ブロックの画素値を近似した平面を示す情報（式（24) の平面の傾きおよび切片）を、非定常成分情報として出力する。

なお、繰り返し判定部 223は、画素毎の棄却された回数と予め定めた閾値とを比較して、棄却された回数が閾値以上である画素を定常成分を含む画素であるとして、定常成分を含む画素を示す情報を定常成分情報として出力するようにしてもよい。この場合、頂点検出部 20 2乃至定常性方向検出部 205は、定常成分情報で示される、定常成分を含む画素を対象として、それぞれの処理を実行する。

図 60乃至図 67を参照して、非定常成分抽出の処理の結果の例を説明する。図 60は、細線が含まれる画像から、元の画像の 2 X 2の画素の画素値の平均値を画素値として生成した入力画像の例を示す図である。

図 6 1は、図 6 0で示される画像を、棄却をしないで平面で近似した結果得られる標準誤差を画素値とした画像を示す図である。図 6 1で示される例において、注目している 1つの画素に対する 5 X 5の画素からなるプロックを平面で近似した。図 6 1において、白い画素はより大きい画素値、すなわち、より大きい標準誤差を有する画素であり、黒い画素はより小さい画素値、すなわち、より小さい標準誤差を有する画素である。

図 6 1から、棄却をしないで平面で近似した結果得られる標準誤差を画素値とした場合、非定常部の周辺に広く、大きな値が求められていることが確認できる。図 6 2乃至図 6 7で示される例において、注目している 1つの画素に対する 7 X 7の画素からなるブロックを平面で近似した。 7 X 7の画素からなるプロックを平面で近似する場合、 1つの画素が 4 9のブロックに繰り返し含まれることになるので、定常成分を含む画素は、最も多くて 4 9回、棄却されることになる。図 6 2は、図 6 0で示される画像を、棄却をして平面で近似したとき、得られる標準誤差を画素値とした画像である。

図 6 2において、白い画素はより大きい画素値、すなわち、より大きい標準誤差を有する画素であり、黒い画素はより小さい画素値、すなわち、より小さい標準誤差を有する画素である。棄却をしない場合に比較して、棄却をした場合、全体として、標準誤差がより小さくなることがわかる。

図 6 3は、図 6 0で示される画像を、棄却をして平面で近似したとき、棄却された回数を画素値とした画像を示す図である。図 6 3において、白い画素はより大きい画素値、すなわち、棄却された回数がより多い画素であり、黒い画素はより小さい画素値、すなわち、棄却された回数がより少ない画素である。

図 6 3から、細線の画像が射影された画素は、より多く棄却されていることがわかる。棄却された回数を画素値とした画像を用いて、入力画像の非定常部をマスクする画像を生成することも可能である。

図 6 4は、ブロックの画素値を近似した平面の空間方向 Xの傾きを画素値とした画像を示す図である。図 6 5は、ブロックの画素値を近似した平面の空間方向 Yの傾きを画素値とした画像を示す図である。

図 6 6は、ブロックの画素値を近似した平面で示される近似値からなる画像を示す図である。図 6 6で示される画像からは、細線が消えていることがわかる。図 6 7は、図 6 0で示される、元の画像の 2 X 2の画素のプロックの平均値を画素の画素値として生成した画像と、図 6 6で示される、平面で示される近似値からなる画像との差分からなる画像を示す図である。図 6 7の画像の画素値は、非定常成分が除去されるので、細線の画像が射影された値のみを含む。図 6 7からもわかるように、元の画素値と近似した平面で示される近似値との差分からなる画像では、元の画像の定常成分がうまく抽出できていることが確認できる。棄却された回数、プロックの画素の画素値を近似する平面の空間方向 Xの傾き、プロックの画素の画素値を近似する平面の空間方向 Yの傾き、プロックの画素の画素値を近似する平面で示される近似値、および誤差は、入力画像の特徴量としても利用することができる。

図 6 8は、ステップ S 2 0 1に対応する、図 5 8に構成を示す非定常成分抽出部 2 0 1による、非定常成分の抽出の処理を説明するフローチャートである。ステップ S 2 2 1において、プロック抽出部 2 2 1は、入力画素から、所定の数の画素からなるプロックを抽出し、抽出したプロックを平面近似部 2 2 2に供給する。例えば、ブロック抽出部 2 2 1は、入力画素から、まだ、選択されていない画素のうち、 1つの画素を選択し、選択された画素を中心とする 7 X 7の画素からなるプロックを抽出する。例えば、ブロック抽出部 2 2 1は、ラスタスキャン順に画素を選択することができる。

ステップ S 2 2 2において、平面近似部 2 2 2は、抽出されたブロックを平面で近似する。平面近似部 2 2 2は、例えば、回帰の処理により、抽出されたプロックの画素の画素値を、平面で近似する。例えば、平面近似部 2 2 2は、回帰の処理により、抽出されたブロックの画素のうち、棄却された画素を除いた画素の画素ィ直を、平面で近似する。ステップ S 2 2 3において、繰り返し判定部 2 2 3 は、繰り返し判定を実行する。例えば、プロックの画素の画素値と近似した平面の近似値とから標準誤差を算出し、棄却された画素の数を力ゥントすることにより、繰り返し判定を実行する。

ステップ S 2 2 4において、繰り返し判定部 2 2 3は、標準誤差が閾値以上であるか否かを判定し、標準誤差が閾値以上であると判定された場合、ステップ S 2 2 5に進む。

なお、ステップ S 2 2 4において、繰り返し判定部 2 2 3は、ブロックの画素のうち、半分以上の画素が棄却されたか否か、および標準誤差が閾値以上であるか否かを判定し、ブロックの画素のうち、半分以上の画素が棄却されておらず、標準誤差が閾値以上であると判定された場合、ステップ S 2 2 5に進むようにしてもよい。

ステップ S 2 2 5において、繰り返し判定部 2 2 3は、ブロックの画素毎に、画素の画素値と近似した平面の近似値との誤差を算出し、誤差が最も大きい画素を棄却し、平面近似部^{2 2 2}に通知する。手続きは、ステップ S 2 2 2に戻り、棄却された画素を除いた、プロックの画素を対象として、平面による近似の処理および繰り返し判定の処理が繰り返される。

ステップ S 2 2 5において、ラスタスキャン方向に 1画素ずつずれたブロックがステップ S 2 2 1の処理で抽出される場合、図 5 9に示すように、細線の成分を含む画素（図中の黒丸で示す）は、複数回棄却されることになる。

ステップ S 2 2 4において、標準誤差が閾値以上でないと判定された場合、プ口ックが平面で近似されたので、ステップ S 2 2 6に進む。

なお、ステップ S 2 2 4において、繰り返し判定部 2 2 3は、ブロックの画素のうち、半分以上の画素が棄却されたか否か、および標準誤差が閾値以上であるか否かを判定し、ブロックの画素のうち、半分以上の画素が棄却されたか、または標準誤差が閾値以上でないと判定された場合、ステップ S 2 2 5に進むようにしてもよい。

ステップ S 2 2 6において、繰り返し判定部 2 2 3は、ブロックの画素の画素 2004/001585

73

値を近似する平面の傾きおよび切片を、非定常成分情報として出力する。

ステップ S 2 2 7において、ブロック抽出部 2 2 1は、入力画像の 1つの画面の全画素について処理を終了したか否かを判定し、まだ処理の対象となってない画素があると判定された場合、ステップ S 2 2 1に戻り、まだ処理の対象となつていない画素からブロックを抽出して、上述した処理を繰り返す。

ステップ S 2 2 7において、入力画像の 1つの画面の全画素について、処理を終了したと判定された場合、処理は終了する。

このように、図 5 8に構成を示す非定常成分抽出部 2 0 1は、入力画像から非定常成分を抽出することができる。非定常成分抽出部 2 0 1が入力画像の非定常成分を抽出するので、頂点検出部 2 0 2および単調増減検出部 2 0 3は、入力画像と、非定常成分抽出部 2 0 1で抽出された非定常成分との差分を求めることにより、定常成分を含む差分を対象として処理を実行することができる。

なお、平面による近似の処理において算出される、棄却した場合の標準誤差、棄却しない場合の標準誤差、画素の棄却された回数、平面の空間方向 Xの傾き (式（2 4 ) における aハット）、平面の空間方向 Yの傾き（式（2 4 ) における bハット）、平面で置き換えたときのレベル（式（2 4 ) における cハツト）、および入力画像の画素値と平面で示される近似値との差分は、特徴量として利用することができる。

図 6 9は、ステップ S 2 0 1に対応する非定常成分の抽出の処理に代わる、図 5 8に構成を示す非定常成分抽出部 2 0 1による、定常成分の抽出の処理を説明するフローチヤ一トである。ステップ S 2 4 1乃至ステップ S 2 4 5の処理は、ステップ S 2 2 1乃至ステップ S 2 2 5の処理と同様なので、その説明は省略する。

ステップ S 2 4 6において、繰り返し判定部 2 2 3は、平面で示される近似値と入力画像の画素値との差分を、入力画像の定常成分として出力する。すなわち、繰り返し判定部 2 2 3は、平面による近似値と、真値である画素値との差分を出力する。なお、繰り返し判定部 2 2 3は、平面で示される近似値と入力画像の画素値との差分が、所定の閾値以上である画素の画素値を、入力画像の定常成分として出力するようにしてもよい。

ステップ S 2 4 7の処理は、ステップ S 2 2 7の処理と同様なので、その説明は省略する。

平面が非定常成分を近似しているので、非定常成分抽出部 2 0 1は、入力画像の各画素の画素値から、画素値を近似する平面で示される近似値を引き算することにより、入力画像から非定常成分を除去することができる。この場合、頂点検出部 2 0 2乃至連続性検出部 2 0 4は、入力画像の定常成分、すなわち細線の画像が射影された値のみを処理の対象とすることができ、頂点検出部 2 0 2乃至連続性検出部 2 0 4における処理がより容易になる。

図 7 0は、ステップ S 2 0 1に対応する非定常成分の抽出の処理に代わる、図 5 8に構成を示す非定常成分抽出部 2 0 1による、定常成分の抽出の他の処理を説明するフローチヤ一トである。ステップ S 2 6 1乃至ステップ S 2 6 5の処理は、ステップ S 2 2 1乃至ステップ S 2 2 5の処理と同様なので、その説明は省略する。

ステップ S 2 6 6において、繰り返し判定部 2 2 3は、画素毎の、棄却の回数を記憶し、ステップ S 2 6 2に戻り、処理を繰り返す。

ステップ S 2 6 4において、標準誤差が閾値以上でないと判定された場合、プロックが平面で近似されたので、ステップ S 2 6 7に進み、繰り返し判定部 2 2 3は、入力画像の 1つの画面の全画素について処理を終了したか否かを判定し、まだ処理の対象となってない画素があると判定された場合、ステップ S 2 6 1に戻り、まだ処理の対象となっていない画素についてブロックを抽出して、上述した処理を繰り返す。

ステップ S 2 6 7において、入力画像の 1つの画面の全画素について、処理を終了したと判定された場合、ステップ S 2 6 8に進み、繰り返し判定部 2 2 3は、まだ選択されていない画素から 1つの画素を選択し、選択された画素について、. 棄却の回数が、閾値以上であるか否かを判定する。例えば、繰り返し判定部 2 2 3は、ステップ S 2 6 8において、選択された画素について、棄却の回数が、予め記憶している閾値以上であるか否かを判定する。

ステップ S 2 6 8において、選択された画素について、棄却の回数が、閾値以上であると判定された場合、選択された画素が定常成分を含むので、ステップ S 2 6 9に進み、繰り返し判定部 2 2 3は、選択された画素の画素値（入力画像における画素値）を入力画像の定常成分として出力し、ステップ S 2 7 0に進む。ステップ S 2 6 8において、選択された画素について、棄却の回数が、閾値以上でないと判定された場合、選択された画素が定常成分を含まないので、ステツプ S 2 6 9の処理をスキップして、手続きは、ステップ S 2 7 0に進む。すなわち、棄却の回数が、閾値以上でないと判定された画素は、画素値が出力されない。なお、棄却の回数が、閾値以上でないと判定された画素について、繰り返し判定部 2 2 3は、 0を設定した画素値を出力するようにしてもよい。

ステップ S 2 7 0において、繰り返し判定部 2 2 3は、入力画像の 1つの画面の全画素について、棄却の回数が閾値以上であるか否かの判定の処理を終了したか否かを判定し、全画素について処理を終了していないと判定された場合、まだ処理の対象となってない画素があるので、ステップ S 2 6 8に戻り、まだ処理の対象となっていない画素から 1つの画素を選択して、上述した処理を操り返す。ステップ S 2 7 0において、入力画像の 1つの画面の全画素について処理を終了したと判定された場合、処理は終了する。

このように、非定常成分抽出部 2 0 1は、定常成分情報として、入力画像の画素のうち、定常成分を含む画素の画素値を出力することができる。すなわち、非定常成分抽出部 2 0 1は、入力画像の画素のうち、細線の画像の成分を含む画素の画素値を出力することができる。

図 7 1は、ステップ S 2 0 1に対応する非定常成分の抽出の処理に代わる、図 5 8に構成を示す非定常成分抽出部 2 0 1による、定常成分の抽出のさらに他の処理を説明するフローチヤ一トである。ステップ S 2 8 1乃至ステップ S 2 8 8 の^;理は、ステップ S 2 6 1乃至ステップ S 2 6 8の処理と同様なので、その説明は省略する。

ステップ S 2 8 9において、繰り返し判定部 2 2 3は、平面で示される近似値と、選択された画素の画素値との差分を入力画像の定常成分として出力する。すなわち、繰り返し判定部 2 2 3は、入力画像から非定常成分を除去した画像を定常性情報として出力する。

ステップ S 2 9 0の処理は、ステップ S 2 7 0の処理と同様なので、その説明は省略する。

このように、非定常成分抽出部 2 0 1は、入力画像から非定常成分を除去した画像を定常性情報として出力することができる。

以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、第 1の画像データの複数の画素の画素値の不連続部を検出し、検出された不連続部からデータの定常性を検出し、検出されたデータの定常性を基に、現実世界の光信号の定常性を推定することにより光信号を近似するモデル (関数）を生成し、生成された関数に基づき第 2の画像データを生成するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

図 7 2は、データ定常性検出部 1 0 1の他の構成を示すプロック図である。図 4 1に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。

図 7 2で構成が示されるデータ定常性検出部 1 0 1において、連続性検出部 2 0 4により検出された単調増減領域の中の、第 1の単調増減領域に配される複数の第 1の画素の画素値の変化と、第 1の単調増減領域に隣接する第 2の単調増減領域に配される、複数の第 1の画素に隣接する複数の第 2の画素の画素値の変化とに基づいて、定常領域の連続性の方向が検出される。

図 7 2で構成が示されるデータ定常性検出部 1 0 1において、入力画像は、非定常成分抽出部 2 0 1およびデータ定常性方向検出部 3 0 1に供給される。頂点検出部 2 0 2は、検出された頂点を示す頂点情報を単調増減検出部 2 0 3 およびデータ定常性方向検出部 3 0 1に供給する。

連続性検出部 2 0 4は、頂点情報、および連続している領域（細線領域（単調増減領域））を示すデータ定常性情報をデータ定常性方向検出部 3 0 1に供給する。

データ定常性方向検出部 3 0 1は、入力画像、頂点検出部 2 0 2から供給された頂点を示す頂点情報、および連続性検出部 2 0 4により検出された連続している領域に属する画素値を基に、データの定常性を有する定常領域の連続する方向である、定常領域の連続性の方向を検出する。データ定常性方向検出部 3 0 1は、頂点情報、検出された連続している領域、および定常領域の連続性の方向を示すデータ定常性情報を出力する。

図 7 3は、データ定常性方向検出部 3 0 1の構成を示すブロック図である。すなわち、データ定常性方向検出部 3 0 1は、画素値変化検出部 3 2 1および方向検出部 3 2 2を含む。

画素値変化検出部 3 2 1は、入力画像、頂点検出部 2 0 2から供給された頂点を示す頂点情報、および連続性検出部 2 0 4により検出された連続している領域 (細線領域（単調増減領域））に属する画素値を基に、領域における画素値の変化を検出し、画素値の変化を示す情報を方向検出部 3 2 2に供給する。

より具体的には、画素値変化検出部 3 2 1は、連続性検出部 2 0 4によって検出された連続している領域毎に、頂点の画素値と、領域に属する各画素の画素値との差分を計算する。また、画素値変化検出部 3 2 1は、領域に属する画素であつて、領域と隣接している他の領域の頂点と隣接している画素の画素値と、領域に属する各画素の画素値との差分を計算する。画素値変化検出部 3 2 1は、領域に属する各画素に対応して、頂点の画素値との差分、および領域と隣接している他の領域の頂点と隣接している画素の画素値と、領域に属する各画素の画素値との差分を示す情報を方向検出部 3 2 2に供給する。

方向検出部 3 2 2は、画素値変化検出部 3 2 1から供給された、画素値の変化を示す情報を基に、データの定常性を有する定常領域の連続する方向である、定常領域の連続性の方向を検出する。

より具体的には、方向検出部 3 2 2は、領域に属する頂点の画素値と領域に属する画素の画素値との差分で示される頂点からの減分が、領域と隣接している他の領域における、頂点と隣接している画素の画素値と、領域に属する画素と隣接する画素の画素値との差分で示される増分と一致するとき、領域と隣接する領域とから定まる方向を、定常領域の連続性の方向として検出する。

図 7 4は、細かい繰り返し模様をイメージセンサであるセンサ 2で撮像したとき現れるビー 1、状の画像、いわゆるモアレが含まれている入力画像の例を示す図である。

モアレを含む画像においては、図 7 5に示すように、単に、細線領域に隣接する画素が含まれているか否かによって連続性を検出した場合、正しい細線の方向

(定常領域の連続性の方向） Aと共に、間違った細線の方向 Bが検出されてしま

5。

そこで、本発明においては、細線の画像が射影されたデータ 3の性質を利用して、データ 3における定常領域の連続性の正しい方向を求める。

図 7 6は、細線の画像が射影されたデータ 3の画素を示す図である。図 7 6において、横方向は、空間方向 Xを示し、縦方向は、空間方向 Yを示す。図 7 6において、 2本の点線の間の領域は、 1本の細線の画像が射影された領域を示す。図 7 6において、 Pは、頂点を示す。

図 7 7は、図 7 6の細線の画像が射影されたデータ 3における、 3列の画素の画素値を示す図である。

図 7 7において、図の上方向は、画素値を示し、図の右上方向は、空間方向 Y を示し、図の右下方向は、空間方向 Xを示す。図 7 7において、 Pは、頂点を示す。

図 7 7に示すように、細線の画像が射影されたデータ 3の画素の画素値で表される波形は、模式的に円弧状になる。細線の画像は、部位にかかわらず、ほぼ同等の径を有し、同じレベルを有するので、一定の長さの細線の画像を射影することにより得られた画素値の総和は、常に一定になる。換言すれば、一定の長さの細線の画像が複数の画素の画素値に射影されているとき、複数の画素の画素値のうち、一定の長さの細線の画像が射影された値は、一定になる。

すなわち、細線領域に属する画素において、頂点 Pに比較して、画素値が減少しているとき、減少した画素値に対応する細線の画像は、他の細線領域の他の画素に射影されている。

図 7 2で構成が示されるデータ定常性検出部 1 0 1は、一定の長さの細線の画像が射影された画素値の総和が、常に一定になる性質を利用して、細線の方向に対応する、定常領域の連続性の正しい方向を求める。すなわち、図 7 2で構成が示されるデータ定常性検出部 1 0 1は、細線領域に属する画素において、画素値が減少しているとき、細線の正しい方向に対応する位置の細線領域の画素の画素値が、減少分に対応して増加することを利用して、細線の方向に対応する、定常領域の連続性の正しい方向を求める。

図 7 8に示すように、頂点 Pの画素に隣接する画素であって、頂点 Pと同じ細線領域に属する画素の画素値が、頂点 Pの画素値に比較して、減少しているとき、減少した画素値は、画素 _eiに隣接する画素であって、頂点 Pの属する細線領域に隣接する細線領域に属する画素 e₂に分配されたと考えられる。

すなわち、図 7 9に示すように、頂点 Pの画素値から画素 _eiの画素値への減少分 Aの絶対値は、頂点 Pの属する細線領域に隣接する細線領域に属し、頂点 P に隣接する画素から、画素に隣接する画素 e₂への増加分 Bの絶対値に等しい。

さらに、図 8 0に示すように、頂点 Pと同じ細線領域に属し、画素 _eiにさらに隣接する画素 e₄の画素値が、頂点 P の画素値に比較して、減少しているとき、減少した画素値は、画素 e₄に隣接する画素であって、頂点 Pの属する細線領域に隣接する細線領域に属する画素 e₅に分配されたと考えられる。図 8 1に示すように、頂点 Pの画素値から画素 e₄の画素値への減少分 Cの絶対値は、頂点 Pの属する細線領域に隣接する細線領域に属し、頂点 Pに隣接する画素 e₃から、画素 e₄に隣接する画素 e₅への増加分 Dの絶対値に等しい。

データ定常性方向検出部 3 0 1は、 1つの細線領城に 2つ以上の細線領域が連続しているとき、細線領域の画素値の変化に対応して、画素値が変化する画素値を含む細線領域を定常性方向として検出する。すなわち、データ定常性方向検出部 3 0 1は、 1つの細線領域に 2つ以上の細線領域が連続しているとき、細線領域の画素値の増加に対応して、画素値が減少する画素値を含む細線領域を定常性方向として検出するか、細線領域の画素値の減少に対応して、画素値が増加する画素値を含む細線領域を定常領域の連続性の方向として検出する。

図 8 2乃至図 8 4は、処理の結果の例を示す図である。

図 8 2は、入力された画像の例を示す図である。図 8 2において、図中の右上がりに細線の画像が含まれている。

定常性の方向の検出の処理を実行しないで、誤った方向を採用して画像を処理した場合、図 8 3に示すように、細線の画像は、消失してしまう。図 8 3に示す場合において、図中の左上がりに細線の画像が含まれていると判断されたものである。

これに対して、図 8 4に示すように、定常性の方向の検出の処理を実行した場合、正しい定常性の方向が検出され、細線の画像が生成されている。

次に、図 8 5のフローチャートを参照して、図 7 2で構成が示されるデータ定常性検出部 1 0 1による、データの定常性の検出の処理を説明する。

ステップ S 3 0 1乃至ステップ S 3 0 5の処理は、それぞれ、図 5 6のステツプ S 2 0 1乃至ステップ S 2 0 5の処理と同様なので、その説明は省略する。ステップ S 3 0 6において、データ定常性方向検出部 3 0 1は、データの定常性の方向の検出の処理を実行する。データの定常性の方向の検出の処理の詳細は、後述する。

ステップ S 3 0 7の処理は、図 5 6のステップ S 2 0 6の処理と同様なので、その説明は省略する。

次に、ステップ S 3 0 6の処理に対応する、データの定常性の方向の検出の処理を図 8 6のフローチャートを参照して説明する。

ステップ S 3 3 1において、データ定常性方向検出部 3 0 1の画素値変化検出部 3 2 1は、連続性検出部 2 0 4から供給されたデータ定常性情報を基に、頂点 Pが属する細線領域である単調増減領域に連続している単調増減領域が 2つ以上あるか否かを判定し、頂点 Pが属する単調増減領域に連続している単調増減領域が 2つ以上あると判定された場合、正しい定常性方向を検出する必要があるので、ステップ S 3 3 2に進み、画素値変化検出部 3 2 1は、単調増減領域の画素値を取得する。

ステップ S 3 3 3において、画素値変化検出部 3 2 1は、頂点 Pが属する単調増減領域の画素の画素値の変化分を計算する。画素値変化検出部 3 2 1は、計算された、頂点 Pが属する細単調増減領域の画素の画素値の変化分を方向検出部 3 2 2に供給する。例えば、画素値変化検出部 3 2 1は、頂点 Pが属する細単調増減領域の画素について、頂点 Pの画素値を基準として、画素値の減少分を計算する。

ステップ S 3 3 4において、画素値変化検出部 3 2 1は、頂点 Pが属する細単調増減領域に隣接する単調増減領域の画素の画素値の変化分を計算する。画素値変化検出部 3 2 1は、計算された、頂点 Pが属する細単調増減領域に隣接する単調増減領域の画素の画素値の変化分を方向検出部 3 2 2に供給する。例えば、画素値変化検出部 3 2 1は、頂点 Pが属する細単調増減領域に隣接する単調増減領域の画素について、隣接する単調増減領域に属する画素であって、頂点 P に隣接する画素の画素値を基準として、画素値の増加分を計算する。

ステップ S 3 3 5において、方向検出部 3 2 2は、頂点 Pが属する細単調増減領域の画素の画素値の変化分の絶対値と、頂点 Pが属する細単調増減領域に隣接する単調増減領域の画素の画素値の変化分の絶対値とを比較する。例えば、方向検出部 3 2 2は、頂点 Pが属する細単調増減領域の画素についての、頂点 P の画素値を基準とした画素値の減少分の絶対値と、頂点 Pが属する細単調増減領域に隣接する単調増減領域の画素についての、隣接する単調増減領域に属する画素であって、頂点 Pに隣接する画素の画素値を基準とした画素値の増加分の絶対値とを比較する。

ステップ S 3 3 6において、方向検出部 3 2 2は、ステップ S 3 3 5の処理で比較された絶対値の差が小さい隣接する単調増減領域と、頂点 Pが属する細単調増減領域とから決まる方向を、データの定常性の方向とし、処理は終了する。方向検出部 3 2 2は、データの定常性を有する領域を示す情報、およびデータの定常性の方向を示す情報を含むデータ定常性情報を出力する。

例えば、方向検出部 3 2 2は、頂点 Pを始点とし、絶対値の差が小さい隣接する単調増減領域の頂点を終点とするベタトルを定常方向を示すベタトルに設定する。

ステップ S 3 3 1において、頂点 Pが属する細線領域に連続している細線領域が 2つ以上ないと判定された場合、正しいデータの定常性の方向を検出する必要がないので、ステップ S 3 3 2乃至ステップ S 3 3 6の処理はスキップされ、処理は終了する。

このように、図 7 2で構成が示されるデータ定常性検出部 1 0 1は、データの定常性を有する領域を検出すると共に、データの定常性の方向を検出することができる。

なお、入力画像に平面がフィッティングされたとき、入力画像の画素の画素値から、フィッティングされた平面で近似される近似値を引き算した値（差分値）を基に、データの定常性の方向を検出することもできる。

図 8 7は、フィッティングされた平面で近似される近似値を入力画像の画素の画素値から引き算した差分値を基に、データの定常性の方向を検出するデータ定常性検出部 1 0 1の構成を示すプロック図である。

図 8 7で構成が示されるデータ定常性検出部 1 0 1において、データ定常性方向検出部 3 0 1は、フィッティングされた平面で近似される近似値を入力画像の画素の画素値から引き算した差分値から、単調増減領域の画素値の変化を検出する。データ定常性方向検出部 3 0 1は、差分値から検出された、単調増減領域の画素値の変化を基に、定常領域の連続性の方向を検出する。

このように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の複数の画素の画素値の不連続部を検出し、不連続部から画素値の変化の頂点を検出し、頂点から単調に画素値が増加または減少している単調増減領域を検出し、検出された単調増減領域の中の、他の単調増減領域が画面上の隣接する位置に存在する単調増減領域を、画像データの定常性を有する定常領域として検出し、定常領域の連続性の方向を検出するようにした場合、定常領域の連続性の正しい方向を検出することができるようになる。

また、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の複数の画素の画素値の不連続部を検出し、不連続部から画素値の変化の頂点を検出し、頂点から単調に画素値が増加または減少している単調増減領域を検出し、検出された単調増減領域の中の、他の単調増減領域が画面上の隣接する位置に存在する単調増減領域を、画像データの定常性を有する定常領域として検出し、検出された単調増減領域の中の、第 1の単調増減領域に配される複数の第 1の画素の画素値の変化と、第 1の単調増減領域に隣接する第 2の単調増減領域に配される、複数の第 1の画素に隣接する複数の第 2の画素の画素値の変化とに基づいて、定常領域の連続性の方向を検出するようにした場合、定常領域の連続性の正しい方向を検出することができるようになる。

次に、実世界 1の信号の推定について説明する。

図 8 8は、実世界推定部 1 0 2の構成を示すプロック図である。

図 8 8に構成を示す実世界推定部 1 0 2においては、入力画像、および定常性検出部 1 0 1から供給されたデータ定常性情報を基に、実世界 1の信号である画像における、細線の幅が検出され、細線のレベル（実世界 1の信号の光の強度）が推定される。

線幅検出部 2 1 0 1は、定常性検出部 1 0 1から供給された、細線の画像が射影された画素からなる、細線領域である定常領域を示すデータ定常性情報を基に、細線の幅を検出する。線幅検出部 2 1 0 1は、データ定常性情報と共に、検出された細線の幅を示す細線幅情報を信号レベル推定部 2 1 0 2に供給する。

信号レベル推定部 2 1 0 2は、入力画像、線幅検出部 2 1 0 1から供給された細線の幅を示す細線幅情報、およびデータ定常性情報を基に、実世界 1の信号である、細線の画像のレベル、すなわち光の強度のレベルを推定し、細線の幅およぴ細線の画像のレベルを示す実世界推定情報を出力する。

図 8 9および図 9 0は、実世界 1の信号における、細線の幅を検出する処理を説明する図である。

図 8 9および図 9 0において、太線で囲む領域（4つの四角からなる領域）は、 1つの画素を示し、点線で囲む領域は、細線の画像が射影された画素からなる、細線領域を示し、丸は、細線領域の重心を示す。図 8 9および図 9 0において、斜線は、センサ 2に入射された細線の画像を示す。斜線は、センサ 2に、実世界 1の細線の画像が射影された領域を示しているとも言える。

図 8 9および図 9 0において、 Sは、細線領域の重心の位置から算出される傾きを示し、 Dは、細線領域の重複である。ここで、傾き Sは、細線領域が隣接しているので、画素を単位とした、重心と重心との距離である。また、細線領域の重複 Dとは、 2つの細線領域において、隣接している画素の数である。

図 8 9および図 9 0において、 Wは、細線の幅を示す。

図 8 9において、傾き Sは、 2であり、重複 Dは、 2である。

図 9 0において、傾き Sは、 3であり、重複 Dは、 1である。

細線領域が隣接し、細線領域が隣接する方向の重心と重心の距離は、 1画素であるので、 W : D=1 : Sが成立し、細線の幅 Wは、重複 D/傾き Sで求めることができる。

例えば、図 8 9で示されるように、傾き Sは、 2であり、重複 Dは、 2であるとき、 2/2は、 1であるから、細線の幅 Wは、 1である。また、例えば、図 9 0で示されるように、傾き Sは、 3であり、重複 Dは、 1であるとき、細線の幅 Wは、 1/3である。

線幅検出部 2 1 0 1は、このように、細線領域の重心の位置から算出される傾き、およぴ細線領域の重複から、細線の幅を検出する。

図 9 1は、実世界 1の信号における、細線の信号のレベルを推定する処理を説明する図である。

図 9 1において、太線で囲む領域（4つの四角からなる領域）は、 1つの画素を示し、点線で囲む領域は、細線の画像が射影された画素からなる、細線領域を示す。図 9 1において、 Eは、細線領域の画素を単位とした、細線領域の長さを示し、 Dは、細線領域の重複 (他の細線領域に隣接している画素の数) である。細線の信号のレベルは、処理単位（細線領域）内で一定であると近似し、細線が射影された画素の画素値に射影された、細線以外の画像のレベルは、隣接している画素の画素値に対するレベルに等しいと近似する。

細線の信号のレベルを cとしたとき、細線領域に射影された信号（画像）における、図中の、細線の信号が射影された部分の左側の部分のレベルを A とし、図中の、細線の信号が射影された部分の右側の部分のレベルを Bとする。

このとき、式（2 7) が成立する。

細線領域の画素値の総和 = (E-D) /2*A+(E- D)/2*B+D*C ■ · · (2 7) 細線の幅が一定であり、細線領域の幅は、 1画素なので、細線領域の細線（の信号が射影された部分）の面積は、細線領域の重複 Dに等しい。細線領域の幅は、 1画素なので、細線領域の画素を単位とした、細線領域の面積は、細線領域の長さ Eに等しい。

細/锒領域のうち、細線の左側の面積は、（E- D)/2である。細線領域のうち、細線の右側の面積は、（E- D)/2である。

式（2 7) の右辺の第 1項は、左側に隣接している画素に射影された信号のレベルと同じレベルの信号が射影された画素値の部分であり、式 (2 8) で表すことができる。

A =∑ aj Aj =∑V(E-D)x (i+0.5) Aj • · · (2 8)

式（2 8) において、 Ai は、左側に隣接している画素の画素値を示す。

式（2 8) において、ひ i は、左側に隣接している画素に射影された信号のレベルと同じレベルの信号が、細線領域の画素に射影される面積の割合を示す。すなわち、 a, は、細線領域の画素の画素値に含まれている、左側に隣接している画素の画素値と同じ画素値の割合を示す。

iは、細線領域の左側に隣接している画素の位置を示す。

例えば、図 9 1において、細線領域の画素の画素値に含まれている、細線領域の左側に隣接している画素の画素値 A。と同じ画素値の割合は、 α。である。図 9 1において、細線領域の画素の画素値に含まれている、細線領域の左側に隣接している画素の画素値 A_t と同じ画素値の割合は、 _αι である。図 9 1において、細線領域の画素の画素値に含まれている、細線領域の左側に隣接している画素の画素値 Α₂ と同じ画素値の割合は、 ο;₂である。

式（2 7) の右辺の第 2項は、右側に隣接している画素に射影された信号のレベルと同じレベルの信号が射影された画素値の部分であり、式（2 9) で表すことができる。

• · · (2 9)

式（2 9) において、 Bj は、右側に隣接している画素の画素値を示す。

式（2 9) において、 . は、右側に隣接している画素に射影された信号のレベルと同じレベルの信号が、細線領域の画素に射影される面積の割合を示す。すなわち、」は、細線領域の画素の画素値に含まれている、右側に隣接している画素の画素値と同じ画素値の割合を示す。

jは、細線領域の右側に隣接している画素の位置を示す。

例えば、図 9 1において、細線領域の画素の画素値に含まれている、細線領域の右側に隣接している画素の画素値 B。と同じ画素値の割合は、。である。図 9 1において、細線領域の画素の画素値に含まれている、細線領域の右側に隣接している画素の画素値と同じ画素値の割合は、 8 i である。図 9 1において、細線領域の画素の画素値に含まれている、細線領域の右側に隣接している画素の画素値 B₂ と同じ画素値の割合は、 ]3 ₂である。

このように、信号レベル推定部 2 1 0 2は、式 ( 2 3 ) および式 ( 2 9 ) を基に、細線領域に含まれる画素値のうちの、細線以外の画像の画素値を算出し、式 ( 2 7 ) を基に、細線領域の画素値から細線以外の画像の画素値を除去することにより、細線領域に含まれる画素値のうちの、細線のみの画像の画素値を求める。そして、信号レベル推定部 2 1 0 2は、細線のみの画像の画素値と細線の面積とから、細線の信号のレベルを求める。より具体的には、信号レベル推定部 2 1 0 2は、細線領域に含まれる画素値のうちの、細線のみの画像の画素値を、細線領域の細線の面積、すなわち細線領域の重複！）で割り算することにより、細線の信号のレベルを算出する。

信号レベル推定部 2 1 0 2は、実世界 1の信号における、細線の幅、およぴ細線の信号のレベルを示す実世界推定情報を出力する。

本発明の手法では、細線の波形を画素ではなく幾何学的に記述しているので、どのような解像度でも使用することができる。

次に、ステップ S 1 0 2の処理に対応する、実世界の推定の処理を図 9 2のフローチャートを参照して説明する。ステップ S 2 1 0 1において、線幅検出部 2 1 0 1は、データ定常性情報を基に、細線の幅を検出する。例えば、線幅検出部 2 1 0 1は、細線領域の重心の位置から算出される傾き、および細線領域の重複から、重複を傾きで割り算することにより、実世界 1の信号における、細線の幅を推定する。

ステップ S 2 1 0 2において、信号レベル推定部 2 1 0 2は、細線の幅、および細線領域に隣接する画素の画素値を基に、細線の信号のレベルを推定し、推定された細線の幅および細線の信号のレベルを示す実世界推定情報を出力して、処理は終了する。例えば、信号レベル推定部 2 1 0 2は、細線領域に含まれる細線以外の画像が射影された画素値を算出し、細線領域から細線以外の画像が射影された画素値を除去することにより、細線のみの画像が射影された画素値を求めて、求められた細線のみの画像が射影された画素値と細線の面積とから、細線の信号のレベルを算出することにより、実世界 1の信号における、細線のレベルを推定する。

このように、実世界推定部 1 0 2は、実世界 1の信号の細線の幅およぴレベルを推定することができる。

以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した第 1の画像データの、データの定常性を検出し、データの定常性に対応する現実世界の光信号の波形を表すモデルに基いて、第 1の画像データの定常性から現実世界の光信号の波形を推定し、推定された光信号を第 2の画像データに変換するようにした場合、現実世界の光信号に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

図 9 3は、実世界推定部 1 0 2の他の構成を示すプロック図である。

図 9 3に構成を示す実世界推定部 1 0 2においては、入力画像、およびデータ定常性検出部 1 0 1から供給されたデータ定常性情報を基に、領域が再度検出され、再度検出された領域を基に、実世界 1の信号である画像における、細線の幅が検出され、実世界 1の信号の光の強度（レベル）が推定される。例えば、図 9 3に構成を示す実世界推定部 1 0 2においては、細線の画像が射影された画素からなる定常性領域が再度検出され、再度検出された領域を基に、実世界 1の信号である画像における、細線の幅が検出され、実世界 1の信号の光の強度が推定される。

データ定常性検出部 1 0 1から供給され、図 9 3に構成を示す実世界推定部 1 0 2に入力されるデータ定常性情報には、データ 3である入力画像のうちの、細線の画像が射影された定常成分以外の非定常成分を示す非定常成分情報、定常領域の中の単調増減領域を示す単調増減領域情報、および定常領域を示す情報などが含まれている。例えば、データ定常性情報に含まれる非定常成分情報は、入力画像における背景などの非定常成分を近似する平面の傾きおよび切片からなる。 „〜™

PCT/JP2004/001585

89

実世界推定部 1 0 2に入力されたデータ定常性情報は、境界検出部 2 1 2 1に供給される。実世界推定部 1 0 2に入力された入力画像は、境界検出部 2 1 2 1 および信号レベル推定部 2 1 0 2に供給される。

境界検出部 2 1 2 1は、データ定常性情報に含まれる非定常成分情報、および入力画像から、細線の画像が射影された定常成分のみからなる画像を生成し、定常成分のみからなる画像を基に、画素に射影された、実世界 1の信号である細線の画像が射影された割合を示す分配比を算出し、算出された分配比から細線領域の境界を示す回帰直線を算出することにより、定常領域である細線領域を再ぴ検出する。

図 9 4は、境界検出部 2 1 2 1の構成を示すブロック図である。

分配比算出部 2 1 3 1は、データ定常性情報、データ定常性情報に含まれる非定常成分情報、および入力画像から、細線の画像が射影された定常成分のみからなる画像を生成する。より具体的には、分配比算出部 2 1 3 1は、データ定常性情報に含まれる単調増減領域情報を基に、入力画像から、定常領域の中の隣り合う単調増減領域を検出し、検出された単調増減領域に属する画素の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、細線の画像が射影された定常成分のみからなる画像を生成する。

なお、分配比算出部 2 1 3 1は、入力画像の画素の画素値から、定常成分情報に含まれる傾きおょぴ切片で示される平面で近似される近似値を引き算することにより、細線の画像が射影された定常成分のみからなる画像を生成するようにしてもよい。

分配比算出部 2 1 3 1は、生成された定常成分のみからなる画像を基に、実世界 1の信号である細線の画像が、定常領域の中の隣り合う単調増減領域に属する 2つの画素に分配された割合を示す分配比を算出する。分配比算出部 2 1 3 1は、算出した分配比を回帰直線算出部 2 1 3 2に供給する。

図 9 5乃至図 9 7を参照して、分配比算出部 2 1 3 1における、分配比の算出の処理を説明する。

図 9 5の左側の 2列の数値は、入力画像の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、算出された画像のうち、縦に 2列の画素の画素値を示す。図 9 5の左側の四角で囲む 2つの領域は、隣り合う 2つの単調増減領域である、単調増減領域 2 1 4 1 一 1および単調増減領域 2 1 4 1— 2を示す。すなわち、単調増減領域 2 1 4 1 - 1および単調増減領域 2 1 4 1— 2に示す数値は、データ定常性検出部 1 0 1 において検出された定常性領域である単調増減領域に属する画素の画素値を示す。図 9 5の右側の 1列の数値は、図 9 5の左側の 2列の画素の画素値のうち、横に並ぶ画素の画素値を加算した値を示す。すなわち、図 9 5の右側の 1列の数値は、縦に 1列の画素からなる単調増減領域であって、 2つの隣接するものについて、横に隣接する画素毎に、細線の画像が射影された画素値を加算した値を示す。例えば、それぞれ、縦に 1列の画素からなり、隣接する単調増減領域 2 1 4 1 一 1および単調増減領域 2 1 4 1一 2のいずれかに属し、横に隣接する画素の画素値が、 2および 5 8であるとき、加算した値は、 6 0である。それぞれ、縦に 1列の画素からなり、隣接する単調増減領域 2 1 4 1一 1および単調増減領域 2 1 4 1一 2のいずれかに属し、横に隣接する画素の画素値が、 1および 6 5であるとき、加算した値は、 6 6である。

図 9 5のお側の 1列の数値、すなわち、縦に 1列の画素からなり、 2つの隣接する単調増減領域の横方向に隣接する画素について、細線の画像が射影された画素値を加算した値は、ほぼ一定となることがわかる。

同様に、横に 1列の画素からなり、 2つの隣接する単調増減領域の縦方向に隣接する画素について、細線の画像が射影された画素値を加算した値は、ほぼ一定となる。

分配比算出部 2 1 3 1は、 2つの隣接する単調増減領域の隣接する画素について、細線の画像が射影された画素値を加算した値が、ほぼ一定となる性質を利用して、細線の画像が 1列の画素の画素値にどのように分配されているかを算出する。

分配比算出部 2 1 3 1は、図 9 6に示すように、縦に 1列の画素からなる単調増減領域であって、 2つの隣接するものに属する画素の画素値を、横に隣接する画素毎に、細線の画像が射影された画素値を加算した値で割り算することにより、 2つの隣接する単調増減領域に属する各画素について、分配比を算出する。ただし、算出された結果、 1 0 0を超える分配比には、 1 0 0が設定される。

例えば、図 9 6に示すように、縦に 1列の画素からなる単調増減領域であって、 2つの隣接するものに属する、横に隣接する画素の画素値が、それぞれ²および 5 8であるとき、加算した値が 6 0なので、それぞれの画素に対して、 3 . 5おょぴ 9 6 . 5である分配比が算出される。縦に 1列の画素からなる単調増減領域であって、 2つの隣接するものに属する、横に隣接する画素の画素値が、それぞれ 1および 6 5であるとき、加算した値が 6 5なので、それぞれの画素に対して、 1 . 5および 9 8 . 5である分配比が算出される。

この場合において、 3つの単調増減領域が隣接する場合、どちらの列から計算するかは、図 9 7で示されるように、横に隣接する画素毎に、細線の画像が射影された画素値を加算した、 2つの値のうち、頂点 Pの画素値により近い値を基に、分配比が算出される。

例えば、頂点 Pの画素値が 8 1であり、注目している単調増減領域に属する画素の画素値が 7 9であるとき、左側に隣接する画素の画素値が 3であり、右側に隣接する画素の画素値が一 1である場合、左側に隣接する画素の画素値を加算した値が、 8 2であり、右側に隣接する画素の画素値を加算した値が、 7 8なので、頂点 Pの画素値 8 1により近い、 8 2が選択され、左側に隣接する画素を基に、分配比が算出される。同様に、頂点 Pの画素値が 8 1であり、注目している単調増減領域に属する画素の画素値が 7 5であるとき、左側に隣接する画素の画素値が 0であり、右側に隣接する画素の画素値が 3である場合、左側に隣接する画素の画素値を加算した値が、 7 5であり、右側に隣接する画素の画素値を加算した値が、 7 8なので、頂点 Pの画素値 8 1により近い、 7 8が選択され、右側に隣接する画素を基に、分配比が算出される。

このように、分配比算出部 2 1 3 1は、縦に 1列の画素からなる単調増減領域について、分配比を算出する。

分配比算出部 2 1 3 1は、同様の処理で、横に 1列の画素からなる単調増減領域について、分配比を算出する。

回帰直線算出部 2 1 3 2は、単調増減領域の境界が直線であると仮定して、分配比算出部 2 1 3 1において算出された分配比を基に、単調增減領域の境界を示す回帰直線を算出することにより、定常領域の中の単調増減領域を再び検出する。図 9 8および図 9 9を参照して、回帰直線算出部 2 1 3 2における、単調増減領域の境界を示す回帰直線の算出の処理を説明する。

図 9 8において、白丸は、単調増減領域 2 1 4 1— 1乃至単調増減領域 2 1 4

1一 5の上側の境界に位置する画素を示す。回帰直線算出部 2 1 3 2は、回帰の処理により、単調増減領域 2 1 4 1— 1乃至単調増減領域 2 1 4 1— 5の上側の境界について回帰直線を算出する。例えば、回帰直線算出部 2 1 3 2は、単調増減領域 2 1 4 1一 1乃至単調増減領域 2 1 4 1一 5の上側の境界に位置する画素との距離の自乗の和が最小となる直線 Aを算出する。

また、図 9 8において、黒丸は、単調増減領域 2 1 4 1 - 1乃至単調増減領域

2 1 4 1— 5の下側の境界に位置する画素を示す。回帰直線算出部 2 1 3 2は、回帰の処理により、単調増減領域 2 1 4 1— 1乃至単調増減領域 2 1 4 1— 5の下側の境界について回帰直線を算出する。例えば、回帰直線算出部 2 1 3 2は、単調増減領域 2 1 4 1— 1乃至単調増減領域 2 1 4 1— 5の下側の境界に位置する画素との距離の自乗の和が最小となる直線 Bを算出する。

回帰直線算出部 2 1 3 2は、算出された回帰直線を基に、単調増減領域の境界を決定することにより、定常領域の中の単調増減領域を再び検出する。

図 9 9に示すように、回帰直線算出部 2 1 3 2は、算出された直線 Aを基に、単調増減領域 2 1 4 1— 1乃至単調増減領域 2 1 4 1— 5の上側の境界を決定する。例えば、回帰直線算出部 2 1 3 2は、単調増減領域 2 1 4 1— 1乃至単調増減領域 2 1 4 1 - 5のそれぞれについて、算出された直線 Aに最も近い画素から上側の境界を決定する。例えば、回帰直線算出部 2 1 3 2は、単調増減領域 2 1 4 1一 1乃至単調増減領域 2 1 4 1一 5のそれぞれについて、算出された直線 A に最も近い画素が領域に含まれるように上側の境界を決定する。

図 9 9に示すように、回帰直線算出部 2 1 3 2は、算出された直線 Bを基に、単調増減領域 2 1 4 1— 1乃至単調増減領域 2 1 4 1— 5の下側の境界を決定する。例えば、回帰直線算出部 2 1 3 2は、単調増減領域 2 1 4 1一 1乃至単調増減領域 2 1 4 1— 5のそれぞれについて、算出された直線 Bに最も近い画素から下側の境界を決定する。例えば、回帰直線算出部 2 1 3 2は、単調増減領域 2 1 4 1 _ 1乃至単調増減領域 2 1 4 1— 5のそれぞれについて、算出された直線 B に最も近い画素が領域に含まれるように上側の境界を決定する。

このように、回帰直線算出部 2 1 3 2は、データ定常性検出部 1 0 1により検出された定常領域の境界を回帰する回帰線に基づいて、頂点から単調に画素値が増加または減少している領域を再び検出する。すなわち、回帰直線算出部 2 1 3 2は、算出された回帰直線を基に、単調増減領域の境界を決定することにより、定常領域の中の単調増減領域である領域を再び検出し、検出した領域を示す領域情報を線幅検出部 2 1 0 1に供給する。

以上のように、境界検出部 2 1 2 1は、画素に射影された、実世界 1の信号である細線の画像が射影された割合を示す分配比を算出し、算出された分配比から単調増減領域の境界を示す回帰直線を算出することにより、定常領域の中の単調増減領域を再び検出する。このようにすることで、より正確な単調増減領域を検出することができる。

図 9 3に示す線幅検出部 2 1 0 1は、境界検出部 2 1 2 1から供給された、再度検出された領域を示す領域情報を基に、図 8 8に示す場合と同様の処理で、細線の幅を検出する。線幅検出部 2 1 0 1は、データ定常性情報と共に、検出された細線の幅を示す細線幅情報を信号レベル推定部 2 1 0 2に供給する。

図 9 3に示す信号レベル推定部 2 1 0 2の処理は、図 8 8に示す場合と同様の処理なので、その説明は省略する。

図 1 0 0は、ステップ S 1 0 2の処理に対応する、図 9 3に構成を示す実世界推定部 1 0 2による、実世界の推定の処理を説明するフローチヤ一トである。ステップ S 2 1 2 1において、境界検出部 2 1 2 1は、データ定常性検出部 1 0 1により検出された定常領域に属する画素の画素値に基づいて、再ぴ領域を検出する、境界検出の処理を実行する。境界検出の処理の詳細は、後述する。

ステップ S 2 1 2 2およびステップ S 2 1 2 3の処理は、ステップ S 2 1 0 1 およびステップ S 2 1 0 2の処理と同様なので、その説明は省略する。

図 1 0 1は、ステップ S 2 1 2 1の処理に対応する、境界検出の処理を説明するフローチャートである。

ステップ S 2 1 3 1において、分配比算出部 2 1 3 1は、単調増減領域を示すデータ定常性情報および入力画像を基に、細線の画像が射影された割合を示す分配比を算出する。例えば、分配比算出部 2 1 3 1は、データ定常性情報に含まれる単調増減領域情報を基に、入力画像から、定常領域の中の隣り合う単調増減領域を検出し、検出された単調増減領域に属する画素の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、細線の画像が射影された定常成分のみからなる画像を生成する。そして、分配比算出部 2 1 3 1は、 1列の画素からなる単調増減領域であって、 2つの隣接するものに属する画素の画素値を、隣接する画素の画素値の和で割り算することにより、 2つの隣接する単調増減領域に属する各画素について、分配比を算出する。

分配比算出部 2 1 3 1は、算出された分配比を 0帰直線算出部 2 1 3 2に供給する。

ステップ S 2 1 3 2において、回帰直線算出部 2 1 3 2は、細線の画像が射影された割合を示す分配比を基に、単調増減領域の境界を示す回帰直線を算出することにより、定常領域の中の領域を再び検出する。例えば、回帰直線算出部 2 1 3 2は、単調増減領域の境界が直線であると仮定して、単調増減領域の一端の境界を示す回帰直線を算出し、単調增減領域の他の一端の境界を示す回帰直線を算出することにより、定常領域の中の単調増減領域を再び検出する。

回帰直線算出部 2 1 3 2は、再び検出された、定常領域の中の領域を示す領域情報を線幅検出部 2 1 0 1に供給して、処理は終了する。

このように、図 9 3に構成を示す実世界推定部 1 0 2は、細線の画像が射影された画素からなる領域を再度検出し、再度検出された領域を基に、実世界 1の信号である画像における、細線の幅を検出し、実世界 1の信号の光の強度（レべル）を推定する。このようにすることで、実世界 1の信号に対して、より正確に、細線の幅を検出し、より正確に、光の強度を推定することができる。

以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した第 1の画像データにおける、複数の画素の画素値の不連続部を検出し、検出された不連続部から、データの定常性を有する定常領域を検出し、検出された定常領域に属する画素の画素値に基づいて、再び領域を検出し、再び検出された領域に基づいて実世界を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

次に、図 1 0 2を参照して、定常性を有する領域における、画素毎の空間方向の近似関数の微分値を実世界推定情報として出力する実世界推定部 1 0 2について説明する。

参照画素抽出部 2 2 0 1は、データ定常性検出部 1 0 1より入力されるデータ定常性情報（定常性の角度、または、領域の情報）に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像の画素の画素値を近似する近似関数を求めるために必要な参照画素の情報（演算に必要な注目画素周辺の複数の画素の位置、および、画素値）を抽出して、近似関数推定部 2 2 0 2に出力する。

近似関数推定部 2 2 0 2は、参照画素抽出部 2 2 0 1より入力された参照画素の情報に基づいて注目画素周辺の画素の画素値を近似的に記述する近似関数を最小自乗法に基づいて推定し、推定した近似関数を微分処理部 2 2 0 3に出力する。微分処理部 2 2 0 3は、近似関数推定部 2 2 0 2より入力された近似関数に基づいて、データ定常性情報の角度（例えば、細線や 2値エッジの所定の軸に対する角度：傾き）に応じて、注目画素から生成しょうとする画素の位置のシフト量を求め、そのシフト量に応じた近似関数上の位置における微分値（定常性に対応する線からの 1次元方向に沿った距離に対応する各画素の画素値を近似する関数の微分値）を演算し、さらに、注目画素の位置、画素値、および、定常性の傾きの情報を付加して、これを実世界推定情報として画像生成部 1 0 3に出力する。次に、図 1 0 3のフローチャートを参照して、図 1 0 2の実世界推定部 1. 0 2 による実世界推定の処理について説明する。

ステップ S 2 2 0 1において、参照画素抽出部 2 2 0 1は、入力画像と共に、データ定常性検出部 1 0 1よりデータ定常性情報としての角度、および、領域の情報を取得する。

ステップ S 2 2 0 2において、参照画素抽出部 2 2 0 1は、入力画像の未処理画素から注目画素を設定する。

ステップ S 2 2 0 3において、参照画像抽出部 2 2 0 1は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップ S 2 2 1◦に進み、その注目画素については、処理領域外であることを近似関数推定部 2 2 0 2 を介して、微分処理部 2 2 0 3に伝え、これに応じて、微分処理部 2 2 0 3が、対応する注目画素についての微分値を 0として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部 1 0 3に出力すると共に、その処理は、ステップ S 2 2 1 1に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップ S 2 2 0 4に進む。

ステップ S 2 2 0 4において、参照画素抽出部 2 2 0 1は、データ定常性情報に含まれる角度の情報から、データ定常性の有する方向が、水平方向に近い角度力 \ または、垂直に近い角度であるか否かを判定する。すなわち、参照画素抽出部 2 2 0 1は、データ定常性の有する角度 Θが、 0度く 45度、または、 135 4001585

97

度≤ 0く 180度となる場合、注目画素の定常性の方向は、水平方向に近いと判定し、データ定常性の有する角度 0が、 45度≤ 0 <135度となる場合、注目画素の定常性の方向は、垂直方向に近いと判定する。

ステップ S 2 20 5において、参照画素抽出部 2 2 0 1は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、近似関数推定部 2 20 2に出力する。すなわち、参照画素は、後述する近似関数を演算する際に使用されるデータとなるので、傾きに応じて抽出されることが望ましい。従って、水平方向、または、垂直方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、図 1 0 4で示されるように、傾き G_f が垂直方向に近いと、垂直方向であると判定される。この場合、参照画素抽出部 2 20 1は、例えば、図 1 04で示されるように、図 1 0 4中の中央の画素（0， 0) を注目画素とするとき、画素（一 1， 2) , (一 1， 1) ，（一 1， 0) ，（一 1，一 1) ， (一 1，一 2) , (0， 2) ， (0， 1) ，（0, 0) , (0，一 1) ，（0，一 2) ，（1， 2) ，（1 , 1) ，（1， 0) , (1，一 1) ，（1，一 2) のそれぞれの画素値を抽出する。尚、図 1 0 4においては、各画素の水平方向、および、垂直方向の大きさが 1であるものとする。

すなわち、参照画素抽出部 2 2 0 1は、注目画素を中心として垂直（上下）方向にそれぞれ 2画素 X水平 (左右) 方向にそれぞれ 1画素の合計 1 5画素となるように、垂直方向に長い範囲の画素を参照画素として抽出する。

逆に、水平方向であると判定された場合、注目画素を中心として垂直（上下）方向にそれぞれ 1画素 X水平（左右）方向にそれぞれ 2画素の合計 1 5画素となるように、水平方向に長い範囲の画素を参照画素として抽出して、近似関数推定部 2 2 0 2に出力する。もちろん、参照画素は、上述のように 1 5画素に限定されるものではなく、それ以外の個数であってもよい。

ステップ S 2 20 6において、近似関数推定部 2 2 0 2は、参照画素抽出部 2 2 0 1より入力された参照画素の情報に基づいて、最小自乗法により近似関数 f(x)を推定し、微分処理部 2 2 0 3に出力する。

すなわち、近似関数 f(x)は、以下の式（3 0) で示されるような多項式である。 f (X) =¾'₁}(^Π + ¾Χ^Π~¹ + ^ ·-Μ_ί η+Ί ■ · · (3 0) このように、式 (3 0) の多項式の各係数 ^乃至 W_{n + 1}が求められれば、各参照画素の画素値（参照画素値）を近似する近似関数 f(x)が求められることになる。しかしながら、係数の数よりも多くの参照画素値が必要となるので、例えば、参照画素が、図 1 0 4で示されるような場合、合計 1 5画素であるので、多項式の係数は、 1 5個までしか求められない。そこで、この場合、多項式は、 1 4次までの多項式とし、係数 ^乃至 W₁₅ を求めることにより近似関数を推定するものとする。尚、今の場合、 1 5次の多項式からなる近似関数 f(x)を設定して、連立方程式としてもよい。

従って、図 1 04で示される 1 5個の参照画素値を用いるとき、近似関数推定部 2 2 0 2は、以下の式（3 1) を、最小自乗法を用いて解くことにより推定する。

P (一 1，一 2) =f (― 1一 Cx (- 2) )

P (一 1 , — 1) =f (一 1一 Cx (— 1) )

P (- 1 , 0) =f (— 1) (=f (一 1一 Cx (0) ) )

P (- 1 , 1) =f (一 1一 Cx ( 1) )

P (— 1， 2) =f (- 1 -Cx (2) )

P (0， ― 2) =f (0 -Cx (一 2) )

P (0, 一 1) =f (0 -Cx (_ 1) )

P (0, 0) =f (0) ( = f (0 -Cx (0) ) )

P (0, 1) =f (0 -Cx ( 1) )

P (0, 2) =f (0 -Cx (2) ) P ( 1， - 2) =f ( 1 -Cx (一 2) )

P ( 1 , - 1) =f ( 1 -Cx (— 1) )

P ( 1， 0) =f (1) (=f (1 -Cx (0) ) )

P ( 1， 1 ) =f ( 1— Cx ( 1) )

P ( 1， 2) =f ( 1 -Cx (2) )

• · · (3 1) 尚、多項式の次数にあわせて、参照画素の数を変えるようにしてもよい。ここで、 Cx (ty)は、シフト量であり、定常性の傾きが G_f で示されるとき、 Cx(ty)=tyZG_f で定義される。このシフト量 Cx (ty)は、空間方向 Y = 0の位置上で定義される近似関数 f(x)が、傾き G_f に沿って、連続している（定常性を有している）ことを前提としたとき、空間方向 Y=tyの位置における、空間方向 Xに対するずれ幅を示すものである。従って、例えば、空間方向 Y = 0の位置上で近似関数が f(x)として定義されている場合、この近似関数 f(x)は、空間方向 Y=tyにおいては、傾き G_f に沿って空間方向 Xについて Cx(ty)だけずれているはずなので、関数は、 f(x— Cx(ty)) ( = f (x-ty/G_f )) で定義されることになる。

ステップ S 2 2 0 7において、微分処理部 2 2 0 3は、近似関数推定部 2 2 0 2より入力された近似関数 f(x)に基づいて、生成しようとする画素の位置における、シフト量を求める。

すなわち、水平方向、および、垂直方向にそれぞれ 2倍の密度（合計 4倍の密度）となるように画素を生成する場合、微分処理部 2 20 3は、例えば、まず、垂直方向に 2倍の密度となる画素 Pa， Pbに 2分割するために、図 1 0 5で示されるように、注目画素の中心位置が Pin (Xin, Yin) での微分値を求めるため、中心位置の Pin (Xin, Yin) のシフト量を求める。このシフト量は、 Cx (0)となるため、実質的には 0となる。尚、図 1 0 5中において、画素 Pinは、 (Xin, Yin) を略重心位置とする正方形であり、画素 Pa, Pbは、 (Xin, Yin+0.25) 、 (Xin, Yin-0.25) をそれぞれ略重心位置とする図中水平方向に長い長方形で W

100

ある。

ステップ S 2 2 0 8において、微分処理部 2 2 Q 3は、近似関数 f (x)を微分して、近似関数の 1次微分関数 f (x) 'を求め、求められたシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部 1 0 3に出力する _c すなわち、今の場合、微分処理部 2 2 0 3は、微分値 f (Xin) 'を求め、その位置 (今の場合、注目画素 (Xi n, Yin) ) と、その画素値、および、定常性の方向の傾きの情報とを付加して出力する。

ステップ S 2 2 0 9において、微分処理部 2 2 0 3は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、 2倍の密度となるための微分値のみしか求められていない（空間方向 Y方向について 2倍の密度となるための微分値のみしか求められていない）ので、求められている密度の画素を生成するのに必要なだけの微分値が求められていないと判定し、その処理は、ステップ S 2 2 0 7に戻る。

ステップ S 2 2 0 7において、微分処理部 2 2 0 3は、再度、近似関数推定部 2 2 0 2より入力された近似関数 f (x)に基づいて、生成しょうとする画素の位置における、シフト量を求める。すなわち、微分処理部 2 2 0 3は、今の場合、 2分割された画素 Pa, Pbのそれぞれを 2分割するために必要な微分値をそれぞれ求める。画素 Pa, Pbの画素の位置は、図 1 0 5における黒丸で示すそれぞれの位置であるので、微分処理部 2 2 0 3は、それぞれの位置に対応するシフト量を求める。画素 Pa, Pbのシフト量は、それぞれ Cx (0. 25) ， Cx (— 0. 25)となる。

ステップ S 2 2 0 8において、微分処理部 2 2 0 3は、近似関数 f (x)を 1次微分して、画素 Pa, Pbのそれぞれに対応したシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部 1 0 3に出力する。

すなわち、図 1 0 4で示した参照画素を使用する場合、微分処理部 2 2 0 3は、図 1 0 6で示すように、求められた近似関数 f (x)について微分関数 f (x) 'を求め、空間方向 Xについて、シフト量 Cx (0. 25) , Cx (— 0. 25)だけずれた位置となる（Xin— Cx (0. 25) ) と（Xin— Cx ( - 0. 25) ) の位置での微分値をそれぞれ f (Xin— Cx (0. 25) } ' , f (Xin— Cx ( - 0. 25) ) 'として求め、その微分値に対応する位置情報を付加して、これを実世界推定情報として出力する。尚、最初の処理で画素値の情報が出力されているので画素値の情報は付加されない。ステップ S 2 2 0 9において、再び、微分処理部 2 2 0 3は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、 4倍の密度となるための微分値が求められたことになるので、求められている密度の画素を生成するのに必要なだけの微分値が求められたと判定し、その処理は、ステップ S 2 2 1 1に進む。

ステップ S 2 2 1 1において、参照画素抽出部 2 2 0 1は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップ S 2 2 0 2に戻る。また、ステップ S 2 2 1 1において、全ての画素を処理したと判定した場合、その処理は、終了する。

上述のように、入力画像について、水平方向、および、垂直方向に 4倍の密度となるように画素を生成する場合、画素は、分割される画素の中央の位置の近似関数の微分値を用いて、外揷補間により分割されるので、 4倍密度の画素を生成するには、合計 3個の微分値の情報が必要となる。

すなわち、図 1 0 5で示されるように、 1画素について最終的には、画素 P O 1 , P 0 2 , P 0 3 , P 0 4の 4画素（図 1 0 5において、画素 P O l , P 0 2 , P 0 3 , P 0 4は、図中の 4個のバッ印の位置を重心位置とする正方形であり、各辺の長さは、画素 Pinが、それぞれ 1であるので、画素 P 0 1， P 0 2 , P 0 3， P 0 4は、それぞれ略 0 . 5となる）の生成に必要な微分値が必要となるので、 4倍密度の画素を生成するには、まず、水平方向、または、垂直方向（今の場合、垂直方向) に 2倍密度の画素を生成し (上述の最初のステップ S 2 2 0 7 , S 2 2 0 8の処理）、さらに、分割された 2画素を、それぞれ最初に分割した 7こ：方向と垂直の方向（今の場合、水平方向）に分割する（上述の 2回目のステツプ S 2 2 0 7 , S 2 2 0 8の処理）ためである。尚、以上の例においては、 4倍密度の画素を演算する際の微分値を例として説明してきたが、それ以上の密度の画素を演算する場合、ステップ S 2 2 0 7乃至 S 2 2 0 9の処理を繰り返すことにより、画素値の演算に必要なさらに多くの微分値を求めるようにしてもよい。また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数 f (x)は連続関数であるので、倍密度以外の画素値についても必要な微分値を求めることが可能となる。

以上によれば、注目画素近傍の画素の画素値を近似する近似関数を求め、空間方向の画素位置に対応する位置の微分値を実世界推定情報として出力することが可能となる。

以上の図 1 0 2において説明した実世界推定部 1 0 2においては、画像を生成するのに必要な微分値を実世界推定情報として出力していたが、微分値とは、必要な位置での近似関数 f (X)の傾きと同値のものである。

そこで、次は、図 1 0 7を参照して、近似関数 f (x)を求めることなく、画素生成に必要な近似関数 f (x)上の傾きのみを直接求めて、実世界推定情報として出力する実世界推定部 1 0 2について説明する。

参照画素抽出部 2 2 1 1は、データ定常性検出部 1 0 1より入力されるデータ定常性情報（定常性の角度、または、領域の情報）に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像から傾きを求めるために必要な参照画素の情報（演算に必要な注目画素を含む垂直方向に並ぶ周辺の複数の画素、または、注目画素を含む水平方向に並ぶ周辺の複数の画素の位置、および、それぞれの画素値の情報）を抽出して、傾き推定部 2 2 1 2に出力する。

傾き推定部 2 2 1 2は、参照画素抽出部 2 2 1 1より入力された参照画素の情報に基づいて、画素生成に必要な画素位置の傾きの情報を生成して、実世界推定情報として画像生成部 1 0 3に出力する。より詳細には、傾き推定部 2 2 1 2は、画素間の画素値の差分情報を用いて、実世界を近似的に表現する近似関数 f (χ) 上の注目画素の位置における傾きを求め、これに、注目画素の位置情報、画素値、および、定常性の方向の傾きの情報を実世界推定情報として出力する。

次に、図 1 0 8のフローチャートを参照して、図 1 0 7の実世界推定部 1 0 2 による実世界推定の処理について説明する。

ステップ S 2 2 2 1において、参照画素抽出部 2 2 1 1は、入力画像と共に、データ定常性検出部 1 0 1よりデータ定常性情報としての角度、および、領域の情報を取得する。

ステップ S 2 2 2 2において、参照画素抽出部 2 2 1 1は、入力画像の未処理画素から注目画素を設定する。

ステップ S 2 2 2 3において、参照画像抽出部 2 2 1 1は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップ S 2 2 2 8に進み、その注目画素については、処理領域外であることを傾き推定部 2 2 1 2に伝え、これに応じて、傾き推定部 2 2 1 2が、対応する注目画素についての傾きを 0として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部 1 0 3に出力すると共に、その処理は、ステップ S 2 2 2 9に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップ S 2 2 2 4に進む。

ステップ S 2 2 2 4において、参照画素抽出部 2 2 1 1は、データ定常性情報に含まれる角度の情報から、データ定常性の有する方向が、水平方向に近い角度力 \ または、垂直に近い角度であるか否かを判定する。すなわち、参照画素抽出部 2 2 1 1は、データ定常性の有する角度 0が、 0度 S < 45度、または、 135 度≤ Θ < 180度となる場合、注目画素の定常性の方向は、水平方向に近いと判定し、データ定常性の有する角度 Θが、 45度≤ Θ < 135度となる場合、注目画素の定常性の方向は、垂直方向に近いと判定する。

ステップ S 2 2 2 5において、参照画素抽出部 2 2 1 1は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、傾き推定部 2 2 1 2に出力する。すなわち、参照画素は、後述する傾きを演算する際に使用されるデータとなるので、定常性の方向を示す傾きに応じて抽出されることが望ましい。従って、水平方向、または、垂直方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、傾きが垂直方向に近いと判定された場合、参照画素抽出部 22 1 1は、図 1 09で示されるように、図 1 09中の中央の画素（0, 0) を注目画素とするとき、画素 (0, 2) , (0, 1) , (0, 0) , (0，一 1 ) ， (0, - 2) のそれぞれの画素値を抽出する。尚、図 109においては、各画素の大きさが水平方向、および、垂直方向についてそれぞれ 1であるものとする。

すなわち、参照画素抽出部 22 1 1は、注目画素を中心として垂直（上下）方向にそれぞれ 2画素の合計 5画素となるように、垂直方向に長い範囲の画素を参照画素として抽出する。

逆に、水平方向であると判定された場合、注目画素を中心として水平（左右）方向に 2画素の合計 5画素となるように、水平方向に長い範囲の画素を参照画素として抽出して、近似関数推定部 2202に出力する。もちろん、参照画素は、上述のように 5画素に限定されるものではなく、それ以外の個数であってもよいステップ S 2226において、傾き推定部 22 1 2は、参照画素抽出部 221 1より入力された参照画素の情報と、定常性方向の傾き G_f に基づいて、それぞれの画素値のシフト量を演算する。すなわち、空間方向 Y=0に対応する近似関数 f(x)を基準とした場合、空間方向 Y =— 2，一 1, 1， 2に対応する近似関数は、図 1 09で示されるように、定常性の傾き G_f に沿って連続していることになるので、各近似関数は、 f(x-Cx(2)), f (x-Cx(l)), f (x-Cx(-l)), f (x — Cx(_2))のように記述され、空間方向 Y =— 2， _ 1, 1， 2毎に、各シフト量分だけ空間方向 Xにずれた関数として表現される。

そこで、傾き推定部 2 2 1 2は、これらのシフト量 Cx (- 2) 乃至 Cx (2) を求める。例えば、参照画素が、図 1 09で示されるように抽出された場合、そのシフト量は、図中の参照画素 (0， 2) は、 Cx(2) = 2/G_f となり、参照画素（0， 1) は、 Cx( l ) = l ZG_f となり、参照画素（0, 0) は、 Cx(0) = 0 となり、参照画素（0，一 1〉は、 Cx (— l) = _ l/G_f となり、参照画素（0, 一 2) は、 Cx(- 2) =- 2/G_f となる。

ステップ S 2 2 2 7において、傾き推定部 2 2 1 2は、注目画素の位置における近似関数 f(x)上の傾きを演算する（推定する）。例えば、図 1 0 9で示されるように、注目画素について定常性の方向が、垂直方向に近い角度の場合、水平方向に隣接する画素間では画素値が大きく異なり、垂直方向の画素間では、画素間の変化が小さく、変化が類似していることから、傾き推定部 2 2 1 2は、垂直方向の画素間の変化をシフト量による空間方向 Xの変化と捕らえることにより、垂直方向の画素間の差分を水平方向の画素間の差分に置き換えて、注目画素の位置における近似関数 f(x)上での傾きを求める。

すなわち、現実世界を近似的に記述する近似関数 f(x)が存在すると仮定すると、上述のシフト量と各参照画素の画素値との関係は、図 1 1 0で示されるようなものとなる。ここで、図 1 0 9の各画素の画素値は、上から P (0, 2) ， P (0, 1) ， P (0， 0) , P (0，一 1 ) ， P (0， - 2) で表される。結果として、注目画素（0, 0) 近傍の画素値 Pとシフト量 Cxは、（P, C x) = (P (0， 2) ，一 Cx (2) ) ，（P (0， 1) ，一 Cx (1) ) ，（P (0， — 1) ) ， -Cx (— 1) ) ， (P (0，一 2) ， -Cx (一 2) ) , (P (0, 0) , 0) の 5組の関係が得られることになる。

ところで、画素値 P、シフト量 Cx、および、傾き Kx (近似関数 f(x)上の傾き）は、以下のような式（3 2) のような関係が成立することになる。

P = K X X Cx

• · · ( 3 2) 上述の式 (3 2) は、変数 Kxについての 1変数の関数であるので、傾き推定部 2 2 1 2は、この変数 Kx (傾き) について、 1変数の最小自乗法により傾き K Xを求める。

すなわち、傾き推定部 2 2 1 2は、以下に示すような式 (3 3) のような正規方程式を解くことにより、注目画素の傾きを求め、注目画素の画素値、および、定常性の方向の傾きの情報を付加して、実世界推定情報として画像生成部 1 0 3 に出力する。

111

<i_ \ j ί I /

m

∑ ∑ (C_x XiI )

i =1

• · - ( 3 3 ) ここで、 iは、上述の参照画素の画素値 Pとシフト量 Cの組をそれぞれ識別する番号であり、 1乃至 πιである。また、 mは、注目画素を含む参照画素の個数となる。

ステップ S 2 2 2 9において、参照画素抽出部 2 2 1 1は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップ S 2 2 2 2に戻る。また、ステップ S 2 2 2 9において、全ての画素が処理されたと判定された場合、その処理は、終了する。

尚、上述の処理により実世界推定情報として出力される傾きは、最終的に求めようとする画素値を外揷補間して演算する際に使用される。また、以上の例においては、 2倍密度の画素を演算する際の傾きを例として説明してきたが、それ以上の密度の画素を演算する場合、画素値の演算に必要な、さらに多くの位置での傾きを求めるようにしてもよい。

例えば、図 1 0 5で示されるように、水平方向に 2倍の密度で、かつ、垂直方向に 2倍の密度の空間方向に合計 4倍の密度の画素を生成する場合、上述したように、図 1 0 5中の Pin, Pa, Pbのそれぞれの位置に対応する近似関数 f (x)の傾き K を求めるようにすればよい。

また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数 f (x)は連続関数であるので、倍密度以外の位置の画素の画素値についても必要な傾きを求めることが可能となる。

以上によれば、注目画素近傍の画素の画素値を使用して、実世界を近似的に表現する近似関数を求めることなく、空間方向の画素の生成必要な位置の近似関数上の傾きを実世界推定情報として生成し、さらに出力することが可能となる。次に、図 1 1 1を参照して、定常性を有する領域における、画素毎のフレーム方向（時間方向）の近似関数上の微分値を実世界推定情報として出力する実世界推定部 1 0 2について説明する。

参照画素抽出部 2 2 3 1は、データ定常性検出部 1 0 1より入力されるデータ定常性情報 (定常性の動き (動きベクトル）、および、領域の情報) に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像の画素の画素値を近似する近似関数を求めるために必要な参照画素の情報（演算に必要な注目画素周辺の複数の画素の位置、および、画素値）を抽出して、近似関数推定部 2 2 0 2に出力する。

近似関数推定部 2 2 3 2は、参照画素抽出部 2 2 3 1より入力されたフレーム方向の参照画素の情報に基づいて注目画素周辺の各画素の画素値を近似的に記述する近似関数を最小自乗法に基づいて推定し、推定した関数を微分処理部 2 2 3 3に出力する。

微分処理部 2 2 3 3は、近似関数推定部 2 2 3 2より入力されたフレーム方向の近似関数に基づいて、データ定常性情報の動きに応じて、注目画素から生成しようとする画素の位置のフレーム方向のシフト量を求め、そのシフト量に応じたフレーム方向の近似関数上の位置における微分値（定常性に対応する線からの 1 次元方向に沿った距離に対応する各画素の画素値を近似する関数の微分値）を演算し、さらに、注目画素の位置、画素値、および、定常性の動きの情報を付加して、これを実世界推定情報として画像生成部 1 0 3に出力する。

次に、図 1 1 2のフローチャートを参照して、図 1 1 1の実世界推定部 1 0 2 による実世界推定の処理について説明する。

ステップ S 2 2 4 1において、参照画素抽出部 2 2 3 1は、入力画像と共に、データ定常性検出部 1 0 1よりデータ定常性情報としての動き、および、領域の情報を取得する。ステップ S 2 2 4 2において、参照画素抽出部 2 2 3 1は、入力画像の未処理画素から注目画素を設定する。

ステップ S 2 2 4 3において、参照画像抽出部 2 2 3 1は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップ S 2 2 5 0に進み、その注目画素については、処理領域外であることを近似関数推定部 2 2 3 2 を介して、微分処理部 2 2 3 3に伝え、これに応じて、微分処理部 2 2 3 3が、対応する注目画素についての微分値を 0として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部 1 0 3に出力すると共に、その処理は、ステップ S 2 2 5 1に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップ S 2 2 4 4に進む。

ステップ S 2 2 4 4において、参照画素抽出部 2 2 3 1は、データ定常性情報に含まれる動きの情報から、データ定常性の有する方向が、空間方向に近い動き力 \ または、フレーム方向に近い動きであるか否かを判定する。すなわち、図 1 1 3で示されるように、フレーム方向 Tと空間方向 Yからなる面において、フレーム方向を基準軸とした、時間と空間の面内の方向を示す角度を 0 Vとすれば、参照画素抽出部 2 2 0 1は、データ定常性の有する角度 θ Vが、 0度 ^ θ ν < 45 度、または、 135度 θ ν < 180度となる場合、注目画素の定常性の動きは、フレーム方向（時間方向）に近いと判定し、データ定常性の有する角度 0力 45 度≤ 0く 135度となる場合、注目画素の定常性の方向は、空間方向に近いと判定する。

ステップ S 2 2 4 5において、参照画素抽出部 2 2 0 1は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、近似関数推定部 2 2 3 2に出力する。すなわち、参照画素は、後述する近似関数を演算する際に使用されるデータとなるので、角度に応じて抽出されることが望ましい。従って、フレーム方向、または、空間方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、図 1 13で示されるように、動き方向 V_f が空間方向に近いと、空間方向であると判定され、この場合、参照画素抽出部 2231は、例えば、図 1 1 3で示されるように、図 1 1 3中の中央の画素（t, y) = (0, 0) を注目画素とするとき、画素 (t, y) = (— 1, 2) ， (一 1， 1) , (- 1, 0) ， (一 1， - 1) , (一 1 , ― 2) , (0， 2) ，（0， 1 ) , (0 , 0) , (0，一 1) , (0, -2) ， (1, 2) ， (1, 1) ， (1， 0) , (1, — 1) , (1，一 2) のそれぞれの画素値を抽出する。尚、図 1 1 3においては、各画素のフレーム方向、および、空間方向の大きさが 1であるものとする。

すなわち、参照画素抽出部 2231は、注目画素を中心として空間（図中の上下）方向にそれぞれ 2画素 Xフレーム (図中の左右) 方向にそれぞれ 1フレーム分の合計 1 5画素となるように、フレーム方向に対して空間方向が長い範囲の画素を参照画素として抽出する。

逆に、フレーム方向であると判定された場合、注目画素を中心として空間（図中の上下）方向にそれぞれ 1画素 Xフレーム（図中の左右）方向にそれぞれ 2フレーム分の合計 15画素となるように、フレーム方向に長い範囲の画素を参照画素として抽出して、近似関数推定部 2232に出力する。もちろん、参照画素は、上述のように 1 5画素に限定されるものではなく、それ以外の個数であってもよい。

ステップ S 2246において、近似関数推定部 2232は、参照画素抽出部 2 231より入力された参照画素の情報に基づいて、最小自乗法により近似関数 f(t)を推定し、微分処理部 2233に出力する。

すなわち、近似関数 f(t)は、以下の式（34) で示されるような多項式である。 f (t) = ₁tⁿ + \¾tⁿ -i-. - . -f¾_₁ ■ ■ ■ (34) このように、式（34) の多項式の各係数 ^乃至 W_{n + 1}が求められれば、各参照画素の画素値を近似するフレーム方向の近似関数 f(t)が求められることになる。しかしながら、係数の数よりも多くの参照画素値が必要となるので、例えば、参照画素が、図 1 1 3で示されるような場合、合計 1 5画素であるので、多項式の係数は、 1 5個までしか求められない。そこで、この場合、多項式は、 1 4次までの多項式とし、係数乃至 W₁₅ を求めることにより近似関数を推定するものとする。尚、今の場合、 1 5次の多項式からなる近似関数 f(x)を設定して、連立方程式としてもよい。

従って、図 1 1 3で示される 1 5個の参照画素値を用いるとき、近似関数推定部 223 2は、以下の式（3 5) を、最小自乗法を用いて解くことにより推定する。

P - 2) =f (一 1一 Ct (一 2) )

P 一 1) =f (- 1 -Ct (— 1) )

P 0) =f (- 1) (=f (一 1一 Ct (0) ) )

P 1) =f (- l -ct (1) )

PP (—一 11， 2) =f (_ 1— Ct (2) )

P 0 一 2) =f (O-Ct (- 2) )

P 0 - 1) =f (O-Ct (- 1) )

P 0 0) =f (0) ( = f (0 -Ct (0) ) )

P 0 1) =f (0 - Ct (1) )

P 0 2) =f (0 -Ct (2) )

P 一 2) =f (1 -Ct (一 2) )

P 1 - 1) =f ( l -ct (- 1) )

P 0) =f (1) (=f (1 -Ct (0) ) )

P 1) =f (1 -Ct (1) )

PP ( 1， 2) =f (1一 Ct (2) )

• · · (35) 尚、多項式の次数にあわせて、参照画素の数を変えるようにしてもよい。ここで、 Ct(ty)は、シフト量であり、上述の Cx(ty)と同様のものであり、定常性の傾きが V_f で示されるとき、

で定義される。このシフト量 Ct(ty)は、空間方向 Y = 0の位置上で定義される近似関数 f(t)が、傾き V_f に沿って、連続している（定常性を有している）ことを前提としたとき、空間方向 Y=tyの位置における、フレーム方向 Tに対するずれ幅を示すものである。従つて、例えば、空間方向 Y==0の位置上で近似関数が f (t)として定義されている場合、この近似関数 f(t)は、空間方向 Y=tyにおいては、フレーム方向（時間方向） Tについて Ct(ty)だけずれているはずなので、関数は、 f (t-Ct(ty)) (=f (t-ty/Vf )) で定義されることになる。

ステップ S 2 24 7において、微分処理部 2 2 3 3は、近似関数推定部 2 2 3 2より入力された近似関数 f(t)に基づいて、生成しょうとする画素の位置における、シフト量を求める。

すなわち、フレーム方向、および、空間方向にそれぞれ 2倍の密度（合計 4倍の密度）となるように画素を生成する場合、微分処理部 2 2 3 3は、例えば、まず、空間方向に 2倍の密度となる画素 Pat, Pbtに 2分割するために、図 1 1 4 で示されるように、注目画素の中心位置が Pin (Tin, Yin) での微分値を求めるため、中心位置の Pin (Tin, Yin) のシフト量を求める。このシフト量は、 Ct(0)となるため、実質的には 0となる。尚、図 1 1 4中において、画素 Pinは、 (Tin, Yin) を略重心位置とする正方形であり、画素 Pat, Pbtは、（Tin, Yin+0.25) 、 (Tin, Yin— 0.25) をそれぞれ略重心位置とする図中水平方向に長い長方形である。また、注目画素 Pinのフレーム方向 Tの長さが 1であるとは、 1フレーム分のシャッタ時間に対応するものである。

ステップ S 2 24 8において、微分処理部 2 2 3 3は、近似関数 f(t)を微分して、近似関数の 1次微分関数 f(t)'を求め、求められたシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部 1 0 3に出力する。すなわち、今の場合、微分処理部 2 2 3 3は、微分値 f (Tin)'を求め、その位置 (今の場合、注目画素（Tin, Yin) ) と、その画素値、および、定常性の方向の動きの情報とを付加して出力する。

ステップ S 2 2 4 9において、微分処理部 2 2 3 3は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する例えば、今の場合、空間方向に 2倍の密度となるための微分値のみしか求められていない（フレーム方向に 2倍の密度となるための微分値が求められていない）ので、求められている密度の画素を生成するのに必要なだけの微分値が求められていないと判定し、その処理は、ステップ S 2 2 4 7に戻る。

ステップ S 2 2 4 7において、微分処理部 2 2 0 3は、再度、近似関数推定部 2 2 0 2より入力された近似関数 f (t)に基づいて、生成しようとする画素の位置における、シフト量を求める。すなわち、微分処理部 2 2 0 3は、今の場合、 2分割された画素 Pat , Pbtのそれぞれをさらに 2分割するために必要な微分値をそれぞれ求める。画素 Pa1;， Pbtの画素の位置は、図 1 1 4における黒丸で示すそれぞれの位置であるので、微分処理部 2 2 3 3は、それぞれの位置に対応するシフト量を求める。画素 Pat , Pbtのシフト量は、それぞれ Ct (0. 25) , Ct ( _ 0. 25)となる。

ステップ S 2 2 4 8において、微分処理部 2 2 3 3は、近似関数 f (t)を微分して、画素 Pa Pbtのそれぞれに対応したシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部 1 0 3に出力する。

すなわち、図 1 1 3で示した参照画素を使用する場合、微分処理部 2 2 3 3は、図 1 1 5で示すように、求められた近似関数 f (t)について微分関数 f (t) 'を求め、空間方向 Tについて、シフト量 Ct (0. 25) ， Ct (一 0. 25)だけずれた位置となる（Tin— Ct (0. 25) ) と（Tin— Ct (— 0. 25) ) の位置での微分値をそれぞれ f (Tin— Ct (0. 25) ) f (Tin -Ct (ー0. 25) ) 'として求め、その微分値に対応する位置情報を付加して、これを実世界推定情報として出力する。尚、最初の処理で画素値の情報が出力されているので画素値の情報は付加されない。ステップ S 2 2 4 9において、再び、微分処理部 2 2 3 3は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、空間方向 Yとフレーム方向 Tについてそれぞれ 2倍（合計 4倍）の密度となるための微分値が求められたことになるので、求められている密度の画素を生成するのに必要なだけの微分値が求められたと判定し、その処理は、ステップ S 2 2 5 1に進む。

ステップ S 2 2 5 1において、参照画素抽出部 2 2 3 1は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップ S 2 2 4 2に戻る。また、ステップ S 2 2 5 1において、全ての画素を処理したと判定した場合、その処理は、終了する。

上述のように、入力画像について、フレーム方向（時間方向）、および、空間方向に 4倍の密度となるように画素を生成する場合、画素は、分割される画素の中央の位置の近似関数の微分値を用いて、外挿補間により分割されるので、 4倍密度の画素を生成するには、合計 3個の微分値の情報が必要となる。

すなわち、図 1 1 4で示されるように、 1画素について最終的には、画素 P O I t , P 0 2 t , P 0 3 t , P 0 4 tの 4画素（図 1 1 4において、画素 P 0 1 t , P 0 2 t , P 0 3 t , P 0 4 tは、図中の 4個のバッ印の位置を重心位置とする正方形であり、各辺の長さは、画素 Pinが、それぞれ 1であるので、画素 P 0 1 t , P 0 2 t , P 0 3 t , P 0 4 tは、それぞれ略 0 . 5となる）の生成に必要な微分値が必要となるので、 4倍密度の画素を生成するには、まず、フレーム方向、または、空間方向に 2倍密度の画素を生成し（上述の最初のステップ S 2 2 4 7 , S 2 2 4 8の処理）、さらに、分割された 2画素を、それぞれ最初に分割した方向と垂直の方向（今の場合、フレーム方向）に分割する（上述の 2 回目のステップ S 2 2 4 7 , S 2 2 4 8の処理）ためである。

尚、以上の例においては、 4倍密度の画素を演算する際の微分値を例として説明してきたが、それ以上の密度の画素を演算する場合、ステップ S 2 2 4 7乃至 S 2 2 4 9の処理を繰り返すことにより、画素値の演算に必要なさらに多くの微分値を求めるようにしてもよい。また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数 f (t)は連続関数であるので、倍密度以外の画素値についても必要な微分値を求めることが可能となる。

以上によれば、注目画素近傍の画素の画素値を使用して、各画素の画素値を近似的に表現する近似関数を求め、画素の生成必要な位置の微分値を実世界推定情報として出力することが可能となる。

以上の図 1 1 1において説明した実世界推定部 1 0 2においては、画像を生成するのに必要な微分値を実世界推定情報として出力していたが、微分値とは、必要な位置での近似関数 f (t)の傾きと同値のものである。

そこで、次は、図 1 1 6を参照して、近似関数を求めることなく、画素生成に必要な、近似関数上のフレーム方向の傾きのみを直接求めて、実世界推定情報として出力する実世界推定部 1 0 2について説明する。

参照画素抽出部 2 2 5 1は、データ定常性検出部 1 0 1より入力されるデータ定常性情報（定常性の動き、および、領域の情報）に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像から傾きを求めるために必要な参照画素の情報（演算に必要な注目画素を含む空間方向に並ぶ周辺の複数の画素、または、注目画素を含むフレーム方向に並ぶ周辺の複数の画素の位置、および、それぞれの画素値の情報）を抽出して、傾き推定部 2

2 5 2に出力する。

傾き推定部 2 2 5 2は、参照画素抽出部 2 2 5 1より入力された参照画素の情報に基づいて、画素生成に必要な画素位置の傾きの情報を生成して、実世界推定情報として画像生成部 1 0 3に出力する。より詳細には、傾き推定部 2 2 5 2は、画素間の画素値の差分情報を用いて、各参照画素の画素値を近似的に表現する近似関数上の注目画素の位置におけるフレーム方向の傾きを求め、これに、注目画素の位置情報、画素値、および、定常性の方向の動きの情報を実世界推定情報として出力する。

次に、図 1 1 7のフローチヤ一トを参照して、図 1 1 6の実世界推定部 1 0 2 による実世界推定の処理について説明する。

ステップ S 2 2 6 1において、参照画素抽出部 2 2 5 1は、入力画像と共に、データ定常性検出部 1 0 1よりデータ定常性情報としての動き、および、領域の情報を取得する。

ステップ S 2 2 6 2において、参照画素抽出部 2 2 5 1は、入力画像の未処理画素から注目画素を設定する。

ステップ S 2 2 6 3において、参照画像抽出部 2 2 5 1は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップ S 2 2 6 8に進み、その注目画素については、処理領域外であることを傾き推定部 2 2 5 2に伝え、これに応じて、傾き推定部 2 2 5 2が、対応する注目画素についての傾きを 0として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部 1 0 3に出力すると共に、その処理は、ステップ S 2 2 6 9に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップ S 2 2 6 4に進む。

ステップ S 2 2 6 4において、参照画素抽出部 2 2 1 1は、データ定常性情報に含まれる動きの情報から、データ定常性の動きが、フレーム方向に近い動き力 \ または、空間方向に近い動きであるか否かを判定する。すなわち、フレーム方向 Tと空間方向 Yからなる面において、フレーム方向を基準軸とした、時間と空間の面内の方向を示す角度を θ Vとすれば、参照画素抽出部 2 2 5 1は、データ定常性の動きの角度 θ Vが、 0度≤ 0 V < 45度、または、 135度≤ θ Vく 180度となる場合、注目画素の定常性の動きは、フレーム方向に近いと判定し、データ定常性の有する角度 0 vが、 45度 ^ θ v < 135度となる場合、注目画素の定常性の動きは、空間方向に近いと判定する。

ステップ S 2 2 6 5において、参照画素抽出部 2 2 5 1は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、傾き推定部 2 2 5 2に出力する。すなわち、参照画素は、後述する傾きを演算する際に使用されるデータとなるので、定常性の動きに応じて抽出されることが望ましい。従って、フレーム方向、または、空間方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、動きが空間方向に近いと判定された場合、参照画素抽出部 225 1は、図 1 18で示されるように、図 118中の中央の画素 ( t , y) = (0， 0) を注目画素とするとき、画素 ( t , y ) = (0, 2) ， (0, 1 ) ，（0， 0) , (0，一 1) , (0， - 2) のそれぞれの画素値を抽出する。尚、図 1 18においては、各画素の大きさがフレーム方向、および、空間方向についてそれぞれ 1であるものとする。

すなわち、参照画素抽出部 2251は、注目画素を中心として空間（図中の上下）方向にそれぞれ 2画素の合計 5画素となるように、空間方向に長い範囲の画素を参照画素として抽出する。

逆に、フレーム方向であると判定された場合、注目画素を中心としてフレーム (図中の左右）方向に 2画素の合計 5画素となるように、水平方向に長い範囲の画素を参照画素として抽出して、近似関数推定部 2252に出力する。もちろん、参照画素は、上述のように 5画素に限定されるものではなく、それ以外の個数であってもよい。

ステップ S 2266において、傾き推定部 2252は、参照画素抽出部 225 1より入力された参照画素の情報と、定常性方向の動き V_f の方向に基づいて、それぞれの画素値のシフト量を演算する。すなわち、空間方向 Y=0に対応する近似関数 f(t)を基準とした場合、空間方向 Y =— 2, -1, 1， 2に対応する近似関数は、図 1 18で示されるように、定常性の傾き V_f に沿って連続していることになるので、各近似関数は、 f(t一 Ct(2))， f (t-ct(D), f (t-ct (- 1)), f (t一 Ct (一 2))のように記述され、空間方向 Y =— 2，一 1， 1， 2毎に、各シフト量分だけフレーム方向 τにずれた関数として表現される。

そこで、傾き推定部 2252は、これらのシフト量 Ct (- 2) 乃至 Ct (2) を求める。例えば、参照画素が、図 1 18で示されるように抽出された場合、そのシフト量は、図中の参照画素 (0， 2) は、 Ct(2) = 2 V_f となり、参照画素（0， 1) は、 Ct(l)= 1/V_f となり、参照画素（0， 0) は、 ct(o) = o となり、参照画素（0，一 1) は、 Ct (- 1)=- 1/V_{ となり、参照画素（0， — 2) は、 Ct(— 2)=— 2/V_f となる。傾き推定部 2 2 5 2は、これらのシフト量 Ct (一 2) 乃至 Ct (2) を求める。

ステップ S 2 2 6 7において、傾き推定部 2 2 5 2は、注目画素のフレーム方向の傾きを演算する（推定する）。例えば、図 1 1 8で示されるように、注目画素について定常性の方向が、空間方向に近い角度の場合、フレーム方向に隣接する画素間では画素値が大きく異なるので、空間方向の画素間では、画素間の変化が小さく、変化が類似していることから、傾き推定部 2 2 5 2は、空間方向の画素間の変化をシフト量によるフレーム方向 Tの変化と捕らえることにより、空間方向の画素間の差分をフレーム方向の画素間の差分に置き換えて、注目画素での傾きを求める。

すなわち、現実世界を近似的に記述する関数 f(t)が存在すると仮定すると、上述のシフト量と各参照画素の画素値との関係は、図 1 1 9で示されるようなものとなる。ここで、図 1 1 9の各画素の画素値は、上から P (0， 2) ， P (0， 1) , P (0, 0) ， P (0 , — 1) ， P (0, - 2) で表される。結果として、注目画素（0, 0) 近傍の画素値 P とシフト量 Ct は、（P, Ct) = (P (0, 2) ， -Ct (2) ) , (P (0， 1 ) ，一 Ct ( 1 ) ) , (P (0， - 1) ) ， -Ct (一 1) ) , (P (0，一 2) ，一 Ct (- 2) ) , (P (0， 0) , 0) の 5組の関係が得られることになる。

ところで、画素値 P、シフト量 C t、および、傾き K t (近似関数 f(t)上の傾き）は、以下のような式（3 6) のような関係が成立することになる。

P = K t X C t

• · · (3 6) 上述の式（3 6) は、変数 K tについての 1変数の関数であるので、傾き推定部 2 2 1 2は、この変数 K t (傾き) について、 1変数の最小自乗法により傾き

K tを求める。

すなわち、傾き推定部 2 2 5 2は、以下に示すような式（3 7) のような正規方程式を解くことにより、注目画素の傾きを求め、注目画素の画素値、および、定常性の方向の傾きの情報を付加して、実世界推定情報として画像生成部 1 0 3 に出力する。

1

《 - ¹

∑ (C_{t i} )²

i =l

■ · · ( 3 7 ) ここで、 iは、上述の参照画素の画素値 Pとシフト量 C tの組をそれぞれ識別する番号であり、 1乃至 mである。また、 mは、注目画素を含む参照画素の個数となる。

ステップ S 2 2 6 9において、参照画素抽出部 2 2 5 1は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップ S 2 2 6 2に戻る。また、ステップ S 2 2 6 9において、全ての画素が処理されたと判定された場合、その処理は、終了する。

尚、上述の処理により実世界推定情報として出力されるフレーム方向の傾きは、最終的に求めようとする画素値を外揷補間して演算する際に使用される。また、以上の例においては、 2倍密度の画素を演算する際の傾きを例として説明してきたが、それ以上の密度の画素を演算する場合、画素値の演算に必要な、さらに多くの位置での傾きを求めるようにしてもよレ、。

例えば、図 1 0 5で示されるように、水平方向に 2倍の密度で、かつ、フレーム方向に 2倍の密度の時空間方向に合計 4倍の密度の画素を生成する場合、上述したように、図 1 0 5中の P in , Pat , Pbtのそれぞれの位置に対応する近似関数 f (t)の傾き K tを求めるようにすればよい。

また、以上の例については、倍密度の画素値を求める例について説明してきた力近似関数 f (t)は連続関数であるので、倍密度以外の位置の画素の画素値についても必要な傾きを求めることが可能となる。言うまでもなく、フレーム方向、または、空間方向に対する近似関数上の傾き、または、微分値を求める処理の順序は問わない。さらに、空間方向において、上述の例においては、空間方向 Yとフレーム方向 Tとの関係を用いて、説明してきたが、空間方向 Xとフレーム方向 Tとの関係を用いたものであってもよい。さらに、時空間方向のいずれか 2次元の関係から (いずれから 1次元の方向の) 傾き、または、微分値を選択的に求めるようにしてもよい。

以上によれば、注目画素近傍の画素の画素値を使用して、実世界を近似的に表現するフレーム方向の近似関数を求めることなく、画素の生成必要な位置のフレーム方向（時間方向）の近似関数上の傾きを実世界推定情報として生成し、さらに出力することが可能となる。

次に、図 1 2 0乃至図 1 5 0を参照して、実世界推定部 1 0 2 (図 3 ) の実施の形態の他の例について説明する。

図 1 2 0は、この例の実施の形態の原理を説明する図である。

図 1 2 0で示されるように、センサ 2に入射される画像である、実世界 1の信号（光の強度の分布）は、所定の関数 Fで表される。なお、以下、この例の実施の形態の説明においては、画像である、実世界 1の信号を、特に光信号と称し、関数 Fを、特に光信号関数 Fと称する。

この例の実施の形態においては、光信号関数 Fで表される実世界 1の光信号が所定の定常性を有する場合、実世界推定部 1 0 2が、センサ 2からの入力画像 (定常性に対応するデータの定常性を含む画像データ）と、データ定常性検出部 1 0 1からのデータ定常性情報（入力画像のデータの定常性に対応するデータ定常性情報）を使用して、光信号関数 Fを所定の関数 f で近似することによって、光信号関数 Fを推定する。なお、以下、この例の実施の形態の説明においては、関数土'を、特に近似関数 f と称する。

換言すると、この例の実施の形態においては、実世界推定部 1 0 2が、近似関数 f で表されるモデル 1 6 1 (図 7 ) を用いて、光信号関数 Fで表される画像 (実世界 1の光信号）を近似（記述）する。従って、以下、この例の実施の形態を、関数近似手法と称する。

ここで、関数近似手法の具体的な説明に入る前に、本願出願人が関数近似手法を発明するに至った背景について説明する。

図 121は、センサ 2が CCDとされる場合の積分効果を説明する図である。図 121で示されるように、センサ 2の平面上には、複数の検出素子 2— 1が配置されている。

図 1 21の例では、検出素子 2- 1の所定の 1辺に平行な方向が、空間方向の 1方向である X方向とされており、 X方向に垂直な方向が、空間方向の他方向である Y方向とされている。そして、 X— Y平面に垂直な方向が、時間方向である t方向とされている。

また、図 121の例では、センサ 2の各検出素子 2— 1のそれぞれの空間的な形状は、 1辺の長さが 1の正方形とされている。そして、センサ 2のシャッタ時間（露光時間）が 1とされている。

さらに、図 1 21の例では、センサ 2の所定の 1つの検出素子 2— 1の中心が、空間方向（X方向と Y方向）の原点（X方向の位置 x = 0、および Y方向の位置 y = 0) とされており、また、露光時間の中間時刻が、時間方向（ t方向）の原点（1方向の位置1 =0) とされている。

この場合、空間方向の原点（x = 0, y = 0) にその中心が存在する検出素子 2— 1は、 X方向に- 0.5乃至 0.5の範囲、 Y方向に- 0.5乃至 0.5の範囲、および t方向に- 0.5乃至 0.5の範囲で光信号関数 F (X, y, t)を積分し、その積分値を画素値 Pとして出力することになる。

即ち、空間方向の原点にその中心が存在する検出素子 2— 1から出力される画素値 Pは、次の式（38) で表される。

^+0.5 ^+0.5 +0.5

P = I — _Λ 0.5 n ^— A 0.5 _c ^ I - Λ0.5 - F(K, y, t)dxdydt

■ · ■ (3 8) その他の検出素子 2— 1も同様に、対象とする検出素子 2— 1の中心を空間方向の原点とすることで、式（3 8 ) で示される画素値 Pを出力することになる。図 1 2 2は、センサ 2の積分効果の具体的な例を説明する図である。

0 1 2 2において、 X方向と Y方向は、センサ 2の X方向と Y方向 (図 1 2

1 ) を表している。

実世界 1の光信号のうちの 1部分 (以下、このような部分を、領域と称する)

2 3 0 1は、所定の定常性を有する領域の一例を表している。

なお、実際には、領域 2 3 0 1は連続した光信号の 1部分（連続した領域）である。これに対して、図 1 2 2においては、領域 2 3 0 1は、 2 0個の小領域 (正方形の領域）に区分されているように示されている。これは、領域 2 3 0 1 の大きさが、 X方向に対して 4個分、かつ Y方向に対して 5個分のセンサ 2の検出素子（画素）が並んだ大きさに相当することを表すためである。即ち、領域 2

3 0 1内の 2 0個の小領域（仮想領域）のそれぞれは 1つの画素に相当する。また、領域 2 3 0 1のうちの図中白い部分は細線に対応する光信号を表している。従って、領域 2 3 0 1は、細線が続く方向に定常性を有していることになる。そこで、以下、領域 2 3 0 1を、細線含有実世界領域 2 3 0 1と称する。

この場合、細線含有実世界領域 2 3 0 1 (実世界 1の光信号の 1部分）がセンサ 2により検出されると、センサ 2からは、積分効果により、入力画像（画素値）の領域 2 3 0 2 (以下、細線含有データ領域 2 3 0 2と称する）が出力される。

なお、細線含有データ領域 2 3 0 2の各画素のそれぞれは、図中、画像として示されているが、実際には、所定の 1つの値を表すデータである。即ち、細線含有実世界領域 2 3 0 1は、センサ 2の積分効果により、所定の 1つの画素値をそれぞれ有する 2 0個の画素 ( X方向に 4画素分、かつ Y方向に 5画素分の総計 2 0個の画素）に区分された細線含有データ領域 2 3 0 2に変化してしまう（歪んでしまう）。

図 1 2 3は、センサ 2の積分効果の具体的な他の例 (図 1 2 2とは異なる例）を説明する図である。図 1 2 3において、 X方向と Y方向は、センサ 2の X方向と Υ方向（図 1 2 1 ) を表している。

実世界 1の光信号の 1部分 (領域) 2 3 0 3は、所定の定常性を有する領域の他の例 (図 1 2 2の細線含有実世界領域 2 3 0 1とは異なる例）を表している。なお、領域 2 3 0 3は、細線含有実世界領域 2 3 0 1と同じ大きさを有する領域である。即ち、細線含有実世界領域 2 3 0 1と同様に、領域 2 3 0 3も、実際には連続した実世界 1の光信号の 1部分（連続した領域）であるが、図 1 2 3においては、センサ 2の 1画素に相当する 2 0個の小領域 (正方形の領域) に区分されているように示されている。

また、領域 2 3 0 3は、所定の第 1の光の強度（値）を有する第 1の部分と、所定の第 2の光の強度（値）を有する第 2の部分のエッジを含んでいる。従って、領域 2 3 0 3は、エッジが続く方向に定常性を有していることになる。そこで、以下、領域 2 3 0 3を、 2値エッジ含有実世界領域 2 3 0 3と称する。

この場合、 2値エッジ含有実世界領域 2 3 0 3 (実世界 1の光信号の 1部分）がセンサ 2により検出されると、センサ 2からは、積分効果により、入力画像 (画素値）の領域 2 3 0 4 (以下、 2値エッジ含有データ領域 2 3 0 4と称する）が出力される。

なお、 2値ェッジ含有データ領域 2 3 0 4の各画素値のそれぞれは、細線含有データ領域 2 3 0 2と同様に、図中、画像として表現されているが、実際には、所定の値を表すデータである。即ち、 2値エッジ含有実世界領域 2 3 0 3は、センサ 2の積分効果により、所定の 1つの画素値をそれぞれ有する 2 0個の画素 ( X方向に 4画素分、かつ Υ方向に 5画素分の総計 2 0個の画素）に区分された 2値ェッジ含有データ領域 2 3 0 4に変化してしまう (歪んでしまう）。

従来の画像処理装置は、このような細線含有データ領域 2 3 0 2や 2値ェッジ含有データ領域 2 3 0 4等、センサ 2から出力された画像データを原点 (基準) とするとともに、画像データを処理の対象として、それ以降の画像処理を行っていた。即ち、センサ 2から出力された画像データは、積分効果により実世界 1の光信号とは異なるもの（歪んだもの）となっているにも関わらず、従来の画像処理装置は、その実世界 1の光信号とは異なるデータを正として画像処理を行ってレヽた。

その結果、従来の画像処理装置では、センサ 2から出力された段階で、実世界のディテールがつぶれてしまった波形（画像データ）を基準として、その波形から、元のディテールを復元することは非常に困難であるという課題があった。そこで、関数近似手法においては、この課題を解決するために、上述したように（図 1 2 0で示されるように）、実世界推定部 1 0 2が、細線含有データ領域 2 3 0 2や 2値エッジ含有データ領域 2 3 0 4のようなセンサ 2から出力された画像データ（入力画像）から、光信号関数 F (実世界 1の光信号）を近似関数 f で近似することによって、光信号関数 Fを推定する。

これにより、実世界推定部 1 0 2より後段において（いまの場合、図 3の画像生成部 1 0 3 ) 、積分効果が考慮された画像データ、即ち、近似関数 f により表現可能な画像データを原点として、その処理を実行することが可能になる。以下、図面を参照して、このような関数近似手法のうちの 3つの具体的な手法 (第 1乃至第 3の関数近似手法）のそれぞれについて個別に説明していく。はじめに、図 1 2 4乃至図 1 3 8を参照して、第 1の関数近似手法について説明する。

図 1 2 4は、上述した図 1 2 2で示される細線含有実世界領域 2 3 0 1を再度表した図である。

図 1 2 4において、 X方向と Y方向は、センサ 2の X方向と Y方向（図 1 2 1 ) を表している。

第 1の関数近似手法は、例えば、図 1 2 4で示されるような細線含有実世界領域 2 3 0 1に対応する光信号関数 F (x，y，t)を X方向（図中矢印 2 3 1 1の方向）に射影した 1次元の波形 (以下、このような波形を、 X断面波形 F (x)と称する）を、 n次（nは、任意の整数）の多項式である近似関数 f (x)で近似する手法である。従って、以下、第 1の関数近似手法を、特に、 1次元多項式近似手法と称する。

なお、 1次元多項式近似手法において、近似の対象となる X断面波形 F(x)ほ、勿論、図 1 24の細線含有実世界領域 230 1に対応するものに限定されない。即ち、後述するように、 1次元多項式近似手法においては、定常性を有する実世界 1の光信号に対応する X断面波形 F(x)であれば、いずれのものでも近似することが可能である。

また、光信号関数 F(x, y， t)の射影の方向は X方向に限定されず、 Y方向または t方向でもよい。即ち、 1次元多項式近似手法においては、光信号関数

F(x, y, t)を Y方向に射影した関数 F(y)を、所定の近似関数 f (y)で近似することも可能であるし、光信号関数 F(x，y，t)を t方向に射影した関数 F(t)を、所定の近似関数 f (t)で近似することも可能である。

より詳細には、 1次元多項式近似手法は、例えば、 X断面波形 F(x)を、次の式（3 9) で示されるような、 n次の多項式である近似関数 f(x)で近似する手法である。

n

f (X) = ₀+ ₁X+W₂X+ . · · +W_nXⁿ = WjX¹

i=0

• · · (3 9) 即ち、 1次元多項式近似手法においては、実世界推定部 10 2が、式（3 9) の） Tiの係数（特徴量） ^ を演算することで、 X断面波形 F(x)を推定する。

この特徴量^の演算方法は、特に限定されず、例えば、次の第 1乃至第 3の方法が使用可能である。

即ち、第 1の方法は、従来から利用されている方法である。

これに対して、第 2の方法は、本願出願人が新たに発明した方法であって、第 1の方法に対して、さらに、空間方向の定常性を考慮した方法である。

しかしながら、後述するように、第 1の方法と第 2の方法においては、センサ 2の積分効果が考慮されていない。従って、第 1の方法または第 2の方法により演算された特徴量を上述した式（3 9) に代入して得られる近似関数 f(x)は、入力画像の近似関数ではあるが、厳密には、 X断面波形 F (x)の近似関数とは言えない。

そこで、本願出願人は、第 2の方法に対して、センサ 2の積分効果をさらに考盧して特徴量^ を演算する第 3の方法を発明した。この第 3の方法により演算された特徴量 ^ を、上述した式 ( 3 9 ) に代入して得られる近似関数 ί' (χ)は、センサ 2の積分効果を考慮している点で、 X断面波形 F (X)の近似関数であると

¾ん c 。

このように、厳密には、第 1の方法と第 2の方法は、 1次元多項式近似手法とは言えず、第 3の方法のみが 1次元多項式近似手法であると言える。

換言すると、図 1 2 5で示されるように、第 2の方法は、 1次元多項式近似手法とは異なる、本発明の実世界推定部 1 0 2の実施の形態である。即ち、図 1 2 5は、第 2の方法に対応する実施の形態の原理を説明する図である。

図 1 2 5で示されるように、第 2の方法に対応する実施の形態においては、光信号関数 Fで表される実世界 1の光信号が所定の定常性を有する場合、実世界推定部 1 0 2が、センサ 2からの入力画像（定常性に対応するデータの定常性を含む画像データ）と、データ定常性検出部 1 0 1からのデータ定常性情報（入力画像のデータの定常性に対応するデータ定常性情報）を使用して、 X断面波形

F (x)を近似するのではなく、センサ 2からの入力画像を所定の近似関数 f₂ (X)で近似する。

このように、第 2の方法は、センサ 2の積分効果を考慮せず、入力画像の近似に留まっている点で、第 3の方法と同一レベルの手法であるとは言い難い。しかしながら、第 2の方法は、空間方向の定常性を考慮している点で、従来の第 1の方法よりも優れた手法である。

以下、第 1の方法、第 2の方法、および第 3の方法のそれぞれの詳細について、その順番で個別に説明していく。

なお、以下、第 1の方法、第 2の方法、およぴ第 3の方法により生成される近似関数 f (x)のそれぞれを、他の方法のものと区別する場合、特に、近似関数 f _L (x) ^ 近似関数 f₂ (x)、および近似関数 f₃ (x)とそれぞれ称する。

はじめに、第 1の方法の詳細について説明する。

第 1の方法においては、上述した式 (3 9) で示される近似関数（X)が、図

1 2 6の細線含有実世界領域 2 3 0 1内で成り立つとして、次の予測方程式（4 0) を定義する。

P(x， y) = (x +e

- · · (40) 式（40) において、 Xは、注目画素からの X方向に対する相対的な画素位置を表している。 yは、注目画素からの Y方向に対する相対的な画素位置を表している。 eは、誤差を表している。具体的には、例えば、いま、図 1 2 6で示されるように、注目画素が、細線含有データ領域 2 3 0 2 (細線含有実世界領域 2 3 0 1 (図 1 24) がセンサ 2により検出されて、出力されたデータ) のうちの、図中、左から X方向に 2画素目であって、下から Y方向に 3画素目の画素であるとする。また、注目画素の中心を原点（0,0)とし、センサ 2の X方向と Y方向 (図 1 2 1) のそれぞれに平行な X軸と y軸を軸とする座標系（以下、注目画素座標系と称する）が設定されているとする。この場合、注目画素座標系の座標値（x，y)が、相対画素位置を表すことになる。

また、式（4 0) において、 P(x，y)は、相対画素位置（x,y)における画素値を表している。具体的には、いまの場合、細線含有データ領域 2 3 0 2内の

P(x, y)は、図 1 2 7で示されるようになる。

図 1 2 7は、この画素値 P(x,y)をグラフ化したものを表している。

図 1 2 7において、各グラフのそれぞれの縦軸は、画素値を表しており、横軸は、注目画素からの X方向の相対位置 Xを表している。また、図中、上から 1 番目のグラフの点線は入力画素値 P , -2)を、上から 2番目のグラフの 3点鎖線は入力画素値 P(x，- 1)を、上から 3番目のグラフの実線は入力画素値 Ρ(χ,0)を、上から 4番目のグラフの 1点鎖線は入力画素値 Ρ ， 1)を、上から 5番目（下から 1番目）のグラフの 2点鎖線は入力画素値 Ρ(χ, 2)を、それぞれ表している。上述した式（40) に対して、図 1 27で示される 20個の入力画素値 P(x, - 2) , P (x, -1) , P ( , 0) , P (x, 1) , P (x, 2) (ただし、 xは、一 1乃至 2のうちのいずれかの整数値) のそれぞれを代入すると、次の式 (4 1) で示される 20個の方程式が生成される。なお、 e_k は、 1乃至 20のうちのいずれかの整数値）のそれぞれは、誤差を表している。

P

• · · (41) 式（41) は、 20個の方程式より構成されているので、近似関数: ^ (x)の特徴量 ^の個数が 20個より少ない場合、即ち、近似関数（X)が 1 9次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量 ^ の算出が可能である。なお、最小自乗法の具体的な解法は後述する。

例えば、いま、近似関数 :）の次数が 5次とされた場合、式（4 1) を利用して最小自乗法により演算された近似関数（X) (演算された特徴量 ^ により生成される近似関数 ^ (x)) は、図 1 28で示される曲線のようになる。

なお、図 1 28において、縦軸は画素値を表しており、横軸は注目画素からの相対位置 Xを表している。

即ち、図 1 26の細線含有データ領域 2302を構成する 20個の画素値

P(x，y)のそれぞれ (図 1 27で示される入力画素値

P (X, -2)， P (x, -1)， P (x, 0)， P (X, 1)， P (x, 2)のそれぞれ) を、例えば、 x軸に沿つてそのまま足しこむ (Y方向の相対位置 yを一定とみなして、図 1 27で示される 5つのグラフを重ねる) と、図 1 28で示されるような、 X軸に平行な複数の線（点線、 3点鎖線、実線、 1点鎖線、および 2点鎖線）が分布する。

ただし、図 1 28においては、点線は入力画素値 P(x，- 2)を、 3点鎖線は入力画素値 P(x,_l)を、実線は入力画素値 P(x，0)を、 1点鎖線は入力画素値 P(x，l) を、 2点鎖線は入力画素値 P(x, 2)を、それぞれ表している。また、同一の画素値の場合、実際には 2本以上の線が重なることになるが、図 1 28においては、各線の区別がつくように、各線のそれぞれが重ならないように描画されている。そして、このように分布した 20個の入力画素値

P ( , -2)， P (X, -1)， P (x， 0) , P (X, 1)， P (x, 2)のそれぞれと、値 (x)の誤差が最小となるような回帰曲線（最小自乗法により演算された特徴量 Wi を上述した式

(38) に代入して得られる近似関数（X) ) 力図 1 28で示される曲線（近似関数となる。

このように、近似関数（X)は、 Y方向の画素値（注目画素からの X方向の相対位置が同一の画素値） Ρ(χ, -2),Ρ(χ, -1),Ρ(χ,0),Ρ(χ, l)，P(x, ²)の平均値を、 X方向に結んだ曲線を単に表しているに過ぎない。即ち、光信号が有する空間方向の定常性を考慮することなく、近似関数 (X)が生成されている。

例えば、いまの場合、近似の対象は、細線含有実世界領域 230 1 (図 1 2 4) とされている。この細線含有実世界領域 230 1は、図 1 29で示されるように、傾き G_Fで表される空間方向の定常性を有している。なお、図 1 2 9において、 X方向と Y方向は、センサ 2の X方向と Y方向 (図 1 2 1) を表している。従って、データ定常性検出部 1 0 1 (図 1 2 0 ) は、空間方向の定常性の傾き G_Fに対応するデータ定常性情報として、図 1 2 9で示されるような角度 0 (傾き G_F に対応する傾き G_f で表されるデータの定常性の方向と、 X方向のなす角度 Θ ) を出力することができる。

しかしながら、第 1の方法においては、データ定常性検出部 1 0 1より出力されるデータ定常性情報は一切用いられていない。

換言すると、図 1 2 9で示されるように、細線含有実世界領域 2 3 0 1の空間方向の定常性の方向は略角度 0方向である。しかしながら、第 1の方法は、細線含有実世界領域 2 3 0 1の空間方向の定常性の方向は Y方向であると仮定して (即ち、角度 0が 9 0度であると仮定して）、近似関数（X)の特徴量^ を演算する方法である。

このため、近似関数（X)は、その波形が鈍り、元の画素値よりディテールが減少する関数となってしまう。換言すると、図示はしないが、第 1の方法により生成される近似関数（X)は、実際の X断面波形 F (x)とは大きく異なる波形となってしまう。

そこで、本願出願人は、第 1の方法に対して、空間方向の定常性をさらに考慮して（角度 0を利用して）特徴量^ を演算する第 2の方法を発明した。

即ち、第 2の方法は、細線含有実世界領域 2 3 0 1の定常性の方向は略角度 0 方向であるとして、近似関数 f₂ (x) の特徴量 _Wi を演算する方法である。

具体的には、例えば、空間方向の定常性に対応するデータの定常性を表す傾き G_f は、次の式（4 2 ) で表される。

G_f = tan θ =

「 dx

• · · ( 4 2 ) なお、式 ( 4 2 ) において、 dxは、図 1 2 9で示されるような X方向の微小移動量を表しており、 dyは、図 1 2 9で示されるような dxに対する Y方向の微小移動量を表している。この場合、シフト量 C_x (y)を、次の式（4 3) のように定義すると、第 2の方法においては、第 1の方法で利用した式（40) に相当する式は、次の式（4 4) のようになる。

C M = 1 · ■ · (4 3)

P(x, y) = fゥ (x— G_x (y; j +e

• · · (44) 即ち、第 1の方法で利用した式（4 0) は、画素の中心の位置（x、y)のうちの X方向の位置 Xが、同一の位置に位置する画素の画素値 P(x, y)はいずれも同じ値であることを表している。換言すると、式（4 0) は、同じ画素値の画素が Y 方向に続いている (Y方向に定常性がある) ことを表している。

これに対して、第 2の方法で利用する式（44) は、画素の中心の位置が， y)である画素の画素値 P(x,y)は、注目画素（その中心の位置が原点（0，0)である画素）から X方向に Xだけ離れた場所に位置する画素の画素値（^f₂ (x)) とは一致せず、その画素からさらに X方向にシフト量 C_x (y)だけ離れた場所に位置する画素（注目画素から X方向に x + C_x (y)だけ離れた場所に位置する画素）の画素値（ (x + C_x (y)) ) と同じ値であることを表している。換言すると、式（4 4) は、同じ画素値の画素が、シフト量 C_x (y)に対応する角度 Θ方向に続いている（略角度 Θ方向に定常性がある）ことを表している。

このように、シフト量 C_x (y)が、空間方向の定常性（いまの場合、図 1 2 9の傾き G_Fで表される定常性（厳密には、傾き G_f で表されるデータの定常性））を考慮した補正量であり、シフト量 C_x (y)により式（4 0) を補正したものが式 (44) となる。

この場合、図 1 2 6で示される細線含有データ領域 2 3 0 2の 2 0個の画素値 P(x,y) (ただし、 Xは、一 1乃至 2のうちのいずれかの整数値。 yは、一 2乃至 2のうちのいずれかの整数値) のそれぞれを、上述した式 (44) に代入すると次の式（45) で示される 20個の方程式が生成される。

P(-1, -2) =f₂(-1-C_x(-2))+e₁

P(0，一 2) =f₂(0-C_x(-2))+e₂

Ρ(Ί, -2) =f₂(1-C_x(-2))+e₃

P(2, -2) =f₂(2-C_x(-2))+e₄

P(-1,-1) =fり（一 1— G_x(-1))+e₅

P(0, -1) =f₂(0-C_x(-1))+e₆

P(1，— 1) =f₂(1-C_x(-1))+e₇

P(2，— 1) =f₂(2-C_x(-1))+e₈

P(-1,0) =f₂(-1)+e₉

P(0,0) =f₂(0)+e₁₀

P(1，0) =f₂(1)+e"

P(2,0) =f₂(2)+e₁₂

P(-1,1) =f₂(-1-C_x(1))+e₁₃

P(0,1) =f₂(0— G_x(1))+e₁₄

P(1,1) =f₂(1-C_x(1))+e₁₅

P(2，1) =f₂(2-C_x(1))+e₁₆

P(-1,2) =f₂(-1-C_x(2))+e₁₇

P(0,2) =f₂(0-C_x(2))+e₁₈

P(1,2) =f₂(1-C_x(2))+e₁₉

P(2,2) =f₂(2-C_x(2))+e₂₀

• ■ · (45) 式（45) は、上述した式（4 1) と同様に、 20個の方程式より構成されている。従って、第 1の方法と同様に第 2の方法においても、近似関数 f₂ (x)の特徴量 ^ の個数が 20個より少ない場合、即ち、近似関数 f₂ (X)が 1 9次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量 ^ の算出が可能である。なお、最小自乗法の具体的な解法は後述する。

例えば、第 1の方法と同様に近似関数 f₂ (X)の次数が 5次とされた場合、第 2 の方法においては、次のようにして特徴量 ^ が演算される。

即ち、図 1 30は、式（45) の左辺で示される画素値 P (x， y)をグラフ化したものを表している。図 1 30で示される 5つのグラフのそれぞれは、基本的に図 1 27で示されるものと同一である。図 1 3 0で示されるように、最大の画素値（細線に対応する画素値）は、傾き G_f で表されるデータの定常性の方向に続いている。

そこで、第 2の方法においては、図 1 3 0で示される

入力画素値 P (x, -2) , P (x, -1) , P (x, 0) , P (x, 1) , P (x， 2)のそれぞれを、例えば、 x軸に沿って足しこむ場合、第 1の方法のようにそのまま足しこむ (yを一定とみなして、図 1 3 0で示される状態のまま 5つのグラフを重ねる) のではなく、図 1 3 1で示される状態に変化させてから足しこむ。

即ち、図 1 3 1は、図 1 3 0で示される

入力画素値 P (x， -2)， P (x, - 1)，P (x，0) , P (x, 1)， P (x, 2)のそれぞれを、上述した式（4 3 ) で示されるシフト量 C_x (y)だけシフトさせた状態を表している。換言すると、図 1 3 1は、図 1 3 0で示される 5つのグラフを、データの定常性の実際の方向を表す傾き G_Fを、あたかも傾き G_F 'とするように（図中、点線の直線を実線の直線とするように）移動させた状態を表している。

図 1 3 1の状態で、入力画素値 P (X, -2) , P (X, - 1)， P (X, 0) , P (x， 1)， P (x, 2)のそれぞれを、例えば、 X軸に沿って足しこむと（図 1 3 1で示される状態で 5つのグラフを重ねると）、図 1 3 2で示されるような、 X軸に平行な複数の線（点線、 3点鎖線、実線、 1点鎖線、および 2点鎖線）が分布する。

なお、図 1 3 2において、縦軸は画素値を表しており、横軸は注目画素からの相対位置 Xを表している。また、点線は入力画素値 P (x，- 2)を、 3点鎖線は入力画素値 P (x，- 1)を、実線は入力画素値 P (x，0)を、 1点鎖線は入力画素値 P (x, 1) を、 2点鎖線は入力画素値 P (x， 2)を、それぞれ表している。さらに、同一の画素値の場合、実際には 2本以上の線が重なることになるが、図 1 3 2においては、各線の区別がつくように、各線のそれぞれが重ならないように描画されている。そして、このように分布した 2 0個の入力画素値 P ( X, y)のそれぞれ (ただし、 Xは、一 1乃至 2のうちのいずれかの整数値。 yは、 — 2乃至 2のうちのいずれかの整数値）と、値 f₂ (x+C_x (y) )の誤差が最小となるような回帰曲線（最小自乗法により演算された特徴量 _Wi を上述した式（3 8 ) に代入して得られる近似関数 f₂ (x) ) は、図 1 3 2の実線で示される曲線 f₂ (_X)となる。

このように、第 2の方法により生成された近似関数 f₂ (x)は、データ定常性検出部 1 0 1 (図 1 2 0 ) より出力される角度 Θ方向（即ち、ほぼ空間方向の定常性の方向）の入力画素値 P (x, y)の平均値を X方向に結んだ曲線を表すことになる。

これに対して、上述したように、第 1の方法により生成された近似関数（X) は、 Y方向（即ち、空間方向の定常性とは異なる方向）の入力画素値 P (x, y)の平均値を、 X方向に結んだ曲線を単に表しているに過ぎない。

従って、図 1 3 2で示されるように、第 2の方法により生成された近似関数 f₂ (x)は、第 1の方法により生成された近似関数（X)よりも、その波形の鈍り度合いが減少し、かつ、元の画素値に対するディテールの減り具合も減少する関数となる。換言すると、図示はしないが、第 2の方法により生成される近似関数 f₂ (X)は、第 1の方法により生成される近似関数（X)よりも実際の X断面波形 F (x)により近い波形となる。

しカゝしながら、上述したように、近似関数 f₂ (x)は、空間方向の定常性が考慮されたものではあるが、入力画像（入力画素値）を原点（基準）として生成されたものに他ならない。即ち、上述した図 1 2 5で示されるように、近似関数 f₂ (x)は、 X断面波形 F (x)とは異なる入力画像を近似したに過ぎず、 X断面波形 F (x)を近似したとは言い難い。換言すると、第 2の方法は、上述した式（4 4 ) が成立するとして特徴量 _Wi を演算する方法であり、上述した式（3 8 ) の関係は考慮していない（センサ 2の積分効果を考慮していない）。

そこで、本願出願人は、第 2の方法に対して、センサ 2の積分効果をさらに考慮することで近似関数 f ₃ (x)の特徴量 ^ を演算する第 3の方法を発明した。即ち、第 3の方法は、空間混合領域の概念を導入した方法である。

第 3の方法の説明の前に、図 1 3 3を参照して、空間混合領域について説明する。

図 1 3 3において、実世界 1の光信号の 1部分 2 3 2 1 (以下、領域 2 3 2 1 と称する）は、センサ 2の 1つの検出素子（画素）と同じ面積を有する領域を表している。

領域 2 3 2 1がセンサ 2に検出されると、センサ 2からは、領域 2 3 2 1が時空間方向（X方向，Υ方向，および t方向）に積分された値（1つの画素値） 2 3 2 2が出力される。なお、画素値 2 3 2 2は、図中、画像として表現されているが、実際には、所定の値を表すデータである。

実世界 1の領域 2 3 2 1は、前景（例えば、上述した細線）に対応する光信号 (図中白い領域）と、背景に対応する光信号（図中黒い領域）に明確に区分される。

これに対して、画素値 2 3 2 2は、前景に対応する実世界 1の光信号と、背景に対応する実世界 1の光信号が積分された値である。換言すると、画素値 2 3 2 2は、前景に対応する光のレベルと背景に対応する光のレベルが空間的に混合されたレベルに対応する値である。

このように、実世界 1の光信号のうちの 1画素（センサ 2の検出素子）に対応する部分が、同一レベルの光信号が空間的に一様に分布する部分ではなく、前景と背景のように異なるレベルの光信号のそれぞれが分布する部分である場合、その領域は、センサ 2により検出されると、センサ 2の積分効果により、異なる光のレベルがあたかも空間的に混合されて（空間方向に積分されて） 1つの画素値となってしまう。このように、前景に対する画像（実世界 1の光信号）と、背景に対する画像（実世界 1の光信号）が空間的に積分されている画素からなる領域を、ここでは、空間混合領域と称している。

従って、第 3の方法においては、実世界推定部 1 0 2 (図 1 2 0 ) 力 S、実世界 1の元の領域 2 3 2 1 (実世界 1の光信号のうちの、センサ 2の 1画素に対応する部分 2 3 2 1 ) を表す X断面波形 F (x)を、例えば、図 1 3 4で示されるような、 1次の多項式である近似関数 f₃ (X)で近似することによって、 X断面波形 F (x)を推定する。

即ち、図 1 3 4は、空間混合領域である画素値 2 3 2 2 (図 1 3 3 ) に対応する近似関数 f₃ (x)、即ち、実世界 1の領域 2 3 3 1内の実線（図 1 3 3) に対応する X断面波形 F ( x ) を近似する近似関数 f₃ (X)の例を表している。図 1 3 4 において、図中水平方向の軸は、画素値 2 3 2 2に対応する画素の左下端 x_sから右下端 X. までの辺（図 1 3 3) に平行な軸を表しており、 X 軸とされている図中垂直方向の軸は、画素値を表す軸とされている。

図 1 34において、近似関数 f₃ (x)を x_s から x_e の範囲（画素幅）で積分したものが、センサ 2から出力される画素値 P (x,y)とほぼ一致する (誤差 eだけ存在する) として、次の式 (4 6) を定義する。

⁹ Θ

r f₃(x)dx+e (w₀+ ₁x+w₂x +… +w_nx ) dx+e

yⁿ __Y ⁿ n+1_ n+1

一 x_s) + · ·■ +w_n——^― +w_{n n+1} +e ■ · · (4 6) いまの場合、図 1 2 9で示される細線含有データ領域 2 3 0 2の 20個の画素値 P (x，y) (ただし、 Xは、 — 1乃至 2のうちのいずれかの整数値。 yは、一 2 乃至 2のうちのいずれかの整数値）から、近似関数 f₃ (X)の特徴量が算出されるので、式（4 6) の画素値 Pは、画素値 P(x,y)となる。

また、第 2の方法と同様に、空間方向の定常性も考慮する必要があるので、式 (4 6) の積分範囲の開始位置 x_s と終了位置 x_e のそれぞれは、シフト量 C_x (y) にも依存することになる。即ち、式（4 6) の積分範囲の開始位置 x_s と終了位置 x_eのそれぞれは、次の式（4 7) のように表される。

x_s = x-C_x (y) -0.5

χ_Ω = x-C_v(y) +0.5

· · · (4 7) この場合、図 1 2 9で示される細線含有データ領域 2 3 0 2の各画素値それぞれ、即ち、図 1 3 0で示される入力画素値 P(x，- 2)，P(x， - 1) , P (x， 0)， P (x， 1)， P (x， 2)のそれぞれ (ただし、 xは、一 1乃至 2のうちのいずれかの整数値）を、上述した式（46) (積分範囲は、上述した式（47) ) に代入すると次の式 (48) で示される 20個の方程式が生成される。

«-1-C_x(-2) +0.5 _f 、

p (一 ι，— _Cx(— ₂₎一 0.₅ ，

.

d^X+e3， dx+e₄， P )dx+e

³

r0-C_x{-1)+0.5 ヽ丄

P(0, -1 Jo-c_x(-i)-o.5 ^f3(x)dx+e₆，

_Γ1-0_χΗ)+0.5^ _t 、」

P(1, -1 '1-C_x(」- 一 ₃(x)dx+e₇,

1、 f

-0.5

_Γ-1+0.5 、

P(-1,0 J -1-0.5 ^f3(x)dx+e₉， f₃(x)dx+e₁₀,

P(1'0)

f3(x)dx+e"，

P(2,0) =J₂_₀_₅ f₃(x)dx+e₁₂， ( ₁₃， P⁽⁰， ¹) 3^{(x) dX+e}1 - P⁽¹， ^{1 )} 3^{(x) dX+e}15-

^Ρ(2'¹⁾ (x)dx+e₁₆，

^P(-¹'²⁾

¾(x)dx+e₁₇， o-c_x(2)-o.5 f3(x)dx+e₁₈，

广 *22--CC_xx〈〈22)) ++00..E5 、

^P(2'²⁾ =J 22--Cc_x..^(2) --00.55 f₃(x)dx+e₂₀

■ · · (48) 式（48) は、上述した式（45) と同様に、 20個の方程式より構成されている。従って、第 2の方法と同様に第 3の方法においても、近似関数 f₃ (X)の特徴量 _Wi の個数が 20個より少ない場合、即ち、近似関数 f₃ (x)が 1 9次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量 ^ の算出が可能である。なお、最小自乗法の具体的な解法は後述する。

例えば、近似関数 f₃ (X)の次数が 5次とされた場合、式 (48 ) を利用して最小自乗法により演算された近似関数 f ₃ (X) (演算された特徴量 ^ により生成される近似関数 f₃ (x)) は、図 1 3 5の実線で示される曲線のようになる。

なお、図 1 3 5において、縦軸は画素値を表しており、横軸は注目画素からの相対位置 Xを表している。図 1 3 5で示されるように、第 3の方法により生成された近似関数（X) (図中、実線で示される曲線）は、第 2の方法により生成された近似関数 f ₂ (X) (図中、点線で示される曲線）と比較すると、 x = 0における画素値が大きくなり、また、曲線の傾斜の度合いも急な波形となる。これは、入力画素よりディティルが増加して、入力画素の解像度とは無関係となっているためである。即ち、近似関数 f₃ (x) は、 X断面波形 F (x)を近似していると言える。従って、図示はしないが、近似関数 f₃ (x)は、近似関数 f₂ )よりも X断面波形 F (_X)に近い波形となる。

図 1 3 6は、このような 1次多項式近似手法を利用する実世界推定部 1 0 2の構成例を表している。

図 1 3 6において、実世界推定部 1 0 2は、例えば、特徴量 ^ を上述した第 3の方法（最小自乗法）により演算し、演算した特徴量を利用して上述した式（3 9 ) の近似関数 f (x)を生成することで、 X断面波形 F (x)を推定する。

図 1 3 6で示されるように、実世界推定部 1 0 2には、条件設定部 2 3 3 1、入力画像記憶部 2 3 3 2、入力画素値取得部 2 3 3 3、積分成分演算部 2 3 3 4、正規方程式生成部 2 3 3 5、および近似関数生成部 2 3 3 6が設けられている。条件設定部 2 3 3 1は、注目画素に対応する X断面波形 F (x)を推定するために使用する画素の範囲（以下、タップ範囲と称する）や、近似関数 f (x)の次数 nを設定する。

入力画像記憶部 2 3 3 2は、センサ 2からの入力画像（画素値）を一次的に格納する。

入力画素値取得部 2 3 3 3は、入力画像記憶部 2 3 3 2に記憶された入力画像のうちの、条件設定部 2 2 3 1により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部 2 3 3 5に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テ一ブルの具体例については後述する。ところで、ここでは、実世界推定部 10 2は、上述した式（46) と式（4 7) を利用して最小自乗法により近似関数 f(x)の特徴量 Wi を演算するが、上述した式 (46) は、次の式 (49) のように表現することができる。

X

P( ， y) 6 i

n (x-C_x(y) +0.5)ⁱ⁺¹-(x-C_x(y) -0.5)^ί+1

=∑ Wj x

S i —： +e

i=0 ^{1 + 1}

=∑ W| xSi (x_s, g) +e

i=0

• · · (49) 式（49) において、 Si (x_s,x_e) は、 i 次項の積分成分を表している。即ち. 積分成分 Si (x_s，x_e)は、次の式 (50) で示される。

Sj(X_s，X_e〉 =

(50) 積分成分演算部 2334は、この積分成分 Si (x_s、x_e)を演算する。

具体的には、式（50) で示される積分成分 Si (x_s，x_e) (ただし、値 x_s と値 x_eは、上述した式（46) で示される値）は、相対画素位置（x,y)、シフト量 C_x (y)、および、 i次項の iが既知であれば演算可能である。また、これらのうちの、相対画素位置（x,y)は注目画素とタップ範囲により、シフト量 C_x (y)は角度 0により（上述した式（4 1) と式（43) により）、 iの範囲は次数 nにより、それぞれ決定される。

従って、積分成分演算部 2 334は、条件設定部 233 1により設定されたタップ範囲および次数、並びにデータ定常性検出部 10 1より出力されたデータ定常性情報のうちの角度 Θに基づいて積分成分 Si (x_s，x_e)を演算し、その演算結果を積分成分テーブルとして正規方程式生成部 23 35に供給する。

正規方程式生成部 23 3 5は、入力画素値取得部 23 3 3より供給された入力画素値テーブルと、積分成分演算部 2334より供給された積分成分テーブルを利用して、上述した式（4 6 ) 、即ち、式（4 9 ) の右辺の特徴量を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部 2 3 3 6に供給する。なお、正規方程式の具体例については後述する。近似関数生成部 2 3 3 6は、正規方程式生成部 2 3 3 5より供給された正規方程式テーブルに含まれる正規方程式を行列解放で解くことにより、上述した式 ( 4 9 ) の特徴量 Wi (即ち、 1次元多項式である近似関数 f (x)の係数 Wi ) のそれぞれを演算し、画像生成部 1 0 3に出力する。

次に、図 1 3 7のフローチャートを参照して、 1次元多項式近似手法を利用する実世界推定部 i 0 2 (図 1 3 6 ) の実世界の推定処理（図 4 0のステップ S 1 0 2の処理）について説明する。

例えば、いま、センサ 2から出力された 1フレームの入力画像であって、上述した図 1 2 2の細線含有データ領域 2 3 0 2を含む入力画像が、既に入力画像記憶部 2 3 3 2に記憶されているとする。また、データ定常性検出部 1 0 1が、ステツプ S 1 0 1 (図 4 0 ) の定常性の検出の処理において、細線含有データ領域 2 3 0 2に対してその処理を施して、データ定常性情報として角度 0を既に出力しているとする。

この場合、図 1 3 7のステップ S 2 3 0 1において、条件設定部 2 3 3 1は、条件（タップ範囲と次数）を設定する。

例えば、いま、図 1 3 8で示されるタップ範囲 2 3 5 1が設定されるとともに、次数として 5次が設定されたとする。

即ち、図 1 3 8は、タップ範囲の一例を説明する図である。図 1 3 8において、 X方向と Y方向は、センサ 2の X方向と Y方向 (図 1 2 1 ) を表している。また、タップ範囲 2 3 5 1は、 X方向に 4画素分、かつ Y方向に 5画素分の総計 2 0個の画素 (図中、 2 0個の正方形) からなる画素群を表している。

さらに、図 1 3 8で示されるように、注目画素が、タップ範囲 2 3 5 1のうちの、図中、左から 2画素目であって、下から 3画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置（x，y) (注目画 TJP2004/001585

141

素の中心（0,0)を原点とする注目画素座標系の座標値）に応じて、図 1 38で示されるような番号 1 (1は、 0乃至 1 9のうちのいずれかの整数値）が付されるとする。

図 1 37に戻り、ステップ S 230 2において、条件設定部 233 1は、注目画素を設定する。

ステップ S 230 3において、入力画素値取得部 2 33 3は、条件設定部 23 3 1により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部 23 33は、細線含有データ領域 2302 (図 126) を取得し、入力画素値テーブルとして、 20個の入力画素値 P(l)からなるテーブルを生成する。

なお、いまの場合、入力画素値 P(l)と、上述した入力画素値 P(x，y)の関係は、次の式（5 1) で示される関係とされる。ただし、式（5 1) において、左辺が入力画素値 P ( 1 ) を表し、右辺が入力画素値 P(x，y)を表している。

P(0) = P(0,0)

P(1) = II P(-1,2)

P(2) = II II 11 P(0,2)

P(3) = P(1 o r,一2)

P(4)

P(5) = P(-1,1 h) 、 ^_

PC6) = P(0,1)

P(7) = P(1,1)

P(8) = P(2,1)

P(9) = P(-1,0)

P(10) = P(1,0)

P(11) = P(2,0)

P(12) = P(-1, -1)

P(13) = P(0，一 1)

P(14) = P(1, -1)

P(15)

P(16) = P(— 1,— 2)

P(17)

P(18) = P(1, -2)

P(19)

• · · (5 1) ステップ S 2304において、積分成分演算部 23 34は、条件設定部 233 1により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部 101より供給されたデータ定常性情報（角度 Θ) に基づいて積分成分を演算し- 積分成分テーブルを生成する。

いまの場合、上述したように、入力画素値は、 P(x,y)でなく P(l)といった、画素の番号 1の値として取得されるので、積分成分演算部 23 34は、上述した式 (50) の積分成分 Si (x_s,x_e)を、次の式（5 2) の左辺で示される稍分成分 Si (1)といった 1の関数として演算する。

S; ( 1 ) = Si (x_s,x_e) ■ ■ ■ (5 2)

具体的には、いまの場合、次の式 (53) で示される積分成分 Si (1)が演算される。 -0.5-C_x(2))

)

.5-C_x(D)

.5-C_X(D) O

), -0.5-C_x(-D)

Sj (13) -s (-0.5-0_χ(-1),0.5-0_χ(-1))

Sj (14) =s (0.5-C_x(-1), 1.5-C_x(-D)

Sj (15) =s (1.5-C_X(-1),2.5-C_X(-D)

Sj (16) =s (-1.5-C_x(-2), -0.5-C_x(-2))

Sj (17) =s j(-0.5-C_x(-2),0.5-C_x(-2))

Sj (18) =s i(0.5-G_x(-2),1.5-C_x(-2))

Sj (19) =s i(1.5-C_x(-2),2.5-C_x(-2))

- · · ( 5 3) なお、式（5 3) において、左辺が積分成分 Si ( 1 )を表し、右辺が積分成分 Si (x_{s >} x_e)を表している。即ち、いまの場合、 iは 0乃至 5であるので、 2 0個の S。（1)， 2 0個の Si (1), 2 0個の S₂ (1), 2 0個の S₃ (1), 2 0個の S₄ (1), 2 0 個の S₅ (1)の総計 1 2 0個の Si (1)が演算されることになる。

より具体的には、はじめに、積分成分演算部 2 3 3 4は、データ定常性検出部 1 0 1より供給された角度 Θを使用して、

シフト量 C_x (- 2)，C_X (- 1)，C_X (1), C_X (2)のそれぞれを演算する。次に、積分成分演算部 2 3 3 4は、演算したシフト量 C_x (- 2), C_X (-1)，C_X (1), C_X (²)を使用して式（5 2) の右辺に示される 2 0個の積分成分 Si ( ，）のそれぞれを、 i=0 乃至 5のそれぞれについて演算する。即ち、 1 2 0個の積分成分 Si (x_s , x_e)が演算される。なお、この積分成分 Si (x_s,x_e)の演算においては、上述した式（5 0) が使用される。そして、積分成分演算部 23 34は、式（53) に従って、

5∑ ：

演算した 1 20個の積分成分 Si (x_s,x_e)のそれぞれを、対応する積分成分 Si (1) に変換し、変換した 1 20個の積分成分 Si (1)を含む積分成分テーブルを生成する。

なお、ステップ S 2303の処理とステップ S 2304の処理の順序は、図 1 37の例に限定されず、ステップ S 2304の処理が先に実行されてもよいし、

S 2303の処理とステップ S 2304の処理が同時に実行されてもよい。

次に、ステップ S 23◦ 5において、正規方程式生成部 23 3 5は、ステップ S 2303の処理で入力画素値取得部 23 33により生成された入力画素値テーブルと、ステップ S 2304の処理で積分成分演算部 23 34により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。

具体的には、いまの場合、最小自乗法により、上述した式 s s o 1（49) に対応する次の式（54) の特徴量を演算する。で、それに対応する正規方程式は、次の式 (5 5) のように表される。

P(l) xS; -e

(54)

S_n(l)P{l)

· · · (55) なお、式（5 5) において、 Lは、タップ範囲の画素の番号 lのうちの最大値を表している。 nは、多項式である近似関数 f(x)の次数を表している。具体的には、いまの場合、 n=5となり、 L=l 9となる。

式 (55) で示される正規方程式の各行列のそれぞれを、次の式 (5 6) 乃至 (58) のように定義すると、正規方程式は、次の式 (5 9) のように表される _c ₀(l)S_n(l)

n(i)s_n、

(56)

(5 7)

(5 8)

¾T¾T =

(5 9) 式（5 7) で示されるように、行列 W_MATの各成分は、求めたい特徴量 ^である。従って、式（5 9) において、左辺の行列 S_MAT と右辺の行列 P_MATが決定されれば、行列解法によって行列 W_MAT (即ち、特徴量^) の算出が可能であ。

具体的には、式 (5 6) で示されるように、行列 S_MAT の各成分は、上述し十/ 積分成分 Si (1)が既知であれば演算可能である。積分成分 Si (1)は、積分成分演算部 2 3 3 4より供給された積分成分テープルに含まれているので、正規方程式生成部 2 3 3 5は、積分成分テーブルを利用して行列 S_MAT の各成分を演算することができる。

また、式（5 8) で示されるように、行列 P_MAT の各成分は、積分成分 Si (1) と入力画素値 P(l)が既知であれば演算可能である。積分成分 Si (1)は、行列 S _MATの各成分に含まれるものと同一のものであり、また、入力画素値 P(l)は、入力画素値取得部 2 3 3 3より供給された入力画素値テーブルに含まれているので、正規方程式生成部 2 3 3 5は、積分成分テーブルと入力画素値テーブルを利用して行列 P_MAr の各成分を演算することができる。

このようにして、正規方程式生成部 2 3 3 5は、行列 S_MAT と行列 P_MAT の各成分を演算し、その演算結果（行列 S_MAT と行列 P_MATの各成分）を正規方程式テーブルとして近似関数生成部 2 3 3 6に出力する。

正規方程式生成部 2 3 3 5より正規方程式テーブルが出力されると、ステップ S 2 3 0 6において、近似関数生成部 2 3 3 6は、正規方程式テーブルに基づいて、上述した式（5 9) の行列 W_MAT の各成分である特徴量 _Wi (即ち、 1次元多項式である近似関数 f(x)の係数 Wi) を演算する。

具体的には、上述した式 (5 9) の正規方程式は、次の式 (6 0) のように変形できる。隨 = ¾AT AT

• · · (6 0) 式（60) において、左辺の行列 W_MAT の各成分が、求めたい特徴量 ^ である。また、行列 S_MAT と行列 P_MAT のそれぞれの各成分は、正規方程式生成部 2 3 35より供給された正規方程式テーブルに含まれている。従って、近似関数生成部 23 3 6は、正規方程式テーブルを利用して、式（60) の右辺の行列演算を行うことで行列 W_MAT を演算し、その演算結果（特徴量 _Wi) を画像生成部 1 0 3に出力する。

ステップ S 230 7において、近似関数生成部 23 36は、全画素の処理を終了したか否かを判定する。

ステップ S 2 307において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 2302に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 23 02乃至 S 2307の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 2 307において、全画素の処理が終了されたと判定されると）、実世界 1の推定処理は終了となる。

なお、以上のようにして演算された係数（特徴量） _Wi により生成される近似関数 f(x)の波形は、上述した図 1 35の近似関数 f₃ (x)のような波形となる。このように、 1次元多項式近似手法においては、 1次元の X断面波形 F(x)と同一形状の波形が定常性の方向に連なっていると仮定して、 1次元の多項式である近似関数 f(x)の特徴量が演算される。従って、 1次元多項式近似手法においては、他の関数近似手法に比較して、少ない演算処理量で近似関数 f(x)の特徴量の算出が可能となる。

換言すると、 1次元多項式近似手法においては、例えば、図 1 20 (図 3) のデータ定常性検出部 1 0 1が、それぞれ時空間積分効果を有する、センサの複数の検出素子（例えば、図 1 2 1のセンサ 2の検出素子 2— 1) により実世界 1の光信号 (例えば、図 1 22の実世界 1の光信号の 1部分 230 1) が射影され、実世界 1の光信号の定常性（例えば、図 1 29の傾き G_F で表される定常性）の一部が欠落した、検出素子 2— 1により射影された画素値（例えば、図 1 27の各グラフに示される入力画素値 P (X, y) ) を有する複数の画素からなる画像データ（例えば、図 1 2 2の画像データ（入力画像の領域） 2 3 0 2 ) におけるデータの定常性 (例えば、図 1 2 9の傾き G_f で表されるデータの定常性）を検出する。

例えば、図 1 2 0 (図 3 ) の実世界推定部 1 0 2は、データ定常性検出部 1 0 1により検出されたデータの定常性に対応して、画像データの時空間方向のうち 1次元方向 (例えば、図 1 2 4の矢印 2 3 1 1、即ち、 X方向) の位置に対応する画素の画素値 (例えば、上述した式 ( 4 6 ) の左辺である入力画素値 P ) が、 1次元方向の積分効果により取得された画素値（例えば、式（4 6 ) の右辺に示されるように、近似関数 f₃ (X)が X方向に積分された値）であるとして、実世界 1の光信号を表す光信号関数 F (具体的には、 X断面波形 F ( X ) ) を所定の近似関数 f (具体的には、例えば、図 1 3 5の近似関数 f ₃ (X) ) で近似することで、光信号関数 Fを推定する。

詳細には、例えば、実世界推定部 1 0 2は、定常性検出手部 1 0 1により検出されたデータの定常性に対応する線（例えば、図 1 3 1の傾き G_f に対応する線 (点線））からの 1次元方向（例えば、 X方向）に沿った距離（例えば、図 1 3 1のシフト量 Cx (y) ) に対応する画素の画素値が、 1次元方向の積分効果により取得された画素値（例えば、上述した式（4 6 ) に示されるような積分範囲で、式（4 6 ) の右辺に示されるように、近似関数 f ₃ (X)が X方向に積分された値）であるとして、光信号関数 Fを近似関数 f で近似することにより、光信号関数 F を推定する。

従って、 1次元多項式近似手法においては、他の関数近似手法に比較して、少ない演算処理量で近似関数 f (x)の特徴量の算出が可能となる。

次に、図 1 3 9乃至図 1 4 5を参照して、第 2の関数近似手法について説明する。

即ち、第 2の関数近似手法とは、例えば、図 1 3 9で示されるような、傾き G_Fで表される空間方向の定常性を有する実世界 1の光信号を、 X— Y平面上 (空間方向の 1方向である X方向と、 X方向に垂直な Y方向に水平な平面上）の波形 F (X, y)とみなし、 2次元の多項式である近似関数 f (x, y)で波形 F (x， y)を近似することによって、その波形 F (x, y)を推定する手法である。従って、以下、第 2の関数近似手法を、 2次元多項式近似手法と称する。

なお、図 1 3 9において、図中、水平方向は、空間方向の 1方向である X方向を、右上方向は、空間方向の他方向である Y方向を、垂直方向は、光のレベルを、それぞれ表している。 G_Fは、空間方向の定常性の傾きを表している。

また、 2次元多項式近似手法の説明においても、センサ 2は、図 1 4 0で示されるような、複数の検出素子 2— 1がその平面上に配置されて構成される C C D とされる。

図 1 4 0の例では、検出素子 2— 1の所定の 1辺に平行な方向が、空間方向の 1方向である X方向とされており、 X方向に垂直な方向が、空間方向の他方向である Y方向とされている。そして、 X— Y平面に垂直な方向が、時間方向である t方向とされている。

また、図 1 4 0の例では、センサ 2の各検出素子 2— 1のそれぞれの空間的な形状は、 1辺の長さが 1の正方形とされている。そして、センサ 2のシャツタ時間（露光時間）が 1とされている。

さらに、図 1 4 0の例では、センサ 2の所定の 1つの検出素子 2— 1の中心が、空間方向（X方向と Y方向）の原点（X方向の位置 x = 0、および Y方向の位置 y = 0 ) とされており、また、露光時間の中間時刻が、時間方向（t方向）の原点（1方向の位置1 = 0 ) とされている。

この場合、空間方向の原点（x = 0， y = 0 ) にその中心が存在する検出素子 2— 1は、 X方向に- 0. 5乃至 0. 5の範囲、 Y方向に- 0. 5乃至 0. 5の範囲、および t方向に- 0. 5乃至 0. 5の範囲で光信号関数 F (x, y, t)を積分し、その積分値を画素値 Pとして出力することになる。

即ち、空間方向の原点にその中心が存在する検出素子 2 — 1から出力される画素直 Pは、次の式（6 1〉で表される。 X+0.5 广 +0,5 r+0.5

-0.51θ.5 -0.5 F(X，y，t)d_Xd_ydt

• · · (6 1) その他の検出素子 2— 1も同様に、対象とする検出素子 2— 1の中心を空間方向の原点とすることで、式 (6 1) で示される画素値 Pを出力することになる。ところで、上述したように、 2次元多項式近似手法は、実世界 1の光信号を、例えば、図 1 3 9で示されるような波形 F(x，y)として扱い、その 2次元の波形 F(x,y)を、 2次元の多項式である近似関数 f (x, y)に近似する手法である。

そこで、はじめに、このような近似関数 f(x，y)を 2次元の多項式で表現する手法について説明する。

上述したように、実世界 1の光信号は、 3次元の空間上の位置 x，y、および z、並びに時刻 tを変数とする光信号関数 F(x，y, t)で表される。この光信号関数

F(x,y，t)を、 Y方向の任意の位置 yにおいて、 X方向に射影した 1次元の波形を、ここでは、 X断面波形 F(_X)と称している。

この X断面波形 F (x) に注目すると、実世界 1の信号が、空間方向の所定の方向に定常性を有している場合、 X断面波形 F ( X ) と同一形状の波形がその定常性の方向に連なっていると考えることができる。例えば、図 1 3 9の例では、 X断面波形 F ( X ) と同一形状の波形が、傾き G_Pの方向に連なっている。換言すると、 X断面波形 F ( X) と同一形状の波形が傾き G_Fの方向に連なって、波形 F(x, y)が形成されているとも言える。

従って、波形 F(x, y)を近似する近似関数 f (_X, y)の波形は、 X断面波形 F(x) を近似する近似関数 f(x)と同一形状の波形が連なって形成されると考えることで、近似関数 f (X, y)を 2次元の多項式で表現することが可能になる。

さらに詳細に、近似関数 f(x，y)の表現方法について説明する。

例えば、いま、上述した図 1 3 9で示されるような、実世界 1の光信号、即ち、傾き G_Fで表される空間方向の定常性を有する光信号が、センサ 2 (図 140) により検出されて入力画像（画素値）として出力されたとする。さらに、図 1 4 1で示されるように、データ定常性検出部 1 0 1 (図 3) 、この入力画像のうちの、 X方向に 4画素分、かつ Y方向に 5画素分の総計 20個の画素 (図中、点線で表される 20個の正方形) から構成される入力画像の領域 240 1に対してその処理を実行し、データ定常性情報の 1つとして角度 Θ (傾き G_F に対応する傾き G_f で表されるデータの定常性の方向と、 X方向とのなす角度 0 ) を出力したとする。

なお、入力画像の領域 240 1において、図中水平方向は、空間方向の 1方向である X方向を表しており、図中垂直方向は、空間方向の他方向である Y方向を表している。

また、図 1 4 1中、左から 2画素目であって、下から 3画素目の画素が注目画素とされ、その注目画素の中心を原点（0,0)とするように（x,y)座標系が設定されている。そして、原点（0,0)を通る角度 0の直線（データの定常性の方向を表す傾き G_f の直線）に対する X方向の相対的な距離（以下、断面方向距離と称する）が x'と記述されている。

さらに、図 1 4 1中、右側のグラフは、 X断面波形 F(x')が近似された関数であって、 n次（n は、任意の整数）の多項式である近似関数 f(x')を表している c 右側のグラフの軸のうち、図中水平方向の軸は、断面方向距離を表しており、図中垂直方向の軸は、画素値を表している。

この場合、図 1 4 1で示される近似関数 f(x')は、 n次の多項式であるので、次の式（6 2) のように表される。

π

f (X，) = WQ+W^' +W₂X' +… +W_nX，ⁿ = ∑ WjX"

i=0

• · · (6 2) また、角度 0が決定されていることから、原点（0,0)を通る角度 0の直線は一意に決まり、 Y方向の任意の位置 yにおける、直線の X方向の位置力次の式（6 3) のように表される。ただし、式（6 3) において、 sは cot eを表している。 _Xl = s X y ■ · · (6 3)

即ち、図 141で示されるように、傾き G_f で表されるデータの定常性に対応する直線上の点は、座標値， y)で表される。

式（63) より、断面方向距離 x'は、次の式（64) のように表される。

x， = X— X！ = X— s X y ■ - ■ (64)

従って、入力画像の領域 240 1内の任意の位置（x,y)における近似関数 f (x,y)は、式（6 2) と式（64) より、次の式 (6 5) のように示される。

π .

f (X, y; = j; Wj (x-s )¹

i=0

• · · (65) なお、式（65) において、 Wi は、近似関数 f(x，y)の係数を表している。なお、近似関数 f(x,y)を含む近似関数 ίの係数 ^ を、近似関数 f の特徴量と位置づけることもできる。従って、以下、近似関数 f の係数 ^ を、近似関数 f の特徴量とも称する。

このようにして、角度 0が既知であれば、 2次元波形の近似関数 f(x，y)を、式（6 5) の多項式として表現することができる。

従って、実世界推定部 1 02は、式（6 5) の特徴量 wiを演算することができれば、図 1 39で示されるような波形 F(x，y)を推定することができる。

そこで、以下、式（6 5) の特徴量を演算する手法について説明する。

即ち、式（6 5) で表される近似関数 f (x,y)を、画素（センサ 2の検出素子 2- 1 (図 140) ) に対応する積分範囲（空間方向の積分範囲）で積分すれば、その積分値が、画素の画素値の推定値となる。このことを、式で表現したものが、次の式 (6 6) である。なお、 2次元多項式近似手法においては、時間方向 tは一定値とみなされるので、式（66) は、空間方向（X方向と Y方法）の位置 x， yを変数とする方程式とされている。 ^p(x' y)

¹ sxy)'+e

i—0 • · · ( 6 6 ) 式（6 6 ) において、 P (x，y)は、センサ 2からの入力画像のうちの、その中心位置が位置（x，y) (注目画素からの相対位置（x, y) ) に存在する画素の画素値を表している。また、 eは、誤差を表している。

このように、 2次元多項式近似手法においては、入力画素値 P (x, y)と、 2次元の多項式である近似関数 f (X, y)の関係を、式（6 6 ) で表現することが可能であるので、実世界推定部 1 0 2は、式（6 6 ) を利用して、特徴量を、例えば、最小自乗法等により演算することで（演算した特徵量 wiを式（6 4 ) に代入して近似関数 f (x， y)を生成することで) 、 2次元の関数 F (x，y) (傾き G_F (図 1 3 9 ) で表される空間方向の定常性を有する実世界 1の光信号を、空間方向に着目して表した波形 F (_X，y) ) を推定することが可能となる。

図 1 4 2は、このような 2次元多項式近似手法を利用する実世界推定部 1 0 2 の構成例を表している。

図 1 4 2で示されるように、実世界推定部 1 0 2には、条件設定部 2 4 2 1、入力画像記憶部 2 4 2 2、入力画素値取得部 2 4 2 3、積分成分演算部 2 4 2 4、正規方程式生成部 2 4 2 5、および近似関数生成部 2 4 2 6が設けられている。条件設定部 2 4 2 1は、注目画素に対応する関数 F (x，y)を推定するために使用する画素の範囲（タップ範囲）や、近似関数 f (x，y)の次数 nを設定する。

入力画像記憶部 2 4 2 2は、センサ 2からの入力画像（画素値）を一次格納する。

入力画素値取得部 2 4 2 3は、入力画像記憶部 2 4 2 2に記憶された入力画像のうちの、条件設定部 2 4 2 1により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部² 4 2 5に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。

ところで、上述したように、 2次元多項式近似手法を利用する実世界推定部 1 0 2は、上述した式（6 6) を最小自乗法で解くことにより、上述した式（6

5) で示される近似関数 f (x,y)の特徴量 ^ を演算する。

式 (6 6) は、次の式 (6 7) 乃至式 (6 9) を用いることで得られる次の式 (70) を使用することで、次の式（7 1 ) のように表現することができる。

X

X¹ dx =

+1

(6 7)

(6 8)

(6 9)

J

(70) P(x,y) =

i

- (x+0.5-sxy-0.5s)^l+2-(x-0.5-s x y+0.5s)^l+2 + (x-0.5-s x y-0.5s)ⁱ⁺²] +e

n

= ∑ WjSj (x-0.5， x+0.5, y-0.5, y+0.5) +e

i=0

… (71) 式（ 7 1 ) において、 Si (x-0.5, x+0.5， y-0.5， y+0.5) は、 i次項の積分成分を表している。即ち、積分成分 Si (x-0.5, x+0.5, y-0.5, y+0.5) は、次の式 (72) で示される通りである。.

S; (x-0.5， x+0.5, y-0.5, y+0.5) =

(x+0.5-s xy+0.5s)ⁱ⁺² - (x+0, 5-s xv-0.5s)^i+z - (x-0.5-s x y+0, 5s)ⁱ⁺² + (x-0.5-s xy-0.5s)ⁱ⁺²

一一 s(i+1)(i+2)

• · · (72) 積分成分演算部 2424は、この積分成分 Si (X- 0.5, x+0.5， y_0.5， y+0.5) を演算する。

具体的には、式（72) で示される

積分成分 Si (x-0.5, x+0.5, y-0.5, y+0.5) は、相対画素位置（x, y)、上述した式 (6 5) における変数 s、および、 i次項の iが既知であれば、演算可能である。これらのうちの、相対画素位置（x，y)は注目画素とタップ範囲により、変数 sは cot Θであるので角度 0により、 i の範囲は次数 n により、それぞれ決定される _c 従って、積分成分演算部 2424は、条件設定部 242 1により設定されたタップ範囲および次数、並びにデータ定常性検出部 1 0 1より出力されたデータ定常性情報のうちの角度 Θに基づいて積分成分 Si (x-0.5, x+0.5, y-0.5, y+0.5) を演算し、その演算結果を積分成分テーブルとして正規方程式生成部 2425に供給する。

正規方程式生成部 2425は、入力画素値取得部 242 3より供給された入力画素値テーブルと、積分成分演算部 2 4 2 4より供給された積分成分テーブルを利用して、上述した式（6 6 ) 、即ち、式（7 1 ) を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テ一ブルとして近似関数生成部 2 4 2 6 に出力する。なお、正規方程式の具体例については後述する。

近似関数生成部 2 4 2 6は、正規方程式生成部 2 4 2 5より供給された正規方程式テーブルに含まれる正規方程式を行列解放で解くことにより、上述した式

( 6 6 ) の特徴量 _Wi (即ち、 2次元多項式である近似関数 f (X, y)の係数 Wi ) のそれぞれを演算し、画像生成部 1 0 3に出力する。

次に、図 1 4 3のフローチャートを参照して、 2次元多項式近似手法が適用される実世界の推定処理（図 4 0のステップ S 1 0 2の処理）について説明する。例えば、いま、傾き G_Fで表される空間方向の定常性を有する実世界 1の光信号が、センサ 2 (図 1 4 0 ) により検出されて、 1フレームに対応する入力画像として、入力画像記憶部 2 4 2 2に既に記憶されているとする。また、データ定常性検出部 1 0 1が、ステップ S 1 0 1 (図 4 0 ) の定常性の検出の処理において、入力画像のうちの、上述した図 1 4 1で示される領域 2 4 0 1に対して処理を施して、データ定常性情報として角度 eを既に出力しているとする。

この場合、ステップ S 2 4 0 1において、条件設定部 2 4 2 1は、条件（タツプ範囲と次数）を設定する。

例えば、いま、図 1 4 4で示されるタップ範囲 2 4 4 1が設定されるとともに、次数として 5次が設定されたとする。

即ち、図 1 4 4は、タップ範囲の一例を説明する図である。図 1 4 4において、 X方向と Y方向は、センサ 2の X方向と Y方向 (図 1 4 0 ) を表している。また、タップ範囲 2 4 4 1は、 X方向に 4画素分、かつ Y方向に 5画素分の総計 2 0個の画素 (図中、 2 0個の正方形) からなる画素群を表している。

さらに、図 1 4 4に示されるように、注目画素が、タップ範囲 2 4 4 1のうちの、図中、左から 2画素目であって、下から 3画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置（x, y) (注目画素の中心（0,0〉を原点とする注目画素座標系の座標値）に応じて、図 144で示されるような番号 1 (1は、 0乃至 1 9のうちのいずれかの整数値）が付されるとする。

図 143に戻り、ステップ S 2402において、条件設定部 242 1は、注目画素を設定する。

ステップ S 240 3において、入力画素値取得部 2423は、条件設定部 24 21により設定された条件 (タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部 2423は、入力画像の領域 2401 (図 14 1) を取得し、入力画素値テーブルとして、 2 0個の入力画素値 P(l)からなるテーブルを生成する。

なお、いまの場合、入力画素値 P(l)と、上述した入力画素値 P(x，y)の関係は、次の式 (73) で示される関係とされる。ただし、式（73) において、左辺が入力画素値 P ( 1 ) を表し、右辺が入力画素値 P(x，y)を表している。

p(0) = P(0,0)

P(1) = P(-1,2)

• · · (73)

2404において、積分成分演算部 2424は、条件設定部 242 1により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部 10 1より供給されたデータ定常性情報（角度 0) に基づいて積分成分を演算し、積分成分テーブルを生成する。

いまの場合、上述したように、入力画素値は、 P(x,y)でなく P(l)といった、画素の番号 1の値として取得されるので、積分成分演算部²424は、上述した式 (72) の積分成分 Si (x-0.5, x+0.5, y-0.5 y+0.5)を、次の式（74) の左辺で示される積分成分 Si (1)といった 1の関数として演算する。

Si ( 1 ) = Si (x-0.5 x+0.5, y-0.5, y+0.5) · · ■ (74)

具体的には、いまの場合、次の式 (75) で示される積分成分 Si (1)が演算される。 s (0) =s (—0.5, 0.5, -0.5, 0.5)

s (1) =s (-1.5,一 0.5,1.5, 2.5)

s (2) 一 s (一 5， 0.5, 1.5, 2.5)

s (3) (0.5,1.5,1.5, 2.5}

s (4) =S (1.5， 2.5,1.5, 2.5)

s (5) =s (-1.5, -0.5， 0.5, 1.5)

s (6) =s (-0.5, 0.5, 0.5， 1.5)

s (7) =s (0.5,1.5, 0.5, 1.5)

s (8) =s (1.5, 2.5, 0.5,1.5)

s (9) =s (-1.5, -0.5, -0.5， 0.5)

Sj (10) =s (0.5,1.5, -0.5, 0.5)

Si (11) =s (1.5, 2.5,一 0.5, 0.5)

Si (12) =s (-1.5, -0.5,-1.5, -0.5)

Sj (13) =s (一 0· 5, 0.5, -1.5, -0.5)

Sj (14) =s (0.5,1.5, -1.5, -0.5)

Sj (15) =s (1.5, 2.5, -1.5, -0.5)

Sj (16) =s (-1.5,一 0.5, -2.5, -1.5)

Sj (17) =s (-0.5, 0.5， -2.5, -1.5)

Sj (18) =s (0.5,1.5, -2.5, -1.5)

Si (19) =s (1.5, 2.5, -2.5, -1.5)

(75) なお、式（75) において、左辺が積分成分 Si ( 1 )を表し、右辺が積分成分 Si (x-0.5, x+0.5, y-0.5， y+0.5)を表している。即ち、いまの場合、 iは 0乃至 5 であるので、 20個の S。（1)， 20個の (1), 20個の S₂ (1)， 20個の S₃ (1)， 20個の S₄ (1)， 20個の S₅ (1)の総計 1 20個の Si (1)が演算されることになる。

より具体的には、はじめに、積分成分演算部 2424は、データ定常性検出部 101より供給された角度 0に対する cot0を演算し、それを変数 sとする。次に、積分成分演算部 2424は、演算した変数 sを使用して式 (74) の右辺で示される 20個の積分成分 Si (x-0.5, x+0.5, y-0.5, y+0.5) のそれぞれを、 i=0 乃至 5のそれぞれについて演算する。即ち、 1 20個の

積分成分 Si (X- 0.5, x+0.5， y - 0.5, y+0.5) が演算されることになる。なお、この積分成分 Si (x_0.⁵， x+0.⁵， y-0.5， y+0.5) の演算においては、上述した式（7 2) が使用される。そして、積分成分演算部 24 24は、式（7 5) に従って、演算した 1 20個の積分成分 Si (X- 0.5， x+0.5， y-0.5， y+0.5)のそれぞれを、対応する Si (1)のそれぞれに変換し、変換した 1 2 0個の Si (1)を含む積分成分テ —ブルを生成する。

なお、ステップ S 24 0 3の処理とステップ S 24 04の処理の順序は、図 1

4 3の例に限定されず、ステップ S 2 40 4の処理が先に実行されてもよいし、ステップ S 24 0 3の処理とステップ S 2404の処理が同時に実行されてもよい。

次に、ステップ S 24 0 5において、正規方程式生成部 24 2 5は、ステップ

5 240 3の処理で入力画素値取得部 24 2 3により生成された入力画素値テーブルと、ステップ S 24 04の処理で積分成分演算部 24 24により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。

具体的には、いまの場合、上述した式（7 1) を利用して最小自乗法により特徴量 ^が演算される（ただし、式（7 0) において、

積分成分 Si (X- 0.5, x+0.5, y - 0.5， y+0.5)は、式（74) により変換される

Si(l)が使用される）ので、それに対応する正規方程式は、次の式（7 6) のように表される。

• · · (7 6) なお、式 (7 6) において、 Lは、タップ範囲の画素の番号 1のうちの最大値を表している。 nは、多項式である近似関数 f(x)の次数を表している。具体的こは、いまの場合、 n=5となり、 L=l 9となる。

式（76) で示される正規方程式の各行列のそれぞれを、次の式（77) 乃至

∑ J

(79) のよ sうに定義すると、正規方程式は、次の式 (80) のように表現される'

(77)

(78)

∑ S₀(I)P(I)

i=o

^PMAT =

l=0

(79)

¾T¾T = i画

(80) 式（78) で示されるように、行列 W_MATの各成分は、求めたい特徴量 ^ である。従って、式（8 0) において、左辺の行列 S_MAT と右辺の行列 P_MATが決定されれば、行列解法によって行列 W_MAT の演算が可能になる。

具体的には、式 ( 7 7) で示されるように、行列 S_MAT の各成分は、上述した積分成分 Si (1)で演算可能である。即ち、積分成分 Si (1)は、積分成分演算部 2

4 24より供給された積分成分テーブルに含まれているので、正規方程式生成部 24 2 5は、積分成分テーブルを利用して行列 S_MAT の各成分を演算することができる。

また、式 (7 9) で示されるように、行列 P_MATの各成分は、積分成分 Si (1) と入力画素値 P(l)で演算可能である。即ち、積分成分 Si (1)は、

行列 S_MAT の各成分に含まれるものと同一のものであり、また、入力画素値 P(l)は、入力画素値取得部 2 4 2 3より供給された入力画素値テーブルに含まれているので、正規方程式生成部 24 2 5は、積分成分テーブルと入力画素値テ一プルを利用して行列 P_MAT の各成分を演算することができる。

このようにして、正規方程式生成部 24 2 5は、行列 S_MAT と行列 P_MAT の各成分を演算し、その演算結果（行列 s_MAT と行列 P_MAT の各成分）を正規方程式テーブルとして近似関数生成部 24 2 6に出力する。

正規方程式生成部 24 2 5より正規方程式テーブルが出力されると、ステップ

5 24 0 6において、近似関数生成部 24 2 6は、正規方程式テーブルに基づいて、上述した式（8 0) の行列 W_MAT の各成分である特徴量（即ち、 2次元多項式である近似関数 f(x, y)の係数^) を演算する。

具体的には、上述した式（8 0) の正規方程式は、次の式（8 1) のように変形できる。

¾Γ ⁼ ¾ΑΤ¾ΑΤ

· · · (8 1 ) 式（8 1 ) において、左辺の行列 W_MATの各成分が、求めたい特徴量である。また、行列 S_{M A T} と行列 P_{M A T}のそれぞれの各成分は、正規方程式生成部 2 4 2 5より供給された正規方程式テーブルに含まれている。従って、近似関数生成部 2 4 2 6は、正規方程式テーブルを利用して、式 ( 8 1 ) の右辺の行列演算を行うことで行列 W_{M A T} を演算し、その演算結果（特徴量を画像生成部 1 0 3に出力する。

ステップ S 2 4 0 7において、近似関数生成部 2 4 2 6は、全画素の処理を終了したか否かを判定する。

ステップ S 2 4 0 7において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 2 4 0 2に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 2 4 0 2乃至 S 2 4 0 7の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 2 4 0 7において、全画素の処理が終了されたと判定されると）、実世界 1の推定処理は終了となる。

以上、 2次元多項式近似手法の説明として、空間方向（X方向と Y方向）に対する近似関数 f (x，y)の係数（特徴量） _Wi を演算する例を用いたが、 2次元多項式近似手法は、時空間方向（X方向と t方向、または、 Y方向と t方向）に対しても適用可能である。

即ち、上述した例は、実世界 1の光信号が、例えば、傾き G_F (図 1 3 9 ) で表される空間方向の定常性を有する場合の例であったので、上述した式 ( 6 6 ) で示されるような、空間方向 (X方向と Y方向）の二次元積分が含まれる式が利用された。しかしながら、二次元積分の考え方は、空間方向だけによるものではなく、時空間方向（X方向と t方向、または、 Y方向と t方向）に対して適用することも可能である。

換言すると、 2次元多項式近似手法においては、推定したい光信号関数 F (_X，y, t)が、空間方向の定常性のみならず、時空間方向 (ただし、 X方向と t方向、または、 Y方向と t方向）の定常性を有している場合であっても、 2次元の多項式により近似することが可能である。具体的には、例えば、 X方向に水平に等速で動いている物体がある場合、その物体の動きの方向は、図 1 4 5で示されるような X-t平面においては、傾き V_F のように表される。換言すると、傾き V_Fは、 X - 1平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部 1 0 1は、上述した角度 θ (X - Y平面における、傾き G_Fで表される空間方向の定常性に対応するデータ定常性情報）と同様に、 X - 1平面における時空間方向の定常性を表す傾き V_F に対応するデータ定常性情報として、図 1 4 5で示されるような動き Θ

(厳密には、図示はしないが、傾き V_F に対応する傾き v_f で表されるデータの定常性の方向と、空間方向の X方向とのなす角度である動きを出力することが可能である。

従って、 2次元多項式近似手法を利用する実世界推定部 1 0 2は、動き Θを上述した角度 Θの代わりとして使用すれば、上述した方法と同様な方法で、近似関数 f (_X， t)の係数（特徴量）を演算することが可能になる。ただし、この場合、使用される式は、上述した式（6 6 ) ではなく、次の式（8 2 ) である。

• · · ( 8 2 ) なお、式（8 2 ) において、 sは cot 0 (ただし、 0は動きである）である。また、空間方向 Xの変わりに、空間方向 Yに注目した近似関数 f (y， t)も、上述した近似関数 f (x、 t)と全く同様に取り扱うことが可能である。

このように、 2次元多項式近似手法においては、例えば、図 1 2 0 (図 3 ) のデータ定常性検出部 1 0 1が、それぞれ時空間積分効果を有する、センサの複数の検出素子 (例えば、図 1 4 0のセンサ 2の検出素子 2 _ 1 ) により実世界 1 (図 1 2 0 ) の光信号が射影され、実世界 1の光信号の定常性 (例えば、図 1 3 9の傾き G_Fで表される定常性) の一部が欠落した、検出素子 2— 1により射影された画素値を有する複数の画素からなる画像データ（例えば、図 1 2 0の入力画像）におけるデータの定常性（例えば、図 1 4 1の傾き G_f で表されるデータの定常性）を検出する。

そして、例えば、図 1 20 (図 3)の実世界推定部 1 0 2 (構成は、図 1 4 2) が、データ定常性検出部 1 0 1により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも 2次元方向（例えば、図 1 3 9と図 1 4 0の空間方向 Xと、空間方向 Y) の位置に対応する画素の画素値（例えば、上述した式 (6 5) の左辺である入力画素値 P (x、y)) が、少なくとも 2次元方向の積分効果により取得された画素値 (例えば、式 (6 6) の右辺に示されるように、上述した式 (6 5) で示される近似関数 f (X, y)が X方向と Y方向に積分された値）であるとして、実世界 1の光信号を表す光信号関数 F (具体的には、図 1 3 9の関数 F(x,y)) を、多項式である近似関数 f (例えば、式（6 5) で示される近似関数 f(x, y)) で近似することで、光信号関数 Fを推定する。

詳細には、例えば、実世界推定部 1 0 2は、データ定常性検出部 1 0 1により検出されたデータの定常性に対応する線（例えば、図 1 4 1の傾き G_f に対応する線（矢印））からの少なくとも 2次元方向に沿った距離（例えば、図 1 4 1の断面方向距離 X ^£) に対応する画素の画素値が、少なくとも 2次元方向の積分効果により取得された画素値であるとして、現実世界の光信号を表す第 1の関数を、多項式である第 2の関数で近似することで、第 1の関数を推定する。

このように、 2次元多項式近似手法は、 1次元ではなく 2次元の積分効果を考慮しているので、 1次元多項式近似手法に比較して、より正確に実世界 1の光信号を推定することが可能になる。

次に、図 1 4 6乃至図 1 5 0を参照して、第 3の関数近似手法について説明する。

即ち、第 3の関数近似手法とは、例えば、時空間方向のうちの所定の方向の定常性を有する実世界 1の光信号が、光信号関数 F(x， y, t)で表されることに注目して、近似関数 f (x, y， t)で光信号関数 F(x， y, t)を近似することによって、光信号関数 F(x, y，t)を推定する手法である。従って、以下、第 3の関数近似手法を、 3次元関数近似手法と称する。また、 3次元関数近似手法の説明においても、センサ 2は、図 1 46で示されるような、複数の検出素子 2— 1がその平面上に配置されて構成される CCDとされる。

図 1 4 6の例では、検出素子 2— 1の所定の 1辺に平行な方向が、空間方向の 1方向である X方向とされており、 X方向に垂直な方向が、空間方向の他方向である Y方向とされている。そして、 X— Y平面に垂直な方向が、時間方向である t方向とされている。

また、図 1 4 6の例では、センサ 2の各検出素子 2— 1のそれぞれの空間的な形状は、 1辺の長さが 1の正方形とされている。そして、センサ 2のシャツタ時間（露光時間）が 1とされている。

さらに、図 1 4 6の例では、センサ 2の所定の 1つの検出素子 2— 1の中心が、空間方向（X方向と Y方向）の原点（X方向の位置 x == 0、および Y方向の位置 y = 0) とされており、また、露光時間の中間時刻が、時間方向（t方向）の原点（1方向の位置セ = 0) とされている。

この場合、空間方向の原点（x = 0, y = 0) にその中心が存在する検出素子 2— 1は、 X方向に- 0.5乃至 0.5の範囲、 Y方向に- 0.5乃至 0.5の範囲、および t方向に- 0.5乃至 0.5の範囲で光信号関数 F(x,y,t)を積分し、その積分値を画素値 Pとして出力することになる。

即ち、空間方向の原点にその中心が存在する検出素子 2— 1から出力される画素値 Pは、次の式（8 3) で表される。

/ ++00丄..55 f++00..55 / r-++00..55 , 、

- ，

-0ο.5 J -0.丄5 J -0.5 s F(x， _y t)d_Xdydt

- - - (8 3) その他の検出素子 2— 1も同様に、対象とする検出素子 2— 1の中心を空間方向の原点とすることで、式（8 3) で示される画素値 Pを出力することになる。ところで、上述したように、 3次元関数近似手法においては、光信号関数 F(x, y, t)は、 3次元の近似関数 f (x， y， t)に近似される。具体的には、例えば、近似関数 f(x,y,t)を、 N個の変数（特徴量）を有する関数とし、式（83) に対応する入力画素値 P(x,y，t)と近似関数 f (x,_y,t)の関係式を定義する。これにより、 Nより大きい M個の入力画素値 P(x，y，t)が取得されていれば、定義された関係式から N個の変数（特徴量）の算出が可能である。即ち、実世界推定部 1 0 2は、 M個の入力画素値 P(x，y，t)を取得して N個の変数（特徴量）を演算することで、光信号関数 F(x，y,t)を推定することが可能である。

この場合、実世界推定部 1 02は、センサ 2からの入力画像 (入力画素値) に含まれるデータの定常性を縛りとして（即ち、データ定常性検出部 10 1より出力される入力画像に対するデータ定常性情報を利用して）、入力画像全体のうちの、 M個の入力画像 P(x,y,t)を抽出（取得）する。結果的に、予測関数

f (x，y,t)は、データの定常性に拘束されることになる。

例えば、図 147で示されるように、入力画像に対応する光信号関数

F(x,y,t)が、傾き G_Fで表される空間方向の定常性を有している場合、データ定常性検出部 10 1は、入力画像に対するデータ定常性情報として、角度 Θ (傾き G_Fに対応する傾き G_f (図示せず）で表されるデータの定常性の方向と、 X方向のなす角度 e) を出力することになる。

この場合、光信号関数 F(x，y,t)を X方向に射影した 1次元の波形（ここでは、このような波形を、 X断面波形と称している）は、 Y方向のいずれの位置で射影した場合であっても同一の形状であるとする。

即ち、同一形状の X断面波形が、定常性の方向（X方向に対して角度 0方向）に連なっている 2次元の（空間方向の）波形が存在するとし、そのような 2次元波形が時間方向 tに連なった 3次元波形を、近似関数 f (x， y， t)で近似する。

換言すると、注目画素の中心から Y方向に位置 yだけずれた X断面波形は、注目画素の中心を通る X断面波形が X方向に所定の量（角度 Θに応じて変化する量）だけ移動した（シフトした）波形となる。なお、以下、このような量を、シフト量と称する。 'このシフト量は、次のようにして算出が可能である。

即ち、傾き V_f (例えば、図 147の傾き V_F に対応する、データの定常性の方向を表す傾き V_f) と角度 0は、次の式 (84) のように表される。

G_f = tan Θ = · · · (84) なお、式 (84) において、 dx は、 X方向の微小移動量を表しており、 dy は、 dxに対する Y方向の微小移動量を表している。

従って、 X方向に対するシフト量を C_s (y)と記述すると、次の式（8 5) のように表される。 c_x(y) =

• ■ - (85) このようにして、シフト量 C_x (y)を定義すると、式（8 3) に対応する入力画素値 P(x，y, t)と近似関数 f (x，y,t)の関係式は、次の式（86) のように表される。

P(x,y,t) = Γ ⁶ Γ f f (x，y,t)dxdydt+e

• · · (86) 式（86) において、 eは、誤差を表している。 t_s は、 t方向の積分開始位置を表しており、 t_e は、 t方向の積分終了位置を表している。同様に、 y_s は、 Y方向の積分開始位置を表しており、 y_eは、 Y方向の積分終了位置を表している。また、 x_sは、 X方向の積分開始位置を表しており、 x_eは、 X方向の積分終了位置を表している。ただし、具体的な各積分範囲のそれぞれは、次の式（8 7) で示される通りになる。 t_s = t-0.5

t_e = t+0.5

y_s = y-0.5

y_e = y+0.5

K_s = x-C_x(y) -0.5

x_e = x-C_x(y) +0.5

• ■ · (87) 式（87) で示されるように、注目画素から空間方向に（x，y)だけ離れて位置する画素に対する X方向の積分範囲を、シフト量 C_x (y)だけ移動させることで、同一形状の X断面波形が、定常性の方向（X方向に対して角度 0方向）に連なつていることを表すことが可能になる。

このように、 3次元関数近似手法においては、画素値 P(x，y、t)と、 3次元の近似関数 f(x,y,t)の関係を式（86) (積分範囲は、式（87) ) で表すことができるので、式（86) と式（87) を利用して、近似関数 f(x,y,t)の N個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数

F(x,y,t) (例えば、図 147で示されるような傾き V_F表される空間方向の定常性を有する光信号）の推定が可能となる。

なお、光信号関数 F(x，y,t)で表される光信号が、例えば、図 147で示されるような傾き V_Fで表される空間方向の定常性を有している場合、次のようにして光信号関数 F(x， y, t)を近似してもよい。

即ち、光信号関数 F(x，y，t)を Y方向に射影した 1次元の波形（以下、このような波形を、 Y断面波形と称する）は、 X方向のいずれの位置で射影した場合であっても同一の形状であるとする。

換言すると、同一形状の Y断面波形が、定常性の方向 (X方向に対して角度 0 方向) に連なっている 2次元の（空間方向の）波形が存在するとし、そのような 2次元波形が時間方向 tに連なった 3次元波形を、近似関数 f (x,y，t)で近似する。従って、注目画素の中心から X方向に xだけずれた Y断面波形は、注目画素の中心を通る Υ断面波形が Υ方向に所定のシフト量（角度 Θに応じて変化するシフト量）だけ移動した波形となる。

このシフト量は、次のようにして算出が可能である。

即ち、傾き G_Fが、上述した式 (84) のように表されるので、 Y方向に対するシフト量を C_y (X)と記述すると、次の式（88) のように表される。

C_y Cx) = Q_f x x

• - · (88) このようにして、シフト量 C_y (X)を定義すると、式 (8 3) に対応する入力画素値 P(x，y,t)と近似関数 f (x，y,t)の関係式は、シフト量 C_x (y)を定義したときと同様に、上述した式（86) で表される。

ただし、今度は、具体的な各積分範囲のそれぞれは、次の式（8 9) で示される通りになる。 t_s = t-0.5

t_e二 t+0.5

y_s = y-C_y(x)-0.5

x_s = x-0.5

x_e = x+0.5 · · · (8 9) 式（89) (および上述した式（86) ) で示されるように、注目画素から (x，y)だけ離れて位置する画素に対する Y方向の積分範囲を、シフト量 C_y (X)だけ移動させることで、同一形状の Y断面波形が、定常性の方向（X方向に対して角度 Θ方向) に連なっていることを表すことが可能になる。

このように、 3次元関数近似手法においては、上述した式（86) の右辺の積分範囲を式 (8 7) のみならず式 (8 9) とすることもできるので、積分範囲として式（8 9) が採用された式（86) を利用して、近似関数 f(x,y，t)の n個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数

F(x, y,t) (傾き G_Fで表される空間方向の定常性を有する実世界 1の光信号）の推定が可能となる。

このように、積分範囲を表す式（8 7) と式（89) は、定常性の方向にあわせて周辺画素を X方向にシフトさせるか（式 (8 7) の場合) 、或いは Y方向にシフトさせるか (式 (89) の場合) の違いがあるだけであり、本質的には同じことを表している。

しかしながら、定常性の方向 (傾き G_F) に応じて、光信号関数 F(x,y，t)を、 X断面波形の集まりと捉える力 \ Y断面波形の集まりと捉えるかが異なる。即ち、定常性の方向が Y方向に近い場合、光信号関数 F(x，y，t)を、 X断面波形の集まりと捉えた方が好適である。これに対して、定常性の方向が X 方向に近い場合、光信号関数 F(x，y, t)を、 Y断面波形の集まりと捉えた方が好適である。

従って、実世界推定部 10 2は、積分範囲として式（8 7) と式（8 9) の両方を用意しておき、定常性の方向に応じて、適宜式（86) の右辺の積分範囲として、式（8 7) と式（8 9) のうちのいずれか一方を選択するとよい。

以上、光信号関数 F(x,y,t)が空間方向（X方向と Y方向）の定常性（例えば、図 147の傾き G_Pで表される空間方向の定常性）を有する場合についての 3次元関数手法について説明したが、 3次元関数手法は、図 148で示されるように、光信号関数 F(_X,y,t)が時空間方向（X方向、 Y方向、および t方向）の定常性 (傾き V_Fで表される定常性）を有する場合についても適用可能である。

即ち、図 148において、フレーム番号 #N-1のフレームに対応する光信号関数が F(x、y、#N_l)とされ、フレーム番号 #Nのフレームに対応する光信号関数が F(x、y、）とされ、かつ、フレーム番号 #N+1のフレームに対応する光信号関数が F(x、y、 +1)とされている。

なお、図 148において、図中、水平方向は、空間方向の 1方向である X方向とされており、右斜め上方向は、空間方向の他方向である Y方向とされており、かつ、垂直方向は、時間方向である t方向とされている。また、フレーム - 1は、フレーム #Nに対して時間的に前のフームであり、フレーム #N+1は、フレーム #Nに対して時間的に後のフレームである。即ち、フレーム - 1、フレーム #N、およびフレーム #N+1 は、フレーム UN- 1、フレーム #N、およびフレーム飾 +1の順で表示される。

図 148の例では、傾き V_Fで示される方向（図中左下手前から右上奥の方向）に沿つた断面の光のレベルがほぼ一定とされている。従って、図 148の例では、光信号関数 F(x，y，t)は、傾き V_Fで表される時空間方向の定常性を有していると言える。

この場合、時空間方向の定常性を表す関数 C(x,y,t)を定義し、かつ、定義された関数 C(x，y,t)を利用して、上述した式（86) の積分範囲を定義すれば、上述した式（87) や式（8 9) と同様に、近似関数 f (x,y,t)の N個の特徴量の算出が可能になる。

関数 C(x，y,1:)は、定常性の方向を表す関数であれば特に限定されない。ただし、以下においては、直線的な定常性であるとして、それに対応する関数

C(x,y,t)として、上述した空間方向の定常性を表す関数であるシフト量 C_x (y) (式（85) ) ゃシフト量 C_y (x) (式（8 7) ) に相当する、 C_x (t)と C_y (t)を次のように定義するとする。

即ち、上述した空間方向のデータの定常性を表す傾き G_f に対応する、時空間方向のデータの定常性の傾きを V_f とすると、この傾き V_f を X方向の傾き（以下、 V_{f x} と記述する）と Y方向の傾き（以下、 V_fy と記述する) に分割すると、傾き V_fx は次の式（90) で、傾き V_fyは次の式（9 1) で、それぞれ表される。

(90)

V fy dt • · · (9 1) この場合、関数 C_x (t)は、式（9 0) で示される傾き V_{f x}を利用して、次の式 (9 2) のように表される。

W_x t ) ⁼ ^^ff ^/ t 同様に、関数 C_y (t)は、式 (9 1) で示される傾き V_{f y} を利用して、次の式 (9 3) のように表さる。

C_y(t) =V_fyXt

• · · (9 3) このようにして、時空間方向の定常性 2 5 1 1を表す関数 C_x (t)と関数 C_y (t) を定義すると、式（8 6) の積分範囲は、次の式（9 4) のように表される。 t_s = t一 0.5

t_e = t+0.5

y_s = y-C_y(t)-0.5

y_e = y-C_y(t)+0.5

x_s = x-C_x(t)-0.5

x_e = x-C_x(t)+0.5

• · · (9 4) このように、 3次元関数近似手法においては、画素値 P(x,y、t)と、 3次元の近似関数 f(x, y,t)の関係を式（8 6) で表すことができるので、その式（8 6) の右辺の積分範囲として式（94) を利用して、近似関数 f(x，y，t)の n + 1個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数 F(x,y, t) (時空間方向の所定の方向に定常性を有する実世界 1の光信号）を推定することが可能となる。

図 1 4 9は、このような 3次元関数近似手法を利用する実世界推定部 1 0 2の構成例を表している。

なお、 3次元関数近似手法を利用する実世界推定部 1 0 2が演算する近似関数 PC蘭 004/001585

174 f(x,y,t) (実際には、その特徴量（係数）を演算する）は、特に限定されない力以下の説明においては、 n (n=N-l) 次の多項式とされる。

図 1 4 9で示されるように、実世界推定部 1 0 2には、条件設定部 2 5 2 1、入力画像記憶部 2 5 2 2、入力画素値取得部 2 5 2 3、積分成分演算部 2 5 24、正規方程式生成部 2 5 2 5、および近似関数生成部 2 5 2 6が設けられている。条件設定部 2 5 2 1は、注目画素に対応する光信号関数 F(x，y，t)を推定するために使用する画素の範囲（タップ範囲）や、近似関数 f(x，y,t)の次数 11を設疋!"る。

入力画像記憶部 2 5 2 2は、センサ 2からの入力画像 (画素値) を一次格納する。

入力画素値取得部 2 5 2 3は、入力画像記憶部 2 5 2 2に記憶された入力画像のうちの、条件設定部 2 5 2 1により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部 2 5 2 5に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。

ところで、上述したように、 3次元関数近似手法を利用する実世界推定部 1 0 2は、上述した式（8 6) (ただし積分範囲は、式（8 7) 、式（9 0) 、または式（94) ) を利用して最小自乗法により近似関数 f(x，y)の N個の特徴量 (いまの場合、各次の係数）を演算する。

式（8 6) の右辺は、その積分を演算することで、次の式（9 5) のように表現することができる。

n

P(x, y， t) =∑ jSj (x_s， x_e， y_s， y_e, t_s， t_e) +e

i=0

• · · (9 5) 式 (9 5) において、 Wi は、 i次項の係数 (特徴量）を表しており、また、 Si (x_s,x_{e )} y_s, y_e, t_s,t_e) は、 i次項の積分成分を表している。ただし、 x_s は X 方向の積分範囲の開始位置を、 x_e は X方向の積分範囲の終了位置を、 y_s は Y方向の積分範囲の開始位置を、 y_eは Y方向の積分範囲の終了位置を、 t_s は t方向の積分範囲の開始位置を、 t_e は t方向の積分範囲の終了位置を、それぞれ表している。

積分成分演算部 2524は、この積分成分 Si (x_s ,x_e,y_sJy_e,t_s,t_e) を演算する。

即ち、積分成分演算部 25 24は、条件設定部 25 2 1により設定されたタップ範囲および次数、並びにデータ定常性検出部 1 0 1より出力されたデータ定常性情報のうちの角度若しくは動き（積分範囲として、上述した式（8 7) 若しくは式（90) が利用される場合には角度であり、上述した式（94) が利用される場合には動きである）に基づいて積分成分 Si (x_s,x_e,y_s,y_e,t_s,t_e) を演算し、その演算結果を積分成分テーブルとして正規方程式生成部 2525に供給する。

正規方程式生成部 2525は、入力画素値取得部 2523より供給された入力画素値テーブルと、積分成分演算部 2 524より供給された積分成分テーブルを利用して、上述した式（95) を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部 25 26に出力する。正規方程式の例については、後述する。

近似関数生成部 2 526は、正規方程式生成部 2525より供給された正規方程式テーブルに含まれる正規方程式を行列解放で解くことにより、特徴量

(いまの場合、 3次元多項式である画素値関数 f(x,y)の係数）のそれぞれを演算し、画像生成部 103に出力する。

次に、図 1 50のフローチャートを参照して、 3次元関数近似手法が適用される実世界の推定処理（図 40のステップ S 1 02の処理）について説明する。はじめに、ステップ S 250 1において、条件設定部 2 5 2 1は、条件（タツプ範囲と次数）を設定する。

例えば、いま、 L個の画素からなるタップ範囲が設定されたとする。また、各画素のそれぞれに対して、所定の番号 1 (1は、 0乃至 L一 1のうちのいずれかの整数値）が付されるとする。

次に、ステップ S 2 5 0 2において、条件設定部 2 5 2 1は、注目画素を設定する。

ステップ S 2 5 0 3において、入力画素値取得部 2 5 2 3は、条件設定部 2 5 2 1により設定された条件 (タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。いまの場合、 L個の入力画素値 P (X, y， ΐ)からなるテーブルが生成されることになる。ここで、 L個の入力画素値 P (x，y，t)のそれぞれを、その画素の番号 1の関数として P (l)と記述することにする。即ち、入力画素値テーブルは、 L個の P (l)が含まれるテーブルとなる。

ステップ S 2 5 0 4において、積分成分演算部 2 5 2 4は、条件設定部 2 5 2 1により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部 1 0 1より供給されたデータ定常性情報（角度若しくは動き）に基づいて積分成分を演算し、積分成分テーブルを生成する。

ただし、いまの場合、上述したように、入力画素値は、 P (_X, y，t)でなく P (l) といった、画素の番号 1の値として取得されるので、積分成分演算部 2 5 2 4 は、上述した式（9 5 ) の積分成分 Si (x_s , x_e , y_s , y_e , t_s , t_e ) を、積分成分 Si (1)といった 1 の関数として演算することになる。即ち、積分成分テーブルは、 L X i個の Si (1)が含まれるテーブルとなる。

なお、ステップ S 2 5 0 3の処理とステップ S 2 5 0 4の処理の順序は、図 1 5 0の例に限定されず、ステップ S 2 5 0 4の処理が先に実行されてもよいし、ステップ S 2 5 0 3の処理とステップ S 2 5 0 4の処理が同時に実行されてもよい。

次に、ステップ S 2 5 0 5において、正規方程式生成部 2 5 2 5は、ステップ S 2 5 0 3の処理で入力画素値取得部 2 5 2 3により生成された入力画素値テープルと、ステップ S 2 5 0 4の処理で積分成分演算部 2 5 2 4により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。

具体的には、いまの場合、最小自乗法により、上述した式（9 5 ) に対応する 04001585

177

次の式（96) の特徴量 Wi を演算する。で、それに対応する正規方程式は、次の式（97) のように表される。

P(l) =∑ WiSi (l)+e

(96)

• · · (97) 式（97) で示される正規方程式の各行列のそれぞれを、次の式（98) 乃至 (I 00) のように定義すると、正規方程式は、次の式（I 0 I) のように表される。

ノ

(98) (9 9)

I)P(I)

ノ

• · · (1 00) 省 ¾T ^{= P}MAT

… - (1 01) 式（99) で示されるように、行列 W_MATの各成分は、求めたい特徴量 ^である。従って、式（10 1) において、左辺の行列 S_MAT と右辺の行列 P_MATが決定されれば、行列解法によって行列 W_MAT (即ち、特徴量 _Wi) の算出が可能である。

具体的には、式（98) で示されるように、行列 S_MATの各成分は、上述した積分成分 Si (1)が既知であれば演算可能である。積分成分 Si (1)は、積分成分演算部 25 24より供給された積分成分テーブルに含まれているので、正規方程式生成部 25 25は、積分成分テーブルを利用して行列 S_{M AT}の各成分を演算することができる。

また、式 (l oo)で示されるように、行列 P_mat の各成分は、積分成分

Si (1)と入力画素値 P(l)が既知であれば演算可能である。積分成分 Si (1)は、行列 S_MATの各成分に含まれるものと同一のものであり、また、入力画素値 P(l) は、入力画素値取得部 25 23より供給された入力画素値テーブルに含まれているので、正規方程式生成部 252 5は、積分成分テ一ブルと入力画素値テープルを利用して行列 P_MATの各成分を演算することができる。

このようにして、正規方程式生成部 25 25は、行列 S_MAT と行列 P_MAT の各成分を演算し、その演算結果（行列 s_MAT と行列 P_MAT の各成分）を正規方程式テーブルとして近似関数生成部 25 26に出力する。

正規方程式生成部 25 26より正規方程式テーブルが出力されると、ステップ S 2506において、近似関数生成部 25 26は、正規方程式テーブルに基づいて、上述した式（1 0 1) の行列 _AT の各成分である特徴量 ^ (即ち、近似関数 f (x，y, t)の係数 _Wi) を演算する。

具体的には、上述した式（10 1) の正規方程式は、次の式（102) のように変形できる。

¾T = ^SMAT^P AT

· · · ( 102) 式（10 2) において、左辺の行列 W_{M AT}の各成分が、求めたい特徴量 ^ である。また、行列 S_MAT と行列 Ρ_ΜΛΤのそれぞれの各成分は、正規方程式生成部 25 25より供給された正規方程式テーブルに含まれている。従って、近似関数生成部 25 26は、正規方程式テーブルを利用して、式（10 2) の右辺の行列演算を行うことで行列 W_MAT を演算し、その演算結果（特徴量を画像生成部 103に出力する。

ステップ S 2 50 7において、近似関数生成部 25 26は、全画素の処理を終了したか否かを判定する。

ステップ S 2 50 7において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 2502に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 25 0 2乃至 S 2 5 0 7の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 5 4 0 7において、全画素の処理が終了されたと判定されると) 、実世界 1の推定処理は終了となる。

以上、説明したように、 3次元関数近似手法は、 1次元や 2次元ではなく、時空間方向の 3次元の積分効果を考慮しているので、 1次元多項式近似手法や 2次元多項式近似手法に比較して、より正確に実世界 1の光信号を推定することが可能になる。

換言すると、 3次元関数近似手法においては、例えば、図 1 2 0 (図 3 ) の実世界推定部 1 0 2 (構成は、例えば、図 1 4 9 ) は、それぞれ時空間積分効果を有する、センサの複数の検出素子（例えば、図 1 4 6のセンサ 2の検出素子 2— 1 ) により実世界 1の光信号が射影され、実世界 1の光信号の定常性（例えば、図 1 4 7の傾き 6₁₁、または、図 1 4 8の傾き V_Fで表される定常性）の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像の、時空間方向のうち少なくとも 1次元方向（例えば、図 1 4 8の空間方向 X、空間方向 Y、および、時間方向 tの 3次元方向）の位置に対応する前記画素の前記画素値（例えば、式（8 7 ) の左辺の入力画素値 P (x, y, z) ) 力少なくとも 1次元方向の積分効果により取得された画素値（例えば、上述した式（8 7 ) の右辺に示されるように、近似関数 f (x, y， t)が X方向、 Y方向、および t方向の 3次元に積分された値）であるとして、実世界の光信号を表す光信号関数 F (具体的には、例えば、図 1 4 7や図 1 4 8の光信号関数 F (x, y, t) ) を所定の近似関数 f (具体的には、例えば、式（8 6 ) の右辺の近似関数 f (x，y，t) ) で近似することで、光信号関数 Fを推定する。

さらに、例えば、図 1 2 0 (図 3 ) のデータ定常性検出部 1 0 1が、入力画像のデータの定常性を検出した場合、実世界推定部 1 0 2は、データ定常性検出部 1 0 1により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも 1次元方向の位置に対応する画素の画素値が、少なくとも 1次元方向の積分効果により取得された画素値であるとして、光信号関数 Fを近似関数 f で近似することで、光信号関数 Fを推定する。

詳細には、例えば、実世界推定部 1 0 2は、定常性検出部 1 0 1により検出されたデータの定常性に対応する線からの少なくとも 1次元方向に沿った距離（例えば、上述した式（8 5 ) のシフト量 Cx (y) ) に対応する画素の画素値が、少なくとも 1次元方向の積分効果により取得された画素値（例えば、上述した式（8 7 ) で示されるような積分範囲で、式（8 6 ) の右辺に示されるように、近似関数 f , y，t)が X方向、 Y方向、および t方向の 3次元に積分された値）であるとして、光信号関数 Fを近似関数で近似することで、光信号関数を推定する。従って、 3次元関数近似手法は、より正確に実世界 1の光信号を推定することが可能になる。

次に、図 1 5 1乃至図 1 7 2を参照して、画像生成部 1 0 3 (図 3 ) の実施の形態の一例について説明する。

図 1 5 1は、この例の実施の形態の原理を説明する図である。

図 1 5 1で示されるように、この例の実施の形態においては、実世界推定部 1 0 2が、関数近似手法を利用することが前提とされている。即ち、センサ 2に入射される画像である、実世界 1の信号（光の強度の分布） 1 所定の関数 Fで表されるとして、実世界推定部 1 0 2が、センサ 2から出力された入力画像（画素値 P ) と、データ定常性検出部 1 0 1から出力されたデータ定常性情報を使用して、関数 Fを所定の関数 f で近似することによって、関数 Fを推定することが前提とされている。

なお、以下、この例の実施の形態の説明においても、画像である、実世界 1の信号を、特に光信号と称し、関数 Fを、特に光信号関数 Fと称する。また、関数 f を、特に近似関数 f と称する。

そこで、この例の実施の形態においては、このような前提に基づいて、画像生成部 1 0 3が、データ定常性検出部 1 0 1から出力されたデータ定常性情報と、実世界推定部 1 0 2から出力された実世界推定情報（図 1 5 1の例では、近似関数 f の特徴量）を使用して、近似関数 f を所定の時空間範囲で積分し、その積 PC漏 00機 1585

182

分値を出力画素値 M (出力画像）として出力する。なお、この例の実施の形態においては、入力画像の画素と出力画像の画素を区別するために、入力画素値を P と記述し、出力画素値を Mと記述する。

換言すると、光信号関数 Fが 1度積分されて入力画素値 Pとなり、その入力画素値 Pから光信号関数 Fが推測され（近似関数 f で近似され）、推測された光信号関数 F (即ち、近似関数 f) が再度積分されて、出力画素値 Mが生成される。従って、以下、画像生成部 1 0 3が実行する近似関数 f の積分を、再積分と称する。また、この例の実施の形態を、再積分手法と称する。

なお、後述するように、再積分手法において、出力画素値 Mが生成される場合の近似関数 f の積分範囲は、入力画素値 Pが生成される場合の光信号関数 Fの積分範囲（即ち、空間方向においては、センサ 2の検出素子の縦幅と横幅であり、時間方向においては、センサ 2の露光時間である）に限定されず、任意の積分範囲が可能である。

例えば、出力画素値 Mが生成される場合、近似関数 f の積分範囲のうちの空間方向の積分範囲を可変することで、その積分範囲に応じて出力画像の画素ピッチを可変することが可能になる。即ち、空間解像度の創造が可能になる。

同様に、例えば、出力画素値 Mが生成される場合、近似関数 f の積分範囲のうちの時間方向の積分範囲を可変することで、時間解像度の創造が可能になる。以下、図面を参照して、このような再積分手法のうちの 3つの具体的な手法についてそれぞれ個別に説明していく。

即ち、 3つの具体的な手法とは、関数近似手法の 3つの具体的な手法（実世界推定部 1 0 2の実施の形態の上述した 3つの具体的な例）のそれぞれに対応する再積分手法である。

具体的には、 1つ目の手法は、上述した 1次元多項式近似手法 (関数近似手法の 1手法）に対応する再積分手法である。従って、 1つ目の手法では 1次元の再積分を行うことになるので、以下、このような再積分手法を、 1次元再積分手法と称する。 2つ目の手法は、上述した 2次元多項式近似手法（関数近似手法の 1手法）に対応する再積分手法である。従って、 2つ目の手法では 2次元の再積分を行うことになるので、以下、このような再積分手法を、 2次元再積分手法と称する。

3つ目の手法は、上述した 3次元関数近似手法（関数近似手法の 1手法）に対応する再積分手法である。従って、 3つ目の手法では 3次元の再積分を行うことになるので、以下、このような再積分手法を、 3次元再積分手法と称する。

以下、 1次元再積分手法、 2次元再積分手法、および 3次元再積分手法のそれぞれの詳細について、その順番で説明していく。

はじめに、 1次元再積分手法について説明する。

1次元再積分手法においては、 1次元多項式近似手法により近似関数 f (X)が既に生成されていることが前提とされる。

即ち、 3次元の空間上の位置 x，y、およぴ₂、並びに時刻 tを変数とする光信号関数 F (x, y, t)を、空間方向である X方向、 Y方向、および Z方向、並びに時間方向である t方向のうちの所定の 1方向（例えば、 X方向）に射影した 1次元の波形（再積分手法の説明においても、このような波形のうちの X方向に射影した波形を、 X断面波形 F (x)と称することにする）力 n次（nは、任意の整数）の多項式である近似関数 f (X)で近似されていることが前提とされる。

この場合、 1次元再積分手法においては、出力画素値 Mは、次の式（1 0 3 ) のように演算される。 f (x) dx

• ■ · ( 1 0 3 ) なお、式（1 0 3 ) において、 x_sは、積分開始位置を表しており、 x_e は、積分終了位置を表している。また、 G_eは、所定のゲインを表している。

具体的には、例えば、いま、実世界推測部 1 0 2が、図 1 5 2で示されるような画素 3 1 0 1 (センサ 2の所定の 1つの検出素子に対応する画素 3 1 0 1 ) を注目画素として、図 1 5 2で示されるような近似関数 f (x) ( X断面波形 F (x)の近似関数 f(x)) を既に生成しているとする。

なお、図 1 5 2の例では、画素 3 1 0 1の画素値（入力画素値）が Pとされ、かつ、画素 3 1 0 1の形状が、 1辺の長さが 1の正方形とされている。また、空間方向のうちの、画素 3 1 0 1の 1辺に平行な方向（図中水平方向）が X方向とされ、 X方向に垂直な方向（図中垂直方向）が Y方向とされている。

また、図 1 5 2の下側に、画素 3 1 0 1の中心が原点とされる空間方向 (X方向と Y方向）の座標系（以下、注目画素座標系と称する）と、その座標系における画素 3 1 0 1が示されている。

さらに、図 1 5 2の上方に、 y= 0 (yは、図中下側で示される注目画素座標系の Y方向の座標値）における近似関数 f(x)をグラフ化したものが示されている。このグラフにおいて、図中水平方向に平行な軸は、図中下側で示される注目画素座標系の X方向の X軸と同一の軸であり（原点も同一であり）、また、図中垂直方向に平行な軸は、画素値を表す軸ときれている。

この場合、近似関数 f(x)と画素 3 1 0 1の画素値 Pの間には、次の式（1 0 4) の関係が成立する。

_Γ •00..55

^{P =} J- -00.5 ^{f (x) dX+e}

• · · ( 1 0 4) また、図 1 5 2で示されるように、画素 3 1 0 1は、傾き G_f で表される空間方向のデータの定常性を有しているとする。そして、データ定常性検出部 1 0 1 (図 1 5 1 ) が、傾き G_f で表されるデータの定常性に対応するデータ定常性情報として、図 1 5 2で示されるような角度 0を既に出力しているとする。

この場合、例えば、 1次元再積分方法においては、図 1 5 3で示されるように、 X方向に一 0. 5乃至 0. 5の範囲、かつ Y方向に _ 0. 5乃至 0. 5の範囲 (図 1 5 2の画素 3 1 0 1が位置する範囲) に、 4個の画素 3 1 1 1乃至画素 3 1 1 4を新たに創造することが可能である。

なお、図 1 5 3の下側に、図 1 5 2のものと同一の注目画素座標系と、その注目画素座標系における画素 3 1 1 1乃至画素 3 1 14が示されている。また、図 1 53の上側に、図 1 5 2のものと同一のグラフ（y-0における近似関数 f (X) をグラフ化したもの) が示されている。

具体的には、図 1 53で示されるように、 1次元再積分方法においては、次の式（1 05) により画素 3 1 1 1の画素値 M (1) の算出が、次の式（106) により画素 3 1 1 2の画素値 M (2) の算出が、次の式（107) により画素 3 1 1 3の画素値 M (3) の算出が、次の式（108) により画素 3 1 14の画素値 M (4) の算出が、それぞれ可能である。

_¥ f (x)dx

(10 5) f (x)dx

xs2

(1 06)

(107) f (x)dx

x_S4

• ■ · (108) なお、式（1 05) の x_s i、式（106) の x_sい式（1 07) の x_{s 3}、およぴ式（1 08) の x_s4 のそれぞれは、対応する式の積分開始位置を表している, また、式 (105) の x_eい式 (1 06) の x_{e 2}、式 (107) の x_eいおよび式（1 08) の x_e4のそれぞれは、対応する式の積分終了位置を表している。式 (10 5) 乃至式 (1 08) のそれぞれの右辺の積分範囲は、画素 3 1 1 1 乃至画素 3 1 14のそれぞれの画素幅 (X方向の長さ）となる。即ち、

x_el - x_sl，x_e2- x_s2,x_e3- x_s3，x_e4-x_s4のそれぞれは、 0. 5となる。ただし、いまの場合、 y=0における近似関数 f (X)と同一形状の 1次元の波形 ί Υ方向ではなく、傾き G_f で表されるデータの定常性の方向（即ち、角度 0 方向）に連なっていると考えられる (実際には、 y=0における X断面波形 F(x) と同一形状の波形が定常性の方向に連なつている) 。即ち、図 1 5 3の注目画素座標系における原点（0，0) (図 1 5 2の画素 3 1 0 1の中心）における画素値 f (0)を画素値 Π とした場合、画素値 flが続く方向は、 Y方向ではなく、傾き G_f で表されるデータの定常性の方向 (角度 6方向）である。

換言すると、 Y方向の所定の位置 y (ただし、 yは 0以外の数値）における近似関数 f(x)の波形を考えた場合、画素値となる位置は、位置（0,y) ではなく、位置（0, y) から X方向に所定の量（ここでも、このような量をシフト量と称することにする。また、シフト量は、 Y方向の位置 yに依存する量であるので、このシフト量を C_x (y)と記述することにする）だけ移動した位置（C_x (y)，y) である。

従って、上述した式（1 0 5) 乃至式（1 0 8) のそれぞれの右辺の積分範囲として、求めたい画素値 M (1) (ただし、 1は、 1乃至 4のうちのいずれかの整数値）の中心が存在する Y方向の位置 yを考慮した範囲、即ち、シフト量 C_x (y)を考慮した積分範囲の設定が必要である。

具体的には、例えば、画素 3 1 1 1と画素 3 1 1 2の中心が存在する Y方向の位置 yは、 y=0ではなく、 y=0.25である。

従って、 y=0.25における近似関数 f (X)の波形は、 y=0における近似関数 f (X)の波形を X方向にシフト量 C_x (0.25)だけ移動させた波形に相当する。

換言すると、上述した式（1 0 5) において、画素 3 1 1 1に対する画素値 M(l)は、 y=0における近似関数 f(x)を所定の積分範囲（開始位置 x_{s l}から終了位置 x_{e l} まで）で積分したものであるとすると、その積分範囲は、開始位置 x_{s l} =- 0.5から終了位置 x_{e l} = 0までの範囲（画素 3 1 1 1が X方向に占める範囲そのもの）ではなく、図 1 5 3で示される範囲、即ち、開始位置 x_{s l} =- 0.⁵ + C_x (0.25)から終了位置 x_{e l} = 0 + (0.25) (シフト量 C_x (0.25)だけ画素 3 1 1 „—

PCT/JP2004/001585

187

1を仮に移動させた場合における、画素 3 1 1 1が X方向に占める範囲）となる。

同様に、上述した式 (106) において、画素 3 1 1 2に対する画素値 M (2) は、 y=0における近似関数 f 0 を所定の積分範囲（開始位置 x_s2から終了位置 x_e2まで）で積分したものであるとすると、その積分範囲は、開始位置 x_s2 = 0 から終了位置 x_e2 =0.5までの範囲（画素 3 1 1 2の X方向に占める範囲そのもの）ではなく、図 1 53で示される範囲、即ち、開始位置 x_s2 = 0 +C_X (0.25) から終了位置 x_{e l} =0.5 + C_x (0.25) (シフト量 C_x (0.25)だけ画素 3 1 1 2を仮に移動させた場合における、画素 3 1 1 2の X方向に占める範囲）となる。

また、例えば、画素 3 1 1 3と画素 3 1 14の中心が存在する Y方向の位置 y は、 y=0ではなく、 y=- 0.25である。

従って、 y=-0.25における近似関数 f (X)の波形は、 y=0における近似関数 f(x)の波形を X方向にシフト量 C_x (- 0.25)だけ移動させた波形に相当する。換言すると、上述した式（10 7) において、画素 3 1 1 3に対する画素値 M(3)は、 y=0における近似関数 f(x)を所定の積分範囲（開始位置 x_s3から終了位置 x_e3 まで）で積分したものであるとすると、その積分範囲は、開始位置 x_{s 3} =- 0.5から終了位置 x_e3 = 0までの範囲（画素 3 1 1 3の X方向に占める範囲そのもの）ではなく、図 1 5 3で示される範囲、即ち、開始位置 x_s3 =- 0.5 + C_x (- 0.25)から終了位置 x_e3 = 0+C_x (-0.25) (シフト量 C_x (- 0.25)だけ画素 3 1 1 3を仮に移動させた場合における、画素 3 1 1 3の X方向に占める範囲）となる。

同様に、上述した式（108) において、画素 31 14に対する画素値 M(4) は、 y=0における近似関数 f(x)を所定の積分範囲（開始位置 x_s4から終了位置 x_e4 まで) で積分したものであるとすると、その積分範囲は、開始位置 x_s4 = 0 から終了位置 x_e4 =0.5までの範囲 (画素 3 1 14の X方向の占める範囲そのもの）ではなく、図 1 53で示される範囲、即ち、開始位置 x_s4 = 0+C_s (- 0.2S) から終了位置 x_el=0.5 + C_x (-0.25) (シフト量 C_x (-0.25)だけ画素 31 14を仮に移動させた場合における、画素 3 1 1 4の X方向に占める範囲）となる。従って、画像生成部 1 0 2 (図 1 5 1) は、上述した式（1 0 5) 乃至式（1 0 8) のそれぞれに、上述した積分範囲のうちの対応するものを代入してそれぞれ演算し、それらの演算結果を出力画素値 M(l)乃至 M (4) のそれぞれとして出力することになる。

このように、画像生成部 1 0 2は、 1次元再積分手法を利用することで、センサ 2 (図 1 5 1 ) からの出力画素 3 1 0 1 (図 1 5 2) における画素として、出力画素 3 1 0 1よりも空間解像度の高い 4つの画素、即ち、画素 3 1 1 1乃至画素 3 1 1 4 (図 1 5 3) を創造することができる。さらに、図示はしないが、上述したように、画像生成部 1 0 2は、画素 3 1 1 1乃至画素 3 1 1 4のみならず、積分範囲を適宜変えることで、出力画素 3 1 0 1に対して任意の倍率の空間解像度の画素を劣化することなく創造することができる。

図 1 54は、このような 1次元再積分手法を利用する画像生成部 1 0 3の構成例を表している。

図 1 54で示されるように、この例の画像生成部 1 0 3には、条件設定部 3 1 2 1、特徴量記憶部 3 1 2 2、積分成分演算部 3 1 2 3、および出力画素値演算部 3 1 24が設けられている。

条件設定部 3 1 2 1は、実世界推定部 1 0 2より供給された実世界推定情報 (図 1 54の例では、近似関数 f (X)の特徴量）に基づいて近似関数 f(x)の次数 nを設定する。

条件設定部 3 1 2 1はまた、近似関数 f(x)を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部 3 1 2 1が設定する積分範囲は、画素の幅である必要は無い。例えば、近似関数 f (X) は空間方向（X 方向) に積分されるので、センサ 2 (図 1 5 1) からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部 1 0 3がこれから演算する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な積分範囲の決定が可能である。従って、条件設定部 3 1 2 1は、積分範囲として、例えば、空間解像度倍率を設定することもできる。

特徴量記憶部 3 1 22は、実世界推定部 102より順次供給されてくる近似関数 f(x)の特徴量を一次的に記憶する。そして、特徴量記憶部 3122は、近似関数 f (x) の特徴量の全てを記憶すると、近似関数 f(x)の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部 3124に供給する。

ところで、上述したように、画像生成部 1 03は、上述した式 (1 0 3) を利用して出力画素値 Mを演算するが、上述した式 (1 0 3) の右辺に含まれる近似関数 f (X)は、具体的には、次の式 (10 9) のように表される。

n .

f (x) = Wj xx'dx

i=0

• · · (109) なお、式（1 09) において、 ^ は、実世界推定部 10 2より供給される近似関数 f(x)の特徴量を表している。

従って、上述した式（1 03) の右辺の近似関数 f(x)に、式（1 09) の近似関数 f (X) を代入して、式（103) の右辺を展開（演算）すると、出力画素値 Mは、次の式（1 10) のように表される。

M

门

= . j xkj (x_s， x。）

i=0

• · · (1 1 0) 式（1 1 0) において、 Ki (x_s,x_e) は、 i次項の積分成分を表している。即ち、積分成分 (x_s , x_e ) は、次の式 ( 1 1 1) で示される通りである。 kj c_s, _e) = 0_ex 、" _j+1 ^s

… (1 1 1) 積分成分演算部 3 1 2 3は、この積分成分 ^ (x_s,x_e) を演算する。具体的には、式（1 1 1) で示されるように、積分成分 (x_s , x_e ) は、積分範囲の開始位置 x_s、および終了位置 x_e、ゲイン G_e、並びに i次項の iが既知であれば演算可能である。

これらのうちの、ゲイン G_e は、条件設定部 3 1 2 1により設定された空間解像度倍率（積分範囲）により決定される。

iの範囲は、条件設定部 3 1 2 1により設定された次数 nにより決定される。また、積分範囲の開始位置 x_s、および終了位置 x_e のそれぞれは、これから生成する出力画素の中心画素位置（X, y)および画素幅、並びにデータの定常性の方向を表すシフト量 C_x (y)により決定される。なお、（x,y)は、実世界推定部 10 2が近似関数 f ）を生成したときの注目画素の中心位置からの相対位置を表している。

さらに、これから生成する出力画素の中心画素位置（x,y)および画素幅のそれぞれは、条件設定部 3 1 2 1により設定された空間解像度倍率（積分範囲）により決定される。

また、シフト量' C_x (y)と、データ定常性検出部 1 0 1より供給された角度 0は、次の式（1 1 2) と式（1 1 3) のような関係が成り立つので、シフト量 C_x (y) は角度 0により決定される。

G_f = tan0 _ = dy

dx

(1 1 2)

G_x(y) =

• · · (1 1 3) なお、式 (1 1 2) において、 G_f は、データの定常性の方向を表す傾きを表しており、 Θは、データ定常性検出部 10 1 (図 1 5 1) より出力されるデータ定常性情報の 1つである角度 (空間方向の 1方向である X方向と、傾き G_f で表されるデータの定常性の方向とのなす角度）を表している。また、 dxは、 X方向の微小移動量を表しており、 dyは、 dxに対する Y方向（X方向と垂直な空間方向）の微小移動量を表している。

従って、積分成分演算部 3 1 2 3は、条件設定部 3 1 2 1により設定された次数および空間解像度倍率（積分範囲）、並びにデータ定常性検出部 1 0 1より出力されたデータ定常性情報のうちの角度 0に基づいて積分成分 1 (x_s , x_e ) を演算し、その演算結果を積分成分テーブルとして出力画素値演算部 3 1 2 4に供給する。

出力画素値演算部 3 1 2 4は、特徴量記憶部 3 1 2 2より供給された特徴量テ —ブルと、積分成分演算部 3 1 2 3より供給された積分成分テーブルを利用して、上述した式（1 1 0 ) の右辺を演算し、その演算結果を出力画素値 Mとして外部に出力する。

次に、図 1 5 5のフローチャートを参照して、 1次元再積分手法を利用する画像生成部 1 0 3 (図 1 5 4 ) の画像の生成の処理（図 4 0のステップ S 1 0 3の処理）について説明する。

例えば、いま、上述した図 4 0のステップ S 1 0 2の処理で、実世界推測部 1 0 2が、上述した図 1 5 2で示されるような画素 3 1 0 1を注目画素として、図 1 5 2で示されるような近似関数 f (x)を既に生成しているとする。

また、上述した図 4 0のステップ S 1 0 1の処理で、データ定常性検出部 1 0 1力データ定常性情報として、図 1 5 2で示されるような角度 0を既に出力しているとする。

この場合、 121 1 5 5のステップ S 3 1 0 1において、条件設定部 3 1 2 1は、条件（次数と積分範囲）を設定する。

例えば、いま、次数として 5が設定されるとともに、積分範囲として空間 4倍密 (画素のピッチ幅が上下左右ともに 1/2倍となる空間解像度倍率) が設定されたとする。

即ち、この場合、図 1 5 3で示されるように、 X方向に一 0 . 5乃至◦. 5の範囲、かつ Y方向に一 0 . 5乃至 0 . 5の範囲（図 1 5 2の画素 3 1 0 1の範囲）に、 4個の画素 3 1 1 1乃至画素 3 1 1 4を新たに創造することが設定されたことになる。

ステップ S 3 1 0 2において、特徴量記憶部 3 1 2 2は、実世界推定部 1 0 2 より供給された近似関数 f(x)の特徴量を取得し、特徴量テーブルを生成する。いまの場合、 5次の多項式である近似関数 f(x)の係数 w。乃至 w₅が実世界推定部 1 0 2より供給されるので、特徴量テープルとして、（^, ， w₂，w₃， w₄,w₅) が生成される。

ステップ S 3 1 0 3において、積分成分演算部 3 1 2 3は、条件設定部 3 1 2 1により設定された条件 (次数および積分範囲）、並びにデータ定常性検出部 1 0 1より供給されたデータ定常性情報（角度 0) に基づいて積分成分を演算し、積分成分テーブルを生成する。

具体的には、例えば、これから生成する画素 3 1 1 1乃至画素 3 1 1 4のそれぞれに対して、番号（このような番号を、以下、モード番号と称する） 1乃至 4 のそれぞれが付されているとすると、積分成分演算部 3 1 2 3は、上述した式 (1 1 1 ) の積分成分 (x_s , x_e ) を、次の式（1 1 4) の左辺で示される積分成分 Ki (l)といった 1 (ただし、 1はモード番号を表している）の関数として演算する。

Ki ( 1 ) = Ki (x_{s )}x_e) ■ · ■ ( 1 1 4)

具体的には、いまの場合、次の式（1 1 5) で示される積分成分 ^ (1)が演算される。

(1) =k (一 0.5-C_x(-0.25),0-C_x(-0.25))

kj (2) =k (0-C_x(-0.25),0.5-C_x(-0.25))

kj (3) =k (一 0.5-C_v (0.25) , 0-C_x(0.25))

k| (4) = k (0-C_v(0.25),0.5-C_x(0.25))

• · · ( 1 1 5) なお、式 ( 1 1 5) において、左辺が積分成分 I （1)を表し、右辺が積分成分 (x_s,x_e) を表している。即ち、いまの場合、 1は、 1乃至 4のうちのいずれかであり、かつ、 iは 0乃至 5のうちのいずれかであるので、 6個の（1)， 6 個の (2), 6個の（3), 6個の（4)の総計 24個の ^ (1)が演算されることになる。

より具体的には、はじめに、積分成分演算部 3 1 2 3は、データ定常性検出部 1 0 1より供給された角度 Θを使用して、上述した式（1 1 2) と式 ( 1 1 3) よりシフト量 C_x (-0.25), および C_x (0.25)のそれぞれを演算する。

次に、積分成分演算部 3 1 2 3は、演算したシフト量 C_x (-0.25) _s および C_x (0.25)を使用して、式 ( 1 1 5) の 4つの式の各右辺の積分成分

(x_s , x_e ) のそれぞれを、 i=0乃至 5についてそれぞれ演算する。なお、この積分成分 (x_s,x_e) の演算においては、上述した式（1 1 1 ) が使用される。そして、積分成分演算部 3 1 2 3は、式（1 1 5) に従って、演算した 24個の積分成分 Ki (x_{s )}x_e) のそれぞれを、対応する積分成分（1)に変換し、変換した 24個の積分成分（1) (即ち、 6個の Ki (l)、 6個の Ki (2)、 6個の K₄ (3)_s および 6個の（4)) を含む積分成分テーブルを生成する。

なお、ステップ S 3 1 0 2の処理とステップ S 3 1 0 3の処理の順序は、図 1 5 5の例に限定されず、ステップ S 3 1 0 3の処理が先に実行されてもよいし、ステップ S 3 1 0 2の処理とステップ S 3 1 0 3の処理が同時に実行されてもよレ、。

次に、ステップ S 3 1 04において、出力画素値演算部 3 1 24は、ステップ S 3 1 0 2の処理で特徴量記憶部 3 1 2 2により生成された特徴量テーブルと、ステップ S 3 1 0 3の処理で積分成分演算部 3 1 2 3により生成された積分成分テーブルに基づいて出力画素値 M(l)乃至 M (4)のそれぞれを演算する。

具体的には、いまの場合、出力画素値演算部 3 1 24は、上述した式（1 1 0) に対応する、次の式 (1 1 6) 乃至式 (1 1 9) の右辺を演算することで、画素 3 1 1 1 (モード番号 1の画素）の画素値 M(l)、画素 3 1 1 2 (モード番号 2の画素）の画素値 M (2)、画素 3 1 1 3 (モード番号 3の画素）の画素値 M(3)、および画素 3 1 1 4 (モード番号 4の画素）の画素値 M (4)のそれぞれを演算する

_一_ 5

I

6)

7)

M(3) = £ W;ki(3)

i=0

8)

• · · (1 19) ステップ S 3105において、出力画素値演算部 3 124は、全画素の処理を終了したか否かを判定する。

ステップ S 3105において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 3102に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 31 02乃至 S 3104の処理が繰り返される。

そして、全画素の処理が終了すると (ステップ S 3 105において、全画素の処理が終了されたと判定すると）、出力画素値演算部 3124は、ステップ S 3 106において、画像を出力する。その後、画像の生成の処理は終了となる。次に、図 1 56乃至図 163を参照して、所定の入力画像に対して、 1次元再積分手法を適用して得られた出力画像と、他の手法 (従来のクラス分類適応処理）を適用して得られた出力画像の違いについて説明する。

図 1 56は、入力画像の元の画像を示す図であり、図 1 57は、図 1 56の元の画像に対応する画像データを示している。図 157において、図中垂直方向の軸は、画素値を示し、図中右下方向の軸は、画像の空間方向の一方向である X方向を示し、図中右上方向の軸は、画像の空間方向の他の方向である Y方向を示す。なお、後述する図 1 5 9、図 1 6 1、およぴ図 1 6 3の軸のそれぞれは、図 1 5 7の軸と対応している。

図 1 5 8は、入力画像の例を示す図である。図 1 5 8で示される入力画像は、図 1 5 6で示される画像の 2 X 2の画素からなるブロックに属する画素の画素値の平均値を、 1つの画素の画素値として生成された画像である。即ち、入力画像は、図 1 5 6で示される画像に、センサの積分特性を模した、空間方向の積分を適用することにより得られた画像である。また、図 1 5 9は、図 1 5 8の入力画像に対応する画像データを示している。

図 1 5 6で示される元の画像において、上下方向から、ほぼ 5度時計方向に傾いた細線の画像が含まれている。同様に、図 1 5 8で示される入力画像において、上下方向から、ほぼ 5度時計方向に傾いた細線の画像が含まれている。

図 1 6 0は、図 1 5 8で示される入力画像に、従来のクラス分類適応処理を適用して得られた画像（以下、図 1 6 0で示される画像を、従来の画像と称する）を示す図である。また、図 1 6 1は、従来の画像に対応する画像データを示している。

なお、クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理では、例えば、低画質または標準画質の画像が、所定のタップ係数を用いてマッピング（写像）されることにより、高画質の画像に変換される。

図 1 6 2は、図 1 5 8で示される入力画像に、本発明が適用される 1次元再積分手法を適用して得られた画像（以下、図 1 6 2で示される画像を、本発明の画像と称する) を示す図である。また、図 1 6 3は、本発明の画像に対応する画像データを示している。

図 1 6 0の従来の画像と、図 1 6 2の本発明の画像を比較するに、従来の画像においては、細線の画像が、図 1 5 6の元の画像とは異なるものになっているのに対して、本発明の画像においては、細線の画像が、図 1 5 6の元の画像とほぼ同じものになっていることがわかる。

この違いは、従来のクラス分類適応処理は、あくまでも図 1 5 8の入力画像を基準（原点）として処理を行う手法であるのに対して、本発明の 1次元再積分手法は、細線の定常性を考慮して、図 1 5 6の元の画像を推定し（元の画像に対応する近似関数 f (x)を生成し）、推定した元の画像を基準（原点）として処理を行う（再積分して画素値を演算する）手法であるからである。

このように、 1次元再積分手法においては、 1次元多項式近似手法により生成された 1次元の多項式である近似関数 f (x) (実世界の X断面波形 F (x)の近似関数 f (x) ) を基準（原点）として、近似関数 f (x)を任意の範囲に積分することで出力画像（画素値）が生成される。

従って、 1次元再積分手法においては、従来の他の手法に比較して、元の画像 (センサ 2に入射される前の実世界 1の光信号）により近い画像の出力が可能になる。

換言すると、 1次元再積分手法においては、図 1 5 1のデータ定常性検出部 1 0 1が、それぞれ時空間積分効果を有する、センサ 2の複数の検出素子により実世界 1の光信号が射影され、実世界 1の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像におけるデータの定常性を検出し、実世界推定部 1 0 2が、検出されたデータの定常性に対応して、入力画像の時空間方向のうち 1次元方向の位置に対応する画素の画素値が、その 1次元方向の積分効果により取得された画素値であるとして、実世界 1の光信号を表す光信号関数 F (具体的には、 X断面波形 F (_X) ) を、所定の近似関数 f ( x ) で近似することで、光信号関数 Fを推定していることが前提とされている。

詳細には、例えば、検出されたデータの定常性に対応する線からの 1次元方向に沿った距離に対応する各画素の画素値が、その 1次元方向の積分効果により取得された画素値であるとして、 X断面波形 F (x)が近似関数 f (X)で近似されていることが前提とされている。

そして、 1次元再積分手法においては、このような前提に基づいて、例えば、図 1 5 1 (図 3 ) の画像生成部 1 0 3が、実世界推定部 1 0 2により推定された X断面波形 F ( x ) 、即ち、近似関数 f (X)を、 1次元方向の所望の単位で積分することにより所望の大きさの画素に対応する画素値 Mを生成し、それを出力画像として出力する。

また、 1次元再積分手法においては、上述したように、積分範囲は任意なので、積分範囲を可変することにより、入力画像の解像度とは異なる解像度（時間解像度、または空間解像度）を創造することも可能になる。即ち、入力画像の解像度に対して、整数値だけではなく任意の倍率の解像度の画像を生成することが可能になる。

さらに、 1次元再積分手法においては、他の再積分手法に比較して、より少ない演算処理量で出力画像（画素値）の算出が可能となる。

次に、図 1 6 4乃至図 1 7 0を参照して、 2次元再積分手法について説明する。

2次元再積分手法においては、 2次元多項式近似手法により近似関数 f (X, y) が既に生成されていることが前提とされる。

即ち、例えば、図 1 6 4で示されるような、傾き G_Fで表される空間方向の定常性を有する実世界 1 (図 1 5 1 ) の光信号を表す画像関数 F (x, y, t)を、空間方向 ( X方向と Y方向) に射影した波形、即ち、 X— Y平面上の波形 F (x，y)が、 n次 (nは、任意の整数）の多項式である近似関数 f (x， y)に近似されていることが前提とされる。

図 1 6 4において、図中、水平方向は、空間方向の 1方向である X方向を、右上方向は、空間方向の他方向である Y方向を、垂直方向は、光のレベルを、それぞれ表している。 G_Pは、空間方向の定常性の傾きを表している。

なお、図 164の例では、定常性の方向は、空間方向（X方向と Y方向）とされているため、近似の対象とされる光信号の射影関数は、関数 F(x，y)とされているが、後述するように、定常性の方向に応じて、関数 F(x，t)や関数 F(y，t)が近似の対象とされてもよい。

図 1 64の例の場合、 2次元再積分手法においては、出力画素値 Mは、次の式 (1 20) のように演算される。

e JXg

f(x, y)dxdy

'y_s

- · · (1 20) なお、式（1 20) において、 y_s は、 Y方向の積分開始位置を表しており、 y_eは、 Y方向の積分終了位置を表している。同様に、 x_s は、 X方向の積分開始位置を表しており、 x_eは、 X方向の積分終了位置を表している。また、 G_eは、所定のゲインを表している。

式（1 20) において、積分範囲は任意に設定可能であるので、 2次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ 2 (図 1 5 1) からの入力画像の画素）に対して任意の倍率の空間解像度の画素を劣化することなく創造することが可能になる。

図 1 6 5は、 2次元再積分手法を利用する画像生成部 103の構成例を表している。

図 1 6 5で示されるように、この例の画像生成部 1 03には、条件設定部 32 0 1、特徴量記憶部 3202、積分成分演算部 320 3、および出力画素値演算部 3 204が設けられている。

条件設定部 3 20 1は、実世界推定部 1 02より供給された実世界推定情報 (図 1 6 5の例では、近似関数 f O,y)の特徴量）に基づいて近似関数 f (x，y)の次数 nを設定する。

条件設定部 3 20 1はまた、近似関数 f (x，y)を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部 3 2 0 1が設定する積分範囲は、画素の縦幅や横幅である必要は無い。例えば、近似関数 f (x, y) は空間方向 (X方向と Y方向) に積分されるので、センサ 2からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部 1 0 3がこれから生成する画秦）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な積分範囲の決定が可能である。従って、条件設定部 3 2 0 1は、積分範囲として、例えば、空間解像度倍率を設定することもできる。

特徴量記憶部 3 2 0 2は、実世界推定部 1 0 2より順次供給されてくる近似関数 f (X , y)の特徴量を一次的に記憶する。そして、特徴量記憶部 3 2 0 2は、近似関数 f (x, y)の特徴量の全てを記憶すると、近似関数 f (x, y)の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部 3 2 0 4に供給する。

ここで、近似関数 f (x, y)の詳細について説明する。

例えば、いま、上述した図 1 6 4で示されるような傾き G_Fで表される空間方向の定常性を有する実世界 1 (図 1 5 1 ) の光信号（波形 F (x，y) で表される光信号）が、センサ 2 (図 1 5 1 ) により検出されて入力画像（画素値）として出力されたとする。

さらに、例えば、図 1 6 6で示されるように、データ定常性検出部 1 0 1 (図 3 ) 力この入力画像のうちの、 X方向に 4画素分、かつ Y方向に 5画素分の総計 2 0個の画素（図中、点線で表される 2 0個の正方形）から構成される入力画像の領域 3 2 2 1に対してその処理を実行し、データ定常性情報の 1つとして角度 0 (傾き G_Fに対応する傾き G_f で表されるデータの定常性の方向と、 X方向とのなす角度 6 ) を出力したとする。

なお、実世界推定部 1 0 2から見ると、データ定常性検出部 1 0 1は、注目画素における角度 Θを単に出力すればよいので、データ定常性検出部 1 0 1の処理範囲は、上述した入力画像の領域 3 2 2 1に限定されない。

また、入力画像の領域 3 2 2 1において、図中水平方向は、空間方向の 1方向である X方向を表しており、図中垂直方向は、空間方向の他方向である Y方向を表している。

さらに、図 1 6 6中、左から 2画素目であって、下から 3画素目の画素が注目画素とされ、その注目画素の中心を原点（0,0)とするように（X, y)座標系が設定されている。そして、原点（ο,ο)を通る角度 eの直線（データの定常性の方向を表す傾き G_f の直線）に対する X方向の相対的な距離（以下、断面方向距離と称する) が x'とされている。

さらに、図 1 6 6中、右側のグラフは、 3次元の空間上の位置 X, y、および z、並びに時刻 tを変数とする画像関数 F(x，y,t)を、 Y方向の任意の位置 yにおいて、 X方向に射影した 1次元の波形 (以下、このような波形を、 X断面波形

F(x')と称する）が近似された関数であって、 n次（nは、任意の整数）の多項式である近似関数 f(x')を表している。右側のグラフの軸のうち、図中水平方向の軸は、断面方向距離を表しており、図中垂直方向の軸は、画素値を表している。この場合、図 1 6 6で示される近似関数 f(x，）は、 n次の多項式であるので、次の式（1 2 1) のように表される。

π

f (X，） = WQ+W^' +W X' + · · · +W_NX，ⁿ = ∑ WjX"

i=0

… （1 2 1) また、角度 0が決定されていることから、原点（0,0)を通る角度 0の直線は一意に決まり、 Y方向の任意の位置 yにおける、直線の X方向の位置 iK 次の式 (1 2 2) のように表される。ただし、式 ( 1 2 2) において、 sは cot Θを表している。

x₁ = s X y · · · ( 1 2 2)

即ち、図 1 6 6で示されるように、傾き G_f で表されるデータの定常性に対応する直線上の点は、座標値 (_Xl , y)で表される。

式 ( 1 2 2) より、断面方向距離 X'は、次の式 ( 1 2 3) のように表される。

= χ— χ_ι = x— s Xy · ■ · ( 1 2 3)

従って、入力画像の領域 3 2 2 1内の任意の位置（x，y)における近似関数 f(x,y)は、式（1 21) と式（1 2 3) より、次の式（1 24) のように示される。

• · · (1 24) なお、式（1 24) において、 ^ は、近似関数 f (x，y)の特徴量を表している図 1 65に戻り、式（1 24) に含まれる特徴量 ^ i 実世界推定部 10 2 より供給され、特徴量記憶部 3202に記憶される。特徴量記憶部 3 202は、式（1 24) で表される特徴量 _Wi の全てを記憶すると、特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部 3204に供給する。

また、上述した式（1 20) の右辺の近似関数 f (x,y)に、式（1 24) の近似関数 f (x,y) を代入して、式（1 20) の右辺を展開（演算）すると、出力画素値 Mは、次の式（1 25) のように表される。

_{M p v v} x_fl-sxy_fi)ⁱ⁺²-(x_e - sxy ² - (x_s-sxy ²+(x_s-sxy_s)ⁱ⁺²l

= 6_e ∑ W; x

i=0 S

n

=∑ Wj Xki (x_s> x_e，y_s， y_e)

i=0

• · · (1 2 5) 式（1 25) において、 (x_s,x_e,y_s,y_e) は、 i次項の積分成分を表している。即ち、積分成分 (x_s,x_e,y_s,y_e) は、次の式（1 26) で示される通りめ ₀ kj ( _s. x_e，y_s， y_e)

J+2 i+2 、i+2，

{ (x_e-s x yj¹ +² - (x_e-s x y_s)け (x_s-s x y_e) + (x_s-s x y_s)^IT )

= dx

e s(i+1)(i+2)

• · · (1 26) 積分成分演算部 320 3は、この積分成分 (x₅,x_e,y_s,y_e) を演算する。具体的には、式（1 25) と式（1 26) で示されるように、積分成分 PCT/JP2004/001585

202

(x_s,x_e,y_s,y_e) は、積分範囲の X方向の開始位置 x_s、および X方向の終了位置 x_e、積分範囲の Y方向の開始位置 y_s、および Y方向の終了位置 y_e、変数 s、ゲイン G_e、並びに i次項の iが既知であれば演算可能である。

これらのうちの、ゲイン G_e は、条件設定部 3 2 0 1により設定された空間解像度倍率（積分範囲）により決定される。

iの範囲は、条件設定部 3 20 1により設定された次数 nにより決定される。変数 sは、上述したように、 cot Θであるので、データ定常性検出部 1 0 1より出力される角度 0により決定される。

また、積分範囲の X方向の開始位置 x_s、および X方向の終了位置 x_e、並びに、積分範囲の Y方向の開始位置 y_s、および Y方向の終了位置 y_eのそれぞれは、これから生成する出力画素の中心画素位置（X, y)および画素幅により決定される。なお、（x，y)は、実世界推定部 1 0 2が近似関数 f(x)を生成したときの注目画素の中心位置からの相対位置を表している。

さらに、これから生成する出力画素の中心画素位置（x，y)および画素幅のそれぞれは、条件設定部 3 2 0 1により設定された空間解像度倍率（積分範囲）により決定される。

従って、積分成分演算部 3 20 3は、条件設定部 3 20 1により設定された次数および空間解像度倍率（積分範囲）、並びにデータ定常性検出部 1 0 1より出力されたデータ定常性情報のうちの角度 Θに基づいて

積分成分 Ki (x_s,x_e,y_s,y_e) を演算し、その演算結果を積分成分テーブルとして出力画素値演算部 3 204に供給する。

出力画素値演算部 3 2 04は、特徴量記憶部 3 20 2より供給された特徴量テ一ブルと、積分成分演算部 3 2 0 3より供給された積分成分テーブルを利用して、上述した式（1 2 5) の右辺を演算し、その演算結果を出力画素値 Mとして外部に出力する。

次に、図 1 6 7のフローチャートを参照して、 2次元再積分手法を利用する画像生成部 1 0 3 (図 1 6 6) の画像の生成の処理（図 40のステップ S 1 0 3の „〜™

PCT/JP2004/001585

203

処理）について説明する。

例えば、いま、図 1 6 4で示される関数 F (x, y)で表される光信号がセンサ 2 に入射されて入力画像となり、上述した図 4 0のステップ S 1 0 2の処理で、実世界推測部 1 0 2が、その入力画像のうちの、図 1 6 8で示されるような 1つの画素 3 2 3 1を注目画素として、関数 F (x，y)を近似する近似関数 f (x, y)を既に生成しているとする。

なお、図 1 6 8において、画素 3 2 3 1の画素値（入力画素値）が Pとされ、かつ、画素 3 2 3 1の形状が、 1辺の長さが 1の正方形とされている。また、空間方向のうちの、画素 3 2 3 1の 1辺に平行な方向が X方向とされ、 X方向に垂直な方向が Y方向とされている。さらに、画素 3 2 3 1の中心が原点とされる空間方向（X方向と Y方向）の座標系（以下、注目画素座標系と称する）が設定されている。

また、図 1 6 8において、上述した図 4 0のステップ S 1 0 1の処理で、データ定常性検出部 1 0 1が、画素 3 2 3 1を注目画素として、傾き G_f で表されるデータの定常性に対応するデータ定常性情報として、角度 6を既に出力しているとする。

図 1 6 7に戻り、この場合、ステップ S 3 2 0 1において、条件設定部 3 2 0 1は、条件（次数と積分範囲）を設定する。

例えば、いま、次数として 5が設定されるとともに、積分範囲として空間 4倍密（画素のピッチ幅が上下左右ともに 1/2倍となる空間解像度倍率）が設定されたとする。

即ち、この場合、図 1 6 9で示されるように、 X方向に一 0 . 5乃至 0 . 5の範囲、かつ Y方向に一0 . 5乃至 0 . 5の範囲（図 1 6 8の画素 3 2 3 1の範囲）に、 4個の画素 3 2 4 1乃至画素 3 2 4 4を新たに創造することが設定されたことになる。なお、図 1 6 9においても、図 1 6 8のものと同一の注目画素座標系が示されている。

また、図 1 6 9において、 M ( l)は、これから生成される画素 3 2 4 1の画素値を、 34 M(2)は、これから生成される画素 3 24 2の画素値を、 M(3)は、これから生成さ一一れる画素 3 24 3の画素値を、 M(4)は、これから生成される画素 3 2 4 1の画素値を、それぞれ表している。

図 1 6 7に戻り、ステップ S 3 2 0 2において、特徴量記憶部 3 2 0 2は、実世界推定部 1 0 2より供給された近似関数 f(x,y)の特徴量を取得し、特徴量テ一ブルを生成する。いまの場合、 5次の多項式である近似関数 f(x)の係数 w。乃至 w₅ が実世界推定部 1 0 2より供給されるので、特徴量テーブルとして、

w₀ , w₁ , w₂ , w₃ , w₄ , w₅) が生成される。

ステップ S 3 20 3において、積分成分演算部 3 2 0 3は、条件設定部 3 2 0 1により設定された条件（次数および積分範囲）、並びにデータ定常性検出部 1

0 1より供給されたデータ定常性情報（角度 ø) に基づいて積分成分を演算し、積分成分テーブルを生成する。

具体的には、例えば、これから生成される画素 3 ^{2 4} 1乃至画素 3 244のそれぞれに対して、番号（このような番号を、以下、モード番号と称する） 1乃至 4のそれぞれが付されているとすると、積分成分演算部 3 20 3は、上述した式 ( 1 2 5) の積分成分 (x_s,x_e,y_s,y_e) を、次の式（1 2 7) の左辺で示される積分成分 Ki (1)といった 1 (ただし、 1はモード番号を表している）の関数として演算する。

^ ( 1 ) = Ki (x_s,x_e,y_{s >} y_e) · ' ■ ( 1 2 7 )

具体的には、いまの場合、次の式（1 2 8) で示される積分成分 ^ (1)が演算される。

(0, 0.5， 0, 0.5)

(一 0.5, 0,一 0.5,0)

(0, 0.5,一 0.5,0)

• · · ( 1 2 8) なお、式（1 2 8) において、左辺が積分成分 ^ (1)を表し、右辺が積分成分 Ki (x_s,x_e,y_s,y_e) を表している。即ち、いまの場合、 1は、 1乃至 4のうちのいずれかであり、かつ、 iは 0乃至 5のうちのいずれかであるので、 6個の I （ 1 )， 6個の（ 2 ) , 6個の（ 3 ) , 6個の（ 4 )の総計 24個の I (1)が演算されることになる。

より具体的には、はじめに、積分成分演算部 3 20 3は、データ定常性検出部 1 0 1より供給された角度 Θを使用して、上述した式 (1 22) の変数 s ( s = cot e ) を演算する。

次に、積分成分演算部 3203は、演算した変数 sを使用して、式（1 28) の 4つの式の各右辺の積分成分 (x_s,x_e, y_s, y_e) のそれぞれを、 i= 0乃至 5 についてそれぞれ演算する。なお、この積分成分（x_s，x_e,y_s,y_e) の演算においては、上述した式（1 25) が使用される。

そして、積分成分演算部 320 3は、式（1 28) に従って、演算した 24個の積分成分 (x_s , x_e , y_s , y_e ) のそれぞれを、対応する積分成分 ^ (1)に変換し、変換した 24個の積分成分（1) (即ち、 6個の Ki (l)、 6個の（2)、 6個の（3)、および 6個の（4)) を含む積分成分テーブルを生成する。

なお、ステップ S 3202の処理とステップ S 3 203の処理の順序は、図 1 67の例に限定されず、ステップ S 3 203の処理が先に実行されてもよいし、ステップ S 3202の処理とステップ S 3203の処理が同時に実行されてもよい。

次に、ステップ S 3204において、出力画素値演算部 3204は、ステップ S 3 202の処理で特徴量記憶部 3202により生成された特徴量テーブルと、ステップ S 3203の処理で積分成分演算部 3203により生成された積分成分テーブルに基づいて出力画素値 M(l)乃至 M (4)のそれぞれを演算する。

具体的には、いまの場合、出力画素値演算部 3 204は、上述した式（1 2 5 ) に対応する、次の式 (1 29) 乃至式 (1 3 2) の右辺のそれぞれを演算することで、図 1 69で示される、画素 3241 (モード番号 1の画素）の画素値 M(l)、画素 3242 (モード番吾2の画素）の画素値 M(2)、画素 3 243 (モード番号 3の画素）の画素値 M (3)、および画素 3244 (モード番号 4の画素）の画素値 M(4)のそれぞれを演算する。

(1 29)

M(2) = ∑ Wi Xk;(2)

i=0

(1 30)

(1 3 1)

· · · ( 1 3 2) ただし、いまの場合、式 (1 29) 乃至式 (1 3 2) の nは全て 5となる。ステップ S 3 20 5において、出力画素値演算部 3 204は、全画素の処理を終了したか否かを判定する。

ステップ S 3 20 5において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 3202に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 32 02乃至 S 3204の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 3205において、全画素の処理が終了されたと判定すると）、出力画素値演算部 3204は、ステップ S 3 206において、画像を出力する。その後、画像の生成の処理は終了となる。このように、 2次元再積分手法を利用することで、センサ 2 (図 1 5 1) からの入力画像の画素 3 23 1 (図 1 68) における画素として、入力画素 323 1 よりも空間解像度の高い 4つの画素、即ち、画素 3241乃至画素 3244 (図 _n—

PCT/JP2004/001585

207

1 6 9 ) を創造することができる。さらに、図示はしないが、上述したように、画像生成部 1 0 3は、画素 3 2 4 1乃至画素 3 2 4 4のみならず、積分範囲を適宜変えることで、入力画素 3 2 3 1に対して任意の倍率の空間解像度の画素を劣化することなく創造することができる。

以上、 2次元再積分手法の説明として、空間方向（X方向と Y方向）に対する近似関数 f (x，y)を 2次元積分する例を用いたが、 2次元再積分手法は、時空間方向 (X方向と t方向、または、 Y方向と t方向）に対しても適用可能である。即ち、上述した例は、実世界 1 (図 1 5 1 ) の光信号が、例えば、図 1 6 4で示されるような傾き G_Fで表される空間方向の定常性を有する場合の例であったので、上述した式（1 2 0 ) で示されるような、空間方向（X方向と Y方向）の二次元積分が含まれる式が利用された。しかしながら、二次元積分の考え方は、空間方向だけによるものではなく、時空間方向（X方向と t方向、または、 Y方向と t方向）に対して適用することも可能である。

換言すると、 2次元再積分手法の前提となる 2次元多項式近似手法においては、光信号を表す画像関数 F (x，y, t)が、空間方向の定常性のみならず、時空間方向 (ただし、 X方向と t方向、または、 Y方向と t方向）の定常性を有している場合であっても、 2次元の多項式により近似することが可能である。

具体的には、例えば、 X方向に水平に等速で動いている物体がある場合、その物体の動きの方向は、図 1 7 0で示されるような X-t平面においては、傾きのように表される。換言すると、傾き V_Fは、 X-t平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部 1 0 1 (図 1 5 1 ) は、上述した角度 0 (X- Y平面における、空間方向の定常性を表す傾き G_Fに対応するデータ定常性情報）と同様に、 X - 1：平面における時空間方向の定常性を表す傾き V_F に対応するデ一タ定常性情報として、図 1 7 0で示されるような動き e (厳密には、図示はしないが、傾き v_Pに対応する傾き v_f で表されるデータの定常性の方向と、空間方向の X方向とのなす角度である動き 0 ) を出力することが可能である。また、 2次元多項式近似手法を利用する実世界推定部 102 (図 1 5 1) は、動き 0を上述した角度 0の代わりとして使用すれば、上述した方法と同様な方法で、近似関数 f(x，t)の係数 (特徴量) wi を演算することが可能になる。ただし、この場合、使用される式は、上述した式 (1 24) ではなく、次の式 (1 3 3) である。

n

f ( , y =∑ Wj (x-s><t)

i=0

• · · (1 33) なお、式 (1 33) において、 sは cote (ただし、 Θは動きである) である。従って、 2次元再積分手法を利用する画像生成部 1 03 (図 1 5 1) は、次の式（1 34) の右辺に、上述した式（1 3 3) の f (X, t)を代入して、演算することで、画素値 Mを算出することが可能になる。

= G_exJ_t Ι_χ f (x,t)dxdt

• · · (1 34) なお、式（1 34) において、 t_sは、 t方向の積分開始位置を表しており、 t_e は、 t方向の積分終了位置を表している。同様に、 x_s は、 X方向の積分開始位置を表しており、 x_e は、 X方向の積分終了位置を表している。 G_e は、所定のゲインを表している。

また、空間方向 Xの変わりに、空間方向 Yに注目した近似関数 f (y,t)も、上述した近似関数 f(x、t)と全く同様に取り扱うことが可能である。

ところで、式（1 33) において、 t方向を一定とみなし、即ち、 t方向の積分を無視して積分することで、時間方向には積分されないデータ、即ち、動きボケのないデータを得ることが可能になる。換言すると、この手法は、 2次元の多項式のうちの所定の 1次元を一定として再穑分する点で、 2次元再積分手法の 1 つとみなしてもよいし、実際には、 X方向の 1次元の再積分をすることになるという点で、 1次元再積分手法の 1つとみなしてもよい。 2004/001585

209

また、式（1 3 4 ) において、積分範囲は任意に設定可能であるので、 2次元再積分手法においては、この積分範囲を適宜変えることで、元の画素 (センサ 2 (図 1 5 1 ) からの入力画像の画素）に対して任意の倍率の解像度の画素を劣化することなく創造することが可能になる。

即ち、 2次元再積分手法においては、時間方向 tの積分範囲を適宜変えることで、時間解像度の創造が可能になる。また、空間方向 X (または、空間方向 Y) の積分範囲を適宜変えることで、空間解像度の創造が可能になる。さらに、時間方向 tと空間方向 Xの積分範囲のそれぞれを適宜変えることで、時間解像度と空間解像度の両方の創造が可能になる。

なお、上述したように、時間解像度と空間解像度のうちのいずれか一方の創造は、 1次元再積分手法でも可能であるが、両方の解像度の創造は、 1次元再積分手法では原理上不可能であり、 2次元以上の再積分を行うことではじめて可能になる。即ち、 2次元再積分手法と後述する 3次元再積分手法ではじめて、両方の解像度の創造が可能になる。

また、 2次元再積分手法は、 1次元ではなく 2次元の積分効果を考慮しているので、より実世界 1 (図 1 5 1 ) の光信号に近い画像を生成することも可能になる。

換言すると、 2次元再積分手法においては、例えば、図 1 5 1 (図 3 ) のデータ定常性検出部 1 0 1が、それぞれ時空間積分効果を有する、センサ 2の複数の検出素子により実世界 1の光信号が射影され、実世界 1の光信号の定常性（例えば、図 1 6 4の傾き G_Fで表される定常性）の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像におけるデータの定常性 (例えば、図 1 6 6の傾き G_f で表されるデータの定常性) を検出する。

そして、例えば、図 1 5 1 (図 3 )の実世界推定部 1 0 2が、データ定常性検出部 1 0 1により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも 2次元方向（例えば、図 1 6 4の空間方向 Xと、空間方向 Y ) の位置に対応する画素の画素値が、少なくとも 2次元方向の積分効果により取得された画素値であるとして、実世界 1の光信号を表す光信号関数 F (具体的には、図 1 6 4の関数 F(x，y)) を、多項式である近似関数 f (x，y)で近似することで、光信号関数 Fを推定することが前提とされている。

詳細には、例えば、実世界推定部 1 0 2は、データ定常性検出部 1 0 1により検出されたデータの定常性に対応する線（例えば、図 1 6 6の傾き G_f に対応する線 (矢印) ) からの少なくとも 2次元方向に沿った距離（例えば、図 1 6 6の断面方向距離 X Ί に対応する画素の画素値が、少なくとも 2次元方向の積分効果により取得された画素値であるとして、現実世界の光信号を表す第 1の関数を、多項式である第 2の関数で近似することで、第 1の関数を推定することが前提とされている。

2次元再積分手法においては、このような前提に基づいて、例えば、図 1 5 1 (図 3) の画像生成部 1 0 3 (構成は、図 1 6 5) 、実世界推定部 1 0 2により推定された関数 F(x，y)、即ち、近似関数 f(x,y)を、少なくとも 2次元方向の所望の単位で積分する（例えば、上述した式（1 20) の右辺を演算する）ことにより所望の大きさの画素（例えば、図 1 5 1の出力画像（画素値 M) 。具体的には、例えば、図 1 6 9の画素 3 24 1乃至画素 3 244) に対応する画素値を生成する。

従って、 2次元再積分手法においては、時間解像度と空間解像度のうちのいずれか一方の創造のみならず、両方の解像度の創造が可能になる。また、 2次元再積分手法においては、 1次元再積分手法に比較して、より実世界 1 (図 1 5 1) の光信号に近い画像を生成することも可能になる。

次に、図 1 7 1と図 1 7 2を参照して、 3次元再積分手法について説明する。 3次元再積分手法においては、 3次元関数近似手法により近似関数 f (x, y, t) が既に生成されていることが前提とされる。

この場合、 3次元再積分手法においては、出力画素値 Mは、次の式（1 3 5) のように演算される。

f(x, y,t)dxdydt

• · · ( 1 3 5) なお、式（1 3 5) において、 t_s は、 t方向の積分開始位置を表しており、 t_eは、 t方向の積分終了位置を表している。同様に、 y_sは、 Y方向の積分開始位置を表しており、 y_eは、 Y方向の積分終了位置を表している。また、 x_s は、 X方向の積分開始位置を表しており、 ₀は、 X方向の積分終了位置を表している。さらに、 G_e は、所定のゲインを表している。

式 ( 1 3 5) において、積分範囲は任意に設定可能であるので、 3次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ 2 (図 1 5 1) からの入力画像の画素）に対して任意の倍率の時空間解像度の画素を劣化することなく創造することが可能になる。即ち、空間方向の積分範囲を小さくすれば、画素ピッチを自由に細かくできる。逆に、空間方向の積分範囲を大きくすれば、画素ピッチを自由に大きくすることができる。また、時間方向の積分範囲を小さくすれば、実世界波形に基づいて時間解像度を創造できる。

図 1 7 1は、 3次元再積分手法を利用する画像生成部 1 0 3の構成例を表している。

図 1 7 1で示されるように、この例の画像生成部 1 0 3には、条件設定部 3 3 0 1、特徴量記憶部 3 3 0 2、積分成分演算部 3 3 0 3、および出力画素値演算部 3 3 04が設けられている。

条件設定部 3 3 0 1は、実世界推定部 1 0 2より供給された実世界推定情報 (図 1 7 1の例では、近似関数 f(x,y,t)の特徴量）に基づいて近似関数 f(x，y, t)の次数 nを設定する。

条件設定部 3 3 0 1はまた、近似関数 f (x， y， t)を再積分する場合 (出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部 3 3 0 1が設定する積分範囲は、画素の幅（縦幅と横幅）やシャツタ時間そのものである必要は無い。例えば、センサ 2 (図 1 5 1) からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部 103がこれから生成する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な空間方向の積分範囲の決定が可能である。同様に、センサ 2 (図 1 5 1) のシャッタ時間に対する出力画素値の相対的な時間（時間解像度の倍率）がわかれば、具体的な時間方向の積分範囲の決定が可能である。従って、条件設定部 3 30 1は、積分範囲として、例えば、空間解像度倍率や時間解像度倍率を設定することもできる。

特徴量記憶部 3 302は、実世界推定部 1 02より順次供給されてくる近似関数 f (x,y，t)の特徴量を一次的に記憶する。そして、特徴量記憶部 3 302は、近似関数 f(x， y, t)の特徴量の全てを記憶すると、近似関数 f(x， y, t)の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部 3 304に供給する。

ところで、上述した式（1 35) の右辺の近似関数 f (x，y)の右辺を展開（演算）すると、出力画素値 Mは、次の式（1 36) のように表される。

M =え i Xki(x_s, x_e, y_s, y_e, t_s, t_e)

i=0

• · · (1 36) 式（1 36) において、 (x_s,x_e,y_s,y_e,t_s,t_e) は、 i次項の積分成分を表している。ただし、 x_s は X方向の積分範囲の開始位置を、 x_eは X方向の積分範囲の終了位置を、 y_s は Y方向の積分範囲の開始位置を、 y_e は Y方向の積分範囲の終了位置を、 t_s は t方向の積分範囲の開始位置を、 t_e は t方向の積分範囲の終了位置を、それぞれ表している。

積分成分演算部 3 303は、この積分成分 Ki (x_s,x_e,y_s,y_e,t_s,t_e) を演算する。

具体的には、積分成分演算部 3 303は、条件設定部 3 30 1により設定された次数、および積分範囲（空間解像度倍率や時間解像度倍率）、並びにデータ定常性検出部 10 1より出力されたデータ定常性情報のうちの角度 0または動き 0 に基づいて積分成分 (x_s, x_e,y_{s )}y_e,t_s,t_e) を演算し、その演算結果を積分成分テーブルとして出力画素値演算部 3 304に供給する。出力画素値演算部 3 3 0 4は、特徴量記憶部 3 3 0 2より供給された特徴量テ一ブルと、積分成分演算部 3 3 0 3より供給された積分成分テーブルを利用して、上述した式（1 3 6 ) の右辺を演算し、その演算結果を出力画素値 Mとして外部に出力する。

次に、図 1 7 2のフローチャートを参照して、 3次元再積分手法を利用する画像生成部 1 0 3 (図 1 7 1 ) の画像の生成の処理 (図 4 0のステップ S 1 0 3の処理）について説明する。

例えば、いま、上述した図 4 0のステップ S 1 0 2の処理で、実世界推測部 1 0 2 (図 1 5 1 ) が、入力画像のうちの、所定の画素を注目画素として、実世界 1 (図 1 5 1 ) の光信号を近似する近似関数 f (x, y, t)を既に生成しているとする。

また、上述した図 4 0のステップ S 1 0 1の処理で、データ定常性検出部 1 0 1 (図 1 5 1 ) ί 実世界推定部 1 0 2と同じ画素を注目画素として、データ定常性情報として、角度 0または動き Θを既に出力しているとする。

この場合、図 1 7 2のステップ S 3 3 0 1において、条件設定部 3 3 ◦ 1は、条件（次数と積分範囲）を設定する。

ステップ S 3 3 0 2において、特徴量記憶部 3 3 0 2は、実世界推定部 1 0 2 より供給された近似関数 f (x，y，t)の特徴量 _Wi を取得し、特徴量テーブルを生成する。

ステップ S 3 3 0 3において、積分成分演算部 3 3 0 3は、条件設定部 3 3 0 1により設定された条件（次数および積分範囲）、並びにデータ定常性検出部 1 0 1より供給されたデータ定常性情報（角度 0または動き 0 ) に基づいて積分成分を演算し、積分成分テーブルを生成する。

なお、ステップ S 3 3 0 2の処理とステップ S 3 3 0 3の処理の順序は、図 1 7 2の例に限定されず、ステップ S 3 3 0 3の処理が先に実行されてもよいし、ステップ S 3 3 0 2の処理とステップ S 3 3 0 3の処理が同時に実行されてもよい。次に、ステップ S 3 3 0 4において、出力画素値演算部 3 3 0 4は、ステップ S 3 3 0 2の処理で特徴量記憶部 3 3 0 2により生成された特徴量テーブルと、ステップ S 3 3 0 3の処理で積分成分演算部 3 3 0 3により生成された積分成分テーブルに基づいて各出力画素値のそれぞれを演算する。

ステップ S 3 3 0 5において、出力画素値演算部 3 3 0 4は、全画素の処理を終了したか否かを判定する。

ステップ S 3 3 0 5において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 3 3 0 2に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 3 3 0 2乃至 S 3 3 0 4の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 3 3 0 5において、全画素の処理が終了されたと判定すると）、出力画素値演算部 3 3 0 4は、ステップ S 3 3 0 6において、画像を出力する。その後、画像の生成の処理は終了となる。このように、上述した式（1 3 5 ) において、その積分範囲は任意に設定可能であるので、 3次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ 2 (図 1 5 1 ) からの入力画像の画素）に対して任意の倍率の解像度の画素を劣化することなく創造することが可能になる。

即ち、 3次元再積分手法においては、時間方向の積分範囲を適宜変えることで、時間解像度の創造が可能になる。また、空間方向の積分範囲を適宜変えることで、空間解像度の創造が可能になる。さらに、時間方向と空間方向の積分範囲のそれぞれを適宜変えることで、時間解像度と空間解像度の両方の創造が可能になる。具体的には、 3次元再積分手法においては、 2次元や 1次元に落とすときの近似がないので精度の高い処理が可能になる。また、斜め方向の動きも 2次元に縮退することなく処理することが可能になる。さらに、 2次元に縮退していないので各次元の加工が可能になる。例えば、 2次元再積分手法において、空間方向 ( X方向と Y方向) に縮退している場合には時間方向である t方向の加工ができなくなってしまう。これに対して、 3次元再積分手法においては、時空間方向のいずれの加工も可能になる。

なお、上述したように、時間解像度と空間解像度のうちのいずれか一方の創造は、 1次元再積分手法でも可能であるが、両方の解像度の創造は、 1次元再積分手法では原理上不可能であり、 2次元以上の再積分を行うことではじめて可能になる。即ち、上述した 2次元再積分手法と 3次元再積分手法ではじめて、両方の解像度の創造が可能になる。

また、 3次元再積分手法は、 1次元や 2次元ではなく 3次元の積分効果を考慮しているので、より実世界 1 (図 1 5 1 ) の光信号に近い画像を生成することも可能になる。

換言すると、 3次元再積分似手法においては、例えば、図 1 5 1 (図 3 ) の実世界推定部 1 0 2は、それぞれ時空間積分効果を有する、センサ 2の複数の検出素子により実世界 1の光信号が射影され、実世界 1の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像の、時空間方向のうち少なくとも 1次元方向の位置に対応する画素の画素値が、少なくとも 1次元方向の積分効果により取得された画素値であるとして、実世界の光信号を表す光信号関数 Fを所定の近似関数 f で近似することで、光信号関数 Fを推定することが前提とされる。

さらに、例えば、図 1 5 1 (図 3 ) のデータ定常性検出部 1 0 1が、入力画像のデータの定常性を検出した場合、実世界推定部 1 0 2は、データ定常性検出部 1 0 1により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも 1次元方向の位置に対応する画素の画素値が、少なくとも 1次元方向の積分効果により取得された画素値であるとして、光信号関数 Fを近似関数 f で近似することで、光信号関数 Fを推定することが前提とされる。

詳細には、例えば、実世界推定部 1 0 2は、定常性検出部 1 0 1により検出されたデータの定常性に対応する線からの少なくとも 1次元方向に沿った距離に対応する画素の画素値が、少なくとも 1次元方向の積分効果により取得された画素値であるとして、光信号関数 Fを近似関数で近似することで、光信号関数を推 1585

216

定することが前提とされる。

3次元再積分手法においては、例えば、図 1 5 1 (図 3) の画像生成部 1 0 3 (構成は、図 1 7 1 ) 実世界推定部 1 0 2により推定された光信号関数 F、即ち、近似関数 f を、少なくとも 1次元方向の所望の単位で積分する（例えば、上述した式 ( 1 3 5) の右辺を演算する）ことにより所望の大きさの画素に対応する画素値を生成する。

従って、 3次元再積分手法は、従来の画像生成手法や、上述した 1次元または 2次元再積分手法に比較して、より実世界 1 (図 1 5 1) の光信号に近い画像を生成することも可能になる。

次に、図 1 7 3を参照して、実世界推定部 1 0 2より入力される実世界推定情報が、参照画素の各画素値を近似的に表現する近似関数 f(x)上の、各画素の微分値、または、傾きの情報である場合、各画素の微分値、または、傾きに基づいて、新たに画素を生成し、画像を出力する画像生成部 1 0 3について説明する。尚、ここでいう微分値は、参照画素の各画素値を近似的に表現する近似関数 . f(x)を求めた後、その近似関数 f(x)から得られる 1次微分式 f(x)' (近似関数がフレーム方向の場合、近似関数 f(t)から得られる 1次微分式 f(t)' ) を用いて、所定の位置で得られる値のことである。また、ここでいう傾きは、上述の近似関数 f(x) (または、 f(t)) を求めることなく、所定の位置における周辺画素の画素値から直接得られる近似関数 f (X)上の所定の位置の傾きのことを示している。しかしながら、微分値は、近似関数 f(x)の所定の位置での傾きなので、いずれも、上記近似関数 f(x)上の所定の位置における傾きである。そこで、実世界推定部 1 0 2より入力される実世界推定情報としての微分値と傾きについては、図 1 7 3、および、図 1 7 7の画像生成部 1 0 3の説明においては、統一して近似関数 f(x) (または、 f (ΐ)) 上の傾きと称する。

傾き取得部 3 40 1は、実世界推定部 1 0 2より入力される参照画素の画素値を近似的に表現する近似関数 f(x)についての、各画素の傾きの情報と、対応する画素の画素値、および、定常性の方向の傾きを取得して、外揷補間部 3 4 0 2 に出力する。

外揷補間部 3 4 0 2は、傾き取得部 3 4 0 1より入力された各画素の近似関数 f (x)上の傾きと、対応する画素の画素値、および、定常性の方向の傾きに基づいて、外揷補間により、入力画像よりも所定の倍率の高密度の画素を生成し、出力画像として出力する。

次に、図 1 7 4のフローチヤ一トを参照して、図 1 7 3の画像生成部 1 0 3による画像の生成の処理について説明する。

ステップ S 3 4 0 1において、傾き取得部 3 4 0 1は、実世界推定部 1 0 2より入力されてくる、各画素の近似関数 f (x)上の傾き（微分値）、位置、画素値、および、定常性の方向の傾きの情報を実世界推定情報として取得する。

このとき、例えば、入力画像に対して空間方向 X、および、空間方向 Yについてそれぞれ 2倍（合計 4倍〉の密度の画素からなる画像を生成する場合、実世界推定部 1 0 2からは、図 1 7 5で示されるような画素 P inに対して、傾き f (Xin) ' (画素 Pinの中央位置における傾き） , f (Xin— Cx ( _ 0. 25) ) ' (画素 Pinから Y方向に 2倍密度の画素が生成されるときの画素 Paの中央位置の傾き）， f (Xin— Cx (0. 25) ) ' (画素 Pinから Y方向に 2倍密度の画素が生成されるときの画素 P bの中央位置の傾き）、画素 Pinの位置、画素値、および、定常性の方向の傾き G _f の情報が入力される。

ステップ S 3 4 0 2において、傾き取得部 3 4 0 1は、入力された実世界推定情報のうち、対応する注目画素の情報を選択し、外挿補間部 3 4 0 2に出力する。ステップ S 3 4 0 3において、外挿補間部 3 4 0 2は、入力された画素の位置情報と定常性の方向の傾き G _f からシフト量を求める。

ここで、シフト量 Cx (ty)は、定常性の傾きが G _f で示されるとき、 Cx (ty) = tyZ G_f で定義される。このシフト量 Cx (ty)は、空間方向 Y = 0の位置上で定義される近似関数 f (X)が、空間方向 Y=tyの位置における、空間方向 Xに対するずれ幅を示すものである。従って、例えば、空間方向 Y = 0の位置上で近似関数が f (x)として定義されている場合、この近似関数 f (x)は、空間方向 Y=tyにお PC蘭 004/001585

218

いては、空間方向 Xについて Cx(ty)だけずれた関数となるので、近似関数は、 f (x-Cx(ty)) ( = f (x-ty/G_f)) で定義されることになる。

例えば、図 1 7 5で示されるような画素 Pinの場合、図中の 1画素 (図中の 1画素の大きさは、水平方向、および、垂直方向ともに 1であるものとする）を垂直方向に 2分割するとき（垂直方向に倍密度の画素を生成するとき）、外揷捕間部 3 40 2は、求めようとする画素 Pa， Pbのシフト量を求める。すなわち、今の場合、画素 Pa, Pbは、画素 Pinからみて、空間方向 Yについて、それぞれ一 0.25， 0.25だけシフトしているので、画素 Pa， Pbのシフト量は、それぞれ Cx (一 0.25) , Cx (0.25) となる。尚、図 1 7 5中において、画素 Pinは、

(Xin, Yin) を略重心位置とする正方形であり、画素 Pa， Pbは、（Xin，

Yin+0.25) 、 (Xin, Yin— 0.25) をそれぞれ略重心位置とする図中水平方向に長い長方形である。

ステップ S 3 404において、外揷補間部 34 0 2は、ステップ S 3 40 3の処理で求められたシフト量 Cx、実世界推定情報として取得された画素 Pinの近似関数 f(x)上の注目画素上での傾き f (Xin)'、および、画素 Pinの画素値に基づいて、以下の式（1 3 7) ，式（1 3 8) により外揷補間を用いて画素 Pa, Pbの画素値を求める。

Pa=Pin-f (Xin)' XCx(0.25)

• · · ( 1 3 7) Pb=Pin-f (Xin)' XCx (— 0.25)

• · · ( 1 3 8) 以上の式（1 3 7) , 式（1 3 8) において、 Pa, Pb, P inは、画素 Pa, Pb,

Pinの画素値を示す。

すなわち、図 1 7 6で示されるように、注目画素 Pinにおける傾き f (Xin)'に、 X方向の移動距離、すなわち、シフト量を乗じることにより画素値の変化量を設定し、注目画素の画素値を基準として、新たに生成する画素の画素値を設定する _c

3 40 5において、外揷捕間部 34 0 2は、所定の解像度の画素が得られたか否かを判定する。例えば、所定の解像度が入力画像の画素に対して、垂直方向に 2倍の密度の画素であれば、以上の処理により、外挿補間部 340 2 は、所定の解像度の画像が得られたと判定することになるが、例えば、入力画像の画素に対して、 4倍の密度（水平方向に 2倍 X垂直方向に 2倍）の画素が所望とされていた場合、以上の処理では、所定の解像度の画素が得られていないことになる。そこで、 4倍の密度の画像が所望とされていた画像である場合、外揷補間部 3 40 2は、所定の解像度の画素が得られていないと判定し、その処理は、ステップ S 3 4 0 3に戻る。

ステップ S 3 4 0 3において、外揷補間部 3 4 0 2は、 2回目の処理で、求めようとする画素 P 0 1， P 0 2, P 0 3 , および P 04 (注目画素 Pinに対して 4倍となる密度の画素）を生成しようとする画素の中心位置からのシフト量をそれぞれ求める。すなわち、今の場合、画素 P 0 1， P 0 2は、画素 Paから得られるものなので、画素 Paからのシフト量がそれぞれ求められることになる。ここで、画素 P O l , P 0 2は、画素 Paからみて空間方向 Xについて、それぞれー 0.25， 0.25だけシフトしているので、その値そのものがシフト量となる

(空間方向 Xについてシフトしているため）。同様にして、画素 P 0 3, P 04 は、画素 Pbからみて空間方向 Xについて、それぞれ一 0.25， 0.25だけシフトしているので、その値そのものがシフト量となる。尚、図 1 7 5において、画素 P 0 1， P 0 2 , P 0 3， P 04は、図中の 4個のバッ印の位置を重心位置とする正方形であり、各辺の長さは、画素 Pinが、それぞれ 1であるので、画素 P O 1， P 0 2 , P 0 3 , P 04は、それぞれ略 0. 5となる。

ステップ S 3 404において、外揷補間部 34 0 2は、ステップ S 3 40 3の処理で求められたシフト量 Cx、実世界推定情報として取得された画素 Pa， Pbの近似関数 f (x)上の所定の位置での

傾き f (Xin— Cx (— 0.25))' , f (Xin— Cx (0.25) ) '、および、上述の処理で求められた画素 Pa， Pbの画素値に基づいて、外揷補間により以下の式 ( 1 3 9) 乃至式（1 4 2) により画素 P 0 1 , P 0 2, P 0 3 , P 04の画素値を求め、図示せぬメモリに記憶させる。

P 0 1 =Pa + f (Xin-Cx(0.25))' X (一 0.25)

( 1 3 9)

P 0 2 =Pa + f (Xin-Cx(0.25))， X (0.25)

( 1 4 0)

P 0 3 =Pb + f (Xin-Cx(-0.25))' X (— 0.25)

( 1 4 1)

P 04 =Pb + f (Xin-Cx(-0.25))' X (0.25)

• · · ( 1 4 2) 上述の式（1 3 9) 乃至式（1 4 2) において、 P 0 1乃至 P 0 4は、画素 P 0 1乃至 P 0 4のそれぞれの画素値を示す。

ステップ S 3 40 5において、外揷補間部 34 0 2は、所定の解像度の画素が得られたか否かを判定し、今の場合、所望とされていた 4倍の密度の画素が得られたことになるので、外揷補間部 34 0 2は、所定の解像度の画素が得られたと判定し、その処理は、ステップ S 34 0 6に進む。

ステップ S 3 4 0 6において、傾き取得部 34 0 1は、全ての画素で処理がなされたか否かを判定し、まだ、全ての画素について処理がなされていないと判定した場合、その処理は、ステップ S 3 40 2に戻り、それ以降の処理が繰り返される。

ステップ S 3 4 0 6において、傾き取得部 34 0 1は、全ての画素について処理がなされたと判定した場合、ステップ S 3 40 7において、外揷補間部 3 40 2は、図示せぬメモリに記憶されている、生成された画素からなる画像を出力する。

すなわち、図 1 7 6で示されるように、近似関数 f(x)上の傾き f (χ)'を用いて、その傾きを求めた注目画素から空間方向 Xに離れた距離に応じて、新たな画素の画素値が外揷補間により求められる。

尚、以上の例においては、 4倍密度の画素を演算する際の傾き（微分値）を例 PCT/JP2004/001585

221

として説明してきたが、さらに多くの位置における、傾きの情報が、実世界推定情報として得られれば、上述と同様の手法で、それ以上の空間方向の密度の画素を演算する事も可能である。

また、以上の例については、倍密度の画素値を求める例について説明してきた力近似関数 f (x)は連続関数であるので、倍密度以外の画素値についても必要な傾き（微分値）の情報が得られれば、さらに高密度の画素からなる画像を生成することが可能となる。

以上によれば、実世界推定情報として供給される入力画像の各画素の画素値を空間方向に近似する近似関数 f (x)の傾き（または、微分値） f (x) 'の情報に基づいて、入力画像よりも高解像度の画像の画素を生成することが可能となる。

次に、図 1 7 7を参照して、実世界推定部 1 0 2より入力される実世界推定情報が、参照画素の画素値を近似的に表現するフレーム方向（時間方向）の関数 f (t)上の、各画素の微分値、または、傾きの情報である場合、各画素の微分値、または、傾きに基づいて、新たに画素を生成し、画像を出力する画像生成部 1 0 3について説明する。

傾き取得部 3 4 1 1は、実世界推定部 1 0 2より入力される参照画素の画素値を近似的に表現する近似関数 f (t)上の、各画素の位置における傾きの情報と、対応する画素の画素値、および、定常性の動きを取得して、外挿補間部 3 4 1 2 に出力する。

外揷補間部 3 4 1 2は、傾き取得部 3 4 1 1より入力された各画素の近似関数 f (t)上の傾きと、対応する画素の画素値、および、定常性の動きに基づいて、外揷補間により、入力画像よりも所定の倍率の高密度の画素を生成し、出力画像として出力する。

次に、図 1 7 8のフローチヤ一トを参照して、図 1 7 7の画像生成部 1 0 3による画像の生成の処理について説明する。

ステップ S 3 4 2 1において、傾き取得部 3 4 1 1は、実世界推定部 1 0 2より入力されてくる、各画素の近似関数 f (t)上の傾き（微分値）、位置、画素値、および、定常性の動きの情報を実世界推定情報として取得する。

このとき、例えば、入力画像に対して空間方向、および、フレーム方向にそれぞれ 2倍（合計 4倍）の密度の画素からなる画像を生成する場合、実世界推定部 1 0 2からは、図 1 7 9で示されるような画素 Pinに対して、傾き f (Tin)' (画素 Pinの中央位置における傾き) ， f (Tin-Ct(0.25))， (画素 Pinから Y方向に 2倍密度の画素が生成されるときの画素 Patの中央位置の傾き）， f(Tin— Ct(-0.25))' (画素 Pinから Y方向に 2倍密度の画素が生成されるときの画素 Pbtの中央位置の傾き）、画素 Pinの位置、画素値、および、定常性の動き

(動きべクトル) の情報が入力される。

ステップ S 3 4 2 2において、傾き取得部 3 4 1 1は、入力された実世界推定情報のうち、対応する注目画素の情報を選択し、外揷補間部 3 4 1 2に出力する。ステップ S 3 4 2 3において、外挿補間部 34 1 2は、入力された画素の位置情報と定常性の方向の傾きからシフト量を求める。

ここで、シフト量 Ct(ty)は、定常性の動き（フレーム方向と空間方向からなる面に対する傾き）が V_f で示されるとき、

で定義される。このシフト量 Ct(ty)は、空間方向 Y = 0の位置上で定義される近似関数 f(t)が、空間方向 Y=tyの位置における、フレーム方向 Tに対するずれ幅を示すものである。従って、例えば、空間方向 Y=0の位置上で近似関数が f(t)として定義されている場合、この近似関数 f(t)は、空間方向 Y=tyにおいては、空間方向 T について Ct(ty)だけずれた関数となるので、近似関数は、 f(t— Ct(ty)) (= f(t-ty/V_f)) で定義されることになる。

例えば、図 1 7 9で示されるような画素 Pinの場合、図中の 1画素（図中の 1画素の大きさは、フレーム方向、および、空間方向ともに 1であるものとする）を空間方向に 2分割するとき (空間方向に倍密度の画素を生成するとき) 、外揷捕間部 34 1 2は、求めようとする画素 Pat， Pb tのシフト量を求める。すなわち、今の場合、画素 Pat, Pbtは、画素 Pinからみて、空問方向 Yについて、それぞれ 0.25, — 0.25 だけシフトしているので、画素 Pat, Pbt のシフト量は、それぞれ Ct (0.25) ， Ct (— 0.25) となる。尚、図 1 7 9中において、画素 Pinは、（Xin, Yin) を略重心位置とする正方形であり、画素 Pat， Pbtは、

(Xin, Yin+0.25) 、 (Xin, Yin— 0.25) をそれぞれ略重心位置とする図中水平方向に長い長方形である。

ステップ S 3 4 24において、外揷捕間部 3 4 1 2は、ステップ S 3 4 2 3の処理で求められたシフト量、実世界推定情報として取得された画素 Pinの近似関数 f(t)上の注目画素上での傾き f (Tin)'、および、画素 Pinの画素値に基づいて、外揷捕間により以下の式（1 4 3) ，式（1 44) により画素 Pat, Pbt の画素値を求める。

Pat = Pin-f (Tin)' XCt(0.25)

• · · ( 1 4 3)

Pbt = Pin-f (Xin)' XCt(-0.25)

• · · (1 44) 以上の式（1 4 3) ，式（1 4 4) において、 Pat, Pbt, Pin は、画素 Pat, Pbt, Pinの画素値を示す。

すなわち、図 1 8 0で示されるように、注目画素 Pinにおける傾き f (Xin)'に、 X方向の移動距離、すなわち、シフト量を乗じることにより画素値の変化量を設定し、注目画素の画素値を基準として、新たに生成する画素の画素値を設定する。ステップ S 3 42 5において、外揷補間部 34 1 2は、所定の解像度の画素が得られたか否かを判定する。例えば、所定の解像度が入力画像の画素に対して、空間方向に 2倍の密度の画素であれば、以上の処理により、外揷補間部 3 4 0 2 は、所定の解像度の画像が得られたと判定することになるが、例えば、入力画像の画素に対して、 4倍の密度（フレーム方向に 2倍 X空間方向に 2倍）の画素が所望とされていた場合、以上の処理では、所定の解像度の画素が得られていないことになる。そこで、 4倍の密度の画像が所望とされていた画像である場合、外揷補間部 3 4 1 2は、所定の解像度の画素が得られていないと判定し、その処理は、ステップ S 34 2 3に戻る。ステップ S 3 4 2 3において、外揷補間部 3 4 1 2は、 2回目の処理で、求めようとする画素 P O I t , P 0 2 t , P 0 3 t , および P 04 t (注目画素 Pin に対して 4倍となる密度の画素）を生成しようとする画素の中心位置からのシフト量をそれぞれ求める。すなわち、今の場合、画素 P 0 1 t , P 0 2 tは、画素 Patから得られるものなので、画素 Patからのシフト量がそれぞれ求められることになる。ここで、画素 P O I t , 0 2 tは、画素 Patからみてフレーム方向 Tについて、それぞれ一 0.25, 0.25だけシフトしているので、その値そのものがシフト量となる（空間方向 Xについてシフトしているため）。同様にして、画素 P 0 3 t， P 04 tは、画素 Pbtからみてフレーム方向 Tについて、それぞれー 0.25, 0.25だけシフトしているので、その値そのものがシフト量となる。尚、図 1 7 9において、画素 P 0 1 t , P 0 2 t , P 0 3 t , P 04 tは、図中の 4個のバッ印の位置を重心位置とする正方形であり、各辺の長さは、画素 Pin ヽそれぞれ 1であるので、画素 P 0 1 t , P 0 2 t , P 0 3 t , P 04 tは、それぞれ略 0. 5となる。

ステップ S 3 4 24において、外揷補間部 34 1 2は、ステップ S 3 4 2 3の処理で求められたシフト量 Ct、実世界推定情報として取得された画素 Pa t , Pbtの近似関数 f(t)上の所定の位置での傾き f (Tin— Ct(0.25))'， f (Tin— Ct (一 0.25))'、および、上述の処理で求められた画素 Pat, Pbtの画素値に基づいて、外揷捕間により以下の式（1 4 5) 乃至式（1 4 8) により画素 P O l t , P 0 2 t , P 0 3 t , P 04 tの画素値を求め、図示せぬメモリに記憶させる。

P O l t =Pat + f (Tin-Ct(0.25))' X (一 0.25)

• · ■ ( 1 4 5)

P 0 2 t =Pat + f (Tin-Ct(0.25))' X (0.25)

• · · ( 1 4 6) P 0 3 t =Pbt + f (Tin-Ct(~0.25))， X (一 0.25)

• · · ( 1 4 7)

P 0 4 t =Pbt + f (Tin-Ct(-0.25))， X (0.25) • · · ( 1 4 8 ) 上述の式（1 3 9 ) 乃至式（1 4 2 ) において、 P 0 1 t乃至 P 0 4 tは、画素 P 0 1 t乃至 P 0 4 tのそれぞれの画素値を示す。

ステップ S 3 4 2 5において、外揷補間部 3 4 1 2は、所定の解像度の画素が得られたか否かを判定し、今の場合、所望とされていた 4倍密度の画素が得られたことになるので、外揷補間部 3 4 1 2は、所定の解像度の画素が得られたと判定し、その処理は、ステップ S 3 4 2 6に進む。

ステップ S 3 4 2 6において、傾き取得部 3 4 1 1は、全ての画素で処理がなされたか否かを判定し、まだ、全ての画素について処理がなされていないと判定した場合、その処理は、ステップ S 3 4 2 2に戻り、それ以降の処理が繰り返される。

ステップ S 3 4 2 6において、傾き取得部 3 4 1 1は、全ての画素について処理がなされたと判定された場合、ステップ S 3 4 2 7において、外挿補間部 3 4 1 2は、図示せぬメモリに記憶されている、生成された画素からなる画像を出力する。

すなわち、図 1 8 0で示されるように、近似関数 f (t)上の傾き f (t) 'を用いて、その傾きを求めた注目画素からフレーム方向 Tに離れたフレーム数に応じて、新たな画素の画素値が外揷補間により求められる。

尚、以上の例においては、 4倍密度の画素を演算する際の傾き（微分値）を例として説明してきたが、さらに多くの位置における、傾きの情報が、実世界推定情報として得られれば、上述と同様の手法で、それ以上のフレーム方向の密度の画素を演算する事も可能である。

また、以上の例については、倍密度の画素値を求める例について説明してきた 1S 近似関数 f (t)は連続関数であるので、倍密度以外の画素値についても必要な傾き（微分値）の情報が得られれば、さらに高密度の画素からなる画像を生成することが可能となる。

以上の処理により、実世界推定情報として供給される入力画像の各画素の画素値をフレーム方向に近似する近似関数 f (t)の傾き（または、微分値） f (t) 'の情報に基づいて、入力画像よりも高解像度の画像の画素をフレーム方向にも生成することが可能となる。

以上によれば、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる画像データにおけるデータの定常性を検出し、検出された定常性に対応して、画像データ内の注目画素に対して時空間方向のうち 1次元方向にシフトした位置の複数画素の画素値の傾きを、現実世界の光信号に対応する関数として推定し、注目画素の中心位置から 1次元方向にシフトした位置を中心とする傾きを有する直線の前記注目画素内に配される両端の値を注目画素よりも高解像度の画素の画素値として生成するようにしたので、入力画像よりも時空間方向に高解像度の画素を生成することが可能となる。

次に、図 1 8 1乃至図 2 0 6を参照して、画像生成部 1 0 3 (図 3 ) の実施の形態のさらに他の例について説明する。

図 1 8 1は、この例の実施の形態が適用される画像生成部 1 0 3の構成例を表している。

図 1 8 1で示される画像生成部 1 0 3には、従来のクラス分類適応処理を実行するクラス分類適応処理部 3 5 0 1、クラス分類適応処理に対する捕正の処理 (処理の詳細については後述する）を実行するクラス分類適応処理補正部 3 5 0 2、および、クラス分類適応処理部 3 5 0 1より出力された画像と、クラス分類適応処理補正部 3 5 0 2より出力された画像を加算し、加算した画像を出力画像として外部に出力する加算部 3 5 0 3が設けられている。

なお、以下、クラス分類適応処理部 3 5 0 1より出力される画像を、予測画像と称し、クラス分類適応処理補正部 3 5 0 2より出力される画像を、補正画像、または、差分予測画像と称する。ただし、予測画像と差分予測画像の名称の由来についてはそれぞれ後述する。 JP2004/001585

227

また、この例の実施の形態においては、クラス分類適応処理は、例えば、入力画像の空間解像度を向上する処理であるとする。即ち、標準解像度の画像である入力画像を、高解像度の画像である予測画像に変換する処理であるとする。なお、以下、標準解像度の画像を、適宜、 SD (Standard Definition)画像と称する。また、 SD画像を構成する画素を、適宜、 S D画素と称する。

これに対して、以下、高解像度の画像を、適宜、 HD Oligh Definition)画像と称する。また、 HD画像を構成する画素を、適宜、 HD画素と称する。

具体的には、この例の実施の形態においては、クラス分類適応処理とは、次のような処理である。

即ち、はじめに、入力画像（SD画像）の注目画素（SD画素）における、予測画像（HD画像）の HD画素を求めるために、注目画素を含めた、その付近に配置される SD画素（以下、このような SD画素を、クラスタップと称する）の特徴量のそれぞれを求めて、その特徴量毎に予め分類されたクラスを特定する (クラスタップ群のクラスコードを特定する）。

そして、予め設定された複数の係数群（各係数群のそれぞれは、所定の 1つのクラスコードに対応している）のうちの、特定されたクラスコードに対応する係数群を構成する各係数と、注目画素を含めた、その付近の SD画素（以下、このような入力画像の SD画素を、予測タップと称する。なお、予測タップは、クラスタップと同じこともある）とを用いて積和演算を実行することで、入力画像 (SD画像）の注目画素（SD画素）における、予測画像（HD画像）の HD画素を求めるものである。

従って、この例の実施の形態においては、入力画像（SD画像）は、クラス分類適応処理部 3 5 0 1において、従来のクラス分類適応処理が施されて予測画像 (HD画像）となり、さらに、加算部 3 5 0 3において、その予測画像が、クラス分類適応処理補正部 3 5 0 2からの補正画像で補正されて（補正画像が加算されて）出力画像（HD画像）となる。

即ち、この例の実施の形態は、定常性の観点からは、定常性を用いて処理を行 „〜™

PCT/JP2004/001585

228

う画像処理装置（図 3 ) のうちの画像生成部 1 0 3の 1つの実施の形態であると言える。これに対して、クラス分類適応処理の観点からは、センサ 2とクラス分類適応処理部 3 5 0 1から構成される従来の画像処理装置に対して、クラス分類適応処理の補正を行うために、データ定常性検出部 1 0 1、実世界推定部 1 0 2、クラス分類適応処理補正部 3 5 0 2、およぴ加算部 3 5 0 3をさらに付加した画像処理装置の実施の形態であるとも言える。

従って、以下、この例の実施の形態を、上述した再積分手法に対して、クラス分類適応処理補正手法と称する。

クラス分類適応処理補正手法を利用する画像生成部 1 0 3についてさらに詳しく説明する。

図 1 8 1において、画像である、実世界 1の信号（光の強度の分布）がセンサ 2に入射されると、センサ 2からは入力画像が出力される。この入力画像は、データ定常性検出部 1 0 1に入力されるとともに、画像生成部 1 0 3のクラス分類適応処理部 3 5 0 1に入力される。

クラス分類適応処理部 3 5 0 1は、入力画像に対して、従来のクラス分類適応処理を施して予測画像を生成し、加算部 3 5 0 3に出力する。

このように、クラス分類適応処理部 3 5 0 1は、センサ 2からの入力画像（画像データ）を基準とするとともに、入力画像そのものを処理の対象としている。即ち、センサ 2からの入力画像は、上述した積分効果により実世界 1の信号とは異なるもの（歪んだもの）となっているにも関わらず、クラス分類適応処理部 3 5 0 1は、その実世界 1の信号とは異なる入力画像を正として処理を行っている。その結果、センサ 2から出力された段階で実世界 1のディテールがつぶれてしまった入力画像（S D画像）は、クラス分類適応処理によりたとえ H D画像とされても、元のディテールが完全に復元されないことがあるという課題が発生してしまう。

そこで、この課題を解決するために、クラス分類適応処理補正手法においては、画像生成部 1 0 3のクラス分類適応処理補正部 3 5 0 2が、センサ 2からの入力画像ではなく、センサ 2に入射される前の元の画像（所定の定常性を有する実世界 1の信号〉を推定する情報（実世界推定情報）を基準とするとともに、その実世界推定情報を処理の対象として、クラス分類適応処理部 3 5 0 1より出力された予測画像を補正するための補正画像を生成する。

この実世界推定情報は、データ定常性検出部 1 0 1と実世界推定部 1 0 2により生成される。

即ち、データ定常性検出部 1 0 1は、センサ 2からの入力画像に含まれるデータの定常性（センサ 2に入射された実世界 1の信号が有する定常性に対応するデータの定常性）を検出し、その検出結果をデータ定常性情報として実世界推定部 1 0 2に出力する。

なお、データ定常性情報は、図 1 8 1の例では角度とされているが、角度に限定されず、上述した様々な情報が使用可能である。

実世界推定部 1 0 2は、入力された角度（データ定常性情報）に基づいて、実世界推定情報を生成し、画像生成部 1 0 3のクラス分類適応処理補正部 3 5 0 2 に出力する。

なお、実世界推定情報は、図 1 8 1の例では特徴量画像（その詳細は後述する）とされているが、特徴量画像に限定されず、上述した様々な情報が使用可能である。

クラス分類適応処理補正部 3 5 0 2は、入力された特徴量画像（実世界推定情報）に基づいて補正画像を生成し、加算部 3 5 0 3に出力する。

加算部 3 5 0 3は、クラス分類適応処理部 3 5 0 1より出力された予測画像と、クラス分類適応処理補正部 3 5 0 2より出力された補正画像を加算し、加算した画像（H D画像）を出力画像として外部に出力する。

このようにして出力された出力画像は、予測画像よりもより実世界 1の信号 (画像）に近い画像となる。即ち、クラス分類適応処理補正手法は、上述した課題を解決することが可能な手法である。

さらに、図 1 8 1のように信号処理装置（画像処理装置） 4を構成することで、 1フレームの全体的に処理をアプライすることが可能になる。即ち、後述する併用手法を利用する信号処理装置（例えば、後述する図 2 0 7 ) 等では、画素の領域特定をした上で出力画像を生成する必要があるが、図 1 8 1の信号処理装置 4 は、この領域特定が不要になるという効果を奏することが可能になる。

次に、画像生成部 1 0 3のうちのクラス分類適応処理部 3 5 0 1の詳細について説明する。

図 1 8 2は、クラス分類適応処理部 3 5 0 1の構成例を表している。

図 1 8 2において、センサ 2より入力された入力画像 ( S D画像) は、領域抽出部 3 5 1 1と領域抽出部 3 5 1 5にそれぞれ供給される。領域抽出部 3 5 1 1 は、供給された入力画像から、クラス分類を行うために必要なクラスタップ（注目画素（S D画素）を含む予め設定された位置に存在する S D画素）を抽出し、パターン検出部 3 5 1 2に出力する。パターン検出部 3 5 1 2は、入力されたクラスタップに基づいて入力画像のパターンを検出する。

クラスコード決定部 3 5 1 3は、パターン検出部 3 5 1 2で検出されたパターンに基づいてクラスコードを決定し、係数メモリ 3 5 1 4、および、領域抽出部 3 5 1 5に出力する。係数メモリ 3 5 1 4は、学習により予め求められたクラスコード毎の係数を記憶しており、クラスコード決定部 3 5 1 3より入力されたクラスコードに対応する係数を読み出し、予測演算部 3 5 1 6に出力する。

なお、係数メモリ 3 5 1 4の係数の学習処理については、図 1 8 4のクラス分類適応処理用学習部のプロック図を参照して後述する。

また、係数メモリ 3 5 1 4に記憶される係数は、後述するように、予測画像 (H D画像）を生成するときに使用される係数である。従って、以下、係数メモリ 3 5 1 4に記憶される係数を、他の係数と区別するために、予測係数と称する。領域抽出部 3 5 1 5は、クラスコード決定部 3 5 1 3より入力されたクラスコ一ドに基づいて、センサ 2より入力された入力画像 ( S D画像) から、予測画像 (H D画像）を予測生成するのに必要な予測タップ（注目画素を含む予め設定された位置に存在する S D画素）をクラスコードに対応して抽出し、予測演算部 3 5 1 6に出力する。

予測演算部 3 5 1 6は、領域抽出部 3 5 1 5より入力された予測タップと、係数メモリ 3 5 1 4より入力された予測係数とを用いて積和演算を実行し、入力画像（SD画像）の注目画素（SD画素）における、予測画像（HD画像）の HD 画素を生成し、加算部 3 5 0 3に出力する。

より詳細には、係数メモリ 3 5 1 4は、クラスコード決定部 3 5 1 3より供給されるクラスコードに対応する予測係数を、予測演算部 3 5 1 6に出力する。予測演算部 3 5 1 6は、領域抽出部 3 5 1 5より供給される入力画像の所定の画素位置の画素値から抽出された予測タップと、係数メモリ 3 5 1 4より供給された予測係数とを用いて、次の式（1 4 9) で示される積和演算を実行することにより、予測画像（HD画像）の HD画素を求める（予測推定する）。

• · · ( 1 4 9) 式（1 4 9) において、 q'は、予測画像（HD画像）の HD画素を表している。 _Ci (iは、 1乃至 nの整数値）のそれぞれは、予測タップ（SD画素）のそれぞれを表している。また、 d i のそれぞれは、予測係数のそれぞれを表している。

このように、クラス分類適応処理部 3 5 0 1は、 SD画像（入力画像）から、それに対する HD画像を予測推定するので、ここでは、クラス分類適応処理部 3 5 0 1から出力される HD画像を、予測画像と称している。

図 1 8 3は、このようなクラス分類適応処理部 3 5 0 1の係数メモリ 3 5 1 4 に記憶される予測係数（式（1 4 9) における d を決定するための学習装置 (予測係数の算出装置）を表している。

なお、クラス分類適応処理補正手法においては、係数メモリ 3 5 1 4の他に、クラス分類適応処理補正部 3 5 0 2の係数メモリ（後述する図 1 9 1で示される補正係数メモリ 3 5 5 4) が設けられている。従って、図 1 8 3で示されるように、クラス分類適応処理手法における学習装置 3 5 0 4には、クラス分類適応処理部 3 5 0 1の係数メモリ 3 5 1 4に記憶される予測係数（式（1 4 9 ) における d J を決定するための学習部 3 5 2 1 (以下、クラス分類適応処理用学習部 3 5 2 1と称する）の他に、クラス分類適応処理捕正部 3 5 0 2の捕正係数メモリ 3 5 5 4に記憶される係数を決定するための学習部 3 5 6 1 (以下、クラス分類適応処理補正用学習部 3 5 6 1と称する）が設けられている。

従って、以下、クラス分類適応処理用学習部 3 5 2 1における教師画像を第 1 の教師画像と称するのに対して、クラス分類適応処理捕正用学習部 3 5 6 1における教師画像を第 2の教師画像と称する。同様に、以下、クラス分類適応処理用学習部 3 5 2 1における生徒画像を第 1の生徒画像と称するのに対して、クラス分類適応処理補正用学習部 3 5 6 1における生徒画像を第 2の生徒画像と称する。なお、クラス分類適応処理補正用学習部 3 5 6 1については後述する。

図 1 8 4は、クラス分類適応処理用学習部 3 5 2 1の詳細な構成例を表している。

図 1 8 4において、所定の画像が、第 1の教師画像（H D画像）としてダウンコンパ一ト部 3 5 3 1と正規方程式生成部 3 5 3 6のそれぞれに入力されるとともに、クラス分類適応処理補正用学習部 3 5 6 1 (図 1 8 3 ) に入力される。ダウンコンバート部 3 5 3 1は、入力された第 1の教師画像（H D画像）から、第 1の教師画像よりも解像度の低い第 1の生徒画像（S D画像）を生成し (第 1 の教師画像をダウンコンバートしたものを第 1の生徒画像とし）、領域抽出部 3 5 3 2、領域抽出部 3 5 3 5、およびクラス分類適応処理補正用学習部 3 5 6 1 (図 1 8 3 ) のそれぞれに出力する。

このように、クラス分類適応処理用学習部 3 5 2 1には、ダウンコンバート部 3 5 3 1が設けられているので、第 1の教師画像（H D画像）は、上述したセンサ 2 (図 1 8 1 ) からの入力画像よりも高解像度の画像である必要は無い。なぜならば、第 1の教師画像がダウンコンバートされた（解像度が下げられた）第 1 の生徒画像を S D画像とすれば、第 1の生徒画像に対する第 1の教師画像が H D 画像になるからである。従って、第 1の教師画像は、例えば、センサ 2からの入力画像そのものとされてもよい。

領域抽出部 3 5 3 2は、供給された第 1の生徒画像 ( S D画像) から、クラス分類を行うために必要なクラスタップ（S D画素）を抽出し、パターン検出部 3 5 3 3に出力する。パターン検出部 3 5 3 3は、入力されたクラスタップのパターンを検出し、その検出結果をクラスコード決定部 3 5 3 4に出力する。クラスコード決定部 3 5 3 4は、入力されたパターンに対応するクラスコードを決定し、そのクラスコードを領域抽出部 3 5 3 5、および、正規方程式生成部 3 5 3 6のそれぞれに出力する。

領域抽出部 3 5 3 5は、クラスコード決定部 3 5 3 4より入力されたクラスコ一ドに基づいて、ダウンコンバート部 3 5 3 1より入力された第 1の生徒画像 ( S D画像）から予測タップ（S D画素）を抽出し、正規方程式生成部 3 5 3 6 と予測演算部 3 5 5 8のそれぞれに出力する。

なお、以上の領域抽出部 3 5 3 2、パターン検出部 3 5 3 3、クラスコード決定部 3 5 3 4、および領域抽出部 3 5 3 5のそれぞれは、図 1 8 2のクラス分類適応処理部 3 5 0 1の領域抽出部 3 5 1 1、パターン検出部 3 5 1 2、クラスコード決定部 3 5 1 3、および、領域抽出部 3 5 1 5のそれぞれと、基本的に同様の構成と機能を有するものである。

正規方程式生成部 3 5 3 6は、クラスコード決定部 3 5 3 4より入力された全てのクラスコードに対して、クラスコード毎に、領域抽出部 3 5 3 5より入力される第 1の生徒画像（S D画像）の予測タップ（S D画素）と、第 1の教師画像 ( H D画像）の H D画素とから正規方程式を生成し、係数決定部 3 5 3 7に供給する。係数決定部 3 5 3 7は、正規方程式生成部 3 5 3 7より所定のクラスコードに対応する正規方程式が供給されてきたとき、その正規方程式より予測係数のそれぞれを演算し、係数メモリ 3 5 1 4にクラスコードと関連付けて記憶させるとともに、予測演算部 3 5 3 8に供給する。

正規方程式生成部 3 5 3 6と、係数決定部 3 5 3 7についてさらに詳しく説明する。

上述した式（149〉において、学習前は予測係数のそれぞれが未定係数である。学習は、クラスコード毎に複数の教師画像 (HD画像) の HD画素を入力することによって行う。所定のクラスコードに対応する H D画素が m個存在し、 m個の HD画素のそれぞれを、 q_k ( kは、 1乃至 mの整数値）と記述する場合、式 (149) から、次の式 (1 50) が設定される。

■ · · (1 50) 即ち、式（1 50) は、右辺の演算をすることで、所定の HD画素 q_k を予測推定することができることを表している。なお、式（1 50) において、 e_kは誤差を表している。即ち、右辺の演算結果である予測画像（HD画像）の HD画素 q_k'が、実際の HD画素 q_k と厳密には一致せず、所定の誤差 e_kを含む。

そこで、式（1 50) において、例えば、誤差の自乗和を最小にするような予測係数学習により求まればよい。

具体的には、例えば、： m>nとなるように、 HD画素 ¾を学習により集めることができれば、最小自乗法によって予測係数がー意に決定される。

即ち、式（1 50) の右辺の予測係数を最小自乗法で求める場合の正規方程式は、次の式 (1 5 1) で表される。

• - · (1 5 1) 従って、式（1 5 1) で示される正規方程式が生成されれば、その正規方程式を解くことで予測係数がー意に決定されることになる。

具体的には、式（1 5 1) で示される正規方程式の各行列のそれぞれを、次の式（1 52) 乃至 c （1 54) のように定義すると、正規方程式は、次の式 (1 5

n

5 ) のように表さ^ Lる。

m

k=1 k=1 k=1

m m

1 c_2k x c_1k ∑ k^xc2k ^c2k ^{X c}nk

k=1 k=1 m

∑ c_nkxc_1k ∑ c_nk c_2k k ∑ ^cnk ^{x c}nk

k=1 k=l k=1

(1 52) di d₂

^D AT ⁼

dn

(1 5 3)

∑ c_1kxq_k

k=1

m k=1

(1 54)

G隠 D隠 ⁼ 0匪

(1 5 5) 式（1 5 3) で示されるように、行列 D_MAT の各成分は、求めたい予測係数 di である。従って、式（1 5 5) において、左辺の行列 C_MAT と右辺の

行列 Q_MATが決定されれば、行列解法によって行列 D_MAT (即ち、予測係数）の算出が可能である。

より具体的には、式 ( 1 5 2) で示されるように、行列 C_{M A T} の各成分は、予測タップ c_{i k}が既知であれば演算可能である。予測タップ c_{i k} は、領域抽出部 3 5 3 5により抽出されるので、正規方程式生成部 3 5 3 6は、領域抽出部 3 5 3 5より供給されてくる予測タップ c_{i k}のそれぞれを利用して行列 C_MAT の各成分を演算することができる。

また、式（1 54) で示されるように、行列 Q_MAT の各成分は、予測タップ c_{l k} と HD画素 ¾が既知であれば演算可能である。予測タップ c_{i k}は、

行列 C_MAT の各成分に含まれるものと同一のものであり、また、 HD画素 ¾ は、予測タップ c_{i k} に含まれる注目画素（第 1の生徒画像の SD画素）に対する第 1の教師画像の HD画素である。従って、正規方程式生成部 3 5 3 6は、領域抽出部 3 5 3 5より供給された予測タップ c_{i k} と、第 1の教師画像を利用して行列 Q_MATの各成分を演算することができる。

このようにして、正規方程式生成部 3 5 3 6は、クラスコード毎に、

行列 C_MAT と行列 Q_MATの各成分を演算し、その演算結果をクラスコードに対応付けて係数決定部 3 5 3 7に供給する。

係数決定部 3 5 3 7は、供給された所定のクラスコードに対応する正規方程式に基づいて、上述した式（1 5 5) の行列 D_MAT の各成分である予測係数を演算する。

具体的には、上述した式（1 5 5) の正規方程式は、次の式（1 5 6) のように変形できる。

0斷丁 = ( TQ匪

( 1 5 6) 式（1 5 6) において、左辺の行列 D_MATの各成分が、求めたい予測係数である。また、行列 C_MAT と行列 Q_MATのそれぞれの各成分は、正規方程式生成部 3 5 3 6より供給されるものである。従って、係数決定部 3 5 3 7は、正規方程式生成部 3 5 3 6より所定のクラスコードに対応する行列 C_MAT と行列 Q_MAT のそれぞれの各成分が供給されてきたとき、式（1 5 6) の右辺の行列演算を行うことで行列 D_MAT を演算し、その演算結果（予測係数）をクラスコードに対応付けて係数メモリ 3 5 1 4に記憶させるとともに、予測演算部 3 5 3 8に供給する。

予測演算部 3 5 3 8は、領域抽出部 3 5 3 5より入力された予測タップと、係数決定部 3 5 3 7により決定された予測係数とを用いて積和演算を実行し、第 1 の生徒画像（SD画像）の注目画素（SD画素）における、予測画像（第 1の教師画像を予測する画像）の HD画素を生成し、それを学習用予測画像としてクラス分類適応処理補正用学習部 3 5 6 1 (図 1 8 3) に出力する。

より詳細には、予測演算部 3 5 3 8は、領域抽出部 3 5 3 5より供給される第 1の生徒画像の所定の画素位置の画素値から抽出された予測タップを、 Ci (i は、 1乃至 nの整数値）とし、係数決定部 3 5 3 7より供給された予測係数を、 d , として、上述した式（1 4 9) で示される積和演算を実行することにより、学習用予測画像（HD画像）の HD画素 q，を求める（第 1の教師画像を予測推定する）。

ここで、 01 8 5乃至図 1 9 0を参照して、上述した従来のクラス分類適応処理（クラス分類適応処理部 3 5 0 1) が有する課題、即ち、図 1 8 1において、センサ 2から出力された段階で実世界 1のディテールがつぶれてしまつた入力画像（SD画像）は、クラス分類適応処理部 3 5 0 1によりたとえ HD画像（実世界 1の信号を予測する予測画像) とされても、元のディテールが完全に復元されないことがあるという課題について説明する。

図 1 8 5は、クラス分類適応処理部 3 5 0 1の処理結果の例を表している。図 1 8 5において、 HD画像 3 54 1は、図中上下方向から、ほぼ 5度時計方向に傾いた細線の画像が含まれる画像である。また、 SD画像 3 54 2は、 HD 画像 3 54 1の 2 X 2の画素（HD画素）からなるブロックに属する画素（HD画素）の画素値の平均値を、 1つの画素（SD画素）の画素値として生成された画像である。即ち、 SD画像 3 54 2は、 HD画像 3 5 4 1がダウンコンバートされた（解像度が落とされた）画像である。

換言すると、 HD画像 3 5 4 1は、センサ 2 (図 1 8 1 ) に入射される前の画像 (実世界 1 (図 1 8 1) の信号）を模した画像であるとする。この場合、 SD 画像 3 54 2は、 HD画像 3 54 1に、センサ 2の積分特性を模した、空間方向の積分を適用することにより得られた画像に相当することなる。即ち、 SD画像 3 54 2は、センサ 2からの入力画像を模した画像となる。

また、 SD画像 3 54 2をクラス分類適応処理部 3 5 0 1 (図 1 8 1 ) に入力させ、クラス分類適応処理部 3 5 0 1より出力された予測画像が、予測画像 3 5 4 3である。即ち、予測画像 3 54 3は、従来のクラス分類適応処理により生成された HD画像（元の HD画像 3 54 1と同一解像度の画像）である。ただし、クラス分類適応処理部 3 5 0 1が予測演算に使用した予測係数（係数メモリ 3 5 1 4 (図 1 8 2) に記憶された予測係数）は、 HD画像 3 54 1を第 1の教師画像とし、かつ SD画像 3 54 2を第 1の生徒画像として、クラス分類適応処理用学習部 3 5 6 1 (図 1 8 4) に学習演算させたものである。

HD画像 3 5 4 1、 S D画像 3 54 2、および予測画像 3 5 4 3のそれぞれを比較するに、予測画像 3 54 3は、 SD画像 3 5 4 2よりも、 HD画像 3 5 4 1 により近い画像となっていることがわかる。

この比較結果は、クラス分類適応処理部 3 5 0 1が、 HD画像 3 5 4 1のディテールがつぶれてしまつた S D画像 3 54 2に対して、従来のクラス分類適応処理を施すことで、元のディテールが復元された予測画像 3 54 3を生成することができるということを意味している。

しかしながら、予測画像 3 54 3と HD画像 3 54 1を比較するに、予測画像 3 54 3は、 HD画像 3 54 1を完全に復元した画像であるとは言い難い。そこで、本願出願人は、予測画像 3 5 4 3が H D画像 3 5 4 1を完全に復元できていない理由を調查するために、所定の加算器 3 5 4 6により、 H D画像3 5 4 1と、予測画像 3 5 4 3の反転入力との加算画像、即ち、 H D画像 3 5 4 1と予測画像 3 5 4 3の差分画像（画素の差分が大の場合、白に近い画素とし、画素の差分が小の場合、黒に近い画素とした画像） 3 5 4 4を生成した。

同様に、本願出願人は、所定の加算器 3 5 4 7により、 H D画像 3 5 4 1と、 S D画像 3 5 4 2の反転入力との加算画像、即ち、 H D画像 3 5 4 1と S D画像 3 5 4 2の差分画像 (画素の差分が大の場合、白に近い画素とし、画素の差分が小の場合、黒に近い画素とした画像） 3 5 4 5を生成した。

そして、本願出願人は、このようにして生成された差分画像 3 5 4 4と差分画像 3 5 4 5を比較することによって、次のような調査結果を得た。

即ち、 H D画像 3 5 4 1と S D画像 3 5 4 2の差分の大きい領域（差分画像 3 5 4 5の白に近い領域）と、 H D画像 3 5 4 1と予測画像 3 5 4 3の差分の大きい領域（差分画像 3 5 4 4の白に近い領域）はほぼ対応している。

換言すると、予測画像 3 5 4 3が H D画像 3 5 4 1を完全に復元できていない領域は、予測画像 3 5 4 3のうちの、 H D画像 3 5 4 1と S D画像 3 5 4 2の差分の大きい領域（差分画像 3 5 4 5の白に近い領域）にほぼ一致する。

そこで、本願出願人は、この調査結果の要因を解明するために、さらに次のような調査を行った。

即ち、本願出願人は、まず、 H D画像 3 5 4 1と予測画像 3 5 4 3の差分の小さい領域（差分画像 3 5 4 4の黒に近い領域）において、 H D画像 3 5 4 1の具体的な画素値、 S D画像 3 5 4 2の具体的な画素値、および H D画像 3 5 4 1に対応する実際の波形（実世界 1の信号）を調査した。その調査結果が、図 1 8 6 と図 1 8 7に示されている。

図 1 8 6は、調査した領域のうちの一例を示している。なお、図 1 8 6において、図中、水平方向は、空間方向の 1方向である X方向とされており、また、垂直方向は、空間方向の他方向である Y方向とされている。即ち、本願出願人は、 HD画像 3 5 4 1と予測画像 3 5 4 3の差分の小さい領域の一例として、図 1 8 6で示される、差分画像 3 5 44の領域 3 5 44— 1について調査した。

図 1 8 7は、図 1 8 6で示される領域 3 544 - 1に含まれる X方向に連続した 6個の HD画素のうちの、図中左から 4個分の HD画素に対応する、 HD画像 3 54 1の具体的な画素値、 SD画像 3 5 4 2の具体的な画素値、および、実際の波形 (実世界 1の信号) のそれぞれをプロットしたものを表している。

図 1 8 7において、縦軸は画素値を、横軸は空間方向 Xに平行な X軸を、それぞれ表している。 X軸において、原点は、差分画像 3 5 44の 6個の HD画素のうちの図中左から 3番目の HD画素の左端の位置とされており、その原点を基準として座標値が付されている。ただし、 X軸の座標値は、差分画像 3 544の HD画素の画素幅を 0.5として付されている。即ち、差分画像 3 5 44は HD 画像であるので、 HD画像 3 54 1の画素幅 L_t (以下、 HD画素幅 L_t と称する）も 0.5になる。従って、いまの場合、 SD画像 3 5 4 2の画素幅（以下、 SD画素幅 L_s と称する）は、 HD画素幅 L_t の 2倍になるので、 SD画素幅 L_s は 1になる。

また、図 1 8 7において、実線は、 HD画像 3 5 4 1の画素値を、点線は、 S D画像 3 54 2の画素値を、一点鎖線は、実世界 1の信号の X断面波形を、それぞれ表している。ただし、実世界 1の信号の波形を実際に描写することは困難であるので、図 1 8 7で示される一点鎖線は、上述した 1次元多項式近似手法（図 1 8 1の実世界推定部 1 0 2の 1実施形態）により X断面波形が近似された近似関数 f(x)が示されている。

次に、本願出願人は、上述した差分の小さい領域の調査と同様に、 HD画像 3 5 4 1と予測画像 3 54 3の差分の大きい領域 (差分画像 3 5 44の白に近い領域）においても、 HD画像 3 5 4 1の具体的な画素値、 SD画像 3 5 4 2の具体的な画素値、および HD画像 3 5 4 1に対応する実際の波形（実世界 1の信号）を調査した。その調査結果が、図 1 8 8と図 1 8 9に示されている。図 1 8 8は、調査した領域のうちの一例を示している。なお、図 1 8 8において、図中、水平方向は、空間方向の 1方向である X方向とされており、また、垂直方向は、空間方向の他方向である Y方向とされている。

即ち、本願出願人は、 HD画像 3 5 4 1と予測画像 3 5 4 3の差分の大きい領域の一例として、図 1 8 8で示される、差分画像 3 5 44の領域 3 5 44— ²について調査した。

図 1 8 9は、図 1 8 8で示される領域 3 5 44— 2に含まれる X方向に連続した 6個の HD画素のうちの、図中左から 4個分の HD画素に対応する、 HD画像 3 54 1の具体的な画素値、 SD画像 3 5 4 2の具体的な画素値、および実際の波形（実世界 1の信号）のそれぞれをプロットしたものを表している。

図 1 8 9において、縦軸は画素値を、横軸は空間方向 Xに平行な X軸を、それぞれ表している。 X軸において、原点は、差分画像 3 5 44の 6個の HD画素のうちの図中左から 3番目の HD画素の左端の位置とされており、その原点を基準として座標値が付されている。ただし、 X軸の座標値は、 SD画素幅 L_s を 1 として付されている。

図 1 8 9において、実線は、 HD画像 3 54 1の画素値を、点線は、 SD画像 3 54 2の画素値を、一点鎖線は、実世界 1の信号の X断面波形を、それぞれ表している。ただし、図 1 8 9で示される一点鎖線は、図 1 8 7で示される一点鎖線と同様に、 X断面波形が近似された近似関数 f(x)が示されている。

図 1 8 7と図 1 8 9を比較するに、両者の近似関数 f(x)の波形の形状より、いずれの領域も細線の領域を含んでいることがわかる。

しかしながら、図 1 8 7においては、細線の領域は、ほぼ x=0から x=lの範囲に存在するのに対して、図 1 8 9においては、細線の領域は、ほぼ x=- 0.5から x=0.5の範囲に存在する。即ち、図 1 8 7においては、 x=0から x=lの範囲に存在する SD画像 3 5 4 2の 1つの S D画素内に細線の領域がほぼ含まれることになる。これに対して、図 1 8 9においては、 =0から x=lの範囲に存在する SD画像 3 54 2の 1つの SD画素内に、細線の領域が一部だけ含まれる（細線と背景の境目が含まれる）ことになる。

従って、図 1 8 7で示される状態の場合、 x=0から x=1.0の範囲に存在する H D画像 3 5 4 1の 2つの HD画素の画素値（図中、実線）の差は小さくなる。その結果、当然ながら、これら 2つの HD画素の画素値の平均値である、 SD画像 3 5 4 2の 1つの SD画素の画素値（図中、点線）と、 HD画像 3 5 4 1の 2つの H D画素の画素値のそれぞれとの差分は小さいものになる。

このような状態で（図 1 8 7で示される状態で）、 x=0から x=1.0の範囲に存在する SD画像 3 5 4 2の 1つの SD画素が注目画素とされて、従来のクラス分類適応処理により x=0から 0の範囲に 2つの HD画素（予測画像 3 5 4 3 の画素）が生成された場合について考える。この場合、図 1 8 6で示されるように、生成された予測画像 3 5 4 3の HD画素は、 HD画像 3 5 4 1の HD画素をほぼ正確に予測したものになる。即ち、図 1 8 6で示されるように、領域 3 54 4一 1においては、予測画像 3 54 3の HD画素と、 HD画像 3 5 4 1のHD画素の差分も小さくなるので、黒に近い画像が表示される。

これに対して、図 1 8 9で示される状態の場合、 x=0から χ=1·0の範囲に存在する HD画像 3 5 4 1の 2つの HD画素の画素値（図中、実線）の差は大きくなる。その結果、当然ながら、これら 2つの HD画素の画素値の平均値である、 S D画像 3 5 4 2の 1つの SD画素の画素値（図中、点線）と、 HD画像 3 5 4 1 の 2つの HD画素の画素値のそれぞれとの差分は、図 1 8 7の対応する差分に対して大きなものになる。

このような状態で（図 1 8 9で示される状態で）、 χ=0から χ=1.0の範囲に存在する SD画像 3 5 4 2の 1つの SD画素が注目画素とされて、従来のクラス分類適応処理により x=0から x=1.0の範囲に HD画素（予測画像 3 5 4 3の画素）が生成された場合について考える。この場合、図 1 8 8で示されるように、生成された予測画像 3 5 4 3の HD画素は、 HD画像 3 5 4 1の HD画素を正確に予測したものとはならない。即ち、図 1 8 8で示されるように、領域 3 5 44 一 2においては、予測画像 3 54 3の HD画素と、 HD画像 3 54 1の HD画素の差分も大きなものになってしまうので、白に近い画像が表示される。

ところで、図 1 8 7と図 1 8 9の実世界 1の信号の近似関数 f(x) (図中、一点鎖線) のそれぞれを比較するに、図 1 8 7においては、 x=0から x=lの範囲での近似関数 f(x)の変化量は小さいのに対して、図 1 8 9においては、 _X=0から x=lの範囲での近似関数 f(x)の変化量は大きいことがわかる。

従って、図 1 8 7で示される x=0から x=1.0の範囲に存在する SD画像 3 5 4 2の 1つの SD画素は、 S D画素内での近似関数 f (X)の変化量が小さい (即ち、実世界 1の信号の変化量が小さい） SD画素と言える。

このような観点から、上述した調査結果を言いなおすと、例えば、図 1 8 7で示される x=0から x=1.0の範囲に存在する SD画素のような、 SD画素内での近似関数 f(x)の変化が少ない（即ち、実世界 1の信号の変化が少ない） SD画素から、従来のクラス分類適応処理により HD画素が生成されると、生成された HD画素は、実世界 1の信号（いまの場合、細線の画像）をほぼ正確に予測したものとなる。

これに対して、図 1 8 9で示される x=0から x=l.0の範囲に存在する SD画像 3 5 4 2の 1つの SD画素は、 SD画素内での近似関数 f(x)の変化量が大きい（即ち、実世界 1の信号の変化量が大きい） SD画素と言える。

このような観点から、上述した調査結果を言いなおすと、例えば、図 1 8 9で示される x=0から x=1.0の範囲に存在する SD画素のような、 SD画素内での近似関数 f(x)の変化が大きい（即ち、実世界 1の信号の変化が大きい） SD画素から、従来のクラス分類適応処理により HD画素が生成されると、生成された HD画素は、実世界 1の信号（いまの場合、細線の画像）を正確に予測したものとはならない。

以上の調査結果をまとめると、図 1 9◦で示されるような状態の場合、従来の画素間の信号処理（例えば、クラス分類適応処理）では、画素内のディテールを復元することは困難であるということである。

即ち、図 1 90は、本願出願人が上述したような調査を行った結果として、得られた知見を説明する図である。

図 1 9 0において、図中水平方向は、センサ 2 (図 1 8 1) の検出素子が並んでいる方向 (空間方向) のうちの 1方向である X方向を表しており、図中垂直方向は、光のレベルまたは画素値を表している。点線は、画像である、実世界 1 (図 1 8 1 ) の信号の X断面波形 F(x)を表しており、実線は、 X断面波形 F(x) で表される実世界 1の信号（画像）がセンサ 2に入射された場合、センサ 2から出力される画素値 Pを表している。また、センサ 2の 1つの検出素子の幅 (X方向の長さ）は、 L_c と記述されており、 ΔΡは、センサ 2の 1つの検出素子の幅 L_c、即ち、センサ 2の画素幅 L_c内における X断面波形 F(x)の変化量を表している。

ところで、上述した SD画像 3 54 2 (図 1 8 5) は、センサ 2からの入力画像（図 1 8 1) を模したものであるので、 SD画像 3 54 2の SD画素幅 L_s

(図 1 8 7と図 1 8 9) は、センサ 2の画素幅（検出素子の幅）し。として考えることができる。

また、上述した調查においては、細線に対応する実世界 1の信号（近似関数 f(x)) に対する調査であつたが、細線に限らず、実世界 1の信号のレベルの変化は存在する。

従って、上述した調査結果を、図 1 9 0で示される状態に当てはめると、次の通りになる。

即ち、図 1 9 0で示されるような、画素内において実世界 1の信号の変化量 (X断面波形 F(x)の変化量） ΔΡが大きい SD画素（センサ 2からの出力画素）が注目画素とされて、従来のクラス分類適応処理により HD画素（例えば、図 1 8 1のクラス分類適応処理部 3 5 0 1から出力される予測画像の画素）が生成された場合、生成された HD画素は、実世界 1の信号 (図 1 9 0の例では、 X 断面波形 F(x)) を正確に予測したものとはならない。

具体的には、クラス分類適応処理をはじめとする従来の手法においては、センサ 2の画素の画素間の画像処理が行われている。 „〜™

PCT/JP2004/001585

245

即ち、図 1 9 0で示されるように、実世界 1では、 1画素内の領域で X断面波形 F (_X)の変化量 Δ Ρが大きい状態であっても、センサ 2からは、 X断面波形 F (x)が積分された（厳密には、実世界 1の信号が、時空間方向に積分された） 1つの画素値 P ( 1画素内で均一の値 P ) のみが出力される。

従来の手法においては、その画素値 Pが基準とされるとともに、画素値 Pが処理の対象とされて画像処理が行われている。換言すると、従来の手法においては、画素内における実世界 1の信号 ( X断面波形 F (x) ) の変化、即ち、画素内のディテールを無視して、画像処理が行われている。

このように、画素を最小の単位として処理する限り、例えどのような画像処理 (クラス分類適応処理でも）を施したとしても、画素内における実世界 1の信号の変化を正確に再現することは困難である。特に、実世界 1の信号の変化量 Δ Ρ が大きい場合、その困難さはより顕著なものとなる。

換言すると、上述したクラス分類適応処理が有する課題、即ち、図 1 8 1において、センサ 2から出力された段階で実世界 1のディテールがつぶれてしまった入力画像（S D画像）は、クラス分類適応処理によりたとえ H D画像とされても、元のディテールが完全に復元されないことがあるという課題が発生する原因は、画素内における実世界 1の信号の変化量 Δ Ρを考慮せずに、画素（1つの画素値しか有しない画素）を最小の単位としてクラス分類適応処理が行われているからである。

この課題は、クラス分類適応処理に限らず従来の画像処理手法の全てが有する課題であり、課題が発生する原因も全く同じである。

以上、従来の画像処理手法が有する課題と、その発生要因について説明した。ところで、上述したように、本発明のデータ定常性検出部 1 0 1と実世界推定部 1 0 2 (図 3 ) は、実世界 1の信号が有する定常性を利用して、センサ 2からの入力画像（即ち、画素内における、実世界 1の信号の変化が無視された画像）から、実世界 1の信号を推定することができる。即ち、実世界推定部 1 0 2は、実世界 1の信号を推定することが可能な実世界推定情報を出力することができる。従って、この実世界推定情報から、画素内における、実世界 1の信号の変化量の推定も可能である。

そこで、本願出願人は、従来のクラス分類適応処理により生成された予測画像 (画素内における、実世界 1の信号の変化を考慮せずに、実世界 1を予測した画像）を、実世界推定情報に基づいて生成される所定の捕正画像（画素内における、実世界 1の信号の変化に起因する予測画像の誤差を推定した画像）で補正することで、上述した課題の解決が可能になるという思想に基づいて、例えば、図 1 8 1で示されるような、クラス分類適応処理補正手法を発明した。

即ち、図 1 8 1において、データ定常性検出部 1 0 1と実世界推定部 1 0 2が、実世界推定情報を生成し、クラス分類適応処理補正部 3 5 0 2が、生成された実世界推定情報に基づいて所定の補正画像を生成する。そして、加算部 3 5 0 3力 S、クラス分類適応処理部 3 5 0 1より出力された予測画像を、クラス分類適応処理補正部 3 5 0 2より出力された補正画像で補正する（具体的には、予測画像に補正画像を加算した画像を出力画像として出力する）。

クラス分類適応処理捕正手法を利用する画像生成部 1 0 3のうちの、クラス分類適応処理部 3 5 0 1の詳細については既に説明した。また、加算部 3 5 0 3は、予測画像と補正画像を加算することができるものであれば、その形態は特に限定されず、例えば、従来より存在する、様々な加算器やプログラム等を適用することが可能である。

そこで、以下、残りのクラス分類適応処理補正部 3 5 0 2の詳細について説明する。

はじめに、クラス分類適応処理補正部 3 5 0 2の原理について説明する。

上述したように、図 1 8 5において、 H D画像 3 5 4 1を、センサ 2 (図 1 8 1 ) に入射される前の元の画像 (実世界 1の信号) とみなし、かつ、 S D画像 3 5 4 2を、センサ 2からの入力画像とみなすと、予測画像 3 5 4 3が、クラス分類適応処理部 3 5 0 1より出力される予測画像（元の画像（H D画像 3 5 4 1 ) を予測した予測画像）となる。 „^,_

PCT/JP2004/001585

247

また、 H D画像 3 5 4 1力ゝら、その予測画像 3 5 4 3を減算した画像が、差分画像 3 5 4 4である。

従つて、クラス分類適応処理捕正部 3 5 0 2が、差分画像 3 5 4 4を生成し、その差分画像 3 5 4 4を補正画像として出力することができれば、加算部 3 5 0 3が、クラス分類適応処理部 3 5 0 1より出力された予測画像 3 5 4 3と、クラス分類適応処理補正部 3 5 0 2より出力された差分画像 3 5 4 4 (補正画像）を加算することで、 H D画像 3 5 4 1を復元することができる。

即ち、クラス分類適応処理補正部 3 5 0 2が、画像である、実世界 1の信号 (センサ 2に入射される前の元の画像) と、クラス分類適応処理部 3 5 0 1から出力される予測画像との差分画像（ただし、クラス分類適応処理部 3 5 0 1から出力される予測画像と同一解像度の画像）を適切に予測し、予測した差分画像

(以下、差分予測画像と称する。これが、上述した差分予測画像の名称の由来である）を補正画像として出力することができれば、実世界 1の信号（元の画像）をほぼ復元することができる。

ところで、上述したように、実世界 1の信号（センサ 2に入射される前の元の画像）と、クラス分類適応処理部 3 5 0 1から出力される予測画像との差分（誤差）の度合いと、入力画像の 1画素内における、実世界 1の信号の変化量の度合いは対応している。また、実世界推定部 1 0 2は、実世界 1の信号自身を推定することができるので、当然ながら、入力画像の 1画素内における、実世界 1の信号の変化量の度合いを表す所定の特徴量を画素毎に算出することも可能である。従って、クラス分類適応処理補正部 3 5 0 2は、入力画像の各画素のそれぞれに対する特徴量を取得することで、差分予測画像を生成する（差分画像を予測する）ことができる。

そこで、例えば、クラス分類適応処理捕正部 3 5 0 2は、実世界推定部 1 0 2 より、特徴量を画素値とする画像（以下、このような画像を、特徴量画像と称する）を実世界推定情報として実世界推定部 1 0 2より入力する。

このとき、特徴量画像の解像度は、センサ 2からの入力画像と同一の解像度で 5

248

ある。また、補正画像（差分予測画像）は、クラス分類適応処理部 3 5 0 1より出力される予測画像と同一の解像度である。

従って、クラス分類適応処理補正部 3 5 0 2が、特徴量画像を S D画像とし、補正画像（差分予測画像）を H D画像とし、従来のクラス分類適応処理を利用して、特徴量画像から差分画像を予測演算すれば、その予測演算の結果が、適切な差分予測画像となる。

以上、クラス分類適応処理補正部 3 5 0 2の原理について説明した。

図 1 9 1は、このような原理で動作するクラス分類適応処理補正部 3 5 0 2の構成例を表している。

図 1 9 1において、実世界推定部 1 0 2より入力された特徴量画像（S D画像）は、領域抽出部 3 5 5 1と領域抽出部 3 5 5 5にそれぞれ供給される。領域抽出部 3 5 5 1は、供給された特徴量画像から、クラス分類を行うために必要なクラスタップ（注目画素を含む予め設定された位置に存在する S D画素）を抽出し、パターン検出部 3 5 5 2に出力する。パターン検出部 3 5 5 2は、入力されたクラスタップに基づいて特徴量画像のパターンを検出する。

クラスコード決定部 3 5 5 3は、パターン検出部 3 5 5 2で検出されたパターンに基づいてクラスコードを決定し、捕正係数メモリ 3 5 5 4、および、領域抽出部 3 5 5 5に出力する。捕正係数メモリ 3 5 5 4は、学習により予め求められたクラスコード毎の係数を記憶しており、クラスコード決定部 3 5 5 3より入力されたクラスコードに対応する係数を読み出し、補正演算部 3 5 5 6に出力する。なお、補正係数メモリ 3 5 5 4の係数の学習処理については、図 1 9 2のクラス分類適応処理補正用学習部のプロック図を参照して後述する。

また、補正係数メモリ 3 5 5 4に記憶される係数は、後述するように、差分画像を予測する ( H D画像である差分予測画像を生成する ) ときに使用される予測係数である。しかしながら、ここでは、クラス分類適応処理部 3 5 0 1の係数メモリ 3 5 1 4 (図 1 8 2 ) に記憶されている係数を、予測係数と称している。従つて、以下、捕正係数メモリ 3 5 5 4に記憶される予測係数を、係数メモリ 3 5 P T/JP2004/001585

249

14に記憶される予測係数と区別するために、補正係数と称する。

領域抽出部 3 55 5は、クラスコード決定部 3 55 3より入力されたクラスコードに基づいて、実世界推定部 1 02より入力された特徴量画像（SD画像）から、差分画像（HD画像）を予測する（HD画像である差分予測画像を生成する）のに必要な予測タップ（注目画素を含む予め設定された位置に存在する SD 画素）をクラスコードに対応して抽出し、補正演算部 3 5 56に出力する。補正演算部 35 56は、領域抽出部 3 5 5 5より入力された予測タップと、補正係数メモリ 35 54より入力された補正係数とを用いて積和演算を実行し、特徴量画像（SD画像）の注目画素（SD画素）における、差分予測画像（HD画像）の HD画素を生成する。

より詳細には、補正係数メモリ 35 54は、クラスコード決定部 35 53より供給されるクラスコードに対応する補正係数を、補正演算部 3 556に出力する。捕正演算部 35 56は、領域抽出部 355 5より供給される入力画像の所定の画素位置の画素値から抽出された予測タップ（SD画素）と、補正係数メモリ 3 5 54より供給された補正係数とを用いて、次の式（1 57) で示される積和演算を実行することにより、差分予測画像（HD画像）の HD画素を求める（差分画像を予測推定する）。

n

= ∑ j aj

i=0

• · · (1 5 7) 式（1 5 7) において、は、差分予測画像（HD画像）の HD画素を表している。 _ai (iは、 1乃至 nの整数値）のそれぞれは、予測タップ（SD画素）のそれぞれを表している。また、 g _; のそれぞれは、補正係数のそれぞれを表している。

従って、図 1 8 1において、クラス分類適応処理部 3 50 1からは、上述した式（149) で示される予測画像の HD画素 q が出力されるのに対して、クラス分類適応処理補正部 3 502からは、式（1 5 7) で示される差分予測画像の HD画素 u が出力される。そして、加算部 3 5 0 3が、予測画像の HD画素 q' と、差分予測画像の HD画素とを加算した画素（以下、 o'と記述する）を、出力画像の HD画素として外部に出力する。

即ち、画像生成部 1 0 3より最終的に出力される出力画像の HD画素 ₀'は、次の式（1 5 8) で示されるようになる。

n n

ο' = a，+u， = ∑ dj xoj +∑ gj aj

i=0 i=0

• · · (1 5 8) 図 1 9 2は、このようなクラス分類適応処理補正部 3 5 0 2の補正係数メモリ 3 5 5 4に記憶される補正係数（上述した式（1 5 6) における g J を決定するための学習部、即ち、上述した図 1 8 3の学習装置 3 5 04のクラス分類適応処理捕正用学習部 3 5 6 1の詳細な構成例を表している。

図 1 8 3において、上述したように、クラス分類適応処理用学習部 3 5 2 1は、その学習処理を終了すると、クラス分類適応処理補正用学習部 3 5 6 1に対して、学習に利用した第 1の教師画像（HD画像）と第 1の生徒画像（SD画像）のそれぞれを出力するともに、学習により求められた予測係数を用いて第 1の生徒画像から第 1の教師画像を予測した画像である、学習用予測画像を出力してくる。図 1 9 2に戻り、これらのうちの第 1の生徒画像は、データ定常性検出部 3 5 7 2に入力される。

一方、これらのうちの第 1の教師画像と学習用予測画像は、加算部 3 5 7 1に入力される。ただし、学習用予測画像は、反転入力される。

加算部 3 5 7 1は、入力された第 1の教師画像と、反転入力された学習用予測画像を加算し、即ち、第 1の教師画像と学習用予測画像の差分画像を生成し、それをクラス分類適応処理補正用学習部 3 5 6 1における教師画像（この教師画像を、上述したように、第 1の教師画像と区別するために、第 2の教師画像と称する）として正規方程式生成部 3 5 7 8に出力する。

データ定常性検出部 3 5 7 2は、入力された第 1の生徒画像に含まれるデータの定常性を検出し、その検出結果をデータ定常性情報として実世界推定部 3 5 7 3に出力する。

実世界推定部 3 5 7 3は、入力されたデータ定常性情報に基づいて、特徴量画像を生成し、それをクラス分類適応処理捕正用学習部 3 5 6 1における生徒画像 (この生徒画像を、上述したように、第 1の生徒画像と区別するために、第 2の生徒画像と称する) として領域抽出部 3 5 7 4と領域抽出部 3 5 7 7のそれぞれに出力する。

領域抽出部 3 5 7 4は、供給された第 2の生徒画像（S D画像）から、クラス分類を行うために必要な S D画素 (クラスタップ) を抽出し、パターン検出部 3 5 7 5に出力する。パターン検出部 3 5 7 5は、入力されたクラスタップのパターンを検出し、検出結果をクラスコード決定部 3 5 7 6に出力する。クラスコード決定部 3 5 7 6は、入力されたパターンに対応するクラスコードを決定し、そのクラスコードを領域抽出部 3 5 7 7、および、正規方程式生成部 3 5 7 8のそれぞれに出力する。

領域抽出部 3 5 7 7は、クラスコード決定部 3 5 7 6より入力されたクラスコードに基づいて、実世界推定部 3 5 7 3より入力された第 2の生徒画像（S D画像）から予測タップ（S D画素）を抽出し、正規方程式生成部 3 5 7 8に出力する。

なお、以上の領域抽出部 3 5 7 4、パターン検出部 3 5 7 5、クラスコード決定部 3 5 7 6、および領域抽出部 3 5 7 7のそれぞれは、図 1 9 1のクラス分類適応処理補正部 3 5 0 2の領域抽出部 3 5 5 1、パターン検出部 3 5 5 2、クラスコード決定部 3 5 5 3、および、領域抽出部 3 5 5 5のそれぞれと、基本的に同様の構成と機能を有するものである。また、以上のデータ定常性検出部 3 5 7 2、および実世界推定部 3 5 7 3のそれぞれは、図 1 8 1のデータ定常性検出部 1 0 1、および実世界推定部 1 0 2のそれぞれと、基本的に同様の構成と機能を有するものである。

正規方程式生成部 3 5 7 8は、クラスコード決定部 3 5 7 6より入力された全 5

252

てのクラスコードに対して、クラスコード毎に、領域抽出部 3 577より入力される第 2の生徒画像（SD画像）の予測タップ（SD画素）と、第 2の教師画像 (HD画像）の HD画素とから正規方程式を生成し、捕正係数決定部 3 57 9に供給する。捕正係数決定部 35 79は、正規方程式生成部 35 78より所定のクラスコードに対応する正規方程式が供給されてきたとき、その正規方程式より補正係数のそれぞれを演算し、補正係数メモリ 3 5 54にクラスコードと関連付けて記憶させる。

正規方程式生成部 35 78と、補正係数決定部 3 5 79についてさらに詳しく説明する。

上述した式（1 5 7) において、学習前は補正係数 gi のそれぞれが未定係数である。学習は、クラスコード毎に複数の教師画像（HD画像）の HD画素を入力することによって行う。所定のクラスコードに対応する HD画素が m個存在し、 m個の HD画素のそれぞれを、 u_k (kは、 1乃至 mの整数値）と記述する場合、式（1 57) から、次の式（1 5 9) が設定される。

• · · (1 5 9) 即ち、式（1 5 9) は、右辺の演算をすることで、所定の HD画素を予測推定することができることを表している。なお、式（1 5 9) において、 e_kは誤差を表している。即ち、右辺の演算結果である差分予測画像（HD画像）の HD画素 u_k'が、実際の差分画像の HD画素 u_k と厳密には一致せず、所定の誤差 e_k を含む。

そこで、式 (1 5 6) において、例えば、誤差 e_kの自乗和を最小にするような補正係数 ai が、学習により求まればよい。

例えば、 m>nとなるように、差分画像の HD画素 u_k を学習により集めることができれば、最小自乗法によって捕正係数 ai がー意に決定される。

即ち、式（1 5 9) の右辺の補正係数 ai を最小自乗法で求める場合の正規方程式は、次の式（1 6 0) で示される通りになる。

式 ( 1 6 0) で示される正規方程式の各行列のそれぞれを、次の式（1 6 1) 乃至（1 6 3) のように定義すると、正規方程式は、次の式（1 64) のよう表される。

( 1 6 2)

• · · (1 6 3)

½AT¾T ⁼ ¾T

• · · (164) 式（16 2) で示されるように、行列 G_MATの各成分は、求めたい捕正係数 _giである。従って、式（1 64) において、左辺の行列 A_MAT と右辺の行列 U_MATが決定されれば、行列解法によって行列 G_MAT (即ち、補正係数 _gi) の算出が可能である。

具体的には、式（1 6 1) で示されるように、行列 A_MAT の各成分は、予測タップ a_ikが既知であれば演算可能である。予測タップ a_ikは、領域抽出部 3 5 77により抽出されるので、正規方程式生成部 3 5 78は、領域抽出部 35 77 より供給されてくる予測タップ a_ikのそれぞれを利用して行列 A_MAT の各成分を演算することができる。

また、式（1 63) で示されるように、行列 U_MATの各成分は、予測タップ a_ik と差分画像の HD画素 u_kが既知であれば演算可能である。予測タップ a_ik は、行列 A_MATの各成分に含まれるものと同一のものであり、また、差分画像の HD画素 u_kは、加算部 3 57 1より出力される第 2の教師画像の HD画素である。従って、正規方程式生成部 3 578は、領域抽出部 3 577より供給された予測タップ a_ik と、第 2の教師画像（第 1の教師画像と、学習用予測画像の差分画像）を利用して行列 U_MAT の各成分を演算することができる。

このようにして、正規方程式生成部 35 78は、クラスコード毎に、行列 A_MAT と行列 U_MATの各成分を演算し、その演算結果をクラスコードに対応付けて補正係数決定部 3579に供給する。

補正係数決定部 3 57 9は、供給された所定のクラスコードに対応する正規方程式に基づいて、上述した式 (1 64) の行列 G_MAT の各成分である補正係数 _gi を演算する。

具体的には、上述した式 (1 64) の正規方程式は、次の式 (1 6 5) のように変形できる。

⁶隠 = A隠 u隱

• · · (1 65) 式（1 6 5) において、左辺の行列 G_MATの各成分が、求めたい補正係数 gi である。また、行列 A_MAT と行列 U_MATのそれぞれの各成分は、正規方程式生成部 35 78より供給されるものである。従って、補正係数決定部 3 579は、正規方程式生成部 35 78より所定のクラスコードに対応する行列 A_MAT と行列 U_MATのそれぞれの各成分が供給されてきたとき、式（1 65) の右辺の行列演算を行うことで行列 G_MATを演算し、その演算結果（補正係数 _gi) をクラスコードに対応付けて補正係数メモリ 3 5 54に記憶させる。

以上、クラス分類適応処理補正部 3 502と、それに付随する学習部である、クラス分類適応処理補正用学習部 356 1の詳細について説明した。

ところで、上述した特徴量画像は、クラス分類適応処理補正部 3 50 2がそれに基づいて補正画像（差分予測画像）を生成することが可能なものであれば、その形態は特に限定されない。換言すると、特徴量画像の各画素の画素値、即ち、特徴量は、上述したように、画素（センサ 2 (図 1 8 1) の画素）内における実世界 1 (図 1 8 1) の信号の変化量の度合いを表すことができるものであれば、特に、限定されない。

例えば、特徴量として、画素内傾斜を適用することが可能である。

画素内傾斜とは、ここで新しく定義した言葉である。そこで、以下、画素内傾斜について説明する。上述したように、図 1 8 1において、画像である、実世界 1の信号は、 3次元の空間上の位置 x,y、および z、並びに時刻 tを変数とする関数 F(x，y，t)で表さ:^る。

また、例えば、画像である、実世界 1の信号が、空間方向の所定の方向に定常性を有する場合、関数 F(x,y,t)を、空間方向である X方向、 Y方向、および Z 方向のうちの所定の 1方向 (例えば、 X方向）に射影した 1次元の波形 (ここでも、このような波形のうちの X方向に射影した波形を、 X断面波形 F(x)と称することにする) と同一形状の波形が、定常性の方向に連なっていると考えることができる。

従って、実世界推定部 102は、例えば、データ定常性検出部 1 01より出力される、実世界 1の信号が有する定常性に対応するデータ定常性情報（例えば、角度）に基づいて、 X断面波形 F(x)を、 n次（nは、任意の整数）の多項式である近似関数 f ）で近似することができる。

図 1 93は、このような近似関数 f(x)の一例として、次の式（1 66) で示される f₄ (x) (5次の多項式である f₄ (X)) と、次の式（1 6 7) で示される f₅ (x) ( 1次の多項式である f₅ (x)) をプロットしたものを表している。 f₄(x) = w₀+w₁ X +w₂x² + ₃x³ +w₄x⁴ +W₅X

• - · (1 66) f₅ (X) = W₀，+Wi，X

· · · (16 7) なお、式（1 66) の w_Q乃至 wい並びに、式（1 67) の w。'および 'のそれぞれは、実世界推定部 1 02が演算した各次の係数を表している。

また、図 1 9 3において、図中水平方向の X軸は、注目画素の左端を原点 (x=0) とした場合における、注目画素からの空間方向 Xの相対位置を表してレ、る。ただし、軸においては、センサ 2の検出素子の幅 L_cが 1とされている。また、図中垂直方向の軸は、画素値を表している。図 1 9 3で示されるように、 1次の近似関数 f₅ (x) (式（1 6 6 ) で示される近似関数 f₅ (x) ) は、注目画素における X断面波形 F (x)を直線近似したものである。この近似直線の傾きを、ここでは、画素内傾斜と称している。即ち、画素内傾斜とは、式（1 6 7 ) における Xの係数 'である。

画素内傾斜が急な場合、それは、注目画素における、 X断面波形 F (x)の変化量が大きいことを表している。これに対して、画素内傾斜が緩やかな場合、それは、注目画素における、 X断面波形 F (X)の変化量が小さいことを表している。このように、画素內傾斜は、画素 (センサ 2の画素) 内における実世界 1の信号の変化量の度合いを適切に表すことができる。従って、特徴量として、画素内傾斜を適用することができる。

例えば、図 1 9 4には、画素内傾斜を特徴量として実際に生成された特徴量画像が示されている。

即ち、図 1 9 4において、図中左側の画像は、上述した図 1 8 5で示される S D画像 3 5 4 2と同一の画像を表している。また、図中右側の画像は、左側の S D画像 3 5 4 2を構成する各画素のそれぞれに対して画素内傾斜を求め、画素内傾斜に対応する値を画素値としてプロットした特徴量画像 3 5 9 1を表している。ただし、特徴量画像 3 5 9 1は、画素内傾斜がない場合（近似直線が、 X方向に平行な場合）、黒となり、これに対して、画素内傾斜が直角の場合（近似直線が、 Y方向に平行な場合）、白となるように生成されている。

S D画像 3 5 4 2の領域 3 5 4 2— 1は、上述した図 1 8 6の差分画像 3 5 4 4の領域 3 5 4 4 - 1 (上述した図 1 8 7を参照して、画素内における実世界 1 の信号の変化量が小さい領域の一例として説明した領域）に対応する領域である。この S D画像 3 5 4 2の領域 3 5 4 2 - 1に対応する特徴量画像 3 5 9 1の領域が、領域 3 5 9 1 - 1である。

また、 S D画像 3 5 4 2の領域 3 5 4 2— 2は、上述した図 1 8 8の差分画像 3 5 4 4の領域 3 5 4 4 - 2 (上述した図 1 8 9を参照して、画素内における実世界 1の信号の変化量が大きい領域の 1例として説明した領域）に対応する領域である。この S D画像 3 5 4 2の領域 3 5 4 2 - 2に対応する特徴量画像 3 5 9 1の領域が、領域 3 5 9 1— 2である。

S D画像 3 5 4 2の領域 3 5 4 2— 1と特徴量画像 3 5 9 1の領域 3 5 9 1—

1とを比較するに、実世界 1の信号の変化量が小さい領域は、特徴量画像 3 5 9 1においては、黒に近い領域（画素内傾斜が緩い領域）となっていることがわかる。

これに対して、 S D画像 3 5 4 2の領域 3 5 4 2 - 2と特徴量画像 3 5 9 1の領域 3 5 9 1一 2とを比較するに、実世界 1の信号の変化量が大きい領域は、特徴量画像 3 5 9 1においては、白に近い領域（画素内傾斜が急な領域）となっていることがわかる。

このように、画素内傾斜に対応する値を画素として生成された特徴量画像は、各画素内のそれぞれにおける実世界 1の信号の変化量の度合いを適切に表すことができる。

次に、画素內傾斜の具体的な算出方法について説明する。

即ち、注目画素における画素内傾斜を、 gradと記述すると、画素内傾斜 grad は、次の式 ( 1 6 8 ) で表される。

p 一 p

grad = ¹¹ , リ

x _n

… ( 1 6 8 ) 式（1 6 8 ) において、 P_n は、注目画素の画素値を表している。 P。は、中心画素の画素値を表している。

具体的には、例えば、図 1 9 5で示されるように、センサ 2からの入力画像のうちの、 5 X 5の画素（図中 5 X 5 = 2 5個の正方形）からなる領域であって、所定のデータの定常性を有する領域 3 6 0 1 (以下、定常領域 3 6 0 1と称する）が存在した場合、この定常領域 3 6 0 1の中心の画素 3 6 0 2が中心画素とされる。従って、 P。は、中心画素 3 6 0 2の画素値となる。そして、例えば、画素 3 6 0 3が注目画素とされた場合、 P_n は、注目画素 3 6 0 3の画素値となる。

また、式（1 68) において、 x_n 'は、注目画素の中心点における断面方向距離を表している。なお、ここでは、中心画素（図 1 9 5の例では、画素 360 2) の中心を空間方向の原点（Ο,ϋ)とし、その原点を通るデータの定常性の方向と平行な直線（図 1 95の例では、直線 3604) を引いたとすると、その直線に対する X方向の相対的な距離を、断面方向距離と称している。

図 1 96は、図 1 9 5の定常領域 360 1内の各画素の断面方向距離を表した図である。即ち、図 1 9 6において、定常領域 3 60 1の各画素 (図中 5 X 5 = 25個の正方形）内のそれぞれに記載されている値が、対応する画素の断面方向距離である。例えば、注目画素 3 603の断面距離 X は、 - 2 βである。

ただし、各画素幅は、 X方向も Υ方向も 1とされている。 X方向の正方向は、図中右方向とされている。また、 /3は、中心画素 3602の Υ方向に対して 1つ隣（図中 1つ下）の画素 3605の断面方向距離を表している。この ]3は、図 1 96で示されるような角度 Θ (直線 3604の方向と、 X方向のなす角度 0) 力データ定常性検出部 1 0 1よりデータ定常性情報として出力されている場合、次の式（1 6 9) を利用して簡単に演算することが可能である。 β⁼ tan

• · · (1 69) このように、画素内傾斜は、中心画素（図 1 9 6の例では画素 360 2) と注目画素（図 1 96の例では画素 3603) の 2つの入力画素値と、角度 Θを利用する簡単な演算で算出可能である。従って、実世界推定部 10 2は、画素内傾斜に対応する値を画素値とする画像を、特徴量画像として生成すれば、その処理量を大幅に低減することが可能になる。

なお、さらに精度のよい画素内傾斜を求めたい場合、実世界推定部 1 02は、注目画素の周辺画素を用いて最小自乗法により演算すればよい。具体的には、実世界推定部 102は、注目画素を含む m個（mは 2以上の整数）の画素に対して番号 i ( iは、 1乃至 m) を付与し、番号 iの画素のそれぞれの入力画素値 Pi と断面方向距離 X を、次の式（1 7 0 ) の右辺に代入して注目画素における画素内傾斜 gradを演算すればよい。即ち、式（1 7 0 ) は、上述した 1変数を最小自乗法で求める式と同様の式である。

' · · ( 1 7 0 ) 次に、図 1 9 7を参照して、クラス分類適応処理補正手法を利用する画像生成部 1 0 3 (図 1 8 1 ) の画像の生成の処理（図 4 0のステップ S 1 0 3の処理）について説明する。

図 1 8 1において、画像である、実世界 1の信号がセンサ 2に入射されると、センサ 2からは入力画像が出力される。この入力画像は、データ定常性検出部 1 0 1に入力されるとともに、画像生成部 1 0 3のクラス分類適応処理部 3 5 0 1 に入力される。

そこで、図 1 9 7のステップ S 3 5 0 1において、クラス分類適応処理部 3 5 0 1は、入力された入力画像（S D画像）に対してクラス分類適応処理を施して、予測画像（H D画像）を生成し、加算部 3 5 0 3に出力する。

なお、以下、このようなクラス分類適応処理部 3 5 0 1が実行するステップ S 3 5 0 1の処理を、「入力画像クラス分類適応処理」と称する。この例の「入力画像クラス分類適応処理」の詳細については、図 1 9 8のフローチャートを参照して後述する。

ステップ S 3 5 0 1の処理とほぼ同時に、データ定常性検出部 1 0 1は、入力画像に含まれるデータの定常性を検出し、その検出結果（いまの場合、角度）をデータ定常性情報として実世界推定部 1 0 2に出力する (図 4 0のステップ S 1 0 1の処理）。実世界推定部 1 0 2は、入力した角度（データ定常性情報）に基づいて、実世界推定情報（いまの場合、 S D画像である特徴量画像）を生成し、画像生成部 1 0 3のクラス分類適応処理補正部 3 5 0 2に供給する (図 4 0のステップ S 1 0 2の処理）。

そこで、ステップ S 3 5 0 2において、クラス分類適応処理補正部 3 5 0 2は、供給された特徴量画像 ( S D画像) に対してクラス分類適応処理を施して、差分予測画像（H D画像）を生成し（実際の画像（実世界 1の信号）と、クラス分類適応処理部 3 5 0 1から出力された予測画像との差分画像（ただし、 H D画像）を予測演算し）、それを補正画像として加算部 3 5 0 3に出力する。

なお、以下、このようなクラス分類適応処理補正部 3 5 0 2が実行するステツプ S 3 5 0 2の処理を、「クラス分類適応処理の補正処理」と称する。この例の「クラス分類適応処理の補正処理」の詳細については、図 1 9 9のフローチヤ一トを参照して後述する。

そして、ステップ S 3 5 0 3において、加算部 3 5 0 3力ステップ S 3 5 0 1の処理でクラス分類適応処理部 3 5 0 1により生成された予測画像（H D画像）の注目画素（H D画素）と、その注目画素に対応する、ステップ S 3 5 0 2 の処理でクラス分類適応処理補正部 3 5 0 2により生成された補正画像（H D画像）の画素（H D画素）を加算し、出力画像（H D画像）の画素（H D画素）を生成する。

ステップ S 3 5 0 4において、加算部 3 5 0 3は、全画素の処理を終了したか否かを判定する。

ステップ S 3 5 0 4において、全画素の処理がまだ終了されていないと判定された場合、処理はステップ S 3 5 0 1に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップ S 3 5 0 1乃至 S 3 5 0 3の処理が繰り返される。

そして、全画素の処理が終了すると（ステップ S 3 5 0 4において、全画素の処理が終了されたと判定すると）、加算部 3 5 0 4は、ステップ S 3 5 0 5において、出力画像（HD画像）を外部に出力する。その後、画像の生成の処理は終了となる。

次に、図面を参照して、この例における「入力画像クラス分類適応処理（ステップ S 350 1の処理）」、および、「クラス分類適応処理の補正処理（ステツプ S 3 50 2の処理) 」のそれぞれの詳細について、その順番で個別に説明する。はじめに、図 1 98のフローチヤ一トを参照して、クラス分類適応処理部 3 5 0 1 (図 1 8 2) が実行する「入力画像クラス分類適応処理」の詳細について説明する。

入力画像 (SD画像) がクラス分類適応処理部 350 1に入力されると、ステップ S 35 2 1において、領域抽出部 35 1 1と領域抽出部 3 5 1 5のそれぞれは、入力画像を入力する。

ステップ S 3 522において、領域抽出部 35 1 1は、入力画像の中から、注目画素（SD画素）、および、予め設定された注目画素からの相対位置（1以上の位置）のそれぞれに位置する画素（SD画素）を、クラスタップとして抽出し、パターン検出部 35 1 2に供給する。

ステップ S 3 523において、パターン検出部 35 1 2は、供給されたクラスタップのバタンを検出し、クラスコード決定部 3 5 1 3に供給する。

ステップ S 3 524において、クラスコード決定部 3 5 1 3は、予め設定されている複数のクラスコードの中から、供給されたクラスタップのパターンに適合するクラスコードを決定し、係数メモリ 3 5 14と領域抽出部 3 5 1 5のそれぞれに供給する。

ステップ S 3 525において、係数メモリ 35 14は、予め学習処理により決定された複数の予測係数 (群) の中から、供給されたクラスコードに基づいてこれから使用する予測係数 (群) を読み出し、予測演算部 3 5 1 6に供給する。なお、学習処理については、図 203のフローチャートを参照して後述する。ステップ S 3 526において、領域抽出部 35 1 5は、供給されたクラスコードに対応して、入力画像の中から、注目画素（SD画素）、および、予め設定された注目画素からの相対位置（1以上の位置であって、クラスタップの位置とは独立して設定された位置。ただし、クラスタップの位置と同一の位置でもよい）のそれぞれに位置する画素（S D画素）を、予測タップとして抽出し、予測演算部 3 5 1 6に供給する。

ステップ S 3 5 2 7において、予測演算部 3 5 1 6は、領域抽出部 3 5 1 5より供給された予測タップを、係数メモリ 3 5 1 4より供給された予測係数を用いて演算し、予測画像（H D画像）を生成して加算部 3 5 0 3に出力する。

具体的には、予測演算部 3 5 1 6は、領域抽出部 3 5 1 5より供給された予測タップのそれぞれを _Ci ( i は、 1乃至 nのうちのいずれかの整数) とし、かつ、係数メモリ 3 5 1 4より供給された予測係数のそれぞれをとして、上述した式（1 4 9 ) の右辺を演算することにより、注目画素（S D画素）における H D 画素 q を算出し、それを予測画像（H D画像）を構成する 1つの画素として加算部 3 5 0 3に出力する。これにより、入力画像クラス分類適応処理が終了となる。

次に、図 1 9 9のフローチャートを参照して、クラス分類適応処理補正部 3 5 0 2 (図 1 9 1 ) が実行する「クラス分類適応処理の補正処理」の詳細について説明する。

実世界推定部 1 0 2より実世界推定情報として特徴量画像（S D画像）がクラス分類適応処理補正部 3 5 0 2に入力されると、ステップ S 3 5 4 1において、領域抽出部 3 5 5 1と領域抽出部 3 5 5 5のそれぞれは、特徴量画像を入力する。ステップ S 3 5 4 2において、領域抽出部 3 5 5 1は、特徴量画像の中から、注目画素（S D画素）、および、予め設定された注目画素からの相対位置（1以上の位置）のそれぞれに位置する画素（S D画素）を、クラスタップとして抽出し、パターン検出部 3 5 5 2に供給する。

具体的には、この例においては、例えば、図 2 0 0で示されるようなクラスタップ (群) 3 6 2 1が抽出されるとする。即ち、図 2 0 0は、クラスタップ配置の一例を表している。図 2 0 0において、図中水平方向は、空間方向の 1方向である X方向とされており、図中垂直方向は、空間方向の他方向である Y方向とされている。また、注目画素は、画素 3 6 2 1— 2とされている。

この場合、図 2 0 0の例では、注目画素 3 6 2 1— 2、 Y方向に対して注目画素 3 6 2 1— 2の隣の画素 3 6 2 1 - 0および画素 3 6 2 1— 4、並びに、 X方向に対して注目画素 3 6 2 1— 2の隣の画素 3 6 2 1 - 1および画素 3 6 2 1 - 3の総計 5個の画素からなる画素群 3 6 2 1が、クラスタップとして抽出されることになる。

勿論、クラスタップ配置は、注目画素 3 6 2 1— 2を含む配置であれば、図 2 0 0の例に限定されず、様々な配置が可能である。

図 1 9 9に戻り、ステップ S 3 5 4 3において、パターン検出部 3 5 5 2は、供給されたクラスタップのパターンを検出し、クラスコード決定部 3 5 5 3に供給する。

具体的には、この例においては、例えば、パターン検出部 3 5 5 2は、図 2 0 0で示される 5個のクラスタップ 3 6 2 1 _ 0乃至 3 6 2 1一 4のそれぞれの画素値、即ち、特徴量の値（例えば、画素内傾斜）のそれぞれが、予め設定された複数のクラスのうちのいずれのクラスに属するのかを検出し、それらの検出結果を 1つにまとめたものをパターンとして出力する。

例えば、いま、図 2 0 1で示されるようなパターンが検出されたとする。即ち、図 2 0 1は、クラスタップのパターンの一例を表している。

図 2 0 1において、図中水平方向の軸は、クラスタップを表しており、図中垂直方向の軸は、画素内傾斜を表している。また、画素内傾斜により、クラス 3 6 3 1、クラス 3 6 3 2、およびクラス 3 6 3 3の 3つのクラスが予め設定されているとする。

この場合、図 2 0 1で示されるパターンは、クラスタップ 3 6 2 1— 0はクラス 3 6 3 1に、クラスタップ 3 6 2 1— 1はクラス 3 6 3 1に、クラスタップ 3 6 2 1— 2はクラス 3 6 3 3に、クラスタップ 3 6 2 1— 3はクラス 3 6 3 1に、クラスタップ 3 6 2 1一 4はクラス 3 6 3 2に、それぞれ属するパターンを表している。

このように、 5個のクラスタップ 3 6 2 1 - 0乃至 3 6 2 1 - 4のそれぞれは、 3つのクラス 3 6 3 1乃至 3 6 3 3のうちのいずれかに属することになる。従つて、この例においては、図 2 0 1で示されるパターンを含めて総計 2 7 3 ( = 3 " 5 ) 個のパターンが存在することになる。

図 1 9 9に戻り、ステップ S 3 5 4 4において、クラスコード決定部 3 5 5 3 は、予め設定されている複数のクラスコードの中から、供給されたクラスタップのパターンに適合するクラスコ一ドを決定し、補正係数メモリ 3 5 5 4と領域抽出部 3 5 5 5のそれぞれに供給する。いまの場合、 2 7 3個のパターンが存在するので、予め設定されているクラスコードの数も 2 7 3個 (または、それ以上) となる。

ステップ S 3 5 4 5において、補正係数メモリ 3 5 5 4は、予め学習処理により決定された複数の捕正係数（群）の中から、供給されたクラスコードに基づいてこれから使用する補正係数（群）を読み出し、補正演算部 3 5 5 6に供給する。補正係数メモリ 3 5 5 4に記憶されている補正係数（群）のそれぞれは、予め設定されたクラスコードのうちのいずれかに対応付けられているので、' いまの場合、補正係数（群）の数は、予め設定されているクラスコードの数と同数（2 7 3個以上）となる。

なお、学習処理については、図 2 0 3のフローチヤ一トを参照して後述する。ステップ S 3 5 4 6において、領域抽出部 3 5 5 5は、供給されたクラスコードに対応して、入力画像の中から、注目画素（S D画素）、および、予め設定された注目画素からの相対位置（1以上の位置であって、クラスタップの位置とは独立して設定された位置。ただし、クラスタップの位置と同一の位置でもよい) のそれぞれに位置する画素（S D画素）を、予測タップとして抽出し、補正演算部 3 5 5 6に供給する。

具体的には、この例においては、例えば、図 2 0 2で示されるような予測タツプ（群） 364 1が抽出されるとする。即ち、図 20 2は、予測タップ配置の一例を表している。

図 202において、図中水平方向は、空間方向の 1方向である X方向とされており、図中垂直方向は、空間方向の他方向である Y方向とされている。また、注目画素は、画素 364 1— 1とされている。即ち、画素 3 641— 1は、クラスタップ 362 1— 2 (図 200) に対応する画素である。

この場合、図 202の例では、注目画素 364 1 - 1を中心とする 5 X 5の画素群 (総計 25個の画素からなる画素群) 364 1が、予測タップ (群) として抽出されることになる。

勿論、予測タップ配置は、注目画素 364 1— 1を含む配置であれば、図 20 2の例に限定されず、様々な配置が可能である。

図 1 99に戻り、ステップ S 3547において、補正演算部 35 56は、領域抽出部 3 5 55より供給された予測タップを、補正係数メモリ 35 54より供給された補正係数を用いて演算し、差分予測画像（HD画像）を生成し、補正画像として加算部 3 503に出力する。

より詳細には、補正演算部 3556は、領域抽出部 35 55より供給された予測タップのそれぞれを a_£ (iは、 1乃至 nのうちのいずれかの整数）とし、力つ、補正係数メモリ 3 5 54より供給された補正係数のそれぞれを gi として、上述した式（1 5 7) の右辺を演算することにより、注目画素（SD画素）における HD画素 u'を算出し、それを補正画像（HD画像）を構成する 1つの画素として加算部 3 503に出力する。これにより、クラス分類適応処理の補正処理は終了となる。

次に、図 20 3のフローチャートを参照して、学習装置（図 18 3) の学習処理、即ち、クラス分類適応処理部 3 50 1 (図 1 8 2 ) が使用する予測係数と、クラス分類適応処理捕正部 3 502 (図 1 9 1) が使用する補正係数のそれぞれを学習により生成する学習処理について説明する。

ステップ S 3 56 1において、クラス分類適応処理用学習部 3521は、クラス分類適応処理部 3 5 0 1が使用する予測係数を生成する。

即ち、クラス分類適応処理用学習部 3 5 2 1は、所定の画像を第 1の教師画像 (H D画像）として入力し、その第 1の教師画像の解像度を下げて第 1の生徒画像 ( S D画像) を生成する。

そして、クラス分類適応処理用学習部 3 5 2 1は、クラス分類適応処理により第 1の生徒画像（S D画像）から第 1の教師画像（H D画像）を適切に予測することが可能な予測係数を生成し、クラス分類適応処理部 3 5 0 1の係数メモリ 3 5 1 4 (図 1 8 2 ) に記憶させる。

なお、以下、このようなクラス分類適応処理用学習部 3 5 2 1が実行するステップ S 3 5 6 1の処理を、「クラス分類適応処理用学習処理」と称する。この例の「クラス分類適応処理用学習処理」の詳細については、図 2 0 4のフローチヤートを参照して後述する。

クラス分類適応処理部 3 5 0 1が使用する予測係数が生成されると、ステップ S 3 5 6 2において、クラス分類適応処理補正用学習部 3 5 6 1は、クラス分類適応処理補正部 3 5 0 2が使用する捕正係数を生成する。

即ち、クラス分類適応処理補正用学習部 3 5 6 1は、クラス分類適応処理用学習部 3 5 2 1より、第 1の教師画像、第 1の生徒画像、および学習用予測画像 (クラス分類適応処理用学習部 3 5 2 1により生成された予測係数を用いて、第 1の教師画像を予測した画像）のそれぞれを入力する。

次に、クラス分類適応処理補正用学習部 3 5 6 1は、第 2の教師画像として、第 1の教師画像と学習用予測画像の差分画像を生成するとともに、第 2の生徒画像として、第 1の生徒画像から特徴量画像を生成する。

そして、クラス分類適応処理補正用学習部 3 5 6 1は、クラス分類適応処理により第 2の生徒画像（S D画像）から第 2の教師画像（H D画像）を適切に予測することが可能な予測係数を生成し、それを補正係数としてクラス分類適応処理補正部 3 5 0 2の捕正係数メモリ 3 5 5 4に記憶させる。これにより、学習処理は終了となる。 01585

268

なお、以下、このようなクラス分類適応処理補正用学習部 3 5 6 1が実行するステップ S 3 5 6 2の処理を、「クラス分類適応処理捕正用学習処理」と称する。この例の「クラス分類適応処理補正用学習処理」の詳細については、図 2 0 5のフローチヤ一トを参照して後述する。次に、図面を参照して、この例における「クラス分類適応処理用学習処理（ステツプ S 3 5 6 1の処理）」、および、「クラス分類適応処理補正用学習処理

(ステップ S 3 5 6 2の処理) J のそれぞれの詳細について、その順番で個別に説明する。

はじめに、図 2 0 4のフローチャートを参照して、クラス分類適応処理用学習部 3 5 2 1 (図 1 8 4 ) が実行する「クラス分類適応処理用学習処理」の詳細について説明する。

ステップ S 3 5 8 1において、ダウンコンバート部 3 5 3 1と正規方程式生成部 3 5 3 6のそれぞれは、供給された所定の画像を、第 1の教師画像（H D画像）として入力する。なお、第 1の教師画像は、上述したように、クラス分類適応処理補正用学習部 3 5 6 1にも入力される。

ステップ S 3 5 8 2において、ダウンコンバート部 3 5 3 1は、入力された第 1の教師画像をダウンコンバートして（解像度を落として）第 1の生徒画像（S D画像）を生成し、領域抽出部 3 5 3 2と領域抽出部 3 5 3 5のそれぞれに供給するとともに、クラス分類適応処理補正用学習部 3 5 6 1にも出力する。

ステップ S 3 5 8 3において、領域抽出部 3 5 3 2は、供給された第 1の生徒画像からクラスタップを抽出してパターン検出部 3 5 3 3に出力する。なお、ステツプ S 3 5 8 3の処理は、プロックに入力される情報と、プロックから出力される情報は厳密には違う情報であるが (以下、このような違いを、単に、入出力の違いと称する）、上述したステップ S 3 5 2 2 (図 1 9 8 ) の処理と基本的に同様の処理である。

ステップ S 3 5 8 4において、パターン検出部 3 5 3 3は、供給されたクラスタップょりクラスコードを決定するためのパターンを検出し、クラスコード決定部 3 5 3 4に供給する。なお、ステップ S 3 5 84の処理は、入出力の違いはあるが、上述したステップ S 3 5 2 3 (図 1 9 8) の処理と基本的に同様の処理である。

ステップ S 3 5 8 5において、クラスコード決定部 3 5 34は、供給されたクラスタップのパターンに基づいてクラスコードを決定し、領域抽出部 3 5 3 5と正規方程式生成部 3 5 3 6のそれぞれに供給する。なお、ステップ S 3 5 8 5の処理は、入出力の違いはあるが、上述したステップ S 3 5 24 (図 1 9 8) の処理と基本的に同様の処理である。

ステップ S 3 5 8 6において、領域抽出部 3 5 3 5は、供給されたクラスコードに対応して、第 1の生徒画像の中から予測タップを抽出し、正規方程式生成部 3 5 3 6と予測演算部 3 5 3 8のそれぞれに供給する。なお、ステップ S 3 5 8 6の処理は、入出力の違いはあるが、上述したステップ S 3 5 2 6 (図 1 9 8) の処理と基本的に同様の処理である。

ステップ S 3 5 8 7において、正規方程式生成部 3 5 3 6は、領域抽出部 3 5 3 5より供給された予測タップ（SD画素）、および、第 1の教師画像（HD画像）を構成する HD画素のうちの所定の HD画素から、上述した式（1 5 1 ) (即ち、式（1 5 5) ) で示される正規方程式を生成し、クラスコード決定部 3 5 34より供給されたクラスコードとともに係数決定部 3 5 3 7に供給する。ステップ S 3 5 8 8において、係数決定部 3 5 3 7は、供給された正規方程式を解いて予測係数を決定し、即ち、上述した式（1 5 6) の右辺を演算することで予測係数を算出し、供給されたクラスコードに対応付けて係数メモリ 3 5 1 4 に記憶させるとともに、予測演算部 3 5 3 8に供給する。

ステップ S 3 5 8 9において、予測演算部 3 5 3 8は、領域抽出部 3 5 3 5より供給された予測タップを、係数決定部 3 5 3 7より供給された予測係数を用いて演算し、学習用予測画像（HD画素）を生成する。

具体的には、予測演算部 3 5 3 8は、領域抽出部 3 5 3 5より供給された予測タップのそれぞれを (i は、 1乃至 nのうちのいずれかの整数）とし、かつ、係数決定部 3 5 3 7より供給された予測係数のそれぞれをとして、上述した式（1 4 9 ) の右辺を演算することにより、第 1の教師画像の所定の H D画素 q を予測した H D画素 q を算出し、た H D画素 q'を学習用予測画像の 1つの画素とする。

ステップ S 3 5 9 0において、全ての画素について処理が施されたか否かが判定され、全ての画素について処理が施されていないと判定された場合、その処理は、ステップ S 3 5 8 3に戻る。即ち、全ての画素の処理が終了されるまで、ステツプ S 3 5 8 3乃至 S 3 5 9 0の処理が繰り返される。

そして、ステップ S 3 5 9 0において、全ての画素について処理が施されたと判定された場合、ステップ S 3 5 9 1において、予測演算部 3 5 3 8は、学習予測画像（ステップ S 3 5 8 9の処理毎に生成された各 H D画素 q'から構成される H D画像）を、クラス分類適応処理補正用学習部 3 5 6 1に出力する。これにより、クラス分類適応処理用学習処理は終了となる。

このように、この例においては、全ての画素の処理が終了された後、第 1の教師画像を予測した H D画像である学習用予測画像がクラス分類適応処理補正用学習部 3 5 6 1に出力される。即ち、全ての H D画素（予測画素）がー括して出力される。

しかしながら、全ての画素が一括して出力されることは必須ではなく、ステツプ S 3 5 8 9の処理で H D画素（予測画素）が生成される毎に、クラス分類適応処理補正用学習部 3 5 6 1に出力されてもよい。この場合、ステップ S 3 5 9 1 の処理は省略される。

次に、図 2 0 5のフローチャートを参照して、クラス分類適応処理補正用学習部 3 5 6 1 (図 1 9 2 ) が実行する「クラス分類適応処理補正用学習処理」の詳細について説明する。

クラス分類適応処理用学習部 3 5 2 1より第 1の教師画像（I- I D画像) と学習用予測画像（H D画像）が入力されると、ステップ S 3 6 0 1において、加算部 3 5 7 1は、第 1の教師画像から学習用予測画像を減算し、差分画像（H D画像）を生成し、それを第 2の教師画像として正規方程式生成部 3 5 7 8に供給する。

また、クラス分類適応処理用学習部 3 5 2 1より第 1の生徒画像（S D画像）が入力されると、ステップ S 3 6 0 2において、データ定常性検出部 3 5 7 2と実世界推定部 3 5 7 3は、入力された第 1の生徒画像（S D画像）から特徴量画像を生成し、それを第 2の生徒画像として領域抽出部 3 5 7 4と領域抽出部 3 5 7 7のそれぞれに供給する。

即ち、データ定常性検出部 3 5 7 2は、第 1の生徒画像に含まれるデータの定常性を検出し、その検出結果 (いまの場合、角度）をデータ定常性情報として実世界推定部 3 5 7 3に出力する。なお、ステップ S 3 6 0 2のデータ定常性検出部 3 5 7 2の処理は、入出力の違いはあるが、上述した図 4 0のステップ S 1 0 1の処理と基本的に同様の処理である。

実世界推定部 3 5 7 3は、入力した角度（データ定常性情報）に基づいて、実世界推定情報（いまの場合、 S D画像である特徴量画像）を生成し、それを第 2 の生徒画像として領域抽出部 3 5 7 4と領域抽出部 3 5 7 7のそれぞれに供給する。なお、ステップ S 3 6 0 2の実世界推定部 3 5 7 3の処理は、入出力の違いはあるが、上述した図 4 0のステップ S 1 0 2の処理と基本的に同様の処理である。

また、ステップ S 3 6 0 1と S 3 6 0 2の処理の順番は、図 2 0 5の例に限定されない。即ち、ステップ S 3 6 0 2の処理が先に実行されてもよいし、ステツプ S 3 6 0 1と S 3 6 0 2の処理が同時に実行されてもよい。

ステップ S 3 6 0 3において、領域抽出部 3 5 7 4は、供給された第 2の生徒画像（特徴量画像）からクラスタップを抽出してパターン検出部 3 5 7 5に出力する。なお、ステップ S 3 6 0 3の処理は、入出力の違いはあるが、上述したステツプ S 3 5 4 2 (図 1 9 9 ) の処理と基本的に同様の処理である。即ち、いまの場合、 ill 2 0 0で示される配置の画素群 3 6 2 1がクラスタップとして抽出される。 2004/001585

272

ステップ S 3 6 0 4において、パターン検出部 3 5 7 5は、供給されたクラスタップょりクラスコードを決定するためのパターンを検出し、クラスコード決定部 3 5 7 6に供給する。なお、ステップ S 3 6 0 4の処理は、入出力の違いはあるが、上述したステップ S 3 5 4 3 (図 1 9 9 ) の処理と基本的に同様の処理である。即ち、いまの場合、学習処理が終了されるときには、少なくとも 2 7 3個のパターンが検出されることになる。

ステップ S 3 6 0 5において、クラスコード決定部 3 5 7 6は、供給されたクラスタップのパターンに基づいてクラスコードを決定し、領域抽出部 3 5 7 7と正規方程式生成部 3 5 7 8のそれぞれに供給する。なお、ステップ S 3 6 0 5の処理は、入出力の違いはあるが、上述したステップ S 3 5 4 4 (図 1 9 9 ) の処理と基本的に同様の処理である。即ち、いまの場合、学習処理が終了されるときには、少なくとも 2 7 3個のクラスコードが決定されることになる。

ステップ S 3 6 0 6において、領域抽出部 3 5 7 7は、供給されたクラスコードに対応して、第 2の生徒画像（特徴量画像）の中から予測タップを抽出し、正規方程式生成部 3 5 7 8に供給する。なお、ステップ S 3 6 0 6の処理は、入出力の違いはあるが、上述したステップ S 3 5 4 6 (図 1 9 9 ) の処理と基本的に同様の処理である。即ち、いまの場合、図 2 0 2で示される配置の画素群 3 6 4 1が予測タップとして抽出される。

ステップ S 3 6 0 7において、正規方程式生成部 3 5 7 8は、領域抽出部 3 5 7 7より供給された予測タップ（S D画素）、および、第 2の教師画像（H D画像である、第 1の教師画像と学習用予測画像の差分画像）を構成する H D画素のうちの所定の H D画素から、上述した式（1 6 0 ) (即ち、式（1 6 4 ) ) で示される正規方程式を生成し、クラスコード決定部 3 5 7 6より供給されたクラスコードとともに補正係数決定部 3 5 7 9に供給する。

ステップ S 3 6 0 8において、補正係数決定部 3 5 7 9は、供給された正規方程式を解いて補正係数を決定し、即ち、上述した式（1 6 5 ) の右辺を演算することで捕正係数を算出し、供給されたクラスコードに対応付けて捕正係数メモリ 3 5 5 4に記憶させる。

ステップ S 3 6 0 9において、全ての画素について処理が施されたか否かが判定され、全ての画素について処理が施されていないと判定された場合、その処理は、ステップ S 3 6 0 3に戻る。即ち、全ての画素の処理が終了されるまで、ステツプ S 3 6 0 3乃至 S 3 6 0 9の処理が繰り返される。

そして、ステップ S 3 6 0 9において、全ての画素について処理が施されたと判定された場合、クラス分類適応処理補正用学習処理は終了となる。

以上、説明したように、クラス分類適応補正処理手法においては、クラス分類適応処理部 3 5 0 1より出力された予測画像に対して、クラス分類適応処理補正部 3 5 0 2より出力された補正画像（差分予測画像）が加算されて出力される。例えば、上述した図 1 8 5で示される H D画像 3 5 4 1の解像度を落とした画像である S D画像 3 5 4 2が入力画像とされた場合、クラス分類適応処理部 3 5 0 1からは、図 2 0 6で示される予測画像 3 5 4 3が出力される。そして、この予測画像 3 5 4 3に、クラス分類適応処理補正部 3 5 0 2より出力された捕正画像（図示せず）が加算されると（補正画像により補正されると）、図 1 8 6で示される出力画像 3 6 5 1となる。

出力画像 3 6 5 1、予測画像 3 5 4 3、および、元の画像である H D画像 3 5 4 1 (図 1 8 5 ) のそれぞれを比較するに、出力画像 3 6 5 1は、予測画像 3 5

4 3よりも H D画像 3 5 4 1により近い画像になっていることがわかる。

このように、クラス分類適応処理補正手法においては、クラス分類適応処理を含む従来の他の手法に比較して、元の画像（センサ 2に入射される前の実世界 1 の信号）により近い画像の出力が可能になる。

換言すると、クラス分類適応処理補正手法においては、例えば、図 1 8 1のデータ定常性検出部 1 0 1が、それぞれ時空間積分効果を有する、センサ (例えば、図 1 8 1のセンサ 2 ) の複数の検出素子により図 1 8 1の実世界 1の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像（図 1 8 1 ) におけるデータの定常性を検出する。

例えば、図 1 8 1の実世界推定部 102は、検出されたデータの定常性に対応して、実世界 1の光信号を表す光信号関数 F (x) (図 1 90) が有する実世界特徴（例えば、図 1 8 1の特徴量画像を構成する画素に対応する特徴量）を検出することで、実世界 1の光信号を推定する。

詳細には、例えば、実世界推定部 1 02は、出されたデータの定常性に対応する線 (例えば、図 1 9 5の線 3604) からの少なくとも 1次元方向に沿つた距離 (例えば、図 1 9 5の断面方向距離 Χη') に対応する画素の画素値が、少なくとも 1次元方向の積分効果により取得された画素値であるとして、光信号関数 F ( X ) を、例えば、図 1 9 3の近似関数 f₅ ( X ) で近似し、所定画素（例えば、図 1 9 5の画素 3603) 内における近似関数 f5 (x) の傾斜である画素内傾斜 (例えば、上述した式 (1 68) の gradであり、式 (1 6 7) の xの係数 w 1 ') を、実世界特徴として検出することで、実世界 1の光信号を推定する。そして、例えば、図 1 8 1の画像生成部 103が、実世界推定手段により検出された実世界特徴に基いて、入力画像よりも高質な出力画像（図 1 8 1) を予測し生成する。

詳細には、例えば、画像生成部 103において、例えば、図 18 1のクラス分類適応処理部 3 50 1が、出力画像における注目画素の周辺に位置する、実世界 1の光信号の定常性が欠落した入力画像内の複数の画素の画素値から注目画素の画素値（例えば、図 1 8 1の予測画像の画素であり、上述した式（1 58) の q') を予測する。

一方、例えば、図 1 8 1のクラス分類適応処理補正部 3 502は、例えば、図 1 8 1の実世界推定部 1 02より供給された特徴量画像（実世界推定情報）から、クラス分類適応処理部 3 50 1により予測された予測画像の注目画素の画素値を補正する補正項（例えば、図 18 1の補正画像（差分予測画像）の画素であり、式（1 58) の u ') を予測する。

そして、例えば、図 1 8 1の加算部 3503は、クラス分類適応処理部 3 50 1により予測された予測画像の注目画素の画素値を、クラス分類適応処理部 3 5 0 1により予測された補正項で補正する（例えば、式（1 5 8 ) のように演算する）。

また、クラス分類適応処理補正手法においては、例えば、図 1 8 2の係数メモリ 3 5 1 4に記憶される予測係数を学習により決定する図 1 8 3のクラス分類適応処理学習部 3 5 2 1と、例えば、図 1 9 1の補正係数メモリ 3 5 5 4に記憶される補正係数を学習により決定する図 1 8 3のクラス分類適応処理補正用学習部 3 5 6 1を有する図 1 8 3の学習装置 3 5 0 4が設けられている。

詳細には、例えば、図 1 8 4のクラス分類適応処理学習部 3 5 2 1には、学習用画像データをダウンコンバートするダウンコンバート部 3 5 3 1、並びに、学習用画像データを第 1の教師画像とし、ダウンコンパ一ト部 3 5 3 1によりダウンコンバートされた学習用画像データを第 1の生徒画像とし、第 1の教師画像と第 1の生徒画像の関係を学習することにより、予測係数を生成する係数決定部 3 5 3 7、および、領域抽出部 3 5 3 2乃至正規方程式生成部 3 5 3 6が設けられている。

クラス分類適応処理学習部 3 5 2 1にはさらに、例えば、係数決定部 3 5 3 7 により生成（決定）された予測係数を使用して、第 1の生徒画像から第 1の教師画像を予測する画像データとして、学習用予測画像を生成する予測演算部 3 5 3 8が設けられている。

また、例えば、図 1 9 2のクラス分類適応処理補正用学習部 3 5 6 1には、第 1の生徒画像におけるデータの定常性を検出し、検出したデータの定常性に基づいて、第 1の生徒画像を構成する各画素のそれぞれに対応する実世界特徴を検出し、検出した実世界特徴に対応する値を画素値とする特徴量画像（具体的には、例えば、図 1 9 4の特徴量画像 3 5 9 1 ) を、第 2の生徒画像（例えば、図 1 9 2の第 2の生徒画像）として生成するデータ定常性検出部 3 5 7 2および実世界推定部 3 5 7 3、第 1の教師画像と、学習用予測画像の差分からなる画像データ (差分画像）を、第 2教師画像として生成する加算部 3 5 7 1、並びに、第 2の教師画像と、第 2の生徒画像の関係を学習することにより、補正係数を生成する補正係数決定部 3 5 7 9、および領域抽出部 3 5 7 4乃至正規方程式生成部 3 5 7 8が設けられている。

従って、クラス分類適応処理補正手法においては、クラス分類適応処理を含む従来の他の手法に比較して、元の画像（センサ 2に入射される前の実世界 1の信号) により近い画像の出力が可能になる。

なお、クラス分類適応処理は、上述したように、 S D画像には含まれていない 1 HD画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、上述した式 ( 1 4 9 ) や式 ( 1 5 7 ) だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、クラス分類適応処理では、その補間フィルタの係数に相当する予測係数または補足係数 _gi が、教師データと生徒データ（第 1の教師画像と第 1の生徒画像、または、第 2の教師画像と第 2の生徒画像）を用いての学習により求められるため、 HD画像に含まれる成分を再現することができる。このことから、上述したようなクラス分類適応処理は、いわば画像の創造（解像度創造）作用がある処理と称することができる。さらに、上述した例では、空間解像度を向上させる場合を例にして説明したが、クラス分類適応処理によれば、教師データおよび生徒データを変えて学習を行うことにより得られる種々の係数を用いることで、例えば、 S /N (Si gnal to Noise Ratio) の向上や、ぼけの改善、その他の各種の処理を行うことが可能である。

即ち、例えば、 S ZNの向上やぼけの改善を、クラス分類適応処理によって行うには、 S /Nの高い画像データを教師データとするとともに、その教師データの S /Nを低下させた画像（あるいは、ぼかした画像) を生徒データとして、係数を求めればよい。

以上、本発明の実施の形態として、図 3の構成の信号処理装置について説明したが、本発明の実施の形態は、図 3の例に限定されず、様々な形態を取ることが可能である。即ち、図 1の信号処理装置 4の実施の形態は、図 3の例に限定されず、様々な形態を取ることが可能である。

例えば、図 3の構成の信号処理装置は、画像である、実世界 1の信号が有する定常性に基づいて信号処理を行う。このため、図 3の構成の信号処理装置は、実世界 1の信号のうちの定常性が存在する部分に対しては、他の信号処理装置の信号処理に比べて、精度のよい信号処理を実行することができ、その結果、より実世界 1の信号に近い画像データを出力することが可能になる。

しかしながら、図 3の構成の信号処理装置は、定常性に基づいて信号処理を実行する以上、実世界 1の信号のうちの明確な定常性が存在しない部分に対しては、定常性が存在する部分に対する処理と同等の精度で、信号処理を実行することができず、その結果、実世界 1の信号に対して誤差を含む画像データを出力することになる。

そこで、図 3の構成の信号処理装置に対してさらに、定常性を利用しない他の信号処理を行う装置（または、プログラム等）を付加することができる。この場合、実世界 1の信号のうちの定常性が存在する部分については、図 3の構成の信号処理装置が信号処理を実行し、実世界 1の信号のうちの明確な定常性が存在しない部分については、付加した他の装置（または、プログラム等）が信号処理を実行することになる。なお、以下、このような実施形態を併用手法と称する。以下、図 2 0 7乃至図 2 2 0を参照して、具体的な 5つの併用手法（以下、それぞれの併用手法を、第 1乃至第 5の併用手法と称する）について説明する。なお、各併用手法が適用される信号処理装置の各機能をハードウェアで実現する力 \ ソフトウェアで実現するかは問わない。つまり、後述する図 2 0 7乃至図 2 0 9、図 2 1 3、図 2 1 5、図 2 1 7、および図 2 1 9のそれぞれのプロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能プロック図と考えても良い。

図 2 0 7は、第 1の併用手法が適用される信号処理装置の構成例を表している。図 2 0 7の信号処理装置においては、データ 3 (図 1 ) の一例である画像データが入力され、入力された画像データ（入力画像）に基づいて、後述する画像処理が施されて画像が生成され、生成された画像（出力画像）が出力される。即ち、図 2 0 7は、画像処理装置である信号処理装置 4 (図 1 ) の構成を示す図である。信号処理装置 4に入力された入力画像 (データ 3の一例である画像データ) は、データ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、および画像生成部 4 1 0 4のそれぞれに供給される。

データ定常性検出部 4 1◦ 1は、入力画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報を実世界推定部 4 1 0 2および画像生成部 4 1 0 3に供給する。

このように、データ定常性検出部 4 1 0 1は、図 3のデータ定常性検出部 1 0 1と基本的に同様の構成と機能を有するものである。従って、データ定常性検出部 4 1 0 1は、上述した様々な実施の形態を取ることが可能である。

ただし、データ定常性検出部 4 1 0 1はさらに、注目画素の領域を特定するための情報（以下、領域特定情報と称する）を生成し、領域検出部 4 1 1 1に供給する。

この領域特定情報は、特に限定されず、データ定常性情報が生成された後に新たに生成された情報でもよいし、データ定常性情報が生成される場合に付帯して生成される情報でもよい。

具体的には、例えば、領域特定情報として、推定誤差が使用可能である。即ち、例えば、データ定常性検出部 4 1 0 1が、データ定常性情報として角度を算出し、かつ、その角度を最小自乗法により演算する場合、最小自乗法の演算で推定誤差が付帯的に算出される。この推定誤差が、領域特定情報として使用可能である。実世界推定部 4 1 0 2は、入力画像、およびデータ定常性検出部 4 1 0 1から供給されたデータ定常性情報に基づいて、実世界 1 (図 1 ) の信号を推定する。即ち、実世界推定部 4 1 0 2は、入力画像が取得されたときセンサ 2 (図 1 ) に入射された、実世界 1の信号である画像を推定する。実世界推定部 4 1 0 2は、実世界 1の信号の推定の結果を示す実世界推定情報を画像生成部 4 1 0 3に供給する。このように、実世界推定部 4 1 0 2は、図 3の実世界推定部 1 0 2と基本的に同様の構成と機能を有するものである。従って、実世界推定部 4 1 0 2は、上述した様々な実施の形態を取ることが可能である。

画像生成部 4 1 0 3は、実世界推定部 4 1 0 2から供給された、推定された実世界 1の信号を示す実世界推定情報に基づいて、実世界 1の信号により近似した信号を生成して、生成した信号をセレクタ 4 1 1 2に供給する。または、画像生成部 4 1 0 3は、データ定常性検出部 4 1 0 1から供給されたデータ定常性情報、および実世界推定部 4 1 0 2から供給された、推定された実世界 1の信号を示す実世界推定情報に基づいて、実世界 1の信号により近似した信号を生成して、生成した信号をセレクタ 4 1 1 2に供給する。

即ち、画像生成部 4 1 0 3は、実世界推定情報に基づいて、実世界 1の画像により近似した画像を生成し、セレクタ 4 1 1 2に供給する。または、画像生成部 4 1 0 3は、データ定常性情報、および実世界推定情報に基づいて、実世界 1の画像により近似した画像を生成し、セレクタ 4 1 1 2に供給する。

このように、画像生成部 4 1 0 3は、図 3の画像生成部 1 0 3と基本的に同様の構成と機能を有するものである。従って、画像生成部 4 1 0 3は、上述した様々な実施の形態を取ることが可能である。

画像生成部 4 1 0 4は、入力画像に対して所定の画像処理を施して、画像を生成し、セレクタ 4 1 1 2に供給する。

なお、画像生成部 4 1 0 4が実行する画像処理は、データ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、および画像生成部 4 1 0 3が実行する画像処理とは異なる画像処理であれば、特に限定されない。

例えば、画像生成部 4 1 0 4は、従来のクラス分類適応処理を行うことができる。このクラス分類適応処理を実行する画像生成部 4 1 0 4の構成例が、図 2 0 8に示されている。なお、図 2 0 8の説明、即ち、クラス分類適応処理を実行する画像生成部 4 1 0 4の詳細の説明については後述する。また、クラス分類適応処理についても、図 2 0 8の説明をするときに併せて説明する。定常領域検出部 4 1 0 5には、領域検出部 4 1 1 1、およびセレクタ 4 1 1 2 が設けられている。

領域検出部 4 1 1 1は、データ定常性検出部 4 1 0 1より供給された領域特定情報に基づいて、セレクタ 4 1 1 2に供給された画像（注目画素）が、定常領域であるか、或いは非定常領域であるかを検出し、その検出結果をセレクタ 4 1 1 2に供給する。

なお、領域検出部 4 1 1 1が実行する領域検出の処理は、特に限定されず、例えば、上述した推定誤差が領域特定情報として供給される場合、領域検出部 4 1 1 1は、供給された推定誤差が所定の閾値よりも小さいとき、入力画像の注目画素は定常領域であると検出し、一方、供給された推定誤差が所定の閾値以上であるとき、入力画像の注目画素は非定常領域であると検出する。

セレクタ 4 1 1 2は、領域検出部 4 1 1 1より供給された検出結果に基づいて、画像生成部 4 1 0 3より供給された画像、または、画像生成部 4 1 0 4より供給された画像のうちのいずれか一方を選択し、選択した画像を出力画像として外部に出力する。

即ち、領域検出部 4 1 1 1により注目画素が定常領域であると検出された場合、セレクタ 4 1 1 2は、画像生成部 4 1 0 3より供給された画像（入力画像の注目画素における、画像生成部 4 1 0 3により生成された画素）を出力画像として選択する。

これに対して、領域検出部 4 1 1 1により注目画素が非定常領域であると検出された場合、セレクタ 4 1 1 2は、画像生成部 4 1 0 4より供給された画像（入力画像の注目画素における、画像生成部 4 1 0 4により生成された画素）を出力画像として選択する。

なお、外部の出力先に応じて、セレクタ 4 1 1 2は、画素単位で、出力画像を出力する (選択した画素毎に出力する) こともできるし、全ての画素の処理が終了するまで処理済みの画素を格納しておき、全ての画素の処理が終了したとき、全ての画素を一括して（出力画像全体を 1単位として）出力することもできる。次に、図 2 0 8を参照して、画像処理の一例であるクラス分類適応処理を実行する画像生成部 4 1 04の詳細について説明する。

図 2 0 8において、画像生成部 4 1 04が実行するクラス分類適応処理は、例えば、入力画像の空間解像度を向上する処理であるとする。即ち、標準解像度の画像である入力画像を、高解像度の画像である予測画像に変換する処理であるとする。

なお、以下の説明においても、標準解像度の画像を、適宜、 SD (Standard Definition)画像と称するとともに、 S D画像を構成する画素を、適宜、 S D画素と称することにする。

また、以下の説明においても、高解像度の画像を、適宜、 HD (High

Definition)画像と称するとともに、 HD画像を構成する画素を、適宜、 HD画素と称することにする。

具体的には、画像生成部 4 1 0 4が実行するクラス分類適応処理とは、次のようなものである。

即ち、はじめに、入力画像（SD画像）の注目画素（SD画素）における、予測画像（HD画像）の HD画素を求めるために、注目画素を含めた、その付近に配置される SD画素（以下の説明においても、このような SD画素を、クラスタップと称することにする）の特徴量のそれぞれを求めて、その特徴量毎に予め分類されたクラスを特定する (クラスタップ群のクラスコードを特定する) 。

そして、予め設定された複数の係数群（各係数群のそれぞれは、所定の 1つのクラスコードに対応している) のうちの、特定されたクラスコードに対応する係数群を構成する各係数と、注目画素を含めた、その付近の SD画素（以下の説明においても、このような入力画像の SD画素を、予測タップと称することにする _c なお、予測タップは、クラスタップと同じこともある）とを用いて積和演算を実行することで、入力画像（S D画像）の注目画素（SD画素）における、予測画像 (HD画像）の HD画素を求めるものである。

より詳細には、図 1において、画像である、実世界 1の信号（光の強度の分 5

282

布）がセンサ 2に入射されると、センサ 2からは入力画像が出力される。

図 2 0 8において、この入力画像（SD画像）は、画像生成部 4 1 04のうちの領域抽出部 4 1 2 1と領域抽出部 4 1 2 5にそれぞれ供給される。領域抽出部 4 1 2 5は、供給された入力画像から、クラス分類を行うために必要なクラスタップ（注目画素（SD画素）を含む予め設定された位置に存在する SD画素）を抽出し、パターン検出部 4 1 2 2に出力する。パターン検出部 4 1 2 2は、入力されたクラスタップに基づいて入力画像のパターンを検出する。

クラスコード決定部 4 1 2 3は、パターン検出部 4 1 2 2で検出されたパターンに基づいてクラスコードを決定し、係数メモリ 4 1 24、および、領域抽出部 4 1 2 5に出力する。係数メモリ 4 1 24は、学習により予め求められたクラスコード毎の係数を記憶しており、クラスコード決定部 4 1 2 3より入力されたクラスコードに対応する係数を読み出し、予測演算部 4 1 2 6に出力する。

なお、係数メモリ 4 1 24の係数の学習処理については、図 20 9の学習装置のプロック図を参照して後述する。

また、係数メモリ 4 1 24に記憶される係数は、後述するように、予測画像

(HD画像）を生成するときに使用される係数である。従って、以下、係数メモリ 4 1 24に記憶される係数を予測係数と称する。

領域抽出部 4 1 2 5は、クラスード決定部 4 1 2 3より入力されたクラスコードに基づいて、センサ 2より入力された入力画像（SD画像）から、予測画像 (HD画像）を予測生成するのに必要な予測タップ（注目画素を含む予め設定された位置に存在する SD画素）をクラスコードに対応して抽出し、予測演算部 4 1 2 6に出力する。

予測演算部 4 1 2 6は、領域抽出部 4 1 2 5より入力された予測タップと、係数メモリ 4 1 2 4より入力された予測係数とを用いて積和演算を実行し、入力画像（SD画像）の注目画素（SD画素）における、予測画像（HD画像）の HD 画素を生成し、セレクタ 4 1 1 2に出力する。

より詳細には、係数メモリ 4 1 24は、クラスコード決定部 4 1 2 3より供給されるクラスコードに対応する予測係数を、予測演算部 41 26に出力する。予測演算部 4 1 26は、領域抽出部 41 25より供給される入力画像の所定の画素位置の画素値から抽出された予測タップと、係数メモリ 4 1 24より供給された予測係数とを用いて、次の式（1 71) で示される積和演算を実行することにより、予測画像（HD画像）の HD画素を求める（予測推定する）。

… (1 7 1) 式（1 7 1) において、 q'は、予測画像（HD画像）の HD画素を表している。 _Ci (iは、 1乃至 nの整数値）のそれぞれは、予測タップ（SD画素）のそれぞれを表している。また、 d i のそれぞれは、予測係数のそれぞれを表している。

このように、画像生成部 4 104は、 SD画像（入力画像）から、それに対する HD画像を予測推定するので、ここでは、画像生成部 4 104から出力される

HD画像を、予測画像と称している。

図 209は、このような画像生成部 4 104の係数メモリ 4 1 24に記憶される予測係数（式（1 71) における d i) を決定するための学習装置（予測係数の算出装置）を表している。

図 209において、所定の画像が、教師画像（HD画像）としてダウンコンパート部 4141と正規方程式生成部 4 146のそれぞれに入力される。

ダウンコンバート部 4 146は、入力された教師画像（HD画像）から、教師画像よりも解像度の低い生徒画像（SD画像）を生成し（教師画像をダウンコンバートしたものを生徒画像とし）、領域抽出部 4 142と領域抽出部 4 14 5のそれぞれに出力する。

このように、学習装置 4 1 3 1には、ダウンコンバート部 4 14 1が設けられているので、教師画像（HD画像）は、センサ 2 (図 1 ) からの入力画像よりも高解像度の画像である必要は無い。なぜならば、教師画像がダウンコンバートされた（解像度が下げられた）生徒画像を SD画像とすれば、生徒画像に対する教師画像が HD画像になるからである。従って、教師画像は、例えば、センサ 2からの入力画像そのものとされてもよい。

領域抽出部 4 1 4 2は、ダウンコンパ一ト部 4 1 4 1より供給された生徒画像 (SD画像）から、クラス分類を行うために必要なクラスタップ（SD画素）を抽出し、パターン検出部 4 1 4 3に出力する。パターン検出部 4 1 4 3は、入力されたクラスタップのパターンを検出し、その検出結果をクラスコ一ド決定部 4 1 44に出力する。クラスコード決定部 4 1 44は、入力されたパターンに対応するクラスコードを決定し、そのクラスコードを領域抽出部 4 1 4 5、および、正規方程式生成部 4 1 4 6のそれぞれに出力する。

領域抽出部 4 1 4 5は、クラスコード決定部 4 1 44より入力されたクラスコードに基づいて、ダウンコンバート部 4 1 4 1より入力された生徒画像（SD画像）から予測タップ（SD画素）を抽出し、正規方程式生成部 4 1 4 6に出力する。

なお、以上の領域抽出部 4 1 4 2、パターン検出部 4 1 4 3、クラスコード決定部 4 1 44、および領域抽出部 4 1 4 5のそれぞれは、図 2 0 8の画像生成部 4 1 04の領域抽出部 4 1 2 1、パターン検出部 4 1 2 2、クラスコード決定部 4 1 2 3、および、領域抽出部 4 1 2 5のそれぞれと、基本的に同様の構成と機能を有するものである。

正規方程式生成部 4 1 4 6は、クラスコード決定部 4 1 44より入力された全てのクラスコードに対して、クラスコード毎に、領域抽出部 4 1 4 5より入力される生徒画像（SD画像）の予測タップ（SD画素）と、教師画像（HD画像）の HD画素とから正規方程式を生成し、係数決定部 4 1 4 7に供給する。

係数決定部 4 1 4 7は、正規方程式生成部 4 1 4 6より所定のクラスコードに対応する正規方程式が供給されてきたとき、その正規方程式より予測係数のそれぞれを演算し、係数メモリ 4 1 24にクラスコードと関連付けて記憶させる。正規方程式生成部 4 1 4 6と、係数決定部 4 1 4 7についてさらに詳しく説明する。

上述した式（1 7 1) において、学習前は予測係数のそれぞれが未定係数である。学習は、クラスコード毎に複数の教師画像 (HD画像）の HD画素を入力することによって行う。所定のクラスコードに対応する HD画素が m個存在し、 m個の HD画素のそれぞれを、 q_k (kは、 1乃至 mの整数値) と記述する場合、式 ( 1 7 1 ) から、次の式 ( 1 7 2) が設定される。 q_k = I djXc_ik+e_k

i=0

• · · ( 1 7 2) 即ち、式（1 7 2) は、右辺の演算をすることで、所定の HD画素 _¾ を予測推定することができることを表している。なお、式 ( 1 7 2) において、 e_k は、誤差を表している。即ち、右辺の演算結果である予測画像（HD画像）の HD画素 '力実際の HD画素 ¾ と厳密には一致せず、所定の誤差 e_kを含む。

そこで、式（1 7 2) において、誤差 e_kの自乗和を最小にする予測係数が学習により求まれば、その予測係数は、実際の HD画素 q_kを予測するのに最適な係数であると言える。

従って、例えば、学習により集められた m個（ただし、 mは、 nより大きい整数）の HD画素 q_kを用いて、最小自乗法により最適な予測係数を一意に決定することができる。

即ち、式（1 7 2) の右辺の予測係数を最小自乗法で求める場合の正規方程式は、次の式 ( 1 7 3) で表される。

_ • · · (1 73) 従って、式（1 73) で示される正規方程式が生成されれば、その正規方程式を解くことで予測係数がー意に決定されることになる。

具体的には、式（1 73) で示される正規方程式の各行列のそれぞれを、次の式（1 74) 乃至 (1 76) のように定義すると、正規方程式は、次の式 (1 7 7) のように表される。

½丁

(1 74) di

d₂

AT = d,

(1 75)

(1 76) 2004/001585

287

¾AT¾AT ⁼ ¾AT

• · · (177) 式 (175) で示されるように、行列 D_MATの各成分は、求めたい予測係数 djである。従って、式 (177) において、左辺の行列 C_MAT と右辺の行列 Q_MATが決定されれば、行列解法によって行列 D_MAT (即ち、予測係数）の算出が可能である。

より具体的には、式 (174) で示されるように、行列 C_MAT の各成分は、予測タップ c_ikが既知であれば演算可能である。予測タップ c_ikは、領域抽出部 4145により抽出されるので、正規方程式生成部 4146は、領域抽出部 41 45より供給されてくる予測タップ c_ikのそれぞれを利用して行列 C_MATの各成分を演算することができる。

また、式（1 76) で示されるように、行列 Q_MAT の各成分は、予測タップ c_ik と HD画素 q_kが既知であれば演算可能である。予測タップ c_ikは、行列 C_MATの各成分に含まれるものと同一のものであり、また、 HD画素 ¾は、予測タップ c_ik に含まれる注目画素（生徒画像の SD画素）に対する教師画像の HD画素である。従って、正規方程式生成部 4146は、領域抽出部 4145より供給された予測タップ c_ik と、教師画像を利用して行列 Q_MAT の各成分を演算することができる。

このようにして、正規方程式生成部 4146は、クラスコード毎に、行列 C_HAT と行列 Q_MAT の各成分を演算し、その演算結果をクラスコードに対応付けて係数決定部 4147に供給する。

係数決定部 4147は、供給された所定のクラスコードに対応する正規方程式に基づいて、上述した式 (1 77) の行列 D_MAT の各成分である予測係数を演算する。

具体的には、上述した式 ( 177) の正規方程式は、次の式 (1 78) のように変形できる。 ¾T ^{= C}MAT¾AT

• · · (1 78) 式 (178) において、左辺の行列 D_MATの各成分が、求めたい予測係数である。また、行列 C_MAT と行列 Q_{M Λ T}のそれぞれの各成分は、正規方程式生成部 4146より供給されるものである。従って、係数決定部 4147は、正規方程式生成部 4146より所定のクラスコードに対応する行列 C_MAT と行列 Q_MAT のそれぞれの各成分が供給されてきたとき、式 (1 78) の右辺の行列演算を行うことで行列 D_MAT を演算し、その演算結果（予測係数）をクラスコードに対応付けて係数メモリ 4124に記憶させる。

なお、クラス分類適応処理は、上述したように、 SD画像には含まれていない I HD画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、上述した式（171) だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、その補間フィルタの係数に相当する予測係数 1 教師データと生徒データを用いての学習により求められるため、 HD画像に含まれる成分を再現することができる。このことから、上述したようなクラス分類適応処理は、いわば画像の創造（解像度創造）作用がある処理と称することができる。

さらに、上述した例では、空間解像度を向上させる場合を例にして説明したが、クラス分類適応処理によれば、教師データおよぴ生徒データを変えて学習を行うことにより得られる種々の係数を用いることで、例えば、 S/N (Signal to

Noise Ratio) の向上や、ぼけの改善、その他の各種の処理を行うことが可能である。

即ち、例えば、 S/Nの向上やぼけの改善を、クラス分類適応処理によって行うには、 SZNの高い画像データを教師データとするとともに、その教師データの S/Nを低下させた画像（あるいは、ぼかした画像）を生徒データとして、係数を求めればよい。以上、クラス分類適応処理を実行する画像生成部 4 1 04と、その学習装置 4 1 3 1のそれぞれの構成について説明した。

なお、上述したように、画像生成部 4 1 04は、クラス分類適応処理以外の画像処理を実行する構成とすることも可能であるが、説明の簡略上、以下の説明においては、画像生成部 4 1 04の構成は、上述した図 20 8の構成とされる。即ち、以下、画像生成部 4 1 04は、クラス分類適応処理を実行することで、入力画像より空間解像度の高い画像を生成し、セレクタ 4 1 1 2に供給するとする。次に、図 2 1 0を参照して、第 1の併用手法が適用される信号処理装置（図 2 0 7) の信号の処理について説明する。

なお、ここでは、データ定常性検出部 4 1 0 1は、角度（画像である、実世界 1 (図 1) の信号の注目位置における、定常性の方向（空間方向）と、空間方向の 1方向である X方向 (センサ 2 (図 1) の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。

データ定常性検出部 4 1 0 1はまた、角度を演算するときに併せて算出される推定誤差（最小自乗法の誤差）を、領域特定情報として出力するとする。

図 1において、画像である、実世界 1の信号がセンサ 2に入射されると、センサ 2からは入力画像が出力される。

図 2 0 7において、この入力画像は、データ定常性検出部 4 1 0 1、および実世界推定部 4 1 0 2に入力されるとともに、画像生成部 4 1 0 4に入力される。そこで、図 2 1 0のステップ S 4 1 0 1において、画像生成部 4 1 04は、入力画像（SD画像）の所定の SD画素を注目画素として、上述したクラス分類適応処理を実行し、予測画像（HD画像）の HD画素（注目画素における HD画素）を生成し、セレクタ 4 1 1 2に供給する。

なお、以下、画像生成部 4 1 04より出力される画素と、画像生成部 4 1 0 3 より出力される画素のそれぞれを区別する場合、画像生成部 4 1 0 4より出力される画素を第 1の画素と称し、画像生成部 4 1 0 3より出力される画素を第 2の画素と称する。

また、以下、このような画像生成部 4 1 0 4が実行する処理（いまの場合、ステツプ S 4 1 0 1の処理) を、「クラス分類適応処理の実行処理」と称する。この例の「クラス分類適応処理の実行処理」の詳細については、図 2 1 1のフローチャートを参照して後述する。

一方、ステップ S 4 1 0 2において、データ定常性検出部 4 1 0 1は、定常性の方向に対応する角度を検出するとともに、その推定誤差を演算する。検出された角度は、データ定常性情報として実世界推定部 4 1 0 2と画像生成部 4 1 0 3 のそれぞれに供給される。また、演算された推定誤差は、領璏特定情報として領域検出部 4 1 1 1に供給される。

ステップ S 4 1 0 3において、実世界推定部 4 1 0 2は、データ定常性検出部 4 1 0 1により検出された角度と、入力画像に基づいて、実世界 1の信号を推定する。

なお、上述したように、実世界推定部 4 1 0 2が実行する推定の処理は、特に限定されず、上述した様々な手法を利用することができる。ここでは、例えば、実世界推定部 4 1 0 2は、実世界 1の信号を表す関数 F (以下の説明においても、関数 Fを光信号関数 Fと称することにする）を、所定の関数 f (以下の説明においても、関数 ίを近似関数 f と称することにする）で近似することで、実世界 1 の信号（光信号関数 F ) を推定するとする。

また、ここでは、例えば、実世界推定部 4 1 0 2は、近似関数 ίの特徴量（係数）を、実世界推定情報として画像生成部 4 1 0 3に供給するとする。

ステップ S 4 1 0 4において、画像生成部 4 1 0 3は、実世界推定部 4 1 0 2 により推定された実世界 1の信号に基づいて、画像生成部 4 1 0 4のクラス分類適応処理により生成された第 1の画素 (H D画素）に対応する第 2の画素 ( H D 画素) を生成し、セレクタ 4 1 1 2に供給する。

いまの場合、実世界推定部 4 1 0 2より近似関数 f の特徴量（係数）が供給されてくるので、画像生成部 4 1 0 3は、例えば、供給された近似関数 f の特徴量に基づいて、近似関数 f を所定の積分範囲で積分するこ.とで、第 2の画素（HD 画素）を生成する。

ただし、積分範囲は、画像生成部 4 1 04より出力される第 1の画素（HD画素）と同一の大きさ（同一の解像度）の第 2の画素が生成可能な範囲とされる。即ち、空間方向においては、積分範囲は、これから生成される第²の画素の画素幅となる。

なお、ステップ S 4 1 0 1の「クラス分類適応処理の実行処理」と、ステップ S 4 1 0 2乃至 S 4 1 04の一連の処理の順番は、図 2 1 0の例に限定されず、ステップ S 4 1 0 2乃至 S 4 1 0 4の一連の処理が先に実行されても構わないし、ステップ S 4 1 0 1の「クラス分類適応処理の実行処理」と、ステップ S 4 1 0 2乃至 S 4 1 04の一連の処理が同時に実行されても構わない。

ステップ S 4 1 0 5において、領域検出部 4 1 1 1は、ステップ S 4 1 0 2の処理でデータ定常性検出部 4 1 0 1により演算された推定誤差（領域特定情報）に基づいて、ステップ S 4 1 04の処理で画像生成部 4 1 0 3により生成された第 2の画素（HD画素）の領域を検出する。

即ち、第 2の画素は、データ定常性検出部 4 1 0 1が注目画素として使用した入力画像の SD画素における HD画素である。従って、注目画素（入力画像の S D画素）と第 2の画素（HD画素）の領域の種類（定常領域、または非定常領域）は同一である。

また、データ定常性検出部 4 1 0 1が出力する領域特定情報は、注目画素における角度が最小自乗法により算出された場合の推定誤差である。

そこで、領域検出部 4 1 1 1は、データ定常性検出部 4 1 0 1より供給された注目画素（入力画像の SD画素）に対する推定誤差と、予め設定された閾値を比較し、その比較の結果が、推定誤差が閾値よりも小さい場合、第 2の画素は定常領域であると検出し、一方、推定誤差が閾値以上である場合、第 2の画素は非定常領域であると検出する。そして、検出結果は、セレクタ 4 1 1 2に供給される。この領域検出部 4 1 1 1の検出結果がセレクタ 4 1 1 2に供給されると、ステップ S 4 1 0 6において、セレクタ 4 1 1 2は、検出された領域が、定常領域であるか否かを判定する。

ステップ S 4 1 0 6において、検出された領域が、定常領域であると判定した場合、セレクタ 4 1 1 2は、ステップ S 4 1 0 7において、画像生成部 4 1 0 3 より供給された第 2の画素を、出力画像として外部に出力する。

これに対して、ステップ S 4 1 0 6において、検出された領域が、定常領域ではない (非定常領域である) と判定した場合、セレクタ 4 1 1 2は、ステップ S 4 1 0 8において、画像生成部 4 1 0 4より供給された第 1の画素を、出力画像として外部に出力する。

その後、ステップ S 4 1 0 9において、全画素の処理を終了したか否かが判定され、全画素の処理がまだ終了していないと判定された場合、その処理は、ステップ S 4 1 0 1に戻る。即ち、全ての画素の処理が終了されるまで、ステップ S 4 1 0 1乃至 S 4 1 0 9の処理が繰り返される。

そして、ステップ S 4 1 0 9において、全画素の処理を終了したと判定された場合、その処理は終了となる。

このように、図 2 1 0のフローチャートの例においては、第 1の画素（HD画素）と第 2の画素（HD画素）が生成される毎に、出力画像として第 1の画素または第 2の画素が画素単位で出力される。

しかしながら、上述したように、画素単位で出力されることは必須ではなく、全ての画素の処理が終了された後、出力画像として、全ての画素が一括して出力されてもよい。この場合、ステップ S 4 1 0 7とステップ S 4 1 0 8のそれぞれの処理においては、画素（第 1の画素または第 2の画素）は出力されずに、セレクタ 4 1 1 2に一次格納され、ステップ S 4 1 0 9の処理の後、全ての画素を出力する処理が追加される。

次に、図 2 1 1のフローチャートを参照して、図 2 0 8の構成の画像生成部 4 1 04が実行する「クラス分類適応処理の実行処理」（例えば、上述した図 2 1 0のステップ S 4 1 0 1の処理）の詳細について説明する。センサ 2からの入力画像（SD画像）が画像生成部 4 1 04に入力されると、ステップ S 4 1 2 1において、領域抽出部 4 1 2 1と領域抽出部 4 1 2 5のそれぞれは、入力画像を入力する。

ステップ S 4 1 2 2において、領域抽出部 4 1 2 1は、入力画像の中から、注目画素（SD画素）、および、予め設定された注目画素からの相対位置（1以上の位置）のそれぞれに位置する画素 (SD画素) を、クラスタップとして抽出し、パターン検出部 4 1 2 2に供給する。

ステップ S 4 1 2 3において、パターン検出部 4 1 2 2は、供給されたクラスタップのパターンを検出し、クラスコード決定部 4 1 2 3に供給する。

ステップ S 4 1 2 4において、クラスコード決定部 4 1 2 3は、予め設定されている複数のクラスコードの中から、供給されたクラスタップのパターンに適合するクラスコードを決定し、係数メモリ 4 1 24と領域抽出部 4 1 2 5のそれぞれに供給する。

ステップ S 4 1 2 5において、係数メモリ 4 1 24は、供給されたクラスコードに基づいて、予め学習処理により決定された複数の予測係数（群）の中から、これから使用する予測係数（群）を読み出し、予測演算部 4 1 26に供給する。なお、学習処理については、図 2 1 2のフローチャートを参照して後述する。ステップ S 4 1 2 6において、領域抽出部 4 1 2 5は、供給されたクラスコードに対応して、入力画像の中から、注目画素（SD画素）、および、予め設定された注目画素からの相対位置（1以上の位置であって、クラスタップの位置とは独立して設定された位置。ただし、クラスタップの位置と同一の位置でもよい）のそれぞれに位置する画素（SD画素）を、予測タップとして抽出し、予測演算部 4 1 2 6に供給する。

ステップ S 4 1 2 7において、予測演算部 4 1 2 6は、領域抽出部 4 1 2 5より供給された予測タップを、係数メモリ 4 1 24より供給された予測係数を用いて演算し、予測画像（第 1の画素）を生成して外部（図 2 0 7の例では、セレクタ 4 1 1 2) に出力する。具体的には、予測演算部 4 1 2 6は、領域抽出部 4 1 2 5より供給された予測タップのそれぞれを (i は、 1乃至 nのうちのいずれかの整数）とし、かつ、係数メモリ 4 1 24より供給された予測係数のそれぞれをとして、上述した式（1 7 1 ) の右辺を演算することにより、注目画素（SD画素）における HD 画素 q を算出し、それを予測画像（HD画像）の所定の 1つの画素（第 1の画素) として外部に出力する。その後、処理は終了となる。

次に、図 2 1 2のフローチャートを参照して、画像生成部 4 1 04に対する学習装置 4 1 3 1 (図 20 9) が実行する学習処理（画像生成部 4 1 04が使用する予測係数を学習により生成する処理）について説明する。

ステップ S 4 1 4 1において、ダウンコンバート部 4 1 4 1と正規方程式生成部 4 1 46のそれぞれは、供給された所定の画像を、教師画像（HD画像）として入力する。

ステップ S 4 1 4 2において、ダウンコンバート部 4 1 4 1は、入力された教師画像をダウンコンバートして（解像度を落として）生徒画像（SD画像）を生成し、領域抽出部 4 1 4 2と領域抽出部 4 1 4 5のそれぞれに供給する。

ステップ S 4 1 4 3において、領域抽出部 4 1 4 2は、供給された生徒画像からクラスタップを抽出してパターン検出部 4 1 4 3に出力する。なお、ステップ S 4 1 43の処理は、上述したステップ S 4 1 2 2 (図 2 1 1) の処理と基本的に同様の処理である。

ステップ S 4 1 4 4において、パターン検出部 4 1 4 3は、供給されたクラスタップよりクラスコードを決定するためのパターンを検出し、クラスコード決定部 4 1 44に供給する。なお、ステップ S 4 1 44の処理は、上述したステップ S 4 1 2 3 (図 2 1 1) の処理と基本的に同様の処理である。

ステップ S 4 1 4 5において、クラスコード決定部 4 1 44は、供給されたクラスタップのパターンに基づいてクラスコードを決定し、領域抽出部 4 1 4 5と正規方程式生成部 4 1 4 6のそれぞれに供給する。なお、ステップ S 4 1 4 5の処理は、上述したステップ S 4 1 24 (図 2 1 1 ) の処理と基本的に同様の処理である。

ステップ S 4 1 4 6において、領域抽出部 4 1 4 5は、供給されたクラスコードに対応して、生徒画像の中から予測タップを抽出し、正規方程式生成部 4 1 4 6に供給する。なお、ステップ S 4 1 46の処理は、上述したステップ S 4 1 2 6 (図 2 1 1) の処理と基本的に同様の処理である。

ステップ S 4 1 4 7において、正規方程式生成部 4 1 4 6は、領域抽出部 4 1 4 5より供給された予測タップ（SD画素）、および、教師画像（HD画像）の所定の HD画素から、上述した式 ( 1 7 3) (即ち、式 ( 1 7 7) ) で示される正規方程式を生成し、生成した正規方程式と、クラスコード決定部 4 1 ⁴4より供給されたクラスコードを関連付けて係数決定部 4 1 4 7に供給する。

ステップ S 4 1 4 8において、係数決定部 4 1 4 7は、供給された正規方程式を解いて予測係数を決定し、即ち、上述した式（1 7 8) の右辺を演算することで予測係数を算出し、供給されたクラスコードに対応付けて係数メモリ 4 1 24 に記憶させる。

その後、ステップ S 4 1 4 9において、全ての画素について処理が施されたか否かが判定され、全ての画素について処理が施されていないと判定された場合、その処理は、ステップ S 4 1 4 3に戻る。即ち、全ての画素の処理が終了されるまで、ステップ S 4 1 4 3乃至 S 4 1 4 9の処理が操り返される。

そして、ステップ S 4 1 4 9において、全ての画素について処理が施されたと判定された場合、処理は終了となる。

次に、図 2 1 3と図 2 1 4を参照して、第 2の併用手法について説明する。図 2 1 3は、第 2の併用手法が適用される信号処理装置の構成例を表している。図 2 1 3において、第 1の併用手法が適用される信号処理装置（図 2 0 7) と対応する部分には、対応する符号が付してある。

図 2 0 7の構成例 (第 1の併用手法) においては、領域特定情報は、データ定常性検出部 4 1 0 1より出力され、領域検出部 4 1 1 1に入力されていたが、図 2 1 3の構成例（第 2の併用手法）においては、領域特定情報は、実世界推定部 4 1 0 2より出力され、領域検出部 4 1 1 1に入力される。

この領域特定情報は、特に限定されず、実世界推定部 4 1 0 2が実世界 1 (図 1 ) の信号を推定した後に新たに生成された情報でもよいし、実世界 1の信号が推定される場合に付帯して生成される情報でもよい。

具体的には、例えば、領域特定情報として、推定誤差が使用可能である。ここで、推定誤差について説明する。

上述したように、データ定常性検出部 4 1 0 1より出力される推定誤差 (図 2 0 7の領域特定情報）は、例えば、データ定常性検出部 4 1 0 1より出力されるデータ定常性情報が角度であり、かつ、その角度が最小自乗法により演算される場合、その最小自乗法の演算で付帯的に算出される推定誤差である。

これに対して、実世界推定部 4 1 0 2より出力される推定誤差（図 2 1 3の領域特定情報）は、例えば、マッピング誤差である。

即ち、実世界推定部 4 1 0 2により実世界 1の信号が推定されているので、推定された実世界 1の信号から任意の大きさの画素を生成する（画素値を演算する）ことが可能である。ここでは、このように、新たな画素を生成することを、マツビングと称している。

従って、実世界推定部 4 1 0 2は、実世界 1の信号を推定した後、その推定した実世界 1の信号から、入力画像の注目画素（実世界 1が推定される場合に注目画素として使用された画素）が配置されていた位置における新たな画素を生成する (マッピングする) 。即ち、実世界推定部 4 1 0 2は、推定した実世界 1の信号から、入力画像の注目画素の画素値を予測演算する。

そして、実世界推定部 4 1 0 2は、マッピングした新たな画素の画素値（予測した入力画像の注目画素の画素値）と、実際の入力画像の注目画素の画素値との差分を演算する。この差分を、ここでは、マッピング誤差と称している。

このようにして実世界推定部 4 1 0 2は、マッピング誤差 (推定誤差) を演算することで、演算したマッピング誤差（推定誤差）を、領域特定情報として領域検出部 4 1 1 1に供給することができる。なお、領域検出部 4 1 1 1が実行する領域検出の処理は、上述したように、特に限定されないが、例えば、実世界推定部 4 1 0 2が、上述したマッピング誤差 (推定誤差）を領域特定情報として領域検出部 4 1 1 1に供給する場合、領域検出部 4 1 1 1は、供給されたマッピング誤差 (推定誤差) が所定の閾値よりも小さいとき、入力画像の注目画素は定常領域であると検出し、一方、供給されたマッビング誤差（推定誤差）が所定の閾値以上であるとき、入力画像の注目画素は非定常領域であると検出する。

その他の構成は、図 2 0 7のそれと基本的に同様である。即ち、第 2の併用手法が適用される信号処理装置（図 2 1 3 ) においても、第 1の併用手法が適用される信号処理装置（図 2 0 7 ) と基本的に同様の構成と機能を有する、データ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、画像生成部 4 1 0 3、画像生成部 4 1 0 4、並びに定常領域検出部 4 1 0 5 (領域検出部 4 1 1 1およびセレクタ 4 1 1 2 ) が設けられている。

図 2 1 4は、図 2 1 3の構成の信号処理装置の信号の処理（第 2の併用手法の信号の処理）を説明するフローチャートである。

第 2の併用手法の信号の処理は、第 1の併用手法の信号の処理（図 2 1 0のフローチャートで示される処理）と類似している。そこで、ここでは、第 1の併用手法において説明した処理については、その説明を適宜省略し、以下、図 2 1 4 のフローチャートを参照して、第 1の併用手法とは異なる第 2の併用手法の信号の処理を中心に説明する。

なお、ここでは、データ定常性検出部 4 1 0 1は、第 1の併用手法と同様に、角度（実世界 1 (図 1 ) の信号の注目位置における、定常性の方向（空間方向）と、空間方向の 1方向である X方向 (センサ 2 (図 1 ) の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。

ただし、上述したように、第 1の併用手法においては、データ定常性検出部 4

1 0 1が領域特定情報（例えば、推定誤差）を領域検出部 4 1 1 1に供給していたのに対して、第 2の併用手法においては、実世界推定部 4 1 0 2が領域特定情報（例えば、推定誤差（マッピング誤差））を領域検出部 4 1 1 1に供給する。従って、第 2の併用手法においては、データ定常性検出部 4 1 0 1の処理として、ステップ S 4 1 6 2の処理が実行される。この処理は、第 1の併用手法における、図 2 1 0のステップ S 4 1 0 2の処理に相当する。即ち、ステップ S 4 1 6 2において、データ定常性検出部 4 1 0 1は、入力画像に基づいて、定常性の方向に対応する角度を検出し、検出した角度をデータ定常性情報として、実世界推定部 4 1 0 2と画像生成部 4 1 0 3のそれぞれに供給する。

また、第 2の併用手法においては、実世界推定部 4 1 0 2の処理として、ステップ S 4 1 6 3の処理が実行される。この処理は、第 1の併用手法における、図 2 1 0のステップ S 4 1 0 3の処理に相当する。即ち、ステップ S 4 1 6 3において、実世界推定部 4 1 0 2は、ステップ S 4 1 6 2の処理でデータ定常性検出部 4 1 0 1により検出された角度に基づいて、実世界 1 (図 1 ) の信号を推定するとともに、推定された実世界 1の信号の推定誤差、即ち、マッピング誤差を演算し、それを領域特定情報として領域検出部 4 1 1 1に供給する。

その他の処理は、第 1の併用手法の対応する処理（図 2 1 0のフローチャートで示される処理のうちの対応する処理）と基本的に同様であるので、その説明は省略する。

次に、図 2 1 5と図 2 1 6を参照して、第 3の併用手法について説明する。図 2 1 5は、第 3の併用手法が適用される信号処理装置の構成例を表している。図 2 1 5において、第 1の併用手法が適用される信号処理装置（図 2 0 7 ) と対応する部分には、対応する符号が付してある。

図 2 0 7の構成例（第 1の併用手法〉においては、定常領域検出部 4 1 0 5は、画像生成部 4 1 0 3と画像生成部 4 1 0 4の後段に配設されていたが、図 2 1 5 の構成例 (第 3の併用手法) においては、それに対応する定常領域検出部 4 1 6 1が、データ定常性検出部 4 1 0 1の後段であって、実世界推定部 4 1 0 2と画像生成部 4 1 0 4の前段に配設されている。 5

299

このような配設位置の違いにより、第 1の併用手法における定常領域検出部 4 1 0 5と、第 3の併用手法における定常領域検出部 4 1 6 1は若干差異がある。そこで、この差異を中心に、定常領域検出部 4 1 6 1について説明する。

定常領域検出部 4 1 6 1には、領域検出部 4 1 7 1と実行指令生成部 4 1 7 2 が設けられている。このうちの領域検出部 4 1 7 1は、定常領域検出部 4 1 0 5 の領域検出部 4 1 1 1 (図 2 0 7 ) と基本的に同様の構成と機能を有している。一方、実行指令生成部 4 1 7 2の機能は、定常領域検出部 4 1 0 5のセレクタ 4 1 1 2 (図 2 0 7 ) のそれと若干差異がある。

即ち、上述したように、第 1の併用手法におけるセレクタ 4 1 1 2は、領域検出部 4 1 1 1の検出結果に基づいて、画像生成部 4 1 0 3からの画像と、画像生成部 4 1 0 4からの画像のうちのいずれか一方を選択し、選択した画像を出力画像として出力する。このように、セレクタ 4 1 1 2は、領域検出部 4 1 1 1の検出結果の他に、画像生成部 4 1 0 3からの画像と、画像生成部 4 1 0 4からの画像を入力し、出力画像を出力する。

一方、第 3の併用手法における実行指令生成部 4 1 7 2は、領域検出部 4 1 7 1の検出結果に基づいて、入力画像の注目画素（データ定常性検出部 4 1 0 1が注目画素とした画素）における新たな画素の生成の処理を実行するのは、画像生成部 4 1 0 3であるのか画像生成部 4 1 0 4であるのかを選択する。

即ち、領域検出部 4 1 7 1が、入力画像の注目画素は定常領域であるという検出結果を実行指令生成部 4 1 7 2に供給した場合、実行指令生成部 4 1 7 2は、画像生成部 4 1 0 3を選択し、実世界推定部 4 1 0 2に対して、その処理の実行を開始させる指令（このような指令を、以下、実行指令と称する）を供給する。すると、実世界推定部 4 1 0 2が、その処理を開始し、実世界推定情報を生成し、画像生成部 4 1 0 3に供給する。画像生成部 4 1 0 3は、供給された実世界推定情報 (必要に応じて、それに加えてデータ定常性検出部 4 1 0 1より供給されたデータ定常性情報）に基づいて新たな画像を生成し、それを出力画像として外部に出力する。これに対して、領域検出部 4 1 7 1が、入力画像の注目画素は非定常領域であるという検出結果を実行指令生成部 4 1 7 2に供給した場合、実行指令生成部 4 1 7 2は、画像生成部 4 1 0 4を選択し、画像生成部 4 1 0 4に対して実行指令を供給する。すると、画像生成部 4 1 0 4が、その処理を開始し、入力画像に対して所定の画像処理（いまの場合、クラス分類適応処理）を施して、新たな画像を生成し、それを出力画像として外部に出力する。

このように、第 3の併用手法における実行指令生成部 4 1 7 2は、領域検出部 4 1 7 1の検出結果を入力し、実行指令を出力する。即ち、実行指令生成部 4 1 7 2は、画像を入出力しない。

なお、定常領域検出部 4 1 6 1以外の構成は、図 2 0 7のそれと基本的に同様である。即ち、第 2の併用手法が適用される信号処理装置（図 2 1 5の信号処理装置）においても、第 1の併用手法が適用される信号処理装置（図 2 0 7 ) と基本的に同様の構成と機能を有する、データ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、画像生成部 4 1 0 3、および、画像生成部 4 1 0 4が設けられている。ただし、第 3の併用手法においては、実世界推定部 4 1 0 2と画像生成部 4 1 0 4のそれぞれは、実行指令生成部 4 1 7 2からの実行指令が入力されない限り、その処理を実行しない。

ところで、図 2 1 5の例では、画像の出力単位は画素単位とされている。そこで、図示はしないが、出力単位を 1フレームの画像全体とするために（全ての画素を一括して出力するために）、例えば、画像生成部 4 1 0 3と画像生成部 4 1 0 4の後段に、画像合成部をさらに設けることもできる。

この画像合成部は、画像生成部 4 1 0 3から出力された画素値と、画像生成部 4 1 0 4より出力された画素値を加算し（合成し）、加算した値を対応する画素の画素値とする。この場合、画像生成部 4 1 0 3と画像生成部 4 1 0 4のうちの、実行指令が供給されていない方は、その処理を実行せず、所定の一定値（例えば、 0 ) を画像合成部に常時供給する。

画像合成部は、このような処理を全ての画素について操り返し実行し、全ての画素の処理を終了すると、全ての画素を一括して（1フレームの画像データとして）外部に出力する。

次に、図 2 1 6のフローチヤ一トを参照して、第 3の併用手法が適用される信号処理装置（図 2 1 5 ) の信号の処理について説明する。

なお、ここでは、第 1の併用手法のときと同様に、データ定常性検出部 4 1 0 1は、角度（実世界 1 (図 1 ) の信号の注目位置における、定常性の方向（空間方向) と、空間方向の 1方向である X方向 (センサ 2 (図 1 ) の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。

図 1において、実世界 1の信号がセンサ 2に入射されると、センサ 2からは入力画像が出力される。

図 2 1 5において、この入力画像は、画像生成部 4 1 0 4に入力されるとともに、データ定常性検出部 4 1 0 1、および実世界推定部 4 1 0 2にも入力される。そこで、図 2 1 6のステップ S 4 1 8 1において、データ定常性検出部 4 1 0 1は、入力画像に基づいて、定常性の方向に対応する角度を検出するとともに、その推定誤差を演算する。検出された角度は、データ定常性情報として実世界推定部 4 1 0 2と画像生成部 4 1 0 3のそれぞれに供給される。また、演算された推定誤差は、領域特定情報として領域検出部 4 1 7 1に供給される。

なお、ステップ S 4 1 8 1の処理は、上述したステップ S 4 1 0 2 (図 2 1 0 ) の処理と基本的に同様の処理である。

また、上述したように、いまの時点においては (実行指令生成部 4 1 7 2から実行指令が供給されない限り）、実世界推定部 4 1 0 2も画像生成部 4 1 0 4もその処理を実行しない。

ステップ S 4 1 8 2において、領域検出部 4 1 7 1は、データ定常性検出部 4 1 0 1により演算された推定誤差（供給された領域特定情報）に基づいて、入力画像の注目画素（データ定常性検出部 4 1 0 1が角度を検出する場合に注目画素とした画素）の領域を検出し、その検出結果を実行指令生成部 4 1 7 2に供給する。なお、ステップ S 4 1 8 2の処理は、上述したステップ S 4 1 0 5 (図 2 1 0) の処理と基本的に同様の処理である。

領域検出部 4 1 7 1の検出結果が実行指令生成部 4 1 7 2に供給されると、ステツプ S 4 1 8 3において、実行指令生成部 4 1 7 2は、検出された領域が、定常領域であるか否かを判定する。なお、ステップ S 4 1 8 3の処理は、上述したステップ S 4 1 0 6 (図 2 1 0) の処理と基本的に同様の処理である。

ステップ S 4 1 8 3において、検出された領域が定常領域ではないと判定した場合、実行指令生成部 4 1 7 2は、実行指令を画像生成部 4 1 04に供給する。すると、画像生成部 4 1 04は、ステップ S 4 1 84において、「クラス分類適応処理の実行処理」を実行して、第 1の画素（注目画素（入力画像の SD画素）における HD画素）を生成し、ステップ S 4 1 8 5において、クラス分類適応処理により生成された第 1の画素を、出力画像として外部に出力する。

なお、ステップ S 4 1 84の処理は、上述したステップ S 4 1 0 1 (図 2 1 0) の処理と基本的に同様の処理である。即ち、図 2 1 1のフローチャートは、ステップ S 4 1 8 4の処理の詳細を説明するフローチヤ一トでもある。

これに対して、ステップ S 4 1 8 3において、検出された領域が定常領域であると判定した場合、実行指令生成部 4 1 7 2は、実行指令を実世界推定部 4 1 0 2に供給する。すると、ステップ S 4 1 8 6において、実世界推定部 4 1 0 2は、データ定常性検出部 4 1 0 1により検出された角度と、入力画像に基づいて、実世界 1の信号を推定する。なお、ステップ S 4 1 8 6の処理は、上述したステツプ S 4 1 0 3 (図 2 1 0) の処理と基本的に同様の処理である。

そして、画像生成部 4 1 0 3は、ステップ S 4 1 8 7において、実世界推定部 4 1 0 2により推定された実世界 1の信号に基づいて、検出された領域（即ち、入力画像の注目画素（S D画素））における第 2の画素（HD画素）を生成し、ステップ S 4 1 8 8において、その第 2の画素を出力画像として出力する。なお、ステップ S 4 1 8 7の処理は、上述したステップ S 4 1 0 4 (図 2 1 0 ) の処理と基本的に同様の処理である。 .

第 1の画素または第 2の画素が出力画像として出力されると（ステップ S 4 1 8 5、またはステップ S 4 1 8 8の処理の後）、ステップ S 4 1 8 9において、全画素の処理を終了したか否かが判定され、全画素の処理がまだ終了していないと判定された場合、その処理は、ステップ S 4 1 8 1に戻る。即ち、全ての画素の処理が終了されるまで、ステップ S 4 1 8 1乃至 S 4 1 8 9の処理が繰り返される。

そして、ステップ S 4 1 8 9において、全画素の処理を終了したと判定された場合、その処理は終了となる。

このように、図 2 1 6のフローチヤ一トの例においては、第 1の画素（H D画素）と第 2の画素（H D画素）が生成される毎に、出力画像として第 1の画素または第 2の画素が画素単位で出力される。

しかしながら、上述したように、図 2 1 5の構成の信号処理装置の最終段（画像生成部 4 1 0 3と画像生成部 4 1 0 4の後段）に画像合成部（図示せず）をさらに設ければ、全ての画素の処理が終了された後、出力画像として、全ての画素を一^:舌して出力することが可能になる。この場合、ステップ S 4 1 8 5とステツプ S 4 1 8 8のそれぞれに処理においては、画素（第 1の画素または第 2の画素）は外部ではなく画像合成部に出力される。そして、ステップ S 4 1 8 9の処理の前に、画像合成部が、画像生成部 4 1 0 3から供給される画素の画素値と、画像生成部 4 1 0 4から供給される画素の画素値を合成して、出力画像の画素を生成する処理と、ステップ S 4 1 8 9の処理の後に、画像合成部が、全ての画素を出力する処理が追加される。

次に、図 2 1 7と図 2 1 8を参照して、第 4の併用手法について説明する。図 2 1 7は、第 4の併用手法が適用される信号処理装置の構成例を表している _c 図 2 1 7において、第 3の併用手法が適用される信号処理装置（図 2 1 5 ) と対応する部分には、対応する符号が付してある。 01585

304

図 2 1 5の構成例（第 3の併用手法）においては、領域特定情報は、データ定常性検出部 4 1 0 1より出力され領域検出部 4 1 7 1に入力されていたが、図² 1 7の構成例（第 4の併用手法）においては、領域特定情報は、実世界推定部 4 1 0 2より出力され領域検出部 4 1 7 1に入力される。

その他の構成は、図 2 1 5のそれと基本的に同様である。即ち、第 4の併用手法が適用される信号処理装置（図 2 1 7 ) においても、第 3の併用手法が適用される信号処理装置（図 2 1 5 ) と基本的に同様の構成と機能を有する、データ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、画像生成部 4 1 0 3、画像生成部 4 1 0 4、並びに定常領域検出部 4 1 6 1 (領域検出部 4 1 7 1および実行指令生成部 4 1 7 2 ) が設けられている。

なお、第 3の併用方法と同様に、図示はしないが、全ての画素を一括して出力するために、例えば、画像生成部 4 1 0 3と画像生成部 4 1 0 4の後段に、画像合成部をさらに設けることもできる。

図 2 1 8は、図 2 1 7の構成の信号処理装置の信号の処理（第 4の併用手法の信号の処理）を説明するフローチャートである。

第 4の併用手法の信号の処理は、第 3の併用手法の信号の処理（図 2 1 6のフローチャートで示される処理）と類似している。そこで、ここでは、第 3の併用手法において説明した処理については、その説明を適宜省略し、以下、図 2 1 8 のフローチャートを参照して、第 3の併用手法とは異なる第 4の併用手法の信号の処理を中心に説明する。

なお、ここでは、データ定常性検出部 4 1 0 1は、第 3の併用手法と同様に、角度（実世界 1 (図 1 ) の信号の注目位置における、定常性の方向（空間方向）と、空間方向の 1方向である X方向 (センサ 2 (図 1 ) の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。

ただし、上述したように、第 3の併用手法においては、データ定常性検出部 4 1 0 1が領域特定情報（例えば、推定誤差）を領域検出部 4 1 7 1に供給してい T脑 04/001585

305

たのに対して、第 4の併用手法においては、実世界推定部 4 1 0 2が領域特定情報（例えば、推定誤差（マッピング誤差））を領域検出部 4 1 7 1に供給する。従って、第 4の併用手法においては、データ定常性検出部 4 1 0 1の処理として、ステップ S 4 2 0 1の処理が実行される。この処理は、第 3の併用手法における、 0 2 1 6のステップ S 4 1 8 1の処理に相当する。即ち、ステップ S 4 2 0 1において、データ定常性検出部 4 1 0 1は、入力画像に基づいて、定常性の方向に対応する角度を検出し、検出した角度をデータ定常性情報として、実世界推定部 4 1 0 2と画像生成部 4 1 0 3のそれぞれに供給する。

また、第 4の併用手法においては、実世界推定部 4 1 0 2の処理として、ステップ S 4 2 0 2の処理が実行される。この処理は、第 3の併用手法における、図 2 1 0のステップ S 4 1 8 2の処理に相当する。即ち、実世界推定部 4 1 0 2は、ステップ S 4 2 0 2の処理でデータ定常性検出部 4 1 0 1により検出された角度に基づいて、実世界 1 (図 1 ) の信号を推定するとともに、推定された実世界 1 の信号の推定誤差、即ち、マッピング誤差を演算し、それを領域特定情報として領域検出部 4 1 7 1に供給する。

その他の処理は、第 3の併用手法の対応する処理（図 2 1 6のフローチャートで示される処理のうちの対応する処理）と基本的に同様であるので、その説明は省略する。

次に、図 2 1 9と図 2 2 0を参照して、第 5の併用手法について説明する。図 2 1 9は、第 5の併用手法が適用される信号処理装置の構成例を表している。図 2 1 9において、第 3と第 4の併用手法が適用される信号処理装置（図 2 1 5と図 2 1 7 ) と対応する部分には、対応する符号が付してある。

図 2 1 5の構成例（第 3の併用手法）においては、データ定常性検出部 4 1 0 1の後段であって、実世界推定部 4 1 0 2と画像生成部 4 1 0 4の前段に、 1つの定常領域検出部 4 1 6 1が配設されている。

また、図 2 1 7の構成例（第 4の併用手法）においては、実世界推定部 4 1 0 2の後段であって、画像生成部 4 1 0 3と画像生成部 4 1 0 4の前段に、 1つの定常領域検出部 4 1 6 1が配設されている。

これらに対して、図 2 1 9の構成例（第 5の併用手法）においては、第 3の併用方法と同様に、データ定常性検出部 4 1 0 1の後段であって、実世界推定部 4 1 0 2と画像生成部 4 1 0 4の前段に、定常領域検出部 4 1 8 1が配設されている。さらに、第 4の併用方法と同様に、実世界推定部 4 1 0 2の後段であって、画像生成部 4 1 0 3と画像生成部 4 1 0 4の前段に、定常領域検出部 4 1 8 2が配設されている。

定常領域検出部 4 1 8 1と定常領域検出部 4 1 8 2のそれぞれは、定常領域検出部 4 1 6 1 (図 2 1 5または図 2 1 7 ) と基本的に同様の構成と機能を有している。即ち、領域検出部 4 1 9 1と領域検出部 4 2 0 1はいずれも、領域検出部 4 1 7 1と基本的に同様の構成と機能を有している。また、実行指令生成部 4 1 9 2と実行指令生成部 4 2 0 2はいずれも、実行指令生成部 4 1 7 2と基本的に同様の構成と機能を有している。

換言すると、第 5の併用手法は、第 3の併用手法と第 4の併用手法を組み合わせたものである。

即ち、第 3の併用手法や第 4の併用手法においては、 1つの領域特定情報（第 3の併用手法においては、データ定常性検出部 4 1 0 1からの領域特定情報であり、第 4の併用手法においては、実世界推定部 4 1 0 2からの領域特定情報である）に基づいて、入力画像の注目画素が定常領域であるか非定常領域であるかが検出される。従って、第 3の併用手法や第 4の併用手法では、本来、非定常領域であるにも関わらず、定常領域であると検出される恐れもある。

そこで、第 5の併用手法においては、はじめにデータ定常性検出部 4 1 0 1からの領域特定情報（第 5の併用手法の説明においては、第 1の領域特定情報と称する）に基づいて、入力画像の注目画素が定常領域であるか非定常領域であるかが検出された後、さらに、実世界推定部 4 1 0 2からの領域特定情報 (第 5の併用手法の説明においては、第 2の領域特定情報と称する ) に基づいて、入力画像の注目画素が定常領域であるか非定常領域であるかが検出される。このように、第 5の併用手法においては、領域の検出の処理が 2回行われるので、第 3の併用手法や第 4の併用手法に比較して、定常領域の検出精度が上がることになる。さらに、第 1の併用手法や第 2の併用手法においても、第 3の併用手法や第 4の併用手法と同様に、 1つの定常領域検出部 4 1 0 5 (図 2 0 7または図 2 1 3 ) しか設けられていない。従って、第 1の併用手法や第 2の併用手法と比較しても、定常領域の検出精度が上がることになる。その結果、第 1乃至第 4の併用手法のいずれよりも実世界 1 (図 1 ) の信号に近い画像データを出力することが可能になる。

ただし、第 1乃至第 4の併用手法でも、従来の画像処理を行う画像生成部 4 1 0 4と、本発明が適用されるデータの定常性を利用して画像を生成する装置またはプログラム等（即ち、データ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、および、画像生成部 4 1 0 3 ) を併用していることに変わりはない。

従って、第 1乃至第 4の併用手法でも、従来の信号処理装置や、図 3の構成の本発明の信号処理のいずれよりも実世界 1 (図 1 ) の信号に近い画像データを出力することが可能になる。

一方、処理速度の観点からは、第 1乃至第 4の併用手法においては、領域の検出の処理が 1回だけで済むので、領域の検出の処理を 2回行う第 5の併用手法よりも優れていることになる。

従って、ユーザ（または製造者）等は、必要とされる出力画像の品質と、必要とされる処理時間（出力画像が出力されるまでの時間）に合致した併用手法を選択的に利用することができる。

なお、図 2 1 9におけるその他の構成は、図 2 1 5、または、図 2 1 7のそれと基本的に同様である。即ち、第 5の併用手法が適用される信号処理装置（図 2

1 9 ) においても、第 3または第 4の併用手法が適用される信号処理装置（図 2 1 5、または図 2 1 7 ) と基本的に同様の構成と機能を有する、データ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、画像生成部 4 1 0 3、および画像生成部

4 1 0 4が設けられている。 004/001585

308

ただし、第 5の併用手法においては、実世界推定部 4 1 0 2は、実行指令生成部 4 1 9 2からの実行指令が入力されない限り、画像生成部 4 1 0 3は、実行指令生成部 4 2 0 2からの実行指令が入力されない限り、画像生成部 4 1 0 4は、実行指令生成部 4 1 9 2、または実行指令生成部 4 2 0 2からの実行指令が入力されない限り、その処理を実行しない。

また、第 5の併用手法においても、第 3や第 4の併用方法と同様に、図示はしないが、全ての画素を一括して出力するために、例えば、画像生成部 4 1 0 3と画像生成部 4 1 0 4の後段に、画像合成部をさらに設けることもできる。

次に、図 2 2 0のフローチャートを参照して、第 5の併用手法が適用される信号処理装置（図 2 1 9 ) の信号の処理について説明する。

なお、ここでは、第 3や第 4の併用手法のときと同様に、データ定常性検出部 4 1 0 1は、角度（実世界 1 (図 1 ) の信号の注目位置における、定常性の方向 (空間方向）と、空間方向の 1方向である X方向（センサ 2 (図 1 ) の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。

また、ここでは、第 3の併用手法のときと同様に、データ定常性検出部 4 1 0 1はまた、角度を演算するときに併せて算出される推定誤差（最小自乗法の誤差）を、第 1の領域特定情報として出力するとする。

さらに、ここでは、第 4の併用手法のときと同様に、実世界推定部 4 1 0 2は、マッピング誤差（推定誤差）を、第 2の領域特定情報として出力するとする。図 1において、実世界 1の信号がセンサ 2に入射されると、センサ 2からは入力画像が出力される。

図 2 1 9において、この入力画像は、データ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、および、画像生成部 4 1 0 4のそれぞれに入力される。

そこで、図 2 2 0のステップ S 4 2 2 1において、データ定常性検出部 4 1 0 1は、入力画像に基づいて、定常性の方向に対応する角度を検出するとともに、その推定誤差を演算する。検出された角度は、データ定常性情報として実世界推 JP2004/001585

309

定部 4 102と画像生成部 410 3のそれぞれに供給される。また、演算された推定誤差は、第 1の領域特定情報として領域検出部 41 9 1に供給される。

なお、ステップ S 42 2 1の処理は、上述したステップ S 4 1 8 1 (図 21 6) の処理と基本的に同様の処理である。

また、上述したように、いまの時点においては (実行指令生成部 41 9 2から実行指令が供給されない限り）、実世界推定部 4 10 2も画像生成部 4 104もその処理を実行しない。

ステップ S 4222において、領域検出部 4 1 9 1は、データ定常性検出部 4 10 1により演算された推定誤差（供給された第 1の領域特定情報）に基づいて、入力画像の注目画素（データ定常性検出部 410 1が角度を検出する場合に注目画素とした画素）の領域を検出し、その検出結果を実行指令生成部 41 92に供給する。なお、ステップ S 4222の処理は、上述したステップ S 41 82 (図 2 1 6) の処理と基本的に同様の処理である。

領域検出部 4 18 1の検出結果が実行指令生成部 4 1 9 2に供給されると、ステツプ S 4223において、実行指令生成部 41 92は、検出された領域が、定常領域であるか否かを判定する。なお、ステップ S 4223の処理は、上述したステップ S 41 83 (図 2 1 6) の処理と基本的に同様の処理である。

ステップ S 422 3において、検出された領域が定常領域ではない（非定常領域である）と判定した場合、実行指令生成部 41 92は、実行指令を画像生成部 4104に供給する。すると、画像生成部 4104は、ステップ S 4224において、「クラス分類適応処理の実行処理」を実行して、第 1の画素（注目画素

(入力画像の SD画素）における HD画素）を生成し、ステップ S 4225において、クラス分類適応処理により生成された第 1の画素を、出力画像として外部に出力する。

なお、ステップ S 4224の処理は、上述したステップ S 4 184 (図 2 1 6) の処理と基本的に同様の処理である。即ち、図 2 1 1のフローチャートは、ステップ S 41 86の処理の詳細を説明するフローチャートでもある。また、ステツプ S 4225の処理は、上述したステップ S 41 85 (図 21 6) の処理と基本的に同様の処理である。

これに対して、ステップ S 4223において、検出された領域が定常領域であると判定した場合、実行指令生成部 4 1 9 2は、実行指令を実世界推定部 4 10 2に供給する。すると、ステップ S 4226において、実世界推定部 4 1 0 2は、ステップ S 422 1の処理でデータ定常性検出部 41 01により検出された角度に基づいて、実世界 1の信号を推定するとともに、その推定誤差 (マッピング誤差）を演算する。推定された実世界 1の信号は、実世界推定情報として画像生成部 41 03に供給される。また、演算された推定誤差は、第 2の領域特定情報として領域検出部 4201に供給される。

なお、ステップ S 4226の処理は、上述したステップ S 420 2 (図 21 8) の処理と基本的に同様の処理である。

また、上述したように、いまの時点においては（実行指令生成部 41 92、または実行指令生成部 4202から実行指令が供給されない限り）、画像生成部 4 103も画像生成部 41 04もその処理を実行しない。

ステップ S 4227において、領域検出部 420 1は、実世界推定部 41 02 により演算された推定誤差（供給された第 2の領域特定情報）に基づいて、入力画像の注目画素（データ定常性検出部 41 01が角度を検出する場合に注目画素とした画素）の領域を検出し、その検出結果を実行指令生成部 4202に供給する。なお、ステップ S 4227の処理は、上述したステップ S 4203 (図 2 1 8) の処理と基本的に同様の処理である。

領域検出部 420 1の検出結果が実行指令生成部 4202に供給されると、ステツプ S 4228において、実行指令生成部 4202は、検出された領域が、定常領域であるか否かを判定する。なお、ステップ S 42²8の処理は、上述したステップ S 4204 (図 21 8) の処理と基本的に同様の処理である。

ステップ S 4228において、検出された領域が定常領域ではない（非定常領域である）と判定した場合、実行指令生成部 4202は、実行指令を画像生成部 4 1 0 4に供給する。すると、画像生成部 4 1 0 4は、ステップ S 4 2 2 4において、「クラス分類適応処理の実行処理」を実行して、第 1の画素（注目画素

(入力画像の S D画素）における H D画素）を生成し、ステップ S 4 2 2 5において、クラス分類適応処理により生成された第 1の画素を、出力画像として外部に出力する。

なお、いまの場合のステップ S 4 2 2 4の処理は、上述したステップ S 4 2 0 5 (図 2 1 8 ) の処理と基本的に同様の処理である。また、いまの場合のステツプ S 4 2 2 5の処理は、上述したステップ S 4 2 0 6 (図 2 1 8 ) の処理と基本的に同様の処理である。

これに対して、ステップ S 4 2 2 8において、検出された領域が定常領域であると判定した場合、実行指令生成部 4 2 0 2は、実行指令を画像生成部 4 1 0 3 に供給する。すると、ステップ S 4 2 2 9において、画像生成部 4 1 0 3は、実世界推定部 4 1 0 2により推定された実世界 1の信号（および、必要に応じてデータ定常性検出部 4 1 0 1からのデータ定常性情報）に基づいて、領域検出部 4 2 0 1により検出された領域（即ち、入力画像の注目画素（S D画素））における、第 2の画素（H D画素）を生成する。そして、ステップ S 4 2 3 0において、画像生成部 4 1 0 3は、生成された第 2の画素を、出力画像として外部に出力する。

なお、ステップ S 4 2 2 9と S 4 2 3 0のそれぞれの処理は、上述したステツプ S 4 2 0 7と S 4 2 0 8 (図 2 1 8 ) のそれぞれの処理と基本的に同様の処理である。

第 1の画素または第 2の画素が出力画像として出力されると（ステップ S 4 2 2 5、またはステップ S 4 2 3 0の処理の後）、ステップ S 4 2 3 1において、全画素の処理を終了したか否かが判定され、全画素の処理がまだ終了していないと判定された場合、その処理は、ステップ S 4 2 2 1に戻る。即ち、全ての画素の処理が終了されるまで、ステップ S 4 2 2 1乃至 S 4 2 3 1の処理が繰り返される。そして、ステップ S 4 2 3 1において、全画素の処理を終了したと判定された場合、その処理は終了となる。

以上、図 2 0 7乃至図 2 2 0を参照して、本発明の信号処理装置 4 (図 1 ) の実施の形態の一例として、併用手法について説明した。

上述したように、併用手法においては、図 3の構成の本発明の信号処理装置に対してさらに、定常性を利用しない他の信号処理を行う装置 (または、プロダラム等）が付加されている。

換言すると、併用手法においては、従来の信号処理装置（または、プログラム等）に対して、図 3の構成の本発明の信号処理装置（または、プログラム等）が付加されている。

即ち、併用手法においては、例えば、図 2 0 7や図 2 1 3の定常領域検出部⁴ 1 0 5が、実世界 1の光信号が射影され、実世界 1の光信号の定常性の一部が欠落した画像データ（例えば、図 2 0 7や図 2 1 3の入力画像）内において、画像データのデータの定常性を有する領域（例えば、図 2 1 0のステップ S 4 1 0 6 や図 2 1 4のステップ S 4 1 6 6に記載の定常領域）を検出する。

また、図 2 0 7や図 2 1 3の実世界推定部 4 1 0 2が、実世界 1の光信号の定常性の一部が欠落した画像データのデータの定常性に基づいて、欠落した実世界 1の光信号の定常性を推定することにより光信号を推定する。

さらに、例えば、図 2 0 7や図 2 1 3のデータ定常性検出部 4 1 0 1が、実世界 1の光信号が射影され、実世界 1の光信号の定常性の一部が欠落した画像データ内において、画像データのデータの定常性の基準軸に対する角度（例えば、図 2 1 0のステップ S 4 1 0 2や図 2 1 4のステップ S 4 1 6 2に記載の角度）を検出する。この場合、例えば、図 2 0 7や図 2 1 3の定常領域検出部 4 1 0 5は、角度に基いて画像データのデータの定常性を有する領域を検出し、実世界推定部 4 1 0 2は、その領域に対して、欠落した実世界 1の光信号の定常性を推定することにより光信号を推定する。

ただし、図 2 0 7においては、定常領域検出部 4 1 0 5は、角度に沿って定常であるモデルと入力画像との誤差（即ち、例えば、図中の領域特定情報であって、図 2 1 0のステップ S 4 1 0 2の処理で演算される推定誤差）に基づいて入力画像のデータの定常性を有する領域を検出する。

これに対して、図 2 1 3においては、定常領域検出部 4 1 0 5は、実世界推定部 4 1 0 2の後段に配され、実世界推定部 4 1 0 2により演算される、入力画像に対応する実世界 1の光信号を表す実世界モデルと、入力画像との誤差（即ち、例えば、図中の領域特定情報であって、図 2 1 0のステップ S 4 1 6 3の処理で演算される実世界の信号の推定誤差（マッピング誤差））に基いて、実世界推定部 4 1 0 2により推定された実世界モデル、即ち、画像生成部 4 1 0 3から出力される画像を選択的に出力する（例えば、図 2 1 3のセレクタ 4 1 1 2力図 2 1 4のステップ S 4 1 6 6乃至 S 4 1 6 8の処理を実行する）。

以上、図 2 0 7と図 2 1 3の例で説明したが、以上のことは、図 2 1 5、図 2 1 7、および図 2 1 9においても同様である。

従って、併用手法においては、実世界 1の信号のうちの定常性が存在する部分 (画像データのデータの定常性を有する領域）については、図 3の構成の信号処理装置に相当する装置（またはプログラム等）が信号処理を実行し、実世界 1の信号のうちの明確な定常性が存在しない部分については、従来の信号処理装置 (または、プログラム等）が信号処理を実行することが可能になる。その結果、従来の信号処理装置や、図 3の構成の本発明の信号処理のいずれよりも実世界 1 (図 1 ) の信号に近い画像データを出力することが可能になる。

次に、図 2 2 1 , 図 2 2 2を参照して、データ定常性検出部 1 0 1より直接画像を生成する例について説明する。

図 2 2 1のデータ定常性検出部 1 0 1は、図 1 6 5のデータ定常性検出部 1 0 1に画像生成部 4 5 0 1を付加したものである。画像生成部 4 5 0 1は、実世界推定部 8 0 2より出力される実世界の近似関数 f (X)の係数を実世界推定情報として取得し、この係数に基づいて、各画素を再積分することにより画像を生成して出力する。次に、図 2 2 2のフローチャートを参照して、図 2 2 1のデータの定常性の検出の処理について説明する。尚、図 2 2 2のフローチャートのステップ S 4 5 0 1乃至 S 4 5 0 4、および、ステップ S 4 5 0 6乃至 S 4 5 1 1の処理に付いては、図 1 6 6のフローチヤ一トのステップ S 8 0 1乃至 S 8 1 0の処理と同様であるのでその説明は省略する。

ステップ S 4 5 0 4において、画像生成部 4 5 0 1は、実世界推定部 8 0 2より入力された係数に基づいて各画素を再積分して、画像を生成し出力する。以上の処理により、データ定常性検出部 1 0 1は、領域情報のみならず、その領域判定に用いた（実世界推定情報に基づいて生成された画素からなる）画像を出力することができる。

このように、図 2 2 1のデータ定常性検出部 1 0 1においては、画像生成部 4 5 0 1が設けられている。即ち、図 2 2 1のデータ定常性検出部 1 0 1は、入力画像のデータの定常性に基づいて出力画像を生成することができる。従って、図 2 2 1で示される構成を有する装置を、データ定常性検出部 1 0 1の実施の形態と捉えるのではなく、図 1の信号処理装置（画像処理装置） 4の他の実施の形態と捉えることもできる。

さらに、上述した併用手法が適用される信号処理装置において、実世界 1の信号のうちの定常性が存在する部分に対して信号処理を施す信号処理部として、図 2 2 1で示される構成を有する装置（即ち、図 2 2 1のデータ定常性検出部 1 0 1と同様の機能と構成を有する信号処理装置）を適用することも可能である。具体的には、例えば、第 1の併用手法が適用される図 2 0 7の信号処理装置においては、実世界 1の信号のうちの定常性が存在する部分に対して信号処理を施す信号処理部は、データ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、および画像生成部 4 1 0 3とされている。図示はしないが、これらのデータ定常性検出部 4 1 0 1、実世界推定部 4 1 0 2、および画像生成部 4 1 0 3の代わりに、図 2 2 1の構成の信号処理装置（画像処理装置）を適用することも可能である。この場合、図 2 2 1の比較部 8 0 4が、その出力を領域特定情報をとして領域検出部 4 1 1 1に供給し、また、面像生成部 4 5 0 1力出力画像（第 2の画素）をセレクタ 4 1 1 2に供給することになる。

なお、センサ 2は、固体撮像素子である、例えば、 BBD (Bucket Bri gade Device; ヽ CID (Charge Inject ion Device) ヽ 7こ fま CPD (Charge Priming Device) などのセンサでもよい。

本発明の信号処理を行うプログラムを記録した記録媒体は、図 2で示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク 5 1 (フレキシブルディスクを含む) 、光ディスク 5 2 (CD-ROM (Corapaut Di sk-Read Only Memory) , DVD (Di gi tal Versati le Di sk)を含む）、光磁気ディスク 5 3 (MD (Mini-Disk) (商標）を含む）、もしくは半導体メモリ 5 4などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されている R0M 2 2や、記憶部 2 8に含まれるハードディスクなどで構成される。

なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンビユータにィンストールされるようにしてもよい。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステツプは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。産業上の利用可能性

以上のように、本発明によれば、正確で、精度の高い処理結果を得ることができるようになる。

また、本発明によれば、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

Claims

請求の範囲

1 . それぞれ時空間積分効果を有する複数の検出素子に現実世界の光信号が射影されることにより取得された、前記現実世界の光信号の定常性の一部が欠落した画像データ内の複数の画素の画素値の不連続部を検出する不連続部検出手段と、前記不連続部から前記画素値の変化の頂点を検出する頂点検出手段と、前記頂点から単調に前記画素値が増加または減少している単調増減領域を検出する単調増減領域検出手段と、

前記単調増減領域検出手段により検出された前記単調増減領域の中の、他の前記単調増減領域が前記画像データ上の隣接する位置に存在する前記単調増減領域を、前記画像データの定常性を有する定常領域として検出する連続性検出手段と、前記定常領域の連続性の方向を検出する方向検出手段と、

前記連続性検出手段により検出された前記定常領域および前記方向検出手段により検出された前記定常領域の前記連続性の方向に基づいて、前記現実世界の光信号の定常性を推定することにより前記現実世界の光信号を推定する実世界推定手段と

を含むことを特徴とする画像処理装置。

2 . 前記方向検出手段は、

前記連続性検出手段により検出された前記単調増減領域の中の、第 1の単調增減領域に配される複数の第 1の画素の画素値の変化と、前記第 1の単調増減領域に隣接する第 2の単調増減領域に配される、前記複数の第 1の画素に隣接する複数の第 2の画素の画素値の変化とに基づいて、前記定常領域の前記連続性の方向を検出する

ことを特徴とする請求の範囲第 1項に記載の画像処理装置。

3 . 前記方向検出手段は、

前記第 1の単調増減領域に配される前記複数の第 1の画素の画素値の増分と、前記第 2の単調増減領域に配される前記複数の第 2の画素の画素値の減分とがー致するとき、前記第 1の単調増減領域と前記第 2の単調増減領域とから定まる方向を、前記定常領域の前記連続性の方向として検出する

ことを特徴とする請求の範囲第 2項に記載の画像処理装置。

4 . 前記不連続部検出手段は、

前記画像データの複数の画素の画素値に対応する回帰平面を求めて、前記回帰平面との距離が閾値以上である前記画素値を有する前記画素からなる領域を前記不連続部として検出し、前記不連続部の前記画素の前記画素値から、前記回帰平面で近似される値を減算した差分値を演算し、

前記頂点検出手段は、

前記差分値に基づいて、前記頂点を検出し、

前記単調増減領域検出手段は、

前記差分値に基づいて、前記単調増減領域を検出し、

前記方向検出手段は、

前記差分値に基づいて、前記定常領域の前記連続性の方向を検出することを特徴とする請求の範囲第 1項に記載の画像処理装置。

5 . それぞれ時空間積分効果を有する複数の検出素子に現実世界の光信号が射影されることにより取得された、前記現実世界の光信号の定常性の一部が欠落した画像データ内の複数の画素の画素値の不連続部を検出する不連続部検出ステップと、

前記不連続部から前記画素値の変化の頂点を検出する頂点検出ステップと、前記頂点から単調に前記画素値が増加または減少している単調増減領域を検出する単調増減領域検出ステップと、

前記単調増減領域検出ステップにおいて検出された前記単調増減領域の中の、他の前記単調増減領域が前記画像データ上の隣接する位置に存在する前記単調増減領域を、前記画像データの定常性を有する定常領域として検出する連続性検出ステップと、

前記定常領域の連続性の方向を検出する方向検出ステップと、

前記連続性検出ステップにおいて検出された前記定常領域および前記方向検出ステップにおいて検出された前記定常領域の前記連続性の方向に基づいて、前記現実世界の光信号の定常性を推定することにより前記現実世界の光信号を推定する実世界推定ステップと

を含むことを特徴とする画像処理方法。

6 . それぞれ時空間積分効果を有する複数の検出素子に現実世界の光信号が射影されることにより取得された、前記現実世界の光信号の定常性の一部が欠落した画像データ内の複数の画素の画素値の不連続部を検出する不連続部検出ステツプと、

前記単調増減領域検出ステップにおいて検出された前記単調增減領域の中の、他の前記単調増減領域が前記画像データ上の隣接する位置に存在する前記単調増減領域を、前記画像データの定常性を有する定常領域として検出する連続性検出ステップと、

前記連続性検出ステップにおいて検出された前記定常領域およぴ前記方向検出ステップにおいて検出された前記定常領域の前記連続性の方向に基づいて、前記現実世界の光信号の定常性を推定することにより前記現実世界の光信号を推定する実世界推定ステップと

を含むことを特徴とするコンピュータが読み取り可能なプログラム。