WO2004077828A1

WO2004077828A1 - 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム

Info

Publication number: WO2004077828A1
Application number: PCT/JP2004/001607
Authority: WO
Inventors: Tetsujiro Kondo; Takashi Sawao; Junichi Ishibashi; Takahiro Nagano; Naoki Fujiwara; Toru Miyake; Seiji Wada
Original assignee: Sony Corporation
Priority date: 2003-02-27
Filing date: 2004-02-13
Publication date: 2004-09-10
Also published as: US20080199072A1; US20060146198A1; JP4265237B2; CN100407787C; KR101023451B1; US7483565B2; JP2004266381A; KR20050104412A; US7450764B2; CN1754384A

Description

明細

画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム技術分野

本発明は、画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラムに関し、特に、より高解像度の画像を創造する画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラムに関する。背景技術

本件出願人は、例えば、画像の画質等の向上その他の画像の変換を行う画像処理として、クラス分類適応処理を、先に提案している。

クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、画像のデータを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理とは、以下のような手法の処理である。即ち、適応処理では、例えば、低画質または標準画質の画像（以下、適宜、 S D (Standard Defini tion)画像という）力所定のタップ係数（以下、適宜、予測係数とも称する）を用いてマッピング（写像）されることにより、高画質の画像（以下、適宜、 H D (Hi gh Definition)画像という）に変換される。

いま、このタップ係数を用いてのマッピング方法として、例えば、線形 1次結合モデルを採用することとすると、 H D画像を構成する画素（以下、適宜、 H D 画素という）（の画素値） yは、 S D画像を構成する画素（以下、適宜、 S D画素という）から、 H D画素を予測するための予測タップとして抽出される複数の S D画素と、タップ係数とを用いて、次の線形 1次式（線形結合）によって求められる。 y=∑w_nx_n

n= l

• · · ( 1 ) JP2004/001607

2

但し、式（1) において、 x_nは、 HD画素 yについての予測タップを構成する、 n番目の SD画像の画素の画素値を表し、 w_nは、 n番目の SD画素（の画素値）と乗算される n番目のタップ係数を表す。なお、式（1) では、予測タツプが、 N個の SD画素 _Xl, x₂, ' ' · , x_Nで構成されるものとしてある。ここで、 HD画素の画素値 yは、式 ( 1 ) に示した線形 1次式ではなく、 2次以上の高次の式によって求めるようにすることも可能である。

いま、第 kサンプルの HD画素の画素値の真値を y_kと表すとともに、式

(1) によって得られるその真値 y_kの予測値を y_k'と表すと、その予測誤差 e_k は、次式で表される。

• · · (2)

式（2) の予測値 y_k，は、式（1) にしたがって求められるため、式（2) の y_k'を、式（1) にしたがって置き換えると、次式が得られる。

■ · ■ (3)

但し、式（3) において、 x_n,_kは、第 kサンプルの HD画素についての予測タップを構成する n番目の SD画素を表す。

式（3) の予測誤差 e_kを 0とするタップ係数 w_nが、 HD画素を予測するのに最適なものとなるが、すべての HD画素について、そのようなタップ係数 w_nを求めることは、一般には困難である。

そこで、タップ係数 w_nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数 w_nは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和 Eを最小にすることで求めることができる。

• · · (4)

伹し、式（4) において、 Kは、 HD画素 y_kと、その HD画素 y_kについての予測タップを構成する SD画素 x,,_k, ■ ■ ■， x_N,_kとのセットのサンプル数を表す。

式（4) の自乗誤差の総和 Eを最小（極小）にするタップ係数 w_nは、その総和 Eをタップ係数 w_nで偏微分したものを 0とするものであり、従って、次式を満たす必要がある。

-° ⁽ⁿ一¹， ²， ^β。。，

• · · (5) そこで、上述の式（3) をタップ係数 w_nで偏微分すると、次式が得られる。

H — ，¾ — ···，¾=— ， ( ，U

• ■ · (6) 式（5) と（6) から、次式が得られる。

k k k

.e_kxi,k=0,∑e_kx₂,k=0， ''-∑ekXN，k=0

k=1 k=1 k=1

■ ■ ■ (7) 式（7) の e_kに、式（3) を代入することにより、式（7) は、式（8) に示す正規方程式で表すことができる。

，kYk)

kVk

(8) 式（8) の正規方程式は、 HD画素 y_kと SD画素 x_n,_kのセットを、ある程度の数だけ用意することで、求めるべきタップ係数 w_nの数と同じ数だけたてることができ、従って、式（8) を解くことで（伹し、式（8) を解くには、式

(8) において、タップ係数 w_nにかかる左辺の行列が正則である必要がある）、最適なタップ係数 w_nを求めることができる。なお、式（8) を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを採用することが可能 C、ある。

以上のように、多数の HD画素 _yi， y₂₎ · ■ ·， y_Kを、タップ係数の k学習の教師となる教師データとするとともに、各 HD画素 y_kについての予測タップを構成する SD画素 _Xl,_k, x_2ik, · ■ ·， x_N,_kを、タップ係数の学習の生徒となる生徒データとして、式（8) を解くことにより、最適なタップ係数 w_nを求める学習を行っておき、さらに、そのタップ係数 w_nを用い、式（1) により、 SD画像を、 HD画像にマッピング（変換）するのが適応処理である。

以下、タップ係数は、予測係数とも称する。

なお、適応処理は、 SD画像には含まれていないが、 HD画像に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、適応処理では、式（1 ) だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当するタップ係数 w_nが、教師データとしての H D画像と生徒データとしての S D画像とを用いての学習により求められるため、 H D画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができる。

ここで、タツプ係数 w_nの学習では、教師データ yと生徒データ Xとの組み合わせとして、どのようなものを採用するかによって、各種の変換を行うタップ係数 w_nを求めることができる。

即ち、例えば、教師データ yとして、 H D画像を採用するとともに、生徒データとして、その H D画像にノイズやぼけを付加した S D画像を採用した場合には、画像を、そのノイズやぼけを除去した画像に変換するタップ係数 w_nを得ることができる。また、例えば、教師データ yとして、 H D画像を採用するとともに、生徒データ Xとして、その H D画像の解像度を劣化させた S D画像を採用した場合には、画像を、その解像度を向上させた画像に変換するタップ係数 w_nを得ることができる。さらに、例えば、教師データ yとして、画像を採用するとともに、生徒データ Xとして、その画像を D C T (Di screte Cos ine Transform) 変換した D C T係数を採用した場合には、 D C Τ係数を画像に変換するタップ係数 w_nを得ることができる。

次に、クラス分類適応処理を実行する、従来の画像処理装置の構成を説明する。図 1は、クラス分類適応処理により、 S D画像である入力画像から、 H D画像である出力画像を創造する、従来の画像処理装置の構成を説明するブロック図でめる。

図 1に構成を示す画像処理装置において、入力画像は、クラスタップ抽出部 1 1および予測タップ抽出部 1 5に供給される。

クラスタップ抽出部 1 1は、注目している画素（以下、注目画素とも称する）に対応する、所定の画素であるクラスタップを入力画像から抽出し、抽出したクラスタップを入力画像と共に特徴量検出部 1 2に供給する。特徴量検出部 1 2は、クラスタップ抽出部 1 1を介して供給された入力画像から、注目画素に対応する画像の特徴量を検出し、クラスタップと共に検出した特徴量をクラス分類部 1 3 に供給する。画像の特徴量とは、動き、またはフレーム内の画素値の変化などをいう。

クラス分類部 1 3は、特徴量検出部 1 2から供給されたクラスタップおょぴ特徴量を基に、注目画素をクラス分けし、クラス分けの結果を示すクラスコードを係数メモリ 1 4および予測タップ抽出部 1 5に供給する。

係数メモリ 1 4は、クラス分類部 1 3から供給されたクラスコードを基に、注目画素のクラスに対応するタップ係数を画素値演算部 1 6に供給する。

予測タップ抽出部 1 5は、クラス分穎部 1 3から供給されたクラスコードを基に、注目画素に対応して、所定の予測タップを入力画像から抽出する。予測タツプ抽出部 1 5は、抽出した予測タップを画素値演算部 1 6に供給する。

画素値予測部 1 6は、予測タップ抽出部 1 5カゝら供給された予測タップぉよび係数メモリ 1 4から供給されたタップ係数から、式（1 ) に示す演算により、 H D画像の注目画素の画素値を予測する。画素値予測部 1 6は、 H D画像の全ての画素を順次注目画素として予測された画素値からなる H D画像を出力する。

図 2は、クラス分類適応処理により、 S D画像である入力画像から、 H D画像である出力画像を創造する、従来の画像処理装置による画像の創造の処理を説明するフローチヤ一トである。

ステップ S 1 1において、クラスタップ抽出部 1 1は、 S D画像である入力画像から、選択された注目画素に対応するクラスタップを抽出する。ステップ S 1 2において、特徴量検出部 1 2は、入力画像から、注目画素に対応する特徴量を検出する。

ステップ S 1 3において、クラス分類部 1 3は、ステップ S 1 1の処理により抽出されたクラスタップ、およびステップ S 1 2の処理により検出された特徴量を基に、注目画素のクラスを分類する。

ステップ S 1 4において、予測タップ抽出部 1 5は、ステップ S 1 3の処理によるクラスの分類の結果に対応して、入力画像から、注目画素に対応する予測タップを抽出する。ステップ S 1 5において、係数メモリ 1 4は、ステップ S 1 3 の処理によるクラスの分類の結果に対応して、予め記憶している予測係数のなかから、分類されたクラスに対応する予測係数を読み出す。

ステップ S 1 6において、画素値予測部 1 6は、ステップ S 1 4の処理で抽出された予測タップ、およびステップ S 1 5の処理で読み出された予測係数を基に、適応処理により注目画素に対応する画素値を予測する。

ステップ S 1 7において、画像処理装置は、全ての画素について予測が終了したか否かを判定し、全ての画素について予測が終了していないと判定された場合、次の画素を注目画素として、ステップ S 1 1に戻り、クラスの分類およぴ適応の処理を繰り返す。

ステップ S 1 7において、全ての画素について予測が終了したと判定された場合、処理は終了する。

図 3は、 S D画像である入力画像から H D画像である出力画像を創造するクラス分類適応処理に使用される予測係数を生成する、従来の画像処理装置の構成を説明するブロック図である。

図 3に示す画像処理装置に入力される入力画像は、 H D画像である教師画像であり、生徒画像生成部 3 1および教師画素抽出部 3 8に供給される。教師画像に含まれる画素（の画素値）は、教師データとして使用される。

生徒画像生成部 3 1は、入力された H D画像である教師画像から、画素を間引いて、教師画像に対応する S D画像である生徒画像を生成し、生成した生徒画像を画像メモリ 3 2に供給する。

画像メモリ 3 2は、生徒画像生成部 3 1から供給された S D画像である生徒画像を記憶し、記憶している生徒画像をクラスタップ抽出部 3 3および予測タップ抽出部 3 6に供給する。

クラスタップ抽出部 3 3は、注目画素を順次選択し、選択された注目画素に対応して生徒画像からクラスタツプを抽出し、生徒画像と共に抽出されたクラスタップを特徴量検出部 3 4に供給する。特徴量検出部 3 4は、注目画素に対応して、生徒画像から特徴量を検出し、検出された特徴量をクラスタップと共にクラス分類部 3 5に供給する。

クラス分類部 3 5は、特徴量検出部 3 4から供給されたクラスタップぉよび特徴量を基に、注目画素のクラスを分類し、分類されたクラスを示すクラスコードを予測タップ抽出部 3 6および学習メモリ 3 9に供給する。

予測タップ抽出部 3 6は、クラス分類部 3 5から供給されたクラスコードを基に、画像メモリ 3 2から供給された生徒画像から、分類されたクラスに対応する予測タップを抽出して、抽出した予測タップを足し込み演算部 3 7に供給する。教師画素抽出部 3 8は、教師データ、すなわち、教師画像の注目画素を抽出して、抽出した教師データを足し込み演算部 3 7に供給する。

足し込み演算部 3 7は、式（8 ) の正規方程式に、 H D画素である教師データおよび S D画素である予測タップを足し込み、教師データおょぴ予測タップを足し込んだ正規方程式を学習メモリ 3 9に供給する。

学習メモリ 3 9は、クラス分類部 3 5から供給されたクラスコードを基に、足し込み演算部 3 7から供給された正規方程式をクラス毎に記憶する。学習メモリ 3 9は、クラス毎に記憶している、教師データおよび予測タップが足し込まれた正規方程式を正規方程式演算部 4 0に供給する。

正規方程式演算部 4 0は、学習メモリ 3 9から供給された正規方程式を掃き出し法により解いて、クラス毎に予測係数を求める。正規方程式演算部 4 0は、クラス毎の予測係数を係数メモリ 4 1に供給する。

係数メモリ 4 1は、正規方程式演算部 4 0から供給された、クラス毎の予測係数を記憶する。

図 4は、 S D画像である入力画像から H D画像である出力画像を創造するクラス分類適応処理に使用される予測係数を生成する、従来の画像処理装置による学習の処理を説明するフローチャートである。

ステップ S 3 1において、生徒画像生成部 3 1は、教師画像である入力画像から生徒画像を生成する。ステップ S 3 2において、クラスタップ抽出部 3 3は、注目画素を順次選択し、選択された注目画素に対応するクラスタツプを生徒画像から抽出する。

ステップ S 3 3において、特徴量検出部 3 4は、生徒画像から、注目画素に対応する特徴量を検出する。ステップ S 3 4において、クラス分類部 3 5は、ステップ S 3 2の処理により抽出されたクラスタップ、およびステップ S 3 3の処理により検出された特徴量を基に、注目画素のクラスを分類する。

ステップ S 3 5において、予測タップ抽出部 3 6は、ステップ S 3 4の処理により分類されたクラスを基に、注目画素に対応する予測タップを生徒画像から抽出する。

ステップ S 3 6において、教師画素抽出部 3 8は、教師画像である入力画像から注目画素、すなわち教師画素（教師データ）を抽出する。

ステップ S 3 7において、足し込み演算部 3 7は、ステップ S 3 5の処理で抽出された予測タップ、およびステップ S 3 6の処理で抽出された教師画素（教師データ）を正規方程式に足し込む演算を実行する。

ステップ S 3 8において、画像処理装置は、教師画像の全画素について足し込みの処理が終了したか否かを判定し、全画素について足し込みの処理が終了していないと判定された場合、ステップ S 3 2に戻り、まだ注目画素とされていない画素を注目画素として、予測タップおよび教師画素を抽出して、正規方程式に足し込む処理を繰り返す。

ステップ S 3 8において、教師画像の全画素について足し込みの処理が終了したと判定された場合、ステップ S 3 9に進み、正規方程式演算部 4 0は、予測タップおよび教師画素が足し込まれた正規方程式を演算して、予測係数を求める。ステップ S 4 0において、画像処理装置は、全クラスの予測係数を演算したか否かを判定し、全クラスの予測係数を演算していないと判定された場合、ステツプ S 3 9に戻り、正規方程式を演算して、予測係数を求める処理を繰り返す。ステップ S 4 0において、全クラスの予測係数を演算したと判定された場合、処理は終了する。また、特開平 9一 7 4 5 4 3号公報において、入力画像のレベル分布パターンに基づいて、入力画像をクラス分類するだけでなく、入力画像の動きに基づいて、入力画像をクラス分類して、クラスコードを発生していることが開示されている。

しかしながら、画像データのデータの定常性を考慮した画像処理はこれまで考えられ.ていなかった。発明の開示

本発明はこのような状況に鑑みてなされたものであり、データの定常性を利用して、より正確で、より精度の高い処理結果を得ることができるようにすることを目的とする。

本発明の画像処理装置は、高質画像データ内の第 1の注目画素に対応する、入力画像データ内の複数の第 1の周辺画素の、現実世界の光信号の定常性に対応する画像データの第 1の定常性を検出し、第 1の注目画素に時間的または空間的に隣接する高質画像データ内の第 2の注目画素に対応する、入力画像データ内の複数の第 2の周辺画素の、現実世界の光信号の定常性に対応する画像データの第 2 の定常性を検出する画像データ定常性検出手段と、画像データ定常性検出手段により検出された画像データの第 1の定常性に基づいて、第 1の注目画素に対応する、入力画像データ内の複数の第 3の周辺画素を抽出し、画像データ定常性検出手段により検出された画像データの第 2の定常性に基づいて、第 2の注目画素に対応する、入力画像データ内の複数の第 4の周辺画素を抽出する第 1の抽出手段と、画像データ定常性検出手段により検出された画像データの第 1の定常性に基づいて、第 1の注目画素に対応する、入力画像データ内の複数の第 5の周辺画素を抽出し、画像データ定常性検出手段により検出された画像データの第 2の定常性に基づいて、第 2の注目画素に対応する、入力画像データ内の複数の第 6の周辺画素を抽出する第 2の抽出手段と、第 1の抽出手段により抽出された複数の第 3の周辺画素の第 1の特徴量を検出し、第 1の抽出手段により抽出された複数の第 4の周辺画素の第 2の特徴量を検出する第 1の特徴量検出手段と、第 1の特徴 4 001607

11

量検出手段により検出された第 1の特徴量に基づいて、第 2の抽出手段により抽出された複数の第 5の周辺画素から第 1の注目画素を予測し、第 1の特徴量検出手段により検出された第 2の特徴量に基づいて、第 2の抽出手段により抽出された複数の第 6の周辺画素から第 2の注目画素を予測し、第 1の注目画素の第 1の予測値および第 2の注目画素の第 2の予測値を出力する第 1の予測手段と、第 1 の予測手段により予測された第 1の注目画素の第 1の予測値と、第 1の予測手段により予測された第 2の注目画素の第 2の予測値と、少なくとも第 1の注目画素と第 2の注目画素とを時間方向または空間方向に対して包含する位置に配される入力画像データ内の対応画素の画素値との関係を検出し、検出結果に応じて第 1 の予測手段から出力される第 1の注目画素の第 1の予測値および第 2の注目画素の第 2の予測値を選択的に出力する選択出力手段とを含むことを特徴とする。画像処理装置は、高質画像データ内の第 1の注目画素に対応する、入力画像データ内の複数の第 7の周辺画素を抽出し、高質画像データ内の第 2の注目画素に対応する、入力画像データ内の複数の第 8の周辺画素を抽出する第 3の抽出手段と、第 1の注目画素に対応する、入力画像データ内の複数の第 9の周辺画素を抽出し、第 2の注目画素に対応する、入力画像データ内の複数の第 1 0の周辺画素を抽出する第 4の抽出手段と、第 3の抽出手段により抽出された複数の第 7の周辺画素の第 3の特徴量を検出し、第 3の抽出手段により抽出された複数の第 8の周辺画素の第 4の特徴量を検出する第 2の特徴量検出手段と、第 2の特徴量検出手段により検出された第 3の特徴量に基づいて、第 4の抽出手段により抽出された複数の第 9の周辺画素から第 1の注目画素を予測し、第 2の特徴量検出手段により検出された第 4の特徴量に基づいて、第 4の抽出手段により抽出された複数の第 1 0の周辺画素から第 2の注目画素を予測し、第 1の注目画素の第 3の予測値および第 2の注目画素の第 4の予測値を出力する第 2の予測手段とをさらに設け、選択出力手段は、第 1の予測手段により予測された第 1の注目画素の第 1の予測値と、第 1の予測手段により予測された第 2の注目画素の第 2の予測値と、入力画像データの対応画素の画素値との関係を検出し、検出結果に応じて第 1の予測値と第 2の予測値とからなる予測値の第 1の組および第 3の予測値と第 4の予測値とからなる予測値の第 2の組のうちいずれか一方を選択的に出力するようにすることができる。

選択出力手段は、対応画素の画素値から、第 1の注目画素の第 1の予測値およぴ第 2の注目画素の第 2の予測値を引き算した結果の絶対値が、所定の閾値未満であるとき、第 1の予測値と第 2の予測値とからなる予測値の第 1の組を選択的に出力するようにすることができる。

本発明の画像処理方法は、高質画像データ内の第 1の注目画素に対応する、入力画像データ内の複数の第 1の周辺画素の、現実世界の光信号の定常性に対応する画像データの第 1の定常性を検出し、第 1の注目画素に時間的または空間的に隣接する高質画像データ内の第 2の注目画素に対応する、入力画像データ内の複数の第 2の周辺画素の、現実世界の光信号の定常性に対応する画像データの第 2 の定常性を検出する画像データ定常性検出ステップと、画像データ定常性検出ステツプにおいて検出された画像データの第 1の定常性に基づいて、第 1の注目画素に対応する、入力画像データ内の複数の第 3の周辺画素を抽出し、画像データ定常性検出ステップにおいて検出された画像データの第 2の定常性に基づいて、第 2の注目画素に対応する、入力画像データ内の複数の第 4の周辺画素を抽出する第 1の抽出ステップと、画像データ定常性検出ステップにおいて検出された画像データの第 1の定常性に基づいて、第 1の注目画素に対応する、入力画像データ内の複数の第 5の周辺画素を抽出し、画像データ定常性検出ステップにおいて検出された画像データの第 2の定常性に基づいて、第 2の注目画素に対応する、入力画像データ内の複数の第 6の周辺画素を抽出する第 2の抽出ステップと、第 1の抽出ステップにおいて抽出された複数の第 3の周辺画素の第 1の特徴量を検出し、第 1の抽出ステップにおいて抽出された複数の第 4の周辺画素の第 2の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された第 1の特徴量に基づいて、第 2の抽出ステップにおいて抽出された複数の第 5の周辺画素から第 1の注目画素を予測し、特徴量検出ステップにおいて検出された第 2の特徴量に基づいて、第 2の抽出ステップにおいて抽出された複数の第 6の周辺画素から第 2の注目画素を予測し、第 1の注目画素の第 1の予測値および第 2の注目画素の第 2の予測値を出力する予測ステツプと、予測ステツプにおいて予測された第 1の注目画素の第 1の予測値と、予測ステップにおいて予測された第 2の注目画素の第 2の予測値と、少なくとも第 1の注目画素と第 2の注目画素とを時間方向または空間方向に対して包含する位置に配される入力画像データ内の対応画素の画素値との関係を検出し、検出結果に応じて第 1の注目画素の第 1 の予測値および第 2の注目画素の第 2の予測値を選択的に出力する選択出カステップとを含むことを特徴とする。

本発明の第 1の記録媒体のプログラムは、高質画像データ内の第 1の注目画素に対応する、入力画像データ内の複数の第 1の周辺画素の、現実世界の光信号の定常性に対応する画像データの第 1の定常性を検出し、第 1の注目画素に時間的または空間的に隣接する高質画像データ内の第 2の注目画素に対応する、入力画像データ内の複数の第 2の周辺画素の、現実世界の光信号の定常性に対応する画像データの第 2の定常性を検出する画像データ定常性検出ステップと、画像データ定常性検出ステップにおいて検出された画像データの第 1の定常性に基づいて、第 1の注目画素に対応する、入力画像データ内の複数の第 3の周辺画素を抽出し、画像データ定常性検出ステップにおいて検出された画像データの第 2の定常性に基づいて、第 2の注目画素に対応する、入力画像データ内の複数の第 4の周辺画素を抽出する第 1の抽出ステップと、画像データ定常性検出ステップにおいて検出された画像データの第 1の定常性に基づいて、第 1の注目画素に対応する、入力画像データ内の複数の第 5の周辺画素を抽出し、画像データ定常性検出ステツプにおいて検出された画像データの第 2の定常性に基づいて、第 2の注目画素に対応する、入力画像データ内の複数の第 6の周辺画素を抽出する第 2の抽出ステップと、第 1の抽出ステップにおいて抽出された複数の第 3の周辺画素の第 1の特徴量を検出し、第 1の抽出ステップにおいて抽出された複数の第 4の周辺画素の第 2の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された第 1の特徴量に基づいて、第 2の抽出ステップにおいて抽出された複数の第 5の周辺画素から第 1の注目画素を予測し、特徴量検出ステップにおいて検出された第 2の特徴量に基づいて、第 2の抽出ステップにおいて抽出された複数の第 6の周辺画素から第 2の注目画素を予測し、第 1の注目画素の第 1の予測値および第 2の注目画素の第 2の予測値を出力する予測ステップと、予測ステツプにおいて予測された第 1の注目画素の第 1の予測値と、予測ステップにおいて予測された第 2の注目画素の第 2の予測値と、少なくとも第 1の注目画素と第 2 の注目画素とを時間方向または空間方向に対して包含する位置に配される入力画像データ内の対応画素の画素値との関係を検出し、検出結果に応じて第 1の注目画素の第 1の予測値および第 2の注目画素の第 2の予測値を選択的に出力する選択出力ステップとを含むことを特徴とする。

本発明の第 1のプログラムは、コンピュータに、高質画像データ内の第 1の注目画素に対応する、入力画像データ内の複数の第 1の周辺画素の、現実世界の光信号の定常性に対応する画像データの第 1の定常性を検出し、第 1の注目画素に時間的または空間的に隣接する高質画像データ内の第 2の注目画素に対応する、入力画像データ内の複数の第 2の周辺画素の、現実世界の光信号の定常性に対応する画像データの第 2の定常性を検出する画像データ定常性検出ステップと、画像データ定常性検出ステップにおいて検出された画像データの第 1の定常性に基づいて、第 1の注目画素に対応する、入力画像データ内の複数の第 3の周辺画素を抽出し、画像データ定常性検出ステップにおいて検出された画像データの第 2 の定常性に基づいて、第 2の注目画素に対応する、入力画像データ内の複数の第 4の周辺画素を抽出する第 1の抽出ステップと、画像データ定常性検出ステップにおいて検出された画像データの第 1の定常性に基づいて、第 1の注目画素に対応する、入力画像データ内の複数の第 5の周辺画素を抽出し、画像データ定常性検出ステップにおいて検出された画像データの第 2の定常性に基づいて、第 2の注目画素に対応する、入力画像データ内の複数の第 6の周辺画素を抽出する第 2 の抽出ステップと、第 1の抽出ステップにおいて抽出された複数の第 3の周辺画素の第 1の特徴量を検出し、第 1の抽出ステップにおいて抽出された複数の第 4 の周辺画素の第 2の特徴量を検出する特徴量検出ステップと、特徴量検出ステツプにおいて検出された第 1の特徴量に基づいて、第 2の抽出ステップにおいて抽出された複数の第 5の周辺画素から第 1の注目画素を予測し、特徴量検出ステツプにおいて検出された第 2の特徴量に基づいて、第 2の抽出ステップにおいて抽出された複数の第 6の周辺画素から第 2の注目画素を予測し、第 1の注目画素の第 1の予測値および第 2の注目画素の第 2の予測値を出力する予測ステップと、予測ステップにおいて予測された第 1の注目画素の第 1の予測値と、予測ステツプにおいて予測された第 2の注目画素の第 2の予測値と、少なくとも第 1の注目画素と第 2の注目画素とを時間方向または空間方向に対して包含する位置に配される入力画像データ内の対応画素の画素値との関係を検出し、検出結果に応じて第 1の注目画素の第 1の予測値おょぴ第 2の注目画素の第 2の予測値を選択的に出力する選択出力ステップとを実行させることを特徴とする。

本発明の学習装置は、高質画像データ内の注目画素に対応する入力画像データ内の複数の第 1の周辺画素の、現実世界の光信号の定常性に対応する画像データの定常性を検出する画像データ定常性検出手段と、画像データ定常性検出手段により検出された画像データの定常性に基づいて、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第 2の周辺画素を抽出する第 1の抽出手段と、画像データ定常性検出手段により検出された画像データの定常性に基づいて、注目画素に対応する、入力画像データ內の複数の第 3の周辺画素を抽出する第 2 の抽出手段と、第 1の抽出手段により抽出された複数の第 2の周辺画素の特徴量を検出する特徴量検出手段と、特徴量検出手段により検出された特徴量毎に、第 2の抽出手段により抽出された複数の第 3の周辺画素から注目画素を予測するための予測手段を学習する学習手段とを含むことを特徴とする。

本発明の学習方法は、高質画像データ内の注目画素に対応する入力画像データ内の複数の第 1の周辺画素の、現実世界の光信号の定常性に対応する画像データの定常性を検出する画像データ定常性検出ステップと、画像データ定常性検出ステツプにおいて検出された画像データの定常性に基づいて、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第 2の周辺画素を抽出する第 1 の抽出ステップと、画像データ定常性検出ステップにおいて検出された画像データの定常性に基づいて、注目画素に対応する、入力画像データ内の複数の第 3の周辺画素を抽出する第 2の抽出ステップと、第 1の抽出ステップにおいて抽出された複数の第 2の周辺画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量毎に、第 2の抽出ステップにおいて抽出された複数の第 3の周辺画素から注目画素を予測するための予測手段を学習する学習ステップとを含むことを特徴とする。

本発明の第 2の記録媒体のプログラムは、高質画像データ内の注目画素に対応する入力画像データ内の複数の第 1の周辺画素の、現実世界の光信号の定常性に対応する画像データの定常性を検出する画像データ定常性検出ステツプと、画像データ定常性検出ステップにおいて検出された画像データの定常性に基づいて、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第 2の周辺画素を抽出する第 1の抽出ステップと、画像データ定常性検出ステップにおいて検出された画像データの定常性に基づいて、注目画素に対応する、入力画像データ内の複数の第 3の周辺画素を抽出する第 2の抽出ステップと、第 1の抽出ステップにおいて抽出された複数の第 2の周辺画素の特徴量を検出する特徴量検出ステツプと、特徴量検出ステップにおいて検出された特徴量毎に、第 2の抽出ステップにおいて抽出された複数の第 3の周辺画素から注目画素を予測するための予測手段を学習する学習ステップとを含むことを特徴とする。

本発明の第 2のプログラムは、コンピュータに、高質画像データ内の注目画素に対応する入力画像データ内の複数の第 1の周辺画素の、現実世界の光信号の定常性に対応する画像データの定常性を検出する画像データ定常性検出ステップと、画像データ定常性検出ステップにおいて検出された画像データの定常性に基づいて、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第 2の周辺画素を抽出する第 1の抽出ステップと、画像データ定常性検出ステップにお 4 001607

17

いて検出された画像データの定常性に基づいて、注目画素に対応する、入力画像データ内の複数の第 3の周辺画素を抽出する第 2の抽出ステップと、第 1の抽出ステップにおいて抽出された複数の第 2の周辺画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量毎に、第 2の抽出ステップにおいて抽出された複数の第 3の周辺画素から注目画素を予測するための予測手段を学習する学習ステップとを実行させることを特徴とする。

画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

学習装置は、独立した装置であっても良いし、学習の処理を行うプロックであつても良い。

高質画像データ内の第 1の注目画素に対応する、入力画像データ内の複数の第 1の周辺画素の、現実世界の光信号の定常性に対応する画像データの第 1の定常性が検出され、第 1の注目画素に時間的または空間的に隣接する高質画像データ内の第 2の注目画素に対応する、入力画像データ内の複数の第 2の周辺画素の、現実世界の光信号の定常性に対応する画像データの第 2の定常性が検出され、検出された画像データの第 1の定常性に基づいて、第 1の注目画素に対応する、入力画像データ内の複数の第 3の周辺画素が抽出され、検出された画像データの第 2の定常性に基づいて、第 2の注目画素に対応する、入力画像データ内の複数の第 4の周辺画素が抽出され、検出された画像データの第 1の定常性に基づいて、第 1の注目画素に対応する、入力画像データ内の複数の第 5の周辺画素が抽出され、検出された画像データの第 2の定常性に基づいて、第 2の注目画素に対応する、入力画像データ内の複数の第 6の周辺画素が抽出され、抽出された複数の第 3の周辺画素の第 1の特徴量が検出され、抽出された複数の第 4の周辺画素の第 2の特徴量が検出され、検出された第 1の特徴量に基づいて、抽出された複数の第 5の周辺画素から第 1の注目画素が予測され、検出された第 2の特徴量に基づいて、抽出された複数の第 6の周辺画素から第 2の注目画素が予測され、第 1の注目画素の第 1の予測値および第 2の注目画素の第 2の予測値が出力され、予測された第 1の注目画素の第 1の予測値と、予測された第 2の注目画素の第 2の予測値と、少なくとも第 1の注目画素と第 2の注目画素とを時間方向または空間方向に対して包含する位置に配される入力画像データ内の対応画素の画素値との関係が検出され、検出結果に応じて第 1の注目画素の第 1の予測値および第 2の注目画素の第 2の予測値が選択的に出力される。

高質画像データ内の注目画素に対応する入力画像データ内の複数の第 1の周辺画素の、現実世界の光信号の定常性に対応する画像データの定常性が検出され、検出された画像データの定常性に基づいて、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第 2の周辺画素が抽出され、検出された画像データの定常性に基づいて、注目画素に対応する、入力画像データ内の複数の第 3 の周辺画素が抽出され、抽出された複数の第 2の周辺画素の特徴量が検出され、検出された特徴量毎に、抽出された複数の第 3の周辺画素から注目画素を予測するための予測手段が学習される。図面の簡単な説明

図 1は、従来の画像処理装置の構成を説明するプロック図である

図 2は、従来の画像の創造の処理を説明するフローチヤ一トである。

図 3は、予測係数を生成する、従来の画像処理装置の構成を説明するブロック図である。

図 4は、従来の学習の処理を説明するフローチャートである。

図 5は、本発明に係る画像処理装置の一実施の形態の構成を示すプロック図である。

図 6は、より高解像度の出力画像を創造する画像創造処理を説明するフ口ーチヤートである。

図 7は、イメージセンサ上の画素の配置の例を説明する図である。

図 8は、 CCDである検出素子の動作を説明する図である。図 9は、画素 D乃至画素 Fに対応する検出素子に入射される光と、画素値との関係を説明する図である。

図 1 0は、時間の経過と、 1つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。

図 1 1は、実世界の線状の物の画像の例を示す図である。

図 1 2は、実際の撮像により得られた画像データの画素値の例を示す図である。図 1 3は、画像データの模式図である。

図 1 4は、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界の画像の例を示す図である。

図 1 5は、実際の撮像により得られた画像データの画素値の例を示す図である。図 1 6は、画像データの模式図である。

図 1 7は、データ定常性検出部の構成を示すブロック図である。

図 1 8は、データの定常性を有する入力画像におけるアクティビティを説明する図である。

図 1 9は、アクティビティを検出するためのプロックを説明する図である。図 2 0は、ァクティビティに対するデータの定常性の角度を説明する図である。図 2 1は、データ定常性検出部のより詳細な構成を示すプロック図である。図 2 2は、画素の組を説明する図である。

図 2 3は、画素の組の位置とデータの定常性の角度との関係を説明する図である。

図 2 4は、データの定常性の検出の処理を説明するフローチヤ一トである。図 2 5は、時間方向および空間方向のデータの定常性の角度を検出するとき、抽出される画素の組を示す図である。

図 2 6は、データ定常性検出部のより詳細な他の構成を示すプロック図である。図 2 7は、設定された直線の角度の範囲に応じた数の画素からなる画素の組を説明する図である。

図 2 8は、設定された直線の角度の範囲を説明する図である。図 2 9は、設定された直線の角度の範囲と、画素の組の数、および画素の組毎の画素の数を説明する図である。

図 3 0は、画素の組の数および画素の組毎の画素の数を説明する図である。図 3 1は、画素の組の数および画素の組毎の画素の数を説明する図である。図 3 2は、画素の組の数おょぴ画素の組毎の画素の数を説明する図である。図 3 3は、画素の組の数および画素の組毎の画素の数を説明する図である。図 3 4は、画素の組の数および画素の組毎の画素の数を説明する図である。図 3 5は、画素の組の数および画秦の組毎の画素の数を説明する図である。図 3 6は、画素の組の数おょぴ画素の組毎の画素の数を説明する図である。図 3 7は、画素の組の数および画素の組毎の画素の数を説明する図である。図 3 8は、データの定常性の検出の処理を説明するフローチャートである。図 3 9は、データ定常性検出部のさらに他の構成を示すブロック図である。図 4 0は、データ定常性検出部のより詳細な構成を示すブロック図である。図 4 1は、ブロックの例を説明する図である。

図 4 2は、注目プロックと参照ブロックとの、画素値の差分の絶対値の算出の処理を説明する図である。

図 4 3は、注目画素の周辺の画素の位置と、角度 Θ を有する直線との空間方向 Xの距離を説明する図である。

図 4 4は、シフト量と角度 0 との関係を示す図である。

図 4 5は、シフト量に対する、注目画素の周辺の画素の位置と、注目画素を通り、角度 0 を有する直線との空間方向 Xの距離を示す図である。

図 4 6は、注目画素を通り、空間方向 Xの軸に対して角度 Θ の直線との距離が最小の参照プロックを示す図である。

図 4 7は、検出するデータの定常性の角度の範囲を 1 / 2にする処理を説明する図である。

図 4 8は、デ一タの定常性の検出の処理を説明するフローチヤ一トである。図 4 9は、間方向および空間方向のデータの定常性の角度を検出するとき、抽出されるプロックを示す図である。

図 5 0は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部の構成を示すプロック図である。

図 5 1は、入力画像のコンボーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部の構成を示すプロック図である。

図 5 2は、データ定常性検出部のさらに他の構成を示すブロック図である。図 5 3は、入力画像における、基準軸を基準としたデータの定常性の角度を説明する図である。

図 5 4は、入力画像における、基準軸を基準としたデータの定常性の角度を説明する図である。

図 5 5は、入力画像における、基準軸を基準としたデータの定常性の角度を説明する図である。

図 5 6は、入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線との関係を示す図である。

図 5 7は、回帰直線 Aと、例えば、基準軸である空間方向 Xを示す軸との角度を説明する図である。

図 5 8は、領域の例を示す図である。

図 5 9は、図 5 2で構成が示されるデータ定常性検出部による、データの定常性の検出の処理を説明するフローチャートである。

図 6 0は、本発明を適用した細線、または、 2値エッジの角度をデータ定常性情報として検出するデータ定常性検出部の構成を示すプロック図である。

図 6 1は、データ定常性情報の検出方法を説明する図である。

図 6 2は、データ定常性情報の検出方法を説明する図である。

図 6 3は、図 6 0のデータ定常性検出部のより詳細な構成を示す図である。図 6 4は、水平 ·垂直判定処理を説明する図である。

図 6 5は、水平 ·垂直判定処理を説明する図である。図 6 6 Aは、現実世界の細線とセンサにより撮像される細線の関係を説明する図である。

図 6 6 Bは、現実世界の細線とセンサにより撮像される細線の関係を説明する図である。

図 6 6 Cは、現実世界の細線とセンサにより撮像される細線の関係を説明する図である。

図 6 7 Aは、現実世界の画像の細線と背景の関係を説明する図である。

図 6 7 Bは、現実世界の画像の細線と背景の関係を説明する図である。

図 6 8 Aは、センサにより撮像された画像の細線と背景の関係を説明する図である。

図 6 8 Bは、センサにより撮像された画像の細線と背景の関係を説明する図である。

図 6 9 Aは、センサにより撮像された画像の細線と背景の関係の例を説明する図である。

図 6 9 Bは、センサにより撮像された画像の細線と背景の関係の例を説明する図である。

図 7 O Aは、現実世界の画像の細線と背景の関係を説明する図である。

図 7 0 Bは、現実世界の画像の細線と背景の関係を説明する図である。

図 7 1 Aは、センサにより撮像された画像の細線と背景の関係を説明する図である。

図 7 1 Bは、センサにより撮像された画像の細線と背景の関係を説明する図である。

図 7 2 Aは、センサにより撮像された画像の細線と背景の関係の例を説明する図である。

図 7 2 Bは、センサにより撮像された画像の細線と背景の関係の例を説明する図である。

図 7 3は、細線の角度を求めるためのモデルを示す図である。図 7 4は、細線の角度を求めるためのモデルを示す図である。

図 7 5 Aは、注目画素に対応するダイナミックレンジブ口ックの画素値の最大値と最小値を説明する図である。

図 7 5 Bは、注目画素に対応するダイナミックレンジブロックの画素値の最大値と最小値を説明する図である。

図 7 6 Aは、細線の角度の求め方を説明する図である。

図 7 6 Bは、細線の角度の求め方を説明する図である。

図 7 6 Cは、細線の角度の求め方を説明する図である。

図 7 7は、細線の角度の求め方を説明する図である。

図 7 8は、抽出ブロックとダイナミックレンジプロックを説明する図である。図 7 9は、最小自乗法の解法を説明する図である。

図 8 0は、最小自乗法の解法を説明する図である。

図 8 1 Aは、 2値エッジを説明する図である。

図 8 1 Bは、 2値エッジを説明する図である。

図 8 1 Cは、 2値エッジを説明する図である。

図 8 2 Aは、センサにより撮像された画像の 2値エッジを説明する図である。図 8 2 Bは、センサにより撮像された画像の 2値エッジを説明する図である。図 8 3 Aは、センサにより撮像された画像の 2値エッジの例を説明する図である。

図 8 3 Bは、センサにより撮像された画像の 2値エッジの例を説明する図である。

図 8 4 Aは、センサにより撮像された画像の 2値エッジを説明する図である。図 8 4 Bは、センサにより撮像された画像の 2値エッジを説明する図である。図 8 5は、 2値ェッジの角度を求めるためのモデルを示す図である。

図 8 6 Aは、 2値エッジの角度を求める方法を説明する図である。

図 8 6 Bは、 2値ェッジの角度を求める方法を説明する図である。

図 8 6 Cは、 2値エッジの角度を求める方法を説明する図である。図 8 7は、 2値エッジの角度を求める方法を説明する図である。

図 8 8は、細線、または、 2値エッジの角度をデータ定常性と検出する処理を説明するフローチヤ一トである。

図 8 9は、データ抽出処理を説明するフローチヤ一トである。

図 9 0は、正規方程式への足し込み処理を説明するフローチャートである。図 9 1 Aは、本発明を適用して求めた細線の傾きと、相関を用いて求めた細線の角度とを比較する図である。

図 9 I Bは、本発明を適用して求めた細線の傾きと、相関を用いて求めた細線の角度とを比較する図である。

図 9 2 Aは、本発明を適用して求めた 2値エッジの傾きと、相関を用いて求めた細線の角度とを比較する図である。

図 9 2 Bは、本発明を適用して求めた 2値エッジの傾きと、相関を用いて求めた細線の角度とを比較する図である。

図 9 3は、本発明を適用した混合比をデータ定常性情報として検出するデータ定常性検出部の構成を示すプロック図である。

図 9 4 Aは、混合比の求め方を説明する図である。

図 9 4 Bは、混合比の求め方を説明する図である。

図 9 4 Cは、混合比の求め方を説明する図である。

図 9 5は、混合比をデータ定常性と検出する処理を説明するフローチヤ一トである。

図 9 6は、正規方程式への足し込み処理を説明するフローチヤ一トである。図 9 7 Aは、細線の混合比の分布例を示す図である。

図 9 7 Bは、細線の混合比の分布例を示す図である。 '

図 9 8 Aは、 2値ェッジの混合比の分布例を示す図である。

図 9 8 Bは、 2値エッジの混合比の分布例を示す図である。

図 9 9は、混合比の直線近似を説明する図である。図 1 0 O Aは、物体の動きをデータ定常性情報として求める方法を説明する図である。

図 1 0 O Bは、物体の動きをデータ定常性情報として求める方法を説明する図 1め。

図 1 0 1 Aは、物体の動きをデータ定常性情報として求める方法を説明する図である。

図 1 0 1 Bは、物体の動きをデータ定常性情報として求める方法を説明する図である。

図 1 0 2 Aは、物体の動きによる混合比をデータ定常性情報として求める方法を説明する図である。

図 1 0 2 Bは、物体の動きによる混合比をデータ定常性情報として求める方法を説明する図である。 ·

図 1 0 2 Cは、物体の動きによる混合比をデータ定常性情報として求める方法を説明する図である。

図 1 0 3は、物体の動きによる混合比をデータ定常性情報として求める際の混合比の直線近似を説明する図である。

図 1 0 4は、従来のクラスタップの抽出の処理を説明する図である。

図 1 0 5は、本発明に係る画像処理装置におけるクラスタップの抽出の処理を説明する図である。

図 1 0 6は、データの定常性に基づく、クラスタップとして抽出される画素の位置の決定を説明する図である。

図 1 0 7は、データの定常性に基づく、クラスタップとして抽出される画素の位置の決定を説明する図である。

図 1 0 8は、本発明に係る画像処理装置におけるクラスタップの抽出の処理を説明する図である。

図 1 0 9は、入力画像の例を示す図である。

図 1 1 0は、入力画像の元になつた画像を示す図である。図 1 1 1は、従来のクラス分類適応処理により生成された画像を示す図である。図 1 1 2は、対応画素と中心画素とが常に同じになるようにした場合に、生成された画像を示す図である。

図 1 1 3は、本宪明に係る画像処理装置により生成された画像を示す図である。図 1 1 4は、入力画像の例を示す図である。

図 1 1 5は、入力画像の元になつた画像を示す図である。

図 1 1 6は、従来のクラス分類適応処理により生成された画像を示す図である。図 1 1 7は、対応画素と中心画素とが常に同じになるようにした場合に、生成された画像を示す図である。

図 1 1 8は、本発明に係る画像処理装置により生成された画像を示す図である。図 1 1 9は、本発明に係る学習装置の一実施の形態の構成を示すブロック図でめる。

図 1 2 0は、学習処理を説明するフローチャートである。

図 1 2 1は、本発明に係る画像処理装置の一実施の形態の他の構成を示すプロック図である。

図 1 2 2は、注目画素を説明する図である。

図 1 2 3は、イメージセンサに設けられている画素の配置、および水平倍密画像の画素に対応する領域を説明する図である。

図1 2 4は、領域 a乃至 rに入射される光に対応する画素の画素値を説明する図である。

図 1 2 5は、式（5 3 ) の関係が成立していない、画素値予測部による予測値を含む出力画像の例を示す図である。

+ 図 1 2 6は、式（5 3 ) の関係が成立していない、画素値予測部による予測値を、画素値予測部による予測値に置き換えた出力画像の例を示す図である。

図 1 2 7は、画像の創造の処理を説明するフローチャートである。

図 1 2 8は、時間倍密画像を創造する場合における、注目画素を説明する図でめる。図 1 2 9は、注目画素 y ^a)と、注目画素 y (²)と、注目画素 y ^ωおよび注目画素 y ⁽²⁾を時間方向に包含する対応画素 χ ⁽⁵⁾との関係について説明する図である。図 1 3 0は、学習装置の一実施の形態の構成を示すプロック図である。

図 1 3 1は、学習処理を説明するフローチャートである。

図 1 3 2は、パーソナルコンピュータの構成の例を示すブロック図である。発明を実施するための最良の形態

図 5は、本発明に係る画像処理装置の一実施の形態の構成を示すプロック図である。図 5に構成を示す画像処理装置は、入力画像を取得し、入力された入力画像に対して、画面の水平方向に 2倍および垂直方向に 2倍の解像度の画像を創造して出力する。

図 5に示す画像処理装置においては、例えば、入力画像の一例である S D画像が入力され、入力された S D画像からデータの定常性が検出され、検出されたデータの定常性を基に、 S D画像に対して、クラス分類適応処理が施されることにより、 H D画像が創造される。データの定常性については、後述する。

すなわち、この画像処理装置は、データ定常性検出部 1 ◦ 1、クラスタップ抽出部 1 0 2、特徴量検出部 1 0 3、クラス分類部 1 0 4、係数メモリ 1 0 5、予測タップ抽出部 1 0 6、および画素値予測部 1 0 7から構成される。

画像処理装置に入力された、空間解像度の創造の対象となる入力画像は、データ定常性検出部 1 0 1、クラスタップ抽出部 1 0 2、特徴量検出部 1 0 3、および予測タップ抽出部 1 0 6に供給される。

データ定常性検出部 1 0 1は、入力画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報をクラスタップ抽出部 1 0 2および予測タップ抽出部 1 0 6に供給する。データ定常性情報は、例えば、データの定常性を有する画素の領域の方向（時間方向および空間方向の角度または傾き）（以下、データの定常性の方向とも称する。 ) を含む。データ定常性検出部 1 0 1の構成の詳細は、後述する。クラスタップ抽出部 1 0 2は、クラス分類適応処理により求めようとする H D 画像の H D画素のうちの 1つを、順次、注目画素とする。そして、クラスタップ' 抽出部 1 0 2は、データ定常性検出部 1 0 1により検出されたデータの定常性に基いて、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素をクラスタップとする。すなわち、クラスタップ抽出部 1 0 2は、データ定常性検出部 1 0 1により検出されたデータの定常性に基づいて、注目画素についてのクラス分類に用いるクラスタップを、入力画像から抽出し、抽出したクラスタップを特徴量検出部 1 0 3に出力する。

例えば、クラスタップ抽出部 1 0 2は、データの定常性に基づいて、注目画素の位置から空間的または時間的に近い位置にある複数の画素を、入力された入力画像から抽出することによりクラスタップとし、特徴量検出部 1 0 3に出力する。なお、データ定常性検出部 1 0 1、クラスタップ抽出部 1 0 2、およぴ予測タップ抽出部 1 0 6は、それぞれの内部の前段に、図示せぬフレームメモリを内蔵し、画像処理装置に入力された S D画像を、例えば、フレーム（またはフィールド）単位で一時記憶する。本実施の形態では、データ定常性検出部 1 ◦ 1、クラスタップ抽出部 1 0 2、および予測タップ抽出部 1 0 6は、内蔵しているフレームメモリに、複数フレームの入力画像を、バンク切換によって記憶することができるようになつており、これにより、画像処理装置に入力される入力画像が動画であっても、その処理をリアルタイムで行うことができるようになつている。この場合、データ定常性検出部 1 0 1、クラスタップ抽出部 1 0 2、および予測タップ抽出部 1 0 6のそれぞれにフレームメモリを設けることにより、データ定常性検出部 1 0 1、クラスタップ抽出部 1 0 2、および予測タップ抽出部 1 0 6のそれぞれが、要求するフレームを即座に読み出すことができるようになり、より高速に処理を実行することができるようになる。

また、画像処理装置は、入力側に 1つのフレームメモリを設け、複数フレームの入力画像を、バンク切換によって記憶し、記憶した入力画像を、データ定常性検出部 1 0 1、クラスタップ抽出部 1 0 2、および予測タップ抽出部 1 0 6に供給するようにしてもよい。この場合、 1つのフレームメモリで足り、画像処理装置をより簡単な構成とすることができる。

例えば、クラスタップ抽出部 1 0 2は、データ定常性検出部 1 0 1により検出されたデータの定常性に基づいて、注目画素について、注目画素の位置から近い横 X縦が 3 X 3個の画素を入力画像から抽出することによりクラスタップとする。このように、クラスタツプ抽出部 1 0 2は、抽出されたクラスタップを、特徴量検出部 1 0 3に供給する。

特徴量検出部 1 0 3は、クラスタップまたは入力画像から特徴量を検出して、検出した特徴量をクラス分類部 1 0 4に供給する。

例えば、特徴量検出部 1 0 3は、クラスタップまたは入力画像を基に、入力画像の画素の動きべクトルを検出して、検出した動きべクトルを特徴量としてクラス分類部 1 0 4に供給する。また、例えば、特徴量検出部 1 0 3は、クラスタツプまたは入力画像を基に、クラスタップまたは入力画像の複数の画素の画素値の空間的または時間的な変化（アクティビティ）を検出して、検出した画素値の変化を特徴量としてクラス分類部 1 0 4に供給する。

さらに、例えば、特徴量検出部 1 0 3は、クラスタップまたは入力画像を基に、クラスタップまたは入力画像の複数の画素の画素値の空間的な変化の傾きを検出して、検出した画素値の変化の傾きを特徴量としてクラス分類部 1 0 4に供給する。

なお、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを採用することができる。

特徴量検出部 1 0 3は、特徴量とは別に、クラスタップをクラス分類部 1 0 4 に供給する。

クラス分類部 1 0 4は、特徴量検出部 1 0 3からの特徴量またはクラスタップに基づいて、 1以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数メモリ 1 0 5と予測タップ抽出部 1 0 6とに供給する。例えば、クラス分類部 1 0 4は、クラスタップ抽出部 1 0 2からのクラスタップを、 1ビット ADRC (Adapt ive Dynamic Range Coding)処理し、その結果得られる ADRCコードを、クラスコードとする。

なお、 Kビット ADRC処理においては、クラスタップを構成する入力画像の画素値の最大値 MAXと最小値 MINが検出され、 DR=MAX- MINを、局所的なダイナミックレンジとし、このダイナミックレンジ DRに基づいて、クラスタップを構成する画素値が Kビットに再量子化される。即ち、クラスタップを構成する各画素値から、最小値 MINが減算され、その減算値が DR/2^Kで除算（量子化）される。従って、クラスタップが、 1ビット ADRC処理された場合には、そのクラスタツプを構成する各画素値は 1ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各画素値についての 1ビットの値を、所定の順番で並べたビット列が、 ADRCコードとして出力される。

ただし、クラス分類は、その他、例えば、クラスタップを構成する画素値を、ベタトルのコンポーネントとみなし、そのべクトルをべクトル量子化すること等によって行うことも可能である。また、クラス分類としては、 1クラスのクラス分類を行うことも可能である。この場合、クラス分類部 1 0 4は、どのようなクラスタップが供給されても、固定のクラスコードを出力するものとなる。

また、例えば、クラス分類部 1 0 4は、特徴量検出部 1 0 3からの特徴量を、そのままクラスコードとする。さらに、例えば、クラス分類部 1 0 4は、特徴量検出部 1 0 3からの複数の特徴量を、直交変換して、得られた値をクラスコードとする。

例えば、クラス分類部 1 0 4は、クラスタップを基にしたクラスコ一ド、および特徴量を基にしたクラスコードを結合し（合成し）、最終的なクラスコードを生成して、最終的なクラスコードを係数メモリ 1 0 5と予測タップ抽出部 1 0 6 とに供給する。

なお、クラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードのいずれか一方を、最終的なクラスコードとするようにしてもよい。係数メモリ 1 0 5は、学習の教師となる、出力画像の一例である H D画像の H D画素である教師データと、学習の生徒となる、入力画像の一例である S D画像の画素値である生徒データとの関係を、 1以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ 1 0 5は、クラス分類部 1 0 4から注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値予測部 1 0 7に供給する。なお、係数メモリ 1 0 5に記憶されるタツプ係数の学習方法についての詳細は、後述する。予測タップ抽出部 1 0 6は、データ定常性検出部 1 0 1により検出されたデータの定常性に基づいて、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素を予測タップとする。すなわち、予測タップ抽出部 1 0 6は、データ定常性検出部 1 0 1により検出されたデータの定常性おょぴクラス分類部 1 0 4から供給されるクラスコードを基に、画素値予測部 1 0 7において注目画素（の予測値）を求めるのに用いる予測タップを入力画像から抽出し、抽出した予測タップを画素値予測部 1 0 7に供給する。

例えば、予測タップ抽出部 1 0 6は、データの定常性に基づいて、注目画素の位置から空間的または時間的に近い位置にある複数の画素値を、入力画像から抽出することにより予測タップとし、画素値予測部 1 0 7に供給する。例えば、予測タップ抽出部 1 0 6は、データ定常性検出部 1 0 1により検出されたデータの定常性に基づいて、注目画素について、注目画素の位置から近い横 X縦が 3 X 3 個の画素を、入力画像から抽出することにより予測タップとする。

なお、クラスタップとする画素値と、予測タップとする画素値とは、同一であつても、異なるものであってもよい。即ち、クラスタップと予測タップは、それぞれ独立に構成 (生成) することが可能である。また、予測タップとする画素値は、クラス毎に異なるものであっても、同一であってもよい。

なお、クラスタツプゃ予測タップのタップ構造は、 3 3個の画素値に限定されるものではない。 4 001607

32

画素値予測部 1 0 7は、係数メモリ 1 0 5から供給される、注目画素のクラスについてのタップ係数 wい w_{2 )} · ■ · と、予測タップ抽出部 1 0 6からの予測タップ (を構成する画素値) Xい x ₂， · ■ ■ とを用いて、式 ( 1 ) に示した積和演算を行うことにより、注目画素 y (の予測値）を予測し、これを、 H D画素の画素値とする。画素値予測部 1 0 7は、このように演算された画素値からなる H D画像を出力画像として出力する。

以上のように、図 5に構成を示す画像処理装置は、入力された入力画像に対応する、より高解像度の出力画像を創造して、創造した出力画像を出力することができる。

次に、図 6のフローチャートを参照して、図 5の画像処理装置が行う、入力画像からより高解像度の出力画像を創造する画像創造処理について説明する。ステップ S 1 0 1において、データ定常性検出部 1 0 1は、定常性の検出の処理を実行する。データ定常性検出部 1 0 1は、入力画像に含まれているデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報をクラスタップ抽出部 1 0 2およぴ予測タップ抽出部 1 0 6に供給する。例えば、データ定常性検出部 1 0 1は、入力画像からデータの定常性の方向を検出する。

ここで、データの定常性、データ定常性検出部 1 0 1の構成、およびデータの定常性の抽出の処理について、具体的に説明する。

まず、センサによって射影されたデータである入力画像について説明する。空間、時間、および質量の次元を有する実世界の事象（現象）は、センサにより取得され、データ化される。実世界の事象とは、光（画像）、音声、圧力、温度、質量、濃度、明るさ/暗さ、またはにおいなどをいう。実世界の事象は、時空間方向に分布している。例えば、実世界の画像は、実世界の光の強度の時空間方向の分布である。

センサに注目すると、空間、時間、および質量の次元を有する実世界の事象のうち、センサが取得可能な、実世界の事象が、センサにより、データに変換される。センサによって、実世界の事象を示す情報が取得されるとも言える。すなわち、センサは、実世界の事象を示す情報を、データに変換する。空間、時間、および質量の次元を有する実世界の事象（現象）を示す情報である信号がセンサにより取得され、データ化されるとも言える。

以下、実世界における、画像、音声、圧力、温度、質量、濃度、明るさ/暗さ、またはにおいなどの事象の分布を、実世界の事象を示す情報である信号とも称する。また、実世界の事象を示す情報である信号を、単に、実世界の信号とも称する。本明細書において、信号は、現象おょぴ事象を含み、送信側に意思がないものも含むものとする。

センサから出力されるデータ（検出信号）は、実世界の事象を示す情報を、実世界に比較して、より低い次元の時空間に射影して得られた情報である。例えば、動画像の画像データであるデータは、実世界の 3次元の空間方向および時間方向の画像が、 2次元の空間方向、および時間方向からなる時空間に射影されて得られた情報である。また、例えば、データがデジタルデータであるとき、データは、サンプリングの単位に応じて、丸められている。データがアナログデータであるとき、データにおいて、ダイナミックレンジに応じて、情報が圧縮されているカまたはリミッタなどにより、情報の一部が削除されている。

このように、所定の次元を有する実世界の事象を示す情報である信号をデータ (検出信号）に射影することにより、実世界の事象を示す情報の一部が欠落する。すなわち、センサが出力するデータにおいて、実世界の事象を示す情報の一部が欠落している。

しかしながら、射影により実世界の事象を示す情報の一部が欠落しているものの、データは、実世界の事象（現象）を示す情報である信号を推定するための有意情報を含んでいる。

本発明においては、実世界の情報である信号を推定するための有意情報として、データに含まれる定常性を有する情報を利用する。定常性は、新たに定義する概念である。 T酒 04/001607

34

ここで、実世界に注目すると、実世界の事象は、所定の次元の方向に一定の特徴を含む。例えば、実世界の物体（有体物）において、空間方向または時間方向に、形状、模様、若しくは色彩などが連続するか、または形状、模様、若しくは色彩などのパターンが繰り返す。

従って、実世界の事象を示す情報には、所定の次元の方向に一定の特徴が含まれることになる。

より具体的な例を挙げれば、糸、紐、またはロープなどの線状の物体は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有する。長さ方向の任意の位置において、断面形状が同じであるという空間方向に一定の特徴は、線状の物体が長いという特徴から生じる。従って、線状の物体の画像は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有している。

また、空間方向に広がりを有する有体物である、単色の物体は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有していると言える。同様に、空間方向に広がりを有する有体物である、単色の物体の画像は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有している。このように、実世界（現実世界）の事象は、所定の次元の方向に一定の特徴を有しているので、実世界の信号は、所定の次元の方向に一定の特徴を有する。本明細書において、このような所定の次元の方向に一定の特徴を定常性と称する。実世界（現実世界）の信号の定常性とは、実世界（現実世界）の事象を示す信号が有している、所定の次元の方向に一定の特徴をいう。

実世界（現実世界）には、このような定常性が無数に存在する。

次に、データに注目すると、データは、センサにより、所定の次元を有する実世界の事象を示す情報である信号が射影されたものであるので、実世界の信号の定常性に対応する定常性を含んでいる。データは、実世界の信号の定常性が射影された定常性を含んでいるとも言える。しかしながら、上述したように、センサが出力するデータにおいて、実世界の情報の一部が欠落しているので、データから、実世界（現実世界）の信号に含まれる定常性の一部が欠落してしまう。

換言すれば、データは、データの定常性として、実世界 (現実世界) の信号の定常性の中の、一部の定常性を含む。データの定常性とは、データが有している、所定の次元の方向に一定の特徴である。

本発明においては、実世界の事象を示す情報である信号を推定するための有意情報として、データが有する、データの定常性が利用される。

なお、本発明においては、実世界の事象を示す情報である信号の次元の、長さ (空間）、時間、および質量のうち、空間方向または時間方向の定常性が利用される。

次に、図 7乃至図 1 0を参照して、画像の空間的時間的な積分について説明する。

イメージセンサは、現実世界の対象物（ォブジュクト）を撮像し、撮像の結果得られた画像データを 1フレーム単位で出力する。すなわち、イメージセンサは、実世界の対象物で反射された光である、実世界の信号を取得し、デタを出力する。

例えば、イメージセンサは、 1秒間に 3 0フレームからなる画像データを出力する。この場合、イメージセンサの露光時間は、 1 / 3 0秒とすることができる。露光時間は、イメージセンサが入射された光の電荷への変換を開始してから、入射された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。

図 7は、 CCD (Charge Coupl ed Device) または CMOS (Comp lementary

Metal-Oxi de Semi conductor) センサなどのィメ一ジセンサ上の画素の配置の例を説明する図である。図 7中において、 A乃至 Iは、個々の画素を示す。画素は、画像データにより表示される画像に対応する平面上に配置されている。 1つの画素に対応する 1つの検出素子は、イメージセンサ上に配置されている。ィメージセンサが実世界の画像を撮像するとき、 1つの検出素子は、'画像データを構成する 1つの画素に対応する 1つの画素値を出力する。例えば、検出素子の空間方向 Xの位置（X座標）は、画像データにより表示される画像上の横方向の位置に対応し、検出素子の空間方向 Yの位置（Y座標）は、画像データにより表示される画像上の縦方向の位置に対応する。

実世界の光の強度の分布は、 3次元の空間方向および時間方向に広がりを有するが、イメージセンサは、 2次元の空間方向およぴ時間方向で、実世界の光を取得し、 2次元の空間方向および時間方向の光の強度の分布を表現するデータを生成する。

図 8で示されるように、例えば、 CCDである検出素子は、シャツタ時間に対応する期間、受光面（受光領域）（検出領域）に入力された光を電荷に変換して、変換された電荷を蓄積する。光は、 3次元の空間上の位置、および時刻により、強度が決定される実世界の情報（信号）である。実世界の光の強度の分布は、 3 次元の空間上の位置 x, y、および z、並びに時刻 tを変数とする

関数 F (x，y，z，t)で表すことができる。

CCDである検出素子に蓄積される電荷の量は、 2次元の空間上の広がりを有する受光面の全体に入射された光の強さと、光が入射されている時間にほぼ比例する。検出素子は、シャツタ時間に対応する期間において、受光面の全体に入射された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャツタ時間に対応する期間、 2次元の空間上の広がりを有する受光面の全体に入射される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、空間（受光面）および時間（シャツタ時間）に対して、積分効果があるとも言える。

検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値はさらにデジタルデータなどの画素値に変換されて、データとして出力される。従って、イメージセンサから出力される個々の画素値は、実世界の情報 (信号) の時間的空間的に広がりを有するある部分を、シャツタ時間の時間方向および検出素子の受光面の空間方向について積分した結果である、 1次元の空間に射影した値を有する。

すなわち、 1つの画素の画素値は、 F (x, y， t)の積分で表される。 F (x, y, t)は、検出素子の受光面における、光の強度の分布を表す関数である。例えば、画素値 Pは、式（9 ) で表される。 F (x, , t) dxd dt

- · · ( 9 )

式（9 ) において、 _Xlは、検出素子の受光面の左側の境界の空間座標（X座標）である。は、検出素子の受光面の右側の境界の空間座標（X座標）である。式（9 ) において、 _yiは、検出素子の受光面の上側の境界の空間座標（Y座標）である。 y₂は、検出素子の受光面の下側の境界の空間座標（Y座標）である。また、は、入射された光の電荷への変換を開始した時刻である。 t₂は、入射された光の電荷への変換を終了した時刻である。

なお、実際には、イメージセンサから出力される画像データの画素値は、例えばフレーム全体として、そのゲインが補正されている。

画像データの各画素値は、イメージセンサの各検出素子の受光面に入射した光の積分値であり、イメージセンサに入射された光のうち、検出素子の受光面よりも微小な実世界の光の波形は、積分値としての画素値に隠されてしまう。

以下、本明細書において、所定の次元を基準として表現される信号の波形を単に波形とも称する。

このように、実世界の画像は、画素を単位として、空間方向および時間方向に積分されてしまうので、画像データにおいては、実世界の画像の定常性の一部が欠落し、実世界の画像の定常性の他の一部のみが画像データに含まれることになる。または、画像データには、実世界の画像の定常性から変化してしまった定常性が含まれることがある。積分効果を有するイメージセンサにより撮像された画像の、空間方向の積分効果についてさらに説明する。

図 9は、画素 D乃至画素 Fに対応する検出素子に入射される光と、画素値との関係を説明する図である。図 9の F (x)は、空間上（検出素子上）の空間方向 X の座標 Xを変数とする、実世界の光の強度の分布を表す関数の例である。言い換えれば、 F (x)は、空間方向 Yおよび時間方向に一定である場合の、実世界の光の強度の分布を表す関数の例である。図 9において、 Lは、画素 D乃至画素 F に対応する検出素子の受光面の空間方向 Xの長さを示す。

1つの画素の画素値は、 F (x)の積分で表される。例えば、画素 Eの画素値 P は、式（1 0 ) で表される。

_X1 F (x) dx

• · · ( 1 0 )

式（1 0 ) において、 _Xlは、画素 Eに対応する検出素子の受光面の左側の境界の空間方向 Xの空間座標である。 x₂は、画素 Eに対応する検出素子の受光面の右側の境界の空間方向 Xの空間座標である。

同様に、積分効果を有するイメージセンサにより撮像された画像の、時間方向の積分効果についてさらに説明する。

図 1 0は、時間の経過と、 1つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。図 1 0の F (t)は、時刻 tを変数とする、実世界の光の強度の分布を表す関数である。言い換えれば、 F (t)は、空間方向 Yおよび空間方向 Xに一定である場合の、実世界の光の強度の分布を表す関数の例である。 t_sは、シャツタ時間を示す。

フレーム #n- 1は、フレーム #nに対して時間的に前のフレームであり、フレーム +1は、フレーム #nに対して時間的に後のフレームである。すなわち、フレ —ム ttn- 1、フレーム #n、およぴフレーム #n+lは、フレーム #n_l、フレーム #n、およびフレーム #n+lの順で表示される。 2004/001607

39

なお、図 1 0で示される例において、シャツタ時間 t_sとフレーム間隔とが同一である。

1つの画素の画素値は、 F (t)の積分で表される。例えば、フレーム #nの画素の画素値 Pは、式（1 1 ) で表される。

• · · ( 1 1 )

式（ 1 1 ) において、は、入射された光の電荷への変換を開始した時刻である。 t₂は、入射された光の電荷への変換を終了した時刻である。

以下、センサによる空間方向の積分効果を単に空間積分効果と称し、センサによる時間方向の積分効果を単に時間積分効果と称する。また、空間積分効果または時間積分効果を単に積分効果とも称する。

次に、積分効果を有するイメージセンサにより取得されたデータに含まれるデータの定常性の例について説明する。

図 1 1は、実世界の線状の物（例えば、細線）の画像、すなわち光の強度の分布の例を示す図である。図 1 1において、図中の上側の位置は、光の強度（レべル）を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 X の位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向

Yの位置を示す。

実世界の線状の物の画像には、所定の定常性が含まれる。すなわち、図 1 1で示される画像は、長さ方向の任意の位置において、断面形状（長さ方向に直交する方向の位置の変化に対するレベルの変化）が同じであるという定常性を有する。図 1 2は、図 1 1で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。

図 1 3は、図 1 2に示す画像データの模式図である。

図 1 3で示される模式図は、イメージセンサの画素の並び（画素の縦または横の並び）とずれた方向に延びる、各画素の受光面の長さ Lよりも短い径の線状の物の画像を、イメージセンサで撮像して得られた画像データの模式図である。図 1 3で示される画像データが取得されたときにィメージセンサに入射された画像は、図 1 1の実世界の線状の物の画像である。

図 1 3において、図中の上側の位置は、画素値を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 Xの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。図 1 3における画素値を示す方向は、図 1 1におけるレベルの方向に対応し、図 1 3における空間方向 X、および空間方向 Yは、図 1 1における方向と同じである。

各画素の受光面の長さしょりも短い径の線状の物の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、線状の物は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さの円弧形状（かまぼこ型）で表される。各円弧形状は、ほぼ同じ形状である。 1つの円弧形状は、縦に 1列の画素の上、または横に 1列の画素の上に形成される。例えば、図 1 3における 1 つの円弧形状は、縦に 1列の画素の上に形成される。

このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、実世界の線状の物の画像が有していた、長さ方向の任意の位置において、空間方向 Yにおける断面形状が同じであるという定常性が失われている。また、実世界の線状の物の画像が有していた定常性は、縦に 1列の画素の上、または横にェ列の画素の上に形成された、同じ形状である円弧形状が一定の間隔で並ぶという定常性に変化していると言える。

図 1 4は、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界の画像、すなわち光の強度の分布の例を示す図である。図 1 4において、図中の上側の位置は、光の強度（レベル）を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 Xの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。

背景とは異なる色の、直線状の縁を有する物の実世界の画像には、所定の定常性が含まれる。すなわち、図 1 4で示される画像は、縁の長さ方向の任意の位置において、断面形状（縁に直交する方向の位置の変化に対するレベルの変化）力 s 同じであるという定常性を有する。

図 1 5は、図 1 4で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。図 1 5で示されるように、画像データは、画素を単位とした画素値からなるので、階段状になる。

図 1 6は、図 1 5に示す画像データの模式図である。

図 1 6で示される模式図は、イメージセンサの画素の並び（画素の縦または横の並び) とずれた方向に縁が延びる、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界の画像を、ィメージセンサで撮像して得られた画像デ一タの模式図である。図 1 6で示される画像データが取得されたときにイメージセンサに入射された画像は、図 1 4で示される、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界の画像である。

図 1 6において、図中の上側の位置は、画素値を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向 Xの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向 Yの位置を示す。図 1 6における画素値を示す方向は、図 1 4におけるレベルの方向に対応し、図 1 6における空間方向 X、および空間方向 Yは、図 1 4における方向と同じである。

背景とは異なる色であって、単色の、直線状の縁を有する物の実世界の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、直線状の縁は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さのつめ

(pawl) 形状で表される。各つめ形状は、ほぼ同じ形状である。 1つのつめ形状は、縦に 1列の画素の上、または横に 1列の画素の上に形成される。例えば、図 1 6において、 1つのつめ形状は、縦に 1列の画素の上に形成される。

このように、例えば、ィメージセンサで撮像されて取得された画像データにおいては、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界の画像が有していた、縁の長さ方向の任意の位置において、断面形状が同じであるという定常性が失われている。また、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界の画像が有していた定常性は、縦に 1列の画素の上、または横に 1列の画素の上に形成された、同じ形状であるつめ形状が一定の間隔で並ぶという定常性に変化していると言える。

データ。定常性検出部 1 0 1は、このような、例えば、入力画像であるデータが有するデータの定常性を検出する。例えば、データ定常性検出部 1 0 1は、同じ円弧形状の並び方または同じつめ形状の並び方を示す、空間方向の角度 (傾き) を検出することにより、データの定常性を検出する。

また、例えば、データ定常性検出部 1 0 1は、空間方向および時間方向の同様の形状の並び方を示す、空間方向および時間方向の角度（動き）を検出することにより、データの定常性を検出する。

以下、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界の画像がセンサにより射影されたデ一タの部分を 2値ェッジとも称する。

図 1 7は、データ定常性検出部 1 0 1の構成を示すプロック図である。

図 1 7に構成を示すデータ定常性検出部 1 0 1においては、注目している画素である注目画素について、入力画像の空間方向に対する画素値の変化、すなわち入力画像の空間方向のアクティビティが検出され、検出されたァクティビティに応じて、注目画素および基準軸を基準とした角度毎に、垂直方向に 1列または水平方向に 1列の所定の数の画素からなる画素の組が、複数抽出され、抽出された画素の組の相関が検出され、相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。

データの定常性の角度とは、基準軸と、データが有している、一定の特徴が繰り返し現れる所定の次元の方向とがなす角度をいう。一定の特徴が繰り返し現れるとは、例えば、データにおける位置の変化に対する値の変化、すなわち断面形状が同じである場合などをいう。

基準軸は、例えば、空間方向 Xを示す軸（画面の水平方向）、または空間方向

Yを示す軸（画面の垂直方向）などとすることができる。入力画像は、ァクティビティ検出部 4 0 1およびデータ選択部 4 0 2に供給される。

ァクティビティ検出部 4 0 1は、入力画像の空間方向に対する画素値の変化、すなわち空間方向のァクティビティを検出して、検出した結果を示すァクテイビティ情報をデータ選択部 4 0 2および定常方向導出部 4 0 4に供給する。

例えば、ァクティビティ検出部 4 0 1は、画面の水平方向に対する画素値の変化、および画面の垂直方向に対する画素値の変化を検出し、検出された水平方向に対する画素値の変化および垂直方向に対する画素値の変化を比較することにより、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいかを検出する。

アクティビティ検出部 4 0 1は、検出の結果である、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示すか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示すアクティビティ情報をデータ選択部 4 0 2および定常方向導出部 4 0 4に供給する。

垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、例えば、図 1 8で示されるように、垂直方向に 1列の画素に円弧形状（かまぼこ型）またはつめ形状が形成され、円弧形状またはつめ形状が垂直により近い方向に繰り返して形成されている。すなわち、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、基準軸を空間方向 Xを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、 4 5度乃至 9 0度のいずれかの値である。

水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、例えば、水平方向に 1列の画素に円弧形状またはつめ形状が形成され、円弧形状またはつめ形状が水平方向により近い方向に繰り返して形成されている。すなわち、水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、基準軸を空間方向 Xを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、 0度乃至 4 5度のいずれかの値である。

例えば、アクティビティ検出部 4 0 1は、図 1 9で示される、注目画素を中心とした 3 X 3の 9つの画素からなるブロックを入力画像から抽出する。ァクティビティ検出部 4 0 1は、縦に隣接する画素についての画素値の差分の和、および横に隣接する画素についての画素値の差分の和を算出する。横に隣接する画素についての画素値の差分の和 h_{di ff}は、式（1 2 ) で求められる。

h_diff=∑ (P_i+ - Ρ^) · · ■ ( 1 2 )

同様に、縦に隣接する画素についての画素値の差分の和 v_diffは、式（1 3 ) で求められる。

式（1 2 ) および式（1 3 ) において、 Pは、画素値を示し、 iは、画素の横方向の位置を示し、 jは、画素の縦方向の位置を示す。

アクティビティ検出部 4 0 1は、算出された横に隣接する画素についての画素値の差分の和 h_diffおよび縦に隣接する画素についての画素値の差分の和 v_{dif f}を比較して、入力画像における、基準軸を基準としたデータの定常性の角度の範囲を判定するようにしてもよい。すなわち、この場合、アクティビティ検出部 4 0 1は、空間方向の位置に対する画素値の変化で示される形状が水平方向に繰り返して形成されているか、垂直方向に繰り返して形成されているかを判定する。例えば、横に 1列の画素上に形成された円弧についての横方向の画素値の変化は、縦方向の画素値の変化に比較して大きく、横に 1列の画素上に形成された円弧についての縦方向の画素値の変化は、横方向の画素値の変化に比較して大きく、データの定常性の方向、すなわち、データである入力画像が有している、一定の特徴の所定の次元の方向の変化は、データの定常性に直交する方向の変化に比較して小さいと言える。言い換えれば、データの定常性の方向の差分に比較して、データの定常性の方向に直交する方向（以下、非定常方向とも称する）の差分は大きい。

例えば、図 2 0に示すように、アクティビティ検出部 4 0 1は、算出された横に隣接する画素についての画素値の差分の和 h_{dif f}および縦に隣接する画素についての画素値の差分の和 v_diffを比較して、横に瞵接する画素についての画素値の差分の和 h_diffが大きい場合、基準軸を基準としたデータの定常性の角度が、 4 5度乃至 1 3 5度のいずれかの値であると判定し、縦に隣接する画素についての画素値の差分の和 v_{di ff}が大きい場合、基準軸を基準としたデータの定常性の角度が、 0度乃至 4 5度のいずれかの値、または 1 3 5度乃至 1 8 0度のいずれかの値であると判定する。

例えば、アクティビティ検出部 4 0 1は、判定の結果を示すアクティビティ情報をデータ選択部 4 0 2および定常方向導出部 4 0 4に供給する。

なお、アクティビティ検出部 4 0 1は、 5 X 5の 2 5の画素からなるブロック、または 7 X 7の 4 9の画素からなるプロックなど、任意の大きさのプロックを抽出して、アクティビティを検出することができる。

データ選択部 4 0 2は、入力画像の画素から注目画素を順に選択し、ァクティビティ検出部 4 0 1から供給されたアクティビティ情報を基に、注目画素および基準軸を基準とした角度毎に、垂直方向に 1列または水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

例えば、アクティビティ情報が垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、 4 5度乃至 1 3 5度のいずれかの値なので、データ選択部 4 0 2は、注目画素および基準軸を基準とした 4 5度乃至 1 3 5度の範囲の所定の角度毎に、垂直方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

ァクティビティ情報が水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、 0度乃至 4 5度または 1 3 5度乃至 1 8 0度のいずれかの値なので、データ選択部 4 0 2は、注目画素および基準軸を基準とした 0度乃至 4 5度または 1 3 5度乃至 1 8 0度の範囲の所定の角度毎に、水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

また、例えば、データの定常性の角度が 4 5度乃至 1 3 5度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部 4 0 2は、注目画素および基準軸を基準とした 4 5度乃至 1 3 5度の範囲の所定の角度毎に、垂直方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

データの定常性の角度が 0度乃至 4 5度または 1 3 5度乃至 1 8 0度のいずれかの値であることを、ァクティビティ情報が示しているとき、データ選択部 4 0 2は、注目画素および基準軸を基準とした 0度乃至 4 5度または 1 3 5度乃至 1 8 0度の範囲の所定の角度毎に、水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

データ選択部 4 0 2は、抽出した画素からなる複数の組を誤差推定部 4 0 3に供給する。

誤差推定部 4 0 3は、抽出した画素からなる複数の組について、角度毎に、画素の組の相関を検出する。

例えば、誤差推定部 4 0 3は、 1つの角度に対応する、垂直方向に 1列の所定の数の画素からなる画素の複数の組について、画素の組における対応する位置の画素の画素値の相関を検出する。誤差推定部 4 0 3は、 1つの角度に対応する、水平方向に 1列の所定の数の画素からなる画素の複数の組について、組における対応する位置の画素の画素値の相関を検出する。

誤差推定部 4 0 3は、検出した相関を示す相関情報を定常方向導出部 4 0 4に供給する。誤差推定部 4 0 3は、相関を示す値として、データ選択部 4 0 2から供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、差分の絶対値の和を相関情報として定常方向導出部 4 0 4に供給する。定常方向導出部 4 0 4は、誤差推定部 4 0 3から供給された相関情報に基づいて、欠落した実世界の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。例えば、定常方向導出部 4 0 4は、誤差推定部 4 0 3から供給された相関情報に基づいて、データの定常性の角度として、最も相関の強い画素の組に対する角度を検出し、検出された最も相関の強い画素の組に対する角度を示すデータ定常性情報を出力する。

以下の説明において、適宜、 0度乃至 9 0度の範囲（いわゆる第 1象限）のデータの定常性の角度を検出するものとして説明する。

図 2 1は、図 1 7に示すデータ定常性検出部 1 0 1のより詳細な構成を示すブ口ック図である。

データ選択部 4 0 2は、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lを含む。誤差推定部 4 0 3は、推定誤差算出部 4 1 2 - 1乃至推定誤差算出部 4 1 2 _ Lを含む。定常方向導出部 4 0 4は、最小誤差角度選択部 4 1 3を含む。まず、アクティビティ情報で示される、データの定常性の角度が 4 5度乃至 1 3 5度のいずれかの値であるときの画素選択部 4 1 1 _ 1乃至画素選択部 4 1 1 —Lの処理を説明する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、空間方向 Xを示す軸を基準軸として、注目画素を通る、それぞれ異なる所定の角度の直線を設定する。画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列に属する画素であって、注目画素の上側の所定の数の画素、および注目画素の下側の所定の数の画素、並びに注目画素を画素の組として選択する。例えば、図 2 2で示されるように、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列に属する画素から、注目画素を中心として 9つの画素を画素の組として選択する。

図 2 2において、マス目状の 1つの四角 ( 1つのマス目）は、 1つの画素を示す。図 2 2において、中央に示す丸は、注目画素を示す。画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1 列の画素の列の、左側の縦に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図 2 2において、注目画素の左下側の丸は、選択された画素の例を示す。そして、画素選択部 4 1 1 _ 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、左側の縦に 1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。

例えば、図 2 2で示されるように、画素選択部 4 1 1 - 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、左側の縦に 1列の画素の列に属する画素から、直線に最も近い位置の画素を中心として 9つの画素を画素の組として選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1 列の画素の列の、左側に 2つめの縦に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図 2 2において、最も左側の丸は、選択された画素の例を示す。そして、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、左側に 2つめの縦に 1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。

例えば、図 2 2で示されるように、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、左側に 2つめの縦に 1列の画素の列に属する画素から、直線に最も近い位置の画素を中心として 9つの画素を画素の組として選択する。

画素選択部 4 1 1 - 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1 列の画素の列の、右側の縦に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図 2 2において、注目画素の右上側の丸は、選択された画素の例を示す。そして、画素選択部 4 1 1— 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、右側の縦に 1列の画素の列に厲する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。

例えば、図 2 2で示されるように、画素選択部 4 1 1 - 1乃至画素選択部 4 1 1— Lは、注目画素が属する縦に 1列の画素の列の、右側の縦に 1列の画素の列に属する画素から、直線に最も近い位置の画素を中心として 9つの画素を画素の組として選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1— Lは、注目画素が属する縦に 1 列の画素の列の、右側に 2つめの縦に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図 2 2において、最も右側の丸は、このように選択された画素の例を示す。そして、画素選択部 4 1 1一 1乃至画素選択部 4 1 1 _ Lは、注目画素が属する縦に 1列の画素の列の、右側に 2つめの縦に 1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。

例えば、図 2 2で示されるように、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する縦に 1列の画素の列の、右側に 2つめの縦に 1列の画素の列に属する画素から、直線に最も近い位置の画素を中心として 9つの画素を画素の組として選択する。

このように、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、それぞれ、画素の組を 5つ選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1—Lは、互いに異なる角度（に設定された直線) についての、画素の組を選択する。例えば、画素選択部 4 1 1一 1は、 4 5度についての、画素の組を選択し、画素選択部 4 1 1 - 2は、 4 7 . 5度についての、画素の組を選択し、画素選択部 4 1 1一 3は、 5 0度についての、画素の組を選択する。画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、 5 2 . 5度から 1 3 5度までの、 2 . 5度毎の角度についての、画素の組を選択する。

なお、画素の組の数は、例えば、 3つ、または 7つなど、任意の数とすることができ、本発明を限定するものではない。また、 1つの組として選択された画素の数は、例えば、 5つ、または 1 3など、任意の数とすることができ、本発明を限定するものではない。

なお、画素選択部 4 1 1一 1乃至画素選択部 4 1 1 - Lは、縦方向に所定の範囲の画素から、画素の組を選択するようにすることができる。例えば、画素選択部 4 1 1 _ 1乃至画素選択部 4 1 1—Lは、縦方向に 1 2 1個の画素（注目画素に対して、上方向に 6 0画素、下方向に 6 0画素）から、画素の組を選択する。この場合、データ定常性検出部 1 0 1は、空間方向 Xを示す軸に対して、 8 8 . 0 9度まで、データの定常性の角度を検出することができる。

画素選択部 4 1 1 _ 1は、選択した画素の組を推定誤差算出部 4 1 2 _ 1に供給し、画素選択部 4 1 1 _ 2は、選択した画素の組を推定誤差算出部 4 1 2 - 2 に供給する。同様に、画素選択部 4 1 1一 3乃至画素選択部 4 1 1一 Lのそれぞれは、選択した画素の組を推定誤差算出部 4 1 2 _ 3乃至推定誤差算出部 4 1 2 _ Lのそれぞれに供給する。

推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。例えば、推定誤差算出部 4 1 2 — 1乃至推定誤差算出部 4 1 2— Lは、相関を示す値として、画素選択部 4 1 1 一 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。

より具体的には、推定誤差算出部 4 1 2 - 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左側の縦に 1列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から 2番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左に 2つめの縦に 1列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。

そして、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右側の縦に 1列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から 2番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1 1一 1乃至画素選択部 4 1 1—Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右に 2つめの縦に 1列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。

推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、このように算出された画素値の差分の絶対値の和を全て加算して、画素値の差分の絶対値の総和を算出する。

推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、検出された相関を示す情報を、最小誤差角度選択部 4 1 3に供給する。例えば、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、算出された画素値の差分の絶対値の総和を最小誤差角度選択部 4 1 3に供給する。なお、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、画素値の差分の絶対値の和に限らず、画素値の差分の自乗の和、または画素値を基にした相関係数など他の値を相関値として算出するようにすることができる。

最小誤差角度選択部 4 1 3は、互いに異なる角度についての、推定誤差算出部 4 1 2 — 1乃至推定誤差算出部 4 1 2— Lにおいて検出された相関に基づいて、欠落した実世界の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。すなわち、最小誤差角度選択部 4 1 3は、互いに異なる角度についての、推定誤差算出部 4 1 2 _ 1乃至推定誤差算出部 4 1 2— Lにおいて検出された相関に基づいて、最も強い相関を選択し、選択された相関が検出された角度を、基準軸を基準としたデータの定常性の角度とすることにより、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。

例えば、最小誤差角度選択部 4 1 3は、推定誤差算出部 4 1 2 - 1乃至推定誤差算出部 4 1 2— Lから供給された、画素値の差分の絶対値の総和のうち、最小の総和を選択する。最小誤差角度選択部 4 1 3は、選択された総和が算出された画素の組について、注目画素に対して、左側に 2つめの縦に 1列の画素の列に属する画素であって、直線に最も近い位置の画素の位置、および、注目画素に対して、右側に 2つめの縦に 1列の画素の列に属する画素であって、直線に最も近い位置の画素の位置を参照する。

図 2 2で示されるように、最小誤差角度選択部 4 1 3は、注目画素の位置に対する、参照する画素の位置の縦方向の距離 Sを求める。最小誤差角度選択部 4 1 3は、図 2 3で示すように、式（1 4 ) から、欠落した実世界の光信号の定常性に対応する、画像データである入力画像における、基準軸である空間方向 Xを示す軸を基準としたデータの定常性の角度 Θ を検出する。

0 =tan^_1 (s/2) · ■ ■ ( 1 4 ) 次に、アクティビティ情報で示される、データの定常性の角度が 0度乃至 4 5 度および 1 3 5度乃至 1 8 0度のいずれかの値であるときの画素選択部 4 1 1 - 1乃至画素選択部 4 1 1一 Lの処理を説明する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、空間方向 Xを示す軸を基準軸として、注目画素を通る、所定の角度の直線を設定し、注目画素が属する横に 1列の画素の列に属する画素であって、注目画素の左側の所定の数の画素、および注目画素の右側の所定の数の画素、並びに注目画素を画素の組として選択する。

画素選択部 4 1 1— 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1 列の画素の列の、上側の横に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1列の画素の列の、上側の横に 1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。

画素選択部 4 1 1 _ 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1 列の画素の列の、上側に 2つめの横に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部 4 1 1 _ 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1列の画素の列の、上側に 2つめの横に 1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。

画素選択部 4 1 1 - 1乃至画素選択部 4 1 1 _ Lは、注目画素が属する横に 1 列の画素の列の、下側の横に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1列の画素の列の、下側の横に 1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、注目画素が属する横に 1 列の画素の列の、下側に 2つめの横に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部

4 1 1一 1乃至画素選択部 4 1 1—Lは、注目画素が属する横に 1列の画素の列の、下側に 2つめの横に 1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、およぴ選択された画素の右側の所定の数の画素、並ぴに選択された画素を画素の組として選択する。

画素選択部 4 1 1一 1乃至画素選択部 4 1 1一 Lは、互いに異なる角度についての、画素の組を選択する。例えば、画素選択部 4 1 1— 1は、 0度についての画素の組を選択し、画素選択部 4 1 1— 2は、 2 . 5度についての、画素の組を選択し、画素選択部 4 1 1一 3は、 5度についての、画素の組を選択する。画素選択部 4 1 1 _ 1乃至画素選択部 4 1 1一 Lは、 7 . 5度から 4 5度および 1 3

5度から 1 8 0度までの、 2 . 5度毎の角度についての、画素の組を選択する。画素選択部 4 1 1 _ 1は、選択した画素の組を推定誤差算出部 4 1 2— 1に供給し、画素選択部 4 1 1 _ 2は、選択した画素の組を推定誤差算出部 4 1 2 - 2 に供給する。同様に、画素選択部 4 1 1 _ 3乃至画素選択部 4 1 1一 Lのそれぞれは、選択した画素の組を推定誤差算出部 4 1 2— 3乃至推定誤差算出部 4 1 2

- Lのそれぞれに供給する。

推定誤差算出部 4 1 2 _ 1乃至推定誤差算出部 4 1 2— Lは、画素選択部 4 1

1 - 1乃至画素選択部 4 1 1 _ Lのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lは、検出された相関を示す情報を、最小誤差角度選択部 4 1 3に供給する。最小誤差角度選択部 4 1 3は、推定誤差算出部 4 1 2— 1乃至推定誤差算出部 4 1 2— Lにおいて検出された相関に基づいて、欠落した実世界の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。

次に、図 2 4のフローチャートを参照して、ステップ S 1 0 1の処理に対応する、図 1 7で構成が示されるデータ定常性検出部 1 0 1による、データの定常性の検出の処理を説明する。

ステップ S 4 0 1において、ァクティビティ検出部 4 0 1およびデータ選択部

4 0 2は、入力画像から、注目している画素である注目画素を選択する。ァクテイビティ検出部 4 0 1およびデータ選択部 4 0 2は、同一の注目画素を選択する。例えば、ァクティビティ検出部 4 0 1およびデータ選択部 4 0 2は、入力画像から、ラスタスキャン順に、注目画素を選択する。

ステップ S 4 0 2において、アクティビティ検出部 4 0 1は、注目画素に対するアクティビティを検出する。例えば、アクティビティ検出部 4 0 1は、注目画素を中心とした所定の数の画素からなるブロックの縦方向に並ぶ画素の画素値の差分および横方向に並ぶ画素の画素値の差分を基に、ァクティビティを検出する。ァクティビティ検出部 4 0 1は、注目画素に対する空間方向のアクティビティを検出して、検出した結果を示すァクティビティ情報をデータ選択部 4 0 2およぴ定常方向導出部 4 0 4に供給する。

ステップ S 4 0 3において、データ選択部 4 0 2は、注目画素を含む画素の列から、注目画素を中心とした所定の数の画素を、画素の組として選択する。例えば、データ選択部 4 0 2は、注目画素が属する縦または横に 1列の画素の列に属する画素であって、注目画素の上側または左側の所定の数の画素、および注目画素の下側または右側の所定の数の画素、並びに注目画素を画素の組として選択する。

ステップ S 4 0 4において、データ選択部 4 0 2は、ステップ S 4 0 2の処理で検出されたアクティビティを基にした、所定の範囲の角度毎に、所定の数の画素の列から、それぞれ所定の数の画素を、画素の組として選択する。例えば、データ選択部 4 0 2は、所定の範囲の角度を有し、空間方向 Xを示す軸を基準軸として、注目画素を通る直線を設定し、注目画素に対して、横方向または縦方向に 1列または 2列離れた画素であって、直線に最も近い画素を選択し、選択された画素の上側または左側の所定の数の画素、および選択された画素の下側または右側の所定の数の画素、並びに線に最も近い選択された画素を画素の組として選択する。データ選択部 4 0 2は、角度毎に、画素の組を選択する。

データ選択部 4 0 2は、選択した画素の組を誤差推定部 4 0 3に供給する。ステップ S 4 0 5において、誤差推定部 4 0 3は、注目画素を中心とした画素の組と、角度毎に選択した画素の組との相関を計算する。例えば、誤差推定部 4 0 3は、角度毎に、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。

角度毎に選択された、画素の組の相互の相関を基に、データの定常性の角度を検出するようにしてもよい。

誤差推定部 4 0 3は、算出された相関を示す情報を、定常方向導出部 4 0 4に供給する。

ステップ S 4 0 6において、定常方向導出部 4 0 4は、ステップ S 4 0 5の処理で算出された相関を基に、相関が最も強い画素の組の位置から、欠落した実世界の光信号の定常性に対応する、画像データである入力画像における、基準軸を基準としたデータの定常性の角度を検出する。例えば、定常方向導出部 4 0 4は、画素値の差分の絶対値の総和のうち、最小の総和を選択し、選択された総和が算出された画素の組の位置から、データの定常性の角度 0 を検出する。

定常方向導出部 4 0 4は、検出したデータの定常性の角度を示すデータ定常性情報を出力する。

ステップ S 4 0 7において、データ選択部 4 0 2は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステツプ S 4 0 1に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。

ステップ S 4 0 7において、全ての画素の処理を終了したと判定された場合、処理は終了する。

このように、データ定常性検出部 1 0 1は、欠落した実世界の光信号の定常十生に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。

なお、図 1 7で構成が示されるデータ検出部 1 0 1は、注目しているフレームである注目フレームの、注目している画素である注目画素について、入力画像の空間方向のアクティビティを検出し、検出されたアクティビティに応じて、注目画素おょぴ空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームおょぴ注目フレームの時間的に前または後ろのフレームのそれぞれから、垂直方向に 1列または水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出し、抽出された画素の組の相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。

例えば、図 2 5に示すように、データ選択部 4 0 2は、検出されたァクテイビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームであるフレーム #n、フレーム #n- 1、およびフレーム #n+lのそれぞれから、垂直方向に 1列または水平方向に 1列の所定の数の画素からなる画素の組を、複数抽出する。

フレーム #n_ lは、フレーム #nに対して時間的に前のフレームであり、フレーム #n+lは、フレーム #nに対して時間的に後のフレームである。すなわち、フレーム t -l、フレーム #n、およびフレーム ίίη+lは、フレーム #η- 1、フレーム #η、およびフレーム ίίη+lの順で表示される。

誤差推定部 4 0 3は、抽出した画素からなる複数の組について、 1つの角度および 1つの動きベクトル毎に、画素の組の相関を検出する。定常方向導出部 4 0 4は、画素の組の相関に基づいて、欠落した実世界の光信号の定常性に対応する、入力画像における、時間方向および空間方向のデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。

図 2 6は、図 1 7に示すデータ定常性検出部 1 0 1のよ.り詳細な他の構成を示すブロック図である。図 2 1に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。

データ選択部 4 0 2は、画素選択部 4 2 1 - 1乃至画素選択部 4 2 1— Lを含む。誤差推定部 4 0 3は、推定誤差算出部 4 2 2 - 1乃至推定誤差算出部 4 2 2 一 Lを含む。

図 2 6で示すデータ定常性検出部 1 0 1においては、角度の範囲に対する数の画素からなる、画素の組であって、角度の範囲に対する数の組が抽出されて、抽出された画素の組の相関が検出され、検出された相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。

まず、アクティビティ情報で示される、データの定常性の角度が 4 5度乃至 1 3 5度のいずれかの値であるときの画素選択部 4 2 1 - 1乃至画素選択部 4 2 1 一 Lの処理を説明する。

図 2 7の左側に示すように、図 2 1で示されるデータ定常性検出部 1 0 1においては、設定された直線の角度によらず、一定の数の画素からなる画素の組が抽出されるのに対して、図 2 6で示されるデータ定常性検出部 1 0 1においては、図 2 7の右側に示すように、設定された直線の角度の範囲に応じた数の画素からなる画素の組が抽出される。また、図 2 6で示されるデータ定常性検出部 1 0 1 においては、画素の組が、設定された直線の角度の範囲に応じた数だけ抽出される。

画素選択部 4 2 1— 1乃至画素選択部 4 2 1— Lは、 4 5度乃至 1 3 5度の範囲の、空間方向 Xを示す軸を基準軸として、注目画素を通る、それぞれ互いに異なる所定の角度の直線を設定する。画素選択部 4 2 1一 1乃至画素選択部 4 2 1一 Lは、注目画素が属する縦に 1 列の画素の列に属する画素であって、それぞれに設定された直線の角度の範囲に応じた数の、注目画素の上側の画素、および注目画素の下側の画素、並びに注目画素を画素の組として選択する。

画素選択部 4 2 1一 1乃至画素選択部 4 2 1— Lは、注目画素が属する縦に 1 列の画素の列に対して、画素を基準とした横方向に所定の距離にある、左側および右側の縦に 1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択し、選択された画素に対して縦に 1列の画素から、設定された直線の角度の範囲に応じた数の、選択された画素の上側の画素、および選択された画素の下側の画素、並びに選択された画素を画素の組として選択する。

すなわち、画素選択部 4 2 1— 1乃至画素選択部 4 2 1— Lは、設定された直線の角度の範囲に応じた数の画素を、画素の組として選択する。画素選択部 4 2 1 - 1乃至画素選択部 4 2 1一 Lは、設定された直線の角度の範囲に応じた数の、画素の組を選択する。

例えば、空間方向 Xに対してほぼ 4 5度の角度に位置する、検出素子の検出領域の幅とほぼ同じ幅の細線の画像がセンサで撮像された場合、細線の画像は、空間方向 Yに 1列に並ぶ 3つの画素に円弧形状が形成されるように、データに射影される。これに対して、空間方向 Xに対してほぼ垂直に位置する、検出素子の検出領域の幅とほぼ同じ幅の細線の画像がセンサで撮像された場合、細線の画像は、空間方向 Yに 1列に並ぶ、多数の画素に円弧形状が形成されるように、データに射影される。

画素の組に同じ数の画素が含まれるとすると、細線が空間方向 Xに対してほぼ 4 5度の角度に位置する場合、画素の組において、細線の画像が射影された画素の数が少なくなり、分解能が低下することになる。逆に、細線が空間方向 Xに対してほぼ垂直に位置する場合、画素の組において、細線の画像が射影された画素のうちの、一部の画素について処理が実行されることになり、正確さが低下する恐れがある。

そこで、細線の画像が射影された画素がほぼ同等になるように、画素選択部 4 2 1 - 1乃至画素選択部 4 2 1一 Lは、設定する直線が空間方向 Xに対して 4 5 度の角度により近いとき、それぞれ画素の組に含まれる画素の数を少なくして、画素の組の数を多くし、設定する直線が空間方向 Xに対して垂直により近い場合、それぞれの画素の組に含まれる画素の数を多くして、画素の組の数を少なくするように、画素および画素の組を選択する。

例えば、図 2 8および図 2 9で示されるように、画素選択部 4 2 1— 1乃至画素選択部 4 2 1— Lは、設定された直線の角度が、 4 5度以上 6 3 . 4度未満の範囲（図 2 8およぴ図 2 9において、 Aで示す範囲）にあるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 5つの画素を画素の組として選択すると共に、注目画素に対して、横方向に 5画素以内の距離にある、左側おょぴ右側の縦に 1列の画素の列に属する画素から、それぞれ、 5つの画素を画素の組として選択する。

すなわち、画素選択部 4 2 1— 1乃至画素選択部 4 2 1 _ Lは、設定された直線の角度が、 4 5度以上 6 3 . 4度未満の範囲にあるとき、入力画像から、それぞれ 5つの画素からなる、 1 1の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素は、注目画素に対して、縦方向に 5画素乃至 9画素離れた位置にある。

図 2 9において、列の数は、注目画素の左側または右側の、画素の組として画素が選択される画素の列の数を示す。図 2 9において、 1列の画素の数は、注目画素に対して、縦に 1列の画素の列、または注目画素の左側または右側の列から、画素の組として選択される画素の数を示す。図 2 9において、画素の選択範囲は、注目画素に対する、設定された直線に最も近い位置の画素として、選択される画素の縦方向の位置を示す。図 3 0で示されるように、例えば、画素選択部 4 2 1— 1は、設定された直線の角度が、 4 5度であるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 5つの画素を画素の組として選択すると共に、注目画素に対して、横方向に 5画素以内の距離にある、左側および右側の縦に 1列の画素の列に属する画素から、それぞれ、 5つの画素を画素の組として選択する。すなわち、画素選択部 4 2 1一 1は、入力画像から、それぞれ 5つの画素からなる、 1 1の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に 5画素離れた位置にある。

なお、図 3 0乃至図 3 7において、点線で表された四角（点線で仕切られた 1 つのマス目）は、 1つの画素を示し、実線で表された四角は、画素の組を示す。図 3 0乃至図 3 7において、注目画素の空間方向 Xの座標を 0とし、注目画素の空間方向 Yの座標を 0とした。

また、図 3 0乃至図 3 7において、斜線で表された四角は、注目画素または設定された直線に最も近い位置の画素を示す。図 3 0乃至図 3 7において、太線で表された四角は、注目画素を中心として選択された画素の組を示す。

図 3 1で示されるように、例えば、画素選択部 4 2 1— 2は、設定された直線の角度が、 6 0 . 9度であるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 5つの画素を画素の組として選択すると共に、注目画素に対して、横方向に 5画素以内の距離にある、左側および右側の縦に 1列の画素の列に属する画素から、それぞれ、 5つの画素を画素の組として選択する。すなわち、画素選択部 4 2 1— 2は、入力画像から、それぞれ 5つの画素からなる、 1 1の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に 9画素離れた位置にある。

例えば、図 2 8および図 2 9で示されるように、画素選択部 4 2 1 - 1乃至画素選択部 4 2 1— Lは、設定された直線の角度が、 6 3 . 4度以上 7 1 . 6度未満の範囲（図 2 8および図 2 9において、 Bで示す範囲）にあるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 7つの画素を画素の組として選択すると共に、注目画素に対して、横方向に 4画素以内の距離にある、左側および'右側の縦に 1列の画素の列に属する画素から、それぞれ、 7つの画素を画素の組として選択する。

すなわち、画素選択部 4 2 1— 1乃至画素選択部 4 2 1—Lは、設定された直線の角度が、 6 3 . 4度以上 7 1 . 6度未満の範囲囲にあるとき、入力画像から、それぞれ 7つの画素からなる、 9つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素の縦方向の位置は、注目画素に対して、 8 画素乃至 1 1画素である。

図 3 2で示されるように、例えば、画素選択部 4 2 1— 3は、設定された直線の角度が、 6 3 . 4度であるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 7つの画素を画素の組として選択すると共に、注目画素に対して、横方向に 4画素以内の距離にある、左側および右側の縦に 1列の画素の列に属する画素から、それぞれ、 7つの画素を画素の組として選択する。すなわち、画素選択部 4 2 1— 3は、入力画像から、それぞれ 7つの画素からなる、 9 つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に 8画素離れた位置にある。

また、図 3 3で示されるように、例えば、画素選択部 4 2 1—4は、設定された直線の角度が、 7 0 . 0度であるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 7つの画素を画素の組として選択すると共に、注目画素に対して、横方向に 4画素以内の距離にある、左側および右側の縦に 1列の画素の列に属する画素から、それぞれ、 7つの画素を画素の組として選択する。すなわち、画素選択部 4 2 1— 4は、入力画像から、それぞれ 7つの画素からなる、 9つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に 1 1画素離れた位置にある。

例えば、図 2 8および図 2 9で示されるように、画素選択部 4 2 1 - 1乃至画素選択部 4 2 1 _ Lは、設定された直線の角度が、 7 1 . 6度以上 7 6 . 0度未満の範囲（図 2 8および図 2 9において、 Cで示す範囲）にあるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 9つの画素を画素の組として選択すると共に、注目画素に対して、横方向に 3画素以内の距離にある、左側おょぴ右側の縦に 1列の画素の列に属する画素から、それぞれ、 9つの画素を画素の組として選択する。

すなわち、画素選択部 4 2 1— 1乃至画素選択部 4 2 1— Lは、設定された直線の角度が、 7 1 . 6度以上 7 6 . 0度未満の範囲にあるとき、入力画像から、それぞれ 9つの画素からなる、 7つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素の縦方向の位置は、注目画素に対して、 9 画素乃至 1 1画素である。

図 3 4で示されるように、例えば、画素選択部 4 2 1 _ 5は、設定された直線の角度が、 7 1 . 6度であるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 9つの画素を画素の組として選択すると共に、注目画素に対して、横方向に 3画素以内の距離にある、左側および右側の縦に 1列の画素の列に属する画素から、それぞれ、 9つの画素を画素の組として選択する。すなわち、画素選択部 4 2 1— 5は、入力画像から、それぞれ 9つの画素からなる、 7 つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に 9画素離れた位置にある。

また、図 3 5で示されるように、例えば、画素選択部 4 2 1— 6は、設定された直線の角度が、 7 4 . 7度であるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 9つの画素を画素の組として選択すると共に、注目画素に対して、横方向に 3画素以内の距離にある、左側おょぴ右側の縦に 1列の画素の列に属する画素から、それぞれ、 9つの画素を画素の組として選択する。すなわち、画素選択部 4 2 1— 6は、入力画像から、それぞれ 9つの画素からなる、 7つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に 1 1画素離れた位置にある。

例えば、図 2 8および図 2 9で示されるように、画素選択部 4 2 1— 1乃至画素選択部 4 2 1—Lは、設定された直線の角度が、 7 6 . 0度以上 8 7 . 7度以下の範囲 (図 2 8および図 2 9において、 Dで示す範囲）にあるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 1 1の画素を画素の組として選択すると共に、注目画素に対して、横方向に 2画素以内の距離にある、左側および右側の縦に 1列の画素の列に属する画素から、それぞれ、 1 1の画素を画素の組として選択する。すなわち、画素選択部 4 2 1 - 1乃至画素選択部 4 2 1— Lは、設定された直線の角度が、 7 6 . 0度以上 8 7 . 7度以下の範囲にあるとき、入力画像から、それぞれ 1 1の画素からなる、 5つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素の縦方向の位置は、注目画素に対して、 8画素乃至 5 0画素である。

図 3 6で示されるように、例えば、画素選択部 4 2 1 _ 7は、設定された直線の角度が、 7 6 . 0度であるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 1 1の画素を画素の組として選択すると共に、注目画素に対して、横方向に 2画素以内の距離にある、左側および右側の縦に 1列の画素の列に属する画素から、それぞれ、 1 1の画素を画素の組として選択する。すなわち、画素選択部 4 2 1— 7は、入力画像から、それぞれ 1 1の画素からなる、 5 つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に 8画素離れた位置にある。

また、図 3 7で示されるように、例えば、画素選択部 4 2 1— 8は、設定された直線の角度が、 8 7 . 7度であるとき、注目画素に対して、縦に 1列の画素の列から、注目画素を中心とした 1 1の画素を画素の組として選択すると共に、注目画素に対して、横方向に 2画素以内の距離にある、左側および右側の縦に 1列の画素の列に属する画素から、それぞれ、 1 1の画素を画素の組として選択する。すなわち、画素選択部 4 2 1— 8は、入力画像から、それぞれ 1 1の画素からなる、 5の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に 5 0画素離れた位置にある。

このように、画素選択部 4 2 1 - 1乃至画素選択部 4 2 1— Lは、それぞれ、角度の範囲に対応した所定の数の画素からなる、角度の範囲に対応した所定の数の画素の組を選択する。

画素選択部 4 2 1— 1は、選択した画素の組を推定誤差算出部 4 2 2— 1に供給し、画素選択部 4 2 1— 2は、選択した画素の組を推定誤差算出部 4 2 2— 2 に供給する。同様に、画素選択部 4 2 1— 3乃至画素選択部 4 2 1— Lのそれぞれは、選択した画素の組を推定誤差算出部 4 2 2— 3乃至推定誤差算出部 4 2 2 —Lのそれぞれに供給する。

推定誤差算出部 4 2 2— 1乃至推定誤差算出部 4 2 2— Lは、画素選択部 4 2 1一 1乃至画素選択部 4 2 1一 Lのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。例えば、推定誤差算出部 4 2 2 一 1乃至推定誤差算出部 4 2 2— Lは、画素選択部 4 2 1— 1乃至画素選択部 4 2 1— Lのいずれかから供給された、注目画素を含む画素の組の画素の画素値と、他の画素の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、注目画素を含む画素の組以外の画素の組に含まれる画素の数で、算出された和を割り算する。算出された和を、注目画素を含む組以外の組に含まれる画素の数で、割り算するのは、設定された直線の角度に応じて選択される画素の数が異なるので、相関を示す値を正規化するためである。

推定誤差算出部 4 2 2— 1乃至推定誤差算出部 4 2 2— Lは、検出された相関を示す情報を、最小誤差角度選択部 4 1 3に供給する。例えば、推定誤差算出部 4 2 2— 1乃至推定誤差算出部 4 2 2— Lは、正規化された画素値の差分の絶対値の和を最小誤差角度選択部 4 1 3に供給する。

次に、アクティビティ情報で示される、データの定常性の角度が 0度乃至 4 5 度および 1 3 5度乃至 1 8 0度のいずれかの値であるときの画素選択部 4 2 1 - 1乃至画素選択部 4 2 1— Lの処理を説明する。

画素選択部 4 2 1 - 1乃至画素選択部 4 2 1— Lは、 0度乃至 4 5度または 1 3 5度乃至 1 8 0度の範囲の、空間方向 Xを示す軸を基準軸として、注目画素を通る、それぞれ互いに異なる所定の角度の直線を設定する。

画素選択部 4 2 1一 1乃至画素選択部 4 2 1— Lは、注目画素が属する横に 1 列の画素の列に属する画素であって、設定された直線の角度の範囲に応じた数の、注目画素の左側の画素、および注目画素の右側の画素、並びに注目画素を画素の組として選択する。

画素選択部 4 2 1一 1乃至画素選択部 4 2 1— Lは、注目画素が属する横に 1 列の画素の列に対して、画素を基準とした縦方向に所定の距離にある、上側および下側の横に 1列の画素の列に属する画素であって、設定された直線に最も近い位置の画素を選択し、選択された画素に対して横に 1列の画素から、設定された直線の角度の範囲に応じた数の、選択された画素の左側の画素、および選択された画素の右側の画素、並びに選択された画素を画素の組として選択する。

すなわち、画素選択部 4 2 1— 1乃至画素選択部 4 2 1— Lは、設定された直線の角度の範囲に応じた数の画素を、画素の組として選択する。画素選択部 4 2 1一 1乃至画素選択部 4 2 1— Lは、設定された直線の角度の範囲に応じた数の、画素の組を選択する。

画素選択部 4 2 1— 1は、選択した画素の組を推定誤差算出部 4 2 2 - 1に供給し、画素選択部 4 2 1— 2は、選択した画素の組を推定誤差算出部 4 2 2 - 2 に供給する。同様に、画素選択部 4 2 1一 3乃至画素選択部 4 2 1— Lのそれぞれは、選択した画素の組を推定誤差算出部 4 2 2— 3乃至推定誤差算出部 4 2 2 一 Lのそれぞれに供給する。推定誤差算出部 4 2 2 _ 1乃至推定誤差算出部 4 2 2— Lは、画素選択部 4 2 1一 1乃至画素選択部 4 2 1一 Lのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。

推定誤差算出部 4 2 2— 1乃至推定誤差算出部 4 2 2— Lは、検出された相関を示す情報を、最小誤差角度選択部 4 1 3に供給する。

次に、図 3 8のフローチャートを参照して、ステップ S 1 0 1の処理に対応する、図 2 6で構成が示されるデータ定常性検出部 1 0 1による、データの定常性の検出の処理を説明する。

ステップ S 4 2 1およぴステツプ S 4 2 2の処理は、ステップ S 4 0 1およびステップ S 4 0 2の処理と同様なので、その説明は省略する。

ステップ S 4 2 3において、データ選択部 4 0 2は、ステップ S 4 2 2の処理で検出されたァクティビティに対する所定の範囲の角度毎に、注目画素を含む画素の列から、注目画素を中心とした、角度の範囲に対して定めた数の画素を、画素の組として選択する。例えば、データ選択部 4 0 2は、注目画素が属する縦または横に 1列の画素の列に属する画素であって、設定する直線の角度に対して、角度の範囲により定めた数の、注目画素の上側または左側の画素、および注目画素の下側または右側の画素、並びに注目画素を画素の組として選択する。

ステップ S 4 2 4において、データ選択部 4 0 2は、ステップ S 4 2 2の処理で検出されたアクティビティを基にした、所定の範囲の角度毎に、角度の範囲に対して定めた数の画素の列から、角度の範囲に対して定めた数の画素を、画素の組として選択する。例えば、データ選択部 4 0 2は、所定の範囲の角度を有し、空間方向 Xを示す軸を基準軸として、注目画素を通る直線を設定し、注目画素に対して、横方向または縦方向に、設定する直線の角度の範囲に対して所定の範囲だけ離れた画素であって、直線に最も近い画素を選択し、選択された画素の上側または左側の、設定する直線の角度の範囲に対する数の画素、および選択された画素の下側または右側の、設定する直線の角度の範囲に対する数の画素、並びに選択された線に最も近い画素を画素の組として選択する。データ選択部 4 0 2は、角度毎に、画素の組を選択する。

データ選択部 4 0 2は、選択した画素の組を誤差推定部 4 0 3に供給する。ステップ S 4 2 5において、誤差推定部 4 0 3は、注目画素を中心とした画素の組と、角度毎に選択した画素の組との相関を計算する。例えば、誤差推定部 4 0 3は、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、他の組に属する画素の数で、画素値の差分の絶対値の和を割り算することにより、相関を計算する。

ステップ S 4 2 6およびステップ S 4 2 7の処理は、ステップ S 4 0 6およびステップ S 4 0 7の処理と同様なので、その説明は省略する。

このように、データ定常性検出部 1 0 1は、欠落した実世界の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を、より正確に、より精度良く検出することができる。図 2 6に構成を示すデータ定常性検出部 1 0 1は、特に、データの定常性の角度が 4 5度付近である場合において、細線の画像が射影された、より多くの画素の相関を評価することができるので、より精度良くデータの定常性の角度を検出することができる。

なお、図 2 6で構成が示されるデータ定常性検出部 1 ◦ 1においても、注目しているフレームである注目フレームの、注目している画素である注目画素について、入力画像の空間方向のアクティビティを検出し、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きべクトル毎に、注目フレームおよび注目フレームの時間的に前または後ろのフレームのそれぞれから、垂直方向に 1列または水平方向に 1列の、空間的な角度の範囲に対して定めた数の画素からなる画素の組を、空間的な角度の範囲に対して定めた数だけ抽出し、抽出された画素の組の相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。

図 3 9は、データ定常性検出部 1 0 1のさらに他の構成を示すプロック図である。

図 3 9に構成を示すデータ定常性検出部 1 0 1においては、注目している画素である注目画素について、所定の数の画素からなる、注目画素を中心としたプロックと、注目画素の周辺の、それぞれ、所定の数の画素からなる複数のブロックが抽出され、注目画素を中心としたプロックと周辺のブロックとの相関が検出され、相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。

データ選択部 4 4 1は、入力画像の画素から注目画素を順に選択し、注目画素を中心とした、所定の数の画素からなるプロック、および、注目画素の周辺の、所定の数の画素からなる複数のプロックを抽出し、抽出したプロックを誤差推定部 4 4 2に供給する。

例えば、データ選択部 4 4 1は、注目画素を中心とした 5 X 5画素からなるブロック、注目画素の周辺から、注目画素および基準軸を基準とした所定の角度の範囲毎に、 5 X 5画素からなる 2つのプロックを抽出する。

誤差推定部 4 4 2は、データ選択部 4 4 1から供給された、注目画素を中心としたブロックと、注目画素の周辺のブロックとの相関を検出して、検出した相関を示す相関情報を定常方向導出部 4 4 3に供給する。

例えば、誤差推定部 4 4 2は、角度の範囲毎に、注目画素を中心とした 5 X 5 画素からなるプロックと、 1つの角度の範囲に対応する、 5 X 5画素からなる 2 つのブロックとについて、画素値の相関を検出する。

定常性方向導出部 4 4 3は、誤差推定部 4 4 2から供給された相関情報に基づいて、相関の最も強い、注目画素の周辺のブロックの位置から、欠落した実世界の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。例えば、定常方向導出部 4 4 3は、誤差推定部 4 4 2から供給された相関情報に基づいて、注目画素を中心とした 5 X 5画素からなるブロックに対して最も相関の強い、 5 X 5画素からなる 2つのプロックに対する角度の範囲を、データの定常性の角度として検出し、検出された角度を示すデータ定常性情報を出力する。

図 4 0は、図 3 9に示すデータ定常性検出部 1 0 1のより詳細な構成を示すブ口ック図である。

データ選択部 4 4 1は、画素選択部 4 6 1 - 1乃至画素選択部 4 6 1一 Lを含む。誤差推定部 4 4 2は、推定誤差算出部 4 6 2— 1乃至推定誤差算出部 4 6 2 一 Lを含む。定常方向導出部 4 4 3は、最小誤差角度選択部 4 6 3を含む。

例えば、データ選択部 4 4 1には、画素選択部 4 6 1 - 1乃至画素選択部 4 6 1一 8が設けられる。例えば、誤差推定部 4 4 2には、推定誤差算出部 4 6 2— 1乃至推定誤差算出部 4 6 2— 8が設けられる。

画素選択部 4 6 1 - 1乃至画素選択部 4 6 1一 Lのそれぞれは、注目画素を中心とした、所定の数の画素からなるブロック、並びに注目画素および基準軸を基準とした所定の角度の範囲に対応した、所定の数の画素からなる 2つのプロックを抽出する。

図 4 1は、画素選択部 4 6 1— 1乃至画素選択部 4 6 1— Lにより抽出される、 5 X 5画素のブロックの例を説明する図である。図 4 1における中央の位置は、注目画素の位置を示す。

なお、 5 X 5画素のプロックは、一例であって、ブロックに含まれる画素の数は、本発明を限定するものではない。

例えば、画素選択部 4 6 1— 1は、注目画素を中心とした、 5 X 5画素のプロックを抽出すると共に、 0度乃至 1 8 . 4度おょぴ 1 6 1 . 6度乃至 1 8 0 . 0 度の範囲に対応した、注目画素に対して、右側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 4 1中 Aで示す）を抽出し、注目画素に対して、左側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のプロック（図 4 1中 A' で示す）を抽出する。画素選択部 4 6 1— 1は、抽出した、 5 X 5画素の 3つのプロックを推定誤差算出部 4 6 2 - 1に供給する。

画素選択部 4 6 1— 2は、注目画素を中心とした、 5 X 5画素のブロックを抽出すると共に、 1 8. 4度乃至 3 3. 7度の範囲に対応した、注目画素に対して、右側に 1 0画素移動し、上側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のプロック（図 4 1中 Bで示す）を抽出し、注目画素に対して、左側に 1 0画素移動し、下側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 4 1中 B' で示す）を抽出する。画素選択部 4 6 1— 2は、抽出した、 5 X 5画素の 3つのプロックを推定誤差算出部 4 6 2— 2に供給する。画素選択部 4 6 1— 3は、注目画素を中心とした、 5 X 5画素のブロックを抽出すると共に、 3 3. 7度乃至 5 6. 3度の範囲に対応した、注目画素に対して、右側に 5画素移動し、上側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 4 1中 Cで示す）を抽出し、注目画素に対して、左側に 5 画素移動し、下側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のプロック（図 4 1中 C' で示す）を抽出する。画素選択部 4 6 1— 3は、抽出した、 5 X 5画素の 3つのプロックを推定誤差算出部 4 6 2 - 3に供給する。

画素選択部 4 6 1— 4は、注目画素を中心とした、 5 X 5画素のブロックを抽出すると共に、 5 6. 3度乃至 7 1. 6度の範囲に対応した、注目画素に対して、右側に 5画素移動し、上側に 1 0画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 4 1中 Dで示す）を抽出し、注目画素に対して、左側に 5画素移動し、下側に 1 0画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 4 1中 D' で示す）を抽出する。画素選択部 4 6 1—4は、抽出した、 5 X 5画素の 3つのプロックを推定誤差算出部 4 6 2— 4に供給する。画素選択部 4 6 1— 5は、注目画素を中心とした、 5 X 5画素のプロックを抽出すると共に、 7 1. 6度乃至 1 0 8. 4度の範囲に対応した、注目画素に対して、上側に 5画素移動した位置にある画素を中心とした、 5 5画素のプロック (図 4 1中 Eで示す）を抽出し、注目画素に対して、下側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 4 1中 E' で示す）を抽出する。画素選択部 4 6 1— 5は、抽出した、 5 X 5画素の 3つのブロックを推定誤差算出部 4 6 2_ 5に供給する。

画素選択部 4 6 1— 6は、注目画素を中心とした、 5 X 5画素のブロックを抽出すると共に、 1 0 8. 4度乃至 1 2 3. 7度の範囲に対応した、注目画素に対して、左側に 5画素移動し、上側に 1 0画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 4 1中 Fで示す）を抽出し、注目画素に対して、右側に 5画素移動し、下側に 1 0画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 4 1中 F' で示す）を抽出する。画素選択部 4 6 1— 6 は、抽出した、 5 X 5画素の 3つのブロックを推定誤差算出部 4 6 2— 6に供給する。

画素選択部 4 6 1— 7は、注目画素を中心とした、 5 X 5画素のブロックを抽出すると共に、 1 2 3. 7度乃至 1 4 6. 3度の範囲に対応した、注目画素に対して、左側に 5画素移動し、上側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 4 1中 Gで示す）を抽出し、注目画素に対して、右側に 5画素移動し、下側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のブロック（図 4 1中 G' で示す）を抽出する。画素選択部 4 6 1— 7は、抽出した、 5 X 5画素の 3つのブロックを推定誤差算出部 4 6 2— 7に供給する。画素選択部 4 6 1— 8は、注目画素を中心とした、 5 X 5画素のプロックを抽出すると共に、 1 4 6. 3度乃至 1 6 1. 6度の範囲に対応した、注目画素に対して、左側に 1 0画素移動し、上側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のプロック（図 4 1中 Hで示す）を抽出し、注目画素に対して、右側に 1 0画素移動し、下側に 5画素移動した位置にある画素を中心とした、 5 X 5画素のブロック (図 4 1中 H' で示す）を抽出する。画素選択部 4 6 1— 8 は、抽出した、 5 X 5画素の 3つのプロックを推定誤差算出部 4 6 2— 8に供給する。以下、注目画素を中心とした、所定の数の画素からなるブロックを注目プロックと称する。

以下、注目画素および基準軸を基準とした所定の角度の範囲に対応した、所定の数の画素からなるプロックを参照ブロッタと称する。

このように、画素選択部 4 6 1 - 1乃至画素選択部 4 6 1 - 8は、例えば、注目画素を中心として、 2 5 X 2 5画素の範囲から、注目プロックおよび参照ブ口ックを抽出する。

推定誤差算出部 4 6 2— 1乃至推定誤差算出部 4 6 2 _ Lは、画素選択部 4 6 1 - 1乃至画素選択部 4 6 1— Lから供給された、注目ブロックと、 2つの参照プロックとの相関を検出して、検出した相関を示す相関情報を最小誤差角度選択部 4 6 3に供給する。

例えば、推定誤差算出部 4 6 2 _ 1は、注目画素を中心とした、 5 X 5画素からなる注目プロックと、 0度乃至 1 8 . 4度および 1 6 1 . 6度乃至 1 8 0 . 0 度の範囲に対応して抽出された、注目画素に対して、右側に 5画素移動した位置にある画素を中心とした、 5 X 5画素の参照ブロックとについて、注目プロックに含まれる画素の画素値と、参照プロックに含まれる画素の画素値との差分の絶対値を算出する。

この場合において、推定誤差算出部 4 6 2— 1は、図 4 2に示されるように、注目プロックの中央の画素と参照プロックの中央の画素とが重なる位置を基準として、画素値の差分の絶対値の算出に、注目画素の画素値が使用されるように、参照ブロックに対して、注目ブロックの位置を、左側に 2画素乃至右側に 2画素のいずれか、上側に 2画素乃至下側に 2画素のいずれか移動させた場合に重なる位置となる画素の画素値の差分の絶対値を算出する。すなわち、注目ブロックと参照ブロックとの 2 5種類の位置における、対応する位置の画素の画素値の差分の絶対値が算出される。言い換えれば、画素値の差分の絶対値が算出される場合において、相対的に移動される注目ブロックおよび参照プロックとからなる範囲は、 9 x 9画素である。図 4 2において、四角は、画素を示し、 Aは、参照ブロックを示し、 Bは、注目ブロックを示す。図 4 2において、太線は、注目画素を示す。すなわち、図 4 2は、参照ブロックに対して、注目ブロックが右側に 2画素、および上側に 1画素移動した場合の例を示す図である。

さらに、推定誤差算出部 4 6 2— 1は、注目画素を中心とした、 5 X 5画素からなる注目ブロックと、 0度乃至 1 8 . 4度および 1 6 1 . 6度乃至 1 8 0 . 0 度の範囲に対応して抽出された、注目画素に対して、左側に 5画素移動した位置にある画素を中心とした、 5 X 5画素の参照プロックとについて、注目ブロックに含まれる画素の画素値と、参照プロックに含まれる画素の画素値との差分の絶対値を算出する。

そして、推定誤差算出部 4 6 2— 1は、算出された差分の絶対値の和を求めて、差分の絶対値の和を、相関を示す相関情報として最小誤差角度選択部 4 6 3に供給する。

推定誤差算出部 4 6 2— 2は、 5 X 5画素からなる注目ブロックと、 1 8 . 4 度乃至 3 3 . 7度の範囲に対応して抽出された、 5 X 5画素の 2つの参照プロックとについて、画素値の差分の絶対値を算出し、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部 4 6 2— 1は、算出された差分の絶対値の和を、相関を示す相関情報として最小誤差角度選択部 4 6 3に供給する。

同様に、推定誤差算出部 4 6 2— 3乃至推定誤差算出部 4 6 2— 8のそれぞれは、 5 X 5画素からなる注目ブロックと、所定の角度の範囲に対応して抽出された、 5 X 5画素の 2つの参照プロックとについて、画素値の差分の絶対値を算出し、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部 4 6 2— 3乃至推定誤差算出部 4 6 2— 8のそれぞれは、算出された差分の絶対値の和を、相関を示す相関情報として最小誤差角度選択部 4 6 3に供給する。

最小誤差角度選択部 4 6 3は、推定誤差算出部 4 6 2 - 1乃至推定誤差算出部 4 6 2 - 8から供給された、相関情報としての画素値の差分の絶対値の和のうち、最も強い相関を示す、最小の値が得られた参照プロックの位置から、 2つの参照プロックに対する角度をデータの定常性の角度として検出し、検出された角度を示すデータ定常性情報を出力する。

ここで、参照ブロックの位置と、データの定常性の角度の範囲との関係について説明する。

実世界の信号を近似する近似関数 f (x) を n次の一次元多項式で近似した場合、近似関数 f (x) は、式（1 5) で表すことができる。

n .

∑ n- 1

i=0

• · · (1 5)

近似関数 f (x) で近似される実世界の信号の波形が、空間方向 Yに対して一定の傾き（角度）を有する場合、式（15) における、 Xを x+ryとすることにより得られた式（16) で、実世界の信号を近似する近似関数（x,y) は、表現される。 f (x, y) 二 w₀(x+ry)ⁿ +w-, (x+ry)^n_1 +··· +w_n (x+ry) +w_n

n .

= ∑ Wj (x+ry)ⁿ一¹

i=0

• · · (16)

γ は、空間方向 Yの位置の変化に対する、空間方向 Xの位置の変化の割合を示す。以下、： rをシフト量とも称する。

図 43は、注目画素の位置と、角度 Θ を有する直線との空間方向 Xの距離を 0としたとき、すなわち、注目画素を直線が通るときの、注目画素の周辺の画素の位置と、角度 Θ を有する直線との空間方向 Xの距離を示す図である。ここで、画素の位置は、画素の中心の位置である。また、位置と直線との距離は、位置が直線に対して左側にあるとき、負の値で示され、位置が直線に対して右側にあるとき、正の値で示される。

例えば、注目画素の右側に隣接する画素の位置、すなわち空間方向 Xの座標 X が 1増加する位置と、角度 Θ を有する直線との空間方向 Xの距離は、 1であり、注目画素の左側に隣接する画素の位置、すなわち空間方向 Xの座標 Xが 1減少する位置と、角度 0 を有する直線との空間方向 Xの距離は、ー 1である。注目画素の上側に隣接する画素の位置、すなわち空間方向 Yの座標 yが 1増加する位置と、角度 θ を有する直線との空間方向 Xの距離は、 - rであり、注目画素の下側に隣接する画素の位置、すなわち空間方向 Yの座標 yが 1減少する位置と、角度 ø を有する直線との空間方向 Xの距離は、 rである。

角度 0 が 4 5度を超え、 9 0度未満であり、シフト量 r力 0を超え、 1未満であるとき、シフト量 r と角度 θ との間には、

0 の関係式が成り立つ。図 4 4は、シフト量と角度 e との関係を示す図である。

ここで、シフト量 rの変化に対する、注目画素の周辺の画素の位置と、注目画素を通り、角度 Θ を有する直線との空間方向 Xの距離の変化に注目する。

図 4 5は、シフト量に対する、注目画素の周辺の画素の位置と、注目画素を通り、角度 0 を有する直線との空間方向 Xの距離を示す図である。図 4 5において、右上がりの一点鎖線は、シフト量 r に対する、注目画素の下側に隣接する画素の位置と直線との空間方向 Xの距離を示し、左下がりの一点鎖線は、シフト量 r に対する、注目画素の上側に隣接する画素の位置と直線との空間方向

Xの距離を示す。

図 4 5において、右上がりの二点鎖線は、シフト量 r に対する、注目画素から、 2画素下側で、 1画素左側に位置する画素の位置と直線との空間方向 Xの距離を示し、左下がりの二点鎖線は、シフト量 r に対する、注目画素から、 2画素上側で、 1画素右側に位置する画素の位置と直線との空間方向 Xの距離を示す。図 4 5において、右上がりの三点鎖線は、シフト量 r に対する、注目画素から、 1画素下側で、 1画素左側に位置する画素の位置と直線との空間方向 Xの距離を示し、左下がりの三点鎖線は、シフト量に対する、注目画素から、 1画素上側で、 1画素右側に位置する画素の位置と直線との空間方向 Xの距離を示す。図 4 5から、シフト量 r に対して、距離が最も小さい画素がわかる。

すなわち、シフト量 rが 0乃至 1 / 3であるとき、注目画素の上側に隣接する画素おょぴ注目画素の下側に隣接する画素から、直線までの距離が最小である。すなわち、角度 Θ が 7 1 . 6度乃至 9 0度であるとき、注目画素の上側に隣接する画素および注目画素の下側に隣接する画素から、直線までの距離が最小である。

シフト量 rが 1 Z 3乃至 2 / 3であるとき、注目画素に対して、 2画素上側で、 1画素右側に位置する画素、および注目画素に対して、 2画素下側で、 1画素左側に位置する画素から、直線までの距離が最小である。すなわち、角度 0 が 5 6 . 3度乃至 7 1 . 6度であるとき、注目画素に対して、 2画素上側で、 1 画素右側に位置する画素、および注目画素に対して、 2画素下側で、 1画素左側に位置する画素から、直線までの距離が最小である。

また、シフト量 rが 2 Z 3乃至 1であるとき、注目画素に対して、 1画素上側で、 1画素右側に位置する画素、および注目画素に対して、 1画素下側で、 1 画素左側に位置する画素から、直線までの距離が最小である。すなわち、角度

0 が 4 5度乃至 5 6 . 3度であるとき、注目画素に対して、 1画素上側で、 1 画素右側に位置する画素、および注目画素に対して、 1画素下側で、 1画素左側に位置する画素から、直線までの距離が最小である。

角度 Θ が 0度から 4 5度までの範囲の直線と画素との関係も、同様に考えることができる。

図 4 3に示す画素を、注目ブロックおよび参照ブロックに置き換えて、参照ブ口ックと直線との空間方向 Xの距離を考えることができる。

図 4 6に、注目画素を通り、空間方向 Xの軸に対して角度 0 の直線との距離が最小の参照プロックを示す。図 46における A乃至 Hおよび A' 乃至 H' は、図 4 1における A乃至 Hおよぴ A' 乃至 H' の参照プロックを示す。

すなわち、注目画素を通り、空間方向 Xの軸を基準とした、 0度乃至 1 8. 4 度おょぴ 1 6 1. 6度乃至 1 80. 0度のいずれかの角度 0 を有する直線と、 A乃至 Hおよび A' 乃至 H' の参照ブロックのそれぞれとの空間方向 Xの距離のうち、直線と Aおよび A ' の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、 Aおよび A' の参照ブロックとの相関が最も強いとき、注目ブロックと、 Aおよび A' の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、 0度乃至 1 8. 4度および 1 6 1. 6度乃至 1 8 0. 0度の範囲にあると言える。

注目画素を通り、空間方向 Xの軸を基準とした、 1 8. 4度乃至 33. 7度のいずれかの角度 0 を有する直線と、 A乃至 Hおよび A' 乃至 H' の参照プロックのそれぞれとの空間方向 Xの距離のうち、直線と Bおよび B' の参照プロックとの距離が最小となる。従って、逆に考えれば、注目プロックと、 Bおよび B' の参照プロックとの相関が最も強いとき、注目プロックと、 Bおよび B' の参照プロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、 1 8. 4度乃至 33. 7度の範囲にあると言える。

注目画素を通り、空間方向 Xの軸を基準とした、 3 3. 7度乃至 56. 3度のいずれかの角度 0 を有する直線と、 A乃至 Hおよび A' 乃至 H' の参照ブロックのそれぞれとの空間方向 Xの距離のうち、直線と Cおよび C' の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、 Cおよび C' の参照ブロックとの相関が最も強いとき、注目プロックと、 Cおよび C' の参照プロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、 3 3. 7度乃至 56. 3度の範囲にあると言える。

注目画素を通り、空間方向 Xの軸を基準とした、 56. 3度乃至 71. 6度のいずれかの角度 0 を有する直線と、 A乃至 Hおよび A' 乃至 H' の参照ブロックのそれぞれとの空間方向 Xの距離のうち、直線と Dおよび D' の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、 Dおよび D' の参照ブロックとの相関が最も強いとき、注目ブロックと、 Dおよび D' の参照プロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、 5 6. 3度乃至 7 1. 6度の範囲にあると言える。

注目画素を通り、空間方向 Xの軸を基準とした、 7 1. 6度乃至 108. 4度のいずれかの角度 Θ を有する直線と、 A乃至 Hおよび A' 乃至 H' の参照プロックのそれぞれとの空間方向 Xの距離のうち、直線と Eおよび E' の参照プロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、 Eおよび E' の参照ブロックとの相関が最も強いとき、注目ブロックと、 Eおよび E' の参照プロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、 7 1. 6度乃至 108. 4度の範囲にあると言える。

注目画素を通り、空間方向 Xの軸を基準とした、 1 08. 4度乃至 1 23. 7 度のいずれかの角度 Θ を有する直線と、 A乃至 Hおよび A' 乃至 H' の参照ブロックのそれぞれとの空間方向 Xの距離のうち、直線と Fおよび F' の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、 Fおよび F' の参照ブロックとの相関が最も強いとき、注目プロックと、 Fおよび F' の参照プロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、 1 08. 4度乃至 1 23. 7度の範囲にあると言える。

注目画素を通り、空間方向 Xの軸を基準とした、 1 23. 7度乃至 146. 3 度のいずれかの角度 0 を有する直線と、 A乃至 Hおよび A' 乃至 H' の参照ブロックのそれぞれとの空間方向 Xの距離のうち、直線と Gおよび G' の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、 Gおよび G' の参照プロックとの相関が最も強いとき、注目プロックと、 Gおよび G' の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、 1 23. 7度乃至 146. 3度の範囲にあると言える。

注目画素を通り、空間方向 Xの軸を基準とした、 1 46. 3度乃至 1 6 1. 6 度のいずれかの角度 Θ を有する直線と、 A乃至 Hおよび A' 乃至 H' の参照ブロックのそれぞれとの空間方向 Xの距離のうち、直線と Hおよび H ' の参照プロックとの距離が最小となる。従って、逆に考えれば、注目プロックと、 Hおよび H ' の参照プロックとの相関が最も強いとき、注目ブロックと、 Hおよび H ' の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、 1 4 6 . 3度乃至 1 6 1 . 6度の範囲にあると言える。

このように、データ定常性検出部 1 0 1は、注目ブロックと参照ブロックとの相関を基に、データの定常性の角度を検出することができる。

なお、図 3 9に構成を示すデータ定常性検出部 1 0 1においては、データの定常性の角度の範囲をデータ定常性情報として出力するようにしても良く、データの定常性の角度の範囲を示す代表値をデータ定常性情報として出力するようにしても良い。例えば、データの定常性の角度の範囲の中央値を代表値とすることができる。

さらに、図 3 9に構成を示すデータ定常性検出部 1 0 1は、相関が最も強い参照プロックの周辺の参照プロックの相関を利用することにより、検出するデータの定常性の角度の範囲を 1 Z 2に、すなわち、検出するデータの定常性の角度の分解能を 2倍にすることができる。

例えば、注目ブロックと、 Eおよび E ' の参照プロックとの相関が最も強いとき、最小誤差角度選択部 4 6 3は、図 4 7で示されるように、注目ブロックに対する、 Dおよび D ' の参照プロックの相関と、注目ブロックに対する、 Fおよび F ' の参照プロックの相関とを比較する。注目ブロックに対する、 Dおよび D ' の参照ブロックの相関が、注目ブロックに対する、 Fおよび F ' の参照ブロックの相関に比較して、強い場合、最小誤差角度選択部 4 6 3は、データの定常性の角度に、 7 1 . 6度乃至 9 0度の範囲を設定する。また、この場合、最小誤差角度選択部 4 6 3は、データの定常性の角度に、代表値として 8 1度を設定するようにしてもよい。

注目ブロックに対する、 Fおよび F ' の参照ブロックの相関が、注目ブロックに対する、 Dおよび D ' の参照ブロックの相関に比較して、強い場合、最小誤差角度選択部 4 6 3は、データの定常性の角度に、 9 0度乃至 1 0 8 . 4度の範囲を設定する。また、この場合、最小誤差角度選択部 4 6 3は、データの定常性の角度に、代表値として 9 9度を設定するようにしてもよい。

最小誤差角度選択部 4 6 3は、同様の処理で、他の角度の範囲についても、検出するデータの定常性の角度の範囲を 1 Z 2にすることができる。

尚、図 4 7を参照して説明した手法を、簡易 1 6方位検出手法とも称する。このように、図 3 9に構成を示すデータ定常性検出部 1 0 1は、簡単な処理で、より範囲の狭い、データの定常性の角度を検出することができる。

次に、図 4 8のフローチャートを参照して、ステップ S 1 0 1の処理に対応する、図 3 9で構成が示されるデータ定常性検出部 1 0 1による、データの定常性の検出の処理を説明する。

ステップ S 4 4 1において、データ選択部 4 4 1は、入力画像から、注目している画素である注目画素を選択する。例えば、データ選択部 4 4 1は、入力画像から、ラスタスキャン順に、注目画素を選択する。

ステップ S 4 4 2において、データ選択部 4 4 1は、注目画素を中心とする所定の数の画素からなる注目ブロックを選択する。例えば、データ選択部 4 4 1は、注目画素を中心とする 5 X 5画素からなる注目プロックを選択する。

ステップ S 4 4 3において、データ選択部 4 4 1は、注目画素の周辺の所定の位置の所定の数の画素からなる参照ブロックを選択する。例えば、データ選択部 4 4 1は、注目画素および基準軸を基準とした所定の角度の範囲毎に、注目プロックの大きさを基準とした、所定の位置の画素を中心とする 5 X 5画素からなる参照プロックを選択する。

データ選択部 4 4 1は、注目ブロックおよび参照ブロックを誤差推定部 4 4 2 に供給する。

ステップ S 4 4 4において、誤差推定部 4 4 2は、注目画素おょぴ基準軸を基準とした所定の角度の範囲毎に、注目ブロックと、角度の範囲に対応した参照ブロックとの相関を計算する。誤差推定部 4 4 2は、算出された相関を示す相関情報を定常方向導出部 4 4 3に供給する。

ステップ S 4 4 5において、定常方向導出部 4 4 3は、注目ブロックに対して、相関が最も強い参照プロックの位置から、欠落した実世界の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。

定常方向導出部 4 4 3は、検出したデータの定常性の角度を示すデータ定常性情報を出力する。

ステップ S 4 4 6において、データ選択部 4 4 1は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステツプ S 4 4 1に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。

ステップ S 4 4 6において、全ての画素の処理を終了したと判定された場合、処理は終了する。

このように、図 3 9に構成を示すデータ定常性検出部 1 0 1は、より簡単な処理で、欠落した実世界の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。また、図 3 9に構成を示すデータ定常性検出部 1 0 1は、入力画像の中の、比較的狭い範囲の画素の画素値を使用して、データの定常性の角度を検出することができるので、入力画像にノイズ等が含まれていても、より正確にデータの定常性の角度を検出することができる。

なお、図 3 9で構成が示されるデータ検出部 1 0 1は、注目しているフレームである注目フレームの、注目している画素である注目画素について、注目フレームから、所定の数の画素からなる、注目画素を中心としたブロックと、注目画素の周辺の、それぞれ、所定の数の画素からなる複数のブロックとを抽出すると共に、注目フレームに対して時間的に前または後ろのフレームから、所定の数の画素からなる、注目画素に対応する位置の画素を中心としたプロックと、注目画素に対応する位置の画素の周辺の、それぞれ、所定の数の画素からなる複数のブロックとを抽出し、注目画素を中心としたプロックと空間的または時間的に周辺のブロックとの相関を検出し、相関に基づいて、入力画像における、時間方向およぴ空間方向のデータの定常性の角度を検出するようにしてもよい。

例えば、図 4 9に示すように、データ選択部 4 4 1は、注目フレームであるフレーム #n から注目画素を順に選択し、フレーム #n から、注目画素を中心とした、所定の数の画素からなるブロック、および、注目画素の周辺の、所定の数の画素からなる複数のブロックを抽出する。また、データ選択部 4 4 1は、フレームおよびフレーム #n+lのそれぞれから、注目画素の位置に対応する位置の画素を中心とした、所定の数の画素からなるブロック、および、注目画素の位置に対応する位置の画素の周辺の、所定の数の画素からなる複数のプロックを抽出する。データ選択部 4 4 1は、抽出したブロックを誤差推定部 4 4 2に供給する。誤差推定部 4 4 2は、データ選択部 4 4 1から供給された、注目画素を中心としたブロックと、空間的または時間的に周辺のブロックとの相関を検出して、検出した相関を示す相関情報を定常方向導出部 4 4 3に供給する。定常性方向導出部 4 4 3は、誤差推定部 4 4 2から供給された相関情報に基づいて、相関の最も強い、空間的または時間的に周辺のブロックの位置から、欠落した実世界の光信号の定常性に対応する、入力画像における、時間方向および空間方向のデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。

また、データ定常性検出部 1 0 1は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行することができる。

図 5 0は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部 1 0 1の構成を示すプロック図である。

データ定常性検出部 4 8 1— 1乃至 4 8 1— 3のそれぞれは、上述した、または後述するデータ定常性検出部 1 0 1と同様の構成を有し、入力画像のコンポ一ネント信号のそれぞれを処理の対象として、上述した、または後述する処理を実行する。データ定常性検出部 4 8 1— 1は、入力画像の第 1のコンポーネント信号を基に、データの定常性を検出し、第 1のコンポーネント信号から検出されたデータの定常性を示す情報を決定部 4 8 2に供給する。例えば、データ定常性検出部 4 8 1— 1は、入力画像の輝度信号を基に、データの定常性を検出し、輝度信号から検出されたデータの定常性を示す情報を決定部 4 8 2に供給する。

データ定常性検出部 4 8 1 - 2は、入力画像の第 2のコンポーネント信号を基に、データの定常性を検出し、第 2のコンポーネント信号から検出されたデータの定常性を示す情報を決定部 4 8 2に供給する。例えば、データ定常性検出部 4 8 1— 2は、入力画像の色差信号である I信号を基に、データの定常性を検出し、 I信号から検出されたデータの定常性を示す情報を決定部 4 8 2に供給する。データ定常性検出部 4 8 1— 3は、入力画像の第 3のコンポーネント信号を基に、データの定常性を検出し、第 3のコンポーネント信号から検出されたデータの定常性を示す情報を決定部 4 8 2に供給する。例えば、データ定常性検出部 4 8 1— 2は、入力画像の色差信号である Q信号を基に、データの定常性を検出し、 Q信号から検出されたデータの定常性を示す情報を決定部 4 8 2に供給する。決定部 4 8 2は、データ定常性検出部 4 8 1 _ 1乃至 4 8 1一 3から供給された、各コンポーネント信号から検出されたデータの定常性を示す情報を基に、入力画像における最終的なデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報を出力する。

例えば、決定部 4 8 2は、データ定常性検出部 4 8 1— 1乃至 4 8 1 _ 3から供給された、各コンポーネント信号から検出されたデータの定常性のうち、最大のデータの定常性を最終的なデータの定常性とする。また、例えば、決定部 4 8 2は、データ定常性検出部 4 8 1— 1乃至 4 8 1— 3から供給された、各コンポーネント信号から検出されたデ一タの定常性のうち、最小のデータの定常性を最終的なデータの定常性とする。

さらに、例えば、決定部 4 8 2は、データ定常性検出部 4 8 1— 1乃至 4 8 1 一 3から供給された、各コンポーネント信号から検出されたデータの定常性の平均値を最終的なデータの定常性とする。決定部 4 8 2は、データ定常性検出部 4 8 1— 1乃至 4 8 1— 3から供給された、各コンポーネント信号から検出されたデータの定常性のメディアン (中央値) を最終的なデータの定常性とするようにしてもよい。

また、例えば、決定部 4 8 2は、外部から入力された信号を基に、データ定常性検出部 4 8 1— 1乃至 4 8 1一 3から供給された、各コンポーネント信号から検出されたデータの定常性のうち、外部から入力された信号で指定されるデータの定常性を最終的なデータの定常性とする。決定部 4 8 2は、データ定常性検出部 4 8 1— 1乃至 4 8 1 - 3から供給された、各コンポーネント信号から検出されたデータの定常性のうち、予め定めたデータの定常性を最終的なデータの定常性とするようにしてもよい。

なお、決定部 4 8 2は、データ定常性検出部 4 8 1— 1乃至 4 8 1— 3から供給された、各コンポーネント信号のデータの定常性の検出の処理で求めた誤差を基に、最終的なデータの定常性を決定するようにしてもよい。データの定常性の検出の処理で求められる誤差については、後述する。

図 5 1は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部 1 0 1の他の構成を示す図である。

コンポーネント処理部 4 9 1は、入力画像のコンポーネント信号を基に、 1つの信号を生成し、データ定常性検出部 4 9 2に供給する。例えば、コンポーネント処理部 4 9 1は、入力画像の各コンポーネント信号における値を、画面上で同じ位置の画素について、加算することにより、コンポーネント信号の値の和からなる信号を生成する。

例えば、コンポーネント処理部 4 9 1は、入力画像の各コンポ一ネント信号における画素値を、画面上で同じ位置の画素について、平均することにより、コンポーネント信号の画素値の平均値からなる信号を生成する。データ定常性検出部 4 9 2は、コンポーネント処理部 4 9 1から供給された、信号を基に、入力画像における、データの定常性を検出し、検出したデータの定常性を示すデータ定常性情報を出力する。

データ定常性検出部 4 9 2は、上述した、または後述するデータ定常性検出部 1 0 1と同様の構成を有し、コンポーネント処理部 4 9 1から供給された信号を対象として、上述した、または後述する処理を実行する。

このように、データ定常性検出部 1 0 1は、コンポーネント信号を基に、入力画像のデータの定常性を検出することにより、入力画像にノイズなどが含まれていても、より正確に、データの定常性を検出することができる。例えば、データ定常性検出部 1 0 1は、コンポーネント信号を基に、入力画像のデータの定常性を検出することにより、より正確に、データの定常性の角度（傾き）、混合比、またはデータの定常性を有する領域を検出することができる。

なお、コンポーネント信号は、輝度信号およぴ色差信号に限らず、 RGB信号、または YUV信号など他の方式のコンポーネント信号であっても良い。

以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの、欠落した現実世界の光信号の定常性に対応するデータの定常性の、基準軸に対する角度を検出し、検出された角度に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

また、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している注目画素および基準軸を基準とした角度毎に、所定の数の画素からなる画素の組であって、複数の組を抽出し、角度毎に抽出された、複数の組における対応する位置の画素の画素値の相関を検出し、検出された相関に基づいて、欠落した現実世界の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出し、検出された画像データにおける基準軸に対するデータの定常性の角度に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

図 5 2は、データ定常性検出部 1 0 1のさらに他の構成を示すブロック図である。

図 5 2に示されるデータ定常性検出部 1 0 1においては、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域が選択され、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数が設定されることにより、領域に属する画素の度数が検出され、検出された度数に基づいて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性が検出される。

フレームメモリ 5 0 1は、入力画像をフレーム単位で記憶し、記憶されているフレームを構成する画素の画素値を画素取得部 5 0 2に供給する。フレームメモリ 5 0 1は、 1つのページに入力画像の現在のフレームを記憶し、他のページに記憶している、現在のフレームに対して 1つ前（過去）のフレームの画素の画素値を画素取得部 5 0 2に供給し、入力画像のフレームの切り換えの時刻において、ページを切り換えることにより、画素取得部 5 0 2に、動画である入力画像のフレームの画素の画素値を供給することができる。

画素取得部 5 0 2は、フレームメモリ 5 0 1から供給された画素の画素値を基に、注目している画素である注目画素を選択し、選択された注目画素に対応する、所定の数の画素からなる領域を選択する。例えば、画素取得部 5 0 2は、注目画素を中心とする 5 X 5画素からなる領域を選択する。

画素取得部 5 0 2が選択する領域の大きさは、本発明を限定するものではない。画素取得部 5 0 2は、選択した領域の画素の画素値を取得して、選択した領域の画素の画素値を度数検出部 5 0 3に供給する。度数検出部 5 0 3は、画素取得部 5 0 2から供給された、選択された領域の画素の画素値を基に、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。度数検出部 5 0 3における、相関値に基づく度数の設定の処理の詳細は、後述する。

度数検出部 5 0 3は、検出した度数を回帰直線演算部 5 0 4に供給する。

回帰直線演算部 5 0 4は、度数検出部 5 0 3から供給された度数に基づいて、回帰線を演算する。例えば、回帰直線演算部 5 0 4は、度数検出部 5 0 3から供給された度数に基づいて、回帰直線を演算する。また、例えば、回帰直線演算部 5 0 4は、度数検出部 5 0 3から供給された度数に基づいて、所定の曲線である回帰線を演算する。回帰直線演算部 5 0 4は、演算された回帰線および演算の結果を示す演算結果パラメータを角度算出部 5 0 5に供給する。演算パラメータが示す演算の結果には、後述する変動および共変動などが含まれる。

角度算出部 5 0 5は、回帰直線演算部 5 0 4から供給された演算結果パラメ一タで示される、回帰線に基づいて、欠落した現実世界の光信号の定常性に対応する、画像データである入力画像のデータの定常性を検出する。例えば、角度算出部 5 0 5は、回帰直線演算部 5 0 4から供給された演算結果パラメータで示される、回帰直線に基づいて、欠落した実世界の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。角度算出部 5 0 5は、入力画像における、基準軸を基準としたデータの定常性の角度を示すデータ定常性情報を出力する。

図 5 3乃至図 5 5を参照して、入力画像における、基準軸を基準としたデータの定常性の角度について説明する。

図 5 3において、丸は、 1つの画素を示し、 2重丸は、注目画素を示す。丸の色は、画素の画素値の概略を示し、より明るい色は、より大きい画素値を示す。例えば、黒は、 3 0である画素値を示し、白は、 1 2 0である画素値を示す。図 5 3で示される画素からなる画像を人間が見た場合、画像を見た人間は、斜め右上方向に直線が伸びていると認識することができる。

図 5 2に構成を示すデータ定常性検出部 1 0 1は、図 5 3で示される画素からなる入力画像を入力したとき、斜め右上方向に直線が伸びていることを検出する。図 5 4は、図 5 3で示される画素の画素値を数値で表した図である。丸は、 1 つの画素を示し、丸の中の数値は、画素値を示す。

例えば、注目画素の画素値は、 1 2 0であり、注目画素の上側の画素の画素値は、 1 0 0であり、注目画素の下側の画素の画素値は、 1 0 0である。また、注目画素の左側の画素の画素値は、 8 0であり、注目画素の右側の画素の画素値は、 8 0である。同様に、注目画素の左下側の画素の画素値は、 1 0 0であり、注目画素の右上側の画素の画素値は、 1 0 0である。注目画素の左上側の画素の画素値は、 3 0であり、注目画素の右下側の画素の画素値は、 3 0である。

図 5 2に構成を示すデータ定常性検出部 1 0 1は、図 5 4で示される入力画像に対して、図 5 5で示されるように、回帰直線 Aを引く。

図 5 6は、入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線 Aとの関係を示す図である。データの定常性を有する領域における画素の画素値は、例えば、図 5 6に示すように、山脈状に変化している。

図 5 2に構成を示すデータ定常性検出部 1 0 1は、データの定常性を有する領域における画素の画素値を重みとして、最小自乗法により回帰直線 Aを引く。データ定常性検出部 1 0 1により求められた回帰直線 Aは、注目画素の周辺におけるデータの定常性を表現している。

入力画像における、基準軸を基準としたデータの定常性の角度は、図 5 7で示されるように、回帰直線 Aと、例えば、基準軸である空間方向 Xを示す軸との角度 Θ を求めることにより、検出される。

次に、図 5 2に構成を示すデータ定常性検出部 1 0 1における、回帰直線の具体的な算出方法について説明する。度数検出部 5 0 3は、例えば、画素取得部 5 0 2から供給された、注目画素を中心とする、空間方向 Xに 9画素、空間方向 Yに 5画素、計 4 5画素からなる領域の画素の画素値から、領域に属する画素の座標に対応する度数を検出する。例えば、度数検出部 5 0 3は、式（1 7 ) で示される演算により、度数を算出することにより、領域に属する、座標（Xi , _yj) の度数を検出する。

( 1 7 )

式（1 7 ) において、 P。，。は、注目画素の画素値を示し、 Pi, jは、座標

yj) の画素の画素値を示す。 Thは、閾値を示す。

iは、領域内における、空間方向 Xの画素の順番を示し、 l≤i≤kである。 j は、領域内における、空間方向 Yの画素の順番を示し、 l≤j≤lである。

kは、領域における、空間方向 Xの画素の数を示し、 1は、領域における、空間方向 Yの画素の数を示す。例えば、領域が、空間方向 Xに 9画素、空間方向 Y に 5画素、計 4 5画素からなるとき、 Kは、 9であり、 1は、 5である。

図 5 8は、画素取得部 5 0 2において取得される領域の例を示す図である。図 5 8において、点線の四角は、 1つの画素を示す。

例えば、図 5 8で示されるように、領域が、空間方向 Xについて、注目画素を中心とした 9画素、空間方向 Yについて、注目画素を中心とした 5画素からなり注目画素の座標（x，y) が（0，0) であるとき、領域の左上の画素の座標（x，y) は、（-4， 2) であり、領域の右上の画素の座標（x，y) は、（4， 2) であり、領域の左下の画素の座標（X, y) は、（-4, -2) であり、領域の右下の画素の座標 (x，y) は、（4, -2) である。

領域の左側の画素の、空間方向 Xにおける、画素の順番 iは、 1であり、領域の右側の画素の、空間方向 Xにおける、画素の順番 iは、 9である。領域の下側の画素の、空間方向 Yにおける、画素の順番 jは、 1であり、領域の上側の画素の、空間方向 Yにおける、画素の順番 jは、 5である。

すなわち、注目画素の座標 (x₅, y₃) を (0, 0) としたとき、領域の左上の画素の座標（Xい y₅) は、（-4, 2) であり、領域の右上の画素の座標（x₉, y₅) は、

(4, 2) であり、領域の左下の画素の座標 (χ_{1> Υι}) は、 (-4, -2) であり、領域の右下の画素の座標 (x₉， _Yl) は、 (4， - 2) である。

度数検出部 5 0 3は、式（1 7 ) において、相関値として、注目画素の画素値と、領域に属する画素の画素値との差分の絶対値を算出するので、実世界の細線の画像が射影された、入力画像における、データの定常性を有する領域のみならず、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界の画像が射影された、入力画像における、 2値エッジのデータの定常性を有する領域における、画素値の空間的な変化の特徴を示す度数を検出することができる。

なお、度数検出部 5 0 3は、画素の画素値との差分の絶対値に限らず、相関係数など他の相関値を基に、度数を検出するようにしてもよい。

また、式（1 7 ) において、指数関数を適用しているのは、画素値の差に対して、度数に大きく差をつけるためであり、他の関数を適用するようにしてもよい。閾値 Thは、任意の値とすることができる。例えば、閾値 Thは、 3 0とすることができる。

このように、度数検出部 5 0 3は、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。

また、例えば、度数検出部 5 0 3は、式（1 8 ) で示される演算により、度数を算出することにより、領域に属する、座標（_Xi, _yj) の度数 , を検出する。

• · ( 1 8 ) 座一一一一標（_Xi,_yj) における度数を Li.j (l≤i≤k, l≤j≤l) としたとき、座標 Xiにおける、空間方向 Yの度数し jの和 ¾は、式（1 9) で表され、座標 _yjにおけ

∑一一 - る、空間方向 Xの度数 Li, jの和は、式（20) で表される。

• · · (20)

度数の総和 uは、式 (2 1) で表される u

1- J

J ■

• · · (2 1)

図 58で示される例において、注目画素の座標の度数 L₅,₃は、 3であり、注目画素の上側の画素の座標の度数 L_Mは、 1であり、注目画素の右上側の画素の座標の度数 L_e,₄は、 4であり、注目画素に対して、 2画素上側であって、 1画素右側の画素の座標の度数 L₆₅は、 2であり、注目画素に対して、 2画素上側であつて、 2画素右側の画素の座標の度数 L₇,₅は、 3である。また、注目画素の下側の画素の座標の度数 L₅，₂は、 2であり、注目画素の左側の画素の座標の度数 L₄,₃は、 1であり、注目画素の左下側の画素の座標の度数 L₄,₂は、 3であり、注目画素に対して、 1画素下側であって、 2画素左側の画素の座標の度数 L₃,₂は、 2であり、注目画素に対して、 2画素下側であって、 2画素左側の画素の座標の度数 L₃ iは, 4である。図 5 8で示される領域の他の画素の座標の度数は、 0であり、図 5 8 において、 0である度数の記載は省略する。

図 5 8で示される領域において、空間方向 Yの度数の和 _qiは、 iが 1である度数 Lが全て 0なので、 0であり、 ¾は、 iが 2である度数 Lが全て 0なので、 0である。 q₃は、度数 L₃,₂が 2であり、度数 L_3ilが 4なので、 6である。同様に、 q₄は、 4であり、 q₅は、 6であり、 q₆は、 6であり、 q₇は、 3であり、 ¾は、 0 であり、 q₉は、 0である。

図 5 8で示される領域において、空間方向 Xの度数の和は、度数 L_3ilが 4 なので、 4である。 h₂は、度数 L₃,₂が 2であり、度数 L₄,₂が 3であり、度数 L₅,₂ が 2なので、 7である。同様に、 h₃は、 4であり、 h₄は、 5であり、 h₅は、 5である。

図 5 8で示される領域において、度数の総和 uは、 2 5である。

空間方向 Yの度数し .の和 _qiに、座標 _Xiを乗じた結果を加算した和 T_xは、式 (2 2) で表される。

k

i=1

• - · ( 2 2)

空間方向 Xの度数 Li.jの和 hjに、座標 y』を乗じた結果を加算した和 T_yは、式 (2 2) で表される。

T_y = h₁y₁+h₂y₂-«-"-+ |y|

= ∑ ^hjVj

J=1

· · · (2 3)

例えば、図 5 8で示される領域において、 _qiが 0であり、がー 4なので、は 0であり、 q₂が 0であり、 x₂がー 3なので、 q₂X 、0である。同様に、 q₃ が 6であり、 ₃が_ 2なので、 q₃x₃は一 1 2であり、 q₄が 4であり、 x₄がー 1な y

ので、一一 ¾x₄は、一4であり、 q₅,が 6であり、 x₅が 0なので、 q₅x₅は 0である。同様に、 Σ1Γ Ιが 6であり、 x₆が 1なので、 q₆x₆は 6であり、 q₇が 3であり、 x₇が 2な

L

ので、 q₇x₇は∑一- l 6であり、 q₈が 0であり、 x₈が 3なので、 ¾x₈は 0であり、 q₉が 0 y

であり、が 4なので、 q_gx₉は 0である。従って、乃至 q₉¾の和である T_x は、一 4である。

例えば、図 5 8で示される領域において、が 4であり、 _Ylがー 2なので、 h_lYlは一 8であり、 h₂が 7であり、 y₂がー 1なので、 h₂y₂は一 7である。同様に h₃が 4であり、 y₃が 0なので、 h₃y₃は 0であり、 h₄が 5であり、 y₄が 1なので、 h₄y₄は、 5であり、 h₅が 5であり、 y₅が 2なので、 h₅y₅は 1 0である。従って、 h_iyi乃至 h₅y₅の和である T_yは、 0である。

また、を以下のように定義する。

Q

• · · ( 2 4 ) xの変動 S_xは、式（2 5 ) で表される

k

S_x = Λ qjx T u

i =l

• · · ( 2 5 ) yの変動 S_vは、式（2 6 ) で表される

S_y = ∑ hjyト u

J =1

( 2 6 ) 共変動 S_xvは、式（2 7 ) で表される, し ί j j V j 厂 χΐ y L!

i

• · · ( 2 7) 式（2 8 ) に示す 1次の回帰直線を求めることを考える。

u

y=ax+b · · · ( 2 8) ∑ k

傾き aおよび切片. bは、最小自乗法により、以下のように求めることができる,

∑_ - ,

u ∑ ∑ L_ux_iy厂 Τ_ΧΤ

ι=1 j=1

¾二

T

S xy

S

( 2 9 )

Ty Σ QjXj χ ∑ ^Lij^xiyj

I ⁼ 1 J = l

b =

「

• · · ( 3 0 ) ただし、正しい回帰直線を求めるための必要条件は、度数 Li, jが、回帰直線に対して、ガウス分布状に、分布していることである。逆に言えば、度数検出部 5 0 3は、度数がガウス分布するように、領域の画素の画素値を度数に変換する必要がある。

回帰直線演算部 5 0 4は、式（2 9 ) およぴ式（3 0) で示される演算を実行して、回帰直線を求める。

角度算出部 5 0 5は、式（3 1 ) に示す演算により、回帰直線の傾き aを、基準軸である空間方向 Xの軸に対する角度 Θ に変換する。

0=tan^_1(a) · · · ( 3 1 ) なお、回帰直線演算部 5 0 4が所定の曲線である回帰線を演算する場合、角度 ∑ k

算出部 5 0 5は、基準軸に対する、注目画素の位置における回帰線の角度 Θ を ∑ = k

求める。 a L.

X ,

ここで、画素毎にデータの定常性を検出するためには、切片 bは、不要である。そこで、式 ( 3 2 ) に示す 1次の回帰直線を求めることを考える。

y=ax · · · ( 3 2 ) この場合、回帰直線演算部 5 0 4は、最小自乗法により、傾き aを式（3 3 ) で求めることができる。 x i Vj

· · · ( 3 3 )

図 5 9のフローチャートを参照して、ステップ S 1 0 1の処理に対応する、図 5 2で構成が示されるデータ定常性検出部 1 0 1による、データの定常性の検出の処理を説明する。

ステップ S 5 0 1において、画素取得部 5 0 2は、まだ注目画素とされていない画素の中から注目画素を選択する。例えば、画素取得部 5 0 2は、ラスタスキヤン順に、注目画素を選択する。ステップ S 5 0 2において、画素取得部 5 0 2 は、注目画素を中心とする領域に含まれる画素の画素値を取得し、取得した画素の画素値を度数検出部 5 0 3に供給する。例えば、画素取得部 5 0 2は、注目画素を中心とした、 9 X 5画素からなる領域を選択し、領域に含まれる画素の画素値を取得する。

ステップ S 5 0 3において、度数検出部 5 0 3は、領域に含まれる画素の画素値を度数に変換することにより、度数を検出する。例えば、度数検出部 5 0 3は、式 ( 1 7 ) に示される演算により、画素値を度数 jに変換する。この場合において、度数し .がガウス分布するように、領域の画素の画素値が度数」に変換される。度数検出部 5 0 3は、変換された度数を回帰直線演算部 5 0 4に供給する。

ステップ S 5 0 4において、回帰直線演算部 5 0 4は、度数検出部 5 0 3から供給された度数を基に、回帰線を求める。例えば、回帰直線演算部 5 0 4は、度数検出部 5 0 3から供給された度数を基に、回帰直線を求める。より具体的には、回帰直線演算部 5 0 4は、式（2 9 ) およぴ式（3 0 ) で示される演算を実行して、回帰直線を求める。回帰直線演算部 5 0 4は、算出された結果である回帰直線を示す演算結果パラメータを角度算出部 5 0 5に供給する。

ステップ S 5 0 5において、角度算出部 5 0 5は、基準軸に対する回帰直線の角度を算出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性を検出する。例えば、角度算出部 5 0 5は、式（3 1 ) に示す演算により、回帰直線の傾き aを、基準軸である空間方向 Xの軸に対する角度 Θ に変換する。角度算出部 5 0 5は、基準軸に対する回帰直線の角度を示すデータ定常性情報を出力する。

なお、角度算出部 5 0 5は、傾き aを示すデータ定常性情報を出力するようにしてもよい。

ステップ S 5 0 6において、画素取得部 5 0 2は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップ S 5 0 1に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。

ステップ S 5 0 6において、全ての画素の処理を終了したと判定された場合、処理は終了する。

このように、図 5 2に構成を示すデータ定常性検出部 1 0 1は、欠落した実世界の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。

特に、図 5 2に構成を示すデータ定常性検出部 1 0 1は、比較的狭い領域の画素の画素値を基に、画素以下の角度を求めることができる。以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域を選択し、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出し、検出された度数に基づいて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性を検出し、検出された画像データのデータの定常性に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。

なお、図 5 2に構成を示すデータ定常性検出部 1 0 1は、注目画素の属する注目フレームと、注目フレームの時間的に前後のフレームについて、所定の領域に属する画素の画素値を度数に変換し、度数を基に、回帰平面を求めるようにすれば、空間方向のデータの定常性の角度と共に、時間方向のデータの定常性の角度を検出することができる。

図 6 0は、データ定常性検出部 1 0 1のその他の実施の形態の構成を示している。

図 6 0のデータ定常性検出部 1 0 1は、データ選択部 7 0 1、データ足し込み部 7 0 2、および、定常方向導出部 7 0 3より構成される。

データ選択部 7 0 1は、入力画像の各画素を注目画素として、その注目画素毎に対応する画素の画素値データを選択して、データ足し込み部 7 0 2に出力する。データ足し込み部 7 0 2は、データ選択部 7 0 1より入力されたデータに基づいて、最小自乗法における足し込み演算を行い、足し込み演算結果を定常方向導出部 7 0 3に出力する。このデータ足し込み部 7 0 2による足し込み演算とは、後述する最小自乗法の演算に用いるサメーシヨンの項における演算であり、その演算結果は、定常性の角度を検出するための画像データの特徴であると言える。定常方向導出部 7 0 3は、データ足し込み部 7 0 2より入力された足し込み演算結果から定常方向、すなわち、データの定常性が有する基準軸からの角度（例えば、細線、または 2値エッジなどの傾き、または方向）を演算し、これをデータ定常性情報として出力する。

次に、図 6 1を参照して、データ定常性検出部 1 0 1における定常性 (方向、または、角度）を検出する動作の概要について説明する。尚、図 6 1，図 6 2中、における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図 6 1で示されるように、実世界の信号（例えば、画像) は、光学系 1 4 1 (例えば、レンズ、または LPF (Low Pas s Fi lter) などからなる）により、センサ（例えば、 CCD (Charge Coupl ed Device) 、または、 CMOS

(Complementary Metal-Oxi de Semi conductor) など) の受光面に結像される。センサは、例えば、 CCDや CMOS のような積分特性を有する素子から構成される。このような構成により、センサから出力されるデータから得られる画像は、実世界の画像とは異なる画像となる（実世界の画像とは差が生じることになる）。そこで、データ定常性検出部 1 0 1は、図 6 2で示されるように、モデル 7 0 5を用いて、実世界を近似式により近似的に記述して、その近似式からデータ定常性を抽出する。モデル 7 0 5は、例えば、 N個の変数で表現される。より正確には、モデル 7 0 5は、実世界の信号を近似（記述）する。

データ定常性検出部 1 0 1は、モデル 7 0 5を予測するために、データから、 M個のデータ 7 0 6を抽出する。その結果、モデル 7 0 5は、データの定常性に拘束されることになる。

すなわち、モデル 7 0 5は、センサで取得されたとき、データにおいてデータのデータ定常性を生じさせる、定常性（所定の次元の方向に一定の特徴）を有する実世界の事象（を示す情報（信号））を近似する。ここで、データ 7 0 6の数 Mが、モデル 7 0 5の変数の数 N以上であれば、 M 個のデータ 7 0 6から、 N個の変数で表現されるモデル 7 0 5を予測することができる。

さらに、データ定常性検出部 1 0 1は、実世界（の信号）を近似（記述）するモデル 7 0 5を予測することにより、実世界の情報である信号に含まれるデータ定常性を、例えば、細線や 2値エッジの方向（傾き、または、所定の方向を軸としたときの軸とのなす角度）として導出し、データ定常性情報として出力する。次に、図 6 3を参照して、入力画像より細線の方向（角度）をデータ定常性情報として出力するデータ定常性検出部 1 0 1について説明する。

データ選択部 7 0 1は、水平■垂直判定部 7 1 1、および、データ取得部 7 1 2から構成されている。水平 .垂直判定部 7 1 1は、注目画素とその周辺の画素間の画素値の差分から、入力画像の細線の水平方向に対する角度が、水平方向に近い細線か、垂直方向に近い細線かを判定し、判定結果をデータ取得部 7 1 2、および、データ足し込み部 7 0 2にそれぞれ出力する。

より詳細には、例えば、この手法という意味で、他の手法でもよい。例えば、簡易 1 6方位検出手法をここで使用してもよレ、。図 6 4で示されるように、水平 -垂直判定部 7 1 1は、注目画素と、その注目画素に隣接する画素間の差分 (画素間の画素値の差分）のうち、水平方向の画素間の差分（アクティビティ）の和（hdiff) と、垂直方向の画素間の差分（アクティビティ）の和の差分 (vdiff) を求めて、注目画素が垂直方向に隣接する画素間との差分の和が大きいか、または、水平方向に隣接する画素間との差分の和が大きいかを判定する。ここで、図 6 4においては、各マス目が画素を示し、図中の中央の画素が注目画素である。また、図中の点線の矢印で示す画素間の差分が、水平方向の画素間の差分であり、その和が hdi f f で示される。さらに、図中の実線の矢印で示す画素間の差分が、垂直方向の画素間の差分であり、その和が vdiff で示される。このように求められた水平方向の画素間の画素値の差分和 hdi ff と、垂直方向の画素間の画素値の差分和 vdiff に基づいて、水平■垂直判定部 7 1 1は、 (hdiff - vdiff) が正であれば、垂直方向よりも水平方向の画素間の画素値の変化（アクティビティ）が大きいので、図 6 5で示されるように、水平方向に対する角度が 0 (0度度≤ 0≤180度度）で示される場合、 45度度 < 0≤ 5度度、すなわち、垂直方向に近い角度の細線に属している画素であると判定し、逆に負であれば垂直方向の画素間の画素値の変化 (ァクティビティ）が大きいので、 0 度度≤ 0 < 45度度、または、 135度度 < 0≤180度度、すなわち、水平方向に近い角度の細線に属している画素であると判定する (細線が続く方向 (角度) に存在する画素は、いずれも細線を表現する画素であるので、その画素間の変化（ァクテイビティ）は小さくなるはずである) 。

また、水平 ·垂直判定部 7 1 1は、入力画像の各画素を識別するカウンタ（図示せず）を備えており、適宜必要に応じて使用する。

尚、図 6 4においては、注目画素を中心として、 3画素 X 3画素の範囲における垂直方向と水平方向の画素間の画素値の差分の和を比較して、細線が垂直方向に近いか、または、水平方向に近いかを判定する例について説明したが、それ以上の画素数を用いて同様の手法で細線の方向を判定するようにしてもよく、例えば、注目画素を中心として 5画素 X 5画素や、 7画素 X 7画素など、それ以上の画素数のプロックに基づいて判定するようにしてもよい。

データ取得部 7 1 2は、水平 ·垂直判定部 7 1 1より入力された細線の方向の判定結果に基づいて、注目画素に対応する水平方向に並ぶ複数の画素からなるブロック単位、または、垂直方向に並ぶ複数の画素のプロック単位で画素値を読み出し（取得し）、読み出した（取得した）注目画素毎に対応する複数の画素間における、水平 ·垂直方向判定部 7 1 1の判定結果の方向に隣接する画素間の差分データとともに、所定の画素数のプロックに含まれる画素から、画素値の最大値と最小値のデータをデータ足し込み部 7 0 2に出力する。尚、以下においては、データ取得部 7 1 2により、注目画素に対応して取得される複数の画素のブロックを取得プロックと称する（取得プロックは、例えば、後述する図 7 8で示される複数の画素（各マス目で示される）のうち、黒線の正方形が示された画素を注目画素とするとき、その上下 3画素分と、左右 1画素分の合計 1 5画素などである）。

データ足し込み部 7 0 2の差分足し込み部 7 2 1は、データ選択部 7 0 1より入力された差分データを検出し、データ選択部 7 0 1の水平 ·垂直判定部' 7 1 1 より入力される水平方向、または、垂直方向の判定結果に基づいて、後述する最小自乗法の解法に必要な足し込み処理を実行し、その足し込み結果を定常方向導出部 7 0 3に出力する。より具体的には、複数の画素のうち水平■垂直判定部 7 1 1による判定方向に隣接する画素 i と画素（ i + 1 ) の画素間の画素値の差分データを yiとし、注目画素に対応する取得ブロックが n個の画素から構成された場合、差分足し込み部 7 2 1は、水平方向、または、垂直方向毎に

( y 1 ) ²+ ( y 2 ) ²+ ( y 3 ) ²+ · · · を足し込んで演算し、定常方向導出部 7 0 3に出力する。

MaxMin取得部 7 2 2は、データ選択部 7 0 1より入力される注目画素に対応する取得ブロックに含まれる各画素毎に設定されるブロック（以下、ダイナミツクレンジブロックと称する（ダイナミックレンジブロックは、後述する図 7 8で示される取得ブロックの画素のうち、例えば、画素 pix l 2について、黒の実線で囲まれている、ダイナミックレンジプロック B 1で示される、画素 pix l 2の上下 3画素分の合計 7画素などである））に含まれる画素の画素値の最大値と最小値を取得すると、その差分からダイナミックレンジ Dri (取得ブロック内の i 番目の画素に対応する、ダイナミックレンジプロックに含まれる画素の画素値の最大値と最小値の差分）を演算（検出）して、差分足し込み部 7 2 3に出力する。差分足し込み部 7 2 3は、 MaxMin取得部 7 2 2より入力されたダイナミックレンジ Dri と、データ選択部 7 0 1より入力された差分データを検出し、検出したダイナミックレンジ Dri と差分データに基づいて、データ選択部 7 0 1の水平 ·垂直判定部 7 1 1より入力される水平方向、または、垂直方向毎に、ダイナミックレンジ Dri と差分データ y iを乗じた値を足し込んで、演算結果を定常方向導出部 7 0 3に出力する。すなわち、差分足し込み部 7 2 3が出力する演算結果は、水平方向、または、垂直方向毎に y 1 x Dr 1 + y 2 x Dr 2 + y 3 X Dr 3 + · ■ ' となる。

定常方向導出部 7 0 3の定常方向演算部 7 3 1は、データ足し込み部 7 0 2より入力されてくる、水平方向、または、垂直方向毎の足し込み演算結果に基づいて、細線の角度（方向）を演算し、演算された角度を定常性情報として出力する。ここで、細線の方向（細線の傾き、または、角度）の演算方法について説明する。

図 6 6 Aで示されるような入力画像中の白線により囲まれる部分を拡大すると、細線（図中、右上がりで、かつ斜め方向の白線）は、実際には、図 6 6 Bで示されるように表示されている。すなわち、現実世界においては、図 6 6 Cで示されるように、画像は、細線のレベル（図 6 6 C中では濃度の薄い斜線部）と背景レベルの 2種類のレベルが境界を形成し、その他のレベルが存在しない状態となる。これに対して、センサにより撮像された画像、すなわち、画素単位で撮像された画像は、図 6 6 Bで示されるように、その積分効果により背景レベルと細線レべルとが空間的に混合した画素が、その比率（混合比）を一定のパターンで変化するように縦方向に配置された複数の画素からなるプロックが細線方向に繰り返して配置されたような画像となる。尚、図 6 6 Bにおいて、各正方形状のマス目は、 CCDの 1画素を示し、各辺の長さを d_CCDであるものとする。また、マス目は、格子状に塗りつぶされた部分が背景のレベルに相当する画素値の最小値であり、その他の斜線状に塗りつぶされた部分は、斜線の密度が低くなるに連れて画素値が高くなるものとする（従って、斜線のない白色のマス目が画素値の最大値となる）。

図 6 7 Aで示されるように、現実世界の背景上に細線が存在する場合、現実世界の画像は、図 6 7 Bで示されるように、横軸にレベル、縦軸にそのレベルに対応する部分の画像上の面積を示すと、画像中の背景に相当する面積と、細線に相当する部分の面積との、画像上における占有面積の関係が示される。同様にして、センサで撮像された画像は、図 6 8 Aで示されるように、背景レベルの画素の中に、縦に並んだ背景レベルと細線レベルとが混合した画素が、その混合比を所定のパターンで変化させながら縦方向に配置されたプロックが、細線の存在する方向に繰り返して配置されたような画像となるため、図 6 8 Bで示すように、背景のレベルとなる領域（背景領域）と、細線のレベルの中間のレべルをとる、背景と細線が空間的に混合した結果生じる画素からなる空間混合領域が存在する。ここで、図 6 8 Bにおいて縦軸は、画素数であるが、 1画素の面積は（d_CCD) ²となるため、図 6 8 Bの画素値のレベルと画素数の関係は、画素値のレベルと面積の分布の関係と同様であるといえる。

これは、図 6 9 Aの実際の画像中の白線で囲まれる部分（3 1画素 X 3 1画素の画像）においても、図 6 9 Bで示されるように同様の結果が得られる。すなわち、図 6 9 Aで示される背景部分（図 6 9 A中では、黒色に見える部分）は、図 6 9 Bで示されるように、画素値レベルの低い（画素値が 2 0付近の）画素が多く分布しており、これらの変化の少ない部分が、背景領域の画像を形成する。これに対して、図 6 9 Bの画素値レベルが低くない部分、すなわち、画素値レベルが 4 0付近乃至 1 6 0付近に分布する画素は、細線の画像を形成する、空間混合領域に属する画素であり、各画素値毎の画素数は少ないが、広い画素値の範囲に分布している。

ところで、現実世界の画像における背景と細線のそれぞれのレベルは、例えば、図 7 O Aで示される矢印方向（Y座標方向）に見ると、図 7 0 Bで示されるように変化することになる。すなわち、矢印の起点から細線までの背景領域では、比較的レベルの低い背景レベルとなり、細線の領域では、レベルの高い細線のレべルとなり、細線領域を通過して再ぴ背景領域に戻ると、レベルの低い背景のレべルとなる。結果として、細線領域のみが高いレベルとなるパルス状の波形となる。これに対して、センサで撮像された画像のうち、図 7 O A中の矢印の向きに対応する、図 7 1 Aの空間方向 X = X 1上の画素（図 7 1 Aにおいては、黒丸で示されている画素）の画素値と、その画素の空間方向 Yの関係は、図 7 1 Bに示されるようになる。尚、図 7 1 Aにおいて、右上がりの 2本の白線の間が、現実世界の画像上における細線を示している。

すなわち、図 7 1 Bで示されるように、図 7 1 A中の中央の画素に対応する画素が最も高い画素値をとるため、各画素の画素値は、空間方向 Yの位置が、図中の下部から中央の画素に向かうに連れて高くなり、中央の位置を通過すると、徐々に減少することになる。結果として、図 7 I Bで示すように、山型の波形が形成される。また、図 7 1 Aの空間方向 X = X 0， X 2に対応する各画素の画素値の変化は、空間方向 Yのピーク位置が、細線の傾きに応じてずれるものの、同様の外形となる。

例えば、図 7 2 Aで示されるような、実際にセンサにより撮像された画像における場合においても、図 7 2 Bで示されるように、同様の結果が得られる。すなわち、図 7 2 Bは、図 7 2 Aの画像中の白線で囲まれる範囲の細線付近の画素値を所定の空間方向 X (図中では、 X = 5 6 1， 5 6 2， 5 6 3 ) 毎の、空間方向 Yに対応した画素値の変化を示している。このように、実際のセンサにより撮像された画像においても、 X = 5 6 1においては、 Y = 7 3 0付近で、 Χ = 5 6 2 においては、 Υ = 7 0 5付近で、 Χ = 5 6 3においては、 Υ = 6 8 5付近で、それぞれピークとなる山型の波形となっている。

このように、現実世界の画像の細線付近のレベルの変化を示す波形はパルス状の波形となるのに対して、センサにより撮像された画像の画素値の変化を示す波形は山型の波形となる。

すなわち、換言すれば、現実世界の画像のレベルは、図 7 0 Βで示されるような波形になるべきところが、センサにより撮像されることにより、撮像された画像は、図 7 1 Βで示されるように、その変化に歪が生じて、現実世界の画像とは異なる（現実世界の情報が欠落した）波形に変化していると言える。

そこで、このセンサにより撮像された画像から、現実世界の画像の定常性情報を取得するため、センサより取得された画像のデータから現実世界を近似的に記述するためのモデル（図 6 2のモデル 7 0 5に相当する）を設定する。例えば、細線の場合、図 7 3で示されるように、現実世界の画像を設定する。すなわち、図中左部の背景部分のレベルを B 1、図中右側の背景部分のレベルを B 2、細線部分のレベルを L、細線の混合比を、細線の幅を W、細線の水平方向に対する角度を 0 としてパラメータを設定し、モデル化して、現実世界を近似的に表現する関数を設定し、各パラメータを求めることにより現実世界を近似的に表現する近似関数を求め、その近似関数から細線の方向（傾き、または、基準軸に対する角度）を求める。

このとき、背景領域は、左部、および、右部は、同一であるものとして近似することができるので、図 7 4で示されるように、統一して B ( = B 1 = B 2 ) とする。また、細線の幅を 1画素以上であるものとする。このように設定された現実世界をセンサで撮像するとき、撮像された画像は、図 7 5 Aで示されるように撮像されることになる。尚、図 7 5 Aにおいて、右上がりの 2本の白線の間が、現実世界の画像上における細線を示している。

すなわち、現実世界の細線上の位置に存在する画素は、細線のレベルに最も近いレベルとなり、垂直方向（空間方向 Yの方向）に対して細線から離れるに従つて画素値が減少し、細線領域に接することのない位置に存在する画素の画素値、すなわち、背景領域の画素は、背景レベルの画素値となる。このとき、細線領域と背景領域に跨る位置に存在する画素の画素値は、背景レベルの画素値 Bと、細線レベルの画素値 Lが、混合比 Of で混合された画素値となっている。

このように、撮像された画像の各画素を注目画素とした場合、データ取得部 7 1 2は、その注目画素に対応する取得ブロックの画素を抽出し、その抽出した取得プロックを構成する画素毎に、ダイナミックレンジプロックを抽出し、そのダィナミックレンジブ口ックを構成する画素のうちの最大値となる画素値をとる画素と、最小値となる画素値をとる画素とを抽出する。すなわち、図 7 5 Aで示すように、取得プロック中の所定の画素 (図中の 1マスの中に黒の実線で正方形が記述された画素 p ix 4 ) に対応したダイナミックレンジブロックの画素（例えば、図中の黒の実線で囲まれた画素 pix l乃至 7の 7画素））が抽出された場合、その各画素に対応する現実世界の画像は、図 7 5 Bで示されるようになる。

すなわち、図 7 5 Bで示されるように、画素 pix lは、左部の略 1 / 8の面積を占める部分が背景領域となり、右部の略 7 Z 8の面積を占める部分が細線領域となる。画素 pix 2は、略全領域が細線領域となる。画素 pix 3は、左部の略 7 / 8の面積を占める部分が細線領域となり、右部 1 / 8の面積を占める部分が細線領域となる。画素 pi X 4は、左部の略 2 / 3の面積を占める部分が細線領城となり、右部の略 1 / 3の面積を占める部分が背景領域となる。画素 pi x 5は、左部の略 1 Z 3の面積を占める部分が細線領域となり、右部の略 2 Z 3の面積を占める部分が背景領域となる。画素 pix 6は、左部の略 1 Z 8の面積を占める部分が細線領域となり、右部の略 7 Z 8の面積を占める部分が背景領域となる。さらに、画素 pix 7は、全体が背景領域となる。

結果として、図 7 5 Bで示されるダイナミックレンジプロックの各画素 pix 1 乃至 7の画素値は、細線領域と背景領域の面積の比率に対応した混合比で、背景レベルと細線レベルが混合された画素値となる。すなわち、背景レベル：前景レベルの混合比は、画素 pix lが略 1 ： 7、画素 pix 2が略 0 ： 1、画素 pix 3が略 1 ： 7、画素 pix 4が略 1 ： 2、画素 pix 5が略 2 ： 1、画素 pix 6が略 7 ： 1、および、画素 pix 7が略 1 ： 0となる。

従って、抽出されたダイナミックレンジブ口ックの画素 pix 1乃至 7の各画素の画素値は、画素 pix 2が最も高く、次いで画素 pix l , 3が続き、以下画素値が高い順に画素 pix 4， 5， 6， 7となる。従って、図 7 5 Bで示される場合、最大値は、画素 pix 2の画素値であり、最小値は、画素 pix 7の画素値となる。また、図 7 6 Aで示されるように、細線の方向は、画素値の最大値をとる画素が連続する方向であると言えるので、この最大値をとる画素が配置された方向が細線の方向となる。

ここで、細線の方向を示す傾き G _flは、空間方向 Xの単位距離に対する、空間方向 Yへの変化（距離の変化）の比であるので、図 7 6 Aで示されるような場合、図中の空間方向 Xへの 1画素の距離に対する、空間方向 Yの距離が傾き G_flとなる。

空間方向 X O乃至 X 2の各々の空間方向 Yに対する画素値の変化は、図 7 6 B で示されるように、各空間方向 X毎に所定の間隔で山型の波形が繰り返されることになる。上述のように、センサにより撮像された画像において、細線は、最大値をとる画素が連続する方向であるので、各空間方向 Xの最大値となる空間方向 Yの間隔 Sが、細線の傾き G _flとなる。すなわち、図 7 6 Cで示されるように、水平方向に 1画素の距離に対する垂直方向の変化量が傾き G _flとなる。従って、この細線の傾き G_fl (水平方向を基準軸としたときの角度に対応する）は、図 7 6 Cで示すように、その傾きに対応する水平方向を基準軸とした細線の角度を Θ として表現する場合、以下の式（3 4 ) で示される関係が成立することになる。

Θ = Tan^ ( G_fl) ( = Tan一¹ ( S ) )

• - · ( 3 4 ) また、図 7 4で示されるようなモデルを設定し、さらに、空間方向 Yの画素と画素値の関係が、図 7 6 Bで示される山型の波形が、完全な三角波形（立ち上がり、または、立下りが直線的に変化する、二等辺三角形状の波形）であると仮定する場合、図 7 7で示すように、所定の注目画素の空間方向 Xにおける、空間方向 Y上に存在する各画素の画素値の最大値を Max= L (ここでは、現実世界の細線のレベルに対応する画素値）、最小値を Min = B (ここでは、現実世界の背景のレベルに対応する画素値）とするとき、以下の式（3 5 ) で示される関係が成立する。

L— B = G_fl X d_y

• · · ( 3 5 ) ここで、 d_yは、空間方向 Yの画素間の画素値の差分を示す。

すなわち、空間方向の傾き G_flは、大きいほど細線がより垂直なものに近づくため、山型の波形は、底辺の大きな二等辺三角形状の波形となり、逆に、傾き S が小さいほど底辺の小さな二等辺三角形状の波形となる。この結果、傾き G _flが大きいほど、空間方向 Yの画素間の画素値の差分 d_yは小さく、傾き Sが小さいほど、空間方向 Yの画素間の画素値の差分 d—yは大きくなる。

そこで、上述の式（3 5 ) の関係が成立する傾き G _flを求めることにより、細線の基準軸に対する角度 Θ を求めることが可能となる。式（3 5 ) は、傾き G _{f l}を変数とする 1変数の関数であるため、注目画素について、周辺の画素間の画素値の（垂直方向の）差分 d— y、並びに、最大値、および、最小値の差分（L - B ) を 1組用いれば求めることが可能であるが、上述のように、空間方向 Yの画素値の変化が完全な三角波形であることを前提とした近似式を用いたものであるので、注目画素に対応する抽出プロックの各画素についてダイナミックレンジブロックを抽出し、さらに、その最大値と最小値からダイナミックレンジ Drを求めるとともに、抽出プロックの各画素毎の空間方向 Yの画素間の画素値の差分 d_yを用いて、最小自乗法により統計的に求める。

ここで、最小自乗法による統計的な処理の説明にあたり、まず、抽出プロック、および、ダイナミックレンジブロックについて、詳細を説明する。

抽出プロックは、例えば、図 7 8で示すように、注目画素（図中の黒の実線で正方形が描かれているマス目の画素）の、空間方向 Yについて上下 3画素分、空間方向 Xについて、左右 1画素分の合計 1 5画素などでもよい。また、この場合、抽出ブロックの各画素の画素間の画素値の差分 d—yは、例えば、画素 pix l 1に対応する差分が d_y l 1で示されるとき、空間方向 X = X 0の場合、画素 pix l 1と pix 1 2、 pi 1 2と pix 1 3、 pix 1 3と pix 1 4、 pi 1 5と pix 1 6、 pix l 6と pix l 7の画素間の画素値の差分 d—y 1 1乃至 d一 y l 6が得られることになる。このとき、空間方向 X = X 1， X 2についても、同様にして画素間の画素値の差分が得られる。結果として、この場合、画素問の画素値の差分 d—y は、 1 8個存在することになる。

さらに、由出プロックの各画素について、ダイナミックレンジブロックの画素力例えば、画素 pix l 1については、水平■垂直判定部 7 1 1の判定結果に基づいて、今の場合、垂直方向であると判定されるので、図 7 8で示されるように、画素 pixl lを含めて、垂直方向（空間方向 Y) の上下方向にそれぞれ 3画素分のダイナミックレンジブ口ック B 1の範囲の 7画素であるものとすると、このダイナミックレンジプロック B 1の画素の画素値の最大値と最小値を求め、さらに、この最大値と最小値から得られるダイナミックレンジをダイナミックレンジ Dr 1 1とする。同様にして、抽出ブロックの画素 pixl 2については、図 7 8中のダイナミックレンジブ口ック B 2の 7画素から同様にしてダイナミックレンジ Dr 1 2を求める。このようにして、抽出プロック内の 1 8個の画素間差分 d_y i と、対応するダイナミックレンジ Dr i との組み合わせに基づいて、最小自乗法を用いて統計的に傾き G_flが求められる。

次に、 1変数の最小自乗法の解法について説明する。尚、ここでは、水平 -垂直判定部 7 1 1の判定結果が垂直方向であったものとする。

1変数の最小自乗法による解法は、例えば、図 7 9で示される黒点で示される全ての実測値に対しての距離を最小とする、予測値 Dri_cからなる直線の傾き G_flを求めるものである。そこで、上述の式（3 5) で示される関係から以下のような手法により、傾き Sが求められる。

すなわち、上述の式（3 5) は、最大値と最小値の差分をダイナミックレンジ Drとするとき、以下の式（3 6) で示すように記述される。

Dr=G_fl d_y

· ■ ■ (3 6) 上述の式（3 6) に、抽出ブロックの各画素間についての差分 d_yiを代入することによりダイナミックレンジ Dri_cが求められることになる。従って、各画素について、以下の式 (3 7) の関係が満たされることになる。

Dri_c= G_fl X d_yi

· ■ · (3 7) ここで、差分 d_yiは、各画素 iの空間方向 Yの画素間の画素値の差分（例えば、画素 iに対して、上方向、または、下方向に隣接した画素との画素間の画素値の差分であり、 Dri_cは、画素 iについて式（70) が成立するときに得られるダイナミックレンジである。

上述のように、ここでいう最小自乗法は、抽出ブロックの画素 iのダイナミツクレンジ Dr i— cと、図 75 Aおよび図 75 Bを参照して説明した方法で得られる、画素 iの実測値となるダイナミックレンジ Dri_rとの差分自乗和 Qが、画像内のすべての画素において最小となるときの傾き G_flを求める方法である。従つて、差分自乗和 Qは以下の式 (38) により求められることになる。

• · · (38) 式（38) で示される差分自乗和 Qは、 2次関数であるので、変数 G_fl (傾き G_fl) について図 80で示すような下に凸の曲線となるため、傾き G_flが最小となる G_flminが最小自乗法の解となる。

式（38) で示される差分自乗和 Qは、変数 G_flで微分されると、以下に示す式（3 9) で示される d QZd G_flとなる。

an η

^L = ∑ 2(-d_y_i) (Dr_i_r-6_f,xd_y_i)

• ■ · (39) 式（39) 力 S、 0となる G_flが図 80で示す差分自乗和 Qの最小値をとる G_flminとなるので、式（3 9) が 0となるときの式を展開することにより、以下の式 (40) で傾き G_flが求められることになる。

• - · ( 4 0 ) 上述の式（4 0 ) は、いわゆる、 1変数（傾き G_fl) の正規方程式となる。

このようにして、得られた傾き G _flを上述の式 ( 3 4 ) に代入することにより、細線の傾き G_flに対応する、水平方向を基準軸としたときの細線の角度 0 を得ることができる。

尚、以上の説明においては、注目画素が、水平方向を基準軸としたときの角度 Θ が 45度度≤ Θ < 135度度の範囲となる細線上の画素である場合の例について説明してきたが、例えば、注目画素が、水平方向を基準軸に対する細線の角度 Θ が 0度度≤0 < 45度度、または、 135度度 108度度となる、水平方向に近い細線上の画素である場合、画素 iに隣接する画素間の画素値の差分は、水平方向に隣接する画素間の画素値の差分 d_x i となり、同様に、画素 iに対応する複数の画素から画素値の最大値、または、最小値を求める際に、抽出するダイナミックレンジブ口ックの画素についても、画素 iに対して水平方向に存在する複数の画素のうちから選択されることになる。この場合の処理については、上述の説明における水平方向と垂直方向の関係が入れ替わるのみであるので、その説明は省略する。

また、同様の手法により、 2値エッジの傾きに対応する角度を求めることも可能である。

すなわち、図 8 1 Aで示されるような入力画像中の白線により囲まれる部分を拡大すると、画像中のエッジ部分（図中、黒地の旗に描かれた「十」という白で描かれた文字の下の部分）（以下、このように、 2値のレベルからなる画像上のエッジ部分を 2値エッジとも称する）は、実際には、図 8 1 Bで示されるように表示されている。すなわち、現実世界においては、図 8 1 Cで示されるように、画像では、第 1のレベル (旗の地のレベル) と、第 2のレベル (文字のレベル (図 8 1 C中では濃度の薄い斜線部））との 2種類のレベルからなる境界が形成されており、その他のレベルが存在しない。これに対して、センサにより撮像された画像、すなわち、画素単位で撮像された画像は、図 8 1 Bで示されるように、第 1のレベルと第 2のレベルとが空間的に混合した画素が、その比率（混合比）を一定のパタ一ンで変化するように縦方向に配置された複数の画素からなるプロックがエツジが構成されている方向に繰り返して配置されたような領域を境とした第 1のレベルの画素が配置される部分と、第 2のレベルの画素が配置される部分とが存在する画像となる。

すなわち、図 8 2 Aで示されるように、空間方向 X = X 0 , X 1， X 2について、それぞれの空間方向 Yへの画素値の変化は、図 8 2 B中では、各画素値は、図中の下から 2値エッジ（図 8 2 A中の右上がりの直線）の境界手前付近までは、所定の最小値の画素値になっているが、 2値エッジの境界手前付近で、画素値が徐々に増大し、エッジを越えると図中の点 P _Eにおいて、画素値が所定の最大値となる。より詳細には、空間方向 X = X Oの変化は、図 8 2 Bで示されるように、画素値の最小値となる点 P _sを通過した後、徐々に画素値が増大し、画素値の最大値となる点 P Oとなる。これに対して、空間方向 X = X 1に対応する各画素の画素値の変化は、空間方向にずれた波形となるため、図 8 2 Bで示されるように、画素値の最小値から徐々に画素値が増大する位置が空間方向 Yの正方向にずれて、図中の点 P 1を経由して、画素値の最大値にまで増大する。さらに、空間方向 X - X 2における空間方向 Yの画素値の変化は、空間方向 Yの正の方向にさらにずれ込んだ図中の点 P 2を経由して減少し、画素値の最大値から最小値となる。これは、実際の画像中の白線で囲まれる部分においても、同様の傾向が見られる。すなわち、図 8 3 Aの実際の画像中の白線で囲まれる部分（3 1画素 X 3 1 画素の画像）において、背景部分（図 8 3 A中では、黒色に見える部分）は、図 8 3 Bで示されるように、画素値の低い（画素値が 9 0付近の）画素数が多く分布しており、これらの変化の少ない部分が、背景領域の画像を形成する。これに対して、図 8 3 Bの画素値が低くない部分、すなわち、画素値が 1 0 0付近乃至 2 0 0付近に分布する画素は、文字領域と背景領域との空間混合領域に属する画素の分布であり、各画素値毎の画素数は少ないが、広い画素値の範囲に分布している。さらに、画素値の高い文字領域（図 8 3 A中では、白色に見える部分）の画素が、 2 2 0で示される画素値の付近に多く分布している。

この結果、図 8 4 Aで示されるエッジ画像における所定の空間方向 Xに対する、空間方向 Yの画素値の変化は、図 8 4 Bで示されるようになものとなる。

すなわち、図 8 4 Bは、図 8 4 Aの画像中の白線で囲まれる範囲のエッジ付近の画素値を所定の空間方向 X (図中では、 X = 6 5 8， 6 5 9 , 6 6 0 ) 毎の、空間方向 Yに対応した画素値の変化を示している。このように、実際のセンサにより撮像された画像においても、 X = 6 5 8において、画素値は、 Y = 3 7 4付近で増大を開始し（図中、黒丸で示される分布）、 Χ = 3 8 2付近で最大画素値に到達する。また、 Χ = 6 5 9においては、空間方向 Υに対して正方向にずれ込んで、画素値は、 Υ = 3 7 8付近で増大を開始し（図中、黒三角で示される分布）、 Χ = 3 8 6付近で最大画素値に到達する。さらに、 Χ = 6 6 0においては、空間方向 Υに対して、さらに、正方向にずれ込んで、画素値は、 Υ = 3 8 2付近で増大を開始し（図中、黒四角で示される分布）、 Χ = 3 9 0付近で最大画素値に到達する。

そこで、このセンサにより撮像された画像から、現実世界の画像の定常性情報を取得するため、センサより取得された画像のデータから現実世界を近似的に記述するためのモデルを設定する。例えば、 2値エッジの場合、図 8 5で示すように、現実世界の画像を設定する。すなわち、図中左部の背景部分のレベルを V 1、図中右側の文字部分のレベルを V 2、 2値エッジ付近の画素間の混合比を α、ェッジの水平方向に対する角度を Θ としてパラメ一タを設定し、モデル化して、現実世界を近似的に表現する関数を設定し、各パラメータを求めることにより現実世界を近似的に表現する関数を求め、その近似関数からエッジの方向（傾き、または、基準軸に対する角度）を求める。

ここで、エッジの方向を示す傾きは、空間方向 Xの単位距離に対する、空間方向 Υへの変化（距離の変化）の比であるので、図 8 6 Αで示されるような場合、図中の空間方向 Xへの 1画素の距離に対する、空間方向 Yの距離が傾きとなる。空間方向 X O乃至 X 2の各々の空間方向 Yに対する画素値の変化は、図 8 6 Β で示されるように、各空間方向 X毎に所定の間隔で同様の波形が繰り返されることになる。上述のように、センサにより撮像された画像において、エッジは、類似した画素値の変化（今の場合、最小値から最大値へと変化する、所定の空間方向 Υ上の画素値の変化）が空間的に連続する方向であるので、各空間方向 Xにおいて、空間方向 Υの画素値の変化が開始される位置、または、変化が終了する位置となる空間方向 Υの間隔 Sが、エッジの傾き G _feとなる。すなわち、図 8 6 C で示されるように、水平方向に 1画素の距離に対する垂直方向の変化量が傾き G_feとなる。

ところで、この関係は、図 7 6 A乃至図 Ί 6 Cを参照して上述した細線の傾き G_flにおける関係と同様である。従って、その関係式についても、同様のものとなる。すなわち、 2値エッジにおける場合の関係式は、図 8 7で示すものとなり、背景領域の画素値を V I、文字領域の画素値を V 2、それぞれは最小値、および、最大値となる。また、エッジ付近の画素の混合比をとし、エッジの傾きを G_feとおけば、成立する関係式は、上述の式（3 4 ) 乃至式（3 6 ) と同様となる（ただし、 G_flは、 G_feに置き換えられる）。

このため、図 6 3で示されるデータ定常性検出部 1 0 1は、同様の処理により、細線の傾きに対応する角度、および、エッジの傾きに対応する角度を、データ定常性情報として検出することができる。そこで、以下においては、傾きは、細線の傾きと、 2値エッジの傾きとを総称して、傾き G_f と称する。また、上述の式 ( 3 8 ) 乃至式（4 0 ) の式における傾き G_flは、 G_feであってもよいものであり、結果として、傾き G_f と置き換えて考えるものとする。

次に、図 8 8のフローチャートを参照して、データ定常性の検出の処理を説明する。

ステップ S 7 0 1において、水平 ·垂直判定部 7 1 1は、入力画像の各画素を識別するカウンタ Tを初期化する。ステップ S 7 0 2において、水平 .垂直判定部 7 1 1は、後段の処理に必要なデータの抽出処理を実行する。

ここで、図 8 9のフローチャートを参照して、データを抽出する処理について説明する。

ステップ S 7 1 1において、データ選択部 7 0 1の水平■垂直判定部 7 1 1は、各注目画素 Tについて、図 6 4を参照して説明したように、水平方向、垂直方向、および対角方向に隣接する 9画素の水平方向に隣接する画素間の画素値の差分 (アクティビティ）の和 hdiff と、垂直方向に隣接する画素間の画素値の差分 (ァクティビティ）の和 vdiff とを演算し、さらに、その差分

(hdiff— vdiff) を求め、差分（hdi ff— vdiff) ≥ 0の場合、その注目画素 T ヽ水平方向を基準軸としたとき、その基準軸との角度 0 が 45度度 ^ 0 < 135 度度となる、垂直方向に近い細線、または、 2値エッジ付近の画素であるものとみなし、使用する抽出プロックを垂直方向に対応したものとする判定結果をデータ取得部 7 1 2、および、データ足し込み部 7 0 2に出力する。

一方、差分（hdiff— vdiff) < 0の場合、水平 .垂直判定部 7 1 1は、その注目画素が、水平方向を基準軸にしたとき、その基準軸との細線、または、 2値エッジのなす角度 S が 0度度≤ 0 < 45度度、または、 135度度く 180度度となる、水平方向に近い細線、または、エッジ付近の画素であるものとみなし、使用する抽出プロックを水平方向に対応したものとする判定結果をデータ取得部 7 1 2、および、データ足し込み部 7 0 2に出力する。

すなわち、細線、または、 2値エッジの傾きが垂直方向に近いと言うことは、例えば、図 7 O Aで示されているように、図中の矢印が細線と交差する部分が増えることになるため、垂直方向の画素数を多めにした抽出プロックを設定する (縦長な抽出ブロックを設定する）。同様にして、細線の傾きが水平方向に近い場合についても、水平方向の画素数を多めにした抽出プロックを設定するようにする（横長な抽出ブロックを設定する）。このようにすることにより、不要な計算量を増やすことなく、正確な最大値と最小値の演算が可能となる。ステップ S 7 1 2において、データ取得部 7 1 2は、注目画素について水平 ' 垂直判定部 7 1 1より入力される水平方向、または、垂直方向の判定結果に対応した抽出ブロックの画素を抽出する。すなわち、例えば、図 7 8で示されるように、注目画素を中心として、（水平方向に 3画素）丫、 (垂直方向に 7画素）の合計 2 1画素を抽出ブロックとして抽出し、記憶する。

ステップ S 7 1 3において、データ取得部 7 1 2は、抽出プロックの各画素について、水平，垂直判定部 7 1 1の判定結果に対応した方向に対応するダイナミックレンジブ口ックの画素を抽出し、記憶する。すなわち、図 7 8を参照して、上述したように、例えば、抽出ブロックの画素 pix l 1については、今の場合、水平 ·垂直判定部 7 1 1の判定結果が垂直方向になるので、データ取得部 7 1 2 は、垂直方向に、ダイナミックレンジブロック B 1を、同様にして、画素 pix l 2は、ダイナミックレンジブロック B 2を抽出する。その他の抽出ブロックについても同様にしてダイナミックレンジブ口ックが抽出される。

すなわち、このデータ抽出処理により、所定の注目画素 Tについて、正規方程式の演算に必要な画素の情報がデータ取得部 7 1 2に蓄えられることになる（処理される領域が選択されることになる）。

ここで、図 8 8のフローチャートの説明に戻る。

ステップ S 7 0 3において、データ足し込み部 7 0 2は、正規方程式（ここでは、式（7 4 ) ) の演算の各項に必要な値の足し込み処理を実行する。

ここで、図 9 0のフローチャートを参照して、正規方程式への足し込み処理について説明する。

ステップ S 7 2 1において、差分足し込み部 7 2 1は、データ選択部 7 0 1の水平■垂直判定部 7 1 1の判定結果に応じて、データ取得部 7 1 2に記憶されている抽出プロックの画素間の画素値の差分を求め (検出し) 、さらに、 2乗 (自乗）して足し込む。すなわち、水平 '垂直判定部 7 1 1の判定結果が垂直方向である場合、差分足し込み部 7 2 1は、抽出プロックの各画素について垂直方向に隣接する画素間の画素値の差分を求めて、さらに 2乗して足し込む。同様にして、水平 .垂直判定部 7 1 1の判定結果が水平方向である場合、差分足し込み部 7 2 1は、抽出プロックの各画素について水平方向に隣接する画素間の画素値の差分を求めて、さらに 2乗して足し込む。結果として、差分足し込み部 7 2 1は、上述の式 ( 4 0 ) の分母となる項の差分の自乗和を生成し、記憶する。

ステップ S 7 2 2において、 MaxMin取得部 7 2 2は、データ取得部 7 1 2に記憶されたダイナミックレンジプロックに含まれる画素の画素値の最大値と最小値を取得し、ステップ S 7 2 3において、その最大値と最小値との差分からダイナミックレンジを求め (検出し) 、差分足し込み部 7 2 3に出力する。すなわち、図 7 5 Bで示されているような、画素 pix l乃至 7からなる 7画素のダイナミックレンジブロックの場合、 pix 2の画素値が最大値として検出され、 pix 7の画素が最小値として検出され、これらの差分がダイナミックレンジとして求められる。

ステップ S 7 2 4において、差分足し込み部 7 2 3は、データ取得部 7 1 2に記憶されている抽出プロックの画素間のうち、データ選択部 7 0 1の水平 ·垂直判定部 7 1 1の判定結果に対応する方向に隣接する画素間の画素値の差分を求め (検出し）、 MaxMin取得部 7 2 2より入力されたダイナミックレンジを乗じた値を足し込む。すなわち、差分足し込み部 7 2 1は、上述の式（4 0 ) の分子となる項の和を生成し、記憶する。

ここで、図 8 8のフローチャートの説明に戻る。

ステップ S 7 0 4において、差分足し込み部 7 2 1は、抽出ブロックの全ての画素の画素間の画素値の差分（水平 ·垂直判定部 7 1 1の判定結果に対応する方向に隣接する画素間の画素値の差分）を足し込んだか否かを判定し、例えば、抽出プロックの全ての画素の画素間の差分を足し込んでいないと判定した場合、その処理は、ステップ S 7 0 2に戻り、それ以降の処理が繰り返される。すなわち、抽出プロックの全ての画素の画素間の画素値の差分が足し込まれたと判定されるまで、ステップ S 7 0 2乃至 S 7 0 4の処理が繰り返される。ステップ S 7 0 4において、抽出プロックの全ての画素の画素間の画素値の差分が足し込まれたと判定された場合、ステップ S 7 0 5にいて、差分足し込み部 7 2 1 , 7 2 3は、自らで記憶している足し込み結果を定常方向導出部 7 0 3に出力する。

ステップ S 7 0 6において、定常方向演算部 7 3 1は、データ足し込み部 7 0 2の差分足し込み部 7 2 1より入力された、取得ブロックの各画素間のうち、水平 -垂直判定部 7 1 1により判定された方向に隣接する画素間の画素値の差分の自乗和、差分足し込み部 7 2 3より入力された、取得ブロックの各画素間のうち、水平 ·垂直判定部 7 1 1により判定された方向に隣接する画素間の画素値の差分、および、取得ブロックの各画素に対応するダイナミックレンジとの積の和に基づいて、上述の式（4 0 ) で示した正規方程式を解くことにより、最小自乗法を用いて統計的に注目画素のデータ定常性情報である、定常性の方向を示す角度（細線、または、 2値エッジの傾きを示す角度）を演算し、出力する。

ステップ S 7 0 7において、データ取得部 7 1 2は、入力画像の全ての画素について処理が行われたか否かを判定し、例えば、入力画像の全ての画素について処理が行われていない、すなわち、入力画像の全ての画素について、細線、または、 2値エッジの角度の情報を出力していないと判定した場合、ステップ S 7 0 8において、カウンタ Tを 1インクリメントして、その処理は、ステップ S 7 0 2に戻る。すなわち、入力画像のうちの処理しょうとする画素が変更されて、入力画像の全ての画素について処理がなされるまで、ステップ S 7 0 2乃至 S 7 0 8の処理が繰り返されることになる。このカウンタ Tによる画素の変化は、例えば、ラスタスキャンなどであってもよいし、それ以外の規則により順次変化していくものであってもよい。

ステップ S 7 0 7において、入力画像の全ての画素について処理がなされたと判定された場合、ステップ S 7 0 9において、データ取得部 7 1 2は、次の入力画像があるか否かを判定し、次の入力画像があると判定された場合、その処理は、ステップ S 7 0 1に戻り、それ以降の処理が繰り返される。ステップ S 7 0 9において、次の入力画像はないと判定された場合、その処理は、終了する。

以上の処理により、細線、または、 2値エッジの角度が、定常性情報として検出されて、出力される。

このように統計的処理により得られる細線、または、エッジの傾きの角度は、相関を用いて得られる細線、または、 2値エッジの角度とほぼ一致する。すなわち、図 9 1 Aで示すような画像の白線で囲まれる範囲の画像について、細線上の所定の水平方向の座標上の空間方向 Yへの傾きの変化は、図 9 1 Bで示されるように、相関を用いた方法により得られる細線の傾きを示す角度（図中の黒丸印）と、図 6 3で示されたデータ定常性検出部 1 0 1により統計処理により得られる細線の角度（図中の黒三角印）は、細線近傍の空間方向 Yの座標上で、それぞれがほぼ一致している。尚、図 9 1 Bにおいては、図中の黒実線で挟まれた空間方向 Y = 6 8 0乃至 7 3 0が細線上の座標である。

同様にして、図 9 2 Αで示すような画像の白線で囲まれる範囲の画像について、 2値エッジ上の所定の水平方向の座標上の空間方向 Yへの傾きの変化は、図 9 2 Bで示されるように、相関を用いた方法により得られる 2値エッジの傾きを示す度（図中の黒丸印）と、図 6 3で示されたデータ定常性検出部 1 0 1により統計処理により得られる 2値エッジの角度（図中の黒三角印）は、細線近傍の空間方向 Yの座標上で、それぞれがほぼ一致している。尚、図 9 2 Bにおいては、空間方向 Y = 3 7 6 (付近）乃至 3 8 8 (付近）が細線上の座標であるである。結果として、図 6 3に示されるデータ定常性検出部 1 0 1は、データの定常性として細線、または、 2値エッジの角度を求める際、所定の画素からなるプロックによる相関を用いる方法と異なり、各画素の周辺の情報を用いて、統計的に細線、または、 2値エッジの傾きを示す角度（ここでは、水平方向を基準軸とした角度）を求めることができるので、相関を用いた方法に見られるように、所定の角度の範囲に応じて切り替わることが無いので、全ての細線、または、 2値エツジの傾きの角度を同一の処理により求めることが可能となるため、処理を簡単なものとすることが可能となる。

また、以上においては、データ定常性検出部 1 0 1は、細線、または、 2値ェッジの所定の基準軸とのなす角度を定常性情報として出力する例について説明してきたが、後段の処理によっては、傾きをそのまま出力する方が、処理効率が向上することも考えられる。そのような場合、データ定常性検出部 1 0 1の定常方向導出部 7 0 3の定常方向演算部 7 3 1は、最小自乗法により求められた細線、または、 2値エッジの傾き G _fを、そのまま定常性情報として出力するようにしてもよい。

さらに、以上においては、式（4 0 ) において、ダイナミックレンジ Dri_r は、抽出プロックの各画素について求められるものとして演算してきたが、このダイナミックレンジは、ダイナミックレンジプロックを十分に大きく設定することにより、すなわち、多くの注目画素について、その周辺の多くの画素を用いて設定することにより、画像中の画素の画素値の最大値と最小値が、常に選択されることになるはずである。従って、ダイナミックレンジ Dri_rは、抽出ブロックの各画素について演算することなく、抽出プロック中、または、画像データ中の画素の最大値と最小値から得られるダイナミックレンジを固定値として演算するようにしてもよい。

すなわち、以下の式（4 1 ) のように、画素間の画素値の差分のみを足し込むことにより細線の角度 0 (傾き G _f) を求めるようにしてもよい。このように、ダイナミックレンジを固定することにより、演算処理をより簡素化することができ、高速で処理を行うことが可能となる。

( 4 1 ) 次に、図 9 3を参照して、データ定常性情報として、各画素の混合比を検出するデータ定常性検出部 1 0 1について説明する。

尚、図 9 3のデータ定常性検出部 1 0 1においては、図 6 3のデータ定常性検出部 1 0 1における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図 9 3のデータ定常性検出部 1 0 1において、図 6 3のデータ定常性検出部 1 0 1と異なるのは、データ足し込み部 7 0 2、および、定常性方向導出部 7 0 3 に代えて、データ足し込み部 7 5 1、および、混合比導出部 7 6 1が設けられている点である。

データ足し込み部 7 5 1の MaxMin取得部 7 5 2は、図 6 3における MaxMin 取得部 7 2 2と同様の処理を行うものであるが、ダイナミックレンジプロックの各画素の画素値の最大値と最小値を取得し、最大値と最小値の差分（ダイナミツクレンジ）を求め、足し込み部 7 5 3， 7 5 5に出力すると共に、最大値を差分演算部 7 5 4に出力する。

足し込み部 7 5 3は、 MaxMin取得部より入力された値を自乗して、抽出プロックの全ての画素について足し込み、その和を求めて、混合比導出部 7 6 1に出力する。

差分演算部 7 5 4は、データ取得部 7 1 2の取得ブロックの各画素について、対応するダイナミックレンジブ口ックの最大値との差分を求めて、足し込み部 7 5 5に出力する。

足し込み部 7 5 5は、取得プロックの各画素について、 MaxMin取得部 7 5 2 より入力された最大値と最小値の差分（ダイナミックレンジ）と、差分演算部 7 5 4より入力された取得ブロックの各画素の画素値と、対応するダイナミックレンジプロックの最大値との差分と乗じて、その和を求め、混合比導出部 7 6 1に出力する。混合比導出部 76 1の混合比算出部 762は、データ足し込み部の足し込み部 75 3， 7 5 5のそれぞれより入力された、値に基づいて、注目画素の混合比を最小自乗法により統計的に求め、データ定常性情報として出力する。

次に、混合比の導出方法について説明する。

図 94Aで示されるように、画像上に細線が存在する場合、センサで撮像された画像は、図 94Bで示されるような画像となる。個の画像について、図 94 B の空間方向 X = X 1上の黒の実線で囲まれた画素について注目する。尚、図 94 Bの白線ではさまれた範囲は、細線領域に対応する位置を示す。この画素の画素値 Mは、背景領域のレベルに対応する画素値 Bと、細線領域のレベルに対応する画素値 Lの中間色となっているはずであり、さらに詳細には、この画素値 P_sは、背景領域と細線領域の面積比で、それぞれのレベルが混合されているはずである。従って、この画素値 P_sは、以下の式（42) により表現される。

P_s= XB+ (1 - a) XL

• · · (42) ここで、ひは、混合比であり、より具体的には、注目されている画素中の背景領域の占める面積の割合を示すものである。従って、（1一）は、細線領域の占める面積の割合を示しているともいえる。尚、背景領域の画素は、背景に存在するォブジェクトの成分とも考えられるので、背景オブジェクト成分とも言える。また、細線領域の画素は、背景オブジェクトに対して前景オブジェクトの成分であると考えられるので、前景オブジェクト成分とも言える。

この結果、混合比は、式（42) を展開することにより、以下の式（4 3) で表現できることになる。

a= (P_s-L) / (B-L)

• · · (43) さらに、今の場合、画素値は、第 1の画素値（画素値 B) の領域と第 2の画素値（画素値 L) の領域とをまたいだ位置に存在することが前提であるので、画素値 Lは、画素値の最大値 Maxで置き換えることができ、さらに、画素値 Bは、画素値の最小値と置き換えることができる。従って、混合比は、以下の式

(44) でも表現することができる。

(44) 以上の結果、混合比 0/は、注目画素についてのダイナミックレンジブ口ックのダイナミックレンジ ( (Mi n -Max) に相当する）と、注目画素と、ダイナミックレンジブ口ック内の画素の最大値との差分から求めることが可能となるが、より精度を向上させるため、ここでは、最小自乗法により統計的に混合比 α' を求める。

すなわち、上述の式（44) は、展開すると以下の式（45) となる。

(P_s— Max) = 01 X (Min— Max)

(45) この式（45) は、上述の式（36) と同様の 1変数の最小自乗法の式となる。すなわち、式（36) においては、最小自乗法により傾き G_fが求められていたが、ここでは、混合比 0?が求められることになる。従って、以下の式（46) で示される正規方程式を解くことにより、混合比は、統計的に求められる。

(46) ここで、 iは、抽出ブロックの各画素を識別するものである。従って、式（4 6) においては、抽出ブロックの画素数は nである。

次に、図 9 5のフローチャートを参照して、混合比をデータ定常性としたときのデータ定常性の検出の処理について説明する。

ステップ S 7 3 1において、水平 ·垂直判定部 7 1 1は、入力画像の各画素を識別するカウンタ Uを初期化する。ステップ S 7 3 2において、水平 ·垂直判定部 7 1 1は、後段の処理に必要なデータの抽出処理を実行する。尚、ステップ S 7 3 2の処理は、図 8 9のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。ステップ S 7 3 3において、データ足し込み部 7 5 1は、正規方程式（ここでは、式（4 6 ) ) の演算の各項に必要な値の足し込み処理を実行する。

ここで、図 9 6のフローチャートを参照して、正規方程式への足し込み処理について説明する。

ステップ S 7 5 1において、 MaxMin取得部 7 5 2は、データ取得部 7 1 2に記憶されたダイナミックレンジプロックに含まれる画素の画素値の最大値と最小値を取得し、そのうち、最小値を差分演算部 7 5 4に出力する。

ステップ S 7 5 2において、 MaxMin取得部 7 5 2は、その最大値と最小値との差分からダイナミックレンジを求め、差分足し込み部 7 5 3， 7 5 5に出力する。

ステップ S 7 5 3において、足し込み部 7 5 3は、 MaxMin取得部 7 5 2より入力されたダイナミックレンジ（Max— Min) を自乗して、足し込む。すなわち足し込み部 7 5 3は、上述の式（4 6 ) の分母に相当する値を足し込みにより生成する。

ステップ S 7 5 4において、差分演算部 7 5 4は、 MaxMin取得部 7 5 2より入力されたダイナミックレンジプロックの最大値と、抽出プロックにおける今現在処理中の画素の画素値との差分を求めて、足し込み部 7 5 5に出力する。ステップ S 7 5 5において、足し込み部 7 5 5は、 MaxMin取得部 7 5 2より入力されたダイナミックレンジと、差分演算部 7 5 4より入力された、今現在処理している画素の画素値と、ダイナミックレンジブ口ックの画素のうち最大値となる値との差分を乘じて、足し込む。すなわち、足し込み部 7 5 5は、上述の式 ( 4 6 ) の分子の項に相当する値を生成する。

以上のように、データ足し込み部 7 5 1は、足し込み処理により、上述の式 ( 4 6 ) の各項の演算を実行する。ここで、図 9 5のフローチャートの説明に戻る。

ステップ S 7 3 4において、差分足し込み部 7 2 1は、抽出ブロックの全ての画素について、足し込みが終了したか否かを判定し、例えば、抽出プロックの全ての画素についての足し込み処理が終了していないと判定した場合、その処理はステップ S 7 3 2に戻り、それ以降の処理が繰り返される。すなわち、抽出プロックの全ての画素について、足し込み処理が終了したと判定されるまで、ステツプ S 7 3 2乃至 S 7 3 4の処理が繰り返される。

ステップ S 7 3 4において、抽出ブロックの全ての画素について足し込みが終了したと判定された場合、ステップ S 7 3 5にいて、足し込み部 7 5 3， 7 5 5 は、自らで記憶している足し込み結果を混合比導出部 7 6 1に出力する。

ステップ S 7 3 6において、混合比導出部 7 6 1の混合比算出部 7 6 2は、データ足し込み部 7 5 1の足し込み部 7 5 3 , 7 5 5より入力された、ダイナミツクレンジの自乗和、および、抽出ブロックの各画素の画素ィ直とダイナミックレンジブ口ックの最大値との差分と、ダイナミックレンジとを乗じた和に基づいて、上述の式（4 6 ) で示した正規方程式を解くことにより、最小自乗法を用いて統計的に注目画素のデータ定常性情報である、混合比を演算し、出力する。

ステップ S 7 3 7において、データ取得部 7 1 2は、入力画像の全ての画素について処理が行われたか否かを判定し、例えば、入力画像の全ての画素について処理が行われていない、すなわち、入力画像の全ての画素について、混合比を出力していないと判定した場合、ステップ S 7 3 8において、カウンタ Uを 1インクリメントして、その処理は、ステップ S 7 3 2に戻る。

すなわち、入力画像のうちの処理しょうとする画素が変更されて、入力画像の全ての画素について混合比が演算されるまで、ステップ S 7 3 2乃至 S 7 3 8の処理が繰り返されることになる。このカウンタ Uによる画素の変化は、例えば、ラスタスキャンなどであってもよいし、それ以外の規則により順次変化していくものであってもよい。ステップ S 7 3 7において、入力画像の全ての画素について処理がなされたと判定された場合、ステップ S 73 9において、データ取得部 7 1 2は、次の入力画像があるか否かを判定し、次の入力画像があると判定された場合、その処理は、ステップ S 73 1に戻り、それ以降の処理が繰り返される。

ステップ S 7 39において、次の入力画像はないと判定された場合、その処理は、終了する。

以上の処理により、各画素の混合比が、定常性情報として検出されて、出力される。

以上の手法により、例えば、図 97 Aで示される画像中の白線内の細線の画像について、所定の空間方向 X (= 56 1， 562, 563 ) 上の混合比の変化が、図 9 7 Bに示されている。図 9 7 Bで示されるように、水平方向に連続する空間方向 Yの混合比の変化は、それぞれ、空間方向 X= 563の場合、混合比は、空間方向 Y= 660付近で立ち上がり、 Υ= 68 5付近でピークとなり、 Υ= 71 0まで減少する。また、空間方向 Χ= 56 2の場合、混合比は、空間方向 Υ=6 80付近で立ち上がり、 Υ= 70 5付近でピークとなり、 Υ= 7 3 5まで減少する。さらに、空間方向 Χ= 5 6 1の場合、混合比は、空間方向 Υ= 70 5付近で立ち上がり、 Υ= 725付近でピークとなり、 Υ= 755まで減少する。

このように、図 9 7 Βで示されるように、連続する空間方向 Xのそれぞれの混合比の変化は、混合比により変化する画素値の変化（図 72 Βで示した画素値の変化）と同様の変化であり、周期的に連続していることから、細線近傍の画素の混合比が正確に表現されていることが分かる。

また、同様にして、図 98 Αで示される画像中の白線内の 2値エッジの画像について、所定の空間方向 X (= 6 58， 6 59, 660) 上の混合比の変化が、図 98 Bに示されている。図 98 Bで示されるように、水平方向に連続する空間方向 Yの混合比の変化は、それぞれ、空間方向 X= 660の場合、混合比は、空間方向 Y= 750付近で立ち上がり、 Υ = 765付近でピークとなる。また、空間方向 Χ= 65 9の場合、混合比は、空間方向 Υ= 760付近で立ち上がり、 Υ = 7 7 5付近でピークとなる。さらに、空間方向 X= 6 5 8の場合、混合比は、空間方向 Y = 7 70付近で立ち上がり、 Υ = 7 8 5付近でピークとなる。

このように、図 9 8 Βで示されるように、 2値エッジの混合比の変化は、混合比により変化する画素値の変化（図 8 4 Βで示した画素値の変化）と同様の変化とほぼ同様であり、周期的に連続していることから、 2値エッジ近傍の画素値の混合比が正確に表現されていることが分かる。

以上によれば、最小自乗法により統計的にデータ定常性情報として、各画素の混合比を求めることが可能となる。さらに、この混合比に基づいて、各画素の画素値を直接生成することが可能となる。

また、混合比の変化が、定常性を有するものであり、さらに、この混合比の変化が直線的なもので近似すると、以下の式（4 7) で示されるような関係が成立する。

0? =m X y + n

• · · (4 7) ここで、 mは、混合比力空間方向 Yに対して変化するときの傾きを示し、また、 nは、混合比が直線的に変化するときの切片に相当するものである。すなわち、図 9 9で示されるように、混合比を示す直線は、背景領域のレベルに相当する画素値 Bと、細線のレベルに相当するレベル Lの境界を示す直線であり、この場合、空間方向 Yについて単位距離進んだときの混合比の変化量が傾き mとなる。

そこで、式（4 7) を、式（4 2) に代入すると以下の式（4 8) が導出される。

M= (m X y + n) x B + (1— (m x y + n) ) x L

• · · (4 8) さらに、この式（4 8) を展開すると、以下の式（4 9) が導出される。

M— L= (y XB— y XL) Xm+ (B— L) x n

- - - (4 9) 式（4 9 ) においては、第 1項の mが、混合比の空間方向の傾きを示し、第 2 項が混合比の切片を示す項である。従って、上述の式（4 9 ) の m， nを 2変数の最小自乗法を用いて、正規方程式を生成し、求めるようにすることもできる。しかしながら、混合比の傾き mは、上述した細線や 2値ェッジの傾き（上述の傾き G _f) そのものであるので、予め、上述の方法を用いて、細線、または、 2値ェッジの傾き G _fを求めた後、その傾きを用いて、式 ( 4 9 ) に代入することにより、切片の項についての 1変数の関数とし、上述した手法と同様に、 1変数の最小自乗法により求めるようにしてもよい。

以上の例においては、空間方向の細線、または、 2値エッジの角度（傾き）、または、混合比をデータ定常性情報として検出するデータ定常性検出部 1 0 1について説明してきたが、例えば、空間内の軸（空間方向 X , Y ) のいずれかを、時間方向（フレーム方向） τの軸に置き換えることにより得られる、空間方向における角度に対応するものであってもよい。すなわち、空間内の軸（空間方向 X， Y) のいずれかを、時間方向（フレーム方向） Tの軸に置き換えることにより得られる角度に対応するものとは、物体の動きべクトル（動きべクトルの方向）でめる。

より具体的には、図 1 0 0 Aで示すように、物体が、時間が進むにつれて空間方向 Yについて、図中の上方向に移動している場合、図中の細線に相当する部分 (図 7 O Aとの比較）には、物体の移動の軌跡が現れることになる。従って、時間方向 Tの細線における傾きは、図 1 0 O Aにおいては、物体の動く方向（物体の動きを示す角度）を示すもの（動きベクトルの方向と同値のもの）である。従つて、現実世界において、図 1 0 O A中の矢印で示される、所定の時刻におけるフレームでは、図 1 0 0 Bで示すように物体の軌跡となる部分が、物体の（色の）レベルとなり、それ以外の部分が、背景のレベルとなつたパルス状の波形となる。

このように、センサにより動きのある物体を撮像したした場合、図 1 0 1 Aで示されるように、時刻 T 1乃至 T 3におけるフレームの各画素の画素値の分布は、図 1 0 1 Bで示されるように、空間方向 Yに対して、それぞれ山型の波形をとる。この関係は、図 7 1 A , 図 7 1 Bを参照して、説明した空間方向 X， Yにおける関係と同様であるものと考えることができる。従って、フレーム方向 Tに対して、物体に動きがある場合、上述した細線の傾き、または、 2値エッジの角度（傾き）の情報と同様の手法により、物体の動きべクトルの方向をデータ定常性情報として求めることも可能である。尚、図 1 0 1 Bにおいては、フレーム方向 T

(時間方向 T ) について、各マス目は、 1 フレームの画像を構成するシャツタ時間となる。

また、同様にして、図 1 0 2 Aで示されるように、フレーム方向 T毎に、空間方向 Yについて物体に動きがある場合、図 1 0 2 Bで示されるように、所定の時刻 T 1に相当するフレーム上で空間方向 Yに向けて、物体の動きに対応して、各画素値が得られることになる。このとき、例えば、図 1 0 2 Bにおける、黒の実線で囲まれた画素の画素値は、図 1 0 2 Cで示されるように、物体の動きに対応して、背景のレベルと物体のレベルがフレーム方向に混合比で混合している画素値である。

この関係は、図 9 4 A，図 9 4 B , 図 9 4 Cを参照して説明した関係と同様である。

さらに、図 1 0 3で示されるように、物体のレベル Oと背景のレベル Bとは、フレーム方向（時間方向）の混合比 S により直線近似することも可能である。個の関係は、図 9 9を参照して説明した空間方向の混合比の直線近似と同様の関係である。

従って、空間方向の混合比と同様の手法により、時間（フレーム）方向の混合比をデータ定常性情報として求めることも可能である。

また、フレーム方向、または、空間方向のいずれか 1次元を選択して、定常性の角度、または、動きべクトルの方向を求めるようにしてもよいし、同様にして混合比び， β を選択的に求めるようにしてもよい。以上によれば、現実世界の光信号を射影し、現実世界の光信号の定常性の一部が欠落した画像データ内の注目画素に対応する領域を選択し、選択した領域内の、欠落した現実世界の光信号の定常性に対応する画像データの定常性の基準軸に対する角度を検出するための特徴を検出し、検出した特徴に基づいて統計的に角度を検出し、検出した画像データの定常性の基準軸に対する角度に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにしたので、定常性の角度（動きべクトルの方向）、または、（時空間の）混合比を求めることが可能となる。

以上のように、データ定常性検出部 1 0 1は、注目画素に対応する、入力画像の複数の周辺画素の、現実世界の光信号の定常性に対応するデータの定常性を検出する。

図 6に戻り、ステップ S 1 0 1において、データ定常性検出部 1 0 1により検出されるデータの定常性は、入力画像に含まれる、実世界の画像の定常性の一部であるか、または、実世界の信号の定常性から変化してしまった定常性である。例えば、データ定常性検出部 1 0 1は、同様の形状の並び方を示す、空間方向の角度（傾き）を検出することにより、データの定常性を検出する。

なお、データ定常性情報は、データの特徴'を示す特徴量として利用することができる。

ステップ S 1 0 2において、クラスタップ抽出部 1 0 2は、創造しようとする H D画像の注目している H D画素である注目画素を選択する。クラスタップ抽出部 1 0 2は、データ定常性検出部 1 0 1により検出されたデータの定常性に基づいて、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素をクラスタップとする。クラスタップは、特徴量検出部 1 0 3に供給され、手続は、ステップ S 1 0 3に進む。例えば、クラスタップ抽出部 1 0 2は、データ定常性検出部 1 0 1により検出されたデータの定常性に基づいて、注目画素の位置に空間的または時間的に近い複数の画素値を入力画像からクラスタップとして抽出して、クラスタップを生成する。次に、図 1 0 4乃至図 1 0 8を参照して、クラスタップ抽出部 1 0 2による、データの定常性に基づいた、注目画素に対応する、入力画像の複数の周辺画素の抽出の処理について説明する。

図 1 0 4は、従来の時間方向により高解像度の画像のフレームを創造するクラフ、分類適応処理における、動きべクトル Vを基にした、クラスタップの抽出の処理を説明する図である。

図 1 0 4において、横方向は、画像の空間方向を示し、縦方向は、時間方向を示す。フレーム # 1は、フレーム # 0の次のフレーム、すなわちフレーム # 0に対して時間的に後のフレームである。注目フレームは、フレーム # 0およびフレーム # 1の間に配置される。

図 1 0 4において、黒丸は、注目画素を示し、白丸は、抽出される周辺画素を示す。

従来のクラス分類適応処理において、注目画素に対応する動きべクトル Vが検出され、検出された動きベクトル Vが、注目画素を通過し、始点がフレーム # 0 に位置し、終点がフレーム # 1に位置するように配置される。そして、配置された動きべクトル Vの始点に位置する画素 x ⁽²⁾、動きべクトル Vの終点に位置する画素 x ⁽⁵⁾が、クラスタップとして抽出される。

さらに、従来のクラス分類適応処理において、画素 χ ⁽²⁾に隣接する、フレーム # 0の画素 χ ^ωおよび画素 x ⁽³⁾が、クラスタップとして抽出され、画素 x ⁽⁵⁾に隣接する、フレーム # 1の画素 x ⁽⁴⁾および画素 x ⁽⁶⁾が、クラスタップとして抽出される。

図 1 0 5は、本発明の画像処理装置における、データの定常性の方向 Cを基にした、クラスタップの抽出の処理を説明する図である。

以下の説明において、画素の単位は、入力画像における画素を基準とする。なお、図 1 0 5の上側において、空間方向 Yの座標値が増加し（プラス側）、図 1 0 5の下側において、空間方向 Yの座標値が減少する（マイナス側）。また、図 105の右側において、空間方向 Xの座標値が増加し（プラス側）、図 1 0 5 の左側において、空間方向 Xの座標値が減少する（マイナス側）。

図 1 05で示されるデータの定常性の方向 Cにおいて、空間方向 Xに 1画素の距離に対する空間方向 Yの変化量は、 3. 25画素である。

例えば、データの定常性を有する領域に属する注目画素（図中黒丸で示す）に対して、空間方向 Xに一 0. 25画素および空間方向 Yに一 0. 75画素の画素 x⁽⁵)、空間方向 Xに— 0. 25画素および空間方向 Yに + 0. 25画素の画素 X ")、並びに空間方向 Xに一 0. 2 5画素および空間方向 Yに一 1. 75画素の画素 X ⁽⁶⁾がクラスタップとして抽出される。

また、データの定常性を有する領域に属する注目画素に対して、空間方向に + 0. 75画素および空間方向 Yに + 2. 75画素の画素 x⁽²⁾、空間方向 Xに + 0. 75画素および空間方向 Yに + 3. 7 5画素の画素 x⁽¹)、並びに空間方向 X に +0. 7 5画素および空間方向 Yに + 1. 75画素の画素 X ⁽³⁾がクラスタップとして抽出される。

さらに、データの定常性を有する領域に属する注目画素に対して、空間方向 X に一 1. 25画素および空間方向 Yに _ 3. 75画素の画素 X ⁽⁸)、空間方向 Xに一 1. 25画素および空間方向 Yに一 2. 75画素の画素 x⁽⁷)、並びに空間方向 Xに一 1. 25画素および空間方向 Yに一 4. 75画素の画素 X ⁽⁹⁾がクラスタツプとして抽出される。

図 106および図 107を参照して、データの定常性に基づく、クラスタップとして抽出される画素の位置の決定について説明する。

図 1 06および図 10 7において、 X印は、 HD画素を示し、丸印は、 SD画素を示す。

以下、注目画素などの所定の基準位置から、空間方向 Xに a画素および空間方向 Yに b画素の位置を、（a, b) で表す。

例えば、注目画素の対応する位置の入力画素（対応画素）が含まれる空間方向 Yに 1列の画素であって、対応画素から定まる中心画素を中心とし、中心画素に空間方向 Yに隣接する画素からなる 3つの周辺画素、さらに 3つの周辺画素に空間方向 Xに隣接する 6つの周辺画素の位置が基準として予め定められている。なお、周辺画素の基準の位置は、空間方向 Xに 1画素おき、または空間方向 Υ に 1画素おきなど、任意に定めることができる。

対応画素は、注目画素に対して、空間方向 Xに一 0. 25画素乃至 + 0. 25 画素、および空間方向 Υに一 0. 25画素乃至 + 0. 25画素の範囲に位置する。中心画素は、対応画素と同じである場合もあるが、対応画素と同じでない場合もある。すなわち、中心画素は、対応画素と同じとは限らない。

例えば、図 1 06に示すように、注目画素である HD画素 _yiの位置が、対応画素 x_uを基準として（一 0. 25, + 0. 25) であるとき、対応画素 X uから空間方向 Xに 1画素の位置の画素 χ₁₂と、注目画素との空間方向 Xの距離は、 1. 25画素、すなわち 5Z4画素である。

データの定常性における、空間方向 Xに 1画素の距離に対する空間方向 Yの変化量が、 1画素であるとき（データの定常性の傾きが 1であるとき）、注目画素 y_iから空間方向 Xに 1. 25画素であって、空間方向 Yに 1. 25画素（空間方向 Xの距離 1. 25に傾き 1を乗算して得られた距離 1. 2 5) の位置に最も近い入力画素、例えば、入力画素 x₆がクラスタップとして選択される。

そして、選択された入力画素 x₆を基準として、入力画素 x₆に空間方向 Yに 1 列に並ぶ入力画素であって、入力画素 x₆に対して所定の位置にある入力画素がクラスタップとして選択される。例えば、選択された入力画素 x₆に空間方向 Y に隣接する入力画素 χ₃および入力画素 χ₉がクラスタップとして選択される。データの定常性における、空間方向 Xに 1画素の距離に対する空間方向 Yの変化量が、 2画素であるとき（データの定常性の傾きが 2であるとき）、図 1 06 に示すように、注目画素から空間方向 Xに 1. 25画素であって、空間方向 Yに 2. 50画素（空間方向 Xの距離 1. 25に傾き 2を乗算して得られた距離 2. 50) の位置に最も近い入力画素、例えば、入力画素 x₃がクラスタップとして選択される。そして、選択された入力画素 x₃を基準として、入力画素 x₃に空間方向 Yに 1 列に並ぶ入力画素であって、入力画素 x₃に対して所定の位置にある入力画素がクラスタップとして選択される。例えば、選択された入力画素 χ₃に空間方向 Y に隣接する入力画素が選択される。 '

例えば、図 1 0 6に示すように、注目画素である HD画素 _yiの位置が対応画素 x_uに対して（一0. 2 5 , + 0. 2 5 ) なので、対応画素 x_uと注目画素 y i との空間方向 Xの距離は、 0. 2 5画素、すなわち 1, 4画素である。

データの定常性における、空間方向 Xに 1画素の距離に対する空間方向 Yの変化量が、 2画素であるとき (データの定常性の傾きが 2であるとき) 、図 1 0 6 に示すように、注目画素 _yiから空間方向 Xに 0. 2 5画素であって、空間方向 Yに 0. 5 0画素（空間方向 Xの距離 0. 2 5に傾き 2を乗算して得られた距離 0. 5 0) の位置に最も近い入力画素、例えば、入力画素 _Xllが中心画素として、選択される。

そして、例えば、選択された入力画素に空間方向 Yに隣接する入力画素 x₈および入力画素 x₁₄が選択される。

すなわち、この場合、対応画素と中心画素とは、同じ画素となる。

データの定常性における、空間方向 Xに 1画素の距離に対する空間方向 Yの変化量が、 3. 2 5画素であるとき（データの定常性の傾きが 3. 2 5であるとき）、図 1 0 6に示すように、注目画素 _yiから空間方向 Xに 0. 2 5画素であつて、空間方向 Yに 0. 8 1 2 5画素（空間方向 Xの距離 0. 2 5に傾き 3. 2 5を乗算して得られた距離 0. 8 1 2 5) の位置に最も近い入力画素、例えば、入力画素 x₁₄が中心画素として、選択される。

そして、例えば、選択された入力画素 x₁₄に空間方向 Yに隣接する入力画素 x_uおよぴ入力画素 X ₁₇が選択される。

すなわち、この場合、対応画素と中心画素とは、異なる画素となる。

例えば、図 1 0 7に示すように、注目画素である HD画素 y₂の位置が、対応画素 x_uに対して（+ 0. 2 5， + 0. 2 5) であるとき、対応画素 x_uから空間方向 Xに 1画素の位置の画素 x₁₂と、注目画素 y₂との空間方向 Xの距離は、 0. 75画素、すなわち 3Z4画素である。

データの定常性における、空間方向 Xに 1画素の距離に対する空間方向 Yの変化量が、 1画素であるとき（データの定常性の傾きが 1であるとき）、注目画素 y₂から空間方向 Xに 0. 75画素であって、空間方向 Yに 0. 75画素（空間方向 Xの距離 0. 75に傾き 1を乗算して得られた距離 0. 7 5) の位置に最も近い入力画素、例えば、入力画素 x ₉がクラスタップとして選択される。

そして、選択された入力画素 x ₉を基準として、入力画素 χ ₉に空間方向 Yに 1 列に並ぶ入力画素であって、入力画素 X ₉に対して所定の位置にある入力画素がクラスタップとして選択される。例えば、選択された入力画素 χ₉に空間方向 Υ に隣接する入力画素 X ₆および入力画素 X ₁₂が選択される。

データの定常性における、空間方向 Xに 1画素の距離に対する空間方向 Υの変化量が、 2画素であるとき（データの定常性の傾きが 2であるとき）、図 1 07 に示すように、注目画素 y₂から空間方向 Xに 0. 75画素であって、空間方向 Yに 1. 50画素（空間方向 Xの距離 0. 75に傾き 2を乗算して得られた距離 1. 50) の位置に最も近い入力画素、例えば、入力画素 x ₆がクラスタップとして選択される。

そして、選択された入力画素 x₆を基準として、入力画素 χ₆に空間方向 Yに 1 列に並ぶ入力画素であって、入力画素 χ₆に対して所定の位置にある入力画素がクラスタップとして選択される。例えば、選択された入力画素 χ₆に空間方向 Υ に隣接する入力画素 X ₃および入力画素 X ₉が選択される。

このように、注目画素に対する、周辺画素の所定の方向の距離に、データの定常性の傾きを乗算することにより、周辺画素の他の方向の距離を求めて、データの定常性の方向を基に、クラスタップとして抽出される周辺画素の位置が特定される。このようにすることで、データの定常性を有する周辺画素をクラスタップとして選択できる。これにより、共通した特徴を有する周辺画素がクラスタップとして選択されるので、より適切にクラスを分類することができるようになる。

また、本 ¾明の画像処理装置においては、時空間方向のデータの定常性の方向を検出し、検出された時空間方向のデータの定常性の方向を基にして、時空間方向のクラスタップを抽出することができる。

図 1 0 8は、本発明の画像処理装置における、データ定常性検出部 1 0 1により検出された時空間方向のデータの定常性の方向 Cを基にした、時空間方向のクラスタップの抽出の処理を説明する図である。

図 1 0 8において、入力画像に対して、出力画像の一方の空間方向の画素の数は 2倍であり、出力画像の単位時間当たりのフレームの数は 2倍である。

図 1 0 8において、過去の時刻が、図中の左側の位置に対応し、未来の時刻が、図中の右側の位置に対応する。図 1 0 8の上側において、空間方向の座標値が増加し（プラス側）、図 1 0 8の下側において、空間方向の座標値が減少する（マイナス側）。

図 1 0 8において、 f-ぃ f。，： ^は、入力画像のフレームを示し、

F— ₂, F一い F。， Fい F₂， F₃は、出力画像のフレームを示す。

図 1 0 8で示されるデータの定常性の方向 Cにおいて、入力画像を基準として、時間方向に 1フレームの距離に対する空間方向の変化量が、 3 . 2 5画素である。例えば、データの定常性を有する領域に属する注目画素（図中黒丸で示す）に対して、時間方向に一 0 . 2 5フレームおよび空間方向に一 0 . 7 5画素の画素 x ⁽⁵)、時間方向に一 0 . 2 5フレームおよび空間方向に + 0 . 2 5画素の画素 χ ^ω、並びに時間方向に一 0 . 2 5フレームおよび空間方向に一 1 . 7 5画素の画素 χ ⁽⁶⁾がクラスタップとして抽出される。

データの定常性を有する領域に属する注目画素に対して、時間方向に + 0 . 7 5フレームおよび空間方向に + 2 . 7 5画素の画素 χ ⁽²)、時間方向に + 0 . 7 5 フレームおよび空間方向に + 3 . 7 5画素の画素（¹⁾、並びに時間方向に + 0 . 7 5フレームおよび空間方向に + 1 . 7 5画素の画素 x ⁽³⁾がクラスタップとして抽出される。

さらに、データの定常性を有する領域に属する注目画素に対して、時間方向に — 1 . 2 5フレームおよび空間方向に一 3 . 7 5画素の画素 x ⁽⁸)、時間方向に一 1 . 2 5フレームおよび空間方向に一 2 . 7 5画素の画素 x ⁽⁷)、並びに時間方向に一 1 . 2 5フレームおよび空間方向に一 4 . 7 5画素の画素 X ⁽⁹⁾がクラスタツプとして抽出される。

時空間方向のデータの定常性の傾きを基に、時空間方向にクラスタップを抽出する処理は、図 1 0 6および図 1 0 7を参照して説明した処理において、空間方向の一方を時間方向に置き換えたものと同様なので、その説明は省略する。時空間方向のデータの定常性の傾きを基に、時空間方向にクラスタップを抽出することにより、時空間方向のデータの定常性を考慮したクラスタップを抽出することができるようになる。

図 6に戻り、ステップ S 1 0 3において、特徴量検出部 1 0 3は、入力画像またはクラスタップから特徴量を検出して、検出された特徴量をクラス分類部 1 0 4に供給すると共に、クラスタップをクラス分類部 1 0 4に供給して、ステップ S 1 0 4に進む。

ステップ S 1 0 4において、クラス分類部 1 0 4は、特徴量検出部 1 0 3から供給される特徴量またはクラスタップに基づき、 1以上のクラスのうちのいずれかのクラスに、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数メモリ 1 0 5および予測タップ抽出部 1 0 6に供給して、ステップ S 1 0 5に進む。

ステップ S 1 0 5において、予測タップ抽出部 1 0 6は、データ定常性検出部 1 0 1により検出されたデータの定常性に基づいて、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素を予測タップとする。予測タップ抽出部 1 0 6による予測タップの抽出の処理は、クラスタップ抽出部 1 0 2における処理と同様なので、その詳細な説明は省略する。

このようにすることで、データの定常性を有する周辺画素を予測タップとして選択できる。これにより、共通した特徴を有する周辺画素が予測タップとして選択されるので、より精度良く、またはより正確に画素値を予測することができるようになる。

すなわち、予測タップ抽出部 1 0 6は、予測タップ抽出部 1 0 6は、データ定常性検出部 1 0 1により検出されたデータの定常性およびクラス分類部 1 0 4から供給されたクラスコードに基づいて、注目画素の位置に空間的または時間的に近い複数の画素値を入力画像から予測タップとして抽出して、予測タップを生成する。予測タップは、画素値予測部 1 0 7に供給され、手続は、ステップ S 1 0 6に進む。

ステップ S 1 0 6において、係数メモリ 1 0 5は、クラス分類部 1 0 4から供給されるクラスコードに対応するァドレスに記憶されている予測係数（タップ係数）を読み出し、これにより、注目画素のクラスの予測係数を取得して、予測係数を画素値予測部 1 0 7に供給し、ステップ S 1 0 7に進む。

ステップ S 1 0 7において、画素値予測部 1 0 7は、特徴量検出部 1 0 3により検出された特徴量に基づいて、適応処理により、予測タップ抽出部 1 0 6により抽出された複数の周辺画素から注目画素（の予測値）を予測し、ステップ S 1 0 8に進む。すなわち、ステップ S 1 0 7では、画素値予測部 1 0 7は、予測タップ抽出部 1 0 6からの予測タップと、係数メモリ 1 0 5からの予測係数（タツプ係数）とを用いて、式（1 ) に示した演算を行い、注目画素（の予測値）を予測する。

ステップ S 1 0 8において、クラスタップ抽出部 1 0 2は、 H D画像の注目しているフレームの画素のうち、まだ、注目画素としていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップ S 1 0 2に戻り、以下、同様の処理を繰り返す。また、ステップ S 1 0 8において、注目フレームの画素のうち、注目画素としていない画素が存在しないと判定された場合、即ち、注目フレームを構成するすベての H D画素が、予測された場合、画素値予測部 1 0 7は、予測された画素からなる出力画像を出力して、処理は終了する。

このように、図 5に構成を示す画像処理装置は、入力画像から、より高解像度の出力画像を生成して、生成した出力画像を出力することができる。

図 1 0 9乃至図 1 1 8は、本発明に係る画像処理装置の処理結果の例を説明する図である。

図 1 0 9は、入力画像の例を示す図である。図 1 1 0は、入力画像の元になつた画像示す図である。すなわち、図 1 1 0で示される画像の 4画素の画素値の平均から、図 1 0 9で示される入力画像の画素値を計算した。

図 1 1 1は、図 1 0 9で示される入力画像に、従来のクラス分類適応処理を適用することにより生成した画像を示す図である。

図 1 1 2は、図 1 0 9で示される入力画像からデータの定常性の傾きを検出し、データの定常性の傾きを基に、対応画素と中心画素とが常に同じになるように、クラスタップおよび予測タップを抽出して、クラス分類し、適応処理を適用することにより生成した画像を示す図である。

図 1 1 3は、図 5で示される画像処理装置により、図 1 0 9で示される入力画像から生成された画像を示す図である。すなわち、図 1 1 3は、入力画像からデータの定常性の傾きを検出し、データの定常性の傾きを基に、対応画素と中心画素とが適宜異なるように、クラスタップおょぴ予測タップを抽出して、クラス分類し、適応処理を適用することにより生成された画像を示す図である。

図 1 1 4は、入力画像の他の例を示す図である。図 1 1 5は、図 1 1 4で示される入力画像の元になつた画像を示す図である。すなわち、図 1 1 5で示される画像の 4画素の画素値の平均から、図 1 1 4で示される入力画像の画素値を計算した。図 1 1 6は、図 1 1 4で示される入力画像に、従来のクラス分類適応処理を適用することにより生成した画像を示す図である。

図 1 1 7は、図 1 1 4で示される入力画像からデータの定常性の傾きを検出し、データの定常性の傾きを基に、対応画素と中心画素とが常に同じになるように、クラスタツプぉよび予測タップを抽出して、クラス分類し、適応処理を適用することにより生成した画像を示す図である。

データの定常性の傾きを基に、クラスタップおよび予測タップを抽出しても、対応画素と中心画素とが常に同じになるようにした場合、滑らかな画像を得ることはできない。これは、垂直方向に同じ波形を含むタップが抽出されてしまい、水平方向に波形の変化がないとしてマッピングされた結果によるものと考えられる。

図 1 1 8は、図 5で示される画像処理装置により、図 1 1 4で示される入力画像から生成された画像を示す図である。すなわち、図 1 1 8は、入力画像からデータの定常性の傾きを検出し、データの定常性の傾きを墓に、対応画素と中心画素とが適宜異なるように、クラスタップおよび予測タップを抽出して、クラス分類し、適応処理を適用することにより生成された画像を示す図である。

図 5で示される画像処理装置により、入力画像から生成された画像は、従来のクラス分類適応処理を適用することにより生成された画像に比較して、より滑らかな画像であって、元の画像により近い画像であることがわかる。特に、図 1 1 8で示される画像からわかるように、本発明によれば、 2本線によるモアレ部分の画像をほぼ完全に復元できる。

次に、図 1 1 9は、図 5の係数メモリ 1 0 5に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の構成を示すプロック図である。図 1 1 9の学習装置には、タップ係数の学習用の画像（教師画像）としての、例えば H D画像が入力される。学習装置に入力された入力画像は、生徒画像生成部 8 0 1および教師画素抽出部 8 0 9に供給される。生徒画像生成部 8 0 1は、入力された入力画像（教師画像）から、生徒画像である S D画像を生成し、画像メモリ 8 0 2に供給する。生徒画像生成部 8 0 1は、例えば、教師画像としての H D画像の水平方向または垂直方向に互いに隣接する 4つの H D画素の画素値の平均値を求めて S D画像の画素値とすることにより、その教師画像としての H D画像に対応した生徒画像としての S D画像を生成する。ここで、 S D画像は、図 5の画像処理装置で処理対象となる S D画像に対応した画質のものとする必要がある。画像メモリ 8 0 2は、生徒画像生成部 8 0 1からの生徒画像である S D画像を一時記憶する。

図 1 1 9で示される学習装置においては、 S D画像を生徒データとして、タツプ係数が生成される。

データ定常性検出部 8 0 3は、図 5のデータ定常性検出部 1 0 1における場合と同様に、画像メモリ 8 0 2に記憶された生徒画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報をクラスタップ抽出部 8 0 4および予測タップ抽出部 8 0 7に供給する。

データ定常性検出部 8 0 3の構成の詳細は、データ定常性検出部 1 0 1と同様なので、その説明は省略する。

クラスタップ抽出部 8 0 4は、図 5のクラスタップ抽出部 1 0 2における場合と同様に、画像メモリ 8 0 2に記憶された生徒画像である S D画像に対応する教師画像としての H D画像に含まれる画素のうちの 1つの画素を、順次、注目画素とする。

さらに、クラスタツプ抽出部 8 0 4は、データ定常性検出部 8 0 4により検出されたデータの定常性に基づいて、注目画素に対応する、画像メモリ 8 0 2に記憶された生徒画像の複数の周辺画素を抽出し、抽出した生徒画像の複数の周辺画素をクラスタップとする。すなわち、クラスタップ抽出部 8 0 4は、データ定常性検出部 8 0 3により検出されたデータの定常性に基づいて、注目画素についてのクラスタップを、画像メモリ 8 0 2に記憶された S D画像から抽出し、特徴量検出部 8 0 5に供給する。ここで、クラスタップ抽出部 8 0 4は、図 5のクラスタップ抽出部 1 0 2が生成するのと同一のタップ構造のクラスタップを生成する。特徴量検出部 8 0 5は、図 5の特徴量検出部 1 0 3と同様の処理で、画像メモリ 8 0 2から供給された生徒画像またはクラスタツプ抽出部 8 0 4から供給されたクラスタップから特徴量を検出して、検出した特徴量をクラス分類部 8 0 6に供給する。

例えば、特徴量検出部 8 0 5は、画像メモリ 8 0 2から供給された S D画像またはクラスタップ抽出部 8 0 4から供給されたクラスタップを基に、 S D画像の画素の動きべクトルを検出して、検出した動きべクトルを特徴量としてクラス分類部 8 0 6に供給する。また、例えば、特徴量検出部 8 0 5は、 S D画像またはクラスタップを基に、 S D画像またはクラスタップの複数の画素の画素値の空間的または時間的な変化を検出して、検出した画素値の変化を特徴量としてクラス分類部 8 0 6に供給する。

さらに、例えば、特徴量検出部 8 0 5は、画像メモリ 8 0 2から供給された S D画像またはクラスタップ抽出部 8 0 4から供給されたクラスタップを基に、クラスタップまたは S D画像の複数の画素の画素値の空間的な変化の傾きを検出して、検出した画素値の変化の傾きを特徴量としてクラス分類部 8 0 6に供給する。なお、特徴量検出部 8 0 5は、特徴量検出部 1 0 3と同様に、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを求めることができる。すなわち、特徴量検出部 8 0 5は、図 5の特徴量検出部 1 0 3と同一の特徴量を検出する。

特徴量検出部 8 0 5は、特徴量とは別に、クラスタップをクラス分類部 8 0 6 に供給する。

クラス分類部 8 0 6は、図 5のクラス分類部 1 0 4と同様に構成され、特徴量検出部 8 0 5からの特徴量またはクラスタップに基づいて、 1以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、予測タップ抽出部 8 0 7および学習メモリ 8 1 0に供給する。予測タップ抽出部 8 0 7は、図 5の予測タップ抽出部 1 0 6と同様に構成され、データ定常性検出部 8 0 3により検出されたデータの定常性に基づいて、注目画素に対応する、生徒画像の複数の周辺画素を抽出し、抽出した生徒画像の複数の周辺画素を予測タップとする。すなわち、予測タップ抽出部 8 0 7は、データ定常性検出部 8 0 3により検出されたデータの定常性およびクラス分類部 8 0 6から供給されたクラスコードに基づいて、注目画素についての予測タップを、画像メモリ 8 0 2に記憶された S D画像から抽出し、足し込み演算部 8 0 8に供給する。ここで、予測タップ抽出部 8 0 7は、図 5の予測タップ抽出部 1 0 6が生成するのと同一のタップ構造の予測タップを生成する。

教師画素抽出部 8 0 9は、教師画像である入力画像（HD画像）から、注目画素を教師データ（教師画素）として抽出して、抽出した教師データを足し込み演算部 8 0 8に供給する。即ち、教師画素抽出部 8 0 9は、入力された学習用の画像である HD画像を、例えば、そのまま教師データとする。ここで、図 5の画像処理装置で得られる HD画像は、図 1 1 9の学習装置で教師データとして用いられる HD画像の画質に対応したものとなる。

足し込み演算部 8 0 8および正規方程式演算部 8 1 1は、注目画素となっている教師データと、予測タップ抽出部 8 0 7から供給される予測タップとを用い、教師データと生徒データとの関係を、クラス分類部 8 0 6から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。

即ち、足し込み演算部 8 0 8は、予測タップ抽出部 8 0 7から供給される予測タップ（SD画素）と、注目画素となっている教師データである HD画素とを対象とした、式 (8) の足し込みを行う。

具体的には、足し込み演算部 8 0 8は、予測タップを構成する生徒データとしての SD画素 x_n,_kを用い、式 (8) の左辺の行列における SD画素どうしの乗算 (x_n,_kx_n',_k) と、サメーシヨン（∑) に相当する演算を行う。さらに、足し込み演算部 8 0 8は、予測タップを構成する生徒データとしての SD画素 x_n,_kと、注目画素となっている教師データである HD画素 y_kを用い、式 (8) の右辺のベクトルにおける S D画素 x_n,_kおよび HD画素 y_kの

乗算 _n,_ky_k) と、サメーシヨン（∑) に相当する演算を行う。

足し込み演算部 8 0 8は、教師データとしての HD画像の画素すベてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式 (8) に対応した正規方程式をたてると、その正規方程式を、学習メモリ 8 1 0に供給する。学習メモリ 8 1 0は、足し込み演算部 8 0 8から供給された、生徒データとして SD画素、教師データとして HD画素が設定された、式（8) に対応した正規方程式を記憶する。

正規方程式演算部 8 1 1は、学習メモリ 8 1 0から、各クラスについての式 (8) の正規方程式を取得し、例えば、掃き出し法により、その正規方程式を解くことにより (クラスごとに学習し) 、クラスごとのタップ係数を求めて出力する。

すなわち、足し込み演算部 8 0 8および正規方程式演算部 8 1 1は、検出された特徴量毎に、抽出された複数の周辺画素から注目画素を予測する予測手段を学習する。

この場合、予測手段は、複数の周辺画素から注目画素を予測する具体的手段であり、例えば、クラス毎のタツプ係数により動作が規定される画素値予測部 1 0 7、または画素値予測部 1 0 7における処理を言う。複数の周辺画素から注目画素を予測する予測手段を学習するとは、例えば、複数の周辺画素から注目画素を予測する予測手段の実現（構築）を可能にすることを意味する。

従って、複数の周辺画素から注目画素を予測するための予測手段を学習するとは、例えば、クラス毎のタップ係数を得ることを言う。クラス毎のタップ係数を得ることにより、画素値予測部 1 0 7、または画素値予測部 1 0 7における処理が具体的に特定され、画素値予測部 1 0 7を実現し、または画素値予測部 1 0 7 における処理を実行することができるようになるからである。係数メモリ 8 1 2は、正規方程式演算部 8 1 1が出力するクラスごとのタップ係数を記憶する。

次に、図 1 2 0のフローチャートを参照して、図 1 1 9の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。

まず最初に、ステップ S 8 0 1において、生徒画像生成部 8 0 1は、例えば、 H D画像である、学習用の入力画像（教師画像）を取得し、画素を間引くことにより、例えば、 S D画像である生徒画像を生成する。例えば、生徒画像生成部 8 0 1は、 H D画像の水平方向または垂直方向に互いに隣接する 4つの H D画素の画素値の平均値を求めて、平均値を S D画像の画素値とすることにより、 S D画像を生成する。 S D画像は、画像メモリ 8 0 2に供給される。

ステップ S 8 0 2において、データ定常性検出部 8 0 3は、図 5のデータ定常性検出部 1 0 1における場合と同様に、画像メモリ 8 0 2に記憶された生徒画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報をクラスタップ抽出部 8 0 4および予測タップ抽出部 8 0 7に供給し、ステップ S 8 0 3に進む。

ステップ S 8 0 2における、データの定常性の検出の処理の詳細は、ステップ S 1 0 1における処理と同様なので、その詳細の説明は省略する。

そして、ステップ S 8 0 3に進み、クラスタップ抽出部 8 0 4は、教師データとしての H D画像の H D画素の中から、まだ注目画素としていないもののうちの 1つを注目画素として選択する。クラスタップ抽出部 8 0 4は、図 5のクラスタップ抽出部 1 0 2における場合と同様に、ステップ S 8 0 2の処理において検出されたデータの定常性に基づいて、注目画素に対応する、画像メモリ 8 0 2に記憶された生徒画像の複数の周辺画素を抽出し、抽出した生徒画像の複数の周辺画素をクラスタップとする。

すなわち、クラスタップ抽出部 8 0 4は、データ定常性検出部 8 0 3により検出されたデータの定常性に基づいて、注目画素についてのクラスタップを、画像メモリ 8 0 2に記憶された S D画像から抽出し、特徴量検出部 8 0 5に供給する。クラスタップ抽出部 8 0 4は、クラスタップを特徴量検出部 8 0 5に供給して、ステップ S 8 0 4に進む。

ステップ S 8 0 4において、特徴量検出部 8 0 5は、図 5の特徴量検出部 1 0

3における場合と同様に、ステップ S 8 0 1の処理において生成された生徒画像またはステップ S 8 0 3の処理において抽出されたクラスタップから、例えば、動きべクトル、または S D画像の画素の画素値の変化などの特徴量を検出して、検出した特徴量をクラス分類部 8 0 6に供給し、ステップ S 8 0 5に進む。ステップ S 8 0 5では、クラス分類部 8 0 6が、図 5のクラス分類部 1◦ 4における場合と同様にして、特徴量検出部 8 0 5からの特徴量またはクラスタップを用いて、 1以上のクラスのうちのいずれかのクラスに注目画素をクラス分類しその注目画素のクラスを表すクラスコードを、予測タップ抽出部 8 0 7および学習メモリ 8 1 0に供給して、ステップ S 8 0 6に進む。

ステップ S 8 0 6において、予測タップ抽出部 8 0 7は、図 5の予測タップ抽出部 1 0 6における場合と同様に、データ定常性検出部 8 0 3により検出されたデータの定常性に基づいて、注目画素に対応する、生徒画像の複数の周辺画素を抽出し、抽出した生徒画像の複数の周辺画素を予測タップとする。すなわち、予測タップ抽出部 8 0 7は、データ定常性検出部 8 0 3により検出されたデータの定常性おょぴクラス分類部 8 0 6から供給されるクラスコードに基づいて、注目画素に対応する予測タップを、画像メモリ 8 0 2に記憶されている生徒画像としての S D画像から抽出し、足し込み演算部 8 0 8に供給して、ステップ S 8 0 7 に進む。

ステップ S 8 0 7において、教師画素抽出部 8 0 9は、注目画素、すなわち H D画素である教師画素（教師データ）を入力画像から抽出し、抽出した教師画素を足し込み演算部 8 0 8に供給し、ステップ S 8 0 8に進む。

ステップ S 8 0 8では、足し込み演算部 8 0 8が、予測タップ抽出部 8 0 7から供給される予測タップ（生徒データ）、および教師画素抽出部 8 0 9から供給される教師画素（教師データ）を対象とした、上述した式（8 ) における足し込みを行い、生徒データおよび教師データが足し込まれた正規方程式を学習メモリ 8 1 0に記憶させ、ステップ S 8 0 9に進む。

そして、ステップ S 8 0 9では、クラスタツプ抽出部 8 0 4は、教師データとしての H D画像の H D画素の中に、まだ注目画素としていないものがあるかどうか、すなわち対象となる全画素の足し込みを終了したか否かを判定する。ステツプ S 8 0 9において、教師データとしての H D画像の H D画素の中に、まだ注目画素としていないものがあると判定された場合、ステップ S 8 0 3に戻り、以下、同様の処理が繰り返される。

また、ステップ S 8 0 9において、教師データとしての H D画像の H D画素の中に、注目画素としていないものがない、すなわち対象となる全画素の足し込みを終了したと判定された場合、ステップ S 8 1 0に進み、正規方程式演算部 8 1 1は、いままでのステップ S 8 0 8における足し込みによって、クラスごとに得られた式（8 ) の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ 8 1 0から読み出し、読み出した式（8 ) の正規方程式を掃き出し法などで解くことにより（クラス毎に学習し）、所定のクラスの予測係数（タップ係数）を求め、係数メモリ 8 1 2に供給する。係数メモリ 8 1 2 は、正規方程式演算部 8 1 1から供給された所定のクラスの予測係数（タップ係数）を、クラス毎に記憶し、ステップ S 8 1 1に進む。

すなわち、ステップ S 8 0 8およびステップ S 8 1 0において、特徴量検出部 8 0 5により検出された特徴量毎に、予測タップ抽出部 8 0 7により抽出された複数の周辺画素から注目画素を予測するための予測手段が学習される。

ステップ S 8 1 1において、正規方程式演算部 8 1 1は、全クラスの予測係数の演算を終了したか否かを判定し、全クラスの予測係数の演算を終了していないと判定された場合、ステップ S 8 1 0に戻り、次のクラスの予測係数を求める処理を繰り返す。

ステップ S 8 1 1において、全クラスの予測係数の演算を終了したと判定された場合、処理は終了する。以上のようにして、係数メモリ 8 1 2に記憶されたクラスごとの予測係数が、図 5の画像処理装置における係数メモリ 1 0 5に記憶されている。

なお、以上のような予測係数 (タップ係数) の学習処理において、用意する学習用の画像等によっては、タップ係数を求めるのに必要な数の正規方程式が得られなぃクラスが生じる場合があり得るが、そのようなクラスについては、例えば、正規方程式演算部 8 1 1において、デフオルトのタップ係数を出力するようにすること等が可能である。あるいは、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じた場合には、新たに学習用の画像を用意して、再度、タップ係数の学習を行うようにしても良い。このことは、後述する学習装置におけるタップ係数の学習についても、同様である。

図 1 2 1で構成が示される画像処理装置は、入力画像を取得し、入力された入力画像に対して、画面の水平方向に 2倍の解像度の画像（以下、水平倍密画像と称する）を創造して出力する。

図 1 2 1で示される画像処理装置においては、例えば、入力画像の一例である S D画像が入力'され、入力された S D画像からデータの定常性が検出され、検出されたデータの定常性を基に、 S D画像に対して、クラス分類適応処理が施されることにより、水平倍密画像の画素（以下、水平倍密画素と称する）が創造されると共に、データの定常性を利用せずに、 S D画像に対して、クラス分類適応処理が施されることにより、水平倍密画素が創造される。そして、 S D画像に対する、データの定常性を基に創造された水平倍密画素の積分特性が判定され、判定結果を基に、データの定常性を基に創造された水平倍密画素およびデータの定常性を利用せずに創造された水平倍密画素のいずれか一方が選択され、選択された水平倍密画素で水平倍密画像である出力画像が合成され、合成された出力画像が出力される。すなわち、図 1 2 1で構成が示される画像処理装置においては、データ定常性検出部 9 0 1、クラスタップ抽出部 9 0 2、特徴量検出部 9 0 3、クラス分類部 9 0 4、係数メモリ 9 0 5、予測タップ抽出部 9 0 6、画素値予測部 9 0 7、積分特性判定部 9 0 8、画像合成部 9 0 9、クラスタツプ抽出部 9 1 0、特徴量検出部 9 1 1、クラス分類部 9 1 2、係数メモリ 9 1 3、予測タップ抽出部 9 1 4 および画素値予測部 9 1 5が設けられている。

入力画像は、データ定常性検出部 9 0 1、クラスタップ抽出部 9 0 2、特徴量検出部 9 0 3、予測タップ抽出部 9 0 6、積分特性判定部 9 0 8、クラスタップ抽出部 9 1 0、特徴量検出部 9 1 1、および予測タップ抽出部 9 1 4に供給される。

データ定常性検出部 9 0 1は、入力画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報をクラスタップ抽出部 9 0 2および予測タップ抽出部 9 0 6に供給する。データ定常性情報は、例えば、データの定常性を有する画素の領域の方向（時間方向および空間方向の角度または傾き）（以下、デ —タの定常性の方向とも称する。）を含む。

データ定常性検出部 9 0 1は、データ定常性検出部 1 0 1と同様に構成され、その詳細な説明は省略する。データ定常性検出部 9 0 1によるデータの定常性の検出の処理は、データ定常性検出部 1 0 1における場合と同様なので、その説明は省略する。

クラスタップ抽出部 9 0 2は、クラス分類適応処理により求めようとする水平倍密画像の水平倍密画素のうちの 1つを、順次、注目画素とする。そして、クラスタップ抽出部 9 0 2は、データ定常性検出部 9 0 1により検出されたデータの定常性に基づいて、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素をクラスタップとする。すなわち、クラスタップ抽出部 9 0 2は、データ定常性検出部 9 0 1により検出されたデータの定常性に基づいて、注目画素についてのクラス分類に用いるクラスタップを、入力画像から抽出し、抽出したクラスタップを特徴量検出部 9 0 3に出力する。例えば、クラスタップ抽出部 9 0 2は、データの定常性に基づいて、注目画素の位置から空間的または時間的に近い位置にある複数の画素を、入力された入力画像から抽出することによりクラスタップとし、特徴量検出部 9 0 3に出力する。なお、データ定常性検出部 9 0 1、クラスタップ抽出部 9 0 2、および予測タップ抽出部 9 0 6は、データ定常性検出部 1 0 1、クラスタップ抽出部 1 0 2、および予測タップ抽出部 1 0 6における場合と同様にフレームメモリを設けることができる。

また、図 1 2 1で示される画像処理装置においても、入力側に 1つのフレームメモリを設けるようにしてもよい。

例えば、クラスタップ抽出部 9 0 2は、データ定常性検出部 9 0 1により検出されたデータの定常性に基づいて、注目画素について、注目画素の位置から近い横 X縦が 3 X 3個の画素を入力画像から抽出することによりクラスタップとする。クラスタップ抽出部 9 0 2は、抽出されたクラスタップを、特徴量検出部 9 0 3に供給する。

クラスタツプ抽出部 9 0 2によるクラスタツプの抽出の処理は、クラスタップ抽出部 1 0 2における場合と同様なので、その詳細な説明は省略する。

特徴量検出部 9 0 3は、クラスタップ抽出部 9 0 2から供給されたクラスタツプまたは入力画像から特徴量を検出して、検出した特徴量をクラス分類部 9 0 4 に供給する。

例えば、特徴量検出部 9 0 3は、クラスタップ抽出部 9 0 2から供給されたクラスタップまたは入力画像を基に、入力画像の画素の動きべクトルを検出して、検出した動きベクトルを特徴量としてクラス分類部 9 0 4に供給する。また、例えば、特徴量検出部 9 0 3は、クラスタップまたは入力画像を基に、クラスタツプまたは入力画像の複数の画素の画素値の空間的または時間的な変化 (ァクティビティ）を検出して、検出した画素値の変化を特徴量としてクラス分類部 9 0 4 に供給する。さらに、例えば、特徴量検出部 9 0 3は、クラスタップ抽出部 9 0 2から供給されたクラスタップまたは入力画像を基に、クラスタップまたは入力画像の複数の画素の画素値の空間的な変化の傾きを検出して、検出した画素値の変化の傾きを特徴量としてクラス分類部 9 0 4に供給する。

なお、特徴量として、画素値の、ラプラシアン、ソ一ベル、または分散などを採用することができる。

特徴量検出部 9 0 3は、特徴量とは別に、クラスタップをクラス分類部 9 0 4 に供給する。

クラス分類部 9 0 4は、特徴量検出部 9 0 3からの特徴量またはクラスタップに基づいて、 1以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数メモリ

9 0 5と予測タップ抽出部 9 0 6とに供給する。

クラス分類部 9 0 4は、クラス分類部 1 0 4と同様の処理でクラスコードを生成するので、その詳細な説明は省略する。

係数メモリ 9 0 5は、学習の教師となる、出力画像の一例である水平倍密画像の水平倍密画素である教師データと、学習の生徒となる、入力画像の一例である S D画像の画素値である生徒データとの関係を、 1以上のクラスごとに学習することにより得られたタツプ係数を記憶している。そして、係数メモリ 9 0 5は、クラス分類部 9 0 4から注目画素のクラスコ一ドが供給されると、そのクラスコ一ドに対応するァドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値予測部 9 0 7に供給する。

なお、係数メモリ 9 0 5に記憶されるタップ係数は、図 1 1 9で構成が示される学習装置または図 1 2 0のフローチャートを参照して説明した学習の処理により学習される。この場合において、図 1 1 9で構成が示される学習装置には、入力画像として水平倍密画像が入力され、生徒画像生成部 8 0 1は、水平倍密画像から S D画像を生成する。同様に、ステップ S 8 0 1においては、入力画像である水平倍密画像から S D画像が生成される。予測タップ抽出部 9 0 6は、データ定常性検出部 9 0 1により検出されたデータの定常性に基づいて、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素を予測タップとする。すなわち、予測タップ抽出部 9 0 6は、データ定常性検出部 9 0 1により検出されたデータの定常性およびクラス分類部 9 0 4から供給されるクラスコードを基に、画素値予測部

9 0 7において注目画素（の予測値）を求めるのに用いる予測タップを入力画像から抽出し、抽出した予測タップを画素値予測部 9 0 7に供給する。

例えば、予測タップ抽出部 9 0 6は、データの定常性に基づいて、注目画素の位置から空間的または時間的に近い位置にある複数の画素値を、入力画像から抽出することにより予測タップとし、画素値予測部 9 0 7に供給する。例えば、予測タップ抽出部 9 0 6は、データ定常性検出部 9 0 1により検出されたデータの定常性に基づいて、注目画素について、注目画素の位置から近い横 X縦が 3 X 3 個の画素を、入力画像から抽出することにより予測タップとする。

なお、クラスタップとする画素値と、予測タップとする画素値とは、同一であつても、異なるものであってもよい。即ち、クラスタップと予測タップは、それぞれ独立に構成（生成）することが可能である。また、予測タップとする画素値は、クラス毎に異なるものであっても、同一であってもよい。

なお、クラスタップや予測タップのタップ構造は、 3 X 3個の画素値に限定されるものではない。

予測タップ抽出部 9 0 6による予測タップの抽出の処理は、予測タップ抽出部

1 0 6における場合と同様なので、その詳細な説明は省略する。

画素値予測部 9 0 7は、係数メモリ 9 0 5から供給される、注目画素のクラスについてのタップ係数 _{W l}， w₂, · · · と、予測タップ抽出部 9 0 6からの予測タップ（を構成する画素値） _{X l}， x ₂, ■ · · とを用いて、式（1 ) に示した積和演算を行うことにより、注目画素 y (の予測値）を予測し、これを、水平倍密画素の画素値とする。画素値予測部 9 0 7は、演算された水平倍密画素の画素値を積分特性判定部 9 0 8および画像合成部 9 0 9に供給する。例えば、クラスタップ抽出部 9 0 2は、図 1 2 2で示される、入力画像の対応画素 X ⁽⁵⁾に空間方向に包含される画素 y ^ωおよび画素 y ⁽²⁾を注目画素とし、画素予測部 9 0 7は、図 1 2 2で示される注目画素 y ⁽¹⁾の画素値および注目画素 y ⁽²⁾の画素値を予測し、予測した注目画素 y ^ωの画素値および注目画素 y ⁽²⁾の画素値を積分特性判定部 9 0 8および画像合成部 9 0 9に供給する。

積分特性判定部 9 0 8は、画素値予測部 9 0 7により予測された第 1の注目画素の第 1の予測値と、画素値予測部 9 0 7により予測された、第 1の注目画素に空間的に隣接する出力画像の第 2の注目画素の第 2の予測値と、少なくとも第 1 の注目画素と第 2の注目画素とを空間方向に対して包含する位置に配される入力画像の対応画素の画素値との関係を検出する。

すなわち、例えば、積分特性判定部 9 0 8は、図 1 2 2で示される注目画素 y ⁽¹⁾の予測値と、注目画素 y ⁽²⁾の予測値と、注目画素 y ⁽¹⁾と注目画素 y ⁽²⁾とを空間方向に包含する位置に配される入力画像の対応画素 x ⁽⁵⁾との関係を検出する。ここで、注目画素 y ⁽¹⁾と、注目画素 y ⁽²⁾と、注目画素 y ⁽¹⁾および注目画素 y ⁽²⁾ を空間方向に包含する対応画素 x ⁽⁵⁾との関係について説明する。

図 1 2 3は、図 7に対応する、 CCDであるイメージセンサに設けられている画素の配置、および水平倍密画像の画素に対応する領域を説明する図である。図 1 2 3中において、 A乃至 Iは、個々の画素を示す。領域 a乃至 rは、画素 A乃至 Iの個々の画素を縦に半分にした受光領域である。画素 A乃至 Iの受光領域の幅力 2Lであるとき、領域 a乃至 rの幅は、 Lである。図 1 2 1に構成を示す画像処理装置は、領域 a乃至 rに対応する画素の画素値を算出する。

図1 2 4は、領域 g乃至領域 1に入射される光に対応する画素の画素値を説明する図である。図 1 2 4の F (x)は、空間上（検出素子上）の空間方向 Xの座標 Xを変数とする、実世界の光の強度の分布を表す関数の例である。

1つの画素の画素値が、 F (x)の一様な積分で表されるとすれば、領域 iに対応する画素の画素値 Y1は、式（5 0 ) で表され、領域 jに対応する画素の画素値 Y2 は、式（5 1 ) で表され、画素 E の画素値 Y3 は、式（5 2 ) で表される。

• · · (50)

• · · (5 1)

Y1 +Y2

" 2

• - · (5 2)

式（50) 乃至式（5 2) において、 xl, x2、および x3は、画素 Eの受光領域、領域 i、および領域 jのそれぞれの境界の空間座標である。

式（50) 乃至式（5 2) における、 Y1および Y2は、それぞれ、図 1 2 1の画像処理装置が求めようとする、 SD画像に対する水平倍密画像の水平倍密画素

(注目画素 y ⁽¹⁾または注目画素 y ⁽²⁾) の画素値に対応する。また、式（5 2) における、 Y3は、水平倍密画像の水平倍密画素の画素値 Y1および Y2に対応する

SD画素（対応画素）の画素値に対応する。

Y3を x(⁵)に、 Y1を y⁽¹)に、 Y2を y (²⁾にそれぞれ置き換えると、式（5 2) から、式（5 3) を導くことができる。

x(s)=(y ω+y (₂)_)/2 . . . (₅ 3) 積分特性判定部 908は、図 1 1 2で示される注目画素 y ⁽¹⁾の予測値と、注目画素 y ⁽²⁾の予測値と、注目画素 y ⁽¹⁾およぴ注目画素 y ⁽²⁾を空間方向に包含する位置に配される入力画像の対応画素 X ⁽⁵⁾とについて、式（5 3) が成立するか否かを判定する。式（5 3 ) が成立すれば、注目画素 y ⁽¹⁾の予測値および注目画素 y ⁽²⁾の予測値は、正しいと言える。換言すれば、式（5 3 ) が成立していないとき、注目画素 y ⁽¹⁾の予測の処理および注目画素 y ⁽²⁾の予測の処理は、破綻していると言える。より詳しく説明すれば、積分特性判定部 9 0 8は、入力画像の対応画素 x ⁽⁵⁾の画素値から、画素値予測部 9 0 7から供給された注目画素 y ⁽¹⁾の画素値（の予測値）および注目画素 y ⁽²⁾の画素値（の予測値）を減算する。積分特性判定部 9 0 8は、減算した結果と、予め定めた閾値とを比較する。積分特性判定部 9 0 8は、減算した結果が閾値より小さいとき、式（5 3 ) の関係が成立していると判定し、減算した結果が閾値以上であるとき、式 ( 5 3 ) の関係が成立していないと判定する。積分特性判定部 9 0 8は、判定の結果を示す積分特性判定情報を画像合成部 9 0 9に供給する。

なお、閾値は、積分特性判定部 9 0 8において、予め記憶するようにしてもよく、外部から積分特性判定部 9 0 8に供給するようにしてもよい。

クラスタップ抽出部 9 1 0は、クラス分類適応処理により求めようとする水平倍密画像の水平倍密画素のうちの 1つを、順次、注目画素とする。クラスタップ抽出部 9 1 0は、クラスタップ抽出部 9 0 2により注目画素とされる画素を注目画素とする。すなわち、クラスタップ抽出部 9 1 0およびクラスタップ抽出部 9 0 2は、同じ画素を注目画素とする。

そして、クラスタップ抽出部 9 1 0は、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素をクラスタップとする。すなわち、クラスタップ抽出部 9 1 0は、注目画素についてのクラス分類に用いるクラスタップを、入力画像から抽出し、抽出したクラスタップを特徴量検出部 9 1 1に出力する。

例えば、クラスタップ抽出部 9 1 0は、注目画素の位置から空間的または時間的に近い位置にある複数の画素を、入力された入力画像から抽出することによりクラスタップとし、特徴量検出部 9 1 1に出力する。なお、クラスタップ抽出部 9 1 0および予測タップ抽出部 9 1 4は、クラスタップ抽出部 1 0 2および予測タップ抽出部 1 0 6における場合と同様にフレームメモリを設けることができる。

例えば、図 1 2 2で示されるように、クラスタツプ抽出部 9 1 0は、注目画素 y ⁽¹)について、注目画素の位置から近い横 X縦が 3 X 3個の画素 X ")乃至 x ⁽⁹⁾を入力画像から抽出することによりクラスタップとする。

クラスタップ抽出部 9 1 0は、抽出されたクラスタップを、特徴量検出部 9 1 1に供給する。

なお、クラスタップ抽出部 9 1 0により抽出されるクラスタップは、クラスタップ抽出部 9 0 2により抽出されるクラスタップと同一のものであっても異なるものであってもよい。

特徴量検出部 9 1 1は、クラスタップ抽出部 9 1 0から供給されたクラスタツプまたは入力画像から特徴量を検出して、検出した特徴量をクラス分類部 9 1 2 に供給する。

例えば、特徴量検出部 9 1 1は、クラスタップ抽出部 9 1 0から供給されたクラスタップまたは入力画像を基に、入力画像の画素の動きべクトルを検出して、検出した動きべクトルを特徴量としてクラス分類部 9 1 2に供給する。また、例えば、特徴量検出部 9 1 1は、クラスタップ抽出部 9 1 0から供給されたクラスタップまたは入力画像を基に、クラスタップまたは入力画像の複数の画素の画素値の空間的または時間的な変化（アクティビティ）を検出して、検出した画素値の変化を特徴量としてクラス分類部 9 1 2に供給する。

さらに、例えば、特徴量検出部 9 1 1は、クラスタップ抽出部 9 1 0から供給されたクラスタップまたは入力画像を基に、クラスタップまたは入力画像の複数の画素の画素値の空間的な変化の傾きを検出して、検出した画素値の変化の傾きを特徴量としてクラス分類部 9 1 2に供給する。

なお、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを採用することができる。特徴量検出部 9 1 1は、特徴量とは別に、クラスタップをクラス分類部 9 1 2 に供給する。

クラス分類部 9 1 2は、特徴量検出部 9 1 1からの特徴量またはクラスタップに基づいて、 1以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数メモリ 9 1 3と予測タップ抽出部 9 1 4とに供給する。

係数メモリ 9 1 3は、学習の教師となる、出力画像の一例である水平倍密画像の水平倍密画素である教師データと、学習の生徒となる、入力画像の一例である S D画像の画素値である生徒データとの関係を、 1以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ 9 1 3は、クラス分類部 9 1 2から注目画素のクラスコードが供給されると、そのクラスコ一ドに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値予測部 9 1 5に供給する。

なお、係数メモリ 9 1 3に記憶されるタップ係数の学習方法についての詳細は、後述する。

予測タップ抽出部 9 1 4は、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素を予測タップとする。すなわち、予測タップ抽出部 9 1 4は、クラス分類部 9 1 2から供給されるクラスコードを基に、画素値予測部 9 1 5において注目画素（の予測値）を求めるのに用いる予測タップを入力画像から抽出し、抽出した予測タップを画素値予測部 9 1 5に供給する。

例えば、予測タップ抽出部 9 1 4は、クラス分類部 9 1 2から供給されるクラスコードに基づいて、注目画素の位置から空間的または時間的に近い位置にある複数の画素値を、入力画像から抽出することにより予測タップとし、画素値予測部 9 1 5に供給する。例えば、図 1 2 2で示されるように、予測タップ抽出部 9

1 4は、クラス分類部 9 1 2から供給されるクラスコードに基づいて、注目画素 _y ωについて、注目画素の位置から近い横 x縦が 3 3個の画素 χ ⁽¹⁾乃至 χ ⁽⁹⁾を入力画像から抽出することにより予測タップとする。

また、クラスタップや予測タップのタップ構造は、 3 X 3個の画素値に限定されるものではない。

なお、予測タップ抽出部 9 1 4により抽出される予測タップは、予測タップ抽出部 9 0 6により抽出される予測タップと同一のものであっても異なるものであつてもよい。

画素値予測部 9 1 5は、係数メモリ 9 1 3から供給される、注目画素のクラスについてのタップ係数 _{W l}， w₂, ■ · · と、予測タップ抽出部 9 1 4からの予測タップ（を構成する画素値） _{X l}， χ ₂, · · · とを用いて、式（1 ) に示した積和演算を行うことにより、注目画素 y (の予測値）を予測し、これを、水平倍密画素の画素値とする。画素値予測部 9 1 5は、演算された水平倍密画素の画素値を画像合成部 9 0 9に供給する。

例えば、クラスタップ抽出部 9 1 0は、図 1 2 2で示される、入力画像の対応画素 X ⁽⁵⁾に空間方向に包含される画素 y ⁽¹⁾および画素 y ⁽²⁾を注目画素とし、画素値予測部 9 1 5は、図 1 2 2で示される注目画素 y ⁽¹⁾の画素値およぴ注目画素 y ⁽²⁾の画素値を予測し、予測した注目画素 y ⁽¹⁾の画素値および注目画素 y ⁽²⁾の画素値を画像合成部 9 0 9に供給する。

画像合成部 9 0 9は、積分特性判定部 9 0 8から供給された積分特性判定情報を基に、画素値予測部 9 0 7から供給された予測値および画素値予測部 9 1 5から供給された予測値のいずれか一方を選択して、選択した予測値を画素値として出力画像に設定することにより画像を合成する。すなわち、画像合成部 9 0 9は、式（5 3 ) の関係が成立していることを示す積分特性判定情報が積分特性判定部 9 0 8から供給されたとき、画素値予測部 9 0 7から供給された注目画素 y ^ωの予測値および注目画素 y ⁽²⁾の予測値が正しいので、画素値予測部 9 0 7から供給された注目画素 y ⁽¹⁾の予測値おょぴ注目画素 y ⁽²)の予測値を出力画像の画素値に設定する。

—方、画像合成部 9 0 9は、式（5 3 ) の関係が成立していないことを示す積分特性判定情報が積分特性判定部 9 0 8から供給されたとき、画素値予測部 9 0 7から供給された注目画素 y ⁽¹⁾の予測値および注目画素 y ⁽²⁾の予測値が正しくない、すなわち、画素値予測部 9 0 7における予測の処理が破綻しているので、画素値予測部 9 1 5から供給された注目画素 y ⁽¹⁾の予測値および注目画素 y ⁽²⁾の予測値を出力画像の画素値に設定する。

画像合成部 9 0 9は、このように合成された出力画像を出力する。

すなわち、画像合成部 9 0 9は、画素値予測部 9 0 7により予測された注目画素 y ⁽¹⁾の予測値と、画素値予測部 9 0 7により予測された注目画素 y ⁽²⁾の予測値と、少なくとも注目画素 y ⁽¹⁾と注目画素 y ⁽²⁾とを空間方向に対して包含する位置に配される入力画像内の対応画素 X ⁽⁵⁾の画素値との関係の検出結果に応じて画素値予測部 9 0 7から出力される注目画素 y ^{( 1)}の予測値および注目画素 y ⁽²⁾の予測値を選択的に出力する。

図 1 2 5は、式（5 3 ) の関係が成立していない、画素値予測部 9 0 7による予測値を含む出力画像の例を示す図である。

図 1 2 6は、図 1 2 1で示される画像処理装置の出力画像の例、すなわち、式 ( 5 3 ) の関係が成立していない、画素値予測部 9 0 7による予測値を、画素値予測部 9 1 5による予測値に置き換えた出力画像の例を示す図である。

このように、本発明に係る画像処理装置においては、予測の破綻を回避することができる。 W

161

このように、図 1 2 1に構成を示す画像処理装置は、入力された入力画像に対応する、より高解像度の出力画像を創造して、創造した出力画像を出力することができる。

次に、図 1 2 7のフローチャートを参照して、図 1 2 1の画像処理装置が行う、入力画像からより高解像度の出力画像を創造する画像の創造の処理について説明する。

ステップ S 9 0 1において、データ定常性検出部 9 0 1は、定常性の検出の処理を実行する。データ定常性検出部 9 0 1は、入力画像に含まれているデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報をクラスタップ抽出部 9 0 2および予測タップ抽出部 9 0 6に供給する。例えば、データ定常性検出部 9 0 1は、入力画像からデータの定常性の方向を検出する。

ステップ S 9 0 2において、クラスタップ抽出部 9 0 2は、創造しようとする水平倍密画像の注目している水平倍密画素である注目画素を選択する。クラスタップ抽出部 9 0 2は、データ定常性検出部 9 0 1により検出されたデータの定常性に基づいて、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素をクラスタップとする。クラスタップは、特徴量検出部 9 0 3に供給され、手続は、ステップ S 9 0 3に進む。例えば、クラスタップ抽出部 9 0 2は、データ定常性検出部 9 0 1により検出されたデータの定常性に基づいて、注目画素の位置に空間的または時間的に近い複数の画素値を入力画像からクラスタップとして抽出して、クラスタップを生成する。

ステップ S 9 0 3において、特徴量検出部 9 0 3は、入力画像またはステップ S 9 0 2の処理において抽出されたクラスタップから特徴量を検出して、検出された特徴量をクラス分類部 9 0 4に供給すると共に、クラスタップをクラス分類部 9 0 4に供給して、ステップ S 9 0 4に進む。

ステップ S 9 0 4において、クラス分類部 9 0 4は、特徴量検出部 9 0 3から供給される特徴量またはクラスタップに基づき、 1以上のクラスのうちのいずれかのクラスに、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数メモリ 9 0 5および予測タップ抽出部 9 0 6に供給して、ステップ S 9 0 5に進む。

ステップ S 9 0 5において、予測タップ抽出部 9 0 6は、データ定常性検出部 9 0 1により検出されたデータの定常性に基づいて、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素を予測タップとする。予測タップ抽出部 9 0 6による予測タップの抽出の処理は、クラスタップ抽出部 9 0 2における処理と同様なので、その説明は省略する。

予測タップ抽出部 9 0 6は、データ定常性検出部 9 0 1により検出されたデ一タの定常性およぴクラス分類部 9 0 4から供給されたクラスコードに基づいて、注目画素の位置に空間的または時間的に近レ、複数の画素値を入力画像から予測タップとして抽出して、予測タップを生成する。予測タップは、画素値予測部 9 0 7に供給され、手続は、ステップ S 9 0 6に進む。

ステップ S 9 0 6において、係数メモリ 9 0 5は、クラス分類部 9 0 4から供給されるクラスコードに対応するアドレスに記憶されている予測係数（タツプ係数）を読み出し、これにより、注目画素のクラスの予測係数を取得して、予測係数を画素値予測部 9 0 7に供給し、ステップ S 9 0 7に進む。

ステップ S 9 0 7において、画素値予測部 9 0 7は、特徴量検出部 9 0 3により検出された特徴量に基づいて、適応処理により、予測タップ抽出部 9 0 6により抽出された複数の周辺画素から注目画素（の予測値）を予測し、ステップ S 9 0 8に進む。すなわち、ステップ S 9 0 7では、画素値予測部 9 0 7は、予測タップ抽出部 9 0 6からの予測タップと、係数メモリ 9 0 5からの予測係数（タツプ係数）とを用いて、式（1 ) に示した演算を行い、注目画素（の予測値）を予測する。

ステップ S 9 0 1乃至ステップ S 9 0 7において、データの定常性を基に、入力画像の 1つの対応画素に空間方向に包含される 2つの注目画素の画素値が予測さ. る。ステップ S 9 0 8において、クラスタップ抽出部 9 1 0は、創造しようとする水平倍密画像の注目している水平倍密画素である注目画素を選択する。クラスタップ抽出部 9 1 0は、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素をクラスタップとする。クラスタップは、特微量検出部 9 1 1に供給され、手続は、ステップ S 9 0 9に進む。例えば、クラスタップ抽出部 9 1 0は、注目画素の位置に空間的または時間的に近い複数の画素値を入力画像からクラスタップとして抽出して、クラスタップを生成する。ステップ S 9 0 9において、特徴量検出部 9 1 1は、入力画像またはステップ S 9 0 8の処理において抽出されたクラスタップから特徴量を検出して、検出された特徴量をクラス分類部 9 1 2に供給すると共に、クラスタップをクラス分類部 9 1 2に供給して、ステップ S 9 1 0に進む。

ステップ S 9 1 0において、クラス分類部 9 1 2は、特徴量検出部 9 1 1から供給される特徴量またはクラスタップに基づき、 1以上のクラスのうちのいずれかのクラスに、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数メモリ 9 1 3および予測タップ抽出部 9 1 4に供給して、ステップ S 9 1 1に進む。

ステップ S 9 1 1において、予測タップ抽出部 9 1 4は、クラス分類部 9 1 2 から供給されたクラスコードに基づいて、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素を予測タップとする。すなわち、予測タップ抽出部 9 1 4は、クラス分類部 9 1 2から供給されたクラスコードに基づいて、注目画素の位置に空間的または時間的に近い複数の画素値を入力画像から予測タップとして抽出して、予測タップを生成する。予測タップは、画素値予測部 9 1 5に供給され、手続は、ステップ S 9 1 2に進む。

ステップ S 9 1 2において、係数メモリ 9 1 3は、クラス分類部 9 1 2から供給されるクラスコードに対応するアドレスに記憶されている予測係数（タップ係数）を読み出し、これにより、注目画素のクラスの予測係数を取得して、予測係数を画素値予測部 9 1 5に供給し、ステップ S 9 1 3に進む。ステップ S 9 1 3において、画素値予測部 9 1 5は、特徴量検出部 9 1 1により検出された特徴量に基づいて、適応処理により、予測タップ抽出部 9 1 4により抽出された複数の周辺画素から注目画素（の予測値）を予測し、ステップ S 9 1 4に進む。すなわち、ステップ S 9 1 3では、画素値予測部 9 1 5は、予測タップ抽出部 9 1 4からの予測タップと、係数メモリ 9 1 3からの予測係数（タツプ係数）とを用いて、式（1 ) に示した演算を行い、注目画素（の予測値）を予測する。

ステップ S 9 0 8乃至ステップ S 9 1 3において、データの定常性を利用することなく、入力画像の 1つの対応画素に空間方向に包含される 2つの注目画素の画素値が予測される。

ステップ S 9 1 4において、積分特性判定部 9 0 8は、ステップ S 9 0 7の処理で予測された 2つの注目画素の予測値、および 2つの注目画素を空間方向に包含する位置に配される入力画像の対応画素について、積分特性が成立しているか否かを判定し、ステップ S 9 1 5に進む。

例えば、ステップ S 9 1 4において、入力画像の対応画素の画素値から、画素値予測部 9 0 7から供給された 2つの注目画素の画素値（の予測値）が減算される。減算した結果と、予め定めた閾値とが比較される。そして、減算した結果が閾値より小さいとき、積分特性が成立していると判定され、減算した結果が閾値以上であるとき、積分特性が成立していないと判定される。判定の結果を示す積分特性判定情報は、画像合成部 9 0 9に供給される。

すなわち、ステップ S 9 1 4において、画素値予測部 9 0 7により予測された第 1の注目画素の第 1の予測値と、画素値予測部 9 0 7により予測された、第 1 の注目画素に空間的に隣接する出力画像の第 2の注目画素の第 2の予測値と、少なくとも第 1の注目画素と第 2の注目画素とを空間方向に対して包含する位置に配される入力画像の対応画素の画素値との関係が検出される。

ステップ S 9 1 5において、画像合成部 9 0 9は、ステップ S 9 1 4における判定の結果を基に、画素値予測部 9 0 7により予測された予測値および画素値予測部 9 1 5により予測された予測値のいずれか一方を選択して、選択した予測値を画素値に設定することにより出力画像を合成し、ステップ S 9 1 6に進む。すなわち、ステップ S 9 1 5において、画像合成部 9 0 9は、ステップ S 9 1 4において、積分特性が成立していると判定されたとき、ステップ S 9 0 7の処理において予測された 2つの注目画素の予測値が正しいので、ステップ S 9 0 7 の処理において予測された 2つの注目画素の予測値を出力画像の画素値に設定することにより、出力画像を合成する。

一方、ステップ S 9 1 5において、画像合成部 9 0 9は、ステップ S 9 1 4において、積分特性が成立していないと判定されたとき、ステップ S 9 0 7の処理において予測された 2つの注目画素の予測値が正しくない、すなわち、ステップ S 9 0 7における予測の処理が破綻しているので、ステップ S 9 1 3の処理で予測された 2つの注目画素の予測値を出力画像の画素値に設定する。

ステップ S 9 1 6において、クラスタップ抽出部 9 0 2は、水平倍密画像の注目しているフレームの画素のうち、まだ、注目画素としていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップ S 9 0 2に戻り、以下、同様の処理を繰り返す。

また、ステップ S 9 1 6において、注目フレームの画素のうち、注目画素としていない画素が存在しないと判定された場合、即ち、注目フレームを構成するすベての水平倍密画素が、予測された場合、画像合成部 9 0 9は、合成された出力画像を出力して、処理は終了する。

すなわち、ステップ S 9 1 6において、ステップ S 9 0 7の処理において予測された 2つの注目画素の予測値と、少なくとも 2つの注目画素を空間方向に対して包含する位置に配される入力画像内の対応画素の画素値との関係の検出結果に応じて、ステップ S 9 0 7の処理において予測される 2つの注目画素の予測値が選択的に出力される。

このように、図 1 2 1に構成を示す画像処理装置は、入力画像から、破綻無く、より高解像度の出力画像を生成して、生成した出力画像を出力することができる。なお、図 1 2 1で示される画像処理装置は、入力画像を取得し、水平倍密画像を創造して出力すると説明したが、時間方向に 2倍の解像度の画像（以下、時間倍密画像と称する) を創造して出力するようにすることもできる。

図 1 2 8は、時間倍密画像を創造する場合における、注目画素を説明する図である。図 1 2 8において、図の横方向は、入力画像（S D画像）および時間倍密画像の時間方向に対応し、図の縦方向は、入力画像おょぴ時間倍密画像の一方の空間方向、例えば、画面の縦方向である空間方向 Yに対応する。なお、図 1 2 8 において、過去の時刻が、図中の左側の位置に対応し、未来の時刻が、図中の右側の位置に対応する。

ここで、図 1 2 8において、〇印が S D画像を構成する S D画素を表し、 X印が時間倍密画像を構成する時間倍密画素を表している。また、図 1 2 8では、時間倍密画像は、入力画像に対して、時間方向に 2倍の数のフレームを配置した画像になっている。例えば、 1秒間に 3 0フレームからなる入力画像に対して、時間倍密画像は、 1秒間に 6 0フレームからなる。なお、時間倍密画像の 1つのフレームに配置されている画素の数は、入力画像の 1つのフレームに配置されている画素の数と同じである。

図 1 2 8において、 f—₂, f—ぃ f。，， f₂は、入力画像のフレームを示し、

F F— ₃, F— ₂, F_い F。， Fい F₂， F₃， F₄， F₅は、時間倍密画像のフレームを示す。

時間倍密画像を創造する場合において、データ定常性検出部 9 0 1は、時空間方向のデータの定常性を検出する。クラスタップ抽出部 9 0 2は、図 1 2 8で示される、入力画像の対応画素 x ⁽⁵⁾に時間方向に包含される、時間倍密画像の画素 y ^ωおよび画素 y ⁽²⁾を注目画素とする。画素値予測部 9 0 7は、データの定常性を基に、図 1 2 8で示される注目画素 y ⁽¹⁾の画素値および注目画素 y ⁽²⁾の画素値を予測し、予測した注目画素 y ⁽¹⁾の画素値およぴ注目画素 y ⁽²⁾の画素値を積分特性判定部 9 0 8および画像合成部 9 0 9に供給する。

図 1 2 9を参照して、注目画素 y ⁽¹⁾と、注目画素 y ⁽²⁾と、注目画素 y ⁽¹⁾および注目画素 _y ⁽²⁾を時間方向に包含する対応画素 x ⁽⁵⁾との関係について説明する。図 1 29の？（1:)は、時刻 tを変数とする、実世界の光の強度の分布を表す関数である。図 1 29において、入力画像である SD画像を撮像するセンサのシャッタ時間は、時刻 tlから時刻 t3までの期間であり、 2tsで示す。

S D画像の 1つの画素値が、 F(x)の一様な積分で表されるとすれば、時刻 U 力ら時亥 ij t2までの期間に対応する画素の画素値 Y1は、式（54) で表され、時刻 t2力ゝら時亥 U t3までの期間に対応する画素の画素値 Y2は、式 (5 5) で表され、 S D画像としてセンサから出力される画素値 Y3は、式 (56) で表される。

• - - (54)

• · · (5 5)

Υ1 +Υ2

一 2

• · · (56) 式（54) 乃至式（56) における、 Y1および Υ2は、それぞれ、図 1 21の画像処理装置が求めようとする、 SD画像に対する時間倍密画像の時間倍密画素 (注目画素 y ⁽¹⁾または注目画素 y ⁽²⁾) の画素値に対応する。また、式（56) における、 Y3は、時間倍密画像の時間倍密画素の画素値 Y1および Y2に対応する SD画素（対応画素）の画素値に対応する。

Y3を x(⁵)に、 Y1を y⁽¹)に、 Y2を y (²)にそれぞれ置き換えると、式（56) から、式（5 7) を導くことができる。

x (5) ₌ (_y ω+_γ (2)_{) /2} ■ · . (5 7) 積分特性判定部 9 0 8は、図 1 2 8で示される注目画素 y⁽¹⁾の予測値と、注目画素 y ⁽²⁾の予測値と、注目画素 y ⁽¹⁾および注目画素 y ⁽²⁾を空間方向に包含する位置に配される入力画像の対応画素 x⁽⁵⁾とについて、式（5 7) が成立するか否かを判定する。

式（5 7) が成立すれば、注目画素 y ⁽¹)の予測値および注目画素 y )の予測値は、正しいと言える。換言すれば、式 (5 7) が成立していないとき、注目画素 y ⁽¹⁾の予測の処理および注目画素 y ⁽²⁾の予測の処理は、破綻していると言える。より詳しく説明すれば、積分特性判定部 9 0 8は、入力画像の対応画素 x (⁵⁾の画素値から、画素値予測部 9 0 7から供給された注目画素 y⁽¹⁾の画素値（の予測値）および注目画素 y ⁽²)の画素値（の予測値）を減算する。積分特性判定部 9 0 8は、減算した結果と、予め定めた閾値とを比較する。積分特性判定部 9 0 8は、減算した結果が閾値より小さいとき、式（5 7) の関係が成立していると判定し、減算した結果が閾値以上であるとき、式（5 7) の関係が成立していないと判定する。

クラスタップ抽出部 9 1 0は、図 1 2 8で示される、入力画像の対応画素 x ⁽⁵⁾ に時間方向に包含される画素 y⁽¹⁾および画素 y⁽²⁾を注目画素とし、画素値予測部 9 1 5は、図 1 2 8で示される注目画素 y⁽¹⁾の画素値および注目画素 y⁽²⁾の画素値を予測し、予測した注目画素 y⁽¹⁾の画素値および注目画素 y⁽²⁾の画素値を画像合成部 9.0 9に供給する。

画像合成部 9 0 9は、積分特性判定部 9 0 8から供給された積分特性判定情報を基に、画素値予測部 9 0 7から供給された予測値および画素値予測部 9 1 5から供給された予測値のいずれか一方を選択して、選択した予測値を画素値として出力画像に設定することにより画像を合成する。

すなわち、画像合成部 9 0 9は、式（5 7) の関係が成立していることを示す積分特性判定情報が積分特性判定部 9 0 8から供給されたとき、画素値予測部 9 0 7から供給された注目画素 y ⁽¹)の予測値および注目画素 - j、 ⁽²⁾の予測値が正しいので、画素値予測部 9 0 7から供給された注目画素 y ⁽¹⁾の予測値および注目画素 y ⁽²)の予測値を出力画像の画素値に設定する。

一方、画像合成部 9 0 9は、式（5 7 ) の関係が成立していないことを示す積分特性判定情報が穑分特性判定部 9 0 8から供給されたとき、画素値予測部 9 0 7から供給された注目画素 y ⁽¹⁾の予測値およぴ注目画素 y ⁽²⁾の予測値が正しくない、すなわち、画素値予測部 9 0 7における予測の処理が破綻しているので、画素値予測部 9 1 5から供給された注目画素 y ⁽¹⁾の予測値およぴ注目画素 y ⁽²⁾の予測値を出力画像の画素値に設定する。

すなわち、積分特性判定部 9 0 8は、画素値予測部 9 0 7により予測された第 1の注目画素の第 1の予測値と、画素値予測部 9 0 7により予測された、第 1の注目画素に時間的に隣接する出力画像の第 2の注目画素の第 2の予測値と、少なくとも第 1の注目画素と第 2の注目画素とを時間方向に対して包含する位置に配される入力画像の対応画素の画素値との関係を検出する。

画像合成部 9 0 9は、画素値予測部 9 0 7により予測された第 1の注目画素の予測値と、画素値予測部 9 0 7により予測された第 2の注目画素の予測値と、対応画素の画素値との関係の検出結果に応じて、画素値予測部 9 0 7から出力される第 1の注目画素の予測値および第 2の注目画素の予測値を選択的に出力する。画像合成部 9 0 9は、このように合成された時間倍密画像である出力画像を出力する。

以上のように、図 1 2 1に示す画像処理装置は、入力画像を取得し、時間倍密画像を創造して出力することができる。

このように、入力画像にクラス分類適応処理を適用するようにした場合には、より高画質の画像を得ることができる。

高質画像データ内の第 1の注目画素に対応する、入力画像データ内の複数の第 1の周辺画素の、現実世界の光信号の定常性に対応する画像データの第 1の定常性を検出し、第 1の注目画素に時間的または空間的に隣接する高質画像データ内の第 2の注目画素に対応する、入力画像データ内の複数の第 2の周辺画素の、現実世界の光信号の定常性に対応する画像データの第 2の定常性を検出し、検出された画像データの第 1の定常性に基づいて、第 1の注目画素に対応する、入力画像データ内の複数の第 3の周辺画素を抽出し、検出された画像データの第 2の定常性に基づいて、第 2の注目画素に対応する、入力画像データ内の複数の第 4の周辺画素を抽出し、検出された画像データの第 1の定常性に基づいて、第 1の注目画素に対応する、入力画像データ内の複数の第 5の周辺画素を抽出し、検出された画像データの第 2の定常性に基づいて、第 2の注目画素に対応する、入力画像データ内の複数の第 6の周辺画素を抽出し、抽出された複数の第 3の周辺画素の第 1の特徴量を検出し、抽出された複数の第 4の周辺画素の第 2の特徴量を検出し、検出された第 1の特徴量に基づいて、抽出された複数の第 5の周辺画素から第 1の注目画素を予測し、検出された第 2の特徴量に基づいて、抽出された複数の第 6の周辺画素から第 2の注目画素を予測し、第 1の注目画素の第 1の予測値および第 2の注目画素の第 2の予測値を出力し、予測された第 1の注目画素の第 1の予測値と、予測された第 2の注目画素の第 2の予測値と、少なくとも第 1 の注目画素と第 2の注目画素とを時間方向または空間方向に対して包含する位置に配される入力画像データ内の対応画素の画素値との関係を検出し、検出結果に応じて第 1の注目画素の第 1の予測値および第 2の注目画素の第 2の予測値を選択的に出力するようにした場合には、データの定常性を利用して、より正確で、より精度の高い処理結果を得ることができるようになる。

図 1 3 0は、図 1 2 1の係数メモリ 9 1 3に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の構成を示すプロック図である。図 1 3 0の学習装置には、タップ係数の学習用の画像（教師画像）としての、例えば水平倍密画像が入力される。学習装置に入力された入力画像は、生徒画像生成部 9 5 1および教師画素抽出部 9 5 8に供給される。

生徒画像生成部 9 5 1は、入力された入力画像（教師画像）から、生徒画像である S D画像を生成し、画像メモリ 9 5 2に供給する。生徒画像生成部 9 5 1は、例えば、教師画像としての水平倍密画像の水平方向に隣接する 2つの水平倍密画素の画素値の平均値を求めて S D画像の画素値とすることにより、その教師画像としての水平倍密画像に対応した生徒画像としての S D画像を生成する。ここで、 S D画像は、図 1 2 1の画像処理装置で処理対象となる S D画像に対応した画質のものとする必要がある。画像メモリ 9 5 2は、生徒画像生成部 9 5 1からの生徒画像である S D画像を一時記憶する。

図 1 3 0に示す学習装置においては、 S D画像を生徒データとして、タップ係数が生成される。

クラスタツプ抽出部 9 5 3は、図 1 2 1のクラスタツプ抽出部 9 1 0における場合と同様に、画像メモリ 9 5 2に記憶された生徒画像である S D画像に対応する教師画像としての水平倍密画像に含まれる画素を、順次、注目画素とする。さらに、クラスタップ抽出部 9 5 3は、注目画素についてのクラスタップを、画像メモリ 9 5 2に記憶された S D画像から抽出し、特徴量検出部 9 5 4に供給する。ここで、クラスタップ抽出部 9 5 3は、図 1 2 1のクラスタップ抽出部 9 1 0が生成するのと同一のタップ構造のクラスタップを生成する。

特徴量検出部 9 5 4は、図 1 2 1の特徴量検出部 9 1 1と同様の処理で、画像メモリ 9 5 2に記憶された生徒画像またはクラスタップ抽出部 9 5 3から供給されたクラスタップから特徴量を検出して、検出した特徴量をクラス分類部 9 5 5 に供給する。

例えば、特徴量検出部 9 5 4は、画像メモリ 9 5 2に記憶された S D画像またはクラスタップ抽出部 9 5 3から供給されたクラスタップを基に、 S D画像の画素の動きべクトルを検出して、検出した動きべクトルを特徴量としてクラス分類部 9 5 5に供給する。また、例えば、特徴量検出部 9 5 4は、画像メモリ 9 5 2 から供給された S D画像またはクラスタツプ抽出部 9 5 3から供給されたクラスタップを基に、 S D画像またはクラスタップの複数の画素の画素値の空間的または時間的な変化を検出して、検出した画素値の変化を特徴量としてクラス分類部 9 5 5に供給する。さらに、例えば、特徴量検出部 9 5 4は画像メモリ 9 5 2から供給された S D 画像またはクラスタップ抽出部 9 5 3から供給されたクラスタップを基に、クラスタップまたは S D画像の複数の画素の画素値の空間的な変化の傾きを検出して、検出した画素値の変化の傾きを特徴量としてクラス分類部 9 5 5に供給する。なお、特徵量検出部 9 5 4は、特徴量検出部 9 1 1と同様に、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを求めることができる。すなわち、特徴量検出部 9 5 4は、図 1 2 1の特徴量検出部 9 1 1と同一の特徴量を検出する。

特徴量検出部 9 5 4は、特徴量とは別に、クラスタップをクラス分類部 9 5 5 に供給する。

クラス分類部 9 5 5は、図 1 2 1のクラス分類部 9 1 2と同様に構成され、特徴量検出部 9 5 4からの特徴量またはクラスタップに基づいて、 1以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、予測タップ抽出部 9 5 6および学習メモリ 9 5 9に供給する。予測タップ抽出部 9 5 6は、図 1 2 1の予測タップ抽出部 9 1 4と同様に構成され、クラス分類部 9 5 5から供給されたクラスコードに基づいて、注目画素についての予測タップを、画像メモリ 9 5 2に記憶された S D画像から抽出し、足し込み演算部 9 5 7に供給する。ここで、予測タップ抽出部 9 5 6は、図 1 2 1 の予測タップ抽出部 9 1 4が生成するのと同一のタップ構造の予測タップを生成する。

教師画素抽出部 9 5 8は、教師画像である入力画像（水平倍密画像）から、注目画素を教師データ（教師画素）として抽出して、抽出した教師データを足し込み演算部 9 5 7に供給する。即ち、教師画素抽出部 9 5 8は、入力された学習用の画像である水平倍密画像を、例えば、そのまま教師データとする。ここで、図 1 2 1の画像処理装置で得られる水平倍密画像は、図 1 3 0の学習装置で教師データとして用いられる水平倍密画像の画質に対応したものとなる。足し込み演算部 9 5 7および正規方程式演算部 960は、注目画素となっている教師データと、予測タップ抽出部 9 56から供給される予測タップとを用い、教師データと生徒データとの関係を、クラス分類部 9 5 5から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタツプ係数を求める。

即ち、足し込み演算部 9 57は、予測タップ抽出部 95 6から供給される予測タップ (S D画素) と、注目画素となっている教師デ一タである水平倍密画素とを対象とした、式 (8) の足し込みを行う。

具体的には、足し込み演算部 9 5 7は、予測タップを構成する生徒データとしての SD画素 x_n,_kを用い、式（8) の左辺の行列における SD画素どうしの乗算（x_n,_kXn,,_k) と、サメーシヨン（∑) に相当する演算を行う。

さらに、足し込み演算部 9 5 7は、予測タップを構成する生徒データとしての SD画素 x_n,_kと、注目画素となっている教師データである水平倍密画素 y_kを用い、式（8) の右辺のベクトルにおける SD画素 x_n,_kおよび水平倍密画素 y_kの乗算（x_n,_ky_k) と、サメーシヨン（∑) に相当する演算を行う。

足し込み演算部 9 5 7は、教師データとしての水平倍密画像の画素すベてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（8) に対応した正規方程式をたてると、その正規方程式を、学習メモリ 95 9に供給する。

学習メモリ 9 5 9は、足し込み演算部 9 5 7から供給された、生徒データとして SD画素、教師データとして水平倍密画素が設定された、式（8) に対応した正規方程式を記憶する。

正規方程式演算部 960は、学習メモリ 9 59から、各クラスについての式 (8) の正規方程式を取得し、例えば、掃き出し法により、その正規方程式を解くことにより（クラスごとに学習し）、クラスごとのタップ係数を求めて出力する。すなわち、足し込み演算部 9 5 7および正規方程式演算部 9 6 0は、検出された特徴量毎に、抽出された複数の周辺画素から注目画素を予測する予測手段を学習する。

この場合、予測手段は、複数の周辺画素から注目画素を予測する具体的手段であり、例えば、クラス毎のタツプ係数により動作が規定される画素値予測部 9 1 5、または画素値予測部 9 1 5における処理を言う。複数の周辺画素から注目画素を予測する予測手段を学習するとは、例えば、複数の周辺画素から注目画素を予測する予測手段の実現（構築）を可能にすることを意味する。

従って、複数の周辺画素から注目画素を予測するための予測手段を学習するとは、例えば、クラス毎のタップ係数を得ることを言う。クラス毎のタップ係数を得ることにより、画素値予測部 9 1 5、または画素値予測部 9 1 5における処理が具体的に特定され、画素値予測部 9 1 5を実現し、または画素値予測部 9 1 5 における処理を実行することができるようになるからである。

係数メモリ 9 6 1は、正規方程式演算部 9 6 0が出力するクラスごとのタップ係数を記憶する。

次に、図 1 3 1のフローチャートを参照して、図 1 3 0の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。

まず最初に、ステップ S 9 5 1において、生徒画像生成部 9 5 1は、例えば、水平倍密画像である、学習用の入力画像（教師画像）を取得し、画素を間引くことにより、例えば、 S D画像である生徒画像を生成する。例えば、生徒画像生成部 9 5 1は、水平倍密画像の水平方向に隣接する 2つの水平倍密画素の画素値の平均値を求めて、平均値を S D画像の画素値とすることにより、 S D画像を生成する。 S D画像は、画像メモリ 9 5 2に供給される。

そして、ステップ S 9 5 2に進み、クラスタップ抽出部 9 5 3は、教師データとしての水平倍密画像の水平倍密画素の中から、まだ注目画素としていないもののうちの 1つを注目画素として選択する。クラスタップ抽出部 9 5 3は、図 1 2 1のクラスタップ抽出部 9 1 0における場合と同様に、注目画素に対応するクラスタップを、画像メモリ 9 5 2に記憶されている生徒画像としての S D画像から抽出する。クラスタップ抽出部 9 5 3は、クラスタップを特徴量検出部 9 5 4に供給して、ステップ S 9 5 3に進む。

ステップ S 9 5 3において、特徴量検出部 9 5 4は、図 1 2 1の特徴量検出部 9 1 1における場合と同様に、ステップ S 9 5 1の処理で生成された生徒画像またはステップ S 9 5 3の処理で生成されたクラスタップから、例えば、動きべクトル、または S D画像の画素の画素値の変化などの特徴量を検出して、検出した特徴量をクラス分類部 9 5 5に供給し、ステップ S 9 5 4に進む。

ステップ S 9 5 4では、クラス分類部 9 5 5が、図 1 2 1のクラス分類部 9 1 2における場合と同様にして、特徴量検出部 9 5 4からの特徴量またはクラスタップを用いて、 1以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、予測タップ抽出部 9 5 6および学習メモリ 9 5 9に供給して、ステップ S 9 5 5に進む。

ステップ S 9 5 5において、予測タップ抽出部 9 5 6は、クラス分類部 9 5 5 から供給されるクラスコードに基づいて、図 1 2 1の予測タップ抽出部 9 1 4における場合と同様に、注目画素に対応する予測タップを、画像メモリ 9 5 2に記憶されている生徒画像としての S D画像から抽出し、足し込み演算部 9 5 7に供給して、ステップ S 9 5 6に進む。

ステップ S 9 5 6において、教師画素抽出部 9 5 8は、注目画素、すなわち水平倍密画素である教師画素（教師データ）を入力画像から抽出し、抽出した教師画素を足し込み演算部 9 5 7に供給し、ステップ S 9 5 7に進む。

ステップ S 9 5 7では、足し込み演算部 9 5 7が、予測タップ抽出部 9 5 6から供給される予測タップ（生徒データ）、および教師画素抽出部 9 5 8から供給される教師画素 (教師データ) を対象とした、上述した式 ( 8 ) における足し込みを行い、生徒データおよび教師データが足し込まれた正規方程式を学習メモリ 9 5 9に記憶させ、ステップ S 9 5 8に進む。そして、ステップ S 9 5 8では、クラスタップ抽出部 9 5 3は、教師データとしての水平倍密画像の水平倍密画素の中に、まだ注目画素としていないものがあるかどう力 \ すなわち対象となる全画素の足し込みを終了したか否かを判定する。ステップ S 9 5 8において、教師データとしての水平倍密画像の水平倍密画素の中に、まだ注目画素としていないものがあると判定された場合、ステップ S 9 5 2に戻り、以下、同様の処理が繰り返される。

また、ステップ S 9 5 8において、教師データとしての水平倍密画像の水平倍密画素の中に、注目画素としていないものがない、すなわち対象となる全画素の足し込みを終了したと判定された場合、ステップ S 9 5 9に進み、正規方程式演算部 9 6 0は、いままでのステップ S 9 5 7における足し込みによって、クラスごとに得られた式（8 ) の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ 9 5 9から読み出し、読み出した式（8 ) の正規方程式を掃き出し法などで解くことにより（クラス毎に学習し）、所定のクラスの予測係数 (タップ係数) を求め、係数メモリ 9 6 1に供給する。係数メモリ 9 6 1は、正規方程式演算部 9 6 0から供給された所定のクラスの予測係数 (タップ係数）を、クラス毎に記憶し、ステップ S 9 6 0に進む。

ステップ S 9 6 0において、正規方程式演算部 9 6 0は、全クラスの予測係数の演算を終了したか否かを判定し、全クラスの予測係数の演算を終了していないと判定された場合、ステップ S 9 5 9に戻り、次のクラスの予測係数を求める処理を繰り返す。

ステップ S 9 6 0において、全クラスの予測係数の演算を終了したと判定された場合、処理は終了する。

以上のようにして、係数メモリ 9 6 1に記憶されたクラスごとの予測係数が、図 1 2 1の画像処理装置における係数メモリ 9 1 3に記憶されている。

このように、学習を行うようにした場合には、予測において、より高画質の画像を得ることができるようになる。高質画像データ内の注目画素に対応する入力画像データ内の複数の第 1の周辺画素の、現実世界の光信号の定常性に対応する画像データの定常性を検出し、検出された画像データの定常性に基づいて、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第 2の周辺画素を抽出し、検出された画像データの定常性に基づいて、注目画素に対応する、入力画像データ内の複数の第 3の周辺画素を抽出し、抽出された複数の第 2の周辺画素の特徴量を検出し、検出された特徴量毎に、抽出された複数の第 3の周辺画素から注目画素を予測するための予測手段を学習するようにした場合には、予測において、データの定常性を利用して、より正確で、より精度の高い処理結果を得ることができるようになる。なお、画像処理装置は、 S D画像を入力して、 S D画像に対応する空間方向または時間方向により高解像度の画像を生成して出力すると説明したが、入力される画像が、 S D画像に限られるものではないことは勿論である。例えば、画像処理装置は、時間倍密画像または垂直倍密画像を入力して、 H D画像を出力するようにしてもよい。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードゥエァに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図 1 3 2は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。 CPU (Central Process ing Uni t) 1 0 0 1は、 ROM (Read Only Memory) 1 0 0 2または記憶部 1 0 0 8 に記憶されているプログラムに従って各種の処理を実行する。 RAM (Random Acces s Memory) 1 0 0 3には、 CPU 1 0 0 1が実行するプログラムやデータなどが適宜記憶される。これらの CPU 1 0 0 1、 ROM 1 0 0 2および RAM 1 0 0 3 は、バス 1 0 0 4により相互に接続されている。 CPU 1 0 0 1にはまた、バス 1 0 0 4を介して入出力ィンタフェース 1 0 0 5 が接続されている。入出力インタフェース 1 0 0 5には、キーボード、マウス、マイクロホンなどよりなる入力部 1 0 0 6、ディスプレイ、スピー力などよりなる出力部 1 0 0 7が接続されている。 CPU 1 0 0 1は、入力部 1 0 0 6から入力される指令に対応して各種の処理を実行する。そして、 CPU 1 0 0 1は、処理の結果得られた画像や音声等を出力部 1 0 0 7に出力する。

入出力ィンタフース 1 0 0 5に接続されている記憶部 1 0 0 8は、例えばハ一ドデイスクなどで構成され、 CPU 1 0 0 1が実行するプログラムゃ各種のデータを記憶する。通信部 1 0 0 9は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部 1 0 0 9は、入力画像を取得するか、または出力画像を出力する、外部とのインタフェースとして動作する。また、通信部 1 0 0 9を介してプログラムを取得し、記憶部 1 0 0 8に記憶してもよい。

入出力インタフェース 1 0 0 5に接続されているドライブ 1 0 1 0は、磁気デイスク 1 0 5 1、光ディスク 1 0 5 2、光磁気ディスク 1 0 5 3、或いは半導体メモリ 1 0 5 4などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部 1 0 0 8に転送され、記憶される。

一連の処理をさせるプログラムが格納されている記録媒体は、図 1 3 2に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク 1 0 5 1 (フレキシプルディスクを含む）、光ディスク 1 0 5 2 (CD-ROM (Compact Di sc-Read Only Memory)、 D V D (Digital Versati l e Di sc)を含む) 、光磁気ディスク 1 0 5 3 (M D (Mini-Di sc) (商標) を含む) 、若しくは半導体メモリ 1 0 5 4などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されている R0M 1 0 0 2や、記憶部 1 0 0 8に含まれるハードディスクなどで構成される。なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのィンタフェースを介して、ロー力ノレエリァネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンビユータにィンストールされるようにしてもよい。

また、本明細書において、記録媒体に格納されるプログラムを記述するステツプは、記載された順序に沿つて時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。産業上の利用可能性

以上のように、第 1の本発明によれば、より高解像度の画像を出力することができる。

また、第 1の本発明によれば、データの定常性を利用して、より正確で、より精度の高い処理結果を得ることができるようになる。

第 2の本発明によれば、画像処理装置において、より高解像度の画像を出力することができる。

また、第 2の本発明によれば、画像処理装置において、データの定常性を利用して、より正確で、より精度の高い処理結果を得ることができるようになる。

Claims

請求の範囲

1 . それぞれ時間積分効果または空間積分効果を有する複数の画素を有する撮像素子が現実世界の光信号を撮像することにより取得された複数の画素データからなる入力画像データを、前記入力画像データよりも高質な高質画像データに変換する画像処理装置において、

前記高質画像データ内の第 1の注目画素に対応する、前記入力画像データ内の複数の第 1の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの第 1の定常性を検出し、前記第 1の注目画素に時間的または空間的に隣接する前記高質画像データ内の第 2の注目画素に対応する、前記入力画像データ内の複数の第 2の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの第 2の定常性を検出する画像データ定常性検出手段と、

前記画像データ定常性検出手段により検出された前記画像データの第 1の定常性に基づいて、前記第 1の注目画素に対応する、前記入力画像データ内の複数の第 3の周辺画素を抽出し、前記画像データ定常性検出手段により検出された前記画像データの第 2の定常性に基づいて、前記第 2の注目画素に対応する、前記入力画像データ內の複数の第 4の周辺画素を抽出する第 1の抽出手段と、

前記画像データ定常性検出手段により検出された前記画像データの第 1の定常性に基づいて、前記第 1の注目画素に対応する、前記入力画像データ内の複数の第 5の周辺画素を抽出し、前記画像データ定常性検出手段により検出された前記画像データの第 2の定常性に基づいて、前記第 2の注目画素に対応する、前記入力画像データ内の複数の第 6の周辺画素を抽出する第 2の抽出手段と、

前記第 1の抽出手段により抽出された複数の前記第 3の周辺画素の第 1の特徴量を検出し、前記第 1の抽出手段により抽出された複数の前記第 4の周辺画素の第 2の特徴量を検出する第 1の特徴量検出手段と、

前記第 1の特徴量検出手段により検出された前記第 1の特徴量に基づいて、前記第 2の抽出手段により抽出された複数の前記第 5の周辺画素から前記第 1の注目画素を予測し、前記第 1の特徴量検出手段により検出された前記第 2の特徴量に基づいて、前記第 2の抽出手段により抽出された複数の前記第 6の周辺画素から前記第 2の注目画素を予測し、前記第 1の注目画素の第 1の予測値おょぴ前記第 2の注目画素の第 2の予測値を出力する第 1の予測手段と、

前記第 1の予測手段により予測された前記第 1の注目画素の前記第 1の予測値と、前記第 1の予測手段により予測された前記第 2の注目画素の前記第 2の予測値と、少なくとも前記第 1の注目画素と前記第 2の注目画素とを時間方向または空間方向に対して包含する位置に配される前記入力画像データ内の対応画素の画素値との関係を検出し、検出結果に応じて前記第 1の予測手段から出力される前記第 1の注目画素の前記第 1の予測値および前記第 2の注目画素の前記第 2の予測値を選択的に出力する選択出力手段と

を含むことを特徴とする画像処理装置。

2 . 前記高質画像データ内の前記第 1の注目画素に対応する、前記入力画像データ内の複数の第 7の周辺画素を抽出し、前記高質画像データ内の前記第 2の注目画素に対応する、前記入力画像データ内の複数の第 8の周辺画素を抽出する第 3の抽出手段と、

前記第 1の注目画素に対応する、前記入力画像データ内の複数の第 9の周辺画素を抽出し、前記第 2の注目画素に対応する、前記入力画像データ内の複数の第 1 0の周辺画素を抽出する第 4の抽出手段と、

前記第 3の抽出手段により抽出された複数の前記第 7の周辺画素の第 3の特徴量を検出し、前記第 3の抽出手段により抽出された複数の前記第 8の周辺画素の第 4の特徴量を検出する第 2の特徴量検出手段と、

前記第 2の特徴量検出手段により検出された前記第 3の特徴量に基づいて、前記第 4の抽出手段により抽出された複数の前記第 9の周辺画素から前記第 1の注目画素を予測し、前記第 2の特徴量検出手段により検出された前記第 4の特徴量に基づいて、前記第 4の抽出手段により抽出された複数の前記第 1 0の周辺画素から前記第 2の注目画素を予測し、前記第 1の注目画素の第 3の予測値および前記第 2の注目画素の第 4の予測値を出力する第 2の予測手段とをさらに含み、

前記選択出力手段は、

前記第 1の予測手段により予測された前記第 1の注目画素の前記第 1の予測値と、前記第 1の予測手段により予測された前記第 2の注目画素の前記第 2の予測値と、前記入力画像データの前記対応画素の画素値との関係を検出し、検出結果に応じて前記第 1の予測値と前記第 2の予測値とからなる予測値の第 1の組およぴ前記第 3の予測値と前記第 4の予測値とからなる予測値の第 2の組のうちいずれか一方を選択的に出力する

ことを特徴とする請求の範囲第 1項に記載の画像処理装置。

3 . 前記選択出力手段は、前記対応画素の画素値から、前記第 1の注目画素の前記第 1の予測値おょぴ前記第 2の注目画素の前記第 2の予測値を引き算した結果の絶対値が、所定の閾値未満であるとき、前記第 1の予測値と前記第 2の予測値とからなる予測値の前記第 1の組を選択的に出力する

ことを特徴とする請求の範囲第 2項に記載の画像処理装置。

4 . それぞれ時間積分効果または空間積分効果を有する複数の画素を有する撮像素子が現実世界の光信号を撮像することにより取得された複数の画素データからなる入力画像データを、前記入力画像データよりも高質な高質画像データに変換する画像処理方法において、

前記高質画像データ内の第 1の注目画素に対応する、前記入力画像データ内の複数の第 1の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの第 1の定常性を検出し、前記第 1の注目画素に時間的または空間的に隣接する前記高質画像データ内の第 2の注目画素に対応する、前記入力画像データ内の複数の第 2の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの第 2の定常性を検出する画像データ定常性検出ステップと、

前記画像データ定常性検出ステップにおいて検出された前記画像データの第 1 の定常性に基づいて、前記第 1の注目画素に対応する、前記入力画像データ内の複数の第 3の周辺画素を抽出し、前記画像データ定常性検出ステップにおいて検出された前記画像データの第 2の定常性に基づいて、前記第 2の注目画素に対応する、前記入力画像データ内の複数の第 4の周辺画素を抽出する第 1の抽出ステップと、

前記画像データ定常性検出ステップにおいて検出された前記画像データの第 1 の定常性に基づいて、前記第 1の注目画素に対応する、前記入力画像データ内の複数の第 5の周辺画素を抽出し、前記画像データ定常性検出ステップにおいて検出された前記画像データの第 2の定常性に基づいて、前記第 2の注目画素に対応する、前記入力画像データ内の複数の第 6の周辺画素を抽出する第 2の抽出ステップと、

前記第 1の抽出ステップにおいて抽出された複数の前記第 3の周辺画素の第 1 の特徴量を検出し、前記第 1の抽出ステップにおいて抽出された複数の前記第 4 の周辺画素の第 2の特徴量を検出する特徴量検出ステップと、

前記特徴量検出ステップにおいて検出された前記第 1の特徴量に基づいて、前記第 2の抽出ステップにおいて抽出された複数の前記第 5の周辺画素から前記第 1の注目画素を予測し、前記特徴量検出ステップにおいて検出された前記第 2の特徴量に基づいて、前記第 2の抽出ステツプにおいて抽出された複数の前記第 6 の周辺画素から前記第 2の注目画素を予測し、前記第 1の注目画素の第 1の予測値および前記第 2の注目画素の第 2の予測値を出力する予測ステップと、前記予測ステップにおいて予測された前記第 1の注目画素の前記第 1の予測値と、前記予測ステップにおいて予測された前記第 2の注目画素の前記第 2の予測値と、少なくとも前記第 1の注目画素と前記第 2の注目画素とを時間方向または空間方向に対して包含する位置に配される前記入力画像データ内の対応画素の画素値との関係を検出し、検出結果に応じて前記第 1の注目画素の前記第 1の予測値および前記第 2の注目画素の前記第 2の予測値を選択的に出力する選択出カステツプと

を含むことを特徴とする画像処理方法。

5 . それぞれ時間積分効果または空間積分効果を有する複数の画素を有する撮像素子が現実世界の光信号を撮像することにより取得された複数の画素データからなる入力画像データを、前記入力画像データよりも高質な高質画像データに変換する画像処理用のプログラムであって、

前記特徴量検出ステップにおいて検出された前記第 1の特徴量に基づいて、前記第 2の抽出ステップにおいて抽出された複数の前記第 5の周辺画素から前記第 1の注目画素を予測し、前記特徴量検出ステップにおいて検出された前記第 2の特徴量に基づいて、前記第 2の抽出ステツプにおいて抽出された複数の前記第 6 の周辺画素から前記第 2の注目画素を予測し、前記第 1の注目画素の第 1の予測値および前記第 2の注目画素の第 2の予測値を出力する予測ステップと、前記予測ステップにおいて予測された前記第 1の注目画素の前記第 1の予測値と、前記予測ステップにおいて予測された前記第 2の注目画素の前記第 2の予測値と、少なくとも前記第 1の注目画素と前記第 2の注目画素とを時間方向または空間方向に対して包含する位置に配される前記入力画像データ内の対応画素の画素値との関係を検出し、検出結果に応じて前記第 1の注目画素の前記第 1の予測値おょぴ前記第 2の注目画素の前記第 2の予測値を選択的に出力する選択出カステツプと

を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。

6 . それぞれ時間積分効果または空間積分効果を有する複数の画素を有する撮像素子が現実世界の光信号を撮像することにより取得された複数の画素データからなる入力画像データを、前記入力画像データよりも高質な高質画像データに変換する画像処理を、コンピュータに行わせるプログラムにおいて、

を含むことを特徴とするプログラム。

7 . それぞれ時間積分効果または空間積分効果を有する複数の画素を有する撮像素子が現実世界の光信号を撮像することにより取得された複数の画素データからなる入力画像データから、前記入力画像データよりも高質な高質画像データを予測する予測手段を学習する学習装置において、

前記高質画像データ内の注目画素に対応する前記入力画像データ内の複数の第 1の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの定常性を検出する画像データ定常性検出手段と、

前記画像データ定常性検出手段により検出された前記画像データの定常性に基づいて、前記高質画像データ内の前記注目画素に対応する、前記入力画像データ内の複数の第 2の周辺画素を抽出する第 1の抽出手段と、

前記画像データ定常性検出手段により検出された前記画像データの定常性に基づいて、前記注目画素に対応する、前記入力画像データ内の複数の第 3の周辺画素を抽出する第 2の抽出手段と、

前記第 1の抽出手段により抽出された複数の前記第 2の周辺画素の特徴量を検出する特徴量検出手段と、

前記特徴量検出手段により検出された前記特徴量毎に、前記第 2の抽出手段により抽出された複数の前記第 3の周辺画素から前記注目画素を予測するための前記予測手段を学習する学習手段と

を含むことを特徴とする学習装置。

8 . それぞれ時間積分効果または空間積分効果を有する複数の画素を有する撮像素子が現実世界の光信号を撮像することにより取得された複数の画素データからなる入力画像データから、前記入力画像データよりも高質な高質画像データを予測する予測手段を学習する学習方法において、

前記高質画像データ内の注目画素に対応する前記入力画像データ内の複数の第 1の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの定常性を検出する画像データ定常性検出ステツプと、

前記画像データ定常性検出ステップにおいて検出された前記画像データの定常性に基づいて、前記高質画像データ内の前記注目画素に対応する、前記入力画像データ内の複数の第 2の周辺画素を抽出する第 1の抽出ステップと、前記画像データ定常性検出ステップにおいて検出された前記画像データの定常性に基づいて、前記注目画素に対応する、前記入力画像データ内の複数の第 3の周辺画素を抽出する第 2の抽出ステップと、

前記第 1の抽出ステップにおいて抽出された複数の前記第 2の周辺画素の特徴量を検出する特徴量検出ステップと、

前記特徴量検出ステップにおいて検出された前記特徴量毎に、前記第 2の抽出ステップにおいて抽出された複数の前記第 3の周辺画素から前記注目画素を予測するための前記予測手段を学習する学習ステップと

を含むことを特徴とする学習方法。

9 . それぞれ時間積分効果または空間積分効果を有する複数の画素を有する撮像素子が現実世界の光信号を撮像することにより取得された複数の画素データからなる入力画像データから、前記入力画像データよりも高質な高質画像データを予測する予測手段を学習する学習処理用のプログラムであって、

前記高質画像データ内の注目画素に対応する前記入力画像データ内の複数の第 1の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの定常性を検出する画像データ定常性検出ステップと、

前記画像データ定常性検出ステップにおいて検出された前記画像データの定常性に基づいて、前記高質画像データ内の前記注目画素に対応する、前記入力画像データ内の複数の第 2の周辺画素を抽出する第 1の抽出ステップと、

前記画像データ定常性検出ステップにおいて検出された前記画像データの定常性に基づいて、前記注目画素に対応する、前記入力画像データ內の複数の第 3の周辺画素を抽出する第 2の抽出ステップと、

前記特徴量検出ステップにおいて検出された前記特徴量毎に、前記第 2の抽出ステツプにおいて抽出された複数の前記第 3の周辺画素から前記注目画素を予測するための前記予測手段を学習する学習ステップとを含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。

1 0 . それぞれ時間積分効果または空間積分効果を有する複数の画素を有する撮像素子が現実世界の光信号を撮像することにより取得された複数の画素データからなる入力画像データから、前記入力画像データよりも高質な高質画像データを予測する予測手段を学習する学習処理を、コンピュータに行わせるプログラムにおいて、

前記画像データ定常性検出ステップにおいて検出された前記画像データの定常性に基づいて、前記注目画素に対応する、前記入力画像データ内の複数の第 3の周辺画素を抽出する第 2の抽出ステップと、

前記特徴量検出ステツプにおいて検出された前記特徴量毎に、前記第 2の抽出ステップにおいて抽出された複数の前記第 3の周辺画素から前記注目画素を予測するための前記予測手段を学習する学習ステップと

を含むことを特徴とするプログラム。