JP4423537B2 - 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、信号処理装置および信号処理方法、並びにプログラムおよび記録媒体に関し、特に、現実世界の信号により近似した画像等を得ることができるようにする信号処理装置および信号処理方法、並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
実世界（現実世界）における事象をセンサで検出し、センサが出力するサンプリングデータを処理する技術が広く利用されている。例えば、実世界をイメージセンサで撮像し、画像データであるサンプリングデータを処理する画像処理技術が広く利用されている。
【０００３】
また、第１の次元を有する現実世界の信号である第１の信号をセンサによって検出することにより得た、第１の次元に比較し次元が少ない第２の次元を有し、第１の信号に対する歪を含む第２の信号を取得し、第２の信号に基づく信号処理を行うことにより、第２の信号に比して歪の軽減された第３の信号を生成するようにしているものもある（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２００１−２５０１１９号公報。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来においては、現実世界の信号の定常性を考慮した信号処理が行われていなかったため、現実世界の信号により近似した画像等を得ることが困難であることがあった。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、現実世界の信号により近似した画像等を得ることができるようにするものである。
【０００７】
【課題を解決するための手段】
本発明の信号処理装置は、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影されることにより取得された画像データ内の処理領域を設定する処理領域設定手段と、画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定手段と、処理領域内の各画素の画素値は、オブジェクトに対応する動きボケが生じていない各画素の画素値が動きベクトルに対応して移動しながら積分された値であるとして、処理領域内の各画素の画素値と、動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成手段と、モデル生成手段により生成されたモデルに対して、処理領域内の各画素の画素値を代入した第1の方程式と、動きボケが生じていない各画素間の関係を拘束する第２の方程式とにより正規方程式を生成する正規方程式生成手段と、ユーザ入力に応じて第１または第２の方程式の一部に対する重みを変更する重み変更手段と、重み変更手段により重みが変更された第１または第２の方程式から生成される正規方程式を演算することにより動きボケの生じていない各画素の画素値を推定する実世界推定手段と、ユーザ入力に応じた画素の特徴を検出する特徴検出手段と、特徴検出手段によって検出された特徴に類似する特徴を有する画素を抽出する画素抽出手段とを備え、重み変更手段は、画素抽出手段により抽出された画素に対応する第１または第２の方程式の重みが大きくなるように重みを変更し、実世界推定手段は、重みが変更された第１または第２の方程式から生成される正規方程式を演算することにより動きボケが生じていない各画素の画素値を推定することを特徴とする。
【０００８】
処理領域内の各画素の画素値、または動きボケが生じていない各画素の画素値のうちの少なくとも一方を表示する表示手段をさらに備え、ユーザ入力は、表示手段に表示される画素に対するユーザ入力であるようにすることができる。
【００１０】
重み変更手段は、画素抽出手段により抽出された画素に対応する第１または第２の方程式の重みを複数設定し、実世界推定手段は、複数の重みが設定された第１または第２の方程式からそれぞれ生成される正規方程式を各々演算することにより複数の動きボケが生じていない各画素の画素値を推定し、表示手段は、実世界推定手段により推定された複数の動きボケが生じていない各画素の画素値を表示するようにすることができる。
【００１２】
ユーザ入力に応じた画素の複数種類の特徴を検出する特徴検出手段と、特徴検出手段によって検出された複数種類の特徴それぞれについて、その特徴に類似する特徴を有する画素を抽出する画素抽出手段とをさらに備え、重み変更手段は、複数種類の特徴それぞれについて、その特徴に類似する特徴を有する画素に対応する第１または第２の方程式の重みを変更し、実世界推定手段は、複数種類の特徴それぞれについて重みが変更された第１または第２の方程式から生成される正規方程式を各々演算することにより複数種類の動きボケが生じていない各画素の画素値を推定し、表示手段は、実世界推定手段により推定された複数種類の動きボケが生じていない各画素の画素値を表示するようにすることができる。
【００１３】
本発明の信号処理方法は、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影されることにより取得された画像データ内の処理領域を設定する処理領域設定ステップと、画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定ステップと、処理領域内の各画素の画素値は、オブジェクトに対応する動きボケが生じていない各画素の画素値が動きベクトルに対応して移動しながら積分された値であるとして、処理領域内の各画素の画素値と、動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成ステップと、モデル生成ステップの処理により生成されたモデルに対して、処理領域内の各画素の画素値を代入した第1の方程式と、動きボケが生じていない各画素間の関係を拘束する第２の方程式とにより正規方程式を生成する正規方程式生成ステップと、ユーザ入力に応じて第１または第２の方程式の一部に対する重みを変更する重み変更ステップと、重み変更ステップの処理により重みが変更された第１または第２の方程式から生成される正規方程式を演算することにより動きボケの生じていない各画素の画素値を推定する実世界推定ステップと、ユーザ入力に応じた画素の特徴を検出する特徴検出ステップと、特徴検出ステップの処理によって検出された特徴に類似する特徴を有する画素を抽出する画素抽出ステップとを含み、重み変更ステップの処理は、画素抽出ステップの処理により抽出された画素に対応する第１または第２の方程式の重みが大きくなるように重みを変更し、実世界推定ステップの処理は、重みが変更された第１または第２の方程式から生成される正規方程式を演算することにより動きボケが生じていない各画素の画素値を推定することを特徴とする。
【００１４】
本発明のプログラムは、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影されることにより取得された画像データ内の処理領域を設定する処理領域設定ステップと、画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定ステップと、処理領域内の各画素の画素値は、オブジェクトに対応する動きボケが生じていない各画素の画素値が動きベクトルに対応して移動しながら積分された値であるとして、処理領域内の各画素の画素値と、動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成ステップと、モデル生成ステップの処理により生成されたモデルに対して、処理領域内の各画素の画素値を代入した第1の方程式と、動きボケが生じていない各画素間の関係を拘束する第２の方程式とにより正規方程式を生成する正規方程式生成ステップと、ユーザ入力に応じて第１または第２の方程式の一部に対する重みを変更する重み変更ステップと、重み変更ステップの処理により重みが変更された第１または第２の方程式から生成される正規方程式を演算することにより動きボケの生じていない各画素の画素値を推定する実世界推定ステップと、ユーザ入力に応じた画素の特徴を検出する特徴検出ステップと、特徴検出ステップの処理によって検出された特徴に類似する特徴を有する画素を抽出する画素抽出ステップとを含み、重み変更ステップの処理は、画素抽出ステップの処理により抽出された画素に対応する第１または第２の方程式の重みが大きくなるように重みを変更し、実世界推定ステップの処理は、重みが変更された第１または第２の方程式から生成される正規方程式を演算することにより動きボケが生じていない各画素の画素値を推定することを特徴とする。
【００１５】
本発明の記録媒体は、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影されることにより取得された画像データ内の処理領域を設定する処理領域設定ステップと画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定ステップと、処理領域内の各画素の画素値は、オブジェクトに対応する動きボケが生じていない各画素の画素値が動きベクトルに対応して移動しながら積分された値であるとして、処理領域内の各画素の画素値と、動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成ステップと、モデル生成ステップの処理により生成されたモデルに対して、処理領域内の各画素の画素値を代入した第1の方程式と、動きボケが生じていない各画素間の関係を拘束する第２の方程式とにより正規方程式を生成する正規方程式生成ステップと、ユーザ入力に応じて第１または第２の方程式の一部に対する重みを変更する重み変更ステップと、重み変更ステップの処理により重みが変更された第１または第２の方程式から生成される正規方程式を演算することにより動きボケの生じていない各画素の画素値を推定する実世界推定ステップと、ユーザ入力に応じた画素の特徴を検出する特徴検出ステップと、特徴検出ステップの処理によって検出された特徴に類似する特徴を有する画素を抽出する画素抽出ステップとを含み、重み変更ステップの処理は、画素抽出ステップの処理により抽出された画素に対応する第１または第２の方程式の重みが大きくなるように重みを変更し、実世界推定ステップの処理は、重みが変更された第１または第２の方程式から生成される正規方程式を演算することにより動きボケが生じていない各画素の画素値を推定するプログラムが記録されていることを特徴とする。
【００１６】
本発明の信号処理装置および信号処理方法、並びにプログラムおよび記録媒体においては、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影されることにより取得された画像データ内の処理領域が設定され、画像データ内のオブジェクトの動きベクトルが設定され、処理領域内の各画素の画素値は、オブジェクトに対応する動きボケが生じていない各画素の画素値が動きベクトルに対応して移動しながら積分された値であるとして、処理領域内の各画素の画素値と、動きボケが生じていない各画素の画素値との関係がモデル化される。生成されたモデルに対して、処理領域内の各画素の画素値を代入した第1の方程式と、動きボケが生じていない各画素間の関係を拘束する第２の方程式とにより正規方程式が生成される。また、ユーザ入力に応じた画素の特徴が検出され、その検出された特徴に類似する特徴を有する画素が抽出され、その画素に対応する第１または第２の方程式の重みが大きくなるように重みが変更される。重みが変更された第１または第２の方程式から生成される正規方程式を演算することにより動きボケが生じていない各画素の画素値が推定される。
【００１７】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１８】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００１９】
請求項１の信号処理装置は、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影されることにより取得された画像データ内の処理領域を設定する処理領域設定手段（例えば、図１２３の処理領域設定部12071）と、前記画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定手段（例えば、図１２３の定常性設定部12072）と、前記処理領域内の各画素の画素値は、前記オブジェクトに対応する動きボケが生じていない各画素の画素値が前記動きベクトルに対応して移動しながら積分された値であるとして、前記処理領域内の各画素の画素値と、前記動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成手段（例えば、図１２３のモデル生成部12081）と、前記モデル生成手段により生成されたモデルに対して、前記処理領域内の各画素の画素値を代入した第1の方程式と、前記動きボケが生じていない各画素間の関係を拘束する第２の方程式とにより正規方程式を生成する正規方程式生成手段（例えば、図１２６の正規方程式生成部12103）と、ユーザ入力に応じて前記第１または第２の方程式の一部に対する重みを変更する重み変更手段（例えば、図１２６の拘束条件式生成部12102）と、前記重み変更手段により重みが変更された前記第１または第２の方程式から生成される前記正規方程式を演算することにより前記動きボケの生じていない各画素の画素値を推定する実世界推定手段（例えば、図１２３の実世界波形推定部12083）と、前記ユーザ入力に応じた画素の特徴を検出する特徴検出手段（例えば、図１４０の特徴量抽出部12272）と、前記特徴検出手段によって検出された特徴に類似する特徴を有する画素を抽出する画素抽出手段（例えば、図１４０の特徴量空間LUT生成部12273）とを備え、前記重み変更手段は、前記画素抽出手段により抽出された画素に対応する前記第１または第２の方程式の重みが大きくなるように重みを変更し（例えば、図１４１のステップS12256の処理）、前記実世界推定手段は、前記重みが変更された前記第１または第２の方程式から生成される前記正規方程式を演算することにより前記動きボケが生じていない各画素の画素値を推定する（例えば、図１３９のステップS12233の処理）ことを特徴とする。
【００２０】
請求項２に記載の信号処理装置は、前記処理領域内の各画素の画素値、または前記動きボケが生じていない各画素の画素値のうちの少なくとも一方を表示する表示手段（例えば、図１２３の画像表示部12075）をさらに備え、前記ユーザ入力は、前記表示手段に表示される画素に対するユーザ入力であることを特徴とする。
【００２２】
請求項３に記載の信号処理装置は、前記重み変更手段は、前記画素抽出手段により抽出された画素に対応する前記第１または第２の方程式の重みを複数設定し（例えば、図１３５のステップS12193の処理）、前記実世界推定手段は、前記複数の重みが設定された前記第１または第２の方程式からそれぞれ生成される前記正規方程式を各々演算することにより複数の前記動きボケが生じていない各画素の画素値を推定し（例えば、図１３３のステップS12173の処理）、前記表示手段は、前記実世界推定手段により推定された前記複数の動きボケが生じていない各画素の画素値を表示する（例えば、図１３２のステップS12150の処理）ことを特徴とする。
【００２４】
請求項４に記載の信号処理装置は、前記ユーザ入力に応じた画素の複数種類の特徴を検出する特徴検出手段（例えば、図１４６の特徴量抽出部12322）と、前記特徴検出手段によって検出された複数種類の特徴それぞれについて、その特徴に類似する特徴を有する画素を抽出する画素抽出手段（例えば、図１４６の特徴量空間LUT生成部12324）とをさらに備え、前記重み変更手段は、前記複数種類の特徴それぞれについて、その特徴に類似する特徴を有する画素に対応する前記第１または第２の方程式の重みを変更し（例えば、図１４７のステップS12317の処理）、前記実世界推定手段は、前記複数種類の特徴それぞれについて重みが変更された前記第１または第２の方程式から生成される前記正規方程式を各々演算することにより複数種類の動きボケが生じていない各画素の画素値を推定し（例えば、図１４５のステップS12293の処理）、前記表示手段は、前記実世界推定手段により推定された前記複数種類の動きボケが生じていない各画素の画素値を表示する（例えば、図１４４のステップS12280の処理）ことを特徴とする。
【００２５】
請求項５に記載の信号処理方法、請求項６に記載のプログラム、および請求項７に記載の記録媒体は、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影されることにより取得された画像データ内の処理領域を設定する処理領域設定ステップ（例えば、図１２４のステップS12076）と、前記画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定ステップ（例えば、図１２４のステップS12077）と、前記処理領域内の各画素の画素値は、前記オブジェクトに対応する動きボケが生じていない各画素の画素値が前記動きベクトルに対応して移動しながら積分された値であるとして、前記処理領域内の各画素の画素値と、前記動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成ステップ（例えば、図１２５のステップS12101）と、前記モデル生成ステップの処理により生成されたモデルに対して、前記処理領域内の各画素の画素値を代入した第1の方程式と、前記動きボケが生じていない各画素間の関係を拘束する第２の方程式とにより正規方程式を生成する正規方程式生成ステップ（例えば、図１２７のステップS12126）と、ユーザ入力に応じて前記第１または第２の方程式の一部に対する重みを変更する重み変更ステップ（例えば、図１２７のステップS12125）と、前記重み変更ステップの処理により重みが変更された前記第１または第２の方程式から生成される前記正規方程式を演算することにより前記動きボケの生じていない各画素の画素値を推定する実世界推定ステップ（例えば、図１２５のステップS12103）と、前記ユーザ入力に応じた画素の特徴を検出する特徴検出ステップと、前記特徴検出ステップの処理によって検出された特徴に類似する特徴を有する画素を抽出する画素抽出ステップとを含み、前記重み変更ステップの処理は、前記画素抽出ステップの処理により抽出された画素に対応する前記第１または第２の方程式の重みが大きくなるように重みを変更し、前記実世界推定ステップの処理は、前記重みが変更された前記第１または第２の方程式から生成される前記正規方程式を演算することにより前記動きボケが生じていない各画素の画素値を推定することを特徴とする。
【００２６】
図１は、本発明の原理を表している。同図で示されるように、空間、時間、および質量の次元を有する実世界１の事象（現象）は、センサ２により取得され、データ化される。実世界１の事象とは、光（画像）、音声、圧力、温度、質量、濃度、明るさ／暗さ、またはにおいなどをいう。実世界１の事象は、時空間方向に分布している。例えば、実世界１の画像は、実世界１の光の強度の時空間方向の分布である。
【００２７】
センサ２に注目すると、空間、時間、および質量の次元を有する実世界１の事象のうち、センサ２が取得可能な、実世界１の事象が、センサ２により、データ３に変換される。センサ２によって、実世界１の事象を示す情報が取得されるとも言える。
【００２８】
すなわち、センサ２は、実世界１の事象を示す情報を、データ３に変換する。空間、時間、および質量の次元を有する実世界１の事象（現象）を示す情報である信号がセンサ２により取得され、データ化されるとも言える。
【００２９】
以下、実世界１における、画像、音声、圧力、温度、質量、濃度、明るさ／暗さ、またはにおいなどの事象の分布を、実世界１の事象を示す情報である信号とも称する。また、実世界１の事象を示す情報である信号を、単に、実世界１の信号とも称する。本明細書において、信号は、現象および事象を含み、送信側に意思がないものも含むものとする。
【００３０】
センサ２から出力されるデータ３（検出信号）は、実世界１の事象を示す情報を、実世界１に比較して、より低い次元の時空間に射影して得られた情報である。例えば、動画像の画像データであるデータ３は、実世界１の３次元の空間方向および時間方向の画像が、２次元の空間方向、および時間方向からなる時空間に射影されて得られた情報である。また、例えば、データ３がデジタルデータであるとき、データ３は、サンプリングの単位に応じて、丸められている。データ３がアナログデータであるとき、データ３において、ダイナミックレンジに応じて、情報が圧縮されているか、またはリミッタなどにより、情報の一部が削除されている。
【００３１】
このように、所定の次元を有する実世界１の事象を示す情報である信号をデータ３（検出信号）に射影することにより、実世界１の事象を示す情報の一部が欠落する。すなわち、センサ２が出力するデータ３において、実世界１の事象を示す情報の一部が欠落している。
【００３２】
しかしながら、射影により実世界１の事象を示す情報の一部が欠落しているものの、データ３は、実世界１の事象（現象）を示す情報である信号を推定するための有意情報を含んでいる。
【００３３】
本発明においては、実世界１の情報である信号を推定するための有意情報として、実世界１またはデータ３に含まれる定常性を有する情報を利用する。定常性は、新たに定義する概念である。
【００３４】
ここで、実世界１に注目すると、実世界１の事象は、所定の次元の方向に一定の特徴を含む。例えば、実世界１の物体（有体物）において、空間方向または時間方向に、形状、模様、若しくは色彩などが連続するか、または形状、模様、若しくは色彩などのパターンが繰り返す。
【００３５】
従って、実世界１の事象を示す情報には、所定の次元の方向に一定の特徴が含まれることになる。
【００３６】
より具体的な例を挙げれば、糸、紐、またはロープなどの線状の物体は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有する。長さ方向の任意の位置において、断面形状が同じであるという空間方向に一定の特徴は、線状の物体が長いという特徴から生じる。
【００３７】
従って、線状の物体の画像は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有している。
【００３８】
また、空間方向に広がりを有する有体物である、単色の物体は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有していると言える。
【００３９】
同様に、空間方向に広がりを有する有体物である、単色の物体の画像は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有している。
【００４０】
このように、実世界１（現実世界）の事象は、所定の次元の方向に一定の特徴を有しているので、実世界１の信号は、所定の次元の方向に一定の特徴を有する。
【００４１】
本明細書において、このような所定の次元の方向に一定の特徴を定常性と称する。実世界１（現実世界）の信号の定常性とは、実世界１（現実世界）の事象を示す信号が有している、所定の次元の方向に一定の特徴をいう。
【００４２】
実世界１（現実世界）には、このような定常性が無数に存在する。
【００４３】
次に、データ３に注目すると、データ３は、センサ２により、所定の次元を有する実世界１の事象を示す情報である信号が射影されたものであるので、実世界の信号の定常性に対応する定常性を含んでいる。データ３は、実世界の信号の定常性が射影された定常性を含んでいるとも言える。
【００４４】
しかしながら、上述したように、センサ２が出力するデータ３において、実世界１の情報の一部が欠落しているので、データ３から、実世界１（現実世界）の信号に含まれる定常性の一部が欠落し得る。
【００４５】
換言すれば、データ３は、データの定常性として、実世界１（現実世界）の信号の定常性の中の、少なくとも一部の定常性を含む。データの定常性とは、データ３が有している、所定の次元の方向に一定の特徴である。
【００４６】
本発明においては、実世界１の事象を示す情報である信号を推定するための有意情報として、実世界１の信号の定常性、またはデータ３が有する、データの定常性が利用される。
【００４７】
例えば、信号処理装置４においては、データの定常性を利用して、データ３を信号処理することで、欠落した、実世界１の事象を示す情報が生成される。
【００４８】
なお、信号処理装置４においては、実世界１の事象を示す情報である信号の次元の、長さ（空間）、時間、および質量のうち、空間方向または時間方向の定常性が利用される。
【００４９】
図１において、センサ２は、例えば、デジタルスチルカメラ、またはビデオカメラなどで構成され、実世界１の画像を撮像し、得られたデータ３である画像データを信号処理装置４に出力する。センサ２は、例えば、サーモグラフィ装置、または光弾性を利用した圧力センサなどとすることができる。
【００５０】
信号処理装置４は、例えば、パーソナルコンピュータなどで構成され、データ３を対象とした信号処理を行う。
【００５１】
信号処理装置４は、例えば、図２で示されるように構成される。CPU（Central Processing Unit）２１は、ROM（Read Only Memory）２２、または記憶部２８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２３には、CPU２１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２１、ROM２２、およびRAM２３は、バス２４により相互に接続されている。
【００５２】
CPU２１にはまた、バス２４を介して入出力インタフェース２５が接続されている。入出力インタフェース２５には、キーボード、マウス、マイクロホンなどよりなる入力部２６、ディスプレイ、スピーカなどよりなる出力部２７が接続されている。CPU２１は、入力部２６から入力される指令に対応して各種の処理を実行する。そして、CPU２１は、処理の結果得られた画像や音声等を出力部２７に出力する。
【００５３】
入出力インタフェース２５に接続されている記憶部２８は、例えばハードディスクなどで構成され、CPU２１が実行するプログラムや各種のデータを記憶する。通信部２９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部２９はセンサ２の出力するデータ３を取り込む取得部として働く。
【００５４】
また、通信部２９を介してプログラムを取得し、記憶部２８に記憶してもよい。
【００５５】
入出力インタフェース２５に接続されているドライブ３０は、磁気ディスク５１、光ディスク５２、光磁気ディスク５３、或いは半導体メモリ５４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２８に転送され、記憶される。
【００５６】
図３は、信号処理装置４を示すブロック図である。
【００５７】
なお、信号処理装置４の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えても良い。
【００５８】
図３に構成を示す信号処理装置４においては、データ３の一例である画像データが入力され、入力された画像データ（入力画像）からデータの定常性が検出される。次に、検出されたデータの定常性から、センサ２により取得された実世界１の信号が推定される。そして、推定された実世界１の信号を基に、画像が生成され、生成された画像（出力画像）が出力される。すなわち、図３は、画像処理装置である信号処理装置４の構成を示す図である。
【００５９】
信号処理装置４に入力された入力画像（データ３の一例である画像データ）は、データ定常性検出部１０１および実世界推定部１０２に供給される。
【００６０】
データ定常性検出部１０１は、入力画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報を実世界推定部１０２および画像生成部１０３に供給する。データ定常性情報は、例えば、入力画像における、データの定常性を有する画素の領域の位置、データの定常性を有する画素の領域の方向（時間方向および空間方向の角度または傾き）、またはデータの定常性を有する画素の領域の長さなどを含む。データ定常性検出部１０１の構成の詳細は、後述する。
【００６１】
実世界推定部１０２は、入力画像、およびデータ定常性検出部１０１から供給されたデータ定常性情報を基に、実世界１の信号を推定する。すなわち、実世界推定部１０２は、入力画像が取得されたときセンサ２に入射された、実世界の信号である画像を推定する。実世界推定部１０２は、実世界１の信号の推定の結果を示す実世界推定情報を画像生成部１０３に供給する。実世界推定部１０２の構成の詳細は、後述する。
【００６２】
画像生成部１０３は、実世界推定部１０２から供給された、推定された実世界１の信号を示す実世界推定情報を基に、実世界１の信号により近似した信号を生成して、生成した信号を出力する。または、画像生成部１０３は、データ定常性検出部１０１から供給されたデータ定常性情報、および実世界推定部１０２から供給された、推定された実世界１の信号を示す実世界推定情報を基に、実世界１の信号により近似した信号を生成して、生成した信号を出力する。
【００６３】
すなわち、画像生成部１０３は、実世界推定情報を基に、実世界１の画像により近似した画像を生成して、生成した画像を出力画像として出力する。または、画像生成部１０３は、データ定常性情報および実世界推定情報を基に、実世界１の画像により近似した画像を生成して、生成した画像を出力画像として出力する。
【００６４】
例えば、画像生成部１０３は、実世界推定情報を基に、推定された実世界１の画像を所望の空間方向または時間方向の範囲で積分することにより、入力画像に比較して、空間方向または時間方向により高解像度の画像を生成して、生成した画像を出力画像として出力する。例えば、画像生成部１０３は、外挿補間により、画像を生成して、生成した画像を出力画像として出力する。
【００６５】
画像生成部１０３の構成の詳細は、後述する。
【００６６】
次に、図４を参照して、本発明の原理を説明する。
【００６７】
例えば、画像である、実世界１の信号は、センサ２の一例であるCCD（Charge Coupled Device）の受光面に結像される。センサ２の一例であるCCDは、積分特性を有しているので、CCDから出力されるデータ３には、実世界１の画像との差が生じることになる。センサ２の積分特性の詳細については、後述する。
【００６８】
信号処理装置４による信号処理においては、CCDにより取得された実世界１の画像と、CCDにより撮像され、出力されたデータ３との関係が明確に考慮される。すなわち、データ３と、センサ２で取得された実世界の情報である信号との関係が明確に考慮される。
【００６９】
より具体的には、図４で示されるように、信号処理装置４は、モデル１６１を用いて、実世界１を近似（記述）する。モデル１６１は、例えば、Ｎ個の変数で表現される。より正確には、モデル１６１は、実世界１の信号を近似（記述）する。
【００７０】
モデル１６１を予測するために、信号処理装置４は、データ３から、Ｍ個のデータ１６２を抽出する。データ３から、Ｍ個のデータ１６２を抽出するとき、信号処理装置４は、例えば、データ３に含まれるデータの定常性を利用する。換言すれば、信号処理装置４は、データ３に含まれるデータの定常性を基に、モデル１６１を予測するためのデータ１６２を抽出する。この場合、結果的に、モデル１６１は、データの定常性に拘束されることになる。
【００７１】
すなわち、モデル１６１は、センサ２で取得されたとき、データ３においてデータの定常性を生じさせる、定常性（所定の次元の方向に一定の特徴）を有する実世界１の事象（を示す情報（信号））を近似する。
【００７２】
ここで、データ１６２の数Ｍが、モデルの変数の数Ｎ以上であれば、Ｍ個のデータ１６２から、Ｎ個の変数で表現されるモデル１６１を予測することができる。
【００７３】
このように、実世界１（の信号）を近似（記述）するモデル１６１を予測することにより、信号処理装置４は、実世界１の情報である信号を考慮することができる。
【００７４】
次に、センサ２の積分効果について説明する。
【００７５】
画像を撮像するセンサ２である、CCDまたはCMOS（Complementary Metal-Oxide Semiconductor）センサなどのイメージセンサは、現実世界を撮像するとき、現実世界の情報である信号を２次元のデータに投影する。イメージセンサの各画素は、いわゆる受光面（受光領域）として、それぞれ所定の面積を有する。所定の面積を有する受光面に入射した光は、画素毎に、空間方向および時間方向に積分され、各画素に対して１つの画素値に変換される。
【００７６】
図５乃至図８を参照して、画像の空間的時間的な積分について説明する。
【００７７】
イメージセンサは、現実世界の対象物（オブジェクト）を撮像し、撮像の結果得られた画像データを１フレーム単位で出力する。すなわち、イメージセンサは、実世界１の対象物で反射された光である、実世界１の信号を取得し、データ３を出力する。
【００７８】
例えば、イメージセンサは、１秒間に３０フレームからなる画像データを出力する。この場合、イメージセンサの露光時間は、１／３０秒とすることができる。露光時間は、イメージセンサが入射された光の電荷への変換を開始してから、入射された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。
【００７９】
図５は、イメージセンサ上の画素の配置の例を説明する図である。図５中において、Ａ乃至Ｉは、個々の画素を示す。画素は、画像データにより表示される画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、イメージセンサ上に配置されている。イメージセンサが実世界１の画像を撮像するとき、１つの検出素子は、画像データを構成する１つの画素に対応する１つの画素値を出力する。例えば、検出素子の空間方向Ｘの位置（Ｘ座標）は、画像データにより表示される画像上の横方向の位置に対応し、検出素子の空間方向Ｙの位置（Ｙ座標）は、画像データにより表示される画像上の縦方向の位置に対応する。
【００８０】
実世界１の光の強度の分布は、３次元の空間方向および時間方向に広がりを有するが、イメージセンサは、２次元の空間方向および時間方向で、実世界１の光を取得し、２次元の空間方向および時間方向の光の強度の分布を表現するデータ３を生成する。
【００８１】
図６で示されるように、例えば、CCDである検出素子は、シャッタ時間に対応する期間、受光面（受光領域）（検出領域）に入力された光を電荷に変換して、変換された電荷を蓄積する。光は、３次元の空間上の位置、および時刻により、強度が決定される実世界１の情報（信号）である。実世界１の光の強度の分布は、３次元の空間上の位置x,y、およびz、並びに時刻tを変数とする関数F(x,y,z,t)で表すことができる。
【００８２】
CCDである検出素子に蓄積される電荷の量は、２次元の空間上の広がりを有する受光面の全体に入射された光の強さと、光が入射されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、受光面の全体に入射された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャッタ時間に対応する期間、２次元の空間上の広がりを有する受光面の全体に入射される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、空間（受光面）および時間（シャッタ時間）に対して、積分効果があるとも言える。
【００８３】
検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値はさらにデジタルデータなどの画素値に変換されて、データ３として出力される。従って、イメージセンサから出力される個々の画素値は、実世界１の情報（信号）の時間的空間的に広がりを有するある部分を、シャッタ時間の時間方向および検出素子の受光面の空間方向について積分した結果である、１次元の空間に射影した値を有する。
【００８４】
すなわち、１つの画素の画素値は、F(x,y,t)の積分で表される。F(x,y,t)は、検出素子の受光面における、光の強度の分布を表す関数である。例えば、画素値Pは、式（１）で表される。
【００８５】
【数１】

・・・（１）
【００８６】
式（１）において、x₁は、検出素子の受光面の左側の境界の空間座標（Ｘ座標）である。x₂は、検出素子の受光面の右側の境界の空間座標（Ｘ座標）である。式（１）において、y₁は、検出素子の受光面の上側の境界の空間座標（Ｙ座標）である。y₂は、検出素子の受光面の下側の境界の空間座標（Ｙ座標）である。また、t₁は、入射された光の電荷への変換を開始した時刻である。t₂は、入射された光の電荷への変換を終了した時刻である。
【００８７】
なお、実際には、イメージセンサから出力される画像データの画素値は、例えばフレーム全体として、そのゲインが補正されている。
【００８８】
画像データの各画素値は、イメージセンサの各検出素子の受光面に入射した光の積分値であり、イメージセンサに入射された光のうち、検出素子の受光面よりも微小な実世界１の光の波形は、積分値としての画素値に隠されてしまう。
【００８９】
以下、本明細書において、所定の次元を基準として表現される信号の波形を単に波形とも称する。
【００９０】
このように、実世界１の画像（光信号）は、画素を単位として、空間方向および時間方向に積分されてしまうので、画像データにおいては、実世界１の画像の定常性の一部が欠落し、実世界１の画像の定常性の他の一部が画像データに含まれることになる。または、画像データには、実世界１の画像の定常性から変化してしまった定常性が含まれることがある。
【００９１】
積分効果を有するイメージセンサにより撮像された画像の、空間方向の積分効果についてさらに説明する。
【００９２】
図７は、画素Ｄ乃至画素Ｆに対応する検出素子に入射される光と、画素値との関係を説明する図である。図７のF(x)は、空間上（検出素子上）の空間方向Ｘの座標xを変数とする、実世界１の光の強度の分布を表す関数の例である。言い換えれば、F(x)は、空間方向Ｙおよび時間方向に一定である場合の、実世界１の光の強度の分布を表す関数の例である。図７において、Lは、画素Ｄ乃至画素Ｆに対応する検出素子の受光面の空間方向Ｘの長さを示す。
【００９３】
１つの画素の画素値は、F(x)の積分で表される。例えば、画素Ｅの画素値Pは、式（２）で表される。
【００９４】
【数２】

・・・（２）
【００９５】
式（２）において、x₁は、画素Ｅに対応する検出素子の受光面の左側の境界の空間方向Ｘの空間座標である。x₂は、画素Ｅに対応する検出素子の受光面の右側の境界の空間方向Ｘの空間座標である。
【００９６】
同様に、積分効果を有するイメージセンサにより撮像された画像の、時間方向の積分効果についてさらに説明する。
【００９７】
図８は、時間の経過と、１つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。図８のF(t)は、時刻tを変数とする、実世界１の光の強度の分布を表す関数である。言い換えれば、F(t)は、空間方向Ｙおよび空間方向Ｘに一定である場合の、実世界１の光の強度の分布を表す関数の例である。t_sは、シャッタ時間を示す。
【００９８】
フレーム#n-1は、フレーム#nに対して時間的に前のフレームであり、フレーム#n+1は、フレーム#nに対して時間的に後のフレームである。すなわち、フレーム#n-1、フレーム#n、およびフレーム#n+1は、フレーム#n-1、フレーム#n、およびフレーム#n+1の順で表示される。
【００９９】
なお、図８で示される例において、シャッタ時間t_sとフレーム間隔とが同一である。
【０１００】
１つの画素の画素値は、F(t)の積分で表される。例えば、フレーム#nの画素の画素値Pは、式（３）で表される。
【０１０１】
【数３】

・・・（３）
【０１０２】
式（３）において、t₁は、入射された光の電荷への変換を開始した時刻である。t₂は、入射された光の電荷への変換を終了した時刻である。
【０１０３】
以下、センサ２による空間方向の積分効果を単に空間積分効果と称し、センサ２による時間方向の積分効果を単に時間積分効果と称する。また、空間積分効果または時間積分効果を単に積分効果とも称する。
【０１０４】
次に、積分効果を有するイメージセンサにより取得されたデータ３に含まれるデータの定常性の例について説明する。
【０１０５】
図９は、実世界１の線状の物（例えば、細線）の画像、すなわち光の強度の分布の例を示す図である。図９において、図中の上方向の位置は、光の強度（レベル）を示し、図中の右上方向の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右方向の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。
【０１０６】
実世界１の線状の物の画像には、所定の定常性が含まれる。すなわち、図９で示される画像は、長さ方向の任意の位置において、断面形状（長さ方向に直交する方向の位置の変化に対するレベルの変化）が同じであるという定常性を有する。
【０１０７】
図１０は、図９で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。
【０１０８】
即ち、図１０は、イメージセンサの画素の並び（画素の縦または横の並び）とずれた方向に延びる、各画素の受光面の長さLよりも短い径の線状の物の画像を、イメージセンサで撮像して得られた画像データの模式図である。図１０で示される画像データが取得されたときにイメージセンサに入射された画像は、図９の実世界１の線状の物の画像である。
【０１０９】
図１０において、図中の上方向の位置は、画素値を示し、図中の右上方向の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右方向の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。図１０における画素値を示す方向は、図９におけるレベルの方向に対応し、図１０における空間方向Ｘ、および空間方向Ｙは、図９における方向と同じである。
【０１１０】
各画素の受光面の長さLよりも短い径の線状の物の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、線状の物は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さの円弧形状（かまぼこ型）で表される。各円弧形状は、ほぼ同じ形状である。１つの円弧形状は、縦に１列の画素の上、または横に１列の画素の上に形成される。例えば、図１０における１つの円弧形状は、縦に１列の画素の上に形成される。
【０１１１】
このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、実世界１の線状の物の画像が有していた、長さ方向の任意の位置において、空間方向Ｙにおける断面形状が同じであるという定常性が失われている。また、実世界１の線状の物の画像が有していた定常性は、縦に１列の画素の上、または横に１列の画素の上に形成された、同じ形状である円弧形状が一定の間隔で並ぶという定常性に変化していると言える。
【０１１２】
図１１は、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像、すなわち光の強度の分布の例を示す図である。図１１において、図中の上方向の位置は、光の強度（レベル）を示し、図中の右上方向の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右方向の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。
【０１１３】
背景とは異なる色の、直線状の縁を有する物の実世界１の画像には、所定の定常性が含まれる。すなわち、図１１で示される画像は、縁の長さ方向の任意の位置において、断面形状（縁に直交する方向の位置の変化に対するレベルの変化）が同じであるという定常性を有する。
【０１１４】
図１２は、図１１で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。図１２で示されるように、画像データは、画素を単位とした画素値からなるので、階段状になる。
【０１１５】
図１３は、図１２に示す画像データの模式図である。
【０１１６】
図１３で示される模式図は、イメージセンサの画素の並び（画素の縦または横の並び）とずれた方向に縁が延びる、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像を、イメージセンサで撮像して得られた画像データの模式図である。図１３で示される画像データが取得されたときにイメージセンサに入射された画像は、図１１で示される、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像である。
【０１１７】
図１３において、図中の上方向の位置は、画素値を示し、図中の右上方向の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右方向の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。図１３における画素値を示す方向は、図１１におけるレベルの方向に対応し、図１３における空間方向Ｘ、および空間方向Ｙは、図１１における方向と同じである。
【０１１８】
背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、直線状の縁は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さのつめ（pawl）形状で表される。各つめ形状は、ほぼ同じ形状である。１つのつめ形状は、縦に１列の画素の上、または横に１列の画素の上に形成される。例えば、図１３において、１つのつめ形状は、縦に１列の画素の上に形成される。
【０１１９】
このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像が有していた、縁の長さ方向の任意の位置において、断面形状が同じであるという定常性が失われている。また、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像が有していた定常性は、縦に１列の画素の上、または横に１列の画素の上に形成された、同じ形状であるつめ形状が一定の間隔で並ぶという定常性に変化していると言える。
【０１２０】
データ定常性検出部１０１は、このような、例えば、入力画像であるデータ３が有するデータの定常性を検出する。例えば、データ定常性検出部１０１は、所定の次元の方向に一定の特徴を有する領域を検出することにより、データの定常性を検出する。例えば、データ定常性検出部１０１は、図１０で示される、同じ円弧形状が一定の間隔で並ぶ領域を検出する。また、例えば、データ定常性検出部１０１は、図１３で示される、同じつめ形状が一定の間隔で並ぶ領域を検出する。
【０１２１】
また、データ定常性検出部１０１は、同様の形状の並び方を示す、空間方向の角度（傾き）を検出することにより、データの定常性を検出する。
【０１２２】
また、例えば、データ定常性検出部１０１は、空間方向および時間方向の同様の形状の並び方を示す、空間方向および時間方向の角度（動き）を検出することにより、データの定常性を検出する。
【０１２３】
さらに、例えば、データ定常性検出部１０１は、所定の次元の方向に一定の特徴を有する領域の長さを検出することにより、データの定常性を検出する。
【０１２４】
以下、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像がセンサ２により射影されたデータ３の部分を２値エッジとも称する。
【０１２５】
ここで、従来の信号処理においては、データ３から、例えば、所望の高解像度データが生成される。
【０１２６】
これに対して、信号処理装置４による信号処理においては、データ３から、実世界１が推定され、推定の結果に基づいて、高解像度データが生成される。すなわち、実世界１が、データ３から推定され、高解像度データが、データ３を考慮して、推定された実世界１から生成される。
【０１２７】
実世界１から高解像度データを生成するためには、実世界１とデータ３との関係を考慮する必要がある。例えば、実世界１が、CCDであるセンサ２により、データ３に射影されるとどうなるかが考慮される。
【０１２８】
CCDであるセンサ２は、上述したように、積分特性を有する。すなわち、データ３の１つの単位（例えば、画素値）は、実世界１の信号をセンサ２の検出素子（例えば、CCD）の検出領域（例えば、受光面）で積分することにより算出することができる。
【０１２９】
これを高解像度データについて当てはめると、仮想的な高解像度のセンサが実世界１の信号をデータ３に射影する処理を、推定された実世界１に適用することにより、高解像度データを得ることができる。
【０１３０】
換言すれば、データ３から実世界１の信号を推定できれば、実世界１の信号を、仮想的な高解像度のセンサの検出素子の検出領域毎に（時空間方向に）積分することにより、高解像度データに含まれる１つの値を得ることができる。
【０１３１】
例えば、センサ２の検出素子の検出領域の大きさに比較して、実世界１の信号の変化が、より小さいとき、データ３は、実世界１の信号の小さい変化を表すことができない。そこで、データ３から推定された実世界１の信号を、実世界１の信号の変化に比較して、より小さい領域毎に（時空間方向に）積分することにより、実世界１の信号の小さい変化を示す高解像度データを得ることができる。
【０１３２】
すなわち、仮想的な高解像度のセンサの各検出素子について、推定された実世界１の信号を検出領域で積分することにより、高解像度データを得ることができる。
【０１３３】
信号処理装置４において、画像生成部１０３は、例えば、仮想的な高解像度のセンサの各検出素子の時空間方向の領域で、推定された実世界１の信号を積分することにより、高解像度データを生成する。
【０１３４】
次に、データ３から、実世界１を推定するために、信号処理装置４においては、データ３と実世界１との関係、定常性、およびデータ３における空間的または時間的な混合（空間混合または時間混合）が利用される。
【０１３５】
ここで、混合とは、データ３において、実世界１における２つの物体に対する信号が混合されて１つの値となることをいう。
【０１３６】
空間混合とは、センサ２の空間積分効果による、２つの物体に対する信号の空間方向の混合をいう。時間混合については、後述する。
【０１３７】
実世界１そのものは、無限の数の事象からなり、従って、実世界１そのものを、例えば、数式で表現するためには、無限の数の変数が必要になる。データ３から、実世界１の全ての事象を予測することはできない。
【０１３８】
同様に、データ３から、実世界１の信号の全てを予測することはできない。
【０１３９】
そこで、信号処理装置４においては、実世界１の信号のうち、定常性を有し、関数f(x,y,z,t)で表すことができる部分に注目し、関数f(x,y,z,t)で表すことができる、定常性を有する実世界１の信号の部分が、Ｎ個の変数で表現されるモデル１６１で近似される。そして、図１４で示されるように、モデル１６１が、データ３の中の、Ｍ個のデータ１６２から予測される。
【０１４０】
Ｍ個のデータ１６２からモデル１６１の予測を可能にするには、第１に、モデル１６１を、定常性に基づいて、Ｎ個の変数で表し、第２に、センサ２の積分特性に基づいて、Ｎ個の変数で表現されるモデル１６１とＭ個のデータ１６２との関係を示す、Ｎ個の変数を使用した式を立てることが必要である。モデル１６１が、定常性に基づいて、Ｎ個の変数で表されているので、Ｎ個の変数で表現されるモデル１６１とＭ個のデータ１６２との関係を示す、Ｎ個の変数を使用した式は、定常性を有する実世界１の信号の部分と、データの定常性を有するデータ３の部分との関係を記述しているとも言える。
【０１４１】
換言すれば、Ｎ個の変数で表現されるモデル１６１で近似される、定常性を有する実世界１の信号の部分は、データ３において、データの定常性を生じさせる。
【０１４２】
データ定常性検出部１０１は、定常性を有する実世界１の信号の部分によって、データの定常性が生じたデータ３の部分、およびデータの定常性が生じた部分の特徴を検出する。
【０１４３】
例えば、図１５で示されるように、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像において、図１５中Ａで示す、注目する位置における縁は、傾きを有している。図１５のＢの矢印は、縁の傾きを示す。所定の縁の傾きは、基準となる軸に対する角度または基準となる位置に対する方向で表すことができる。例えば、所定の縁の傾きは、空間方向Ｘの座標軸と、縁との角度で表すことができる。例えば、所定の縁の傾きは、空間方向Ｘの長さおよび空間方向Ｙの長さで示される方向で表すことができる。
【０１４４】
背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像が、センサ２で取得されて、データ３が出力されたとき、データ３において、実世界１の画像における、縁の注目する位置（Ａ）に対する、図１５中Ａ’で示す位置に、縁に対応するつめ形状が並び、実世界１の画像の縁の傾きに対応する、図１５中Ｂ’で示す傾きの方向に、縁に対応するつめ形状が並ぶ。
【０１４５】
Ｎ個の変数で表現されるモデル１６１は、このような、データ３において、データの定常性を生じさせる、実世界の１の信号の部分を近似する。
【０１４６】
Ｎ個の変数で表現されるモデル１６１とＭ個のデータ１６２との関係を示す、Ｎ個の変数を使用した式を立てるとき、データ３において、データの定常性が生じている部分の値を利用する。
【０１４７】
この場合において、図１６で示される、データ３において、データの定常性が生じ、混合領域に属する値に注目して、実世界１の信号を積分した値が、センサ２の検出素子が出力する値に等しいとして、式が立てられる。例えば、データの定常性が生じている、データ３における複数の値について、複数の式を立てることができる。
【０１４８】
図１６において、Ａは、縁の注目する位置を示し、Ａ’は、実世界１の画像における、縁の注目する位置（Ａ）に対する、画素（の位置）を示す。
【０１４９】
ここで、混合領域とは、データ３において、実世界１における２つの物体に対する信号が混合されて１つの値となっているデータの領域をいう。例えば、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像に対するデータ３において、直線状の縁を有する物に対する画像、および背景に対する画像が積分されている画素値は、混合領域に属する。
【０１５０】
図１７は、式を立てる場合における、実世界１における２つの物体に対する信号および混合領域に属する値を説明する図である。
【０１５１】
図１７中の左側は、センサ２の１つの検出素子の検出領域で取得される、空間方向Ｘおよび空間方向Ｙに所定の広がりを有する、実世界１における２つの物体に対する実世界１の信号を示す。図１７中の右側は、図１７中の左側に示す実世界１の信号がセンサ２の１つの検出素子によって射影された、データ３の１つの画素の画素値Ｐを示す。すなわち、センサ２の１つの検出素子によって取得された、空間方向Ｘおよび空間方向Ｙに所定の広がりを有する、実世界１における２つの物体に対する実世界１の信号が射影された、データ３の１つの画素の画素値Ｐを示す。
【０１５２】
図１７のＬは、実世界１における１つの物体に対する、図１７の白い部分の実世界１の信号のレベルを示す。図１７のＲは、実世界１における他の１つの物体に対する、図１７の斜線で表される部分の実世界１の信号のレベルを示す。
【０１５３】
ここで、混合比αは、センサ２の１つの検出素子の、空間方向Ｘおよび空間方向Ｙに所定の広がりを有する検出領域に入射された、２つの物体に対する信号（の面積）の割合を示す。例えば、混合比αは、センサ２の１つの検出素子の検出領域の面積に対する、空間方向Ｘおよび空間方向Ｙに所定の広がりを有する、センサ２の１つの検出素子の検出領域に入射された、レベルＬの信号の面積の割合を示す。
【０１５４】
この場合において、レベルＬ、レベルＲ、および画素値Ｐの関係は、式（４）で表すことができる。
【０１５５】
【数４】

・・・（４）
【０１５６】
なお、レベルＲは、注目している画素の右側に位置している、データ３の画素の画素値とすることができる場合があり、レベルＬは、注目している画素の左側に位置している、データ３の画素値とすることができる場合がある。
【０１５７】
また、混合比αおよび混合領域は、空間方向と同様に、時間方向を考慮することができる。例えば、センサ２に対して撮像の対象となる実世界１の物体が移動しているとき、時間方向に、センサ２の１つの検出素子の検出領域に入射される、２つの物体に対する信号の割合は変化する。センサ２の１つの検出素子の検出領域に入射された、時間方向に割合が変化する、２つの物体に対する信号は、センサ２の検出素子によって、データ３の１つの値に射影される。
【０１５８】
センサ２の時間積分効果による、２つの物体に対する信号の時間方向の混合を時間混合と称する。
【０１５９】
データ定常性検出部１０１は、例えば、実世界１における２つの物体に対する実世界１の信号が射影された、データ３における画素の領域を検出する。データ定常性検出部１０１は、例えば、実世界１の画像の縁の傾きに対応する、データ３における傾きを検出する。
【０１６０】
そして、実世界推定部１０２は、例えば、データ定常性検出部１０１で検出された、所定の混合比αを有する画素の領域、および領域の傾きを基に、Ｎ個の変数で表現されるモデル１６１とＭ個のデータ１６２との関係を示す、Ｎ個の変数を使用した式を立てて、立てた式を解くことにより、実世界１の信号を推定する。
【０１６１】
さらに、具体的な実世界１の推定について説明する。
【０１６２】
関数F(x,y,z,t)で表される実世界の信号のうち、空間方向Ｚの断面（センサ２の位置）における関数F(x,y,t)で表される実世界の信号を、空間方向Ｘにおける位置x、空間方向Ｙにおける位置y、および時刻tで決まる近似関数f（x,y,t）で近似することを考える。
【０１６３】
ここで、センサ２の検出領域は、空間方向Ｘおよび空間方向Ｙに広がりを有する。換言すれば、近似関数f（x,y,t）は、センサ２で取得される、空間方向および時間方向に広がりを有する実世界１の信号を近似する関数である。
【０１６４】
センサ２による実世界１の信号の射影によって、データ３の値P(x,y,t)が得られるものとする。データ３の値P(x,y,t)は、例えば、イメージセンサであるセンサ２が出力する、画素値である。
【０１６５】
ここで、センサ２による射影を定式化できる場合、近似関数f（x,y,t）を射影して得られた値を射影関数S（x,y,t）と表すことができる。
【０１６６】
射影関数S（x,y,t）を求める上で、以下に示す問題がある。
【０１６７】
第１に、一般的に、実世界１の信号を表す関数F(x,y,z,t)は、無限の次数の関数となりうる。
【０１６８】
第２に、たとえ、実世界の信号を関数として記述できたとしても、センサ２の射影を介した、射影関数S（x,y,t）を定めることは、一般的にはできない。すなわち、センサ２による射影の動作、言い換えればセンサ２の入力信号と出力信号との関係を知らないので、射影関数S（x,y,t）を定めることはできない。
【０１６９】
第１の問題点に対して、実世界１の信号を近似する関数f(x,y,t)を記述可能な関数（例えば、有限次数の関数）である関数f_i（x,y,t）および変数w_iの積和で表現することを考える。
【０１７０】
また、第２の問題点に対して、センサ２による射影を定式化することで、関数f_i（x,y,t）の記述から、関数S_i（x,y,t）を記述することができる。
【０１７１】
すなわち、実世界１の信号を近似する関数f(x,y,t)を関数f_i（x,y,t）および変数w_iの積和で表現すると、式（５）が得られる。
【０１７２】
【数５】

・・・（５）
【０１７３】
例えば、式（６）で示されるように、センサ２の射影を定式化することにより、式（５）から、データ３と実世界の信号の関係を式（７）のように定式化することができる。
【０１７４】
【数６】

・・・（６）
【０１７５】
【数７】

・・・（７）
式（７）において、jは、データのインデックスである。
【０１７６】
式（７）のＮ個の変数w_i（i=1乃至N）が共通であるＭ個のデータ群（j=1乃至M）が存在すれば、式（８）を満たすので、データ３から実世界のモデル１６１を求めることができる。
【０１７７】
【数８】

・・・（８）
【０１７８】
Ｎは、実世界１を近似するモデル１６１を表現する変数の数である。Ｍは、データ３に含まれるデータ１６２の数である。
【０１７９】
実世界１の信号を近似する関数f(x,y,t)を式（５）で表すことにより、w_iとして変数の部分を独立させることができる。このとき、iは、そのまま変数の数を示すことになる。また、f_iで示される関数の形を独立させることができ、f_iとして所望の関数を利用することができるようになる。
【０１８０】
従って、関数f_iの形に依存せず、変数w_iの数Ｎを定義でき、変数w_iの数Ｎとデータの数Ｍとの関係で変数w_iを求めることができる。
【０１８１】
すなわち、以下の３つを用いることで、データ３から実世界１を推定することができるようになる。
【０１８２】
第１に、Ｎ個の変数を定める、すなわち、式（５）を定める。これは、定常性を用いて実世界１を記述することにより可能になる。例えば、断面が多項式で表され、同じ断面形状が一定方向に続く、というモデル１６１で実世界１の信号を記述することができる。
【０１８３】
第２に、例えば、センサ２による射影を定式化して、式（７）を記述する。例えば、実世界１の信号の積分を行った結果がデータ３であると定式化する。
【０１８４】
第３に、Ｍ個のデータ１６２を集めて、式（８）を満足させる。例えば、データ定常性検出部１０１で検出された、データの定常性を有する領域から、データ１６２が集められる。例えば、定常性の一例である、一定の断面が続く領域のデータ１６２が集められる。
【０１８５】
このように、式（５）によって、データ３と実世界１との関係を記述し、Ｍ個のデータ１６２を集めることで、式（８）を満たすことにより、実世界１を推定することができる。
【０１８６】
より具体的には、Ｎ=Ｍのとき、変数の数Nと式の数Mが等しいので、連立方程式を立てることにより、変数w_iを求めることができる。
【０１８７】
また、Ｎ＜Ｍのとき、様々な解法を適用できる。例えば、最小自乗法により、変数w_iを求めることができる。
【０１８８】
ここで、最小自乗法による解法について、詳細に記載する。
【０１８９】
まず、式（７）に従って、実世界１からデータ３を予測する式（９）を示す。
【０１９０】
【数９】

・・・（９）
【０１９１】
式（９）において、P'_j（x_j,y_j,t_j）は、予測値である。
【０１９２】
予測値P'と実測値Pとの差分自乗和Eは、式（１０）で表される。
【０１９３】
【数１０】

・・・（１０）
【０１９４】
差分自乗和Eが最小になるように、変数w_iが求められる。従って、各変数w_kによる式（１０）の偏微分値は０とされる。すなわち、式（１１）が成り立つ。
【０１９５】
【数１１】

・・・（１１）
【０１９６】
式（１１）から式（１２）が導かれる。
【０１９７】
【数１２】

・・・（１２）
【０１９８】
式（１２）がK=1乃至Nで成り立つとき、最小自乗法による解が得られる。このときの正規方程式は、式（１３）で示される。
【０１９９】
【数１３】

・・・（１３）
【０２００】
ただし、式（１３）において、S_i（x_j,y_j,t_j）は、S_i(j)と記述した。
【０２０１】
【数１４】

・・・（１４）
【０２０２】
【数１５】

・・・（１５）
【０２０３】
【数１６】

・・・（１６）
【０２０４】
式（１４）乃至式（１６）から、式（１３）は、S_MATW_MAT=P_MATと表すことができる。
【０２０５】
式（１３）において、S_iは、実世界１の射影を表す。式（１３）において、P_jは、データ３を表す。式（１３）において、w_iは、実世界１の信号の特徴を記述し、求めようとする変数である。
【０２０６】
従って、式（１３）にデータ３を入力し、行列解法などによりW_MATを求めることで、実世界１を推定することが可能になる。すなわち、式（１７）を演算することにより、実世界１を推定することができるようになる。
【０２０７】
【数１７】

・・・（１７）
【０２０８】
なお、S_MATが正則でない場合、S_MATの転置行列を利用して、W_MATを求めることができる。
【０２０９】
実世界推定部１０２は、例えば、式（１３）にデータ３を入力し、行列解法などによりW_MATを求めることで、実世界１を推定する。
【０２１０】
ここで、さらにより具体的な例を説明する。例えば、実世界１の信号の断面形状、すなわち位置の変化に対するレベルの変化を、多項式で記述する。実世界１の信号の断面形状が一定で、実世界１の信号の断面が等速で移動すると仮定する。そして、センサ２による実世界１の信号からデータ３への射影を、実世界１の信号の時空間方向の３次元で積分で定式化する。
【０２１１】
実世界１の信号の断面形状が、等速で移動するとの仮定から、式（１８）および式（１９）が得られる。
【０２１２】
【数１８】

・・・（１８）
【０２１３】
【数１９】

・・・（１９）
【０２１４】
ここで、v_xおよびv_yは、一定である。
【０２１５】
実世界１の信号の断面形状は、式（１８）および式（１９）を用いることで、式（２０）と表される。
【０２１６】
【数２０】

・・・（２０）
【０２１７】
センサ２による実世界１の信号からデータ３への射影を、実世界１の信号の時空間方向の３次元で積分で定式化すれば、式（２１）が得られる。
【０２１８】
【数２１】

・・・（２１）
【０２１９】
式（２１）において、S(x,y,t)は、空間方向Ｘについて、位置x_sから位置x_eまで、空間方向Ｙについて、位置y_sから位置y_eまで、時間方向tについて、時刻t_sから時刻t_eまでの領域、すなわち時空間の直方体で表される領域の積分値を示す。
【０２２０】
式（２１）を定めることができる所望の関数f(x',y')を用いて、式（１３）を解けば、実世界１の信号を推定することができる。
【０２２１】
以下では、関数f(x',y')の一例として、式（２２）に示す関数を用いることとする。
【０２２２】
【数２２】

・・・（２２）
【０２２３】
すなわち、実世界１の信号が、式（１８）、式（１９）、および式（２２）で表される定常性を含むと仮定している。これは、図１８で示されるように、一定の形状の断面が、時空間方向に移動していることを示す。
【０２２４】
式（２１）に、式（２２）を代入することにより、式（２３）が得られる。
【０２２５】
【数２３】

・・・（２３）
【０２２６】
ただし、
Volume=(x_e-x_s)(y_e-y_s)(t_e-t_s)
S₀(x,y,t)=Volume/2×(x_e+x_s+v_x(t_e+t_s))
S₁(x,y,t)=Volume/2×(y_e+y_s+v_y(t_e+t_s))
S₂(x,y,t)=1
である。
【０２２７】
図１９は、データ３から抽出される、Ｍ個のデータ１６２の例を示す図である。例えば、２７個の画素値が、データ１６２として抽出され、抽出された画素値が、P_j(x,y,t)とされる。この場合、jは、０乃至２６である。
【０２２８】
図１９に示す例において、nである時刻tの注目する位置に対応する画素の画素値がP₁₃(x,y,t)であり、データの定常性を有する画素の画素値の並ぶ方向（例えば、データ定常性検出部１０１で検出された、同じ形状であるつめ形状が並ぶ方向）が、P₄(x,y,t)、P₁₃(x,y,t)、およびP₂₂(x,y,t)を結ぶ方向であるとき、nである時刻tにおける、画素値P₉(x,y,t)乃至P₁₇(x,y,t)、nより時間的に前である、n-1である時刻tにおける、画素値P₀(x,y,t)乃至P₈(x,y,t)、およびnより時間的に後である、n+1である時刻tにおける、画素値P₁₈(x,y,t)乃至P₂₆(x,y,t)が抽出される。
【０２２９】
ここで、センサ２であるイメージセンサから出力された、データ３である画素値が取得された領域は、時間方向および２次元の空間方向に広がりを有する。そこで、例えば、画素に対応する直方体（画素値が取得された領域）の重心を、画素の時空間方向の位置として使用することができる。
【０２３０】
２７個の画素値P₀(x,y,t)乃至P₂₆(x,y,t)、および式（２３）から、式（１３）を生成し、Wを求めることで、実世界１を推定することが可能になる。
【０２３１】
このように、実世界推定部１０２は、例えば、２７個の画素値P₀(x,y,t)乃至P₂₆(x,y,t)、および式（２３）から、式（１３）を生成し、Wを求めることで、実世界１の信号を推定する。
【０２３２】
なお、関数f_i（x,y,t）として、ガウス関数、またはシグモイド関数などを利用することができる。
【０２３３】
図２０乃至図２３を参照して、推定された実世界１の信号から、データ３に対応する、より高解像度の高解像度データを生成する処理の例について説明する。
【０２３４】
図２０で示されるように、データ３は、時間方向および２次元の空間方向に実世界１の信号が積分された値を有する。例えば、センサ２であるイメージセンサから出力された、データ３である画素値は、検出素子に入射された光である、実世界１の信号が、時間方向に、検出時間であるシャッタ時間で積分され、空間方向に、検出素子の受光領域で積分された値を有する。
【０２３５】
これに対して、図２１で示されるように、空間方向により解像度の高い高解像度データは、推定された実世界１の信号を、時間方向に、データ３を出力したセンサ２の検出時間と同じ時間で積分するとともに、空間方向に、データ３を出力したセンサ２の検出素子の受光領域に比較して、より狭い領域で積分することにより、生成される。
【０２３６】
なお、空間方向により解像度の高い高解像度データを生成する場合において、推定された実世界１の信号が積分される領域は、データ３を出力したセンサ２の検出素子の受光領域と全く無関係に設定することができる。例えば、高解像度データに、データ３に対して、空間方向に整数倍の解像度を持たせることは勿論、５／３倍など、データ３に対して、空間方向に有理数倍の解像度を持たせることができる。
【０２３７】
また、図２２で示されるように、時間方向により解像度の高い高解像度データは、推定された実世界１の信号を、空間方向に、データ３を出力したセンサ２の検出素子の受光領域と同じ領域で積分するとともに、時間方向に、データ３を出力したセンサ２の検出時間に比較して、より短い時間で積分することにより、生成される。
【０２３８】
なお、時間方向により解像度の高い高解像度データを生成する場合において、推定された実世界１の信号が積分される時間は、データ３を出力したセンサ２の検出素子のシャッタ時間と全く無関係に設定することができる。例えば、高解像度データに、データ３に対して、時間方向に整数倍の解像度を持たせることは勿論、７／４倍など、データ３に対して、時間方向に有理数倍の解像度を持たせることができる。
【０２３９】
動きボケを除去した高解像度データは、推定された実世界１の信号を、時間方向に積分しないで、空間方向にのみ積分することにより、生成される。
【０２４０】
さらに、図２３で示されるように、時間方向および空間方向により解像度の高い高解像度データは、推定された実世界１の信号を、空間方向に、データ３を出力したセンサ２の検出素子の受光領域に比較して、より狭い領域で積分するとともに、時間方向に、データ３を出力したセンサ２の検出時間に比較して、より短い時間で積分することにより、生成される。
【０２４１】
この場合において、推定された実世界１の信号が積分される領域および時間は、データ３を出力したセンサ２の検出素子の受光領域およびシャッタ時間と全く無関係に設定することができる。
【０２４２】
このように、画像生成部１０３は、例えば、推定された実世界１の信号を所望の時空間の領域で積分することにより、時間方向、または空間方向に、より高解像度のデータを生成する。
【０２４３】
以上のように、実世界１の信号を推定することにより、実世界１の信号に対してより正確で、時間方向、または空間方向に、より高解像度のデータを生成することができる。
【０２４４】
図２４乃至図２８は、信号処理装置４の信号処理を用いた入力画像の例と、処理の結果の例を示している。
【０２４５】
図２４は、入力画像の元の画像（実世界１の光信号に相当）を示す図である。図２５は、入力画像の例を示す図である。図２５で示される入力画像は、図２４で示される画像の２×２の画素からなるブロックに属する画素の画素値の平均値を、１つの画素の画素値として生成された画像である。すなわち、入力画像は、図２４で示される画像に、センサの積分特性を模した、空間方向の積分を適用することにより得られた画像である。
【０２４６】
図２４で示される元の画像において、上下方向から、ほぼ５度時計方向に傾いた細線の画像が含まれている。同様に、図２５で示される入力画像において、上下方向から、ほぼ５度時計方向に傾いた細線の画像が含まれている。
【０２４７】
図２６は、図２５で示される入力画像に、従来のクラス分類適応処理を適用して得られた画像を示す図である。ここで、クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理では、例えば、低画質または標準画質の画像が、所定のタップ係数を用いてマッピング（写像）されることにより、高画質の画像に変換される。
【０２４８】
即ち、適応処理では、第１のデータが、所定のタップ係数を用いてマッピング（写像）されることにより、第２のデータに変換される。
【０２４９】
いま、このタップ係数を用いてのマッピング方法として、例えば、線形１次結合モデルを採用するとともに、第１のデータとして、高解像度のHD(High Definition)画像をローパスフィルタでフィルタリングすること等により得られる低解像度または標準解像度のSD(Standard Definition)画像を採用し、第２のデータとして、そのSD画像を得るのに用いたHD画像を採用することとして、適応処理について説明する。
【０２５０】
上述の条件下において、HD画像を構成する画素であるHD画素ｙは、例えば、SD画像を構成する画素であるSD画素から、HD画素を予測するための予測タップとして抽出される複数のSD画素と、タップ係数とを用いて、次の線形１次式（線形結合）によって求めることができる。
【０２５１】
【数２４】

・・・（２４）
【０２５２】
但し、式（２４）において、ｘ_nは、HD画素ｙについての予測タップを構成する、ｎ番目のSD画素（の画素値）を表し、ｗ_nは、ｎ番目のSD画素と乗算されるｎ番目のタップ係数を表す。なお、式（２４）では、予測タップが、Ｎ個のSD画素ｘ₁，ｘ₂，・・・，ｘ_Nで構成されるものとしてある。
【０２５３】
ここで、HD画素の画素値ｙは、式（２４）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０２５４】
いま、HD画像において、ｋ番目のHD画素（の画素値）の真値をｙ_kと表すとともに、式（２４）によって得られるその真値ｙ_kの予測値をｙ_k’と表すと、その予測誤差ｅ_kは、例えば、次式で表される。
【０２５５】
【数２５】

・・・（２５）
【０２５６】
式（２５）の予測値ｙ_k’は、式（２４）にしたがって求められるため、式（２５）のｙ_k’を、式（２４）にしたがって置き換えると、次式が得られる。
【０２５７】
【数２６】

・・・（２６）
【０２５８】
但し、式（２６）において、ｘ_n,kは、ｋ番目のHD画素についての予測タップを構成するｎ番目のSD画素を表す。
【０２５９】
式（２６）の予測誤差ｅ_kを０とするタップ係数ｗ_nが、HD画素を予測するのに最適なものとなるが、すべてのHD画素について、そのようなタップ係数ｗ_nを求めることは、一般には困難である。
【０２６０】
そこで、タップ係数ｗ_nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗ_nは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２６１】
【数２７】

・・・（２７）
【０２６２】
但し、式（２７）において、Ｋは、HD画素ｙ_kと、そのHD画素ｙ_kについての予測タップを構成するSD画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとのセットのサンプル数を表す。
【０２６３】
式（２７）の自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗ_nは、その総和Ｅをタップ係数ｗ_nで偏微分したものを０とするものであり、従って、次式を満たす必要がある。
【０２６４】
【数２８】

・・・（２８）
【０２６５】
そこで、上述の式（２６）をタップ係数ｗ_nで偏微分すると、次式が得られる。
【０２６６】
【数２９】

・・・（２９）
【０２６７】
式（２８）と（２９）から、次式が得られる。
【０２６８】
【数３０】

・・・（３０）
【０２６９】
式（３０）のｅ_kに、式（２６）を代入することにより、式（３０）は、式（３１）に示す正規方程式で表すことができる。
【０２７０】
【数３１】

・・・（３１）
【０２７１】
式（３１）の正規方程式は、HD画素ｙ_kとSD画素ｘ_n,kのセットを、ある程度の数だけ用意することでたてることができ、式（３１）を解くことで、最適なタップ係数ｗ_nを求めることができる。なお、式（３１）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを採用することが可能である。
【０２７２】
以上のように、多数のHD画素ｙ₁，ｙ₂，・・・，ｙ_Kを、タップ係数の学習の教師となる教師データとするとともに、各HD画素ｙ_kについての予測タップを構成するSD画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kを、タップ係数の学習の生徒となる生徒データとして、式（３１）を解くことにより、最適なタップ係数ｗ_nを求める学習を行っておき、さらに、そのタップ係数ｗ_nを用い、式（２４）により、SD画素を、HD画素にマッピング（変換）するのが適応処理である。
【０２７３】
ここで、HD画素ｙ_kについての予測タップを構成するSD画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとしては、そのHD画素ｙ_kに対応するSD画像上の位置から空間的または時間的に近い位置にあるSD画素を採用することができる。
【０２７４】
また、クラス分類適応処理では、タップ係数ｗ_nの学習と、そのタップ係数ｗ_nを用いたマッピングとは、クラスごとに行われる。クラス分類適応処理では、注目しているHD画素ｙ_kを対象にクラス分類処理が行われ、そのクラス分類処理により得られるクラスごとに、タップ係数ｗ_nの学習と、そのタップ係数ｗ_nを用いたマッピングが行われる。
【０２７５】
HD画素ｙ_kを対象としたクラス分類処理としては、例えば、そのHD画素ｙ_kのクラス分類に用いるクラスタップとしての複数のSD画素を、SD画像から抽出し、その複数のSD画素で構成されるクラスタップを用いてMビットADRC(Adaptive Dynamic Range Coding)処理を施す方法がある。
【０２７６】
MビットADRC処理においては、クラスタップを構成するSD画素の最大値MAXと最小値MINが検出され、DR=MAX-MINを、局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するSD画素がKビットに再量子化される。即ち、クラスタップを構成する各SD画素から、最小値MINが減算され、その減算値がDR/2^Kで除算（量子化）される。従って、クラスタップが、例えば、１ビットADRC処理される場合には、そのクラスタップを構成する各SD画素は１ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各SD画素についての１ビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力され、このADRCコードが、クラスを表すクラスコードとされる。
【０２７７】
なお、クラス分類適応処理は、SD画素には含まれていないが、HD画素に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、クラス分類適応処理では、式（２４）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当するタップ係数ｗ_nが、教師データとしてのHD画素と生徒データとしてのSD画素とを用いての学習により求められるため、HD画素に含まれる成分を再現することができる。
【０２７８】
ここで、タップ係数ｗ_nの学習では、教師データｙと生徒データｘとの組み合わせとして、どのようなものを採用するかによって、各種の変換を行うタップ係数ｗ_nを求めることができる。
【０２７９】
即ち、例えば、上述のように、教師データｙとして、高解像度のHD画像を採用するとともに、生徒データｘとして、そのHD画像の解像度を低下させたSD画像を採用した場合には、画像の解像度を向上させるマッピングを行うタップ係数ｗ_nを得ることができる。また、例えば、教師データｙとして、HD画像を採用するとともに、生徒データｘとして、そのHD画像の画素数を少なくしたSD画像を採用した場合には、画像を構成する画素数を増加させるマッピングを行うタップ係数ｗ_nを得ることができる。
【０２８０】
図２６は、図２５の入力画像に対して、上述のようなクラス分類適応処理によるマッピングを施すことにより得られる画像である。図２６では、細線の画像が、図２４の元の画像とは異なるものになっていることがわかる。
【０２８１】
図２７は、データ定常性検出部１０１による、図２５の例で示される入力画像から細線の領域を検出した結果を示す図である。図２７において、白い領域は、細線の領域、すなわち、図１０で示される円弧形状が並んでいる領域を示す。
【０２８２】
図２８は、図２５で示される画像を入力画像として、信号処理装置４で信号処理を行うことにより得られる出力画像の例を示す図である。図２８で示されるように、信号処理装置４によれば、図２４で示される元の画像の細線の画像により近い画像を得ることができる。
【０２８３】
図２９は、信号処理装置４による、信号処理を説明するフローチャートである。
【０２８４】
ステップＳ１０１において、データ定常性検出部１０１は、定常性の検出の処理を実行する。データ定常性検出部１０１は、データ３である入力画像に含まれているデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報を実世界推定部１０２および画像生成部１０３に供給する。
【０２８５】
データ定常性検出部１０１は、現実世界の信号の定常性に対応するデータの定常性を検出する。ステップＳ１０１の処理において、データ定常性検出部１０１により検出されるデータの定常性は、データ３に含まれる、実世界１の画像の定常性の一部であるか、または、実世界１の信号の定常性から変化してしまった定常性である。
【０２８６】
例えば、データ定常性検出部１０１は、所定の次元の方向に一定の特徴を有する領域を検出することにより、データの定常性を検出する。また、例えば、データ定常性検出部１０１は、同様の形状の並び方を示す、空間方向の角度（傾き）を検出することにより、データの定常性を検出する。
【０２８７】
ステップＳ１０１における、定常性の検出の処理の詳細は、後述する。
【０２８８】
なお、データ定常性情報は、データ３の特徴を示す特徴量として利用することができる。
【０２８９】
ステップＳ１０２において、実世界推定部１０２は、実世界の推定の処理を実行する。すなわち、実世界推定部１０２は、入力画像、およびデータ定常性検出部１０１から供給されたデータ定常性情報を基に、実世界１の信号を推定する。例えば、ステップＳ１０２の処理において、実世界推定部１０２は、実世界１を近似（記述）するモデル１６１を予測することにより、実世界１の信号を推定する。実世界推定部１０２は、推定された実世界１の信号を示す実世界推定情報を画像生成部１０３に供給する。
【０２９０】
例えば、実世界推定部１０２は、線状の物の幅を予測することにより、実世界１の信号を推定する。また、例えば、実世界推定部１０２は、線状の物の色を示すレベルを予測することにより、実世界１の信号を推定する。
【０２９１】
ステップＳ１０２における、実世界の推定の処理の詳細は、後述する。
【０２９２】
なお、実世界推定情報は、データ３の特徴を示す特徴量として利用することができる。
【０２９３】
ステップＳ１０３において、画像生成部１０３は、画像の生成の処理を実行して、処理は終了する。すなわち、画像生成部１０３は、実世界推定情報を基に、画像を生成して、生成した画像を出力する。または、画像生成部１０３は、データ定常性情報および実世界推定情報を基に、画像を生成して、生成した画像を出力する。
【０２９４】
例えば、ステップＳ１０３の処理において、画像生成部１０３は、実世界推定情報を基に、推定された現実世界の光を空間方向に積分することにより、入力画像に比較して、空間方向により高解像度の画像を生成して、生成した画像を出力する。例えば、画像生成部１０３は、実世界推定情報を基に、推定された現実世界の光を時空間方向に積分することにより、入力画像に比較して、時間方向および空間方向により高解像度の画像を生成して、生成した画像を出力する。ステップＳ１０３における、画像の生成の処理の詳細は、後述する。
【０２９５】
このように、信号処理装置４は、データ３からデータの定常性を検出し、検出したデータの定常性を基に、実世界１を推定する。そして、信号処理装置４は、推定された実世界１を基に、より実世界１に近似した信号を生成する。
【０２９６】
以上のように、現実世界の信号を推定して処理を実行するようにした場合には、正確で、精度の高い処理結果を得ることができるようになる。
【０２９７】
また、第１の次元を有する現実世界の信号である第１の信号が射影され、現実世界の信号の定常性の一部が欠落した第１の次元よりも少ない第２の次元の第２の信号の、欠落した現実世界の信号の定常性に対応するデータの定常性を検出し、検出されたデータの定常性に基づいて、欠落した現実世界の信号の定常性を推定することにより第１の信号を推定するようにした場合には、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０２９８】
次に、データ定常性検出部１０１の構成の詳細について説明する。
【０２９９】
図３０は、データ定常性検出部１０１の構成を示すブロック図である。
【０３００】
図３０に構成を示すデータ定常性検出部１０１は、細線である対象物を撮像したとき、対象物の有する断面形状が同じであるという定常性から生じた、データ３に含まれるデータの定常性を検出する。すなわち、図３０に構成を示すデータ定常性検出部１０１は、細線である実世界１の画像の有する、長さ方向の任意の位置において、長さ方向に直交する方向の位置の変化に対する光のレベルの変化が同じであるという定常性から生じた、データ３に含まれるデータの定常性を検出する。
【０３０１】
より具体的には、図３０に構成を示すデータ定常性検出部１０１は、細線の画像を空間積分効果を有するセンサ２で撮像して得られたデータ３に含まれる、斜めにずれて隣接して並ぶ、複数の所定の長さの円弧形状（かまぼこ型）が配置される領域を検出する。
【０３０２】
データ定常性検出部１０１は、データ３である入力画像から、データの定常性を有する細線の画像が射影された画像データの部分（以下、定常成分とも称する）以外の画像データの部分（以下、非定常成分と称する）を抽出し、抽出された非定常成分と入力画像とから、実世界１の細線の画像が射影された画素を検出し、入力画像における、実世界１の細線の画像が射影された画素からなる領域を検出する。
【０３０３】
非定常成分抽出部２０１は、入力画像から非定常成分を抽出して、入力画像と共に、抽出された非定常成分を示す非定常成分情報を頂点検出部２０２および単調増減検出部２０３に供給する。
【０３０４】
例えば、図３１で示されるように、ほぼ一定の光のレベルの背景の前に細線がある実世界１の画像がデータ３に射影されたとき、図３２で示されるように、非定常成分抽出部２０１は、データ３である入力画像における背景を平面で近似することにより、背景である非定常成分を抽出する。図３２において、実線は、データ３の画素値を示し、点線は、背景を近似する平面で示される近似値を示す。図３２において、Ａは、細線の画像が射影された画素の画素値を示し、ＰＬは、背景を近似する平面を示す。
【０３０５】
このように、データの定常性を有する画像データの部分における、複数の画素の画素値は、非定常成分に対して不連続となる。
【０３０６】
非定常成分抽出部２０１は、実世界１の光信号である画像が射影され、実世界１の画像の定常性の一部が欠落した、データ３である画像データの複数の画素の画素値の不連続部を検出する。
【０３０７】
非定常成分抽出部２０１における非定常成分の抽出の処理の詳細は、後述する。
【０３０８】
頂点検出部２０２および単調増減検出部２０３は、非定常成分抽出部２０１から供給された非定常成分情報を基に、入力画像から非定常成分を除去する。例えば、頂点検出部２０２および単調増減検出部２０３は、入力画像の各画素のうち、背景の画像のみが射影された画素の画素値を0に設定することにより、入力画像から非定常成分を除去する。また、例えば、頂点検出部２０２および単調増減検出部２０３は、入力画像の各画素の画素値から、平面ＰＬで近似される値を引き算することにより、入力画像から非定常成分を除去する。
【０３０９】
入力画像から背景を除去することができるので、頂点検出部２０２乃至連続性検出部２０４は、細線が射影された画像データの部分のみを処理の対象とすることができ、頂点検出部２０２乃至連続性検出部２０４における処理がより容易になる。
【０３１０】
なお、非定常成分抽出部２０１は、入力画像から非定常成分を除去した画像データを頂点検出部２０２および単調増減検出部２０３に供給するようにしてもよい。
【０３１１】
以下に説明する処理の例において、入力画像から非定常成分が除去された画像データ、すなわち、定常成分を含む画素のみからなる画像データが対象となる。
【０３１２】
ここで、頂点検出部２０２乃至連続性検出部２０４が検出しようとする、細線の画像が射影された画像データについて説明する。
【０３１３】
図３１で示される細線の画像が射影された画像データの空間方向Ｙの断面形状（空間方向の位置の変化に対する画素値の変化）は、光学LPFがないとした場合、センサ２であるイメージセンサの空間積分効果から、図３３に示す台形、または図３４に示す三角形となることが考えられる。しかしながら、通常のイメージセンサは、光学LPFを備え、イメージセンサは、光学LPFを通過した画像を取得し、取得した画像をデータ３に射影するので、現実には、細線の画像データの空間方向Ｙの断面形状は、図３５に示すようなガウス分布に類似した形状となる。
【０３１４】
頂点検出部２０２乃至連続性検出部２０４は、細線の画像が射影された画素であって、同じ断面形状（空間方向の位置の変化に対する画素値の変化）が画面の上下方向に一定の間隔で並ぶものからなる領域を検出して、さらに、実世界１の細線の長さ方向に対応した、領域の繋がりを検出することにより、データの定常性を有する領域である、細線の画像が射影された画素からなる領域を検出する。すなわち、頂点検出部２０２乃至連続性検出部２０４は、入力画像における、縦に１列の画素の上に、円弧形状（かまぼこ型）が形成される領域を検出し、検出された領域が横方向に隣接して並んでいるか否かを判定して、実世界１の信号である細線の画像の長さ方向に対応した、円弧形状が形成される領域の繋がりを検出する。
【０３１５】
また、頂点検出部２０２乃至連続性検出部２０４は、細線の画像が射影された画素であって、同じ断面形状が画面の左右方向に一定の間隔で並ぶものからなる領域を検出して、さらに、実世界１の細線の長さ方向に対応した、検出された領域の繋がりを検出することにより、データの定常性を有する領域である、細線の画像が射影された画素からなる領域を検出する。すなわち、頂点検出部２０２乃至連続性検出部２０４は、入力画像における、横に１列の画素の上に、円弧形状が形成される領域を検出し、検出された領域が縦方向に隣接して並んでいるか否かを判定して、実世界１の信号である細線の画像の長さ方向に対応した、円弧形状が形成される領域の繋がりを検出する。
【０３１６】
まず、細線の画像が射影された画素であって、画面の上下方向に同じ円弧形状が一定の間隔で並ぶものからなる領域を検出する処理を説明する。
【０３１７】
頂点検出部２０２は、周囲の画素に比較して、より大きい画素値を有する画素、すなわち頂点を検出し、頂点の位置を示す頂点情報を単調増減検出部２０３に供給する。画面の上下方向に１列に並ぶ画素を対象とした場合、頂点検出部２０２は、画面の上側に位置する画素の画素値、および画面の下側に位置する画素の画素値に比較して、より大きい画素値を有する画素を頂点として検出する。頂点検出部２０２は、１つの画像、例えば、１つのフレームの画像から、１または複数の頂点を検出する。
【０３１８】
１つの画面には、フレームまたはフィールドが含まれる。以下の説明において、同様である。
【０３１９】
例えば、頂点検出部２０２は、１フレームの画像からまだ注目画素とされていない画素の中から注目画素を選択し、注目画素の画素値と、注目画素の上側の画素の画素値とを比較し、注目画素の画素値と、注目画素の下側の画素の画素値とを比較して、上側の画素の画素値より大きい画素値を有し、下側の画素の画素値より大きい画素値を有する注目画素を検出して、検出された注目画素を頂点とする。頂点検出部２０２は、検出された頂点を示す頂点情報を単調増減検出部２０３に供給する。
【０３２０】
頂点検出部２０２が、頂点を検出しない場合もある。例えば、１つの画像の画素の画素値が全て同じ値であるとき、または、１若しくは２の方向に対して画素値が減少しているとき、頂点は検出されない。この場合、細線の画像は、画像データに射影されていない。
【０３２１】
単調増減検出部２０３は、頂点検出部２０２から供給された、頂点の位置を示す頂点情報を基に、頂点検出部２０２で検出された頂点に対して上下方向に１列に並ぶ画素であって、細線の画像が射影された画素からなる領域の候補を検出し、頂点情報と共に、検出した領域を示す領域情報を連続性検出部２０４に供給する。
【０３２２】
より具体的には、単調増減検出部２０３は、頂点の画素値を基準として、単調減少している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。単調減少とは、頂点からの距離がより長い画素の画素値が、頂点からの距離が短い画素の画素値に比較して、より小さいことをいう。
【０３２３】
また、単調増減検出部２０３は、頂点の画素値を基準として、単調増加している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。単調増加とは、頂点からの距離がより長い画素の画素値が、頂点からの距離が短い画素の画素値に比較して、より大きいことをいう。
【０３２４】
以下、単調増加している画素値を有する画素からなる領域についての処理は、単調減少している画素値を有する画素からなる領域についての処理と同様なので、その説明は省略する。細線の画像が射影された画素であって、画面の横方向に同じ円弧形状が一定の間隔で並ぶものからなる領域を検出する処理における、単調増加している画素値を有する画素からなる領域についての処理も、単調減少している画素値を有する画素からなる領域についての処理と同様なので、その説明は省略する。
【０３２５】
例えば、単調増減検出部２０３は、頂点に対して縦に１列に各画素について、各画素の画素値と、上側の画素の画素値との差分、および下側の画素の画素値との差分を求める。そして、単調増減検出部２０３は、差分の符号が変化する画素を検出することにより、画素値が単調減少している領域を検出する。
【０３２６】
さらに、単調増減検出部２０３は、画素値が単調減少している領域から、頂点の画素値の符号を基準として、頂点の画素値の符号と同じ符号の画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。
【０３２７】
例えば、単調増減検出部２０３は、各画素の画素値の符号と、上側の画素の画素値の符号および下側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出することにより、画素値が単調減少している領域から、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【０３２８】
このように、単調増減検出部２０３は、上下方向に並び、頂点に対して画素値が単調減少し、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【０３２９】
図３６は、空間方向Ｙの位置に対する画素値から、細線の画像が射影された画素の領域を検出する、頂点の検出および単調増減領域の検出の処理を説明する図である。
【０３３０】
図３６乃至図３８において、Pは、頂点を示す。図３０で構成が示されるデータ定常性検出部１０１の説明において、Pは、頂点を示す。
【０３３１】
頂点検出部２０２は、各画素の画素値と、これに空間方向Ｙに隣接する画素の画素値とを比較して、空間方向Ｙに隣接する２つの画素の画素値より大きい画素値を有する画素を検出することにより、頂点Pを検出する。
【０３３２】
頂点Pと、頂点Pの空間方向Ｙの両側の画素とからなる領域は、頂点Pの画素値に対して、空間方向Ｙの両側の画素の画素値が単調に減少する単調減少領域である。図３６において、Aで示す矢印、およびBで示す矢印は、頂点Pの両側に存在する単調減少領域を示す。
【０３３３】
単調増減検出部２０３は、各画素の画素値と、その画素に空間方向Ｙに隣接する画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。単調増減検出部２０３は、検出された、差分の符号が変化する画素と、その手前側（頂点P側）の画素との境界を、細線の画像が射影された画素からなる細線領域の境界とする。
【０３３４】
図３６において、差分の符号が変化する画素と、その手前側（頂点P側）の画素との境界である細線領域の境界はCで示される。
【０３３５】
さらに、単調増減検出部２０３は、単調減少領域において、各画素の画素値の符号と、その画素に空間方向Ｙに隣接する画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。単調増減検出部２０３は、検出された、差分の符号が変化する画素と、その手前側（頂点P側）の画素との境界を細線領域の境界とする。
【０３３６】
図３６において、差分の符号が変化する画素と、その手前側（頂点P側）の画素との境界である細線領域の境界はDで示される。
【０３３７】
図３６で示されるように、細線の画像が射影された画素からなる細線領域Fは、細線領域の境界Cと、細線領域の境界Dとに挟まれる領域とされる。
【０３３８】
単調増減検出部２０３は、このような単調増減領域からなる細線領域Fの中から、予め定めた閾値より長い細線領域F、すなわち、閾値より多い数の画素を含む細線領域Fを求める。例えば、閾値が３であるとき、単調増減検出部２０３は、４つ以上の画素を含む細線領域Fを検出する。
【０３３９】
さらに、このように検出された細線領域Fの中から、単調増減検出部２０３は、頂点Pの画素値、および頂点Pの右側の画素の画素値、および頂点Pの左側の画素の画素値を、それぞれ閾値と比較し、頂点Pの画素値が閾値を超え、頂点Pの右側の画素の画素値が閾値以下であり、頂点Pの左側の画素の画素値が閾値以下である頂点Pが属する細線領域Fを検出し、検出された細線領域Fを細線の画像の成分を含む画素からなる領域の候補とする。
【０３４０】
言い換えれば、頂点Pの画素値が閾値以下であるか、頂点Pの右側の画素の画素値が閾値を超えるか、または頂点Pの左側の画素の画素値が閾値を超える頂点Pが属する細線領域Fは、細線の画像の成分を含まないと判定され、細線の画像の成分を含む画素からなる領域の候補から除去される。
【０３４１】
すなわち、図３７で示されるように、単調増減検出部２０３は、頂点Pの画素値を閾値と比較すると共に、頂点Pに対して、空間方向Ｘ（点線AA'で示す方向）に隣接する画素の画素値を、閾値と比較し、頂点Pの画素値が閾値を超え、空間方向Ｘに隣接する画素の画素値が閾値以下である、頂点Pが属する細線領域Fを検出する。
【０３４２】
図３８は、図３７の点線AA'で示す空間方向Ｘに並ぶ画素の画素値を表す図である。頂点Pの画素値が閾値Ｔｈ_Sを超え、頂点Pの空間方向Ｘに隣接する画素の画素値が、閾値Ｔｈ_S以下である、頂点Pが属する細線領域Fは、細線の成分を含む。
【０３４３】
なお、単調増減検出部２０３は、背景の画素値を基準として、頂点Pの画素値と背景の画素値との差分を閾値と比較すると共に、頂点Pに対して、空間方向Ｘに隣接する画素の画素値と背景の画素値との差分を、閾値と比較し、頂点Pの画素値と背景の画素値との差分が閾値を超え、空間方向Ｘに隣接する画素の画素値と背景の画素値との差分が閾値以下である、頂点Pが属する細線領域Fを検出するようにしてもよい。
【０３４４】
単調増減検出部２０３は、頂点Pを基準として、画素値が単調減少し、画素値の符号が頂点Pと同じである画素からなる領域であって、その頂点Pが閾値を超え、頂点Pの右側の画素の画素値が閾値以下であり、頂点Pの左側の画素の画素値が閾値以下であるものを示す単調増減領域情報を連続性検出部２０４に供給する。
【０３４５】
画面の上下方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する場合において、単調増減領域情報により示される領域に属する画素は、上下方向に並び、細線の画像が射影された画素を含む。すなわち、単調増減領域情報により示される領域は、画面の上下方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を含む。
【０３４６】
このように、頂点検出部２０２および単調増減検出部２０３は、細線の画像が射影された画素において、空間方向Ｙの画素値の変化が、ガウス分布に類似するという性質を利用して、細線の画像が射影された画素からなる定常領域を検出する。
【０３４７】
連続性検出部２０４は、単調増減検出部２０３から供給された単調増減領域情報で示される、上下方向に並ぶ画素からなる領域のうち、横方向に隣接している画素を含む領域、すなわち、相似した画素値の変化を有し、縦方向に重複している領域を、連続している領域として検出し、頂点情報、および検出された連続している領域を示すデータ定常性情報を出力する。データ定常性情報は、単調増減領域情報、および領域の繋がりを示す情報などを含んでいる。
【０３４８】
細線が射影された画素において、円弧形状が隣接するように一定の間隔で並ぶので、検出された連続している領域は、細線が射影された画素を含んでいる。
【０３４９】
検出された連続している領域が、細線が射影された、円弧形状が隣接するように一定の間隔で並ぶ画素を含むので、検出された連続している領域を定常領域とし、連続性検出部２０４は、検出された連続している領域を示すデータ定常性情報を出力する。
【０３５０】
すなわち、連続性検出部２０４は、長さ方向に連続するという、実世界１の細線の画像の定常性から生じた、細線を撮像して得られたデータ３における、円弧形状が隣接するように一定の間隔で並ぶ定常性を利用して、頂点検出部２０２および単調増減検出部２０３において検出された領域の候補をさらに絞り込む。
【０３５１】
図３９は、単調増減領域の連続性を検出の処理を説明する図である。
【０３５２】
図３９に示すように、連続性検出部２０４は、画面の縦方向に１列に並ぶ画素からなる細線領域Fについて、横方向に隣接する画素を含んでいるとき、２つの単調増減領域の間に連続性があるとし、横方向に隣接する画素を含んでいないとき、２つの細線領域Fの間に連続性がないとする。例えば、画面の縦方向に１列に並ぶ画素からなる細線領域F_-1は、画面の縦方向に１列に並ぶ画素からなる細線領域F₀の画素と横方向に隣接する画素を含んでいるとき、細線領域F₀と連続しているとされる。画面の縦方向に１列に並ぶ画素からなる細線領域F₀は、画面の縦方向に１列に並ぶ画素からなる細線領域F₁の画素と横方向に隣接する画素を含んでいるとき、細線領域F₁と連続しているとされる。
【０３５３】
このように、頂点検出部２０２乃至連続性検出部２０４により、画面の上下方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域が検出される。
【０３５４】
頂点検出部２０２乃至連続性検出部２０４は、上述したように、画面の上下方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出し、さらに、画面の左右方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する。
【０３５５】
なお、処理の順序は、特に限定されるものではなく、並列に実行するようにしても良いことは当然である。
【０３５６】
すなわち、頂点検出部２０２は、画面の左右方向に１列に並ぶ画素を対象として、画面の左側に位置する画素の画素値、および画面の右側に位置する画素の画素値に比較して、より大きい画素値を有する画素を頂点として検出し、検出した頂点の位置を示す頂点情報を単調増減検出部２０３に供給する。頂点検出部２０２は、１つの画像、例えば、１フレームの画像から、１または複数の頂点を検出する。
【０３５７】
例えば、頂点検出部２０２は、１フレームの画像からまだ注目画素とされていない画素の中から注目画素を選択し、注目画素の画素値と、注目画素の左側の画素の画素値とを比較し、注目画素の画素値と、注目画素の右側の画素の画素値とを比較して、左側の画素の画素値より大きい画素値を有し、右側の画素の画素値より大きい画素値を有する注目画素を検出して、検出された注目画素を頂点とする。頂点検出部２０２は、検出された頂点を示す頂点情報を単調増減検出部２０３に供給する。
【０３５８】
頂点検出部２０２が、頂点を検出しない場合もある。
【０３５９】
単調増減検出部２０３は、頂点検出部２０２で検出された頂点に対して左右方向に１列に並ぶ画素であって、細線の画像が射影された画素からなる領域の候補を検出検出し、頂点情報と共に、検出した領域を示す単調増減領域情報を連続性検出部２０４に供給する。
【０３６０】
より具体的には、単調増減検出部２０３は、頂点の画素値を基準として、単調減少している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。
【０３６１】
例えば、単調増減検出部２０３は、頂点に対して横に１列の各画素について、各画素の画素値と、左側の画素の画素値との差分、および右側の画素の画素値との差分を求める。そして、単調増減検出部２０３は、差分の符号が変化する画素を検出することにより、画素値が単調減少している領域を検出する。
【０３６２】
さらに、単調増減検出部２０３は、画素値が単調減少している領域から、頂点の画素値の符号を基準として、頂点の画素値の符号と同じ符号の画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。
【０３６３】
例えば、単調増減検出部２０３は、各画素の画素値の符号と、左側の画素の画素値の符号または右側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出することにより、画素値が単調減少している領域から、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【０３６４】
このように、単調増減検出部２０３は、左右方向に並び、頂点に対して画素値が単調減少し、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【０３６５】
単調増減検出部２０３は、このような単調増減領域からなる細線領域の中から、予め定めた閾値より長い細線領域、すなわち、閾値より多い数の画素を含む細線領域を求める。
【０３６６】
さらに、このように検出された細線領域の中から、単調増減検出部２０３は、頂点の画素値、および頂点の上側の画素の画素値、および頂点の下側の画素の画素値を、それぞれ閾値と比較し、頂点の画素値が閾値を超え、頂点の上側の画素の画素値が閾値以下であり、頂点の下側の画素の画素値が閾値以下である頂点が属する細線領域を検出し、検出された細線領域を細線の画像の成分を含む画素からなる領域の候補とする。
【０３６７】
言い換えれば、頂点の画素値が閾値以下であるか、頂点の上側の画素の画素値が閾値を超えるか、または頂点の下側の画素の画素値が閾値を超える頂点が属する細線領域は、細線の画像の成分を含まないと判定され、細線の画像の成分を含む画素からなる領域の候補から除去される。
【０３６８】
なお、単調増減検出部２０３は、背景の画素値を基準として、頂点の画素値と背景の画素値との差分を閾値と比較すると共に、頂点に対して、上下方向に隣接する画素の画素値と背景の画素値との差分を、閾値と比較し、頂点の画素値と背景の画素値との差分が閾値を超え、上下方向に隣接する画素の画素値と背景の画素値との差分が閾値以下である、検出された細線領域を細線の画像の成分を含む画素からなる領域の候補とするようにしてもよい。
【０３６９】
単調増減検出部２０３は、頂点を基準として、画素値が単調減少し、画素値の符号が頂点と同じである画素からなる領域であって、その頂点が閾値を超え、頂点の右側の画素の画素値が閾値以下であり、頂点の左側の画素の画素値が閾値以下であるものを示す単調増減領域情報を連続性検出部２０４に供給する。
【０３７０】
画面の左右方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する場合において、単調増減領域情報により示される領域に属する画素は、左右方向に並び、細線の画像が射影された画素を含む。すなわち、単調増減領域情報により示される領域は、画面の左右方向に並ぶ１列の画素であって、細線の画像が射影されたものからなる領域を含む。
【０３７１】
連続性検出部２０４は、単調増減検出部２０３から供給された単調増減領域情報で示される、左右方向に並ぶ画素からなる領域のうち、縦方向に隣接している画素を含む領域、すなわち、相似した画素値の変化を有し、横方向に重複している領域を、連続している領域として検出し、頂点情報、および検出された連続している領域を示すデータ定常性情報を出力する。データ定常性情報は、領域の繋がりを示す情報を含んでいる。
【０３７２】
細線が射影された画素において、円弧形状が隣接するように一定の間隔で並ぶので、検出された連続している領域は、細線が射影された画素を含んでいる。
【０３７３】
検出された連続している領域が、細線が射影された、円弧形状が隣接するように一定の間隔で並ぶ画素を含むので、検出された連続している領域を定常領域とし、連続性検出部２０４は、検出された連続している領域を示すデータ定常性情報を出力する。
【０３７４】
すなわち、連続性検出部２０４は、長さ方向に連続するという、実世界１の細線の画像の定常性から生じた、細線を撮像して得られたデータ３における、円弧形状が隣接するように一定の間隔で並ぶ定常性を利用して、頂点検出部２０２および単調増減検出部２０３において検出された領域の候補をさらに絞り込む。
【０３７５】
このように、データ定常性検出部１０１は、入力画像であるデータ３に含まれている定常性を検出することができる。すなわち、データ定常性検出部１０１は、細線である実世界１の画像がデータ３に射影されることにより生じた、データ３に含まれるデータの定常性を検出することができる。データ定常性検出部１０１は、データ３から、細線である実世界１の画像が射影された画素からなる領域を検出する。
【０３７６】
図４０は、定常性検出部１０１における、細線の画像が射影された、定常性を有する領域の検出の他の処理の例を示す図である。
【０３７７】
定常性検出部１０１は、図４０に示すように、各画素について、隣接する画素との画素値の差分の絶対値を計算する。計算された差分の絶対値は、画素に対応させて、配置される。例えば、図４０に示すように、画素値がそれぞれP0、P1、P2である画素が並んでいるとき、定常性検出部１０１は、差分d0=P0-P1および差分d1=P1-P2を計算する。さらに、定常性検出部１０１は、差分d0および差分d1の絶対値を算出する。
【０３７８】
画素値P0、P1、およびP2に含まれている非定常性成分が同一であるとき、差分d0および差分d1には、細線の成分に対応した値のみが設定されることになる。
【０３７９】
従って、定常性検出部１０１は、画素に対応させて配置されている差分の絶対値のうち、隣り合う差分の値が同一であるとき、その２つの差分の絶対値に対応する画素（２つの差分の絶対値に挟まれた画素）に細線の成分が含まれていると判定する。
【０３８０】
定常性検出部１０１においては、このような、簡便な方法で細線を検出することもできる。
【０３８１】
図４１は、定常性検出の処理を説明するフローチャートである。
【０３８２】
ステップＳ２０１において、非定常成分抽出部２０１は、入力画像から、細線が射影された部分以外の部分である非定常成分を抽出する。非定常成分抽出部２０１は、入力画像と共に、抽出された非定常成分を示す非定常成分情報を頂点検出部２０２および単調増減検出部２０３に供給する。非定常成分の抽出の処理の詳細は、後述する。
【０３８３】
ステップＳ２０２において、頂点検出部２０２は、非定常成分抽出部２０１から供給された非定常成分情報を基に、入力画像から非定常成分を除去し、入力画像に定常成分を含む画素のみを残す。さらに、ステップＳ２０２において、頂点検出部２０２は、頂点を検出する。
【０３８４】
すなわち、頂点検出部２０２は、画面の縦方向を基準として、処理を実行する場合、定常成分を含む画素について、各画素の画素値と、上側および下側の画素の画素値とを比較して、上側の画素の画素値および下側の画素の画素値より大きい画素値を有する画素を検出することにより、頂点を検出する。また、ステップＳ２０２において、頂点検出部２０２は、画面の横方向を基準として、処理を実行する場合、定常成分を含む画素について、各画素の画素値と、右側および左側の画素の画素値とを比較して、右側の画素の画素値および左側の画素の画素値より大きい画素値を有する画素を検出することにより、頂点を検出する。
【０３８５】
頂点検出部２０２は、検出した頂点を示す頂点情報を単調増減検出部２０３に供給する。
【０３８６】
ステップＳ２０３において、単調増減検出部２０３は、非定常成分抽出部２０１から供給された非定常成分情報を基に、入力画像から非定常成分を除去し、入力画像に定常成分を含む画素のみを残す。さらに、ステップＳ２０３において、単調増減検出部２０３は、頂点検出部２０２から供給された、頂点の位置を示す頂点情報を基に、頂点に対する単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。
【０３８７】
単調増減検出部２０３は、画面の縦方向を基準として、処理を実行する場合、頂点の画素値、および頂点に対して縦に１列に並ぶ画素の画素値を基に、縦に並ぶ１列の画素であって、１つの細線の画像が射影された画素からなる単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。すなわち、ステップＳ２０３において、単調増減検出部２０３は、画面の縦方向を基準として、処理を実行する場合、頂点および頂点に対して縦に１列に並ぶ画素について、各画素の画素値と、上側または下側の画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。また、単調増減検出部２０３は、頂点および頂点に対して縦に１列に並ぶ画素について、各画素の画素値の符号と、その画素の上側または下側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。さらに、単調増減検出部２０３は、頂点の画素値、並びに頂点の右側および左側の画素の画素値を、閾値と比較し、頂点の画素値が閾値を超え、右側および左側の画素の画素値が閾値以下である画素からなる領域を検出する。
【０３８８】
単調増減検出部２０３は、このように検出された領域を単調増減領域として、単調増減領域を示す単調増減領域情報を連続性検出部２０４に供給する。
【０３８９】
また、単調増減検出部２０３は、画面の横方向を基準として、処理を実行する場合、頂点の画素値、および頂点に対して横に１列に並ぶ画素の画素値を基に、横に並ぶ１列の画素であって、１つの細線の画像が射影された画素からなる単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。すなわち、ステップＳ２０３において、単調増減検出部２０３は、画面の横方向を基準として、処理を実行する場合、頂点および頂点に対して横に１列に並ぶ画素について、各画素の画素値と、左側または右側の画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。また、単調増減検出部２０３は、頂点および頂点に対して横に１列に並ぶ画素について、各画素の画素値の符号と、その画素の左側または右側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。さらに、単調増減検出部２０３は、頂点の画素値、並びに頂点の上側および下側の画素の画素値を、閾値と比較し、頂点の画素値が閾値を超え、上側および下側の画素の画素値が閾値以下である画素からなる領域を検出する。
【０３９０】
単調増減検出部２０３は、このように検出された領域を単調増減領域として、単調増減領域を示す単調増減領域情報を連続性検出部２０４に供給する。
【０３９１】
ステップＳ２０４において、単調増減検出部２０３は、全画素の処理が終了したか否かを判定する。例えば、非定常成分抽出部２０１は、入力画像の１つの画面（例えば、フレームまたはフィールドなど）の全画素について、頂点を検出し、単調増減領域を検出したか否かを判定する。
【０３９２】
ステップＳ２０４において、全画素の処理が終了していない、すなわち、頂点の検出および単調増減領域の検出の処理の対象とされていない画素がまだあると判定された場合、ステップＳ２０２に戻り、頂点の検出および単調増減領域の検出の処理の対象とされていない画素から処理の対象となる画素を選択して、頂点の検出および単調増減領域の検出の処理を繰り返す。
【０３９３】
ステップＳ２０４において、全画素の処理が終了した、すなわち、全ての画素を対象として頂点および単調増減領域が検出されたと判定された場合、ステップＳ２０５に進み、連続性検出部２０４は、単調増減領域情報を基に、検出された領域の連続性を検出する。例えば、連続性検出部２０４は、単調増減領域情報で示される、画面の縦方向に１列に並ぶ画素からなる単調増減領域について、横方向に隣接する画素を含んでいるとき、２つの単調増減領域の間に連続性があるとし、横方向に隣接する画素を含んでいないとき、２つの単調増減領域の間に連続性がないとする。例えば、連続性検出部２０４は、単調増減領域情報で示される、画面の横方向に１列に並ぶ画素からなる単調増減領域について、縦方向に隣接する画素を含んでいるとき、２つの単調増減領域の間に連続性があるとし、縦方向に隣接する画素を含んでいないとき、２つの単調増減領域の間に連続性がないとする。
【０３９４】
連続性検出部２０４は、検出された連続している領域をデータの定常性を有する定常領域とし、頂点の位置および定常領域を示すデータ定常性情報を出力する。データ定常性情報は、領域の繋がりを示す情報を含んでいる。連続性検出部２０４から出力されるデータ定常性情報は、実世界１の細線の画像が射影された画素からなる、定常領域である細線領域を示す。
【０３９５】
ステップＳ２０６において、定常性方向検出部２０５は、全画素の処理が終了したか否かを判定する。すなわち、定常性方向検出部２０５は、入力画像の所定のフレームの全画素について、領域の連続性を検出したか否かを判定する。
【０３９６】
ステップＳ２０６において、全画素の処理が終了していない、すなわち、領域の連続性の検出の処理の対象とされていない画素がまだあると判定された場合、ステップＳ２０５に戻り、領域の連続性の検出の処理の対象とされていない画素から処理の対象となる画素を選択して、領域の連続性の検出の処理を繰り返す。
【０３９７】
ステップＳ２０６において、全画素の処理が終了した、すなわち、全ての画素を対象として領域の連続性が検出されたと判定された場合、処理は終了する。
【０３９８】
このように、入力画像であるデータ３に含まれている定常性が検出される。すなわち、細線である実世界１の画像がデータ３に射影されることにより生じた、データ３に含まれるデータの定常性が検出され、データ３から、細線である実世界１の画像が射影された画素からなる、データの定常性を有する領域が検出される。
【０３９９】
なお、図３０で構成が示されるデータ定常性検出部１０１は、データ３のフレームから検出されたデータの定常性を有する領域を基に、時間方向のデータの定常性を検出することができる。
【０４００】
例えば、図４２に示すように、連続性検出部２０４は、フレーム#nにおいて、検出されたデータの定常性を有する領域、フレーム#n-1において、検出されたデータの定常性を有する領域、およびフレーム#n+1において、検出されたデータの定常性を有する領域を基に、領域の端部を結ぶことにより、時間方向のデータの定常性を検出する。
【０４０１】
フレーム#n-1は、フレーム#nに対して時間的に前のフレームであり、フレーム#n+1は、フレーム#nに対して時間的に後のフレームである。すなわち、フレーム#n-1、フレーム#n、およびフレーム#n+1は、フレーム#n-1、フレーム#n、およびフレーム#n+1の順で表示される。
【０４０２】
より具体的には、図４２において、Ｇは、フレーム#nにおいて、検出されたデータの定常性を有する領域、フレーム#n-1において、検出されたデータの定常性を有する領域、およびフレーム#n+1において、検出されたデータの定常性を有する領域のそれぞれの一端を結ぶことにより得られた動きベクトルを示し、Ｇ’は、検出されたデータの定常性を有する領域のそれぞれの他の一端を結ぶことにより得られた動きベクトルを示す。動きベクトルＧおよび動きベクトルＧ’は、時間方向のデータの定常性の一例である。
【０４０３】
さらに、図３０で構成が示されるデータ定常性検出部１０１は、データの定常性を有する領域の長さを示す情報を、データ定常性情報として出力することができる。
【０４０４】
図４３は、データの定常性を有しない画像データの部分である非定常成分を平面で近似して、非定常成分を抽出する、非定常成分抽出部２０１の構成を示すブロック図である。
【０４０５】
図４３に構成を示す非定常成分抽出部２０１は、入力画像から所定の数の画素でなるブロックを抽出し、ブロックと平面で示される値との誤差が所定の閾値未満になるように、ブロックを平面で近似して、非定常成分を抽出する。
【０４０６】
入力画像は、ブロック抽出部２２１に供給されるとともに、そのまま出力される。
【０４０７】
ブロック抽出部２２１は、入力画像から、所定の数の画素からなるブロックを抽出する。例えば、ブロック抽出部２２１は、７×７の画素からなるブロックを抽出し、平面近似部２２２に供給する。例えば、ブロック抽出部２２１は、抽出されるブロックの中心となる画素をラスタスキャン順に移動させ、順次、入力画像からブロックを抽出する。
【０４０８】
平面近似部２２２は、ブロックに含まれる画素の画素値を所定の平面で近似する。例えば、平面近似部２２２は、式（３２）で表される平面でブロックに含まれる画素の画素値を近似する。
【０４０９】
【数３２】

・・・（３２）
【０４１０】
式（３２）において、xは、画素の画面上の一方の方向（空間方向Ｘ）の位置を示し、yは、画素の画面上の他の一方の方向（空間方向Ｙ）の位置を示す。ｚは、平面で示される近似値を示す。aは、平面の空間方向Ｘの傾きを示し、bは、平面の空間方向Ｙの傾きを示す。式（３２）において、cは、平面のオフセット（切片）を示す。
【０４１１】
例えば、平面近似部２２２は、回帰の処理により、傾きa、傾きb、およびオフセットcを求めることにより、式（３２）で表される平面で、ブロックに含まれる画素の画素値を近似する。平面近似部２２２は、棄却を伴う回帰の処理により、傾きa、傾きb、およびオフセットcを求めることにより、式（３２）で表される平面で、ブロックに含まれる画素の画素値を近似する。
【０４１２】
例えば、平面近似部２２２は、最小自乗法により、ブロックの画素の画素値に対して、誤差が最小となる式（３２）で表される平面を求めることにより、平面でブロックに含まれる画素の画素値を近似する。
【０４１３】
なお、平面近似部２２２は、式（３２）で表される平面でブロックを近似すると説明したが、式（３２）で表される平面に限らず、より高い自由度をもった関数、例えば、n次の多項式で表される面でブロックを近似するようにしてもよい。
【０４１４】
繰り返し判定部２２３は、ブロックの画素値を近似した平面で示される近似値と、ブロックの対応する画素の画素値との誤差を計算する。式（３３）は、ブロックの画素値を近似した平面で示される近似値と、ブロックの対応する画素の画素値z_iとの差分である誤差e_iを示す式である。
【０４１５】
【数３３】

・・・（３３）
【０４１６】
式（３３）において、zハット（zに^を付した文字をzハットと記述する。以下、本明細書において、同様に記載する。）は、ブロックの画素値を近似した平面で示される近似値を示し、aハットは、ブロックの画素値を近似した平面の空間方向Ｘの傾きを示し、bハットは、ブロックの画素値を近似した平面の空間方向Ｙの傾きを示す。式（３３）において、cハットは、ブロックの画素値を近似した平面のオフセット（切片）を示す。
【０４１７】
繰り返し判定部２２３は、式（３３）で示される、近似値とブロックの対応する画素の画素値との誤差e_iが、最も大きい画素を棄却する。このようにすることで、細線が射影された画素、すなわち定常性を有する画素が棄却されることになる。繰り返し判定部２２３は、棄却した画素を示す棄却情報を平面近似部２２２に供給する。
【０４１８】
さらに、繰り返し判定部２２３は、標準誤差を算出して、標準誤差が、予め定めた近似終了判定用の閾値以上であり、ブロックの画素のうち、半分以上の画素が棄却されていないとき、繰り返し判定部２２３は、平面近似部２２２に、ブロックに含まれる画素のうち、棄却された画素を除いた画素を対象として、平面による近似の処理を繰り返させる。
【０４１９】
定常性を有する画素が棄却されるので、棄却された画素を除いた画素を対象として平面で近似をすることにより、平面は、非定常成分を近似することになる。
【０４２０】
繰り返し判定部２２３は、標準誤差が、近似終了判定用の閾値未満であるとき、または、ブロックの画素のうち、半分以上の画素が棄却されたとき、平面による近似を終了する。
【０４２１】
５×５の画素からなるブロックについて、標準誤差e_sは、例えば、式（３４）で算出される。
【０４２２】
【数３４】

・・・（３４）
ここで、nは、画素の数である。
【０４２３】
なお、繰り返し判定部２２３は、標準誤差に限らず、ブロックに含まれる全ての画素についての誤差の２乗の和を算出して、以下の処理を実行するようにしてもよい。
【０４２４】
ここで、ラスタスキャン方向に１画素ずつずれたブロックを平面で近似するとき、図４４に示すように、図中黒丸で示す、定常性を有する画素、すなわち細線の成分を含む画素は、複数回棄却されることになる。
【０４２５】
繰り返し判定部２２３は、平面による近似を終了したとき、ブロックの画素値を近似した平面を示す情報（式（３２）の平面の傾きおよび切片）を、非定常成分情報として出力する。
【０４２６】
なお、繰り返し判定部２２３は、画素毎の棄却された回数と予め定めた閾値とを比較して、棄却された回数が閾値以上である画素を定常成分を含む画素であるとして、定常成分を含む画素を示す情報を定常成分情報として出力するようにしてもよい。この場合、頂点検出部２０２乃至定常性方向検出部２０５は、定常成分情報で示される、定常成分を含む画素を対象として、それぞれの処理を実行する。
【０４２７】
棄却された回数、ブロックの画素の画素値を近似する平面の空間方向Ｘの傾き、ブロックの画素の画素値を近似する平面の空間方向Ｙの傾き、ブロックの画素の画素値を近似する平面で示される近似値、および誤差e_iは、入力画像の特徴量としても利用することができる。
【０４２８】
図４５は、ステップＳ２０１に対応する、図４３に構成を示す非定常成分抽出部２０１による、非定常成分の抽出の処理を説明するフローチャートである。
【０４２９】
ステップＳ２２１において、ブロック抽出部２２１は、入力画素から、所定の数の画素からなるブロックを抽出し、抽出したブロックを平面近似部２２２に供給する。例えば、ブロック抽出部２２１は、入力画素から、まだ、選択されていない画素のうち、１つの画素を選択し、選択された画素を中心とする７×７の画素からなるブロックを抽出する。例えば、ブロック抽出部２２１は、ラスタスキャン順に画素を選択することができる。
【０４３０】
ステップＳ２２２において、平面近似部２２２は、抽出されたブロックを平面で近似する。平面近似部２２２は、例えば、回帰の処理により、抽出されたブロックの画素の画素値を、平面で近似する。例えば、平面近似部２２２は、回帰の処理により、抽出されたブロックの画素のうち、棄却された画素を除いた画素の画素値を、平面で近似する。ステップＳ２２３において、繰り返し判定部２２３は、繰り返し判定を実行する。例えば、ブロックの画素の画素値と近似した平面の近似値とから標準誤差を算出し、棄却された画素の数をカウントすることにより、繰り返し判定を実行する。
【０４３１】
ステップＳ２２４において、繰り返し判定部２２３は、標準誤差が閾値以上であるか否かを判定し、標準誤差が閾値以上であると判定された場合、ステップＳ２２５に進む。
【０４３２】
なお、ステップＳ２２４において、繰り返し判定部２２３は、ブロックの画素のうち、半分以上の画素が棄却されたか否か、および標準誤差が閾値以上であるか否かを判定し、ブロックの画素のうち、半分以上の画素が棄却されておらず、標準誤差が閾値以上であると判定された場合、ステップＳ２２５に進むようにしてもよい。
【０４３３】
ステップＳ２２５において、繰り返し判定部２２３は、ブロックの画素毎に、画素の画素値と近似した平面の近似値との誤差を算出し、誤差が最も大きい画素を棄却し、平面近似部２２２に通知する。手続きは、ステップＳ２２２に戻り、棄却された画素を除いた、ブロックの画素を対象として、平面による近似の処理および繰り返し判定の処理が繰り返される。
【０４３４】
ステップＳ２２５において、ラスタスキャン方向に１画素ずつずれたブロックがステップＳ２２１の処理で抽出される場合、図４４に示すように、細線の成分を含む画素（図中の黒丸で示す）は、複数回棄却されることになる。
【０４３５】
ステップＳ２２４において、標準誤差が閾値以上でないと判定された場合、ブロックが平面で近似されたので、ステップＳ２２６に進む。
【０４３６】
なお、ステップＳ２２４において、繰り返し判定部２２３は、ブロックの画素のうち、半分以上の画素が棄却されたか否か、および標準誤差が閾値以上であるか否かを判定し、ブロックの画素のうち、半分以上の画素が棄却されたか、または標準誤差が閾値以上でないと判定された場合、ステップＳ２２５に進むようにしてもよい。
【０４３７】
ステップＳ２２６において、繰り返し判定部２２３は、ブロックの画素の画素値を近似する平面の傾きおよび切片を、非定常成分情報として出力する。
【０４３８】
ステップＳ２２７において、ブロック抽出部２２１は、入力画像の１つの画面の全画素について処理を終了したか否かを判定し、まだ処理の対象となってない画素があると判定された場合、ステップＳ２２１に戻り、まだ処理の対象となっていない画素からブロックを抽出して、上述した処理を繰り返す。
【０４３９】
ステップＳ２２７において、入力画像の１つの画面の全画素について、処理を終了したと判定された場合、処理は終了する。
【０４４０】
このように、図４３に構成を示す非定常成分抽出部２０１は、入力画像から非定常成分を抽出することができる。非定常成分抽出部２０１が入力画像の非定常成分を抽出するので、頂点検出部２０２および単調増減検出部２０３は、入力画像と、非定常成分抽出部２０１で抽出された非定常成分との差分を求めることにより、定常成分を含む差分を対象として処理を実行することができる。
【０４４１】
なお、平面による近似の処理において算出される、棄却した場合の標準誤差、棄却しない場合の標準誤差、画素の棄却された回数、平面の空間方向Ｘの傾き（式（３２）におけるaハット）、平面の空間方向Ｙの傾き（式（３２）におけるbハット）、平面で置き換えたときのレベル（式（３２）におけるcハット）、および入力画像の画素値と平面で示される近似値との差分は、特徴量として利用することができる。
【０４４２】
図４６は、ステップＳ２０１に対応する非定常成分の抽出の処理に代わる、図４３に構成を示す非定常成分抽出部２０１による、定常成分の抽出の処理を説明するフローチャートである。ステップＳ２４１乃至ステップＳ２４５の処理は、ステップＳ２２１乃至ステップＳ２２５の処理と同様なので、その説明は省略する。
【０４４３】
ステップＳ２４６において、繰り返し判定部２２３は、平面で示される近似値と入力画像の画素値との差分を、入力画像の定常成分として出力する。すなわち、繰り返し判定部２２３は、平面による近似値と、真値である画素値との差分を出力する。
【０４４４】
なお、繰り返し判定部２２３は、平面で示される近似値と入力画像の画素値との差分が、所定の閾値以上である画素の画素値を、入力画像の定常成分として出力するようにしてもよい。
【０４４５】
ステップＳ２４７の処理は、ステップＳ２２７の処理と同様なので、その説明は省略する。
【０４４６】
平面が非定常成分を近似しているので、非定常成分抽出部２０１は、入力画像の各画素の画素値から、画素値を近似する平面で示される近似値を引き算することにより、入力画像から非定常成分を除去することができる。この場合、頂点検出部２０２乃至連続性検出部２０４は、入力画像の定常成分、すなわち細線の画像が射影された値のみを処理の対象とすることができ、頂点検出部２０２乃至連続性検出部２０４における処理がより容易になる。
【０４４７】
図４７は、ステップＳ２０１に対応する非定常成分の抽出の処理に代わる、図４３に構成を示す非定常成分抽出部２０１による、定常成分の抽出の他の処理を説明するフローチャートである。ステップＳ２６１乃至ステップＳ２６５の処理は、ステップＳ２２１乃至ステップＳ２２５の処理と同様なので、その説明は省略する。
【０４４８】
ステップＳ２６６において、繰り返し判定部２２３は、画素毎の、棄却の回数を記憶し、ステップＳ２６２に戻り、処理を繰り返す。
【０４４９】
ステップＳ２６４において、標準誤差が閾値以上でないと判定された場合、ブロックが平面で近似されたので、ステップＳ２６７に進み、繰り返し判定部２２３は、入力画像の１つの画面の全画素について処理を終了したか否かを判定し、まだ処理の対象となってない画素があると判定された場合、ステップＳ２６１に戻り、まだ処理の対象となっていない画素についてブロックを抽出して、上述した処理を繰り返す。
【０４５０】
ステップＳ２６７において、入力画像の１つの画面の全画素について、処理を終了したと判定された場合、ステップＳ２６８に進み、繰り返し判定部２２３は、まだ選択されていない画素から１つの画素を選択し、選択された画素について、棄却の回数が、閾値以上であるか否かを判定する。例えば、繰り返し判定部２２３は、ステップＳ２６８において、選択された画素について、棄却の回数が、予め記憶している閾値以上であるか否かを判定する。
【０４５１】
ステップＳ２６８において、選択された画素について、棄却の回数が、閾値以上であると判定された場合、選択された画素が定常成分を含むので、ステップＳ２６９に進み、繰り返し判定部２２３は、選択された画素の画素値（入力画像における画素値）を入力画像の定常成分として出力し、ステップＳ２７０に進む。
【０４５２】
ステップＳ２６８において、選択された画素について、棄却の回数が、閾値以上でないと判定された場合、選択された画素が定常成分を含まないので、ステップＳ２６９の処理をスキップして、手続きは、ステップＳ２７０に進む。すなわち、棄却の回数が、閾値以上でないと判定された画素は、画素値が出力されない。
【０４５３】
なお、棄却の回数が、閾値以上でないと判定された画素について、繰り返し判定部２２３は、0を設定した画素値を出力するようにしてもよい。
【０４５４】
ステップＳ２７０において、繰り返し判定部２２３は、入力画像の１つの画面の全画素について、棄却の回数が閾値以上であるか否かの判定の処理を終了したか否かを判定し、全画素について処理を終了していないと判定された場合、まだ処理の対象となってない画素があるので、ステップＳ２６８に戻り、まだ処理の対象となっていない画素から１つの画素を選択して、上述した処理を繰り返す。
【０４５５】
ステップＳ２７０において、入力画像の１つの画面の全画素について処理を終了したと判定された場合、処理は終了する。
【０４５６】
このように、非定常成分抽出部２０１は、定常成分情報として、入力画像の画素のうち、定常成分を含む画素の画素値を出力することができる。すなわち、非定常成分抽出部２０１は、入力画像の画素のうち、細線の画像の成分を含む画素の画素値を出力することができる。
【０４５７】
図４８は、ステップＳ２０１に対応する非定常成分の抽出の処理に代わる、図４３に構成を示す非定常成分抽出部２０１による、定常成分の抽出のさらに他の処理を説明するフローチャートである。ステップＳ２８１乃至ステップＳ２８８の処理は、ステップＳ２６１乃至ステップＳ２６８の処理と同様なので、その説明は省略する。
【０４５８】
ステップＳ２８９において、繰り返し判定部２２３は、平面で示される近似値と、選択された画素の画素値との差分を入力画像の定常成分として出力する。すなわち、繰り返し判定部２２３は、入力画像から非定常成分を除去した画像を定常性情報として出力する。
【０４５９】
ステップＳ２９０の処理は、ステップＳ２７０の処理と同様なので、その説明は省略する。
【０４６０】
このように、非定常成分抽出部２０１は、入力画像から非定常成分を除去した画像を定常性情報として出力することができる。
【０４６１】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、第１の画像データの複数の画素の画素値の不連続部を検出し、検出された不連続部からデータの定常性を検出し、検出されたデータの定常性を基に、現実世界の光信号の定常性を推定することにより光信号を推定し、推定された光信号を第２の画像データに変換するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０４６２】
図４９は、データ定常性検出部１０１の他の構成を示すブロック図である。
【０４６３】
図４９に構成を示すデータ定常性検出部１０１においては、注目している画素である注目画素について、入力画像の空間方向に対する画素値の変化、すなわち入力画像の空間方向のアクティビティが検出され、検出されたアクティビティに応じて、注目画素および基準軸を基準とした角度毎に、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組が、複数抽出され、抽出された画素の組の相関が検出され、相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。
【０４６４】
データの定常性の角度とは、基準軸と、データ３が有している、一定の特徴が繰り返し現れる所定の次元の方向とがなす角度をいう。一定の特徴が繰り返し現れるとは、例えば、データ３における位置の変化に対する値の変化、すなわち断面形状が同じである場合などをいう。
【０４６５】
基準軸は、例えば、空間方向Ｘを示す軸（画面の水平方向）、または空間方向Ｙを示す軸（画面の垂直方向）などとすることができる。
【０４６６】
入力画像は、アクティビティ検出部４０１およびデータ選択部４０２に供給される。
【０４６７】
アクティビティ検出部４０１は、入力画像の空間方向に対する画素値の変化、すなわち空間方向のアクティビティを検出して、検出した結果を示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０４６８】
例えば、アクティビティ検出部４０１は、画面の水平方向に対する画素値の変化、および画面の垂直方向に対する画素値の変化を検出し、検出された水平方向に対する画素値の変化および垂直方向に対する画素値の変化を比較することにより、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいかを検出する。
【０４６９】
アクティビティ検出部４０１は、検出の結果である、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示すか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０４７０】
垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、例えば、図５０で示されるように、垂直方向に１列の画素に円弧形状（かまぼこ型）またはつめ形状が形成され、円弧形状またはつめ形状が垂直により近い方向に繰り返して形成されている。すなわち、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、基準軸を空間方向Ｘを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、４５度乃至９０度のいずれかの値である。
【０４７１】
水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、例えば、水平方向に１列の画素に円弧形状またはつめ形状が形成され、円弧形状またはつめ形状が水平方向により近い方向に繰り返して形成されている。すなわち、水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、基準軸を空間方向Ｘを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、０度乃至４５度のいずれかの値である。
【０４７２】
例えば、アクティビティ検出部４０１は、図５１で示される、注目画素を中心とした３×３の９つの画素からなるブロックを入力画像から抽出する。アクティビティ検出部４０１は、縦に隣接する画素についての画素値の差分の和、および横に隣接する画素についての画素値の差分の和を算出する。横に隣接する画素についての画素値の差分の和h_diffは、式（３５）で求められる。
【０４７３】
【数３５】

・・・（３５）
【０４７４】
同様に、縦に隣接する画素についての画素値の差分の和v_diffは、式（３６）で求められる。
【０４７５】
【数３６】

・・・（３６）
【０４７６】
式（３５）および式（３６）において、Pは、画素値を示し、iは、画素の横方向の位置を示し、jは、画素の縦方向の位置を示す。
【０４７７】
アクティビティ検出部４０１は、算出された横に隣接する画素についての画素値の差分の和h_diffおよび縦に隣接する画素についての画素値の差分の和v_diffを比較して、入力画像における、基準軸を基準としたデータの定常性の角度の範囲を判定するようにしてもよい。すなわち、この場合、アクティビティ検出部４０１は、空間方向の位置に対する画素値の変化で示される形状が水平方向に繰り返して形成されているか、垂直方向に繰り返して形成されているかを判定する。
【０４７８】
例えば、横に１列の画素上に形成された円弧についての横方向の画素値の変化は、縦方向の画素値の変化に比較して大きく、横に１列の画素上に形成された円弧についての縦方向の画素値の変化は、横方向の画素値の変化に比較して大きく、データの定常性の方向、すなわち、データ３である入力画像が有している、一定の特徴の所定の次元の方向の変化は、データの定常性に直交する方向の変化に比較して小さいと言える。言い換えれば、データの定常性の方向の差分に比較して、データの定常性の方向に直交する方向（以下、非定常方向とも称する）の差分は大きい。
【０４７９】
例えば、図５２に示すように、アクティビティ検出部４０１は、算出された横に隣接する画素についての画素値の差分の和h_diffおよび縦に隣接する画素についての画素値の差分の和v_diffを比較して、横に隣接する画素についての画素値の差分の和h_diffが大きい場合、基準軸を基準としたデータの定常性の角度が、４５度乃至１３５度のいずれかの値であると判定し、縦に隣接する画素についての画素値の差分の和v_diffが大きい場合、基準軸を基準としたデータの定常性の角度が、０度乃至４５度のいずれかの値、または１３５度乃至１８０度のいずれかの値であると判定する。
【０４８０】
例えば、アクティビティ検出部４０１は、判定の結果を示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０４８１】
なお、アクティビティ検出部４０１は、５×５の２５の画素からなるブロック、または７×７の４９の画素からなるブロックなど、任意の大きさのブロックを抽出して、アクティビティを検出することができる。
【０４８２】
データ選択部４０２は、入力画像の画素から注目画素を順に選択し、アクティビティ検出部４０１から供給されたアクティビティ情報を基に、注目画素および基準軸を基準とした角度毎に、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４８３】
例えば、アクティビティ情報が垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、４５度乃至１３５度のいずれかの値なので、データ選択部４０２は、注目画素および基準軸を基準とした４５度乃至１３５度の範囲の所定の角度毎に、垂直方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４８４】
アクティビティ情報が水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、０度乃至４５度または１３５度乃至１８０度のいずれかの値なので、データ選択部４０２は、注目画素および基準軸を基準とした０度乃至４５度または１３５度乃至１８０度の範囲の所定の角度毎に、水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４８５】
また、例えば、データの定常性の角度が４５度乃至１３５度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部４０２は、注目画素および基準軸を基準とした４５度乃至１３５度の範囲の所定の角度毎に、垂直方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４８６】
データの定常性の角度が０度乃至４５度または１３５度乃至１８０度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部４０２は、注目画素および基準軸を基準とした０度乃至４５度または１３５度乃至１８０度の範囲の所定の角度毎に、水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４８７】
データ選択部４０２は、抽出した画素からなる複数の組を誤差推定部４０３に供給する。
【０４８８】
誤差推定部４０３は、抽出した画素からなる複数の組について、角度毎に、画素の組の相関を検出する。
【０４８９】
例えば、誤差推定部４０３は、１つの角度に対応する、垂直方向に１列の所定の数の画素からなる画素の複数の組について、画素の組における対応する位置の画素の画素値の相関を検出する。誤差推定部４０３は、１つの角度に対応する、水平方向に１列の所定の数の画素からなる画素の複数の組について、組における対応する位置の画素の画素値の相関を検出する。
【０４９０】
誤差推定部４０３は、検出した相関を示す相関情報を定常方向導出部４０４に供給する。誤差推定部４０３は、相関を示す値として、データ選択部４０２から供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、差分の絶対値の和を相関情報として定常方向導出部４０４に供給する。
【０４９１】
定常方向導出部４０４は、誤差推定部４０３から供給された相関情報に基いて、欠落した実世界１の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。例えば、定常方向導出部４０４は、誤差推定部４０３から供給された相関情報に基いて、データの定常性の角度として、最も相関の強い画素の組に対する角度を検出し、検出された最も相関の強い画素の組に対する角度を示すデータ定常性情報を出力する。
【０４９２】
以下の説明において、適宜、０度乃至９０度の範囲（いわゆる第１象限）のデータの定常性の角度を検出するものとして説明する。
【０４９３】
図５３は、図４９に示すデータ定常性検出部１０１のより詳細な構成を示すブロック図である。
【０４９４】
データ選択部４０２は、画素選択部４１１−１乃至画素選択部４１１−Ｌを含む。誤差推定部４０３は、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌを含む。定常方向導出部４０４は、最小誤差角度選択部４１３を含む。
【０４９５】
まず、アクティビティ情報で示される、データの定常性の角度が４５度乃至１３５度のいずれかの値であるときの画素選択部４１１−１乃至画素選択部４１１−Ｌの処理を説明する。
【０４９６】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、空間方向Ｘを示す軸を基準軸として、注目画素を通る、それぞれ異なる所定の角度の直線を設定する。画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列に属する画素であって、注目画素の上側の所定の数の画素、および注目画素の下側の所定の数の画素、並びに注目画素を画素の組として選択する。
【０４９７】
例えば、図５４で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列に属する画素から、注目画素を中心として９つの画素を画素の組として選択する。
【０４９８】
図５４において、マス目状の１つの四角（１つのマス目）は、１つの画素を示す。図５４において、中央に示す丸は、注目画素を示す。
【０４９９】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側の縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図５４において、注目画素の左下側の丸は、選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側の縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０５００】
例えば、図５４で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側の縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０５０１】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側に２つめの縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図５４において、最も左側の丸は、選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側に２つめの縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０５０２】
例えば、図５４で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側に２つめの縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０５０３】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側の縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図５４において、注目画素の右上側の丸は、選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側の縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０５０４】
例えば、図５４で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側の縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０５０５】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側に２つめの縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図５４において、最も右側の丸は、このように選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側に２つめの縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０５０６】
例えば、図５４で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側に２つめの縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０５０７】
このように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、それぞれ、画素の組を５つ選択する。
【０５０８】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、互いに異なる角度（に設定された直線）についての、画素の組を選択する。例えば、画素選択部４１１−１は、４５度についての、画素の組を選択し、画素選択部４１１−２は、４７．５度についての、画素の組を選択し、画素選択部４１１−３は、５０度についての、画素の組を選択する。画素選択部４１１−１乃至画素選択部４１１−Ｌは、５２．５度から１３５度までの、２．５度毎の角度についての、画素の組を選択する。
【０５０９】
なお、画素の組の数は、例えば、３つ、または７つなど、任意の数とすることができる。また、１つの組として選択された画素の数は、例えば、５つ、または１３など、任意の数とすることができる。
【０５１０】
なお、画素選択部４１１−１乃至画素選択部４１１−Ｌは、縦方向に所定の範囲の画素から、画素の組を選択するようにすることができる。例えば、画素選択部４１１−１乃至画素選択部４１１−Ｌは、縦方向に１２１個の画素（注目画素に対して、上方向に６０画素、下方向に６０画素）から、画素の組を選択する。この場合、データ定常性検出部１０１は、空間方向Ｘを示す軸に対して、８８．０９度まで、データの定常性の角度を検出することができる。
【０５１１】
画素選択部４１１−１は、選択した画素の組を推定誤差算出部４１２−１に供給し、画素選択部４１１−２は、選択した画素の組を推定誤差算出部４１２−２に供給する。同様に、画素選択部４１１−３乃至画素選択部４１１−Ｌのそれぞれは、選択した画素の組を推定誤差算出部４１２−３乃至推定誤差算出部４１２−Ｌのそれぞれに供給する。
【０５１２】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。例えば、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、相関を示す値として、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。
【０５１３】
より具体的には、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左側の縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から２番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左に２つめの縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。
【０５１４】
そして、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右側の縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から２番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右に２つめの縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。
【０５１５】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、このように算出された画素値の差分の絶対値の和を全て加算して、画素値の差分の絶対値の総和を算出する。
【０５１６】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、検出された相関を示す情報を、最小誤差角度選択部４１３に供給する。例えば、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、算出された画素値の差分の絶対値の総和を最小誤差角度選択部４１３に供給する。
【０５１７】
なお、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素値の差分の絶対値の和に限らず、画素値の差分の自乗の和、または画素値を基にした相関係数など他の値を相関値として算出するようにすることができる。
【０５１８】
最小誤差角度選択部４１３は、互いに異なる角度についての、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌにおいて検出された相関に基いて、欠落した実世界１の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。すなわち、最小誤差角度選択部４１３は、互いに異なる角度についての、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌにおいて検出された相関に基いて、最も強い相関を選択し、選択された相関が検出された角度を、基準軸を基準としたデータの定常性の角度とすることにより、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。
【０５１９】
例えば、最小誤差角度選択部４１３は、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌから供給された、画素値の差分の絶対値の総和のうち、最小の総和を選択する。最小誤差角度選択部４１３は、選択された総和が算出された画素の組について、注目画素に対して、左側に２つめの縦に１列の画素の列に属する画素であって、直線に最も近い位置の画素の位置、および、注目画素に対して、右側に２つめの縦に１列の画素の列に属する画素であって、直線に最も近い位置の画素の位置を参照する。
【０５２０】
図５４で示されるように、最小誤差角度選択部４１３は、注目画素の位置に対する、参照する画素の位置の縦方向の距離Sを求める。最小誤差角度選択部４１３は、図５５で示すように、式（３７）から、欠落した実世界１の光信号の定常性に対応する、画像データである入力画像における、基準軸である空間方向Ｘを示す軸を基準としたデータの定常性の角度θを検出する。
【０５２１】
【数３７】

・・・（３７）
【０５２２】
次に、アクティビティ情報で示される、データの定常性の角度が０度乃至４５度および１３５度乃至１８０度のいずれかの値であるときの画素選択部４１１−１乃至画素選択部４１１−Ｌの処理を説明する。
【０５２３】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、空間方向Ｘを示す軸を基準軸として、注目画素を通る、所定の角度の直線を設定し、注目画素が属する横に１列の画素の列に属する画素であって、注目画素の上側の所定の数の画素、および注目画素の下側の所定の数の画素、並びに注目画素を画素の組として選択する。
【０５２４】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側の横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側の横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０５２５】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側に２つめの横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側に２つめの横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０５２６】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側の横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側の横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０５２７】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側に２つめの横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側に２つめの横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０５２８】
このように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、それぞれ、画素の組を５つ選択する。
【０５２９】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、互いに異なる角度についての、画素の組を選択する。例えば、画素選択部４１１−１は、０度についての、画素の組を選択し、画素選択部４１１−２は、２．５度についての、画素の組を選択し、画素選択部４１１−３は、５度についての、画素の組を選択する。画素選択部４１１−１乃至画素選択部４１１−Ｌは、７．５度から４５度および１３５度から１８０度までの、２．５度毎の角度についての、画素の組を選択する。
【０５３０】
画素選択部４１１−１は、選択した画素の組を推定誤差算出部４１２−１に供給し、画素選択部４１１−２は、選択した画素の組を推定誤差算出部４１２−２に供給する。同様に、画素選択部４１１−３乃至画素選択部４１１−Ｌのそれぞれは、選択した画素の組を推定誤差算出部４１２−３乃至推定誤差算出部４１２−Ｌのそれぞれに供給する。
【０５３１】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、検出された相関を示す情報を、最小誤差角度選択部４１３に供給する。
【０５３２】
最小誤差角度選択部４１３は、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌにおいて検出された相関に基いて、欠落した実世界１の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。
【０５３３】
次に、図５６のフローチャートを参照して、ステップＳ１０１の処理に対応する、図４９で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明する。
【０５３４】
ステップＳ４０１において、アクティビティ検出部４０１およびデータ選択部４０２は、入力画像から、注目している画素である注目画素を選択する。アクティビティ検出部４０１およびデータ選択部４０２は、同一の注目画素を選択する。例えば、アクティビティ検出部４０１およびデータ選択部４０２は、入力画像から、ラスタスキャン順に、注目画素を選択する。
【０５３５】
ステップＳ４０２において、アクティビティ検出部４０１は、注目画素に対するアクティビティを検出する。例えば、アクティビティ検出部４０１は、注目画素を中心とした所定の数の画素からなるブロックの縦方向に並ぶ画素の画素値の差分および横方向に並ぶ画素の画素値の差分を基に、アクティビティを検出する。
【０５３６】
アクティビティ検出部４０１は、注目画素に対する空間方向のアクティビティを検出して、検出した結果を示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０５３７】
ステップＳ４０３において、データ選択部４０２は、注目画素を含む画素の列から、注目画素を中心とした所定の数の画素を、画素の組として選択する。例えば、データ選択部４０２は、注目画素が属する縦または横に１列の画素の列に属する画素であって、注目画素の上側または左側の所定の数の画素、および注目画素の下側または右側の所定の数の画素、並びに注目画素を画素の組として選択する。
【０５３８】
ステップＳ４０４において、データ選択部４０２は、ステップＳ４０２の処理で検出されたアクティビティを基にした、所定の範囲の角度毎に、所定の数の画素の列から、それぞれ所定の数の画素を、画素の組として選択する。例えば、データ選択部４０２は、所定の範囲の角度を有し、空間方向Ｘを示す軸を基準軸として、注目画素を通る直線を設定し、注目画素に対して、横方向または縦方向に１列または２列離れた画素であって、直線に最も近い画素を選択し、選択された画素の上側または左側の所定の数の画素、および選択された画素の下側または右側の所定の数の画素、並びに線に最も近い選択された画素を画素の組として選択する。データ選択部４０２は、角度毎に、画素の組を選択する。
【０５３９】
データ選択部４０２は、選択した画素の組を誤差推定部４０３に供給する。
【０５４０】
ステップＳ４０５において、誤差推定部４０３は、注目画素を中心とした画素の組と、角度毎に選択した画素の組との相関を計算する。例えば、誤差推定部４０３は、角度毎に、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。
【０５４１】
角度毎に選択された、画素の組の相互の相関を基に、データの定常性の角度を検出するようにしてもよい。
【０５４２】
誤差推定部４０３は、算出された相関を示す情報を、定常方向導出部４０４に供給する。
【０５４３】
ステップＳ４０６において、定常方向導出部４０４は、ステップＳ４０５の処理で算出された相関を基に、相関が最も強い画素の組の位置から、欠落した実世界１の光信号の定常性に対応する、画像データである入力画像における、基準軸を基準としたデータの定常性の角度を検出する。例えば、定常方向導出部４０４は、画素値の差分の絶対値の総和のうち、最小の総和を選択し、選択された総和が算出された画素の組の位置から、データの定常性の角度θを検出する。
【０５４４】
定常方向導出部４０４は、検出したデータの定常性の角度を示すデータ定常性情報を出力する。
【０５４５】
ステップＳ４０７において、データ選択部４０２は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップＳ４０１に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。
【０５４６】
ステップＳ４０７において、全ての画素の処理を終了したと判定された場合、処理は終了する。
【０５４７】
このように、データ定常性検出部１０１は、欠落した実世界１の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。
【０５４８】
なお、図４９で構成が示されるデータ検出部１０１は、注目しているフレームである注目フレームの、注目している画素である注目画素について、入力画像の空間方向のアクティビティを検出し、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームおよび注目フレームの時間的に前または後ろのフレームのそれぞれから、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組を、複数抽出し、抽出された画素の組の相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。
【０５４９】
例えば、図５７に示すように、データ選択部４０２は、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームであるフレーム#n、フレーム#n-1、およびフレーム#n+1のそれぞれから、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０５５０】
フレーム#n-1は、フレーム#nに対して時間的に前のフレームであり、フレーム#n+1は、フレーム#nに対して時間的に後のフレームである。すなわち、フレーム#n-1、フレーム#n、およびフレーム#n+1は、フレーム#n-1、フレーム#n、およびフレーム#n+1の順で表示される。
【０５５１】
誤差推定部４０３は、抽出した画素からなる複数の組について、１つの角度および１つの動きベクトル毎に、画素の組の相関を検出する。定常方向導出部４０４は、画素の組の相関に基づいて、欠落した実世界１の光信号の定常性に対応する、入力画像における、時間方向および空間方向のデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。
【０５５２】
次に、図５８乃至図８８を参照して、実世界推定部１０２（図３）の実施の形態の他の例について説明する。
【０５５３】
図５８は、この例の実施の形態の原理を説明する図である。
【０５５４】
図５８で示されるように、センサ２に入射される画像である、実世界１の信号（光の強度の分布）は、所定の関数Ｆで表される。なお、以下、この例の実施の形態の説明においては、画像である、実世界１の信号を、特に光信号と称し、関数Ｆを、特に光信号関数Ｆと称する。
【０５５５】
この例の実施の形態においては、光信号関数Ｆで表される実世界１の光信号が所定の定常性を有する場合、実世界推定部１０２が、センサ２からの入力画像（定常性に対応するデータの定常性を含む画像データ）と、データ定常性検出部１０１からのデータ定常性情報（入力画像のデータの定常性に対応するデータ定常性情報）を使用して、光信号関数Ｆを所定の関数ｆで近似することによって、光信号関数Ｆを推定する。なお、以下、この例の実施の形態の説明においては、関数ｆを、特に近似関数fと称する。
【０５５６】
換言すると、この例の実施の形態においては、実世界推定部１０２が、近似関数fで表されるモデル１６１（図４）を用いて、光信号関数Ｆで表される画像（実世界１の光信号）を近似（記述）する。従って、以下、この例の実施の形態を、関数近似手法と称する。
【０５５７】
ここで、関数近似手法の具体的な説明に入る前に、本願出願人が関数近似手法を発明するに至った背景について説明する。
【０５５８】
図５９は、センサ２がＣＣＤとされる場合の積分効果を説明する図である。
【０５５９】
図５９で示されるように、センサ２の平面上には、複数の検出素子２−１が配置されている。
【０５６０】
図５９の例では、検出素子２−１の所定の１辺に平行な方向が、空間方向の１方向であるＸ方向とされており、Ｘ方向に垂直な方向が、空間方向の他方向であるＹ方向とされている。そして、Ｘ−Ｙ平面に垂直な方向が、時間方向であるｔ方向とされている。
【０５６１】
また、図５９の例では、センサ２の各検出素子２−１のそれぞれの空間的な形状は、１辺の長さが１の正方形とされている。そして、センサ２のシャッタ時間（露光時間）が１とされている。
【０５６２】
さらに、図５９の例では、センサ２の所定の１つの検出素子２−１の中心が、空間方向（Ｘ方向とＹ方向）の原点（Ｘ方向の位置ｘ＝０、およびＹ方向の位置ｙ＝０）とされており、また、露光時間の中間時刻が、時間方向（ｔ方向）の原点（ｔ方向の位置ｔ＝０）とされている。
【０５６３】
この場合、空間方向の原点（ｘ＝０,ｙ＝０）にその中心が存在する検出素子２−１は、Ｘ方向に-0.5乃至0.5の範囲、Ｙ方向に-0.5乃至0.5の範囲、およびｔ方向に-0.5乃至0.5の範囲で光信号関数F(x,y,t)を積分し、その積分値を画素値Ｐとして出力することになる。
【０５６４】
即ち、空間方向の原点にその中心が存在する検出素子２−１から出力される画素値Ｐは、次の式（３８）で表される。
【０５６５】
【数３８】

・・・（３８）
【０５６６】
その他の検出素子２−１も同様に、対象とする検出素子２−１の中心を空間方向の原点とすることで、式（３８）で示される画素値Ｐを出力することになる。
【０５６７】
図６０は、センサ２の積分効果の具体的な例を説明する図である。
【０５６８】
図６０において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図５９）を表している。
【０５６９】
実世界１の光信号のうちの１部分（以下、このような部分を、領域と称する）２３０１は、所定の定常性を有する領域の１例を表している。
【０５７０】
なお、実際には、領域２３０１は連続した光信号の１部分（連続した領域）である。これに対して、図６０においては、領域２３０１は、２０個の小領域（正方形の領域）に区分されているように示されている。これは、領域２３０１の大きさが、Ｘ方向に対して４個分、かつＹ方向に対して５個分のセンサ２の検出素子（画素）が並んだ大きさに相当することを表すためである。即ち、領域２３０１内の２０個の小領域（仮想領域）のそれぞれは１つの画素に相当する。
【０５７１】
また、領域２３０１のうちの図中白い部分は細線に対応する光信号を表している。従って、領域２３０１は、細線が続く方向に定常性を有していることになる。そこで、以下、領域２３０１を、細線含有実世界領域２３０１と称する。
【０５７２】
この場合、細線含有実世界領域２３０１（実世界１の光信号の１部分）がセンサ２により検出されると、センサ２からは、積分効果により、入力画像（画素値）の領域２３０２（以下、細線含有データ領域２３０２と称する）が出力される。
【０５７３】
なお、細線含有データ領域２３０２の各画素のそれぞれは、図中、画像として示されているが、実際には、所定の１つの値を表すデータである。即ち、細線含有実世界領域２３０１は、センサ２の積分効果により、所定の１つの画素値をそれぞれ有する２０個の画素（Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素）に区分された細線含有データ領域２３０２に変化してしまう（歪んでしまう）。
【０５７４】
図６１は、センサ２の積分効果の具体的な他の例（図６０とは異なる例）を説明する図である。
【０５７５】
図６１において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図５９）を表している。
【０５７６】
実世界１の光信号の１部分（領域）２３０３は、所定の定常性を有する領域の他の例（図６０の細線含有実世界領域２３０１とは異なる例）を表している。
【０５７７】
なお、領域２３０３は、細線含有実世界領域２３０１と同じ大きさを有する領域である。即ち、細線含有実世界領域２３０１と同様に、領域２３０３も、実際には連続した実世界１の光信号の１部分（連続した領域）であるが、図６１においては、センサ２の１画素に相当する２０個の小領域（正方形の領域）に区分されているように示されている。
【０５７８】
また、領域２３０３は、所定の第１の光の強度（値）を有する第１の部分と、所定の第２の光の強度（値）を有する第２の部分のエッジを含んでいる。従って、領域２３０３は、エッジが続く方向に定常性を有していることになる。そこで、以下、領域２３０３を、２値エッジ含有実世界領域２３０３と称する。
【０５７９】
この場合、２値エッジ含有実世界領域２３０３（実世界１の光信号の１部分）がセンサ２により検出されると、センサ２からは、積分効果により、入力画像（画素値）の領域２３０４（以下、２値エッジ含有データ領域２３０４と称する）が出力される。
【０５８０】
なお、２値エッジ含有データ領域２３０４の各画素値のそれぞれは、細線含有データ領域２３０２と同様に、図中、画像として表現されているが、実際には、所定の値を表すデータである。即ち、２値エッジ含有実世界領域２３０３は、センサ２の積分効果により、所定の１つの画素値をそれぞれ有する２０個の画素（Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素）に区分された２値エッジ含有データ領域２３０４に変化してしまう（歪んでしまう）。
【０５８１】
従来の画像処理装置は、このような細線含有データ領域２３０２や２値エッジ含有データ領域２３０４等、センサ２から出力された画像データを原点（基準）とするとともに、画像データを処理の対象として、それ以降の画像処理を行っていた。即ち、センサ２から出力された画像データは、積分効果により実世界１の光信号とは異なるもの（歪んだもの）となっているにも関わらず、従来の画像処理装置は、その実世界１の光信号とは異なるデータを正として画像処理を行っていた。
【０５８２】
その結果、従来の画像処理装置では、センサ２から出力された段階で、実世界のディテールがつぶれてしまった波形（画像データ）を基準として、その波形から、元のディテールを復元することは非常に困難であるという課題があった。
【０５８３】
そこで、関数近似手法においては、この課題を解決するために、上述したように（図５８で示されるように）、実世界推定部１０２が、細線含有データ領域２３０２や２値エッジ含有データ領域２３０４のようなセンサ２から出力された画像データ（入力画像）から、光信号関数Ｆ（実世界１の光信号）を近似関数fで近似することによって、光信号関数Ｆを推定する。
【０５８４】
これにより、実世界推定部１０２より後段において（いまの場合、図３の画像生成部１０３）、積分効果が考慮された画像データ、即ち、近似関数fにより表現可能な画像データを原点として、その処理を実行することが可能になる。
【０５８５】
以下、図面を参照して、このような関数近似手法のうちの３つの具体的な手法（第１乃至第３の関数近似手法）のそれぞれについて個別に説明していく。
【０５８６】
はじめに、図６２乃至図７６を参照して、第１の関数近似手法について説明する。
【０５８７】
図６２は、上述した図６０で示される細線含有実世界領域２３０１を再度表した図である。
【０５８８】
図６２において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図５９）を表している。
【０５８９】
第１の関数近似手法は、例えば、図６２で示されるような細線含有実世界領域２３０１に対応する光信号関数F(x,y,t)をＸ方向（図中矢印２３１１の方向）に射影した１次元の波形（以下、このような波形を、X断面波形F(x)と称する）を、例えば、n次（nは、任意の整数）の多項式などの近似関数f(x)で近似する手法である。従って、以下、第１の関数近似手法を、特に、１次元近似手法と称する。
【０５９０】
なお、１次元近似手法において、近似の対象となるX断面波形F(ｘ)は、勿論、図６２の細線含有実世界領域２３０１に対応するものに限定されない。即ち、後述するように、１次元近似手法においては、定常性を有する実世界１の光信号に対応するX断面波形F(x)であれば、いずれのものでも近似することが可能である。
【０５９１】
また、光信号関数F(x,y,t)の射影の方向はＸ方向に限定されず、Ｙ方向またはｔ方向でもよい。即ち、１次元近似手法においては、光信号関数F(x,y,t)をＹ方向に射影した関数F(y)を、所定の近似関数f(y)で近似することも可能であるし、光信号関数F(x,y,t)をt方向に射影した関数F(t)を、所定の近似関数f(t)で近似することも可能である。
【０５９２】
より詳細には、１次元近似手法は、例えば、X断面波形F(x)を、次の式（３９）で示されるような、ｎ次の多項式などの近似関数f(x)で近似する手法である。
【０５９３】
【数３９】

・・・（３９）
【０５９４】
即ち、１次元近似手法においては、実世界推定部１０２が、式（３９）のxⁱの係数（特徴量）w_iを演算することで、X断面波形F(x)を推定する。
【０５９５】
この特徴量w_iの演算方法は、特に限定されず、例えば、次の第１乃至第３の方法が使用可能である。
【０５９６】
即ち、第１の方法は、従来から利用されている方法である。
【０５９７】
これに対して、第２の方法は、本願出願人が新たに発明した方法であって、第１の方法に対して、さらに、空間方向の定常性を考慮した方法である。
【０５９８】
しかしながら、後述するように、第１の方法と第２の方法においては、センサ２の積分効果が考慮されていない。従って、第１の方法または第２の方法により演算された特徴量w_iを上述した式（３９）に代入して得られる近似関数f(x)は、入力画像の近似関数ではあるが、厳密には、X断面波形F(x)の近似関数とは言えない。
【０５９９】
そこで、本願出願人は、第２の方法に対して、センサ２の積分効果をさらに考慮して特徴量w_iを演算する第３の方法を発明した。この第３の方法により演算された特徴量w_iを、上述した式（３９）に代入して得られる近似関数f(x)は、センサ２の積分効果を考慮している点で、X断面波形F(x)の近似関数であると言える。
【０６００】
このように、厳密には、第１の方法と第２の方法は、１次元近似手法とは言えず、第３の方法のみが１次元近似手法であると言える。
【０６０１】
換言すると、図６３で示されるように、第２の方法は、１次元近似手法とは異なる。即ち、図６３は、第２の方法に対応する実施の形態の原理を説明する図である。
【０６０２】
図６３で示されるように、第２の方法に対応する実施の形態においては、光信号関数Ｆで表される実世界１の光信号が所定の定常性を有する場合、実世界推定部１０２が、センサ２からの入力画像（定常性に対応するデータの定常性を含む画像データ）と、データ定常性検出部１０１からのデータ定常性情報（入力画像のデータの定常性に対応するデータ定常性情報）を使用して、Ｘ断面波形F(x)を近似するのではなく、センサ２からの入力画像を所定の近似関数f₂(x)で近似する。
【０６０３】
このように、第２の方法は、センサ２の積分効果を考慮せず、入力画像の近似に留まっている点で、第３の方法と同一レベルの手法であるとは言い難い。しかしながら、第２の方法は、空間方向の定常性を考慮している点で、従来の第１の方法よりも優れた手法である。
【０６０４】
以下、第１の方法、第２の方法、および第３の方法のそれぞれの詳細について、その順番で個別に説明していく。
【０６０５】
なお、以下、第１の方法、第２の方法、および第３の方法により生成される近似関数f(x)のそれぞれを、他の方法のものと区別する場合、特に、近似関数f₁(x)、近似関数f₂(x)、および近似関数f₃(x)とそれぞれ称する。
【０６０６】
はじめに、第１の方法の詳細について説明する。
【０６０７】
第１の方法においては、上述した式（３９）で示される近似関数f₁(x)が、図６４の細線含有実世界領域２３０１内で成り立つとして、次の予測方程式（４０）を定義する。
【０６０８】
【数４０】

・・・（４０）
【０６０９】
式（４０）において、xは、注目画素からのＸ方向に対する相対的な画素位置を表している。yは、注目画素からのＹ方向に対する相対的な画素位置を表している。ｅは、誤差を表している。具体的には、例えば、いま、図６４で示されるように、注目画素が、細線含有データ領域２３０２（細線含有実世界領域２３０１（図６２）がセンサ２により検出されて、出力されたデータ）のうちの、図中、左からＸ方向に２画素目であって、下からＹ方向に３画素目の画素であるとする。また、注目画素の中心を原点(0,0)とし、センサ２のＸ方向とＹ方向（図５９）のそれぞれに平行なx軸とy軸を軸とする座標系（以下、注目画素座標系と称する）が設定されているとする。この場合、注目画素座標系の座標値(x,y)が、相対画素位置を表すことになる。
【０６１０】
また、式（４０）において、P(x,y)は、相対画素位置(x,y)における画素値を表している。具体的には、いまの場合、細線含有データ領域２３０２内のP(x,y)は、図６５で示されるようになる。
【０６１１】
図６５は、この画素値P(x,y)をグラフ化したものを表している。
【０６１２】
図６５において、各グラフのそれぞれの縦軸は、画素値を表しており、横軸は、注目画素からのＸ方向の相対位置xを表している。また、図中、上から1番目のグラフの点線は入力画素値P(x,-2)を、上から２番目のグラフの３点鎖線は入力画素値P(x,-1)を、上から３番目のグラフの実線は入力画素値P(x,0)を、上から４番目のグラフの１点鎖線は入力画素値P(x,1)を、上から５番目（下から１番目）のグラフの２点鎖線は入力画素値P(x,2)を、それぞれ表している。
【０６１３】
上述した式（４０）に対して、図６５で示される２０個の入力画素値P(x,-2),P(x,-1),P(x,0),P(x,1),P(x,2)（ただし、xは、−１乃至２のうちのいずれかの整数値）のそれぞれを代入すると、次の式（４１）で示される２０個の方程式が生成される。なお、e_k（kは、１乃至２０のうちのいずれかの整数値）のそれぞれは、誤差を表している。
【０６１４】
【数４１】

・・・（４１）
【０６１５】
式（４１）は、２０個の方程式より構成されているので、近似関数f₁(x)の特徴量w_iの個数が２０個より少ない場合、即ち、近似関数f₁(x)が１９次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量w_iの算出が可能である。なお、最小自乗法の具体的な解法は後述する。
【０６１６】
例えば、いま、近似関数f₁(x)の次数が５次とされた場合、式（４１）を利用して最小自乗法により演算された近似関数f₁(x)（演算された特徴量w_iにより生成される近似関数f₁(x)）は、図６６で示される曲線のようになる。
【０６１７】
なお、図６６において、縦軸は画素値を表しており、横軸は注目画素からの相対位置ｘを表している。
【０６１８】
即ち、図６４の細線含有データ領域２３０２を構成する２０個の画素値P(x,y）のそれぞれ（図６５で示される入力画素値P(x,-2),P(x,-1),P(x,0),P(x,1),P(x,2)のそれぞれ）を、例えば、ｘ軸に沿ってそのまま足しこむ（Ｙ方向の相対位置yを一定とみなして、図６５で示される５つのグラフを重ねる）と、図６６で示されるような、x軸に平行な複数の線（点線、３点鎖線、実線、１点鎖線、および２点鎖線）が分布する。
【０６１９】
ただし、図６６においては、点線は入力画素値P(x,-2)を、３点鎖線は入力画素値P(x,-1)を、実線は入力画素値P(x,0)を、１点鎖線は入力画素値P(x,1)を、２点鎖線は入力画素値P(x,2)を、それぞれ表している。また、同一の画素値の場合、実際には２本以上の線が重なることになるが、図６６においては、各線の区別がつくように、各線のそれぞれが重ならないように描画されている。
【０６２０】
そして、このように分布した２０個の入力画素値P(x,-2),P(x,-1),P(x,0),P(x,1),P(x,2)のそれぞれと、値f₁(x)の誤差が最小となるような回帰曲線（最小自乗法により演算された特徴量w_iを上述した式（３８）に代入して得られる近似関数f₁(x)）が、図６６で示される曲線（近似関数f₁(x)）となる。
【０６２１】
このように、近似関数f₁(x)は、Ｙ方向の画素値（注目画素からのＸ方向の相対位置xが同一の画素値）P(x,-2),P(x,-1),P(x,0),P(x,1),P(x,2)の平均値を、Ｘ方向に結んだ曲線を単に表しているに過ぎない。即ち、光信号が有する空間方向の定常性を考慮することなく、近似関数f₁(x)が生成されている。
【０６２２】
例えば、いまの場合、近似の対象は、細線含有実世界領域２３０１（図６２）とされている。この細線含有実世界領域２３０１は、図６７で示されるように、傾きG_Fで表される空間方向の定常性を有している。なお、図６７において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図５９）を表している。
【０６２３】
従って、データ定常性検出部１０１（図５８）は、空間方向の定常性の傾きG_Fに対応するデータ定常性情報として、図６７で示されるような角度θ（傾きG_Fに対応する傾きG_fで表されるデータの定常性の方向と、Ｘ方向のなす角度θ）を出力することができる。
【０６２４】
しかしながら、第１の方法においては、データ定常性検出部１０１より出力されるデータ定常性情報は一切用いられていない。
【０６２５】
換言すると、図６７で示されるように、細線含有実世界領域２３０１の空間方向の定常性の方向は略角度θ方向である。しかしながら、第１の方法は、細線含有実世界領域２３０１の空間方向の定常性の方向はＹ方向であると仮定して（即ち、角度θが９０度であると仮定して）、近似関数f₁(x)の特徴量w_iを演算する方法である。
【０６２６】
このため、近似関数f₁(x)は、その波形が鈍り、元の画素値よりディテールが減少する関数となってしまう。換言すると、図示はしないが、第１の方法により生成される近似関数f₁(x)は、実際のＸ断面波形F(x)とは大きく異なる波形となってしまう。
【０６２７】
そこで、本願出願人は、第１の方法に対して、空間方向の定常性をさらに考慮して（角度θを利用して）特徴量w_iを演算する第２の方法を発明した。
【０６２８】
即ち、第２の方法は、細線含有実世界領域２３０１の定常性の方向は略角度θ方向であるとして、近似関数f₂(x) の特徴量w_iを演算する方法である。
【０６２９】
具体的には、例えば、空間方向の定常性に対応するデータの定常性を表す傾きG_fは、次の式（４２）で表される。
【０６３０】
【数４２】

・・・（４２）
【０６３１】
なお、式（４２）において、dxは、図６７で示されるようなＸ方向の微小移動量を表しており、dyは、図６７で示されるようなdxに対するＹ方向の微小移動量を表している。
【０６３２】
この場合、シフト量C_x(y)を、次の式（４３）のように定義すると、第２の方法においては、第１の方法で利用した式（４０）に相当する式は、次の式（４４）のようになる。
【０６３３】
【数４３】

・・・（４３）
【０６３４】
【数４４】

・・・（４４）
【０６３５】
即ち、第１の方法で利用した式（４０）は、画素の中心の位置(x、y)のうちのＸ方向の位置ｘが、同一の位置に位置する画素の画素値P(x,y)はいずれも同じ値であることを表している。換言すると、式（４０）は、同じ画素値の画素がＹ方向に続いている（Ｙ方向に定常性がある）ことを表している。
【０６３６】
これに対して、第２の方法で利用する式（４４）は、画素の中心の位置が(x,y)である画素の画素値P(x,y)は、注目画素（その中心の位置が原点(0,0)である画素）からＸ方向にxだけ離れた場所に位置する画素の画素値（≒f₂(x)）とは一致せず、その画素からさらにＸ方向にシフト量C_x(y)だけ離れた場所に位置する画素（注目画素からＸ方向にx＋C_x(y)だけ離れた場所に位置する画素）の画素値（≒f₂（x＋C_x(y)））と同じ値であることを表している。換言すると、式（４４）は、同じ画素値の画素が、シフト量C_x(y)に対応する角度θ方向に続いている（略角度θ方向に定常性がある）ことを表している。
【０６３７】
このように、シフト量C_x(y)が、空間方向の定常性（いまの場合、図６７の傾きG_Fで表される定常性（厳密には、傾きG_fで表されるデータの定常性））を考慮した補正量であり、シフト量C_x(y)により式（４０）を補正したものが式（４４）となる。
【０６３８】
この場合、図６４で示される細線含有データ領域２３０２の２０個の画素値P(x,y)（ただし、xは、−１乃至２のうちのいずれかの整数値。yは、−２乃至２のうちのいずれかの整数値）のそれぞれを、上述した式（４４）に代入すると次の式（４５）で示される２０個の方程式が生成される。
【０６３９】
【数４５】

・・・（４５）
【０６４０】
式（４５）は、上述した式（４１）と同様に、２０個の方程式より構成されている。従って、第１の方法と同様に第２の方法においても、近似関数f₂(x)の特徴量w_iの個数が２０個より少ない場合、即ち、近似関数f₂(x)が１９次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量w_iの算出が可能である。なお、最小自乗法の具体的な解法は後述する。
【０６４１】
例えば、第１の方法と同様に近似関数f₂(x)の次数が５次とされた場合、第２の方法においては、次のようにして特徴量w_iが演算される。
【０６４２】
即ち、図６８は、式（４５）の左辺で示される画素値P(x,y)をグラフ化したものを表している。図６８で示される５つのグラフのそれぞれは、基本的に図６５で示されるものと同一である。
【０６４３】
図６８で示されるように、最大の画素値（細線に対応する画素値）は、傾きG_fで表されるデータの定常性の方向に続いている。
【０６４４】
そこで、第２の方法においては、図６８で示される入力画素値P(x,-2),P(x,-1),P(x,0),P(x,1),P(x,2)のそれぞれを、例えば、ｘ軸に沿って足しこむ場合、第１の方法のようにそのまま足しこむ（yを一定とみなして、図６８で示される状態のまま５つのグラフを重ねる）のではなく、図６９で示される状態に変化させてから足しこむ。
【０６４５】
即ち、図６９は、図６８で示される入力画素値P(x,-2),P(x,-1),P(x,0),P(x,1),P(x,2)のそれぞれを、上述した式（４３）で示されるシフト量C_x(y)だけシフトさせた状態を表している。換言すると、図６９は、図６８で示される５つのグラフを、データの定常性の実際の方向を表す傾きG_Fを、あたかも傾きG_F’とするように（図中、点線の直線を実線の直線とするように）移動させた状態を表している。
【０６４６】
図６９の状態で、入力画素値P(x,-2),P(x,-1),P(x,0),P(x,1),P(x,2)のそれぞれを、例えば、ｘ軸に沿って足しこむと（図６９で示される状態で５つのグラフを重ねると）、図７０で示されるような、x軸に平行な複数の線（点線、３点鎖線、実線、１点鎖線、および２点鎖線）が分布する。
【０６４７】
なお、図７０において、縦軸は画素値を表しており、横軸は注目画素からの相対位置ｘを表している。また、点線は入力画素値P(x,-2)を、３点鎖線は入力画素値P(x,-1)を、実線は入力画素値P(x,0)を、１点鎖線は入力画素値P(x,1)を、２点鎖線は入力画素値P(x,2)を、それぞれ表している。さらに、同一の画素値の場合、実際には２本以上の線が重なることになるが、図７０においては、各線の区別がつくように、各線のそれぞれが重ならないように描画されている。
【０６４８】
そして、このように分布した２０個の入力画素値P(x,y)のそれぞれ（ただし、ｘは、−１乃至２のうちのいずれかの整数値。yは、−２乃至２のうちのいずれかの整数値）と、値f₂(x+C_x(y))の誤差が最小となるような回帰曲線（最小自乗法により演算された特徴量w_iを上述した式（３８）に代入して得られる近似関数f₂(x)）は、図７０の実線で示される曲線f₂(x)となる。
【０６４９】
このように、第２の方法により生成された近似関数f₂(x)は、データ定常性検出部１０１（図５８）より出力される角度θ方向（即ち、ほぼ空間方向の定常性の方向）の入力画素値Ｐ(x,y)の平均値をＸ方向に結んだ曲線を表すことになる。
【０６５０】
これに対して、上述したように、第１の方法により生成された近似関数f₁(x)は、Ｙ方向（即ち、空間方向の定常性とは異なる方向）の入力画素値Ｐ(x,y)の平均値を、Ｘ方向に結んだ曲線を単に表しているに過ぎない。
【０６５１】
従って、図７０で示されるように、第２の方法により生成された近似関数f₂(x)は、第１の方法により生成された近似関数f₁(x)よりも、その波形の鈍り度合いが減少し、かつ、元の画素値に対するディテールの減り具合も減少する関数となる。換言すると、図示はしないが、第２の方法により生成される近似関数f₂(x)は、第１の方法により生成される近似関数f₁(x)よりも実際のＸ断面波形F(x)により近い波形となる。
【０６５２】
しかしながら、上述したように、近似関数f₂(x)は、空間方向の定常性が考慮されたものではあるが、入力画像（入力画素値）を原点（基準）として生成されたものに他ならない。即ち、上述した図６３で示されるように、近似関数f₂(x)は、X断面波形F(x)とは異なる入力画像を近似したに過ぎず、Ｘ断面波形F(x)を近似したとは言い難い。換言すると、第２の方法は、上述した式（４４）が成立するとして特徴量w_iを演算する方法であり、上述した式（３８）の関係は考慮していない（センサ２の積分効果を考慮していない）。
【０６５３】
そこで、本願出願人は、第２の方法に対して、センサ２の積分効果をさらに考慮することで近似関数f₃(x)の特徴量w_iを演算する第３の方法を発明した。
【０６５４】
即ち、第３の方法は、空間混合または時間混合の概念を導入した方法である。なお、空間混合と時間混合の両方を考慮すると、説明が複雑になるため、ここでは、空間混合と時間混合のうちの、例えば空間混合を考慮し、時間混合を無視するものとする。
【０６５５】
そこで、第３の方法の説明の前に、図７１を参照して、空間混合について説明する。
【０６５６】
図７１において、実世界１の光信号の１部分２３２１（以下、領域２３２１と称する）は、センサ２の１つの検出素子（画素）と同じ面積を有する領域を表している。
【０６５７】
領域２３２１がセンサ２に検出されると、センサ２からは、領域２３２１が時空間方向（X方向,Y方向,およびt方向）に積分された値（１つの画素値）２３２２が出力される。なお、画素値２３２２は、図中、画像として表現されているが、実際には、所定の値を表すデータである。
【０６５８】
実世界１の領域２３２１は、前景（例えば、上述した細線）に対応する光信号（図中白い領域）と、背景に対応する光信号（図中黒い領域）に明確に区分される。
【０６５９】
これに対して、画素値２３２２は、前景に対応する実世界１の光信号と、背景に対応する実世界１の光信号が積分された値である。換言すると、画素値２３２２は、前景に対応する光のレベルと背景に対応する光のレベルが空間的に混合されたレベルに対応する値である。
【０６６０】
このように、実世界１の光信号のうちの１画素（センサ２の検出素子）に対応する部分が、同一レベルの光信号が空間的に一様に分布する部分ではなく、前景と背景のように異なるレベルの光信号のそれぞれが分布する部分である場合、その領域は、センサ２により検出されると、センサ２の積分効果により、異なる光のレベルがあたかも空間的に混合されて（空間方向に積分されて）１つの画素値となってしまう。このように、センサ２の画素において、前景に対する画像（実世界１の光信号）と、背景に対する画像（実世界１の光信号）が空間的に積分されて、いわば混合されてしまうことが、空間混合であり、そのような画素からなる領域を、ここでは、空間混合領域と称する。
【０６６１】
従って、第３の方法においては、実世界推定部１０２（図５８）が、実世界１の元の領域２３２１（実世界１の光信号のうちの、センサ２の１画素に対応する部分２３２１）を表すＸ断面波形F(x)を、例えば、図７２で示されるような、１次の多項式などの近似関数f₃(x)で近似することによって、Ｘ断面波形F(x)を推定する。
【０６６２】
即ち、図７２は、空間混合領域である画素値２３２２（図７１）に対応する近似関数f₃(x)、即ち、実世界１の領域２３３１内の実線（図７１）に対応するＸ断面波形Ｆ（ｘ）を近似する近似関数f₃(x)の例を表している。図７２において、図中水平方向の軸は、画素値２３２２に対応する画素の左下端x_sから右下端x_eまでの辺（図７１）に平行な軸を表しており、x軸とされている。図中垂直方向の軸は、画素値を表す軸とされている。
【０６６３】
図７２において、近似関数f₃(x)をx_sからx_eの範囲（画素幅）で積分したものが、センサ２から出力される画素値Ｐ(x,y)とほぼ一致する（誤差ｅだけ存在する）として、次の式（４６）を定義する。
【０６６４】
【数４６】

・・・（４６）
【０６６５】
いまの場合、図６７で示される細線含有データ領域２３０２の２０個の画素値Ｐ(x,y)（ただし、xは、−１乃至２のうちのいずれかの整数値。yは、−２乃至２のうちのいずれかの整数値）から、近似関数f₃(x)の特徴量w_iが算出されるので、式（４６）の画素値Ｐは、画素値P(x,y)となる。
【０６６６】
また、第２の方法と同様に、空間方向の定常性も考慮する必要があるので、式（４６）の積分範囲の開始位置x_sと終了位置x_eのそれぞれは、シフト量C_x(y)にも依存することになる。即ち、式（４６）の積分範囲の開始位置x_sと終了位置x_eのそれぞれは、次の式（４７）のように表される。
【０６６７】
【数４７】

・・・（４７）
【０６６８】
この場合、図６７で示される細線含有データ領域２３０２の各画素値それぞれ、即ち、図６８で示される入力画素値P(x,-2),P(x,-1),P(x,0),P(x,1),P(x,2)のそれぞれ（ただし、ｘは、−１乃至２のうちのいずれかの整数値）を、上述した式（４６）（積分範囲は、上述した式（４７））に代入すると次の式（４８）で示される２０個の方程式が生成される。
【０６６９】
【数４８】

・・・（４８）
【０６７０】
式（４８）は、上述した式（４５）と同様に、２０個の方程式より構成されている。従って、第２の方法と同様に第３の方法においても、近似関数f₃(x)の特徴量w_iの個数が２０個より少ない場合、即ち、近似関数f₃(x)が１９次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量w_iの算出が可能である。なお、最小自乗法の具体的な解法は後述する。
【０６７１】
例えば、近似関数f₃(x)の次数が５次とされた場合、式（４８）を利用して最小自乗法により演算された近似関数f₃(x)（演算された特徴量w_iにより生成される近似関数f₃(x)）は、図７３の実線で示される曲線のようになる。
【０６７２】
なお、図７３において、縦軸は画素値を表しており、横軸は注目画素からの相対位置ｘを表している。
【０６７３】
図７３で示されるように、第３の方法により生成された近似関数f₃(x)（図中、実線で示される曲線）は、第２の方法により生成された近似関数f₂(x)（図中、点線で示される曲線）と比較すると、ｘ＝０における画素値が大きくなり、また、曲線の傾斜の度合いも急な波形となる。これは、入力画素よりディテイルが増加して、入力画素の解像度とは無関係となっているためである。即ち、近似関数f₃（x）は、X断面波形F(x)を近似していると言える。従って、図示はしないが、近似関数f₃(x)は、近似関数f₂(x)よりもＸ断面波形F(x)に近い波形となる。
【０６７４】
図７４は、このような１次近似手法を利用する実世界推定部１０２の構成例を表している。
【０６７５】
図７４において、実世界推定部１０２は、例えば、特徴量w_iを上述した第３の方法（最小自乗法）により演算し、演算した特徴量w_iを利用して上述した式（３９）の近似関数f(x)を生成することで、Ｘ断面波形F(x)を推定する。
【０６７６】
図７４で示されるように、実世界推定部１０２には、条件設定部２３３１、入力画像記憶部２３３２、入力画素値取得部２３３３、積分成分演算部２３３４、正規方程式生成部２３３５、および近似関数生成部２３３６が設けられている。
【０６７７】
条件設定部２３３１は、注目画素に対応するX断面波形F(x)を推定するために使用する画素の範囲（以下、タップ範囲と称する）や、近似関数f(x)の次数nを設定する。
【０６７８】
入力画像記憶部２３３２は、センサ２からの入力画像（画素値）を一次的に格納する。
【０６７９】
入力画素値取得部２３３３は、入力画像記憶部２３３２に記憶された入力画像のうちの、条件設定部２３３１により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部２３３５に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。
【０６８０】
ところで、ここでは、実世界推定部１０２は、上述した式（４６）と式（４７）を利用して最小自乗法により近似関数f(x)の特徴量w_iを演算するが、上述した式（４６）は、次の式（４９）のように表現することができる。
【０６８１】
【数４９】

・・・（４９）
【０６８２】
式（４９）において、S_i（x_s,x_e）は、i次項の積分成分を表している。即ち、積分成分S_i(x_s,x_e)は、次の式（５０）で示される。
【０６８３】
【数５０】

・・・（５０）
【０６８４】
積分成分演算部２３３４は、この積分成分S_i(x_s、x_e)を演算する。
【０６８５】
具体的には、式（５０）で示される積分成分S_i(x_s,x_e)（ただし、値x_sと値x_eは、上述した式（４６）で示される値）は、相対画素位置(x,y)、シフト量C_x(y)、および、i次項のiが既知であれば演算可能である。また、これらのうちの、相対画素位置(x,y)は注目画素とタップ範囲により、シフト量C_x(y)は角度θにより（上述した式（４１）と式（４３）により）、iの範囲は次数nにより、それぞれ決定される。
【０６８６】
従って、積分成分演算部２３３４は、条件設定部２３３１により設定されたタップ範囲および次数、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θに基づいて積分成分S_i(x_s,x_e)を演算し、その演算結果を積分成分テーブルとして正規方程式生成部２３３５に供給する。
【０６８７】
正規方程式生成部２３３５は、入力画素値取得部２３３３より供給された入力画素値テーブルと、積分成分演算部２３３４より供給された積分成分テーブルを利用して、上述した式（４６）、即ち、式（４９）の右辺の特徴量w_iを最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部２３３６に供給する。なお、正規方程式の具体例については後述する。
【０６８８】
近似関数生成部２３３６は、正規方程式生成部２３３５より供給された正規方程式テーブルに含まれる正規方程式を行列解法で解くことにより、上述した式（４９）の特徴量w_i（即ち、１次元多項式である近似関数f(x)の係数w_i）のそれぞれを演算し、画像生成部１０３に出力する。
【０６８９】
次に、図７５のフローチャートを参照して、１次元近似手法を利用する実世界推定部１０２（図７４）の実世界の推定処理（図２９のステップＳ１０２の処理）について説明する。
【０６９０】
例えば、いま、センサ２から出力された１フレームの入力画像であって、上述した図６０の細線含有データ領域２３０２を含む入力画像が、既に入力画像記憶部２３３２に記憶されているとする。また、データ定常性検出部１０１が、ステップＳ１０１（図２９）の定常性の検出の処理において、細線含有データ領域２３０２に対してその処理を施して、データ定常性情報として角度θを既に出力しているとする。
【０６９１】
この場合、図７５のステップＳ２３０１において、条件設定部２３３１は、条件（タップ範囲と次数）を設定する。
【０６９２】
例えば、いま、図７６で示されるタップ範囲２３５１が設定されるとともに、次数として５次が設定されたとする。
【０６９３】
即ち、図７６は、タップ範囲の１例を説明する図である。図７６において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図５９）を表している。また、タップ範囲２３５１は、Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素（図中、２０個の正方形）からなる画素群を表している。
【０６９４】
さらに、図７６で示されるように、注目画素が、タップ範囲２３５１のうちの、図中、左から２画素目であって、下から３画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置(x,y)（注目画素の中心(0,0)を原点とする注目画素座標系の座標値）に応じて、図７６で示されるような番号l（lは、０乃至１９のうちのいずれかの整数値）が付されるとする。
【０６９５】
図７５に戻り、ステップＳ２３０２において、条件設定部２３３１は、注目画素を設定する。
【０６９６】
ステップＳ２３０３において、入力画素値取得部２３３３は、条件設定部２３３１により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部２３３３は、細線含有データ領域２３０２（図６４）を取得し、入力画素値テーブルとして、２０個の入力画素値P(l)からなるテーブルを生成する。
【０６９７】
なお、いまの場合、入力画素値P(l)と、上述した入力画素値P(x,y)の関係は、次の式（５１）で示される関係とされる。ただし、式（５１）において、左辺が入力画素値P（ｌ）を表し、右辺が入力画素値P(x,y)を表している。
【０６９８】
【数５１】

・・・（５１）
【０６９９】
ステップＳ２３０４において、積分成分演算部２３３４は、条件設定部２３３１により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【０７００】
いまの場合、上述したように、入力画素値は、P(x,y)でなくP(l)といった、画素の番号lの値として取得されるので、積分成分演算部２３３４は、上述した式（５０）の積分成分S_i(x_s,x_e)を、次の式（５２）の左辺で示される積分成分S_i(l)といったlの関数として演算する。
【０７０１】
【数５２】

・・・（５２）
【０７０２】
具体的には、いまの場合、次の式（５３）で示される積分成分S_i(l)が演算される。
【０７０３】
【数５３】

・・・（５３）
【０７０４】
なお、式（５３）において、左辺が積分成分S_i（ｌ)を表し、右辺が積分成分S_i(x_s,x_e)を表している。即ち、いまの場合、iは０乃至５であるので、２０個のS₀(l),２０個のS₁(l),２０個のS₂(l),２０個のS₃(l),２０個のS₄(l),２０個のS₅(l)の総計１２０個のS_i(l)が演算されることになる。
【０７０５】
より具体的には、はじめに、積分成分演算部２３３４は、データ定常性検出部１０１より供給された角度θを使用して、シフト量C_x(-2),C_x(-1),C_x(1),C_x(2)のそれぞれを演算する。次に、積分成分演算部２３３４は、演算したシフト量C_x(-2),C_x(-1),C_x(1),C_x(2)を使用して式（５２）の右辺に示される２０個の積分成分S_i(x_s,x_e)のそれぞれを、i=０乃至５のそれぞれについて演算する。即ち、１２０個の積分成分S_i(x_s,x_e)が演算される。なお、この積分成分S_i(x_s,x_e)の演算においては、上述した式（５０）が使用される。そして、積分成分演算部２３３４は、式（５３）に従って、演算した１２０個の積分成分S_i(x_s,x_e)のそれぞれを、対応する積分成分S_i(l)に変換し、変換した１２０個の積分成分S_i(l)を含む積分成分テーブルを生成する。
【０７０６】
なお、ステップＳ２３０３の処理とステップＳ２３０４の処理の順序は、図７５の例に限定されず、ステップＳ２３０４の処理が先に実行されてもよいし、ステップＳ２３０３の処理とステップＳ２３０４の処理が同時に実行されてもよい。
【０７０７】
次に、ステップＳ２３０５において、正規方程式生成部２３３５は、ステップＳ２３０３の処理で入力画素値取得部２３３３により生成された入力画素値テーブルと、ステップＳ２３０４の処理で積分成分演算部２３３４により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。
【０７０８】
具体的には、いまの場合、最小自乗法により、上述した式（４９）に対応する次の式（５４）の特徴量w_iを演算する。それに対応する正規方程式は、次の式（５５）のように表される。
【０７０９】
【数５４】

・・・（５４）
【０７１０】
【数５５】

・・・（５５）
【０７１１】
なお、式（５５）において、Lは、タップ範囲の画素の番号lのうちの最大値を表している。nは、多項式である近似関数f(x)の次数を表している。具体的には、いまの場合、n=5となり、L=１９となる。
【０７１２】
式（５５）で示される正規方程式の各行列のそれぞれを、次の式（５６）乃至（５８）のように定義すると、正規方程式は、次の式（５９）のように表される。
【０７１３】
【数５６】

・・・（５６）
【０７１４】
【数５７】

・・・（５７）
【０７１５】
【数５８】

・・・（５８）
【０７１６】
【数５９】

・・・（５９）
【０７１７】
式（５７）で示されるように、行列W_MATの各成分は、求めたい特徴量w_iである。従って、式（５９）において、左辺の行列Ｓ_MATと右辺の行列P_MATが決定されれば、行列解法によって行列W_MAT（即ち、特徴量w_i）の算出が可能である。
【０７１８】
具体的には、式（５６）で示されるように、行列Ｓ_MATの各成分は、上述した積分成分S_i(l)が既知であれば演算可能である。積分成分S_i(l)は、積分成分演算部２３３４より供給された積分成分テーブルに含まれているので、正規方程式生成部２３３５は、積分成分テーブルを利用して行列Ｓ_MATの各成分を演算することができる。
【０７１９】
また、式（５８）で示されるように、行列Ｐ_MATの各成分は、積分成分S_i(l)と入力画素値P(l)が既知であれば演算可能である。積分成分S_i(l)は、行列Ｓ_MATの各成分に含まれるものと同一のものであり、また、入力画素値P(l)は、入力画素値取得部２３３３より供給された入力画素値テーブルに含まれているので、正規方程式生成部２３３５は、積分成分テーブルと入力画素値テーブルを利用して行列Ｐ_MATの各成分を演算することができる。
【０７２０】
このようにして、正規方程式生成部２３３５は、行列Ｓ_MATと行列Ｐ_MATの各成分を演算し、その演算結果（行列Ｓ_MATと行列Ｐ_MATの各成分）を正規方程式テーブルとして近似関数生成部２３３６に出力する。
【０７２１】
正規方程式生成部２３３５より正規方程式テーブルが出力されると、ステップＳ２３０６において、近似関数生成部２３３６は、正規方程式テーブルに基づいて、上述した式（５９）の行列W_MATの各成分である特徴量w_i（即ち、１次元多項式である近似関数f(x)の係数w_i）を演算する。
【０７２２】
具体的には、上述した式（５９）の正規方程式は、次の式（６０）のように変形できる。
【０７２３】
【数６０】

・・・（６０）
【０７２４】
式（６０）において、左辺の行列W_MATの各成分が、求めたい特徴量w_iである。また、行列S_MATと行列P_MATのそれぞれの各成分は、正規方程式生成部２３３５より供給された正規方程式テーブルに含まれている。従って、近似関数生成部２３３６は、正規方程式テーブルを利用して、式（６０）の右辺の行列演算を行うことで行列W_MATを演算し、その演算結果（特徴量w_i）を画像生成部１０３に出力する。
【０７２５】
ステップＳ２３０７において、近似関数生成部２３３６は、全画素の処理を終了したか否かを判定する。
【０７２６】
ステップＳ２３０７において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ２３０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ２３０２乃至Ｓ２３０７の処理が繰り返される。
【０７２７】
そして、全画素の処理が終了すると（ステップＳ２３０７において、全画素の処理が終了されたと判定されると）、実世界１の推定処理は終了となる。
【０７２８】
なお、以上のようにして演算された係数（特徴量）w_iにより生成される近似関数f(x)の波形は、上述した図７３の近似関数f₃(x)のような波形となる。
【０７２９】
このように、１次元近似手法においては、１次元のＸ断面波形F(x)と同一形状の波形が定常性の方向に連なっていると仮定して、例えば、１次元の多項式などの近似関数f(x)の特徴量が演算される。従って、１次元近似手法においては、他の関数近似手法に比較して、少ない演算処理量で近似関数f(x)の特徴量の算出が可能となる。
【０７３０】
次に、図７７乃至図８３を参照して、第２の関数近似手法について説明する。
【０７３１】
即ち、第２の関数近似手法とは、例えば、図７７で示されるような、傾きG_Fで表される空間方向の定常性を有する実世界１の光信号を、Ｘ−Ｙ平面上（空間方向の１方向であるＸ方向と、Ｘ方向に垂直なＹ方向に水平な平面上）の波形F(x,y)とみなし、２次元の多項式などの近似関数f(x,y)で波形F(x,y)を近似することによって、その波形F(x,y)を推定する手法である。従って、以下、第２の関数近似手法を、２次元近似手法と称する。
【０７３２】
なお、図７７において、図中、水平方向は、空間方向の１方向であるＸ方向を、右上方向は、空間方向の他方向であるＹ方向を、垂直方向は、光のレベルを、それぞれ表している。G_Fは、空間方向の定常性の傾きを表している。
【０７３３】
また、２次元近似手法の説明においても、センサ２は、図７８で示されるような、複数の検出素子２−１がその平面上に配置されて構成されるＣＣＤとされる。
【０７３４】
図７８の例では、検出素子２−１の所定の１辺に平行な方向が、空間方向の１方向であるＸ方向とされており、Ｘ方向に垂直な方向が、空間方向の他方向であるＹ方向とされている。そして、Ｘ−Ｙ平面に垂直な方向が、時間方向であるｔ方向とされている。
【０７３５】
また、図７８の例では、センサ２の各検出素子２−１のそれぞれの空間的な形状は、１辺の長さが１の正方形とされている。そして、センサ２のシャッタ時間（露光時間）が１とされている。
【０７３６】
さらに、図７８の例では、センサ２の所定の１つの検出素子２−１の中心が、空間方向（Ｘ方向とＹ方向）の原点（Ｘ方向の位置ｘ＝０、およびＹ方向の位置ｙ＝０）とされており、また、露光時間の中間時刻が、時間方向（ｔ方向）の原点（ｔ方向の位置ｔ＝０）とされている。
【０７３７】
この場合、空間方向の原点（ｘ＝０,ｙ＝０）にその中心が存在する検出素子２−１は、Ｘ方向に-0.5乃至0.5の範囲、Ｙ方向に-0.5乃至0.5の範囲、およびｔ方向に-0.5乃至0.5の範囲で光信号関数F(x,y,t)を積分し、その積分値を画素値Ｐとして出力することになる。
【０７３８】
即ち、空間方向の原点にその中心が存在する検出素子２−１から出力される画素値Ｐは、次の式（６１）で表される。
【０７３９】
【数６１】

・・・（６１）
【０７４０】
その他の検出素子２−１も同様に、対象とする検出素子２−１の中心を空間方向の原点とすることで、式（６１）で示される画素値Ｐを出力することになる。
【０７４１】
ところで、上述したように、２次元近似手法は、実世界１の光信号を、例えば、図７７で示されるような波形F(x,y)として扱い、その２次元の波形F(x,y)を、２次元の多項式などの近似関数f(x,y)に近似する手法である。
【０７４２】
そこで、はじめに、このような近似関数f(x,y)を２次元の多項式で表現する手法について説明する。
【０７４３】
上述したように、実世界１の光信号は、３次元の空間上の位置x,y、およびｚ、並びに時刻tを変数とする光信号関数F(x,y,t)で表される。この光信号関数F(x,y,t)を、Ｙ方向の任意の位置yにおいて、Ｘ方向に射影した１次元の波形を、ここでは、Ｘ断面波形F(x)と称している。
【０７４４】
このＸ断面波形Ｆ（ｘ）に注目すると、実世界１の信号が、空間方向の所定の方向に定常性を有している場合、Ｘ断面波形Ｆ（ｘ）と同一形状の波形がその定常性の方向に連なっていると考えることができる。例えば、図７７の例では、Ｘ断面波形Ｆ（ｘ）と同一形状の波形が、傾きG_Fの方向に連なっている。換言すると、Ｘ断面波形Ｆ（ｘ）と同一形状の波形が傾きG_Fの方向に連なって、波形F(x,y)が形成されているとも言える。
【０７４５】
従って、波形F(x,y)を近似する近似関数f(x,y)の波形は、Ｘ断面波形F(x)を近似する近似関数f(x)と同一形状の波形が連なって形成されると考えることで、近似関数f(x,y)を２次元の多項式で表現することが可能になる。
【０７４６】
さらに詳細に、近似関数f(x,y)の表現方法について説明する。
【０７４７】
例えば、いま、上述した図７７で示されるような、実世界１の光信号、即ち、傾きG_Fで表される空間方向の定常性を有する光信号が、センサ２（図７８）により検出されて入力画像（画素値）として出力されたとする。
【０７４８】
さらに、図７９で示されるように、データ定常性検出部１０１（図３）が、この入力画像のうちの、Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素（図中、点線で表される２０個の正方形）から構成される入力画像の領域２４０１に対してその処理を実行し、データ定常性情報の１つとして角度θ（傾きG_Fに対応する傾きG_fで表されるデータの定常性の方向と、Ｘ方向とのなす角度θ）を出力したとする。
【０７４９】
なお、入力画像の領域２４０１において、図中水平方向は、空間方向の1方向であるＸ方向を表しており、図中垂直方向は、空間方向の他方向であるＹ方向を表している。
【０７５０】
また、図７９中、左から２画素目であって、下から３画素目の画素が注目画素とされ、その注目画素の中心を原点(0,0)とするように(x,y)座標系が設定されている。そして、原点(0,0)を通る角度θの直線（データの定常性の方向を表す傾きG_fの直線）に対するＸ方向の相対的な距離（以下、断面方向距離と称する）がx’と記述されている。
【０７５１】
さらに、図７９中、右側のグラフは、X断面波形F(x’)が近似された関数であって、n次（nは、任意の整数）の多項式である近似関数f(x’)を表している。右側のグラフの軸のうち、図中水平方向の軸は、断面方向距離を表しており、図中垂直方向の軸は、画素値を表している。
【０７５２】
この場合、図７９で示される近似関数f(x’)は、ｎ次の多項式であるので、次の式（６２）のように表される。
【０７５３】
【数６２】

・・・（６２）
【０７５４】
また、角度θが決定されていることから、原点(0,0)を通る角度θの直線は一意に決まり、Ｙ方向の任意の位置yにおける、直線のＸ方向の位置x_lが、次の式（６３）のように表される。ただし、式（６３）において、sはcotθ（＝１／tanθ）を表している。
【０７５５】
【数６３】

・・・（６３）
【０７５６】
即ち、図７９で示されるように、傾きG_fで表されるデータの定常性に対応する直線上の点は、座標値(x_l,y)で表される。
【０７５７】
式（６３）より、断面方向距離x’は、次の式（６４）のように表される。
【０７５８】
【数６４】

・・・（６４）
【０７５９】
従って、入力画像の領域２４０１内の任意の位置(x,y)における近似関数f(x,y)は、式（６２）と式（６４）より、次の式（６５）のように示される。
【０７６０】
【数６５】

・・・（６５）
【０７６１】
なお、式（６５）において、w_iは、近似関数f(x,y)の係数を表している。なお、近似関数f(x,y)を含む近似関数ｆの係数w_iを、近似関数ｆの特徴量と位置づけることもできる。従って、以下、近似関数ｆの係数w_iを、近似関数ｆの特徴量w_iとも称する。
【０７６２】
このようにして、角度θが既知であれば、２次元波形の近似関数f(x,y)を、式（６５）の多項式として表現することができる。
【０７６３】
従って、実世界推定部１０２は、式（６５）の特徴量w_iを演算することができれば、図７７で示されるような波形F(x,y)を推定することができる。
【０７６４】
そこで、以下、式（６５）の特徴量w_iを演算する手法について説明する。
【０７６５】
即ち、式（６５）で表される近似関数f(x,y)を、画素（センサ２の検出素子２−１（図７８））に対応する積分範囲（空間方向の積分範囲）で積分すれば、その積分値が、画素の画素値の推定値となる。このことを、式で表現したものが、次の式（６６）である。なお、２次元近似手法においては、時間方向ｔは一定値とみなされるので、式（６６）は、空間方向（Ｘ方向とＹ方法）の位置x,yを変数とする方程式とされている。
【０７６６】
【数６６】

・・・（６６）
【０７６７】
式（６６）において、P(x,y)は、センサ２からの入力画像のうちの、その中心位置が位置(x,y)（注目画素からの相対位置(x,y)）に存在する画素の画素値を表している。また、ｅは、誤差を表している。
【０７６８】
このように、２次元近似手法においては、入力画素値P(x,y)と、２次元の多項式などの近似関数f(x,y)の関係を、式（６６）で表現することが可能であるので、実世界推定部１０２は、式（６６）を利用して、特徴量w_iを、例えば、最小自乗法等により演算することで（演算した特徴量w_iを式（６４）に代入して近似関数f(x,y)を生成することで）、２次元の関数F(x,y)（傾きG_F（図７７）で表される空間方向の定常性を有する実世界１の光信号を、空間方向に着目して表した波形F(x,y)）を推定することが可能となる。
【０７６９】
図８０は、このような２次元近似手法を利用する実世界推定部１０２の構成例を表している。
【０７７０】
図８０で示されるように、実世界推定部１０２には、条件設定部２４２１、入力画像記憶部２４２２、入力画素値取得部２４２３、積分成分演算部２４２４、正規方程式生成部２４２５、および近似関数生成部２４２６が設けられている。
【０７７１】
条件設定部２４２１は、注目画素に対応する関数F(x,y)を推定するために使用する画素の範囲（タップ範囲）や、近似関数f(x,y)の次数nを設定する。
【０７７２】
入力画像記憶部２４２２は、センサ２からの入力画像（画素値）を一次格納する。
【０７７３】
入力画素値取得部２４２３は、入力画像記憶部２４２２に記憶された入力画像のうちの、条件設定部２４２１により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部２４２５に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。
【０７７４】
ところで、上述したように、２次元近似手法を利用する実世界推定部１０２は、上述した式（６６）を最小自乗法で解くことにより、上述した式（６５）で示される近似関数f(x,y)の特徴量w_iを演算する。
【０７７５】
式（６６）は、次の式（６７）乃至式（６９）を用いることで得られる次の式（７０）を使用することで、次の式（７１）のように表現することができる。
【０７７６】
【数６７】

・・・（６７）
【０７７７】
【数６８】

・・・（６８）
【０７７８】
【数６９】

・・・（６９）
【０７７９】
【数７０】

・・・（７０）
【０７８０】
【数７１】

・・・（７１）
【０７８１】
式（７１）において、S_i（x-0.5,x+0.5,y-0.5,y+0.5）は、i次項の積分成分を表している。即ち、積分成分S_i（x-0.5,x+0.5,y-0.5,y+0.5）は、次の式（７２）で示される通りである。
【０７８２】
【数７２】

・・・（７２）
【０７８３】
積分成分演算部２４２４は、この積分成分S_i（x-0.5,x+0.5,y-0.5,y+0.5）を演算する。
【０７８４】
具体的には、式（７２）で示される積分成分S_i（x-0.5,x+0.5,y-0.5,y+0.5）は、相対画素位置(x,y)、上述した式（６５）における変数ｓ、および、i次項のiが既知であれば、演算可能である。これらのうちの、相対画素位置(x,y)は注目画素とタップ範囲により、変数sはcotθであるので角度θにより、iの範囲は次数nにより、それぞれ決定される。
【０７８５】
従って、積分成分演算部２４２４は、条件設定部２４２１により設定されたタップ範囲および次数、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θに基づいて積分成分S_i（x-0.5,x+0.5,y-0.5,y+0.5）を演算し、その演算結果を積分成分テーブルとして正規方程式生成部２４２５に供給する。
【０７８６】
正規方程式生成部２４２５は、入力画素値取得部２４２３より供給された入力画素値テーブルと、積分成分演算部２４２４より供給された積分成分テーブルを利用して、上述した式（６６）、即ち、式（７１）を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部２４２６に出力する。なお、正規方程式の具体例については後述する。
【０７８７】
近似関数生成部２４２６は、正規方程式生成部２４２５より供給された正規方程式テーブルに含まれる正規方程式を行列解法で解くことにより、上述した式（６６）の特徴量w_i（即ち、２次元多項式である近似関数f(x,y)の係数w_i）のそれぞれを演算し、画像生成部１０３に出力する。
【０７８８】
次に、図８１のフローチャートを参照して、２次元近似手法が適用される実世界の推定処理（図２９のステップＳ１０２の処理）について説明する。
【０７８９】
例えば、いま、傾きG_Fで表される空間方向の定常性を有する実世界１の光信号が、センサ２（図７８）により検出されて、１フレームに対応する入力画像として、入力画像記憶部２４２２に既に記憶されているとする。また、データ定常性検出部１０１が、ステップＳ１０１（図２９）の定常性の検出の処理において、入力画像のうちの、上述した図７９で示される領域２４０１に対して処理を施して、データ定常性情報として角度θを既に出力しているとする。
【０７９０】
この場合、ステップＳ２４０１において、条件設定部２４２１は、条件（タップ範囲と次数）を設定する。
【０７９１】
例えば、いま、図８２で示されるタップ範囲２４４１が設定されるとともに、次数として５次が設定されたとする。
【０７９２】
即ち、図８２は、タップ範囲の１例を説明する図である。図８２において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図７８）を表している。また、タップ範囲２４４１は、Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素（図中、２０個の正方形）からなる画素群を表している。
【０７９３】
さらに、図８２に示されるように、注目画素が、タップ範囲２４４１のうちの、図中、左から２画素目であって、下から３画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置(x,y)（注目画素の中心(0,0)を原点とする注目画素座標系の座標値）に応じて、図８２で示されるような番号l（lは、０乃至１９のうちのいずれかの整数値）が付されるとする。
【０７９４】
図８１に戻り、ステップＳ２４０２において、条件設定部２４２１は、注目画素を設定する。
【０７９５】
ステップＳ２４０３において、入力画素値取得部２４２３は、条件設定部２４２１により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部２４２３は、入力画像の領域２４０１（図７９）を取得し、入力画素値テーブルとして、２０個の入力画素値P(l)からなるテーブルを生成する。
【０７９６】
なお、いまの場合、入力画素値P(l)と、上述した入力画素値P(x,y)の関係は、次の式（７３）で示される関係とされる。ただし、式（７３）において、左辺が入力画素値P（ｌ）を表し、右辺が入力画素値P(x,y)を表している。
【０７９７】
【数７３】

・・・（７３）
【０７９８】
ステップＳ２４０４において、積分成分演算部２４２４は、条件設定部２４２１により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【０７９９】
いまの場合、上述したように、入力画素値は、P(x,y)でなくP(l)といった、画素の番号lの値として取得されるので、積分成分演算部２４２４は、上述した式（７２）の積分成分S_i(x-0.5,x+0.5,y-0.5,y+0.5)を、次の式（７４）の左辺で示される積分成分S_i(l)といったlの関数として演算する。
【０８００】
【数７４】

・・・（７４）
【０８０１】
具体的には、いまの場合、次の式（７５）で示される積分成分S_i(l)が演算される。
【０８０２】
【数７５】

・・・（７５）
【０８０３】
なお、式（７５）において、左辺が積分成分S_i（ｌ)を表し、右辺が積分成分S_i(x-0.5,x+0.5,y-0.5,y+0.5)を表している。即ち、いまの場合、iは０乃至５であるので、２０個のS₀(l),２０個のS₁(l),２０個のS₂(l),２０個のS₃(l),２０個のS₄(l),２０個のS₅(l)の総計１２０個のS_i(l)が演算されることになる。
【０８０４】
より具体的には、はじめに、積分成分演算部２４２４は、データ定常性検出部１０１より供給された角度θに対するcotθを演算し、それを変数ｓとする。次に、積分成分演算部２４２４は、演算した変数ｓを使用して式（７４）の右辺で示される２０個の積分成分S_i(x-0.5,x+0.5,y-0.5,y+0.5) のそれぞれを、i=０乃至５のそれぞれについて演算する。即ち、１２０個の積分成分S_i(x-0.5,x+0.5,y-0.5,y+0.5) が演算されることになる。なお、この積分成分S_i(x-0.5,x+0.5,y-0.5,y+0.5) の演算においては、上述した式（７２）が使用される。そして、積分成分演算部２４２４は、式（７５）に従って、演算した１２０個の積分成分S_i(x-0.5,x+0.5,y-0.5,y+0.5)のそれぞれを、対応するS_i(l)のそれぞれに変換し、変換した１２０個のS_i(l)を含む積分成分テーブルを生成する。
【０８０５】
なお、ステップＳ２４０３の処理とステップＳ２４０４の処理の順序は、図８１の例に限定されず、ステップＳ２４０４の処理が先に実行されてもよいし、ステップＳ２４０３の処理とステップＳ２４０４の処理が同時に実行されてもよい。
【０８０６】
次に、ステップＳ２４０５において、正規方程式生成部２４２５は、ステップＳ２４０３の処理で入力画素値取得部２４２３により生成された入力画素値テーブルと、ステップＳ２４０４の処理で積分成分演算部２４２４により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。
【０８０７】
具体的には、いまの場合、上述した式（７１）を利用して最小自乗法により特徴量w_iが演算される（ただし、式（７０）において、積分成分S_i(x-0.5,x+0.5,y-0.5,y+0.5)は、式（７４）により変換されるSi(l)が使用される）ので、それに対応する正規方程式は、次の式（７６）のように表される。
【０８０８】
【数７６】

・・・（７６）
【０８０９】
なお、式（７６）において、Lは、タップ範囲の画素の番号lのうちの最大値を表している。nは、多項式である近似関数f(x)の次数を表している。具体的には、いまの場合、n=5となり、L=１９となる。
【０８１０】
式（７６）で示される正規方程式の各行列のそれぞれを、次の式（７７）乃至（７９）のように定義すると、正規方程式は、次の式（８０）のように表現される。
【０８１１】
【数７７】

・・・（７７）
【０８１２】
【数７８】

・・・（７８）
【０８１３】
【数７９】

・・・（７９）
【０８１４】
【数８０】

・・・（８０）
【０８１５】
式（７８）で示されるように、行列W_MATの各成分は、求めたい特徴量w_iである。従って、式（８０）において、左辺の行列Ｓ_MATと右辺の行列P_MATが決定されれば、行列解法によって行列W_MATの演算が可能になる。
【０８１６】
具体的には、式（７７）で示されるように、行列Ｓ_MATの各成分は、上述した積分成分S_i(l)で演算可能である。即ち、積分成分S_i(l)は、積分成分演算部２４２４より供給された積分成分テーブルに含まれているので、正規方程式生成部２４２５は、積分成分テーブルを利用して行列Ｓ_MATの各成分を演算することができる。
【０８１７】
また、式（７９）で示されるように、行列Ｐ_MATの各成分は、積分成分S_i(l)と入力画素値P(l)で演算可能である。即ち、積分成分S_i(l)は、行列Ｓ_MATの各成分に含まれるものと同一のものであり、また、入力画素値P(l)は、入力画素値取得部２４２３より供給された入力画素値テーブルに含まれているので、正規方程式生成部２４２５は、積分成分テーブルと入力画素値テーブルを利用して行列Ｐ_MATの各成分を演算することができる。
【０８１８】
このようにして、正規方程式生成部２４２５は、行列Ｓ_MATと行列Ｐ_MATの各成分を演算し、その演算結果（行列Ｓ_MATと行列Ｐ_MATの各成分）を正規方程式テーブルとして近似関数生成部２４２６に出力する。
【０８１９】
正規方程式生成部２４２５より正規方程式テーブルが出力されると、ステップＳ２４０６において、近似関数生成部２４２６は、正規方程式テーブルに基づいて、上述した式（８０）の行列W_MATの各成分である特徴量w_i（即ち、２次元多項式である近似関数f(x,y)の係数w_i）を演算する。
【０８２０】
具体的には、上述した式（８０）の正規方程式は、次の式（８１）のように変形できる。
【０８２１】
【数８１】

・・・（８１）
【０８２２】
式（８１）において、左辺の行列W_MATの各成分が、求めたい特徴量w_iである。また、行列S_MATと行列P_MATのそれぞれの各成分は、正規方程式生成部２４２５より供給された正規方程式テーブルに含まれている。従って、近似関数生成部２４２６は、正規方程式テーブルを利用して、式（８１）の右辺の行列演算を行うことで行列W_MATを演算し、その演算結果（特徴量w_i）を画像生成部１０３に出力する。
【０８２３】
ステップＳ２４０７において、近似関数生成部２４２６は、全画素の処理を終了したか否かを判定する。
【０８２４】
ステップＳ２４０７において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ２４０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ２４０２乃至Ｓ２４０７の処理が繰り返される。
【０８２５】
そして、全画素の処理が終了すると（ステップＳ２４０７において、全画素の処理が終了されたと判定されると）、実世界１の推定処理は終了となる。
【０８２６】
以上、２次元近似手法の説明として、空間方向（X方向とY方向）に対する近似関数f(x,y)の係数（特徴量）w_iを演算する例を用いたが、２次元近似手法は、時空間方向（X方向とt方向、または、Y方向とｔ方向）に対しても適用可能である。
【０８２７】
即ち、上述した例は、実世界１の光信号が、例えば、傾きG_F（図７７）で表される空間方向の定常性を有する場合の例であったので、上述した式（６６）で示されるような、空間方向（X方向とY方向）の二次元積分が含まれる式が利用された。しかしながら、二次元積分の考え方は、空間方向だけによるものではなく、時空間方向（X方向とt方向、または、Y方向とｔ方向）に対して適用することも可能である。
【０８２８】
換言すると、２次元近似手法においては、推定したい光信号関数F(x,y,t)が、空間方向の定常性のみならず、時空間方向（ただし、X方向とt方向、または、Y方向とｔ方向）の定常性を有している場合であっても、２次元の近似関数fにより近似することが可能である。
【０８２９】
具体的には、例えば、X方向に水平に等速で動いている物体がある場合、その物体の動きの方向は、図８３で示されるようなX-t平面においては、傾きV_Fのように表される。換言すると、傾きV_Fは、X-t平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部１０１は、上述した角度θ（X-Y平面における、傾きG_Fで表される空間方向の定常性に対応するデータ定常性情報）と同様に、X-t平面における時空間方向の定常性を表す傾きV_Fに対応するデータ定常性情報として、図８３で示されるような動きθ（厳密には、図示はしないが、傾きV_Fに対応する傾きV_fで表されるデータの定常性の方向と、空間方向のＸ方向とのなす角度である動きθ）を出力することが可能である。
【０８３０】
従って、２次元近似手法を利用する実世界推定部１０２は、動きθを上述した角度θの代わりとして使用すれば、上述した方法と同様な方法で、近似関数f(x,t)の係数（特徴量）w_iを演算することが可能になる。ただし、この場合、使用される式は、上述した式（６６）ではなく、次の式（８２）である。
【０８３１】
【数８２】

・・・（８２）
【０８３２】
なお、式（８２）において、ｓはcotθ（ただし、θは動きである）である。
【０８３３】
また、空間方向Ｘの変わりに、空間方向Ｙに注目した近似関数f（y,t）も、上述した近似関数f(x，t)と全く同様に取り扱うことが可能である。
【０８３４】
このように、２次元近似手法は、１次元ではなく２次元の積分効果を考慮しているので、１次元近似手法に比較して、より正確に実世界１の光信号を推定することが可能になる。
【０８３５】
次に、図８４乃至図８８を参照して、第３の関数近似手法について説明する。
【０８３６】
即ち、第３の関数近似手法とは、例えば、時空間方向のうちの所定の方向の定常性を有する実世界１の光信号が、光信号関数F(x,y,t)で表されることに注目して、近似関数f(x,y,t)で光信号関数F(x,y,t)を近似することによって、光信号関数F(x,y,t)を推定する手法である。従って、以下、第３の関数近似手法を、３次元近似手法と称する。
【０８３７】
また、３次元近似手法の説明においても、センサ２は、図８４で示されるような、複数の検出素子２−１がその平面上に配置されて構成されるＣＣＤとされる。
【０８３８】
図８４の例では、検出素子２−１の所定の１辺に平行な方向が、空間方向の１方向であるＸ方向とされており、Ｘ方向に垂直な方向が、空間方向の他方向であるＹ方向とされている。そして、Ｘ−Ｙ平面に垂直な方向が、時間方向であるｔ方向とされている。
【０８３９】
また、図８４の例では、センサ２の各検出素子２−１のそれぞれの空間的な形状は、１辺の長さが１の正方形とされている。そして、センサ２のシャッタ時間（露光時間）が１とされている。
【０８４０】
さらに、図８４の例では、センサ２の所定の１つの検出素子２−１の中心が、空間方向（Ｘ方向とＹ方向）の原点（Ｘ方向の位置ｘ＝０、およびＹ方向の位置ｙ＝０）とされており、また、露光時間の中間時刻が、時間方向（ｔ方向）の原点（ｔ方向の位置ｔ＝０）とされている。
【０８４１】
この場合、空間方向の原点（ｘ＝０,ｙ＝０）にその中心が存在する検出素子２−１は、Ｘ方向に-0.5乃至0.5の範囲、Ｙ方向に-0.5乃至0.5の範囲、およびｔ方向に-0.5乃至0.5の範囲で光信号関数F(x,y,t)を積分し、その積分値を画素値Ｐとして出力することになる。
【０８４２】
即ち、空間方向の原点にその中心が存在する検出素子２−１から出力される画素値Ｐは、次の式（８３）で表される。
【０８４３】
【数８３】

・・・（８３）
【０８４４】
その他の検出素子２−１も同様に、対象とする検出素子２−１の中心を空間方向の原点とすることで、式（８３）で示される画素値Ｐを出力することになる。
【０８４５】
ところで、上述したように、３次元近似手法においては、光信号関数F(x,y,t)は、３次元の近似関数f(x,y,t)に近似される。
【０８４６】
具体的には、例えば、近似関数f(x,y,t)を、N個の変数（特徴量）を有する関数とし、式（８３）に対応する入力画素値P(x,y,t)と近似関数f(x,y,t)の関係式を定義する。これにより、Nより大きいM個の入力画素値P(x,y,t)が取得されていれば、定義された関係式からN個の変数（特徴量）の算出が可能である。即ち、実世界推定部１０２は、M個の入力画素値P(x,y,t)を取得してN個の変数（特徴量）を演算することで、光信号関数F(x,y,t)を推定することが可能である。
【０８４７】
この場合、実世界推定部１０２は、センサ２からの入力画像（入力画素値）に含まれるデータの定常性を縛りとして（即ち、データ定常性検出部１０１より出力される入力画像に対するデータ定常性情報を利用して）、入力画像全体のうちの、M個の入力画像P(x,y,t)を抽出（取得）する。結果的に、近似関数f(x,y,t)は、データの定常性に拘束されることになる。
【０８４８】
例えば、図８５で示されるように、入力画像に対応する光信号関数F(x,y,t)が、傾きG_Fで表される空間方向の定常性を有している場合、データ定常性検出部１０１は、入力画像に対するデータ定常性情報として、角度θ（傾きG_Fに対応する傾きG_f（図示せず）で表されるデータの定常性の方向と、Ｘ方向のなす角度θ）を出力することになる。
【０８４９】
この場合、光信号関数F(x,y,t)をX方向に射影した１次元の波形（ここでは、このような波形を、Ｘ断面波形と称している）は、Y方向のいずれの位置で射影した場合であっても同一の形状であるとする。
【０８５０】
即ち、同一形状のＸ断面波形が、定常性の方向（X方向に対して角度θ方向）に連なっている２次元の（空間方向の）波形が存在するとし、そのような２次元波形が時間方向tに連なった３次元波形を、近似関数f(x,y,t)で近似する。
【０８５１】
換言すると、注目画素の中心からY方向に位置yだけずれたX断面波形は、注目画素の中心を通るX断面波形がX方向に所定の量（角度θに応じて変化する量）だけ移動した（シフトした）波形となる。なお、以下、このような量を、シフト量と称する。
【０８５２】
このシフト量は、次のようにして算出が可能である。
【０８５３】
即ち、傾きV_f（例えば、図８５の傾きV_Fに対応する、データの定常性の方向を表す傾きV_f）と角度θは、次の式（８４）のように表される。
【０８５４】
【数８４】

・・・（８４）
【０８５５】
なお、式（８４）において、dxは、Ｘ方向の微小移動量を表しており、dyは、dxに対するＹ方向の微小移動量を表している。
【０８５６】
従って、X方向に対するシフト量をC_x(y)と記述すると、次の式（８５）のように表される。
【０８５７】
【数８５】

・・・（８５）
【０８５８】
このようにして、シフト量C_x(y)を定義すると、式（８３）に対応する入力画素値P(x,y,t)と近似関数f(x,y,t)の関係式は、次の式（８６）のように表される。
【０８５９】
【数８６】

・・・（８６）
【０８６０】
式（８６）において、ｅは、誤差を表している。t_sは、ｔ方向の積分開始位置を表しており、t_eは、ｔ方向の積分終了位置を表している。同様に、y_sは、Ｙ方向の積分開始位置を表しており、y_eは、Ｙ方向の積分終了位置を表している。また、x_sは、Ｘ方向の積分開始位置を表しており、x_eは、Ｘ方向の積分終了位置を表している。ただし、具体的な各積分範囲のそれぞれは、次の式（８７）で示される通りになる。
【０８６１】
【数８７】

・・・（８７）
【０８６２】
式（８７）で示されるように、注目画素から空間方向に(x,y)だけ離れて位置する画素に対するX方向の積分範囲を、シフト量C_x(y)だけ移動させることで、同一形状のX断面波形が、定常性の方向（X方向に対して角度θ方向）に連なっていることを表すことが可能になる。
【０８６３】
このように、３次元近似手法においては、画素値P(x,y,t)と、３次元の近似関数f(x,y,t)の関係を式（８６）（積分範囲は、式（８７））で表すことができるので、式（８６）と式（８７）を利用して、近似関数f(x,y,t)のN個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数F(x,y,t)（例えば、図８５で示されるような傾きV_F表される空間方向の定常性を有する光信号）の推定が可能となる。
【０８６４】
なお、光信号関数F(x,y,t)で表される光信号が、例えば、図８５で示されるような傾きV_Fで表される空間方向の定常性を有している場合、次のようにして光信号関数F(x,y,t)を近似してもよい。
【０８６５】
即ち、光信号関数F(x,y,t)をY方向に射影した１次元の波形（以下、このような波形を、Y断面波形と称する）は、X方向のいずれの位置で射影した場合であっても同一の形状であるとする。
【０８６６】
換言すると、同一形状のY断面波形が、定常性の方向（X方向に対して角度θ方向）に連なっている２次元の（空間方向の）波形が存在するとし、そのような２次元波形が時間方向tに連なった３次元波形を、近似関数f(x,y,t)で近似する。
【０８６７】
従って、注目画素の中心からX方向にxだけずれたY断面波形は、注目画素の中心を通るY断面波形がY方向に所定のシフト量（角度θに応じて変化するシフト量）だけ移動した波形となる。
【０８６８】
このシフト量は、次のようにして算出が可能である。
【０８６９】
即ち、傾きG_Fが、上述した式（８４）のように表されるので、Y方向に対するシフト量をC_y(x)と記述すると、次の式（８８）のように表される。
【０８７０】
【数８８】

・・・（８８）
【０８７１】
このようにして、シフト量C_y(x)を定義すると、式（８３）に対応する入力画素値P(x,y,t)と近似関数f(x,y,t)の関係式は、シフト量C_x(y)を定義したときと同様に、上述した式（８６）で表される。
【０８７２】
ただし、今度は、具体的な各積分範囲のそれぞれは、次の式（８９）で示される通りになる。
【０８７３】
【数８９】

・・・（８９）
【０８７４】
式（８９）（および上述した式（８６））で示されるように、注目画素から(x,y)だけ離れて位置する画素に対するY方向の積分範囲を、シフト量C_y(x)だけ移動させることで、同一形状のY断面波形が、定常性の方向（X方向に対して角度θ方向）に連なっていることを表すことが可能になる。
【０８７５】
このように、３次元近似手法においては、上述した式（８６）の右辺の積分範囲を式（８７）のみならず式（８９）とすることもできるので、積分範囲として式（８９）が採用された式（８６）を利用して、近似関数f(x,y,t)のｎ個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数F(x,y,t)（傾きG_Fで表される空間方向の定常性を有する実世界１の光信号）の推定が可能となる。
【０８７６】
このように、積分範囲を表す式（８７）と式（８９）は、定常性の方向にあわせて周辺画素をX方向にシフトさせるか（式（８７）の場合）、或いはY方向にシフトさせるか（式（８９）の場合）の違いがあるだけであり、本質的には同じことを表している。
【０８７７】
しかしながら、定常性の方向（傾きG_F）に応じて、光信号関数F(x,y,t)を、X断面波形の集まりと捉えるか、Y断面波形の集まりと捉えるかが異なる。即ち、定常性の方向がY方向に近い場合、光信号関数F(x,y,t)を、X断面波形の集まりと捉えた方が好適である。これに対して、定常性の方向がX方向に近い場合、光信号関数F(x,y,t)を、Y断面波形の集まりと捉えた方が好適である。
【０８７８】
従って、実世界推定部１０２は、積分範囲として式（８７）と式（８９）の両方を用意しておき、定常性の方向に応じて、適宜式（８６）の右辺の積分範囲として、式（８７）と式（８９）のうちのいずれか一方を選択するとよい。
【０８７９】
以上、光信号関数F(x,y,t)が空間方向（X方向とY方向）の定常性（例えば、図８５の傾きG_Fで表される空間方向の定常性）を有する場合についての３次元近似手法について説明したが、３次元近似手法は、図８６で示されるように、光信号関数F(x,y,t)が時空間方向（X方向、Y方向、およびｔ方向）の定常性（傾きV_Fで表される定常性）を有する場合についても適用可能である。
【０８８０】
即ち、図８６において、フレーム番号＃N-1のフレームに対応する光信号関数がF(x,y,#N-1)とされ、フレーム番号＃Nのフレームに対応する光信号関数がF(x,y,#N)とされ、かつ、フレーム番号＃N+1のフレームに対応する光信号関数がF(x,y,#N+1)とされている。
【０８８１】
なお、図８６において、図中、水平方向は、空間方向の1方向であるＸ方向とされており、右斜め上方向は、空間方向の他方向であるＹ方向とされており、かつ、垂直方向は、時間方向であるｔ方向とされている。
【０８８２】
また、フレーム#N-1は、フレーム#Nに対して時間的に前のフレームであり、フレーム#N+1は、フレーム#Nに対して時間的に後のフレームである。即ち、フレーム#N-1、フレーム#N、およびフレーム#N+1は、フレーム#N-1、フレーム#N、およびフレーム#N+1の順で表示される。
【０８８３】
図８６の例では、傾きV_Fで示される方向（図中左下手前から右上奥の方向）に沿った断面の光のレベルがほぼ一定とされている。従って、図８６の例では、光信号関数F(x,y,t)は、傾きV_Fで表される時空間方向の定常性を有していると言える。
【０８８４】
この場合、時空間方向の定常性を表す関数C(x,y,t)を定義し、かつ、定義された関数C(x,y,t)を利用して、上述した式（８６）の積分範囲を定義すれば、上述した式（８７）や式（８９）と同様に、近似関数f(x,y,t)のN個の特徴量の算出が可能になる。
【０８８５】
関数C(x,y,t)は、定常性の方向を表す関数であれば特に限定されない。ただし、以下においては、直線的な定常性であるとして、それに対応する関数C(x,y,t)として、上述した空間方向の定常性を表す関数であるシフト量C_x(y)（式（８５））やシフト量C_y(x)（式（８７））に相当する、C_x(t)とC_y(t)を次のように定義するとする。
【０８８６】
即ち、上述した空間方向のデータの定常性を表す傾きG_fに対応する、時空間方向のデータの定常性の傾きをV_fとすると、この傾きV_fをX方向の傾き（以下、V_fxと記述する）とY方向の傾き（以下、V_fyと記述する）に分割すると、傾きV_fxは次の式（９０）で、傾きV_fyは次の式（９１）で、それぞれ表される。
【０８８７】
【数９０】

・・・（９０）
【０８８８】
【数９１】

・・・（９１）
【０８８９】
この場合、関数C_x(t)は、式（９０）で示される傾きV_fxを利用して、次の式（９２）のように表される。
【０８９０】
【数９２】

・・・（９２）
【０８９１】
同様に、関数C_y(t)は、式（９１）で示される傾きV_fyを利用して、次の式（９３）のように表される。
【０８９２】
【数９３】

・・・（９３）
【０８９３】
このようにして、時空間方向の定常性２５１１を表す関数C_x(t)と関数C_y(t)を定義すると、式（８６）の積分範囲は、次の式（９４）のように表される。
【０８９４】
【数９４】

・・・（９４）
【０８９５】
このように、３次元近似手法においては、画素値P(x,y,t)と、３次元の近似関数f(x,y,t)の関係を式（８６）で表すことができるので、その式（８６）の右辺の積分範囲として式（９４）を利用して、近似関数f(x,y,t)のｎ＋１個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数F(x,y,t)（時空間方向の所定の方向に定常性を有する実世界１の光信号）を推定することが可能となる。
【０８９６】
図８７は、このような３次元近似手法を利用する実世界推定部１０２の構成例を表している。
【０８９７】
なお、３次元近似手法を利用する実世界推定部１０２が演算する近似関数f(x,y,t)（実際には、その特徴量（係数）を演算する）は、特に限定されないが、以下の説明においては、ｎ（n＝N-1）次の多項式とされる。
【０８９８】
図８７で示されるように、実世界推定部１０２には、条件設定部２５２１、入力画像記憶部２５２２、入力画素値取得部２５２３、積分成分演算部２５２４、正規方程式生成部２５２５、および近似関数生成部２５２６が設けられている。
【０８９９】
条件設定部２５２１は、注目画素に対応する光信号関数F(x,y,t)を推定するために使用する画素の範囲（タップ範囲）や、近似関数f(x,y,t)の次数nを設定する。
【０９００】
入力画像記憶部２５２２は、センサ２からの入力画像（画素値）を一次格納する。
【０９０１】
入力画素値取得部２５２３は、入力画像記憶部２５２２に記憶された入力画像のうちの、条件設定部２５２１により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部２５２５に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。
【０９０２】
ところで、上述したように、３次元近似手法を利用する実世界推定部１０２は、上述した式（８６）（ただし積分範囲は、式（８７）、式（９０）、または式（９４））を利用して最小自乗法により近似関数f(x,y,t)のN個の特徴量（いまの場合、各次の係数）を演算する。
【０９０３】
式（８６）の右辺は、その積分を演算することで、次の式（９５）のように表現することができる。
【０９０４】
【数９５】

・・・（９５）
【０９０５】
式（９５）において、w_iは、i次項の係数（特徴量）を表しており、また、S_i（x_s,x_e,y_s,y_e,t_s,t_e）は、i次項の積分成分を表している。ただし、x_sはX方向の積分範囲の開始位置を、x_eはX方向の積分範囲の終了位置を、y_sはY方向の積分範囲の開始位置を、y_eはY方向の積分範囲の終了位置を、t_sはt方向の積分範囲の開始位置を、t_eはｔ方向の積分範囲の終了位置を、それぞれ表している。
【０９０６】
積分成分演算部２５２４は、この積分成分S_i（x_s,x_e,y_s,y_e,t_s,t_e）を演算する。
【０９０７】
即ち、積分成分演算部２５２４は、条件設定部２５２１により設定されたタップ範囲および次数、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度若しくは動き（積分範囲として、上述した式（８７）若しくは式（９０）が利用される場合には角度であり、上述した式（９４）が利用される場合には動きである）に基づいて積分成分S_i（x_s,x_e,y_s,y_e,t_s,t_e）を演算し、その演算結果を積分成分テーブルとして正規方程式生成部２５２５に供給する。
【０９０８】
正規方程式生成部２５２５は、入力画素値取得部２５２３より供給された入力画素値テーブルと、積分成分演算部２５２４より供給された積分成分テーブルを利用して、上述した式（９５）を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部２５２６に出力する。正規方程式の例については、後述する。
【０９０９】
近似関数生成部２５２６は、正規方程式生成部２５２５より供給された正規方程式テーブルに含まれる正規方程式を行列解法で解くことにより、特徴量w_i（いまの場合、多項式である近似関数f(x,y,t)の係数w_i）のそれぞれを演算し、画像生成部１０３に出力する。
【０９１０】
次に、図８８のフローチャートを参照して、３次元近似手法が適用される実世界の推定処理（図２９のステップＳ１０２の処理）について説明する。
【０９１１】
はじめに、ステップＳ２５０１において、条件設定部２５２１は、条件（タップ範囲と次数）を設定する。
【０９１２】
例えば、いま、Ｌ個の画素からなるタップ範囲が設定されたとする。また、各画素のそれぞれに対して、所定の番号l（lは、０乃至Ｌ−１のうちのいずれかの整数値）が付されるとする。
【０９１３】
次に、ステップＳ２５０２において、条件設定部２５２１は、注目画素を設定する。
【０９１４】
ステップＳ２５０３において、入力画素値取得部２５２３は、条件設定部２５２１により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。いまの場合、Ｌ個の入力画素値P(x,y,t)からなるテーブルが生成されることになる。ここで、Ｌ個の入力画素値P(x,y,t)のそれぞれを、その画素の番号ｌの関数としてP(l)と記述することにする。即ち、入力画素値テーブルは、Ｌ個のP(l)が含まれるテーブルとなる。
【０９１５】
ステップＳ２５０４において、積分成分演算部２５２４は、条件設定部２５２１により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度若しくは動き）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【０９１６】
ただし、いまの場合、上述したように、入力画素値は、P(x,y,t)でなくP(l)といった、画素の番号lの値として取得されるので、積分成分演算部２５２４は、上述した式（９５）の積分成分S_i（x_s,x_e,y_s,y_e,t_s,t_e）を、積分成分S_i(l)といったlの関数として演算することになる。即ち、積分成分テーブルは、Ｌ×ｉ個のS_i(l)が含まれるテーブルとなる。
【０９１７】
なお、ステップＳ２５０３の処理とステップＳ２５０４の処理の順序は、図８８の例に限定されず、ステップＳ２５０４の処理が先に実行されてもよいし、ステップＳ２５０３の処理とステップＳ２５０４の処理が同時に実行されてもよい。
【０９１８】
次に、ステップＳ２５０５において、正規方程式生成部２５２５は、ステップＳ２５０３の処理で入力画素値取得部２５２３により生成された入力画素値テーブルと、ステップＳ２５０４の処理で積分成分演算部２５２４により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。
【０９１９】
具体的には、いまの場合、最小自乗法により、上述した式（９５）に対応する次の式（９６）の特徴量w_iを演算する。で、それに対応する正規方程式は、次の式（９７）のように表される。
【０９２０】
【数９６】

・・・（９６）
【０９２１】
【数９７】

・・・（９７）
【０９２２】
式（９７）で示される正規方程式の各行列のそれぞれを、次の式（９８）乃至（１００）のように定義すると、正規方程式は、次の式（１０１）のように表される。
【０９２３】
【数９８】

・・・（９８）
【０９２４】
【数９９】

・・・（９９）
【０９２５】
【数１００】

・・・（１００）
【０９２６】
【数１０１】

・・・（１０１）
【０９２７】
式（９９）で示されるように、行列W_MATの各成分は、求めたい特徴量w_iである。従って、式（１０１）において、左辺の行列Ｓ_MATと右辺の行列P_MATが決定されれば、行列解法によって行列W_MAT（即ち、特徴量w_i）の算出が可能である。
【０９２８】
具体的には、式（９８）で示されるように、行列Ｓ_MATの各成分は、上述した積分成分S_i(l)が既知であれば演算可能である。積分成分S_i(l)は、積分成分演算部２５２４より供給された積分成分テーブルに含まれているので、正規方程式生成部２５２５は、積分成分テーブルを利用して行列Ｓ_MATの各成分を演算することができる。
【０９２９】
また、式（１００）で示されるように、行列Ｐ_MATの各成分は、積分成分S_i(l)と入力画素値P(l)が既知であれば演算可能である。積分成分S_i(l)は、行列Ｓ_MATの各成分に含まれるものと同一のものであり、また、入力画素値P(l)は、入力画素値取得部２５２３より供給された入力画素値テーブルに含まれているので、正規方程式生成部２５２５は、積分成分テーブルと入力画素値テーブルを利用して行列Ｐ_MATの各成分を演算することができる。
【０９３０】
このようにして、正規方程式生成部２５２５は、行列Ｓ_MATと行列Ｐ_MATの各成分を演算し、その演算結果（行列Ｓ_MATと行列Ｐ_MATの各成分）を正規方程式テーブルとして近似関数生成部２５２６に出力する。
【０９３１】
正規方程式生成部２５２５より正規方程式テーブルが出力されると、ステップＳ２５０６において、近似関数生成部２５２６は、正規方程式テーブルに基づいて、上述した式（１０１）の行列W_MATの各成分である特徴量w_i（即ち、近似関数f(x,y,t)の係数w_i）を演算する。
【０９３２】
具体的には、上述した式（１０１）の正規方程式は、次の式（１０２）のように変形できる。
【０９３３】
【数１０２】

・・・（１０２）
【０９３４】
式（１０２）において、左辺の行列W_MATの各成分が、求めたい特徴量w_iである。また、行列S_MATと行列P_MATのそれぞれの各成分は、正規方程式生成部２５２５より供給された正規方程式テーブルに含まれている。従って、近似関数生成部２５２６は、正規方程式テーブルを利用して、式（１０２）の右辺の行列演算を行うことで行列W_MATを演算し、その演算結果（特徴量w_i）を画像生成部１０３に出力する。
【０９３５】
ステップＳ２５０７において、近似関数生成部２５２６は、全画素の処理を終了したか否かを判定する。
【０９３６】
ステップＳ２５０７において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ２５０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ２５０２乃至Ｓ２５０７の処理が繰り返される。
【０９３７】
そして、全画素の処理が終了すると（ステップＳ２５０７において、全画素の処理が終了されたと判定されると）、実世界１の推定処理は終了となる。
【０９３８】
以上、説明したように、３次元近似手法は、１次元や２次元ではなく、時空間方向の３次元の積分効果を考慮しているので、１次元近似手法や２次元近似手法に比較して、より正確に実世界１の光信号を推定することが可能になる。
【０９３９】
次に、図８９乃至図１１０を参照して、画像生成部１０３（図３）の実施の形態の１例について説明する。
【０９４０】
図８９は、この例の実施の形態の原理を説明する図である。
【０９４１】
図８９で示されるように、この例の実施の形態においては、実世界推定部１０２が、関数近似手法を利用することが前提とされている。即ち、センサ２に入射される画像である、実世界１の信号（光の強度の分布）が、所定の関数Ｆで表されるとして、実世界推定部１０２が、センサ２から出力された入力画像（画素値Ｐ）と、データ定常性検出部１０１から出力されたデータ定常性情報を使用して、関数Ｆを所定の関数ｆで近似することによって、関数Ｆを推定することが前提とされている。
【０９４２】
なお、以下、この例の実施の形態の説明においても、画像である、実世界１の信号を、特に光信号と称し、関数Ｆを、特に光信号関数Ｆと称する。また、関数ｆを、特に近似関数fと称する。
【０９４３】
そこで、この例の実施の形態においては、このような前提に基づいて、画像生成部１０３が、データ定常性検出部１０１から出力されたデータ定常性情報と、実世界推定部１０２から出力された実世界推定情報（図８９の例では、近似関数fの特徴量、または特徴量が特定された近似関数f）を使用して、近似関数fを所定の時空間範囲で積分し、その積分値を出力画素値Ｍ（出力画像）として出力する。なお、この例の実施の形態においては、入力画像の画素と出力画像の画素を区別するために、入力画素値をＰと記述し、出力画素値をＭと記述する。
【０９４４】
換言すると、光信号関数Ｆが１度積分されて入力画素値Ｐとなり、その入力画素値Ｐから光信号関数Ｆが推測され（近似関数fで近似され）、推測された光信号関数Ｆ（即ち、近似関数f）が再度積分されて、出力画素値Ｍが生成される。従って、以下、画像生成部１０３が実行する近似関数fの積分を、再積分と称する。また、この例の実施の形態を、再積分手法と称する。
【０９４５】
なお、後述するように、再積分手法において、出力画素値Ｍが生成される場合の近似関数fの積分範囲は、入力画素値Ｐが生成される場合の光信号関数Ｆの積分範囲（即ち、空間方向においては、センサ２の検出素子の縦幅と横幅であり、時間方向においては、センサ２の露光時間である）に限定されず、任意の積分範囲とすることが可能である。
【０９４６】
例えば、出力画素値Ｍが生成される場合、近似関数fの積分範囲のうちの空間方向の積分範囲を可変することで、その積分範囲に応じて出力画像の画素ピッチを可変することが可能になる。即ち、空間解像度の創造が可能になる。
【０９４７】
同様に、例えば、出力画素値Ｍが生成される場合、近似関数fの積分範囲のうちの時間方向の積分範囲を可変することで、時間解像度の創造が可能になる。
【０９４８】
以下、図面を参照して、このような再積分手法のうちの３つの具体的な手法についてそれぞれ個別に説明していく。
【０９４９】
即ち、３つの具体的な手法とは、関数近似手法の３つの具体的な手法（実世界推定部１０２の実施の形態の上述した３つの具体的な例）のそれぞれに対応する再積分手法である。
【０９５０】
具体的には、１つ目の手法は、上述した１次元近似手法（関数近似手法の１手法）に対応する再積分手法である。従って、１つ目の手法では１次元の再積分を行うことになるので、以下、このような再積分手法を、１次元再積分手法と称する。
【０９５１】
２つ目の手法は、上述した２次元近似手法（関数近似手法の１手法）に対応する再積分手法である。従って、２つ目の手法では２次元の再積分を行うことになるので、以下、このような再積分手法を、２次元再積分手法と称する。
【０９５２】
３つ目の手法は、上述した３次元近似手法（関数近似手法の１手法）に対応する再積分手法である。従って、３つ目の手法では３次元の再積分を行うことになるので、以下、このような再積分手法を、３次元再積分手法と称する。
【０９５３】
以下、１次元再積分手法、２次元再積分手法、および３次元再積分手法のそれぞれの詳細について、その順番で説明していく。
【０９５４】
はじめに、１次元再積分手法について説明する。
【０９５５】
１次元再積分手法においては、１次元近似手法により近似関数f(x)が既に生成されていることが前提とされる。
【０９５６】
即ち、３次元の空間上の位置x,y、およびｚ、並びに時刻tを変数とする光信号関数F(x,y,t)を、空間方向であるX方向、Y方向、およびZ方向、並びに時間方向であるｔ方向のうちの所定の１方向（例えば、X方向）に射影した１次元の波形（再積分手法の説明においても、このような波形のうちのX方向に射影した波形を、X断面波形F(x)と称することにする）が、n次（nは、任意の整数）の多項式などの近似関数f(x)で近似されていることが前提とされる。
【０９５７】
この場合、１次元再積分手法においては、出力画素値Ｍは、次の式（１０３）のように演算される。
【０９５８】
【数１０３】

・・・（１０３）
【０９５９】
なお、式（１０３）において、x_sは、積分開始位置を表しており、x_eは、積分終了位置を表している。また、G_eは、所定のゲインを表している。
【０９６０】
具体的には、例えば、いま、実世界推測部１０２が、図９０で示されるような画素３１０１（センサ２の所定の１つの検出素子に対応する画素３１０１）を注目画素として、図９０で示されるような近似関数f(x)（Ｘ断面波形F(x)の近似関数f(x)）を既に生成しているとする。
【０９６１】
なお、図９０の例では、画素３１０１の画素値（入力画素値）がＰとされ、かつ、画素３１０１の形状が、１辺の長さが１の正方形とされている。また、空間方向のうちの、画素３１０１の１辺に平行な方向（図中水平方向）がＸ方向とされ、Ｘ方向に垂直な方向（図中垂直方向）がＹ方向とされている。
【０９６２】
また、図９０の下側に、画素３１０１の中心が原点とされる空間方向（Ｘ方向とＹ方向）の座標系（以下、注目画素座標系と称する）と、その座標系における画素３１０１が示されている。
【０９６３】
さらに、図９０の上方に、y＝０（yは、図中下側で示される注目画素座標系のY方向の座標値）における近似関数f(x)をグラフ化したものが示されている。このグラフにおいて、図中水平方向に平行な軸は、図中下側で示される注目画素座標系のX方向のx軸と同一の軸であり（原点も同一であり）、また、図中垂直方向に平行な軸は、画素値を表す軸とされている。
【０９６４】
この場合、近似関数f(x)と画素３１０１の画素値Pの間には、次の式（１０４）の関係が成立する。
【０９６５】
【数１０４】

・・・（１０４）
【０９６６】
また、図９０で示されるように、画素３１０１は、傾きG_fで表される空間方向のデータの定常性を有しているとする。そして、データ定常性検出部１０１（図８９）が、傾きG_fで表されるデータの定常性に対応するデータ定常性情報として、図９０で示されるような角度θを既に出力しているとする。
【０９６７】
この場合、例えば、１次元再積分方法においては、図９１で示されるように、Ｘ方向に−０．５乃至０．５の範囲、かつＹ方向に−０．５乃至０．５の範囲（図９０の画素３１０１が位置する範囲）に、４個の画素３１１１乃至画素３１１４を新たに創造することが可能である。
【０９６８】
なお、図９１の下側に、図９０のものと同一の注目画素座標系と、その注目画素座標系における画素３１１１乃至画素３１１４が示されている。また、図９１の上側に、図９０のものと同一のグラフ（y=0における近似関数f(x)をグラフ化したもの）が示されている。
【０９６９】
具体的には、図９１で示されるように、１次元再積分方法においては、次の式（１０５）により画素３１１１の画素値Ｍ（１）の算出が、次の式（１０６）により画素３１１２の画素値Ｍ（２）の算出が、次の式（１０７）により画素３１１３の画素値Ｍ（３）の算出が、次の式（１０８）により画素３１１４の画素値Ｍ（４）の算出が、それぞれ可能である。
【０９７０】
【数１０５】

・・・（１０５）
【０９７１】
【数１０６】

・・・（１０６）
【０９７２】
【数１０７】

・・・（１０７）
【０９７３】
【数１０８】

・・・（１０８）
【０９７４】
なお、式（１０５）のx_s1、式（１０６）のx_s2、式（１０７）のx_s3、および式（１０８）のx_s4のそれぞれは、対応する式の積分開始位置を表している。また、式（１０５）のx_e1、式（１０６）のx_e2、式（１０７）のx_e3、および式（１０８）のx_e4のそれぞれは、対応する式の積分終了位置を表している。
【０９７５】
式（１０５）乃至式（１０８）のそれぞれの右辺の積分範囲は、画素３１１１乃至画素３１１４のそれぞれの画素幅（Ｘ方向の長さ）となる。即ち、x_e1-x_s1,x_e2-x_s2,x_e3-x_s3,x_e4-x_s4のそれぞれは、０．５となる。
【０９７６】
ただし、いまの場合、y=0における近似関数f(x)と同一形状の１次元の波形が、Ｙ方向ではなく、傾きG_fで表されるデータの定常性の方向（即ち、角度θ方向）に連なっていると考えられる（実際には、y=0におけるＸ断面波形F(x)と同一形状の波形が定常性の方向に連なっている）。即ち、図９１の注目画素座標系における原点(0,0)（図９０の画素３１０１の中心）における画素値f(0)を画素値f1とした場合、画素値f1が続く方向は、Y方向ではなく、傾きG_fで表されるデータの定常性の方向（角度θ方向）である。
【０９７７】
換言すると、Y方向の所定の位置y（ただし、yは０以外の数値）における近似関数f(x)の波形を考えた場合、画素値f1となる位置は、位置（0,y）ではなく、位置（0,y）からX方向に所定の量（ここでも、このような量をシフト量と称することにする。また、シフト量は、Y方向の位置ｙに依存する量であるので、このシフト量をC_x(y)と記述することにする）だけ移動した位置（C_x(y),y）である。
【０９７８】
従って、上述した式（１０５）乃至式（１０８）のそれぞれの右辺の積分範囲として、求めたい画素値M（l）（ただし、ｌは、１乃至４のうちのいずれかの整数値）の中心が存在するY方向の位置ｙを考慮した範囲、即ち、シフト量C_x(y)を考慮した積分範囲の設定が必要である。
【０９７９】
具体的には、例えば、画素３１１１と画素３１１２の中心が存在するY方向の位置yは、y=０ではなく、y=0.25である。
【０９８０】
従って、y=0.25における近似関数f(x)の波形は、y=０における近似関数f(x)の波形をX方向にシフト量C_x(0.25)だけ移動させた波形に相当する。
【０９８１】
換言すると、上述した式（１０５）において、画素３１１１に対する画素値M(1)は、y=0における近似関数f(x)を所定の積分範囲（開始位置x_s1から終了位置x_e1まで）で積分したものであるとすると、その積分範囲は、開始位置x_s1＝-0.5から終了位置x_e1＝０までの範囲（画素３１１１がX方向に占める範囲そのもの）ではなく、図９１で示される範囲、即ち、開始位置x_s1＝-0.5＋C_x(0.25)から終了位置x_e1＝０＋C_x(0.25)（シフト量C_x(0.25)だけ画素３１１１を仮に移動させた場合における、画素３１１１がX方向に占める範囲）となる。
【０９８２】
同様に、上述した式（１０６）において、画素３１１２に対する画素値M(2)は、y=0における近似関数f(x)を所定の積分範囲（開始位置x_s2から終了位置x_e2まで）で積分したものであるとすると、その積分範囲は、開始位置x_s2＝０から終了位置x_e2＝0.5までの範囲（画素３１１２のX方向に占める範囲そのもの）ではなく、図９１で示される範囲、即ち、開始位置x_s2＝０＋C_x(0.25)から終了位置x_e1＝0.5＋C_x(0.25)（シフト量C_x(0.25)だけ画素３１１２を仮に移動させた場合における、画素３１１２のX方向に占める範囲）となる。
【０９８３】
また、例えば、画素３１１３と画素３１１４の中心が存在するY方向の位置yは、y=０ではなく、y=-0.25である。
【０９８４】
従って、y=-0.25における近似関数f(x)の波形は、y=０における近似関数f(x)の波形をX方向にシフト量C_x(-0.25)だけ移動させた波形に相当する。
【０９８５】
換言すると、上述した式（１０７）において、画素３１１３に対する画素値M(3)は、y=0における近似関数f(x)を所定の積分範囲（開始位置x_s3から終了位置x_e3まで）で積分したものであるとすると、その積分範囲は、開始位置x_s3＝-0.5から終了位置x_e3＝０までの範囲（画素３１１３のX方向に占める範囲そのもの）ではなく、図９１で示される範囲、即ち、開始位置x_s3＝-0.5＋C_x(-0.25)から終了位置x_e3＝０＋C_x(-0.25)（シフト量C_x(-0.25)だけ画素３１１３を仮に移動させた場合における、画素３１１３のX方向に占める範囲）となる。
【０９８６】
同様に、上述した式（１０８）において、画素３１１４に対する画素値M(4)は、y=0における近似関数f(x)を所定の積分範囲（開始位置x_s4から終了位置x_e4まで）で積分したものであるとすると、その積分範囲は、開始位置x_s4＝０から終了位置x_e4＝0.5までの範囲（画素３１１４のX方向の占める範囲そのもの）ではなく、図９１で示される範囲、即ち、開始位置x_s4＝０＋C_x(-0.25)から終了位置x_e1＝0.5＋C_x(-0.25)（シフト量C_x(-0.25)だけ画素３１１４を仮に移動させた場合における、画素３１１４のX方向に占める範囲）となる。
【０９８７】
従って、画像生成部１０２（図８９）は、上述した式（１０５）乃至式（１０８）のそれぞれに、上述した積分範囲のうちの対応するものを代入してそれぞれ演算し、それらの演算結果を出力画素値M(1)乃至M（４）のそれぞれとして出力することになる。
【０９８８】
このように、画像生成部１０２は、１次元再積分手法を利用することで、センサ２（図８９）からの出力画素３１０１（図９０）における画素として、出力画素３１０１よりも空間解像度の高い４つの画素、即ち、画素３１１１乃至画素３１１４（図９１）を創造することができる。さらに、図示はしないが、上述したように、画像生成部１０２は、画素３１１１乃至画素３１１４のみならず、積分範囲を適宜変えることで、出力画素３１０１に対して任意の倍率の空間解像度の画素を劣化することなく創造することができる。
【０９８９】
図９２は、このような１次元再積分手法を利用する画像生成部１０３の構成例を表している。
【０９９０】
図９２で示されるように、この例の画像生成部１０３には、条件設定部３１２１、特徴量記憶部３１２２、積分成分演算部３１２３、および出力画素値演算部３１２４が設けられている。
【０９９１】
条件設定部３１２１は、実世界推定部１０２より供給された実世界推定情報（図９２の例では、近似関数f(x)の特徴量）に基づいて近似関数f(x)の次数nを設定する。
【０９９２】
条件設定部３１２１はまた、近似関数f(x)を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部３１２１が設定する積分範囲は、画素の幅である必要は無い。例えば、近似関数f（x）は空間方向（X方向）に積分されるので、センサ２（図８９）からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部１０３がこれから演算する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な積分範囲の決定が可能である。従って、条件設定部３１２１は、積分範囲として、例えば、空間解像度倍率を設定することもできる。
【０９９３】
特徴量記憶部３１２２は、実世界推定部１０２より順次供給されてくる近似関数f(x)の特徴量を一次的に記憶する。そして、特徴量記憶部３１２２は、近似関数f（ｘ）の特徴量の全てを記憶すると、近似関数f(x)の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部３１２４に供給する。
【０９９４】
ところで、上述したように、画像生成部１０３は、上述した式（１０３）を利用して出力画素値Mを演算するが、上述した式（１０３）の右辺に含まれる近似関数f(x)は、具体的には、次の式（１０９）のように表される。
【０９９５】
【数１０９】

・・・（１０９）
【０９９６】
なお、式（１０９）において、w_iは、実世界推定部１０２より供給される近似関数f(x)の特徴量を表している。
【０９９７】
従って、上述した式（１０３）の右辺の近似関数f(x)に、式（１０９）の近似関数f（x）を代入して、式（１０３）の右辺を展開（演算）すると、出力画素値Mは、次の式（１１０）のように表される。
【０９９８】
【数１１０】

・・・（１１０）
【０９９９】
式（１１０）において、K_i（x_s,x_e）は、i次項の積分成分を表している。即ち、積分成分K_i（x_s,x_e）は、次の式（１１１）で示される通りである。
【１０００】
【数１１１】

・・・（１１１）
【１００１】
積分成分演算部３１２３は、この積分成分K_i（x_s,x_e）を演算する。
【１００２】
具体的には、式（１１１）で示されるように、積分成分K_i（x_s,x_e）は、積分範囲の開始位置x_s、および終了位置x_e、ゲインG_e、並びにi次項のiが既知であれば演算可能である。
【１００３】
これらのうちの、ゲインG_eは、条件設定部３１２１により設定された空間解像度倍率（積分範囲）により決定される。
【１００４】
iの範囲は、条件設定部３１２１により設定された次数nにより決定される。
【１００５】
また、積分範囲の開始位置x_s、および終了位置x_eのそれぞれは、これから生成する出力画素の中心画素位置(x,y)および画素幅、並びにデータの定常性の方向を表すシフト量C_x(y)により決定される。なお、(x,y)は、実世界推定部１０２が近似関数f(x)を生成したときの注目画素の中心位置からの相対位置を表している。
【１００６】
さらに、これから生成する出力画素の中心画素位置(x,y)および画素幅のそれぞれは、条件設定部３１２１により設定された空間解像度倍率（積分範囲）により決定される。
【１００７】
また、シフト量C_x(y)と、データ定常性検出部１０１より供給された角度θは、次の式（１１２）と式（１１３）のような関係が成り立つので、シフト量C_x(y)は角度θにより決定される。
【１００８】
【数１１２】

・・・（１１２）
【１００９】
【数１１３】

・・・（１１３）
【１０１０】
なお、式（１１２）において、G_fは、データの定常性の方向を表す傾きを表しており、θは、データ定常性検出部１０１（図８９）より出力されるデータ定常性情報の１つである角度（空間方向の１方向であるＸ方向と、傾きG_fで表されるデータの定常性の方向とのなす角度）を表している。また、dxは、Ｘ方向の微小移動量を表しており、dyは、dxに対するＹ方向（Ｘ方向と垂直な空間方向）の微小移動量を表している。
【１０１１】
従って、積分成分演算部３１２３は、条件設定部３１２１により設定された次数および空間解像度倍率（積分範囲）、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θに基づいて積分成分K_i（x_s,x_e）を演算し、その演算結果を積分成分テーブルとして出力画素値演算部３１２４に供給する。
【１０１２】
出力画素値演算部３１２４は、特徴量記憶部３１２２より供給された特徴量テーブルと、積分成分演算部３１２３より供給された積分成分テーブルを利用して、上述した式（１１０）の右辺を演算し、その演算結果を出力画素値Mとして外部に出力する。
【１０１３】
次に、図９３のフローチャートを参照して、１次元再積分手法を利用する画像生成部１０３（図９２）の画像の生成の処理（図２９のステップＳ１０３の処理）について説明する。
【１０１４】
例えば、いま、上述した図２９のステップＳ１０２の処理で、実世界推測部１０２が、上述した図９０で示されるような画素３１０１を注目画素として、図９０で示されるような近似関数f(x)を既に生成しているとする。
【１０１５】
また、上述した図２９のステップＳ１０１の処理で、データ定常性検出部１０１が、データ定常性情報として、図９０で示されるような角度θを既に出力しているとする。
【１０１６】
この場合、図９３のステップＳ３１０１において、条件設定部３１２１は、条件（次数と積分範囲）を設定する。
【１０１７】
例えば、いま、次数として５が設定されるとともに、積分範囲として空間４倍密（画素のピッチ幅が上下左右ともに1/2倍となる空間解像度倍率）が設定されたとする。
【１０１８】
即ち、この場合、図９１で示されるように、Ｘ方向に−０．５乃至０．５の範囲、かつＹ方向に−０．５乃至０．５の範囲（図９０の画素３１０１の範囲）に、４個の画素３１１１乃至画素３１１４を新たに創造することが設定されたことになる。
【１０１９】
ステップＳ３１０２において、特徴量記憶部３１２２は、実世界推定部１０２より供給された近似関数f(x)の特徴量を取得し、特徴量テーブルを生成する。いまの場合、５次の多項式である近似関数f(x)の係数w₀乃至w₅が実世界推定部１０２より供給されるので、特徴量テーブルとして、（w₀,w₁,w₂,w₃,w₄,w₅）が生成される。
【１０２０】
ステップＳ３１０３において、積分成分演算部３１２３は、条件設定部３１２１により設定された条件（次数および積分範囲）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【１０２１】
具体的には、例えば、これから生成する画素３１１１乃至画素３１１４のそれぞれに対して、番号（このような番号を、以下、モード番号と称する）１乃至４のそれぞれが付されているとすると、積分成分演算部３１２３は、上述した式（１１１）の積分成分K_i（x_s,x_e）を、次の式（１１４）の左辺で示される積分成分K_i(l)といったl（ただし、ｌはモード番号を表している）の関数として演算する。
【１０２２】
【数１１４】

・・・（１１４）
【１０２３】
具体的には、いまの場合、次の式（１１５）で示される積分成分K_i(l)が演算される。
【１０２４】
【数１１５】

・・・（１１５）
【１０２５】
なお、式（１１５）において、左辺が積分成分K_i(l)を表し、右辺が積分成分K_i（x_s,x_e）を表している。即ち、いまの場合、lは、１乃至４のうちのいずれかであり、かつ、iは０乃至５のうちのいずれかであるので、６個のK_i(１),６個のK_i(２),６個のK_i(３),６個のK_i(４)の総計２４個のK_i(l)が演算されることになる。
【１０２６】
より具体的には、はじめに、積分成分演算部３１２３は、データ定常性検出部１０１より供給された角度θを使用して、上述した式（１１２）と式（１１３）よりシフト量C_x(-0.25)、およびC_x(0.25)のそれぞれを演算する。
【１０２７】
次に、積分成分演算部３１２３は、演算したシフト量C_x(-0.25)、およびC_x(0.25)を使用して、式（１１５）の４つの式の各右辺の積分成分K_i（x_s,x_e）のそれぞれを、i＝０乃至５についてそれぞれ演算する。なお、この積分成分K_i（x_s,x_e）の演算においては、上述した式（１１１）が使用される。
【１０２８】
そして、積分成分演算部３１２３は、式（１１５）に従って、演算した２４個の積分成分K_i（x_s,x_e）のそれぞれを、対応する積分成分K_i(l)に変換し、変換した２４個の積分成分K_i(l)（即ち、６個のK_i(1)、６個のK_i(2)、６個のK_i(3)、および６個のK_i(4)）を含む積分成分テーブルを生成する。
【１０２９】
なお、ステップＳ３１０２の処理とステップＳ３１０３の処理の順序は、図９３の例に限定されず、ステップＳ３１０３の処理が先に実行されてもよいし、ステップＳ３１０２の処理とステップＳ３１０３の処理が同時に実行されてもよい。
【１０３０】
次に、ステップＳ３１０４において、出力画素値演算部３１２４は、ステップＳ３１０２の処理で特徴量記憶部３１２２により生成された特徴量テーブルと、ステップＳ３１０３の処理で積分成分演算部３１２３により生成された積分成分テーブルに基づいて出力画素値M(1)乃至M(4)のそれぞれを演算する。
【１０３１】
具体的には、いまの場合、出力画素値演算部３１２４は、上述した式（１１０）に対応する、次の式（１１６）乃至式（１１９）の右辺を演算することで、画素３１１１（モード番号１の画素）の画素値M(1)、画素３１１２（モード番号２の画素）の画素値M(2)、画素３１１３（モード番号３の画素）の画素値M(3)、および画素３１１４（モード番号４の画素）の画素値M(4)のそれぞれを演算する。
【１０３２】
【数１１６】

・・・（１１６）
【１０３３】
【数１１７】

・・・（１１７）
【１０３４】
【数１１８】

・・・（１１８）
【１０３５】
【数１１９】

・・・（１１９）
【１０３６】
ステップＳ３１０５において、出力画素値演算部３１２４は、全画素の処理を終了したか否かを判定する。
【１０３７】
ステップＳ３１０５において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ３１０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ３１０２乃至Ｓ３１０４の処理が繰り返される。
【１０３８】
そして、全画素の処理が終了すると（ステップＳ３１０５において、全画素の処理が終了されたと判定すると）、出力画素値演算部３１２４は、ステップＳ３１０６において、画像を出力する。その後、画像の生成の処理は終了となる。
【１０３９】
次に、図９４乃至図１０１を参照して、所定の入力画像に対して、１次元再積分手法を適用して得られた出力画像と、他の手法（従来のクラス分類適応処理）を適用して得られた出力画像の違いについて説明する。
【１０４０】
図９４は、入力画像の元の画像を示す図であり、図９５は、図９４の元の画像に対応する画像データを示している。図９５において、図中垂直方向の軸は、画素値を示し、図中右下方向の軸は、画像の空間方向の一方向であるＸ方向を示し、図中右上方向の軸は、画像の空間方向の他の方向であるＹ方向を示す。なお、後述する図９７、図９９、および図１０１の軸のそれぞれは、図９５の軸と対応している。
【１０４１】
図９６は、入力画像の例を示す図である。図９６で示される入力画像は、図９４で示される画像の２×２の画素からなるブロックに属する画素の画素値の平均値を、１つの画素の画素値として生成された画像である。即ち、入力画像は、図９４で示される画像に、センサの積分特性を模した、空間方向の積分を適用することにより得られた画像である。また、図９７は、図９６の入力画像に対応する画像データを示している。
【１０４２】
図９４で示される元の画像において、上下方向から、ほぼ５度時計方向に傾いた細線の画像が含まれている。同様に、図９６で示される入力画像において、上下方向から、ほぼ５度時計方向に傾いた細線の画像が含まれている。
【１０４３】
図９８は、図９６で示される入力画像に、従来のクラス分類適応処理を適用して得られた画像（以下、図９８で示される画像を、従来の画像と称する）を示す図である。また、図９９は、従来の画像に対応する画像データを示している。
【１０４４】
なお、クラス分類適応処理は、上述したように、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理では、例えば、低画質または標準画質の画像が、所定のタップ係数を用いてマッピング（写像）されることにより、高画質の画像に変換される。
【１０４５】
図１００は、図９６で示される入力画像に、１次元再積分手法を適用して得られた画像（以下、図１００で示される画像を、再積分画像と称する）を示す図である。また、図１０１は、再積分画像に対応する画像データを示している。
【１０４６】
図９８の従来の画像と、図１００の再積分画像を比較するに、従来の画像においては、細線の画像が、図９４の元の画像とは異なるものになっているのに対して、再積分画像においては、細線の画像が、図９４の元の画像とほぼ同じものになっていることがわかる。
【１０４７】
この違いは、従来のクラス分類適応処理は、あくまでも図９６の入力画像を基準（原点）として処理を行う手法であるのに対して、１次元再積分手法は、細線の定常性を考慮して、図９４の元の画像を推定し（元の画像に対応する近似関数f(x)を生成し）、推定した元の画像を基準（原点）として処理を行う（再積分して画素値を演算する）手法であるからである。
【１０４８】
このように、１次元再積分手法においては、１次元近似手法により生成された１次元の多項式などの近似関数f(x)（実世界のX断面波形F(x)の近似関数f(x)）を基準（原点）として、近似関数f(x)を任意の範囲に積分することで出力画像（画素値）が生成される。
【１０４９】
従って、１次元再積分手法においては、従来の他の手法に比較して、元の画像（センサ２に入射される前の実世界１の光信号）により近い画像の出力が可能になる。
【１０５０】
また、１次元再積分手法においては、上述したように、積分範囲は任意なので、積分範囲を可変することにより、入力画像の解像度とは異なる解像度（時間解像度、または空間解像度）を創造することも可能になる。即ち、入力画像の解像度に対して、整数値だけではなく任意の倍率の解像度の画像を生成することが可能になる。
【１０５１】
さらに、１次元再積分手法においては、他の再積分手法に比較して、より少ない演算処理量で出力画像（画素値）の算出が可能となる。
【１０５２】
次に、図１０２乃至図１０８を参照して、２次元再積分手法について説明する。
【１０５３】
２次元再積分手法においては、２次元近似手法により近似関数f(x,y)が既に生成されていることが前提とされる。
【１０５４】
即ち、例えば、図１０２で示されるような、傾きG_Fで表される空間方向の定常性を有する実世界１（図８９）の光信号を表す画像関数F(x,y,t)を、空間方向（Ｘ方向とＹ方向）に射影した波形、即ち、Ｘ−Ｙ平面上の波形F(x,y)が、n次（nは、任意の整数）の多項式などの近似関数f(x,y)に近似されていることが前提とされる。
【１０５５】
図１０２において、図中、水平方向は、空間方向の１方向であるＸ方向を、右上方向は、空間方向の他方向であるＹ方向を、垂直方向は、光のレベルを、それぞれ表している。G_Fは、空間方向の定常性の傾きを表している。
【１０５６】
なお、図１０２の例では、定常性の方向は、空間方向（Ｘ方向とＹ方向）とされているため、近似の対象とされる光信号の射影関数は、関数F(x,y)とされているが、後述するように、定常性の方向に応じて、関数F(x,t)や関数F(y,t)が近似の対象とされてもよい。
【１０５７】
図１０２の例の場合、２次元再積分手法においては、出力画素値Ｍは、次の式（１２０）のように演算される。
【１０５８】
【数１２０】

・・・（１２０）
【１０５９】
なお、式（１２０）において、y_sは、Ｙ方向の積分開始位置を表しており、y_eは、Ｙ方向の積分終了位置を表している。同様に、x_sは、Ｘ方向の積分開始位置を表しており、x_eは、Ｘ方向の積分終了位置を表している。また、G_eは、所定のゲインを表している。
【１０６０】
式（１２０）において、積分範囲は任意に設定可能であるので、２次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ２（図８９）からの入力画像の画素）に対して任意の倍率の空間解像度の画素を劣化することなく創造することが可能になる。
【１０６１】
図１０３は、２次元再積分手法を利用する画像生成部１０３の構成例を表している。
【１０６２】
図１０３で示されるように、この例の画像生成部１０３には、条件設定部３２０１、特徴量記憶部３２０２、積分成分演算部３２０３、および出力画素値演算部３２０４が設けられている。
【１０６３】
条件設定部３２０１は、実世界推定部１０２より供給された実世界推定情報（図１０３の例では、近似関数f(x,y)の特徴量）に基づいて近似関数f(x,y)の次数nを設定する。
【１０６４】
条件設定部３２０１はまた、近似関数f(x,y)を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部３２０１が設定する積分範囲は、画素の縦幅や横幅である必要は無い。例えば、近似関数f（x,y）は空間方向（X方向とY方向）に積分されるので、センサ２からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部１０３がこれから生成する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な積分範囲の決定が可能である。従って、条件設定部３２０１は、積分範囲として、例えば、空間解像度倍率を設定することもできる。
【１０６５】
特徴量記憶部３２０２は、実世界推定部１０２より順次供給されてくる近似関数f(x,y)の特徴量を一次的に記憶する。そして、特徴量記憶部３２０２は、近似関数f(x,y)の特徴量の全てを記憶すると、近似関数f(x,y)の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部３２０４に供給する。
【１０６６】
ここで、近似関数f(x,y)の詳細について説明する。
【１０６７】
例えば、いま、上述した図１０２で示されるような傾きG_Fで表される空間方向の定常性を有する実世界１（図８９）の光信号（波形F(x,y）で表される光信号)が、センサ２（図８９）により検出されて入力画像（画素値）として出力されたとする。
【１０６８】
さらに、例えば、図１０４で示されるように、データ定常性検出部１０１（図３）が、この入力画像のうちの、Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素（図中、点線で表される２０個の正方形）から構成される入力画像の領域３２２１に対してその処理を実行し、データ定常性情報の１つとして角度θ（傾きG_Fに対応する傾きG_fで表されるデータの定常性の方向と、Ｘ方向とのなす角度θ）を出力したとする。
【１０６９】
なお、実世界推定部１０２から見ると、データ定常性検出部１０１は、注目画素における角度θを単に出力すればよいので、データ定常性検出部１０１の処理範囲は、上述した入力画像の領域３２２１に限定されない。
【１０７０】
また、入力画像の領域３２２１において、図中水平方向は、空間方向の1方向であるＸ方向を表しており、図中垂直方向は、空間方向の他方向であるＹ方向を表している。
【１０７１】
さらに、図１０４中、左から２画素目であって、下から３画素目の画素が注目画素とされ、その注目画素の中心を原点(0,0)とするように(x,y)座標系が設定されている。そして、原点(0,0)を通る角度θの直線（データの定常性の方向を表す傾きG_fの直線）に対するＸ方向の相対的な距離（以下、断面方向距離と称する）がx’とされている。
【１０７２】
さらに、図１０４中、右側のグラフは、３次元の空間上の位置x,y、およびｚ、並びに時刻tを変数とする画像関数F(x,y,t)を、Ｙ方向の任意の位置yにおいて、X方向に射影した１次元の波形（以下、このような波形を、X断面波形F(x’)と称する）が近似された関数であって、n次（nは、任意の整数）の多項式などの近似関数f(x’)を表している。右側のグラフの軸のうち、図中水平方向の軸は、断面方向距離を表しており、図中垂直方向の軸は、画素値を表している。
【１０７３】
この場合、図１０４で示される近似関数f(x’)は、ｎ次の多項式であるので、次の式（１２１）のように表される。
【１０７４】
【数１２１】

・・・（１２１）
【１０７５】
また、角度θが決定されていることから、原点(0,0)を通る角度θの直線は一意に決まり、Ｙ方向の任意の位置yにおける、直線のＸ方向の位置x_lが、次の式（１２２）のように表される。ただし、式（１２２）において、sはcotθを表している。
【１０７６】
【数１２２】

・・・（１２２）
【１０７７】
即ち、図１０４で示されるように、傾きG_fで表されるデータの定常性に対応する直線上の点は、座標値(x_l,y)で表される。
【１０７８】
式（１２２）より、断面方向距離x’は、次の式（１２３）のように表される。
【１０７９】
【数１２３】

・・・（１２３）
【１０８０】
従って、入力画像の領域３２２１内の任意の位置(x,y)における近似関数f(x,y)は、式（１２１）と式（１２３）より、次の式（１２４）のように示される。
【１０８１】
【数１２４】

・・・（１２４）
【１０８２】
なお、式（１２４）において、w_iは、近似関数f(x,y)の特徴量を表している。
【１０８３】
図１０３に戻り、式（１２４）に含まれる特徴量w_iが、実世界推定部１０２より供給され、特徴量記憶部３２０２に記憶される。特徴量記憶部３２０２は、式（１２４）で表される特徴量w_iの全てを記憶すると、特徴量w_iを全て含む特徴量テーブルを生成し、出力画素値演算部３２０４に供給する。
【１０８４】
また、上述した式（１２０）の右辺の近似関数f(x,y)に、式（１２４）の近似関数f（x,y）を代入して、式（１２０）の右辺を展開（演算）すると、出力画素値Mは、次の式（１２５）のように表される。
【１０８５】
【数１２５】

・・・（１２５）
【１０８６】
式（１２５）において、K_i（x_s,x_e,y_s,y_e）は、i次項の積分成分を表している。即ち、積分成分K_i（x_s,x_e,y_s,y_e）は、次の式（１２６）で示される通りである。
【１０８７】
【数１２６】

・・・（１２６）
【１０８８】
積分成分演算部３２０３は、この積分成分K_i（x_s,x_e,y_s,y_e）を演算する。
【１０８９】
具体的には、式（１２５）と式（１２６）で示されるように、積分成分K_i（x_s,x_e,y_s,y_e）は、積分範囲のＸ方向の開始位置x_s、およびＸ方向の終了位置x_e、積分範囲のＹ方向の開始位置y_s、およびＹ方向の終了位置y_e、変数ｓ、ゲインG_e、並びにi次項のiが既知であれば演算可能である。
【１０９０】
これらのうちの、ゲインG_eは、条件設定部３２０１により設定された空間解像度倍率（積分範囲）により決定される。
【１０９１】
iの範囲は、条件設定部３２０１により設定された次数nにより決定される。
【１０９２】
変数ｓは、上述したように、cotθであるので、データ定常性検出部１０１より出力される角度θにより決定される。
【１０９３】
また、積分範囲のＸ方向の開始位置x_s、およびＸ方向の終了位置x_e、並びに、積分範囲のＹ方向の開始位置y_s、およびＹ方向の終了位置y_eのそれぞれは、これから生成する出力画素の中心画素位置(x,y)および画素幅により決定される。なお、(x,y)は、実世界推定部１０２が近似関数f(x)を生成したときの注目画素の中心位置からの相対位置を表している。
【１０９４】
さらに、これから生成する出力画素の中心画素位置(x,y)および画素幅のそれぞれは、条件設定部３２０１により設定された空間解像度倍率（積分範囲）により決定される。
【１０９５】
従って、積分成分演算部３２０３は、条件設定部３２０１により設定された次数および空間解像度倍率（積分範囲）、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θに基づいて積分成分K_i（x_s,x_e,y_s,y_e）を演算し、その演算結果を積分成分テーブルとして出力画素値演算部３２０４に供給する。
【１０９６】
出力画素値演算部３２０４は、特徴量記憶部３２０２より供給された特徴量テーブルと、積分成分演算部３２０３より供給された積分成分テーブルを利用して、上述した式（１２５）の右辺を演算し、その演算結果を出力画素値Mとして外部に出力する。
【１０９７】
次に、図１０５のフローチャートを参照して、２次元再積分手法を利用する画像生成部１０３（図１０４）の画像の生成の処理（図２９のステップＳ１０３の処理）について説明する。
【１０９８】
例えば、いま、図１０２で示される関数F(x,y)で表される光信号がセンサ２に入射されて入力画像となり、上述した図２９のステップＳ１０２の処理で、実世界推測部１０２が、その入力画像のうちの、図１０６で示されるような１つの画素３２３１を注目画素として、関数F(x,y)を近似する近似関数f(x,y)を既に生成しているとする。
【１０９９】
なお、図１０６において、画素３２３１の画素値（入力画素値）がＰとされ、かつ、画素３２３１の形状が、１辺の長さが１の正方形とされている。また、空間方向のうちの、画素３２３１の１辺に平行な方向がＸ方向とされ、Ｘ方向に垂直な方向がＹ方向とされている。さらに、画素３２３１の中心が原点とされる空間方向（Ｘ方向とＹ方向）の座標系（以下、注目画素座標系と称する）が設定されている。
【１１００】
また、図１０６において、上述した図２９のステップＳ１０１の処理で、データ定常性検出部１０１が、画素３２３１を注目画素として、傾きG_fで表されるデータの定常性に対応するデータ定常性情報として、角度θを既に出力しているとする。
【１１０１】
図１０５に戻り、この場合、ステップＳ３２０１において、条件設定部３２０１は、条件（次数と積分範囲）を設定する。
【１１０２】
例えば、いま、次数として５が設定されるとともに、積分範囲として空間４倍密（画素のピッチ幅が上下左右ともに1/2倍となる空間解像度倍率）が設定されたとする。
【１１０３】
即ち、この場合、図１０７で示されるように、Ｘ方向に−０．５乃至０．５の範囲、かつＹ方向に−０．５乃至０．５の範囲（図１０６の画素３２３１の範囲）に、４個の画素３２４１乃至画素３２４４を新たに創造することが設定されたことになる。なお、図１０７においても、図１０６のものと同一の注目画素座標系が示されている。
【１１０４】
また、図１０７において、M(1)は、これから生成される画素３２４１の画素値を、M(2)は、これから生成される画素３２４２の画素値を、M(3)は、これから生成される画素３２４３の画素値を、M(4)は、これから生成される画素３２４１の画素値を、それぞれ表している。
【１１０５】
図１０５に戻り、ステップＳ３２０２において、特徴量記憶部３２０２は、実世界推定部１０２より供給された近似関数f(x,y)の特徴量を取得し、特徴量テーブルを生成する。いまの場合、５次の多項式である近似関数f(x)の係数w₀乃至w₅が実世界推定部１０２より供給されるので、特徴量テーブルとして、（w₀,w₁,w₂,w₃,w₄,w₅）が生成される。
【１１０６】
ステップＳ３２０３において、積分成分演算部３２０３は、条件設定部３２０１により設定された条件（次数および積分範囲）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【１１０７】
具体的には、例えば、これから生成される画素３２４１乃至画素３２４４のそれぞれに対して、番号（このような番号を、以下、モード番号と称する）１乃至４のそれぞれが付されているとすると、積分成分演算部３２０３は、上述した式（１２５）の積分成分K_i（x_s,x_e,y_s,y_e）を、次の式（１２７）の左辺で示される積分成分K_i(l)といったl（ただし、ｌはモード番号を表している）の関数として演算する。
【１１０８】
【数１２７】

・・（１２７）
【１１０９】
具体的には、いまの場合、次の式（１２８）で示される積分成分K_i(l)が演算される。
【１１１０】
【数１２８】

・・・（１２８）
【１１１１】
なお、式（１２８）において、左辺が積分成分K_i(l)を表し、右辺が積分成分K_i（x_s,x_e,y_s,y_e）を表している。即ち、いまの場合、lは、１乃至４のうちのいずれかであり、かつ、iは０乃至５のうちのいずれかであるので、６個のK_i(１),６個のK_i(２),６個のK_i(３),６個のK_i(４)の総計２４個のK_i(l)が演算されることになる。
【１１１２】
より具体的には、はじめに、積分成分演算部３２０３は、データ定常性検出部１０１より供給された角度θを使用して、上述した式（１２２）の変数ｓ（ｓ＝cotθ）を演算する。
【１１１３】
次に、積分成分演算部３２０３は、演算した変数ｓを使用して、式（１２８）の４つの式の各右辺の積分成分K_i（x_s,x_e,y_s,y_e）のそれぞれを、i＝０乃至５についてそれぞれ演算する。なお、この積分成分K_i（x_s,x_e,y_s,y_e）の演算においては、上述した式（１２５）が使用される。
【１１１４】
そして、積分成分演算部３２０３は、式（１２８）に従って、演算した２４個の積分成分K_i（x_s,x_e,y_s,y_e）のそれぞれを、対応する積分成分K_i(l)に変換し、変換した２４個の積分成分K_i(l)（即ち、６個のK_i(1)、６個のK_i(2)、６個のK_i(3)、および６個のK_i(4)）を含む積分成分テーブルを生成する。
【１１１５】
なお、ステップＳ３２０２の処理とステップＳ３２０３の処理の順序は、図１０５の例に限定されず、ステップＳ３２０３の処理が先に実行されてもよいし、ステップＳ３２０２の処理とステップＳ３２０３の処理が同時に実行されてもよい。
【１１１６】
次に、ステップＳ３２０４において、出力画素値演算部３２０４は、ステップＳ３２０２の処理で特徴量記憶部３２０２により生成された特徴量テーブルと、ステップＳ３２０３の処理で積分成分演算部３２０３により生成された積分成分テーブルに基づいて出力画素値M(1)乃至M(4)のそれぞれを演算する。
【１１１７】
具体的には、いまの場合、出力画素値演算部３２０４は、上述した式（１２５）に対応する、次の式（１２９）乃至式（１３２）の右辺のそれぞれを演算することで、図１０７で示される、画素３２４１（モード番号１の画素）の画素値M(1)、画素３２４２（モード番号２の画素）の画素値M(2)、画素３２４３（モード番号３の画素）の画素値M(3)、および画素３２４４（モード番号４の画素）の画素値M(4)のそれぞれを演算する。
【１１１８】
【数１２９】

・・・（１２９）
【１１１９】
【数１３０】

・・・（１３０）
【１１２０】
【数１３１】

・・・（１３１）
【１１２１】
【数１３２】

・・・（１３２）
【１１２２】
ただし、いまの場合、式（１２９）乃至式（１３２）のnは全て５となる。
【１１２３】
ステップＳ３２０５において、出力画素値演算部３２０４は、全画素の処理を終了したか否かを判定する。
【１１２４】
ステップＳ３２０５において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ３２０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ３２０２乃至Ｓ３２０４の処理が繰り返される。
【１１２５】
そして、全画素の処理が終了すると（ステップＳ３２０５において、全画素の処理が終了されたと判定すると）、出力画素値演算部３２０４は、ステップＳ３２０６において、画像を出力する。その後、画像の生成の処理は終了となる。
【１１２６】
このように、２次元再積分手法を利用することで、センサ２（図８９）からの入力画像の画素３２３１（図１０６）における画素として、入力画素３２３１よりも空間解像度の高い４つの画素、即ち、画素３２４１乃至画素３２４４（図１０７）を創造することができる。さらに、図示はしないが、上述したように、画像生成部１０３は、画素３２４１乃至画素３２４４のみならず、積分範囲を適宜変えることで、入力画素３２３１に対して任意の倍率の空間解像度の画素を劣化することなく創造することができる。
【１１２７】
以上、２次元再積分手法の説明として、空間方向（X方向とY方向）に対する近似関数f(x,y)を２次元積分する例を用いたが、２次元再積分手法は、時空間方向（X方向とt方向、または、Y方向とｔ方向）に対しても適用可能である。
【１１２８】
即ち、上述した例は、実世界１（図８９）の光信号が、例えば、図１０２で示されるような傾きG_Fで表される空間方向の定常性を有する場合の例であったので、上述した式（１２０）で示されるような、空間方向（X方向とY方向）の二次元積分が含まれる式が利用された。しかしながら、二次元積分の考え方は、空間方向だけによるものではなく、時空間方向（X方向とt方向、または、Y方向とｔ方向）に対して適用することも可能である。
【１１２９】
換言すると、２次元再積分手法の前提となる２次元近似手法においては、光信号を表す画像関数F(x,y,t)が、空間方向の定常性のみならず、時空間方向（ただし、X方向とt方向、または、Y方向とｔ方向）の定常性を有している場合であっても、２次元の近似関数fにより近似することが可能である。
【１１３０】
具体的には、例えば、X方向に水平に等速で動いている物体がある場合、その物体の動きの方向は、図１０８で示されるようなX-t平面においては、傾きV_Fのように表される。換言すると、傾きV_Fは、X-t平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部１０１（図８９）は、上述した角度θ（X-Y平面における、空間方向の定常性を表す傾きG_Fに対応するデータ定常性情報）と同様に、X-t平面における時空間方向の定常性を表す傾きV_Fに対応するデータ定常性情報として、図１０８で示されるような動きθ（厳密には、図示はしないが、傾きV_Fに対応する傾きV_fで表されるデータの定常性の方向と、空間方向のＸ方向とのなす角度である動きθ）を出力することが可能である。
【１１３１】
また、２次元近似手法を利用する実世界推定部１０２（図８９）は、動きθを上述した角度θの代わりとして使用すれば、上述した方法と同様な方法で、近似関数f(x,t)の係数（特徴量）w_iを演算することが可能になる。ただし、この場合、使用される式は、上述した式（１２４）ではなく、次の式（１３３）である。
【１１３２】
【数１３３】

・・・（１３３）
【１１３３】
なお、式（１３３）において、ｓはcotθ（ただし、θは動きである）である。
【１１３４】
従って、２次元再積分手法を利用する画像生成部１０３（図８９）は、次の式（１３４）の右辺に、上述した式（１３３）のf(x,t)を代入して、演算することで、画素値Mを算出することが可能になる。
【１１３５】
【数１３４】

・・・（１３４）
【１１３６】
なお、式（１３４）において、t_sは、ｔ方向の積分開始位置を表しており、t_eは、ｔ方向の積分終了位置を表している。同様に、x_sは、Ｘ方向の積分開始位置を表しており、x_eは、Ｘ方向の積分終了位置を表している。G_eは、所定のゲインを表している。
【１１３７】
また、空間方向Ｘの変わりに、空間方向Ｙに注目した近似関数f（y,t）も、上述した近似関数f(x,t)と全く同様に取り扱うことが可能である。
【１１３８】
ところで、式（１３３）において、ｔ方向を一定とみなし、即ち、ｔ方向の積分を無視して積分することで、時間方向には積分されないデータ、即ち、動きボケのないデータを得ることが可能になる。換言すると、この手法は、２次元の近似関数fのうちの所定の１次元を一定として再積分する点で、２次元再積分手法の１つとみなしてもよいし、実際には、Ｘ方向の１次元の再積分をすることになるという点で、１次元再積分手法の１つとみなしてもよい。
【１１３９】
また、式（１３４）において、積分範囲は任意に設定可能であるので、２次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ２（図８９）からの入力画像の画素）に対して任意の倍率の解像度の画素を劣化することなく創造することが可能になる。
【１１４０】
即ち、２次元再積分手法においては、時間方向ｔの積分範囲を適宜変えることで、時間解像度の創造が可能になる。また、空間方向Ｘ（または、空間方向Ｙ）の積分範囲を適宜変えることで、空間解像度の創造が可能になる。さらに、時間方向ｔと空間方向Ｘの積分範囲のそれぞれを適宜変えることで、時間解像度と空間解像度の両方の創造が可能になる。
【１１４１】
なお、上述したように、時間解像度と空間解像度のうちのいずれか一方の創造は、１次元再積分手法でも可能であるが、両方の解像度の創造は、１次元再積分手法では原理上不可能であり、２次元以上の再積分を行うことではじめて可能になる。即ち、２次元再積分手法と後述する３次元再積分手法ではじめて、両方の解像度の創造が可能になる。
【１１４２】
また、２次元再積分手法は、１次元ではなく２次元の積分効果を考慮しているので、より実世界１（図８９）の光信号に近い画像を生成することも可能になる。
【１１４３】
次に、図１０９と図１１０を参照して、３次元再積分手法について説明する。
【１１４４】
３次元再積分手法においては、３次元近似手法により近似関数f(x,y,t)が既に生成されていることが前提とされる。
【１１４５】
この場合、３次元再積分手法においては、出力画素値Ｍは、次の式（１３５）のように演算される。
【１１４６】
【数１３５】

・・・（１３５）
【１１４７】
なお、式（１３５）において、t_sは、ｔ方向の積分開始位置を表しており、t_eは、ｔ方向の積分終了位置を表している。同様に、y_sは、Ｙ方向の積分開始位置を表しており、y_eは、Ｙ方向の積分終了位置を表している。また、x_sは、Ｘ方向の積分開始位置を表しており、x_eは、Ｘ方向の積分終了位置を表している。さらに、G_eは、所定のゲインを表している。
【１１４８】
式（１３５）において、積分範囲は任意に設定可能であるので、３次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ２（図８９）からの入力画像の画素）に対して任意の倍率の時空間解像度の画素を劣化することなく創造することが可能になる。即ち、空間方向の積分範囲を小さくすれば、画素ピッチを自由に細かくできる。逆に、空間方向の積分範囲を大きくすれば、画素ピッチを自由に大きくすることができる。また、時間方向の積分範囲を小さくすれば、実世界波形に基づいて時間解像度を創造できる。
【１１４９】
図１０９は、３次元再積分手法を利用する画像生成部１０３の構成例を表している。
【１１５０】
図１０９で示されるように、この例の画像生成部１０３には、条件設定部３３０１、特徴量記憶部３３０２、積分成分演算部３３０３、および出力画素値演算部３３０４が設けられている。
【１１５１】
条件設定部３３０１は、実世界推定部１０２より供給された実世界推定情報（図１０９の例では、近似関数f(x,y,t)の特徴量）に基づいて近似関数f(x,y,t)の次数nを設定する。
【１１５２】
条件設定部３３０１はまた、近似関数f(x,y,t)を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部３３０１が設定する積分範囲は、画素の幅（縦幅と横幅）やシャッタ時間そのものである必要は無い。例えば、センサ２（図８９）からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部１０３がこれから生成する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な空間方向の積分範囲の決定が可能である。同様に、センサ２（図８９）のシャッタ時間に対する出力画素値の相対的な時間（時間解像度の倍率）がわかれば、具体的な時間方向の積分範囲の決定が可能である。従って、条件設定部３３０１は、積分範囲として、例えば、空間解像度倍率や時間解像度倍率を設定することもできる。
【１１５３】
特徴量記憶部３３０２は、実世界推定部１０２より順次供給されてくる近似関数f(x,y,t)の特徴量を一次的に記憶する。そして、特徴量記憶部３３０２は、近似関数f(x,y,t)の特徴量の全てを記憶すると、近似関数f(x,y,t)の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部３３０４に供給する。
【１１５４】
ところで、上述した式（１３５）の右辺の近似関数f(x,y)の右辺を展開（演算）すると、出力画素値Mは、次の式（１３６）のように表される。
【１１５５】
【数１３６】

・・・（１３６）
【１１５６】
式（１３６）において、K_i（x_s,x_e,y_s,y_e,t_s,t_e）は、i次項の積分成分を表している。ただし、x_sはX方向の積分範囲の開始位置を、x_eはX方向の積分範囲の終了位置を、y_sはY方向の積分範囲の開始位置を、y_eはY方向の積分範囲の終了位置を、t_sはt方向の積分範囲の開始位置を、t_eはｔ方向の積分範囲の終了位置を、それぞれ表している。
【１１５７】
積分成分演算部３３０３は、この積分成分K_i（x_s,x_e,y_s,y_e,t_s,t_e）を演算する。
【１１５８】
具体的には、積分成分演算部３３０３は、条件設定部３３０１により設定された次数、および積分範囲（空間解像度倍率や時間解像度倍率）、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θまたは動きθに基づいて積分成分K_i（x_s,x_e,y_s,y_e,t_s,t_e）を演算し、その演算結果を積分成分テーブルとして出力画素値演算部３３０４に供給する。
【１１５９】
出力画素値演算部３３０４は、特徴量記憶部３３０２より供給された特徴量テーブルと、積分成分演算部３３０３より供給された積分成分テーブルを利用して、上述した式（１３６）の右辺を演算し、その演算結果を出力画素値Mとして外部に出力する。
【１１６０】
次に、図１１０のフローチャートを参照して、３次元再積分手法を利用する画像生成部１０３（図１０９）の画像の生成の処理（図２９のステップＳ１０３の処理）について説明する。
【１１６１】
例えば、いま、上述した図２９のステップＳ１０２の処理で、実世界推測部１０２（図８９）が、入力画像のうちの、所定の画素を注目画素として、実世界１（図８９）の光信号を近似する近似関数f(x,y,t)を既に生成しているとする。
【１１６２】
また、上述した図２９のステップＳ１０１の処理で、データ定常性検出部１０１（図８９）が、実世界推定部１０２と同じ画素を注目画素として、データ定常性情報として、角度θまたは動きθを既に出力しているとする。
【１１６３】
この場合、図１１０のステップＳ３３０１において、条件設定部３３０１は、条件（次数と積分範囲）を設定する。
【１１６４】
ステップＳ３３０２において、特徴量記憶部３３０２は、実世界推定部１０２より供給された近似関数f(x,y,t)の特徴量w_iを取得し、特徴量テーブルを生成する。
【１１６５】
ステップＳ３３０３において、積分成分演算部３３０３は、条件設定部３３０１により設定された条件（次数および積分範囲）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θまたは動きθ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【１１６６】
なお、ステップＳ３３０２の処理とステップＳ３３０３の処理の順序は、図１１０の例に限定されず、ステップＳ３３０３の処理が先に実行されてもよいし、ステップＳ３３０２の処理とステップＳ３３０３の処理が同時に実行されてもよい。
【１１６７】
次に、ステップＳ３３０４において、出力画素値演算部３３０４は、ステップＳ３３０２の処理で特徴量記憶部３３０２により生成された特徴量テーブルと、ステップＳ３３０３の処理で積分成分演算部３３０３により生成された積分成分テーブルに基づいて各出力画素値のそれぞれを演算する。
【１１６８】
ステップＳ３３０５において、出力画素値演算部３３０４は、全画素の処理を終了したか否かを判定する。
【１１６９】
ステップＳ３３０５において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ３３０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ３３０２乃至Ｓ３３０４の処理が繰り返される。
【１１７０】
そして、全画素の処理が終了すると（ステップＳ３３０５において、全画素の処理が終了されたと判定すると）、出力画素値演算部３３０４は、ステップＳ３３０６において、画像を出力する。その後、画像の生成の処理は終了となる。
【１１７１】
このように、上述した式（１３５）において、その積分範囲は任意に設定可能であるので、３次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ２（図８９）からの入力画像の画素）に対して任意の倍率の解像度の画素を劣化することなく創造することが可能になる。
【１１７２】
即ち、３次元再積分手法においては、時間方向の積分範囲を適宜変えることで、時間解像度の創造が可能になる。また、空間方向の積分範囲を適宜変えることで、空間解像度の創造が可能になる。さらに、時間方向と空間方向の積分範囲のそれぞれを適宜変えることで、時間解像度と空間解像度の両方の創造が可能になる。
【１１７３】
具体的には、３次元再積分手法においては、２次元や１次元に落とすときの近似がないので精度の高い処理が可能になる。また、斜め方向の動きも２次元に縮退することなく処理することが可能になる。さらに、２次元に縮退していないので各次元の加工が可能になる。例えば、２次元再積分手法において、空間方向（Ｘ方向とＹ方向）に縮退している場合には時間方向であるｔ方向の加工ができなくなってしまう。これに対して、３次元再積分手法においては、時空間方向のいずれの加工も可能になる。
【１１７４】
なお、上述したように、時間解像度と空間解像度のうちのいずれか一方の創造は、１次元再積分手法でも可能であるが、両方の解像度の創造は、１次元再積分手法では原理上不可能であり、２次元以上の再積分を行うことではじめて可能になる。即ち、上述した２次元再積分手法と３次元再積分手法ではじめて、両方の解像度の創造が可能になる。
【１１７５】
また、３次元再積分手法は、１次元や２次元ではなく３次元の積分効果を考慮しているので、より実世界１（図８９）の光信号に近い画像を生成することも可能になる。
【１１７６】
次に、図３の信号処理装置４においては、データ定常性検出部１０１においてデータの定常性が検出され、実世界推定部１０２において、その定常性に基づき、実世界１の信号の波形の推定、即ち、例えば、Ｘ断面波形Ｆ（ｘ）を近似する近似関数が求められる。
【１１７７】
このように、信号処理装置４では、定常性に基づいて、実世界１の信号の波形の推定が行われるため、データ定常性検出部１０１で検出される定常性が誤っていたり、あるいは、その検出精度が悪い場合には、実世界１の信号の波形の推定精度も悪くなる。
【１１７８】
また、信号処理装置４では、ここでは、例えば、画像である、実世界１の信号が有する定常性に基づいて信号処理を行うため、実世界１の信号のうちの定常性が存在する部分に対しては、他の信号処理装置の信号処理に比べて、精度のよい信号処理を実行することができ、その結果、より実世界１の信号に対応する画像に近い画像を出力することが可能になる。
【１１７９】
しかしながら、信号処理装置４は、定常性に基づいて信号処理を実行する以上、実世界１の信号のうちの明確な定常性が存在しない部分に対しては、定常性が存在する部分に対する処理と同等の精度で、信号処理を実行することができず、その結果、実世界１の信号に対応する画像に対して誤差を含む画像を出力することになる。
【１１８０】
従って、信号処理装置４において実世界１の信号に対応する画像より近い画像を得るためには、信号処理装置４による信号処理の対象とする処理領域や、信号処理装置４で用いる定常性の精度などが問題となる。
【１１８１】
そこで、図１１１は、図１の信号処理装置４の他の一実施の形態の構成例を示している。
【１１８２】
図１１１では、信号処理装置４は、処理領域設定部10001、定常性設定部10002、実世界推定部10003、画像生成部10004、画像表示部10005、およびユーザＩ／Ｆ(Interface)10006から構成されている。
【１１８３】
図１１１に構成を示す信号処理装置４には、データ３の一例である画像データ（入力画像）が、センサ２（図１）から入力され、その入力画像は、処理領域設定部10001、定常性設定部10002、実世界推定部10003、画像生成部10004、および画像表示部10005に供給される。
【１１８４】
処理領域設定部10001は、入力画像について、処理領域を設定し、その処理領域を特定する処理領域情報を、定常性設定部10002、実世界推定部10003、および画像生成部10004に供給する。
【１１８５】
定常性設定部10002は、処理領域設定部10001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域の画像データにおいて欠落した実世界１の信号の定常性を設定し、その定常性を表す定常性情報を、実世界推定部10003および画像生成部10004に供給する。
【１１８６】
実世界推定部10003は、モデル生成部10011、方程式生成部10012、および実世界波形推定部10013から構成され、処理領域内の画像データから、対応する実世界１の信号の定常性に応じて、その実世界１の信号を推定する。
【１１８７】
即ち、モデル生成部10011は、処理領域設定部10001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域を構成する画素と、その処理領域の画像データに対応する実世界１の信号の定常性に応じて、処理領域内の各画素の画素値と実世界１の信号との関係をモデル化したモデルとしての関数を生成し、方程式生成部10012に供給する。
【１１８８】
方程式生成部10012は、処理領域設定部10001から供給される処理領域情報から、入力画像における処理領域を認識する。さらに、方程式生成部10012は、その処理領域を構成する各画素の画素値を、モデル生成部10011から供給されるモデルとしての関数に代入し、これにより、方程式を生成して、実世界波形推定部10013に供給する。
【１１８９】
実世界波形推定部10013は、方程式生成部10012から供給される方程式を演算することにより、実世界１の信号の波形を推定する。即ち、実世界波形推定部10013は、方程式生成部10012から供給される方程式を解くことにより、実世界１の信号を近似する近似関数を求め、その近似関数を、実世界１の信号の波形の推定結果として、画像生成部10004に供給する。ここで、実世界１の信号を近似する近似関数には、引数の値にかかわらず、関数値が一定の関数も含まれる。
【１１９０】
画像生成部10004は、実世界推定部10003で推定された実世界１の信号の波形を表す近似関数と、定常性設定部10002から供給される定常性情報とに基づいて、実世界１の信号により近似した信号を生成する。即ち、画像生成部10004は、処理領域設定部10001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部10003（の実世界波形推定部10013）から供給される近似関数と、定常性設定部10002から供給される定常性情報とに基づき、実世界１の信号に対応する画像により近似した画像データを生成する。
【１１９１】
さらに、画像生成部10004は、入力画像と、近似関数に基づいて生成した画像データ（以下、適宜、近似画像ともいう）とを合成し、入力画像の処理領域の部分を、近似画像に置き換えた画像を生成し、その画像を、出力画像として画像表示部10005に供給する。
【１１９２】
画像表示部10005は、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)で構成され、入力画像や、画像生成部10004から供給される出力画像を表示する。
【１１９３】
なお、画像表示部10005は、１または複数のCRTやLCDで構成することが可能である。画像表示部10005を１つのCRTやLCDで構成する場合には、その１つのCRTやLCDの画面を複数の画面に分割し、ある画面に入力画像を表示するとともに、他の画面に出力画像を表示するようにすることができる。さらに、画像表示部10005を複数のCRTやLCDで構成する場合には、ある１つのCRTやLCDに入力画像を表示するとともに、他のCRTやLCDに出力画像を表示するようにすることができる。
【１１９４】
また、画像表示部10005は、ユーザＩ／Ｆ10006の出力に応じて、各種の表示を行う。即ち、画像表示部10005は、例えば、カーソルを表示し、ユーザがカーソルを移動するようにユーザＩ／Ｆ10006を操作した場合、その操作に応じて、カーソルを移動させる。また、画像表示部10005は、例えば、ユーザが所定の範囲を選択するようにユーザＩ／Ｆ10006を操作した場合、その操作に応じて、画面上の選択された範囲を囲む枠を表示する。
【１１９５】
ユーザＩ／Ｆ10006は、ユーザによって操作され、そのユーザの操作に応じて、例えば、処理領域、定常性、または現実世界の信号のうちの少なくとも１つに関連する情報を、処理領域設定部10001、定常性設定部10002、または実世界推定部10003に供給する。
【１１９６】
即ち、ユーザは、画像表示部10005に表示された入力画像や出力画像を見て、その入力画像や出力画像に対する入力を与えるように、ユーザＩ／Ｆ10006を操作する。ユーザＩ／Ｆ10006は、ユーザの操作に応じて、処理領域、定常性、または現実世界の信号に関連する情報を、処理領域設定部10001、定常性設定部10002、または実世界推定部10003の処理を補助する補助情報として、処理領域設定部10001、定常性設定部10002、または実世界推定部10003に供給する。
【１１９７】
処理領域設定部10001、定常性設定部10002、または実世界推定部10003は、ユーザＩ／Ｆ10006から補助情報が供給された場合、その補助情報に基づき、処理領域の設定、定常性の設定、または実世界１の信号の推定を、それぞれ行う。
【１１９８】
但し、処理領域設定部10001、定常性設定部10002、または実世界推定部10003では、補助情報を用いずに、即ち、ユーザによって、ユーザＩ／Ｆ10006が操作されなくても、処理領域の設定、定常性の設定、または実世界１の信号の推定を、それぞれ行うことが可能である。
【１１９９】
具体的には、処理領域設定部10001では、図３０乃至図４８で説明したように、図３のデータ定常性検出部１０１における場合と同様にして、入力画像から、定常領域を検出し、例えば、その定常領域を囲む矩形（長方形）の領域を、処理領域として設定することができる。
【１２００】
また、定常性設定部10002では、図４９乃至図５７で説明したように、図３のデータ定常性検出部１０１における場合と同様にして、入力画像から、データの定常性を検出し、そのデータの定常性に基づき、対応する実世界１の信号の定常性を設定すること、即ち、例えば、データの定常性を、そのまま実世界１の信号の定常性として設定することができる。
【１２０１】
さらに、実世界推定部10003では、図５８乃至図８８で説明したように、図３の実世界推定部１０２における場合と同様にして、処理領域設定部10001で設定された処理領域の画像データから、定常性設定部10002で設定された定常性に応じて、実世界１の信号を推定することができる。なお、図３では、実世界推定部１０２において、実世界１の信号の推定に、データの定常性を用いたが、実世界１の信号の推定には、データの定常性に代えて、対応する実世界１の信号の定常性を用いることができる。
【１２０２】
次に、図１１２のフローチャートを参照して、図１１１の信号処理装置４の処理について説明する。
【１２０３】
まず最初に、ステップS10001において、信号処理装置４は、前処理を行い、ステップＳ10002に進む。即ち、信号処理装置４は、センサ２（図１）からデータ３として供給される、例えば１フレームまたは１フィールドの入力画像を、処理領域設定部10001、定常性設定部10002、実世界推定部10003、画像生成部10004、および画像表示部10005に供給する。さらに、信号処理部４は、画像表示部10005に、入力画像を表示させる。
【１２０４】
ステップS10002では、ユーザＩ／Ｆ10006は、ユーザがユーザＩ／Ｆ10006を操作することにより、何らかのユーザ入力があったかどうかを判定する。ステップS10002において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップS10003乃至S10005をスキップして、ステップＳ10006に進む。
【１２０５】
また、ステップS10002において、ユーザ入力があったと判定された場合、即ち、ユーザが、画像表示部10005に表示された入力画像を見て、ユーザＩ／Ｆ10006を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップＳ10003に進み、ユーザＩ／Ｆ10006は、そのユーザ入力が、信号処理装置４の処理の終了を指示する終了指示であるかどうかを判定する。
【１２０６】
ステップS10003において、ユーザ入力が終了指示であると判定された場合、信号処理装置４は処理を終了する。
【１２０７】
また、ステップS10003において、ユーザ入力が終了指示でないと判定された場合、ステップS10004に進み、ユーザＩ／Ｆ10006は、ユーザ入力が補助情報であるかどうかを判定する。ステップS10004において、ユーザ入力が補助情報でないと判定された場合、ステップS10005をスキップして、ステップS10006に進む。
【１２０８】
また、ステップS10004において、ユーザ入力が補助情報であると判定された場合、ステップS10005に進み、ユーザＩ／Ｆ10006は、その補助情報を、処理領域設定部10001、定常性設定部10002、または実世界推定部10006に供給し、ステップＳ10006に進む。
【１２０９】
ステップS10006では、処理領域設定部10001は、入力画像について、処理領域を設定し、その処理領域を特定する処理領域情報を、定常性設定部10002、実世界推定部10003、および画像生成部10004に供給し、ステップS10007に進む。ここで、処理領域設定部10001は、直前に行われたステップS10005においてユーザＩ／Ｆ10006から補助情報が供給された場合は、その補助情報を用いて、処理領域の設定を行う。
【１２１０】
ステップS10007では、定常性設定部10002は、処理領域設定部10001から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部10002は、その処理領域の画像データにおいて欠落した実世界１の信号の定常性を設定し、その定常性を表す定常性情報を、実世界推定部10003に供給して、ステップＳ10008に進む。ここで、定常性設定部10002は、直前に行われたステップS10005においてユーザＩ／Ｆ10006から補助情報が供給された場合は、その補助情報を用いて、定常性の設定を行う。
【１２１１】
ステップS10008では、実世界推定部10003は、入力画像における処理領域内の画像データについて、対応する実世界１の信号の定常性に応じて、その実世界１の信号を推定する。
【１２１２】
即ち、実世界推定部10003では、モデル生成部10011が、処理領域設定部10001から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部10002から供給される定常性情報から、処理領域の画像データに対応する実世界１の信号の定常性を認識する。さらに、モデル生成部10011は、入力画像における処理領域を構成する画素と、その処理領域の画像データに対応する実世界１の信号の定常性に応じて、処理領域内の各画素の画素値と実世界１の信号との関係をモデル化したモデルとしての関数を生成し、方程式生成部10012に供給する。
【１２１３】
方程式生成部10012は、処理領域設定部10001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域を構成する入力画像の各画素の画素値を、モデル生成部10011から供給されるモデルとしての関数に代入し、これにより、実世界１の信号を近似する近似関数を求める方程式を生成して、実世界波形推定部10013に供給する。
【１２１４】
実世界波形推定部10013は、方程式生成部10012から供給される方程式を演算することにより、実世界１の信号の波形を推定する。即ち、実世界波形推定部10013は、方程式生成部10012から供給される方程式を解くことにより、実世界１の信号をモデル化したモデルとしての近似関数を求め、その近似関数を、実世界１の信号の波形の推定結果として、画像生成部10004に供給する。
【１２１５】
なお、実世界推定部10003においては、モデル生成部10011および方程式生成部10012は、直前に行われたステップS10005においてユーザＩ／Ｆ10006から補助情報が供給された場合は、その補助情報を用いて、処理を行う。
【１２１６】
ステップS10008の処理後は、ステップS10009に進み、画像生成部10004は、実世界推定部10003（の実世界波形推定部10013）から供給された、実世界１の信号の波形を近似する近似関数に基づいて、実世界１の信号により近似した信号を生成する。即ち、画像生成部10004は、処理領域設定部10001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部10003から供給された近似関数に基づき、実世界１の信号に対応する画像により近似した画像データである近似画像を生成する。さらに、画像生成部10004は、入力画像の処理領域の部分を近似画像に置き換えた画像を、出力画像として生成し、画像表示部10005に供給して、ステップS10009からS10010に進む。
【１２１７】
ステップS10010では、画像表示部10005は、画像生成部10004から供給された出力画像を、ステップS10001で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップS10011に進む。
【１２１８】
ステップS10011では、ユーザＩ／Ｆ10006は、ステップS10002における場合と同様に、ユーザがユーザＩ／Ｆ10006を操作することにより、何らかのユーザ入力があったかどうかを判定し、ユーザ入力がなかったと判定した場合、即ち、ユーザが何らの操作も行わなかった場合、ステップS10011に戻り、何らかのユーザ入力があるまで待つ。
【１２１９】
また、ステップS10011において、ユーザ入力があったと判定された場合、即ち、ユーザが、画像表示部10005に表示された入力画像や出力画像を見て、ユーザＩ／Ｆ10006を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップＳ10012に進み、ユーザＩ／Ｆ10006は、そのユーザ入力が、信号処理装置４の処理の終了を指示する終了指示であるかどうかを判定する。
【１２２０】
ステップS10012において、ユーザ入力が終了指示であると判定された場合、信号処理装置４は処理を終了する。
【１２２１】
また、ステップS10012において、ユーザ入力が終了指示でないと判定された場合、ステップS10013に進み、ユーザＩ／Ｆ10006は、ユーザ入力が補助情報であるかどうかを判定する。ステップS10013において、ユーザ入力が補助情報でないと判定された場合、ステップS10011に戻り、以下、同様の処理が繰り返される。
【１２２２】
また、ステップS10013において、ユーザ入力が補助情報であると判定された場合、ステップS10005に戻り、上述したように、ユーザＩ／Ｆ10006は、その補助情報を、処理領域設定部10001、定常性設定部10002、または実世界推定部10006に供給する。そして、ステップS10005からＳ10006に進み、以下、同様の処理が繰り返される。
【１２２３】
以上のように、図１１１の信号処理装置４によれば、ユーザの操作に応じて、処理領域設定部10001、定常性設定部10002、または実世界推定部10003の処理を補助する補助情報を、ユーザＩ／Ｆ10006から処理領域設定部10001、定常性設定部10002、または実世界推定部10003に供給し、処理領域設定部10001、定常性設定部10002、または実世界推定部10003において、ユーザＩ／Ｆ10006からの補助情報に基づき、処理領域の設定、定常性の設定、または実世界１の信号の推定を行うので、処理領域設定部10001、定常性設定部10002、または実世界推定部10003の処理精度を向上させ、例えば、ユーザの好みにあった、高画質の出力画像を得ることが可能となる。
【１２２４】
次に、図１１１に示した信号処理装置４の各種の応用例について説明する。
【１２２５】
図１１３は、図１１１に示した信号処理装置４の応用例の一実施の形態の構成例を示している。
【１２２６】
なお、図１１３は、例えば、一定方向に一定の速さで移動するという定常性を有するデータ３の一例である動きボケが発生した画像データ（以下、適宜、動きボケ画像データと称する）から、実世界１の光信号を推定する信号処理装置４の一実施の形態の構成例を示している。即ち、この信号処理装置４は、例えば、撮影時に被写体（オブジェクト）が動いたことにより、被写体がボケて撮影されてしまった画像（以下、適宜、動きボケ画像と称する）から、そのボケがない画像（以下、適宜、動きボケのない画像と称する）を推定する。従って、図１１３の実施の形態では、入力画像として、移動しているオブジェクトを撮影することにより得られた動きボケが生じている動きボケ画像が、信号処理装置４に入力される。なお、ここでは、入力画像として、水平方向（左から右方向）に一定の速さ（動き量）で移動しているオブジェクトを撮像して得られる画像を採用する。
【１２２７】
図１１３において、処理領域設定部12001、定常性設定部12002、実世界推定部12003、画像生成部12004、画像表示部12005、ユーザＩ／Ｆ12006は、図１１１の処理領域設定部10001、定常性設定部10002、実世界推定部10003、画像生成部10004、画像表示部10005、ユーザＩ／Ｆ10006にそれぞれ対応しており、基本的には、処理領域設定部10001、定常性設定部10002、実世界推定部10003、画像生成部10004、画像表示部10005、ユーザＩ／Ｆ10006それぞれと同様の処理を行う。さらに、図１１３において、実世界推定部12003は、モデル生成部12011、方程式生成部12012、実世界波形推定部12013で構成されている。モデル生成部12011、方程式生成部12012、実世界波形推定部12013は、図１１１のモデル生成部10011、方程式生成部10012、実世界波形推定部10013にそれぞれ対応しており、基本的には、モデル生成部10011、方程式生成部10012、実世界波形推定部10013それぞれと同様の処理を行う。
【１２２８】
但し、図１１３においては、ユーザがユーザＩ／Ｆ12006を操作することにより、ユーザＩ／Ｆ12006が出力する補助情報が、処理領域設定部12001のみに供給されるようになっている。
【１２２９】
即ち、図１１３では、ユーザは、ユーザＩ／Ｆ12006を操作することにより、画像表示部12005に表示された画像に対して、処理領域とする領域を指示することができるようになっており、ユーザＩ／Ｆ12006は、ユーザが処理領域を指示する操作を行うと、その操作によって指定された領域としての処理領域を表す処理領域指示情報を、処理領域設定部12001に供給する。
【１２３０】
なお、ユーザＩ／Ｆ12006を操作することにより処理領域を指示する方法としては、例えば、処理領域を囲む矩形によって指示する方法、処理領域をトリム(trim)することによって指示する方法、処理領域の中の任意の１点以上をポインティングすることによって指示する方法などがあるが、ここでは、例えば、ユーザは、処理領域の中の任意の１点を、ユーザＩ／Ｆ12006を操作することによりポインティングすることによって、処理領域を指示するものとする。この場合、ユーザＩ／Ｆ12006は、ユーザがポインティングした点を表す情報としての、例えば、その点の、画像上の座標を、処理領域指示情報として、処理領域設定部12001に供給する。
【１２３１】
次に、図１１４のフローチャートを参照して、図１１３の信号処理装置４の処理について説明する。
【１２３２】
まず最初に、ステップS12001において、信号処理装置４は、前処理を行い、ステップS12002に進む。即ち、信号処理装置４は、センサ２（図１）からデータ３として供給される、例えば１フレームまたは１フィールドの入力画像を、処理領域設定部12001、定常性設定部12002、実世界推定部12003、画像生成部12004、および画像表示部12005に供給する。さらに、信号処理部４は、画像表示部12005に、入力画像を表示させる。
【１２３３】
ステップS12002では、ユーザＩ／Ｆ12006は、ユーザがユーザＩ／Ｆ12006を操作することにより、何らかのユーザ入力があったかどうかを判定する。ステップS12002において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップS12003乃至S12005をスキップして、ステップS12006に進む。
【１２３４】
また、ステップS12002において、ユーザ入力があったと判定された場合、即ち、ユーザが画像表示部12005に表示された入力画像を見て、ユーザＩ／Ｆ12006を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップS12003に進み、ユーザＩ／Ｆ12006は、そのユーザ入力が、信号処理装置４の処理の終了を指示する終了指示であるかどうかを判定する。
【１２３５】
ステップS12003において、ユーザ入力が終了指示であると判定された場合、即ち、例えば、画像表示部12005に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じず、入力画像に対して信号処理を施さないで良いとして、信号処理装置４の処理を終了するように、ユーザＩ／Ｆ12006を操作した場合、信号処理装置４は処理を終了する。
【１２３６】
また、ステップS12003において、ユーザ入力が終了指示でないと判定された場合、ステップS12004に進み、ユーザＩ／Ｆ12006は、ユーザ入力が処理領域指示情報であるかどうかを判定する。ステップS12004において、ユーザ入力が処理領域指示情報でないと判定された場合、ステップS12005をスキップして、ステップS12006に進む。
【１２３７】
一方、ステップS12004において、処理領域指示情報の入力があったと判定された場合、即ち、画像表示部12005に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じ、その不満のある箇所をポインティングするように、ユーザＩ／Ｆ12006を操作した場合、ステップＳ12005に進み、ユーザＩ／Ｆ12006は、ユーザがユーザＩ／Ｆ12006を操作することによってポインティングした点を表す処理領域指示情報を、処理領域設定部12001に供給し、ステップS12006に進む。
【１２３８】
ステップS12006では、処理領域設定部12001は、ユーザＩ／Ｆ12006から供給された処理領域指示情報に基づいて、処理領域を設定し、その処理領域情報を、定常性設定部12002、実世界推定部12003、および画像生成部12004に供給し、ステップS12007に進む。但し、ユーザＩ／Ｆ12006から処理領域設定部12001に処理領域指示情報が供給されなかった場合（ステップS12002またはステップS12004の処理の直後にステップS12006の処理が行われる場合）には、処理領域設定部12001は、所定の処理（例えば、入力画像において動きボケが生じている領域を検出する処理）を行うことにより、自動的に処理領域を設定する。
【１２３９】
ステップS12007では、定常性設定部12002は、処理領域設定部12001から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部12002は、その処理領域の画像データにおいて欠落した実世界１の光信号の定常性を表す情報として、処理領域に表示されたオブジェクトの動き量を設定し、その定常性を表す定常性情報を、実世界推定部12003に供給して、ステップＳ12008に進む。なお、この動き量は、ユーザがユーザＩ／Ｆ12006を操作して入力しても良い。また、ここでは、定常性設定部12002は、入力画像において、オブジェクトが水平方向に移動していることを前提として、その動きの大きさだけを表す動き量を定常性情報として設定するようにしたが、その他、オブジェクトの動きの大きさと方向を表す動きベクトルを定常性情報として設定することも可能である。
【１２４０】
ステップS12008では、実世界推定部12003は、処理領域設定部12001から供給された処理領域情報に応じて、入力画像における処理領域内の画像データ（動きボケ画像のデータ）から、対応する実世界１の光信号の動き量に基づいて、その実世界１の光信号（動きボケのない画像）を推定する。
【１２４１】
即ち、実世界推定部12003では、モデル生成部12011が、処理領域設定部12001から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部12002から供給される定常性情報から、処理領域の画像データに対応する実世界１の光信号の動き量、つまり、ここでは、処理領域に表示されたオブジェクトの動き量を認識する。さらに、モデル生成部12011は、入力画像における処理領域の各水平ラインを構成する画素と、その処理領域の画像データに対応する実世界１の光信号の動き量に応じて、処理領域の各水平ラインの画素の画素値と実世界１の光信号との関係をモデル化したモデル（以下、適宜、関係モデルという）を処理領域の水平ラインごとに生成し、方程式生成部12012に供給する。
【１２４２】
方程式生成部12012は、処理領域設定部12001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域に応じて、入力画像の各画素の画素値を、モデル生成部12011から供給される処理領域の水平ラインごとの関係モデルに代入し、これにより、実世界１の光信号を近似する近似モデルとしての近似関数を求める方程式を生成して、実世界波形推定部12013に供給する。さらに、方程式生成部12012は、処理領域情報に基づいて、近似関数を拘束する拘束条件式を生成し、実世界波形推定部12013に供給する。
【１２４３】
実世界波形推定部12013は、方程式生成部12012から供給される方程式を演算することにより、実世界１の光信号の波形を推定する。即ち、実世界波形推定部12013は、方程式生成部12012から供給される方程式を解くことにより、実世界１の光信号をモデル化した近似モデルとしての近似関数を求め、実世界１の光信号の波形の推定結果として、画像生成部12004に供給する。
【１２４４】
なお、以下、このような実世界推定部12003が実行するステップS12008の処理を、「実世界の推定処理」と称する。「実世界の推定処理」の詳細については、図１１９のフローチャートを参照して後述する。
【１２４５】
ステップS12008の処理後は、ステップS12009に進み、画像生成部12004は、実世界推定部12003（の実世界波形推定部12013）から供給された、実世界１の光信号の波形を近似する近似関数に基づいて、実世界１の光信号により近似した信号を生成する。即ち、画像生成部12004は、処理領域設定部12001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部12003から供給される近似関数に基づき、実世界１の光信号により近似した近似画像（ここでは、例えば、動きボケのない画像）を生成する。
【１２４６】
さらに、画像生成部12004は、入力画像の処理領域の部分を、近似画像（動きボケのない画像）に置き換えた画像を、出力画像として生成し、画像表示部12005に供給して、ステップS12009からS12010に進む。
【１２４７】
ステップS12010では、画像表示部12005は、画像生成部12004から供給された出力画像を、ステップS12001で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップS12011に進む。
【１２４８】
ステップS12011では、ユーザＩ／Ｆ12006は、ステップS12002における場合と同様に、ユーザがユーザＩ／Ｆ12006を操作することにより、何らかのユーザ入力があったかどうかを判定し、ユーザ入力がなかったと判定した場合、即ち、ユーザが何らの操作も行わなかった場合、ステップS12011に戻り、何らかのユーザ入力があるまで待つ。
【１２４９】
また、ステップS12011において、ユーザ入力があったと判定された場合、即ち、ユーザが、画像表示部12005に表示された入力画像や出力画像を見て、ユーザＩ／Ｆ12006を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップS12012に進み、ユーザＩ／Ｆ12006は、そのユーザ入力が、信号処理装置４の処理の終了を指示する終了指示であるかどうかを判定する。
【１２５０】
ステップS12012において、ユーザ入力が終了指示であると判定された場合、即ち、例えば、画像表示部12005に表示された出力画像を見たユーザが、その出力画像の画質に不満を感じず、出力画像に対して信号処理を施さないで良いとして、信号処理装置４の処理を終了するように、ユーザＩ／Ｆ12006を操作した場合、信号処理装置４は処理を終了する。
【１２５１】
また、ステップS12012において、ユーザ入力が終了指示でないと判定された場合、ステップS12013に進み、ユーザＩ／Ｆ12006は、ユーザ入力が処理領域指示情報であるかどうかを判定する。ステップS12013において、ユーザ入力が処理領域指示情報でないと判定された場合、ステップS12011に戻り、以下、同様の処理が繰り返される。
【１２５２】
また、ステップS12013において、ユーザ入力が処理領域指示情報であると判定された場合、即ち、画像表示部12005に表示された出力画像を見たユーザが、その出力画像の画質に不満を感じ、その出力画像に対して、新たにその不満のある箇所をポインティングするように、ユーザＩ／Ｆ12006を操作した場合、ステップＳ12005に戻り、上述したように、ユーザＩ／Ｆ12006は、ユーザがユーザＩ／Ｆ12006を操作することによってポインティングした点を表す処理領域指示情報を、処理領域設定部12001に供給する。そして、ステップS12005からステップS12006に進み、以下、同様の処理が繰り返される。
【１２５３】
即ち、これにより、ステップS12005乃至S12013の処理が繰り返され、出力画像に対するユーザの不満が解消され、その結果、ユーザが所望する画質の出力画像が得られる。
【１２５４】
以上のように、信号処理装置４では、入力画像に対する処理結果としての出力画像をユーザに提示し、その出力画像から新たな処理領域を指示してもらい、その処理領域に基づいて、再度処理を行うようにしたので、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。即ち、信号処理装置４は、入力画像に対する処理結果として出力画像をユーザに提示する。一方、ユーザは、その出力画像の画質を認識し、所望の画質の画像または所望の画質に近い画像であるかどうかを判断して、信号処理装置４にフィードバックする。そして、信号処理装置４は、そのユーザからのフィードバックを踏まえ、再度、入力画像を処理し、以下、同様の処理が繰り返される。従って、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。
【１２５５】
なお、このように、信号処理装置４において、ユーザからのフィードバックを受けて入力画像に対する処理を行うことは、信号処理装置４が、ユーザと協調しながら処理を行っているということができる。
【１２５６】
ここで、実世界推定部12003の具体的な説明に入る前に、処理領域内の各画素の画素値と実世界１の光信号との関係をモデル化した関係モデルについて説明する。
【１２５７】
図１１５は、センサ２がＣＣＤとされる場合の積分効果を説明する図である。
【１２５８】
図１１５で示されるように、センサ２の平面上には、複数の検出素子２−１（画素）が配置されている。
【１２５９】
図１１５の例では、検出素子２−１の所定の１辺に平行な方向が、空間方向の１方向であるＸ方向とされており、Ｘ方向に垂直な方向が、空間方向の他方向であるＹ方向とされている。そして、Ｘ−Ｙ平面に垂直な方向が、時間方向であるｔ方向とされている。
【１２６０】
また、図１１５の例では、センサ２の各検出素子２−１のそれぞれの空間的な形状は、１辺の長さが１の正方形とされている。そして、センサ２のシャッタ時間（露光時間）が１とされている。
【１２６１】
さらに、図１１５の例では、センサ２の所定の１つの検出素子２−１の中心が、空間方向（Ｘ方向とＹ方向）の原点（Ｘ方向の位置ｘ＝０、およびＹ方向の位置ｙ＝０）とされており、また、露光時間の中間時刻が、時間方向（ｔ方向）の原点（ｔ方向の位置ｔ＝０）とされている。
【１２６２】
この場合、空間方向の原点（ｘ＝０,ｙ＝０）にその中心が存在する検出素子２−１は、Ｘ方向に-0.5乃至0.5の範囲、Ｙ方向に-0.5乃至0.5の範囲、およびｔ方向に-0.5乃至0.5の範囲で実世界１の光信号を表す光信号関数F(x,y,t)を積分し、その積分値を画素値Ｐとして出力することになる。
【１２６３】
即ち、空間方向の原点にその中心が存在する検出素子２−１から出力される画素値Ｐは、次の式（１３７）で表される。
【１２６４】
【数１３７】

・・・（１３７）
【１２６５】
その他の検出素子２−１も同様に、対象とする検出素子２−１の中心を空間方向の原点とすることで、式（１３７）で示される画素値Ｐを出力することになる。
【１２６６】
次に、センサ２の積分効果により発生する動きボケを、図１１６、図１１７Ａ乃至図１１７Ｃ、および図１１８Ａ乃至図１１８Ｃを参照して説明する。この例において、センサ２から出力される画像データには、空間混合がないものとする。即ち、実世界１の光信号のうちの１画素（センサ２の検出素子）に対応する部分には、同一レベルの光信号が空間的に一様に分布するものとする。
【１２６７】
図１１６は、センサ１で撮影される実世界１の光信号としての被写体（オブジェクト）が水平方向（Ｘ方向）に一定の速さで動いているという定常性を有する場合の、その動きの動き量を説明する図である。
【１２６８】
図１１６において、Ｘ方向とｔ方向は、センサ２のＸ方向とｔ方向（図１１５）を表している。また、露光開始時刻を、ｔ方向の原点（ｔ方向の位置ｔ＝０）とし、露光開始時点での被写体のＸ方向のある位置をＸ方向の原点（Ｘ方向の位置X＝０）とする。
【１２６９】
被写体が水平方向（Ｘ方向）に一定速度で移動している場合、時刻ｔと、被写体のＸ方向の位置との関係は、図１１６において、点線で示す直線で表される。なお、この点線の直線の傾きが、被写体が移動する速さを表す。
【１２７０】
ここで、いまの場合、図１１６に実線で示すように、被写体は、ある時刻Δｔは静止し、その後無限小の時間で１画素分だけ移動することを繰り返すことにより、等価的に、1/Δtという一定の速さで移動しているものとする。
【１２７１】
以上のように、実世界1の光信号のうちの１画素に対応する部分が一定レベルであり、かつ、その動きが1画素単位で行われると仮定することにより、センサ２の積分効果によって生じる空間混合と時間混合のうち、空間混合は生じなくなるので、時間混合だけを考えることができる。ここでは、説明を簡単にするため、センサ２の積分効果によって生じる時間混合のみに起因する動きボケを対象として説明を行う。
【１２７２】
ここで、動き量は、例えば、被写体が露光時間内に横切るセンサ２の画素数で表すこととする。図１１６において、例えば、露光時間が５Δｔであるとすると、露光時間内に被写体が動く画素数は５であり、従って、動き量も５となる。
【１２７３】
図１１７Ａ乃至図１１７Ｃは、露光時間において被写体（オブジェクト）がＸ方向に動き量５で等速で移動する場合の光信号関数F(x,y,t) のｙとｔを固定にしたＸ断面波形F(x)、即ち、処理領域のある水平ラインに射影される光信号関数F(x,y,t)のＸ断面波形F(x)を近似した近似関数f(x)を説明する図である。
【１２７４】
図１１７Ａ乃至図１１７Ｃの例では、処理領域のＸ方向の画素数（水平ラインの画素数）は８である。
【１２７５】
図１１７Ａ乃至図１１７Ｃにおいて、Ｘ方向は、センサ２のＸ方向（図１１５）を表している。また、処理領域の左端の画素の中心が、Ｘ方向の原点（Ｘ方向の位置ｘ＝０）とされている。
【１２７６】
図１１７Ａは、露光開始時点での近似関数f(x)とセンサ２のＸ方向の位置の関係を示している。図１１７Ａの近似関数f(x)は、以下の式（１３８）で表される。
【１２７７】
【数１３８】

・・・（１３８）
【１２７８】
なお、ここでは、上述したように、近似関数f(x)によって近似される実世界１の光信号の1画素に対応する部分には、同一レベルの光信号が空間的に一様に分布するものとしているので、式（１３８）において、Ｑ₀乃至Ｑ₇はそれぞれ一定値である。
【１２７９】
ここで、被写体は動き量５で等速で動いている。従って、例えば、露光時間を１とすると、被写体が、前回１画素動いてから次に１画素動くまでの時間は、露光時間/動き量、即ち1/5となる。
【１２８０】
従って、露光開始時刻を０とすると、時刻1/5には、近似関数f(x)とセンサ２のＸ方向の位置の関係は、図１１７Ｂに示すようになる。即ち、近似関数f(x)は、図１１７Ａの状態からＸ方向に1画素分ずれた関数となる。従って、このときの近似関数f(x)は、以下の式（１３９）で表される。
【１２８１】
【数１３９】

・・・（１３９）
【１２８２】
同様に被写体がＸ方向に１画素単位で移動していき、例えば、時刻4/5には、近似関数f(x)とセンサ２のＸ方向の位置の関係は、図１１７Ｃに示すようになる。即ち、被写体は、時刻4/5には、Ｘ方向に４画素移動しているので、近似関数f(x)は、図１１７Ａの状態から、Ｘ方向に４画素分ずれた関数となる。従って、このときの近似関数f(x)は、以下の式（１４０）で表される。
【１２８３】
【数１４０】

・・・（１４０）
【１２８４】
ここで、図１１５で上述したように、センサ２から得られる画素値は、露光開始時刻における実世界１の光信号から、露光終了時刻における実世界１の光信号までが積分された値である。換言すると、画素値は、露光開始時刻における光のレベルから、露光終了時刻における光のレベルまでが時間的に混合されたレベルに対応する値である。
【１２８５】
従って、実世界１の光信号のうちの１画素（センサ２の検出素子）に対応する部分が、同一レベルの光信号が時間的に一様に分布する部分ではなく、例えば、被写体が動いた場合のように、時間によって異なるレベルの光信号のそれぞれが分布する部分である場合、その部分は、センサ２により検出されると、センサ２の積分効果により、異なる光のレベルが時間的に混合されて（時間方向に積分(加算)されて）１つの画素値となってしまう。このように、被写体が動いたり、被写体の撮影時に手ぶれが生じた場合において、１画素に対応する被写体の画像（実世界１の光信号）が時間によって異なるレベルである画素からなる領域を、ここでは、時間混合領域と称する。そして、被写体が動いたことにより生じる時間混合領域を、動きボケ領域と称する。従って、動きボケ領域の画素値は、露光開始時刻における被写体の画像（実世界１の光信号）から、露光終了時刻における被写体の画像（実世界１の光信号）が時間的に積分（加算）された値となる。
【１２８６】
図１１３の実世界推定部12003は、動きボケ領域の画素値から、実世界１の光信号を推定する。即ち、実世界推定部12003は、動きボケ領域の画素値が、実世界１の光信号を近似する近似関数f(x)を、露光開始時刻から露光終了時刻までの間、動き量に対応して移動しながら積分することにより得られた値であるとして、動きボケ領域の画素値と近似関数f(x)の関係をモデル化した関係モデルを生成し、その関係モデルに基づいて近似関数f(x)を求める。
【１２８７】
ここで、上述したように動き量が５であるとすると、被写体は、露光終了時刻である時刻1に、Ｘ方向に1画素移動し、露光開始時刻の位置からＸ方向に５画素移動した位置に到達する。しかしながら、その瞬間に、センサ２での露光が終了する。従って、露光時間である１の間にセンサ２における露光の対象となるのは、露光開始時刻を０とすると、時刻0,1/5,2/5,3/5,4/5における近似関数f(x)となる。
【１２８８】
図１１８Ａ乃至図１１８Ｃは、動きボケ領域のセンサ２から出力される画像データと、実世界１の光信号を表す光信号関数F(x,y,t)をＸ方向に射影したＸ断面波形F(x)を近似する近似関数f(x)との関係（関係モデル）を説明する図である。
【１２８９】
図１１８Ａ乃至図１１８Ｃにおいて、Ｘ方向とｔ方向は、センサ２のＸ方向とｔ方向（図１１５）を表している。領域12031は、センサ２のＸ方向に並ぶ複数の画素に対応する領域を表している。ここでは、領域12031は、８個の小領域（縦長の長方形の領域）に区分されており、この小領域のそれぞれは１つの画素に相当する。なお、ここでは、領域12031の小領域の数、即ち、画素数は、処理領域の各水平ラインのＸ方向の画素数に一致する。小領域のＸ方向の一辺の長さは、センサ２の画素のＸ方向の長さを表し、ｔ方向の1辺の長さは、センサ２の露光時間を表す。従って、領域12031は、処理領域のある水平ラインを構成する画素の領域ととらえることができる。
【１２９０】
図１１８Ａは、センサ２の領域12031に対して、近似関数f(x)で表される実世界１の光信号が静止している場合に、その光信号が入力されたときのセンサ２から出力される画像データ（画素値）Ｑ₀乃至Ｑ₇の例を示している。
【１２９１】
いま、ｘ₀乃至ｘ₇それぞれを、領域12031の８個の画素のＸ方向の中心の座標値とする。但し、ｘ₀＜ｘ₁・・・＜ｘ₇の関係があるとし、また、いまの場合、画素のＸ方向の幅を１としているので、式ｘ₁＝ｘ₀＋１，ｘ₂＝ｘ₁＋１，・・・，ｘ₇＝ｘ₆＋１の関係がある。この場合、近似関数f(x)は、式（１４１）で表すことができる。
【１２９２】
【数１４１】

・・・（１４１）
【１２９３】
実世界１の光信号が静止している場合、領域12031の８個の画素において得られる画素値は、式（１３７）から、式（１４１）の近似関数f(x)を、露光時間に亘って積分した値となる。いまの場合、露光時間は１であるから、領域12031の８個の画素で得られる画素値は、図１１８Ａに示すように、式（１４１）の近似関数f(x)の値であるＱ₀乃至Ｑ₇と同一の値となる。従って、Ｑ₀乃至Ｑ₇は、実世界１の光信号が静止している場合の領域12031の８個の画素の画素値であり、この画素値Ｑ₀乃至Ｑ₇が得られる画素には動きボケが生じていないので、以下、適宜、動きボケのない画素値と称する。
【１２９４】
図１１８Ｂは、近似関数f(x)で表される実世界１の光信号が、ある動き量vで水平方向に移動しているという定常性を有している場合に、センサ２の領域12031に対して、近似関数f(x)で表される信号が入力されたときのセンサ２から出力される画像データ（画素値）Ｐ₀乃至Ｐ₇の例を示している。ここで、画素値Ｐ₀乃至Ｐ₇は、領域12031内のＸ方向の中心の座標が、それぞれｘ₀，ｘ₁，・・・，ｘ₇である８個の画素の画素値である。
【１２９５】
露光時間における動き量vが、例えば５であるとき、画素値Ｐ₀乃至Ｐ₇は、動き量vと動きボケのない画素値Ｑ₀乃至Ｑ₇を用いて、図１１８Ｃで示すように表すことができる。
【１２９６】
即ち、実世界１の光信号が、図１１６および図１１７Ａ乃至図１１７Ｃで説明したように、水平方向に一定速度で移動している場合、Ｘ方向の中心の座標がｘ₀乃至ｘ₇である８個の画素には、1/v（図１１８Ｃの場合、1/5）の時間毎に、その画素の位置における、近似関数f(x)で表される光信号に対応する電荷が蓄積される。
【１２９７】
いま、Ｘ方向の中心の座標値がｘ₁である画素を、画素＃１と表すこととすると、例えば、Ｘ方向の中心の座標値がｘ₄の画素＃４には、露光開始時刻である０から、時刻1/vまでの時間1/vの間に、その画素＃４の位置における近似関数f(x)で表される光信号に対応する電荷が蓄積される。即ち、画素＃４において、このとき蓄積される電荷による画素値は、露光時間が１のときに蓄積される電荷による画素値Ｑ₄の1/vである、Ｑ₄/vとなる。つまり、このとき画素＃４に蓄積される電荷による画素値は、式（１４１）の近似関数f(x)における画素＃４の位置における値Ｑ₄が時間1/vだけ時間積分された値であるＱ₄/vとなる。
【１２９８】
次に、時刻1/vから時刻2/vまでの1/vの間に、画素＃４には、その画素＃４の位置における近似関数f(x)で表される光信号に対応する電荷が蓄積される。このとき、実世界１の光信号が動き量vで水平方向に移動しているという定常性により、近似関数f(x)は、露光開始時刻における状態からＸ方向に1画素分ずれた状態となっているので、画素＃４に蓄積される電荷による画素値は、Ｘ方向に1画素分ずれた近似関数f(x)における画素＃４の位置における値Ｑ₃が時間1/vだけ時間積分された値であるＱ₃/vとなる。
【１２９９】
露光時間の間に、近似関数f(x)はＸ方向に等速で移動するので、以下、上述した場合と同様に、画素＃４には、時刻2/vから時刻3/vまでの時間1/vの間に、画素値Ｑ₂/vに対応する電荷が蓄積され、時刻3/vから時刻4/vまでの時間1/vの間に、画素値Ｑ₁/vに対応する電荷が蓄積される。さらに、画素＃４には、時刻４/vから時刻5/v（図１１８Ｃの場合、時刻１、即ち、露光終了時刻）までの時間1/vの間に、画素値Ｑ₀/vに対応する電荷が蓄積される。従って、最終的には、画素＃４の画素値Ｐ₄は、これらの画素値の和、即ち、Ｑ₄/v＋Ｑ₃/v＋Ｑ₂/v＋Ｑ₁/v＋Ｑ₀/vとなる。
【１３００】
画素＃４以外の画素も同様に考えられるので、領域12031の画素の画素値Ｐ₄乃至Ｐ₇は、動き量vと動きボケのない画素値Ｑ₀乃至Ｑ₇を用いて、以下の式（１４２）で表される。
【１３０１】
【数１４２】

・・・（１４２）
【１３０２】
以上のように、センサ２が出力する画素値Ｐ_i（ｉ＝０，１，・・・，７）は、複数の動きボケのない画素値Ｑ_iの和（積分）となるため、動きボケを有するものとなる。
【１３０３】
ここで、近似関数f(x)は、露光開始時刻における処理領域の画素＃０乃至＃７に射影される実世界の光信号を近似する。そして、いまの場合、処理領域における被写体がＸ方向（左から右方向）に移動している。このため、処理領域の左側にある画素、即ち、図１１８Ｃにおいては、画素＃０，＃１，＃２，＃３の画素値は、近似関数f(x)を用いて表すことができない。これにより、式（１４２）においては、動きボケのない画素値、つまり求めるべき変数Ｑ₀乃至Ｑ₇の数が、方程式の数より多くなる。
【１３０４】
即ち、式（１４２）においては、求めるべき変数がＱ₀乃至Ｑ₇の８変数であるのに対して、方程式が８より少ない４式となっている。従って、動きボケのない画素値Ｑ₀乃至Ｑ₇を求めるためには、動きボケのない画素値Ｑ₀乃至Ｑ₇を用いた独立の方程式がさらに必要となる。そこで、ここでは、例えば、動きボケのない画素値Ｑ₀乃至Ｑ₇を拘束する方程式を代入することとする。この方程式については、後述する。
【１３０５】
図１１３の実世界推定部12003は、処理領域のＸ方向の画素数と動き量vに応じて、式（１４２）と同様の式を関係モデルとして生成し、その関係モデルに基づいて、動きボケのない画素値、即ち、実世界１の光信号を近似する近似モデルとしての近似関数f(x)を求める。
【１３０６】
次に、図１１９のフローチャートを参照して、実世界推定部12003（図１１３）の実世界の推定処理（図１１４のステップS12008の処理）について詳細に説明する。
【１３０７】
ステップS12031において、モデル生成部12011は、関係モデルを生成する。即ち、モデル生成部12011が、処理領域設定部12001から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部12002から供給される定常性情報から、処理領域の画像データに対応する動き量を認識する。さらに、モデル生成部12011は、入力画像における処理領域について、その処理領域の水平ラインを構成する画素と、その処理領域の画像データに対応する動き量に応じて、処理領域内のセンサ２で検出された各画素の画素値Ｐ_iと、実世界１の光信号を近似する近似モデルで表される動きボケのない画素の画素値Ｑ_iとの関係をモデル化した関係モデルを処理領域の水平ラインごとに生成し、方程式生成部12012に供給する。そして、モデル生成部12011は、ステップS12031からステップS12032に進む。
【１３０８】
具体的には、モデル生成部12011は、処理領域の水平ラインの画素数と動き量に応じて、図１１８Ａ乃至図１１８Ｃで説明した、処理領域の各水平ラインの画素の画素値Ｐ_iと、動きボケのない画素値Ｑ_iとの関係を表す式を関係モデルとして生成する。例えば、処理領域の水平ラインの画素数が８であり、動き量vが５である場合、関係モデルとして、上述した式（１４２）の方程式が生成される。
【１３０９】
ステップS12032では、方程式生成部12012は、方程式生成処理を行う。即ち、方程式生成部12012は、処理領域設定部12001から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、入力画像の各画素の画素値Ｐ_iを、モデル生成部12011から供給される、その処理領域の各水平ラインに対して得られた関係モデルに代入し、これにより、実世界1の光信号を近似する近似関数で表される、動きボケのない画素値Ｑ_iを求める式（１４２）の方程式（モデル方程式）を生成する。
【１３１０】
さらに、方程式生成部12012は、処理領域設定部12001から供給される処理領域情報から認識される処理領域の水平ラインにおける実世界１の光信号を近似する近似モデルを拘束する方程式である拘束条件式を生成する。即ち、モデル方程式では、式（１４２）に示したように、求めたい変数である動きボケのない画素値Ｑ_iの方が、方程式の数より多いため、動きボケのない画素値Ｑ_iを求めるには、方程式の総数を動きボケのない画素値Ｑ_iの数以上とする方程式を導入する必要がある。ここで、方程式生成部12012は、隣接する画素の、近似関数で表される動きボケのない画素値Ｑ_iの差が小さい（空間相関がある）という拘束条件式を生成する。そして、方程式生成部12012は、生成したモデル方程式と拘束条件式を合わせて、正規方程式を生成し、実世界波形推定部12013に供給して、ステップS12032からステップS12033に進む。
【１３１１】
なお、以下、このような方程式生成部12012が実行するステップS12032の処理を、「方程式生成処理」と称する。「方程式生成処理」の詳細については、図１２１のフローチャートを参照して後述する。
【１３１２】
ステップS12033において、実世界波形推定部12013は、方程式生成部12012から供給される、処理領域の各水平ラインについての正規方程式を解くことにより、実世界１の光信号の波形を推定、即ち、近似関数で表される動きボケのない画素値Ｑ_iを求め、その画素値を、画像生成部12004に供給する。
【１３１３】
次に、図１２０は、図１１３の方程式生成部12012の詳細構成例を示している。
【１３１４】
図１２０では、方程式生成部12012は、モデル方程式生成部12051、拘束条件式生成部12052、および正規方程式生成部12053から構成されている。
【１３１５】
図１２０に構成を示す方程式生成部12012には、モデル生成部12011から、処理領域の各水平ラインの画素の画素値（動きボケ画像の画素値）と、動きボケのない画素値との関係をモデル化した関係モデルが入力され、モデル方程式生成部12051に供給される。また、方程式生成部12012には、入力画像が、センサ２（図１）から入力され、その入力画像は、モデル方程式生成部12051に供給される。さらに、方程式生成部12012には、処理領域情報が、処理領域設定部12001から入力され、その処理領域情報が、モデル方程式生成部12051と拘束条件式生成部12052に供給される。
【１３１６】
モデル方程式生成部12051は、処理領域情報から入力画像の処理領域を認識し、モデル生成部12011から供給された関係モデルの動きボケ画像の各画素の画素値Ｐ_iとして、入力画像の処理領域の画素値を代入して、式（１４２）のモデル方程式を生成する。そして、モデル方程式生成部12051は、正規方程式生成部12053に、そのモデル方程式を供給する。なお、モデル生成部12011で得られる関係モデルは、例えば、式（１４２）の動き量ｖに具体的な値が代入されたものであり、モデル方程式生成部12051で得られるモデル方程式は、さらに式（１４２）の画素値Ｐ₄乃至Ｐ₇に具体的な値が代入されたものである。
【１３１７】
拘束条件式生成部12052は、処理領域情報に基づいて、処理領域の各水平ラインの画素に対して、所定の拘束条件式を生成し、その拘束条件式を正規方程式生成部12053に供給する。
【１３１８】
正規方程式生成部12053は、モデル方程式生成部12051から供給されたモデル方程式と、拘束条件式生成部12052から供給された拘束条件式とを合わせて正規方程式を生成し、実世界波形推定部12013に供給する。
【１３１９】
次に、図１２１のフローチャートを参照して、方程式生成部12012（図１２０）の方程式生成処理（図１１９のステップS12032の処理）について詳細に説明する。
【１３２０】
ステップS12051において、モデル方程式生成部12051は、モデル生成部12011から処理領域の水平ラインごとの関係モデルを取得し、ステップS12052に進む。ステップS12052において、モデル方程式生成部12051は、センサ２から入力画像を取得するとともに、処理領域設定部12001から処理領域情報を取得する。そして、モデル方程式生成部12051は、その入力画像と処理領域情報から、処理領域内の各画素の画素値Ｐ_iを認識し、その画素値Ｐ_iを、モデル生成部12011から取得した式（１４２）の関係モデルに代入することにより、処理領域の水平ラインごとにモデル方程式を生成する。さらに、モデル方程式生成部12051は、そのモデル方程式を正規方程式生成部12053に供給する。例えば、モデル方程式生成部12051が、上述した式（１４２）で表される関係モデルを、モデル生成部12011から取得した場合、式（１４２）の画素値Ｐ₄乃至Ｐ₇に入力画像の画素値を代入することで、モデル方程式を生成する。
【１３２１】
ステップS12052の処理後は、ステップS12053に進み、拘束条件式生成部12052は、処理領域情報に基づいて拘束条件式を生成し、その拘束条件式を正規方程式生成部12053に供給して、ステップS12054に進む。即ち、拘束条件式生成部12052は、近似関数で表される動きボケのない画素のうちの隣接するものどうしの画素値Ｑ_iとＱ_i+1との差は小さいという拘束条件を表す拘束条件式を、処理領域の水平ラインの画素数に応じて生成する。例えば、処理領域の水平ラインの画素数が８個あり、その８画素の動きボケのない画素値をＱ₀乃至Ｑ₇で表す場合、拘束条件式は、例えば、以下の式（１４３）で表される。
【１３２２】
【数１４３】

・・・（１４３）
【１３２３】
即ち、式（１４３）は、処理領域の水平ラインにおいて、隣接する画素どうしの画素値Ｑ_iとＱ_i+1とが等しいことを表している。
【１３２４】
ステップS12054において、正規方程式生成部12053は、モデル方程式生成部12051から供給された式（１４２）のモデル方程式と、拘束条件式生成部12052から供給された式（１４３）の拘束条件式を合わせて、正規方程式を生成し、その正規方程式を実世界波形推定部12013に供給する。
【１３２５】
この後、実世界波形推定部12013は、正規方程式生成部12053から供給された正規方程式を、例えば、最小二乗誤差最小規範で解くことにより、処理領域の各水平ラインの画素の動きボケのない画素値Ｑ_iを求める。
【１３２６】
なお、上述した実世界波形推定処理は、処理領域内の水平方向に並ぶ画素（水平ライン）毎に行なわれる。即ち、実世界波形推定部12013は、水平ライン毎に、処理領域の各画素の動きボケのない画素値Ｑ_iを求める。そして、実世界波形推定部12013は、処理領域内の全ての水平ラインにおいて、各画素の動きボケのない画素値Ｑ_iを求めた後、処理領域の各画素の動きボケのない画素値Ｑ_iを、画像生成部12004に供給する。画像生成部12004は、入力画像における処理領域の各画素の画素値Ｐ_iを、動きボケのない画素値Ｑ_iに置き換えた画像を、出力画像として生成し、画像表示部12005に供給して表示させる。
【１３２７】
ここで、図１２２Ａ乃至図１２２Ｃは、センサ２から出力される処理領域のある水平ラインの画素の画素値Ｐ_iと、その水平ラインの動きボケのない画素の画素値Ｑ_iとの関係を示している。なお、図中、図１１８Ａ乃至図１１８Ｃにおける場合と対応する部分については同一の符号を付してあり、以下では、その説明は適宜省略する。
【１３２８】
図１２２Ａ乃至図１２２Ｃは、基本的には、上述の図１１８Ａ乃至図１１８Ｃとそれぞれ同様の図であり、従って、動きボケのない画素値Ｑ_iと、動きボケが生じている画素値Ｐ_iとの関係を表している。
【１３２９】
さらに、図１２２Ａにおいて、動きボケのない画素の上に付した矢印12061-1乃至12061-7は、その矢印の両端が示す動きボケのない画素どうしの画素値Ｑ_iとＱ_i+1との差が小さいという拘束条件を表している。図１２２Ａに示した拘束条件は、処理領域である領域12031の水平ラインにおいて、動きボケのない画素のうちの隣接する全ての画素どうしの画素値Ｑ_iとＱ_i+1の差が小さいことを表している。図１２０の拘束条件式生成部12052では、この図１２２Ａに示した拘束条件を採用し、その拘束条件を表す式（１４３）の拘束条件式を生成する。
【１３３０】
図１２３は、図１１１に示した信号処理装置４の応用例の他の一実施の形態の構成例を示している。
【１３３１】
なお、図１２３は、例えば、一定方向に一定の速さで移動するという定常性を有するデータ３の一例である動きボケ画像データから、実世界１の光信号を推定する信号処理装置４の一実施の形態の構成例を示している。即ち、この信号処理装置４は、例えば、撮影時に被写体（オブジェクト）が動いたことにより、被写体がボケて撮影されてしまった画像（動きボケ画像）から、そのボケがない画像（動きボケのない画像）を推定する。従って、図１２３の実施の形態では、入力画像として、移動しているオブジェクトを撮影することにより得られた動きボケが生じている動きボケ画像が、信号処理装置４に入力される。なお、ここでは、入力画像として、水平方向（左から右方向）に一定の速さ（動き量）で移動しているオブジェクトを撮像して得られる画像を採用する。
【１３３２】
図１２３において、処理領域設定部12071、定常性設定部12072、実世界推定部12073、画像生成部12074、画像表示部12075、ユーザＩ／Ｆ12076は、図１１１の処理領域設定部10001、定常性設定部10002、実世界推定部10003、画像生成部10004、画像表示部10005、ユーザＩ／Ｆ10006にそれぞれ対応しており、基本的には、処理領域設定部10001、定常性設定部10002、実世界推定部10003、画像生成部10004、画像表示部10005、ユーザＩ／Ｆ10006それぞれと同様の処理を行う。さらに、図１２３において、実世界推定部12073は、モデル生成部12081、方程式生成部12082、実世界波形推定部12083で構成されている。モデル生成部12081、方程式生成部12082、実世界波形推定部12083は、図１１１のモデル生成部10011、方程式生成部10012、実世界波形推定部10013にそれぞれ対応しており、基本的には、モデル生成部10011、方程式生成部10012、実世界波形推定部10013それぞれと同様の処理を行う。
【１３３３】
但し、図１２３においては、ユーザがユーザＩ／Ｆ12076を操作することにより、ユーザＩ／Ｆ12076が出力する補助情報が、処理領域設定部12071と実世界推定部12073に供給されるようになっている。
【１３３４】
即ち、図１２３では、ユーザは、ユーザＩ／Ｆ12076を操作することにより、画像表示部12075に表示された画像に対して、動きボケのない画像が平坦であると推定される領域を平坦領域として指示することができるようになっており、ユーザＩ／Ｆ12076は、ユーザが平坦領域を指示する操作を行うと、その操作によって指定された領域としての平坦領域を表す平坦領域指示情報を、処理領域設定部12071と実世界推定部12073に供給する。
【１３３５】
なお、ユーザＩ／Ｆ12076を操作することにより平坦領域を指示する方法としては、例えば、平坦領域を囲む矩形によって指示する方法、平坦領域をトリム(trim)することによって指示する方法、平坦領域の中の任意の１点以上をポインティングすることによって指示する方法などがあるが、ここでは、例えば、ユーザは、平坦領域の中の任意の１点を、ユーザＩ／Ｆ12076を操作することによりポインティングすることによって、平坦領域を指示するものとする。この場合、ユーザＩ／Ｆ12076は、ユーザがポインティングした点を表す情報としての、例えば、その点の、画像上の座標を、平坦領域指示情報として、処理領域設定部12071と実世界推定部12073に供給する。
【１３３６】
次に、図１２４のフローチャートを参照して、図１２３の信号処理装置４の処理について説明する。
【１３３７】
まず最初に、ステップS12071において、信号処理装置４は、前処理を行い、ステップS12072に進む。即ち、信号処理装置４は、センサ２（図１）からデータ３として供給される、例えば１フレームまたは１フィールドの入力画像を、処理領域設定部12071、定常性設定部12072、実世界推定部12073、画像生成部12074、および画像表示部12075に供給する。さらに、信号処理部４は、画像表示部12075に、入力画像を表示させる。
【１３３８】
ステップS12072では、ユーザＩ／Ｆ12076は、ユーザがユーザＩ／Ｆ12076を操作することにより、何らかのユーザ入力があったかどうかを判定する。ステップS12072において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップS12073乃至S12075をスキップして、ステップS12076に進む。
【１３３９】
また、ステップS12072において、ユーザ入力があったと判定された場合、即ち、ユーザが画像表示部12075に表示された入力画像を見て、ユーザＩ／Ｆ12076を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップS12073に進み、ユーザＩ／Ｆ12076は、そのユーザ入力が、信号処理装置４の処理の終了を指示する終了指示であるかどうかを判定する。
【１３４０】
ステップS12073において、ユーザ入力が終了指示であると判定された場合、即ち、例えば、画像表示部12075に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じず、入力画像に対して信号処理を施さないで良いとして、信号処理装置４の処理を終了するように、ユーザＩ／Ｆ12076を操作した場合、信号処理装置４は処理を終了する。
【１３４１】
また、ステップS12073において、ユーザ入力が終了指示でないと判定された場合、ステップS12074に進み、ユーザＩ／Ｆ12076は、ユーザ入力が平坦領域指示情報であるかどうかを判定する。ステップS12074において、ユーザ入力が平坦領域指示情報でないと判定された場合、ステップS12075をスキップして、ステップS12076に進む。
【１３４２】
一方、ステップS12074において、平坦領域指示情報の入力があったと判定された場合、即ち、画像表示部12075に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じ、動きボケのない画像が平坦な画像であると推定される箇所をポインティングするように、ユーザＩ／Ｆ12076を操作した場合、ステップＳ12075に進み、ユーザＩ／Ｆ12076は、ユーザがユーザＩ／Ｆ12076を操作することによってポインティングした点を表す平坦領域指示情報を、処理領域設定部12071と実世界推定部12073に供給し、ステップS12076に進む。
【１３４３】
ステップS12076では、処理領域設定部12071は、ユーザＩ／Ｆ12076から供給された平坦領域指示情報に基づいて、例えば、平坦領域を含む所定の矩形の領域を処理領域として設定し、その処理領域情報を、定常性設定部12072、実世界推定部12073、および画像生成部12074に供給し、ステップS12077に進む。なお、この処理領域は、ユーザがユーザＩ／Ｆ12076を操作して入力してもよい。
【１３４４】
但し、ユーザＩ／Ｆ12076から処理領域設定部12071に平坦領域指示情報が供給されなかった場合（ステップS12072またはステップS12074の処理直後にステップS12076の処理が行なわれる場合）には、処理領域設定部12071は、所定の処理（例えば、入力画像において、動きボケが生じている領域を検出する処理）を行うことにより、自動的に処理領域を設定する。
【１３４５】
ステップS12077では、定常性設定部12072は、処理領域設定部12071から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部12072は、その処理領域の画像データにおいて欠落した実世界１の光信号の定常性を表す情報として、処理領域に表示されたオブジェクトの動き量を設定し、その定常性を表す定常性情報を、実世界推定部12073に供給して、ステップＳ12078に進む。なお、この動き量は、ユーザがユーザＩ／Ｆ12076を操作して入力してもよい。また、ここでは、定常性設定部12072は、入力画像において、オブジェクトが水平方向に移動していることを前提として、その動きの大きさだけを表す動き量を定常性情報として設定するようにしたが、その他、オブジェクトの動きの大きさと方向を表す動きベクトルを、定常性情報として設定することも可能である。
【１３４６】
ステップS12078では、実世界推定部12073は、処理領域設定部12071から供給された処理領域情報と、ユーザＩ／Ｆ12076から供給された平坦領域指示情報に応じて、入力画像における処理領域内の画像データ（動きボケ画像データ）から、対応する実世界１の光信号の動き量に基づいて、その実世界１の光信号（動きボケのない画像）を推定する。
【１３４７】
即ち、実世界推定部12073では、モデル生成部12081が、処理領域設定部12071から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部12072から供給される定常性情報から、処理領域の画像データに対応する実世界１の光信号の動き量、つまり、ここでは、処理領域に表示されたオブジェクトの動き量を認識する。さらに、モデル生成部12081は、入力画像における処理領域の各水平ラインを構成する画素と、その処理領域の画像データに対応する実世界１の光信号の動き量に応じて、処理領域の各水平ラインの画素の画素値と実世界１の光信号との関係をモデル化した関係モデルを処理領域の水平ラインごとに生成し、方程式生成部12082に供給する。
【１３４８】
方程式生成部12082は、処理領域設定部12071から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域に応じて、入力画像の各画素の画素値を、モデル生成部12081から供給される処理領域の水平ラインごとの関係モデルに代入し、これにより、実世界１の光信号を近似する近似モデルとしての近似関数を求める方程式を生成して、実世界波形推定部12083に供給する。さらに、方程式生成部12082は、処理領域情報または平坦領域指示情報に基づいて、近似関数を拘束する拘束条件式を生成し、実世界波形推定部12083に供給する。
【１３４９】
実世界波形推定部12083は、方程式生成部12082から供給される方程式を演算することにより、実世界１の光信号の波形を推定する。即ち、実世界波形推定部12083は、方程式生成部12012から供給される方程式を解くことにより、実世界１の光信号をモデル化した近似モデルとしての近似関数を求め、実世界１の光信号の波形の推定結果として、画像生成部12074に供給する。
【１３５０】
なお、以下、このような実世界推定部12073が実行するステップS12078の処理を、「実世界の推定処理」と称する。「実世界の推定処理」の詳細については、図１２５のフローチャートを参照して後述する。
【１３５１】
ステップS12078の処理後は、ステップS12079に進み、画像生成部12074は、実世界推定部12073（の実世界波形推定部12083）から供給された、実世界１の光信号の波形を近似する近似関数に基づいて、実世界１の光信号により近似した信号を生成する。即ち、画像生成部12074は、処理領域設定部12071から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部12073から供給される近似関数に基づき、実世界１の光信号により近似した近似画像（ここでは、例えば、動きボケのない画像）を生成する。
【１３５２】
さらに、画像生成部12074は、入力画像の処理領域の部分を、近似画像（動きボケのない画像）に置き換えた画像を、出力画像として生成し、画像表示部12075に供給して、ステップS12079からS12080に進む。
【１３５３】
ステップS12080では、画像表示部12075は、画像生成部12074から供給された出力画像を、ステップS12071で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップS12081に進む。
【１３５４】
ステップS12081では、ユーザＩ／Ｆ12076は、ステップS12072における場合と同様に、ユーザがユーザＩ／Ｆ12076を操作することにより、何らかのユーザ入力があったかどうかを判定し、ユーザ入力がなかったと判定した場合、即ち、ユーザが何らの操作も行わなかった場合、ステップS12081に戻り、何らかのユーザ入力があるまで待つ。
【１３５５】
また、ステップS12081において、ユーザ入力があったと判定された場合、即ち、ユーザが、画像表示部12075に表示された入力画像や出力画像を見て、ユーザＩ／Ｆ12076を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップS12082に進み、ユーザＩ／Ｆ12076は、そのユーザ入力が、信号処理装置４の処理の終了を指示する終了指示であるかどうかを判定する。
【１３５６】
ステップS12082において、ユーザ入力が終了指示であると判定された場合、即ち、例えば、画像表示部12075に表示された出力画像を見たユーザが、その出力画像の画質に不満を感じず、出力画像に対して信号処理を施さないで良いとして、信号処理装置４の処理を終了するように、ユーザＩ／Ｆ12076を操作した場合、信号処理装置４は処理を終了する。
【１３５７】
また、ステップS12082において、ユーザ入力が終了指示でないと判定された場合、ステップS12083に進み、ユーザＩ／Ｆ12076は、ユーザ入力が平坦領域指示情報であるかどうかを判定する。ステップS12083において、ユーザ入力が平坦領域指示情報でないと判定された場合、ステップS12081に戻り、以下、同様の処理が繰り返される。
【１３５８】
また、ステップS12083において、ユーザ入力が平坦領域指示情報であると判定された場合、即ち、画像表示部12075に表示された出力画像を見たユーザが、その出力画像の画質に不満を感じ、その出力画像に対して、動きボケのない画像が平坦であると推定される箇所をポインティングするように、ユーザＩ／Ｆ12076を操作した場合、ステップＳ12075に戻り、上述したように、ユーザＩ／Ｆ12076は、ユーザがユーザＩ／Ｆ12076を操作することによってポインティングした点を表す平坦領域指示情報を、処理領域設定部12071と実世界推定部12073に供給する。そして、ステップS12075からステップS12076に進み、以下、同様の処理が繰り返される。
【１３５９】
即ち、これにより、ステップS12075乃至S12083の処理が繰り返され、出力画像に対するユーザの不満が解消され、その結果、ユーザが所望する画質の出力画像が得られる。
【１３６０】
以上のように、信号処理装置４では、入力画像に対する処理結果としての出力画像をユーザに提示し、その出力画像から、動きボケのない画像が平坦な画像であると推定される新たな平坦領域を指示してもらい、その平坦領域に基づいて、再度処理を行うようにしたので、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。
【１３６１】
即ち、信号処理装置４は、入力画像に対する処理結果として出力画像をユーザに提示する。一方、ユーザは、その出力画像を認識し、動きボケのない画像が平坦な画像であると推定される領域を平坦領域として、信号処理装置４にフィードバックする。そして、信号処理装置４は、そのユーザからのフィードバックを踏まえ、例えば、入力画像のうちユーザから指示された平坦領域に対してのみ、実世界１の光信号を近似する近似モデルとしての近似関数を拘束する拘束条件式として、隣接する画素の画素値の差分が小さいという拘束条件式を生成する。信号処理装置４は、その拘束条件式を用いて、再度、入力画像を処理し、以下、同様の処理が繰り返される。従って、信号処理装置４は、入力画像のうち平坦な領域にのみ、隣接する画素の画素値の差分が小さいという拘束条件式を生成し、エッジのある領域には、隣接する画素の画素値の差分が小さいという拘束条件式は生成せずに、入力画像を処理するので、入力画像における平坦な領域のノイズが抑制され、エッジのある領域のエッジは保たれ、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。
【１３６２】
なお、このように、信号処理装置４において、ユーザからのフィードバックを受けて入力画像に対する処理を行うことは、信号処理装置４が、ユーザと協調しながら処理を行っているということができる。
【１３６３】
次に、図１２５のフローチャートを参照して、実世界推定部12073（図１２３）の実世界の推定処理（図１２４のステップS12078の処理）について詳細に説明する。
【１３６４】
ステップS12101において、モデル生成部12081は、関係モデルを生成する。即ち、モデル生成部12081が、処理領域設定部12071から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部12072から供給される定常性情報から、処理領域の画像データに対応する動き量を認識する。さらに、モデル生成部12081は、入力画像における処理領域について、その処理領域の水平ラインを構成する画素と、その処理領域の画像データに対応する動き量に応じて、処理領域内のセンサ２で検出された各画素の画素値Ｐ_iと、実世界１の光信号を近似する近似モデルで表される動きボケのない画素の画素値Ｑ_iとの関係をモデル化した関係モデルを、処理領域の各水平ライン毎に生成し、方程式生成部12082に供給する。そして、モデル生成部12081は、ステップS12101からステップS12102に進む。
【１３６５】
具体的には、モデル生成部12011は、処理領域の水平ラインの画素数と動き量に応じて、図１１８Ａ乃至図１１８Ｃで説明した、処理領域の各水平ラインの画素の画素値Ｐ_iと、動きボケのない画素値Ｑ_iとの関係を表す式を関係モデルとして生成する。例えば、処理領域の水平ラインの画素数が８であり、動き量vが５である場合、関係モデルとして、上述した式（１４２）の方程式が生成される。
【１３６６】
ステップS12102では、方程式生成部12082は、方程式生成処理を行う。即ち、方程式生成部12082は、処理領域設定部12071から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、その処理領域を構成する入力画像の各画素の画素値Ｐ_iを、モデル生成部12081から供給される、その処理領域の各水平ラインに対して得られた関係モデルに代入し、これにより、実世界１の光信号を近似する近似関数で表される、動きボケのない画素値Ｑ_iを求める式（１４２）の方程式（モデル方程式）を生成する。
【１３６７】
さらに、方程式生成部12082は、処理領域設定部12071から供給される処理領域情報から認識される処理領域の水平ラインにおける実世界１の光信号を近似する近似モデルを拘束する方程式である拘束条件式を生成する。即ち、モデル方程式は、式（１４２）に示したように、求めたい変数である動きボケのない画素値Ｑ_iの方が、方程式の数より多いため、動きボケのない画素値Ｑ_iを求めるには、方程式の総数を動きボケのない画素値Ｑ_iの数以上とする方程式を導入する必要がある。ここで、方程式生成部12082は、隣接する画素の、近似関数で表される動きボケのない画素値Ｑ_iの差が小さい（空間相関がある）という拘束条件式を生成する。このとき、方程式生成部12082は、ユーザにより平坦領域が指示された場合、その平坦領域に対してのみ拘束条件式を生成する。
【１３６８】
従って、動きボケのない画像が平坦ではなく、例えば、何らかの模様があり、アクティビティの高い画像である場合においても、ユーザが所望する画質の動きボケのない画像が得られる。即ち、方程式生成部12082は、動きボケのない画像において、平坦領域としてユーザにより指示されていない、光の強度が極端に異なるエッジ部分には、隣接画素の画素値の差は小さいという拘束条件を与えず、平坦領域としてユーザにより指示された平坦部分には、隣接画素の画素値の差は小さいという拘束条件を与え、拘束条件式を生成する。その結果、エッジ部分の画像においてはエッジが保たれ、平坦部分の画像においてはノイズが抑制された、画質の良い動きボケのない画像が得られる。
【１３６９】
また、ユーザが平坦領域を指示した場合、ユーザが処理領域の全ての画素に対して画素毎に拘束条件式を決定したり、方程式生成部12082が入力画像の特徴量などから平坦である領域を推定し、拘束条件式を決定する必要なく、容易に、動きボケのない画像が平坦である領域にのみ、拘束条件式を与えることができる。その結果、信号処理装置４は、ユーザが所望する画質の出力画像を容易に得ることができる。
【１３７０】
方程式生成部12082は、生成したモデル方程式と拘束条件式を合わせて、正規方程式を生成し、実世界波形推定部12083に供給して、ステップS12012からステップS12013に進む。
【１３７１】
なお、以下、このような方程式生成部12082が実行するステップS12102の処理を、「方程式生成処理」と称する。「方程式生成処理」の詳細については、図１２７のフローチャートを参照して後述する。
【１３７２】
ステップS12103において、実世界波形推定部12083は、方程式生成部12082から供給される、処理領域の各水平ラインについての正規方程式を解くことにより、実世界１の光信号の波形を推定、即ち、近似関数で表される動きボケのない画素値を求め、その画素値を、画像生成部12074に供給する。
【１３７３】
次に、図１２６は、図１２３の方程式生成部12082の詳細構成例を示している。
【１３７４】
図１２６では、方程式生成部12082は、モデル方程式生成部12101、拘束条件式生成部12102、および正規方程式生成部12103から構成されている。
【１３７５】
図１２６に構成を示す方程式生成部12082には、モデル生成部12081から、処理領域の各水平ラインの画素の画素値（動きボケ画像の画素値）と、動きボケのない画素値との関係をモデル化した関係モデルが入力され、モデル方程式生成部12101に供給される。また、方程式生成部12082には、入力画像が、センサ２（図１）から入力され、その入力画像は、モデル方程式生成部12101に供給される。
【１３７６】
さらに、方程式生成部12082には、処理領域情報が、処理領域設定部12071から入力され、その処理領域情報が、モデル方程式生成部12101と拘束条件式生成部12102に供給される。また、方程式生成部12082には、平坦領域指示情報が、ユーザＩ／Ｆ12076から入力され、その平坦領域指示情報は、拘束条件式生成部12102に供給される。
【１３７７】
モデル方程式生成部12101は、処理領域情報から入力画像の処理領域を認識し、モデル生成部12081から供給された関係モデルの動きボケ画像の各画素の画素値Ｐ_iとして、入力画像の処理領域における画素値を代入して、式（１４２）のモデル方程式を生成する。そして、モデル方程式生成部12101は、正規方程式生成部12103に、そのモデル方程式を供給する。なお、モデル生成部12081で得られる関係モデルは、例えば、式（１４２）の動き量ｖに具体的な値が代入されたものであり、モデル方程式生成部12101で得られるモデル方程式は、さらに式（１４２）の画素値Ｐ₄乃至Ｐ₇に具体的な値が代入されたものである。
【１３７８】
拘束条件式生成部12102は、処理領域情報または平坦領域指示情報に基づいて、処理領域の各水平ラインの画素に対して、所定の拘束条件式を生成し、その拘束条件式を正規方程式生成部12103に供給する。
【１３７９】
正規方程式生成部12103は、モデル方程式生成部12101から供給されたモデル方程式と、拘束条件式生成部12102から供給された拘束条件式を合わせて正規方程式を生成し、実世界波形推定部12083に供給する。
【１３８０】
次に、図１２７のフローチャートを参照して、方程式生成部12082（図１２６）の方程式生成処理（図１２５のステップS12102の処理）について詳細に説明する。
【１３８１】
ステップS12121において、モデル方程式生成部12101は、モデル生成部12081から処理領域の水平ラインごとの関係モデルを取得し、ステップS12122に進む。ステップS12122において、モデル方程式生成部12101は、センサ２から入力画像を取得するとともに、処理領域設定部12071から処理領域情報を取得する。そして、モデル方程式生成部12101は、その入力画像と処理領域情報から、処理領域内の各画素の画素値Ｐ_iを認識し、その画素値Ｐ_iを、モデル生成部12081から取得した式（１４２）の関係モデルに代入することにより、処理領域の水平ラインごとにモデル方程式を生成する。さらに、モデル方程式生成部12101は、そのモデル方程式を正規方程式生成部12103に供給する。即ち、例えば、モデル方程式生成部12101が、上述した式（１４２）で表される関係モデルを、モデル生成部12081から取得した場合、式（１４２）の画素値Ｐ₄乃至Ｐ₇に入力画像の画素値を代入することで、モデル方程式を生成する。
【１３８２】
ステップS12122の処理後は、ステップS12123に進み、拘束条件式生成部12102は、ユーザＩ／Ｆ12076から平坦領域指示情報が入力されたかどうかを判定し、平坦領域指示情報が入力されていないと判定した場合、ステップS12124をスキップし、ステップS12125に進む。この場合、ステップS12125では、拘束条件式生成部12102は、例えば、処理領域設定部12071が所定の処理を行うことにより自動的に設定した処理領域情報に基づいて、拘束条件式を生成し、その拘束条件式を正規方程式生成部12103に供給して、ステップS12125からステップS12126に進む。即ち、拘束条件式生成部12102は、近似関数で表される動きボケのない画素のうちの隣接するものどうしの画素値Ｑ_iとＱ_i+1との差は小さいという拘束条件を表す拘束条件式を、例えば、処理領域の各水平ラインの全ての画素に対して生成する。例えば、処理領域の水平ラインの画素数が８個であり、その８画素の動きボケのない画素値をＱ₀乃至Ｑ₇で表す場合、拘束条件式は、例えば、上述した式（１４３）で表される。
【１３８３】
一方、ステップS12123で、拘束条件式生成部12102は、ユーザＩ／Ｆ12076から平坦領域指示情報が入力されたと判定した場合、拘束条件式生成部12102は、ステップS12124に進み、ユーザＩ／Ｆ12076から平坦領域指示情報を取得して、ステップS12125に進む。
【１３８４】
この場合、ステップS12125では、拘束条件式生成部12102は、平坦領域指示情報に基づいて、拘束条件式を生成する。即ち、拘束条件式生成部12102は、平坦領域に対してのみ拘束条件式を生成する（平坦領域の画素に対応する拘束条件式に対する重みと平坦領域以外の画素に対応する拘束条件式に対する重みを、１対１から1対０に変更する。即ち、拘束条件式の一部に対する重みを変更する）。そして、拘束条件式生成部12102は、生成した拘束条件式を正規方程式生成部12103に供給し、ステップS12125からステップS12126に進む。
【１３８５】
例えば、処理領域の水平ラインが図１１８Ａ乃至図１１８Ｃまたは図１２２Ａ乃至図１２２Ｃに示したように、８個の画素＃０乃至＃７で構成され、平坦領域として、その８画素＃０乃至＃７のうちの画素＃０乃至＃５が指定されている場合、その画素＃０乃至＃５の動きボケのない画素値Ｑ₀乃至Ｑ₅を用いて、拘束条件式は、例えば、以下の式（１４４）で表される。
【１３８６】
【数１４４】

・・・（１４４）
【１３８７】
即ち、式（１４４）は、平坦領域の隣接画素どうしの画素値Ｑ_iとＱ_i+1が等しいことを表している。
【１３８８】
従って、実際の画像が平坦な領域にのみ、動きボケのない画像の隣接画素の画素値の差が小さいという拘束条件を与えることができるので、信号処理装置４は、実世界１の光信号により近似した動きボケのない画像を生成することができる。
【１３８９】
ステップS12126において、正規方程式生成部12103は、モデル方程式生成部12101から供給された式（１４２）のモデル方程式と、拘束条件式生成部12102から供給された式（１４３）の拘束条件式または式（１４４）の拘束条件式（重みが変更された拘束条件式）を合わせて、正規方程式を生成し、その正規方程式を実世界波形推定部12083に供給する。
【１３９０】
この後、実世界波形推定部12083は、正規方程式生成部12103から供給された正規方程式を、例えば、最小二乗誤差最小規範で解くことにより、処理領域の各水平ラインの画素の動きボケのない画素値Ｑ_iを求める。
【１３９１】
なお、上述した実世界推定処理は、処理領域内の水平方向に並ぶ画素（水平ライン）毎に行なわれる。即ち、実世界波形推定部12083は、水平ライン毎に、処理領域の各画素の動きボケのない画素値Ｑ_iを求める。そして、実世界波形推定部12083は、処理領域内の全ての水平ラインにおいて、各画素の動きボケのない画素値Ｑ_iを求めた後、処理領域の各画素の動きボケのない画素値Ｑ_iを、画像生成部12074に供給する。画像生成部12074は、入力画像における処理領域の各画素の画素値Ｐ_iを、動きボケのない画素値Ｑ_iに置き換えた画像を、出力画像として生成し、画像表示部12075に供給して表示させる。
【１３９２】
また、上述の処理では、ユーザは、ユーザＩ／Ｆ12076を操作して、出力画像から平坦な領域を指示したが、エッジのある領域を指示してもよい。この場合、上述した処理と同様に、指示されたエッジのある領域が、エッジ領域指示情報として、処理領域設定部12071と実世界推定部12073に供給される。そして、拘束条件式生成部12102は、処理領域のうち、エッジ領域として指示された領域以外の領域に対して拘束条件式を生成する（エッジ領域の画素に対応する拘束条件式に対する重みと、処理領域内のエッジ領域以外の領域の画素に対応する拘束条件式に対する重みを、1対1から０対１に変更する）。即ち、拘束条件式生成部12102は、エッジ領域に対する拘束条件式を生成しない。
【１３９３】
さらに、上述の処理では、平坦領域以外に対する拘束条件式は生成しなかったが、平坦領域以外の領域における拘束条件式も、平坦領域における拘束条件式に対する重みに比べて小さい重みを付けて、生成してもよい。この場合、例えば、平坦領域における拘束条件式に対しては重み１を付け、平坦領域以外の領域における拘束条件式に対しては、例えば、０．５などの１より小さい重みを付けた拘束条件式が生成される。
【１３９４】
図１２８と図１２９は、図１２３の信号処理装置４の処理の概要を説明する図である。
【１３９５】
図１２８で示すように、ユーザは、入力画像12121を見て、動きボケのない画像12123を想像し、平坦であると推定される領域を、入力画像12121に対して、平坦領域として指示する。また、ユーザは、入力画像12121に対して信号処理装置４で処理された処理結果としての出力画像12122を見て、動きボケのない画像12123を想像し、平坦であると推定される領域を、出力画像12122に対して、平坦領域として指示する。そして、信号処理装置４は、ユーザが平坦領域として指示した領域に対してのみ拘束条件式を生成し、その拘束条件式を用いて、実世界１の光信号により近似した動きボケのない画像を生成する。
【１３９６】
このように、信号処理装置４では、入力画像または出力画像がユーザに提示され、ユーザは、その入力画像または出力画像に対して平坦領域を指示する。信号処理装置４では、その平坦領域に対して、動きボケのない画像の隣接画素の画素値の差は小さいという拘束条件を与えるようにしたので、簡単に最適な拘束条件を設定し、実世界１の光信号により近似した画像を得ることができる。また、ユーザは、画質に対する不満をダイレクトに信号処理装置４に指示することが可能であり、所望の画質の画像または所望の画質に近い画像を容易に得ることができる。
【１３９７】
図１２９は、ユーザが、入力画像を見て平坦領域を指示した場合と指示しない場合の信号処理装置４の処理を説明する図である。
【１３９８】
図１２９で示すように、ユーザが、入力画像12142に対して平坦領域を指示しない場合、信号処理装置４により処理領域が決定され、その処理領域の各水平ラインの全ての画素に対して、いわば均一（平等）に拘束条件式が生成される（均一処理）。
【１３９９】
一方、ユーザが、その入力画像12142を見て、動きボケのない画像12123を想像し、その動きボケのない画像12123が平坦な領域を、入力画像12142に対して指示した場合、不均一処理が行なわれる。即ち、図１２９の例では、ユーザは、入力画像の画素値がＰ₃とＰ₄である画素を、平坦領域として指示している。
【１４００】
信号処理装置４は、ユーザにより指示された平坦領域に基づいて、入力画像の画素値がＰ₃とＰ₄である画素に対応する動きボケのない画素値Ｑ₃とＱ₄の差が小さいという拘束条件式を生成する。また、信号処理装置４は、処理領域の平坦領域以外の画素に対しては、平坦領域に対する拘束条件式より小さい重みを付けた拘束条件式を生成する。即ち、拘束条件式は、処理領域に対して、いわば不均一に生成される（不均一処理）。
【１４０１】
従って、信号処理装置４は、複雑な処理を行なわずに、実際の画像が平坦な領域に、処理領域内の他の領域に比べて大きい重みを付けた拘束条件を与えることができる。その結果、信号処理装置４は、動きボケのない画像を、より実際の画像に近いものとすることができる。
【１４０２】
図１３０Ａ乃至図１３０Ｃは、センサ２から出力される処理領域のある水平ラインの画素の画素値Ｐ_iと、その水平ラインの動きボケのない画素の画素値Ｑ_iとの関係を示している。なお、図中、図１２２Ａ乃至図１２２Ｃにおける場合と対応する部分については同一の符号を付してあり、以下では、その説明は適宜省略する。
【１４０３】
図１３０Ａ乃至図１３０Ｃは、基本的には、上述の図１２２Ａ乃至図１２２Ｃとそれぞれ同様の図であり、従って、動きボケのない画素値Ｑ_iと、動きボケが生じている画素値Ｐ_iとの関係を表している。
【１４０４】
図１３０Ａ乃至図１３０Ｃの例では、ユーザは、ユーザＩ／Ｆ12076を操作することにより、動きボケのない画素値がＱ₀とＱ₁である画素の領域、動きボケのない画素値がＱ₂乃至Ｑ₅である画素の領域、および動きボケのない画素値がＱ₆とＱ₇である画素の領域を、平坦領域として指示している。
【１４０５】
従って、図１３０Ａに示すように、動きボケのない画素値がＱ₀とＱ₁である画素の領域、動きボケのない画素値がＱ₂乃至Ｑ₅である画素の領域、および動きボケのない画素値がＱ₆とＱ₇である画素の領域（平坦領域として指示された領域）に対してのみ、動きボケのない画素のうちの隣接する画素どうしの画素値Ｑ_iとＱ_i+1との差が小さいという拘束条件が与えられている。
【１４０６】
図１３１は、図１１１に示した信号処理装置４の応用例の他の一実施の形態の構成例を示している。
【１４０７】
なお、図１３１は、例えば、一定方向に一定の速さで移動するという定常性を有するデータ３の一例である動きボケ画像データから、実世界１の光信号を推定する信号処理装置４の一実施の形態の構成例を示している。即ち、この信号処理装置４は、例えば、撮影時に被写体（オブジェクト）が動いたことにより、被写体がボケて撮影されてしまった画像（動きボケ画像）から、そのボケがない画像（動きボケのない画像）を推定する。従って、図１３１の実施の形態では、入力画像として、移動しているオブジェクトを撮影することにより得られた動きボケが生じている動きボケ画像が、信号処理装置４に入力される。なお、ここでは、入力画像として、水平方向（左から右方向）に一定の速さ（動き量）で移動しているオブジェクトを撮像して得られる画像を採用する。
【１４０８】
図１３１において、処理領域設定部12161、定常性設定部12162、実世界推定部12163、画像生成部12164、画像表示部12165、ユーザＩ／Ｆ12166は、図１１１の処理領域設定部10001、定常性設定部10002、実世界推定部10003、画像生成部10004、画像表示部10005、ユーザＩ／Ｆ10006にそれぞれ対応しており、基本的には、処理領域設定部10001、定常性設定部10002、実世界推定部10003、画像生成部10004、画像表示部10005、ユーザＩ／Ｆ10006それぞれと同様の処理を行う。さらに、図１３１において、実世界推定部12163は、モデル生成部12171、方程式生成部12172、実世界波形推定部12173で構成されている。モデル生成部12171、方程式生成部12172、実世界波形推定部12173は、図１１１のモデル生成部10011、方程式生成部10012、実世界波形推定部10013にそれぞれ対応しており、基本的には、モデル生成部10011、方程式生成部10012、実世界波形推定部10013それぞれと同様の処理を行う。
【１４０９】
但し、図１３１においては、ユーザがユーザＩ／Ｆ12166を操作することにより、ユーザＩ／Ｆ12166が出力する補助情報が、処理領域設定部12161と実世界推定部12163に供給されるようになっている。
【１４１０】
即ち、図１３１では、ユーザは、ユーザＩ／Ｆ12166を操作することにより、画像表示部12165に表示された画像に対して、不満のある領域を不満領域として指示することができるようになっており、ユーザＩ／Ｆ12166は、ユーザが不満領域を指示する操作を行うと、その操作によって指定された領域としての不満領域を表す不満領域指示情報を、処理領域設定部12161と実世界推定部12163に供給する。さらに、図１３１では、画像表示部12165には、後述するように、複数の出力画像が表示されるが、ユーザは、ユーザＩ／Ｆ12166を操作することにより、画像表示部12165に表示された出力画像を選択することができるようになっており、ユーザＩ／Ｆ12166は、ユーザが出力画像を選択する操作を行うと、その操作によって選択された出力画像を表す選択情報を、補助情報として、処理領域設定部12161と実世界推定部12163に供給する。
【１４１１】
なお、ユーザＩ／Ｆ12166を操作することにより不満領域を指示する方法としては、例えば、不満領域を囲む矩形によって指示する方法、不満領域をトリム(trim)することによって指示する方法、不満領域の中の任意の１点以上をポインティングすることによって指示する方法などがあるが、ここでは、例えば、ユーザは、不満領域の中の任意の１点を、ユーザＩ／Ｆ12166を操作することによりポインティングすることによって、不満領域を指示するものとする。この場合、ユーザＩ／Ｆ12166は、ユーザがポインティングした点を表す情報としての、例えば、その点の、画像上の座標を、不満領域指示情報として、処理領域設定部12161と実世界推定部12163に供給する。
【１４１２】
次に、図１３２のフローチャートを参照して、図１３１の信号処理装置４の処理について説明する。
【１４１３】
まず最初に、ステップS12141において、信号処理装置４は、前処理を行い、ステップS12142に進む。即ち、信号処理装置４は、センサ２（図１）からデータ３として供給される、例えば１フレームまたは１フィールドの入力画像を、処理領域設定部12161、定常性設定部12162、実世界推定部12163、画像生成部12164、および画像表示部12165に供給する。さらに、信号処理部４は、画像表示部12165に、入力画像を表示させる。
【１４１４】
ステップS12142では、ユーザＩ／Ｆ12166は、ユーザがユーザＩ／Ｆ12166を操作することにより、何らかのユーザ入力があったかどうかを判定する。ステップS12142において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップS12143乃至S12145をスキップして、ステップS12146に進む。
【１４１５】
また、ステップS12142において、ユーザ入力があったと判定された場合、即ち、ユーザが画像表示部12165に表示された入力画像を見て、ユーザＩ／Ｆ12166を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップS12143に進み、ユーザＩ／Ｆ12166は、そのユーザ入力が、信号処理装置４の処理の終了を指示する終了指示であるかどうかを判定する。
【１４１６】
ステップS12143において、ユーザ入力が終了指示であると判定された場合、即ち、例えば、画像表示部12165に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じず、入力画像に対して信号処理を施さないで良いとして、信号処理装置４の処理を終了するように、ユーザＩ／Ｆ12166を操作した場合、信号処理装置４は処理を終了する。
【１４１７】
また、ステップS12143において、ユーザ入力が終了指示でないと判定された場合、ステップS12144に進み、ユーザＩ／Ｆ12166は、ユーザ入力が不満領域指示情報であるかどうかを判定する。ステップS12144において、ユーザ入力が不満領域指示情報でないと判定された場合、ステップS12145をスキップして、ステップS12146に進む。
【１４１８】
一方、ステップS12144において、不満領域指示情報の入力があったと判定された場合、即ち、画像表示部12165に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じ、不満な箇所をポインティングするように、ユーザＩ／Ｆ12166を操作した場合、ステップＳ12145に進み、ユーザＩ／Ｆ12166は、ユーザがユーザＩ／Ｆ12166を操作することによってポインティングした点を表す不満領域指示情報を、補助情報として、処理領域設定部12161と実世界推定部12163に供給し、ステップS12146に進む。
【１４１９】
ステップS12146では、処理領域設定部12161は、ユーザＩ／Ｆ12166から供給された補助情報としての不満領域指示情報に基づいて、例えば、不満領域を含む所定の矩形の領域を処理領域として設定し、その処理領域情報を、定常性設定部12162、実世界推定部12163、および画像生成部12164に供給して、ステップS12147に進む。なお、この処理領域は、ユーザがユーザＩ／Ｆ12166を操作して入力してもよい。
【１４２０】
但し、ユーザＩ／Ｆ12166から処理領域設定部12161に不満領域指示情報が供給されなかった場合（ステップS12142またはステップS12144の処理直後にステップS12146の処理が行われる場合）には、処理領域設定部12161は、所定の処理（例えば、入力画像において、動きボケが生じている領域を検出する処理）を行うことにより、処理領域の設定を行う。
【１４２１】
ステップS12147では、定常性設定部12162は、処理領域設定部12161から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部12162は、その処理領域の画像データにおいて欠落した実世界１の光信号の定常性を表す情報として、処理領域に表示されたオブジェクトの動き量を設定し、その定常性を表す定常性情報を、実世界推定部12163に供給して、ステップＳ12148に進む。なお、この動き量は、ユーザがユーザＩ／Ｆ12166を操作して入力してもよい。また、ここでは、定常性設定部12162は、入力画像において、オブジェクトが水平方向に移動していることを前提として、その動きの大きさだけを表す動き量を定常性情報として設定するようにしたが、その他、オブジェクトの動きの大きさと方向を表す動きベクトルを定常性情報として設定することも可能である。
【１４２２】
ステップS12148では、実世界推定部12163は、処理領域設定部12161から供給された処理領域情報と、ユーザＩ／Ｆ12166から供給された不満領域指示情報に応じて、入力画像における処理領域内の画像データ（動きボケ画像データ）から、対応する実世界１の光信号の動き量に基づいて、その実世界１の光信号（動きボケのない画像）を複数であるＮ通りの方法で推定する。
【１４２３】
即ち、実世界推定部12163では、モデル生成部12171が、処理領域設定部12161から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部12162から供給される定常性情報から、処理領域の画像データに対応する実世界１の光信号の動き量、つまり、ここでは、処理領域に表示されたオブジェクトの動き量を認識する。さらに、モデル生成部12171は、入力画像における処理領域の各水平ラインを構成する画素と、その処理領域の画像データに対応する実世界１の光信号の動き量に応じて、処理領域の各水平ラインの画素の画素値と実世界１の光信号との関係をモデル化した関係モデルを処理領域の水平ラインごとに生成し、方程式生成部12172に供給する。
【１４２４】
方程式生成部12172は、処理領域設定部12161から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域に応じて、入力画像の各画素の画素値を、モデル生成部12171から供給される処理領域の水平ラインごとの関係モデルに代入し、これにより、実世界１の光信号を近似する近似モデルとしての近似関数を求める方程式を生成する。さらに、方程式生成部12172は、処理領域情報または不満領域指示情報に基づいて、近似関数を拘束する拘束条件式にＮ通りの重みを付けた、Ｎ通りの拘束条件式を生成する。方程式生成部12172は、実世界１の光信号を近似する近似モデルとしての近似関数を求める方程式とＮ通りの拘束条件式のそれぞれとを合わせて、Ｎ通りの正規方程式を生成し、実世界波形推定部12173に供給する。
【１４２５】
実世界波形推定部12173は、方程式生成部12172から供給されるＮ通りの正規方程式をそれぞれ演算することにより、Ｎ通りの実世界１の光信号の波形を推定する。即ち、実世界波形推定部12173は、方程式生成部12172から供給されるＮ通りの正規方程式をそれぞれ解くことにより、実世界１の光信号をモデル化した近似モデルとしてのＮ通りの近似関数を求め、Ｎ通りの実世界１の光信号の波形の推定結果として、画像生成部12164に供給する。
【１４２６】
なお、以下、このような実世界推定部12163が実行するステップS12148の処理を、「実世界の推定処理」と称する。「実世界の推定処理」の詳細については、図１３３のフローチャートを参照して後述する。
【１４２７】
ステップS12148の処理後は、ステップS12149に進み、画像生成部12164は、実世界推定部12163（の実世界波形推定部12173）から供給された、実世界１の光信号の波形を近似するＮ通りの近似関数に基づいて、実世界１の光信号により近似したＮ通りの信号を生成する。即ち、画像生成部12164は、処理領域設定部12161から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部12163から供給されるＮ通りの近似関数に基づき、実世界１の光信号により近似したＮ通りの近似画像（動きボケのない画像）を生成する。
【１４２８】
さらに、画像生成部12164は、入力画像の処理領域の部分を、Ｎ通りの近似画像（動きボケのない画像）に置き換えた画像を、Ｎ通りの出力画像として生成し、画像表示部12165に供給して、ステップS12149からS12150に進む。
【１４２９】
ステップS12150では、画像表示部12165は、画像生成部12164から供給されたＮ通りの出力画像を、ステップS12141で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップS12151に進む。
【１４３０】
ステップS12151では、ユーザＩ／Ｆ12166は、ユーザがユーザＩ／Ｆ12166を操作することにより、選択情報の入力があったかどうかを判定する。即ち、ステップS12150では、画像表示部12165において、Ｎ通りの出力画像が表示されるが、そのＮ通りの出力画像を見たユーザが、そのＮ通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択する選択情報の入力を、ユーザＩ／Ｆ12166を操作することにより行ったかどうかが、ステップS12151において判定される。
【１４３１】
ステップS12151において、選択情報の入力がなかったと判定された場合、ステップS12154に進み、ステップS12143における場合と同様に、ユーザＩ／Ｆ12166は、終了指示の入力があったかどうかを判定する。
【１４３２】
ステップS12154において、終了指示の入力があったと判定された場合、信号処理装置４は、処理を終了する。
【１４３３】
また、ステップS12154において、終了指示の入力がなかったと判定された場合、ステップS12151に戻り、以下、同様の処理を繰り返す。
【１４３４】
一方、ステップS12151において、選択情報の入力があったと判定された場合、即ち、画像表示部12165に表示されたＮ通りの出力画像を見たユーザが、そのＮ通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択した場合、ステップS12152に進み、ユーザＩ／Ｆ12166は、ユーザがユーザＩ／Ｆ12166を操作することにより、ユーザが選択した出力画像を、最終的な出力画像として確定する確定指示の入力があったかどうかを判定する。
【１４３５】
ステップS12152において、確定指示の入力があったと判定された場合、ステップS12153に進み、画像表示部12165は、例えば、その画面全体に、ユーザが選択した出力画像を表示し、処理を終了する。
【１４３６】
また、ステップS12152において、確定指示の入力がなかったと判定された場合、即ち、ユーザが、選択した出力画像の画質に不満があり、再度処理を行うために、確定指示の入力を行わなかった場合、ステップS12145に戻り、ユーザＩ／Ｆ12166は、ユーザが選択した出力画像を表す選択情報を、補助情報として、処理領域設定部12161と実世界推定部12163に供給し、ステップS12146，S12147，S12148に順次進む。ステップS12146の処理領域の設定処理とステップS12147の定常性の設定処理では、前回設定された処理領域と定常性が設定される。そして、その処理領域情報が定常性設定部12162、実世界推定部12163、および画像生成部12164に供給され、その定常性情報が実世界推定部12163に供給される。なお、２回目以降に行われるステップS12146およびS12147の処理は、スキップすることができる。
【１４３７】
ステップS12148では、実世界推定部12163は、ユーザＩ／Ｆ12166から供給された補助情報としての選択情報に基づいて、その実世界１の光信号（動きボケのない画像）を新たなＮ通りの方法で推定する。
【１４３８】
即ち、この場合、ステップS12148においては、実世界推定部12163の方程式生成部12172では、ユーザＩ／Ｆ12166から供給された補助情報としての選択情報が表す出力画像を得るのに用いられた拘束条件式を基準に、新たなＮ通りの拘束条件式を設定する。方程式生成部12172は、実世界１の光信号を近似する近似モデルとしての近似関数を求める方程式と、新たなＮ通りの拘束条件式のそれぞれとを合わせて、新たなＮ通りの正規方程式を生成し、その新たなＮ通りの正規方程式を実世界波形推定部12173に供給する。さらに、実世界波形推定部12173は、方程式生成部12172から供給される新たなＮ通りの正規方程式をそれぞれ演算することにより、新たなＮ通りの実世界１の光信号の波形を推定する。そして、ステップS12148からS12149に進み、以下、同様の処理が繰り返される。
【１４３９】
即ち、これにより、ステップS12145乃至S12154の処理が繰り返され、最終的には、出力画像に対するユーザの不満が解消された、ユーザが所望する画質の出力画像が得られる。
【１４４０】
以上のように、信号処理装置４では、入力画像に対する処理結果としてのＮ通りの出力画像をユーザに提示し、そのＮ通りの出力画像の中からユーザが所望するものを選択してもらい、その選択結果を踏まえて、再度処理を行うようにしたので、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。即ち、信号処理装置４は、入力画像に対する処理結果としてのＮ通りの出力画像をユーザに提示する。一方、ユーザは、そのＮ通りの出力画像それぞれの画質を認識、判断し、画質の良い出力画像を、信号処理装置４にフィードバックする。そして、信号処理装置４は、そのユーザからのフィードバックを踏まえ、再度、入力画像を処理し、以下、同様の処理が繰り返される。従って、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。
【１４４１】
なお、このように、信号処理装置４において、ユーザからのフィードバックを受けて入力画像に対する処理を行うことは、信号処理装置４が、ユーザと協調しながら処理を行っているということができる。
【１４４２】
次に、図１３３のフローチャートを参照して、実世界推定部12163（図１３１）の実世界の推定処理（図１３２のステップS12148の処理）について詳細に説明する。
【１４４３】
ステップS12171において、モデル生成部12171は、関係モデルを生成する。即ち、モデル生成部12171が、処理領域設定部12161から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部12162から供給される定常性情報から、処理領域の画像データに対応する動き量を認識する。さらに、モデル生成部12171は、入力画像における処理領域について、その処理領域の水平ラインを構成する画素と、その処理領域の画像データに対応する動き量に応じて、処理領域内のセンサ２で検出された各画素の画素値Ｐ_iと、実世界１の光信号を近似する近似モデルで表される動きボケのない画素の画素値Ｑ_iとの関係をモデル化した関係モデルを処理領域の水平ラインごとに生成し、方程式生成部12172に供給する。そして、モデル生成部12171は、ステップS12171からステップS12172に進む。
【１４４４】
具体的には、モデル生成部12171は、処理領域の水平ラインの画素数と動き量に応じて、図１１８Ａ乃至図１１８Ｃで説明した、処理領域の各水平ラインの画素の画素値Ｐ_iと、動きボケのない画素値Ｑ_iとの関係を表す式を関係モデルとして生成する。例えば、処理領域の水平ラインの画素数が８であり、動き量vが５である場合、関係モデルとして、上述した式（１４２）の方程式が生成される。
【１４４５】
ステップS12172では、方程式生成部12172は、方程式生成処理を行う。即ち、方程式生成部12172は、処理領域設定部12161から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、その処理領域を構成する入力画像の各画素の画素値Ｐ_iを、モデル生成部12171から供給される、その処理領域の各水平ラインに対して得られた関係モデルに代入し、これにより、実世界１の光信号を近似する近似関数で表される、動きボケのない画素値Ｑ_iを求める式（１４２）の方程式（モデル方程式）を生成する。
【１４４６】
さらに、方程式生成部12172は、処理領域設定部12161から供給される処理領域情報から認識される処理領域の水平ラインにおける実世界１の光信号を近似する近似モデルを拘束する方程式である拘束条件式を生成する。即ち、モデル方程式は、式（１４２）に示したように、求めたい変数である動きボケのない画素値Ｑ_iの方が、方程式の数より多いため、動きボケのない画素値Ｑ_iを求めるには、方程式の総数を動きボケのない画素値Ｑ_iの数以上とする方程式を導入する必要がある。ここで、方程式生成部12172は、隣接する画素の、近似関数で表される動きボケのない画素値Ｑ_iの差が小さい（空間相関がある）という拘束条件式を生成する。このとき、方程式生成部12172は、ユーザにより不満領域が指示された場合、その不満領域に対して重みを付けた拘束条件式を生成する。
【１４４７】
但し、不満領域に対する重み付けの仕方により画質の異なる出力画像が得られるため、方程式生成部12172は、Ｎ通りの重みを付けた拘束条件式を生成する。その結果、信号処理装置４では、Ｎ通りの出力画像が生成されて、表示される。そして、ユーザは、そのＮ通りの出力画像を見て、その中から所望の画質の画像または所望の画質に近い画像を選択する。
【１４４８】
従って、動きボケのない画像が平坦ではなく、例えば、何らかの模様があり、アクティビティの高い画像である場合においても、ユーザが所望する画質の動きボケのない画像が得られる。即ち、方程式生成部12172は、ユーザにより不満のある領域であると指示された領域に対して、Ｎ通りの重みを付けた、隣接画素の動きボケのない画素値の差は小さいという拘束条件式を生成する。ユーザは、その結果得られるＮ通りの出力画像から所望の画質の画像が選択することができるので、不満のある領域に対して最適な拘束条件が設定された、所望する画質の画像を容易に得ることができる。
【１４４９】
方程式生成部12172は、モデル方程式を生成するとともに、不満領域指示情報に基づいて、Ｎ通りの重みを付けた拘束条件式を生成し、生成されたモデル方程式とＮ通りの拘束条件式のそれぞれとを合わせて、Ｎ通りの正規方程式を生成する。方程式生成部12172は、そのＮ通りの正規方程式を、実世界波形推定部12173に供給して、ステップS12172からステップS12173に進む。
【１４５０】
なお、以下、このような方程式生成部12172が実行するステップS12172の処理を、「方程式生成処理」と称する。「方程式生成処理」の詳細については、図１３５のフローチャートを参照して後述する。
【１４５１】
ステップS12173において、実世界波形推定部12173は、方程式生成部12172から供給されるＮ通りの正規方程式を解くことにより、Ｎ通りの実世界１の光信号の波形を推定、即ち、Ｎ通りの近似関数で表される動きボケのない画素値を求め、そのＮ通りの画素値を、画像生成部12164に供給する。
【１４５２】
次に、図１３４は、図１３１の方程式生成部12172の詳細構成例を示している。
【１４５３】
図１３４では、方程式生成部12172は、モデル方程式生成部12191、重み設定部12192、拘束条件式生成部12193、および正規方程式生成部12194から構成されている。
【１４５４】
図１３４に構成を示す方程式生成部12172には、モデル生成部12171から、処理領域の水平ラインの各画素の画素値（動きボケ画像の画素値）と、動きボケのない画素値との関係をモデル化した関係モデルが入力され、モデル方程式生成部12191に供給される。また、方程式生成部12172には、入力画像が、センサ２（図１）から入力され、その入力画像は、モデル方程式生成部12191に供給される。
【１４５５】
さらに、方程式生成部12172には、処理領域情報が、処理領域設定部12161から入力され、その処理領域情報が、モデル方程式生成部12191と拘束条件式生成部12193に供給される。また、方程式生成部12172には、補助情報として不満領域指示情報と選択情報が、ユーザＩ／Ｆ12166から入力され、その不満領域指示情報は、拘束条件式生成部12193に、選択情報は、重み設定部12192にそれぞれ供給される。
【１４５６】
モデル方程式生成部12191は、処理領域情報から入力画像の処理領域を認識し、モデル生成部12171から供給された関係モデルの動きボケ画像の各画素の画素値Ｐ_iとして、入力画像の処理領域における画素値を代入して、処理領域の水平ラインごとに式（１４２）のモデル方程式を生成する。そして、モデル方程式生成部12191は、正規方程式生成部12194に、そのモデル方程式を供給する。なお、モデル生成部12171で得られる関係モデルは、例えば、式（１４２）の動き量ｖに具体的な値が代入されたものであり、モデル方程式生成部12191で得られるモデル方程式は、さらに式（１４２）の画素値Ｐ₄乃至Ｐ₇に具体的な値が代入されたものである。
【１４５７】
重み設定部12192は、ユーザＩ／Ｆ12166から入力された選択情報に基づいて、拘束条件式に付けるＮ通りの重みを設定し、そのＮ通りの重みを、拘束条件式生成部12193に供給する。拘束条件式生成部12193は、処理領域情報、ユーザＩ／Ｆ12166から入力された不満領域指示情報、および重み設定部12192で設定されたＮ通りの重みに基づいて、不満領域の水平ラインの各画素に対して、Ｎ通りの重みを付けたＮ通りの所定の拘束条件式をそれぞれ生成し、そのＮ通りの拘束条件式を正規方程式生成部12194に供給する。
【１４５８】
正規方程式生成部12194は、モデル方程式生成部12191から供給されたモデル方程式と、拘束条件式生成部12193から供給されたＮ通りの拘束条件式のそれぞれとを合わせて、Ｎ通りの正規方程式を生成し、実世界波形推定部12173に供給する。
【１４５９】
次に、図１３５のフローチャートを参照して、方程式生成部12172（図１３４）の方程式生成処理（図１３３のステップS12172の処理）について詳細に説明する。
【１４６０】
ステップS12191において、モデル方程式生成部12191は、モデル生成部12171から処理領域の水平ラインごとの関係モデルを取得し、ステップS12192に進む。ステップS12192において、モデル方程式生成部12191は、センサ２から入力画像を取得するとともに、処理領域設定部12161から処理領域情報を取得する。そして、モデル方程式生成部12191は、その入力画像と処理領域情報から、処理領域内の各画素の画素値Ｐ_iを認識し、その画素値Ｐ_iを、モデル生成部12171から取得した式（１４２）の関係モデルに代入することにより、処理領域の水平ラインごとにモデル方程式を生成する。さらに、モデル方程式生成部12191は、そのモデル方程式を正規方程式生成部12194に供給する。即ち、例えば、モデル方程式生成部12191が、上述した式（１４２）で表される関係モデルを、モデル生成部12171から取得した場合、式（１４２）の画素値Ｐ₄乃至Ｐ₇に入力画像の画素値を代入することで、モデル方程式を生成する。
【１４６１】
ステップS12192の処理後は、ステップS12193に進み、重み設定部12192は、Ｎ通りの重みを設定してそれぞれの重みを拘束条件式生成部12193に供給し、ステップS12194に進む。ここで、重み設定部12192は、ユーザＩ／Ｆ12166から選択情報が入力された場合、その選択情報が表す出力画像を得るのに用いられた重みを基準に、新たなＮ通りの重みを設定する。即ち、重み設定部12192は、最初に重みを設定する場合、例えば、０．５を中心として０乃至１の範囲内で等間隔に、Ｎ通りの重みを設定する。そして、重み設定部12192は、ユーザＩ／Ｆ12166から選択情報が入力された場合、その選択情報が表す出力画像を得るのに用いられた重みを中心として、前回の重みの設定時よりも細かい等間隔で（但し、０乃至１の範囲）、新たなＮ通りの重みを設定する。
【１４６２】
ユーザが前回の処理で出力されたＮ通りの出力画像の中から所望するものを選択すると、その選択結果を踏まえて、新たなＮ通りの重みが設定されるので、ユーザはＮ通りの出力画像の中から所望するものの選択を繰り返すことにより、最終的には、ユーザが所望する画質の出力画像が得られる重みが設定され、その結果、ユーザが所望する画質の出力画像が得られる。
【１４６３】
ステップS12194では、拘束条件式生成部12193は、ユーザＩ／Ｆ12166から不満領域指示情報が入力されたかどうかを判定し、不満領域指示情報が入力されていないと判定した場合、ステップS12195をスキップし、ステップS12196に進む。この場合、ステップS12196では、拘束条件式生成部12193は、例えば、処理領域設定部12161が所定の処理を行うことにより自動的に設定した処理領域情報に基づいて、重み設定部12192から供給されたＮ通りの重みを付けた拘束条件式をそれぞれ生成し、そのＮ通りの拘束条件式を正規方程式生成部12194に供給する。即ち、不満領域指示情報が入力されなかった場合、拘束条件式生成部12193は、処理領域の水平ラインの全ての画素に対してＮ通りの拘束条件式を生成する。
【１４６４】
例えば、処理領域の水平ラインの画素数が、例えば、図１２２Ａ乃至図１２２Ｃに示したように８個であり、各画素の動きボケのない画素値をＱ₀乃至Ｑ₇で表す場合、拘束条件式は、例えば、以下の式（１４５）で表される。
【１４６５】
【数１４５】

・・・（１４５）
【１４６６】
なお、式（１４５）において、Ｗは重みを表し、拘束条件式生成部12193は、重みＷが異なるＮ通りの式（１４５）で示される拘束条件式を生成する。重みＷの値が大きいほど、隣接画素の画素値の差分が小さいという拘束条件の重みが大きくなる。即ち、式（１４５）におけるある拘束条件式（Ｑ_i+1−Ｑ_i）＝０の重みＷが大きいほど、画素値Ｑ_iとＱ_i+1とは、同一の値となるように、いわば強く拘束される。重みＷが小さい場合には、そのような拘束が、いわば弱くなり、画素値Ｑ_iとＱ_i+1とは、異なる値をとり易くなる。
【１４６７】
一方、ステップS12194で、拘束条件式生成部12193は、ユーザＩ／Ｆ12166から不満領域指示情報が入力されたと判定した場合、ステップS12194からステップS12195に進み、ユーザＩ／Ｆ12166から不満領域指示情報を取得してステップS12196に進む。
【１４６８】
この場合、ステップS12196では、拘束条件式生成部12193は、処理領域情報と不満領域指示情報に基づいて、重み設定部12192から供給されたＮ通りの重みを付けた拘束条件式をそれぞれ生成し、そのＮ通りの拘束条件式を正規方程式生成部12194に供給する。即ち、不満領域指示情報が入力された場合、拘束条件式生成部12193は、処理領域のうちの、不満領域指示情報が表す不満領域の各水平ラインの画素に対応する拘束条件式にＮ通りの重みを付けたＮ通りの拘束条件式を生成する。
【１４６９】
例えば、図１２２Ａ乃至図１２２Ｃに示したように、処理領域の水平ラインが８個の画素＃０乃至＃７で構成され、その各画素＃０乃至＃７の動きボケのない画素値をＱ₀乃至Ｑ₇で表す場合において、ユーザにより指示された不満領域が画素値Ｑ₀乃至Ｑ₄の５つの画素＃０乃至＃４で構成されるとき、拘束条件式は、以下の式（１４６）で表される。
【１４７０】
【数１４６】

・・・（１４６）
【１４７１】
なお、式（１４６）において、Ｗは重みを表し、拘束条件式生成部12193は、重みＷが異なるＮ通りの式（１４６）で示される拘束条件式を生成する。式（１４５）における場合と同様に、重みＷの値が大きいほど、隣接画素の画素値の差分が小さいという拘束条件の重みが大きくなる。
【１４７２】
ステップS12196の処理後は、ステップS12197に進み、正規方程式生成部12194は、モデル方程式生成部12191から供給された式（１４２）のモデル方程式に、拘束条件式生成部12193から供給されたＮ通りの式（１４５）または式（１４６）で示される拘束条件式をそれぞれ合わせて、水平ラインごとにＮ通りの正規方程式を生成し、そのＮ通りの正規方程式を実世界波形推定部12173に供給する。
【１４７３】
この後、実世界波形推定部12173は、正規方程式生成部12194から供給されたＮ通りの正規方程式を、例えば最小二乗誤差最小規範でそれぞれ解くことにより、処理領域の各水平ラインの画素のＮ通りの動きボケのない画素値Ｑ_iを求める。
【１４７４】
なお、上述した実世界推定処理は、処理領域内の水平方向に並ぶ画素（水平ライン）毎に行なわれる。即ち、実世界波形推定部12173は、水平ライン毎に、処理領域の各画素のＮ通りの動きボケのない画素値Ｑ_iを求める。そして、実世界波形推定部12173は、処理領域内の全ての水平ラインにおいて、各画素のＮ通りの動きボケのない画素値Ｑ_iを求めた後、処理領域の各画素のＮ通りの動きボケのない画素値Ｑ_iを、画像生成部12164に供給する。画像生成部12164は、入力画像における処理領域の各画素の画素値Ｐ_iを、Ｎ通りの動きボケのない画素値Ｑ_iにそれぞれ置き換えた画像を、Ｎ通りの出力画像として生成し、画像表示部12165に供給して表示させる。
【１４７５】
また、上述の処理では、不満領域がユーザにより指示された場合、拘束条件式生成部12193は、不満領域以外に対する拘束条件式を生成しなかったが、不満領域以外に対する拘束条件式も、所定の重みを付けて、生成してもよい。この場合、例えば、拘束条件式生成部12193は、図１２２Ａ乃至図１２２Ｃに示したように、処理領域の水平ラインが８個の画素＃０乃至＃７で構成され、その各画素＃０乃至＃７の動きボケのない画素値をＱ₀乃至Ｑ₇で表す場合において、ユーザにより指示された不満領域が画素値Ｑ₀乃至Ｑ₄の５つの画素＃０乃至＃４で構成されるとき、画素値Ｑ₅乃至Ｑ₇の３つの画素＃５乃至＃７に対しても所定の重み（例えば、不満領域の画素に対する重みとは異なる重み）Ｗを付けた拘束条件式を生成する。
【１４７６】
図１３６は、図１３１の信号処理装置４の処理の概要を説明する図である。
【１４７７】
図１３６で示すように、ユーザは、入力画像12211を見て、不満のある領域を、不満領域として指示する。そして、信号処理装置４は、ユーザにより指示された不満領域の拘束条件式の重みを変更（設定）し、Ｎ通りの重みを付けた拘束条件式を用いて、Ｎ通りの出力画像12222-1乃至12222-Nを生成して、表示する。ユーザは、Ｎ通りの出力画像12222-1乃至12222-Nを見て、そのＮ通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択する。図１３６の例では、ユーザは、Ｎ通りの出力画像12222-1乃至12222-Nのうちの12222-Nを選択している。信号処理装置４は、ユーザから選択された出力画像12222-Nを得るのに用いられた拘束条件式の重みを基準にして、不満領域の拘束条件式に、新たなＮ通りの重みを付け（重みを変更し）、その新たなＮ通りの重みに基づいて得られる新たなＮ通りの出力画像を表示することを繰り返す。
【１４７８】
従って、ユーザは、出力画像の選択や不満領域の指示を行うだけで、簡単に最適な拘束条件を設定し、実世界１の光信号により近似した画像を得ることができる。即ち、ユーザは、所望の画質の画像または所望の画質に近い画像を容易に得ることができる。
【１４７９】
図１３７は、図１１１に示した信号処理装置４の応用例の他の一実施の形態の構成例を示している。
【１４８０】
なお、図１３７は、例えば、一定方向に一定の速さで移動するという定常性を有するデータ３の一例である動きボケ画像データから、実世界１の光信号を推定する信号処理装置４の一実施の形態の構成例を示している。即ち、この信号処理装置４は、例えば、撮影時に被写体（オブジェクト）が動いたことにより、被写体がボケて撮影されてしまった画像（動きボケ画像）から、そのボケがない画像（動きボケのない画像）を推定する。従って、図１３７の実施の形態では、入力画像として、移動しているオブジェクトを撮影することにより得られた動きボケが生じている動きボケ画像が、信号処理装置４に入力される。なお、ここでは、入力画像として、水平方向（左から右方向）に一定の速さ（動き量）で移動しているオブジェクトを撮像して得られる画像を採用する。
【１４８１】
図１３７において、処理領域設定部12241、定常性設定部12242、実世界推定部12243、画像生成部12244、画像表示部12245、ユーザＩ／Ｆ12246は、図１１１の処理領域設定部10001、定常性設定部10002、実世界推定部10003、画像生成部10004、画像表示部10005、ユーザＩ／Ｆ10006にそれぞれ対応しており、基本的には、処理領域設定部10001、定常性設定部10002、実世界推定部10003、画像生成部10004、画像表示部10005、ユーザＩ／Ｆ10006それぞれと同様の処理を行う。さらに、図１３７において、実世界推定部12243は、モデル生成部12251、方程式生成部12252、実世界波形推定部12253で構成されている。モデル生成部12251、方程式生成部12252、実世界波形推定部12253は、図１１１のモデル生成部10011、方程式生成部10012、実世界波形推定部10013にそれぞれ対応しており、基本的には、モデル生成部10011、方程式生成部10012、実世界波形推定部10013それぞれと同様の処理を行う。
【１４８２】
但し、図１３７においては、ユーザがユーザＩ／Ｆ12246を操作することにより、ユーザＩ／Ｆ12246が出力する補助情報が、処理領域設定部12241と実世界推定部12243に供給されるようになっている。
【１４８３】
即ち、図１３７では、ユーザは、ユーザＩ／Ｆ12246を操作することにより、画像表示部12245に表示された画像に対して、不満のある領域を不満領域として指示することができるようになっており、ユーザＩ／Ｆ12246は、ユーザが不満領域を指示する操作を行うと、その操作によって指定された領域としての不満領域を表す不満領域指示情報を、処理領域設定部12241と実世界推定部12243に供給する。さらに、図１３７では、画像表示部12245には、後述するように、複数の出力画像が表示されるが、ユーザは、ユーザＩ／Ｆ12246を操作することにより、画像表示部12245に表示された出力画像を選択することができるようになっており、ユーザＩ／Ｆ12246は、ユーザが出力画像を選択する操作を行うと、その操作によって選択された出力画像を表す選択情報を、補助情報として、処理領域設定部12241と実世界推定部12243に供給する。
【１４８４】
なお、ユーザＩ／Ｆ12246を操作することにより不満領域を指示する方法としては、例えば、不満領域を囲む矩形によって指示する方法、不満領域をトリム(trim)することによって指示する方法、不満領域の中の任意の１点以上をポインティングすることによって指示する方法などがあるが、ここでは、例えば、ユーザは、不満領域の中の任意の１点を、ユーザＩ／Ｆ12246を操作することによりポインティングすることによって、不満領域を指示するものとする。この場合、ユーザＩ／Ｆ12246は、ユーザがポインティングした点を表す情報としての、例えば、その点の、画像上の座標を、不満領域指示情報として、処理領域設定部12241と実世界推定部12243に供給する。
【１４８５】
次に、図１３８のフローチャートを参照して、図１３７の信号処理装置４の処理について説明する。
【１４８６】
まず最初に、ステップS12211において、信号処理装置４は、前処理を行い、ステップS12212に進む。即ち、信号処理装置４は、センサ２（図１）からデータ３として供給される、例えば１フレームまたは１フィールドの入力画像を、処理領域設定部12241、定常性設定部12242、実世界推定部12243、画像生成部12244、および画像表示部12245に供給する。さらに、信号処理部４は、画像表示部12245に、入力画像を表示させる。
【１４８７】
ステップS12212では、ユーザＩ／Ｆ12246は、ユーザがユーザＩ／Ｆ12246を操作することにより、何らかのユーザ入力があったかどうかを判定する。ステップS12212において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップS12213乃至S12215をスキップして、ステップS12216に進む。
【１４８８】
また、ステップS12212において、ユーザ入力があったと判定された場合、即ち、ユーザが画像表示部12245に表示された入力画像を見て、ユーザＩ／Ｆ12246を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップS12213に進み、ユーザＩ／Ｆ12246は、そのユーザ入力が、信号処理装置４の処理の終了を指示する終了指示であるかどうかを判定する。
【１４８９】
ステップS12213において、ユーザ入力が終了指示であると判定された場合、即ち、例えば、画像表示部12245に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じず、入力画像に対して信号処理を施さないで良いとして、信号処理装置４の処理を終了するように、ユーザＩ／Ｆ12246を操作した場合、信号処理装置４は処理を終了する。
【１４９０】
また、ステップS12213において、ユーザ入力が終了指示でないと判定された場合、ステップS12214に進み、ユーザＩ／Ｆ12246は、ユーザ入力が不満領域指示情報であるかどうかを判定する。ステップS12214において、ユーザ入力が不満領域指示情報でないと判定された場合、ステップS12215をスキップして、ステップS12216に進む。
【１４９１】
一方、ステップS12214において、不満領域指示情報の入力があったと判定された場合、即ち、画像表示部12245に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じ、不満な箇所をポインティングするように、ユーザＩ／Ｆ12246を操作した場合、ステップS12215に進み、ユーザＩ／Ｆ12246は、ユーザがユーザＩ／Ｆ12246を操作することによってポインティングした点を表す不満領域指示情報を、補助情報として、処理領域設定部12241と実世界推定部12243に供給し、ステップS12216に進む。
【１４９２】
ステップS12216では、処理領域設定部12241は、ユーザＩ／Ｆ12246から供給された補助情報としての不満領域指示情報に基づいて、例えば、不満領域を含む所定の矩形の領域を処理領域として設定し、その処理領域情報を、定常性設定部12242、実世界推定部12243、および画像生成部12244に供給し、ステップS12217に進む。なお、この処理領域は、ユーザがユーザＩ／Ｆ12246を操作して入力してもよい。
【１４９３】
但し、ユーザＩ／Ｆ12246から処理領域設定部12241に不満領域指示情報が供給されなかった場合（ステップS12212またはステップS12214の処理直後にステップS12216の処理が行われる場合）には、処理領域設定部12241は、所定の処理（例えば、入力画像において、動きボケが生じている領域を検出する処理）を行うことにより、処理領域の設定を行う。
【１４９４】
ステップS12217では、定常性設定部12242は、処理領域設定部12241から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部12242は、その処理領域の画像データにおいて欠落した実世界１の光信号の定常性を表す情報として、処理領域に表示されたオブジェクトの動き量を設定し、その定常性を表す定常性情報を、実世界推定部12243に供給して、ステップS12218に進む。なお、この動き量は、ユーザがユーザＩ／Ｆ12246を操作して入力しても良い。また、ここでは、定常性設定部12242は、入力画像において、オブジェクトが水平方向に移動していることを前提として、その動きの大きさだけを表す動き量を定常性情報として設定するようにしたが、その他、オブジェクトの動きの大きさと方向を表す動きベクトルを、定常性情報として設定することも可能である。
【１４９５】
ステップS12218では、実世界推定部12243は、処理領域設定部12241から供給された処理領域情報と、ユーザＩ／Ｆ12246から供給された不満領域指示情報に応じて、入力画像における処理領域内の画像データ（動きボケ画像データ）から、対応する実世界１の光信号の動き量に基づいて、その実世界１の光信号（動きボケのない画像）を複数であるＮ通りの方法で推定する。
【１４９６】
即ち、実世界推定部12243では、モデル生成部12251が、処理領域設定部12241から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部12242から供給される定常性情報から、処理領域の画像データに対応する実世界１の光信号の動き量、つまり、ここでは、処理領域に表示されたオブジェクトの動き量を認識する。さらに、モデル生成部12251は、入力画像における処理領域の各水平ラインを構成する画素と、その処理領域の画像データに対応する実世界１の光信号の動き量に応じて、処理領域の各水平ラインの画素の画素値と実世界１の光信号との関係をモデル化した関係モデルを処理領域の水平ラインごとに生成し、方程式生成部12252に供給する。
【１４９７】
方程式生成部12252は、処理領域設定部12241から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域に応じて、入力画像の各画素の画素値を、モデル生成部12251から供給される処理領域の水平ラインごとの関係モデルに代入し、これにより、実世界１の光信号を近似する近似モデルとしての近似関数を求める方程式を生成する。さらに、方程式生成部12252は、処理領域情報と入力画像の特徴量に基づいて、近似関数を拘束する拘束条件式にＮ通りの重みを付けた、Ｎ通りの拘束条件式を生成する。方程式生成部12252は、実世界１の光信号を近似する近似モデルとしての近似関数を求める方程式とＮ通りの拘束条件式のそれぞれとを合わせて、Ｎ通りの正規方程式を生成し、実世界波形推定部12253に供給する。
【１４９８】
実世界波形推定部12253は、方程式生成部12252から供給されるＮ通りの正規方程式をそれぞれ演算することにより、Ｎ通りの実世界１の光信号の波形を推定する。即ち、実世界波形推定部12253は、方程式生成部12252から供給されるＮ通りの正規方程式をそれぞれ解くことにより、実世界１の光信号をモデル化した近似モデルとしてのＮ通りの近似関数を求め、Ｎ通りの実世界１の光信号の波形の推定結果として、画像生成部12244に供給する。
【１４９９】
なお、以下、このような実世界推定部12243が実行するステップS12218の処理を、「実世界の推定処理」と称する。「実世界の推定処理」の詳細については、図１３９のフローチャートを参照して後述する。
【１５００】
ステップS12218の処理後は、ステップS12219に進み、画像生成部12244は、実世界推定部12243（の実世界波形推定部12253）から供給された、実世界１の光信号の波形を近似するＮ通りの近似関数に基づいて、実世界１の光信号により近似したＮ通りの信号を生成する。即ち、画像生成部12244は、処理領域設定部12241から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部12243から供給されるＮ通りの近似関数に基づき、実世界１の光信号により近似したＮ通りの近似画像（動きボケのない画像）を生成する。
【１５０１】
さらに、画像生成部12244は、入力画像の処理領域の部分を、Ｎ通りの近似画像（動きボケのない画像）に置き換えた画像を、Ｎ通りの出力画像として生成し、画像表示部12245に供給して、ステップS12219からS12220に進む。
【１５０２】
ステップS12220では、画像表示部12245は、画像生成部12244から供給されたＮ通りの出力画像を、ステップS12211で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップS12221に進む。
【１５０３】
ステップS12221では、ユーザＩ／Ｆ12246は、ユーザがユーザＩ／Ｆ12246を操作することにより、選択情報の入力があったかどうかを判定する。即ち、ステップS12220では、画像表示部12245において、Ｎ通りの出力画像が表示されるが、そのＮ通りの出力画像を見たユーザが、そのＮ通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択する選択情報の入力を、ユーザＩ／Ｆ12246を操作することにより行ったかどうかが、ステップS12221において判定される。
【１５０４】
ステップS12221において、選択情報の入力がなかったと判定された場合、ステップS12224に進み、ステップS12213における場合と同様に、ユーザＩ／Ｆ12246は、終了指示の入力があったかどうかを判定する。
【１５０５】
ステップS12224において、終了指示の入力があったと判定された場合、信号処理装置４は、処理を終了する。
【１５０６】
また、ステップS12224において、終了指示の入力がなかったと判定された場合、ステップS12221に戻り、以下、同様の処理を繰り返す。
【１５０７】
一方、ステップS12221において、選択情報の入力があったと判定された場合、即ち、画像表示部12245に表示されたＮ通りの出力画像を見たユーザが、そのＮ通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択した場合、ステップS12222に進み、ユーザＩ／Ｆ12246は、ユーザがユーザＩ／Ｆ12246を操作することにより、ユーザが選択した出力画像を、最終的な出力画像として確定する確定指示の入力があったかどうかを判定する。
【１５０８】
ステップS12222において、確定指示の入力があったと判定された場合、ステップS12223に進み、画像表示部12245は、例えば、その画面全体に、ユーザが選択した出力画像を表示し、処理を終了する。
【１５０９】
また、ステップS12222において、確定指示の入力がなかったと判定された場合、即ち、ユーザが、選択した出力画像の画質に不満があり、再度処理を行うために、確定指示の入力を行わなかった場合、ステップS12215に戻り、ユーザＩ／Ｆ12246は、ユーザが選択した出力画像を表す選択情報を、補助情報として、処理領域設定部12241と実世界推定部12243に供給し、ステップS12216，S12217，12218に順次進む。ステップS12216の処理領域の設定処理とステップS12217の定常性の設定処理では、前回設定された処理領域と定常性が設定される。そして、その処理領域情報が定常性設定部12242、実世界推定部12243、および画像生成部12244に供給され、その定常性情報が実世界推定部12243に供給される。なお、２回目以降に行われるステップS12216およびS12217の処理は、スキップすることができる。
【１５１０】
ステップS12218では、実世界推定部12243は、ユーザＩ／Ｆ12246から供給された補助情報としての選択情報に基づいて、その実世界１の光信号（動きボケのない画像）を新たなＮ通りの方法で推定する。
【１５１１】
即ち、この場合、ステップS12218では、実世界推定部12243の方程式生成部12252では、ユーザＩ／Ｆ12246から供給された補助情報としての選択情報が表す出力画像を得るのに用いられた拘束条件式を基準に、新たなＮ通りの拘束条件式を設定する。方程式生成部12252は、実世界１の光信号を近似する近似モデルとしての近似関数を求める方程式と、新たなＮ通りの拘束条件式のそれぞれとを合わせて、新たなＮ通りの正規方程式を生成し、その新たなＮ通りの正規方程式を実世界波形推定部12253に供給する。さらに、実世界波形推定部12253は、方程式生成部12252から供給される新たなＮ通りの正規方程式をそれぞれ演算することにより、新たなＮ通りの実世界１の光信号の波形を推定する。そして、ステップS12218からS12219に進み、以下、同様の処理が繰り返される。
【１５１２】
即ち、これにより、ステップS12215乃至S12224の処理が繰り返され、最終的には、出力画像に対するユーザの不満が解消された、ユーザが所望する画質の出力画像が得られる。
【１５１３】
以上のように、信号処理装置４では、入力画像に対する処理結果としてのＮ通りの出力画像をユーザに提示し、そのＮ通りの出力画像の中からユーザが所望するものを選択してもらい、その選択結果を踏まえて、再度処理を行うようにしたので、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。即ち、信号処理装置４は、入力画像に対する処理結果としてのＮ通りの出力画像をユーザに提示する。一方、ユーザは、そのＮ通りの出力画像それぞれの画質を認識、判断し、画質の良い出力画像を、信号処理装置４にフィードバックする。そして、信号処理装置４は、そのユーザからのフィードバックを踏まえ、再度、入力画像を処理し、以下、同様の処理が繰り返される。従って、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。
【１５１４】
なお、このように、信号処理装置４において、ユーザからのフィードバックを受けて入力画像に対する処理を行うことは、信号処理装置４が、ユーザと協調しながら処理を行っているということができる。
【１５１５】
次に、図１３９のフローチャートを参照して、実世界推定部12243（図１３７）の実世界の推定処理（図１３８のステップS12218の処理）について詳細に説明する。
【１５１６】
ステップS12231において、モデル生成部12251は、関係モデルを生成する。即ち、モデル生成部12251が、処理領域設定部12241から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部12242から供給される定常性情報から、処理領域の画像データに対応する動き量を認識する。さらに、モデル生成部12251は、入力画像における処理領域について、その処理領域の水平ラインを構成する画素と、その処理領域の画像データに対応する動き量に応じて、処理領域内のセンサ２で検出された各画素の画素値と、実世界１の光信号を近似する近似モデルで表される動きボケのない画像との関係をモデル化した関係モデルを、処理領域の水平ラインごとに生成し、方程式生成部12252に供給する。そして、モデル生成部12251は、ステップS12231からステップS12232に進む。
【１５１７】
具体的には、モデル生成部12251は、処理領域の水平ラインの画素数と動き量に応じて、図１１８Ａ乃至図１１８Ｃで説明した、処理領域の各水平ラインの画素の画素値Ｐ_iと、動きボケのない画素値Ｑ_iとの関係を表す式を関係モデルとして生成する。例えば、処理領域の水平ラインの画素数が８であり、動き量vが５である場合、関係モデルとして、上述した式（１４２）が生成される。
【１５１８】
ステップS12232では、方程式生成部12252は、方程式生成処理を行う。即ち、方程式生成部12252は、処理領域設定部12241から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、その処理領域を構成する入力画像の各画素の画素値を、モデル生成部12251から供給される、その処理領域の各水平ラインに対して得られた関係モデルに代入し、これにより、実世界１の光信号を近似する近似関数で表される、動きボケのない画素値Ｑ_iを求める式（１４２）の方程式（モデル方程式）を生成する。
【１５１９】
さらに、方程式生成部12252は、処理領域設定部12241から供給される処理領域情報から認識される処理領域の水平ラインにおける実世界１の光信号を近似する近似モデルを拘束する拘束条件式を生成する。即ち、式（１４２）のモデル方程式は、求めたい変数である動きボケのない画素値の方が、方程式の数より多いため、動きボケのない画素値Ｑ_iを求めるには、方程式の総数を動きボケのない画素値Ｑ_iの数以上とする方程式を導入する必要がある。ここで、方程式生成部12252は、隣接する画素の、近似関数で表される動きボケのない画素値Ｑ_iの差が小さい（空間相関がある）という拘束条件式を生成する。このとき、方程式生成部12252は、ユーザにより指示された不満領域の画素と、処理領域内における不満領域の画素と類似（同一を含む）の特徴量を有する画素に対して、重みを付けた拘束条件式を生成する。
【１５２０】
但し、不満領域に対する重み付けの仕方により画質の異なる出力画像が得られるため、方程式生成部12252は、Ｎ通りの重み付けた拘束条件式を生成する。その結果、信号処理装置４では、Ｎ通りの出力画像が生成されて、表示される。そして、ユーザは、そのＮ通りの出力画像を見て、その中から所望の画質の画像または所望の画質に近い画像を選択する。
【１５２１】
従って、動きボケのない画像が平坦ではなく、例えば、何らかの模様があり、アクティビティの高い画像である場合においても、ユーザが所望する画質の動きボケのない画像が得られる。即ち、方程式生成部12252は、ユーザにより不満のある領域であると指示された領域に対して、Ｎ通りの重みを付けた、隣接画素の動きボケのない画素値の差は小さいという拘束条件式を生成する。ユーザは、その結果得られるＮ通りの出力画像から所望の画質の画像が選択することができるので、不満のある領域に対して最適な拘束条件を設定し、所望する画質の画像を容易に得ることができる。
【１５２２】
また、方程式生成部12252は、不満領域の画素だけでなく、不満領域の画素と類似する特徴量を有する処理領域内の画素に対しても、不満領域の画素と同一のＮ通りの拘束条件式を生成するので、不満領域の画素と類似の特徴量を有する画素に対して同一の拘束条件式を与えたい場合、ユーザは不満領域とする画素すべてを指示する必要がなく、不満領域とするある画素を指示するだけで、容易に、その指示した画素と類似の特徴量を有する画素に対して最適な拘束条件を設定することができる。従って、ユーザの負担を軽減することができる。
【１５２３】
方程式生成部12252は、モデル方程式を生成するとともに、不満領域指示情報に基づいて、不満領域の画素と、不満領域の画素と類似の特徴量を有する処理領域内の画素に対して、Ｎ通りの重みを付けた拘束条件式を生成し、生成されたモデル方程式とＮ通りの拘束条件式のそれぞれとを合わせて、Ｎ通りの正規方程式を生成する。方程式生成部12252は、そのＮ通りの正規方程式を、実世界波形推定部12253に供給して、ステップS12232からステップS12233に進む。
【１５２４】
なお、以下、このような方程式生成部12252が実行するステップS12232の処理を、「方程式生成処理」と称する。「方程式生成処理」の詳細については、図１４１のフローチャートを参照して後述する。
【１５２５】
ステップS12233において、実世界波形推定部12253は、方程式生成部12252から供給される、処理領域の各水平ラインについてのＮ通りの正規方程式を解くことにより、Ｎ通りの実世界１の光信号の波形を推定、即ち、Ｎ通りの近似関数で表される動きボケのない画素値Ｑ_iを求め、そのＮ通りの画素値を、画像生成部12244に供給する。
【１５２６】
次に、図１４０は、図１３７の方程式生成部12252の詳細構成例を示している。
【１５２７】
図１４０では、方程式生成部12252は、モデル方程式生成部12271、特徴量抽出部12272、特徴量空間LUT（Look Up Table）生成部12273、重み設定部12274、拘束条件式生成部12275、および正規方程式生成部12276から構成されている。
【１５２８】
図１４０に構成を示す方程式生成部12252には、モデル生成部12251から、処理領域の水平ラインごとに得られる、処理領域内のセンサ２で検出される各画素の画素値（動きボケ画像の画素値）と、動きボケのない画素値との関係をモデル化した関係モデルが入力され、モデル方程式生成部12271に供給される。また、方程式生成部12252には、入力画像が、センサ２（図１）から入力され、その入力画像は、モデル方程式生成部12271と特徴量抽出部12272に供給される。
【１５２９】
さらに、方程式生成部12252には、処理領域情報が、処理領域設定部12241から入力され、その処理領域情報が、モデル方程式生成部12271と特徴量抽出部12272に供給される。また、方程式生成部12252には、補助情報として不満領域指示情報または選択情報が、ユーザＩ／Ｆ12246から入力され、その不満領域指示情報は、特徴量空間LUT生成部12273に、選択情報は、特徴量空間LUT生成部12273と重み設定部12274にそれぞれ供給される。
【１５３０】
モデル方程式生成部12271は、処理領域情報から入力画像の処理領域を認識し、モデル生成部12251から供給された処理領域の水平ラインごとの関係モデルの動きボケ画像の各画素の画素値Ｐ_iとして、入力画像の処理領域における画素値を代入して、処理領域の水平ラインごとにモデル方程式を生成する。そして、モデル方程式生成部12271は、正規方程式生成部12276に、そのモデル方程式を供給する。
【１５３１】
特徴量抽出部12272は、処理領域設定部12241から入力された処理領域情報と入力画像から、処理領域を構成する画素（の画素値）を認識し、その処理領域を構成する各画素について、複数種類の特徴量を抽出（検出）する。そして、特徴量抽出部12272は、その処理領域の各画素の複数種類の特徴量を特徴量空間LUT生成部12273に供給する。
【１５３２】
ここで、画素の複数種類の特徴量としては、例えば、その画素に隣接する画素との画素値の差分（1次微分）や、その差分の差分（２次微分）、画素値としての輝度と色差との比、動きベクトル、隣接するフレームの同一位置にある画素との画素値の差分、その他アクティビティを表す任意の値などを採用することが可能である。
【１５３３】
特徴量空間LUT生成部12273は、特徴量抽出部12272から供給された処理領域の各画素の複数種類の特徴量ごとに、その処理領域の各画素をクラス分け（クラス分類）した特徴量空間LUTを生成する。
【１５３４】
また、特徴量空間LUT生成部12273は、ユーザＩ／Ｆ12246から入力される不満領域指示情報に基づき、処理領域内の画素の中から、不満領域の画素と、その画素と同一のクラスの特徴量を有する画素を選択（抽出）し、拘束条件式によって拘束する対象の拘束対象画素として、その拘束対象画素の情報を拘束条件式生成部12275に供給する。
【１５３５】
さらに、特徴量空間LUT生成部12273は、ユーザＩ／Ｆ12246から選択情報が入力された場合、即ち、ユーザがＮ通りの出力画像を見て、ユーザＩ／Ｆ12246を操作することにより所望の画像または所望に近い画像を選択した場合、生成した特徴量空間LUTに、不満領域の画素の属するクラスに対して、選択情報が表す出力画像を得るのに用いられた拘束条件式に対する重みを記憶させる。特徴量空間LUT生成部12273は、ユーザＩ／Ｆ12246から選択情報の入力が繰り返されると、特徴量空間LUTの、不満領域の画素の属するクラスに対して、前回記憶された重みに代え、今回選択された出力画像を得るのに用いられた拘束条件式に対する重みを記憶させ、最終的には、不満領域の画素の属するクラスに対して、最適な重みを記憶させる。
【１５３６】
このように、特徴量空間LUTには、不満領域の画素の属するクラスに対して、そのクラスが表す特徴量を有する画素にとって最適な重みが記憶されるので、特徴量空間LUTに、そのような最適な重みが記憶された後は、その特徴量空間LUTにしたがい、各特徴量の画素に対応する拘束条件式に対する重みを、その画素の属するクラスに記憶された重みとすることにより、ユーザが不満領域を指示しなくても、任意の入力画像に対して、ユーザが所望する画質の出力画像を得ることが可能となる。
【１５３７】
重み設定部12274は、ユーザＩ／Ｆ12246から入力された選択情報に基づいて、拘束条件式に付けるＮ通りの重みを設定し、そのＮ通りの重みを、拘束条件式生成部12275に供給する。拘束条件式生成部12275は、特徴量空間LUT生成部12273から供給された拘束対象画素に対して、重み設定部12274で設定されたＮ通りの重みに基づいて、Ｎ通りの所定の拘束条件式をそれぞれ生成し、そのＮ通りの拘束条件式を正規方程式生成部12276に供給する。
【１５３８】
正規方程式生成部12276は、モデル方程式生成部12271から供給されたモデル方程式と、拘束条件式生成部12275から供給されたＮ通りの拘束条件式のそれぞれを合わせて、Ｎ通りの正規方程式を生成し、実世界波形推定部12253に供給する。
【１５３９】
次に、図１４１のフローチャートを参照して、方程式生成部12252（図１４０）の方程式生成処理（図１３９のステップS12232の処理）について詳細に説明する。
【１５４０】
ステップS12251において、モデル方程式生成部12271は、モデル生成部12251から処理領域の水平ラインごとの関係モデルを取得し、ステップS12252に進む。ステップS12252において、モデル方程式生成部12271は、センサ２から入力画像を取得するとともに、処理領域設定部12241から処理領域情報を取得する。そして、モデル方程式生成部12271は、その入力画像と処理領域情報から、処理領域内の各画素の画素値Ｐ_iを認識し、その画素値Ｐ_iを、モデル生成部12251から取得した式（１４２）の関係モデルに代入することにより、処理領域の水平ラインごとにモデル方程式を生成する。さらに、モデル方程式生成部12271は、そのモデル方程式を正規方程式生成部12276に供給する。即ち、例えば、モデル方程式生成部12271が、上述した式（１４２）で表される関係モデルを、モデル生成部12251から取得した場合、式（１４２）の画素値Ｐ₄乃至Ｐ₇に入力画像の画素値を代入することで、モデル方程式を生成する。
【１５４１】
ステップS12252の処理後は、ステップS12253に進み、特徴量抽出部12272は、入力画像の特徴量を抽出し、特徴量空間LUT生成部12273に供給する。即ち、特徴量抽出部12272は、処理領域設定部12241から処理領域情報を取得し、入力画像を取得する。そして、特徴量抽出部12272は、その処理領域情報から、入力画像の処理領域内の画像データを認識し、処理領域内の画素毎に複数種類の特徴量を抽出して、その複数種類の特徴量を、特徴量空間LUT生成部12273に供給する。
【１５４２】
ステップS12253の処理後は、ステップS12254に進み、特徴量空間LUT生成部12273は、特徴量抽出部12272から供給された複数種類の特徴量に基づいて、処理領域内の各画素を、クラス分類し、特徴量空間LUTを生成する。
【１５４３】
なお、ある処理領域について、特徴量空間LUTが既に生成されており、ユーザＩ／Ｆ12246から選択情報が入力された、即ち、ユーザがＮ通りの出力画像を見て、所望の画像または所望に近い画像を選択した場合には、特徴量空間LUT生成部12273は、ステップS12253とS12254の処理に代えて、選択情報が表す出力画像を得るのに用いられた重みを、ユーザによって指示された不満領域の画素（ユーザによって不満領域が指示されていない場合は、処理領域の画素）の属するクラスに対して、LUT値として特徴量空間LUTに記億させる。
【１５４４】
特徴量空間LUT生成部12273は、ユーザＩ／Ｆ12246から選択情報の入力が繰り返されると、不満領域の画素の特徴量クラスに対して、前回記憶された重みに代え、今回選択された出力画像を得るのに用いられた拘束条件式に対する重みを記憶し、最終的には、不満領域の画素の属するクラスに対して、最適な重みを記憶させる。
【１５４５】
この場合、方程式生成部12252は、特徴量空間LUTに記億された拘束条件式の重みを、他の入力画像に対しても適用することができる。即ち、他の入力画像が新たに入力された場合、方程式生成部12252は、その入力画像の処理領域内の画素毎に複数種類の特徴量を抽出し、その複数種類の特徴量に基づいて処理領域内の各画素をクラス分類する。方程式生成部12252は、特徴量空間LUTのクラスのうちの、クラス分類によって得られる処理領域の各画素のクラスと同一のクラスに対してLUT値として既に記億された重みを、その画素に対応する拘束条件式に対する重みとして設定する。この場合、ユーザは、入力画像ごとに最適な重みを設定する必要がなく、ユーザの負担が軽減される。なお、新たな入力画像が入力されるたびに、特徴量空間LUTを新たに生成または更新してもかまわない。
【１５４６】
ステップS12254の処理後は、ステップS12255に進み、特徴量空間LUT生成部12273は、拘束条件によって拘束する拘束対象画素を決定し、拘束条件式生成部12275に供給して、ステップS12256に進む。即ち、特徴量空間LUT生成部12273は、ユーザＩ／Ｆ12246から不満領域指示情報を取得し、ステップS12254で生成した特徴量空間LUTに基づいて、不満領域の画素と、その画素と同一の特徴量のクラス（特徴量クラス）に属する画素を、拘束対象画素として決定し、拘束条件式生成部12275に供給する。
【１５４７】
ここで、ユーザが不満領域を指示せず、ユーザＩ／Ｆ12246から不満領域指示情報が入力されない場合は、特徴量空間LUT生成部12273は、例えば、処理領域のすべての画素を、拘束条件式の対象となる拘束対象画素に決定する。
【１５４８】
ステップS12256では、重み設定部12274は、Ｎ通りの重みを設定してそれぞれの重みを拘束条件式生成部12275に供給し、ステップS12257に進む。ここで、重み設定部12274は、ユーザＩ／Ｆ12246から選択情報が入力された場合、その選択情報が表す出力画像を得るのに用いられた重みを基準に、新たなＮ通りの重みを設定する。即ち、重み設定部12274は、最初に重みを設定する場合、例えば、０．５を中心として、０乃至１の範囲内で等間隔に、Ｎ通りの重みを設定する。そして、重み設定部12274は、ユーザＩ／Ｆ12246から選択情報が入力された場合、その選択情報が表す出力画像を得るのに用いられた重みを中心として、前回の重みの設定時よりも細かい等間隔で（但し、０乃至１の範囲）、新たなＮ通りの重みを設定する。
【１５４９】
従って、ユーザが前回の処理で出力されたＮ通りの出力画像の中から所望するものを選択すると、その選択結果を踏まえて、新たなＮ通りの重みが設定されるので、ユーザはＮ通りの出力画像の中から所望するものの選択を繰り返すことにより、最終的には、ユーザが所望する画質の出力画像が得られる重みが設定され、その結果、ユーザが所望する画質の出力画像が得られる。
【１５５０】
ステップS12257では、拘束条件式生成部12275は、ステップS12255で決定された拘束対象画素に対して、ステップS12256で設定されたＮ通りの重みに基づいて、拘束条件式を生成する。即ち、拘束条件式生成部12275は、拘束対象画素に対してＮ通りの重みを付けた拘束条件式を生成する。そして、拘束条件式生成部12275は、生成したＮ通りの拘束条件式を正規方程式生成部12276に供給する。
【１５５１】
例えば、拘束対象画素の水平ラインの画素数が、例えば、図１２２Ａ乃至図１２２Ｃに示したように８個であり、拘束対象画素の動きボケのない画素値をＱ₀乃至Ｑ₇で表す場合、拘束条件式は、上述した式（１４５）で表される。拘束条件式生成部12275は、重みＷが異なるＮ通りの式（１４５）で示される拘束条件式を生成する。
【１５５２】
ステップS12257の処理後は、ステップS12258に進み、正規方程式生成部12276は、モデル方程式生成部12271から供給されたモデル方程式に、拘束条件式生成部12275から供給されたＮ通りの拘束条件式をそれぞれ合わせて、Ｎ通りの正規方程式を生成し、そのＮ通りの正規方程式を実世界波形推定部12253に供給する。
【１５５３】
この後、実世界波形推定部12253は、正規方程式生成部12276から供給されたＮ通りの正規方程式を、例えば、最小二乗誤差最小規範でそれぞれ解くことにより、処理領域内の各水平ラインの画素のＮ通りの動きボケのない画素値Ｑ_iを求める。
【１５５４】
なお、上述した実世界推定処理は、処理領域内の水平方向に並ぶ画素（水平ライン）毎に行なわれる。即ち、実世界波形推定部12253は、水平ライン毎に、処理領域の各画素のＮ通りの動きボケのない画素値を求める。そして、実世界波形推定部12253は、処理領域内の全ての水平ラインにおいて、各画素のＮ通りの動きボケのない画素値を求めた後、処理領域の各画素のＮ通りの動きボケのない画素値を、画像生成部12244に供給する。画像生成部12244は、入力画像の処理領域の各画素の画素値を、Ｎ通りの動きボケのない画素値にそれぞれ置き換えた画像を、Ｎ通りの出力画像として生成し、画像表示部12245に供給して、表示させる。
【１５５５】
また、上述の処理では、拘束条件式生成部12275は、拘束対象画素以外に対する拘束条件式は生成しなかったが、拘束対象画素以外に対する拘束条件式も、所定の重みを付けて、生成してもよい。例えば、拘束条件式生成部12275では、図１２２Ａ乃至図１２２Ｃに示したように、処理領域の水平ラインが８個の画素＃０乃至＃７で構成され、その各画素＃０乃至＃７の動きボケのない画素値をＱ₀乃至Ｑ₇で表す場合において、拘束対象画素が画素値Ｑ₀乃至Ｑ₄の５つの画素＃０乃至＃４で構成されるとき、画素値Ｑ₅乃至Ｑ₇の３つの画素＃５乃至＃７に対しても所定の重み（例えば、拘束対象画素に対する重みとは異なる重み）Ｗを付けた拘束条件式を生成することができる。
【１５５６】
図１４２Ａと図１４２Ｂは、図１３７の信号処理装置４の処理の概要を説明する図である。なお、ここでは、処理領域の画素の特徴量として、例えば、３つの特徴量Ａ，Ｂ，Ｃが抽出され、特徴量空間LUTが構成されるものとする。
【１５５７】
図１４２Ａと図１４２Ｂの例では、３つの特徴量Ａ乃至Ｃのうちの、例えば２つの特徴量ＡとＣだけに注目し、横軸を特徴量Ａとするとともに、縦軸を特徴量Ｃとして、特徴量空間LUT12281を示している。
【１５５８】
図１４２Ａおよび図１４２Ｂに示すように、ユーザは、入力画像12280を見て、不満のある領域を、不満領域として指示する（ポインティングする）。そして、信号処理装置４は、ユーザにより指示された不満領域に基づいて処理領域を設定し、その処理領域内の入力画像データから、画素毎に特徴量Ａ乃至Ｃを抽出する。信号処理装置４は、特徴量Ａ乃至Ｃそれぞれに基づいて、処理領域の各画素をクラス分類した、特徴量空間LUT12281を生成する。即ち、信号処理装置４は、画素の特徴量Ａ乃至Ｃで規定する特徴量空間において、その画素の特徴量Ａ乃至Ｃをコンポーネントとするベクトルが属する部分空間によって、画素をクラス分類し、その部分空間としてのクラス（特徴量クラス）と、画素とを対応付けた特徴量空間LUT12281を生成する。なお、図１４２Ａおよび図１４２Ｂでは、上述したように、特徴量ＡとＣだけに注目した特徴量空間LUT12281を示している。また、特徴量空間LUT12281のマス目は、特徴量空間の部分空間としての特徴量クラスを表している。
【１５５９】
信号処理装置４は、特徴量LUT12281から、ユーザによって指示された不満領域の画素の特徴量クラス12282を認識し、その特徴量クラス12282に分類された全ての画素を、拘束対象画素として設定する。さらに、信号処理装置４は、Ｎ通りの重みを設定し、拘束対象画素に対して、Ｎ通りの重みそれぞれを付けた拘束条件式を生成して、そのＮ通りの拘束条件式を用いて得られるＮ通りの出力画像を表示する。
【１５６０】
なお、図１４２Ａと図１４２Ｂは、拘束対象画素に対して異なる重みを付けた拘束条件式から得られた出力画像12283と出力画像12284が表示された例をそれぞれ示している。なお、出力画像12283上の丸印と出力画像12284上の三角印は、拘束対象画素を表している。
【１５６１】
信号処理装置４は、図１４２Ａおよび図１４２Ｂで説明した出力画像を、Ｎ通り生成して表示する。そして、ユーザは、そのＮ通りの出力画像の中から、所望の画像または所望の画像に近い画像を選択し、信号処理装置４は、その選択された画像を得るのに用いた重みを基準として、新たなＮ通りの重みを設定することを繰り返す。
【１５６２】
従って、ユーザは、簡単に最適な重みと拘束対象画素を設定し、実世界１の光信号により近似した画像を得ることができる。即ち、ユーザは、所望の画質の画像または所望の画質に近い画像を容易に得ることができる。また、不満領域と同一の特徴量クラスの画素に対して、拘束条件式が生成されるので、ユーザは、不満領域とする画素全てを指示する必要がなく、ユーザの負担を軽減することができる。
【１５６３】
なお、図１４２Ａおよび図１４２Ｂでは、画素から抽出される３つの特徴量Ａ乃至Ｃのうちの２つの特徴量ＡとＣに注目し、その２つの特徴量ＡとＣのクラスが不満領域の画素と同一の画素を拘束対象画素とすることとしたが、その他、例えば、特徴量Ａ乃至Ｃの全てのクラスまたはいずれか1のクラスが不満領域の画素と同一の画素を、拘束対象画素とすることが可能である。また、特徴量ＡとＢや、特徴量ＢとＣだけに注目して、拘束対象画素を決定することも可能である。ここで、どの特徴量に注目するかは、例えば、ユーザによる操作に基づいて決定することが可能である。また、信号処理装置４では、注目する特徴量だけ抽出するようにすることが可能である。
【１５６４】
図１４３は、図１１１に示した信号処理装置４の応用例の他の一実施の形態の構成例を示している。
【１５６５】
なお、図１４３は、例えば、一定方向に一定の速さで移動するという定常性を有するデータ３の一例である動きボケ画像データから、実世界１の光信号を推定する信号処理装置４の一実施の形態の構成例を示している。即ち、この信号処理装置４は、例えば、撮影時に被写体（オブジェクト）が動いたことにより、被写体がボケて撮影されてしまった画像（動きボケ画像）から、そのボケがない画像（動きボケのない画像）を推定する。従って、図１４３の実施の形態では、入力画像として、移動しているオブジェクトを撮影することにより得られた動きボケが生じている動きボケ画像が、信号処理装置４に入力される。なお、ここでは、入力画像として、水平方向（左から右方向）に一定の速さ（動き量）で移動しているオブジェクトを撮像して得られる画像を採用する。
【１５６６】
図１４３において、処理領域設定部12291、定常性設定部12292、実世界推定部12293、画像生成部12294、画像表示部12295、ユーザＩ／Ｆ12296は、図１１１の処理領域設定部10001、定常性設定部10002、実世界推定部10003、画像生成部10004、画像表示部10005、ユーザＩ／Ｆ10006にそれぞれ対応しており、基本的には、処理領域設定部10001、定常性設定部10002、実世界推定部10003、画像生成部10004、画像表示部10005、ユーザＩ／Ｆ10006それぞれと同様の処理を行う。さらに、図１４３において、実世界推定部12293は、モデル生成部12301、方程式生成部12302、実世界波形推定部12303で構成されている。モデル生成部12301、方程式生成部12302、実世界波形推定部12303は、図１１１のモデル生成部10011、方程式生成部10012、実世界波形推定部10013にそれぞれ対応しており、基本的には、モデル生成部10011、方程式生成部10012、実世界波形推定部10013それぞれと同様の処理を行う。
【１５６７】
但し、図１４３においては、ユーザがユーザＩ／Ｆ12296を操作することにより、ユーザＩ／Ｆ12296が出力する補助情報が、処理領域設定部12291と実世界推定部12293に供給されるようになっている。
【１５６８】
即ち、図１４３では、ユーザは、ユーザＩ／Ｆ12296を操作することにより、画像表示部12295に表示された画像に対して、不満のある領域を不満領域として指示することができるようになっており、ユーザＩ／Ｆ12296は、ユーザが不満領域を指示する操作を行うと、その操作によって指定された領域としての不満領域を表す不満領域指示情報を、処理領域設定部12291と実世界推定部12293に供給する。さらに、図１４３では、画像表示部12295には、後述するように、複数の出力画像が表示されるが、ユーザは、ユーザＩ／Ｆ12296を操作することにより、画像表示部12295に表示された出力画像を選択することができるようになっており、ユーザＩ／Ｆ12296は、ユーザが出力画像を選択する操作を行うと、その操作によって選択された出力画像を表す選択情報を、補助情報として、処理領域設定部12291と実世界推定部12293に供給する。
【１５６９】
なお、ユーザＩ／Ｆ12296を操作することにより不満領域を指示する方法としては、例えば、不満領域を囲む矩形によって指示する方法、不満領域をトリム(trim)することによって指示する方法、不満領域の中の任意の１点以上をポインティングすることによって指示する方法などがあるが、ここでは、例えば、ユーザは、不満領域の中の任意の１点を、ユーザＩ／Ｆ12296を操作することによりポインティングすることによって、不満領域を指示するものとする。この場合、ユーザＩ／Ｆ12296は、ユーザがポインティングした点を表す情報としての、例えば、その点の、画像上の座標を、不満領域指示情報として、処理領域設定部12291と実世界推定部12293に供給する。
【１５７０】
次に、図１４４のフローチャートを参照して、図１４３の信号処理装置４の処理について説明する。
【１５７１】
まず最初に、ステップS12271において、信号処理装置４は、前処理を行い、ステップS12272に進む。即ち、信号処理装置４は、センサ２（図１）からデータ３として供給される、例えば１フレームまたは１フィールドの入力画像を、処理領域設定部12291、定常性設定部12292、実世界推定部12293、画像生成部12294、および画像表示部12295に供給する。さらに、信号処理装置４は、画像表示部12295に、入力画像を表示させる。
【１５７２】
ステップS12272では、ユーザＩ／Ｆ12296は、ユーザがユーザＩ／Ｆ12296を操作することにより、何らかのユーザ入力があったかどうかを判定する。ステップS12272において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップS12273乃至S12275をスキップして、ステップS12276に進む。
【１５７３】
また、ステップS12272において、ユーザ入力があったと判定された場合、即ち、ユーザが画像表示部12295に表示された入力画像を見て、ユーザＩ／Ｆ12296を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップS12273に進み、ユーザＩ／Ｆ12296は、そのユーザ入力が、信号処理装置４の処理の終了を指示する終了指示であるかどうかを判定する。
【１５７４】
ステップS12273において、ユーザ入力が終了指示であると判定された場合、即ち、例えば、画像表示部12295に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じず、入力画像に対して信号処理を施さないで良いとして、信号処理装置４の処理を終了するように、ユーザＩ／Ｆ12296を操作した場合、信号処理装置４は処理を終了する。
【１５７５】
また、ステップS12273において、ユーザ入力が終了指示でないと判定された場合、ステップS12274に進み、ユーザＩ／Ｆ12296は、ユーザ入力が不満領域指示情報であるかどうかを判定する。ステップS12274において、ユーザ入力が不満領域指示情報でないと判定された場合、ステップS12275をスキップして、ステップS12276に進む。
【１５７６】
一方、ステップS12274において、不満領域指示情報の入力があったと判定された場合、即ち、画像表示部12295に表示された入力画像を見たユーザが、その入力画像の画質に不満を感じ、不満な箇所をポインティングするように、ユーザＩ／Ｆ12296を操作した場合、ステップS12275に進み、ユーザＩ／Ｆ12296は、ユーザがユーザＩ／Ｆ12296を操作することによってポインティングした点を表す不満領域指示情報を、補助情報として、処理領域設定部12291と実世界推定部12293に供給し、ステップS12276に進む。
【１５７７】
ステップS12276では、処理領域設定部12291は、ユーザＩ／Ｆ12296から供給された補助情報としての不満領域指示情報に基づいて、例えば、不満領域を含む所定の矩形の領域を処理領域として設定し、その処理領域情報を、定常性設定部12292、実世界推定部12293、および画像生成部12294に供給し、ステップS12277に進む。なお、この処理領域は、ユーザがユーザＩ／Ｆ12296を操作して入力してもよい。
【１５７８】
但し、ユーザＩ／Ｆ12296から処理領域設定部12291に不満領域指示情報が供給されなかった場合（ステップS12272またはステップS12274の処理直後にステップS12276の処理が行われる場合）には、処理領域設定部12291は、所定の処理（例えば、入力画像において、動きボケが生じている領域を検出する処理）を行うことにより、処理領域の設定を行う。
【１５７９】
ステップS12277では、定常性設定部12292は、処理領域設定部12291から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部12292は、その処理領域の画像データにおいて欠落した実世界１の光信号の定常性を表す情報として、処理領域に表示されたオブジェクトの動き量を設定し、その定常性を表す定常性情報を、実世界推定部12293に供給して、ステップS12278に進む。なお、この動き量は、ユーザがユーザＩ／Ｆ12296を操作して入力しても良い。また、ここでは、定常性設定部12292は、入力画像において、オブジェクトが水平方向に移動していることを前提として、その動きの大きさだけを表す動き量を定常性情報として設定するようにしたが、その他、オブジェクトの動きの大きさと方向を表す動きベクトルを、定常性情報として設定することも可能である。
【１５８０】
ステップS12278では、実世界推定部12293は、処理領域設定部12291から供給された処理領域情報と、ユーザＩ／Ｆ12296から供給された不満領域指示情報に応じて、入力画像における処理領域内の画像データ（動きボケ画像データ）から、対応する実世界１の光信号の動き量に基づいて、その実世界１の光信号（動きボケのない画像）を複数であるＭ通りの方法で推定する。
【１５８１】
即ち、実世界推定部12293では、モデル生成部12301が、処理領域設定部12291から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部12292から供給される定常性情報から、処理領域の画像データに対応する実世界１の光信号の動き量、つまり、ここでは、処理領域に表示されたオブジェクトの動き量を認識する。さらに、モデル生成部12301は、入力画像における処理領域の各水平ラインを構成する画素と、その処理領域の画像データに対応する実世界１の光信号の動き量に応じて、処理領域の各水平ラインの画素の画素値と実世界１の光信号との関係をモデル化した関係モデルを処理領域の水平ラインごとに生成し、方程式生成部12302に供給する。
【１５８２】
方程式生成部12302は、処理領域設定部12291から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域に応じて、入力画像の各画素の画素値を、モデル生成部12301から供給される処理領域の水平ラインごとの関係モデルに代入し、これにより、実世界１の光信号を近似する近似モデルとしての近似関数を求める方程式を生成する。さらに、方程式生成部12302は、処理領域情報と入力画像のＭ通りの特徴量に基づいて、近似関数を拘束するＭ通りの拘束条件式を生成する。方程式生成部12302は、実世界１の光信号を近似する近似モデルとしての近似関数を求める方程式とＭ通りの拘束条件式のそれぞれとを合わせて、Ｍ通りの正規方程式を生成し、実世界波形推定部12303に供給する。
【１５８３】
実世界波形推定部12303は、方程式生成部12302から供給されるＭ通りの正規方程式をそれぞれ演算することにより、Ｍ通りの実世界１の光信号の波形を推定する。即ち、実世界波形推定部12303は、方程式生成部12302から供給されるＭ通りの正規方程式をそれぞれ解くことにより、実世界１の光信号をモデル化した近似モデルとしてのＭ通りの近似関数を求め、Ｍ通りの実世界１の光信号の波形の推定結果として、画像生成部12294に供給する。
【１５８４】
なお、以下、このような実世界推定部12293が実行するステップS12278の処理を、「実世界の推定処理」と称する。「実世界の推定処理」の詳細については、図１４５のフローチャートを参照して後述する。
【１５８５】
ステップS12278の処理後は、ステップS12279に進み、画像生成部12294は、実世界推定部12293（の実世界波形推定部12303）から供給された、実世界１の光信号の波形を近似するＭ通りの近似関数に基づいて、実世界１の光信号により近似したＭ通りの信号を生成する。即ち、画像生成部12294は、処理領域設定部12291から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部12293から供給されるＭ通りの近似関数に基づき、実世界１の光信号により近似したＭ通りの近似画像（動きボケのない画像）を生成する。
【１５８６】
さらに、画像生成部12294は、入力画像の処理領域の部分を、Ｍ通りの近似画像（動きボケのない画像）に置き換えた画像を、Ｍ通りの出力画像として生成し、画像表示部12295に供給して、ステップS12279からS12280に進む。
【１５８７】
ステップS12280では、画像表示部12295は、画像生成部12294から供給されたＭ通りの出力画像を、ステップS12271で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップS12281に進む。
【１５８８】
ステップS12281では、ユーザＩ／Ｆ12296は、ユーザがユーザＩ／Ｆ12296を操作することにより、選択情報の入力があったかどうかを判定する。即ち、ステップS12280では、画像表示部12295において、Ｍ通りの出力画像が表示されるが、そのＭ通りの出力画像を見たユーザが、そのＭ通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択する選択情報の入力を、ユーザＩ／Ｆ12296を操作することにより行ったかどうかが、ステップS12281において判定される。
【１５８９】
ステップS12284において、選択情報の入力がなかったと判定された場合、ステップS12284に進み、ステップS12273における場合と同様に、ユーザＩ／Ｆ12296は、終了指示の入力があったかどうかを判定する。
【１５９０】
ステップS12284において、終了指示の入力があったと判定された場合、信号処理装置４は、処理を終了する。
【１５９１】
また、ステップS12281において、終了指示の入力がなかったと判定された場合、ステップS12281に戻り、以下、同様の処理を繰り返す。
【１５９２】
一方、ステップS12281において、選択情報の入力があったと判定された場合、即ち、画像表示部12295に表示されたＭ通りの出力画像を見たユーザが、そのＭ通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択した場合、ステップS12282に進み、ユーザＩ／Ｆ12296は、ユーザがユーザＩ／Ｆ12296を操作することにより、ユーザが選択した出力画像を、最終的な出力画像として確定する確定指示の入力があったかどうかを判定する。
【１５９３】
ステップS12282において、確定指示の入力があったと判定された場合、ステップS12283に進み、画像表示部12295は、例えば、その画面全体に、ユーザが選択した出力画像を表示し、処理を終了する。
【１５９４】
また、ステップS12282において、確定指示の入力がなかったと判定された場合、即ち、ユーザが、選択した出力画像の画質に不満があり、再度処理を行うために、確定指示の入力を行わなかった場合、ステップS12275に戻り、ユーザＩ／Ｆ12296は、ユーザが選択した出力画像を表す選択情報を、補助情報として、処理領域設定部12291と実世界推定部12293に供給し、ステップS12276，S12277，S12278に順次進む。ステップS12276の処理領域の設定処理とステップS12277の定常性の設定処理では、前回設定された処理領域と定常性が設定される。そして、その処理領域情報が定常性設定部12292、実世界推定部12293、および画像生成部12294に供給され、その定常性情報が実世界推定部12293に供給される。なお、２回目以降に行われるステップS12276およびS12277の処理は、スキップすることができる。
【１５９５】
ステップS12278では、実世界推定部12293は、ユーザＩ／Ｆ12296から供給された補助情報としての選択情報に基づいて、その実世界１の光信号（動きボケのない画像）を新たなＭ通りの方法で推定する。
【１５９６】
即ち、この場合、ステップS12278では、実世界推定部12293の方程式生成部12302では、ユーザＩ／Ｆ12296から供給された補助情報としての選択情報が表す出力画像を得るのに用いられた拘束条件式を基準に、新たなＭ通りの拘束条件式を設定する。方程式生成部12302は、実世界１の光信号を近似する近似モデルとしての近似関数を求める方程式と、新たなＭ通りの拘束条件式のそれぞれとを合わせて、新たなＭ通りの正規方程式を生成し、その新たなＭ通りの正規方程式を実世界波形推定部12303に供給する。さらに、実世界波形推定部12303は、方程式生成部12302から供給される新たなＭ通りの正規方程式をそれぞれ演算することにより、新たなＭ通りの実世界１の光信号の波形を推定する。そして、ステップS12278からS12279に進み、以下、同様の処理が繰り返される。
【１５９７】
即ち、これにより、ステップS12275乃至S12284の処理が繰り返され、最終的には、出力画像に対するユーザの不満が解消された、ユーザが所望する画質の出力画像が得られる。
【１５９８】
以上のように、信号処理装置４では、入力画像に対する処理結果としてのＭ通りの出力画像をユーザに提示し、そのＭ通りの出力画像の中からユーザが所望するものを選択してもらい、その選択結果を踏まえて、再度処理を行うようにしたので、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。即ち、信号処理装置４は、入力画像に対する処理結果としてのＭ通りの出力画像をユーザに提示する。一方、ユーザは、そのＭ通りの出力画像それぞれの画質を認識、判断し、画質の良い出力画像を、信号処理装置４にフィードバックする。そして、信号処理装置４は、そのユーザからのフィードバックを踏まえ、再度、入力画像を処理し、以下、同様の処理が繰り返される。従って、ユーザの好みにあった、高画質の出力画像を、容易に得ることができる。
【１５９９】
なお、このように、信号処理装置４において、ユーザからのフィードバックを受けて入力画像に対する処理を行うことは、信号処理装置４が、ユーザと協調しながら処理を行っているということができる。
【１６００】
次に、図１４５のフローチャートを参照して、実世界推定部12293（図１４３）の実世界の推定処理（図１４４のステップS12278の処理）について詳細に説明する。
【１６０１】
ステップS12291において、モデル生成部12301は、関係モデルを生成する。即ち、モデル生成部12301が、処理領域設定部12291から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部12292から供給される定常性情報から、処理領域の画像データに対応する動き量を認識する。さらに、モデル生成部12301は、入力画像における処理領域について、その処理領域の水平ラインを構成する画素と、その処理領域の画像データに対応する動き量に応じて、処理領域内のセンサ２で検出された各画素の画素値と、実世界１の光信号を近似する近似モデルで表される動きボケのない画像との関係をモデル化した関係モデルを生成し、これにより、処理領域に対して得られる関係モデルを、処理領域の水平ラインごとに生成し、方程式生成部12302に供給する。そして、モデル生成部12301は、ステップS12291からステップS12292に進む。
【１６０２】
具体的には、モデル生成部12301は、処理領域の水平ラインの画素数と動き量に応じて、図１１８Ａ乃至図１１８Ｃで説明した、処理領域の各水平ラインの画素の画素値Ｐ_iと、動きボケのない画素値Ｑ_iとの関係を表す式を関係モデルとして生成する。例えば、処理領域の水平ラインの画素数が８であり、動き量vが５である場合、関係モデルとして、上述した式（１４２）が生成される。
【１６０３】
ステップS12292では、方程式生成部12302は、方程式生成処理を行う。即ち、方程式生成部12302は、処理領域設定部12291から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、その処理領域を構成する入力画像の各画素の画素値を、モデル生成部12301から供給される、その処理領域の各水平ラインに対して得られた関係モデルに代入し、これにより、実世界１の光信号を近似する近似関数で表される、動きボケのない画素値Ｑ_iを求める式（１４２）の方程式（モデル方程式）を、処理領域の水平ラインごとに生成する。
【１６０４】
さらに、方程式生成部12302は、処理領域設定部12291から供給される処理領域情報から認識される処理領域における実世界１の光信号を近似する近似モデルを拘束する拘束条件式を生成する。即ち、式（１４２）のモデル方程式は、求めたい変数である動きボケのない画素値の方が、方程式の数より多いため、動きボケのない画素値Ｑ_iを求めるためには、方程式の総数を動きボケのない画素値Ｑ_iの数以上とする方程式を導入する必要がある。ここで、方程式生成部12302は、隣接する画素の、近似関数で表される動きボケのない画素値の差が小さい（空間相関がある）という拘束条件式を生成する。このとき、方程式生成部12302は、ユーザにより指示された不満領域の画素と、処理領域内における不満領域の画素と類似の特徴量を有する画素を、拘束対象画素として、その拘束対象画素に対して、重みを付けた拘束条件式を生成する。
【１６０５】
即ち、方程式生成部12302は、処理領域の各画素について複数種類の特徴量を抽出し、不満領域と類似の特徴量を有する処理領域内の画素を、拘束条件式の対象となる拘束対象画素として選択する。具体的には、方程式生成部12302は、複数種類の特徴量の1以上の組み合わせを、Ｍ通り設定し、そのＭ通りの特徴量（の1以上の組み合わせ）それぞれについて、拘束対象画素を選択する。そして、方程式生成部12302は、その拘束対象画素に対して、所定の重みを付けた拘束条件式を生成する。その結果、Ｍ通りの出力画像が生成されて表示される。そして、ユーザは、Ｍ通りの出力画像を見て、そのＭ通りの出力画像の中から所望の画質の画像または所望の画質に近い画像を選択する。
【１６０６】
以上のように、方程式生成部12302は、不満領域の画素だけでなく、Ｍ通りの特徴量の１以上の組み合わせに基づいて、不満領域の画素と類似の特徴量を有する処理領域内の画素に対しても、不満領域の画素と同一の拘束条件式を生成するので、ユーザは、その結果得られるＭ通りの出力画像から所望の画像の選択することにより、同一の拘束条件式を与えたい箇所に、容易に、同一の拘束条件を与えることができる。従って、ユーザは同一の拘束条件式を与えたい箇所が複数ある場合においても、その複数の箇所それぞれを、不満領域として指示する必要がなく、ユーザの負担を軽減することができる。
【１６０７】
方程式生成部12302は、モデル方程式を生成するとともに、不満領域指示情報に基づいて、不満領域の画素と、Ｍ通りの種類の特徴量（Ｍ通りの特徴量の１以上の組み合わせ）それぞれについて不満領域の画素と類似の特徴量を有する処理領域内の画素に対して、所定の重みを付けたＭ通りの拘束条件式を生成し、生成されたモデル方程式とＭ通りの拘束条件式のそれぞれとを合わせて、Ｍ通りの正規方程式を生成する。方程式生成部12302は、そのＭ通りの正規方程式を、実世界波形推定部12303に供給して、ステップS12292からステップS12293に進む。
【１６０８】
なお、以下、このような方程式生成部12302が実行するステップS12292の処理を、「方程式生成処理」と称する。「方程式生成処理」の詳細については、図１４７のフローチャートを参照して後述する。
【１６０９】
ステップS12293において、実世界波形推定部12303は、方程式生成部12302から供給される、処理領域の各水平ラインについてのＭ通りの正規方程式を解くことにより、Ｍ通りの近似関数で表される動きボケのない画素値Ｑ_iを求め、そのＭ通りの画素値を、画像生成部12294に供給する。
【１６１０】
次に、図１４６は、図１４３の方程式生成部12302の詳細構成例を示している。
【１６１１】
図１４６では、方程式生成部12302は、モデル方程式生成部12321、特徴量抽出部12322、特徴量軸設定部12323、特徴量空間LUT生成部12324、拘束条件式生成部12325、および正規方程式生成部12326から構成されている。
【１６１２】
図１４６に構成を示す方程式生成部12302には、モデル生成部12301から、処理領域の水平ラインごとに得られる、処理領域の各水平ラインの画素の画素値（動きボケ画像の画素値）と、動きボケのない画素値との関係をモデル化した関係モデルが入力され、モデル方程式生成部12321に供給される。また、方程式生成部12302には、入力画像が、センサ２（図１）から入力され、その入力画像は、モデル方程式生成部12321と特徴量抽出部12322に供給される。
【１６１３】
さらに、方程式生成部12302には、処理領域情報が、処理領域設定部12291から入力され、その処理領域情報が、モデル方程式生成部12321と特徴量抽出部12322に供給される。また、方程式生成部12302には、補助情報として不満領域指示情報と選択情報が、ユーザＩ／Ｆ12296から入力され、不満領域指示情報は、特徴量空間LUT生成部12324に、選択情報は、特徴量空間LUT生成部12324と特徴量軸設定部12323にそれぞれ供給される。
【１６１４】
モデル方程式生成部12321は、処理領域情報から入力画像の処理領域を認識し、モデル生成部12301から供給された処理領域の水平ラインごとの関係モデルの動きボケ画像の各画素の画素値Ｐ_iとして、入力画像の処理領域における画素値を代入して、処理領域の水平ラインごとに、式（１４２）のモデル方程式を生成する。そして、モデル方程式生成部12321は、正規方程式生成部12326に、そのモデル方程式を供給する。
【１６１５】
特徴量抽出部12322は、処理領域設定部12291から入力された処理領域情報と入力画像から、処理領域を構成する画素（の画素値）を認識し、その処理領域を構成する各画素について、複数種類の特徴量を抽出する。そして、特徴量抽出部12322は、その処理領域の画素毎の複数種類の特徴量を特徴量空間LUT生成部12324に供給する。
【１６１６】
特徴量軸設定部12323は、ユーザＩ／Ｆ12296から入力された選択情報に基づいて、特徴量空間LUTを生成するためのＭ通りの特徴量軸を設定する。なお、この特徴量軸は、入力画像から抽出される複数の特徴量のいずれかを表す軸である。
【１６１７】
特徴量空間LUT生成部12324は、特徴量抽出部12322から供給された処理領域の各画素の複数種類の特徴量のうちの、特徴量軸設定部12323から供給される特徴量軸に対応する特徴量に基づいて、処理領域の各画素をクラス分け（クラス分類）し、特徴量空間LUTを生成する。なお、特徴量空間LUT生成部12324は、特徴量軸設定部12323から供給されるＭ通りの特徴量軸それぞれについて、処理領域の各画素をクラス分けし、これにより、Ｍ通りの特徴量空間LUTを生成する。また、特徴量空間LUT生成部12324は、生成したＭ通りの特徴量空間LUTと、ユーザＩ／Ｆ12296から入力される不満領域指示情報に基づき、処理領域内の画素の中から、不満領域の画素と、その画素と類似の特徴量を有する画素をそれぞれ選択し、拘束対象画素として、その拘束対象画素の情報を拘束条件式生成部12325に供給する。従って、特徴量空間LUT生成部12324は、Ｍ通りの特徴量空間LUTについて、Ｍ通りの拘束対象画素を選択する。
【１６１８】
さらに、特徴量空間LUT生成部12324は、ユーザＩ／Ｆ12296から選択情報が入力された場合、即ち、ユーザがＭ通りの出力画像を見て、ユーザＩ／Ｆ12296を操作することにより所望の画像または所望に近い画像を選択した場合、生成したＭ通りの特徴量空間LUTのうち、選択情報が表す出力画像を得るのに用いられた特徴量空間LUTの、ユーザによって指示された不満領域の画素（ユーザによって不満領域が指示されていない場合は、処理領域の画素）の特徴量クラスに対して、拘束条件式に付けられた重みを記憶させる。
【１６１９】
特徴量空間LUT生成部12324は、ユーザＩ／Ｆ12296から選択情報の入力が繰り返されると、前回生成された特徴量空間LUTを削除し、今回生成されたＭ通りの特徴量空間LUTのうちの、今回選択された出力画像を得るのに用いられた特徴量空間LUTの、不満領域の画素の特徴量クラスに対して重みを記憶させ、最終的には、ユーザが最も良いとした画質の出力画像が得られたときに用いられた、いわば最適な特徴量空間LUTに、重みを記憶させる。従って、この最適な特徴量空間LUTにおいては、拘束対象画素とするのに、最適な画素の属する特徴量クラスに対して、重みが記憶されているので、そのような最適な特徴量空間LUTが得られた後は、その最適な特徴量空間LUTにしたがい、各特徴量の画素に対応する拘束条件式の重みを、その画素の属するクラスに記憶された重みとすることにより、ユーザが不満領域を指示しなくても、任意の入力画像に対してユーザが所望する画質の出力画像を得ることが可能となる。
【１６２０】
なお、ここでは、特徴量空間LUTに、重みを記憶させるようにしたが、特徴量空間LUTには、重みそのものではなく、重みが付されたこと（あるいは、拘束対象画素とされたこと）を表す情報を記億させてもよい。
【１６２１】
また、ここでは、特徴量軸設定部12323において、Ｍ通りの特徴量軸を設定し、特徴量空間LUT生成部12324において、そのＭ通りの特徴量軸それぞれによって規定される特徴量空間で処理領域の画素をクラス分類するＭ通りの特徴量空間LUTを生成するようにしたが、Ｍ通りの特徴量空間LUTは、その他、例えば、特徴量軸はすべて同一とし、その同一の特徴量軸を区切って特徴量クラスを作るときの、その特徴量軸の区切り方をＭ通り用意することによって生成することも可能である。
【１６２２】
拘束条件式生成部12325は、特徴量空間LUT生成部12324から供給されたＭ通りの拘束対象画素に対して、所定の重みを付けたＭ通りの所定の拘束条件式をそれぞれ生成し、そのＭ通りの拘束条件式を正規方程式生成部12326に供給する。
【１６２３】
正規方程式生成部12326は、モデル方程式生成部12321から供給されたモデル方程式と、拘束条件式生成部12325から供給されたＭ通りの拘束条件式それぞれとを合わせて、Ｍ通りの正規方程式を生成し、実世界波形推定部12303に供給する。
【１６２４】
次に、図１４７のフローチャートを参照して、方程式生成部12302（図１４６）の方程式生成処理（図１４５のステップS12292の処理）について詳細に説明する。
【１６２５】
ステップS12311において、モデル方程式生成部12321は、モデル生成部12301から処理領域の水平ラインごとの関係モデルを取得し、ステップS12312に進む。ステップS12312において、モデル方程式生成部12321は、センサ２から入力画像を取得するとともに、処理領域設定部12291から処理領域情報を取得する。そして、モデル方程式生成部12321は、その入力画像と処理領域情報から、処理領域内の各画素の画素値Ｐ_iを認識し、その画素値Ｐ_iを、モデル生成部12301から取得した式（１４２）の関係モデルの処理領域内の各画素の画素値に代入することにより、処理領域の水平ラインごとにモデル方程式を生成する。さらに、モデル方程式生成部12321は、そのモデル方程式を正規方程式生成部12326に供給する。即ち、例えば、モデル方程式生成部12321が、上述した式（１４２）で表される関係モデルを、モデル生成部12301から取得した場合、式（１４２）の画素値Ｐ₄乃至Ｐ₇に入力画像の画素値を代入する。
【１６２６】
ステップS12312の処理後は、ステップS12313に進み、特徴量抽出部12322は、入力画像の特徴量を抽出し、特徴量空間LUT生成部12324に供給する。即ち、特徴量抽出部12322は、処理領域設定部12291から処理領域情報を取得するとともに、入力画像を取得する。そして、特徴量抽出部12322は、その処理領域情報から、入力画像の処理領域内の画素を認識し、その処理領域内の画素毎に複数種類の特徴量を抽出して、特徴量空間LUT生成部12324に供給する。
【１６２７】
ステップS12313の処理後は、ステップS12314に進み、特徴量軸設定部12323は、例えば、特徴量抽出部12322で抽出される複数の特徴量の1以上を組み合わせることによって、Ｍ通りの特徴量軸を設定して、特徴量空間LUT生成部12324に供給し、ステップS12315に進む。ここで、特徴量設定部12323は、ユーザＩ／Ｆ12296から選択情報が入力された場合、その選択情報が表す出力画像を得るのに用いられた特徴量軸を基準に、新たなＭ通りの特徴量軸を設定する。即ち、特徴量軸設定部12323は、最初に特徴量軸を設定する場合、例えば、ある特徴量Ａを１つの特徴量軸とし、他のＭ通りの特徴量それぞれを他の特徴量軸として、Ｍ通りの特徴量軸（Ｍ通りの、２つの特徴量軸の組み合わせ）を設定する。そして、特徴量軸設定部12323は、ユーザＩ／Ｆ12296から選択情報が入力された場合、その選択情報が表す出力画像を得るのに用いられた２つの特徴量軸、例えば、特徴量ＡおよびＢの特徴量軸に加えて、その特徴量ＡおよびＢ以外のＭ通りの特徴量それぞれを新たな他の特徴量軸として、新たなＭ通りの特徴量軸（Ｍ通りの、３つの特徴量軸の組み合わせ）を設定する。
【１６２８】
従って、ユーザが前回の処理で出力されたＭ通りの出力画像の中から所望するものを選択することによって、その選択結果を踏まえて、新たなＭ通りの特徴量軸が設定され、拘束条件の対象となる拘束対象画素が決定されるので、この処理を繰り返すことにより、最終的には、ユーザが所望する画質の出力画像が得られる特徴量軸が設定され、その結果、ユーザが所望する画質の出力画像が得られる。
【１６２９】
なお、上述の場合には、Ｍ通りの特徴量軸（の組み合わせ）として、同一の数の特徴量軸からなるＭ通りの特徴量軸を設定するようにしたが、Ｍ通りの特徴量軸の設定方法は、これに限定されるものではない。即ち、Ｍ通りの特徴量軸としては、その他、例えば、異なる数の特徴量軸からなるＭ通りの特徴量軸（例えば、特徴量Ａだけの特徴量軸と、特徴量ＡおよびＢの特徴量軸など）を設定することが可能である。
【１６３０】
ステップS12315では、特徴量空間LUT生成部12324は、特徴量抽出部12322から供給された処理領域内の各画素の特徴量から、それぞれの画素を、ステップS12314で設定されたＭ通りの特徴量軸に基づいて、特徴量クラスに分類し、Ｍ通りの特徴量空間LUTを生成する。
【１６３１】
即ち、例えば、いま、特徴量軸抽出部12322において、複数の特徴量として、３つの特徴量Ａ，Ｂ，Ｃが抽出され、特徴量軸設定部12323において、Ｍ通りの特徴量軸として、３つの特徴量Ａ乃至Ｃのうちの特徴量Ａ，Ｂ，Ｃ，ＡとＢ，ＡとＣ，ＢとＣ，ＡとＢとＣの７通りの軸が設定されたとする。この場合、特徴量軸設定部12322で設定された７通りの特徴量軸のうちの、例えば、特徴量ＡとＢの軸に注目すると、特徴量空間LUT生成部12324は、例えば、特徴量ＡとＢの軸を所定の間隔で区切ることによって、その特徴量ＡとＢで規定される空間（特徴量空間）に生じる部分空間を特徴量クラスとして、その特徴量クラスに特徴量ＡとＢが含まれる画素の情報を、その特徴量クラスに登録（分類）することにより、特徴量ＡとＢの軸を有する特徴量空間LUTを生成する。
【１６３２】
なお、ある処理領域について、Ｍ通りの特徴量空間LUTが既に生成されており、ユーザＩ／Ｆ12296から選択情報が入力された、即ち、ユーザがＭ通りの出力画像を見て、所望の画像または所望に近い画像を選択した場合には、特徴量空間LUT生成部12324は、ステップS12314とS12315の処理に代えて、選択情報が表す出力画像を得るのに用いられた特徴量空間LUTの、不満領域の画素の特徴量クラスに対して、LUT値として拘束条件式に付けられた重みを記億させる。
【１６３３】
特徴量空間LUT生成部12324は、ユーザＩ／Ｆ12296から選択情報の入力が繰り返されると、前回生成された特徴量空間LUTを削除し、今回生成されたＭ通りの特徴量空間LUTのうちの、今回選択された出力画像を得るのに用いられた特徴量空間LUTの、不満領域の画素の特徴量クラスに対して重みを記憶させ、最終的には、ユーザが最も良いとした画質の出力画像が得られたときに用いられた、いわば最適な特徴量空間LUTに、重みを記憶させる。
【１６３４】
この場合、方程式生成部12302は、特徴量空間LUTに記億された拘束条件式の重みを、他の入力画像に対しても適用することができる。即ち、他の入力画像が新たに入力された場合、方程式生成部12302は、その入力画像の処理領域内の画素毎に複数種類の特徴量を抽出し、その複数種類の特徴量に基づいて処理領域内の各画素をクラス分類する。方程式生成部12302は、特徴量空間LUTのクラスのうちの、クラス分類によって得られる処理領域の各画素のクラスと同一のクラスに対してLUT値として既に記億された重みを、その画素に対応する拘束条件式に対する重みとして設定する。この場合、ユーザは、入力画像ごとに最適な重みを設定する必要がなく、ユーザの負担が軽減される。なお、新たな入力画像が入力されるたびに、特徴量空間LUTを新たに生成または更新してもかまわない。
【１６３５】
ステップS12315の処理後は、ステップS12316に進み、特徴量空間LUT生成部12324は、拘束条件の対象となる拘束対象画素を決定し、拘束条件式生成部12325に供給して、ステップS12317に進む。即ち、特徴量空間LUT生成部12324は、ユーザＩ／Ｆ12296から不満領域指示情報を取得し、ステップS12315で生成したＭ通りの特徴量空間LUTそれぞれについて、不満領域の画素と、その画素と同一の特徴量クラスの画素を、拘束対象画素として決定し、この決定により得られるＭ通りの拘束対象画素を、拘束条件式生成部12325に供給する。
【１６３６】
ここで、ユーザが不満領域を指示せず、ユーザＩ／Ｆ12296から不満領域指示情報が入力されない場合は、特徴量空間LUT生成部12324は、例えば、処理領域すべての画素を、拘束対象画素に決定する。
【１６３７】
ステップS12317では、拘束条件式生成部12325は、ステップS12316で決定されたＭ通りの拘束対象画素に対応する拘束条件式に所定の重みを付けたＭ通りの拘束条件式を生成する。そして、拘束条件式生成部12325は、生成したＭ通りの拘束条件式を正規方程式生成部12326に供給する。
【１６３８】
例えば、拘束対象画素が８個であり、その拘束対象画素の動きボケのない画素値をＱ₀乃至Ｑ₇で表す場合、ある１通りの拘束条件式は、上述した式（１４５）で表される。拘束条件式生成部12325は、Ｍ通りの特徴量空間LUTについて、式（１４５）と同様のＭ通りの拘束条件式を生成する。
【１６３９】
ステップS12317の処理後は、ステップS12318に進み、正規方程式生成部12326は、モデル方程式生成部12321から供給されたモデル方程式に、拘束条件式生成部12325から供給されたＭ通りの拘束条件式それぞれを合わせて、Ｍ通りの正規方程式を生成し、実世界波形推定部12303に供給する。
【１６４０】
この後、実世界波形推定部12303は、正規方程式生成部12325から供給されたＭ通りの正規方程式を最小二乗誤差最小規範でそれぞれ解くことにより、処理領域内の各水平ラインの画素のＭ通りの動きボケのない画素値を求める。
【１６４１】
なお、上述した実世界推定処理は、処理領域内の水平方向に並ぶ画素（水平ライン）毎に行なわれる。即ち、実世界波形推定部12303は、水平ライン毎に、処理領域の各画素のＭ通りの動きボケのない画素値を求める。そして、実世界波形推定部12303は、処理領域内の全ての水平ラインにおいて、各画素のＭ通りの動きボケのない画素値を求めた後、処理領域の各画素のＭ通りの動きボケのない画素値を、画像生成部12294に供給する。画像生成部12294は、入力画像における処理領域の各画素の画素値を、Ｍ通りの動きボケのない画素値にそれぞれ置き換えた画像を、Ｍ通りの出力画像として生成し、画像表示部12295に供給して表示させる。
【１６４２】
また、上述の処理では、拘束条件式生成部12325は、拘束対象画素以外に対する拘束条件式は生成しなかったが、拘束対象画素以外に対する拘束条件式も、所定の重み（例えば、拘束対象画素に対する重みとは異なる重み）Ｗを付けて、生成してもよい。
【１６４３】
また、上述の処理では、Ｍ通りの特徴量軸に基づいて、Ｍ通りの特徴量空間LUTを生成するようにしたが、方程式生成部12302では、上述したように、特徴量軸ではなく、特徴量クラスの分類の区切り方をＭ通り設定し、それぞれの区切り方に基づいて、処理領域内の画素を特徴量クラスに分類し、Ｍ通りの特徴量空間LUTを生成してもよい。
【１６４４】
図１４８は、図１４３の信号処理装置４の処理の概要を説明する図である。
【１６４５】
図１４８に示すように、ユーザは、入力画像12341を見て、不満のある領域を、不満領域として指示する。または、ユーザは、入力画像12341を見て、不満領域を指示せず、信号処理装置４が所定の条件に基づいて処理した出力画像12342を見て、不満のある領域を、不満領域として指示する。
【１６４６】
そして、信号処理装置4は、ユーザにより指示された不満領域に基づいて処理領域を設定し、その処理領域内の入力画像データから、画素毎に複数種類の特徴量を抽出する。信号処理装置4は、Ｍ通りの特徴量軸を設定し、画素毎の特徴量から、そのＭ通りの特徴量軸に基づいて、各画素を特徴量クラスに分類し、特徴量空間LUT12343を生成する。なお、図１４８では、１通りの特徴量空間LUT12343しか図示していないが、信号処理装置４では、Ｍ通りの特徴量空間LUTが生成される。ここで、特徴量空間LUT12343のマス目は、特徴量クラスを表している。また、特徴量空間LUT12343の丸印は、不満領域の画素を表している。丸印が中にあるマス目である特徴量クラスに含まれる画素が、拘束対象画素とされる。なお、図１４８では、不満領域の画素は、ある１つの特徴量クラスだけに属しているが、不満領域の画素が属する特徴量クラスは、１つに限らない。即ち、不満領域の画素は、複数の特徴量クラスに属する場合がある。
【１６４７】
信号処理装置４は、Ｍ通りの特徴量空間LUTそれぞれについて、不満領域の画素の特徴量クラスに属する画素を拘束対象画素として決定する。さらに、信号処理装置４は、Ｍ通りの特徴量空間LUTからそれぞれ決定された拘束対象画素に対して、所定の重みを付けた拘束条件式をそれぞれ生成し、その結果得られるＭ通りの出力画像12344-1乃至12344-Mを表示する。そして、ユーザは、そのＭ通りの出力画像の中から、所望の画像または所望の画像に近い画像を選択し、信号処理装置４は、その選択された画像を得るのに用いた特徴量軸を基準として、新たなＭ通りの特徴量軸を設定することを繰り返す。
【１６４８】
従って、ユーザは、簡単に最適な拘束対象画素を設定し、実世界１の光信号により近似した画像を得ることができる。即ち、ユーザは、所望の画質の画像または所望の画質に近い画像を容易に得ることができる。また、不満領域と同一の特徴量クラスの画素に対して、拘束条件式が生成されるので、ユーザは、不満領域とする画素全てを指示する必要がなく、ユーザの負担を軽減することができる。
【１６４９】
図１４９Ａと図１４９Ｂを参照して、図１４３の信号処理装置４の処理の概要について、さらに説明する。
【１６５０】
図１４９Ａおよび図１４９Ｂでは、画素から複数種類の特徴量として、例えば、３つの特徴量Ａ乃至Ｃが抽出されるものとしてある。そして、図１４９Ａの例では、特徴量空間LUT12362は、横軸を特徴量Ａとするとともに、縦軸を特徴量Ｂとする特徴量軸を有している。また、図１４９Ｂの例では、特徴量空間LUT12364は、横軸を特徴量Ａとするとともに、縦軸を特徴量Ｃとする特徴量軸を有している。
【１６５１】
図１４９Ａに示すように、ユーザは、入力画像12361を見て、不満のある領域を、不満領域として指示する（ポインティングする）。そして、信号処理装置４は、ユーザにより指示された不満領域に基づいて処理領域を設定し、その処理領域内の入力画像データから、画素毎に複数種類の特徴量Ａ乃至Ｃを抽出する。信号処理装置４は、その画素毎の特徴量Ａ乃至Ｃのうちの、特徴量ＡとＢに基づいて、各画素を特徴量クラスに分類し、特徴量空間LUT12362を生成する。
【１６５２】
信号処理装置４は、特徴量空間LUT12362から、ユーザによって指示された不満領域の画素の特徴量クラス12363を認識し、その特徴量クラス12363に分類された全ての画素を、拘束対象画素として設定する。さらに、信号処理装置４は、この拘束対象画素に対して、所定の重みを付けた拘束条件式を生成し、その拘束条件式を用いて得られる出力画像12364を表示する。なお、出力画像12364上の丸印は、特徴量空間LUT12362の特徴量クラス12363に分類され、拘束対象画素とされた画素を表している。
【１６５３】
図１４９Ｂは、図１４９Ａと異なる特徴量軸に基づいて、特徴量空間LUT12365が生成された例を示している。即ち、信号処理装置4は、横軸を特徴量Ａとし、縦軸を特徴量Ｃとした特徴量軸に基づいて、特徴量空間LUT12365を生成し、ユーザによって指示された不満領域の画素の特徴量クラス12366に分類された全ての画素を拘束対象画素として、拘束条件式を生成する。なお、この拘束条件式には、例えば、図１４９Ａに示した場合と同じ重みが付けられる。信号処理装置４は、拘束条件式を用いて得られる出力画像12367を生成して、表示する。
【１６５４】
信号処理装置４は、図１４９Ａおよび図１４９Ｂにおける場合と同様に、特徴量軸の異なるＭ通りの特徴量空間LUTに基づいて、Ｍ通りの出力画像を生成して表示する。そして、ユーザは、そのＭ通りの出力画像の中から、所望の画像または所望の画像に近い画像を選択し、信号処理装置４は、その選択された画像を得るのに用いた特徴量空間LUTの特徴量軸を基準として、新たなＭ通りの特徴量軸を設定することを繰り返す。
【１６５５】
従って、ユーザは、簡単に最適な拘束対象画素を設定し、実世界１の光信号により近似した画像を得ることができる。即ち、ユーザは、所望の画質の画像または所望の画質に近い画像を容易に得ることができる。また、不満領域と同一の特徴量クラスの画素に対して、拘束条件式が生成されるので、ユーザは、不満領域とする画素全てを指示する必要がなく、ユーザの負担を軽減することができる。
【１６５６】
図１５０は、図１２３、図１３１、図１３７、図１４３の信号処理装置４と等価な信号処理装置４の構成例を示している。
【１６５７】
即ち、図１５０において、処理領域選択部12381は、例えば、図１２３の処理領域設定部12071に、動き量パラメータ入力部12382は、例えば、図１２３の定常性設定部12072に、特徴量抽出部12383、特徴量空間LUT生成部12384、拘束条件設定部12385、および動きボケ除去処理部12386は、例えば、図１２３の実世界推定部12073に、出力画像生成部12387は、例えば、図１２３の画像生成部12074に、画像表示部12388は、例えば、図１２３の画像表示部12075に、ユーザＩ／Ｆ12389は、例えば、図１２３のユーザＩ／Ｆ12076にそれぞれ対応している。
【１６５８】
なお、図１５０は、例えば、一定方向に一定の速さで移動するという定常性を有するデータ３の一例である動きボケが発生した画像データ（動きボケ画像データ）から、実世界１の光信号を推定する信号処理装置４の一実施の形態の構成例を示している。即ち、この信号処理装置４は、例えば、撮影時に被写体（オブジェクト）が動いたことにより、被写体がボケて撮影されてしまった画像（動きボケ画像）から、そのボケがない画像（動きボケのない画像）を推定する。
【１６５９】
図１５０の実施の形態では、入力画像として、例えば水平方向（左から右方向）に一定の動き量で移動しているオブジェクトを撮影することにより得られた動きボケが生じている動きボケ画像が、信号処理装置４に入力され、処理領域選択部12381、特徴量抽出部12383、拘束条件設定部12385、出力画像生成部12387、および画像表示部12388に供給される。
【１６６０】
処理領域選択部12381は、入力画像から処理領域を選択（設定）し、その処理領域の情報を、動き量パラメータ入力部12382、拘束条件設定部12385、および出力画像生成部12387に供給する。
【１６６１】
動き量パラメータ入力部12382は、オブジェクトの動きを表す動き量パラメータ（動き量を表す値）を設定し、その動き量パラメータを拘束条件設定部12385に供給する。なお、ここでは、動き量パラメータ入力部12382は、入力画像において、オブジェクトが水平方向に移動していることを前提として、その動きの大きさだけを表す動き量を設定するようにしたが、その他、オブジェクトの動きの大きさと方向を表す動きベクトルを設定することも可能である。
【１６６２】
特徴量抽出部12383は、入力画像から画素毎に複数種類の特徴量を抽出し、その複数種類の特徴量を特徴量空間LUT生成部12384に供給する。特徴量空間LUT生成部12384は、特徴量抽出部12383から供給された複数種類の特徴量から、複数通りであるＭ通りの特徴量軸に基づいて、入力画像の各画素を特徴量クラスに分類し、特徴量空間LUTを生成する。特徴量空間LUT生成部12384は、その特徴量空間LUTを拘束条件設定部12385に供給する。
【１６６３】
拘束条件設定部12385は、入力画像と処理領域選択部12381から供給された処理領域情報から、処理領域の各水平ラインの画素の画素値を認識するとともに、動き量パラメータ入力部12382から供給された動き量パラメータから、オブジェクトの動き量を認識する。拘束条件設定部12385は、オブジェクトの動き量に基づいて、処理領域の水平ラインの各画素の画素値と、動きボケのない画素の画素値の関係をモデル化した関係モデルを、処理領域の水平ラインごとに生成し、その関係モデルに処理領域の水平ラインの各画素の画素値を代入して、水平ラインごとにモデル方程式を生成する。
【１６６４】
また、拘束条件設定部12385は、動きボケのない画素の画素値を拘束する拘束条件式を水平ラインごとに設定する。このとき、拘束条件設定部12385は、特徴量空間LUT生成部12384から供給された特徴量空間LUTに基づいて、拘束条件式を設定する。拘束条件設定部12385は、水平ラインごとのモデル方程式と拘束条件式を動きボケ除去処理部12386に供給する。
【１６６５】
動きボケ除去処理部12386は、拘束条件設定部12385から供給されたモデル方程式と拘束条件式を、水平ラインごとに最小二乗誤差最小規範で解くことにより、処理領域の各水平ラインの画素について、動きボケのない画素値を求める。動きボケ除去処理部12386は、処理領域の各水平ラインの画素の動きボケのない画素値を、出力画像生成部12387に供給する。
【１６６６】
出力画像生成部12387は、処理領域選択部12381から供給された処理領域情報から、処理領域の各水平ラインの画素を認識し、その各水平ラインの画素を、動きボケ除去処理部12386から供給された処理領域の各水平ラインの画素の動きボケのない画素値に置き換えた画像を出力画像として生成する。出力画像生成部12387は、その出力画像を、画像表示部12388に供給して、表示させる。
【１６６７】
画像表示部12388は、入力画像や、出力画像生成部12387から供給される出力画像を表示する。
【１６６８】
ユーザＩ／Ｆ12389は、ユーザによって操作され、そのユーザの操作に応じて、例えば、処理領域と動き量に関連する情報を、処理領域選択部12381と動き量パラメータ入力部12382にそれぞれ供給する。
【１６６９】
即ち、ユーザは、画像表示部12388に表示された入力画像や出力画像を見て、その入力画像や出力画像に対する入力を与えるように、ユーザＩ／Ｆ12389を操作する。ユーザＩ／Ｆ12389は、ユーザの操作に応じて、処理領域を選択する情報を処理領域選択部12381に供給する。また、ユーザＩ／Ｆ12389は、ユーザの操作に応じて、処理領域におけるオブジェクトの動き量の情報を、動き量パラメータ入力部12382に供給する。
【１６７０】
さらに、ユーザＩ／Ｆ12389は、ユーザの操作に応じて、処理領域内の画素に対して拘束条件を不均一に設定するために、拘束条件を与える領域に関する情報を、特徴量空間LUT生成部12384と拘束条件設定部12385に供給する。また、ユーザＩ／Ｆ12389は、ユーザの操作に応じて、拘束条件に対する重みを指示する重み指示情報を、拘束条件設定部12385に供給する。
【１６７１】
図１５１と図１５２のフローチャートを参照して、図１５０の信号処理装置４の処理について説明する。なお、オブジェクトは水平方向に一定速度で動いているものとする。
【１６７２】
まず最初に、ステップS12331において、信号処理装置４は、入力画像として動きボケ画像の画像信号を取得し、処理領域選択部12381、特徴量抽出部12383、拘束条件設定部12385、出力画像生成部12387、および画像表示部12388に供給する。そして、特徴量抽出部12383は、入力画像から、画素毎に複数種類の特徴量を抽出し、その複数種類の特徴量を特徴量空間LUT生成部12384に供給する。特徴量空間LUT生成部12384は、特徴量抽出部12383から供給された複数種類の特徴量に基づいて、複数通りの特徴量軸に基づく特徴量空間LUT（図１４９）を生成する。さらに、ステップS12331では、信号処理装置４は、画像表示部12388に、入力画像を表示させ、ステップS12332に進む。
【１６７３】
ステップS12332では、ユーザＩ／Ｆ12389は、ユーザにより動きボケ領域が指示された、即ち、画像表示部12388に表示された入力画像（動きボケ画像）を見たユーザが、その入力画像に動きボケが生じていると感じ、動きボケが生じている箇所をポインティングするように、ユーザＩ／Ｆ12389を操作したかどうかを判定する。ステップS12332において、ユーザにより動きボケ領域が指示されていない、即ち、画像表示部12388に表示された入力画像を見たユーザが、その入力画像に動きボケが生じておらず、不満がないと感じた場合、図１５２のステップS12342に進む。ステップS12342において、出力画像生成部12387は、出力画像として入力画像を画像表示部12388に供給して表示させる。
【１６７４】
一方、ステップS12332において、ユーザにより動きボケ領域が指示されたと判定された場合、ユーザＩ／Ｆ12389は、ユーザがユーザＩ／Ｆ12389を操作することによって指示した動きボケ領域を表す動きボケ領域指示情報を、処理領域選択部12381に供給して、ステップS12333に進む。ステップS12333では、処理領域選択部12381は、ユーザＩ／Ｆ12389から供給された動きボケ領域指示情報に基づいて、例えば、動きボケ領域を含む矩形を、入力画像の領域から処理領域として選択し、その処理領域を表す処理領域情報を、動き量パラメータ入力部12382、拘束条件設定部12385、および出力画像生成部12387に供給する。
【１６７５】
ステップS12333の処理後は、ステップS12334に進み、動き量パラメータ入力部12382は、処理領域におけるオブジェクトの動き量を表す動きパラメータを、拘束条件設定部12385に入力する。即ち、例えば、ユーザが画像表示部12388に表示された入力画像（動きボケ画像）を見て、ユーザＩ／Ｆ12389を操作することにより、処理領域におけるオブジェクトの動き量を入力した場合、動き量パラメータ入力部12382は、ユーザＩ／Ｆ12389から入力される動き量を表す動き量パラメータを拘束条件設定部12385に供給する。あるいは、また、動き量パラメータ入力部12382は、処理領域におけるオブジェクトの動き量を検出し、その動き量を表すパラメータを、拘束条件設定部12385に供給する。拘束条件設定部12385は、その動き量パラメータと処理領域選択部12381から供給された処理領域情報に基づいて、処理領域内の水平ラインの各画素の画素値と、動きボケのない画素の画素値の関係をモデル化した関係モデルを、処理領域の水平ラインごとに生成して記憶し、ステップS12334からステップS12335に進む。
【１６７６】
ステップS12335では、ユーザＩ／Ｆ12389は、ユーザにより、入力画像である動きボケ画像から平坦領域が指示されたかどうかを判定する。ステップS12335において、ユーザＩ／Ｆ12389は、ユーザがユーザＩ／Ｆ12389を操作することにより、動きボケ画像から平坦領域が指示された、即ち、ユーザが入力画像を見て、処理領域内における動きボケのない画像が平坦であると推定される平坦領域を指示したと判定した場合、ステップS12336に進み、ユーザＩ／Ｆ12389は、ユーザがユーザＩ／Ｆ12389を操作することによって指示した平坦領域を表す平坦領域指示情報を、拘束条件設定部12385に供給する。
【１６７７】
ステップS12336の処理後は、ステップS12337に進み、特徴量空間LUT生成部12384は、生成した複数の特徴量空間LUTのうち、例えば、ユーザがユーザＩ／Ｆ12389を操作することによって選択した特徴量空間LUTを選択し、拘束条件設定部12385に供給して、ステップS12339に進む。即ち、ステップS12337では、例えば、特徴量空間LUT生成部12384が生成した複数通りの特徴量空間LUTに対応するボタンが、画像表示部12388に表示される。そして、ユーザがユーザＩ／Ｆ12389を操作することにより、画像表示部12388に表示されたボタンをクリック等して選択すると、ステップS12337では、その選択されたボタンに対応する特徴量空間LUTが選択される。
【１６７８】
ステップS12339において、拘束条件設定部12385は、ユーザＩ／Ｆ12389から供給された平坦領域指示情報から、処理領域内の平坦領域を認識する。さらに、拘束条件設定部12385は、特徴量空間LUT生成部12384から供給された特徴量空間LUTから、平坦領域の画素と同一の特徴量クラスの処理領域の画素を認識する。そして、拘束条件設定部12385は、平坦領域の画素と、平坦領域の画素と同一の特徴量クラスの画素を拘束対象画素として、その拘束対象画素に対して、処理領域の水平ラインごとに拘束条件式を生成し、その拘束条件式を動きボケ除去処理部12386に供給して、図１５２のステップS12340に進む。例えば、処理領域において、拘束対象画素が６個だけ水平方向に並んでおり、その各画素の動きボケのない画素値をＱ₀乃至Ｑ₅で表す場合、拘束条件式は、例えば、上述した式（１４４）で示される。
【１６７９】
一方、図１５１のステップS12335において、ユーザＩ／Ｆ12389は、動きボケ画像から平坦領域が指示されていないと判定した場合、ステップS12338に進み、出力画像の不満領域が指示されたかどうか、即ち、ユーザが前回のステップS12342（図１５２）で画像表示部12388に表示された出力画像を見て、不満を感じ、その不満を感じた領域を、ユーザがユーザＩ／Ｆ12389を操作することにより指示したかどうかを判定する。ステップS12338において、ユーザＩ／Ｆ12389は、出力画像の不満領域が指示されていないと判定した場合、ステップS12339に進む。この場合、ユーザにより平坦領域も不満領域も指示されていないので、ステップS12339では、拘束条件設定部12385は、例えば、処理領域のすべての画素を拘束対象画素として、その拘束対象画素に対して、水平ラインごとに拘束条件式を生成する。
【１６８０】
拘束条件設定部12385は、その拘束条件式を動きボケ除去処理部12386に供給し、ステップS12339から図１５２のステップS12340に進む。例えば、処理領域の水平ラインの画素が８個あり、その各画素の動きボケのない画素値をＱ₀乃至Ｑ₇で表す場合、拘束条件式は、上述した式（１４３）で示される。
【１６８１】
ステップS12340では、拘束条件設定部12385は、処理領域選択部12381から供給された処理領域情報と入力画像から、入力画像における処理領域の各水平ラインの画素の画素値を認識する。また、ステップS12340において、拘束条件設定部12385は、入力画像における処理領域の各水平ラインの画素の画素値を、ステップS12334で生成して記憶した関係モデルに代入して、水平ラインごとに、式（１４２）に示したモデル方程式を生成する。そして、拘束条件設定部12385は、そのモデル方程式を動きボケ除去処理部12386に供給する。
【１６８２】
ステップS12340の処理後は、ステップS12341に進み、拘束条件設定部12385は、動きボケ除去処理を行う。即ち、動きボケ除去処理部12386は、拘束条件設定部12385から供給された拘束条件式とモデル方程式を用いて、処理領域の水平ラインごとに正規方程式を生成する。さらに、動きボケ除去処理部12386は、その正規方程式を、最小二乗誤差最小規範で解くことにより、処理領域の各水平ラインの画素の動きボケのない画素値を求める。そして、動きボケ除去処理部12386は、処理領域の各水平ラインの画素の動きボケのない画素値を、出力画像生成部12387に供給し、ステップS12341からステップS12342に進む。
【１６８３】
ステップS12342において、出力画像生成部12387は、処理領域選択部12381から供給された処理領域情報から、処理領域の各水平ラインの画素を認識し、その処理領域の各水平ラインの画素の画素値を、動きボケ除去処理部12386から供給される動きボケのない画素値に置き換えることにより、出力画像を生成する。さらに、ステップS12342では、出力画像生成部12387は、その出力画像を画像表示部12388に供給して表示させ、ステップS12351に進む。
【１６８４】
一方、図１５１のステップS12338において、ユーザＩ／Ｆ12389は、出力画像の不満領域が指示されたと判定した場合、ステップS12343に進み、ユーザがユーザＩ／Ｆ12389を操作することによって指示した不満領域を表す不満領域指示情報を拘束条件設定部12385に供給し、ステップS12344に進む。ステップS12344において、拘束条件設定部12385は、不満領域の画素における拘束条件式に対するＮ通りの重みを設定し、ステップS12345に進む。ステップS12345において、特徴量空間LUT生成部12384は、生成した複数の特徴量空間LUTから、例えば、ステップS12337における場合と同様に、ユーザがユーザＩ／Ｆ12389を操作することによって選択した特徴量空間LUTを選択し、その特徴量空間LUTを拘束条件設定部12385に供給する。
【１６８５】
ステップS12345の処理後は、ステップS12346に進み、拘束条件設定部12385は、ユーザＩ／Ｆ12389から供給された不満領域指示情報により、不満領域を認識するとともに、処理領域選択部12381から供給された処理領域情報により、処理領域を認識する。拘束条件設定部12385は、特徴量空間LUT生成部12384から供給された特徴量空間LUTから、処理領域の画素のうち、不満領域の画素と同一の特徴量クラスの画素を認識し、拘束対象画素とする。そして、拘束条件設定部12385は、ステップS12344で設定したＮ通りの重みを用いて、拘束対象画素に対して、Ｎ通りの重みを付けた拘束条件式を水平ラインごとに生成する。拘束条件設定部12385は、そのＮ通りの拘束条件式を動きボケ除去処理部12386に供給し、図１５２のステップS12347に進む。
【１６８６】
例えば、処理領域において、拘束対象画素が８個だけ水平方向に並んでおり、その各画素の動きボケのない画素値をＱ₀乃至Ｑ₇で表す場合、拘束条件式に対する1通りの重みをＷとすると、ある１通りの拘束条件式は、上述した式（１４５）で表される。拘束条件設定部12385は、式（１４５）の拘束条件式において重みＷの異なる式をＮ通り生成する。
【１６８７】
ステップS12347では、拘束条件設定部12385は、処理領域選択部12381から供給された処理領域情報と入力画像から、入力画像における処理領域の各水平ラインの画素の画素値を認識する。また、ステップS12347において、拘束条件設定部12385は、入力画像における処理領域の各水平ラインの画素の画素値を、ステップS12334で生成し、記憶した関係モデルに代入して、水平ラインごとの式（１４２）のモデル方程式を生成する。そして、拘束条件設定部12385は、そのモデル方程式を動きボケ除去処理部12386に供給する。
【１６８８】
ステップS12347の処理後は、ステップS12348に進み、拘束条件設定部12385は、動きボケ除去処理を行う。即ち、動きボケ除去処理部12386は、拘束条件設定部12385から供給されたＮ通りの拘束条件式それぞれとモデル方程式とから、Ｎ通りの正規方程式を、処理領域の水平ラインごとに生成し、そのＮ通りの正規方程式を最小二乗誤差最小規範で解くことにより、処理領域の各水平ラインの画素について、Ｎ通りの動きボケのない画素値を求める。そして、動きボケ除去処理部12386は、処理領域の各水平ラインの画素のＮ通りの動きボケのない画素値を、出力画像生成部12387に供給し、ステップS12348からステップS12349に進む。
【１６８９】
ステップS12349において、出力画像生成部12387は、処理領域選択部12381から供給された処理領域情報から、処理領域の各水平ラインの画素を認識し、その処理領域の各水平ラインの画素の画素値を、動きボケ除去処理部12386から供給されるＮ通りの動きボケのない画素値に置き換えることにより、Ｎ通りの出力画像を生成する。さらに、ステップS12349において、出力画像生成部12387は、Ｎ通りの出力画像を画像表示部12388に供給して表示させ、ステップS12350に進む。
【１６９０】
ステップS12350では、ユーザＩ／Ｆ12389は、ユーザにより出力画像が選択されたかどうかを判定する。即ち、ステップS12349では、画像表示部12388において、Ｎ通りの出力画像が表示されるが、そのＮ通りの出力画像を見たユーザが、そのＮ通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択したかどうかが、ステップS12350において判定される。ステップS12350において、ユーザＩ／Ｆ12389は、ユーザにより出力画像が選択されていないと判定した場合、ユーザにより出力画像が選択されるまで待機する。
【１６９１】
ステップS12350において、ユーザＩ／Ｆ12389は、ユーザにより出力画像が選択されたと判定した場合、ステップS12351に進む。
【１６９２】
ステップS12351において、ユーザＩ／Ｆ12389は、処理領域内の画像に不満があるかどうかを判定する。即ち、ユーザが、ステップS12342で画像表示部12388に表示される出力画像またはステップS12350で選択された出力画像を見て、ステップS12333で選択された処理領域内の画像に不満を感じ、不満があることを知らせるように、ユーザＩ／Ｆ12389を操作したかどうかが、ステップS12351で判定される。ステップS12351において、ユーザＩ／Ｆ12389は、処理領域内の画像に不満があると判定した場合、図１５１のステップS12335に戻り、上述の処理を繰り返す。なお、この場合、次に行われるステップS12344では、直前のステップS12350で選択された出力画像を得るのに用いられた拘束条件式に対する重みを基準に、新たな重みがＮ通り設定される。
【１６９３】
従って、ユーザが前回の処理で出力されたＮ通りの出力画像の中から所望するものを選択すると、その選択結果を踏まえて、新たなＮ通りの重みが設定されるので、ユーザはＮ通りの出力画像の中から所望するものの選択を繰り返すことにより、最終的には、ユーザが所望する画質の出力画像が得られる重みが設定される。その結果、ユーザは、入力画像の処理領域の部分が、所望の画質の画像または所望の画質に近い画像とされた出力画像を得ることができる。
【１６９４】
一方、ステップS12351において、ユーザＩ／Ｆ12389は、処理領域内の画像に不満がないと判定した場合、ステップS12352に進み、他の動きボケ領域が指示されたかどうかを判定する。即ち、ユーザがステップS12342で表示された出力画像またはステップS12350で選択された出力画像を見て、処理領域以外の画像に動きボケがあると感じ、その動きボケのある領域を、ユーザＩ／Ｆ12389を操作することにより指示したかどうかが、ステップS12352において判定される。ステップS12352において、ユーザＩ／Ｆ12389は、他の動きボケ領域が指示されたと判定した場合、ステップS12333に戻り、上述した処理を繰り返す。即ち、信号処理装置４は、新たな動きボケ領域に対して処理を行う。なお、この場合、直前のステップS12342で表示された出力画像またはステップS12350で選択された出力画像を入力画像として、あるいは、入力画像の処理領域について、その処理領域に対して最終的に得られた画素値に置き換えた画像を入力画像として、処理が行なわれる。
【１６９５】
また、ステップS12352において、ユーザＩ／Ｆ12389は、他の動きボケ領域が指示されていないと判定した場合、ユーザは、出力画像に満足しているので、処理を終了する。
【１６９６】
図１５３と図１５４のフローチャートを参照して、図１５０の信号処理装置の他の処理について説明する。なお、オブジェクトは水平方向に一定速度で動いているものとする。
【１６９７】
まず最初に、ステップS12371において、信号処理装置４は、入力画像として動きボケ画像の画像信号を取得し、処理領域選択部12381、特徴量抽出部12383、拘束条件設定部12385、出力画像生成部12387、および画像表示部12388に供給する。そして、特徴量抽出部12383は、入力画像から、画素毎に複数種類の特徴量を抽出し、その複数種類の特徴量を特徴量空間LUT生成部12384に供給する。特徴量空間LUT生成部12384は、特徴量抽出部12383から供給された複数種類の特徴量に基づいて、複数通りの特徴量軸に基づく特徴量空間LUT（図１４９）を生成する。さらに、ステップS12371では、信号処理装置４は、画像表示部12388に、入力画像を表示させ、ステップS12372に進む。
【１６９８】
ステップS12372では、ユーザＩ／Ｆ12389は、ユーザにより動きボケ領域が指示された、即ち、画像表示部12388に表示された入力画像（動きボケ画像）を見たユーザが、その入力画像に動きボケが生じていると感じ、動きボケが生じている箇所をポインティングするように、ユーザＩ／Ｆ12389を操作したかどうかを判定する。ステップS12372において、ユーザにより動きボケ領域が指示されていない、即ち、画像表示部12388に表示された入力画像を見たユーザが、その入力画像に動きボケが生じておらず、不満がないと感じた場合、図１５４のステップS12382に進む。ステップS12382において、出力画像生成部12387は、出力画像として入力画像を画像表示部12388に供給して表示する。
【１６９９】
一方、ステップS12372において、ユーザにより動きボケ領域が指示されたと判定された場合、ユーザＩ／Ｆ12389は、ユーザがユーザＩ／Ｆ12389を操作することによって指示した動きボケ領域を表す動きボケ領域指示情報を、処理領域選択部12381に供給して、ステップS12373に進む。ステップS12373では、処理領域選択部12381は、ユーザＩ／Ｆ12389から供給された動きボケ領域指示情報に基づいて、例えば、動きボケ領域を含む矩形を、入力画像の領域から処理領域として選択し、その処理領域を表す処理領域情報を、動き量パラメータ入力部12382、拘束条件設定部12385、および出力画像生成部12387に供給する。
【１７００】
ステップS12373の処理後は、ステップS12374に進み、動き量パラメータ入力部12382は、処理領域におけるオブジェクトの動き量を表す動きパラメータを、拘束条件設定部12385に入力する。即ち、例えば、ユーザが画像表示部12388に表示された入力画像を見て、ユーザＩ／Ｆ12389を操作することにより、処理領域におけるオブジェクトの動き量を入力した場合、動き量パラメータ入力部12382は、ユーザＩ／Ｆ12389から入力される動き量を表す動き量パラメータを拘束条件設定部12385に供給する。あるいは、また、動き量パラメータ入力部12382は、処理領域におけるオブジェクトの動き量を検出し、その動き量を表す動き量パラメータを、拘束条件設定部12385に供給する。拘束条件設定部12385は、その動き量パラメータと処理領域選択部12381から供給された処理領域情報に基づいて、処理領域内の水平ラインの各画素の画素値と、動きボケのない画素の画素値の関係をモデル化した関係モデルを、処理領域の水平ラインごとに生成して記憶し、ステップS12374からステップS12375に進む。
【１７０１】
ステップS12375では、ユーザＩ／Ｆ12389は、ユーザにより、入力画像である動きボケ画像から平坦領域が指示されたかどうかを判定する。ステップS12375において、ユーザＩ／Ｆ12389は、ユーザがユーザＩ／Ｆ12389を操作することにより、動きボケ画像から平坦領域が指示された、即ち、ユーザが入力画像を見て、処理領域内における動きボケのない画像が平坦であると推定される平坦領域を指示したと判定した場合、ステップS12376に進み、ユーザＩ／Ｆ12389は、ユーザがユーザＩ／Ｆ12389を操作することによって指示した平坦領域を表す平坦領域指示情報を、拘束条件設定部12385に供給する。
【１７０２】
ステップS12376の処理後は、ステップS12377に進み、特徴量空間LUT生成部12384は、生成した複数の特徴量空間LUTのうち、例えば、ユーザがユーザＩ／Ｆ12389を操作することによって選択した特徴量空間LUTを選択し、拘束条件設定部12385に供給して、ステップS12379に進む。即ち、ステップS12377では、例えば、特徴量空間LUT生成部12384が生成した複数通りの特徴量空間LUTに対応するボタンが、画像表示部12388に表示される。そして、ユーザがユーザＩ／Ｆ12389を操作することにより、画像表示部12388に表示されたボタンをクリック等して選択すると、ステップS12377では、その選択されたボタンに対応する特徴量空間LUTが選択される。
【１７０３】
ステップS12379において、拘束条件設定部12385は、ユーザＩ／Ｆ12389から供給された平坦領域指示情報から、処理領域内の平坦領域を認識する。さらに、拘束条件設定部12385は、特徴量空間LUT生成部12384から供給された特徴量空間LUTから、平坦領域の画素と同一の特徴量クラスの処理領域の画素を認識する。そして、拘束条件設定部12385は、平坦領域の画素と、平坦領域の画素と同一の特徴量クラスの画素を拘束対象画素として、その拘束対象画素に対して、処理領域の水平ラインごとに拘束条件式を生成し、その拘束条件式を動きボケ除去処理部12386に供給して、図１５４のステップS12380に進む。例えば、処理領域において、拘束対象画素が６個だけ水平方向に並んでおり、その各画素の動きボケのない画素値をＱ₀乃至Ｑ₅で表す場合、拘束条件式は、例えば、上述した式（１４４）で示される。
【１７０４】
一方、図１５１のステップS12375において、ユーザＩ／Ｆ12389は、動きボケ画像から平坦領域が指示されていないと判定した場合、ステップS12378に進み、出力画像の不満領域が指示された、即ち、ユーザが前回のステップS12382（図１５４）で画像表示部12388に表示された出力画像を見て、不満を感じ、その不満を感じた領域を、ユーザがユーザＩ／Ｆ12389を操作することにより指示したかどうかを判定する。ステップS12378において、ユーザＩ／Ｆ12389は、出力画像の不満領域が指示されていないと判定した場合、ステップS12379に進む。この場合、ユーザにより平坦領域も不満領域も指示されていないので、ステップS12379では、拘束条件設定部12385は、例えば、処理領域のすべての画素を拘束対象画素として、水平ラインごとに、その拘束対象画素に対して拘束条件式を生成する。拘束条件設定部12385は、その拘束条件式を動きボケ除去処理部12386に供給し、ステップS12379から図１５４のステップS12380に進む。例えば、処理領域の水平ラインの画素が８個あり、その各画素の動きボケのない画素値をＱ₀乃至Ｑ₇で表す場合、拘束条件式は、上述した式（１４３）で示される。
【１７０５】
ステップS12380では、拘束条件設定部12385は、処理領域選択部12381から供給された処理領域情報と入力画像から、入力画像における処理領域の各水平ラインの画素の画素値を認識する。また、ステップＳ12380において、拘束条件設定部12385は、入力画像における処理領域の各水平ラインの画素の画素値を、ステップS12384で生成して記憶した関係モデルに代入して、水平ラインごとに、式（１４２）に示したモデル方程式を生成する。そして、拘束条件設定部12385は、そのモデル方程式を動きボケ除去処理部12386に供給する。
【１７０６】
ステップS12380の処理後は、ステップS12381に進み、拘束条件設定部12385は、動きボケ除去処理を行う。即ち、動きボケ除去処理部12386は、拘束条件設定部12385から供給された拘束条件式とモデル方程式を用いて、処理領域の水平ラインごとに正規方程式を生成する。さらに、動きボケ除去処理部12386は、その正規方程式を、最小二乗誤差最小規範で解くことにより、処理領域の各水平ラインの画素の動きボケのない画素値を求める。そして、動きボケ除去処理部12386は、処理領域の各水平ラインの画素の動きボケのない画素値を、出力画像生成部12387に供給し、ステップS12381からステップS12382に進む。
【１７０７】
ステップS12382において、出力画像生成部12387は、処理領域選択部12381から供給された処理領域情報から、処理領域の各水平ラインの画素を認識し、その処理領域の各水平ラインの画素の画素値を、動きボケ除去処理部12386から供給される動きボケのない画素値に置き換えることにより、出力画像を生成する。さらに、ステップS12382では、出力画像生成部12387は、その出力画像を画像表示部12388に供給して表示させ、ステップS12391に進む。
【１７０８】
一方、図１５３のステップS12378において、ユーザＩ／Ｆ12389は、出力画像の不満領域が指示されたと判定した場合、ステップS12383に進み、ユーザがユーザＩ／Ｆ12389を操作することによって指示した不満領域を表す不満領域指示情報を拘束条件設定部12385に供給し、ステップS12384に進む。ステップS12384において、拘束条件設定部12385は、不満領域の画素における拘束条件式に対する所定の重みを設定し、ステップS12385に進む。なお、重みは、ユーザがユーザＩ／Ｆ12389を操作することにより設定してもよい。
【１７０９】
ステップS12385において、特徴量空間LUT生成部12384は、生成した特徴量空間LUTから、Ｍ通りの特徴量空間LUTを選択し、Ｍ通りの特徴量空間LUTを拘束条件設定部12385に供給する。
【１７１０】
ステップS12385の処理後は、ステップS12386に進み、拘束条件設定部12385は、ユーザＩ／Ｆ12389から供給された不満領域指示情報により、不満領域を認識するとともに、処理領域選択部12381から供給された処理領域情報により、処理領域を認識する。拘束条件設定部12385は、特徴量空間LUT生成部12384から供給されたＭ通りの特徴量空間LUTから、処理領域の画素のうち、不満領域の画素と同一の特徴量クラスの画素を、拘束対象画素として認識する。従って、拘束条件設定部12385は、水平ラインごとに、Ｍ通りの拘束対象画素を認識する。そして、拘束条件設定部12385は、ステップS12384で設定した所定の重みを用いて、拘束対象画素に対して、水平ラインごとに、所定の重みを付けたＭ通りの拘束条件式を生成する。拘束条件設定部12385は、そのＭ通りの拘束条件式を動きボケ除去処理部12386に供給し、図１５４のステップS12387に進む。
【１７１１】
例えば、処理領域において、拘束対象画素が８個だけ水平方向に並んでおり、その各画素の動きボケのない画素値をＱ₀乃至Ｑ₇で表す場合、拘束条件式に対する重みをＷとすると、ある１通りの拘束条件式は、上述した式（１４５）で表される。従って、拘束条件設定部12385は、Ｍ通りの拘束対象画素に対して、式（１４５）の拘束条件式において、拘束対象がその異なる式をＭ通り生成する。
【１７１２】
ステップS12387では、拘束条件設定部12385は、処理領域選択部12381から供給された処理領域情報と入力画像から、入力画像における処理領域の各水平ラインの画素の画素値を認識する。また、ステップS12387において、拘束条件設定部12385は、入力画像における処理領域の各水平ラインの画素の画素値を、ステップS12374で生成し、記憶した関係モデルに代入して、水平ラインごとの式（１４２）のモデル方程式を生成する。そして、拘束条件設定部12385は、そのモデル方程式を動きボケ除去処理部12386に供給する。
【１７１３】
ステップS12387の処理後は、ステップS12388に進み、拘束条件設定部12385は、動きボケ除去処理を行う。即ち、動きボケ除去処理部12386は、拘束条件設定部12385から供給されたＭ通りの拘束条件式それぞれとモデル方程式とから、Ｍ通りの正規方程式を、処理領域の水平ラインごとに生成し、そのＭ通りの正規方程式を最小二乗誤差最小規範で解くことにより、処理領域の各水平ラインの画素について、Ｍ通りの動きボケのない画素値を求める。そして、動きボケ除去処理部12386は、処理領域の各水平ラインの画素のＭ通りの動きボケのない画素値を、出力画像生成部12387に供給し、ステップS12388からステップS12389に進む。
【１７１４】
ステップS12389において、出力画像生成部12387は、処理領域選択部12381から供給された処理領域情報から、処理領域の各水平ラインの画素を認識し、その処理領域の各水平ラインの画素の画素値を、動きボケ除去処理部12386から供給されるＭ通りの動きボケのない画素値に置き換えることにより、Ｍ通りの出力画像を生成する。さらに、ステップS12389において、出力画像生成部12387は、Ｍ通りの出力画像を画像表示部12388に供給して表示させ、ステップS12390に進む。
【１７１５】
ステップS12390では、ユーザＩ／Ｆ12389は、ユーザにより出力画像が選択されたかどうかを判定する。即ち、ステップS12389では、画像表示部12388において、Ｍ通りの出力画像が表示されるが、そのＭ通りの出力画像を見たユーザが、そのＭ通りの出力画像の中から、所望の画質の画像または所望の画質に近い画像を選択したかどうかが、ステップS12390において判定される。ステップS12390において、ユーザＩ／Ｆ12389は、ユーザにより出力画像が選択されていないと判定した場合、ユーザにより出力画像が選択されるまで待機する。
【１７１６】
ステップS12390において、ユーザＩ／Ｆ12389は、ユーザにより出力画像が選択されたと判定した場合、ステップS12391に進む。
【１７１７】
ステップS12391において、ユーザＩ／Ｆ12389は、処理領域内の画像に不満があるかどうかを判定する。即ち、ユーザが、ステップS12382で画像表示部12388に表示される出力画像またはステップS12390で選択された出力画像を見て、ステップS12373で選択された処理領域内の画像に不満を感じ、不満があることを知らせたるように、ユーザＩ／Ｆ12389を操作したかどうかが、ステップS12391で判定される。ステップS12391において、ユーザＩ／Ｆ12389は、処理領域内の画像に不満があると判定した場合、図１５３のステップS12375に戻り、上述の処理を繰り返す。なお、この場合、次に行われるステップS12385では、直前のステップS12390で選択された出力画像を得るのに用いられた特徴量空間LUTの特徴量軸を基準に、新たな特徴量軸をＭ通り選択し、そのＭ通りの特徴量軸を有する特徴量空間LUTを選択する。
【１７１８】
従って、ユーザが前回の処理で出力されたＭ通りの出力画像の中から所望するものを選択することによって、その選択結果を踏まえて、新たなＭ通りの特徴量軸が設定され、拘束条件の対象となる拘束対象画素が決定されるので、この処理を繰り返すことにより、最終的には、ユーザが所望する画質の出力画像が得られる特徴量軸が設定される。その結果、ユーザは、入力画像の処理領域の部分が、所望の画質の画像または所望の画質に近い画像とされた出力画像を得ることができる。
【１７１９】
一方、ステップS12391において、ユーザＩ／Ｆ12389は、処理領域内の画像に不満がないと判定した場合、ステップS12392に進み、他の動きボケ領域が指示されたかどうかを判定する。即ち、ユーザがステップS12382で表示された出力画像またはステップS12390で選択された出力画像を見て、処理領域以外の画像に動きボケがあると感じ、その動きボケのある領域を、ユーザＩ／Ｆ12389を操作することにより指示したかどうかが、ステップS12392において判定される。ステップS12392において、ユーザＩ／Ｆ12389は、他の動きボケ領域が指示されたと判定した場合、ステップS12373に戻り、上述した処理を繰り返す。即ち、信号処理装置４は、新たな動きボケ領域に対して処理を行う。なお、この場合、直前のステップS12382で表示された出力画像またはステップS12390で選択された出力画像を入力画像として、あるいは、入力画像の処理領域について、その処理領域に対して最終的に得られた画素値に置き換えた画像を入力画像として、処理が行なわれる。
【１７２０】
また、ステップS12392において、ユーザＩ／Ｆ12389は、他の動きボケ領域が指示されていないと判定した場合、ユーザは、出力画像に満足しているので、処理を終了する。
【１７２１】
なお、図１５１および図１５２に示すフローチャートの処理と、図１５３および図１５４に示すフローチャートの処理とは組み合わせて行うようにしてもよい。即ち、ユーザが出力画像を見て不満領域を指示した場合、拘束条件設定部12385は、拘束対象画素における拘束条件式に対する重みをＮ通り設定するとともに、Ｍ通りの特徴量空間LUTに基づくＭ通りの拘束対象画素を認識し、合計Ｎ×Ｍ通りの出力画像を生成してもよい。また、ユーザが出力画像を見て不満領域を指示した場合、拘束条件設定部12385は、不満領域の拘束条件に対する重みをＮ通り設定してＮ通りの出力画像を生成することと、Ｍ通りの特徴量空間LUTに基づいてＭ通りの拘束対象画素を認識してＭ通りの出力画像を生成することを交互に行ってもよい。
【１７２２】
図１５５乃至図１６４は、図１５０に示す信号処理装置４が、図１５１および図１５２に示すフローチャートの処理と、図１５３および図１５４に示すフローチャートの処理とを組み合わせて行なった例を説明する図である。
【１７２３】
この例において、ユーザは、入力画像から処理領域を指示し、さらに動きボケ画像が平坦であると推定される領域を指示する。そして、ユーザは、その処理結果である出力画像を見て、不満のある領域を指示し、再度の処理結果である２通りの出力画像を得る。さらに、ユーザは、その２通りの出力画像から、所望の画像に近い画像を選択し、その選択結果を踏まえて処理された４通りの出力画像を得る。最後に、ユーザは、その４通りの出力画像から所望の画像または所望の画像に近い画像を選択する。
【１７２４】
なお、ここでは、動き量パラメータについては、その真値が信号処理装置４に与えられるものとする。
【１７２５】
図１５５は、入力画像を見たユーザが処理領域を指示した状態を示している。図１５５の入力画像は、画面中を飛行機（の玩具）が左から右へ水平に移動している瞬間を撮影して得られたものである。図１５５に示すように、この入力画像は、動きボケにより文字「TAL」等のエッジ部分（輪郭部分）が鈍っている。ここで、ユーザは、「TAL」という文字が表示された部分を囲む矩形の領域を、処理領域として指示している。
【１７２６】
図１５６は、図１５５に示した入力画像を見たユーザが、動きボケのない画像が平坦であると推定される部分を平坦領域としてポインティングした例である。ここで、画像の中の×印の部分は、ユーザが平坦領域を指示するためにポインティングした位置を表し、図１５６では、このユーザによりポインティングされた位置を含む文字「Ｌ」の右側の部分を囲む矩形の領域が、平坦領域として設定されている。また、図１５６において、画像上左側の正方形で囲まれた画像は、そのユーザが指示した領域の周辺を拡大した画像であり、その中の長方形で囲まれた部分が、ユーザがポインティングしたことにより設定された平坦領域である。
【１７２７】
図１５７は、図１５５に示した入力画像に対して、ユーザによる平坦領域の指示なしで、信号処理装置４が処理を行うことにより得られた処理結果としての出力画像を示している。即ち、信号処理装置４は、図１５１および図１５２のステップS12331乃至ステップS12335、ステップS12338乃至ステップS12342の処理を行い、画像表示部12388に図１５７に示す出力画像を表示する。この場合、拘束条件式は、処理領域の全ての画素に対して生成される。図１５７に示すように、出力画像においては、図１５５または図１５６に示す入力画像に比べて、動きボケが低減され、「TAL」という文字が鮮明になっている。
【１７２８】
図１５８は、図１５６に示すように、図１５５の入力画像に対してユーザが平坦領域を指示した場合に、信号処理装置４が、その平坦領域に基づいて処理を行うことにより得られる処理結果としての出力画像を示している。即ち、信号処理装置４は、図１５１および図１５２のステップS12331乃至ステップS12337、ステップS12339乃至ステップS12342の処理を行い、画像表示部12388に図１５８に示す出力画像を表示する。この場合、拘束条件式は、平坦領域の画素に対してのみ生成される。図１５８の出力画像では、図１５７と同様に、動きボケが低減され、「TAL」という文字が鮮明になっている。さらに、図１５８の出力画像では、図１５７における場合よりも、エッジ部分と平坦部分の画質が向上している。
【１７２９】
図１５９は、図１５８に示した出力画像に対して、ユーザが不満のある領域を指示した状態を示す図である。即ち、ユーザは、出力画像に対して、想像している動きボケのない画像と異なる（画質が劣化している）領域を不満領域として指示する。図１５９の例の場合、ユーザは、文字「TAL」のうちの「Ｌ」の右側近傍の白い劣化部分を不満領域として指示している。つまり、図中、長方形の部分が、不満領域として指示された領域である。
【１７３０】
図１６０Ａと図１６０Ｂは、図１５９に示すように、ユーザから指示された不満領域に基づいて、信号処理装置４が処理を行うことにより得られる出力画像を示している。即ち、信号処理装置４は、図１５１および図１５２のステップS12331乃至ステップS12335,ステップS12338、ステップS12343乃至ステップS12349の処理を行い、画像表示部12388に図１６０Ａと図１６０Ｂに示す出力画像を表示する。
【１７３１】
図１６０Ａと図１６０Ｂでは、信号処理装置４は、ユーザから指示された不満領域に対して、２通りの重みを付けた拘束条件式をそれぞれ生成し、その２通りの拘束条件式を用いて処理を行うことにより得られる２通りの出力画像を表示している。ユーザは、この２通りの出力画像を見て、所望の画質に近い画像を選択する。ここで、図中、画像が四角で囲まれた画像（図１６０Ａ）が、ユーザにより選択された画像を表している。
【１７３２】
図１６１Ａ乃至図１６１Ｄは、図１６０Ａと図１６０Ｂで選択された画像を再度処理して得られた出力画像を示している。即ち、信号処理装置４は、図１５１および図１５２のステップS12331乃至ステップS12335、ステップS12338、ステップS12343乃至ステップS12351の処理後、図１５３および図１５４のステップS12375、ステップS12378、ステップS12383乃至ステップS12389の処理を行い、画像表示部12388に図１６１Ａ乃至図１６１Ｄの出力画像を表示する。
【１７３３】
図１６１Ａ乃至図１６１Ｄでは、信号処理装置４は、ユーザから指示された不満領域における拘束条件を、処理領域の不満領域以外の領域に反映させる仕方を決定するために、入力画像の複数種類の特徴量から４通りの特徴量軸に基づく特徴量空間LUTを生成し、その４通りの特徴量空間LUTに基づいて、４通りの出力画像を生成して表示している。
【１７３４】
ユーザは、その４通りの出力画像から、所望の画質の画像または所望の画質に近い画像を選択する。ここで、図中、四角で囲われた画像（図１６１Ｄ）が、ユーザにより選択された画像を表している。
【１７３５】
図１６２は、図１５５に示した入力画像の「TAL」という文字を拡大した図である。
【１７３６】
図１６３は、図１６２に示した入力画像に対して、ユーザが平坦領域および不満領域を指示しない場合に、信号処理装置４から得られる出力画像を示している。図１６３に示すように、出力画像では、動きボケが低減（除去）され、「TAL」という文字が明確になっている。
【１７３７】
図１６４は、図１６２に示した入力画像に対して、ユーザが平坦領域を一回指示し、不満領域を２回指示した場合に、信号処理装置４から得られる出力画像を示している。図１６４の出力画像では、図１６３に示した出力画像に比べて、文字「TAL」が鮮明になっている。さらに、図１６４の出力画像では、図１６３における場合よりも、文字「Ｌ」の横の白い平坦領域の画質が向上している。
【１７３８】
なお、上述した説明では、拘束条件式に対して重みを与え、その重みを変更したが、拘束条件式だけでなく、モデル方程式に対して重みを与え、その重みを変更してもよい。
【１７３９】
なお、上述した図１１３の定常性設定部12002（他の定常性設定部においても同様）においては、定常性情報としての動きは、ユーザの操作に基づいて設定する他、入力画像から動きを検出して設定することもできる。
【１７４０】
そこで、図１１３の定常性設定部12002における動きの検出方法について説明する。
【１７４１】
入力画像におけるあるオブジェクトが動いている場合の、そのオブジェクトの動きとしての、例えば動きベクトルを検出する方法としては、いわゆるブロックマッチング法が知られている。
【１７４２】
しかしながら、ブロックマッチング法では、注目しているフレームと、その前または後のフレームとのマッチングを行うため、注目している１フレームだけから動きを検出することは困難である。
【１７４３】
そこで、定常性設定部12002では、１フレームの入力画像だけから、動きの検出を行うことができるようになっている。
【１７４４】
即ち、図１６５は、図１１３の定常性設定部12002の構成例を示している。
【１７４５】
図１６５で構成が示される定常性設定部12002においては、入力画像の中の処理領域におけるオブジェクトの動き方向が検出され、動き方向が水平方向になるように入力画像が補正される。そして、動き方向に隣接する画素の画素値の差分値である、入力画像のオブジェクトの動き方向に一次微分した特徴量が検出される。
【１７４６】
さらに、注目している画素の特徴量と動き方向に所定の距離の対応画素の特徴量との相関が検出され、検出された相関が最大である対応画素と注目画素との距離に応じてオブジェクトの動き量が検出される。
【１７４７】
すなわち、図１６５で構成が示される定常性設定部12002は、動き方向検出部11201、動き方向修正部11202、特徴量検出部11203、および動き量検出部11204を含む。
【１７４８】
さらに、動き方向検出部11201は、アクティビティ演算部11211およびアクティビティ評価部11212を含む。動き方向修正部11202は、アフィン変換部11213を含む。
【１７４９】
特徴量検出部11203は、差分演算部11214、差分評価部11215、中間画像作成部11216、中間画像作成部11217、フレームメモリ11218、符号反転部11219、およびフレームメモリ11220を含む。
【１７５０】
さらに、動き量検出部11204は、相関検出部11221および相関評価部11222を含む。
【１７５１】
図１６５で構成が示される定常性設定部12002において、入力画像は、動き方向検出部11201および動き方向修正部11202に供給される。さらに、図１１３の処理領域設定部12001が出力する処理領域情報も、動き方向検出部11201および動き方向修正部11202に供給される。
【１７５２】
動き方向検出部11201は、入力画像と処理領域情報を取得して、取得した入力画像から処理領域における動き方向を検出する。
【１７５３】
動いている対象物を撮像したとき、対象物の画像には動きボケが生じる。これは、対象物の画像を撮像するセンサ２としてのカメラまたはビデオカメラのイメージセンサの働きによるものである。
【１７５４】
すなわち、CCD（Charge Coupled Device）またはCMOS（Complementary Metal-Oxide Semiconductor）センサなどのイメージセンサは、露光時間（シャッタ時間）において、画素毎に入射された光を連続的に電荷に変換し、さらに電荷を１つの画像値に変換する。撮像の対象物が静止しているとき、露光している期間において、対象物の同じ部位の画像（光）が１つの画素値に変換される。このように撮像された画像には、動きボケは含まれていない。
【１７５５】
これに対して、対象物が動いているとき、露光している期間において、１つの画素に入射される対象物の部位の画像が変化し、対象物の異なる部位の画像が１つの画素値に変換されてしまう。逆に言えば、対象物の１つの部位の画像が複数の画素値に射影される。これが動きボケである。
【１７５６】
動きボケは、対象物の動き方向に生じる。
【１７５７】
動きボケが生じている部分（動きボケを含む領域）の動き方向に並んでいる画素の画素値のそれぞれに注目すると、動き方向に並んでいる画素の画素値には、対象物のほぼ同じ範囲の部位の画像が射影されている。従って、動きボケが生じている部分の、動き方向に並んでいる画素の画素値の変化は、より少なくなっていると言える。
【１７５８】
動き方向検出部11201は、このような入力画像の処理領域における画素の画素値の変化、すなわちアクティビティを基に、動き方向を検出する。
【１７５９】
より具体的には、動き方向検出部11201のアクティビティ演算部11211は、予め定めた方向毎に、各方向に並んでいる画素の画素値の変化（アクティビティ）を演算する。例えば、アクティビティ演算部11211は、予め定めた方向毎に、各方向に対応して位置する画素の画素値の差分をアクティビティとして演算する。アクティビティ演算部11211は、演算した画素値の変化を示す情報をアクティビティ評価部11212に供給する。
【１７６０】
アクティビティ評価部11212は、アクティビティ演算部11211から供給された、予め定めた方向毎の画素の画素値の変化の中の、最小の画素値の変化を選択し、選択した画素値の変化に対応する方向を動き方向とする。
【１７６１】
動き方向検出部11201は、このように検出した動き方向を示す動き方向情報を動き方向修正部11202に供給する。
【１７６２】
動き方向修正部11202には、処理領域情報も供給される。動き方向修正部11202は、動き方向検出部11201から供給された動き方向情報を基に、動き方向が画像の水平方向となるように入力画像における処理領域の中の画像データを変換する。
【１７６３】
例えば、動き方向修正部11202のアフィン変換部11213は、動き方向検出部11201から供給された動き方向情報を基に、動き方向情報で示される動き方向が画像の水平方向となるように入力画像における処理領域の中の画像データをアフィン変換する。
【１７６４】
動き方向修正部11202は、動き方向が画像の水平方向となるように変換された入力画像における処理領域の中の画像データを特徴量検出部11203に供給する。
【１７６５】
なお、ここでは、入力画像において、オブジェクトが水平方向（左から右方向）に移動していることを仮定しているので、定常性設定部12002は、動き方向検出部11201と動き方向修正部11202を設けずに構成することが可能である。
【１７６６】
特徴量検出部11203は、動き方向修正部11202から供給された画像の特徴量を検出する。
【１７６７】
すなわち、特徴量検出部11203の差分演算部11214は、入力画像の処理領域の画素から１つの画素を選択することにより、注目している注目画素とする。そして、特徴量検出部11203の差分演算部11214は、注目画素の画素値から、注目画素の右隣の画素の画素値を引き算することにより差分値を求める。
【１７６８】
差分演算部11214は、入力画像の処理領域の画素を順に注目画素として、差分値を求める。すなわち、差分演算部11214は、入力画像の処理領域の全ての画素に対して、差分値を求める。差分演算部11214は、差分値に対応する注目画素の位置を示す情報（差分値の画面上の位置を示す位置情報）と共に、このように演算された差分値を差分評価部11215に供給する。
【１７６９】
差分評価部11215は、差分値が０以上であるか否かを判定し、０以上である差分値を、差分値の画面上に位置を示す位置情報と共に、中間画像作成部11216に供給し、０未満である差分値を、差分値の画面上の位置を示す位置情報と共に、中間画像作成部11217に供給する。
【１７７０】
中間画像作成部11216は、差分値の画面上に位置を示す位置情報と共に、差分評価部11215から供給された０以上である差分値を基に、差分値からなる中間画像を作成する。すなわち、中間画像作成部11216は、位置情報で示される画面上の位置の画素に、差分評価部11215から差分値が供給された０以上である差分値を設定し、差分評価部11215から差分値が供給されなかった位置の画素に０を設定して、中間画像を作成する。中間画像作成部11216は、このように作成した中間画像（以下、非反転中間画像と称する。）をフレームメモリ11218に供給する。
【１７７１】
中間画像作成部11217は、差分値の画面上に位置を示す位置情報と共に、差分評価部11215から供給された０未満（負の値）である差分値を基に、差分値からなる中間画像を作成する。すなわち、中間画像作成部11217は、位置情報で示される画面上の位置の画素に、差分評価部11215から差分値が供給された０未満である差分値を設定し、差分評価部11215から差分値が供給されなかった位置の画素に０を設定して、中間画像を作成する。中間画像作成部11216は、このように作成した中間画像を符号反転部11219に供給する。
【１７７２】
符号反転部11219は、中間画像作成部11217から供給された中間画像の画素に設定されている、０未満である差分値の符号を反転する。中間画像の画素に設定されている０である値の符号は、反転されない。すなわち、符号反転部11219は、中間画像作成部11217から供給された中間画像の画素に設定されている、０未満である差分値を選択し、選択した０未満である差分値を、差分値と同じ絶対値の０を超える値に変換する。例えば、−１５である差分値は、符号が反転され、１５に変換される。符号反転部11219は、このように符号が反転された中間画像（以下、反転中間画像と称する。）をフレームメモリ11220に供給する。
【１７７３】
フレームメモリ11218は、０以上である差分値と０とからなる非反転中間画像を、特徴量として動き量検出部11204に供給する。フレームメモリ11220は、符号が反転され０を超える値とされた差分値と０とからなる反転中間画像を、特徴量として動き量検出部11204に供給する。
【１７７４】
動き量検出部11204は、特徴量検出部11203から供給された特徴量を基に、動きを検出する。すなわち、動き量検出部11204は、入力画像の処理領域における対象物の画像（オブジェクト）の画素の中の少なくとも注目画素の特徴と、注目画素に対して動き方向に沿って配される対応画素の特徴との相関を検出し、検出された相関に応じて、入力画像の処理領域における対象物の画像（オブジェクト）の動き量を検出する。
【１７７５】
動き量検出部11204の相関検出部11221は、特徴量検出部11203のフレームメモリ11218から供給された、特徴量としての、非反転中間画像と、特徴量検出部11203のフレームメモリ11220から供給された、特徴量としての、反転中間画像との相関を検出する。相関検出部11221は、検出された相関を相関評価部11222に供給する。
【１７７６】
より詳細に説明すれば、例えば、動き量検出部11204の相関検出部11221は、特徴量検出部11203のフレームメモリ11218から供給された、０以上である差分値と０とからなる非反転中間画像に対して、特徴量検出部11203のフレームメモリ11220から供給された、符号が反転され０を超える値とされた差分値と０とからなる反転中間画像を、画素を単位として、画面の水平方向に移動させる（ずらす（シフトさせる））。すなわち、相関検出部11221は、反転中間画像を構成する画素の画面上の位置を水平方向に移動させる。
【１７７７】
反転中間画像（の画素）を、画面上の水平方向に移動させることによって、非反転中間画像の画素と、反転中間画像の画素との画面上の位置の関係が変化する。例えば、移動前に、非反転中間画像の注目画素に対応する画面上の位置にある、反転中間画像の対応画素は、移動後において、移動量だけ、非反転中間画像の注目画素に対応する位置から離れることになる。より具体的には、反転中間画像を右に２０画素移動したとき、反転中間画像の対応画素は、非反転中間画像の注目画素に対応する位置から右に２０画素離れる。逆に言えば、移動後に、非反転中間画像の注目画素に対応する画面上の位置にある、反転中間画像の対応画素は、移動前において、注目画素に対応する位置から移動量だけ離れている。
【１７７８】
相関検出部11221は、非反転中間画像と、移動された反転中間画像との、対応する位置の画素の画素値の差分を演算し、差分の絶対値の和を相関値とする。
【１７７９】
例えば、相関検出部11221は、非反転中間画像に対して、反転中間画像を、画面の左方向に７０画素乃至画面の右方向に７０画素の範囲で、１画素ずつ画面の水平方向に移動させ（ずらして）、移動させた位置毎（移動量毎）に、非反転中間画像および移動された反転中間画像について、画面上の同じ位置となる画素の画素値の差分を演算し、差分の絶対値の和を相関値とする。
【１７８０】
例えば、非反転中間画像に対して反転中間画像を、画面の左方向に移動するとき、移動量を負（マイナス）で表す。非反転中間画像に対して反転中間画像を、画面の右方向に移動するとき、移動量を正（プラス）で表す。相関検出部11221は、−７０画素乃至＋７０画素の移動量毎に、非反転中間画像および移動された反転中間画像について、画面上の同じ位置となる画素の画素値の差分を演算し、差分の絶対値の和を相関値とする。
【１７８１】
相関検出部11221は、移動量に対応する相関値を相関評価部11222に供給する。すなわち、相関検出部11221は、移動量と相関値との組を相関評価部11222に供給する。
【１７８２】
相関評価部11222は、相関に応じて、入力画像の処理領域における対象物の画像の動き量を検出する。具体的には、相関評価部11222は、相関検出部11221から供給された相関のうち、最大の（最も強い）相関に対応する移動量を動き量とする。
【１７８３】
例えば、相関評価部11222は、相関検出部11221から供給された相関値である、差分の絶対値の和の内、最小の値を選択し、選択された最小の値に対応する移動量を動き量に設定する。
【１７８４】
相関評価部11222は、検出された動き量を出力する。
【１７８５】
図１６６乃至図１６８は、図１６５の定常性設定部12002による動き検出の原理を説明する図である。
【１７８６】
いま、撮像の対象物である、白い前景オブジェクトが、他の撮像の対象物である、黒い背景オブジェクトの前（手前）に配置され、左側から右側に移動しており、CCDまたはCMOSセンサなどのイメージセンサを有するカメラが、所定の露光時間（シャッタ時間）で、背景オブジェクトと共に、前景オブジェクトを撮像するものとする。
【１７８７】
この場合にカメラが出力する画像の１フレームに注目すると、背景オブジェクトは、黒いので、例えば、カメラは、背景オブジェクトの画像に対して０である画素値を出力する。前景オブジェクトは、白いので、例えば、カメラは、前景オブジェクトの画像に対して２５５である画素値を出力する。なお、ここでは、カメラが、０乃至２⁸−１の範囲の画素値を出力するものであるとする。
【１７８８】
図１６６上側の図は、カメラのシャッタが開いた瞬間（露光を開始した瞬間）における位置に、前景オブジェクトが静止しているとき、カメラが出力する画像の画素値を示す図である。
【１７８９】
図１６６下側の図は、カメラのシャッタが閉じる瞬間（露光を終了する瞬間）における位置に、前景オブジェクトが静止しているとき、カメラが出力する画像の画素値を示す図である。
【１７９０】
図１６６で示されるように、前景オブジェクトの画像の動き量は、カメラのシャッタが開いた瞬間から、カメラのシャッタが閉じる瞬間までに、前景オブジェクトの画像が移動した距離である。
【１７９１】
図１６７は、背景オブジェクトの前を移動する前景オブジェクトをカメラで撮像したときに、カメラから出力される画像の画素値を示す図である。カメラのイメージセンサは、露光時間（シャッタ時間）において、画素毎に対象物の画像（光）を連続的に電荷に変換し、さらに電荷を１つの画像値に変換するので、前景オブジェクト11251の画像は、複数の画素の画素値に射影される。図１６６で示される画像の画素値の最大値に比較して、図１６７で示される画像の画素値の最大値は小さくなる。
【１７９２】
図１６７で示される画素値のスロープの幅は、背景オブジェクトの画像の幅に対応する。
【１７９３】
図１６７で示される画像の個々の画素について、右隣の画素との差分値を計算し、差分値を画素に設定すると、図１６８に示される、差分値からなる画像が得られる。
【１７９４】
すなわち、図１６７で示される画像の画素から１つの画素が選択され、注目している注目画素とされる。そして、注目画素の画素値から、注目画素の右隣の画素の画素値が引き算されることにより差分値が求められる。差分値は、注目画素に対応する位置の画素に設定される。図１６７で示される画像の画素が順に注目画素とされ、図１６８で示される差分値からなる画像が求められる。
【１７９５】
図１６６上側の図で示される、カメラのシャッタが開いた瞬間における、前景オブジェクトの位置に対して１画素左側に、符号が負（マイナス）である差分値が現れ、図１６６下側の図で示される、カメラのシャッタが閉じる瞬間における、前景オブジェクトの位置に対して１画素左側に、符号が正（プラス）である差分値が現れる。
【１７９６】
従って、図１６８で示される、符号が負（マイナス）である差分値の符号を反転した値と、符号が正（プラス）である差分値とのマッチングをとると、例えば、マッチングしたときの、符号が正（プラス）である差分値を基準とした、符号が負（マイナス）である差分値の符号を反転した値の移動量は、動き量と同じである。
【１７９７】
例えば、符号が正（プラス）である差分値を基準として、符号が負（マイナス）である差分値の符号を反転した値が水平方向に移動され、その移動量毎に、負である差分値を反転した値と正である差分値との相関が検出され、最大の（最も強い）相関が検出される。最大の相関が検出されたときの移動量は、動き量と同じである。
【１７９８】
より具体的には、例えば、符号が正（プラス）である差分値を基準として、符号が負（マイナス）である差分値の符号を反転した値が水平方向に移動され、その移動量毎に、負である差分値を反転した値と正である差分値との相関として、画素毎に、反転した値から正の差分値が引き算される。そして、引き算した結果の内の最小の値、すなわち最大の相関が検出される。検出された最大の相関に対応する移動量は、動き量と同じである。
【１７９９】
以上のように、画像の１フレームから、露光時間（シャッタ時間）において、対象物の画像が移動した量である動き量を検出することができる。
【１８００】
すなわち、特徴量検出部11203の差分演算部11214は、入力画像の処理領域における画素から１つの画素を選択して、注目画素とし、注目画素の画素値から、注目画素の右隣の画素の画素値を引き算することにより、例えば、図１６８で示される差分値を演算する。差分評価部11215は、差分の符号を基に、正の差分値と負の差分値とに分類する。
【１８０１】
中間画像作成部11216は、分類された正の差分値から、その正の差分値からなる非反転中間画像を作成する。中間画像作成部11217は、分類された負の差分値から、その負の差分値からなる中間画像を作成する。符号反転部11219は、負の差分値からなる中間画像の負の画素値の符号を反転することにより、反転中間画像を作成する。
【１８０２】
動き量検出部11204は、相関が最も強い非反転中間画像と反転中間画像との移動量を求めて、求められた移動量を動き量とする。
【１８０３】
特徴量検出部11203が、動いている対象物の画像（オブジェクト）を検出し、動いている対象物の画像の特徴量を検出したとき、動き量検出部11204は、特徴量を基に相関を検出し、検出された相関に応じて、入力画像内の対象物の画像（オブジェクト）の動き量を検出する。
【１８０４】
また、特徴量検出部11203が、動いている対象物の画像に属する画素から注目している画素である注目画素を選択し、注目画素の特徴量を検出したとき、動き量検出部11204は、注目画素の特徴量と、注目画素に対して動き方向に沿って配される対応画素の特徴量との相関を検出し、検出された相関に応じて、入力画像の処理領域における対象物の画像の動き量を検出する。
【１８０５】
図１６９は、図１６５の定常性設定部12002による動き量の検出の処理を説明するフローチャートである。
【１８０６】
ステップS11201において、動き方向検出部11201および動き方向修正部11202は、入力画像と処理領域情報を取得し、ステップS11202に進む。
【１８０７】
ステップS11202において、動き方向検出部11201１のアクティビティ演算部11211は、ステップS11201の処理により取得された入力画像における処理領域の画素について、アクティビティを演算し、ステップS11203に進む。
【１８０８】
例えば、アクティビティ演算部11211は、入力画像における処理領域の画素のうち、注目している画素である注目画素を選択する。アクティビティ演算部11211は、注目画素の周辺の所定の数の周辺画素を抽出する。例えば、アクティビティ演算部11211は、注目画素を中心とした、縦×横が５×５の画素からなる周辺画素を抽出する。
【１８０９】
そして、アクティビティ演算部11211は、抽出した周辺画素から、予め定めた画像上の方向に対応するアクティビティを検出する。
【１８１０】
以下の説明において、横方向の画素の１列の並びを行と称し、縦方向の画素の１列の並びを列と称する。
【１８１１】
アクティビティ演算部11211は、例えば、５×５の周辺画素について、画面上の上下方向（垂直）に隣接する画素の画素値の差分を算出して、算出された差分の絶対値の総和を差分の数で割り、その結果をアクティビティとすることにより、画面の水平方向を基準として、９０度の角度（画面の垂直方向）に対する、アクティビティを検出する。
【１８１２】
例えば、２０組の、画面上の上下方向に隣接する２つの画素について、画素値の差分が算出され、算出された差分の絶対値の和が２０で割り算され、その結果（商）が、９０度の角度に対するアクティビティに設定される。
【１８１３】
アクティビティ演算部11211は、例えば、５×５の周辺画素について、最も下の行の画素であって、最も左側の画素乃至左から４番目の画素のそれぞれの画素値と、それぞれの画素に対して、４画素上側であって、１画素右側の画素の画素値との差分を算出して、算出された差分の絶対値の総和を差分の数で割り、その結果をアクティビティとすることにより、画面の水平方向を基準として、７６度の角度（tan^-1(4/1)）に対する、アクティビティを検出する。
【１８１４】
そして、例えば、４組の、右上方向であって、上下方向に４画素、および左右方向に１画素離れた位置にある２つの画素について、画素値の差分が算出され、算出された差分の絶対値の和が４で割り算され、その結果（商）が、７６度の角度に対するアクティビティに設定される。
【１８１５】
アクティビティ演算部11211は、同様の処理で、画面の水平方向を基準として、９０度乃至１８０度の範囲の角度に対するアクティビティを検出する。９０度乃至１８０度の範囲の角度に対するアクティビティを検出する場合、左上方向に位置する画素の画素値の差分を基に、アクティビティが算出される。
【１８１６】
このように検出されたアクティビティは、注目画素に対するアクティビティとされる。
【１８１７】
なお、検出されたアクティビティを、周辺画素に対するアクティビティとするようにしてもよい。
【１８１８】
また、周辺画素は、縦×横が５×５の画素からなると説明したが、５×５の画素に限らず、所望の範囲の画素とすることができる。周辺画素の数が多い場合、角度の分解能が向上する。
【１８１９】
アクティビティ演算部11211は、複数の方向に対応するアクティビティを示す情報をアクティビティ評価部11212に供給する。
【１８２０】
図１６９に戻り、ステップS11203において、アクティビティ評価部11212は、ステップS11202の処理において算出された、所定の方向に対応するアクティビティを基に、最小のアクティビティを選択し、選択された方向を動き方向とすることにより、動き方向を求めて、ステップS11204に進む。
【１８２１】
ステップS11204において、動き方向修正部11202は、ステップS11203の処理において求められた動き方向を基に、動き方向が画像の水平方向となるように入力画像の処理領域における画像データを変換し、ステップＳ11205に進む。例えば、ステップS11204において、動き方向修正部11202のアフィン変換部11213は、ステップS11203の処理において求められた動き方向を基に、動き方向が画像の水平方向となるように入力画像の処理領域における画像データをアフィン変換する。より具体的には、例えば、アフィン変換部11213は、画面の水平方向を基準として、動き方向が１８度の角度であるとき、入力画像の処理領域における画像データを時計方向に１８度回動するようにアフィン変換する。
【１８２２】
ステップS11205において、特徴量検出部11203の差分演算部11214は、ステップS11204の処理において、動き方向が画面の水平方向となるように変換された入力画像の処理領域における各画素について、水平方向に隣接する画素との画素値の差分値を演算し、ステップＳ11206に進む。
【１８２３】
例えば、ステップS11205において、差分演算部11214は、入力画像の処理領域における画素から１つの画素を選択することにより、注目している注目画素とする。そして、差分演算部11214は、注目画素の画素値から、注目画素の右隣の画素の画素値を引き算することにより差分値を求める。
【１８２４】
ステップS11206において、特徴量検出部11203の差分評価部11215は、差分値の符号を基に、差分値を振り分け、ステップＳ11207に進む。すなわち、差分評価部11215は、０以上である差分値を中間画像作成部11216に供給し、０未満である差分値を中間画像作成部11217に供給する。この場合において、差分評価部11215は、差分値の画面上に位置を示す位置情報と共に、差分値を中間画像作成部11216または中間画像作成部11217に供給する。
【１８２５】
ステップS11207において、特徴量検出部11203の中間画像作成部11216は、ステップS11206の処理で振り分けられた、０以上である差分値（正の差分値）を基に、正の差分値からなる中間画像を生成し、ステップＳ11208に進む。すなわち、ステップS11207において、中間画像作成部11216は、位置情報で示される画面上の位置の画素に正の差分値を設定し、差分値が供給されなかった位置の画素に０を設定することにより、中間画像を作成する。
【１８２６】
このように、ステップS11207の処理において、非反転中間画像が生成される。
【１８２７】
ステップS11208において、特徴量検出部11203の中間画像作成部11217は、ステップS11206の処理で振り分けられた、０未満である差分値（負の差分値）を基に、負の差分値からなる中間画像を生成し、ステップＳ11209に進む。すなわち、ステップS11208において、中間画像作成部11217は、位置情報で示される画面上の位置の画素に負の差分値を設定し、差分値が供給されなかった位置の画素に０を設定することにより、中間画像を作成する。
【１８２８】
ステップS11209において、特徴量検出部11203の符号反転部11219は、ステップS11208の処理で生成された負の差分値からなる中間画像の負の差分値の符号を反転する。すなわち、ステップS11209において、負の中間画像の画素に設定されている、負の差分値が、同じ絶対値の正の値に変換される。
【１８２９】
このように、ステップS11209において、反転中間画像が生成され、その後、ステップＳ11210に進む。
【１８３０】
ステップS11210において、動き量検出部11204は、相関の検出の処理を実行する。ステップS11210の処理の詳細は、図１７０のフローチャートを参照して、後述する。
【１８３１】
ステップS11211において、相関評価部11222は、ステップS11210の処理で検出された相関のうち、最も強い相関を選択し、ステップS11212に進む。例えば、ステップS11211において、画素値の差分の絶対値の和である相関値のうち、最小の相関値が選択される。
【１８３２】
ステップS11212において、相関評価部11222は、ステップS11211の処理で選択された、最も強い相関に対応する移動量を動き量に設定して、ステップS11213に進む。例えば、ステップS11212において、画素値の差分の絶対値の和である相関値のうち、選択された最小の相関値に対応して、後述するステップS11223の処理により記憶されている、反転中間画像の移動量が動き量に設定される。
【１８３３】
ステップS11213において、動き量検出部11204は、ステップS11210の処理において検出した動き量を出力して、処理は終了する。
【１８３４】
図１７０は、ステップS11210の処理に対応する、相関の検出の処理を説明するフローチャートである。
【１８３５】
ステップS11221において、動き量検出部11204の相関検出部11221は、ステップS11209の処理で生成された、反転中間画像の画素の位置を、画素を単位として水平方向に移動し、ステップＳ11222に進む。
【１８３６】
ステップS11222において、相関検出部11221は、非反転中間画像と、ステップS11221の処理において、画素の位置が移動された反転中間画像との相関を検出し、ステップＳ11223に進む。例えば、ステップS11222において、非反転中間画像の画素の画素値と、画面上で対応する位置の、反転中間画像の画素の画素値との差分が算出され、算出された差分の絶対値の和が相関値として検出される。相関検出部11221は、ステップS11221の処理における反転中間画像の画素の移動量と共に、検出された相関を示す相関情報を相関評価部11222に供給する。
【１８３７】
ステップS11223において、相関評価部11222は、ステップS11221の処理における反転中間画像の画素の移動量と共に、ステップS11222の処理において検出された相関を記憶し、ステップＳ11224に進む。例えば、相関評価部11222は、ステップS11221の処理における反転中間画像の画素の移動量と共に、画素値の差分の絶対値の和である相関値を記憶する。
【１８３８】
ステップS11224において、相関検出部11221は、全ての移動量に対する相関を検出したか否かを判定し、まだ相関を検出していない移動量があると判定された場合、ステップS11221に戻り、次の移動量に対する相関を検出する処理を繰り返す。
【１８３９】
例えば、ステップS11224において、相関検出部11221は、画面の左方向に７０画素乃至画面の右方向に７０画素の範囲で、反転中間画像の画素を移動したときの相関を全て検出したか否かを判定する。
【１８４０】
ステップS11224において、全ての移動量に対する相関を検出したと判定された場合、処理は終了する（リターンする）。
【１８４１】
このように、相関検出部11221は、相関を検出することができる。
【１８４２】
以上のように、図１６５に構成を示す定常性設定部12002は、画像の１つのフレームから、動き量を検出することができる。
【１８４３】
なお、ここでは、処理領域を対象として動きを検出するようにしたが、全画面を処理対象とすることで、例えば、手振れにより発生した全画面の動きを検出することができる。
【１８４４】
また、入力画像に同じ模様の繰り返しパターンが多く含まれていても、処理の対象となる入力画像の処理領域の動き量および動き方向が一定であれば、正確に動き量を検出することができる。
【１８４５】
なお、上述の場合には、画像の１つのフレームから動き量を検出すると説明したが、１つのフィールドから動き量を検出するようにしてもよいことは勿論である。
【１８４６】
また、選択した注目画素の周辺についてのみ、動き量を検出するようにしてもよい。
【１８４７】
なお、センサ２は、固体撮像素子である、例えば、BBD（Bucket Brigade Device）、CID（Charge Injection Device）、またはCPD（Charge Priming Device）などのセンサでもよい。
【１８４８】
本発明の信号処理を行うプログラムを記録した記録媒体は、図２で示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５１（フレキシブルディスクを含む）、光ディスク５２（CD-ROM(Compaut Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク５３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２２や、記憶部２８に含まれるハードディスクなどで構成される。
【１８４９】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【１８５０】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【１８５１】
【発明の効果】
以上の如く、本発明によれば、現実世界の信号により近似した画像等を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の原理を示す図である。
【図２】信号処理装置４のハードウェア構成の例を示すブロック図である。
【図３】図１の信号処理装置４の一実施の形態の構成例を示すブロック図である。
【図４】信号処理装置４の信号処理の原理をより具体的に説明する図である。
【図５】イメージセンサ上の画素の配置の例を説明する図である。
【図６】 CCDである検出素子の動作を説明する図である。
【図７】画素Ｄ乃至画素Ｆに対応する検出素子に入射される光と、画素値との関係を説明する図である。
【図８】時間の経過と、１つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。
【図９】実世界１の線状の物の画像の例を示す図である。
【図１０】実際の撮像により得られた画像データの画素値の例を示す図である。
【図１１】背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像の例を示す図である。
【図１２】実際の撮像により得られた画像データの画素値の例を示す図である。
【図１３】画像データの模式図である。
【図１４】Ｍ個のデータ１６２によるモデル１６１の推定を説明する図である。
【図１５】実世界１の信号とデータ３との関係を説明する図である。
【図１６】式を立てるときに注目するデータ３の例を示す図である。
【図１７】式を立てる場合における、実世界１における２つの物体に対する信号および混合領域に属する値を説明する図である。
【図１８】式（１８）、式（１９）、および式（２２）で表される定常性を説明する図である。
【図１９】データ３から抽出される、Ｍ個のデータ１６２の例を示す図である。
【図２０】データ３における、時間方向および２次元の空間方向の実世界１の信号の積分を説明する図である。
【図２１】空間方向により解像度の高い高解像度データを生成するときの、積分の領域を説明する図である。
【図２２】時間方向により解像度の高い高解像度データを生成するときの、積分の領域を説明する図である。
【図２３】時間空間方向により解像度の高い高解像度データを生成するときの、積分の領域を説明する図である。
【図２４】入力画像の元の画像を示す図である。
【図２５】入力画像の例を示す図である。
【図２６】従来のクラス分類適応処理を適用して得られた画像を示す図である。
【図２７】細線の領域を検出した結果を示す図である。
【図２８】信号処理装置４から出力された出力画像の例を示す図である。
【図２９】信号処理装置４による、信号の処理を説明するフローチャートである。
【図３０】データ定常性検出部１０１の構成を示すブロック図である。
【図３１】背景の前に細線がある実世界１の画像を示す図である。
【図３２】平面による背景の近似を説明する図である。
【図３３】細線の画像が射影された画像データの断面形状を示す図である。
【図３４】細線の画像が射影された画像データの断面形状を示す図である。
【図３５】細線の画像が射影された画像データの断面形状を示す図である。
【図３６】頂点の検出および単調増減領域の検出の処理を説明する図である。
【図３７】頂点の画素値が閾値を超え、隣接する画素の画素値が閾値以下である細線領域を検出する処理を説明する図である。
【図３８】図３７の点線AA'で示す方向に並ぶ画素の画素値を表す図である。
【図３９】単調増減領域の連続性の検出の処理を説明する図である。
【図４０】細線の画像が射影された領域の検出の他の処理の例を示す図である。
【図４１】定常性検出の処理を説明するフローチャートである。
【図４２】時間方向のデータの定常性を検出の処理を説明する図である。
【図４３】非定常成分抽出部２０１の構成を示すブロック図である。
【図４４】棄却される回数を説明する図である。
【図４５】非定常成分の抽出の処理を説明するフローチャートである。
【図４６】定常成分の抽出の処理を説明するフローチャートである。
【図４７】定常成分の抽出の他の処理を説明するフローチャートである。
【図４８】定常成分の抽出のさらに他の処理を説明するフローチャートである。
【図４９】データ定常性検出部１０１の他の構成を示すブロック図である。
【図５０】データの定常性を有する入力画像におけるアクティビティを説明する図である。
【図５１】アクティビティを検出するためのブロックを説明する図である。
【図５２】アクティビティに対するデータの定常性の角度を説明する図である。
【図５３】データ定常性検出部１０１のより詳細な構成を示すブロック図である。
【図５４】画素の組を説明する図である。
【図５５】画素の組の位置とデータの定常性の角度との関係を説明する図である。
【図５６】データの定常性の検出の処理を説明するフローチャートである。
【図５７】時間方向および空間方向のデータの定常性の角度を検出するとき、抽出される画素の組を示す図である。
【図５８】図３の実世界推定部の実施の形態の1例である、関数近似手法の原理を説明する図である。
【図５９】センサがＣＣＤとされる場合の積分効果を説明する図である。
【図６０】図５９のセンサの積分効果の具体的な例を説明する図である。
【図６１】図５９のセンサの積分効果の具体的な他の例を説明する図である。
【図６２】図６０で示される細線含有実世界領域を表した図である。
【図６３】図３の実世界推定部の実施の形態の１例の原理を、図５８の例と対比させて説明する図である。
【図６４】図６０で示される細線含有データ領域を表した図である。
【図６５】図６４の細線含有データ領域に含まれる各画素値のそれぞれをグラフ化した図である。
【図６６】図６５の細線含有データ領域に含まれる各画素値を近似した近似関数をグラフ化した図である。
【図６７】図６０で示される細線含有実世界領域が有する空間方向の定常性を説明する図である。
【図６８】図６４の細線含有データ領域に含まれる各画素値のそれぞれをグラフ化した図である。
【図６９】図６８で示される入力画素値のそれぞれを、所定のシフト量だけシフトさせた状態を説明する図である。
【図７０】空間方向の定常性を考慮して、図６５の細線含有データ領域に含まれる各画素値を近似した近似関数をグラフ化した図である。
【図７１】空間混合領域を説明する図である。
【図７２】空間混合領域における、実世界の信号を近似した近似関数を説明する図である。
【図７３】センサの積分特性と空間方向の定常性の両方を考慮して、図６５の細線含有データ領域に対応する実世界の信号を近似した近似関数をグラフ化した図である。
【図７４】図５８で示される原理を有する関数近似手法のうちの、１次多項式近似手法を利用する実世界推定部の構成例を説明するブロック図である。
【図７５】図７４の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。
【図７６】タップ範囲を説明する図である。
【図７７】空間方向の定常性を有する実世界の信号を説明する図である。
【図７８】センサがＣＣＤとされる場合の積分効果を説明する図である。
【図７９】断面方向距離を説明する図である。
【図８０】図５８で示される原理を有する関数近似手法のうちの、２次多項式近似手法を利用する実世界推定部の構成例を説明するブロック図である。
【図８１】図８０の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。
【図８２】タップ範囲を説明する図である。
【図８３】時空間方向の定常性の方向を説明する図である。
【図８４】センサがＣＣＤとされる場合の積分効果を説明する図である。
【図８５】空間方向の定常性を有する実世界の信号を説明する図である。
【図８６】時空間方向の定常性を有する実世界の信号を説明する図である。
【図８７】図５８で示される原理を有する関数近似手法のうちの、３次元近似手法を利用する実世界推定部の構成例を説明するブロック図である。
【図８８】図８７の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。
【図８９】図３の画像生成部の実施の形態の1例である、再積分手法の原理を説明する図である。
【図９０】入力画素と、その入力画素に対応する、実世界の信号を近似する近似関数の例を説明する図である。
【図９１】図９０で示される近似関数から、図９０で示される１つの入力画素における、高解像度の４つの画素を創造する例を説明する図である。
【図９２】図８９で示される原理を有する再積分手法のうちの、１次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。
【図９３】図９２の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。
【図９４】入力画像の元の画像の例を表す図である。
【図９５】図９４の画像に対応する画像データの例を表す図である。
【図９６】入力画像の例を表す図である。
【図９７】図９６の画像に対応する画像データの例を表す図である。
【図９８】入力画像に対して従来のクラス分類適応処理を施して得られる画像の例を表す図である。
【図９９】図９８の画像に対応する画像データの例を表す図である。
【図１００】入力画像に対して１次元再積分手法の処理を施して得られる画像の例を表す図である。
【図１０１】図１００の画像に対応する画像データの例を表す図である。
【図１０２】空間方向の定常性を有する実世界の信号を説明する図である。
【図１０３】図８９で示される原理を有する再積分手法のうちの、２次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。
【図１０４】断面方向距離を説明する図である。
【図１０５】図１０３の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。
【図１０６】入力画素の１例を説明する図である。
【図１０７】２次元再積分手法により、図１０６で示される１つの入力画素における、高解像度の４つの画素を創造する例を説明する図である。
【図１０８】時空間方向の定常性の方向を説明する図である。
【図１０９】図８９で示される原理を有する再積分手法のうちの、３次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。
【図１１０】図１０９の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。
【図１１１】図１の信号処理装置４の他の一実施の形態の構成例を示すブロック図である。
【図１１２】図１１１の信号処理装置４の処理を説明するフローチャートである。
【図１１３】図１１１の信号処理装置４の応用例の一実施の形態の構成例を示すブロック図である。
【図１１４】図１１３の信号処理装置４の処理を説明するフローチャートである。
【図１１５】センサ２がＣＣＤとされる場合の積分効果を説明する図である。
【図１１６】動き量を説明する図である。
【図１１７】センサ２の積分効果により発生する動きボケを説明する図である。
【図１１８】センサ２の積分効果により発生する動きボケを説明する図である。
【図１１９】実世界推定部12003の実世界の推定処理を説明するフローチャートである。
【図１２０】方程式生成部12012の構成例を示すブロック図である。
【図１２１】図１１９のステップS12032の方程式生成処理を説明するフローチャートである。
【図１２２】拘束条件を説明する図である。
【図１２３】図１１１の信号処理装置４の応用例の他の一実施の形態の構成例を示すブロック図である。
【図１２４】図１２３の信号処理装置４の処理を説明するフローチャートである。
【図１２５】実世界推定部12073の実世界の推定処理を説明するフローチャートである。
【図１２６】方程式生成部12082の構成例を示すブロック図である。
【図１２７】図１２５のステップS12102の方程式生成処理を説明するフローチャートである。
【図１２８】図１２３の信号処理装置４の処理の概要を説明する図である。
【図１２９】図１２３の信号処理装置４の処理の概要を説明する図である。
【図１３０】拘束条件を説明する図である。
【図１３１】図１１１の信号処理装置４の応用例の他の一実施の形態の構成例を示すブロック図である。
【図１３２】図１３１の信号処理装置４の処理を説明するフローチャートである。
【図１３３】実世界推定部12163の実世界推定処理を説明するフローチャートである。
【図１３４】方程式生成部12172の構成例を示す図である。
【図１３５】図１３３のステップ12172の方程式生成処理を説明するフローチャートである。
【図１３６】図１３１の信号処理装置４の処理の概要を説明する図である。
【図１３７】図１１１の信号処理装置４の応用例の他の一実施の形態の構成例を示すブロック図である。
【図１３８】図１３７の信号処理装置４の処理を説明するフローチャートである。
【図１３９】実世界推定部12243の実世界推定処理を説明するフローチャートである。
【図１４０】方程式生成部12252の構成例を示す図である。
【図１４１】図１３９のステップ12232の方程式生成処理を説明するフローチャートである。
【図１４２】図１３７の信号処理装置４の処理の概要を説明する図である。
【図１４３】図１１１の信号処理装置４の応用例の他の一実施の形態の構成例を示すブロック図である。
【図１４４】図１４３の信号処理装置４の処理を説明するフローチャートである。
【図１４５】実世界推定部12293の実世界推定処理を説明するフローチャートである。
【図１４６】方程式生成部12302の構成例を示す図である。
【図１４７】図１４５のステップS12292の方程式生成処理を説明するフローチャートである。
【図１４８】図１４３の信号処理装置４の処理の概要を説明する図である。
【図１４９】図１４３の信号処理装置４の処理の概要を説明する図である。
【図１５０】図１２３、図１３１、図１３７、図１４３の信号処理装置４と等価な信号処理装置４の構成例を示すブロック図である。
【図１５１】図１５０の信号処理装置４の処理を説明するフローチャートである。
【図１５２】図１５０の信号処理装置４の処理を説明するフローチャートである。
【図１５３】図１５０の信号処理装置４の処理を説明するフローチャートである。
【図１５４】図１５０の信号処理装置４の処理を説明するフローチャートである。
【図１５５】入力画像を示す図である。
【図１５６】図１５５の入力画像に対する平坦領域の指示を説明する図である。
【図１５７】図１５５の入力画像の処理結果である出力画像を示す図である。
【図１５８】図１５５の入力画像の処理結果である出力画像を示す図である。
【図１５９】図１５８の出力画像に対する不満領域の指示を説明する図である。
【図１６０】図１５８の出力画像の再処理結果である出力画像を示す図である。
【図１６１】図１６０で選択された出力画像の再処理結果である出力画像を示す図である。
【図１６２】図１５５の入力画像を拡大した図である。
【図１６３】図１６２の入力画像の処理結果である出力画像を示す図である。
【図１６４】図１６２の入力画像の処理結果である出力画像を示す図である。
【図１６５】定常性設定部12002の構成例を示すブロック図である。
【図１６６】動き量を説明する図である。
【図１６７】背景オブジェクトの前を移動する前景オブジェクトをカメラで撮像したときに、カメラから出力される画像の画素値を示す図である。
【図１６８】図１６７で示される画像の画素の画素値の差分値を示す図である。
【図１６９】動き量の検出の処理を説明するフローチャートである。
【図１７０】相関の検出の処理を説明するフローチャートである。
【符号の説明】
４ 信号処理装置， ２１ ＣＰＵ， ２２ ＲＯＭ， ２３ ＲＡＭ， ２８ 記憶部， ５１ 磁気ディスク， ５２ 光ディスク， ５３ 光磁気ディスク， ５４ 半導体メモリ， １０１ データ定常性検出部， １０２ 実世界推定部， １０３ 画像生成部， 12001 処理領域設定部， 12002 定常性設定部， 12003 実世界推定部， 12004 画像生成部， 12005 画像表示部， 12006 ユーザＩ／Ｆ， 12011 モデル生成部， 12012 方程式生成部， 12013 実世界波形推定部， 12071 処理領域設定部， 12072 定常性設定部， 12073 実世界推定部， 12074 画像生成部， 12075 画像表示部， 12076 ユーザＩ／Ｆ， 12081 モデル生成部， 12082 方程式生成部， 12083 実世界波形推定部， 12161 処理領域設定部， 12162 定常性設定部， 12163 実世界推定部， 12164 画像生成部， 12165 画像表示部， 12166 ユーザＩ／Ｆ， 12171 モデル生成部， 12172 方程式生成部， 12241 処理領域設定部， 12242 定常性設定部， 12243 実世界推定部， 12244 画像生成部， 12245 画像表示部， 12246 ユーザＩ／Ｆ， 12251 モデル生成部， 12252 方程式生成部， 12253 実世界波形推定部， 12291 処理領域設定部， 12292 定常性設定部， 12293 実世界推定部， 12294 画像生成部， 12295 画像表示部， 12296 ユーザＩ／Ｆ， 12301 モデル生成部， 12302 方程式生成部， 12303 実世界波形推定部

Claims (7)

1. それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影されることにより取得された画像データ内の処理領域を設定する処理領域設定手段と、
   前記画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定手段と、
   前記処理領域内の各画素の画素値は、前記オブジェクトに対応する動きボケが生じていない各画素の画素値が前記動きベクトルに対応して移動しながら積分された値であるとして、前記処理領域内の各画素の画素値と、前記動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成手段と、
   前記モデル生成手段により生成されたモデルに対して、前記処理領域内の各画素の画素値を代入した第1の方程式と、前記動きボケが生じていない各画素間の関係を拘束する第２の方程式とにより正規方程式を生成する正規方程式生成手段と、
   ユーザ入力に応じて前記第１または第２の方程式の一部に対する重みを変更する重み変更手段と、
   前記重み変更手段により重みが変更された前記第１または第２の方程式から生成される前記正規方程式を演算することにより前記動きボケの生じていない各画素の画素値を推定する実世界推定手段と、
   前記ユーザ入力に応じた画素の特徴を検出する特徴検出手段と、
   前記特徴検出手段によって検出された特徴に類似する特徴を有する画素を抽出する画素抽出手段と
   を備え、
   前記重み変更手段は、前記画素抽出手段により抽出された画素に対応する前記第１または第２の方程式の重みが大きくなるように重みを変更し、
   前記実世界推定手段は、前記重みが変更された前記第１または第２の方程式から生成される前記正規方程式を演算することにより前記動きボケが生じていない各画素の画素値を推定する
   ことを特徴とする信号処理装置。
2. 前記処理領域内の各画素の画素値、または前記動きボケが生じていない各画素の画素値のうちの少なくとも一方を表示する表示手段をさらに備え、
   前記ユーザ入力は、前記表示手段に表示される画素に対するユーザ入力である
   ことを特徴とする請求項１に記載の信号処理装置。
3. 前記重み変更手段は、前記画素抽出手段により抽出された画素に対応する前記第１または第２の方程式の重みを複数設定し、
   前記実世界推定手段は、前記複数の重みが設定された前記第１または第２の方程式からそれぞれ生成される前記正規方程式を各々演算することにより複数の前記動きボケが生じていない各画素の画素値を推定し、
   前記表示手段は、前記実世界推定手段により推定された前記複数の動きボケが生じていない各画素の画素値を表示する
   ことを特徴とする請求項２に記載の信号処理装置。
4. 前記ユーザ入力に応じた画素の複数種類の特徴を検出する特徴検出手段と、
   前記特徴検出手段によって検出された複数種類の特徴それぞれについて、その特徴に類似する特徴を有する画素を抽出する画素抽出手段と
   をさらに備え、
   前記重み変更手段は、前記複数種類の特徴それぞれについて、その特徴に類似する特徴を有する画素に対応する前記第１または第２の方程式の重みを変更し、
   前記実世界推定手段は、前記複数種類の特徴それぞれについて重みが変更された前記第１または第２の方程式から生成される前記正規方程式を各々演算することにより複数種類の動きボケが生じていない各画素の画素値を推定し、
   前記表示手段は、前記実世界推定手段により推定された前記複数種類の動きボケが生じていない各画素の画素値を表示する
   ことを特徴とする請求項２に記載の信号処理装置。
5. それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影されることにより取得された画像データ内の処理領域を設定する処理領域設定ステップと、
   前記画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定ステップと、
   前記処理領域内の各画素の画素値は、前記オブジェクトに対応する動きボケが生じていない各画素の画素値が前記動きベクトルに対応して移動しながら積分された値であるとして、前記処理領域内の各画素の画素値と、前記動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成ステップと、
   前記モデル生成ステップの処理により生成されたモデルに対して、前記処理領域内の各画素の画素値を代入した第1の方程式と、前記動きボケが生じていない各画素間の関係を拘束する第２の方程式とにより正規方程式を生成する正規方程式生成ステップと、
   ユーザ入力に応じて前記第１または第２の方程式の一部に対する重みを変更する重み変更ステップと、
   前記重み変更ステップの処理により重みが変更された前記第１または第２の方程式から生成される前記正規方程式を演算することにより前記動きボケの生じていない各画素の画素値を推定する実世界推定ステップと、
   前記ユーザ入力に応じた画素の特徴を検出する特徴検出ステップと、
   前記特徴検出ステップの処理によって検出された特徴に類似する特徴を有する画素を抽出する画素抽出ステップと
   を含み、
   前記重み変更ステップの処理は、前記画素抽出ステップの処理により抽出された画素に対応する前記第１または第２の方程式の重みが大きくなるように重みを変更し、
   前記実世界推定ステップの処理は、前記重みが変更された前記第１または第２の方程式から生成される前記正規方程式を演算することにより前記動きボケが生じていない各画素の画素値を推定する
   ことを特徴とする信号処理方法。
6. コンピュータに所定の信号処理を行わせるプログラムにおいて、
   それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影されることにより取得された画像データ内の処理領域を設定する処理領域設定ステップと、
   前記画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定ステップと、
   前記処理領域内の各画素の画素値は、前記オブジェクトに対応する動きボケが生じていない各画素の画素値が前記動きベクトルに対応して移動しながら積分された値であるとして、前記処理領域内の各画素の画素値と、前記動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成ステップと、
   前記モデル生成ステップの処理により生成されたモデルに対して、前記処理領域内の各画素の画素値を代入した第1の方程式と、前記動きボケが生じていない各画素間の関係を拘束する第２の方程式とにより正規方程式を生成する正規方程式生成ステップと、
   ユーザ入力に応じて前記第１または第２の方程式の一部に対する重みを変更する重み変更ステップと、
   前記重み変更ステップの処理により重みが変更された前記第１または第２の方程式から生成される前記正規方程式を演算することにより前記動きボケの生じていない各画素の画素値を推定する実世界推定ステップと、
   前記ユーザ入力に応じた画素の特徴を検出する特徴検出ステップと、
   前記特徴検出ステップの処理によって検出された特徴に類似する特徴を有する画素を抽出する画素抽出ステップと
   を含み、
   前記重み変更ステップの処理は、前記画素抽出ステップの処理により抽出された画素に対応する前記第１または第２の方程式の重みが大きくなるように重みを変更し、
   前記実世界推定ステップの処理は、前記重みが変更された前記第１または第２の方程式から生成される前記正規方程式を演算することにより前記動きボケが生じていない各画素の画素値を推定する
   ことを特徴とするプログラム。
7. コンピュータに所定の信号処理を行わせるプログラムが記録されている記録媒体において、
   それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影されることにより取得された画像データ内の処理領域を設定する処理領域設定ステップと、
   前記画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定ステップと、
   前記処理領域内の各画素の画素値は、前記オブジェクトに対応する動きボケが生じていない各画素の画素値が前記動きベクトルに対応して移動しながら積分された値であるとして、前記処理領域内の各画素の画素値と、前記動きボケが生じていない各画素の画素値との関係をモデル化するモデル生成ステップと、
   前記モデル生成ステップの処理により生成されたモデルに対して、前記処理領域内の各画素の画素値を代入した第1の方程式と、前記動きボケが生じていない各画素間の関係を拘束する第２の方程式とにより正規方程式を生成する正規方程式生成ステップと、
   ユーザ入力に応じて前記第１または第２の方程式の一部に対する重みを変更する重み変更ステップと、
   前記重み変更ステップの処理により重みが変更された前記第１または第２の方程式から生成される前記正規方程式を演算することにより前記動きボケの生じていない各画素の画素値を推定する実世界推定ステップと、
   前記ユーザ入力に応じた画素の特徴を検出する特徴検出ステップと、
   前記特徴検出ステップの処理によって検出された特徴に類似する特徴を有する画素を抽出する画素抽出ステップと
   を含み、
   前記重み変更ステップの処理は、前記画素抽出ステップの処理により抽出された画素に対応する前記第１または第２の方程式の重みが大きくなるように重みを変更し、
   前記実世界推定ステップの処理は、前記重みが変更された前記第１または第２の方程式から生成される前記正規方程式を演算することにより前記動きボケが生じていない各画素の画素値を推定する
   プログラムが記録されている
   ことを特徴とする記録媒体。

Images