JP6308496B2 - 画像復元装置、方法、及びプログラム - Google Patents

Description

本発明は、画像復元装置、方法、及びプログラムに関する。

従来、画像工学の分野において、劣化した画像から原画像を復元する技術の研究開発が多くなされている。すなわち、原画像情報（所望の情報）に劣化情報（ぼけ、雑音、裏写り等）が混在した劣化画像情報（取得された情報）から劣化画像情報を取り除き、原画像を復元する技術が提案されている。その中で、スキャナなどを用いて両面印刷された文書を読み取ってディジタル画像へ変換する際に、表面に裏面の情報が写りこむことで裏写りが生じてしまう現象が存在する。この裏写り問題は近年の情報のデータベース化が進むとともに注目されている問題であり、この問題を解決するための技術が提案されている。

例えば、両面に画像がプリントされた文書をスキャンした際の裏写り（劣化情報）を除去するために、ガンマ補正を用い画像全体の濃度調整を行い、裏写りの除去を行う補正手法が提案されている（例えば、非特許文献１参照）。

また、文書をスキャンした際の裏写り（劣化情報）を除去するために、両面文書の表面および裏面をそれぞれ読取って電子化した画像情報を取得する画像読取り装置と、画像読取り装置によって取得された画像情報を一時的に記憶する画像記憶手段と、画像記憶手段に記憶された画像情報に対して画像処理を行い、画像処理後の画像情報を出力する画像処理手段と、を具備する画像処理装置であって、あらかじめパラメータとして設定される読み取り対象となる文書の画像情報と、画像読取り装置で読み取った文書の裏面の明度情報と、にしたがって読取った文書の表面に現れる裏面による裏写り情報を除去する裏写り情報除去手段を備えることを特徴とする画像処理装置が提案されている。

杉山賢二、「実践 映像信号処理」、２００８、コロナ社

特開２００９−２２４８７３号公報

しかしながら、非特許文献１に記載の技術では、両面の画像情報のうち、表面画像情報の薄い色に対しても補正処理が行われるため、カラー画像などに対しては鮮明な裏写り除去が困難である。加えて、補正量を左右するパラメータを一意に決定することが困難である問題も存在する。

また、特許文献１に記載の技術では、エッジ抽出による輝度値の変化量をパラメータとして用いることから、エッジの抽出が難しい広範囲に渡る裏写り情報に対しては処理が困難である。また、２値化処理の際で用いる閾値の最適な決定は困難である、という問題がある。

本発明は、上記事情に鑑みてなされたものであり、画像情報に含まれるぼけ、雑音および裏写り画像情報からなる劣化画像情報を除去することができる画像復元装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る画像復元装置は、原画像情報にぼけおよび雑音が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、文書を読み取ことにより得られた表面画像情報を、前記観測画像情報として取得する画像取得手段と、前記観測画像情報の各画素の画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき、前記各画素にぼけおよび雑音が混在しているか否かを判定する判定手段と、前記観測画像情報の時刻ｎでの処理領域ｎにおける状態量を時刻（ｎ−１）での処理領域（ｎ−１）の状態量、前記処理領域（ｎ−１）から前記処理領域ｎへの状態遷移、及び前記処理領域（ｎ−１）の状態量に含まれない時刻ｎにおける処理領域ｎの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、時刻ｎにおける処理領域ｎの状態量に基づき、前記判定手段によりぼけおよび雑音が混在していると判定された前記処理領域ｎの各画素の画素値について、前記原画像情報にぼけおよび雑音が加わって観測画像情報となる過程を観測量として算出する観測量算出手段と、時刻ｎにおける処理領域ｎを前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、時刻ｎにおける処理領域ｎの状態量の最適値を原画像情報として推定する推定手段と、を含んで構成されている。

第２の発明に係る画像処理方法は、原画像情報にぼけおよび雑音が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、かつ、画像取得手段、判定手段、状態量算出手段、観測量算出手段、及び推定手段を含む画像復元装置における画像復元方法であって、前記画像取得手段が、文書を読み取ことにより得られた表面画像情報を、前記観測画像情報として取得するステップと、前記判定手段が、前記観測画像情報の各画素の画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき、前記各画素にぼけおよび雑音が混在しているか否かを判定するステップと、前記状態量算出手段が、前記観測画像情報の時刻ｎでの処理領域ｎにおける状態量を時刻（ｎ−１）での処理領域（ｎ−１）の状態量、前記処理領域（ｎ−１）から前記処理領域ｎへの状態遷移、及び前記処理領域（ｎ−１）の状態量に含まれない時刻ｎにおける処理領域ｎの状態量の要素を含む前記駆動源を用いて算出するステップと、前記観測量算出手段が、時刻ｎにおける処理領域ｎの状態量に基づき、前記判定手段によりぼけおよび雑音が混在していると判定された前記処理領域ｎの各画素の画素値について、前記原画像情報にぼけおよび雑音が加わって観測画像情報となる過程を観測量として算出するステップと、前記推定手段が、時刻ｎにおける処理領域ｎを前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、時刻ｎにおける処理領域ｎの状態量の最適値を原画像情報として推定するステップと、を含んで構成されている。

第１の発明に係る画像復元装置、第２の発明に係る画像処理方法、及びプログラムによれば、画像に含まれるぼけおよび雑音を除去することができる。

上記目的を達成するために、第３の発明に係る画像復元装置は、両面に画像を有する文書の一方の面の原画像情報に不必要な情報である他方の面の裏写り画像情報を含むぼけおよび雑音が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、前記文書の一方の面を読み取ることにより得られた表面画像情報を前記観測画像情報として取得する画像取得手段と、前記観測画像情報の各画素の画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき、前記観測画像情報の各画素に裏写り画像情報を含むぼけおよび雑音からなる劣化画像情報が混在しているか否かを判定する裏写り判定手段と、前記観測画像情報における時刻ｎでの処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、前記処理領域（ｎ−１）から前記処理領域ｎへの状態遷移、及び前記処理領域（ｎ−１）の状態量に含まれない前記処理領域ｎの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、前記処理領域ｎを前記裏写り判定手段によって算出された分散値及び前記処理領域ｎの状態量に基づいて、前記裏写り判定手段により前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素について、前記算出された分散値の標準偏差を前記雑音として用いて、前記原画像情報に前記雑音が加わって観測画像情報となる過程を観測量として算出する観測量算出手段と、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を前記処理領域ｎの原画像情報として推定する推定手段と、を含んで構成されている。

第４の発明に係る画像処理方法は、両面に画像を有する文書の一方の面の原画像情報に不必要な情報である他方の面の裏写り画像情報を含むぼけおよび雑音が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、かつ、画像取得手段、裏写り判定手段、状態量算出手段、観測量算出手段、及び推定手段を含む画像復元装置における画像復元方法であって、前記画像取得手段が、前記文書の一方の面を読み取ることにより得られた表面画像情報を前記観測画像情報として取得するステップと、前記裏写り判定手段が、前記観測画像情報の各画素の画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき、前記観測画像情報の各画素に裏写り画像情報を含むぼけおよび雑音を含む劣化画像情報が混在しているか否かを判定するステップと、前記状態量算出手段が、前記観測画像情報における時刻ｎでの処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、前記処理領域（ｎ−１）から前記処理領域ｎへの状態遷移、及び前記処理領域（ｎ−１）の状態量に含まれない前記処理領域ｎの状態量の要素を含む前記駆動源を用いて算出するステップと、前記観測量算出手段が、前記処理領域ｎを前記裏写り判定手段によって算出された分散値及び前記処理領域ｎの状態量に基づいて、前記裏写り判定手段により前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素を、前記算出された分散値の標準偏差を前記雑音として用いて、前記原画像情報に前記雑音が加わって観測画像情報となる過程を観測量として算出するステップと、前記推定手段が、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を前記処理領域ｎの原画像情報として推定するステップと、を含んで構成されている。

第３の発明に係る画像復元装置、第４の発明に係る画像処理方法、及びプログラムによれば、観測画像情報の各画素の画素値に基づいて分散値を算出し、当該分散値から算出された閾値に基づき、観測画像情報の各画素に裏写り画像情報を含むぼけおよび雑音を含む劣化画像情報が混在しているか否かを判定し、観測画像情報における時刻ｎでの処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む駆動源を用いて算出し、算出された分散値及び処理領域ｎの状態量に基づいて、劣化画像情報が混在していると判定された処理領域ｎの各画素を、算出された分散値の標準偏差を雑音として用いて、原画像情報に雑音が加わって観測画像情報となる過程を観測量として算出し、算出された状態量、及び算出された観測量に基づいて、状態空間モデルに基づく予測法により、処理領域ｎの状態量の最適値を処理領域ｎの原画像情報として推定することにより、表面画像のみから裏写りを除去することができる。

第５の発明に係る画像復元装置は、原画像情報に文書の地色を含むぼけおよび雑音を含む劣化画像情報が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用いて、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、文書を読み取り取得した表面画像情報を前記観測画像情報として取得する画像取得手段と、前記観測画像情報の各画素の画素値に基づき分散値を算出し、前記分散値から算出された閾値に基づいて前記観測画像情報の各画素に前記劣化画像情報が混在しているか否かを判定する地色判定手段と、前記観測画像情報の時刻ｎにおける処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、時刻ｎにおける処理領域ｎの情報及び状態量に基づき、前記地色判定手段により前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素の画素値を前記劣化画像情報として用い、前記原画像情報に前記劣化画像情報が加わって観測画像情報となる過程を観測量として算出する観測量算出手段と、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を原画像情報として推定する推定手段と、を含んで構成されている。

第６の発明に係る画像処理方法は、原画像情報に文書の地色を含むぼけおよび雑音を含む劣化画像情報が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用いて、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、かつ、画像取得手段、地色判定手段、状態量算出手段、観測量算出手段、及び推定手段を含む画像復元装置における画像復元方法であって、前記画像取得手段が、文書を読み取り取得した表面画像情報を前記観測画像情報として取得するステップと、前記地色判定手段が、前記観測画像情報の各画素の画素値に基づき分散値を算出し、前記分散値から算出された閾値に基づいて前記観測画像情報の各画素に前記劣化画像情報が混在しているか否かを判定するステップと、前記状態量算出手段が、前記観測画像情報の時刻ｎにおける処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む前記駆動源を用いて算出するステップと、前記観測量算出手段が、時刻ｎにおける処理領域ｎの情報及び状態量に基づき、前記地色判定手段により前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素の画素値を前記劣化画像情報として用い、前記原画像情報に前記劣化画像情報が加わって観測画像情報となる過程を観測量として算出するステップと、前記推定手段が、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を原画像情報として推定するステップと、を含んで構成されている。

第５の発明に係る画像復元装置、第６の発明に係る画像処理方法、及びプログラムによれば、観測画像情報の各画素の画素値に基づき分散値を算出し、当該分散値から算出された閾値に基づいて観測画像情報の各画素に劣化画像情報が混在しているか否かを判定し、観測画像情報の時刻ｎにおける処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む駆動源を用いて算出し、時刻ｎにおける処理領域ｎの情報及び状態量に基づき、劣化画像情報が混在していると判定された処理領域ｎの各画素の画素値を劣化画像情報として用い、原画像情報に劣化画像情報が加わって観測画像情報となる過程を観測量として算出し、算出された状態量、及び算出された観測量に基づいて、状態空間モデルに基づく予測法により、処理領域ｎの状態量の最適値を原画像情報として推定することにより、地色を除去することができる。

第７の発明に係る画像復元装置は、両面に画像を有する文書の一方の面の読取り原画像情報に劣化画像情報である他方の面の裏写り情報を含む、ぼけおよび雑音が混在した観測画像情報に対し、原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、前記文書の両面を各々読み取り表面画像情報及び裏面画像情報を取得し、前記表面画像情報を前記観測画像情報とする画像取得手段と、前記観測画像情報の時刻ｎでの処理領域ｎにおける状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない前記処理領域ｎの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、前記観測画像情報の時刻ｎにおける処理領域ｎの状態量、及び前記裏面画像情報に基づいて、前記裏面画像情報を水平方向に反転させた画像情報における時刻ｎにおける処理領域ｎに対応する領域の情報に基づき算出された値を前記劣化画像情報として用い、前記原画像情報に前記劣化画像情報が加わって観測画像情報となる過程を観測量として算出する観測量算出手段と、前記表面画像情報の時刻ｎにおける処理領域ｎを前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を前記処理領域ｎの原画像情報として推定する推定手段と、を含んで構成されている。

第８の発明に係る画像処理方法は、両面に画像を有する文書の一方の面の読取り原画像情報に劣化画像情報である他方の面の裏写り情報を含む、ぼけおよび雑音が混在した観測画像情報に対し、原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、かつ、画像取得手段、状態量算出手段、観測量算出手段、及び推定手段を含む画像復元装置における画像復元方法であって、前記画像取得手段が、前記文書の両面を各々読み取り表面画像情報及び裏面画像情報を取得し、前記表面画像情報を前記観測画像情報とするステップと、前記状態量算出手段が、前記観測画像情報の時刻ｎでの処理領域ｎにおける状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない前記処理領域ｎの状態量の要素を含む前記駆動源を用いて算出するステップと、前記観測量算出手段が、前記観測画像情報の時刻ｎにおける処理領域ｎの状態量、及び前記裏面画像情報に基づいて、前記裏面画像情報を水平方向に反転させた画像情報における時刻ｎにおける処理領域ｎに対応する領域の情報に基づき算出された値を前記劣化画像情報として用い、前記原画像情報に前記劣化画像情報が加わって観測画像情報となる過程を観測量として算出するステップと、前記推定手段が、前記表面画像情報の時刻ｎにおける処理領域ｎを前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を前記処理領域ｎの原画像情報として推定するステップと、を含んで構成されている。

第７の発明に係る画像復元装置、第８の発明に係る画像処理方法、及びプログラムによれば、文書の両面を各々読み取り表面画像情報及び裏面画像情報を取得し、表面画像情報を観測画像情報とし、観測画像情報の時刻ｎでの処理領域ｎにおける状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む駆動源を用いて算出し、観測画像情報の時刻ｎにおける処理領域ｎの状態量、及び裏面画像情報に基づいて、裏面画像情報を水平方向に反転させた画像情報における時刻ｎにおける処理領域ｎに対応する領域の情報に基づき算出された値を劣化画像情報として用い、原画像情報に劣化画像情報が加わって観測画像情報となる過程を観測量として算出し、表面画像情報の時刻ｎにおける処理領域ｎを、算出された状態量、及び算出された観測量に基づいて、状態空間モデルに基づく予測法により、処理領域ｎの状態量の最適値を処理領域ｎの原画像情報として推定することにより、精度よく裏写りを除去することができる。

上記第７の発明に係る画像復元装置、及び第８の発明に係る画像処理方法は、前記画像取得手段により取得された前記表面画像情報と前記裏面画像情報との間の位置合わせを行い、前記観測画像情報内の時刻ｎにおける処理領域ｎの領域を、前記裏面画像情報に対して設定する位置変化量設定手段を更に含むようにすることができる。

上記第３の発明に係る画像復元装置、及び第４の発明に係る画像処理方法における前記裏写り判定手段は、前記観測画像情報の部分領域の各画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき前記部分領域の各画素に前記劣化画像情報が混在しているか否かを判定し、前記観測量算出手段は、前記観測画像情報の時刻ｎにおける処理領域ｎが前記裏写り判定手段により、前記処理領域ｎを含む部分領域について算出された前記分散値及び処理領域ｎの状態量に基づき、前記裏写り判定手段によって前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素が前記部分領域について算出された前記分散値の標準偏差を前記雑音として用い、前記原画像情報に前記雑音が加わって観測画像情報となる過程を観測量として算出するようにすることができる。

上記第５の発明に係る画像復元装置、及び第６の発明に係る画像処理方法における前記地色判定手段は、前記観測画像情報の各部分領域の各画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき前記部分領域の各画素に前記地色が混在しているか否かを判定し、前記観測量算出手段は、前記観測画像の処理領域ｎに前記地色判定手段によって処理領域ｎを含む部分領域について算出された前記分散値及び前記処理領域ｎの状態量に基づいて、前記地色判定手段によって前記地色が混在していると判定された処理領域ｎの各画素について、部分領域について算出された前記分散値の標準偏差を前記雑音として用いて、前記原画像情報に前記雑音が加わって観測画像情報となる過程を観測量として算出するようにすることができる。

上記各発明は、各手段の処理を、前記観測画像情報に対して設定した部分領域Ｌ毎に行うようにすることができる。

また、前記処理領域ｎは、前記処理領域（ｎ−１）と一部重複するように設定されるようにすることができる。

本発明に係るプログラムは、コンピュータを、上記画像復元装置の各手段として機能させるためのプログラムである。

以上説明したように、本発明の画像復元装置、方法、及びプログラムによれば、画像に含まれる不必要な情報を除去することができる、という効果が得られる。

第１、第２及び第３の実施の形態に係る画像復元装置の概略構成を示すブロック図である。 画像に対して設定される部分領域と処理領域とを説明するための図である。 第１の実施の形態における画像復元処理部の概略構成を示すブロック図である。 画像の劣化過程を説明するための図である。 画像の劣化原理を説明するための図である。 第１の実施の形態における画像復元処理の前半部分の内容を示すフローチャートである。 第１の実施の形態における画像復元処理の後半部分の内容を示すフローチャートである。 同一の状態量を持つ領域を説明するための図である。 本実施の形態における状態量算出処理の内容を示すフローチャートである。 第１の実施の形態における状態ｎ−１の状態ベクトルと状態ｎの状態ベクトルとの構成を説明するための図である。 第１の実施の形態における状態方程式の構成を示すイメージ図である。 第１の実施の形態における観測方程式の構成を示すイメージ図である。 本実施の形態における状態空間に基づく予測処理の内容を示すフローチャートである。 発明手法１のシミュレーションに用いた画像を示す図である。 発明手法１のシミュレーション結果（視覚評価）の一例を示す図である。 図１５の一部拡大図である。 第２の実施の形態における画像復元処理部の概略構成を示すブロック図である。 第２の実施の形態における画像復元処理の前半部分の内容を示すフローチャートである。 発明手法２のシミュレーションに用いた画像を示す図である。 発明手法２のシミュレーション結果（視覚評価）の一例を示す図である。 図２０の一部拡大図である。 発明手法２のシミュレーション結果（視覚評価）の他の例を示す図である。 図２２の一部拡大図である。 第３の実施の形態における主記憶部の概略構成を示すブロック図である。 第３の実施の形態における画像復元処理部の概略構成を示すブロック図である。 第３の実施の形態における画像復元処理の前半部分の内容を示すフローチャートである。 第３の実施の形態における状態方程式の構成を示すイメージ図である。 第３の実施の形態における、表面画像における状態ｎの状態ベクトルと、裏面画像における状態ｎの状態ベクトルとの構成を説明するための図である。 第３の実施の形態における観測方程式の構成を示すイメージ図である。 発明手法３のシミュレーションに用いた画像の一例を示す図である。 発明手法３のシミュレーション結果（視覚評価）の一例を示す図である。 図３１の一部拡大図である。 発明手法３のシミュレーション結果（視覚評価）の他の例を示す図である。 図３３の一部拡大図である。 発明手法３のシミュレーション結果（主観評価）を示す図である。 発明手法３のシミュレーションに用いた画像の他の例を示す図である。 発明手法３のシミュレーション結果（視覚評価）を示す図である。 図３７の一部拡大図である。 発明手法３のシミュレーション結果（視覚評価）を示す図である。 図３９の一部拡大図である。 図３９の一部拡大図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜第１の実施の形態＞
まず、第１の実施の形態について説明する。第１の実施の形態に係る画像復元装置は、両面に画像を有する文書の一方の面の原画像情報に劣化画像情報である他方の面の裏写り画像情報を含むぼけと雑音が混在した観測画像情報のシステムにおける状態空間モデルであって、かつ、原画像情報を駆動源として含む状態空間モデルに基づく予測法を用いて、観測画像情報から、原画像情報を推定する。

第１の実施の形態では、両面に画像を有する文書を対象とし、文書の一方の面の原画像情報に劣化画像情報である他方の面の裏写り画像情報を含むぼけと雑音が混在した観測画像情報（表面画像情報）から、原画像情報を推定する画像復元装置に本発明を適用した場合について説明する。

図１に示すように、第１の実施の形態に係る画像復元装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤを含むコンピュータで構成されており、入力インタフェース部２０、操作部３０、記憶部４０、画像復元処理部６０、及び出力インタフェース部７０を備えている。入力インタフェース部２０は、画像取得手段の一例である。

入力インタフェース部２０は、文書の一方の面を読み取ることにより得られた表面画像情報を、観測画像情報として取得する。すなわち、入力インタフェース部２０は、画像入力装置から提供される画像情報をコンピュータで処理可能なデータ形式に変換するなどの入力処理を行う。入力インタフェース部２０は、画像取得手段の一例である。また、文書を読み取る方法の一例として、図２に図示しているとおり、読取り文書の横幅Ｎ×長さ方向Ｍの部分領域Ｌを読取り単位として文書を読み取り、部分領域毎に得られた画像情報（Ｌ＋（Ｌ＋１）＋・・・＋（Ｌ＋ｎ））を結合して、読取り文書全体の表面画像情報が得られる。

画像入力装置は、処理の対象となる画像情報（観測画像情報）をデジタルデータとしてコンピュータに入力するための入力装置であり、動画像を構成する時系列に連続した各フレームの各画像情報を画像復元装置１０に入力する。画像入力装置としては、例えば、カメラ、記録メディア、モデムなどを用いることができる。カメラは、撮像機能を有する全ての装置を意味し、例えば、デジタルビデオカメラの他に、カメラ機能を搭載した携帯電話や、防犯カメラ（監視カメラ）、画像診断を行うための医療機器（内視鏡、レントゲン、エコー、ＣＴ、ＭＲＩなど）などを含むことができる。記録メディアは、画像情報を記録可能な記録媒体を広く意味し、例えば、磁気ディスク（ＨＤＤやＦＤなど）や、光ディスク（ＣＤやＤＶＤ、ＢＤなど）、光磁気ディスク（ＭＯ）、フラッシュメモリ（メモリカードやＵＳＢメモリなど）などである。モデムは、外部の通信ネットワーク（例えば、電話回線やＬＡＮ、インターネットなど）と接続するための装置である。なお、画像入力装置の種類は、画像復元装置１０の用途に応じて適用可能なものを選択すればよい。本実施の形態では、画像入力装置としてスキャナを想定する。

図示は省略するが、入力インタフェース部２０は、画像入力装置の種類に応じて別個独立に設けられる。例えば、記録メディアの入力インタフェース部２０は、ドライブとも呼ばれ、記録メディアの種類に応じて様々な種類のドライブが使用可能である。なお、ドライブは、記録メディアを読み書きする装置であり、記録メディアに関する限り、通常は、入力インタフェース部２０と出力インタフェース部７０とは一体化されている。また、通常、モデムは、画像入力装置としても画像出力装置としても機能しうるため、モデムに関しても、通常、入力インタフェース部２０と出力インタフェース部７０とは一体化されている。入力インタフェース部２０は、コンピュータ本体の内部に格納された内蔵カード（ボード）であってもよいし、内部インタフェース部（図示省略）を介して接続された外部設置型機器であってもよい。

なお、画像入力装置が画像情報をアナログデータとして出力する場合、対応する入力インタフェース部２０は、サンプリング部及びＡ／Ｄ変換部（共に図示せず）を有する。サンプリング部は、所定のサンプリング周波数で、入力されたアナログ信号をサンプリング処理し、Ａ／Ｄ変換部に出力する。サンプリング周波数は、復元処理となる画像の種類に応じて変更可能である。Ａ／Ｄ変換部は、サンプリングされた信号の振幅値を所定の分解能でＡ／Ｄ変換処理する。

操作部３０は、例えば、キーボートやマウス、タッチパネル等であるが、音声認識装置などを用いてもよい。使用者は、操作部３０を用い、本装置を操作することができる。また、操作部３０は、パラメータ設定部３１、領域指定部３２、及び画像情報設定部３３を有する。パラメータ設定部３１は、使用者の入力操作により、本実施の形態における画像処理に必要な各種パラメータの値を設定する。領域指定部３２は、使用者の入力操作により、入力された画像情報に対して画像処理の対象となる処理領域（画像の特定の範囲）を指定する。画像情報設定部３３は、入力された画像を白黒画像、又はＲＧＢ画像の何れかとするかを設定する。

記憶部４０は、コンピュータの本体を構成する一要素であって、主記憶部４１、補助記憶部４７、及び表示メモリ４８を有する。主記憶部４１は、入力インタフェース部２０を介して取り込んだ画像データが記憶される取込画像メモリ４２と、後述する劣化画像情報判定部６２によって算出される分散値が記憶される分散値メモリ４３と、後述する劣化画像情報判定部６２によって算出される基準値が記憶される基準値メモリ４４と、後述する推定部６５によって推定された処理結果が記憶される被写体領域メモリ４５と、後述する画像処理を実行するための画像処理プログラムや各種パラメータが記憶された処理パラメータメモリ４６と、を有する。

表示メモリ４８は、ディスプレイ等で構成された画像出力装置（図示省略）に表示するための画像情報が記憶される領域であり、取り込んだ画像情報（観測画像情報）を表示するために処理前の画像情報（取り込んだ画像情報）が記憶される取込画像メモリ４９と、画像処理において一時的に必要な記憶領域である処理メモリ５０と、処理された画像情報を表示するために処理後の画像情報が記憶される復元画像メモリ５１とを有する。

補助記憶部４７は、主記憶部４１の容量不足を補う。補助記憶部４７は、例えば、ハードディスク（ＨＤ）であってもよいし、ＣＤ−ＲＯＭ、ＤＶＤ、ＳＳＤ（Solid State Drive）、フラッシュメモリなどの可搬性のあるものであってもよいし、また、それらの組み合わせであってもよい。

また、本実施の形態では、処理パラメータメモリ４６に予め画像処理プログラムが記憶されている場合について説明するが、画像処理プログラムは、記録メディアから入力インタフェース部２０を介して記憶部４０にインストールしたり、モデム及び入力インタフェース部２０を介して外部から記憶部４０にダウンロードしたりしてもよい。

画像復元処理部６０は、後述する画像処理を実行するための処理部であり、機能的には、図３に示すように、領域設定部６１と、劣化画像情報判定部６２と、状態量算出部６３と、観測量算出部６４と、推定部６５と、復元画像出力部６６とを含んだ構成で表すことができる。

領域設定部６１は、取込画像メモリ４２に記憶された画像情報である観測画像情報について、時刻ｎにおける注目画素領域を囲む周辺画素領域ｐ×ｑの大きさの処理領域ｎを設定する。注目画素領域は、１画素としてもよいし、複数画素領域と２次元的に大きくしてもよい。注目画素領域を複数画素領域とすることで、処理効率のよい復元が可能となる。領域設定部６１は、注目画素領域の大きさ及び周辺画素領域の大きさを設定する。また、取込画像メモリ４９内で時刻ｎにおける処理領域を時刻変化に伴い注目画素領域を含むように時刻（ｎ＋ｉ）と一部重複移動させるよう設定する。

劣化画像情報判定部６２は、取込画像メモリ４２に記憶された画像情報である観測画像情報の部分領域Ｌの各画素の画素値に基づいて分散値を算出し、分散値から算出された当該部分領域Ｌの基準値（閾値）に基づいて、当該部分領域Ｌの各画素に前記裏写り画像情報が混在しているか否かを判定する。

状態量算出部６３は、部分領域Ｌの時刻ｎでの処理領域ｎにおける状態量を、時刻（ｎ−１）の処理領域（ｎ−１）状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む有色性駆動源を用いて算出する。

観測量算出部６４は、部分領域Ｌの時刻ｎにおける処理領域ｎについて、劣化画像情報判定部６２によって処理領域を含む部分領域Ｌについて算出された分散値及び時刻ｎにおける当該処理領域ｎの状態量に基づいて、劣化画像情報判定部６２によって劣化画像情報が混在していると判定された処理領域ｎの画素について、当該分散値の標準偏差を雑音として用いて、原画像情報に雑音が加わって観測画像情報となる過程を観測量として算出する。

推定部６５は、部分領域Ｌの時刻ｎにおける処理領域ｎについて、状態量算出部６３により算出された状態量、及び観測量算出部６４により算出された観測量から状態空間モデルに基づいた予測法を用い、処理領域ｎの状態量の最適値を処理領域ｎの原画像情報として推定し復元する。

復元画像出力部６６は、推定部６５により得られた結果から、時刻ｎにおける処理領域ｎの注目画素領域を復元する。

なお、画像復元処理部６０の各部の処理については、後述する画像復元処理ルーチンにおいて詳述する。

出力インタフェース部７０は、画像復元処理部６０で復元処理され、復元画像メモリ５１に記憶された画像情報（復元画像情報）を、ディスプレイなどで構成された画像出力装置に出力可能なデータ形式に変換して出力処理を行う。

なお、処理画像の出力形態は画像出力装置に表示する場合に限定されず、他の画像出力装置に出力するようにしてもよい。例えば、画像出力装置として、プリンタ、記録メディア、モデムなどを用いることができる。記録メディア及びモデムは、画像入力装置としての記録メディア及びモデムとそれぞれ共用してもよい。なお、画像出力装置の種類は、画像復元装置１０の用途に応じて適用可能なものを選択すればよい。

また、図示は省略するが、出力インタフェース部７０は、画像出力装置の種類に応じて別個独立に設けられる。上記のように、記録メディア及びモデムに関しては、通常、入力インタフェース部２０と出力インタフェース部７０とは一体化されている。出力インタフェース部７０も、入力インタフェース部２０と同様に、コンピュータ本体の内部に格納された内蔵カード（ボード）であってもよいし、内部インタフェース部を介して接続された外部設置型機器であってもよい。

次に、第１の実施の形態における画像復元の理論となる観測画像モデル及び状態空間モデルについて説明する。

観測画像情報は、一般的に、原画像情報とぼけの点拡がり関数（ＰＳＦ：Point Spread Function、以下単に「ぼけ関数」ともいう）の畳み込み（コンボリューション）に雑音を加えたモデルによって得られる。

図４に、画像の劣化の過程を説明するための図を示す。例えば、両面に画像がプリントされた文書をスキャンした場合、表面画像の原画像情報に裏面画像の画像情報が裏写りして、図４の右端に示す劣化画像情報となる。裏写りは、図５に示すように、原画像（表面画像）をスキャンした画像情報に、裏面画像が透過し、かつぼけおよび雑音が生じた状態の画像情報が重畳された画像である。なお、裏面画像が透過する透過率は、印刷媒体の厚さ、画像の濃度、スキャン時の照明強度等に依存する。従って、第１の実施の形態は、劣化画像情報を取り除くことである。

第１の実施の形態では、原画像情報（原画像情報）のみを用いて状態量を算出し、かつ、観測画像情報、原画像情報、ぼけ、雑音および裏写り画像情報からなる劣化画像情報を用いて観測量を算出した状態空間モデルであって、かつ、有色性駆動源を含む状態空間モデルに基づく予測法を用い状態量の最適推定値を求めることにより、観測画像情報から復元画像情報を生成する。

上記の状態空間モデルは、下記（１）式の状態方程式と、下記（２）式の観測方程式とで表される。ただし、状態方程式において、時刻ｎにおける状態ベクトルｘ^ｆ _ｐ１（ｎ）は表面画像を原画像情報とする状態量からなるベクトル、行列状態遷移行列Φ_ｐ１は処理領域（ｎ−１）から処理領域ｎへの遷移を表す行列、駆動源ベクトルδ^ｆ _ｐ１（ｎ）は原画像情報からなる。また、観測方程式において、観測ベクトルｙ^ｆ _ｐ１（ｎ）は観測画像情報からなるベクトル、観測行列Ｍ^ｆは表面画像情報に生ずるぼけを表す行列、観測雑音ベクトルε^ｆ _ｐ１（ｎ）は裏移り情報からなるベクトルである。また、添え字ｐ１は第１の実施の形態に係るものであることを表し、添え字ｆは表面画像であることを表す。

（１）式の状態方程式は、観測対象のシステムを状態空間モデルで記述したものであり、内部状態つまり状態変数（ここでは、状態ベクトルｘ^ｆ _ｐ１（ｎ−１）、ｘ^ｆ _ｐ１（ｎ））の状態に対する生成過程を表している。また、（２）式の観測方程式は、何らかの観測装置を通じて観測する過程を記述したものであり、観測ベクトルｙ^ｆ _ｐ１（ｎ））が状態ベクトルｘ^ｆ _ｐ１（ｎ）に依存して生成される様子を示している。

次に、図６及び図７を参照して、第１の実施の形態に係る画像復元装置１０の作用について説明する。なお、図６及び図７に示す画像復元処理ルーチンは、記憶部４０に制御プログラムとして格納されており、図示しないＣＰＵによって実行される。

ステップ１００で、画像入力装置であるスキャナにより、両面に画像がプリントされた文書から読み取られた表面画像の画像情報を、入力インタフェース部２０を介して取り込み、主記憶部４１の取込画像メモリ４２に記憶する。なお、表面画像の画像情報には表面画像のカラー情報も含まれているため、画像情報設定部３３によって、入力された画像を白黒画像、又はＲＧＢ画像の何れかとするかを設定する。

次に、ステップ１０２で、領域設定部６１が、裏写り画像情報の分散値を求めるための処理単位となる部分領域Ｌの画素サイズＭ×Ｎと、画像復元の処理単位となる処理領域ｎの画素サイズｐ×ｑを設定する。部分領域Ｌ及び処理領域ｎは、例えば、表面画像情報に対して図２に示すように設定される。また、部分領域Ｍ×Ｎ及び処理領域ｐ×ｑの設定は、ユーザにより操作部３０の領域指定部３２から指定された値を設定するようにしてもよい。

ここでは、ステップ１０２において、処理領域ｎの画素サイズをｐ×ｑ＝３×３画素と設定されたものとする。この場合、図８に示すように、左から右へ１画素分移動し、時刻（ｎ−１）における処理領域（ｎ−１）、時刻ｎにおける処理領域ｎという画像情報が処理対象となる。

次に、ステップ１０４で、状態量算出部６３が、時刻ｎにおける処理領域ｎと時刻（ｎ−１）における処理領域（ｎ−１）との位置関係に基づいて、状態遷移行列Φ_ｐ１を構成する。

具体的には、まず、時刻（ｎ−１）における処理領域（ｎ−１）から時刻ｎにおける処理領域ｎに、水平に左から右へ１画素ずつ移動していたとする。この場合、各処理領域ｎにおいて、上記図８に示すように、同一の状態量を持つ領域が存在する。同一の状態量を持つ領域は、上記図８において網掛けされた画素領域である。上記図８に示すように、時刻（ｎ−１）における処理領域（ｎ−１）の状態量ｘ_１，２，ｘ_２，２，ｘ_３，２，ｘ_１，３，ｘ_２，３，ｘ_３，３と、時刻ｎにおける処理領域ｎの状態量ｘ_１，１，ｘ_２，１，ｘ_３，１，ｘ_１，２，ｘ_２，２，ｘ_３，２とが同一の状態量を持つ領域となる。

そして、上述した同一の状態量を持つ領域が時刻（ｎ−１）における処理領域（ｎ−１）の状態ベクトルから時刻ｎにおける処理領域ｎの状態ベクトルへの変化によって一致した状態遷移行列Φ_ｐ１を構成する。

次に、ステップ１０６で、上記ステップ１００で記憶した表面画像の画像情報のうち、部分領域Ｌの画素サイズＭ×Ｎにおいて、処理領域ｎの画素サイズを変更する場合はｐ‘×ｑ’に再生設定でき、また注目画素領域の画素数をも再設定する場合には変更設定する。

次に、ステップ１０８で、上記ステップ１００において画像がＲＧＢ画像と設定された場合、記憶した表面画像の画像情報のうちＲ、Ｇ、Ｂの各色のうち、特定の色を処理対象として設定する。

次に、ステップ１１０で、劣化画像情報判定部６２が、取込画像メモリ４２に記憶された表面画像の画像情報において、上記ステップ１０２で設定された部分領域Ｌの画素サイズＭ×Ｎの画素値に基づき分散値を算出する。また、劣化画像情報判定部６２が、算出された分散値に基づき表面画像の各画素に裏写り情報が含まれているか否かを判定するための基準値（閾値）を算出する。

具体的には、劣化画像情報判定部６２は、設定された部分領域Ｌの画素サイズＭ×Ｎにおいて、上記ステップ１０８で設定された色の平均画素値￣ｙを算出する。そして、算出された平均画素値￣ｙを用いて、上記ステップ１０８で設定された色の分散値σ^２ _ｙを算出する。すなわち、劣化画像情報判定部６２は、上記ステップ１０８で設定された色に応じて、以下の（３）式に示すように、分散値σ^２ _ｙを算出する。

ここで、ｙ_ｍ，ｎは、表面画像における、上記ステップ１０８で設定された色の画素値を表す。また、Ｍ、Ｎは、上記図２に示すように、部分領域Ｌの画素サイズＭ×Ｎを表す。

そして、劣化画像情報判定部６２は、平均画素値￣ｙと分散値σ^２ _ｙとに基づいて、表面画像内の画素に裏写り画像情報が含まれているか否かを判定するための基準値ｙ_ｔｈを、以下の（４）式に示すように算出する。

次に、ステップ１１２で、設定された部分領域Ｌが初期値であるか否かを判定する。すなわち、設定された部分領域Ｌが上記図２の最上段に位置するか否かを判定する。そして、上記設定された部分領域Ｌが初期値である場合にはステップ１１６へ進む。一方、設定された部分領域Ｌが初期値でない場合には、ステップ１１４へ進む。

次に、ステップ１１４で、上記ステップ１１０で算出された分散値σ^２ _ｙについて、前回のステップ１１０で算出された部分領域（Ｌ−１）における分散値を考慮し、上記ステップ１１０で算出された分散値σ^２ _ｙを修正する。例えば、部分領域Ｌにおける分散値を一旦算出した後、算出された部分領域Ｌにおける分散値と、部分領域（Ｌ−１）における分散値との平均値を、部分領域Ｌにおける分散値と再設定することができる。

次に、ステップ１１６で、領域設定部６１が、ステップ１０６で再設定された場合は、処理領域ｎの画素サイズをｐ‘×ｑ’とし、再設定されない場合はステップ１０２で設定された処理領域ｎの画素サイズのままとする。

次に、ステップ１１８で、劣化画像情報判定部６２が、上記ステップ１１６で設定された処理領域ｎに含まれる各画素について、上記ステップ１１０で算出された基準値ｙ_ｔｈに基づいて、当該画素に裏写り画像情報が混在しているか否かを判定する。

具体的には、劣化画像情報判定部６２は、処理領域ｎの画素サイズｐ×ｑに含まれる各画素について、当該画素の上記ステップ１０８で設定された色の画素値ｙ_ｍ，ｎ、及び当該画素の濃淡値ｙ_ｇｒａｙと、基準値ｙ_ｔｈとを比較する。そして、以下の（５）式を満たす場合には、当該画素値ｙ_ｍ，ｎには裏写りが混在していると判断する。

また、

上記（数５）は、当該画素のＲ，Ｇ，Ｂの各色の画素値を表す。なお、上記ステップ１００において画像が白黒画像と設定された場合には、各画素の画素値が基準値ｙ_ｔｈより大きい場合に、当該画素に裏写り画像情報が混在していると判断する。

次に、ステップ１２０で、状態量算出部６３が、状態量算出処理を実行する。ここで、図９を参照して、状態量算出処理ルーチンについて説明する。

ステップ１２００で、状態量算出部６３が、時刻（ｎ−１）における処理領域（ｎ−１）の各画素の状態量を要素とする処理領域（ｎ−１）の状態ベクトルと、時刻ｎにおける処理領域ｎの各画素の状態量を要素とする処理領域ｎの状態ベクトルとを導出する。以下、各処理領域の状態ベクトルの導出方法を具体的に説明する。

まず、処理領域（ｎ−１）の状態ベクトルは、図１０に示すように、画素サイズｐ×ｑの処理領域（ｎ−１）の各画素の状態量を組み合わせて構成される。すなわち、処理領域（ｎ−１）の状態ベクトルｘ^ｆ _ｐ１（ｎ−１）は９次元のベクトルｘ^ｆ _ｐ１（ｎ−１）＝［ｘ^ｆ _１，１（ｎ−１） ｘ^ｆ _２，１（ｎ−１）・・・ｘ^ｆ _３，３（ｎ−１）］^Ｔとなる。次に、処理領域ｎの状態ベクトルｘ^ｆ _ｐ１（ｎ）は、上記図１０に示すように、画素サイズｐ×ｑの処理領域ｎの各画素の状態量を組み合わせて構成される。すなわち、処理領域ｎの状態ベクトルｘ^ｆ _ｐ１（ｎ）は９次元のベクトルｘ^ｆ _ｐ１（ｎ）＝［ｘ^ｆ _１，１（ｎ） ｘ^ｆ _２，１（ｎ）・・・ｘ^ｆ _３，３（ｎ）］^Ｔとなる。ただし、Ｔはベクトルの転置を表す。また、状態ベクトルｘ^ｆ _ｐ１（ｎ−１）及びｘ^ｆ _ｐ１（ｎ）のサイズ（次元数）は設定された処理領域の画素サイズｐ×ｑによって変化する。

次に、ステップ１２０２で、状態量算出部６３が、駆動源ベクトルを構成する。図１１（Ａ）に示すように、処理領域ｎの状態量ｘ_１，３，ｘ_２，３，ｘ_３，３は、処理領域（ｎ−１）の情報からは構成することができないため、本実施の形態では、駆動源と呼ばれる領域に状態量ｘ_１，３，ｘ_２，３，ｘ_３，３を用いることで、図１１（Ｂ）に示すように、駆動源ベクトルδ^ｆ _ｐ１（ｎ）を構成する。これは、フレーム内を移動した際に、処理領域（ｎ−１）の状態量では表せられない領域の状態量を、処理領域ｎの状態量で構成することを表しており、原画像の情報が含まれることから、駆動源ベクトルδ^ｆ _ｐ１（ｎ）は有色性駆動源となる。

次に、ステップ１２０４で、状態量算出部６３が、上記ステップ１２００で導出した状態（ｎ−１）及び状態ｎの状態ベクトルｘ^ｆ _ｐ１（ｎ−１）及びｘ^ｆ _ｐ１（ｎ）、上記ステップ１０５で構成した状態遷移行列Φ_ｐ１、及び上記ステップ１２０２で構成した駆動源ベクトルδ^ｆ _ｐ１（ｎ）に基づいて、状態量を算出する。上記図１１（Ｂ）に示すように、本実施の形態における状態方程式は、画像情報からなる状態ベクトルｘ^ｆ _ｐ１（ｎ）と、０及び１からなる状態遷移行列Φ_ｐ１と、有色信号である画像情報からなる駆動源ベクトルδ^ｆ _ｐ１（ｎ）とから構成されるため、所望の状態量、つまり、画像情報のみで構成されることになる。

状態量算出処理ルーチンが終了すると、画像復元処理ルーチンにリターンして、ステップ１２２へ移行し、観測量算出部６４が、上記図４に示した観測画像モデルに基づいて、図１２に示すように、表面画像の原画像情報に裏面画像の裏写り画像情報が加わって観測画像情報となる過程を、観測量（観測方程式）として算出する。観測ベクトルｙ^ｆ _ｐ１（ｎ）は、観測画像情報を含む観測量として表面画像情報の処理領域ｎの各画素の画素情報を要素とする９次元のベクトルである。また、観測行列Ｍ^ｆは、観測方程式を満たすための行列である。ベクトルｘ^ｆ _ｐ１（ｎ）は、表面画像の原画像情報における処理領域ｎの各画素の状態量を要素とするベクトルである。また、ε^ｆ _ｐ１（ｎ）は、観測雑音ベクトルである。観測雑音ベクトルには、裏写り画像情報に関する透過率と、画像の劣化モデルにおけるぼけの点拡がり関数（ＰＳＦ）に対応した値が含まれている。透過率は、上述のように、文書の厚さ、画像の濃度、スキャン時の照明の強度等に応じて決定される。ぼけは、裏面画像の画像情報が表面画像情報に透過する際に生ずるぼけの程度を表す量である。

ここで、観測雑音ベクトルε^ｆ _ｐ１（ｎ）の各要素は、上記ステップ１１８での判定結果に応じて、各値が設定される。具体的には、上記ステップ１１８で画素値ｙ_ｍ，ｎは裏写り画像情報が混在していると判定された場合、当該画素値ｙ_ｍ，ｎに対応する観測雑音ベクトルの要素ｖ_ｙｍ，ｎに上記ステップ１１０で算出された分散値σ^２ _ｙの標準偏差が代入される。一方、上記ステップ１１８で画素値ｙ_ｍ，ｎに裏写り画像情報が混在していないと判定された場合、当該画素値ｙ_ｍ，ｎに対応する観測雑音ベクトルの要素ｖ_ｙｍ，ｎは一定値が代入される。

次に、ステップ１２４で、推定部６５が、上記ステップ１２０で算出された状態量（状態方程式）及び上記ステップ１２２で算出された観測量（観測方程式）により、下記に示す有色性駆動源を含む状態空間モデルに基づく予測法を導出する。

上記のアルゴリズムは、初期設定の過程［Initialization］と反復の過程［Iteration］とに大別され、反復の過程では、１〜５の手順を逐次繰り返す。以下、図１３を参照して、有色性駆動源を含む状態空間モデルに基づく予測法のアルゴリズムの詳細について説明する。

ステップ１２４０で、アルゴリズムの処理が初回か否かを判定する。初回の場合には、ステップ１２４２へ移行し、２回目以降の場合には、ステップ１２４４へ移行する。

ステップ１２４２では、初期設定を行う。具体的には、状態ベクトル、つまり、状態量である所望信号（原画像信号）ベクトルの最適推定値（以下「所望信号の最適推定値ベクトル」という）の初期値ｘ＾^ｆ _ｐ１（０｜０）、所望信号ベクトルの推定誤差（以下「所望信号の推定誤差ベクトル」という）の相関行列の初期値Ｐ_ｐ１（０｜０）、駆動源ベクトルの共分散の値Ｒ_δｐ１（ｎ）［ｉ，ｊ］、及び観測雑音ベクトルの共分散の値Ｒ_εｐ１（ｎ）［ｉ，ｊ］を、上述の初期設定の過程［Initialization］に示した初期状態に設定する。

ただし、ベクトル０_Ｊは、Ｊ次元の零ベクトルであり、行列Ｉ_Ｊは、Ｊ次の単位行列である。また、Ｊは、処理領域の画素数である。本実施の形態では、処理領域ｎの画素サイズｐ×ｑ＝３×３＝９である。また、Ｅ［ｘ＾^ｆ _ｐ１（ｎ），ｘ＾^ｆ _ｐ１ ^Ｔ（ｎ）］は、駆動源ベクトルｘ＾^ｆ _ｐ１（ｎ）の自己相関行列の期待値である。Ｅ［ε^ｆ _ｐ１（ｎ）ε^ｆ _ｐ１ ^Ｔ（ｎ）］［ｉ，ｊ］は、観測雑音ベクトルε_ｐ１の自己相関行列の期待値であり、ここでは分散値σ^２ _εを裏写りの自己相関値としている。裏写り画像情報が白色信号の場合は、Ｅ［ε^ｆ _ｐ１（ｎ）ε^ｆ _ｐ１ ^Ｔ（ｎ）］は対角のみ要素を有する。同様に、裏写り画像情報が有色信号の場合は、Ｅ［ε^ｆ _ｐ１（ｎ）ε^ｆ _ｐ１ ^Ｔ（ｎ）］はゼロを要素に持たない帯行列を有する。裏写り画像情報が、例えば、変化のない紙の地色のような一定の場合は、Ｅ［ε^ｆ _ｐ１（ｎ）ε^ｆ _ｐ１ ^Ｔ（ｎ）］は、行列の全て要素に一定値を有する。なお、ベクトル及び行列の要素を示す場合、ベクトルａ（ｎ）のｉ番目の要素をａ（ｎ）［ｉ］と表記し、行列Ａ（ｎ）のｉ行ｊ列の要素をＡ（ｎ）［ｉ，ｊ］と表記することとする。

次に、ステップ１２４４で、上記ステップ １０４で定義した状態空間モデルにおける状態遷移行列Φ_ｐ１、上記ステップ１２４２で設定した所望信号の推定誤差ベクトルの相関行列の初期値Ｐ_ｐ１（０｜０）（ｎ＝２の場合）、または処理領域（ｎ−１）におけるステップ１２５０で更新された相関行列Ｐ_ｐ１（ｎ｜ｎ）（ｎ＞２の場合）、及び駆動源ベクトルの共分散の値Ｒ_δｐ１（ｎ）［ｉ，ｊ］を用いて、処理領域（ｎ−１）までの情報により処理領域ｎの状態ベクトルを推定した場合の誤差である相関行列Ｐ_ｐ１（ｎ｜ｎ−１）を計算する（上述の反復の過程［Ｉｔｅｒａｔｉｏｎ］の手順１）。

次に、ステップ１２４６で、上記ステップ１２４４で計算した相関行列Ｐ_ｐ１（ｎ｜ｎ−１）、上記ステップ１１０で定義した状態空間モデルにおける観測行列Ｍ^ｆ、及び観測雑音ベクトルの共分散の値Ｒ_εｐ１（ｎ）［ｉ，ｊ］を用いて、重み係数行列Ｋ_ｐ１（ｎ）を計算する（同手順２）。

次に、ステップ１２４８で、状態遷移行列Φ_ｐ１、及び上記ステップ１２４２で設定した所望信号の最適推定値ベクトルの初期値ｘ＾^ｆ _ｐ１（０｜０）（ｎ＝２の場合）、または処理領域（ｎ−１）において、本ステップで得られた所望信号の最適推定値ベクトルｘ＾^ｆ _ｐ１（ｎ｜ｎ）（ｎ＞２の場合）を用いて、処理領域（ｎ−１）までの情報による処理領域ｎでの所望信号の最適推定値ベクトルｘ＾^ｆ _ｐ１（ｎ｜ｎ−１）を計算する（同手順３）。そして、計算した所望信号の最適推定値ベクトルｘ＾^ｆ _ｐ１（ｎ｜ｎ−１）、上記ステップ１２４６で計算した重み係数行列Ｋ_ｐ１（ｎ）、観測ベクトルｙ^ｆ _ｐ１（ｎ）、及び観測行列Ｍ^ｆを用いて、処理領域ｎまでの情報における所望信号の最適推定値ベクトルｘ＾^ｆ _ｐ１（ｎ｜ｎ）を計算する（同手順４）。

次に、ステップ１２５０で、単位行列Ｉ、重み係数行列Ｋ_ｐ１（ｎ）、観測行列Ｍ、及び上記ステップ１２４４で計算された相関行列Ｐ_ｐ１（ｎ｜ｎ−１）を用いて、処理領域ｎまでの情報における相関行列Ｐ_ｐ１（ｎ｜ｎ）を更新する（同手順５）。次に、ステップ１２５２で、上記ステップ１２４８で計算された所望信号の最適推定値ベクトルｘ＾^ｆ _ｐ１（ｎ｜ｎ）を、現在設定されている処理領域の処理結果として一旦被写体領域メモリ４５に記憶する。

有色性駆動源を含む状態空間モデルに基づく予測法のアルゴリズムが終了すると、画像処理ルーチンへリターンして、ステップ１２６へ移行し、上記ステップ１０２で設定された部分領域Ｌの全処理領域について画像復元が終了したか否かを判定する。部分領域Ｌの全処理領域について処理が終了していない場合には、ステップ１２８へ移行して処理領域ｎを１インクリメントして、ステップ１１６へ戻り、次の処理領域（ｎ＋１）を設定して処理を繰り返す。全部分領域Ｌの全処理領域について処理が終了した場合には、ステップ１３０へ移行して、上記ステップ１００において画像がＲＧＢ画像と設定された場合には、全ての色（ＲＧＢ）について処理が終了したか否かを判定する。全ての色について処理が終了していない場合には、ステップ１０８へ戻って、次の色について処理を繰り返す。全ての色について処理が終了した場合には、ステップ１３２へ移行する。なお、上記ステップ１００において画像が白黒画像と設定された場合には、ステップ１３０の処理は行わず、ステップ１３２へ移行する。

ステップ１３２では、上記ステップ１２５２で被写体領域メモリ４５に記憶された処理領域の処理結果から部分領域Ｌの画像情報を復元し、被写体領域メモリ４５に記憶すると共に、当該部分領域の復元画像を復元画像出力部６６へ出力する。

次に、ステップ１３４で、上記ステップ１００で取り込んだ表面画像内の全ての部分領域について画像復元が終了したか否かを判定する。全部分領域について処理が終了していない場合には、ステップ１３６へ移行してＬを１インクリメントして、ステップ１０６へ戻って、次の部分領域（Ｌ＋１）における処理領域ｎを再設定して処理を繰り返す。全部分領域について処理が終了した場合には、ステップ１３８へ移行する。

次に、ステップ１３８で、復元画像出力部６６が、上記ステップ１２５２で被写体領域メモリ４５に記憶された各部分領域の処理領域の処理結果を被写体領域メモリ４５に記憶する。

そして、ステップ１４０で、画像復元処理部６０が、被写体領域メモリ４５に記憶された表面画像の復元画像情報を、出力インタフェース部７０を介して出力して、画像出力装置に表示して、画像復元処理ルーチンを終了する。

以上説明したように、第１の実施の形態の画像復元装置１０によれば、表面画像の各画素の画素値に基づいて各部分領域の分散値を算出し、当該分散値から算出された基準値に基づき表面画像の各画素に裏写り画像情報が混在しているか否かを判定し、処理領域ｎにおける状態量を、処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む有色性駆動源を用いて算出し、裏写り画像情報が混在していると判定された画素について、分散値の標準偏差を雑音として用い、観測画像情報における処理領域ｎの観測量を算出し、算出された状態量、及び算出された観測量に基づき、状態空間モデルによる予測法を用い、処理領域ｎの状態量の最適値から画像情報を復元し、表面画像情報のみから裏写り画像情報を除去することができる。

また、各部分領域を処理していくことで、逐次処理が可能となる。更に、処理領域のサイズを再設定すると演算量を抑えることができ、高速に実行することができる。また、部分領域Ｌを設定することにより、処理領域ごとに適した分散値を使用可能であり、画像１枚の読み込みを待つことなく処理開始が可能であり、また並列処理が適用できることにより高速な画像処理を実行することができる。

＜シミュレーション１＞
次に、第１の実施の形態に係る画像復元装置１０の効果を実証するためのシミュレーションについて説明する。本シミュレーションでは、観測画像として、図１４に示す画像を用いた。観測画像（表面画像）は、階調２４ビットのカラー画像で、解像度は３５０８×２４８０画素である。観測画像の原画像（裏写りのない画像）は、左上に小さな文字列と中心部分に「表面 ２１０ｍｍ×２９７ｍｍ Ａ４」とがプリントされた画像である。一方、裏写りの画像（裏面画像）は、左上に小さな文字列と中心部分に「裏面 ２１０ｍｍ×２９７ｍｍ Ａ４」とがプリントされた画像である。観測画像上では、左右反転した状態で裏写りの画像が現れている。上記の画像について、同一の上記シミュレーション条件の下で、第１の実施の形態における手法（発明手法１：Ｐｒｏｐ．１）と、非特許文献１による手法（従来手法１：Ｃｏｎｖ．１）と、特許文献１による手法（従来手法２：Ｃｏｎｖ．２）とを、視覚評価によって比較した。なお、画像復元処理は、Ｒ、Ｇ、Ｂの各色について行った。

（１）視覚評価
観測画像についてのシミュレーション結果を図１５及び図１６に示す。なお、図１６は図１５の一部を拡大したものである。

図１５に示すように、従来手法１及び２は、裏写りを除去できず、原画像情報を復元できていない。一方、発明手法１は、従来手法１及び２に比べ、裏写り画像情報を除去できており、原画像情報を復元できている。また、図１６に示すように、従来手法１及び２は、表面画像情報よりも色が薄くなっている。一方、発明手法１は、従来手法１及び２に比べ、色がはっきりと復元できている。このように、発明手法１の有効性を確認することができる。

以上のシミュレーション結果により、第１の実施の形態に係る画像復元装置１０における手法（発明手法１）は、従来手法１及び２に比べて高い画像復元能力を発揮していることがわかる。

＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態では、文書紙面の地色を含む画像から、地色を除去する画像復元装置に本発明を適用した場合について説明する。
具体的には、第２の実施の形態では、片面の文書紙面の地色を含む画像を有する文書、及び両面に画像を有する文書を対象とし、文書の一方の面の原画像情報にぼけ、雑音および地色を含む裏写り画像情報からなる劣化画像情報から、原画像情報を推定する画像復元装置に本発明を適用する。

すなわち、第２の実施の形態に係る画像復元装置は、原画像情報にぼけ、雑音および地色を含む裏写り画像情報からなる劣化画像情報が混在した観測画像情報を用いた状態空間モデルであって、かつ、原画像情報を駆動源として含む状態空間モデルに基づく予測法を用いて、観測画像情報から、原画像情報を推定する。

本実施の形態では、文書紙面の地色とは、印刷紙の下地の色、又は画像の背景に存在する塗りつぶされた領域の色をいう。この地色は、文字の識別を困難にするため、印刷する際には不要となる場合が多い。

第２の実施の形態に係る画像復元装置２１０の構成について、第１の実施の形態に係る画像復元装置１０と異なる部分について説明し、他の部分については第１の実施の形態と同一符号を付して詳細な説明を省略する。

図１７に示すように、第２の実施の形態における画像復元処理部２６０は、領域設定部６１と、地色判定部２６２と、状態量算出部６３と、観測量算出部６４と、推定部６５と、復元画像出力部６６とを含んだ構成である。

地色判定部２６２は、観測画像情報の部分領域Ｌの各画素の画素値に基づいて分散値を算出し、分散値から算出された当該部分領域の基準値（閾値）に基づいて、当該部分領域Ｌ内の各画素に地色情報が混在しているか否かを判定する。

次に、図１８及び上記図７を参照して、第２の実施の形態に係る画像復元装置２１０の作用について説明する。なお、図１８及び上記図７に示す画像復元処理ルーチンは、記憶部４０に制御プログラムとして格納されており、図示しないＣＰＵによって実行される。

ステップ２１０では、地色判定部２６２が、上記ステップ１０６で設定された部分領域Ｌの画素サイズＭ×Ｎにおいて、処理領域ｎの画素サイズを変更する場合はｐ‘×ｑ’に再生設定でき、また注目画素領域の画素数をも再設定する場合には変更設定する。

ステップ２１８では、地色判定部２６２が、上記ステップ１１６で設定された処理領域ｎを構成する各画素について、上記ステップ１１０で算出された基準値ｙ_ｔｈに基づいて、当該画素に地色情報が混在しているか否かを判定する。

具体的には、地色判定部２６２は、処理領域ｎを構成する各画素の上記ステップ１０８で設定された色の画素値ｙ_ｍ，ｎ、及び当該画素の濃淡値ｙ_ｇｒａｙと、基準値ｙ_ｔｈとを比較する。そして、上記（５）式を満たす場合には、当該画素値ｙ_ｍ，ｎには裏写り画像情報が混在していると判断する。

なお、第２の実施の形態に係る画像復元装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

以上説明したように、第２の実施の形態の画像復元装置２１０によれば、観測画像情報の各画素の画素値に基づいて分散値を算出し、当該分散値から算出された基準値に基づいて、観測画像情報の各画素に地色情報が混在しているか否かを判定し、観測画像情報の処理領域ｎにおける状態ベクトルｘ^ｆ _ｐ１（ｎ）は表面画像を原画像情報とする状態量からなるベクトル、状態遷移行列Φ_ｐ１は処理領域（ｎ−１）の）状態量からなるベクトルｘ^ｆ _ｐ１（ｎ）、処理領域（ｎ−１）から処理領域ｎへの遷移を表す行列、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む有色性駆動源を用いて算出し、地色情報が混在していると判定された画素について、分散値の標準偏差を雑音として用い観測画像情報の処理領域ｎの観測量を算出し、算出された状態量及び算出された観測量に基づいて、状態空間モデルに基づく予測法により、処理領域ｎの状態量の最適値を、処理領域ｎの原画像情報として推定し、地色情報を除去する。

＜シミュレーション２＞
次に、第２の実施の形態に係る画像復元装置２１０の効果を実証するためのシミュレーションについて説明する。本シミュレーションでは、観測画像として、図１９に示す２つの画像を用いた。図１９に示す２つの画像は、片面に画像を有し、かつ地色を含む文書画の像（Ｔｅｘｔ１画像）と、両面に画像を有し、かつ地色を含む文書面の画像（Ｔｅｘｔ２画像）とである。図１９に示す２つの画像は、いずれも階調２４ビットのカラー画像で、解像度は３５０８×２４８０画素である。上記の画像について、第２の実施の形態における手法（発明手法２：Ｐｒｏｐ．２）のシミュレーションを行い、視覚評価を行った。なお、画像復元処理は、Ｒ、Ｇ、Ｂの各色について行った。

（１）視覚評価
観測画像についてのシミュレーション結果を図２０〜図２３に示す。なお、図２１は図２０の一部を拡大したものであり、図２３は図２２の一部を拡大したものである。

図２０に示すように、発明手法２は、地色情報を除去できている。また、図２１に示すように、発明手法２は、文書面の画像の文字部分、及び曲線の模様部分をはっきりと復元しつつ、地色情報を除去できている。このように、発明手法２の有効性を確認することができる。

また、図２２に示すように、両面に画像を有し、かつ地色を含む文書面の画像であるＴｅｘｔ２画像に対しても、地色情報を除去できていることがわかる。図２１に示す拡大図では、発明手法２は、表面画像情報の文字部分をはっきりと復元しつつ、地色情報のみならず、裏写り画像情報も除去できている。このように、発明手法２の有効性を確認することができる。

以上のシミュレーション結果により、第２の実施の形態に係る画像復元装置２１０における手法（発明手法２）は、高い画像復元能力を発揮していることがわかる。

＜第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態では、両面に画像がプリントされた文書について、表面画像と裏面画像とを両面から同時にスキャンし、表面画像情報と裏面画像情報とに基づいて、表面画像情報にぼけ、雑音および地色を含む裏写り画像情報からなる劣化画像情報を除去する画像復元装置に本発明を適用した場合について説明する。

具体的には、第３の実施の形態に係る画像復元装置は、両面に画像を有する文書の一方の面の原画像情報にぼけ、雑音および地色を含む裏写り画像情報からなる劣化画像情報が混在した観測画像情報の状態空間モデルであって、かつ、原画像情報を駆動源として含む状態空間モデルに基づく予測法を用いて、観測画像情報から原画像情報を推定する。

第３の実施の形態に係る画像復元装置３１０の構成について、第１の実施の形態に係る画像復元装置１０と異なる部分について説明し、他の部分については第１の実施の形態と同一符号を付して詳細な説明を省略する。

第３の実施の形態における入力インタフェース部３２０は、文書の両面を同時に読み取ることにより得られた表面画像情報及び裏面画像情報を取得し、表面画像情報を観測画像情報とする。

また、第３の実施の形態における主記憶部３４１は、図２４に示すように、取込表画像メモリ３４２と、取込裏画像メモリ３４３と、被写体領域メモリ４５と、処理パラメータメモリ４６とを含んだ構成で表すことができる。

取込表画像メモリ３４２には、入力インタフェース部２０を介して取り込んだ画像情報うち表面画像情報が記憶される。また、取込裏画像メモリ３４３には、入力インタフェース部２０を介して取り込んだ画像情報のうち裏面画像情報が記憶される。

第３の実施の形態における画像復元処理部３６０は、図２５に示すように、スキャン情報受付部３６１と、領域設定部６１と、位置変化量設定部３６２と、状態量算出部３６３と、観測量算出部３６４と、推定部３６５と、復元画像出力部６６とを含んだ構成で表すことができる。

スキャン情報受付部３６１は、入力インタフェース部２０を介して取り込んだ画像情報が、両面スキャンによって取得されたものであるか、片面ずつのスキャンによって取得されたものであるかを示すスキャン情報を受け付ける。

位置変化量設定部３６２は、スキャン情報受付部３６１によって、片面ずつのスキャンによって取得されたものであるかを示すスキャン情報を受け付けた場合に、入力インタフェース部２０により取得された裏写り画像情報を含む表面画像情報と裏面画像情報との間の位置合わせをブロックマッチッング法、あるいはＬｕｃａｓ−Ｋａｎａｄｅ法といった既存の手法を用いて行い、観測画像情報に設定される処理領域ｎ_Ｆの位置情報に対応して裏面画像情報に対する処理領域ｎ_Ｂを設定する。添え字Ｆは、表面画像情報であることを表し、添え字Ｂは、裏面画像情報であることを表す。なお、両面スキャンである場合には、観測画像情報の処理領域ｎに対応する裏面画像情報の処理領域ｎ_Ｂは、予め定められている。

状態量算出部３６３は、観測画像情報の処理領域ｎ_Ｆにおける状態量を、処理領域（ｎ−１）_Ｆの状態量、処理領域（ｎ−１）_Ｆから処理領域ｎ_Ｆへの状態遷移行列Φ_ｐ１、及び処理領域（ｎ−１）_Ｆの状態量に含まれない処理領域ｎ_Ｆの状態量の要素を含む有色性駆動源を用いて算出する。

観測量算出部３６４は、観測画像情報における処理領域ｎ_Ｆの状態量、及び裏面画像情報に基づいて、裏面画像情報を水平方向に反転させた画像情報における処理領域ｎ_Ｂに対応する領域に基づき算出された値をぼけ、雑音および裏写り画像情報からなる劣化画像情報として用いて、原画像情報に上記劣化画像情報が加わって観測画像情報となる過程を観測量として算出する。

推定部３６５は、表面画像情報の観測画像情報の処理領域ｎ_Ｆについて、状態量算出部３６３により算出された状態量、及び観測量算出部３６４により算出された観測量からなる状態空間モデルに基づく予測法により、処理領域ｎ_Ｆの状態量の最適値を処理領域ｎ_Ｆの原画像情報として推定し復元する。

次に、第３の実施の形態における画像復元の理論となる状態空間モデルについて説明する。

例えば、両面に画像がプリントされた文書をスキャンした場合、表面画像の原画像情報に裏面画像の画像情報が裏写りして、図４の右端に示す劣化画像となる。裏写りは図４に示すように、原画像（表面画像）をスキャンした画像情報に裏面画像が透過し、ぼけ、雑音および裏写り画像情報からなる劣化画像情報が重畳された画像情報である。なお、裏面画像が透過する透過率は、文書紙面の厚さ、画像の濃度、スキャン時の照明強度等に依存する。従って、第３の実施の形態にける劣化画像情報の復元は、第１の実施の形態と同様に、劣化画像情報から裏写りした裏面画像情報を取り除くことである。

第３の実施の形態では、原画像情報のみを用いて状態量を算出し、かつ、観測画像情報、原画像情報、ぼけ、雑音および裏写り画像情報からなる劣化画像情報を用いて観測量を算出した状態空間モデルであって、有色性駆動源を含む状態空間モデルに基づく予測法により、状態量の最適推定値を求めることにより、観測画像情報から復元画像情報を生成する。

上記の状態空間モデルは、下記（６）式の状態方程式と、下記（７）式の観測方程式とで表される。ただし、状態方程式において、ベクトルｘ^ｆ _ｐ３（ｎ）は状態ベクトル（表面画像情報を原画像情報とする状態量からなるベクトル）、状態遷移行列Φ_ｐ３は処理領域ｎ−１）から処理領域ｎへの遷移を表す行列、駆動源ベクトルδ^ｆ _ｐ３（ｎ）は原画像情報である。また、観測方程式において、ベクトルｙ^ｆ _ｐ３（ｎ）は観測ベクトル（観測画像情報）、観測行列Ｍは表面画像情報に生ずるぼけを表す行列、ｓは透過率、ＨはぼけのＰＳＦ、ベクトルｙ^ｂｒ _ｐ３（ｎ）は状態ベクトル（裏面画像情報を水平方向に反転させた場合の状態量）である。添え字ｐ３は第３の実施の形態に係るものであることを表す。また、添え字ｆは表面画像情報であることを表し、添え字ｂは裏面画像情報であることを表し、添え字ｒは水平方向への反転を表す。すなわち添え字ｂｒは、裏面画像情報を水平方向に反転させたことを表す。

（６）式の状態方程式は、観測対象の状態空間モデルを記述したものであり、状態変数（ここでは、状態ベクトルｘ^ｆ _ｐ３（ｎ−１）、ｘ^ｆ _ｐ３（ｎ））は生成過程を表している。また、（７）式の観測方程式は、何らかの観測装置を通じて観測する過程を記述したものであり、観測結果（ここでは、観測ベクトルｙ^ｆ _ｐ３（ｎ））が、被観測量つまり入力（ここでは、状態ベクトルｘ^ｆ _ｐ３（ｎ））に依存して生成される。

ここで、上記（７）式に示した観測方程式の導出方法について説明する。上記図４に示すように、裏写りは、原画像（表面画像）をスキャンした画像情報に、裏面画像が透過しぼけ、雑音および裏写り画像情報からなる劣化画像情報が重畳された画像情報である。従って、原則として、観測方程式は、以下の（８）式で表すことができる。

上記（８）式では、裏面画像情報に対応する状態ベクトルｘ^ｂ _ｐ３（ｎ）に、透過率ｓとぼけのＰＳＦである行列Ｈとが重畳されている。

一方、裏面画像情報を基準とし、裏面画像情報の観測方程式を算出すると、以下の（９）式で表すことができる。以下の（９）式の観測方程式において、ベクトルｙ^ｂ（ｎ）は裏面画像情報の観測ベクトル（観測画像情報）、行列Ｍは観測行列、ｓは透過率、ＨはぼけのＰＳＦ、ベクトルｘ^ｂ（ｎ）は状態ベクトル（裏面画像情報を原画像情報とする状態量）、ベクトルｘ^ｆ（ｎ）は状態ベクトル（表面画像情報を原画像情報とする状態量）である。添え字ｂは裏面画像情報であることを表し、添え字ｆは表面画像情報であることを表す。

上記（９）式において、透過率ｓは小さいため、以下の（１０）式を満たす。

従って、上記（９）式は、上記（１０）式を考慮すると、以下の（１１）式となる。

上記（１１）を変形すると、以下の（１２）式となる。

そして、裏面画像情報は、水平方向に反転して表面画像情報に付加されることを考慮して上記（１２）式を上記（８）式に代入すると、上記（７）式となる。

次に、図２６及び上記図７を参照して、第３の実施の形態に係る画像復元装置３１０の作用について説明する。なお、図２６及び上記図７に示す画像復元処理ルーチンは、記憶部４０に制御プログラムとして格納されており、図示しないＣＰＵによって実行される。

まず、ステップ３００では、画像入力装置であるスキャナにより、両面に画像がプリントされた文書から読み取られた表面画像及び裏面画像の画像情報を、入力インタフェース部２０を介して取り込み、主記憶部４１の取込画像メモリ４２に記憶する。なお、表面画像の画像情報には表面画像のカラー情報も含まれているため、画像情報設定部３３によって、入力された画像を白黒画像、又はＲＧＢ画像の何れかとするかを設定してもよい。

次に、ステップ３０１で、スキャン情報受付部３６１が、入力インタフェース部２０を介して取り込んだ画像情報が、両面スキャンによって取得されたものであるか、片面ずつのスキャンによって取得されたものであるかを示すスキャン情報を受け付ける。

次に、ステップ３０２で、領域設定部６１が、部分領域Ｌの画素サイズと、画像復元の処理単位となる処理領域ｎの画素サイズとを設定する。
なお、処理領域ｎの画素サイズの設定は、ユーザにより操作部３０の領域指定部３２から指定された値を設定するようにしてもよい。

次に、ステップ３０３で、上記ステップ３０１で受け付けたスキャン情報に基づいて、取り込んだ画像情報が、両面スキャンによって取得されたものであるか、片面ずつのスキャンによって取得されたものであるかを判定する。取り込んだ画像情報が、両面スキャンによって取得されたものである場合には、ステップ１０４に移行する。一方、取り込んだ画像情報が、片面ずつのスキャンによって取得されたものである場合には、ステップ３０４へ移行する。

次に、ステップ３０４で、位置変化量設定部３６２が、取込表画像メモリ３４２に記憶されている表面画像情報と、取込裏画像メモリ３４３とに記憶されている裏面画像情報とを読み出し、裏写り画像情報を含む表面画像情報と裏面画像情報との間の位置合わせを行い、処理領域ｎの各領域を裏面画像情報に対して設定する。画像情報の位置合わせには、ブロックマッチングやＬｕｃａｓ−Ｋａｎａｄｅ法といった既存の手法を用いることができる。本実施の形態では、ブロックマッチングを用いる場合について説明する。

ブロックマッチングとは、表面画像情報で設定した探索範囲内において、裏面画像情報で類似する領域を探す手法であり、表面画像情報の小領域の画素値と裏面画像情報で取り出した小領域の画素値との誤差の総和が最小となる領域を求め、対応する位置を探す手法である。画素値の誤差の総和を取る手段として、下記（１３）式に示す各画素値の２乗距離の総和を取るＳＳＤ（Sum of Squared Distance）や、下記（１４）式に示す各画素値の絶対値距離の総和を取るＳＡＤ（Sum of Absolute Distance）が挙げられる（参考特許文献「藤原 慎矢、田口 亮、“ブロックマッチング動き推定に基づくフレームレート向上に関する一手法”、IEICE Technical Report SIS2006-15, Jun. 2006」参照）。なお、（１３）式及び（１４）式におけるｘ_ｉ，ｊは画素（ｉ，ｊ）の画素値である。

次に、ステップ３２０で、状態量算出部３６３が、状態量算出処理を実行する。ここで、上記図９を参照して、状態量算出処理ルーチンについて説明する。

ステップ１２００で、状態量算出部２６３が、処理領域（ｎ−１）の各画素の状態量を要素とする状態ベクトルと、処理領域ｎの各画素の状態量を要素とする状態ベクトルとを導出する。以下、状態ベクトルの導出方法を具体的に説明する。

まず、図２７に示す状態ベクトルは、画素サイズｐ×ｑの処理領域（ｎ−１）の各画素の状態量を組み合わせて構成される。すなわち、状態ベクトルは９次元のベクトルｘ^ｆ _ｐ３（ｎ−１）＝［ｘ^ｆ _１，１（ｎ−１） ｘ^ｆ _２，１（ｎ−１）・・・ｘ^ｆ _３，３（ｎ−１）］^Ｔとなる。次に、画素サイズｐ×ｑの処理領域ｎの各画素の状態量を組み合わせて構成される。すなわち、状態ｎの状態ベクトルは９次元のベクトルｘ^ｆ _ｐ３（ｎ）＝［ｘ^ｆ _１，１（ｎ） ｘ^ｆ _２，１（ｎ）・・・ｘ^ｆ _３，３（ｎ）］^Ｔとなる。ただし、Ｔはベクトルの転置を表す。また、状態ベクトルｘ^ｆ _ｐ３（ｎ−１）及びｘ^ｆ _ｐ３（ｎ）のサイズ（次元数）は設定された処理領域ｎの画素サイズｐ×ｑによって変化する。

次に、ステップ１２０２で、状態量算出部２６３が、駆動源ベクトルを構成する。上記図２７に示すように、状態量ｘ_１，３（ｎ），ｘ_２，３（ｎ），ｘ_３，３（ｎ）は、処理領域（ｎ−１）の情報からは構成することができないため、本実施の形態では、駆動源ベクトルに状態量ｘ_１，３（ｎ−１），ｘ_２，３（ｎ−１），ｘ_３，３（ｎ−１）を用いることで、駆動源ベクトルδ^ｆ _ｐ３（ｎ）を構成する。これは、処理領域が変化した際に、処理領域（ｎ−１）の状態量では表せられない状態量を、処理領域ｎの状態量で構成することを表しており、表面画像情報の原画像情報が含まれることから、駆動源ベクトルδ^ｆ _ｐ３（ｎ）は有色性駆動源となる。

次に、ステップ１２０４で、状態量算出部３６３が、ステップ１２００で導出した状態ベクトルｘ^ｆ _ｐ３（ｎ−１）及びｘ^ｆ _ｐ３（ｎ）、ステップ１０５で構成した状態遷移行列Φ_ｐ３、及びステップ１２０２で構成した駆動源ベクトルδ^ｆ _ｐ３（ｎ）に基づいて、状態量を算出する。上記図２７に示すように、本実施の形態における状態方程式は、原画像情報からなる状態ベクトルｘ^ｆ _ｐ３（ｎ）と、０及び１からなる状態遷移行列Φ_ｐ３と、有色信号である原画像情報からなる駆動源ベクトルδ^ｆ _ｐ３（ｎ）とから構成されるため、所望の状態量は原画像情報（復元画像情報）のみで構成されることになる。

状態量算出処理ルーチンが終了すると、画像復元処理ルーチンにリターンして、ステップ３２２へ移行し、観測量算出部３６４が、上記図４に示した観測画像モデルに基づいて、図２８及び図２９に示すように、表面画像の原画像情報に裏面画像の裏写り画像情報が加わって観測画像情報となる過程を、観測量（観測方程式）として算出する。観測ベクトルｙ^ｆ _ｐ３（ｎ）は、観測画像情報を含む観測量として表面画像情報の処理領域ｎの各画素の画素値を要素とする９次元のベクトルである。また、観測行列Ｍは、観測方程式を満たすための単位行列であり、Ｍ^−１は、観測行列Ｍの一般化逆行列である。ベクトルｘ^ｆ _ｐ３（ｎ）は、表面画像の原画像情報における処理領域ｎの各画素の状態量を要素とするベクトルである。また、ｓは裏写りに関する透過率であり、Ｈは画像の劣化モデルにおけるぼけの点拡がり関数（ＰＳＦ）に対応した値を要素とする行列である。ベクトルｙ^ｂｒ _ｐ３（ｎ）は、裏面画像の観測画像情報を水平方向に反転させた画像情報における処理領域ｎの各画素の状態量を要素とするベクトルである。

次に、ステップ１２４で、推定部６５が、上記ステップ３２０で算出された状態量（状態方程式）及び上記ステップ３２２で算出された観測量（観測方程式）により、第１の実施の形態と同様に、有色性駆動源を含む状態空間モデルに基づく予測法を導出する。なお、状態空間モデルに基づく予測法においては、第１の実施の形態における観測雑音ベクトルε^ｆ _ｐ１（ｎ）は、上記（７）式におけるｓＨＭ^−１ｙ^ｂｒ _ｐ３（ｎ）に対応する。

以下、ステップ１２６〜１４０を実行して、画像復元処理ルーチンを終了する。

なお、第３の実施の形態に係る画像復元装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

以上説明したように、第３の実施の形態の画像復元装置３１０によれば、文書の両面を読み取ることにより得られた表面画像情報及び裏面画像情報を取得し、表面画像情報を観測画像情報とし、観測画像情報の処理領域ｎにおける状態量を、処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む有色性駆動源を用いて算出し、観測画像情報の処理領域ｎについて、観測画像情報における処理領域ｎの状態量、及び裏面画像に情報基づき裏面画像情報を水平方向に反転させた画像情報における処理領域ｎで算出された値をぼけ、雑音および裏写り画像情報からなる劣化画像情報として用い、原画像情報に前記劣化画像情報が加わって観測画像情報となる過程を観測量として算出し、算出された状態量、及び算出された観測量に基づいて、状態空間モデルに基づく予測法により、処理領域ｎの状態量の最適値から画像情報を復元し、劣化画像情報を除去できる。

＜シミュレーション３＞

次に、第３の実施の形態に係る画像復元装置３１０の効果を実証するためのシミュレーションについて説明する。本シミュレーションでは、第３の実施の形態に係る画像復元装置１０の画像復元能力を評価するために、（１）視覚評価、（２）客観評価、及び（３）主観評価を行った。視覚評価は、原画像と復元画像とを視覚により比較した評価である。客観評価は、数値による評価である。主観評価は、聞き取り調査である。以下、これらを順に説明する。

まず、シミュレーションの条件について説明する。本シミュレーションでは、原画像として、図３０に示す３つの画像（「Ｆｌｏｗｃｈａｒｔ」、「Ｌｅｎｎａ」及び「Ｗｏｒｄ」）を用いた。

ここで、画像「Ｆｌｏｗｃｈａｒｔ」は、表面画像１として用いることとする。画像「Ｆｌｏｗｃｈａｒｔ」は、階調８ビットのグレースケール画像で、解像度は２５６×２５６画素である。また、画像「Ｌｅｎｎａ」は、表面画像２として用いることとする。画像「Ｌｅｎｎａ」は、階調２４ビットのカラー画像で、解像度は２５６×２５６画素である。また、画像「Ｗｏｒｄ」は、裏面画像として用いることとする。画像「Ｗｏｒｄ」は、階調８ビットのグレースケール画像で、解像度は２５６×２５６画素である。

そして、同一の上記シミュレーション条件の下で、第３の実施の形態における手法（発明手法３：Ｐｒｏｐ．１）と、非特許文献１による手法（従来手法１：Ｃｏｎｖ．１）と、特許文献１による手法（従来手法２：Ｃｏｎｖ．２）とを比較した。

（１）視覚評価
画像「Ｆｌｏｗｃｈａｒｔ」についてのシミュレーション結果を図３１及び図３２に、画像「Ｌｅｎｎａ」についてのシミュレーション結果を図３３及び図３４に示す。なお、図３２は図３１の一部を拡大したもの、図３４は図３３の一部を拡大したものである。

画像「Ｆｌｏｗｃｈａｒｔ」についてのシミュレーション結果では、図３２に示すように、従来手法１は、裏写りが完全には消えておらず、不完全であることがわかる。また、従来手法２は、裏写りは消えているものの、表面画像の情報が劣化していることがわかる。一方、発明手法３は、表面画像の情報を維持しつつ、裏写りの鮮明な除去をすることができている。

画像「Ｌｅｎｎａ」についてのシミュレーション結果では、図３４に示すように、従来手法１は、画像全体が白くなっており、裏写りの除去も不完全であることがわかる。また、従来手法２は、完全には裏写りが除去できておらず、不鮮明な結果となっている。一方、発明手法３は、裏写りが除去できており、鮮明な画像となっている。

このように、発明手法３の有効性を確認することができる。

（２）客観評価（数値による評価）
下表１に、原画像に対するシミュレーション結果（客観評価）を示す。

ここでは、従来手法１、従来手法２及び発明手法３の画像復元能力を数値により評価するため、下記（１５）式に示すＰＳＮＲ［ｄＢ］を用いて画像復元能力を評価した。なお、ＰＳＮＲ（Peak Signal-to-Noise Ratio）は、画像の信号に対する雑音の比であり、数値が大きいほど劣化（ぼけや雑音など）が少なく画像として良好であるといえる。

表１に示すように、「Ｆｌｏｗｃｈａｒｔ」及び「Ｌｅｎｎａ」のどちらの画像についても、発明手法３は、従来手法１及び従来手法２よりもＰＳＮＲの数値が大きいことが確認できる。これにより、発明手法３は、客観評価の点でも、従来手法１及び従来手法２に比べて画像復元能力が高いことがわかる。

（３）主観評価（聞き取り調査）
図３５に、原画像に対するシミュレーション結果（主観評価）を示す。

ここでは、従来手法１、従来手法２及び発明手法３の画像復元能力を評価するために、聞き取り調査による主観評価を行った。画像復元の性能評価は、下表２に示すように、ＭＯＳ（Mean Opinion Score）評価基準に基づく５段階の評価値を用いた聞き取り調査により行った。５０人（男性２５人、女性２５人）の聴取者が画像復元により得られた画像（図１８〜図２１参照）を評価した。各々の聴取者は、評価値「１」から「５」を決定する。評価値「５」が最良である。

図３５に示すように、「Ｆｌｏｗｃｈａｒｔ」及び「Ｌｅｎｎａ」のどちらの画像についても、発明手法３は、従来手法１及び従来手法２よりも高いＭＯＳ評価値を得ていることが確認できる。これにより、発明手法３は、主観評価の点でも、従来手法１及び従来手法２に比べて画像復元能力が高いことがわかる。

以上の実験結果により、第３の実施の形態に係る画像復元装置３１０における手法（発明手法３）は、従来手法１及び従来手法２に比べて高い画像復元能力を発揮していることがわかる。

＜シミュレーション４＞

次に、第１の実施の形態に係る画像復元装置１０と比較して、第３の実施の形態に係る画像復元装置３１０の効果を実証するためのシミュレーションについて説明する。本シミュレーションでは、第３の実施の形態に係る画像復元装置１０の画像復元能力を評価するために、視覚評価を行った。

まず、シミュレーションの条件について説明する。本シミュレーションでは、原画像として、図３６に示す２つの画像（「Ｆｒｏｎｔ」、及び「Ｂａｃｋ」）を用いた。

ここで、画像「Ｆｒｏｎｔ」は、表面画像として用い、画像「Ｂａｃｋ」は、裏面画像として用いることとする。いずれの画像も、階調２４ビットのカラー画像で、解像度は３５０８×２４８０画素である。

そして、同一の上記シミュレーション条件の下で、第１の実施の形態における手法（発明手法１：Ｐｒｏｐ．１）と、第３の実施の形態における手法（発明手法３：Ｐｒｏｐ．３）と、非特許文献１による手法（従来手法１：Ｃｏｎｖ．１）と、特許文献１による手法（従来手法２：Ｃｏｎｖ．２）とを比較した。

（１）視覚評価
第３の実施の形態における手法（発明手法３：Ｐｒｏｐ．３）と、非特許文献１による手法（従来手法１：Ｃｏｎｖ．１）と、特許文献１による手法（従来手法２：Ｃｏｎｖ．２）とについてのシミュレーション結果を図３７及び図３８に示す。なお、図３８は図３７の一部を拡大したものである。
また、第１の実施の形態における手法（発明手法１：Ｐｒｏｐ．１）と、第３の実施の形態における手法（発明手法３：Ｐｒｏｐ．３）とについてのシミュレーション結果を図３９〜図４１に示す。なお、図４０及び図４１は図３９の一部を拡大したものである。

第３の実施の形態における手法（発明手法３：Ｐｒｏｐ．３）と、非特許文献１による手法（従来手法１：Ｃｏｎｖ．１）と、特許文献１による手法（従来手法２：Ｃｏｎｖ．２）とについてのシミュレーション結果では、図３８に示すように、従来手法１及び従来手法２では、裏写りが完全には消えておらず、不完全であることがわかる。一方、発明手法３は、表面画像の情報を維持しつつ、裏写りの鮮明な除去をすることができている。

また、第１の実施の形態における手法（発明手法１：Ｐｒｏｐ．１）と、第３の実施の形態における手法（発明手法３：Ｐｒｏｐ．３）とについてのシミュレーション結果では、図４１に示すように、発明手法１では、背景については裏写りを除去できているが、文字「Ａ」の中に裏写りが混在していることがわかる。一方、発明手法３では、背景の裏写りが除去されていると共に、文字「Ａ」の中に裏写りについても除去できていることがわかる。

このように、発明手法３の有効性を確認することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上記の実施の形態では、部分領域毎に各処理を行う場合を例に説明したが、これに限定されるものではなく、観測画像全体について処理を行ってもよい。

また、第１及び第２の実施の形態では、部分領域の各々について、当該部分領域内の画素の各々の画素値に基づいて分散値を算出する場合を例に説明したが、これに限定されるものではなく、観測画像全体について、観測画像内の画素の各々の画素値に基づいて分散値を算出してもよい。

なお、上記実施の形態では、ＣＰＵによりプログラムを実行することで各部の処理を実行する場合について説明したが、各部をハードウエアにより構成するようにしてもよい。

１０，２１０，３１０ 画像復元装置
２０，３２０ 入力インタフェース部
３０ 操作部
３１ パラメータ設定部
３２ 領域指定部
３４ 画像情報設定部
４０ 記憶部
４１，３４１ 主記憶部
４２ 取込画像メモリ
４５ 被写体領域メモリ
４６ 処理パラメータメモリ
４７ 補助記憶部
４８ 表示メモリ
４９ 取込画像メモリ
５０ 処理メモリ
５１ 復元画像メモリ
６０，２６０，３６０ 画像復元処理部
６１ 領域設定部
６２ 劣化画像情報判定部
６３，２６３，３６３ 状態量算出部
６４，３６４ 観測量算出部
６５，３６５ 推定部
６６ 復元画像出力部
７０ 出力インタフェース部
２６２ 地色判定部
３４２ 取込表画像メモリ
３４３ 取込裏画像メモリ
３６１ スキャン情報受付部
３６２ 位置変化量設定部

Claims (14)

1. 原画像情報にぼけおよび雑音が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、
   文書を読み取ことにより得られた表面画像情報を、前記観測画像情報として取得する画像取得手段と、
   前記観測画像情報の各画素の画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき、前記各画素にぼけおよび雑音が混在しているか否かを判定する判定手段と、
   前記観測画像情報に基づいて、時刻ｎでの処理領域ｎにおける状態量を時刻（ｎ−１）での処理領域（ｎ−１）の状態量、前記処理領域（ｎ−１）から前記処理領域ｎへの状態遷移、及び前記処理領域（ｎ−１）の状態量に含まれない時刻ｎにおける処理領域ｎの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、
   時刻ｎにおける処理領域ｎの状態量に基づき、前記判定手段によりぼけおよび雑音が混在していると判定された前記処理領域ｎの各画素の画素値について、前記原画像情報にぼけおよび雑音が加わって観測画像情報となる過程を観測量として算出する観測量算出手段と、
   時刻ｎにおける処理領域ｎを前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、時刻ｎにおける処理領域ｎの状態量の最適値を原画像情報として推定する推定手段と、
   を含む画像復元装置。
2. 両面に画像を有する文書の一方の面の原画像情報に不必要な情報である他方の面の裏写り画像情報を含むぼけおよび雑音が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、
   前記文書の一方の面を読み取ることにより得られた表面画像情報を前記観測画像情報として取得する画像取得手段と、
   前記観測画像情報の各画素の画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき、前記観測画像情報の各画素に裏写り画像情報を含むぼけおよび雑音からなる劣化画像情報が混在しているか否かを判定する裏写り判定手段と、
   前記観測画像情報に基づいて、時刻ｎでの処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、前記処理領域（ｎ−１）から前記処理領域ｎへの状態遷移、及び前記処理領域（ｎ−１）の状態量に含まれない前記処理領域ｎの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、
   前記処理領域ｎを前記裏写り判定手段によって算出された分散値及び前記処理領域ｎの状態量に基づいて、前記裏写り判定手段により前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素について、前記算出された分散値の標準偏差を前記雑音として用いて、前記原画像情報に前記雑音が加わって観測画像情報となる過程を観測量として算出する観測量算出手段と、
   前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を前記処理領域ｎの原画像情報として推定する推定手段と、
   を含む画像復元装置。
3. 原画像情報に文書の地色を含むぼけおよび雑音を含む劣化画像情報が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用いて、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、
   文書を読み取り取得した表面画像情報を前記観測画像情報として取得する画像取得手段と、
   前記観測画像情報の各画素の画素値に基づき分散値を算出し、前記分散値から算出された閾値に基づいて前記観測画像情報の各画素に前記劣化画像情報が混在しているか否かを判定する地色判定手段と、
   前記観測画像情報に基づいて、時刻ｎにおける処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、
   時刻ｎにおける処理領域ｎの情報及び状態量に基づき、前記地色判定手段により前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素の画素値を前記劣化画像情報として用い、前記原画像情報に前記劣化画像情報が加わって観測画像情報となる過程を観測量として算出する観測量算出手段と、
   前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を原画像情報として推定する推定手段と、
   を含む画像復元装置。
4. 両面に画像を有する文書の一方の面の読取り原画像情報に劣化画像情報である他方の面の裏写り情報を含む、ぼけおよび雑音が混在した観測画像情報に対し、原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、
   前記文書の両面を各々読み取り表面画像情報及び裏面画像情報を取得し、前記表面画像情報を前記観測画像情報とする画像取得手段と、
   前記観測画像情報に基づいて、時刻ｎでの処理領域ｎにおける状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない前記処理領域ｎの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、
   前記観測画像情報の時刻ｎにおける処理領域ｎの状態量、及び前記裏面画像情報に基づいて、前記裏面画像情報を水平方向に反転させた画像情報における時刻ｎにおける処理領域ｎに対応する領域の情報に基づき算出された値を前記劣化画像情報として用い、前記原画像情報に前記劣化画像情報が加わって観測画像情報となる過程を観測量として算出する観測量算出手段と、
   前記表面画像情報の時刻ｎにおける処理領域ｎを前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を前記処理領域ｎの原画像情報として推定する推定手段と、
   を含む画像復元装置。
5. 前記画像取得手段により取得された前記表面画像情報と前記裏面画像情報との間の位置合わせを行い、前記観測画像情報内の時刻ｎにおける処理領域ｎの領域を、前記裏面画像情報に対して設定する位置変化量設定手段を更に含む請求項４に記載の画像復元装置。
6. 前記裏写り判定手段は、前記観測画像情報の部分領域の各画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき前記部分領域の各画素に前記劣化画像情報が混在しているか否かを判定し、
   前記観測量算出手段は、前記観測画像情報の時刻ｎにおける処理領域ｎが前記裏写り判定手段により、前記処理領域ｎを含む部分領域について算出された前記分散値及び処理領域ｎの状態量に基づき、前記裏写り判定手段によって前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素が前記部分領域について算出された前記分散値の標準偏差を前記雑音として用い、前記原画像情報に前記雑音が加わって観測画像情報となる過程を観測量として算出する請求項２記載の画像復元装置。
7. 前記地色判定手段は、前記観測画像情報の各部分領域の各画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき前記部分領域の各画素に前記地色が混在しているか否かを判定し、
   前記観測量算出手段は、前記観測画像情報の処理領域ｎに前記地色判定手段によって処理領域ｎを含む部分領域について算出された前記分散値及び前記処理領域ｎの状態量に基づいて、前記地色判定手段によって前記地色が混在していると判定された処理領域ｎの各画素について、部分領域について算出された前記分散値の標準偏差を前記雑音として用いて、前記原画像情報に前記雑音が加わって観測画像情報となる過程を観測量として算出する請求項３記載の画像復元装置。
8. 各手段の処理を、前記観測画像情報に対して設定した部分領域Ｌ毎に行う請求項１〜請求項７のいずれか１項記載の画像復元装置。
9. 前記処理領域ｎは、前記処理領域（ｎ−１）と一部重複するように設定される請求項１〜請求項８のいずれか１項記載の画像復元装置。
10. 原画像情報にぼけおよび雑音が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、かつ、画像取得手段、判定手段、状態量算出手段、観測量算出手段、及び推定手段を含む画像復元装置における画像復元方法であって、
    前記画像取得手段が、文書を読み取ことにより得られた表面画像情報を、前記観測画像情報として取得するステップと、
    前記判定手段が、前記観測画像情報の各画素の画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき、前記各画素にぼけおよび雑音が混在しているか否かを判定するステップと、
    前記状態量算出手段が、前記観測画像情報に基づいて、時刻ｎでの処理領域ｎにおける状態量を時刻（ｎ−１）での処理領域（ｎ−１）の状態量、前記処理領域（ｎ−１）から前記処理領域ｎへの状態遷移、及び前記処理領域（ｎ−１）の状態量に含まれない時刻ｎにおける処理領域ｎの状態量の要素を含む前記駆動源を用いて算出するステップと、
    前記観測量算出手段が、時刻ｎにおける処理領域ｎの状態量に基づき、前記判定手段によりぼけおよび雑音が混在していると判定された前記処理領域ｎの各画素の画素値について、前記原画像情報にぼけおよび雑音が加わって観測画像情報となる過程を観測量として算出するステップと、
    前記推定手段が、時刻ｎにおける処理領域ｎを前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、時刻ｎにおける処理領域ｎの状態量の最適値を原画像情報として推定するステップと、
    を含む画像復元方法。
11. 両面に画像を有する文書の一方の面の原画像情報に不必要な情報である他方の面の裏写り画像情報を含むぼけおよび雑音が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、かつ、画像取得手段、裏写り判定手段、状態量算出手段、観測量算出手段、及び推定手段を含む画像復元装置における画像復元方法であって、
    前記画像取得手段が、前記文書の一方の面を読み取ることにより得られた表面画像情報を前記観測画像情報として取得するステップと、
    前記裏写り判定手段が、前記観測画像情報の各画素の画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき、前記観測画像情報の各画素に裏写り画像情報を含むぼけおよび雑音を含む劣化画像情報が混在しているか否かを判定するステップと、
    前記状態量算出手段が、前記観測画像情報に基づいて、時刻ｎでの処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、前記処理領域（ｎ−１）から前記処理領域ｎへの状態遷移、及び前記処理領域（ｎ−１）の状態量に含まれない前記処理領域ｎの状態量の要素を含む前記駆動源を用いて算出するステップと、
    前記観測量算出手段が、前記処理領域ｎを前記裏写り判定手段によって算出された分散値及び前記処理領域ｎの状態量に基づいて、前記裏写り判定手段により前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素を、前記算出された分散値の標準偏差を前記雑音として用いて、前記原画像情報に前記雑音が加わって観測画像情報となる過程を観測量として算出するステップと、
    前記推定手段が、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を前記処理領域ｎの原画像情報として推定するステップと、
    を含む画像復元方法。
12. 原画像情報に文書の地色を含むぼけおよび雑音を含む劣化画像情報が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用いて、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、かつ、画像取得手段、地色判定手段、状態量算出手段、観測量算出手段、及び推定手段を含む画像復元装置における画像復元方法であって、
    前記画像取得手段が、文書を読み取り取得した表面画像情報を前記観測画像情報として取得するステップと、
    前記地色判定手段が、前記観測画像情報の各画素の画素値に基づき分散値を算出し、前記分散値から算出された閾値に基づいて前記観測画像情報の各画素に前記劣化画像情報が混在しているか否かを判定するステップと、
    前記状態量算出手段が、前記観測画像情報に基づいて、時刻ｎにおける処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む前記駆動源を用いて算出するステップと、
    前記観測量算出手段が、時刻ｎにおける処理領域ｎの情報及び状態量に基づき、前記地色判定手段により前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素の画素値を前記劣化画像情報として用い、前記原画像情報に前記劣化画像情報が加わって観測画像情報となる過程を観測量として算出するステップと、
    前記推定手段が、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を原画像情報として推定するステップと、
    を含む画像復元方法。
13. 両面に画像を有する文書の一方の面の読取り原画像情報に劣化画像情報である他方の面の裏写り情報を含む、ぼけおよび雑音が混在した観測画像情報に対し、原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、かつ、画像取得手段、状態量算出手段、観測量算出手段、及び推定手段を含む画像復元装置における画像復元方法であって、
    前記画像取得手段が、前記文書の両面を各々読み取り表面画像情報及び裏面画像情報を取得し、前記表面画像情報を前記観測画像情報とするステップと、
    前記状態量算出手段が、前記観測画像情報の時刻ｎでの処理領域ｎにおける状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない前記処理領域ｎの状態量の要素を含む前記駆動源を用いて算出するステップと、
    前記観測量算出手段が、前記観測画像情報に基づいて、時刻ｎにおける処理領域ｎの状態量、及び前記裏面画像情報に基づいて、前記裏面画像情報を水平方向に反転させた画像情報における時刻ｎにおける処理領域ｎに対応する領域の情報に基づき算出された値を前記劣化画像情報として用い、前記原画像情報に前記劣化画像情報が加わって観測画像情報となる過程を観測量として算出するステップと、
    前記推定手段が、前記表面画像情報の時刻ｎにおける処理領域ｎを前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を前記処理領域ｎの原画像情報として推定するステップと、
    を含む画像復元方法。
14. コンピュータを、請求項１〜請求項９のいずれか１項記載の画像復元装置の各手段として機能させるためのプログラム。