以下に、本発明の実施の形態に係る画像読取装置及び画像読取方法を、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
《1》実施の形態1.
《1−1》構成
図1は、本発明の実施の形態1に係る画像読取装置1の構成を概略的に示すブロック図である。画像読取装置1は、実施の形態1に係る画像読取方法を実施することができる装置である。
図1に示されるように、画像読取装置1は、原稿70を光学的に読み取る(走査する)ことで、複数の部分画像データ(「分割画像データ」とも言う)DI_1〜DI_Nを生成する撮像部2と、複数の部分画像データDI_1〜DI_Nから、読取対象である原稿70に対応する結合画像データ(「結合画像」とも言う)D6を生成する画像処理部3とを備えている。なお、Nは2以上の整数である。
図2は、図1に示される撮像部2の構成を概略的に示すブロック図である。図2に示されるように、撮像部2は、複数の縮小光学セル21_1〜21_N(すなわち、第1から第Nの縮小光学セル)と、複数のセンサーチップ22_1〜22_N(すなわち、第1から第Nのセンサーチップ)と、アナログ信号をデジタル信号に変換する変換部23とを備えている。
1個の縮小光学セル21_kと1個のセンサーチップ22_kとは、互いに対応するように配置されている。ここで、kは1以上N以下の整数である。1個の縮小光学セル21_kと1個のセンサーチップ22_kとの組み合わせは、1個の光学ユニット20_kを構成している。つまり、撮像部2は、N個の光学ユニット20_1〜20_N(すなわち、第1から第Nの光学ユニット)を有している。
縮小光学セル21_1〜21_Nは、センサーチップ22_1〜22_Nに原稿70上の複数の読取範囲の画像をそれぞれ縮小結像させる縮小光学系である。縮小光学セル21_1〜21_Nの各々は、例えば、レンズ及び絞りから構成される。原稿70上の複数の読取範囲の内の、主走査方向DXに隣り合う縮小光学セル21_m−1の読取範囲と縮小光学セル21_mの読取範囲とが重なり合うように、光学ユニット20_1〜20_Nは配置される。読取範囲の内の重なり合っている重複領域は、隣り合う部分画像データDI_m−1とDI_m間の画像重複領域(オーバーラップ領域)に対応する。なお、mは2以上N以下の整数である。センサーチップ22_1〜22_Nによる読取範囲は、撮像部2の縮小光学セル21_1〜21_Nから原稿70までの距離である原稿距離Lに応じて変動する。センサーチップ22_1〜22_N及び縮小光学セル21_1〜21_Nは、原稿距離Lが変動しても、オーバーラップ領域OLが存在するように配置されることが望ましい。
センサーチップ22_1〜22_Nの各々は、上記特許文献1と同様に、予め決められた配列ピッチで主走査方向DXに直線状に配列された複数の撮像素子(ラインセンサー)を有している。複数の撮像素子の配列方向(第1方向)は主走査方向DXである。センサーチップ22_1〜22_Nは、それらの撮像素子が主走査方向DXに直線状に並ぶように、主走査方向DXに配列される。
変換部23は、センサーチップ22_1〜22_Nで得られた電気信号を部分画像データDI_1〜DI_Nに変換する。つまり、部分画像データDI_1〜DI_Nは、センサーチップ22_1〜22_Nの出力に対応する。部分画像データDI_1〜DI_Nが示す読取範囲の画像である部分画像(ユニット画像)UI_1〜UI_Nは、(N−1)個のオーバーラップ領域OL(すなわち、OL_1〜OL_N−1)を持つ。部分画像UI_1〜UI_Nは、光学ユニット20_1〜20_Nによって取得された部分画像データDI_1〜DI_Nに基づいて生成された副走査方向DYに長い領域の画像(後述の図7(c)に示される)である。
画像処理部3は、複数の部分画像データDI_1〜DI_Nを記憶する記憶部である画像メモリ4と、複数の部分画像データDI_1〜DI_Nの内の主走査方向DXに隣り合う部分画像データDI_m−1とDI_mの主走査方向DXの結合位置を決める結合位置推定部5と、結合位置推定部5から提供された結合位置情報D5に基づいて複数の部分画像データDI_1〜DI_Nを結合(合成)することで結合画像データD6を生成する画像結合部6とを備えている。なお、画像読取装置1は、原稿70が載置される原稿台(後述の図7(b)に示される)、原稿70を照明する光源部、撮像部2に対する原稿70の相対位置を副走査方向DYに移動させる搬送部(後述の図17に示される)、及び装置全体の動作を制御する制御部を備えてもよい。
画像メモリ4は、撮像部2から出力された部分画像データDI_1〜DI_Nを一定期間保持する。結合位置推定部5は、撮像部2の縮小光学セル21_1〜21_Nから原稿70までの原稿距離Lに応じて変動する原稿70上の読取範囲に合わせて、隣り合う縮小光学セル21_m−1と21_mの間における画像の結合位置を推定する。画像結合部6は、結合位置推定部5で決定された結合位置情報D5を用いて、隣り合う部分画像データDI_m−1とDI_mを結合することによって、結合画像データD6を生成する。
図3は、画像読取装置1による読取対象である原稿70と、撮像部2が原稿70を光学的に読み取る(走査する)ことで生成される複数の部分画像データ(分割画像データ)DI_1〜DI_Nの例を示す図である。画像読取装置1を用いて読み取られた原稿70と、原稿70に対応する部分画像データDI_1〜DI_Nの例を示す。図3の例では、N=4である。原稿距離Lが一定の状態で、光学ユニット20_1〜20_4によって、原稿70の読み取りを実行する処理を、主走査方向DXに直交する副走査方向DYに原稿70又は撮像部2を少し(一定距離)ずつ移動させる毎に、原稿70の上端から下端までに対して、複数回繰り返し行うことで、原稿70の全体の部分画像データDI_1〜DI_4を得る。部分画像データDI_1〜DI_4のうち、点線で囲われた部分OLが、部分画像データDI_1〜DI_Nに対応する部分画像UI_1〜UI_4のオーバーラップ領域である。
図4は、図1に示される結合位置推定部5の構成を概略的に示すブロック図である。図4に示されるように、結合位置推定部5は、類似度算出部51と、マッチング候補選出部52と、画像解析部53と、結合位置決定部54とを有している。類似度算出部51とマッチング候補選出部52とは、結合候補位置算出部50を構成している。
類似度算出部51は、画像メモリ4から部分画像データDI_1〜DI_Nを適宜読み出し、隣り合う光学ユニット20_m−1と20_mによって読み取られた部分画像データDI_m−1とDI_m(隣り合う部分画像UI_m−1〜UI_m)のオーバーラップ領域OLにおける部分画像データDI_m−1とDI_mとの類似度を算出する。類似度の算出は、画像の位置を主走査方向DXにずらしながら(例えば、1画素ずつずらしながら)行われる。また、類似度の算出は、部分画像データDI_1〜DI_Nの全てについて行われることが望ましい。なお、本出願においては、類似度は、比較対象である2つの画像データの差異の程度を示す指標である。2つの画像データの類似度の値が小さいほど(すなわち、差異がゼロに近いほど)、それらはより類似している。また、2つの画像データの類似度の値が大きいほど(すなわち、差異が大きいほど)、それらはより非類似である。
マッチング候補選出部52は、類似度算出部51で算出された類似度D51から、オーバーラップ領域OLの画像データが一致する位置(一致の程度が高い位置)を、結合位置の候補を示す結合候補位置として算出し、結合候補位置を示す結合候補位置情報D52を結合位置決定部54に提供する。
画像解析部53は、画像メモリ4から読み出した部分画像データDI_1〜DI_Nを解析し、その解析の結果である推定フラグFaを結合位置決定部54に提供する。画像解析部53によって、撮像部2の光学ユニット20_1〜20_Nから原稿70までの原稿距離Lの大小を検出することができる。
結合位置決定部54は、マッチング候補選出部52から提供される結合候補位置情報D52と、画像解析部53における解析の結果である推定フラグFaとから、隣り合う画像データを結合するための主走査方向DXにおける結合位置を決定し、結合位置情報D5を画像結合部6に提供する。
図5は、図1に示される画像結合部6の構成を概略的に示すブロック図である。図5に示されるように、画像結合部6は、画像信号変換部61と、画像拡大縮小部62と、変換倍率算出部63と、画像境界結合部64とを有している。
画像信号変換部61は、画像メモリ4から読み出された部分画像データDI_1〜DI_Nと、結合位置推定部5で算出された結合位置情報D5とから、必要な画像変換処理を行う。必要な画像変換処理は、画像の濃淡変換処理、画像のノイズ除去などのための平滑化処理、画像を鮮明にする鮮鋭化処理などのような一般的な空間フィルタによる画像処理を含むことができる。
画像拡大縮小部62は、変換倍率算出部63で算出された変換倍率に応じて、画像の拡大及び縮小を行うことができる。拡大縮小の方法に制約はなく、バイリニア補間又はバイキュービック補間などのような一般的な処理方法を用いることができる。画像の拡大及び縮小の倍率は、部分画像データDI_1〜DI_Nに基づく部分画像UI_1〜UI_Nにおいて同じ倍率であってもよいし、異なる倍率であってもよい。なお、部分画像UI_1〜UI_Nは、光学ユニット20_1〜20_Nによって取得された部分画像データDI_1〜DI_Nに基づいて生成された副走査方向DYに長い領域の画像(後述の図7(c)に示される)である。例えば、対象となっている部分画像UI_mの左の領域の部分画像UI_m−1と右の領域の部分画像UI_m+1との変換倍率が異なる場合は、対象となっている部分画像UI_m内における変換倍率を部分画像UI_m内において滑らかに(徐々に)変化させて、部分画像UI_mとUI_m−1との結合位置における変換倍率の大きな差及び部分画像UI_mとUI_m+1との結合位置における変換倍率の大きな差が生じないようにしてもよい。
変換倍率算出部63は、結合位置推定部5から出力される結合位置情報D5から部分画像UI_1〜UI_Nの各々に対して決まる画像の拡大縮小倍率を算出する。
画像境界結合部64は、画像拡大縮小部62で拡大又は縮小処理された部分画像UI_1〜UI_Nを、結合位置情報D5を用いて、部分画像UI_1〜UI_Nのオーバーラップ領域OLに含まれる画像結合位置で隣り合う部分画像UI_m−1とUI_mを結合する。このとき、2つの部分画像を単純に結合する方法、隣り合うオーバーラップ領域OLの画像データをブレンドする方法により、滑らかに結合(結合位置付近における画素値の変化が緩やかになるように結合)する処理を採用してもよい。
図6は、図4に示される画像解析部53の構成を概略的に示すブロック図である。図6に示されるように、画像解析部53は、対象画像データ抽出部531と、エッジ強度算出部532と、エッジ強度平均値算出部533と、平均エッジ強度比較部534と、ヒストグラム生成部535と、相関値算出部536と、距離推定部537とを有している。
対象画像データ抽出部531は、センサーチップ22_1〜22_Nの出力に基づく部分画像データDI_1〜DI_Nから、画像解析部53で解析対象とする領域である互いに同じ形状の解析対象領域(例えば、図9(b)に示されるA1,…,Am)を選択し、対応する部分画像データDI_1〜DI_Nから解析対象領域の画像データを抽出する。抽出される解析対象領域の画像データの領域形状には、特に制約はないが、実施の形態1では、矩形領域が抽出される。また、部分画像UI_1〜DI_Nの全体を解析対象とする場合は、対象画像データ抽出部531において全領域を指定する処理を行う。ただし、この場合には、画像解析部53は、対象画像データ抽出部531で処理を行わないように構成してもよく、また、対象画像データ抽出部531を具備しない構成としてもよい。
エッジ強度算出部532は、対象画像データ抽出部531で抽出した解析対象領域の画像データのエッジ強度を画素毎に算出する。エッジ強度は、画素値の変化の度合い(鮮鋭度)を表す画像の特徴量である。エッジ強度は、一般的なエッジ検出方式を用いて算出可能であり、算出の方向(実施の形態1の場合は、主走査方向DXと副走査方向DY)及び用いる画像データの種類(輝度値、RGB値など)に制約はないが、実施の形態1では、画素値として輝度値を用いる。
エッジ強度平均値算出部533は、エッジ強度算出部532で算出された画素毎のエッジ強度の値に対して、各解析対象領域の画像データにおけるエッジ強度の平均値を算出する。なお、各解析対象領域の画像データにおけるエッジ強度を代表する代表値としては、平均値以外の値を用いてもよい。
平均エッジ強度比較部534は、エッジ強度平均値算出部533で求められたエッジ強度の平均値と予め決められた閾値とを比較し、この比較の結果であるエッジ強度比較フラグFeを出力する。
ヒストグラム生成部535は、エッジ強度算出部532で算出された画素毎のエッジ強度の値のヒストグラムを作成する。実施の形態1において、ヒストグラム生成部535は、解析対象領域の画像データにおけるエッジ強度の値に対する出現個数(度数)からヒストグラムを作成する。ただし、ヒストグラム生成部535は、隣接する複数(予め決められた個数)のエッジ強度の値を1つのグループとし、解析対象領域の画像データにおけるグループ毎の出現個数(度数)からヒストグラムを作成してもよい。
相関値算出部536は、ヒストグラム生成部535で生成されたヒストグラムから、解析対象領域の画像データにおける相関値Cを算出する。
距離推定部537は、平均エッジ強度比較部534から提供される比較の結果であるエッジ強度比較フラグFeと相関値算出部536から提供される相関値Cとから、画像読取装置1の撮像部2から原稿70までの原稿距離Lを推定する。
実施の形態1では、結合候補位置算出部50は、複数の部分画像データDI_1〜DI_Nの内の主走査方向DXに隣り合う領域に対応する部分画像データDI_m−1とDI_mの重複領域のデータから、隣り合う部分画像データDI_m−1とDI_mの主走査方向DXの画像結合位置の候補である結合候補位置を示す結合候補位置情報D52を取得する。
画像解析部53は、隣り合う部分画像データDI_m−1とDI_mにおける画素毎のエッジ強度の分布特性に基づいて、結合候補位置情報D52の確からしさを示す信頼度情報(距離推定情報)である推定フラグFaを生成する。
結合位置決定部54は、信頼度情報である推定フラグFaに基づいて、結合候補位置情報D52に基づく位置又は予め決められた位置を結合位置情報D5として出力する。
《1−2》動作
次に、実施の形態1に係る画像読取装置1の動作について説明する。図7(a)は、読取対象としての原稿70を示す斜視図であり、図7(b)は、原稿70と撮像部2との位置関係を示す図であり、図7(c)は、複数の部分画像(分割画像)UI_1〜UI_10及び複数のオーバーラップ領域OL_1〜OL_9の例を示す図である。実施の形態1では、図7(a)に示されるような冊子状の本が原稿70であり、図7(b)に示されるように、透明な原稿台71上の原稿70の表面(開いた本の下面)を主走査方向DXに読み取る走査を繰り返すことで、図7(c)に示されるような部分画像UI_1〜UI_10が得られる例を説明する。図7(a)から(c)の例では、撮像部2の光学ユニット20_1〜20_10の縮小光学セル21_1〜21_10から原稿70までの距離である原稿距離Lが、主走査方向DXの位置に応じて異なる(変動している)。
図7(a)では、原稿70の絵柄である文字部分は簡略化して線で表されている。線のある部分が文字列のある部分を示しており、原稿70の左右端付近の部分、上下端付近の部分、改行部分、段落分け部分などには、文字列のない空白部分(紙の色の部分)が存在する。
図7(b)に示されるように、原稿70を原稿台71上に載置し、主走査方向DXにおける原稿70の中心付近(縮小光学セル21_kの読取範囲付近)での原稿距離Lが、撮像部2でぼやけなく撮像可能な距離よりも大きい場合を説明する。
図7(b)の状態で、画像読取装置1を制御する制御部(例えば、図17に示されるプロセッサ81)が撮像部2と原稿70を副走査方向DYに搬送する搬送部とを制御し、副走査方向DYに原稿70を少しずつ移動させながら、主走査方向DXの読み取りを繰り返す。制御部は、読み取ったライン単位の画像データを画像メモリ4に順次保持させることで、原稿70の全体の画像データを得る。
制御部は、画像メモリ4には、原稿70の全体の画像データを保持させてもよいが、画像メモリ4に要求されるメモリ容量を抑制するために、画像処理部3における処理に必要な画像データだけを保持させてもよい。
原稿70を読み取ることで、光学ユニット20_1〜20_10の個数と同じ個数である10個の短冊状の部分画像データDI_1〜DI_10に対応する部分画像UI_1〜UI_10(図7(c)に示される)が得られる。図7(c)は、隣り合う部分画像UI_m−1とUI_mを結合することで形成された結合画像を示す。ただし、画像メモリ4で保持される画像データは、図7(c)に示されるものと同じである必要はない。
図7(c)で、隣り合う部分画像UI_m−1とUI_mの境界部分にある点線で囲まれた領域は、オーバーラップ領域OL_1〜OL_9である。オーバーラップ領域OL_1〜OL_9の面積は、原稿距離Lに依存して異なり、原稿距離Lが小さい場合は、オーバーラップ領域の面積が小さく、原稿距離Lが大きい場合は、原稿距離Lが小さい場合に比べてオーバーラップ領域OLの面積は大きい。実施の形態1では、原稿70と撮像部2の位置関係は、図7(b)のようになっているため、オーバーラップ領域OL_1の面積は小さく、オーバーラップ領域OL_2、OL_3、OL_4の面積はこの順に大きくなり、オーバーラップ領域OL_5の面積が最大である。オーバーラップ領域OL_6の面積は、オーバーラップ領域OL_5の面積より小さく、オーバーラップ領域OL_7、OL_8の面積はこの順に小さくなり、オーバーラップ領域OL_9の面積はオーバーラップ領域OL_1の面積と概ね同じで、小さい。副走査方向DYの位置を変更して主走査方向DXの読み取りを行う処理が繰り返されるが、副走査方向DYの位置に応じてオーバーラップ領域OLの面積が異なることがあり得る。
以上に、原稿距離Lとオーバーラップ領域OL_1〜OL_9の面積との関係を説明したが、オーバーラップ領域OL_1〜OL_9が主走査方向DXの1ラインである場合は、オーバーラップ領域OL_1〜OL_9の面積は主走査方向DXの画素数で表される。
結合位置推定部5は、隣り合う部分画像UI_m−1とUI_mの結合位置を推定する。図8(a)から(g)は、実施の形態1における原稿距離Lと読取範囲の関係を示す説明図である。図8(a)は、図8(b)のように原稿距離L=Laの場合(Lが小さい場合)における、主走査方向DXの幅が狭いオーバーラップ領域OL_naを示している。図8(f)は、図8(g)のように原稿距離L=Lb>Laの場合(Lが大きい場合)における、主走査方向DXの幅が広いオーバーラップ領域OL_nbを示している。
主走査方向DXのいずれの位置においても原稿距離Lの値が一定値である場合は、原理的には、オーバーラップ領域OLの幅も一定値であるため、部分画像UI_m−1とUI_mの結合位置、つまりオーバーラップ領域OLの重なり具合は、一意に決まる。
しかし、原稿距離Lの値が、主走査方向DXの位置に応じて変動する場合に、オーバーラップ領域の重なり具合は、オーバーラップ領域ごとに異なる。
このような場合に、単純にオーバーラップ領域を重ねて部分画像UI_m−1とUI_mとを結合すると、オーバーラップ領域内において同じ画像が重複したり、画像の一部が欠落したりする可能性がある。
図8(a)、(b)の場合、隣り合う部分画像UI_m−1とUI_mは、図8(c)のような位置関係で結合されることが望ましいが、部分画像UI_m−1の端からどのくらいの幅が隣りの部分画像UI_mと重ね合っているのかは分からないため、オーバーラップ領域の画像内容から隣り合う部分画像UIの位置関係を推定する必要がある。
結合位置推定部5の類似度算出部51は、隣り合う部分画像UI_m−1とUI_mの位置関係を評価する類似度を算出する。例えば、図8(d)又は図8(e)のように、2つの部分画像UI_m−1とUI_mの位置関係を主走査方向DXに少しずつずらしながら、オーバーラップ領域の画像の差異を示す類似度を算出する。類似度としては、一般的に、画像のパターンマッチングに用いられるSAD(差分絶対値和)又はSSD(差分二乗和)などを用いることができる。類似度算出部51は、複数の位置関係における類似度を算出するが、正しい位置関係で類似度を算出するときは、オーバーラップ領域の画像は一致し差異がないため、SAD又はSSDの値はゼロに近い値である。つまり、類似度としては、値が小さいほど差異がなく(すなわち、値が小さいほど、より類似しており)、画像間のマッチングが良好であることを示す。
類似度の算出に用いられる対象画像領域は、主走査方向DXの1ライン分の領域ではなく、ある1ラインと、この1ラインの副走査方向DYの前又は後の1又は複数ラインとを含む領域であってもよい。また、類似度の算出に用いられる画像領域の形状に制限はなく、種々の形状の画像領域を用いることができる。また、類似度の算出に用いられる画素データの値(画素値)は、RGB値、輝度値などであってもよい。
結合位置推定部5のマッチング候補選出部52は、類似度算出部51で算出された類似度D51に基づいて、1つ以上の結合候補位置を選出する。例えば、類似度の値が最小である位置(最も差異が小さい位置)だけでなく、類似度の値が最小である位置の近傍で、類似度が近似した値(類似度の値が最小である位置の画素値を基準にして予め設定された画素値の範囲内の値)を持つ場合は、複数のマッチング候補を選出してもよい。
次に、結合位置推定部5の画像解析部53の動作を説明する。画像解析部53は、類似度算出部51とは別に、部分画像UI_1〜UI_Nの内容から原稿距離Lの大小を推定し、推定の結果を示す推定フラグFaを出力する。実施の形態1では、類似度算出部51でオーバーラップ領域に含まれる画像内容(絵柄)を用いて類似度を算出しているが、図7(a)の原稿70では、オーバーラップ領域に絵柄が含まれない場合があり得る。例えば、原稿70の上端付近には絵柄がないため、この領域で類似度を算出すると部分画像UI_mとUI_m−1との位置のずれの程度によらず、類似度(差異)は全てゼロに近い値となる(すなわち、非常に似ていると判定される)ことが多い。
しかし、実際には冊子状の原稿70を読み取っており、主走査方向DXの位置に応じて原稿距離Lが異なっており、主走査方向DXの中心付近では画像がぼやけるが、主走査方向DXの左端付近(走査開始位置付近、すなわち、部分画像UI_1付近)及び右端付近(走査終了位置付近、すなわち、部分画像UI_N付近)では、通常、ぼやけはなく原稿70の表面の凹凸を読み取ることが可能である。画像解析部53は、この原稿70の表面の凹凸の、主走査方向DXの位置に応じた変動を検出する。
画像解析部53の対象画像データ抽出部531は、部分画像UI_1〜UI_Nの各々から解析対象とする領域の画像データを抽出する。図9(a)及び(b)は、図7(c)に示される部分画像UI_1〜UI_10に対応する。対象とする領域は、オーバーラップ領域と同一であってもよく、また、異なる領域(オーバーラップ領域の一部)であってもよい。実施の形態1では、図9(b)に示されるように、部分画像UI_1、UI_2、…、UI_m、…の主走査方向DXの中心付近の矩形領域A1、A2、…、Am、…を解析対象領域とし、部分画像UI_1〜UI_10の全てにおいて同じ位置の画像データを抽出する。
画像解析部53のエッジ強度算出部532は、対象画像データ抽出部531で選択された解析対象領域の画像データの各画素におけるエッジ強度を算出する。エッジ強度の値は正の整数であり、隣接画素間における画素値の変化量が大きいほどエッジ強度の値は大きい。したがって、解析対象領域に絵柄がない場合には、エッジ強度の値は小さい。
画像解析部53のエッジ強度平均値算出部533は、エッジ強度算出部532で求められた各画素におけるエッジ強度の平均値を算出する。ここでは、解析対象領域のエッジ強度の平均値が算出されるが、解析対象領域のエッジ強度の最大値又は中心値などのような解析対象領域のエッジ強度の状態を把握できる指標であれば平均値以外の指標を用いてもよい。
画像解析部53の平均エッジ強度比較部534は、エッジ強度の平均値により原稿距離Lが小さいことを判別できるように、エッジ強度比較フラグFeを設定する。解析対象領域に絵柄が含まれている場合には、絵柄が含まれていない場合に比べて、エッジ強度の平均値は大きい。このため、平均エッジ強度比較部534は、エッジ強度の平均値(平均エッジ強度)が予め決められた閾値より大きい場合にはエッジ強度比較フラグFeに“1”(結合候補位置情報の信頼度が高い)に設定し、そうでない場合にはエッジ強度比較フラグFeに“0”(結合候補位置情報の信頼度が低い)を設定する。比較対象とする閾値は、固定パラメータ値、又は、過去に処理した画像における平均値と原稿距離Lの判定結果を保持し、その内容に基づいて決められた値などに設定することができる。また、過去に処理した画像ではなく、事前に適切なチャート(すなわち、テストパターン)などで測定したデータに基づいて、閾値が決められてもよい。
画像解析部53のヒストグラム生成部535は、エッジ強度算出部532で算出された解析対象領域内の画素毎のエッジ強度について、エッジ強度毎に画素数を計測して得られたエッジ強度毎の出現個数(度数)からヒストグラムを生成する。図10(a)から(d)は、生成されたヒストグラムを示すヒストグラム曲線101〜104の例を示す。
解析対象領域に文字などのような比較的コントラストの高い絵柄があり、且つ原稿距離Lが小さい場合(すなわち、原稿70が基準位置である原稿台71から浮き上がっていない場合)には、図10(a)にヒストグラム曲線101として示すように、エッジ強度が小さい部分から大きい部分まで、広い範囲にわたりエッジ強度に画素が分布している。これは、原稿70の絵柄付近ではエッジ強度が大きい画素が存在し、絵柄のない空白部分では紙表面の凹凸によりエッジ強度が小さい多数の画素が存在するためである。
図10(a)の原稿と同じ原稿70で原稿距離Lを大きくして読み取りを行う場合、図10(b)のヒストグラム曲線102で示されるヒストグラムとなる(点線は図10(a)のヒストグラム曲線101である)。原稿距離Lが大きいと画像がぼやけるためエッジ強度は、全体的に小さくなり、ヒストグラム曲線102は、エッジ強度がゼロの方に寄る。さらに、本来エッジ強度が小さい画素のエッジ強度がさらに小さく検出され、エッジ強度がゼロ付近の画素数が増える。
図10(a)と同様に原稿距離Lが小さく、解析対象領域に絵柄がない場合には、図10(c)の実線で示すようなヒストグラム曲線103が得られる。これは、絵柄がないために、エッジ強度の大きな画素はなくなり、エッジ強度が小さな画素の数が増えるからである。
図10(c)と同じ原稿70で原稿距離Lを大きくすると、図10(d)の実線のようなヒストグラム曲線104が得られる。点線は図10(c)のヒストグラム曲線103である。図10(b)と同様に、本来エッジ強度が小さい画素のエッジ強度はさらに小さくなり、エッジ強度がゼロ付近となる画素が増える。
図10(a)から(d)では、解析対象領域の面積が変わらないので、座標軸の縦軸と横軸とヒストグラム曲線とで囲まれる部分の面積は同じであり、ヒストグラム曲線の形状が変わることになる。図10(a)から(d)のヒストグラム曲線101〜104でわかるように、原稿距離Lが小さければ、紙表面の凹凸又は裏映りがあることで、比較的エッジ強度の小さい部分で、ヒストグラム形状に差が生じる。
画像解析部53の相関値算出部536は、生成したヒストグラムから比較的エッジ強度が小さい集団を判別し、その集団に対する相関値を算出する。
図11(a)は、図10(c)と同じヒストグラム曲線103を示し、図11(b)は、図10(d)と同じヒストグラム曲線104を示す。図11(a)は、解析対象領域に絵柄がなく、原稿距離Lが小さい場合を示し、図11(b)は、解析対象領域に絵柄がなく、原稿距離Lが大きい場合を示す。原稿距離Lが小さくぼやけがない場合には、エッジ強度の小さい画素が多く存在することから、エッジ強度が小さい集団である弱エッジグループ(低鮮鋭度グループ)を判定し、その中におけるエッジ強度の最大値を求める。弱エッジグループとは、例えば、図11(a)では、エッジ強度Saよりも小さなエッジ強度を持つ画素の集合を指し、図11(b)では、エッジ強度Sbよりも小さなエッジ強度を持つ画素の集合を指す。
弱エッジグループのエッジ強度の最大値であるSa、Sbを決める方法として、エッジ強度がゼロから順に大きくなる方向にエッジ強度毎の度数(画素数)を累積し、この累積値が予め決められた累積値用閾値を超える点をエッジ強度の最大値とする方法がある。
しかし、エッジ強度は、画素値の変動を検出しているため画素値の変動のない画素では、エッジ強度がゼロとなることから、原稿距離Lにかかわらずエッジ強度がゼロの度数が最も大きくなる傾向がある。また、エッジ強度がゼロ付近のヒストグラムが、図11(c)のように局所的には、滑らかに変化していない(すなわち、急峻に増加及び減少する)場合がある。
そこで、解析対象領域の全画素のエッジ強度の度数を累積して累積値を求める代わりに、解析対象領域における予め決められた上限値より小さく且つ予め決められた下限値より大きい度数のみを累積して累積値を求めてもよい。このように、解析対象領域における予め決められた上限値より小さく且つ予め決められた下限値より大きい度数を、弱エッジグループのエッジ強度の最大値の判定対象として、弱エッジグループの中におけるエッジ強度の最大値を決定してもよい。
例えば、解析対象領域の画素数が累積値用閾値10000個である場合、各エッジ強度に対応する度数が200(下限値)より大きく3000(上限値)より小さいときのみを、対象度数として累積して累積値を求める。このような処理を、部分画像UI_1〜UI_Nの各々について、エッジ強度がゼロから順に大きくなる方向に繰り返す。つまり、弱エッジグループの最大値を算出するために用いられる対象範囲は、エッジ強度がゼロから最大値までの全範囲である必要はなく、適宜決めることができる。図11(c)では、矢印で示した対象範囲が累積値を求めるために使用され、対象範囲の内の丸で囲われた3つの部分は、条件を満たさないため累積の対象外となる。このようにして、弱エッジグループのエッジ強度の最大値Sbと、弱エッジグループに含まれる度数Nbが算出できる。
エッジ強度の度数を累積するか否かを判定するための上限値及び下限値は、事前に調整した固定のパラメータ値とすることができるが、原稿70の読取開始時に取得した画像データに基づいて算出した値としてもよく、また、以前に読み取った原稿の画像データから算出した値としてもよい。
次に、弱エッジグループのエッジ強度の最大値と度数を用いて、原稿距離Lの大小に依存して変化する相関値を算出する。ここで、算出する相関値Ckは、次式で得られる。
Ck=Nk/Sk
Skは、対象となる弱エッジグループにおけるエッジ強度の最大値、Nkは、弱エッジグループに含まれる度数である。kは、光学ユニットの番号である。実施の形態1では、kは、1〜10の整数であり、10個の相関値が算出される。
言い換えれば、画像解析部53は、複数の部分画像データDI_1〜DI_Nの各々において決められた解析対象領域における画素毎のエッジ強度の出現個数(度数)を求め、出現個数が予め決められた個数範囲(例えば、上限値以下の範囲、又は、下限値と上限値との間の範囲)内に存在するエッジ強度の出現個数を、エッジ強度が弱い側から計数することによって累積値Nkを求め、累積値Nkが予め決められた累積値用閾値(例えば、10000個)を超えたときのエッジ強度を、エッジ強度の最大値Skとし、最大値Skと累積値Nkとに基づいて、相関値Ckを生成する。
次に、原稿70の解析対象領域の絵柄と原稿距離Lによって、相関値Ckがどのように変化するかを図12(a)から(d)を用いて説明する。図12(a)から(d)の実線で示されるヒストグラム曲線101〜104は、図10(a)から(d)のヒストグラム曲線と同じである。弱エッジグループに含まれる度数Nkを求める際に、各エッジ強度における度数の上限と下限を考慮したが、この点を簡略化して説明する。
図12(a)は、絵柄(文字など)があり、原稿距離Lが小さい場合を示している。原稿距離Lが小さいと文字部分のエッジ強度は大きくなり、大きなエッジ強度の値を持つ画素が増え、弱エッジグループに含まれる度数Naが全体の度数に占める割合は小さくなる。
図12(b)は、絵柄(文字など)があり、原稿距離Lが大きい場合を示している。図12(a)と比べて原稿距離Lが大きく、全体としてエッジ強度が小さい部分に度数が集中するような分布になる。したがって、弱エッジグループに含まれる度数Nbが全体の度数に占める割合は、Naよりも大きい。
図12(c)は、絵柄(文字など)がなく、原稿距離Lが小さい場合を示している。図12(a)と比べて絵柄がないことから、エッジ強度が大きい部分の分布が少なく、且つ原稿70の表面の凹凸により比較的小さなエッジ強度の度数が増え、弱エッジグループに含まれる度数Ncは、Naより大きい。
図12(d)は、絵柄(文字など)がなく、原稿距離Lが大きい場合を示している。図12(d)は、図12(c)と比べて原稿距離Lが大きいことから、エッジ強度が大きい部分の分布が少ない。これは、図12(a)と図12(b)の関係と同様である。さらに、図12(d)では、エッジ強度がゼロに近い部分の度数が増え、最大値Sdは、Scよりも小さい。また、図12(b)と比較して、絵柄(文字など)の有無の違いがあることから、エッジ強度が最大値よりも大きい部分の度数(解析対象の画素数から弱エッジグループに含まれる度数を除いた数)は、図12(b)の方が大きい。
図12(a)の絵柄があり原稿距離Lが小さい場合は、解析対象領域に含まれるエッジ強度の最大値又は平均値が極度に大きいことを用いて、比較的容易に原稿距離Lが小さいことを判別できる。図12(d)の絵柄がなく原稿距離Lが大きい場合も同様に、解析対象領域に含まれるエッジ強度の最大値又は平均値が極度に小さいことを用いて、原稿距離Lが大きいことを判別できる。したがって、図12(a)と図12(d)の状態の判別は、エッジ強度平均値算出部533、平均エッジ強度比較部534を備えることで可能である。
図13は、図12(b)及び(c)と同じヒストグラム曲線102(グラフGb)及び103(グラフGc)を重ねて示している。グラフGbとグラフGcとは、領域A13付近の形状が異なる。これは、図12(b)では、原稿距離Lが大きく、原稿70の全体がぼやけるため、エッジ強度が全体的に小さくなり、絵柄部分以外の画素における原稿70の表面の凹凸によるエッジ強度も小さくなり、これに対し、図12(c)では、原稿距離Lが小さく、ぼやけはないが、絵柄がないため、原稿70の表面の凹凸によるエッジ強度は、弱エッジグループの中において比較的エッジ強度の大きいものだからである。弱エッジグループの最大値は、対象となるエッジ強度における度数が予め決められた下限値と上限値の間の範囲に収まるもののうちの最大のエッジ強度の値としていることから、グラフGbの最大値SbよりもグラフGcの最大値Scの方が大きい。
図12(b)と図12(c)では、対象とする原稿70に絵柄の有無の差がある。絵柄部分のエッジ強度は、原稿70の表面の凹凸によるエッジ強度に比べて分布する範囲が広く、特定範囲に集中せず、エッジ強度が大きくなるにしたがい徐々にその分布度数が減っていく。そのため、原稿距離Lが大きくなることでエッジ強度が小さい値の度数が多くなったとしても、弱エッジグループの中における比較的大きい値の周辺に度数が集中することはない。このように、グラフGbの形状とグラフGcの形状は、明確に異なる。
図12(b)で原稿70の表面の凹凸が見分けられないほど原稿距離Lが大きくなると原稿70のぼやけが大きくなり、最大値Sbよりも大きいエッジ強度における度数の分布はほとんどなくなり、グラフGbの度数Nbの値と、グラフGcの度数Ncの値の差が小さくなる。このとき、相関値Cb、Ccを求めると、NbとNcが同様な値である(すなわち、Nb≒Nc)ことから、最大値SbとScの違いが相関値CbとCcに反映され、Cb>Ccとなる。
画像解析部53の距離推定部537は、対象となる縮小光学セル21_kから原稿70までの原稿距離Lを推定する。距離推定部537は、平均エッジ強度比較部534から、対象となる部分画像UI_kの平均エッジ強度の大小、例えば、平均エッジ強度の大きさをいくつかに段階分けしたエッジ強度比較フラグFeを得る。平均エッジ強度が大きければ、原稿70がくっきりと(すなわち、ぼやけが無い状態で)読み取れているため、原稿距離Lは、小さいと判定できる。一方、距離推定部537は、相関値算出部536から、絵柄があっても原稿距離Lが大きくぼやけた画像なのか、原稿70に絵柄がなく原稿距離Lが小さく平坦な画像なのかを判別する相関値Cを得る。
ところで、類似度算出部51とマッチング候補選出部52では、画像データが結合可能であるという前提で処理を実行し、類似度算出部51の結果をもとにマッチング候補選出部52では、最も確からしい候補を選出する。しかしながら、対象となる光学ユニット20_kについての原稿距離Lが極度に大きくなる等すると、マッチング候補の選出を誤る可能性がある。
図14は、距離推定部537における距離推定手順を示すフローチャートである。図14では、推定フラグFaは、1ビットの値であり、“0”と“1”の2つの状態を表す。エッジ強度比較フラグFeから原稿距離Lが小さいと判定できる場合には(ステップS1においてYES)、距離推定部537は、推定フラグFaに“0”を設定する(ステップS3)。エッジ強度比較フラグFeから原稿距離Lが小さいと判別できない場合にはステップS1においてNO)、距離推定部537は、相関値Cが予め決められた基準値より大きければ(ステップS2においてYES)推定フラグFaに“0”を設定し(ステップS3)、相関値Cが基準値以下であれば(ステップS2においてNO)推定フラグFaに“1”を設定する(ステップS4)。推定フラグFaは、マッチング候補選出部52の出力の確からしさ(信頼度)の判定結果を表す信頼度情報である。推定フラグFaが“0”に設定された場合には、マッチング候補選出部52の出力の確からしさ(信頼度)は高く、推定フラグFaが“1”に設定された場合には、マッチング候補選出部52の出力の確からしさ(信頼度)は低い。
結合位置決定部54は、マッチング候補選出部52から得られる結合候補位置情報D52と画像解析部53からの推定フラグFaとから、画像結合位置を決定する。推定フラグFaが“0”である場合、結合位置決定部54は、原稿距離Lが類似度算出部51とマッチング候補選出部52で算出可能な範囲にあるものと判定して、マッチング候補選出部52から得られる結合候補位置を画像結合位置として出力する。推定フラグFaが“1”である場合、結合位置決定部54は、原稿距離Lが大きすぎてマッチング候補選出部52の出力の信頼度が低いと判定して、マッチング候補選出部52から得られる結合候補位置情報D52を使用せず、別の値を画像結合位置として出力する。
推定フラグFaが“1”である場合に採用される画像結合位置は、予め記憶部に保持された値を用いることができる。予め保持された値は、例えば、原稿70の搬送部の大きさなどの構造上の制約によって決まる原稿距離Lの最大値に基づいて決められた推測値、縮小光学セル21_kの性能に基づいて決められた推測値、他の光学ユニットに関して既に決定された画像結合位置に基づいて決められた推測値、又は、別のラインに関して既に決定された画像結合位置に基づく推測値などである。
このように、結合位置決定部54は、マッチング候補選出部52から出力される結合候補位置情報D52の信頼度が高いと判定された場合には、この結合候補位置情報D52が示す結合候補位置を画像結合位置として出力し、マッチング候補選出部52から出力される結合候補位置情報D52の信頼度が低いと判定された場合には、他の値(例えば、予め保持されている値)を画像結合位置として出力することで、画像結合位置のずれを小さくしている。
結合位置決定部54は、以上に説明した画像結合位置の設定動作を、複数の光学ユニット20_1〜20_Nの各々について行い、画像結合位置が求められる。原稿70の右端に対応する部分画像UI_10については、その右隣に結合すべき画像は存在しないため、推定フラグFaを求めなくてもよい。
画像結合部6は、結合位置推定部5で得られた結合位置情報D5を用いて、画像メモリ4から読み出した部分画像データDI_1〜DI_Nを、オーバーラップ領域で結合する。
結合位置情報D5が、原稿距離Lが大きい場合における情報である場合には、オーバーラップ領域の画像データからは正確な画像結合位置を算出できていないため、単純に画像を結合すると結合誤りが発生し得る。そのため、画像信号変換部61では、結合部分の画像を変換し、万一結合誤りが生じても、その誤りを目立たなくするように動作する。
なお、エッジ強度比較フラグFe及び推定フラグFaの各々は、1ビットの情報である場合を説明したが、2ビット以上であって3つ以上の状態を表すフラグを用いてもよい。その場合は、距離推定部537、及び結合位置決定部54で判定制御を詳細にすることができる。
《1−3》効果
以上に説明したように、実施の形態1に係る画像読取装置1及び画像読取方法によれば、部分画像データDI_1〜DI_Nから原稿距離Lが大きい(ぼやけがあり、結合候補位置情報D52の信頼度が低く、Fa=1である)か、小さい(ぼやけがなく、結合候補位置情報D52の信頼度が高く、Fa=0である)かを判定することができる。このため、Fa=1の場合に、部分画像UI_m−1とUI_mとの結合位置を類似度に基づく結合候補位置情報D52から決定せずに、予め準備された他の値とし、Fa=0の場合に、部分画像UI_m−1とUI_mとの結合位置を類似度に基づく結合候補位置情報D52から決定する。このように、画像解析部53が、類似度に基づく結合候補位置情報D52の信頼度が低いことを示す推定フラグFa=1を出力した場合には、結合位置を予め決められた他の位置などに切り替えることができるので、結合画像から、結合位置の誤りによる視認上の違和感を排除することができる。
また、実施の形態1に係る画像読取装置1及び画像読取方法によれば、特別なセンサーを備えなくても、原稿距離Lが大きいことを把握でき、部分画像UI_m−1とUI_mの結合位置を調整可能であるので、装置の構成を簡素化することができる。
《2》実施の形態2.
図15は、本発明の実施の形態2に係る画像読取装置の結合位置推定部5の画像解析部53aの構成を概略的に示すブロック図である。図15において、図6に示される構成要素と同一又は対応する構成要素には、図6における符号と同じ符号が付される。
実施の形態2に係る画像読取装置は、画像解析部53aが推定結果記憶部としての推定結果メモリ538を備えている点、及び画像解析部53aの距離推定部537aが推定結果メモリ538に記憶されている他のラインについての推定フラグFaを参照して結合位置決定部54に提供される処理対象のラインについての推定フラグFaを決定する点が、実施の形態1に係る画像読取装置1と異なる。この点以外の点については、実施の形態2に係る画像読取装置は、実施の形態1に係る画像読取装置1と同じである。したがって、実施の形態2の説明に際しては、図1から図5、図7から図14をも参照する。
次に、実施の形態2における画像解析部53aの距離推定部537aと推定結果メモリ538の動作を説明する。
上記実施の形態1においては、画像解析部53の距離推定部537は、エッジ強度比較フラグFeと相関値Cとから、原稿距離Lが閾値よりも大きいか小さいかの推定(判定)を行い、この推定の結果を示す推定フラグFaを結合位置決定部54に提供している。
これに対し、実施の形態2においては、他のラインについての推定フラグFaの値は推定結果メモリ538に保持されており、距離推定部537aは、エッジ強度比較フラグFeと、相関値Cと、推定結果メモリ538に記憶されている他のラインについての推定フラグFa(推定フラグ変動情報)とから、結合位置決定部54に提供される推定フラグFaを求めている。
図16(a)から(d)を用いて、推定フラグFaの変動について説明する。図16(a)は、光学ユニット20_1〜20_10によって読み取られた部分画像データDI_1〜DI_10に対応する部分画像UI_1〜UI_10から原稿距離Lを推定する際に用いられるライン位置を示している。画像読取動作が主走査方向DXの1ライン単位で行われる場合、画像解析部53aは、部分画像UI_1〜UI_10毎に推定フラグFaを算出する。つまり、主走査方向DXの1ライン当たり、10個の推定フラグFaが算出される。この動作を副走査方向DYに原稿70の位置をずらしながら、原稿70の終端(図16(a)の下端)まで繰り返す。原稿70の上端から副走査方向DYについての位置が異なる、第pライン、第qライン、第rラインの各々について(p、q、rは正の整数であり、p<q<rである)、部分画像UI_1〜UI_10毎に算出した推定フラグFaの状態が、図16(b)から(d)に示されている。これら推定フラグFaの状態は、推定結果メモリ538で保持される。
図16(b)から(d)における実線のグラフは、第pライン、第qライン、第rラインのライン位置における推定フラグFaの値を示している。図16(b)に、原稿距離Lの変動イメージを点線で示している。図16(b)からわかるように、部分画像UI_5とUI_6に対応する光学ユニット20_5と20_6で原稿距離Lが大きくなり(Fa=1であり)、部分画像UI_5とUI_6はぼやけている。このとき、図16(b)に示される推定フラグFaは、光学ユニット20_5と20_6では、“1”であり、その他の光学ユニット20_1〜20_4、20_7〜20_10では、“0”である。
図16(c)の実線のグラフは、第qラインにおける推定フラグFaの状態を示しており、その実線のグラフの形状は、図16(b)のものと同じである。
図16(d)の実線のグラフは、第rラインにおける推定フラグFaの状態を示している。図16(d)の点線のグラフは、図16(b)及び図16(c)における推定フラグFaの値と同じである。図16(d)の実線のグラフは、光学ユニット20_4と光学ユニット20_8でFa=“1”である点で、図16(b)及び図16(c)における推定フラグFaの値と異なる。
原稿70の上端(第1ライン)から第rラインの1ライン前である第(r−1)ラインまで、推定フラグFaの状態が図16(b)と同じであったとすれば、第rラインの推定フラグFaは、急激な原稿距離Lの変動がある可能性又は距離推定部537aにおける推定結果が誤っている可能性がある。
距離推定部537aでは、エッジ強度比較フラグFeと相関値Cにより原稿距離Lが閾値より大きいか小さいかを推定しているので、エッジ強度比較フラグFeの判定又は相関値Cの算出を誤ることで、距離推定部537aにおける判定結果は変わる。
しかしながら、第rラインの次のラインである第(r+1)ラインにおける推定フラグFaを算出した場合に、推定フラグが図16(d)と異なり、図16(b)と同じ結果であるならば、原稿距離Lの変動が急峻であると判定した判定結果に誤りがある可能性が高い。この場合、画像解析部53は、第rラインの推定フラグFaを、図16(d)の実線で示されるものから、図16(b)に実線で示される推定フラグFaに置き替えて出力することができる。
また、第rラインの次のラインである第(r+1)ラインにおける推定フラグFaの値が第rラインにおける推定フラグFaの値と同じであるときには、第(r−1)ラインと第rラインとの間で、原稿距離Lの変動があったとみなして、画像解析部53は、算出した通りの推定フラグFaを出力する。
以上に説明したように、実施の形態2に係る画像読取装置及び画像読取方法によれば、推定結果メモリ538を用いて他のラインの推定フラグFaの値を保持することで、推定フラグFaの変動を把握することができる。このため、画像解析部53aは、例えば、推定フラグFaの副走査方向DYにおける変動が予め決められたライン数以上継続しない場合には、判定誤りであると判断し、推定フラグFaの副走査方向DYにおける変動が予め決められたライン数以上継続したときに新しい推定フラグFaを出力することができる。このため、判定誤りを減らすことができ、結合画像データを高品質にすることができる。
また、実施の形態2では、画像解析部53aが推定結果メモリ538を有する構成としたが、結合位置推定部5に結合位置情報D5を保持するメモリを備え、結合位置情報D5の変動を把握できる構成とすることでも、結合位置情報D5の算出誤りを抑制することができる。
なお、実施の形態2では、第rラインの1ライン前及び1ライン後の結果を用いる場合を説明したが、用いられるラインは、これらに限定されない。例えば、第rラインの1及び2ライン前と、1及び2ライン後の結果を用いて判定してもよい。
以上に説明した点以外については、実施の形態2は、実施の形態1と同じである。
《3》変形例
上記実施の形態1及び2における画像読取装置の機能の一部は、ハードウェア構成で実現されてもよいし、あるいは、CPU(Central Processing Unit)を含むマイクロプロセッサにより実行されるコンピュータプログラムで実現されてもよい。画像読取装置の機能の一部がコンピュータプログラムで実現される場合には、マイクロプロセッサは、コンピュータ読み取り可能な記憶媒体からコンピュータプログラムをロードし実行することによって、画像読取装置の機能の一部を実現することができる。
図17は、実施の形態1及び2の変形例の画像読取装置のハードウェア構成の例を示す図である。図17は、画像読取装置の機能の一部をコンピュータプログラムで実現可能とするハードウェア構成を示す。図17に示されるように、画像読取装置は、撮像部2と、演算装置である画像処理部3と、原稿を撮像部2に対し相対的に副走査方向DYに移動させる搬送部86とを有している。画像処理部3は、制御部としてのCPUを含むプロセッサ81と、RAM(Random Access Memory)82と、不揮発性メモリ83と、大容量の記憶部84と、これらが接続されるバス85とを備えている。不揮発性メモリ83としては、例えば、フラッシュメモリを使用することができる。また、記憶部84としては、例えば、ハードディスク(磁気ディスク)装置、光ディスク記憶装置、及び半導体記憶装置等を使用することができる。
部分画像データDI_1〜DI_Nは、RAM82(画像メモリ4としての機能を持つ。)に格納させる。プロセッサ81は、不揮発性メモリ83又は記憶部84からコンピュータプログラムをロードし、ロードされたコンピュータプログラムを実行することによって、上記実施の形態1及び2における画像処理部3の機能を実現することができる。