JP6314633B2 - 画像処理装置およびコンピュータプログラム - Google Patents

Description

本発明は、第１の画像内の基準領域に類似する第２の画像内の対象領域を決定する技術に関する。

第１の画像と第２の画像とが合成される画像を表す出力画像データを生成する技術が知られている。例えば、特許文献１に開示された技術では、一度には読み取れない大きさの原稿を、スキャナを用いて２回に分けて読み取ることによって、第１の画像を表すスキャンデータと、第２の画像を表すスキャンデータと、が取得される。そして、２個のスキャンデータを用いて、第１の画像と第２の画像とが合成される合成画像を表す合成画像データが生成される。第１の画像と第２の画像とを合成する位置は、パターンマッチングを用いて決定される。

特開平４−２９００６６号公報

しかしながら、上記技術では、第１の画像と第２の画像とを合成するための処理の効率化について、十分に考慮されているとは言えなかった。このために、第１の画像内の基準領域に類似する第２の画像内の対象領域を決定するための処理時間が長くなる可能性があった。

本発明は、対応領域を決定するための処理時間を低減することができる新たな技術を提供することを目的とする。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。

［適用例１］画像処理装置であって、第１の画像を表す第１の画像データと、第２の画像を表す第２の画像データと、を取得する取得部と、前記第１の画像データを用いて、前記第１の画像内の一部の領域である基準領域を決定する基準領域決定部と、前記第２の画像データを用いて、前記第２の画像内の一部の領域であって、前記第２の画像内の第１の候補領域と第２の候補領域とを含む複数個の候補領域を特定する特定部であって、前記第２の候補領域は、少なくとも前記第１の候補領域の外の領域を含む、前記特定部と、前記基準領域内の複数個の画素のそれぞれの明るさを示す値と、前記複数個の候補領域のうちの一の候補領域内の複数個の画素のそれぞれの明るさを示す値と、を用いて、前記一の候補領域と前記基準領域とが類似するか否かを判断する第１の判断部と、前記基準領域内の複数個の画素のそれぞれの彩度および色相の少なくとも一方に関する値と、前記一の候補領域内の複数個の画素のそれぞれの彩度および色相の少なくとも一方に関する値と、を用いて、前記一の候補領域と前記基準領域とが類似するか否かを判断する第２の判断部と、前記基準領域に対応する前記第２の画像内の対応領域を、前記第１の判断部による判断結果と前記第２の判断部による判断結果とを用いて、前記複数個の候補領域の中から決定する対応領域決定部と、前記第１の画像データと前記第２の画像データとを用いて、前記基準領域と前記対応領域とが重なるように、前記第１の画像と前記第２の画像とが合成される合成画像を表す合成画像データを生成する生成部と、を備え、前記第１の判断部は、前記第１の候補領域と前記基準領域とが類似するか否かを判断し、前記第１の判断部によって前記第１の候補領域と前記基準領域とが類似すると判断される場合に、前記第２の判断部は、前記第１の候補領域と前記基準領域とが類似するか否かを判断し、前記第２の判断部によって前記第１の候補領域と前記基準領域とが類似すると判断される場合に、前記対応領域決定部は、前記第１の候補領域を前記対応領域として決定し、前記第１の判断部によって前記第１の候補領域と前記基準領域とが類似しないと判断される場合に、前記第２の判断部は、前記第１の候補領域と前記基準領域とが類似するか否かを判断せず、前記第１の判断部は、前記第２の候補領域と前記基準領域とが類似するか否かを判断し、前記第２の判断部によって前記第１の候補領域と前記基準領域とが類似しないと判断される場合に、前記第１の判断部は、前記第２の候補領域と前記基準領域とが類似するか否かを判断し、前記第１の判断部によって前記第２の候補領域と前記基準領域とが類似すると判断される場合に、前記第２の判断部は、前記第２の候補領域と前記基準領域とが類似するか否かを判断し、前記第２の判断部によって前記第２の候補領域と前記基準領域とが類似すると判断される場合に、前記対応領域決定部は、前記第２の候補領域を前記対応領域として決定する、画像処理装置。

上記構成によれば、第１の判断部によって第１の候補領域と基準領域とが類似していないと判断されると、第２の判断部により第１の候補領域と基準領域とが類似するか否かが判断されないため、第１の判断部によって第１の候補領域と基準領域とが類似していないと判断される場合に、第２の判断部により第１の候補領域と基準領域とが類似するか否かが判断される構成よりも、効率良く対応領域を決定することができる。したがって、対応領域を決定するための処理の処理時間を低減することができる。

なお、本発明は、種々の形態で実現することが可能であり、例えば、画像読取装置、画像処理装置や画像読取装置の制御方法、これらの装置または方法を実現するためのコンピュータプ口グラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

実施例における画像処理システムの構成を示すブロック図ある。 画像処理システム１０００の動作を示すシーケンス図である。 本実施例で用いられる原稿の一例を示す図である。 ＵＩ画面の一例を示す図である。 スキャン画像の一例を示す図である。 合成画像３０の一例を示す図である。 基準領域決定処理のフローチャートである。 基準領域決定処理の説明図である。 ばらつき画素と非ばらつき画素とを説明する図である。 対応領域決定処理のフローチャートである。 探索領域内に特定されるべき複数個の候補領域について説明する図である。 類似度ＳＹの算出処理のフローチャートである。 類似度ＳＣｂの算出処理のフローチャートである。 比較領域について説明する図である。

Ａ．実施例：
Ａ−１：画像処理システム１０００の構成
図１は、実施例における画像処理システムの構成を示すブロック図である。画像処理システム１０００は、画像処理装置としてのサーバ４００と、複合機２００と、を備えている。サーバ４００は、インターネット７０に接続されており、複合機２００は、ＬＡＮ（Local Area Network）８０を介して、インターネット７０に接続されている。この結果、サーバ４００と複合機２００は、ＬＡＮ８０とインターネット７０とを介して、通信可能である。また、ＬＡＮ８０には、複合機２００のユーザのパーソナルコンピュータ５００が接続されていても良い。

サーバ４００は、ＣＰＵ４１０と、ＤＲＡＭなどの揮発性記憶装置４２０と、ハードディスクドライブやフラッシュメモリなどの不揮発性記憶装置４３０と、インターネット７０などのネットワークに接続するためのインタフェースを含む通信部４８０と、を備えている。揮発性記憶装置４２０には、ＣＰＵ４１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域４２１が設けられている。不揮発性記憶装置４３０には、コンピュータプログラム４３１と、ＵＩデータ群４３３と、が格納されている。

コンピュータプログラム４３１、および、ＵＩデータ群４３３は、例えば、サーバ４００の管理者によって、インターネット７０を介してサーバ４００にアップロードされることにより、サーバ４００にインストールされる。または、コンピュータプログラム４３１、および、ＵＩデータ群４３３は、例えば、ＤＶＤ−ＲＯＭなどに格納された形態で提供され、サーバ４００の管理者によって、サーバ４００にインストールされても良い。ＣＰＵ４１０は、コンピュータプログラム４３１を実行することにより、後述する画像処理を実現する。

複合機２００は、ＣＰＵ２１０と、ＤＲＡＭなどの揮発性記憶装置２２０と、フラッシュメモリやハードディスクドライブなどの不揮発性記憶装置２３０と、プリンタ部２４０と、スキャナ部２５０と、タッチパネルやボタンなどの操作部２６０と、液晶ディスプレイなどの表示部２７０と、外部機器と通信を行う通信部２８０と、を備えている。例えば、通信部２８０は、ＬＡＮ８０などのネットワークに接続するためのインタフェースや、外部記憶装置（例えば、ＵＳＢメモリ）と接続するためのインタフェースを含んでいる。

揮発性記憶装置２２０には、ＣＰＵ２１０が処理を行う際に生成される種々のデータを一時的に格納するバッファ領域２２１が設けられている。不揮発性記憶装置２３０には、制御プログラム２３１が格納されている。

プリンタ部２４０は、インクジェット方式やレーザー方式などの印刷方式を用いて印刷を実行する。スキャナ部２５０は、光電変換素子（例えば、ＣＣＤ、ＣＭＯＳ）を用いて光学的に原稿を読み取ることによってカラー画像やグレー画像を表すスキャンデータを生成する。スキャナ部２５０は、いわゆるフラットベッド式の原稿台を備えている。なお、原稿台の長手方向のサイズは、ＩＳＯ（International Organization for Standardizationの略称）２１６で定められている紙の寸法を規定するＡ４サイズの長手方向の長さである２９７ｍｍより少しだけ（例えば、数センチ）長いサイズである。そして、原稿台の短手方向のサイズは、ＡＮＳＩ／ＡＳＭＥ（American National Standards Institute／American Society of Mechanical Engineersの略称）Ｙ１４．１で定められている紙の寸法を規定するレターサイズの短手方向の長さである２１５．９ｍｍより少しだけ（例えば、数センチ）長いサイズである。本実施例では、１回で読み取ることができる原稿の最大サイズは、Ａ４サイズより大きくＡ３サイズ（ＩＳＯで定められている紙の寸法）より小さいサイズである。具体的には、スキャナ部２５０は、長手方向の長さがＡ４サイズの長手方向の長さより少しだけ長く、かつ、短手方向の長さがレターサイズの短手方向の長さより少しだけ長い原稿を読み取り、当該原稿のサイズの画像を表す画像データを生成する。このために、後述するように、Ａ３サイズの原稿の長手方向の中央付近が重複するように、Ａ３サイズの原稿を２回に分けて読み取ることができる。

ＣＰＵ２１０は、制御プログラム２３１を実行することにより、複合機２００の制御を実行する。例えば、ＣＰＵ２１０は、プリンタ部２４０やスキャナ部２５０を制御して、コピー処理、印刷処理、スキャン処理などを実行する。さらに、ＣＰＵ２１０は、サーバ４００にアクセスして、サーバ４００が提供するサービスを利用するサービス利用処理を、実行することができる。

Ａ−２：画像処理システム１０００の動作
図２は、画像処理システム１０００の動作を示すシーケンス図である。このシーケンス図の処理は、複合機２００が、サーバ４００が提供する画像生成サービスの利用指示を、ユーザから受け付けた場合に開始される。この画像生成サービスは、詳細は後述するが、複数個のスキャンデータによって表される複数個のスキャン画像を合成するサービスである。複数個のスキャンデータは、詳細は後述するが、例えば、１回で読み取り可能なサイズより大きなサイズの原稿を、複数回に分けて読み取ることによって生成される。

処理が開始されると、Ｓ５では、複合機２００のＣＰＵ２１０は、サービス開始要求を、サーバ４００に対して送信する。サーバ４００のＣＰＵ４１０は、サービス開始要求を受信すると、ＵＩデータ群４３３（図１）から画像生成サービスの提供に必要なＵＩデータを選択し、該ＵＩデータを複合機２００に対して送信する（Ｓ１０）。ＵＩデータは、具体的には、ユーザインタフェース画面（以下、ＵＩ画面）を表す画面データと、制御データと、を含む。この制御データは、例えば、ＵＩ画面を利用して複合機２００が所定の処理（具体的には、後述するＳ１５のスキャン処理）を行うために必要な各種のデータを含む。例えば、制御データは、ＵＩ画面（例えば、図４）を介して受け付けたユーザの指示に基づいて、複合機２００が実行すべき処理（例えば、サーバ４００へのスキャンデータの送信）を行うために必要な情報（例えば、スキャンデータの送信先アドレス）を含む。

Ｓ１５では、ＣＰＵ２１０は、受信したＵＩデータに基づいて、複数個のスキャンデータを生成するスキャン処理を実行する。スキャン処理では、ＣＰＵ２１０は、ユーザが用意した原稿を２回に分けて読み取ることによって、２個のスキャンデータを生成する。本実施例のスキャンデータは、ＲＧＢの各成分の値（例えば、０〜２５５の２５６階調の値）を画素ごとに含むＲＧＢ画像データである。

図３は、本実施例で用いられる原稿の一例を示す図である。図３の原稿１０のサイズは、スキャナ部２５０が１回で読み取り可能なサイズ（本実施例では、Ａ４サイズより少し大きなサイズ）の約２倍のサイズ（本実施例では、Ａ３サイズ）である。

図４は、ＵＩ画面の一例を示す図である。先ず、ＣＰＵ２１０は、図４のＵＩ画面ＵＧ１を表示部２７０に表示する。例えば、ＵＩ画面ＵＧ１は、原稿台への原稿１０の適切な設置を促すメッセージＭＳ１と、スキャンボタンＳＢと、キャンセルボタンＣＢと、を含んでいる。ユーザは、ＵＩ画面ＵＧ１に従って、原稿１０の左側の約半分の領域１０Ｌ（図３）を読み取ることができるように、原稿１０を原稿台に設置し、スキャンボタンＳＢを押下する。スキャンボタンＳＢの押下に応じて、ＣＰＵ２１０は、スキャナ部２５０を制御して原稿を読み取ることによって、左側スキャンデータを生成する。

図５は、スキャン画像の一例を示す図である。図５（Ａ）には、左側スキャンデータによって表される左側スキャン画像２０Ｌが示されている。左側スキャン画像２０Ｌは、原稿１０の左側の約半分の領域１０Ｌ（図３）を示す左側原稿画像ＨＩＬと、余白ＷＢＬと、を含んでいる。

次に、ＣＰＵ２１０は、所定のＵＩ画面（図示省略）を表示部２７０に表示する。このＵＩ画面は、ＵＩ画面ＵＧ１と同様に、原稿台への原稿１０の適切な設置を促すメッセージと、スキャンボタンと、キャンセルボタンと、を含んでいる。ユーザは、ＵＩ画面に従って、原稿１０の右側の約半分の領域１０Ｒ（図３）を読み取ることができるように、原稿１０を原稿台に設置し、スキャンボタンを押下する。ＣＰＵ２１０は、スキャンボタンの押下に応じて、スキャナ部２５０を制御して原稿を読み取ることによって、右側スキャンデータを生成する。

図５（Ｂ）には、右側スキャンデータによって表される右側スキャン画像２０Ｒが示されている。右側スキャン画像２０Ｒは、原稿１０の右側の約半分の領域１０Ｒ（図３）を示す右側原稿画像ＨＩＲと、余白ＷＢＲと、を含んでいる。

ここで、図３の原稿１０の横方向の中央部ＣＡを表す画像は、左側スキャン画像２０Ｌの右辺に沿った領域と、右側スキャン画像２０Ｒの左辺に沿った領域と、の両方に含まれている。すなわち、図５にハッチングで示すように、左側スキャン画像２０Ｌは、原稿１０の中央部ＣＡを表す画像ＣＩＬを含み、右側スキャン画像２０Ｒは、原稿１０の中央部ＣＡを表す画像ＣＩＲを含んでいる。これは、例えば、ＵＩ画面や複合機２００の説明書などによって、原稿１０の中央部ＣＡが、右側スキャンデータの生成時と左側スキャンデータの生成時との両方で読み取られるように、原稿１０を原稿台に設置するように、ユーザに指示することによって、実現される。なお、左側スキャン画像２０Ｌ内の画像ＣＩＬと、右側スキャン画像２０Ｒ内の画像ＣＩＲとは、ともに原稿１０の中央部ＣＡを表しているが、ユーザによって原稿台に設置された原稿１０の位置、スキャナ部２５０の光電変換素子の特性などによって、面積や色などに多少の差は、生じ得る。

なお、本実施例では、スキャンデータの生成時に、ＣＰＵ２１０は、図示しないＵＩ画面を介して、生成されるべきスキャンデータによって表される画像をカラー画像とするかグレー画像とするかについての指示をユーザから取得する。カラー画像は、有彩色を含む複数の色（例えば、ＲＧＢ各成分値が２５６階調、すなわち、２５６×２５６×２５６＝約１６００万色）を用いて表現される画像である。グレー画像は、無彩色のみを含む複数の色（例えば、２５６階調の無彩色）を用いて表現される画像である。生成される右側スキャンデータおよび左側スキャンデータは、ユーザからのカラー画像に関する指示に応じたカラー画像、または、ユーザからのグレー画像に関する指示に応じたグレー画像を表すスキャンデータである。

具体的には、スキャナ部２５０は、ユーザからの指示に拘わらずに、一旦は、カラー画像を表すスキャンデータ（ＲＧＢ画像データ）を生成する。ＣＰＵ２１０は、ユーザからの指示がグレー画像を表すスキャンデータを生成する指示である場合には、カラー画像を表すスキャンデータを、グレー画像を表すスキャンデータに変換する。この変換処理は、例えば、変換前のスキャンデータのＲＧＢ値を用いて、グレー成分を表す値を公知の式に従って算出することによって実行される。変換後のスキャンデータは、例えば、ＲＧＢの３つの成分値が全て同じ値、すなわち、グレー成分を表す値に変換されたスキャンデータである。したがって、グレー画像を表すスキャンデータも、形式的には、カラー画像を表すスキャンデータと同様のＲＧＢ画像データである。ユーザからの指示がカラー画像を表すスキャンデータを生成する指示である場合には、この変換処理は実行されない。なお、右側スキャンデータおよび左側スキャンデータには、当該スキャンデータによって表される画像がカラー画像であるかグレー画像であるかを示すメタデータが付加される。

図２のＳ２０では、ＣＰＵ２１０は、右側スキャン画像２０Ｒを表す右側スキャンデータと、左側スキャン画像２０Ｌを表す左側スキャンデータと、をサーバ４００に対して送信する。この結果、Ｓ２５にて、サーバ４００のＣＰＵ４１０は、右側スキャンデータと、左側スキャンデータと、取得して、バッファ領域４２１に格納する。

Ｓ３０では、ＣＰＵ４１０は、右側スキャンデータを用いて、基準領域決定処理を実行する。基準領域決定処理は、右側スキャンデータによって表される右側スキャン画像２０Ｒの一部の領域である基準領域ＳＰを決定する処理である。なお、基準領域決定処理の詳細は、後述する。

Ｓ３５では、ＣＰＵ４１０は、対応領域決定処理を実行する。対応領域決定処理は、右側スキャン画像２０Ｒ内の基準領域ＳＰに対応する左側スキャン画像２０Ｌ内の対応領域ＣＰを決定する処理である。基準領域ＳＰに対応する対応領域ＣＰは、次のように定義できる。右側スキャン画像２０Ｒ内の基準領域ＳＰ（図５（Ｂ））内に表されている原稿１０の一部分を特定部分ＳＰＴ（図３）とする。基準領域ＳＰに対応する対応領域ＣＰは、左側スキャン画像２０Ｌにおいて、原稿１０の特定部分ＳＰＴを表す領域である。なお、対応領域処理の詳細は、後述する。

Ｓ４０では、ＣＰＵ４１０は、合成処理を実行する。合成処理では、右側スキャンデータと左側スキャンデータとを用いて、右側スキャン画像２０Ｒ内の右側原稿画像ＨＩＲと、左側スキャン画像２０Ｌ内の左側原稿画像ＨＩＬとが合成された合成画像３０を表す合成画像データが生成される。

図６は、合成画像３０の一例を示す図である。図６に示すように、合成画像３０において、右側原稿画像ＨＩＲと左側原稿画像ＨＩＬとは、右側原稿画像ＨＩＲ内の基準領域ＳＰと、左側原稿画像ＨＩＬ内の対応領域ＣＰと、が重なるように、合成される。合成画像３０において、右側原稿画像ＨＩＲと左側原稿画像ＨＩＬとが互いに重なり合う領域内の画素の値には、例えば、右側原稿画像ＨＩＲ（右側スキャン画像２０Ｒ）内の画素の値が優先的に採用される。これによって、右側原稿画像ＨＩＲと左側原稿画像ＨＩＬとが合成されて、図３の原稿１０を表す合成画像３０が生成される。

なお、後述する対応領域決定処理において、基準領域ＳＰに対応する対応領域ＣＰを決定できなかった場合には、例えば、機械的に、左側スキャン画像２０Ｌの右端の辺と、右側スキャン画像２０Ｒの左端の辺と、が接するように、２個のスキャン画像が合成された合成画像を表す合成画像データが生成される（図示省略）。

図２のＳ４５では、ＣＰＵ４１０は、生成された合成画像データを複合機２００に対して送信する。複合機２００のＣＰＵ２１０は、合成画像データを受信すると、受信した合成画像データを不揮発性記憶装置２３０に格納するとともに、ユーザに合成画像データを受信したことを通知する。合成画像データは、ユーザの利用に供される。例えば、複合機２００は、ユーザの指示に基づいて、合成画像データを用いて、合成画像３０を印刷することができる。

以上説明した画像処理システム１０００によれば、一の原稿１０（図３）からそれぞれ別の領域を読み取ることによって得られる複数個の画像データ（具体的には、右側スキャンデータと左側スキャンデータ）を用いて、一の原稿１０を表す合成画像データを生成することができる。

次に、図２のＳ３０で示した基準領域決定処理を説明する。図７は、基準領域決定処理のフローチャートである。Ｓ１０５では、ＣＰＵ４１０は、右側スキャン画像２０Ｒ内に、配置範囲ＦＡを決定する。決定された配置範囲ＦＡの内側に、基準領域決定処理によって、基準領域ＳＰが決定される。配置範囲ＦＡは、図５（Ｂ）に示す予め定められた範囲に設定される。配置範囲ＦＡは、図５（Ｂ）に示すように、右側スキャン画像２０Ｒの左辺に沿って配置されている。

配置範囲ＦＡの横方向の長さ（すなわち、短手方向の長さ）は、右側スキャン画像２０Ｒにおいて、原稿１０の中央部ＣＡを表す画像ＣＩＲの横方向の幅より狭いことが好ましい。配置範囲ＦＡの縦方向の長さ（すなわち、長手方向の長さ）は、右側スキャン画像２０Ｒの縦方向の長さと等しい。

Ｓ１１０では、ＣＰＵ４１０は、基準領域ＳＰのサイズを決定する。本実施例では、基準領域ＳＰのサイズは、予め定められた値に決定される。具体的には、基準領域ＳＰは、基準領域ＳＰの横方向のサイズは、例えば、５画素〜２０画素程度であり、基準領域ＳＰの縦方向のサイズは、右側スキャン画像２０Ｒの縦方向の画素数の１／４〜１／２程度である。

Ｓ１１５では、ＣＰＵ４１０は、配置範囲ＦＡ内の複数個の部分画像の中から、１個の注目部分画像を選択する。図８は、配置範囲ＦＡ内の複数個の部分画像について説明する図である。

部分画像のサイズおよび形状は、Ｓ１１０にて決定された基準領域ＳＰと同じである。図８には、配置範囲ＦＡの上辺および左辺と、上辺および左辺が一致する部分画像ＰＩ１と、配置範囲ＦＡの下辺および左辺と、下辺および左辺が一致する部分画像ＰＩ２と、配置範囲ＦＡの上辺および右辺と、上辺および右辺が一致する部分画像ＰＩ３と、配置範囲ＦＡの下辺および右辺と、下辺および右辺が一致する部分画像ＰＩ４と、が図示されている。

図８に矢印で示すように、左上の端の部分画像ＰＩ１が最初の注目部分画像として選択される。そして、１画素ずつ下方向に位置がずれた部分画像が、順次に選択される。そして、左下の端の部分画像ＰＩ２が選択されると、左上の端の部分画像ＰＩ１の位置から１画素だけ右方向にずれた部分画像が選択される。その後は、再び１画素ずつ下方向に位置がずれた部分画像が、順次に選択される。最後に選択される部分画像は、右下の端の部分画像ＰＩ４である。

１個の注目部分画像が選択されると、Ｓ１２０では、ＣＰＵ４１０は、注目部分画像のばらつき画素数ＶＣを算出する。

ばらつき画素数ＶＣの算出方法は、以下の通りである。先ず、ＣＰＵ４１０は、注目部分画像内の複数個の画素を、２種類の画素、すなわち、ばらつき画素と、非ばらつき画素と、に分類する。

図９は、ばらつき画素と非ばらつき画素とを説明する図である。ＣＰＵ４１０は、注目部分画像内の複数個の画素を１個ずつ注目画素ＴＰとして選択して、注目画素ＴＰがばらつき画素であるか非ばらつき画素であるかを判断する。具体的には、図９に示すように、ＣＰＵ４１０は、注目画素ＴＰを中心とする横３画素×３画素分の領域ＦＬ内の画素を用いて、当該判断を実行する。まず、図９の式に示すように、ＣＰＵ４１０は、注目画素ＴＰの値（Ｒ０、Ｇ０、Ｂ０）と、周囲の８個の画素の値（Ｒｎ、Ｇｎ、Ｂｎ）のそれぞれと、の差分ΔＶｎを算出する。ｎは、注目画素の周囲の８個の画素を識別する１〜８までの番号であり、図９の領域ＦＬ内の各画素に付された番号である。ΔＶｎは、図９に式で示すように、３種類の成分値の差分の絶対値の和で表される。すなわち、ΔＶｎは、（Ｒｎ−Ｒ０）の絶対値と、（Ｇｎ−Ｇ０）の絶対値と、（Ｂｎ−Ｂ０）の絶対値と、の合計値で表される。ＣＰＵ４１０は、図９に式で示すように、算出された８個の差分ΔＶｎの合計値を、注目画素ＴＰのばらつき値Ｖとして算出する。

注目画素ＴＰのばらつき値Ｖが、所定の閾値Ｖｔｈ以上である場合には、注目画素ＴＰは、ばらつき画素であると判断される。注目画素ＴＰのばらつき値Ｖが、所定の閾値Ｖｔｈ未満である場合には、注目画素ＴＰは、非ばらつき画素であると判断される。これによって、注目部分画像内の全ての画素が、ばらつき画素と非ばらつき画素とのいずれかに分類される。

ＣＰＵ４１０は、注目部分画像内のばらつき画素の個数ＶＣ（ばらつき画素数ＶＣ）を算出する。

Ｓ１２５では、ＣＰＵ４１０は、注目部分画像のばらつき画素数ＶＣと、記憶値ＶＣｍと、を比較する。記憶値ＶＣｍは、処理済みの部分画像のばらつき画素数ＶＣのうちの最大値である。記憶値ＶＣｍの初期値は、０である。

注目部分画像のばらつき画素数ＶＣが、記憶値ＶＣｍより大きい場合には（Ｓ１３０：ＹＥＳ）、Ｓ１３５において、ＣＰＵ４１０は、注目部分画像のばらつき画素数ＶＣを、新たな記憶値ＶＣｍとして記憶する。そして、Ｓ１４０において、ＣＰＵ４１０は、注目部分画像の左上の画素の座標Ｐ（Ｘ１、Ｙ１）を、最大のばらつきを有する部分画像を示す情報として記憶する。注目部分画像のばらつき画素数ＶＣが、記憶値ＶＣｍ以下である場合には（Ｓ１３０：ＮＯ）、ＣＰＵ４１０は、Ｓ１３５、Ｓ１４０をスキップして、Ｓ１４５に処理を進める。

Ｓ１４５では、ＣＰＵ４１０は、配置範囲ＦＡ内の全ての部分画像（図８）を注目部分画像として処理したか否かを判断する。未処理の部分画像がある場合には（Ｓ１４５：ＮＯ）、ＣＰＵ４１０は、Ｓ１１５に戻って、未処理の部分画像を注目部分画像として選択する。全ての部分画像が処理された場合には（Ｓ１４５：ＹＥＳ）、Ｓ１５０において、ＣＰＵ４１０は、上述したＳ１４０にて部分画像の座標Ｐ（Ｘ１、Ｙ１）が記憶されているか否かを判断する。

部分画像の座標Ｐ（Ｘ１、Ｙ１）が記憶されている場合には（Ｓ１５０：ＹＥＳ）、Ｓ１６０において、ＣＰＵ４１０は、記憶された座標Ｐ（Ｘ１、Ｙ１）によって特定される部分画像の領域を、基準領域ＳＰとして決定する。部分画像の座標Ｐ（Ｘ１、Ｙ１）が記憶されていない場合には（Ｓ１５０：ＮＯ）、Ｓ１５５において、ＣＰＵ４１０は、デフォルトの領域を、基準領域ＳＰとして決定する。デフォルトの領域は、例えば、座標Ｐ（Ｘ１、Ｙ１）＝（１、１）によって特定される部分画像の領域である。基準領域ＳＰが決定されると、基準領域決定処理は終了される。

以上の説明から解るように、本実施例の基準領域決定処理では、配置範囲ＦＡ内の複数個の部分画像のうち、最大のばらつき画素数ＶＣを有する部分画像の領域が、基準領域ＳＰとして決定される。図５（Ｂ）には、右側スキャン画像２０Ｒの配置範囲ＦＡ内に決定された基準領域ＳＰが図示されている。

次に、図２のＳ３５で示した対応領域決定処理について説明する。図１０は、対応領域決定処理のフローチャートである。Ｓ３０５では、ＣＰＵ４１０は、右側スキャンデータの複数個の画素の値を、ＲＧＢ色空間の値（Ｒ値、Ｇ値、Ｂ値）から、ＹＣｂＣｒ色空間の画素の値（Ｙ値、Ｃｂ値、Ｃｒ値）に変換する色変換処理を実行する。ＹＣｂＣｒ色空間の値は、明るさを示す成分値（具体的には、Ｙ値）と、彩度および色相に関する成分値（具体的には、Ｃｂ値とＣｒ値）と、を含む。色変換処理は、公知の変換式を用いて実行される。本実施例では、変換後のＹＣｂＣｒ色空間の値（Ｙ値、Ｃｂ値、Ｃｒ値）は、それぞれ、２５６階調の値である。

Ｓ３１０では、ＣＰＵ４１０は、左側スキャン画像２０Ｌ内の探索領域ＳＡを決定する。図５（Ａ）の左側スキャン画像２０Ｌ内には、探索領域ＳＡが示されている。探索領域ＳＡは、予め定められた領域である。探索領域ＳＡの縦方向の長さは、左側スキャン画像２０Ｌの縦方向の全長に等しい。探索領域ＳＡの左右方向の長さは、例えば、左側スキャン画像２０Ｌの左右方向の長さの２０％〜５０％である。探索領域ＳＡは、例えば、左側スキャン画像２０Ｌの右辺と、上辺の右側の部分と、下辺の右側の部分と、を含む領域である。

Ｓ３１５では、ＣＰＵ４１０は、探索領域ＳＡ内に特定されるべき複数個の候補領域の中から、１個の注目候補領域を特定する。図１１は、探索領域ＳＡ内に特定されるべき複数個の候補領域について説明する図である。説明のために、図１１の探索領域ＳＡ内の画素の座標を、右方向を正方向とするＸ２軸と下方向を正方向とするＹ２軸とを有する２次元座標系を用いて表す。

候補領域の形状およびサイズは、図７の基準領域決定処理によって右側スキャン画像２０Ｒ内に決定された基準領域ＳＰ（図５（Ｂ））に応じて決定される。まず、基準領域ＳＰと同じ形状およびサイズを有する枠ＮＰが、探索領域ＳＡの少なくとも一部とが重なるように、探索領域ＳＡに対して配置される。そして、枠ＮＰ内の領域のうち、探索領域ＳＡと重なる領域が注目候補領域として特定される。

図１１の枠ＮＰａは、最も右側かつ上側に配置される枠である。この枠ＮＰａの左上の画素Ｐａの座標を（ｋ、１）とする。画素Ｐａの横方向（Ｘ２軸方向）の位置は、探索領域ＳＡの右端の画素の横方向の位置と同じである。画素Ｐａの縦方向（Ｙ２軸方向）の位置は、探索領域ＳＡの上端の画素より所定長（具体的には、５０〜１００画素分の長さ）だけ上方に位置している。したがって、図１１においてハッチングで示すように、枠ＮＰａ内の領域のうち、左端の１本の画素のライン上に位置する複数個の画素の下側の一部分の領域が、探索領域ＳＡと重なっている。

図１１の枠ＮＰｂは、最も右側かつ下側に配置される枠である。この枠ＮＰｂの左上の画素Ｐｂの座標を（ｋ、ｍ）とする。画素Ｐｂの横方向の位置は、探索領域ＳＡの右端の画素の横方向の位置と同じである。画素Ｐｂの縦方向の位置は、探索領域ＳＡの下端の画素より所定長だけ下方に位置している。したがって、図１１においてハッチングで示すように、枠ＮＰｂ内の領域のうち、左端の１本の画素のライン上に位置する複数個の画素の上側の一部分の領域が、探索領域ＳＡと重なっている。

図１１の枠ＮＰｃは、最も左側かつ上側に配置される枠である。この枠ＮＰｃの左上の画素Ｐｃの座標を（１、１）とする。画素Ｐｃの横方向の位置は、探索領域ＳＡの左端の画素の横方向の位置と同じである。画素Ｐｃの縦方向の位置は、探索領域ＳＡの上端の画素より所定長だけ上方に位置している。したがって、図１１においてハッチングで示すように、枠ＮＰｃ内の領域のうち、下側の一部分の領域が探索領域ＳＡと重なっている。

図１１の枠ＮＰｄは、最も左側かつ下側に配置される枠である。この枠ＮＰｄの左上の画素Ｐｄの座標を（１、ｍ）とする。画素Ｐｄの横方向の位置は、探索領域ＳＡの左端の画素の横方向の位置と同じである。画素Ｐｃの縦方向の位置は、探索領域ＳＡの下端の画素より所定長だけ下方に位置している。したがって、図１１においてハッチングで示すように、枠ＮＰｃ内の領域のうち、上側の一部分の領域が探索領域ＳＡと重なっている。

複数個の候補領域を特定するために配置される枠ＮＰの左上の画素の座標は、（ｐ、ｑ）で表される（ｋ×ｍ）個の座標の中から、順次に選択される。ここで、ｐは、１以上ｋ以下の任意の整数であり、ｑは、１以上ｍ以下の任意の整数である。したがって、探索領域ＳＡには、（ｋ×ｍ）個の枠ＮＰが配置可能である。換言すれば、探索領域ＳＡ内には、（ｋ×ｍ）個の候補領域が特定可能である。

図１１に矢印で示すように、これらの（ｋ×ｍ）個の枠ＮＰの中から、右上の端の枠ＮＰａが配置されるべき枠ＮＰとして最初に選択される。そして、次回の注目候補領域が特定されるときに、１画素ずつ下方向に位置がずれた枠ＮＰが、順次に選択される。そして、右下の端の枠ＮＰｂが選択されると、右上の端の枠ＮＰａの位置から１画素だけ左方向にずれた枠ＮＰが選択される。その後は、再び１画素ずつ下方向に位置がずれた枠ＮＰが順次に選択され、縦方向（Ｙ２軸方向）の値がｍである枠ＮＰが選択される毎に、枠ＮＰの位置が１画素だけ左方向にずれた枠ＮＰが選択される。最後に選択される枠ＮＰは、左下の端の枠ＮＰｄである。

図１１の枠ＮＰａ〜ＮＰｄのように、探索領域ＳＡの端部近傍に配置される枠ＮＰが、注目候補領域を特定するために用いられる場合には、枠ＮＰの一部が探索領域ＳＡより外側に位置するので、注目候補領域の大きさは、図５（Ｂ）の基準領域ＳＰより小さくなる。一方、図１１の枠ＮＰｅのように、探索領域ＳＡの中央部近傍に配置される枠ＮＰが、注目候補領域を特定するために用いられる場合には、枠ＮＰの全体が探索領域ＳＡ内に位置するので、注目候補領域の大きさは、図５（Ｂ）の基準領域ＳＰと同じになる。

このように、複数個の候補領域は、１画素ずつずれて順次に特定される。したがって、例えば、特定の注目候補領域の次の注目候補領域は、少なくとも特定の注目候補領域の外の領域を含む。

１個の注目候補領域が特定されると、Ｓ３２０では、ＣＰＵ４１０は、Ｙ値に基づいて基準領域と注目候補領域との類似度ＳＹを算出する。

図１２は、類似度ＳＹの算出処理のフローチャートである。Ｓ４０５では、ＣＰＵ４１０は、注目候補領域内の全ての画素のうち、１個の画素を注目画素として選択する。

Ｓ４１０では、ＣＰＵ４１０は、注目候補領域内の注目画素のＹ値と、当該注目画素に対応する基準領域ＳＰ内の画素のＹ値と、の差分ΔＹを算出する。注目画素に対応する基準領域ＳＰ内の画素は、注目候補領域内の画像と基準領域ＳＰ内の画像とを、注目候補領域を特定する際に用いた枠ＮＰと、基準領域ＳＰの外縁とが一致するように重ねた場合に、注目画素と重なる基準領域ＳＰ内の画素である。差分ΔＹを算出すべき２個の画素の値をＹ１、Ｙ２とすると、差分ΔＹは、（Ｙ１−Ｙ２）の絶対値である。

Ｓ４１５では、ＣＰＵ４１０は、算出された差分ΔＹが、所定の閾値ＴＨ１以下であるか否かを判断する。差分ΔＹが、所定の閾値ＴＨ１以下である場合には（Ｓ４１５：ＹＥＳ）、Ｓ４２０において、ＣＰＵ４１０は、Ｙ値が類似する画素の個数ＫＹをカウントアップする。差分ΔＹが、所定の閾値ＴＨ１以下である場合には、注目画素と、当該注目画素に対応する基準領域ＳＰ内の画素とは、Ｙ値について互いに類似すると判断できるからである。閾値ＴＨ１は、本実施例では、例えば、７が用いられる。

差分ΔＹが、所定の閾値ＴＨ１より大きい場合には（Ｓ４１５：ＮＯ）、ＣＰＵ４１０は、Ｓ４２０をスキップして、処理をＳ４２５に進める。

Ｓ４２５では、ＣＰＵ４１０は、注目候補領域内の全ての画素を注目画素として処理したか否かを判断する。未処理の画素がある場合には（Ｓ４２５：ＮＯ）、ＣＰＵ４１０は、Ｓ４０５に戻って、未処理の画素を注目画素として選択する。全ての画素が処理された場合には（Ｓ４２５：ＹＥＳ）、ＣＰＵ４１０は、Ｓ４３０に処理を進める。

Ｓ４３０では、ＣＰＵ４１０は、類似度ＳＹを算出する。類似度ＳＹは、注目候補領域内の画素の総数Ｎに対する画素数ＫＹの割合である（ＳＹ＝（ＫＹ／Ｎ））。類似度ＳＹが大きいほど、基準領域ＳＰと注目候補領域とはＹ値について類似している。

図１０に戻って説明を続ける。Ｓ３２０にてＹ値に基づく類似度ＳＹが、図１２の算出方法に従って算出されると、Ｓ３２５では、ＣＰＵ４１０は、Ｙ値に基づく類似度ＳＹが、所定の閾値ＴＨＹより大きいか否かを判断する。閾値ＴＨＹは、例えば、０．７とされる。

類似度ＳＹが閾値ＴＨＹ以下である場合には（Ｓ３２５：ＮＯ）、明るさに関する類似判断（具体的には、Ｙ値に基づく類似判断）の結果として、基準領域ＳＰと注目候補領域とは類似していないと判断される。この場合には、ＣＰＵ４１０は、後述する色相および彩度に関する類似判断（具体的にはＣｒ値およびＣｒ値に基づく類似判断（Ｓ３３５〜Ｓ３４５））を実行せずに、処理をＳ３６０に進める。換言すれば、この場合には、明るさに関する類似判断の結果のみに基づいて、最終的に、基準領域ＳＰと注目候補領域とは類似していないと判断される。このために、ＣＰＵ４１０は、次の候補領域の処理に移行すべく、Ｓ３６０の処理を実行する。

類似度ＳＹが閾値ＴＨＹより大きい場合には（Ｓ３２５：ＹＥＳ）、明るさに関する類似判断の結果として、基準領域ＳＰと注目候補領域とは類似していると判断される。この場合には、Ｓ３３０において、ＣＰＵ４１０は、右側スキャン画像２０Ｒおよび左側スキャン画像２０Ｌが、カラー画像であるか否かを判断する。上述したように、右側スキャン画像２０Ｒ、左側スキャン画像２０Ｌを表す２個のスキャンデータには、当該スキャンデータによって表される画像がカラー画像であるかグレー画像であるかを示すメタデータが付加されている。ＣＰＵ４１０は、例えば、当該メタデータを参照することによって、右側スキャン画像２０Ｒおよび左側スキャン画像２０Ｌが、カラー画像であるか否かを判断する。

右側スキャン画像２０Ｒおよび左側スキャン画像２０Ｌが、グレー画像である場合には（Ｓ３３０：ＮＯ）、ＣＰＵ４１０は、後述する色相および彩度に関する類似判断（Ｓ３３５〜Ｓ３４５）を実行せずに、処理をＳ３６５に進める。換言すれば、この場合には、明るさに関する類似判断の結果のみに基づいて、最終的に、基準領域ＳＰと注目候補領域とは類似していると判断される。右側スキャン画像２０Ｒおよび左側スキャン画像２０Ｌが、グレー画像である場合には、全ての画素のＣｂ値およびＣｒ値が値を有さないので、色相および彩度に関する類似判断を行う意味がないからである。なお、右側スキャン画像２０Ｒおよび左側スキャン画像２０Ｌが、グレー画像である場合に、全ての画素のＣｂ値およびＣｒ値が無彩色を表す値（例えば、ゼロ）であっても良い。

右側スキャン画像２０Ｒおよび左側スキャン画像２０Ｌが、カラー画像である場合には（Ｓ３３０：ＹＥＳ）、Ｓ３３５において、ＣＰＵ４１０は、Ｃｂ値に基づいて基準領域と注目候補領域との類似度ＳＣｂを算出する。

図１３は、類似度ＳＣｂの算出処理のフローチャートである。Ｓ５０５では、ＣＰＵ４１０は、注目候補領域の比較領域内の全ての画素のうち、１個の画素を注目画素として選択する。図１２の類似度ＳＹの算出処理では、注目候補領域内の全ての画素が、処理対象となる注目画素として選択されるが、図１３の類似度ＳＣｂの算出処理では、注目候補領域の一部または全体の領域である比較領域内の画素が注目画素として選択され、当該比較領域外の画素は注目画素として選択されない。

図１４は、比較領域について説明する図である。図１４（Ａ）には、ハッチングされた候補領域ＣＤ１と、候補領域ＣＤ１を特定するための枠ＮＰ１と、が図示されている。図１４（Ａ）の例では、枠ＮＰ１の全体と探索領域ＳＡとが重なっているので、枠ＮＰ１の全体が候補領域ＣＤ１である。候補領域ＣＤ１は、画素が配置される５本の縦方向のラインＰＬ１〜ＰＬ５を含んでいる。初回の類似度ＳＣｂの算出処理では、５本のラインＰＬ１〜ＰＬ５のうち、１本のラインＰＬ１上の複数個に位置する画素の領域が、比較領域とされる。

図１４（Ｂ）には、ハッチングされた候補領域ＣＤ２と、候補領域ＣＤ２を特定するための枠ＮＰ２と、が図示されている。図１４（Ｂ）の例では、枠ＮＰ２の一部が探索領域ＳＡと重なり、枠ＮＰ２の残りの部分は探索領域ＳＡの外側にあるので、枠ＮＰ２の一部が候補領域ＣＤ２である。このために、候補領域ＣＤ２に含まれる縦方向のラインの本数（具体的には３本）は、候補領域ＣＤ１（図１４（Ａ））より少ない。この場合でも、初回の類似度ＳＣｂの算出処理では、３本のラインＰＬ１〜ＰＬ３のうち、１本のラインＰＬ１上の複数個の画素の領域が、比較領域とされる。

Ｓ５１０では、ＣＰＵ４１０は、比較領域内の注目画素のＣｂ値と、当該注目画素に対応する基準領域ＳＰ内の画素のＣｂ値と、の差分ΔＣｂを算出する。差分ΔＣｂを算出すべき２個の画素の値をＣｂ１、Ｃｂ２とすると、差分ΔＣｂは、（Ｃｂ１−Ｃｂ２）の絶対値である。

Ｓ５１５では、ＣＰＵ４１０は、算出された差分ΔＣｂが、所定の閾値ＴＨ２以下であるか否かを判断する。差分ΔＣｂが、所定の閾値ＴＨ２以下である場合には（Ｓ５１５：ＹＥＳ）、Ｓ５２０において、ＣＰＵ４１０は、Ｃｂ値が類似する画素の個数ＫＣｂをカウントアップし、Ｓ５２５に処理を進める。差分ΔＣｂが、所定の閾値ＴＨ２以下である場合には、注目画素と当該注目画素に対応する基準領域ＳＰ内の画素とは、Ｃｂ値について互いに類似すると判断できるからである。閾値ＴＨ２は、本実施例では、上述した閾値ＴＨ１（図１２のＳ４１５）と同じ値、例えば、７が用いられる。これに代えて、閾値ＴＨ２は、閾値ＴＨ１とは異なる値が用いられても良い。

差分ΔＣｂが、所定の閾値ＴＨ２より大きい場合には（Ｓ５１５：ＮＯ）、ＣＰＵ４１０は、Ｓ５２０をスキップして、処理をＳ５２５に進める。

Ｓ５２５では、ＣＰＵ４１０は、比較領域内の全ての画素を注目画素として処理したか否かを判断する。未処理の画素がある場合には（Ｓ５２５：ＮＯ）、ＣＰＵ４１０は、Ｓ５０５に戻って、未処理の画素を注目画素として選択する。全ての画素が処理された場合には（Ｓ５２５：ＹＥＳ）、ＣＰＵ４１０は、Ｓ５３０に処理を進める。

Ｓ５３０では、ＣＰＵ４１０は、類似度ＳＣｂを算出する。類似度ＳＣｂは、比較領域内の画素の総数Ｎｓに対する画素数ＫＣｂの割合である（ＳＣｂ＝（ＫＣｂ／Ｎｓ））。類似度ＳＣｂが大きいほど、基準領域ＳＰと注目候補領域とはＣｂ値について類似している。

図１０に戻って説明を続ける。Ｓ３４０では、ＣＰＵ４１０は、Ｃｒ値に基づいて基準領域ＳＰと注目候補領域との類似度ＳＣｒを算出する。類似度ＳＣｒを算出する処理は、Ｃｂ値に基づく類似度ＳＣｂの算出処理（図１３）と同様である。すなわち、比較領域内の各画素のＣｒ値と、対応する基準領域ＳＰ内の画素のＣｒ値と、の差分ΔＣｒが算出される。そして、各画素について算出されたΔＣｒと所定の閾値ＴＨ３との比較に基づいて、各画素がＣｒ値について類似するか否かが判断される。さらに、Ｃｒ値について類似する画素の個数ＫＣｒが算出される。Ｃｒ値について類似する画素の個数ＫＣｒに基づいて、類似度ＳＣｒが算出される（ＳＣｒ＝（ＫＣｒ／Ｎｓ））。閾値ＴＨ３の値は、例えば、閾値ＴＨ２（図１３のＳ５１５）と同じ値が用いられる。

Ｓ３４５では、ＣＰＵ４１０は、Ｃｂ値に基づく類似度ＳＣｂが所定の閾値ＴＨＣｂより大きく、かつ、Ｃｒ値に基づく類似度ＳＣｒが所定の閾値ＴＨＣｒより大きいか否かを判断する。閾値ＴＨＣｂ、ＴＨＣｒは、例えば、上述した閾値ＴＨＹと同じ値、具体的には、０．７とされる。これに代えて、閾値ＴＨＣｂ、ＴＨＣｒは、例えば、上述した閾値ＴＨＹとは異なる値、例えば、上述した閾値ＴＨＹより小さな値、具体的には、０．６とされても良い。

類似度ＳＣｂが閾値ＴＨＣｂより大きく、かつ、類似度ＳＣｒが閾値ＴＨＣｒより大きい場合には（Ｓ３４５：ＹＥＳ）、明るさに関する類似判断（Ｓ３２０、Ｓ３２５）の結果に加えて、Ｃｒ値、Ｃｂ値に基づく類似判断（Ｓ３３５〜Ｓ３４５）の結果でも、基準領域ＳＰと注目候補領域とは類似していると判断される。この場合には、最終的な判断として、基準領域ＳＰと注目候補領域とは類似していると判断されて、処理はＳ３６５に進められる。

類似度ＳＣｂが閾値ＴＨＣｂ以下である場合、または、類似度ＳＣｒが閾値ＴＨＣｒ以下である場合には（Ｓ３４５：ＮＯ）、Ｓ３５０において、ＣＰＵ４１０は、比較領域を拡大可能であるか否かを判断する。具体的には、注目候補領域の全体が比較領域である場合には、比較領域は拡大可能ではないと判断される。注目候補領域の一部の領域が比較領域である場合、すなわち、注目候補領域が比較領域ではない領域を含む場合には、比較領域は拡大可能であると判断される。

比較領域が拡大可能である場合には（Ｓ３５０：ＹＥＳ）、Ｓ３５５において、ＣＰＵ４１０は、比較領域を拡大する。具体的には、注目候補領域内であり、かつ、現在の比較領域外である領域のうち、１本の画素のライン分の領域が、現在の比較領域に追加されることによって、拡大後の比較領域が設定される。比較領域が拡大されると、ＣＰＵ４１０は、Ｓ３３５に戻る。この結果、拡大後の比較領域内の複数個の画素を用いて、上述した色相および彩度に関する類似判断（Ｓ３３５〜Ｓ３４５）が繰り返される。例えば、図１４（Ａ）、図１４（Ｂ）の例では、２回目のＳ３３５〜Ｓ３４５では、２本のラインＰＬ１、ＰＬ２分の領域が比較領域とされ、３回目のＳ３３５〜Ｓ３４５では、３本のラインＰＬ１〜ＰＬ３分の領域が比較領域とされる。

なお、２回目のＳ３３５、Ｓ３４０では、新たに追加された１本のライン（ラインＰＬ２）分の画素数ＫＣｂ、ＫＣｒがカウントされ（図１３）、カウント済みのライン分の画素数ＫＣｂ、ＫＣｒと合算されて、拡大後の比較領域の画素数ＫＣｂ、ＫＣｒがカウントされる。そして、拡大後の比較領域の比較領域の画素数ＫＣｂ、ＫＣｒに基づいて、新たに類似度ＳＣｂ、ＳＣｒが算出される。３回目以降のＳ３３５、Ｓ３４０も同様である。

比較領域が拡大可能でない場合には（Ｓ３５０：ＮＯ）、ＣＰＵ４１０は、処理をＳ３６０に進める。換言すれば、この場合には、明るさに関する類似判断の結果では基準領域ＳＰと注目候補領域とは類似していると判断されたが、色相および彩度に関する類似判断の結果では基準領域ＳＰと注目候補領域とは類似していないと判断されたことに基づいて、最終的に、基準領域ＳＰと注目候補領域とは類似していないと判断される。このために、ＣＰＵ４１０は、次の候補領域の処理に移行すべく、Ｓ３６０の処理を実行する。

Ｓ３６０では、ＣＰＵ４１０は、探索領域ＳＡ内の全ての候補領域（図１１）を注目候補領域として処理したか否かを判断する。未処理の候補領域がある場合には（Ｓ３６０：ＮＯ）、ＣＰＵ４１０は、Ｓ３１５に戻って、未処理の候補領域を注目候補領域として特定する。全ての候補領域が処理された場合には（Ｓ３６０：ＹＥＳ）、ＣＰＵ４１０は、基準領域ＳＰに対応する対応領域ＣＰを決定できないまま、対応領域決定処理を終了する。

最終的に、基準領域ＳＰと、現在の注目候補領域とが類似していると判断される場合に実行されるＳ３６５では、ＣＰＵ４１０は、現在の注目候補領域を、基準領域ＳＰに対応する対応領域ＣＰとして決定して、対応領域決定処理を終了する。図５（Ａ）には、左側スキャン画像２０Ｌの探索領域ＳＡ内に、決定された対応領域ＣＰが図示されている。

以上説明した上記実施例によれば、対応領域決定処理（図１０）において、明るさに関する類似判断を行う処理（Ｓ３２０、Ｓ３２５）、すなわち、基準領域ＳＰ内の複数個の画素のそれぞれのＹ値と、複数個の候補領域のうちの注目候補領域内の複数個の画素のそれぞれのＹ値と、を用いて、注目候補領域と基準領域ＳＰとが類似するか否かを判断する処理が実行される。また、色相および彩度に関する類似判断を行う処理（Ｓ３３５〜Ｓ３４５）、すなわち、基準領域ＳＰ内の複数個の画素のそれぞれのＣｂ値とＣｒ値と、注目候補領域内の複数個の画素のそれぞれの素のそれぞれのＣｂ値とＣｒ値と、を用いて、注目候補領域と基準領域ＳＰとが類似するか否かを判断する処理が実行される。そして、明るさに関する類似判断の判断結果と、色相および彩度に関する類似判断の判断結果と、を用いて、複数個の候補領域の中から対応領域ＣＰが決定される（Ｓ３６５）。

ここで、対応領域決定処理の特徴を説明するために、複数個の候補領域のうちの１個の領域を第１の候補領域とし、複数個の候補領域のうちの１個の領域であって、第１の候補領域の次に注目候補領域とされる領域を第２の候補領域とする。

先ず、明るさに関する類似判断によって、第１の候補領域と基準領域ＳＰとが類似するか否かが判断される（Ｓ３２０、Ｓ３２５）。明るさに関する類似判断によって第１の候補領域と基準領域ＳＰとが類似すると判断される場合に（Ｓ３２５：ＹＥＳ）、色相および彩度に関する類似判断によって、第１の候補領域と基準領域ＳＰとが類似するか否かが判断される（Ｓ３３５〜Ｓ３４５）。色相および彩度に関する類似判断によって第１の候補領域と基準領域ＳＰとが類似すると判断される場合に（Ｓ３４５：ＹＥＳ）、第１の候補領域が対応領域ＣＰとして決定される（Ｓ３６５）。

そして、明るさに関する類似判断によって第１の候補領域と基準領域ＳＰとが類似しないと判断される場合に（Ｓ３２５：ＮＯ）、第１の候補領域について、色相および彩度に関する類似判断は行われず、明るさに関する類似判断によって、第２の候補領域と基準領域ＳＰとが類似するか否かが判断される（Ｓ３２０、Ｓ３２５）。また色相および彩度に関する類似判断によって第１の候補領域と基準領域ＳＰとが類似しないと判断される場合に（Ｓ３４５：ＮＯ）、同様に、明るさに関する類似判断によって、第２の候補領域と基準領域ＳＰとが類似するか否かが判断される（Ｓ３２０、Ｓ３２５）。

そして、明るさに関する類似判断によって第２の候補領域と基準領域ＳＰとが類似すると判断される場合に（Ｓ３２５：ＹＥＳ）、色相および彩度に関する類似判断によって、第２の候補領域と基準領域ＳＰとが類似するか否かが判断される（Ｓ３３５〜Ｓ３４５）。色相および彩度に関する類似判断によって、第２の候補領域と基準領域ＳＰとが類似すると判断される場合に（Ｓ３４５：ＹＥＳ）、第２の候補領域は、対応領域ＣＰとして決定される（Ｓ３６５）。

このように、明るさに関する類似判断と色相および彩度に関する類似判断との両方によって、第１の候補領域と基準領域ＳＰとが類似していると判断される場合には、第２の候補領域については処理されることなく、第１の候補領域が対応領域ＣＰとして決定される。明るさに関する類似判断によって第１の候補領域と基準領域ＳＰとが類似していないと判断されると、第１の候補領域について色相および彩度に関する類似判断は実行されない。さらに、明るさに関する類似判断と色相および彩度に関する類似判断の一方によって、第１の候補領域と基準領域とが類似していないと判断される場合に、第２の候補領域について、明るさに関する類似判断が判断される。この結果、効率良く対応領域ＣＰを決定することができる。したがって、合成画像データを生成するための処理の処理時間を低減することができる。

さらに説明すると、テキストを表す画像のように、比較的色数が少ない画像のように、Ｃｂ値およびＣｒ値のばらつきが少ない画像は、比較的多い。これに対して、Ｙ値のばらつきが少ない画像は、比較的少ない。このために、明るさに関する類似判断は、色相および彩度に関する類似判断より精度良く、２個の領域が類似するか否かを判断できると考えられる。しかしながら、例えば、薄い黄色と薄い青、あるいは、濃い青と黒のように、観察者が見ると比較的大きく異なる色であるのに、Ｙ値（すなわち、明るさ）の違いは比較的小さい場合もあるので、明るさに関する類似判断のみでは、十分に精度良く２個の領域が類似するか否かを判断できない可能性がある。本実施例では、１つの注目候補領域について、先に、明るさに関する類似判断を行い、明るさに関する類似判断が肯定的である場合に限って、確認的に色相および彩度に関する類似判断を行っている。この結果、最終的な類似判断の精度を低下させることなく、類似判断の処理負荷の増加を抑制することができる。この結果、効率良く対応領域ＣＰを決定することができる。

さらに、基準領域ＳＰを含む右側スキャン画像２０Ｒと、複数個の候補領域を含む左側スキャン画像２０Ｌと、をそれぞれ表す２個のスキャンデータの色空間が、ＲＧＢ色空間からＹＣｒＣｂ色空間に変換され（Ｓ３０５）、その後に上述した類似判断が実行される。この結果、類似判断をより効率良く実行できる。仮に、明るさに関する類似判断はＹＣｂＣｒ色空間のＹ値を用いて実行され、色相および彩度に関する類似判断はＬａｂ色空間のａ値およびｂ値を用いて実行される場合には、２種類の類似判断をそれぞれ異なる色空間の値を用いて実行することになる。このような場合よりも、本実施例によれば、効率よく候補領域と基準領域ＳＰとが類似するか否かを判断することができる。また、２種類の類似判断をＹＣｂＣｒ色空間の成分値を用いて行うことによって、２種類の類似判断を適切に実行することができる。

さらに、明るさに関する類似判断は、Ｙ値の差分ΔＹが比較的小さい画素の個数ＫＹに基づいて実行され（図１２）、色相および彩度に関する類似判断は、Ｃｂ値の差分ΔＣｂが比較的小さい画素の個数ＫＣｂと、Ｃｒ値の差分ΔＣｒが比較的小さい画素の個数ＫＣｒとに基づいて実行される（図１３）。より具体的には、明るさに関する類似判断は、個数ＫＹを注目候補領域内の画素数Ｎで割った類似度ＳＣが所定の閾値ＴＨＹより大きい場合に、注目候補領域と基準領域ＳＰとが類似すると判断される。また、色相および彩度に関する類似判断は、個数ＫＣｂや個数ＫＣｒを比較領域内の画素数Ｎｓで割った類似度ＳＣｂ、ＳＣｒが所定の閾値ＴＨＣｂ、ＴＨＣｒより大きい場合に、注目候補領域と基準領域ＳＰとが類似すると判断される。この結果、候補領域と基準領域とが類似するか否かを適切に判断することができる。例えば、明るさに関する類似判断が各注目画素の差分ΔＹの合計値を用いて実行される場合や、色相および彩度に関する類似判断が各注目画素の差分ΔＣｂ、ΔＣｒの合計値を用いて実行される場合と比較して、画素ごとの類似判断に基づいて領域間の類似判断が実行されるので、類似判断の精度が向上する。

さらに、基準領域決定処理（図７〜図９）では、右側スキャン画像２０Ｒ内の複数個の画素の値のばらつきに基づいて基準領域ＳＰが決定される。例えば、基準領域ＳＰの位置は、それぞれ、右側スキャン画像２０Ｒの配置範囲ＦＡ内の複数個の画素の値に基づいて決定されている。具体的には、画素の値のばらつきが最も大きくなるように、基準領域ＳＰが決定される（図７など）。そして、対応領域決定処理（図１０）では、ばらつきに基づいて決定された基準領域に応じて、複数個の候補領域が特定される。従って、基準領域に対応する適切な対応領域が容易に決定される。

より具体的に説明すると、画素の値のばらつきが比較的小さい領域は、特徴が乏しい。このために、画素の値のばらつきが比較的小さい領域が基準領域ＳＰに決定されると、左側スキャン画像２０Ｌ内の対応領域ＣＰを決定することが困難になる可能性がある。例えば、左側スキャン画像２０Ｌ内の誤った領域が、対応領域ＣＰに決定されやすい。画素のばらつきが比較的小さい領域には、例えば、背景を示す領域や、オブジェクトの内部の色の変化が乏しい領域などが含まれる。

これに対して、画素の値のばらつきが比較的大きな領域は、エッジなどを比較的多く含むので、特徴的な部分を含む可能性が高い。このために、画素の値のばらつきが比較的大きな領域が基準領域ＳＰに決定されると、左側スキャン画像２０Ｌ内の対応領域ＣＰを容易に決定できる。換言すれば、ばらつきが比較的小さい領域を基準にするよりも、ばらつきが比較的大きい領域を基準にするほうが、対応領域ＣＰに対応する対応領域ＣＰを精度良く決定できる。

さらに、上記実施例では、２個のスキャンデータがグレー画像を表す場合に（Ｓ３３０：ＮＯ）、色相および彩度に関する類似判断が実行されない。そして、明るさに関する類似判断の結果のみを用いて対応領域ＣＰが決定される。一方、２個のスキャンデータがカラー画像を表す場合に（Ｓ３３０：ＹＥＳ）、明るさに関する類似判断と、色相および彩度に関する類似判断との両方が実行される。そして、両方の類似判断の結果を用いて対応領域ＣＰが決定される。この結果、無駄な判断処理、具体的には、２個のスキャンデータがグレー画像を表す場合における色相および彩度に関する類似判断の処理が実行されない。したがって、２個のスキャンデータによって表される画像が、カラー画像であるかグレー画像であるかに応じて、効率的に対応領域ＣＰを決定することができる。

さらに、色相および彩度に関する類似判断は、基準領域ＳＰの一部の比較領域内の複数個の画素を用いて、実行される（図１０のＳ３３５〜Ｓ３５５、図１４）。この結果、より効率的に対応領域ＣＰが決定される。したがって、合成画像データを生成するための処理の処理時間を低減することができる。

より具体的には、初回の色相および彩度に関する類似判断では、比較領域は、基準領域ＳＰ内の１本のラインＰＬ１（図１４）上に位置する複数個の画素である。したがって、例えば、初回の色相および彩度に関する類似判断で、類似判断が完了する場合には、より効率的に対応領域ＣＰが決定される。

さらに、色相および彩度に関する類似判断では、基準領域ＳＰ内の第１のラインＰＬ１上の複数個の画素を用いて１回目の判断を実行し、１回目の判断によって注目候補領域と基準領域ＳＰとが類似しないと判断される場合に（Ｓ３４５：ＮＯ）、基準領域ＳＰ内の第２のラインＰＬ２上の複数個の画素を、さらに用いて２回目の判断が実行される。このように、１ラインずつ判断を繰り返すことで、より効率良く注目候補領域と基準領域とが類似するか否かを判断することができる。色相および彩度に関する類似判断は、主要な判断である明るさに関する類似判断の結果が肯定的である場合に、確認的に実行される判断である。このために、色相および彩度に関する類似判断の結果が肯定的である可能性が比較的高い。したがって、比較的小さな領域のみを用いて、色相および彩度に関する類似判断を行っても、最終的な類似判断の精度はあまり低下しないと考えられる。本実施例では、色相および彩度に関する類似判断の結果が否定的である場合に限り、比較領域を拡大して色相および彩度に関する類似判断を繰り返すので、より効率よく注目候補領域と基準領域とが類似するか否かを判断することができる。

Ｂ．変形例
（１）上記実施例では、明るさに関する類似判断には、ＹＣｂＣｒ色空間のＹ値（輝度）が用いられ、色相および彩度に関する類似判断には、ＹＣｂＣｒ色空間のＣｂ値、Ｃｒ値が用いられている。これに代えて、明るさに関する類似判断には、Ｌａｂ色空間のＬ値（明度）が用いられ、色相および彩度に関する類似判断には、Ｌａｂ色空間のａ値、ｂ値が用いられても良い。あるいは、明るさに関する類似判断には、ＨＳＶ色空間のＶ値（明度）が用いられ、色相および彩度に関する類似判断には、ＨＳＶ色空間のＨ値（色相）、Ｓ値（彩度）が用いられても良い。一般的に言えば、スキャンデータの画素の値は、明度や輝度などの明るさを示す第１の成分値と、彩度および色相の少なくとも一方に関する第２の成分値と、を含む色空間の値に変換されることが好ましい。そして、明るさに関する類似判断は、第１の成分値を用いて実行され、色相および彩度に関する類似判断は、第２の成分値を用いて実行されることが好ましい。

（２）明るさに関する類似判断と色相および彩度に関する類似判断は、互いに異なる色空間の値を用いて実行されても良い。例えば、明るさに関する類似判断には、ＹＣｂＣｒ色空間のＹ値（輝度）が用いられ、色相および彩度に関する類似判断には、Ｌａｂ色空間のａ値、ｂ値が用いられても良い。

（３）上記実施例では、色相および彩度に関する類似判断において、Ｃｂ値に基づく類似度ＳＣｂの算出（図１０のＳ３３５）に用いられる比較領域と、Ｃｒ値に基づく類似度ＳＣｒの算出（図１０のＳ３４０）に用いられる比較領域と、は同じ領域である。これに代えて、これらの比較領域は互いに異なる領域であっても良い。例えば、初回の類似度ＳＣｂの算出は、ラインＰＬ１（図１４）上の複数個の画素を用いて実行され、初回の類似度ＳＣｒの算出は、ラインＰＬ２（図１４）上の複数個の画素を用いて実行されても良い。

また、上記実施例では、比較領域は、縦方向の特定のライン（例えば、ラインＰＬ１、ＰＬ２）上の複数個の画素の領域であるが、比較領域は、横方向の特定のライン上の複数個の画素の領域であっても良い。

（４）上記実施例では、明るさに関する類似判断は、常に基準領域ＳＰ内の全ての画素を用いて行われているが、基準領域ＳＰの一部の領域内の複数個の画素を用いて行われても良い。また、上記実施例では、色相および彩度に関する類似判断は、基準領域ＳＰの一部の領域である比較領域内の複数個の画素を用いて行われているが、常に基準領域ＳＰ内の全ての画素を用いて行われても良い。

（５）２個のスキャンデータによって表される２個の画像を、第１の画像と、第２の画像とする。上記実施例では、第１の画像（具体的には、右側スキャン画像２０Ｒ）の左辺近傍と、第２の画像（具体的には、左側スキャン画像２０Ｌ）の右辺近傍と、が結合されるように、合成画像が生成されている。これに代えて、例えば、２個のスキャンデータの生成に用いられる一つの原稿に応じて、第１の画像の右辺近傍と、第２の画像の左辺近傍とが、結合されるように、合成画像が生成されてもよい。あるいは、第１の画像の下辺近傍と、第２の画像の上辺近傍とが、結合されるように、合成画像が生成されても良く、第１の画像の上辺近傍と、第２の画像の下辺近傍と、が結合されるように、合成画像が生成されてもよい。

（６）上記実施例では、２個のスキャンデータを用いて、２個のスキャン画像が合成された合成画像を表す合成画像データが生成されている。これに限らず、任意の個数のスキャンデータを用いて合成画像データが生成されても良い。例えば、４個のスキャン画像データを用いて、４個のスキャン画像が合成された合成画像を表す合成画像データが生成されてもよい。

（７）上記実施例では、合成画像データの生成に用いられる２個の画像データは、複合機２００のスキャナ部２５０によって原稿が読み取られることによって生成される２個のスキャンデータである。これに代えて、２個の画像データは、デジタルカメラによって原稿の複数個の領域を撮影することによって、２個の画像データが生成されても良い。

（８）上記実施例では、合成画像データの生成に用いられる２個のスキャンデータは、１つの原稿１０を読み取って得られる右側スキャンデータと左側スキャンデータである。これに代えて、２個のスキャンデータは、２個の原稿をそれぞれ読み取って得られる２個のスキャンデータであっても良い。

（９）上記実施例においてサーバ４００のＣＰＵ４１０によって実行される処理（例えば、図２のＳ２５〜Ｓ４０の処理）は、例えば、複合機２００のＣＰＵ２１０によって実行されても良い。この場合には、サーバ４００は不要であり、複合機２００が単体で図２の処理を実行すればよい。また、サーバ４００のＣＰＵ４１０によって実行される処理は、複合機２００と接続されたパーソナルコンピュータ５００（図１）のＣＰＵ（図示省略）によって実行されても良い。例えば、パーソナルコンピュータ５００のＣＰＵは、パーソナルコンピュータ５００にインストールされたスキャナドライバプログラムを実行することによって、これらの処理を実行しても良い。また、サーバ４００は、本実施例のように１つの計算機で構成されても良く、複数個の計算機を含む計算システムによって構成されていても良い。

（１０）上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

２００...複合機、２１０...ＣＰＵ、２２０...揮発性記憶装置、２２１...バッファ領域、２３０...不揮発性記憶装置、２３１...制御プログラム、２４０...プリンタ部、２５０...スキャナ部、２６０...操作部、２７０...表示部、２８０...通信部、４００...サーバ、４１０...ＣＰＵ、４２０...揮発性記憶装置、４２１...バッファ領域、４３０...不揮発性記憶装置、４３１...コンピュータプログラム、４３３...ＵＩデータ群、４８０...通信部、５００...パーソナルコンピュータ、１０００...画像処理システム

Claims (13)

1. 画像処理装置であって、
   第１の画像を表す第１の画像データと、第２の画像を表す第２の画像データと、を取得する取得部と、
   前記第１の画像データを用いて、前記第１の画像内の一部の領域である基準領域を決定する基準領域決定部と、
   前記第２の画像データを用いて、前記第２の画像内の一部の領域であって、前記第２の画像内の第１の候補領域と第２の候補領域とを含む複数個の候補領域を特定する特定部であって、前記第２の候補領域は、少なくとも前記第１の候補領域の外の領域を含む、前記特定部と、
   前記基準領域内の複数個の画素のそれぞれの明るさを示す値と、前記複数個の候補領域のうちの一の候補領域内の複数個の画素のそれぞれの明るさを示す値と、を用いて、前記一の候補領域と前記基準領域とが類似するか否かを判断する第１の判断部と、
   前記基準領域内の複数個の画素のそれぞれの彩度および色相の少なくとも一方に関する値と、前記一の候補領域内の複数個の画素のそれぞれの彩度および色相の少なくとも一方に関する値と、を用いて、前記一の候補領域と前記基準領域とが類似するか否かを判断する第２の判断部と、
   前記基準領域に対応する前記第２の画像内の対応領域を、前記第１の判断部による判断結果と前記第２の判断部による判断結果とを用いて、前記複数個の候補領域の中から決定する対応領域決定部と、
   前記第１の画像データと前記第２の画像データとを用いて、前記基準領域と前記対応領域とが重なるように、前記第１の画像と前記第２の画像とが合成される合成画像を表す合成画像データを生成する生成部と、
   を備え、
   前記第１の判断部は、前記第１の候補領域と前記基準領域とが類似するか否かを判断し、
   前記第１の判断部によって前記第１の候補領域と前記基準領域とが類似すると判断される場合に、前記第２の判断部は、前記第１の候補領域と前記基準領域とが類似するか否かを判断し、
   前記第２の判断部によって前記第１の候補領域と前記基準領域とが類似すると判断される場合に、前記対応領域決定部は、前記第１の候補領域を前記対応領域として決定し、
   前記第１の判断部によって前記第１の候補領域と前記基準領域とが類似しないと判断される場合に、前記第２の判断部は、前記第１の候補領域と前記基準領域とが類似するか否かを判断せず、前記第１の判断部は、前記第２の候補領域と前記基準領域とが類似するか否かを判断し、
   前記第２の判断部によって前記第１の候補領域と前記基準領域とが類似しないと判断される場合に、前記第１の判断部は、前記第２の候補領域と前記基準領域とが類似するか否かを判断し、
   前記第１の判断部によって前記第２の候補領域と前記基準領域とが類似すると判断される場合に、前記第２の判断部は、前記第２の候補領域と前記基準領域とが類似するか否かを判断し、
   前記第２の判断部によって前記第２の候補領域と前記基準領域とが類似すると判断される場合に、前記対応領域決定部は、前記第２の候補領域を前記対応領域として決定する、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記第１の画像データおよび前記第２の画像データは、第１の色空間の値を画素ごとに含む画像データであり、
   前記画像処理装置は、さらに、
   前記基準領域内の複数個の画素の値と前記候補領域内の複数個の画素の値を、前記第１の色空間の値から第２の色空間の値に変換する変換部であって、前記第２の色空間は、明るさを示す第１の成分値と、彩度および色相の少なくとも一方に関する第２の成分値と、を含む、前記変換部を備え、
   前記第１の判断部は、前記基準領域内の複数個の画素の前記第１の成分値と前記一の候補領域内の複数個の画素の前記第１の成分値とを用いて、前記一の候補領域と前記基準領域とが類似するか否かを判断し、
   前記第２の判断部は、前記基準領域内の複数個の画素の前記第２の成分値と前記一の候補領域内の複数個の画素の前記第２の成分値とを用いて、前記一の候補領域と前記基準領域とが類似するか否かを判断する、画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記第２の色空間は、ＹＣｂＣｒ色空間であり、
   前記第１の成分値は、Ｙ値であり、
   前記第２の成分値は、Ｃｂ値とＣｒ値である、画像処理装置。
4. 請求項１〜３のいずれかに記載の画像処理装置であって、
   前記第１の判断部は、前記基準領域内の複数個の画素のうち、前記一の候補領域内の対応する画素との間の明るさを示す値の差分が第１の閾値以下である第１種の画素の個数を算出し、
   前記第１種の画素の個数に基づいて前記一の候補領域と前記基準領域とが類似すると判断し、
   前記第２の判断部は、前記基準領域内の複数個の画素のうち、前記一の候補領域内の対応する画素との間の彩度および色相の少なくとも一方に関する値の差分が第２の閾値以下である第２種の画素の個数を算出し、
   前記第２種の画素の個数に基づいて前記一の候補領域と前記基準領域とが類似すると判断する、画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記第１の判断部は、前記第１種の画素の個数が第３の閾値より大きい場合に、前記一の候補領域と前記基準領域とが類似すると判断し、
   前記第２の判断部は、前記第２種の画素の個数が第４の閾値より大きい場合に、前記一の候補領域と前記基準領域とが類似すると判断する、画像処理装置。
6. 請求項１〜５のいずれかに記載の画像処理装置であって、
   前記基準領域決定部は、前記第１の画像内の複数個の画素の値のばらつきに基づいて、前記基準領域を決定し、
   前記特定部は、前記ばらつきに基づいて決定される前記基準領域に応じて、前記複数個の候補領域を特定する、画像処理装置。
7. 請求項１〜６のいずれかに記載の画像処理装置であって、
   前記第２の判断部は、前記第１の画像データと前記第２の画像データとがグレー画像を表す場合に、前記一の候補領域と前記基準領域とが類似するか否かを判断せず、
   前記基準領域決定部は、
   前記第１の画像データと前記第２の画像データとがカラー画像を表す場合には、前記第１の判断部による判断結果と前記第２の判断部による判断結果とを用いて前記対応領域を決定し、
   前記第１の画像データと前記第２の画像データとが前記グレー画像を表す場合には、前記第１の判断部による判断結果を用いて前記対応領域を決定する、画像処理装置。
8. 請求項１〜７に記載の画像処理装置であって、
   前記第１の判断部と前記第２の判断部との少なくとも一方は、前記基準領域の一部の領域内の複数個の画素を用いて、前記一の候補領域と前記基準領域とが類似するか否かを判断する、画像処理装置。
9. 請求項８に記載の画像処理装置であって、
   前記第２の判断部は、前記一部の領域内の複数個の画素を用いて、前記一の候補領域と前記基準領域とが類似するか否かを判断する、画像処理装置。
10. 請求項８または９に記載の画像処理装置であって、
    前記一部の領域内の複数個の画素は、前記基準領域内の１本のライン上に位置する複数個の画素である、画像処理装置。
11. 請求項８または９に記載の画像処理装置であって、
    前記第２の判断部は、前記一の候補領域と前記基準領域とが類似するか否かを判断する際に、前記基準領域内の第１のライン上の複数個の画素を用いて１回目の判断を実行し、前記１回目の判断によって前記一の候補領域と前記基準領域とが類似しないと判断される場合に前記基準領域内の第２のライン上の複数個の画素を用いて２回目の判断を実行する、画像処理装置。
12. 請求項１〜１１のいずれかに記載の画像処理装置であって、
    前記第１の画像データは、原稿の第１の領域を光学的に読み取ることによって得られる画像データであり、
    前記第２の画像データは、前記原稿の第２の領域を光学的に読み取ることによって得られる画像データである、画像処理装置。
13. コンピュータプログラムであって、
    第１の画像を表す第１の画像データと、第２の画像を表す第２の画像データと、を取得する取得機能と、
    前記第１の画像データを用いて、前記第１の画像内の一部の領域である基準領域を決定する基準領域決定機能と、
    前記第２の画像データを用いて、前記第２の画像内の一部の領域であって、前記第２の画像内の第１の候補領域と第２の候補領域とを含む複数個の候補領域を特定する特定機能であって、前記第２の候補領域は、少なくとも前記第１の候補領域の外の領域を含む、前記特定機能と、
    前記基準領域内の複数個の画素のそれぞれの明るさを示す値と、前記複数個の候補領域のうちの一の候補領域内の複数個の画素のそれぞれの明るさを示す値と、を用いて、前記一の候補領域と前記基準領域とが類似するか否かを判断する第１の判断機能と、
    前記基準領域内の複数個の画素のそれぞれの彩度および色相の少なくとも一方に関する値と、前記一の候補領域内の複数個の画素のそれぞれの彩度および色相の少なくとも一方に関する値と、を用いて、前記一の候補領域と前記基準領域とが類似するか否かを判断する第２の判断機能と、
    前記基準領域に対応する前記第２の画像内の対応領域を、前記第１の判断機能による判断結果と前記第２の判断機能による判断結果とを用いて、前記複数個の候補領域の中から決定する対応領域決定機能と、
    前記第１の画像データと前記第２の画像データとを用いて、前記基準領域と前記対応領域とが重なるように、前記第１の画像と前記第２の画像とが合成される合成画像を表す合成画像データを生成する生成機能と、
    をコンピュータに実現させ、
    前記第１の判断機能は、前記第１の候補領域と前記基準領域とが類似するか否かを判断し、
    前記第１の判断機能によって前記第１の候補領域と前記基準領域とが類似すると判断される場合に、前記第２の判断機能は、前記第１の候補領域と前記基準領域とが類似するか否かを判断し、
    前記第２の判断機能によって前記第１の候補領域と前記基準領域とが類似すると判断される場合に、前記対応領域決定機能は、前記第１の候補領域を前記対応領域として決定し、
    前記第１の判断機能によって前記第１の候補領域と前記基準領域とが類似しないと判断される場合に、前記第２の判断機能は、前記第１の候補領域と前記基準領域とが類似するか否かを判断せず、前記第１の判断機能は、前記第２の候補領域と前記基準領域とが類似するか否かを判断し、
    前記第２の判断機能によって前記第１の候補領域と前記基準領域とが類似しないと判断される場合に、前記第１の判断機能は、前記第２の候補領域と前記基準領域とが類似するか否かを判断し、
    前記第１の判断機能によって前記第２の候補領域と前記基準領域とが類似すると判断される場合に、前記第２の判断機能は、前記第２の候補領域と前記基準領域とが類似するか否かを判断し、
    前記第２の判断機能によって前記第２の候補領域と前記基準領域とが類似すると判断される場合に、前記対応領域決定機能は、前記第２の候補領域を前記対応領域として決定する、コンピュータプログラム。

Images