JP6354619B2 - 画像処理装置、および、コンピュータプログラム - Google Patents

Description

本発明は、第１の画像と第２の画像とが配置され、第１の画像と第２の画像とで１個の対象物を示す配置済画像を表す配置済画像ファイルを生成する技術に関する。

第１の画像と第２の画像とが配置された配置済画像を表す配置済画像ファイルを生成する技術が知られている。例えば、特許文献１に開示された技術では、一度には読み取れない大きさの１個の原稿を、スキャナを用いて２回に分けて読み取ることによって、第１の画像を表すスキャンデータと、第２の画像を表すスキャンデータと、が取得される。そして、２個のスキャンデータを用いて、第１の画像と第２の画像とが配置され、第１の画像と第２の画像との全体で原稿を示す配置済画像を表す画像ファイルが生成される。この画像において、第１の画像と第２の画像とが配置される位置は、２個の画像のそれぞれについて、画像の一辺に沿った領域の特徴を抽出し、２個の画像の間で、抽出された特徴を比較することによって決定される。

特開平６−１６４８９３号公報

しかしながら、１個の原稿を複数回に分けて読み取る場合には、１個の原稿内の一部が、複数個のスキャンデータによって表される複数個のスキャン画像のいずれにも現れない場合があった。例えば、読み取り時に原稿が折り曲げられる場合には、原稿の折り目に位置する部分が複数個のスキャン画像のいずれにも現れない場合があった。このために、第１の画像と第２の画像とが配置される画像において、これらの画像が配置される位置を精度良く決定することができない可能性があった。

本明細書は、第１の画像と第２の画像とが配置され、第１の画像と第２の画像とで１個の対象物（例えば、１枚の原稿）を示す配置済画像を表す配置済画像ファイルを生成する際に、第１の画像と第２の画像との配置位置を精度良く決定する技術を開示する。

本明細書に開示された技術は、以下の適用例として実現することが可能である。

［適用例１］１個の対象物の一部を示す第１の画像を表す第１の画像ファイルと、１個の対象物の他の一部を示す第２の画像を表す第２の画像ファイルと、を取得する画像取得部と、
前記第１の画像に含まれる複数個の画素であって前記第１の画像の第１の端に沿って前記第１の画像の内側に並ぶ複数個の画素の値を用いて、前記第１の画像に含まれない複数個の第１の画素であって前記第１の端に沿って前記第１の画像の外側に並ぶ前記複数個の第１の画素を生成する第１の画素生成部と、
前記複数個の第１の画素を用いて、前記第１の画像と前記第２の画像との相対的な位置を決定する決定部と、
決定済の前記相対的な位置に前記第１の画像と前記第２の画像とが配置され、第１の画像と第２の画像とで前記対象物を示す配置済画像を表す一の配置済画像ファイルを生成する画像生成部と、
を備える、画像処理装置。

上記構成によれば、第１の端に沿って第１の画像の外側に並ぶ複数個の第１の画素を生成し、複数個の第１画素を用いて、第１の画像と第２の画像との相対的な位置が決定される。この結果、配置済画像ファイルを生成する際に、第１の画像と第２の画像との配置位置を精度良く決定することができる。

なお、本明細書に開示された技術は、種々の形態で実現することが可能であり、例えば、画像処理方法および画像処理装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。

実施例における画像処理システムの構成を示すブロック図である。 画像処理システム１０００の動作を示すシーケンス図である。 スキャン処理の説明図である。 スキャン画像の一例を示す図である。 複合機２００の画像処理で用いられる画像の一例を示す図である。 画素復元処理のフローチャートである。 配置位置決定処理のフローチャートである。 図５（Ａ）の探索領域ＳＡ近傍の拡大図である。 第１実施例の配置済画像生成処理のフローチャートである。 第２実施例の配置済画像生成処理のフローチャートである。

Ａ．実施例：
Ａ−１：画像処理システム１０００の構成
図１は、実施例における画像処理システムの構成を示すブロック図である。画像処理システム１０００は、画像処理装置としてのサーバ４００と、複合機２００と、を備えている。サーバ４００は、インターネット７０に接続されており、複合機２００は、ＬＡＮ（Local Area Networkの略称）８０を介して、インターネット７０に接続されている。この結果、サーバ４００と複合機２００は、ＬＡＮ８０とインターネット７０とを介して、通信可能である。また、ＬＡＮ８０には、複合機２００のユーザのパーソナルコンピュータ５００が接続されていても良い。

サーバ４００は、サーバ４００のコントローラの一例としてのＣＰＵ４１０と、ＤＲＡＭなどの揮発性記憶装置４２０と、ハードディスクドライブやフラッシュメモリなどの不揮発性記憶装置４３０と、インターネット７０などのネットワークに接続するためのインタフェースを含む通信部４８０と、を備えている。揮発性記憶装置４２０には、ＣＰＵ４１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域４２１が設けられている。不揮発性記憶装置４３０には、コンピュータプログラム４３１と、ＵＩデータ群４３３と、が格納されている。

コンピュータプログラム４３１、および、ＵＩデータ群４３３は、例えば、サーバ４００の管理者によって、インターネット７０を介してサーバ４００にアップロードされることにより、サーバ４００にインストールされる。または、コンピュータプログラム４３１、および、ＵＩデータ群４３３は、例えば、ＤＶＤ−ＲＯＭなどに格納された形態で提供され、サーバ４００の管理者によって、サーバ４００にインストールされても良い。ＣＰＵ４１０は、コンピュータプログラム４３１を実行することにより、後述する画像処理を実現する。

複合機２００は、複合機２００のコントローラの一例としてのＣＰＵ２１０と、ＤＲＡＭなどの揮発性記憶装置２２０と、フラッシュメモリやハードディスクドライブなどの不揮発性記憶装置２３０と、プリンタ部２４０と、スキャナ部２５０と、タッチパネルやボタンなどの操作部２６０と、液晶ディスプレイなどの表示部２７０と、外部機器と通信を行う通信部２８０と、を備えている。例えば、通信部２８０は、ＬＡＮ８０などのネットワークに接続するためのインタフェースや、ＵＳＢメモリなどの外部記憶装置と接続するためのインタフェースを含んでいる。

揮発性記憶装置２２０には、ＣＰＵ２１０が処理を行う際に生成される種々のデータを一時的に格納するバッファ領域２２１が設けられている。不揮発性記憶装置２３０には、制御プログラム２３１が格納されている。制御プログラム２３１は、プリンタ１００の製造時に不揮発性記憶装置２３０に予め格納されて提供され得る。これに代えて、制御プログラム２３１は、例えば、インターネットを介して接続されたサーバからダウンロードされる形態、あるいは、ＣＤ−ＲＯＭなどに記録された形態で提供され得る。

プリンタ部２４０は、インクジェット方式やレーザー方式などの印刷方式を用いて印刷を実行する。スキャナ部２５０は、ＣＣＤやＣＭＯＳなどの光電変換素子を用いて光学的に原稿を読み取ることによってカラー画像やグレー画像を表すスキャンデータを生成する。スキャナ部２５０は、いわゆるフラットベッド式の後述する原稿台２５５を備えている。

ＣＰＵ２１０は、制御プログラム２３１を実行することにより、複合機２００の制御を実行する。例えば、ＣＰＵ２１０は、プリンタ部２４０やスキャナ部２５０を制御して、コピー処理、印刷処理、スキャン処理などを実行する。さらに、ＣＰＵ２１０は、サーバ４００にアクセスして、サーバ４００が提供するサービスを利用するサービス利用処理を、実行することができる。

Ａ−２：画像処理システム１０００の動作
図２は、画像処理システム１０００の動作を示すシーケンス図である。このシーケンス図の処理は、複合機２００が、サーバ４００が提供する画像生成サービスの利用指示を、ユーザから受け付けた場合に開始される。この画像生成サービスは、詳細は後述するが、複数個のスキャンデータによって表される複数個の画像が配置され、複数個の画像で１個の対象物（具体的には、後述する原稿１０）を示す配置済画像を表す配置済画像データを生成するサービスである。複数個のスキャンデータは、詳細は後述するが、例えば、１回で読み取り可能なサイズより大きなサイズの原稿を、複数回に分けて読み取ることによって生成される。

処理が開始されると、Ｓ５では、複合機２００のＣＰＵ２１０は、サービス開始要求を、サーバ４００に対して送信する。サーバ４００のＣＰＵ４１０は、サービス開始要求を受信すると、図１に示されるＵＩデータ群４３３から画像生成サービスの提供に必要なＵＩデータを選択し、Ｓ１０にて、該ＵＩデータを複合機２００に対して送信する。ＵＩデータは、具体的には、ユーザインタフェース画面（以下、ＵＩ画面とも呼ぶ）を表す画面データと、制御データと、を含む。この制御データは、例えば、ＵＩ画面を利用して複合機２００が後述するＳ１５のスキャン処理などの所定の処理を行うために必要な各種のデータを含む。例えば、制御データは、複合機２００が実行すべき処理を行うために必要な情報、例えば、画像ファイルの送信先アドレスなどを含む。複合機２００が実行すべき処理は、例えば、後述するＳ２０にて画像ファイルやキャンパスサイズ情報をサーバ４００へ送信する処理を含む。

Ｓ１５では、ＣＰＵ２１０は、受信したＵＩデータに基づいて、複数個のスキャンデータを生成するスキャン処理を実行する。スキャン処理では、ＣＰＵ２１０は、ユーザが用意した原稿を２回に分けて読み取ることによって、２個のスキャンデータを生成する。本実施例のスキャンデータは、例えば、縦方向および横方向の解像度が３００ｄｐｉであり、０〜２５５の２５６階調の値で表されるＲＧＢの各成分の成分値を画素ごとに含むＲＧＢ画像データである。

図３は、スキャン処理の説明図である。図３（Ａ）には、本実施例で用いられる原稿の一例が示されている。この原稿１０のサイズは、本実施例では、Ａ３サイズである。左領域１０Ｌは、原稿１０の左側の約半分の領域であり、右領域１０Ｒは、原稿１０の右側の約半分の領域である。左領域１０Ｌのサイズ、および、右領域１０Ｒのサイズは、Ａ４サイズである。なお、Ａ３サイズ、および、Ａ４サイズは、ＩＳＯ（International Organization for Standardizationの略）２１６で定められている紙の寸法である。

図中の符号１０Ｌ、１０Ｒが付された矢印は、領域１０Ｌ、１０Ｒの位置と向きを示す。すなわち、これらの矢印が配置された位置、および、これらの矢印が示す向きに、これらの領域１０Ｌ、１０Ｒが配置されていることを意味している。図３（Ｃ）、（Ｄ）では、領域１０Ｌ、１０Ｒ内の画像の図示を省略して、符号付きの矢印のみで、これらの領域１０Ｌ、１０Ｒの位置および向きを図示している。

スキャナ部２５０の原稿台２５５（図３（Ｃ）、図３（Ｄ））の長手方向の長さは、Ａ４サイズの長手方向の長さである２９７ｍｍより少しだけ（例えば、数センチ）長い。そして、原稿台の短手方向の長さは、ＡＮＳＩ／ＡＳＭＥ（American National Standards Institute／American Society of Mechanical Engineersの略）Ｙ１４．１で定められている紙の寸法であるレターサイズの短手方向の長さである２１５．９ｍｍより少しだけ（例えば、数センチ）長い。すなわち、本実施例では、１回で読み取ることができる原稿の最大サイズは、Ａ４サイズより大きくＡ３サイズより小さいサイズである。このために、本実施例では、上述したように、２回に分けてＡ３サイズの原稿１０を読み取る。

具体的には、本実施例では、図３（Ｂ）に示すように、原稿１０は、折れ線ＶＬで二つ折りにされた状態で、スキャナ部２５０によって読み取られる。本実施例では、図３（Ａ）に示すように、折れ線ＶＬは、Ａ３サイズの原稿１０の長手方向の中央部に位置し、原稿１０の短辺と平行な線である。従って、二つ折りにされた状態の原稿１０のサイズは、Ａ４サイズである。二つ折りにされた状態の原稿１０の一方の面には右領域１０Ｒが位置し、他方の面には、左領域１０Ｌが位置する。

１回目の読み取りでは、左領域１０Ｌ内の画像を示す左側スキャンデータが生成される。具体的には、ＣＰＵ２１０は、図示しないＵＩ画面を表示部２７０に表示することによって、図３（Ｃ）に示す状態で、原稿１０を原稿台２５５に対して配置するように、ユーザを促す。ユーザは、図３（Ｃ）に示すように、左領域１０Ｌが原稿台２５５側を向き、右領域１０Ｒが原稿台２５５の反対側を向くように、二つ折りにされた原稿１０を原稿台２５５上に配置する。このとき、二つ折りにされた原稿１０は、線ＶＬが手前に位置し、かつ、当該原稿の左上の頂点と原稿台２５５の左上の頂点とが概ね一致するように、原稿台２５５上に配置される。ユーザが、読み取り指示を複合機２００に入力すると、ＣＰＵ２１０は、スキャナ部２５０を制御して左領域１０Ｌを読み取ることによって、左側スキャンデータを生成する。

２回目の読み取りでは、右領域１０Ｒ内の画像を示す右側スキャンデータが生成される。具体的には、ＣＰＵ２１０は、左側スキャンデータを生成した後に、図示しないＵＩ画面を表示部２７０に表示することによって、図３（Ｄ）に示す状態で、原稿１０を原稿台２５５に対して配置するように、ユーザを促す。ユーザは、図３（Ｄ）に示すように、右領域１０Ｒが原稿台２５５側を向き、左領域１０Ｌが原稿台２５５の反対側を向くように、二つ折りにされた原稿１０を原稿台２５５上に配置する。このとき、二つ折りにされた原稿１０は、線ＶＬが手前に位置し、かつ、当該原稿の左上の頂点と原稿台２５５の左上の頂点とが概ね一致するように、原稿台２５５上に配置される。ユーザが、読み取り指示を複合機２００に入力すると、ＣＰＵ２１０は、スキャナ部２５０を制御して右領域１０Ｒを読み取ることによって、右側スキャンデータを生成する。

図４は、スキャン画像の一例を示す図である。図４（Ａ）には、左側スキャンデータによって表される左側スキャン画像ＩＬ１と、右側スキャンデータによって表される右側スキャン画像ＩＲ１と、が示されている。左側スキャン画像ＩＬ１は、原稿１０の左領域１０Ｌを示す左側原稿画像ＨＩＬと、余白ＷＢＬと、を含んでいる。また、右側スキャン画像ＩＲ１は、原稿１０の右領域１０Ｒを示す右側原稿画像ＨＩＲと、余白ＷＢＲと、を含んでいる。

ここで、左側スキャン画像ＩＬ１において、左側原稿画像ＨＩＬが傾いているのは、左側スキャンデータの生成時に、原稿台２５５に配置された原稿１０が傾いていたためである。右側スキャン画像ＩＲ１において、右側原稿画像ＨＩＲが傾いているのも同様である。

これらのスキャン画像ＩＬ１、ＩＲ１は、図３（Ｃ）、（Ｄ）の原稿台２５５の形状に対応する矩形を有している。スキャン画像ＩＬ１、ＩＲ１は、原稿台２５５の長辺に沿った方向を縦方向とし、原稿台２５５の図３（Ｃ）、（Ｄ）における左方向を上方向として、原稿台２５５上に配置された画像を表す。左領域１０Ｌを読み取る際の原稿台２５５に対する原稿１０の上方向（図３（Ｃ）の矢印の方向）と、右領域１０Ｒを読み取る際の原稿台２５５に対する原稿１０の上方向（図３（Ｄ）の矢印の方向）とは、逆向きになる。このために、左側スキャン画像ＩＬ１の左側原稿画像ＨＩＬと、右側スキャン画像ＩＲ１の右側原稿画像ＨＩＲとは、上下方向が逆になっている。

Ｓ１５のスキャン処理において、左側スキャンデータ、および、右側スキャンデータは、それぞれ、所定のフォーマットのファイル、例えば、ＪＰＥＧ（Joint Photographic Experts Groupの略）フォーマットの画像ファイルに変換される。

図２のＳ１８では、ＣＰＵ２１０は、ユーザの指示に基づいて、キャンパスサイズ情報を生成する。キャンパスサイズ情報は、後述する配置済画像ファイルによって表される配置済画像のサイズを指定する情報である。具体的には、ＣＰＵ２１０は、図示しないＵＩ画面を介してユーザから入力される配置済画像のサイズの指示に基づいて、当該配置済画像のサイズを示すキャンパスサイズ情報を生成する。配置済画像のサイズは、例えば、Ａ３サイズやレターサイズであり、一般的には、原稿１０と同じサイズが指定される。

図２のＳ２０では、ＣＰＵ２１０は、左側スキャンデータの画像ファイル（左側画像ファイルとも呼ぶ）と、右側スキャンデータの画像ファイル（右側画像ファイルとも呼ぶ）と、キャンパスサイズ情報と、をサーバ４００に対して送信する。この結果、Ｓ２５にて、サーバ４００のＣＰＵ４１０は、これらの２個の画像ファイルとキャンパスサイズ情報とを取得する。ＣＰＵ４１０は、これらの画像ファイルから左側スキャンデータおよび右側スキャンデータ取得して、バッファ領域４２１に格納する。例えば、ＪＰＥＧ形式の画像ファイルが用いられる場合には、画像ファイルから、所定の変換処理によって、ＲＧＢ画像データに変換されたスキャンデータが取得されて、バッファ領域４２１に格納される。

Ｓ３０では、ＣＰＵ４１０は、左側スキャンデータと右側スキャンデータとに対して、それぞれ、回転処理を実行する。具体的には、ＣＰＵ４１０は、左側スキャンデータに対してハフ変換やエッジ検出処理などの公知の処理を実行して、スキャン画像ＩＬ１内の左側原稿画像ＨＩＬの左側の辺を検出する。ＣＰＵ４１０は、左側原稿画像ＨＩＬの左側の辺と、画像の縦方向とが平行になるように、左側スキャン画像ＩＬ１を回転して、回転済の左側スキャン画像（図示省略）を表す回転済の左側スキャンデータを生成する。また、ＣＰＵ４１０は、右側スキャンデータに対して、左側スキャンデータと同様の処理を実行して、右側原稿画像ＨＩＲの左側の辺と、画像の縦方向とが平行になるように、右側スキャン画像ＩＲ１を回転する。ＣＰＵ４１０は、さらに、右側原稿画像ＨＩＲの上下方向を左側原稿画像ＨＩＬの上下方向と一致させるために、右側スキャン画像ＩＲ１を１８０度回転させて、回転済の右側スキャン画像（図示省略）を示す回転済の右側スキャンデータを生成する。

Ｓ３５では、ＣＰＵ４１０は、回転済の左側スキャンデータと回転済の右側スキャンデータとに対して、それぞれ、余白削除処理を実行する。具体的には、ＣＰＵ４１０は、回転済の左側スキャン画像内の左側原稿画像ＨＩＬの４辺を検出して、回転済の左側スキャン画像内の左側原稿画像ＨＩＬを特定する。ＣＰＵ４１０は、回転済の左側スキャン画像から左側原稿画像ＨＩＬより外側の部分を余白として削除する。同様の処理を用いて、ＣＰＵ４１０は、回転済の右側スキャン画像から右側原稿画像ＨＩＲより外側の部分を余白として削除する。図４（Ｂ）には、回転処理と余白削除処理とが実行された後の左側スキャンデータ、および、右側スキャンデータによって、それぞれ表される補正済の左側スキャン画像ＩＬ２、および、補正済の右側スキャン画像ＩＲ２が示されている。補正済の左側スキャン画像ＩＬ２を表す画像データは、左側原稿画像ＨＩＬを含み、余白を含まないスキャン画像である。補正済の右側スキャン画像ＩＲ２は、右側原稿画像ＨＩＲを含み、余白を含まないスキャン画像である。なお、以降の処理では、余白が必要なく、左側原稿画像ＨＩＬおよび右側原稿画像ＨＩＲのみが必要である。このために、本実施例では、ＣＰＵ４１０は、余白を削除しているが、余白を削除することなく、回転済の左側スキャン画像、および、回転済の右側スキャン画像において、左側原稿画像ＨＩＬ、および、右側原稿画像ＨＩＲをそれぞれ特定するだけでもよい。

Ｓ４０では、ＣＰＵ４１０は、これらのスキャン画像ＩＬ２、ＩＲ２、すなわち、原稿画像ＨＩＬ、ＨＩＲにおいて欠損している画素を復元する画素復元処理を実行する。図５は、複合機２００の画像処理で用いられる画像の一例を示す図である。図５（Ａ）には、スキャン画像ＩＬ２、ＩＲ２と、画素復元処理によって復元される複数個の画素が位置する復元領域ＡＬ、ＡＲが図示されている。図４（Ａ）に示すように、スキャン画像ＩＬ２、ＩＲ２は、二つ折りにされた原稿１０を読み取ることによって生成された画像である。このために、原稿１０の折れ線ＶＬ上に位置するごく細い領域の画像は、スキャン画像ＩＬ２、ＩＲ２のいずれにも表れておらず、欠損している。図５（Ａ）の復元領域ＡＬ、ＡＲは、原稿１０の折れ線ＶＬ上に位置するごく細い領域に対応している。

左側復元領域ＡＬは、左側原稿画像ＨＩＬの折れ線ＶＬに対応する端、図５（Ａ）の例では、左側原稿画像ＨＩＬの右端に沿って左側原稿画像ＨＩＬの外側に位置する領域である。左側復元領域ＡＬは、原稿画像ＨＩＬの右端の全長に亘って上端から下端まで延びるごく細い線状の領域である。右側復元領域ＡＲは、右側原稿画像ＨＩＲの折れ線ＶＬに対応する端、図５（Ａ）の例では、右側原稿画像ＨＩＲの左端に沿って右側原稿画像ＨＩＲの外側に位置する領域である。右側復元領域ＡＲは、右側原稿画像ＨＩＲの左端の全長に亘って上端から下端まで延びるごく細い線状の領域である。復元領域ＡＬ、ＡＲの折れ線ＶＬに対応する端と垂直な方向の幅、すなわち、図５（Ａ）の横方向の幅ΔＷは、実験的に予め決められた値である。本実施例では、幅ΔＷは、原稿画像ＨＩＬ、ＨＩＲの横方向の解像度が、３００ｄｐｉである場合に、３画素である。左側原稿画像ＨＩＬの右端と、右側原稿画像ＨＩＲの左端とは、いずれも原稿１０の折れ線ＶＬ部分を表す端であるので、左側原稿画像ＨＩＬの右端と、右側原稿画像ＨＩＲの左端とは、互いに対応する端であると言うことができる。

図６は、画素復元処理のフローチャートである。Ｓ１００では、ＣＰＵ４１０は、左側原稿画像ＨＩＬおよび右側原稿画像ＨＩＲから、注目画像を選択する。Ｓ１０５では、ＣＰＵ４１０は、注目画像に対して、上述した復元領域を設定する。例えば、左側原稿画像ＨＩＬが注目画像である場合には、左側原稿画像ＨＩＬの右端に沿って左側復元領域ＡＬが設定される。

Ｓ１１０では、ＣＰＵ４１０は、復元領域内の注目ラインを選択する。例えば、本実施例では、復元領域の横方向の幅ΔＷは３画素であるので、上下方向に延びる３本の画素のラインを含んでいる。ＣＰＵ４１０は、３本の画素のラインの中から、１本の注目ラインを、注目画像に近い側から順に選択する。例えば、図６の右側に示すように、左側復元領域ＡＬは、３本のラインＬ１〜Ｌ３を含んでいる。したがって、左側原稿画像ＨＩＬが注目画像である場合には、最初にラインＬ１が、注目ラインとして選択され、次にラインＬ２が注目ラインとして選択される。

Ｓ１１５では、ＣＰＵ４１０は、注目ラインに含まれる複数個の画素から１個の注目画素を選択する。例えば、注目ラインに含まれる複数個の画素から、上側から下側に向かって順次に注目画素が選択される。

Ｓ１２０では、ＣＰＵ４１０は、注目画素の複数個の近傍画素の値を用いて、注目画素の値（本実施例では、ＲＧＢ値）を決定する。左側原稿画像ＨＩＬが注目画像である場合には、注目画素の値は、注目画素より左側に位置する４個の近傍画素の値を用いて決定される。例えば、図６の右側に示すラインＬ１の画素Ｘが注目画素である場合には、４個の近傍画素は、ラインＬ１の左側に隣接するラインＬａの３個の画素Ａ、Ｂ、Ｃと、ラインＬａの左側に隣接するラインＬｂの１個の画素Ｄである。画素Ａは、注目画素より左側に位置する画素のうち、注目画素に最も近い第１近傍画素であり、画素Ｂ、Ｃは、注目画素に２番目に近い第２近傍画素であり、画素Ｄは、注目画素に３番目に近い第３近傍画素である。画素Ｘの特定の成分値（例えば、Ｒ成分の値）Ｖｘは、画素Ａ〜Ｄの特定の成分値Ｖａ〜Ｖｄを用いて、以下の式（１）によって算出される。

Ｖｘ＝Ｋａ×Ｖａ＋Ｋｂ×Ｖｂ＋Ｋｃ×Ｖｃ＋Ｋｄ×Ｖｄ ...（１）
ここで、Ｋａ〜Ｋｄは、画素Ａ〜Ｄとのそれぞれと画素Ｘとの距離に応じて予め決定された係数である。係数Ｋａ〜Ｋｄは、Ｋａ〜Ｋｄの合計値が１であり、かつ、画素Ｘとの距離が短いほど大きな値となるように、決定されている。本実施例では、Ｋａ＝０．５、Ｋｂ＝Ｋｃ＝０．２、Ｋｄ＝０．１である。

ＣＰＵ４１０は、式（１）を用いて、注目画素のＲＧＢの３個の成分の値をそれぞれ算出することによって、注目画素のＲＧＢ値を決定する。

なお、図示は省略するが、右側原稿画像ＨＩＲが注目画像である場合には、注目画素の値は、注目画素より右側に位置する４個の近傍画素の値を用いて決定される。

Ｓ１２５では、ＣＰＵ４１０は、注目ラインの全ての画素を注目画素として処理したか否かを判断する。未処理の画素がある場合には（Ｓ１２５：ＮＯ）、ＣＰＵ４１０は、Ｓ１１５に戻って、未処理の画素を注目画素として選択する。全ての画素が処理された場合には（Ｓ１２５：ＹＥＳ）、ＣＰＵ４１０は、Ｓ１３０にて、注目画像について設定された復元領域の全てのラインを注目ラインとして処理したか否かを判断する。未処理のラインがある場合には（Ｓ１３０：ＮＯ）、ＣＰＵ４１０は、Ｓ１１０に戻って、未処理のラインを注目ラインとして選択する。全てのラインが処理された場合には（Ｓ１３０：ＹＥＳ）、ＣＰＵ４１０は、Ｓ１３５に処理を進める。

Ｓ１３５では、ＣＰＵ４１０は、左側原稿画像ＨＩＬと右側原稿画像ＨＩＲの両方を処理したか否かを判断する。ＣＰＵ４１０は、両方の原稿画像を処理していない場合には（Ｓ１３５：ＮＯ）、Ｓ１００に戻って未処理の原稿画像を注目画像として選択する。ＣＰＵ４１０は、両方の原稿画像を処理済である場合には（Ｓ１３５：ＹＥＳ）、画素復元処理を終了する。

以上の説明から解るように、左側復元領域ＡＬの画素のうち、左側原稿画像ＨＩＬの右端の右側に隣接するラインＬ１内の画素の値は、左側原稿画像ＨＩＬの右端に沿うラインＬａ、Ｌｂの複数個の画素の値を用いて決定される。ラインＬａ、Ｌｂの複数個の画素は、左側原稿画像ＨＩＬに含まれる複数個の画素であって、左側原稿画像ＨＩＬの右端にそって左側原稿画像ＨＩＬの内側に並ぶ複数個の画素と、言うことができる。

同様に、左側復元領域ＡＬのうち、ラインＬ１の右側に隣接するラインＬ２内の画素の値は、ラインＬ１の複数個の画素と、ラインＬａの複数個の画素の値と、を用いて決定される。また、左側復元領域ＡＬのうち、ラインＬ２の右側に隣接するラインＬ３内の画素の値は、ラインＬ１、Ｌ２の複数個の画素の値を用いて決定される。このように、画素復元処理によって、左側復元領域ＡＬ内の複数個の画素が、左側原稿画像ＨＩＬの右端に沿うラインＬａ、Ｌｂの複数個の画素の値を直接または間接的に用いて、生成される。左側復元領域ＡＬ内の複数個の画素は、左側原稿画像ＨＩＬに含まれない複数個の画素であって左側原稿画像ＨＩＬの右端に沿って左側原稿画像ＨＩＬの外側に並ぶ複数個の画素（左側復元画素とも呼ぶ）と言うことができる。

同様に、画素復元処理によって、右側復元領域ＡＲ内の複数個の画素が、右側原稿画像ＨＩＲの右端に沿うラインの複数個の画素の値を直接または間接的に用いて、生成される。右側復元領域ＡＲ内の複数個の画素は、右側原稿画像ＨＩＲに含まれない複数個の画素であって右側原稿画像ＨＩＲの左端に沿って右側原稿画像ＨＩＲの外側に並ぶ複数個の画素（右側復元画素とも呼ぶ）と言うことができる。

左側復元領域ＡＬ内の複数個の左側復元画素によって構成される線状の画像と、右側復元領域ＡＲ内の複数個の右側復元画素によって構成される線状の画像は、ともに、原稿１０の折れ線ＶＬ上に位置する線状の画像を表す画像になる。したがって、左側復元領域ＡＬ内の画像と、右側復元領域ＡＲ内の線状の画像とは、互いに類似する部分を含むと考えられる。

なお、復元領域ＡＬ、ＡＲは、それぞれ、原稿画像ＨＩＬ、ＨＩＲに隣接する領域であるが、バッファ領域４２１内では、復元領域ＡＬ、ＡＲ内の復元画素を含む画像データは、必ずしも原稿画像ＨＩＬ、ＨＩＲを表す画像データと一体とされている必要はなく、原稿画像ＨＩＬ、ＨＩＲを表す画像データとは、別の画像データであって良い。

画素復元処理が終了すると、ＣＰＵ４１０は、図２のＳ４５にて、配置位置決定処理を実行する。配置位置決定処理は、左側原稿画像ＨＩＬと右側原稿画像ＨＩＲとの相対的な位置を、左側原稿画像ＨＩＬと右側原稿画像ＨＩＲとを用いて原稿１０を適切に表現できるように、決定する処理である。図７は、配置位置決定処理のフローチャートである。

Ｓ２００では、ＣＰＵ４１０は、基準領域ＣＡを決定する。基準領域ＣＡは、右側復元領域ＡＲの少なくとも一部を含む領域に決定される。本実施例では、右側復元領域ＡＲの全体、すなわち、画素復元処理によって生成された複数個の右側復元画素によって構成される画像の全体が、基準領域ＣＡとして決定される。これに代えて、右側復元領域ＡＲの一部分が基準領域ＣＡとして決定されても良い。あるいは、右側復元領域ＡＲと右側原稿画像ＨＩＲとによって構成される画像から、右側復元領域ＡＲの全体と右側復元領域ＡＲの左端の一部を含む領域が、基準領域ＣＡとして決定されても良い。

Ｓ２０５では、ＣＰＵ４１０は、所定の探索領域ＳＡに基づいて決定される複数個の候補領域の中から、１個の注目候補領域を決定する。探索領域ＳＡは、例えば、図５（Ａ）に示すように、左側原稿画像ＨＩＬの右上部分に破線で示す範囲である。図８は、図５（Ａ）の探索領域ＳＡ近傍の拡大図である。探索領域ＳＡは、縦Ｍ画素×横Ｎ画素分の矩形の範囲である（Ｍ、Ｎは、２以上の整数）。Ｎは、例えば、約１０であり、Ｍは、例えば、数十から数百である。探索領域ＳＡの右端は、左側原稿画像ＨＩＬの右側の左側復元領域ＡＬの右端と一致している。探索領域ＳＡの縦方向の中心は、左側原稿画像ＨＩＬの上端に位置している。

ＣＰＵ４１０は、探索領域ＳＡ内の（Ｍ×Ｎ）個の画素位置から、１個の注目画素位置を選択する。ＣＰＵ４１０は、当該注目画素位置に、基準領域ＣＡの左上の画素Ｐｃ（図５（Ａ））が位置するように、基準領域ＣＡを配置した場合に、基準領域ＣＡと重なる左側原稿画像ＨＩＬまたは復元領域ＡＬ内の領域を注目候補領域として特定する。このように、探索領域ＳＡ内の（Ｍ×Ｎ）個の画素位置が、（Ｍ×Ｎ）個の候補領域と１対１で対応している。例えば、図８のハッチングで示す候補領域ＮＴ１は、探索領域ＳＡ内の右上の画素位置Ｐｔ１が注目画素位置である場合に特定される。図８のハッチングで示す候補領域ＮＴ２は、探索領域ＳＡ内の左下の画素位置Ｐｔ２が注目画素位置である場合に特定される。候補領域が設定され得る候補領域設定範囲ＮＴＡは、図８に示すように、探索領域ＳＡの左端の位置ＬＰより右側に位置する領域である。本実施例では、候補領域設定範囲ＮＴＡは、左側復元領域ＡＬと、左側原稿画像ＨＩＬの右端の近傍の一部分の領域と、を含む。

例えば、最初の注目候補領域は、図８の候補領域ＮＴ１である。そして、注目候補領域ＮＴ１を特定するための探索領域ＳＡ内の画素位置を、候補領域ＮＴ１を特定する際の位置から縦方向や横方向に１画素刻みで移動させることで、（Ｍ×Ｎ）個の候補領域から１個の注目候補領域が順次に特定される。

１個の注目候補領域が特定されると、Ｓ２１０では、ＣＰＵ４１０は、注目候補領域の類似率（ＳＣ／Ｎｔ）を算出する。注目候補領域の類似率（ＳＣ／Ｎｔ）は、注目候補領域と、基準領域ＣＡとが類似している程度を示す指標値である。

類似率（ＳＣ／Ｎｔ）の算出方法は、以下のとおりである。先ず、ＣＰＵ４１０は、注目候補領域内の複数個の画素を１個ずつ注目画素として選択して、注目画素が、類似画素であるか非類似画素であるかを判断する。具体的には、ＣＰＵ４１０は、注目候補領域内の注目画素の成分値と、当該注目画素に対応する基準領域ＣＡ内の画素の成分値と、の差ΔＶＰを算出する。注目画素に対応する基準領域ＣＡ内の画素は、注目候補領域と基準領域ＣＡとを重ねた場合に、注目画素と重なる基準領域ＣＡ内の画素である。差ΔＶＰを算出すべき２個の画素の成分値を、（Ｒ１、Ｇ１、Ｂ１）と（Ｒ２、Ｇ２、Ｂ２）とする。差ΔＶＰは、例えば、３種類の成分値間の差分の絶対値の和で表される。すなわち、差ΔＶＰは、（Ｒ１−Ｒ２）の絶対値と、（Ｇ１−Ｇ２）の絶対値と、（Ｂ１−Ｂ２）の絶対値と、の合計値で表される。

ＣＰＵ４１０は、算出された差ΔＶＰが、所定の基準値ＴＨ１以下である場合には、注目画素が類似画素であると判断し、算出された差ΔＶＰが、所定の基準値ＴＨ１より大きい場合には、注目画素が非類似画素であると判断する。差ΔＶＰが、所定の基準値ＴＨ１以下である場合には、注目候補領域内の注目画素の色と、当該注目画素に対応する基準領域ＣＡ内の画素の色とは、類似すると判断できるからである。

ＣＰＵ４１０は、注目候補領域内の類似画素の個数ＳＣを、注目候補領域内の画素の総数Ｎｔで除することによって、注目候補領域の類似率（ＳＣ／Ｎｔ）を算出する。類似率（ＳＣ／Ｎｔ）は、注目候補領域内の画素の総数Ｎｔに対する類似画素の個数ＳＣの割合である。類似率（ＳＣ／Ｎｔ）が大きいほど、基準領域ＣＡと、注目候補領域とは、類似している。

Ｓ２１５は、ＣＰＵ４１０は、類似率（ＳＣ／Ｎｔ）が、閾値ＴＨ２以上であるか否かを判断する。即ち、ＣＰＵ４１０は、現在の注目候補領域が基準領域ＣＡに類似しているか否かを判断する。

類似率（ＳＣ／Ｎｔ）が、閾値ＴＨ２以上である場合、即ち、現在の注目候補領域が基準領域ＣＡに類似していると判断する場合には（Ｓ２１５：ＹＥＳ）、ＣＰＵ４１０は、Ｓ２２０にて、現在の注目候補領域を、基準領域ＣＡに類似する類似領域として記憶して、Ｓ２２５に処理を進める。

類似率（ＳＣ／Ｎｔ）が、閾値ＴＨ２未満である場合には（Ｓ２１５：ＮＯ）、ＣＰＵ４１０は、Ｓ２２０をスキップして、Ｓ２２５に処理を進める。

Ｓ２２５では、ＣＰＵ４１０は、（Ｍ×Ｎ）個の全ての候補領域を注目候補領域として処理したか否かを判断する。未処理の候補領域がある場合には（Ｓ２２５：ＮＯ）、ＣＰＵ４１０は、Ｓ２０５に戻って、未処理の候補領域を注目候補領域として特定する。全ての候補領域が処理された場合には（Ｓ２２５：ＹＥＳ）、ＣＰＵ４１０は、Ｓ２３０に処理を進める。

Ｓ２３０では、ＣＰＵ４１０は、（Ｍ×Ｎ）個の候補領域の中に１個以上の類似領域があるか否かを判断する。すなわち、Ｓ２２０にて類似領域として記憶された候補領域が１個以上あるか否かが判断される。ＣＰＵ４１０は、１個以上の類似領域がある場合には（Ｓ２３０：ＹＥＳ）、Ｓ２３５にて、１個以上の類似領域の中から、Ｓ２１０にて算出された類似率（ＳＣ／Ｎｔ）が最も高い１個の類似領域を選択する。

Ｓ２４０では、ＣＰＵ４１０は、選択した１個の類似領域の位置に基づいて、左側原稿画像ＨＩＬと、右側原稿画像ＨＩＲと、の相対的は配置位置を決定する。本実施例では、原稿画像ＨＩＬ、ＨＩＲの折れ線ＶＬに対応する端に沿った方向、すなわち、図８の縦方向の相対的な位置が決定される。具体的には、Ｓ２３５で選択された類似領域に対応する探索領域ＳＡ内の画素位置Ｐｓが特定される。例えば、Ｓ２３５で選択された類似領域が、図８の候補領域ＮＴ１である場合には、探索領域ＳＡの画素位置Ｐｔ１が、類似領域に対応する探索領域ＳＡ内の画素位置Ｐｓとして特定される。そして、特定された探索領域ＳＡ内の画素位置の縦方向の位置が、右側原稿画像ＨＩＲの上端の画素の縦方向の位置として決定される。探索領域ＳＡは、左側原稿画像ＨＩＬに対して設定されているので、これによって、左側原稿画像ＨＩＬと右側原稿画像ＨＩＲとの相対的な縦方向の位置が決定される。なお、本実施例の配置位置決定処理では、左側原稿画像ＨＩＬと右側原稿画像ＨＩＲとの相対的な横方向の位置は、決定されない。左側原稿画像ＨＩＬと右側原稿画像ＨＩＲとの相対的な横方向の位置は、後述するように予め決定された位置に決定されるからである。

１個以上の類似領域がない場合には（Ｓ２３０：ＮＯ）、ＣＰＵ４１０は、Ｓ２４５にて、左側原稿画像ＨＩＬと右側原稿画像ＨＩＲとの相対的な縦方向の位置をデフォルトの位置に決定する。本実施例の縦方向のデフォルトの位置は、左側原稿画像ＨＩＬの上端の縦方向の位置と、右側原稿画像ＨＩＲの上端の縦方向の位置と、が一致する位置である。

Ｓ２４０およびＳ２４５のいずれかにて、左側原稿画像ＨＩＬと右側原稿画像ＨＩＲとの相対的な縦方向の位置が決定されると、配置位置決定処理は終了される。

配置位置決定処理が終了すると、図２のＳ５０では、ＣＰＵ４１０は、配置済画像生成処理を決定する。配置済画像生成処理は、配置位置決定処理にて決定済の相対的な縦方向の位置に左側原稿画像ＨＩＬと右側原稿画像ＨＩＲとが配置された配置済画像を表す一の配置済画像ファイルを生成する処理である。

図９は、配置済画像生成処理のフローチャートである。Ｓ３０５にて、ＣＰＵ４１０は、２個の原稿画像ＨＩＬ、ＨＩＲを決定済の配置位置に配置した一の配置済画像を表す配置済画像データを生成する。図５（Ｂ）には、配置済画像ＢＩ１の一例が図示されている。図５（Ｂ）に示すように、配置済画像ＢＩ１は、２個の原稿画像ＨＩＬ、ＨＩＲが配置され、これらの２個の原稿画像ＨＩＬ、ＨＩＲで１個の原稿１０を示す画像である。配置済画像ＢＩ１において、左側原稿画像ＨＩＬと右側原稿画像ＨＩＲとの相対的な縦方向の位置は、配置位置決定処理にて決定済の相対的な縦方向の位置である。例えば、図５（Ｂ）は、Ｓ２４０にてデフォルトとは異なる相対的な縦方向の位置が決定された場合の例を示している。図５（Ｂ）の配置済画像ＢＩ１において、左側原稿画像ＨＩＬ上の探索領域ＳＡ内の上述した画素位置Ｐｓの縦方向の位置と、右側原稿画像ＨＩＲの上端と、が一致している。この結果、左側原稿画像ＨＩＬの上端と右側原稿画像ＨＩＲの上端とは、ΔＨだけ縦方向にずれている。Ｓ２４５にてデフォルトの相対的な縦方向の位置が決定された場合には、図示を省略するが、配置済画像において、左側原稿画像ＨＩＬの上端と右側原稿画像ＨＩＲの上端とが一致するように、２個の原稿画像ＨＩＬ、ＨＩＲが配置される。

また、配置済画像ＢＩ１において、左側原稿画像ＨＩＬと右側原稿画像ＨＩＲとの相対的な横方向の位置は、配置位置決定処理とは無関係に予め決定された位置である。具体的には、配置済画像ＢＩ１において、左側原稿画像ＨＩＬの右端と、右側原稿画像ＨＩＲの左端と、の間が特定の隙間ΔＩＴだけ離れるように、２個の原稿画像ＨＩＬ、ＨＩＲが配置される。本実施例では、特定の隙間ΔＩＴは、上述した復元領域ＡＬ、ＡＲの幅ΔＷと等しく、例えば、３画素である。なお、配置済画像ＢＩ１に、左側復元領域ＡＬ内の複数個の左側復元画素、および、右側復元領域ＡＲ内の複数個の右側復元画素は、配置されない。特定の隙間ΔＩＴを構成する画素の値は、例えば、白を表す値とされる。

Ｓ３１０では、図５（Ｃ）に示すように、ＣＰＵ４１０は、配置済画像ＢＩ１に対してキャンパスサイズの矩形ＣＳが設定される。矩形ＣＳのサイズは、Ｓ２５によって取得されたキャンパスサイズ情報に基づいて決定される。具体的には、矩形ＣＳの縦方向および横方向の中心と、配置済画像ＢＩ１の縦方向および横方向の中心と、が一致するように、配置済画像ＢＩ１に対して矩形ＣＳが設定される。

Ｓ３１５では、ＣＰＵ４１０は、矩形ＣＳに基づいて、配置済画像ＢＩ１への画素の追加および配置済画像ＢＩ１からの画素の削除を実行して、サイズが修正された配置済画像ＢＩ２を表す配置済画像データを生成する（図５（Ｃ））。具体的には、矩形ＣＳの内側であって、かつ、配置済画像ＢＩ１の外側の領域ＡＰには、所定の色（例えば、白）を有する画素が追加される。また、配置済画像ＢＩ１の複数個の画素のうち、矩形ＣＳの外側に位置する領域ＤＰ内の画素は、削除される。この結果、ユーザによって指定されたサイズの配置済画像ＢＩ２を表す配置済画像データが生成される。

Ｓ３２０では、ＣＰＵ４１０は、配置済画像データを所定の形式の画像ファイルに変換することによって、配置済画像ＢＩ２を表す配置済画像ファイルを生成する。例えば、ＲＧＢ画像データである配置済画像データは、ＪＰＥＧ圧縮されて、ＪＰＥＧ形式の配置済画像ファイルが生成される。

図２のＳ５５では、ＣＰＵ４１０は、生成された配置済画像ファイルを複合機２００に対して送信する。複合機２００のＣＰＵ２１０は、配置済画像ファイルを受信すると、受信した配置済画像ファイルを不揮発性記憶装置２３０に格納するとともに、ユーザに配置済画像ファイルの受信を通知する。配置済画像ファイルは、ユーザの利用に供される。例えば、複合機２００は、ユーザの指示に基づいて、配置済画像ファイルを用いて、配置済画像ＢＩ２を印刷することができる。

以上説明した本実施例によれば、右側原稿画像ＨＩＲに沿って右側原稿画像ＨＩＲの内側に並ぶ複数個の画素の値を用いて、右側原稿画像ＨＩＲの左端に沿う復元領域ＡＲ内の複数個の右側復元画素が生成される（図６）。そして、これらの複数個の右側復元画素を用いて、左側原稿画像ＨＩＬと右側原稿画像ＨＩＲとの相対的な位置が決定される（図７）。この結果、図９の配置済画像生成処理にて、配置済画像ファイルを生成する際に、原稿画像ＨＩＬと右側原稿画像ＨＩＲとの配置位置を精度良く決定することができる。

上述したように原稿１０の折れ線ＶＬ上に位置する線状の画像は、原稿画像ＨＩＬ、ＨＩＲのいずれにも表れない。このために、仮に、これらの原稿画像ＨＩＬ、ＨＩＲの縦方向の相対的な位置を、複数個の右側復元画素を生成することなく、決定すると、縦方向の相対的な位置を精度良く決定できない可能性がある。本実施例では、右側復元画素を生成し、右側復元画素を用いて、これらの原稿画像ＨＩＬ、ＨＩＲの縦方向の相対的な位置を精度良く決定することができる。

さらに、本実施例では、左側原稿画像ＨＩＬに沿って左側原稿画像ＨＩＬの内側に並ぶ複数個の画素の値を用いて、左側原稿画像ＨＩＬの右端に沿う復元領域ＡＬ内の複数個の左側復元画素が生成される（図６）。そして、これらの複数個の左側復元画素を用いて、左側原稿画像ＨＩＬと右側原稿画像ＨＩＲとの相対的な位置が決定される（図７）。この結果、配置済画像ファイルを生成する際に、原稿画像ＨＩＬと右側原稿画像ＨＩＲとの配置位置をさらに精度良く決定することができる。例えば、複数個の左側復元画素によって構成される画像と、右側復元画素によって構成される画像と、が類似する場合には、これらの２個の画像の類似性に基づいて、原稿画像ＨＩＬと右側原稿画像ＨＩＲとの配置位置を適切に決定し得る。

より具体的には、ＣＰＵ４１０は、複数個の右側復元画素を含む基準領域ＣＡ（図５（Ａ）、図８）内の画像と、複数個の左側復元画素を含む候補領域設定範囲ＮＴＡ（図８）内の画像と、を用いて、候補領域設定範囲ＮＴＡ内において、基準領域ＣＡ内の画像と類似する画像の位置を決定する（図７のＳ２００〜Ｓ２３５）。そして、ＣＰＵ４１０は、基準領域ＣＡ内の画像と類似する画像の位置に基づいて、２個の原稿画像ＨＩＬ、ＨＩＲの相対的な位置を決定する（図７のＳ２４０）。この結果、複数個の右側復元画素を含む画像と、複数個の左側復元画素を含む画像と、の比較に基づいて、２個の原稿画像ＨＩＬ、ＨＩＲの相対的な位置をさらに精度良く決定することができる。

さらに本実施例の基準領域ＣＡは、右側復元領域ＡＲの全体である（図５（Ａ））。すなわち、基準領域ＣＡは、複数個の右側復元画素によって構成される所定個数（本実際例では３本）のラインを含む。そして、基準領域ＣＡのラインのそれぞれは、右側原稿画像ＨＩＲの左端に沿って、左端に沿う方向の一端から他端まで連続する複数個の右側復元画素を含む。換言すれば、基準領域ＣＡを構成するラインのそれぞれは、右側原稿画像ＨＩＲの縦方向の全長に亘る長さを有している。

こうすれば、例えば、右側原稿画像ＨＩＲの左端に沿う領域の一部分だけについて右側復元画素を生成する場合と比較して、２個の原稿画像ＨＩＬ、ＨＩＲの相対的な位置を適切に決定することができる。

さらに、基準領域ＣＡは、右側復元領域ＡＲ内の複数個の右側復元画素を含み、右側原稿画像ＨＩＲ内の画素を含まない（図５（Ａ））。原稿画像ＨＩＬ、ＨＩＲは、二つ折りにされた原稿１０の両面をそれぞれ読み取って得られる画像であることから、２個の原稿画像ＨＩＬ、ＨＩＲの両方に表れる原稿１０上の領域は存在しない。このために、基準領域ＣＡには、複数個の右側復元画素を含めば十分であり、右側原稿画像ＨＩＲ内の画素を含める必要はないからである。これによって、２個の原稿画像ＨＩＬ、ＨＩＲの相対的な位置をさらに適切に決定することができる。

さらに、候補領域設定範囲ＮＴＡは、左側復元領域ＡＬ内の複数個の左側復元画素と、左側原稿画像ＨＩＬ内の画素を含む（図８）。基準領域ＣＡ内の画像、すなわち、右側原稿画像ＨＩＲに基づいて復元された復元領域ＡＲ内の画像に類似する画像は、左側復元領域ＡＬに存在する可能性が高いが、例えば、右側復元領域ＡＲの幅ΔＷによっては、左側原稿画像ＨＩＬに存在する可能性もある。このために、候補領域設定範囲ＮＴＡには、左側復元領域ＡＬ内の複数個の左側復元画素と、左側原稿画像ＨＩＬ内の画素と、を含めている。これによって、２個の原稿画像ＨＩＬ、ＨＩＲの相対的な位置をさらに適切に決定することができる。

さらに、配置位置決定処理によって決定される相対的な位置は、縦方向の位置、すなわち、右側原稿画像ＨＩＲの左端に沿う方向の位置である。そして、配置済画像生成処理（図９）では、配置済画像ＢＩ２において、２個の原稿画像ＨＩＬ、ＨＩＲは、右側原稿画像ＨＩＲの左端と垂直な方向、すなわち、横方向に、特定の隙間ΔＩＴを挟んで配置される（図５（Ｂ）、（Ｃ））。そして、配置済画像ＢＩ２において、２個の原稿画像ＨＩＬ、ＨＩＲは、縦方向の位置が、配置位置決定処理によって決定される相対的な位置に配置される（図５（Ｂ）、（Ｃ））。上述したように、原稿画像ＨＩＬ、ＨＩＲは、二つ折りにされた原稿１０の両面をそれぞれ読み取って得られる画像であることから、２個の原稿画像ＨＩＬ、ＨＩＲの両方に表れる原稿１０上の領域は存在しない。このために、配置済画像ＢＩ２において、左側原稿画像ＨＩＬの右端近傍と、右側原稿画像ＨＩＲの左端近傍と、が重なるように、配置することは適切ではないと考えられる。また、上述したように、原稿１０の折れ線ＶＬに対応する線状の画像が、２個の原稿画像ＨＩＬ、ＨＩＲから欠損している。これを考慮すれば、配置済画像ＢＩ２において、欠損している線状の画像の幅に相当する特定の隙間ΔＩＴを挟んで２個の原稿画像ＨＩＬ、ＨＩＲを配置することが適切である。

また、本実施例では、隙間ΔＩＴの画素の値は、白を示す固定値とされる。隙間ΔＩＴの幅は、比較的短い（例えば、３画素）ので、隙間ΔＩＴが白であっても、配置済画像ＢＩ２において、隙間ΔＩＴは、過度には目立たない。特に、配置済画像ＢＩ２が印刷される場合には、色材のにじみが発生するので、印刷された配置済画像ＢＩ２において、隙間ΔＩＴは、あまり目立たない。

さらに、図７の配置位置決定処理では、２個の原稿画像ＨＩＬ、ＨＩＲの相対的な位置を類似領域に基づいて決定できない場合（図７のＳ２３０：ＮＯ）には、２個の原稿画像ＨＩＬ、ＨＩＲの相対的な縦方向の位置が、デフォルトの位置に決定される（図７のＳ２４５）。したがって、この場合には、配置済画像ＢＩ２において、２個の原稿画像ＨＩＬ、ＨＩＲは、相対的な縦方向の位置が予め定められた位置となるように、配置される。こうすれば、複数個の右側復元画素を用いて２個の原稿画像ＨＩＬ、ＨＩＲの相対的な縦方向の位置が決定できない場合であっても、配置済画像ファイルを生成することができる。

さらに、本実施例では、ＣＰＵ４１０は、生成すべき画像の特定のサイズを示すキャンパスサイズ情報を取得する（図２のＳ２５）。そして、ＣＰＵ４１０は、配置済画像ＢＩ１への画素の追加および配置済画像内の画素の削除を行うことによって、配置済画像ＢＩ１のサイズが、特定のサイズと一致するように調整する（図９のＳ３１５）。この結果、配置済画像ＢＩ２のサイズを適切なサイズ、具体的には、ユーザが所望するサイズに調整することができる。

以上の説明から解るように、右側原稿画像ＨＩＲは、第１の画像の例であり、左側原稿画像ＨＩＬは、第２の画像の例である。右側復元領域ＡＲ内の右側復元画素は、第１の画素の例であり、左側復元領域ＡＬ内の左側復元画素は、第２の画素の例である。また、基準領域ＣＡ内の画像は、第１の判定画像の例であり、候補領域設定範囲ＮＴＡ内の画像は、第２の判定画像の例である。

Ｂ．第２実施例
第２実施例では、配置済画像生成処理が、第１実施例とは異なる。図１０は、第２実施例の配置済画像生成処理のフローチャートである。

Ｓ３０５ｂでは、ＣＰＵ４１０は、図９のＳ３０５と同様に、２個の原稿画像ＨＩＬ、ＨＩＲを決定済の配置位置に配置した一の配置済画像を表す配置済画像データを生成する。ただし、第２実施例では、左側原稿画像ＨＩＬと右側原稿画像ＨＩＲとの相対的な縦方向の位置に加えて、左側原稿画像ＨＩＬと右側原稿画像ＨＩＲとの相対的な横方向の位置も、Ｓ２３５で選択された類似領域の位置に基づいて決定される。具体的には、先ず、Ｓ２３５で選択された類似領域に対応する探索領域ＳＡ内の画素位置Ｐｓが特定される。例えば、Ｓ２３５で選択された類似領域が、図８の候補領域ＮＴ１である場合には、探索領域ＳＡの画素位置Ｐｔ１が、類似領域に対応する探索領域ＳＡ内の画素位置Ｐｓとして特定される。そして、特定された画素位置Ｐｓの横方向の位置が、右側原稿画像ＨＩＲの左端の横方向の位置として決定される。このために、配置済画像ＢＩ１において、左側原稿画像ＨＩＬの右端と、右側原稿画像ＨＩＲの左端と、の間には、隙間ΔＩＴが存在する場合もあれば、存在しない場合もある。具体的には、左側原稿画像ＨＩＬの右端と、右側原稿画像ＨＩＲの左端との間に隙間ΔＩＴが発生する場合には、１〜５画素のライン分の隙間ＩＴが発生し得る。

Ｓ３０６ｂでは、ＣＰＵ４１０は、配置済画像ＢＩ１において、左側原稿画像ＨＩＬの右端と、右側原稿画像ＨＩＲの左端と、の間に、隙間ΔＩＴが存在するか否かを判断する。隙間ΔＩＴが存在する場合には（Ｓ３０６ｂ：ＹＥＳ）、ＣＰＵ４１０は、Ｓ３０７ｂにて、隙間ΔＩＴの幅に応じて、隙間ΔＩＴに存在する画素を復元するための復元用の係数を決定する。そして、ＣＰＵ４１０は、Ｓ３０８ｂにて、決定された係数を用いて、隙間ΔＩＴに存在する各画素の値を決定する。

図１０の右側には、隙間ΔＩＴの幅が３画素である場合の例が図示されている。例えば、隙間ΔＩＴに存在する画素は、当該画素の右方向に位置する右側原稿画像ＨＩＲの左端の画素と、当該画素の左方向に位置する左側原稿画像ＨＩＬの右端の画素と、を用いて生成される。例えば、図１０において、隙間ΔＩＴの３個の画素Ｘ１、Ｘ２、Ｘ３の値は、左側原稿画像ＨＩＬの画素Ｌの値と、右側原稿画像ＨＩＲの画素Ｒの値と、を用いて決定される。

画素Ｘ１〜Ｘ３の特定の成分値（例えば、Ｒ成分の値）Ｖｘ１〜Ｖｘ３は、画素Ｌ、Ｒの特定の成分値Ｖｌ、Ｖｒを用いて、以下の式（２）によって算出される。

Ｖｘ１＝Ｋｌ１×Ｖｌ＋Ｋｒ１×Ｖｒ
Ｖｘ２＝Ｋｌ２×Ｖｌ＋Ｋｒ２×Ｖｒ
Ｖｘ３＝Ｋｌ３×Ｖｌ＋Ｋｒ３×Ｖｒ ...（２）

ここで、係数Ｋｌ１〜Ｋｌ３は、画素Ｘ１〜Ｘ３とのそれぞれと、画素Ｌとの距離に応じて決定される。係数Ｋｌ１〜Ｋｌ３は、画素Ｌとの距離が短いほど大きな値となるように、決定される。係数Ｋｒ１〜Ｋｒ３は、画素Ｘ１〜Ｘ３とのそれぞれと、画素Ｒとの距離に応じて決定される。係数Ｋｒ１〜Ｋｒ３は、画素Ｒとの距離が短いほど大きな値となるように、決定される。また、（Ｋｌ１＋Ｋｒ１）＝１、（Ｋｌ２＋Ｋｒ２）＝１、（Ｋｌ３＋Ｋｒ３）＝１である。例えば、図１０に示すように、Ｋｌ１＝（３／４）、Ｋｒ１＝（１／４）、Ｋｌ２＝（２／４）、Ｋｒ２＝（２／４）、Ｋｌ３＝（１／４）、Ｋｒ３＝（３／４）である。

Ｓ３０８ｂでは、左側原稿画像ＨＩＬの右端と、右側原稿画像ＨＩＲの左端との間に隙間ΔＩＴ内の全ての画素の値が決定される。

隙間ΔＩＴが存在しない場合には（Ｓ３０６ｂ：ＮＯ）、ＣＰＵ４１０は、Ｓ３０７ｂ、Ｓ３０８ｂをスキップする。

図１０のＳ３１０〜Ｓ３２０の処理は、図９のＳ３１０〜Ｓ３２０の処理と同一であるので、その説明を省略する。

以上説明した第２実施例によれば、左側原稿画像ＨＩＬと右側原稿画像ＨＩＲとの間の隙間ΔＩＴを構成する複数個の画素（例えば、図１０の画素Ｘ１〜Ｘ３）を、左側原稿画像ＨＩＬの画素（例えば、図１０の画素Ｌ）と、右側原稿画像ＨＩＲの画素（例えば、図１０の画素Ｒ）と、用いて生成（復元）する。この結果、左側原稿画像ＨＩＬの画素と、右側原稿画像ＨＩＲの画素とを用いて、配置済画像ＢＩ２の隙間ΔＩＴに適切な画素を生成することができる。

Ｃ．変形例：
（１）上記実施例では、左側原稿画像ＨＩＬの画素を用いて、左側復元領域ＡＬ内に左側復元画素が生成され、右側原稿画像ＨＩＲの画素を用いて、右側復元領域ＡＲ内に右側復元画素が生成される。これに代えて、左側復元画素と、右側復元画素と、のうちの一方だけが生成されても良い。例えば、右側復元画素だけが生成され、左側復元画素が生成されない場合には、基準領域ＣＡは第１実施例と同様に右側復元画素によって構成される領域とされ、候補領域設定範囲ＮＴＡは、第１実施例と異なり、左側原稿画像ＨＩＬの右端の近傍領域のみを含む範囲とされる。また、左側復元画素だけが生成され、右側復元画素が生成されない場合には、基準領域ＣＡは、第１実施例と異なり、右側原稿画像ＨＩＲの左端近傍の領域とされ、候補領域設定範囲ＮＴＡは、第１実施例と同様に、左側原稿画像ＨＩＬの右端の近傍領域と、左側復元画素によって構成される領域と、を含む範囲とされる。

（２）上記実施例では、左側復元領域ＡＬ内の複数個の左側復元画素は、左側原稿画像ＨＩＬの右端に沿って縦方向の全長に亘って生成されている。これに代えて、左側原稿画像ＨＩＬの右端に沿った領域のうち、縦方向の中央部近傍の一部の領域についてのみ生成されても良い。右側復元領域ＡＲ内の複数個の右側復元画素についても同様である。

（３）上記実施例では、基準領域ＣＡは、右側復元領域ＡＲの全体とされている。すなわち、基準領域ＣＡは、右側復元領域ＡＲ内の複数個の右側復元画素のみを含んでいる。これに代えて、基準領域ＣＡは、右側復元領域ＡＲ内の複数個の右側復元画素と、右側復元領域ＡＲに隣接する右側原稿画像ＨＩＲの左端の数ライン分の画素と、を含んでも良い。上記実施例では、候補領域設定範囲ＮＴＡは、左側復元領域ＡＬの全体と、左側原稿画像ＨＩＬの右端近傍の一部と、を含んでいる。これに代えて、候補領域設定範囲ＮＴＡは、左側復元領域ＡＬのみを含み、左側原稿画像ＨＩＬを含まなくてもよい。

（４）上記実施例では、折れ線ＶＬで二つ折りにされた原稿１０の両面を読み取ることによって、２個の原稿画像ＨＩＬ、ＨＩＲをそれぞれ含む画像を表す画像ファイルが生成されている（図２のＳ１５）。これに代えて、折れ線ＶＬで切断されて物理的に２つに分離された原稿１０を、２回に分けて読み取ることによって、２個の原稿画像ＨＩＬ、ＨＩＲをそれぞれ含む画像を表す画像ファイルが生成されてもよい。

（５）上記実施例の配置位置決定処理において、基準領域ＣＡと類似する類似領域を決定する処理（図７のＳ２１０〜Ｓ２２０）は、一例でありこれに限られない。例えば、ＣＰＵ４１０は、類似率（ＳＣ／Ｎｔ）を計算する前に、類似画素の個数ＳＣのみを算出する。そして、ＣＰＵ４１０は、類似画素の個数ＳＣが、閾値ＴＨｓｃ未満である場合には、類似率（ＳＣ／Ｎｔ）を計算することなく、注目候補領域は、基準領域ＣＡとは類似しないと判断して、次の注目候補領域について処理を進めても良い。そして、ＣＰＵ４１０は、類似画素の個数ＳＣが、閾値ＴＨｓｃ以上である場合には、類似率（ＳＣ／Ｎｔ）を計算して、当該類似率（ＳＣ／Ｎｔ）が閾値ＴＨ２以上である場合に、注目候補領域は、基準領域ＣＡと類似すると判断しても良い。基準領域ＣＡと、候補領域設定範囲ＮＴＡと、が重なる領域が少ないために、注目候補領域の画素数が比較的少ない場合がある。このような注目候補領域は、類似領域である可能性は低いが、画素数が少ないために、当該類似率（ＳＣ／Ｎｔ）のみで判断すると誤って類似領域であると判断される可能性がある。本変形例によれば、そのような不都合を回避することができる。

（６）上記実施例では、左側原稿画像ＨＩＬと右側原稿画像ＨＩＲとが横方向に並んで配置される配置済画像を表す配置済画像ファイルが生成される。これに代えて、一の原稿画像と、他の原稿画像と、が縦方向に並んで配置される配置済画像を表す配置済画像ファイルが生成されても良い。この場合には、例えば、一の原稿画像の下端に沿って複数個の復元画素が生成され、他の原稿画像の上端に沿って複数個の復元画素が生成されても良い。この場合には、これらの復元画素を用いて、生成されるべき配置済画像における一の原稿画像と他の原稿画像との相対的な位置が決定される。

（７）上記実施例では、２個の画像ファイルを用いて、２個の原稿画像が配置された配置済画像を表す配置済像データが生成されている。これに限らず、任意の個数の画像ファイルを用いて、１個の配置済画像データが生成されても良い。例えば、４個の画像ファイルを用いて、４個の原稿画像が配置された配置済画像を表す配置済画像ファイルが生成されてもよい。

（８）上記実施例では、配置済画像データの生成に用いられる２個の画像ファイルは、複合機２００のスキャナ部２５０によって原稿が読み取られることによって生成される。これに代えて、２個の画像ファイルは、デジタルカメラによって二つ折りにされた原稿１０の両面をそれぞれ撮影することによって、２個の画像ファイルが生成されても良い。

（９）上記実施例においてサーバ４００のＣＰＵ４１０によって実行される処理（例えば、図２のＳ３０〜Ｓ５０の処理）は、例えば、複合機２００のＣＰＵ２１０によって実行されても良い。この場合には、サーバ４００は不要であり、複合機２００が単体で図２の処理を実行すればよい。また、サーバ４００のＣＰＵ４１０によって実行される処理は、複合機２００と接続されたパーソナルコンピュータ５００（図１）のＣＰＵ（図示省略）によって実行されても良い。例えば、パーソナルコンピュータ５００のＣＰＵは、パーソナルコンピュータ５００にインストールされたスキャナドライバプログラムを実行することによって、これらの処理を実行しても良い。また、サーバ４００は、本実施例のように１つの計算機で構成されても良く、互いに通信可能な複数個の計算機を含む計算システムによって構成されていても良い。

（１０）上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

７０...インターネット、８０...ＬＡＮ、１００...プリンタ、２００...複合機、２１０...ＣＰＵ、２２０...揮発性記憶装置、２２１...バッファ領域、２３０...不揮発性記憶装置、２３１...制御プログラム、２４０...プリンタ部、２５０...スキャナ部、２５５...原稿台、２６０...操作部、２７０...表示部、２８０...通信部、４００...サーバ、４１０...ＣＰＵ、４２０...揮発性記憶装置、４２１...バッファ領域、４３０...不揮発性記憶装置、４３１...コンピュータプログラム、４３３...ＵＩデータ群、４８０...通信部、５００...パーソナルコンピュータ、１０００...画像処理システム

Claims (12)

1. １個の対象物の一部を示す第１の画像を表す第１の画像ファイルと、１個の対象物の他の一部を示す第２の画像を表す第２の画像ファイルと、を取得する画像取得部と、
   前記第１の画像に含まれる複数個の画素であって前記第１の画像の第１の端に沿って前記第１の画像の内側に並ぶ複数個の画素の値を用いて、前記第１の画像に含まれない複数個の第１の画素であって前記第１の端に沿って前記第１の画像の外側に並ぶ前記複数個の第１の画素を生成する第１の画素生成部と、
   前記複数個の第１の画素を用いて、前記第１の画像と前記第２の画像との相対的な位置を決定する決定部と、
   決定済の前記相対的な位置に前記第１の画像と前記第２の画像とが配置され、第１の画像と第２の画像とで前記対象物を示す配置済画像を表す一の配置済画像ファイルを生成する画像生成部と、
   を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、さらに、
   前記第２の画像に含まれる複数個の画素であって前記第１の端に対応する前記第２の画像の第２の端に沿って前記第２の画像の内側に並ぶ複数個の画素の値を用いて、前記第２の画像に含まれない複数個の第２の画素であって前記第２の端に沿って前記第２の画像の外側に並ぶ前記複数個の第２の画素を生成する第２の画素生成部を備え、
   前記決定部は、前記複数個の第１の画素と前記複数個の第２の画素とを用いて、前記第１の画像と前記第２の画像との前記相対的な位置を決定する、画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記決定部は、
   前記複数個の第１の画素を含む第１の判定画像と、前記複数個の第２の画素を含む第２の判定画像と、を用いて、前記第２の判定画像内の前記第１の判定画像と類似する画像の位置を決定し、
   前記第１の判定画像と類似する画像の位置に基づいて、前記第１の画像と前記第２の画像との前記相対的な位置を決定する、画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記第１の判定画像は、所定個数の画素ラインを含み、
   前記所定個数の画素ラインのそれぞれは、前記第１の画像の前記第１の端に沿って、前記第１の端に沿う方向の一端から他端まで連続する前記複数個の第１の画素を含む、画像処理装置。
5. 請求項３または請求項４に記載の画像処理装置であって、
   前記第１の判定画像は、前記複数個の第１の画素を含み、前記第１の画像内の画素を含まない、画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記第２の判定画像は、前記複数個の第２の画素と、前記第２の画像内の画素と、を含む、画像処理装置。
7. 請求項１から請求項６のいずれか一項に記載の画像処理装置であって、
   前記決定部によって決定される前記第１の画像と前記第２の画像との前記相対的な位置は、前記第１の端に沿う方向の位置であり、
   前記画像生成部は、前記第１の画像と前記第２の画像とが、前記第１の端と垂直な方向に特定の隙間を挟んで配置され、かつ、前記第１の画像に対する前記第２の画像の前記第１の端に沿う方向の位置が、前記決定部によって決定される前記相対的な位置になるように配置される前記配置済画像を表す前記配置済画像ファイルを生成する、画像処理装置。
8. 請求項７に記載の画像処理装置であって、さらに、
   前記配置済画像において、前記第１の画像と前記第２の画像との間の前記特定の隙間を構成する複数個の画素を、前記第１の画像の画素と、前記第２の画像の画素とを用いて生成する第３の画素生成部を備える、画像処理装置。
9. 請求項１から請求項８のいずれか一項に記載の画像処理装置であって、
   前記決定部が、前記第１の画像と前記第２の画像との相対的な位置を決定できない場合に、前記画像生成部は、前記第１の画像に対する前記第２の画像の前記第１の端に沿った方向の位置が、予め定められた位置となるように、前記第１の画像と前記第２の画像とが配置される前記配置済画像を表す前記配置済画像ファイルを生成する、画像処理装置。
10. 請求項１から請求項９のいずれか一項に記載の画像処理装置であって、さらに、
    生成すべき画像の特定のサイズを示すサイズ情報を取得するサイズ取得部と、
    前記画像生成部は、前記配置済画像への画素の追加および前記配置済画像内の画素の削除を行うことによって、前記配置済画像のサイズを、前記特定のサイズと一致するように調整し、調整済の前記配置済画像を表す配置済画像ファイルを生成する、画像処理装置。
11. 請求項１から請求項１０のいずれか一項に記載の画像処理装置であって、
    前記画像取得部は、折り曲げられた１個の原稿を光学的に読み取ることによって生成される前記第１の画像ファイルおよび前記第２の画像ファイルを取得し、
    前記第１の画像の前記第１の端は、前記原稿の折り目に対応する端である、画像処理装置。
12. コンピュータプログラムであって、
    １個の対象物の一部を示す第１の画像を表す第１の画像ファイルと、１個の対象物の他の一部を示す第２の画像を表す第２の画像ファイルと、を取得する画像取得機能と、
    前記第１の画像に含まれる複数個の画素であって前記第１の画像の第１の端に沿って前記第１の画像の内側に並ぶ複数個の画素の値を用いて、前記第１の画像に含まれない複数個の第１の画素であって前記第１の端に沿って前記第１の画像の外側に並ぶ前記複数個の第１の画素を生成する第１の画素生成機能と、
    前記複数個の第１の画素を用いて、前記第１の画像と前記第２の画像との相対的な位置を決定する決定機能と、
    決定済の前記相対的な位置に前記第１の画像と前記第２の画像とが配置され、第１の画像と第２の画像とで前記対象物を示す配置済画像を表す一の配置済画像ファイルを生成する画像生成機能と、
    をコンピュータに実現させる、コンピュータプログラム。

Images