JP6787149B2 - 画像補正装置、画像補正方法、およびコンピュータプログラム - Google Patents

Description

本発明は、スキャンした画像の補正の技術に関する。

従来、複合機またはＭＦＰ（Multi Function Peripherals）と呼ばれる画像形成装置が普及している。

画像形成装置は、スキャナで原稿の用紙から画像を読み取ったり、ＦＡＸモデムで画像を受信したりする。これらの画像は、画像形成装置のスキャナまたはＦＡＸモデムのスキャナにおける読取りの可能な範囲全体を表わす画像（全体画像）に読取りの対象である画像（対象画像）が配置されて構成されていることが多い。

ところで、原稿の用紙が歪んでセットされるなどして、全体画像に対して対象画像が傾いてしまうことがある。この傾きは、対象画像を回転させて補正することができる。しかし、それによって対象画像の一部分が全体画像からはみ出てしまい、対象画像の一部分が欠損してしまうことがある。このような問題を解決する技術として、以下のようなものが提案されている。

引用文献１に記載の画像処理装置によると、スキュー検知部で元原稿のスキュー角や余白幅、用紙サイズを検出して回転処理部に供給する。アドレス生成部は、大容量低速メモリに記憶された元原稿の画像データをブロック単位で読み出すべく読み出しアドレスを生成する。アドレス生成部は、ブロック単位で画像データを読み出す際に、元原稿の上下左右の余白幅に応じて読み出しアドレスを設定し、元原稿の画像データの欠落を抑制する。

引用文献２に記載の画像処理装置は、入力された画像情報から特定領域を抽出する抽出部と、画像情報の傾きを検出する傾き検出部と、傾きに応じた回転角で画像情報を回転させる画像回転部と、画像情報が回転された場合に、回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出すか否かを検出するはみ出し検出部と、回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出すことが検出された場合、回転後の画像情報の特定領域を含む最小矩形範囲を切出範囲に決定する切出範囲決定部と、回転後の画像情報から、切出範囲を切出す画像切出部とを備える。

特開２００６−５４９９号公報 特開２００４−４６６３２号公報

上記の技術によると、欠損してしまう部分を抑えることができる。しかし、引用文献１に記載される画像処理装置は、画像を構成する小さいブロックを移動させ回転させる処理を伴う。また、引用文献２に記載される画像処理装置は、文字または図などが含まれる部分を認識して元の画像から切り出す処理を伴う。よって、対象画像の傾きを補正する処理が複雑になってしまう。

本発明は、このような問題点に鑑み、従来よりも容易に、一部分が欠損しないように入力の対象の画像の傾きを補正することを、目的とする。

本発明の一形態に係る画像補正装置は、予め決められた範囲の画像を入力する画像入力装置によって入力された、入力の対象である対象画像を含みかつ前記範囲を表わす全体画像を補正する、画像補正装置であって、前記全体画像に対しての傾きが前記対象画像に生じている場合に、前記対象画像を、前記対象画像の複数の頂点のうちの前記全体画像の複数の角それぞれの所定の領域のいずれかに重なっている重畳頂点を中心に回転させることによって前記傾きがなくなるように補正する、画像補正手段、を有する。

好ましくは、前記複数の角それぞれの前記所定の領域は、高さが前記全体画像の縦辺の長さから前記対象画像の縦辺の長さを減じた第一の長さに等しくかつ幅が前記全体画像の横辺の長さから前記対象画像の横辺の長さを減じた第二の長さに等しい領域である。

前記範囲は、例えば、矩形の範囲であり、前記対象画像は、矩形の帳票および前記帳票の所定の区域に書き加えられた書込み画像からなる。

または、前記複数の頂点のうちの所定の頂点の位置に関わらず、前記対象画像を、前記所定の頂点を中心に回転させることによって前記傾きがなくなるように補正する、第二の画像補正手段、を有し、前記画像補正手段は、前記第二の画像補正手段によって前記所定の区域の一部分または全部分が前記全体画像をはみ出る場合に、前記複数の頂点のうちの前記所定の頂点以外の頂点を中心に回転させることによって前記対象画像を補正する。

本発明によると、従来よりも容易に、一部分が欠損しないように入力の対象の画像の傾きを補正することができる。

受注システムを含むネットワークの全体的な構成の例を示す図である。 画像形成装置のハードウェア構成の例を示す図である。 注文処理サーバのハードウェア構成の例を示す図である。 注文フォーマットおよび注文用紙の例を示す図である。 注文処理サーバの機能的構成の例を示す図である。 注文読取画像の例を示す図である。 理想読取画像における頂点領域の位置の例を示す図である。 補正読取画像の例を示す図である。 傾き補正に伴って読取注文フォーマットの一部分が欠損してしまう例を説明するための図である。 第二の判別処理の流れの例を説明するフローチャートである。 第二の判別処理の流れの例を説明するフローチャートである。 注文読取画像における読取注文フォーマットの配置の例を示す図である。 補正読取画像を生成する第一の例を説明するための図である。 補正読取画像を生成する第二の例を説明するための図である。 補正読取画像を生成する第三の例を説明するための図である。 注文処理サーバの全体的な処理の流れの例を説明するフローチャートである。 注文用紙の変形例を示す図である。 読取注文フォーマットの欠損した部分を補間する方法の例を説明するための図である。 頂点領域を求める方法の例を示す図である。

図１は、受注システム１００を含むネットワークの全体的な構成の例を示す図である。図２は、画像形成装置１のハードウェア構成の例を示す図である。図３は、注文処理サーバ２のハードウェア構成の例を示す図である。図４は、注文フォーマット５０および注文用紙５の例を示す図である。

図１に示すように、受注システム１００は、画像形成装置１、注文処理サーバ２、および通信回線３１などによって構成される。受注システム１００は、企業が顧客から注文を受け付けて処理するために使用される。

画像形成装置１および注文処理サーバ２は、通信回線３１を介して接続される。通信回線３１として、インターネット、公衆回線、または専用線などが用いられる。

画像形成装置１は、一般に「複合機」または「ＭＦＰ（Multi Function Peripherals）」などと呼ばれる画像処理装置であって、コピー、ＰＣプリント、ファックス、スキャナ、およびボックスなどの機能を集約した装置である。

ＰＣプリント機能は、パーソナルコンピュータまたはタブレットコンピュータなどの端末装置から受信した画像データに基づいて画像を用紙に印刷する機能である。

ボックス機能は、ユーザごとに「ボックス」または「パーソナルボックス」などと呼ばれる記憶領域を与えておき、各ユーザが自分の記憶領域によって画像データなどを保存し管理するための機能である。ボックスは、パーソナルコンピュータにおける「フォルダ」または「ディレクトリ」に相当する。

本実施形態において、画像形成装置１は、特に、顧客から注文を受け付けるために用いられる。

画像形成装置１は、図２に示すように、ＣＰＵ（Central Processing Unit）１０ａ、ＲＡＭ（Random Access Memory）１０ｂ、ＲＯＭ（Read Only Memory）１０ｃ、補助記憶装置１０ｄ、タッチパネルディスプレイ１０ｅ、操作キーパネル１０ｆ、ＮＩＣ（Network Interface Card）１０ｇ、モデム１０ｈ、スキャンユニット１０ｉ、およびプリントユニット１０ｊなどによって構成される。

タッチパネルディスプレイ１０ｅは、ユーザに対するメッセージを示す画面、ユーザがコマンドまたは情報を入力するための画面、およびＣＰＵ１０ａなどが実行した処理の結果を示す画面などを表示する。また、タッチパネルディスプレイ１０ｅは、タッチされた位置を示す信号をＣＰＵ１０ａへ送る。

操作キーパネル１０ｆは、いわゆるハードウェアキーボードであって、テンキー、スタートキー、ストップキー、およびファンクションキーなどによって構成される。

ＮＩＣ１０ｇは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルで注文処理サーバ２などの装置との通信を行う。

モデム１０ｈは、公衆回線３２を介してファックス端末との間でＧ３などのプロトコルで画像データをやり取りする。本実施形態では、特に、注文の内容などを示す画像データを顧客のファックス端末４から受信するために用いられる（図１参照）。

スキャンユニット１０ｉは、プラテンガラスの上にセットされたシートに記されている画像を読み取って画像データを生成する。

プリントユニット１０ｊは、スキャンユニット１０ｉによって読み取られた画像のほか、他の装置から受信した画像データに示される画像を用紙に印刷する。

ＲＯＭ１０ｃまたは補助記憶装置１０ｄには、上述のコピーなどの機能を実現するためのプログラムが記憶されている。さらに、補助記憶装置１０ｄには、注文転送プログラム１０Ｐ（図５参照）が記憶されている。注文転送プログラム１０Ｐは、ファックス端末４から受信した画像データを注文処理サーバ２へ転送するためのプログラムである。

これらのプログラムは、ＲＡＭ１０ｂにロードされ、ＣＰＵ１０ａによって実行される。補助記憶装置１０ｄとして、ハードディスクまたはＳＳＤなどが用いられる。

注文処理サーバ２は、画像形成装置１が受け付けた注文を処理する。注文処理サーバ２として、いわゆるサーバ機またはクラウドサーバなどが用いられる。以下、注文処理サーバ２としてサーバ機が用いられる場合を例に説明する。

注文処理サーバ２は、図３に示すように、ＣＰＵ２０ａ、ＲＡＭ２０ｂ、ＲＯＭ２０ｃ、補助記憶装置２０ｄ、およびＮＩＣ２０ｅなどによって構成される。

ＲＯＭ２０ｃまたは補助記憶装置２０ｄには、注文処理プログラム２０Ｐ（図５参照）が記憶されている。注文処理プログラム２０Ｐは、画像形成装置１が受け付けた注文に従って商品の発送および課金などを行うためのプログラムである。

注文処理プログラム２０Ｐは、ＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによって実行される。補助記憶装置２０ｄとして、ハードディスクまたはＳＳＤなどが用いられる。

注文処理プログラム２０Ｐによると、画像形成装置１が受け付けた注文の画像がファックス端末４において斜めに読み取られた場合に、この画像を補正する。つまり、この画像に対して傾き補正を行う。しかも、この画像の一部分が損なわれないように傾き補正を行うことができる。

以下、この仕組みについて、ある特定の企業が受注システム１００を使用する場合を例に説明する。この企業は、様々な商品を顧客に販売している。また、複数の注文フォーマット５０を用意している。

注文フォーマット５０は、帳票の形式の画像である。図４（Ａ）において太線で示すように、注文フォーマット５０には、顧客が書込みを行うための領域（以下、「書込領域５０Ａ」と記載する。）が設けられている。

注文フォーマット５０は、図４（Ｂ）に示すように用紙に印刷され、顧客に配布される。以下、注文フォーマット５０が印刷された用紙を「注文用紙５」と記載する。

図５は、注文処理サーバ２の機能的構成の例を示す図である。図６は、注文読取画像５１の例を示す図である。図７は、理想読取画像５２における頂点領域５Ａの位置の例を示す図である。図８は、補正読取画像５３の例を示す図である。図９は、傾き補正に伴って読取注文フォーマット５０Ｙの一部分が欠損してしまう例を説明するための図である。図１０〜図１１は、第二の判別処理の流れの例を説明するフローチャートである。図１２は、注文読取画像５１における読取注文フォーマット５０Ｙの配置の例を示す図である。図１３は、補正読取画像５４を生成する第一の例を説明するための図である。図１４は、補正読取画像５４を生成する第二の例を説明するための図である。図１５は、補正読取画像５４を生成する第三の例を説明するための図である。

注文転送プログラム１０Ｐによると、図５に示す注文転送部１０１が画像形成装置１に実現される。

注文処理プログラム２０Ｐによると、フォーマットデータ記憶部２０１、注文画像記憶部２０２、初期補正部２０３、第一の判別部２０４、第二の判別部２０５、ＯＣＲ処理部２０６、注文登録部２０７、注文データ記憶部２０８、商品手配処理部２１１、および課金処理部２１２などが注文処理サーバ２に実現される。

顧客は、商品に応じた注文用紙５に印刷されている注文フォーマット５０の書込領域５０Ａに注文の内容などを書き込み、それをファックス端末４にセットする。

すると、ファックス端末４は、注文用紙５をスキャンする。これにより、注文用紙５から画像が読み取られる。以下、この画像を「注文読取画像５１」と記載する。注文読取画像５１のサイズは、ファックス端末４のスキャナが読み取ることができる範囲（以下、「読取範囲」と記載する。）のサイズと同じである。以下、ファックス端末４のスキャナの読取範囲が注文用紙５のサイズと同じである場合を例に、説明する。

図６（Ａ）に示すように、注文読取画像５１には、注文フォーマット５０および顧客が書き込んだ内容（画像）が含まれている。以下、顧客が書き込んだ画像を「書込画像５１Ｂ」と記載する。書込画像５１Ｂは、注文フォーマット５０に重なっている。注文用紙５において余白の領域がある場合は、注文読取画像５１にも余白の領域が含まれる。

また、注文用紙５が、ファックス端末４のスキャナに真っ直ぐにセットされずにスキャンされると、図６（Ｂ）に示すように、注文読取画像５１の上辺に対して注文フォーマット５０の上辺が斜めになってしまうことがある。ファックス端末４のスキャナのラインセンサが本来の位置に対して歪んだ位置に設置されている場合も、同様である。

ファックス端末４は、画像形成装置１のファックス番号にダイアルし、注文読取画像５１を表わす読取画像データ６Ａを画像形成装置１へ送信する。

画像形成装置１の注文転送部１０１は、ファックス端末４から読取画像データ６Ａを受信すると、これを注文処理サーバ２へ転送する。

注文処理サーバ２の注文画像記憶部２０２は、画像形成装置１から読取画像データ６Ａを受信すると、これを一時的に記憶する。

フォーマットデータ記憶部２０１には、注文フォーマット５０ごとに、フォーマットデータ６Ｂ、書込領域データ６Ｃ、および頂点領域データ６Ｄが１組ずつ、その注文フォーマット５０の識別子と対応付けて予め記憶されている。

フォーマットデータ６Ｂは、その注文フォーマット５０を再現するための画像データである。フォーマットデータ６Ｂとして、ＰＤＦ（Portable Document Format）、ビットマップフォーマット、またはＴＩＦＦ（Tagged Image File Format）などのフォーマットのファイルが用いられる。

書込領域データ６Ｃには、その注文フォーマット５０における、書込領域５０Ａそれぞれの位置の座標が示されている。

頂点領域データ６Ｄには、その注文フォーマット５０が印刷された注文用紙５の全体を歪みなく理想的に読み取ることによって得られた画像（以下、「理想読取画像５２」と記載する。）における、４つの頂点領域５Ａ（５Ａ１〜５Ａ４）の位置が示されている。

頂点領域５Ａ１は、図７（Ａ）に示すように、その注文フォーマット５０を理想読取画像５２の右下の隅へ寄せたときに生じる、その注文フォーマット５０の上辺の延長線および左辺の延長線ならびに理想読取画像５２の上辺および左辺によって囲まれる領域である。

頂点領域５Ａ２は、図７（Ｂ）に示すように、その注文フォーマット５０を理想読取画像５２の右上の隅へ寄せたときに生じる、その注文フォーマット５０の下辺の延長線および左辺の延長線ならびに理想読取画像５２の下辺および左辺によって囲まれる領域である。

頂点領域５Ａ３は、図７（Ｃ）に示すように、その注文フォーマット５０を理想読取画像５２の左下の隅へ寄せたときに生じる、その注文フォーマット５０の上辺の延長線および右辺の延長線ならびに理想読取画像５２の上辺および右辺によって囲まれる領域である。

頂点領域５Ａ４は、図７（Ｄ）に示すように、その注文フォーマット５０を理想読取画像５２の左上の隅へ寄せたときに生じる、その注文フォーマット５０の下辺の延長線および右辺の延長線ならびに理想読取画像５２の下辺および右辺によって囲まれる領域である。

なお、注文読取画像５１も理想読取画像５２も、注文用紙５の全体を読み取ることによって得られる画像なので、ともにファックス端末４のスキャナの読取範囲のサイズと同じである。

注文画像記憶部２０２に読取画像データ６Ａが記憶されると、初期補正部２０３ないし注文登録部２０７は、読取画像データ６Ａを用いて、注文読取画像５１に対して次の処理を行う。

初期補正部２０３は、注文画像記憶部２０２から読取画像データ６Ａを読み出し、注文読取画像５１に含まれる注文フォーマット５０および書込画像５１Ｂに対して傾き補正および天地補正を施す。

具体的には、初期補正部２０３は、図６（Ｂ）に示したように注文読取画像５１の上辺に対して注文フォーマット５０の上辺が斜めになっている場合に、図８に示すようにこれらの２つの上辺が平行になるように、注文フォーマット５０および書込画像５１Ｂを注文読取画像５１の中で回転させる。この際に、注文フォーマット５０の４つの頂点のうちの所定の頂点を回転の中心とする。本実施形態では、左上の頂点５０Ｙａを中心に回転させる。

さらに、初期補正部２０３は、注文フォーマット５０の上下が本来の上下と逆さまになっている場合に、注文フォーマット５０および書込画像５１Ｂを、注文フォーマット５０の重心を中心に１８０度回転させる。

これらの補正の処理は、公知の方法によって行えばよい。例えば、注文用紙５に所定のマーク（例えば、この企業のロゴ）または文字列（例えば、「注文書」という文字列）を印刷しておく。そして、注文読取画像５１における、所定のマークまたは文字列の向きに基づいて注文読取画像５１の傾きの角度および注文読取画像５１の天地を判別し、傾き補正および天地補正を行えばよい。

以下、傾き補正および天地補正が施された注文読取画像５１を「補正読取画像５３」と記載する。

第一の判別部２０４は、補正読取画像５３に含まれる注文フォーマット５０の識別子を次のように判別する。

第一の判別部２０４は、補正読取画像５３をフォーマットデータ記憶部２０１に記憶されているフォーマットデータ６Ｂそれぞれに示される注文フォーマット５０とマッチングする。以下、これら２つの注文フォーマット５０を区別するために、フォーマットデータ６Ｂに示される注文フォーマット５０を「登録注文フォーマット５０Ｘ」と記載し、補正読取画像５３に含まれる注文フォーマット５０を「読取注文フォーマット５０Ｙ」と記載する。

マッチングは、公知の方法によって行えばよい。例えば、第一の判別部２０４は、読取注文フォーマット５０Ｙと各登録注文フォーマット５０Ｘとの差分を求める。その結果、書込画像５１Ｂのみが差分として抽出されることがある。第一の判別部２０４は、このときに使用した登録注文フォーマット５０Ｘが読取注文フォーマット５０Ｙと一致すると、判別する。

または、登録注文フォーマット５０Ｘごとにユニークな特徴的な部分（以下、「特徴部分画像」と記載する。）を予め、注文画像記憶部２０２に記憶させておく。第一の判別部２０４は、読取注文フォーマット５０Ｙから特徴部分画像を検索する。そして、特徴部分画像が見つかったら、その特徴部分画像を有する登録注文フォーマット５０Ｘが読取注文フォーマット５０Ｙと一致すると、判別する。

そして、第一の判別部２０４は、読取注文フォーマット５０Ｙと一致する登録注文フォーマット５０Ｘの識別子が読取注文フォーマット５０Ｙの識別子であると判別する。

しかし、初期補正部２０３による傾き補正の結果、読取注文フォーマット５０Ｙの一部分が欠落してしまうことがある。例えば、読取注文フォーマット５０Ｙが注文読取画像５１に図９（Ａ）のように配置されている場合に傾き補正を行うと、図９（Ｂ）のように読取注文フォーマット５０Ｙの下部が欠落してしまう。そうすると、第一の判別部２０４がマッチングを行っても、読取注文フォーマット５０Ｙの識別子を判別することができないことがある。

また、書込画像５１Ｂの一部または全部が欠落してしまうことがある。そうすると、読取注文フォーマット５０Ｙの識別子を判別することができても、注文の内容などを把握することができなくなることがある。

そこで、第二の判別部２０５は、第一の判別部２０４による処理の結果、読取注文フォーマット５０Ｙの識別子が判別されなかった場合に、読取注文フォーマット５０Ｙの識別子を判別するための処理を、図１０〜図１１に示す手順で行う。

第二の判別部２０５は、１つ目の（例えば、識別子が一番小さい）登録注文フォーマット５０Ｘに注目する（図１０の＃８０１、＃８０２）。以下、注目した登録注文フォーマット５０Ｘを「注目フォーマット」と記載する。

第二の判別部２０５は、図１２に示す、注文読取画像５１における頂点領域５Ｂ（５Ｂ１〜５Ｂ４）の位置を決定する（＃８０３）。なお、頂点領域５Ｂ１〜５Ｂ４の座標は、注目フォーマットの頂点領域データ６Ｄに示される頂点領域５Ａ１〜５Ａ４（図７参照）の座標と同じである。

注文読取画像５１の中の読取注文フォーマット５０Ｙの左上の頂点５０Ｙａが頂点領域５Ｂ１の中にあるか否かを判別する（＃８０４）。

頂点５０Ｙａが頂点領域５Ｂ１の中にある場合は（＃８０５でＹｅｓ）、未注目の登録注文フォーマット５０Ｘが残っていれば（＃８０６でＹｅｓ）、次の登録注文フォーマット５０Ｘに注目し（＃８０７）。ステップ＃８０２に戻って処理を行う。

頂点５０Ｙａが頂点領域５Ｂ１の中にない場合は（＃８０５でＮｏ）、左下の頂点５０Ｙｂが頂点領域５Ｂ２の中にあるか否かを判別する（＃８０６）。

図１３の状態（Ａ）のように頂点５０Ｙｂが頂点領域５Ｂ２の中にある場合は（＃８０９でＹｅｓ）、第二の判別部２０５は、状態（Ｂ）になるように、注文読取画像５１を時計回りに９０度回転させる（＃８１０）。そして、初期補正部２０３による傾き補正と同様の方法で、注文読取画像５１に対して傾き補正を施す（＃８１１）。つまり、注文読取画像５１に含まれる読取注文フォーマット５０Ｙおよび書込画像５１Ｂを、状態（Ｃ）になるように、読取注文フォーマット５０Ｙの左上の頂点を中心に回転させる。以下、このように補正された注文読取画像５１を「補正読取画像５４」と記載する。

第二の判別部２０５は、注目フォーマットを時計回りに９０度回転させてから、注目フォーマットと補正読取画像５４の読取注文フォーマット５０Ｙとをマッチングする（＃８１２）。そして、両者が一致すると判別した場合は（＃８１３でＹｅｓ）、注目フォーマットの識別子が補正読取画像５４に含まれる読取注文フォーマット５０Ｙの識別子であると判別する（＃８１４）。

なお、判別の方法は、第一の判別部２０４による判別の方法と同様である。つまり、第二の判別部２０５は、補正読取画像５３の代わりに補正読取画像５４を用い、登録注文フォーマット５０Ｘとして注目フォーマットを用いてマッチングを行う。また、注目フォーマットと補正読取画像５４とが一致しない場合は、補正読取画像５４の天地が逆さまになっていることがあるので、注目フォーマットをさらに１８０度回転させてからマッチングしてもよい。後述するステップ＃８１９およびステップ＃８２６においても、同様である。

頂点５０Ｙｂが頂点領域５Ｂ２の中にない場合（＃８０９でＮｏ）および注目フォーマットと補正読取画像５４とが一致しない場合は（＃８１３でＮｏ）、第二の判別部２０５は、右上の頂点５０Ｙｃが頂点領域５Ｂ３の中にあるか否かを判別する（図１１の＃８１５）。

図１４の状態（Ａ）のように頂点５０Ｙｃが頂点領域５Ｂ３の中にある場合は（＃８１６でＹｅｓ）、第二の判別部２０５は、状態（Ｂ）になるように、注文読取画像５１を反時計回りに９０度回転させる（＃８１７）。そして、初期補正部２０３による傾き補正と同様の方法で、注文読取画像５１に対して傾き補正を施し、補正読取画像５４を生成する（＃８１８）。つまり、注文読取画像５１に含まれる読取注文フォーマット５０Ｙおよび書込画像５１Ｂを、状態（Ｃ）になるように、読取注文フォーマット５０Ｙの左上の頂点を中心に回転させる。

第二の判別部２０５は、注目フォーマットを反時計回りに９０度回転させてから、注目フォーマットと補正読取画像５４の読取注文フォーマット５０Ｙとをマッチングする（＃８１９）。そして、両者が一致すると判別した場合は（＃８２０でＹｅｓ）、注目フォーマットの識別子が補正読取画像５４に含まれる読取注文フォーマット５０Ｙの識別子であると判別する（＃８２１）。

頂点５０Ｙｃが頂点領域５Ｂ３の中にない場合（＃８１６でＮｏ）および注目フォーマットと補正読取画像５４とが一致しない場合は（＃８２０でＮｏ）、第二の判別部２０５は、右下の頂点５０Ｙｄが頂点領域５Ｂ４の中にあるか否かを判別する（＃８２２）。

図１５の状態（Ａ）のように頂点５０Ｙｄが頂点領域５Ｂ４の中にある場合は（＃８２３でＹｅｓ）、第二の判別部２０５は、状態（Ｂ）になるように、注文読取画像５１を１８０度回転させる（＃８２４）。そして、初期補正部２０３による傾き補正と同様の方法で、注文読取画像５１に対して傾き補正を施し、補正読取画像５４を生成する（＃８２５）。つまり、注文読取画像５１に含まれる読取注文フォーマット５０Ｙおよび書込画像５１Ｂを、状態（Ｃ）になるように、読取注文フォーマット５０Ｙの左上の頂点を中心に回転させる。

第二の判別部２０５は、注目フォーマットを１８０度回転させてから、注目フォーマットと補正読取画像５４の読取注文フォーマット５０Ｙとをマッチングする（＃８２６）。そして、両者が一致すると判別した場合は（＃８２７でＹｅｓ）、注目フォーマットの識別子が補正読取画像５４に含まれる読取注文フォーマット５０Ｙの識別子であると判別する（＃８２８）。

頂点５０Ｙｄが頂点領域５Ｂ４の中にない場合（＃８２３でＮｏ）および注目フォーマットと補正読取画像５４とが一致しない場合は（＃８２７でＮｏ）、ステップ＃８０６へ戻る。そして、未注目の登録注文フォーマット５０Ｘが残っていれば（＃８０６でＹｅｓ）、第二の判別部２０５は、次の登録注文フォーマット５０Ｘに注目し（＃８０７）。ステップ＃８０２に戻って処理を行う。

すべての登録注文フォーマット５０Ｘに注目して上述の処理を行っても読取注文フォーマット５０Ｙの識別子を判別できない場合は（＃８０６でＮｏ）、第二の判別部２０５は、判別が不能である旨をこの企業の従業員の端末装置へ電子メールなどによって通知する出力する（＃８２９）。

図５に戻って、ＯＣＲ処理部２０６は、第一の判別部２０４によって読取注文フォーマット５０Ｙの識別子が判別された場合は、補正読取画像５３の中の書込画像５１Ｂが表わす文字列を、書込画像５１Ｂに対してＯＣＲ（Optical Character Recognition）の処理を施すことによって識別する。この書込画像５１Ｂの位置は、読取注文フォーマット５０Ｙの識別子に対応付けられている書込領域データ６Ｃによって特定することができる。

第二の判別部２０５によって読取注文フォーマット５０Ｙの識別子が判別された場合は、ＯＣＲ処理部２０６は、この識別子を判別できたときに用いた補正読取画像５４の中の書込画像５１Ｂが表わす文字列を、書込画像５１Ｂに対してＯＣＲの処理を施すことによって識別する。この書込画像５１Ｂの位置は、読取注文フォーマット５０Ｙの識別子に対応付けられている書込領域データ６Ｃによって特定することができる。

注文登録部２０７は、ＯＣＲ処理部２０６によって識別された文字列を示すデータを注文データ６Ｅとして注文データ記憶部２０８に記憶させる。注文データ６Ｅのフォーマットとして、テキストフォーマットまたはＣＳＶ（Comma Separated Value）フォーマットなどが用いられる。

商品手配処理部２１１は、注文データ６Ｅに基づいて商品の手配のための処理を行う。例えば、商品を注文者に引き当てる処理および商品を発送するための処理などを行う。

課金処理部２１２は、商品の代金を顧客へ要求する処理などを行う。例えば、銀行または信販会社へ代金の引落しを要求する。

図１６は、注文処理サーバ２の全体的な処理の流れの例を説明するフローチャートである。

次に、注文処理サーバ２における注文の処理の全体的な流れを、フローチャートを参照して説明する。

注文処理サーバ２は、注文処理プログラム２０Ｐに基づいて、図１６に示す手順で処理を実行する。

注文処理サーバ２は、読取画像データ６Ａを画像形成装置１から受信すると（＃１１）、読取画像データ６Ａに示される注文読取画像５１に対して傾き補正および天地補正を行う（＃１２）。これにより、補正読取画像５３が得られる。

注文処理サーバ２は、補正読取画像５３の中の読取注文フォーマット５０Ｙを各登録注文フォーマット５０Ｘとマッチングすることによって、読取注文フォーマット５０Ｙの識別子を判別する（＃１３）。

読取注文フォーマット５０Ｙの識別子を判別することができなかった場合は（＃１４でＮｏ）、注文処理サーバ２は、図１０〜図１１で示した手順でこれを判別する（＃１５）。

ステップ＃１３またはステップ＃１５において読取注文フォーマット５０Ｙの識別子を判別することができた場合は（＃１４でＹｅｓまたは＃１６でＹｅｓ）、注文処理サーバ２は、読取注文フォーマット５０Ｙの識別子を判別できたときに用いた補正読取画像５３または補正読取画像５４の中の書込画像５１Ｂに対してＯＣＲの処理を施す（＃１７）。この際に、その識別子に対応する書込領域データ６Ｃに基づいて、補正読取画像５３の中の書込画像５１Ｂを特定する。

注文処理サーバ２は、ＯＣＲの処理によって識別した文字列に基づいて注文データ６Ｅを生成し保存する（＃１８）。そして、注文データ６Ｅに基づいて商品の手配および課金などの処理を行う（＃１９）。

本実施形態によると、従来よりも容易に、一部分が欠損しないように読取注文フォーマット５０Ｙの傾きを補正することができる。

図１７は、注文用紙５の変形例を示す図である。図１８は、読取注文フォーマット５０Ｙの欠損した部分を補間する方法の例を説明するための図である。図１９は、頂点領域５Ｂを求める方法の例を示す図である。

本実施形態では、第二の判別部２０５は、識別子が小さい順に登録注文フォーマット５０Ｘを注目し読取注文フォーマット５０Ｙとのマッチングを行ったが、１番目は、特定の条件に合う登録注文フォーマット５０Ｘを注目し、マッチングを行ってもよい。

例えば、ＴＳＩ（Transmitting Subscriber Identification）の技術を次のように転用すればよい。

画像形成装置１は、読取画像データ６Ａをファックス端末４から受信すると、読取注文フォーマット５０Ｙを示すデータ（読取画像データ６Ａ）とともに、そのファックス端末４のファックス番号（いわゆる発信者番号）を注文処理サーバ２へ送信する。

フォーマットデータ記憶部２０１には、フォーマットデータ６Ｂをファックス番号と予め対応付けておく。１つのフォーマットデータ６Ｂに複数のファックス番号を対応付けてもよい。また、１つのファックス番号を複数のフォーマットデータ６Ｂに対応付けてもよい。

そして、第二の判別部２０５は、読取画像データ６Ａとともに送信されてきたファックス番号に対応する登録注文フォーマット５０Ｘを１番目に注目し、読取注文フォーマット５０Ｙとのマッチングを行う。対応する登録注文フォーマット５０Ｘが複数ある場合は、これらを他の登録注文フォーマット５０Ｘよりも優先して注目し、マッチングを行う。

または、図１７のように、注文フォーマット５０とともに、その注文フォーマット５０の識別子を表わす二次元バーコード５０Ｚを注文用紙５に印刷しておいてもよい。これにより、注文読取画像５１にも二次元バーコード５０Ｚが含まれる。二次元バーコード５０Ｚとして、ＱＲ（Quick Response）コードが用いられる。

第二の判別部２０５は、注文読取画像５１の中から二次元バーコード５０Ｚを抽出し、それを解析することによって、二次元バーコード５０Ｚが表わす識別子を判別する。そして、判別した識別子に対応する登録注文フォーマット５０Ｘを１番目に注目し、読取注文フォーマット５０Ｙとのマッチングを行う。

二次元バーコード５０Ｚの代わりに、一次元バーコードまたは文字列などを用いてもよい。

本実施形態では、天地補正を初期補正部２０３が行ったが、第一の判別部２０４または第二の判別部２０５が必要に応じて行ってもよい。具体的には、無回転の状態および１８０度回転させた状態のそれぞれで、注文読取画像５１または補正読取画像５３に対してＯＣＲの処理を施す。そして、１８０度回転させた状態の場合に文字を解析することができた場合に、天地補正を行う。

本実施形態では、注文に対する処理を注文処理サーバ２が行ったが、画像形成装置１が行ってもよい。この場合は、フォーマットデータ記憶部２０１ないし課金処理部２１２の機能を画像形成装置１に設ければよい。

本実施形態では、画像形成装置１は、読取画像データ６Ａをファックス端末４からファックスによって取得したが、注文用紙５を郵送などによって受け取り、スキャンユニット１０ｉで注文用紙５をスキャンすることによって取得してもよい。

本実施形態では、初期補正部２０３および第二の判別部２０５は、読取注文フォーマット５０Ｙおよび書込画像５１Ｂの傾き補正を、読取注文フォーマット５０Ｙの予め決められた位置の頂点、つまり、左上の頂点を中心に回転させることによって行ったが、左上以外の頂点が、予め決められた位置の頂点（以下、「特定頂点」と記載する。）であってもよい。

特定頂点が左上以外の頂点に定められている場合に、第二の判別部２０５は、予め次のように注文読取画像５１を回転させておく。

第二の判別部２０５は、読取注文フォーマット５０Ｙの周に沿って特定頂点の右隣にある頂点が頂点領域５Ｂの中にある場合は、注文読取画像５１を注文読取画像５１の重心を中心に反時計回りに９０度回転させておく。または、この周に沿ってこの頂点の右隣にある頂点が頂点領域５Ｂの中にある場合は、１８０度回転させておく。または、この周に沿って特定頂点の左隣にある頂点が頂点領域５Ｂの中にある場合は、注文読取画像５１を注文読取画像５１の重心を中心に時計回りに９０度回転させておく。

本実施形態では、第二の判別部２０５は、注文読取画像５１の頂点領域５Ｂの位置を、注文読取画像５１に含まれる読取注文フォーマット５０Ｙの予め用意されたデータ（頂点領域データ６Ｄ）に基づいて特定した。しかし、頂点領域データ６Ｄに依らず、次のように特定してもよい。

第二の判別部２０５は、注文読取画像５１の中から読取注文フォーマット５０Ｙの周および頂点を検索する。

ただし、読取注文フォーマット５０Ｙの一部分が欠損していると、読取注文フォーマット５０Ｙの本来の頂点でない点が頂点として検索される。

そこで、第二の判別部２０５は、周の辺のうちの直角をなす２つの辺の交点を頂点として検索する。頂点が１〜３つしか見つからない場合は、図１８のように、延長すると直角に交わる２つの辺を延長することによって、欠損している部分を補間する。

そして、第二の判別部２０５は、読取注文フォーマット５０Ｙを図１９（Ａ）〜（Ｄ）のように注文読取画像５１の各隅に移動させることによって、頂点領域５Ｂ１〜５Ｂ４の位置を求める。

その他、受注システム１００、画像形成装置１、注文処理サーバ２の全体または各部の構成、処理の内容、処理の順序、データの構成などは、本発明の趣旨に沿って適宜変更することができる。

１０ｉ スキャンユニット（画像入力装置）
２ 注文処理サーバ（画像補正装置）
２０１ フォーマットデータ記憶部（記憶手段）
２０３ 初期補正部（画像補正手段）
２０５ 第二の判別部（画像補正手段）
２０６ ＯＣＲ処理部（識別手段）
２０８ 注文データ記憶部（文字列記憶手段）
４ ファックス端末（画像入力装置）
５０Ｘ 登録注文フォーマット（第二の帳票）
５０Ｙ 読取注文フォーマット（対象画像、帳票）
５０Ｚ 二次元バーコード（識別子画像）
５１ 注文読取画像（全体画像）
５１Ｂ 書込画像
５Ｂ 頂点領域（所定の領域）

Claims (13)

1. 予め決められた範囲の画像を入力する画像入力装置によって入力された、入力の対象である対象画像を含みかつ前記範囲を表わす全体画像を補正する、画像補正装置であって、
   前記全体画像に対しての傾きが前記対象画像に生じている場合に、前記対象画像を、前記対象画像の複数の頂点のうちの前記全体画像の複数の角それぞれの所定の領域のいずれかに重なっている重畳頂点を中心に回転させることによって前記傾きがなくなるように補正する、画像補正手段、
   を有することを特徴とする画像補正装置。
2. 前記複数の角それぞれの前記所定の領域は、高さが前記全体画像の縦辺の長さから前記対象画像の縦辺の長さを減じた第一の長さに等しくかつ幅が前記全体画像の横辺の長さから前記対象画像の横辺の長さを減じた第二の長さに等しい領域である、
   請求項１に記載の画像補正装置。
3. 前記範囲は、矩形の範囲であり、
   前記対象画像は、矩形の帳票および前記帳票の所定の区域に書き加えられた書込み画像からなる、
   請求項２に記載の画像補正装置。
4. 前記複数の頂点のうちの所定の頂点の位置に関わらず、前記対象画像を、前記所定の頂点を中心に回転させることによって前記傾きがなくなるように補正する、第二の画像補正手段、を有し、
   前記画像補正手段は、前記第二の画像補正手段によって前記所定の区域の一部分または全部分が前記全体画像をはみ出る場合に、前記複数の頂点のうちの前記所定の頂点以外の頂点を中心に回転させることによって前記対象画像を補正する、
   請求項３に記載の画像補正装置。
5. 前記画像補正手段は、前記複数の頂点のうちの、前記全体画像の周に沿って前記所定の頂点の右隣にある頂点を前記重畳頂点とする場合は、前記全体画像を前記全体画像の重心を中心に反時計回りに９０度回転させた後、前記対象画像を補正し、前記周に沿って前記右隣にある頂点の右隣にある頂点を前記重畳頂点とする場合は、前記全体画像を前記重心を中心に１８０度回転させた後、前記対象画像を補正し、前記周に沿って前記所定の頂点の左隣にある頂点を前記重畳頂点とする場合は、前記全体画像を前記重心を中心に時計回りに９０度回転させた後、前記対象画像を補正する、
   請求項４に記載の画像補正装置。
6. 第二の帳票ごとに、当該第二の帳票を前記対象画像として前記全体画像に含ませた場合における前記複数の角それぞれの前記所定の領域の位置を、当該第二の帳票と対応付けて記憶する、記憶手段、を有し、
   前記複数の角それぞれの前記所定の領域は、前記帳票と一致する前記第二の帳票に対応する前記位置によって特定される領域である、
   請求項３ないし請求項５のいずれかに記載の画像補正装置。
7. 第二の帳票ごとに、当該第二の帳票を前記対象画像として前記全体画像に含ませた場合における前記複数の角それぞれの前記所定の領域の位置を、当該第二の帳票を識別する第二の識別子と対応付けて記憶する、記憶手段、を有し、
   前記全体画像は、前記帳票を識別する第一の識別子を示す識別子画像を含み、
   前記複数の角それぞれの前記所定の領域は、前記第一の識別子と一致する前記第二の識別子に対応する前記位置によって特定される領域である、
   請求項３ないし請求項５のいずれかに記載の画像補正装置。
8. 前記識別子画像は、前記第一の識別子を示す二次元バーコードである、
   請求項７に記載の画像補正装置。
9. 前記全体画像を、前記全体画像の発信元を示す第一の識別子とともに取得する取得手段と、
   第二の帳票ごとに、当該第二の帳票を前記対象画像として前記全体画像に含ませた場合における前記複数の角それぞれの前記所定の領域の位置を、当該第二の帳票を識別するための第二の識別子と対応付けて記憶する、記憶手段と、を有し、
   前記複数の角それぞれの前記所定の領域は、前記第一の識別子と同じである前記第二の識別子に対応する前記位置によって特定される領域である、
   請求項３ないし請求項５のいずれかに記載の画像補正装置。
10. 前記第一の識別子は、前記発信元のファックス番号であり、
    前記第二の識別子は、ユーザが使用するファックス端末のファックス番号である、
    請求項９に記載の画像補正装置。
11. 前記所定の区域に対してＯＣＲ（Optical Character Recognition）の処理を施すことによって前記書込み画像が表わす文字列を識別する識別手段と、
    識別された前記文字列を記憶する文字列記憶手段と、を有する、
    請求項３ないし請求項１０のいずれかに記載の画像補正装置。
12. 予め決められた範囲の画像を入力する画像入力装置によって入力された、入力の対象である対象画像を含みかつ前記範囲を表わす全体画像を補正する、画像補正方法であって、
    前記全体画像に対しての傾きが前記対象画像に生じている場合に、前記対象画像を、前記対象画像の複数の頂点のうちの前記全体画像の複数の角それぞれの所定の領域のいずれかに重なっている重畳頂点を中心に回転させることによって前記傾きがなくなるように補正する、
    ことを特徴とする画像補正方法。
13. 予め決められた範囲の画像を入力する画像入力装置によって入力された、入力の対象である対象画像を含みかつ前記範囲を表わす全体画像、を補正するコンピュータに用いられるコンピュータプログラムであって、
    前記コンピュータに、
    前記全体画像に対しての傾きが前記対象画像に生じている場合に、前記対象画像を、前記対象画像の複数の頂点のうちの前記全体画像の複数の角それぞれの所定の領域のいずれかに重なっている重畳頂点を中心に回転させることによって前記傾きがなくなるように補正する処理を実行させる、
    ことを特徴とするコンピュータプログラム。

Images