JP6163946B2 - 画像処理装置 - Google Patents

Description

本明細書に開示される発明は、カメラ機能を有する電子機器を用いて取得された撮像画像を補正する技術に関する。

従来から、携帯電話やスマートフォン（以下、スマホ）などのデジタルカメラ（以下、カメラ）が搭載された電子機器が知られている。これらの電子機器は、搭載されたカメラを用いて紙製のドキュメントや名刺などの原稿を撮影し、取得された撮像画像を保存する用途で用いられることがある。また、これらの電子機器を用いて取得された撮像画像を補正することも行われており、原稿に印刷された位置決めシンボルを用いて撮像画像を補正する技術が知られている（例えば、特許文献１）。

特開２０１２−６９０８２号公報

しかし、従来技術では、位置決めシンボルなどのマークを印刷して撮像画像を補正可能な原稿が特定されているため、様々な種類及びサイズの原稿に対して撮像画像を補正することができなかった。また、従来技術では、原稿にマークを印刷する必要があるが、原稿にマークを印刷する場合、その大きさや印刷位置がばらつくことがある。この結果、原稿に印刷されるマークのばらつきにより、撮像画像が精度良く補正できないことがあった。原稿にマークを印刷しなくても、撮像画像を補正することができる技術が求められている。

本明細書に開示される発明は、原稿にマークを印刷しなくても撮像画像を補正することができる技術を開示することにある。

本明細書によって開示される画像処理装置は、原稿を載置可能な載置面を有し、前記載置面にマークが形成された載置部と、画像を取得する取得部と、制御部と、記憶部と、を備え、前記取得部は、前記載置面に載置された前記原稿を撮影して取得された前記撮像画像であって、前記原稿を読み取った原稿画像とともに前記マークを読み取ったマーク画像を含む前記撮像画像を取得し、前記制御部は、前記取得部が取得した前記撮像画像内の前記マーク画像を検出するマーク画像検出処理と、前記マーク画像検出処理によって検出された前記マーク画像の形状情報が前記記憶部に記憶された前記マークの形状情報と一致するように、前記撮像画像を補正する補正処理と、を実行する。

この画像処理装置では、載置面にマークが形成されており、受信部はマーク画像を含む撮像画像を受信し、制御部は撮像画像に含まれるマーク画像の形状情報に基づいて撮像画像を補正する。つまり、原稿にマークを印刷しなくても撮像画像を補正することができる。この画像処理装置によれば、マーク画像を含む撮像画像であれば、原稿によらず撮像画像を補正することができる。また、原稿にマークを印刷しないことから、マークの印刷精度により補正精度が悪化することを抑制することができる。

上記の画像処理装置では、前記載置面において、前記マークは、第１方向に第１規定距離間隔で形成されているとともに、前記第１方向に対して規定角をなす第２方向に第２規定距離間隔で形成されており、前記記憶部には、前記マークの形状情報として、前記第１規定距離、前記第２規定距離、及び、前記規定角が記憶されており、前記制御部は、前記マーク画像検出処理において、前記第１方向に配される複数の前記マーク画像である第１マーク画像群と、前記第２方向に配される複数の前記マーク画像である第２マーク画像群と、を検出し、前記補正処理において、前記第１マーク画像群におけるマーク間距離が前記記憶部に記憶された前記第１規定距離と一致し、前記第２マーク画像群におけるマーク間距離が前記記憶部に記憶された前記第２規定距離と一致し、第１マーク画像群と前記第２マーク画像群とのマーク間角度が前記記憶部に記憶された前記規定角と一致するように、前記撮像画像を補正する構成としても良い。

この画像処理装置によれば、撮像画像を補正する際に、マーク間距離及びマーク間角度に基づいて撮像画像を補正するので、撮像画像を精度良く補正することができる。

上記の画像処理装置では、前記第１マーク画像群及び前記第２マーク画像群は、各々が少なくとも３つの前記マーク画像を含み、前記制御部は、前記補正処理において、前記第１マーク画像群及び第２マーク画像群が直線上に配列されるように、前記撮像画像を補正する構成としても良い。

この画像処理装置では、第１マーク画像群及び第２マーク画像群は、各々が少なくとも３つのマーク画像を含むので、例え各マーク画像群のマーク画像が撮影画像の端辺に沿って配置されたとしても、撮影画像の隅でない部分に少なくとも１つのマーク画像が配置される。そのため、従来のように、撮影画像の隅に載置されたマーク画像を用いて撮影画像を補正する場合に比べて、より中央側に載置されたマーク画像を用いて撮影画像を補正することができ、撮像画像を撮影したカメラに使用されるレンズの特性により、撮像画像が歪んでいる場合でも、撮像画像の歪みを補正することができる。

上記の画像処理装置では、前記制御部は、更に、前記撮像画像が単一の色成分を有するモノクロ画像か、複数の色成分を有するカラー画像かを判断する判断処理、を実行し、前記撮像画像が前記モノクロ画像であると判断した場合、前記検出処理と前記補正処理とを前記モノクロ画像を構成する前記単一の色成分に対して行い、前記撮像画像が前記カラー画像であると判断した場合、前記検出処理と前記補正処理とを前記カラー画像を構成する前記複数の色成分の各色成分に対して行う構成としても良い。

この画像処理装置によれば、撮像画像を撮影したカメラに使用されるレンズの特性により、撮像画像に色収差が発生している場合でも、撮像画像の色収差を補正することができる。

上記の画像処理装置では、前記制御部は、更に、前記補正処理によって補正された前記撮像画像に含まれる前記原稿画像のエッジ画像を検出するエッジ検出処理と、前記エッジ検出処理によって検出された前記エッジ画像に基づいて前記原稿画像を回転させる回転処理と、を実行する構成としても良い。

この画像処理装置によれば、歪みや色収差等が補正された対象物画像の回転を補正することができる。

上記の画像処理装置では、更に、画像形成部、を備え、前記制御部は、更に、前記回転処理によって回転された前記原稿画像を前記画像形成部に画像形成させる画像形成処理、を実行する構成としても良い。

この画像処理装置によれば、外部装置から受信した撮像画像を、装置内部で補正するとともに対象物画像を抽出し、その対象物画像を画像形成することができる。

上記の画像処理装置では、前記載置面は、前記画像処理装置の天面の少なくとも一部であって、前記載置面において、前記マークは、第１方向に第１規定距離間隔、前記第２方向に第２規定距離間隔で、格子状に全面に亘って形成されている構成としても良い。

この画像処理装置によれば、マークが載置面の全面に亘って格子上に形成されているため、原稿が載置面のどこに載置されても、撮像画像のなかにマーク画像を含めやすく、撮像画像に含まれる原稿画像の補正がしやすい。

上記の画像処理装置では、前記取得部は、前記撮像画像を受信する受信部であって、更に、前記対象物画像を送信する送信部、を備え、前記制御部は、更に、前記回転処理によって回転された前記対象物画像を前記送信部を用いて送信させる送信処理、を実行する構成としても良い。

この画像処理装置によれば、外部装置から受信した撮像画像を、装置内部で補正するとともに対象物画像を抽出し、その対象物画像を、再度、外部装置に送信することができる。

本明細書によって開示される画像処理装置によれば、原稿にマークを印刷しなくても撮像画像を補正することができる。

実施形態１、２における画像形成装置の模式的な外形図 実施形態１、２における載置面の拡大図 画像形成装置の電気的構成を概略的に示すブロック図 受信処理を示すフローチャート 受信処理を示すフローチャート 補正処理を示すフローチャート 実施形態１の補正処理における画像データの変化を示す図 実施形態１の補正処理における画像データの変化を示す図 実施形態２の補正処理における画像データの変化を示す図 その他の実施形態における画像形成装置の模式的な外形図 その他の実施形態における載置面の拡大図

＜実施形態１＞
実施形態１を、図１から図８を用いて説明する。

１．画像形成装置の機械的構成
図１は、本実施形態の画像処理装置の一例である画像形成装置１０の外形図である。この画像形成装置１０は、プリンタ機能を備える一方、スキャナ機能を備えない。そのため、この画像形成装置１０は、スマホなどの外部撮像端末１２が有するデジタルカメラなどの撮像部４３を用いて取得した画像データＤを、無線通信アンテナ３２又は外部接続端子３３から受信し、内蔵した画像形成部２５を用いて画像形成を行う。画像データＤは、撮像画像の一例である。

図１に示すように、画像形成装置１０の前面１０Ａには、上述した無線通信アンテナ３２及び外部接続端子３３の他、電源スイッチ３１が設けられている。また、画像形成装置１０の天面１０Ｂには、原稿シートＧを載置可能な載置面３４が形成されている。載置面３４は、所定の平面性を有しており、使用者は、外部撮像端末１２の撮像部４３を用いて載置面３４に載置された原稿シートＧを撮影し、取得した画像データを保存等するのに用いることができる。画像形成装置１０の天面１０Ｂは、載置部の一例である。

載置面３４は、方形且つ灰色の撮影エリアであり、画像形成装置１０の天面１０Ｂの略全面に広がっている。また、載置面３４には、円形且つ黒色のマーク３６が複数形成されている。図２に載置面３４を拡大して示すように、載置面３４において、マーク３６は、画像形成装置１０のお互いに直交する左右方向及び前後方向に規定距離Ｌ間隔で形成されており、載置面３４の全面に亘って形成されている。つまり、載置面３４において、マーク３６は正方格子状に形成されている。左右方向は、第１方向の一例であり、前後方向は、第２方向の一例である。また、規定距離Ｌは、第１規定距離及び第２規定距離の一例であり、直交を意味する９０度は、規定角の一例である。

具体的には、規定距離Ｌは、数ｍｍ程度である。そのため、図７の上段図ように、載置面３４に載置した原稿シートＧを、その全域が入るように外部撮像端末１２を用いて撮影すると、取得された画像データＤには、原稿シートＧを読み取ったシート画像ＧＤの外縁部に、マーク３６を読み取ったマーク画像ＭＤが写り込む。原稿シートＧは、対象物の一例であり、シート画像ＧＤは、原稿画像の一例である。

２．画像形成装置及び外部撮像端末の電気的構成
（画像形成装置の電気的構成）
図３に示すように、画像形成装置１０は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）２９と、ＲＯＭ２６と、ＲＡＭ２７とを備え、これらに通信部２３、ＵＳＢインターフェイス２４、画像形成部２５が接続されている。図２に点線２１で示すように、ＡＳＩＣ２９と、ＲＯＭ２６と、ＲＡＭ２７とを含めたものが、制御部の一例であり、ＲＯＭ２６は、記憶部の一例である。また、通信部２３とＵＳＢインターフェイス２４は、取得部及び送信部の一例であり、通信部２３は、受信部の一例である。

ＡＳＩＣ２９は、ＣＰＵ２０を含む他、画像処理回路２２等の専用のハード回路を含む。ＲＯＭ２６には、画像形成装置１０の動作を制御するための各種のプログラムが記憶されており、ＣＰＵ２０は、ＲＯＭ２６から読み出したプログラムに従って各部の制御を行うとともに、必要に応じてハード回路を用いて後述する受信処理等の処理を実行する。ＲＯＭ２６には、また、上述した規定距離Ｌ、及び、直交を意味する９０度が記憶されている。規定距離Ｌ及び直交を意味する９０度は、マークの形状情報の一例である。

通信部２３は、無線通信アンテナ３２を介して、画像形成装置１０外部の外部撮像端末１２に無線により接続される。ＵＳＢインターフェイス２４は、外部接続端子３３に接続される図示されていない通信ケーブルを介して、画像形成装置１０外部の外部撮像端末１２に接続される。通信部２３及びＵＳＢインターフェイス２４は、ＣＰＵ２０及び外部撮像端末１２からの命令に応じて、外部撮像端末１２との間で画像データＤの受信やシート画像ＧＤの送信を行う。ＲＡＭ２７には、通信部２３及びＵＳＢインターフェイス２４を介して画像形成装置１０外部から受信された画像データＤが記憶される。

画像処理回路２２は、ＣＰＵ２０からの命令に応じて、画像データＤに公知の方法によって２値化処理やエンハンス処理等のエッジ検出処理を行い、画像データＤに含まれるシート画像ＧＤのエッジ画像ＥＤ（図７参照）を検出する。また、画像処理回路２２は、ＣＰＵ２０からの命令に応じて、検出されたエッジ画像ＥＤの傾きを求め、求められた傾きからシート画像ＧＤを回転させる回転処理を実行する。更に、画像処理回路２２は、ＣＰＵ２０からの命令に応じて、後述して説明する補正処理を実行する。

画像形成部２５は、装置内に記録紙を載置する給紙カセット３７、記録紙が排紙される排紙カセット３９、トナー等を用いて記録紙に画像を形成する画像形成ヘッド、及び、記録紙を搬送する記録紙搬送部を含む。画像形成部２５は、ＣＰＵ２０からの命令に応じて、画像処理回路２２により回転処理されたマーク画像ＭＤをＲＡＭ２７から読み出し、読み出したマーク画像ＭＤを記録紙に画像形成する。

（外部撮像端末の電気的構成）
次に、外部撮像端末１２の構成について説明する。図３に示すように、外部撮像端末１２は、例えば、ＡＳＩＣ４９と、ＲＯＭ４６と、ＲＡＭ４７とを備え、これらに撮像部４３、通信部４４、タッチパネル４５が接続されている。

ＡＳＩＣ４９は、ＣＰＵ４０を含む。ＲＯＭ４６には、外部撮像端末１２の動作を制御するための各種のプログラムが記憶されており、ＣＰＵ４０は、ＲＯＭ４６から読み出したプログラムに従って各部の制御を行い、例えば撮像部４３を制御して原稿シートＧを撮影し、画像データＤを取得する。ＲＡＭ４７には、撮像部４３により取得された画像データＤが記憶される。

通信部４４は、画像形成装置１０の無線通信アンテナ３２を介して、画像形成装置１０の通信部２３に無線により接続される。通信部４４は、ＣＰＵ４０及び画像形成装置１０からの命令に応じて、画像形成装置１０との間で画像データＤの送信やシート画像ＧＤの受信を行う。ＲＡＭ４７には、撮像部４３により取得された画像データＤの他、通信部４４を介して画像形成装置１０から入力されたシート画像ＧＤが記憶される。

タッチパネル４５は、例えば、液晶表示部（ＬＣＤ）を含む。外部撮像端末１２が、スマホやタブレット等の場合、タッチパネル４５は、表示部４１と操作部４２を兼ね備えている。そのため、外部撮像端末１２が画像形成装置１０と接続されることで、外部撮像端末１２に画像形成装置１０の表示部機能や操作機能を持たすことができる。また、外部撮像端末１２がクラウドや外部ストレージと通信を行うことで、画像形成装置１０は外部に各種データを送信したり、ＦＡＸすることもできる。

３．受信処理
次に、図４から図８を参照して、受信処理について説明する。受信処理において、画像形成装置１０のＣＰＵ２０は、外部撮像端末１２からの命令に基づいて、外部撮像端末１２が載置面３４を用いて取得した画像データＤを受信する。外部撮像端末１２が取得した画像データＤは、外部撮像端末１２の撮像部４３に用いられているレンズの特定によって、図７の左上段図に示すように凸状に歪んでいたり、図７の右上段図に示すように凹状に歪んでいたりすることがある。そのため、本実施形態の受信処理には、受信された画像データＤの歪みをマーク画像ＭＤを用いて補正する補正処理を含む。

図４に示すように、ＣＰＵ２０は、受信処理を開始すると、通信部２３を介して外部撮像端末１２から命令が受信されるのを待機する（Ｓ２：ＮＯ）。そして、命令が受信されると（Ｓ２：ＹＥＳ）、当該命令とともに外部撮像端末１２から送信される画像データＤを受信し（Ｓ４）、受信された画像データＤをＲＡＭ２７に一時的に記憶する。

次に、ＣＰＵ２０は、受信された画像データＤに含まれるマーク画像ＭＤを検出する（Ｓ６）。ＲＯＭ２６には、マーク画像ＭＤの基準画像が予め記憶されており、ＣＰＵ２０は、マーク画像ＭＤを検出する際に、基準画像を用いてマーク画像ＭＤを検出する。本実施形態では、図７の上段図に示すように、シート画像ＧＤを一重に取り囲むマーク画像ＭＤが検出される場合を用いて説明を行う。

また、ＣＰＵ２０は、受信された画像データＤがモノクロ画像かカラー画像か否かを判断する（Ｓ８）。ＣＰＵ２０は、受信された画像データＤを構成する色成分の数を検出する。ＣＰＵ２０は、受信された画像データＤが例えば緑成分の単一の色成分のみを有している場合、モノクロ画像であると判断する（Ｓ８：ＮＯ）。この場合、ＣＰＵ２０は、その単一の色成分を選出し（Ｓ１０）、当該色成分に対して補正処理を実行する（Ｓ１２）。

（補正処理）
図６に示すように、補正処理において、ＣＰＵ２０は、まず、画像データＤでマーク画像ＭＤが並んで配置されている２つの方向である第１方向Ｄ１及び第２方向Ｄ２を検出する（Ｓ４２）。第１方向Ｄ１は、載置面３４の前後方向又は左右方向の一方に相当し、第２方向Ｄ２は、載置面３４の前後方向又は左右方向の他方に相当する。

上述したように、画像データＤは歪んでいることがあり、第１方向Ｄ１及び第２方向Ｄ２は、Ｓ４２で検出される第１方向Ｄ１及び第２方向Ｄ２は、必ずしも直線的な方向を意味しない。本実施形態では、図７の上段図の上端側及び下端側に並んで配置されるマーク画像ＭＤの方向を第１方向Ｄ１として検出し、左端側及び右端側に並んで配置されるマーク画像ＭＤの方向を第２方向Ｄ２として検出する。図７の上段図において、第１方向Ｄ１には、８つのマーク画像ＭＤが並んで配置されており、第２方向Ｄ２には、５つのマーク画像ＭＤが並んで配置されている。以後、第１方向Ｄ１に並んで配置された８つのマーク画像ＭＤを、第１マーク画像群５２と呼び、第２方向Ｄ２に並んで配置された５つのマーク画像ＭＤを、第２マーク画像群５４と呼ぶ。

次に、ＣＰＵ２０は、第１マーク画像群５２及び第２マーク画像群５４が直線上に配置されるように、画像データＤを補正する（Ｓ４４）。ＣＰＵ２０は、図７の上段図の上端側及び下端側の第１マーク画像群５２が、共に直線上に配置されるように補正し、それに応じて、一対の第１マーク画像群５２に挟まれたシート画像ＧＤを第２方向に補正する。同様に、ＣＰＵ２０は、図７の上段図の左端側及び右端側の第２マーク画像群５４が、共に直線上に配置されるように補正し、それに応じて、一対の第２マーク画像群５４に挟まれたシート画像ＧＤを第１方向に補正する。

ＣＰＵ２０は、第１マーク画像群５２及び第２マーク画像群５４を直線上に補正する際に、直線上に配置された第１マーク画像群５２と第２マーク画像群５４とのなす角度が、ＲＯＭ２６に記憶された角度、即ち、９０度になるように画像データＤを補正する（Ｓ４６）。これにより、図７の中段図に示すように、画像データＤは、直交するマーク画像群５２、５４を有する画像データＤへと補正される。第１マーク画像群５２と第２マーク画像群５４とのなす角度は、マーク間角度の一例であり、マーク画像の形状情報の一例である。

次に、ＣＰＵ２０は、第１マーク画像群５２及び第２マーク画像群５４における各マーク画像ＭＤ間のマーク間距離を算出する（Ｓ４８）。そして、当該マーク間距離が、ＲＯＭ２６に記憶された距離、即ち、規定距離Ｌと一致するように画像データＤを補正し（Ｓ５０）、補正処理を終了する。具体的には、ＣＰＵ２０は、ＲＯＭ２６に記憶された規定距離Ｌから、規定距離Ｌの当該画像データＤに対応する規定マーク間距離を算出し、第１マーク画像群５２及び第２マーク画像群５４における各マーク画像ＭＤ間のマーク間距離と規定マーク間距離とが一致するように、画像データＤを補正する。これにより、図７の下段図に示すように、画像データＤは、直交、且つ、等間隔に配置されたマーク画像ＭＤを有する画像データＤへと補正される。マーク間距離は、マーク画像の形状情報の別例である。

一方、図４に示すように、ＣＰＵ２０は、受信された画像データＤが例えば赤成分、緑成分、青成分の３つの色成分を有している場合、カラー画像であると判断する（Ｓ８：ＹＥＳ）。この場合、ＣＰＵ２０は、各色成分に成分番号Ｚを割り当てる（Ｓ１４）。例えば、赤成分に成分番号Ｚ：１を割り当て、緑成分に成分番号Ｚ：２を割り当て、青成分に成分番号Ｚ：３を割り当てる。そして、ＣＰＵ２０は、成分番号Ｚ＝０とし、成分番号Ｚを初期化する（Ｓ１６）。

ＣＰＵ２０は、成分番号Ｚを１増加させ（Ｓ１８）、増加させた後の成分番号Ｚの色成分を選出する（Ｓ２０）。そして、選出した色成分に対して補正処理を実行する（Ｓ２２）。Ｓ２２における補正処理は、Ｓ１２における補正処理と同一の処理であり、重複した説明を省略する。

ＣＰＵ２０は、画像データＤを構成する全ての色成分について補正処理が行われたか否かを確認する（Ｓ２４）。具体的には、ＣＰＵ２０は、成分番号Ｚ＝３であるか否かを確認し（Ｓ２４）、成分番号Ｚ＜３である場合（Ｓ２４：ＮＯ）、画像データＤを構成する全ての色成分について補正処理が行われていないと判断し、画像データＤを構成する各色成分についてＳ１８からの処理を繰り返す。

図８に示すように、外部撮像端末１２が取得したカラー画像の画像データＤが凸状に歪んでいる場合、各色成分を取得するのに用いた光の波長が異なることから、各色成分が異なる形態で歪み、色収差が発生する。ＣＰＵ２０は、画像データＤを構成する各色成分についてＳ１８からの処理を繰り返す際に、同一の規定距離Ｌ及び同一の角度（９０度）を用いて補正処理を繰り返す。これにより、画像データＤにおける色収差が補正される。

一方、成分番号Ｚ＝３である場合（Ｓ２４：ＹＥＳ）、ＣＰＵ２０は、画像データＤを構成する全ての色成分について補正処理が行われたと判断し、補正処理（Ｓ２２）の繰り返しを終了する。

ＣＰＵ２０は、補正処理（Ｓ１２、Ｓ２２）を終了すると、補正された画像データＤに対してエッジ検出処理を行い、エッジ画像ＥＤを検出する（Ｓ２６）。ＣＰＵ２０は、検出されたエッジ画像ＥＤをＲＯＭ２６に予め記憶されたＡ４やＢ５等の定型原稿サイズと比較し、原稿シートＧの原稿サイズを検出する（Ｓ２８）。

また、ＣＰＵ２０は、検出されたエッジ画像ＥＤの傾きを求め、マーク画像ＭＤを回転させる回転処理を実行する（Ｓ３０）。ＣＰＵ２０は、補正された画像データＤの長端辺に沿った主走査方向に対するエッジ画像ＥＤの傾きを求め、当該傾きが０度となるように、シート画像ＧＤを回転させる。これにより、シート画像ＧＤが当該主走査方向に沿った姿勢へと補正される。

次に、ＣＰＵ２０は、外部撮像端末１２から受信された命令が画像形成命令であるか否かを検出する（Ｓ３２）。ＣＰＵ２０は、外部撮像端末１２から受信された命令が画像形成命令である場合（Ｓ３２：ＹＥＳ）、画像形成部２５に対して画像形成を指示し、回転処理によって主走査方向に沿った姿勢へと補正されたシート画像ＧＤを記録紙に画像形成させ（Ｓ３４）、受信処理を終了する。

一方、ＣＰＵ２０は、外部撮像端末１２から受信された命令が画像形成命令でない場合（Ｓ３２：ＹＥＳ）、通信部２３を介して命令を送信した外部撮像端末１２に、回転処理によって主走査方向に沿った姿勢へと補正されたシート画像ＧＤを送信し（Ｓ３６）、受信処理を終了する。

４．本実施形態の効果
（１）本実施形態の画像形成装置１０では、画像形成装置１０の天面１０Ｂに原稿シートＧの撮影エリアとして利用可能な載置面３４が形成されており、載置面３４にマーク３６が形成されている。載置面３４は、画像形成装置１０の天面１０Ｂの略全面に広がっており、マーク３６は、載置面の全面に亘って形成されている。そのため、使用者は、画像形成装置１０の天面１０Ｂのどの位置に原稿シートＧを載置しても、載置面３４に原稿シートＧを載置することができる。また、使用者は、載置面３４のどの位置に原稿シートＧを載置した場合でも、原稿シートＧを撮影した場合には、取得される画像データＤの中に、マーク画像ＭＤを含めることができる。

そして、画像形成装置１０は、使用者により外部撮像端末１２を用いて載置面３４に載置された原稿シートＧが撮影され、取得された画像データＤを受信すると、画像データＤに写り込んだマーク画像ＭＤを用いて画像データＤを補正する。つまり、原稿シートＧ自体にマーク３６を印刷しなくても、画像形成装置１０の載置面３４に形成されたマーク３６を用いて画像データＤを補正することができる。

そのため、この画像形成装置１０では、マーク画像ＭＤを含む画像データＤであれば、原稿シートＧの種類や形状によらず画像データＤを補正することができる。また、原稿シートＧにマーク３６を印刷せず、所定の形成精度で載置面３４に形成されたマーク３６を用いることから、マーク３６の印刷時のばらつきにより補正精度が悪化することを抑制することができる。

（２）本実施形態の画像形成装置１０では、載置面３４においてマーク３６が正方格子状に配置されており、互いに直交する画像形成装置１０の左右方向及び前後方向に、マーク３６が繰り返し配置されている。この画像形成装置１０では、マーク３６が二次元的に繰り返し配置されていることを利用して、画像データＤ補正する。

従来の画像データＤを補正する技術では、画像データＤに含まれるシート画像ＧＤの領域を切り出し、その切り出した領域に対して台形補正をするものであった。そのため、外部撮像端末１２の撮像部４３に用いられているレンズの特定によって画像データＤが歪んでいる場合には、画像データＤに含まれるシート画像ＧＤの歪みを十分に補正することができない問題があった。

具体的には、従来の台形補正では、画像データＤの４隅にマーク画像ＭＤが配置されるように画像データＤを取得し、画像データＤを補正する際に、この４隅に配置されたマーク画像ＭＤを用いて画像データＤの形状を補正していた。つまり、外部撮像端末１２の撮像部４３に用いられているレンズの特定によって画像データＤが歪み、それに伴って画像データＤの中央部に配置されたシート画像ＧＤが歪んだ場合でも、画像データＤの４隅に配置されたマーク画像ＭＤを用いて補正が行われていた。レンズの特定による画像データＤの歪みは、画像データＤの隅と中央部で異なることがあり、その場合には、画像データＤの４隅に配置されたマーク画像ＭＤを用いてシート画像ＧＤを十分に補正することができなかった。

この画像形成装置１０では、二次元的に繰り返し配置されているマーク３６に対応して、画像データＤの第１方向Ｄ１に配置された第１マーク画像群５２と、画像データＤの第２方向Ｄ２に配置された第２マーク画像群５４と、を用いて画像データＤの補正を行う。第１マーク画像群５２及び第２マーク画像群５４には、各々が３つ以上のマーク画像ＭＤを含んでいることから、画像データＤの隅でない部分、つまり、画像データＤの端辺の中央部に少なくとも１つのマーク画像ＭＤが配置されている。そして、端辺の中央部に配置されたマーク画像ＭＤは、隅に配置されたマーク画像ＭＤよりもシート画像ＧＤに近接して配置される。そのため、第１マーク画像群５２及び第２マーク画像群５４を用いて画像データＤを補正することで、隅に配置されたマーク画像ＭＤよりも近接して配置されたマーク画像ＭＤを用いて画像データＤを補正することができ、レンズの特定による画像データＤが歪んだ場合でも、シート画像ＧＤを精度良く補正することができる。

（３）さらに、直線上に配置されるように補正される第１マーク画像群５２及び第２マーク画像群５４を、直交して配置し、第１マーク画像群５２及び第２マーク画像群５４に含まれるマーク画像ＭＤの間隔を、規定距離Ｌとする。これにより、正方格子状に配置されたマーク３６に対応させて、画像データＤを、直交、且つ、等間隔に配置されたマーク画像ＭＤを有する画像データＤへと補正することができる。

（４）本実施形態の画像形成装置１０では、画像データＤがカラー画像である場合、マーク画像ＭＤを用いて画像データＤを補正する処理を、カラー画像を構成する色成分毎に行う。これにより、外部撮像端末１２の撮像部４３に用いられているレンズの特定によって画像データＤに色収差が発生している場合でも、その色収差を補正することができる。

（５）本実施形態の画像形成装置１０では、補正処理後の画像データＤに対してエッジ検出処理及び回転処理を実行するので、歪みや色収差が補正され、且つ、傾きが補正されたシート画像ＧＤを取得することができる。

（６）そして、外部撮像端末１２から受信された命令が画像形成命令である場合には、上記シート画像ＧＤを記録紙上に画像形成する。これにより、載置面３４を用いて撮影されて取得された画像データを、画像形成装置１０内部で補正して画像形成することができる。

（７）また、外部撮像端末１２から受信された命令が画像形成命令でない場合には、上記シート画像ＧＤを外部撮像端末１２に送り返す。これにより、外部撮像端末１２の使用者は、載置面３４を用いて撮影されて取得された画像データＤを、載置面３４を有する画像形成装置１０で補正して外部撮像端末１２に保存等することができる。

＜実施形態２＞
実施形態２を、図９を用いて説明する。本実施形態では、外部撮像端末１２が取得した画像データＤは、外部撮像端末１２が原稿シートＧに対して傾いた状態で撮影されたため、図９の上段図に示すように台形状に歪んでいる点で、凸状、又は、凹状に歪んでいる実施形態１と異なる。本実施形態のほうに、画像データＤが台形状に歪んでいる場合でも、実施形態１と同一の補正処理により、画像データＤの歪みをマーク画像ＭＤを用いて補正することができる。

１．補正処理
補正処理において、ＣＰＵ２０は、第１方向Ｄ１及び第２方向Ｄ２を検出すると（Ｓ４２）、図９の上段図に示すように、本実施形態１の画像データＤでは、第１マーク画像群５２及び第２マーク画像群５４が直線上に配置されていることから、Ｓ４４の処理を省略し、直線上に配置された第１マーク画像群５２と第２マーク画像群５４とのなす角度が、９０度になるように画像データＤを補正する（Ｓ４６）。この際、ＣＰＵ２０は、第１マーク画像群５２及び第２マーク画像群５４における各マーク画像ＭＤ間のマーク間距離を算出し（Ｓ４８）、当該マーク間距離が、規定距離Ｌと一致するように画像データＤを補正する（Ｓ５０）。これにより、図９の下段図に示すように、画像データＤは、直交、且つ、等間隔に配置されたマーク画像ＭＤを有する画像データＤへと補正される。

２．本実施形態の効果
本実施形態の画像形成装置１０では、画像データＤが台形状に歪んでいる場合でも、画像データＤを補正することができる。この際に、本実施形態の画像形成装置１０では、各々が３つ以上のマーク画像ＭＤを含んだ第１マーク画像群５２及び第２マーク画像群５４を用いて画像データＤを補正するので、従来の台形補正に比べて、シート画像ＧＤを精度良く補正することができる。

＜他の実施形態＞
本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような種々の態様も本発明の技術的範囲に含まれる。
（１）上記実施形態では、プリント機能を有し、スキャン機能を有しない画像形成装置１０を用いて説明を行ったが、本発明はこれに限られない。例えば、スキャン機能を有していても良ければ、プリント機能、ファックス機能、スキャン機能、コピー機能を有する複合機であっても良い。

上記実施形態では、画像形成装置１０がプリント機能のみを有し、スキャン機能を有しない代わりに、載置面３４が設けられ、且つ、外部撮像端末１２との間で画像データＤの受送信可能な通信部２３、及び、ＵＳＢインターフェイス２４を有する。そのため、画像形成装置１０では、外部撮像端末１２の撮像機能、通信機能を利用してファックス機能、スキャン機能、コピー機能を補うことができ、外部撮像端末１２と共に用いられることで、複合機として使用することができる。

（２）また、プリント機能を有していなくても良い。例えば、載置面３４を有し、通信部２３やＵＳＢインターフェイス２４を介して外部撮像端末１２から受信される画像データＤに補正処理を実行し、補正後のシート画像ＧＤを外部撮像端末１２に送信する専用の画像処理装置であっても良い。また、画像データＤは、外部撮像端末１２の撮像機能で得たものであれば、動画やパノラマ画像といった画像であってもよい。

（３）上記実施形態では、画像形成装置１０がＣＰＵ２０を有するＡＳＩＣ２９を備え、このＣＰＵ２０が必要に応じてＡＳＩＣ２９内のハード回路を用いて受信処理等の各種処理を実行する制御部が構成される例を用いて説明を行ったが、本発明はこれに限られない。例えば、ＣＰＵがＡＳＩＣとは別体として存在し、このＣＰＵにより制御部が実行する処理が実行されてもよければ、ＡＳＩＣ内にＣＰＵが存在せず、ＡＳＩＣに設けられたハード回路により制御部が実行する処理が実行されてもよい。さらには、単数又は複数のＣＰＵ及びＡＳＩＣによって、制御部が実行する処理を実行していてもよい。

（４）また、ＣＰＵ２０が実行するプログラムは必ずしもＲＯＭ２６に記憶されている必要はなく、ＣＰＵ２０自身に記憶されていてもよければ、他の記憶装置に記憶されていても良い。

（５）上記実施形態では、装置内の給紙カセット３７に載置された記録紙に画像を形成する画像形成部２５を有する画像形成装置１０を用いて説明を行ったが、本発明はこれに限られない。図１０に示すように、画像形成装置１０の後面１０Ｃに手挿しトレイ３８が設けられており、手挿しトレイ３８に載置された記録紙Ｒに画像を形成して排紙カセット３９に排紙する画像形成部２５を有する画像形成装置１０であっても良い。

（６）上記実施形態では、第１マーク画像群５２及び第２マーク画像群５４が直線上に配置されるように補正する際に、一対の第１マーク画像群５２及び一対の第２マーク画像群５４を補正し、これに対応させてシート画像ＧＤを補正する例を用いて説明を行ったが、本発明はこれに限られない。例えば、図８の上段図に示すように、第１方向Ｄ１の中央部のマーク画像ＭＤは、第１方向Ｄ１の端部のマーク画像ＭＤに比べて、第１方向Ｄ１における歪みが少ない。同様に、第２方向Ｄ２の中央部のマーク画像ＭＤは、第２方向Ｄ２の端部のマーク画像ＭＤに比べて、第２方向Ｄ２における歪みが少ない。

そのため、第１マーク画像群５２が直線上に配置されるように補正する際に、１つの第１マーク画像群５２を補正して、画像データＤの第２方向Ｄ２の中央部よりも当該第１マーク画像群５２側の領域を補正し、この補正を第２方向Ｄ２の中央部よりも当該第１マーク画像群５２と逆側の領域に、対称的に展開してもよい。同様に、第２マーク画像群５４が直線上に配置されるように補正する際に、１つの第２マーク画像群５４を補正して、画像データＤの第１方向Ｄ１の中央部よりも当該第２マーク画像群５４側の領域を補正し、この補正を第１方向Ｄ１の中央部よりも当該第２マーク画像群５４と逆側の領域に、対称的に展開してもよい。

（７）上記実施形態では、載置面３４に同一形状のマーク３６のみが形成される例を用いて説明を行ったが、本発明はこれに限られない。例えば、左右方向及び前後方向において、５個毎に異なる形状のマーク３６が形成されてもよい。これにより、載置面３４には、異なる２種類の正方格子が形成されることから、１種類の正方格子が形成される場合に比べて、画像データＤを補正しやすい。

（８）上記実施形態では、載置面３４に正方格子状のマーク３６が形成されている例を用いて説明を行ったが、本発明はこれに限られない。左右方向における規定距離と前後方向における規定距離が異なる長方格子であってもよければ、第１マーク画像群５２と第１マーク画像群５４とのなす角度が９０度ではない斜行格子であってもよい。

（９）また、載置面３４に形成されるマーク３６は、円形且つ黒色でなくてもよい。例えば、図１１に示すように、左右方向及び前後方向に折れ曲がる線６２であってもよい。線６２は、規定距離Ｌ毎に折れ曲がっており、更には、線６２の曲がり角６４同士の間隔、及び、線６２同士の間隔も規定距離Ｌとなるように設定されている。そのため、載置面３４に載置した原稿シートＧを、その全域が入るように外部撮像端末１２を用いて撮影し、シート画像ＧＤの外縁部に線６２を読み取った線画像が写り込むと、線画像の曲がり角部分のデータを用いて、画像データＤを補正することができる。

（１０）上記実施形態では、載置面３４に複数のマーク３６が形成されている例を用いて説明を行ったが、本発明はこれに限られない。例えば、２本の直線を用いて示されるＬ字や十字等の１つのマーク３６が形成されていてもよい。この場合、ＲＯＭ２６には、規定距離Ｌや直交を意味する９０度の代わりに、Ｌ字や十字等を構成する２本の直線の長さ、及び、２本の直線のなす角度が記憶されることで、画像データＤを補正することができる。Ｌ字や十字等を構成する２本の直線の長さ、及び、２本の直線のなす角度は、マークの形状情報の別例である。

１０：画像形成装置、１０Ｂ：画像形成装置の天面、１２：外部撮像端末、２２：画像処理回路、２３：通信部、２４：ＵＳＢインターフェイス、２５：画像形成部、３４：載置面、３６：マーク、５２：第１マーク画像群、５４：第２マーク画像群、６２：線、６４：曲がり角、Ｄ：原稿データ、Ｄ１：第１方向、Ｄ２：第２方向、ＥＤ：エッジ画像、Ｇ：原稿シート、ＧＤ：シート画像、Ｌ：規定距離、ＭＤ：マーク画像

Claims (6)

1. 原稿を載置可能な載置面を有し、前記載置面にマークが形成された載置部と、
   画像を取得する取得部と、
   制御部と、
   記憶部と、
   を備え、
   前記載置面において、前記マークは、第１方向に第１規定距離間隔で形成されているとともに、前記第１方向に対して規定角をなす第２方向に第２規定距離間隔で形成されており、
   前記記憶部には、前記マークの形状情報として、前記第１規定距離、前記第２規定距離、及び、前記規定角が記憶されるとともに、予め定められた原稿の大きさを示す定型原稿サイズが記憶されており、
   前記取得部は、
   前記載置面に載置された前記原稿を撮影して生成された撮像画像であって、前記原稿を読み取った原稿画像とともに前記原稿画像を一重に取り囲む前記マークを読み取ったマーク画像を含む前記撮像画像を取得し、
   前記制御部は、
   前記取得部が取得した前記撮像画像内の前記マーク画像を検出するマーク画像検出処理であって、前記マーク画像は、前記原稿画像の上端側に前記第１方向に並んで配置される３つ以上の前記マーク画像である上端側第１マーク画像群と、前記原稿画像の下端側に前記第１方向に並んで配置される３つ以上の前記マーク画像である下端側第1マーク画像群と、前記原稿画像の左端側に前記第２方向に並んで配置される３つ以上の前記マーク画像である左端側第２マーク画像群と、前記原稿画像の右端側に前記第２方向に並んで配置される３つ以上の前記マーク画像である右端側第２マーク画像群と、を含むマーク画像検出処理と、
   前記マーク画像検出処理によって検出された前記マーク画像の形状情報が前記記憶部に記憶された前記マークの形状情報と一致するように、前記撮像画像を補正する補正処理と、
   前記補正処理によって補正された前記撮像画像に含まれる前記原稿画像のエッジ画像を検出するエッジ検出処理と、
   前記エッジ画像を前記記憶部に記憶された前記定型原稿サイズと比較して前記載置面に載置された前記原稿の原稿サイズを検出する原稿サイズ検出処理と、
   を実行し、
   前記補正処理は、
   前記上端側第1マーク画像群および前記下端側第1マーク画像群が共に直線に配置されるように、前記上端側第1マーク画像群と前記下端側第1マーク画像群とに囲まれた前記原稿画像を前記第２方向に補正し、前記左端側第２マーク画像群および前記右端側第２マーク画像群が共に直線に配置されるように、前記左端側第２マーク画像群と前記右端側第２マーク画像群とに囲まれた前記原稿画像を前記第１方向に補正し、
   前記上端側第１マーク画像群および前記下端側第１マーク画像群と前記左端側第２マーク画像群および前記右端側第２マーク画像群とのマーク間角度が前記記憶部に記憶された前記規定角と一致し、前記上端側第１マーク画像群および前記下端側第１マーク画像群におけるマーク間距離が前記記憶部に記憶された前記第１規定距離と一致し、前記左端側第２マーク画像群および前記右端側第２マーク画像群におけるマーク間距離が前記記憶部に記憶された前記第２規定距離と一致するように、前記撮像画像を補正する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記制御部は、
   更に、
   前記撮像画像が単一の色成分を有するモノクロ画像か、複数の色成分を有するカラー画像かを判断する判断処理、
   を実行し、
   前記撮像画像が前記モノクロ画像であると判断した場合、前記検出処理と前記補正処理とを前記モノクロ画像を構成する前記単一の色成分に対して行い、
   前記撮像画像が前記カラー画像であると判断した場合、前記検出処理と前記補正処理とを前記カラー画像を構成する前記複数の色成分の各色成分に対して行う、画像処理装置。
3. 請求項１、または請求項２に記載の画像処理装置であって、
   前記制御部は、
   更に、
   前記エッジ検出処理によって検出された前記エッジ画像に基づいて前記原稿画像を回転させる回転処理と、
   を実行する、画像処理装置。
4. 請求項３記載の画像処理装置であって、
   更に、
   画像形成部、
   を備え、
   前記制御部は、
   更に、
   前記回転処理によって回転された前記原稿画像を前記画像形成部に画像形成させる画像形成処理、
   を実行する、画像処理装置。
5. 請求項４記載の画像処理装置であって、
   前記載置面は、前記画像処理装置の天面の少なくとも一部であって、
   前記載置面において、前記マークは、第１方向に第１規定距離間隔、前記第２方向に第２規定距離間隔で、格子状に全面に亘って形成されている、画像処理装置。
6. 請求項４または請求項５に記載の画像処理装置であって、
   前記取得部は、前記撮像画像を受信する受信部であって、
   更に、
   前記原稿画像を送信する送信部、
   を備え、
   前記制御部は、
   更に、
   前記回転処理によって回転された前記原稿画像を前記送信部を用いて送信させる送信処理、
   を実行する、画像処理装置。

Images