JP6562109B1

JP6562109B1 - 画像入力装置及び画像入力方法

Info

Publication number: JP6562109B1
Application number: JP2018060766A
Authority: JP
Inventors: 哲 ▲瀬▼川
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2018-03-27
Filing date: 2018-03-27
Publication date: 2019-08-21
Anticipated expiration: 2038-03-27
Also published as: JP2019176274A

Abstract

【課題】格子点やベースラインに基づかない新たな方式により、原稿画像の補正パラメータを正しく認識して、原稿画像の補正を適正に行うことができる画像入力装置及び画像入力方法を提供する。【解決手段】光学読取面４上に所定の既知間隔の特徴画像Ｇを投影する投影部１と、光学読取面４を読み取る画像読取部２と、画像読取部２で読み取った特徴画像Ｇの位置に基づく補正パラメータＰを算出し、該補正パラメータＰに基づき原稿画像の歪みを補正する演算処理部３とを備える。【選択図】図１

Description

本発明は、銀行等の金融機関で使用可能な画像入力装置及び画像入力方法に関する。

テーブル上の原稿を間接的に読み取る装置として、特許文献１及び２に示される画像読取装置が知られている。
特許文献１に示される画像処理システムは、画像を投影する投影部と、投影部により格子点画像が投影された領域を撮影する撮影部と、を有し、撮影画像からパターン画像の対応点情報を取得する。
さらに、この画像処理システムでは、取得したパターン画像の対応点情報と、パターン画像の特徴点の位置情報とに基づき、投影対象のコンテンツ画像を補正する補正情報を算出し、この補正情報に基づき、投影対象のコンテンツ画像を補正する。

特許文献２に示される電子文書作成装置では、画像の歪みを補正することにより補正画像を得て、前記補正画像に含まれる複数の文字画像に対して文字認識処理を実行することにより、テキストデータを得る処理がなされる。
さらに、この電子文書作成装置では、前記補正前の画像における各文字行のベースラインを求めた後、前記補正前の画像における各文字画像について、前記ベースラインからの相対位置を求めて、前記補正前の画像上における前記テキストデータの位置を、前記ベースラインからの相対位置で記述した電子文書を生成する。

特開２０１４−１６０９９８号公報特開２００９−２００６２２号公報

ところで、特許文献１では投影した格子点画像に基づき、一方、特許文献２では各文字行から抽出したベースラインに基づき、スクリーン面又は入力画像の歪を修正する。
しかしながら、これら特許文献１，２に示される技術では、スクリーン面又は入力画像の歪が想定以上に大きい場合に、格子点が隣接する他の格子点と交差してしまう、又はベースラインが他のベースラインと交差してしまうこともあり、正確な歪量の検出ができないという問題があった。

この発明は、上述した事情に鑑みてなされたものであって、格子点やベースラインに基づかない特徴画像を読み取る方式により、原稿画像の補正パラメータを正しく認識して、原稿画像の補正を適正に行うことができる画像入力装置及び画像入力方法を提供する。

上記課題を解決するために、この発明は以下の手段を提案している。
本発明の第１形態に示される画像入力装置では、光学読取面上に所定の既知間隔の特徴画像を投影する投影部と、前記光学読取面を読み取る画像読取部と、前記画像読取部で読み取った特徴画像の位置に基づく補正パラメータを算出し、該補正パラメータに基づき画像の歪みを補正する演算処理部と、を備えることを特徴とする。

本発明の第２形態に示される画像入力方法では、光学読取面上に所定の既知間隔の特徴画像を投影する投影段階と、前記光学読取面を読み取る画像読取段階と、前記画像読取段階で読み取った特徴画像の位置に基づく補正パラメータを算出し、該補正パラメータに基づき画像の歪みを補正する補正段階と、からなることを特徴とする。

本発明では、補正パラメータを介した原稿画像の補正により、しわや湾曲の影響を排除した原稿画像を得ることができる。

本発明に係る画像入力装置を示す図であって、（ａ）は装置の概略構成図、（ｂ）は原稿に既知間隔の特徴画像が投影された状態を示す図、（ｃ）は基準特徴画像を示す図、（ｄ）は補正パラメータで補正後の原稿画像を示す図である。本発明の実施形態に係る画像入力装置を示す図である。（ａ）はプロジェクタ部から原稿上に特徴画像を投影した図であり、（ｂ）は特徴画像と比較される歪のない基準特徴画像を示す図である。（ａ）は補正パラメータで補正前の原稿読取画像、（ｂ）は補正パラメータで補正後の原稿読取画像を示す図である。本実施形態に係る画像入力装置の動作内容を示すフローチャートである。

本発明に係る画像入力装置１００の最小構成例について図１（ａ）〜（ｄ）を参照して説明する。
本発明の画像入力装置１００は、図１（ａ）に示されるように投影部１、画像読取部２及び演算処理部３を備える。

投影部１は、光学読取面４上の原稿Ｍに所定の既知間隔の特徴画像Ｇを投影するために設けられている。
画像読取部２は光学読取面４を読み取るためのイメージスキャナである。
演算処理部３は、画像読取部２で読み取った特徴画像Ｇから補正パラメータＰを算出し、この補正パラメータＰに基づき原稿画像の歪みを補正するために設けられる。
なお、特徴画像Ｇとしては、個々に異なる数字又は文字が既知間隔で配列されたものが使用される。

以上のように構成された画像入力装置１００では、図１（ｂ）に示されるように、投影部１により、光学読取面４上に載置された原稿Ｍに所定の既知間隔の特徴画像Ｇが投影される。その後、原稿Ｍ上に投影された特徴画像Ｇは、画像読取部２により読み取られた後、演算処理部３に供給される。
演算処理部３では、画像読取部２で読み取った特徴画像Ｇと、図１（ｃ）に示される基準画像との比較に基づき補正パラメータＰを算出した後、図１（ｄ）に示されるように補正パラメータＰに基づき原稿画像の歪みを補正する。なお、図１（ｂ）は補正前の原稿画像、図１（ｄ）は補正後の原稿画像を示している。

ここで、特徴画像Ｇとして、複数又は単数の列からなる既知間隔の文字列や記号列を光学読取面４に投影することで、原稿画像を補正するための補正パラメータＰを正しく認識して、原稿画像の補正を適正に行うことができる。
すなわち、本発明では、光学読取面４上に載置された原稿Ｍにしわや浮きに伴う湾曲があったとしても、補正パラメータＰを介した原稿画像の補正により、しわや湾曲の影響を排除した原稿画像を得ることができる。

なお、本発明では、光学読取面４上に載置した原稿Ｍに対して所定の既知間隔の特徴画像Ｇを投影したが、これに限定されず、光学読取面４上に投影した投影画像に対して、所定の既知間隔の特徴画像Ｇを投影しても良い。これにより、演算処理部３にて、光学読取面４上にある凹凸の影響を排除した投影画像を得ることができる。

また、本発明の画像入力装置１００では、光学読取面４上に所定の既知間隔の特徴画像Ｇを投影する投影段階と、光学読取面４を読み取る画像読取段階と、画像読取段階で読み取った特徴画像Ｇの位置に基づく補正パラメータＰを算出しこの補正パラメータＰに基づき画像の歪みを補正する補正段階と、を有する画像入力方法が採用されている。

（実施形態）
図１の画像入力装置１００をさらに具体化した実施形態について、図２〜図５を参照して説明する。

本実施形態に係わる画像入力装置１０１は、投影部となるプロジェクタ部１１、画像読取部となるイメージセンサ部１２及び演算処理部１３を備える。

プロジェクタ部１１は、テーブル１４上に設置された光学読取面１５上の原稿Ｍに所定の既知間隔の特徴画像Ｇ１を投影するために設けられている。
イメージセンサ部１２は光学読取面１５を読み取るためのイメージスキャナである。
これらプロジェクタ部１１及びイメージセンサ部１２はいずれもテーブル１４上に設置された支持部材１６に支持されている。

演算処理部１３は、プロジェクタ部１１から原稿Ｍ上に投影する特徴画像Ｇ１を生成する投影画像生成部１３Ａと、原稿Ｍで反射した特徴画像Ｇ１を読取りデータ処理する画像データ処理部１３Ｂとを有する。
そして、この演算処理部１３では、イメージセンサ部１２で読み取った特徴画像Ｇ１の位置に基づく補正パラメータＰを算出し、この補正パラメータＰに基づき原稿画像の歪みを補正する処理を行う。

演算処理部１３での具体的処理について、図３（ａ）及び（ｂ）及び図４（ａ）及び（ｂ）を参照して説明する。
プロジェクタ部１１から原稿Ｍ上に投影する特徴画像Ｇ１として、例えば図３（ａ）に示されるような「０１から９９」までの異なる文字や記号を既知間隔に並べたものが使用される。
なお、この特徴画像Ｇ１は単数の列からなる文字列や記号列であっても良いし、複数の列からなる文字列や記号列であっても良い。また、演算処理部１３には、プロジェクタ部１１から原稿Ｍ上に投影後に、イメージセンサ部１２で読み取った特徴画像Ｇ１と比較される、歪のない基準特徴画像Ｇ０（図３（ｂ）参照）を別途記憶しておく。

画像入力装置１０１のイメージセンサ部１２では、光学読取面１５上に載置された原稿Ｍの印刷及び記入文字とともに、プロジェクタ部１１から原稿Ｍ上に投影された特徴画像Ｇ１を読み取り、その画像データを演算処理部１３に出力する。
演算処理部１３では、イメージセンサ部１２で読み取った特徴画像Ｇ１について、予め記憶しておいた歪のない基準特徴画像Ｇ０と比較することで、これら特徴画像Ｇ１と基準特徴画像Ｇ０との相違点となる特徴点の抽出を行なう。

演算処理部１３で抽出される特徴点としては、特徴画像Ｇ１の個々の文字／数字に関する特徴量と特徴点座標（例えば、位置座標、文字／数字の傾き、大きさ、濃度勾配など）などがあり、これら特徴点を、補正パラメータＰとして出力する。
また、これに限定されず、演算処理部１３では、文字／数字の明るさや向き、スケールによらず濃度勾配とその正規化により極値を持つ点を特徴抽出とする方式（参考文献：K. Iwamoto, R. Mase, and T. Nomura: BRIGHT: A Scalable and Compact Binary Descriptor for Low-Latency and High Accuracy Object Identification, Proc. of ICIP2013, pp.2915-2919, 2013.）を用いて、補正パラメータＰを得ることもできる。

そして、演算処理部１３では、イメージセンサ部１２で取得した、特徴画像Ｇ１の個々の文字／数字が位置する座標と同じ位置にある原稿Ｍ上の読取画像２０（図４（ａ）参照）を、上述した補正パラメータＰを用いて補正する（図４（ｂ）参照）。なお、図４（ａ）は補正前の読取画像２０、図４（ｂ）は補正後の読取画像２１をそれぞれ示している。

これにより、上記画像入力装置１０１では、光学読取面１５上に載置された原稿Ｍにしわや浮きに伴う湾曲があったとしても、補正パラメータＰを介した原稿Ｍの読取画像２０の補正により、しわや湾曲の影響を排除した読取画像２１（図４（ｂ）参照）を得ることができる。

次に、図５を参照して、本実施形態に係る画像入力装置１０１の動作について説明する。
〔ステップＳ１〕
光学読取面１５上に原稿Ｍが載置されたか否かを判断し、ＹＥＳの場合に次のステップＳ２に進む。

〔ステップＳ２〕
プロジェクタ部１１から、光学読取面１５上に載置された原稿Ｍに特徴画像Ｇ１を投影する。

〔ステップＳ３〕
イメージセンサ部１２に対して、原稿Ｍ上に記載された印刷及び記入文字を読み取らせるとともに、プロジェクタ部１１から原稿Ｍ上に投影された特徴画像Ｇ１の反射画像を読み取らせる。

〔ステップＳ４〕
データ処理部１３Ｂにおいて、イメージセンサ部１２で読み取った特徴画像Ｇ１について、予め記憶しておいた歪のない基準特徴画像Ｇ０と比較することで、これら特徴画像Ｇ１と基準特徴画像Ｇ０との相違点となる特徴点の抽出を行なう。

〔ステップＳ５〕
ステップＳ４で抽出した特徴点に基づき補正パラメータＰを演算する。

〔ステップＳ６〕
操作者から補正パラメータＰに基づく原稿画像の補正指示があったか否かを判断し、ＮＯの場合にステップＳ７に進み、ＹＥＳの場合にステップＳ８に進む。

〔ステップＳ７〕
ステップＳ５で算出された補正パラメータＰを操作者に出力した後、本フローチャートを終了する。

〔ステップＳ８〕
ステップＳ３に示すイメージセンサ部１２で取得した原稿Ｍ上の読取画像２０（図４（ａ）参照）について、ステップＳ５で演算した補正パラメータＰに基づく補正をした後、本フローチャートを終了する。図４（ｂ）は補正後の読取画像２１を示している。

以上のように構成された画像入力装置１０１では、プロジェクタ部１１により、光学読取面１５上に載置された原稿Ｍに所定の既知間隔の特徴画像Ｇ１が投影される。その後、原稿Ｍ上に投影された特徴画像Ｇ１は、イメージセンサ部１２により読み取られた後、演算処理部１３に供給される。
演算処理部１３では、イメージセンサ部１２で読み取った特徴画像Ｇ１と、図１（ｃ）に示される基準画像Ｇ０との比較に基づく補正パラメータＰを算出した後、図１（ｄ）に示されるように補正パラメータＰに基づき原稿画像の歪みを補正する。なお、図１（ｂ）は補正前の原稿画像、図１（ｄ）は補正後の原稿画像を示している。

ここで、特徴画像Ｇ１として、複数又は単数の列からなる既知間隔の文字列や記号列を光学読取面１５に投影することで、原稿画像の補正パラメータＰを正しく認識して、原稿画像の補正を適正に行うことができる。
すなわち、本発明では、光学読取面１５上に載置された原稿Ｍにしわや浮きに伴う湾曲があったとしても、補正パラメータＰを介した原稿画像の補正により、しわや湾曲の影響を排除した原稿画像を得ることができる。

なお、上記実施形態では、プロジェクタ部１１による画像投影とイメージセンサ部１２による画像読取とを、原稿Ｍの原稿面全体に対して行ったが、これに限定されず、原稿Ｍ上の文字や図形の認識が必要な部分領域に限って実施しても良い。

また、上記実施形態では、プロジェクタ部１１とイメージセンサ部１２とを一体にしたものを使用したが、これらプロジェクタ部１１とイメージセンサ部１２とは別体に設けられていても良い。

また、上記実施形態では、光学読取面１５上に載置した原稿Ｍに対して所定の既知間隔の特徴画像Ｇを投影したが、これに限定されず、光学読取面１５上に投影した投影画像に対して、所定の既知間隔の特徴画像Ｇを投影しても良い。
これにより、演算処理部１３にて、光学読取面１５上にある凹凸の影響を排除した投影画像を得ることができる。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１投影部
２画像読取部
３演算処理部
４光学読取面
１１プロジェクタ部
１２イメージセンサ部
１３演算処理部
１５光学読取面
２０読取画像
２１読取画像
１００画像入力装置
１０１画像入力装置
Ｇ１特徴画像
Ｇ０基準特徴画像
Ｍ原稿
Ｐ補正パラメータ

Claims

光学読取面上に所定の既知間隔の文字列または記号列を有する特徴画像を投影する投影部と、
前記光学読取面を読み取る画像読取部と、
前記画像読取部で読み取った特徴画像の位置に基づく補正パラメータを算出し、該補正パラメータに基づき原稿画像の歪みを補正する演算処理部と、を備え、
前記投影部は、前記光学読取面に投影された原稿画像上に前記特徴画像を投影することを特徴とする画像入力装置。
前記投影部は、複数又は単数の列からなる文字列およびまたは記号列から構成される特徴画像を投影することを特徴とする請求項１に記載の画像入力装置。
前記投影部は、前記光学読取面に載置された原稿上に前記特徴画像を投影することを特徴とする請求項１又は２のいずれか１項に記載の画像入力装置。
前記演算処理部は、前記画像読取部で読み取った特徴画像と、予め記憶しておいた基準特徴画像とを比較することで、前記補正パラメータを算出することを特徴とする請求項１〜３のいずれか１項に記載の画像入力装置。
光学読取面上に所定の既知間隔の文字列または記号列を有する特徴画像を投影する投影段階と、
前記光学読取面を読み取る画像読取段階と、
前記画像読取段階で読み取った特徴画像の位置に基づく補正パラメータを算出し、該補正パラメータに基づき原稿画像の歪みを補正する補正段階と、からなり、
前記投影段階は、前記光学読取面に投影された原稿画像上に前記特徴画像を投影することを特徴とする画像入力方法。