JP7298227B2

JP7298227B2 - 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム

Info

Publication number: JP7298227B2
Application number: JP2019053899A
Authority: JP
Inventors: 寿樹杉山; 慶二大村
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2019-03-20
Filing date: 2019-03-20
Publication date: 2023-06-27
Anticipated expiration: 2039-03-20
Also published as: CN111723641B; CN111723641A; JP2020154895A

Description

本発明は、情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムに関する。

今日において、カメラ装置で撮像した認識対象の撮像画像に基づいて文字等を抽出し、所定の記載欄に書き込んだ書類データの作成等を行う文字認識システムが知られている。

特許文献１（特開２０１５－１１４９５６号公報）には、ガスメータに表示されるガスの使用量の読み取りシステムが開示されている。この読み取りシステムの場合、正面を避けてカメラが設置された場合でも、撮像画像の歪みを補正することで、計測値の自動読みとりの精度低下を防止するようになっている。

しかし、特許文献１の技術では、撮像するカメラ装置又は撮像対象の位置ずれが生じた場合には、文字の読み取りを行うことが困難となる問題があった。

本発明は、上述の課題に鑑みてなされたものであり、カメラ装置又は認識対象の位置ずれ等の認識を困難にする事象が発生した場合でも認識対象の認識を可能とする情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムの提供を目的とする。

上述した課題を解決し、目的を達成するために、本発明は、認識対象が撮像される撮像画像に含まれる基準画像を記憶する基準画像記憶部と、認識対象が撮像された撮像画像に対して認識対象のテンプレート画像に基づくパターンマッチング処理を行い、撮像画像に含まれる認識対象を認識するマッチング処理部と、撮像画像から基準画像を認識する基準画像認識部と、認識対象の認識率が所定以下となったタイミングで、基準画像認識部により認識された基準画像の変化を検出する変化検出部と、検出された基準画像の変化に基づいて、マッチング処理部におけるパターンマッチング処理に用いられる撮像画像又はテンプレート画像の少なくともいずれかに所定の処理を行うマッチング調整部とを有する。

本発明によれば、カメラ装置又は認識対象の位置ずれ等の認識を困難にする事象が発生した場合でも認識対象の認識を可能とすることができるという効果を奏する。

図１は、実施の形態の文字認識システムのシステム構成を示す図である。図２は、文字認識用ＰＣのハードウェア構成図である。図３は、文字認識用ＰＣのＣＰＵが文字認識処理プログラムを実行することで実現される各機能の機能ブロック図である。図４は、モニタ画面の撮像画像の一例を示す図である。図５は、文字認識用ＰＣにおける文字認識動作の流れを示すフローチャートである。図６は、テンプレート画像の再作成動作の流れを示すフローチャートである。図７は、基準画像の初期位置を示す図である。図８は、基準画像が検出されず、処理画像が検出されるモニタ画面の撮像画像の例を示す図である。図９は、一方の基準画像が検出されるモニタ画面の撮像画像の例を示す図である。図１０は、外乱光により、第１の基準画像及び第２の基準画像の各色（ＲＧＢ値）が変化した様子を示す図である。図１１は、奥行方向（Ｚ方向）に対して位置ずれが発生している基準画像及び処理画像を示す図である。図１２は、奥行方向（Ｚ方向）に対して位置ずれが発生している基準画像及び処理画像を特徴量抽出アルゴリズムに基づいて検出する様子を示す図である。図１３は、回転方向（θ方向）に対して位置ずれが発生している基準画像及び処理画像を示す図である。図１４は、回転方向（θ方向）に対して位置ずれが発生している基準画像及び処理画像を特徴量抽出アルゴリズムに基づいて検出する様子を示す図である。図１５は、回転方向（θ方向）の位置ずれに対応するテンプレート画像を説明するための図である。図１６は、縦横方向（ＸＹ方向）に対して位置ずれが発生している基準画像及び処理画像を示す図である。

以下、添付図面を参照して、情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムの実施の形態となる文字認識システムの説明をする。

（システム構成）
図１は、実施の形態の文字認識システムのシステム構成を示す図である。この図１に示すように、実施の形態の文字認識システムは、一つ又は複数のカメラ装置１、文字認識処理用パーソナルコンピュータ装置（文字認識用ＰＣ）２、結果表示用ＰＣ３，管理用ＰＣ４、データベース５及びタブレット端末８を有している。

一つ又は複数のカメラ装置１は、ＬＡＮ（Local Area Network）等のローカルネットワーク６を介して文字認識用ＰＣ２に接続されている。カメラ装置１は、認識対象となる文字が表示されたモニタ装置の表示画像を撮像し、この撮像画像を、ローカルネットワーク６を介して文字認識用ＰＣ２に接続する。

文字認識用ＰＣ２、結果表示用ＰＣ３、管理用ＰＣ４及びデータベース５は、工場内ネットワーク７を介して相互に接続されている。後述するが、文字認識用ＰＣ２は、カメラ装置１から供給された撮像画像中の「基準画像」及び「文字」を抽出し、「基準画像のテンプレート画像」及び「文字のテンプレート画像」をそれぞれ形成して記憶する。

文字認識用ＰＣ２は、通常、この「基準画像のテンプレート画像」及び「文字のテンプレート画像」に基づいて、カメラ装置１で撮像された撮像画像から文字の抽出を行う。文字認識用ＰＣ２は、抽出した文字の文字データを、予め定められた形式の書類の記入欄に入力した書類データを作成し、データベース５に記憶する。データベース５に記憶された書類データ（及び抽出した文字の文字データ）は、結果表示用ＰＣ３、管理用ＰＣ４又はタブレット端末８等を介して閲覧可能となっている。

一方、カメラ装置１及びモニタ装置の相対的な位置関係にズレが生ずることで、カメラ装置１の撮像画像に基づいて文字認識処理が困難となった場合（文字認識率が所定以下となった場合）、文字認識用ＰＣ２は、この相対的な位置関係のズレによる基準画像の変化を検出する。また、文字認識用ＰＣ２は、基準画像の変化に基づいて、文字の新たなテンプレート画像が形成し、この新たなテンプレート画像に基づいて文字認識処理を行う。なお、新たなテンプレート画像を形成するタイミングは、文字認識処理が困難となったタイミングの他、管理者から指定されたタイミング、又は、定期又は不定期のタイミングでもよい。さらに、例えば文字認識対象の数値が「１．００００±０．５」であるのに対して、「１」と「７」を誤認識）することで認識結果が「７．００００」となった場合等のように、文字は認識しているが、あまりにも大きく変わる場合に、新たなテンプレート画像を形成してもよい。

（文字認識用ＰＣのハードウェア構成）
図２に、文字認識用ＰＣ２のハードウェア構成を示す。この図２に示すように、文字認識用ＰＣ２は、ＣＰＵ（Center Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、ＨＤＤ（ハードディスクドライブ）１４、操作インタフェース（操作Ｉ／Ｆ）１５及び通信部１６を有している。

ＨＤＤ１４には、文字認識処理プログラムの他、文字認識処理の基準となる基準画像及び各文字のテンプレート画像が記憶されている。ＣＰＵ１１は、この文字認識処理プログラムを実行することで、テンプレート画像に基づく文字認識処理を行うと共に、文字認識処理が困難となった場合に、文字の新たなテンプレート画像の形成処理を行う。

（文字認識用ＰＣの機能構成）
図３は、文字認識用ＰＣ２のＣＰＵ１１が文字認識処理プログラムを実行することで実現される各機能の機能ブロック図である。この図３に示すように、ＣＰＵ１１は文字認識処理プログラムを実行することで、画像取得部２１、基準画像登録部２２、処理画像登録部２３、マッチング処理部２６、処理結果出力部２７、基準画像認識部２８、処理画像認識部３０及びマッチング調整部３５の各機能を実現する。基準画像認識部２８としては、ＣＰＵ１１は、ＲＧＢ判別部３１、Ｚ，θ判別部３２及びＸ，Ｙ判別部３３の各機能を実現する。

画像取得部２１は、カメラ装置１で撮像された、認識する文字が表示されるモニタ画面の撮像画像を取得する。図４は、このモニタ画面の撮像画像の一例を示す図である。この図４に示す例は、四角で囲んで示すように、第１の電流値（Ａ）及び第２の電流値（Ａ）の数値が認識対象である場合の例である。図４の例では、第１の電流値は「０．５６５５Ａ」及び第２の電流値が「０．１７７５Ａ」となっている。

基準画像登録部２２は、モニタ画面の撮像画像上の認識対象の抽出範囲を示す、いわばマーカとなる基準画像の座標情報の登録を行う。詳しくは後述するが、基準画像としては、中心軸回りに回動させた場合に、同じ形状とはならない形状の画像が用いられ、認識対象の抽出範囲の対角線上の端部から一定距離離れた位置にそれぞれ配置される。基準画像登録部２２は、この２つの基準画像が配置された座標位置を示す座標情報を、ＨＤＤ１４等の記憶部（基準画像座標保存部）に記憶（登録）する。

なお、基準画像としては、一つ又は３つ以上の基準画像を配置してもよい。

処理画像登録部２３は、モニタ画面の撮像画像上の認識対象の抽出範囲の例えば４つの角部の座標情報の登録を行う。処理画像登録部２３は、認識対象の抽出範囲の４つの角部の座標情報を、ＨＤＤ１４等の記憶部（基準画像座標保存部）に記憶（登録）する。

マッチング処理部２６は、ＨＤＤ１４等の記憶部に、予め記憶されている数字のテンプレート画像を用いて、モニタ画面の撮像画像に対する画像マッチング処理を行い、撮像画像から第１の電流値（Ａ）及び第２の電流値（Ａ）の数値を抽出する。

処理結果出力部２７は、マッチング処理部２６により抽出された第１の電流値（Ａ）及び第２の電流値（Ａ）の数値を出力する。ＣＰＵ１１は、所定の書類の指定された記入欄に、この第１の電流値（Ａ）及び第２の電流値（Ａ）の数値を入力処理した書類の書類データを形成し、図１に示す工場内ネットワーク７を介してデータベース５に記憶させる。

基準画像取得部の一例である基準画像認識部２８は、モニタ画面の撮像画像上のＲ（赤）、Ｇ（緑）、Ｂ（青）の色合い、色相（Hue）、輝度（Lightness）、彩度（Saturation）、奥行上の位置（Ｚ）、傾き具合（θ）、２次元上の位置（Ｘ，Ｙ）等を判別して、モニタ画面の撮像画像から基準画像を認識する。

マッチング調整部３５は、検出された基準画像の変化に基づいて、マッチング処理部２６におけるパターンマッチング処理に用いられる撮像画像又はテンプレート画像のうち、少なくともいずれかに対して所定の処理を行う。マッチング調整部３５には、テンプレート作成部２９が含まれる。

テンプレート作成部２９は、例えばモニタ画面の撮像画像から数字（認識対象の一例）の認識が困難となった際に、撮像画像上の現在の基準画像と、正常に数値を認識していた際の基準画像との差異（位置、傾き、大きさ、色合い等）に基づいて、テンプレート画像を作成し直す（テンプレート画像を補正する）。マッチング処理部２６は、作成し直されたテンプレート画像を用いてマッチング処理を行うことで、パターンマッチング処理が所定以上の精度となるように調整を行うことができ、モニタ画面の撮像画像から正確に数値を認識することができる。

処理画像認識部３０は、モニタ画面の撮像画像から基準画像を認識できない場合に、モニタ画面の撮像画像全体から、数値の検出範囲に相当する処理画像の認識を行う。

なお、画像取得部２１～処理画像登録部２３、及び、マッチング処理部２６～基準画像認識部２８、処理画像認識部３０及びマッチング調整部３５は、ソフトウェアで実現することとしたが、これらのうち全部又は一部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。

また、文字認識処理プログラムは、インストール可能な形式又は実行可能な形式のファイル情報でＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、文字認識処理プログラムは、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）、ブルーレイ（登録商標）ディスク、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、文字認識処理プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、文字認識処理プログラムは、機器内のＲＯＭ等に予め組み込んで提供してもよい。

（文字認識動作）
次に、図５のフローチャートを用いて、文字認識用ＰＣ２における文字認識動作の流れを説明する。この図５のフローチャートにおいて、ステップＳ１～ステップＳ４が、正常時における文字認識動作の流れを示している。すなわち、ステップＳ１では、基準画像認識部２８が、基準画像記憶部の一例であるＨＤＤ１４等の記憶部に記憶されている基準画像情報の読み出しを行う。また、マッチング処理部２６が、ＨＤＤ１４等の記憶部に記憶されているマッチング処理用のテンプレート画像情報の読み出しを行う。

ステップＳ２では、マッチング処理部２６が、ＨＤＤ１４等の記憶部から読み出したテンプレート画像情報に基づいて、画像取得部２１で取得されたモニタ画面の撮像画像の指定された範囲（座標情報で示される処理画像の範囲）から、数値の認識処理を行う。そして、マッチング処理部２６は、登録されている桁数分の数値が認識できたか否かを判別する。例えば、図４の例の場合、第１の電流値の桁数が、例えば「０」、「５」、「６」、「５」、「５」の５桁であり、第２の電流値の桁数が「０」、「１」、「７」、「７」、「５」の５桁である。このため、マッチング処理部２６は、ステップＳ２において、第１の電流値及び第２の電流値の５桁の数値が、それぞれ認識できたか否かを判別する。

数値を認識できた場合、処理結果出力部２７は、例えば認識した数値を、所定の書類の指定された記入欄に入力処理した書類の書類データを形成し、図１に示す工場内ネットワーク７を介してデータベース５に記憶させる等のデータ処理を行う（ステップＳ３、ステップＳ４）。このようなデータ処理が終了すると（ステップＳ４：Ｙｅｓ）、図５のフローチャートの全処理が終了する。

一方、例えばモニタ画面とカメラ装置１との相対的な位置関係にズレが生ずると、モニタ画面の撮像画像に基づいて数値の認識が困難となる。ステップＳ２で、数値の認識が困難と判別された場合（ステップＳ２：Ｎｏ）、マッチング処理部２６は、例えば３回又は４回等の所定回数、リトライを繰り返す（ステップＳ５、ステップＳ６）。所定回数リトライしても数値の認識が困難な場合（ステップＳ５：Ｙｅｓ）、テンプレート作成部２９は、ステップＳ７～ステップＳ９に示すテンプレート画像の再作成動作に移行する。

テンプレート画像の再作成動作の流れを簡単に説明すると、変化検出部の一例として動作するテンプレート作成部２９は、まず、正常に数値が認識できていた初期の基準画像と、現在の基準画像とを比較し（ステップＳ７）、両者の変化を検出する（ステップＳ８）。そして、テンプレート作成部２９は、検出した変化（位置、傾き、大きさ、色合い等）に基づいて、テンプレート画像を再作成し、ＨＤＤ１４等の記憶部に記憶し直す（ステップＳ９）。また、基準画像登録部２２は、現在の基準画像を、ＨＤＤ１４等の記憶部に記憶し直す（ステップＳ９）。

基準画像認識部３１は、このように再記憶された基準画像に基づいて、基準画像の認識処理を行う。また、マッチング処理部２６は、このように再記憶されたテンプレート画像に基づいて、数値の認識処理を行う。これにより、モニタ画面の撮像画像から正確に数値を認識する正常動作に、文字認識システムを自動で復帰させることができる。

（テンプレート画像の再作成動作）
次に、図６のフローチャートを用いてテンプレート画像の再作成動作（ステップＳ７～ステップＳ９の動作）を詳細に説明する。まず、上述のように数値の認識が困難となり、複数回のリトライを行っても、数値の認識が困難であった場合、基準画像認識部２８が、数値の認識が困難となっているモニタ画面の撮像画像から、予め位置、大きさ（サイズ）、及び、色合いが設定されている基準画像の認識を試みる（ステップＳ１１）。

図７は、基準画像の初期位置を示している。この図７において、実線の枠は、パターンマッチング処理を行う処理範囲を示している。この図７の例の場合、この実線の枠内に「０」、「１」、「２」、「３」の数値が表示されている。マッチング処理部２６は、テンプレート画像を参照して、この実線の枠内の数字を検出する。なお、この例では、マッチング処理により数字を認識することとして説明を進めているが、この他、アルファベット文字、平仮名文字、カタカナ文字、記号等の他の文字を認識してもよい。また、処理範囲内において、パターンマッチング処理を行うこととして説明を進めるが、モニタ画面の撮像画像全体を、パターンマッチング処理の対象としてもよい。

図７に示す長方形状の点線の枠は、数値の検出範囲を示している。この点線の枠の左上の角部から対角線に沿って左上方向に一定距離離れた位置に、第１の基準画像ＫＧ１が表示されている。同様に、点線の枠の右下の角部から対角線に沿って、右下方向に一定距離離れた位置に、第２の基準画像ＫＧ２が表示されている。

第１の基準画像ＫＧ１及び第２の基準画像ＫＧ２は、中心軸回りに回動させた場合に、同じ形状とはならない形状の画像が用いられる。一例ではあるが、第１の基準画像ＫＧ１としては、鍵型形状（Ｌ字形状）の画像が用いられる。また、第２の基準画像ＫＧ２としては、直角二等辺三角形状の画像を用いられる。第１の基準画像ＫＧ１及び第２の基準画像ＫＧ２は、それぞれ同じ形状としてもよいが、異なる形状とすることで、基準画像の認識率をより高いものとすることができる。

また、第１の基準画像ＫＧ１及び第２の基準画像ＫＧ２には、それぞれ異なる色が配色されている。一例として、第１の基準画像ＫＧ１は、赤色（Ｒ、Ｇ、Ｂ（各８ビット）＝２５５、０、０）となっている。また、第２の基準画像ＫＧ２は、青色（Ｒ、Ｇ、Ｂ（各８ビット）＝０、０、２５５）となっている。

また、第１の基準画像ＫＧ１及び第２の基準画像ＫＧ２の位置は、モニタ画面の座標位置で指定されている。この座標位置を示す座標情報が、ＨＤＤ１４等の記憶部に記憶されている。基準画像認識部２８は、この記憶部に記憶された各基準画像ＫＧ１、ＫＧ２の座標情報に基づいて、第１の基準画像ＫＧ１及び第２の基準画像ＫＧ２の認識を行う。

図６のフローチャートのステップＳ１１では、基準画像認識部２８が、モニタ画面の撮像画像から、このような２つの基準画像ＫＧ１、ＫＧ２が検出されたか否かを判別する。２つの基準画像ＫＧ１、ＫＧ２が検出されない場合（ステップＳ１１：Ｎｏ）、処理がステップＳ２１に進み、基準画像認識部２８が、２つの基準画像ＫＧ１、ＫＧ２のうち、いずれか一方の基準画像でも検出できたか否かを判別する。

各基準画像ＫＧ１、ＫＧ２を２つとも検出できない場合（ステップＳ２１：Ｎｏ）、処理がステップＳ３１に進み、処理画像認識部３０が、モニタ画面の撮像画像全体から、図７に点線の枠で示した処理画像（数値の検出を行う範囲を示す画像）の検出を試みる。モニタ画面の撮像画像全体から処理画像が検出されないということは（ステップＳ３２：Ｎｏ）、撮像画像に処理画像が写っていないことを意味する。すなわち、モニタ装置又はカメラ装置１にユーザ等が接触したことで、モニタ装置とカメラ装置１との相対的な位置関係に大きなずれが生じたことを意味している。この場合、ユーザは、モニタ画面を正確に撮像するように、画像カメラ装置１等の位置を再調整して（ステップＳ３４）、この図６のフローチャートの処理を終了する。

これに対して、モニタ画面の撮像画像全体から処理画像を検出できた場合（ステップＳ３２：Ｙｅｓ）、基準画像認識部２８は、認識された処理画像に対して各基準画像ＫＧ１、ＫＧ２を設定する。一例ではあるが、図７を用いて説明したように、基準画像認識部２８は、認識された処理画像の左上の角部から一定距離離れた位置に、第１の基準画像ＫＧ１を配置し、認識された処理画像の右下の角部から一定距離離れた位置に、第２の基準画像ＫＧ２を配置する(ステップＳ３３)。このような処理画像の座標情報、及び、各基準画像ＫＧ１、ＫＧ２の座標情報は、基準画像登録部２２又は処理画像登録部２３により、ＨＤＤ１４等の記憶部に記憶し直される（処理画像及び各基準画像の再設定）。

なお、図８に示すように、第１の基準画像ＫＧ１を配置し直しても、遮蔽物等により検出が困難となる場合は、第１の基準画像ＫＧ１の元の位置の座標情報をキャンセルすると共に。第２の基準画像ＫＧ２のみを設定し直す。基準画像は、一つのみ設定しても、後述するように処理画像の検出が可能となる。

このような処理画像及び各基準画像ＫＧ１，ＫＧ２の再設定が行われると、マッチング処理部２６は、ステップＳ１５において、再設定された各基準画像ＫＧ１，ＫＧ２に基づいて処理画像を検出し、この検出した処理画像に含まれる数字を、テンプレート画像に基づいて検出する。この検出結果は、ステップＳ１６において、処理結果出力部２７により出力され、上述のように書類の所定の記入欄に入力される。

これに対して、例えば図９に示すように、モニタ画面の撮像画像から、２つの基準画像ＫＧ１，ＫＧ２のうち、一方の基準画像のみが認識できた場合（ステップＳ２１：Ｙｅｓ）、基準画像認識部２８は、認識できた一方の基準画像を特定して位置確認を行う（ステップＳ２２、ステップＳ２３）。基準画像登録部２２は、特定された一方の基準画像（図９の例の場合は、第１の基準画像ＫＧ１）の座標情報を記憶部に記憶し直す。この場合、他方の基準画像の座標情報は、キャンセルする。また、処理画像登録部２３は、特定した基準画像に基づいて処理画像を特定し、処理画像の座標情報を記憶部に記憶し直す。

このような処理画像及びいずれかの基準画像の再設定が行われると、マッチング処理部２６は、ステップＳ１５において、再設定された一方の基準画像に基づいて処理画像を検出し、この検出した処理画像に含まれる数字を、テンプレート画像に基づいて検出する。この検出結果は、ステップＳ１６において、処理結果出力部２７により出力され、上述のように書類の所定の記入欄に入力される。

一方、ステップＳ１１において、２つの基準画像ＫＧ１、ＫＧ２が検出された場合（ステップＳ１１：Ｙｅｓ）、処理がステップＳ１２に進み、基準画像認識部２８のＲＧＢ判別部３２が、第１の基準画像ＫＧ１及び第２の基準画像ＫＧ２の各色（ＲＧＢ値）に、外乱光による変化が生じているか否かを判別する（ステップＳ１２）。

図１０は、外乱光により、第１の基準画像ＫＧ１及び第２の基準画像ＫＧ２の各色（ＲＧＢ値）が変化した様子を示している。設定時の第１の基準画像ＫＧ１のＲＧＢ値が「２５５、０、０」であったのに対して、外乱光により、「２５５、１２７、１２７」の値に変化している。また、設定時の第２の基準画像ＫＧ２のＲＧＢ値が「０、０、２５５」であったのに対して、外乱光により、「１３０、１２７、２５５」の値に変化している。

このような外乱光による影響がある場合（ステップＳ１２：Ｎｏ）、処理がステップＳ４１に進み、ＲＧＢ判別部３１が、各基準画像ＫＧ１，ＫＧ２のＲＧＢ値の確認を行う。そして、テンプレート作成部２９が、各基準画像ＫＧ１，ＫＧ２のＲＧＢ値の変化に応じたテンプレート画像を作成して（ステップＳ４２）、ＨＤＤ１４等の記憶部に記憶し直す。

具体的には、外乱光により、各基準画像ＫＧ１、ＫＧ２の発色が薄くなった場合、テンプレート作成部２９は、各基準画像ＫＧ１、ＫＧ２と同様に、発色を薄くしたテンプレート画像を新たに作成して、ＨＤＤ１４等の記憶部に記憶し直す。反対に、外乱光により、各基準画像ＫＧ１、ＫＧ２の発色が濃くなった場合、テンプレート作成部２９は、各基準画像ＫＧ１、ＫＧ２と同様に、濃い発色のテンプレート画像を新たに作成して、ＨＤＤ１４等の記憶部に記憶し直す。

このような外乱光による変化に対応したテンプレート画像が新たに作成されると、マッチング処理部２６は、ステップＳ１５において、新たに作成されたテンプレート画像に基づいてテンプレートマッチング処理を行い、処理画像に含まれる数字を検出する。この検出結果は、ステップＳ１６において、処理結果出力部２７により出力され、上述のように書類の所定の記入欄に入力される。

次に、外乱光の影響が無いものと判別することで（ステップＳ１２：Ｙｅｓ）、ステップＳ１３に処理が進むと、基準画像認識部２８のＺθ判別部３２が、各基準画像ＫＧ１、ＫＧ２に対する奥行方向（Ｚ方向）、又は、回転方向（θ方向）の位置ずれの有無を判別する。

Ｚθ判別部３２は、例えばＡＫＡＺＥ（Accelerated KAZE）、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）、ＫＡＺＥ、ＡＳＩＦＴ（Affine-SIFT）、ＦＡＳＴ（Features from Accelerated Segment Test）、ＲＩＦＦ（Rotation-Invariant Fast Feature）、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）、ＯＲＢ（Oriented FAST and Rotated BRIEF）、ＢＲＩＳＫ（Binary Robust Invariant Scalable Key points）、又は、ＣＡＲＤ（Compact And Real-time Descriptors）等の特徴量抽出アルゴリズムを用いて、各基準画像ＫＧ１，ＫＧ２の奥行方向（Ｚ方向）及び回転方向（θ方向）の位置ずれの有無を判別する。

図１１は、奥行方向（Ｚ方向）に対して位置ずれが発生している例である。この図１１の例の場合、各基準画像ＫＧ１，ＫＧ２及び処理画像が縮小される方向に位置ずれした例である。Ｚθ判別部３２は、上述の特徴量抽出アルゴリズムに基づいて、図１２に示すようにこのような奥行方向（Ｚ方向）に対する位置ずれを検出し（ステップＳ１３）、各基準画像ＫＧ１、ＫＧ２の、モニタ画面の撮像画像上の位置を確認する（ステップＳ５１）。基準画像登録部２２及び処理画像登録部２３は、奥行方向（Ｚ方向）の縮尺に対応した各基準画像ＫＧ１，ＫＧ２及び処理画像の座標情報を、ＨＤＤ１４等の記憶部に登録し直す。

また、テンプレート作成部２９は、奥行方向（Ｚ方向）の位置ずれに対応する縮尺のテンプレート画像を新たに形成し、ＨＤＤ１４等の記憶部に記憶する。このような縮尺の変化に対応したテンプレート画像が新たに作成されると、マッチング処理部２６は、ステップＳ１５において、新たに作成されたテンプレート画像に基づいてテンプレートマッチング処理を行い、処理画像に含まれる数字を検出する。この検出結果は、ステップＳ１６において、処理結果出力部２７により出力され、上述のように書類の所定の記入欄に入力される。

これに対して、図１３に示すように各基準画像ＫＧ１，ＫＧ２に回転方向（θ方向）の位置ずれが発生している場合、基準画像登録部２２は、図１３及び図１４に示すように回転が生じている処理画像の四隅が、四つのいずれかの辺上に位置する、回転が生じていない処理画像を形成し、この回転が生じていない処理画像の座標情報を、記憶部に記憶し直す。

同様に、テンプレート作成部２９は、図１３及び図１５（ａ）、図１５（ｂ）に示すように、回転が生じているテンプレート画像の四隅が、四つのいずれかの辺上に位置する、回転が生じていないテンプレート画像を新たに形成し、この回転が生じていないテンプレート画像をＨＤＤ１４等の記憶部に記憶する（ステップＳ５２）。このような回転の変化に対応したテンプレート画像が新たに作成されると、マッチング処理部２６は、ステップＳ１５において、新たに作成されたテンプレート画像に基づいてテンプレートマッチング処理を行い、処理画像に含まれる数字を検出する。この検出結果は、ステップＳ１６において、処理結果出力部２７により出力され、上述のように書類の所定の記入欄に入力される。

なお、回転方向の位置ずれを補正する場合に、各基準画像ＫＧ１、ＫＧ２、処理画像及びテンプレート画像に対して、傾き補正処理を施して、回転方向の位置ずれを修正してもよい。

次に、奥行方向（Ｚ方向）及び回転方向（θ方向）の位置ずれを検出しない場合（ステップＳ１３：Ｙｅｓ）、処理がステップＳ１４に進み、基準画像認識部２８のＸＹ判別部３３は、横方向（Ｘ方向）又は縦方向（Ｙ方向）に対する、各基準画像ＫＧ１、ＫＧ２の位置ずれの有無を判別する。

各基準画像ＫＧ１、ＫＧ２にＸＹ方向の位置ずれが発生している場合（ステップＳ１４：Ｎｏ）、処理画像登録部２３は、ステップＳ６１において、ＸＹ方向にずれている分だけ、ずらした処理画像の座標情報をＨＤＤ１４等の記憶部に記憶する。なお、ＸＹ方向の位置ずれが発生している場合において、テンプレート作成部２９は、テンプレート画像を新たに形成することはなく、予め登録されているテンプレート画像が、そのまま用いられて上述のマッチング処理が行われる。

ステップＳ１４において、各基準画像ＫＧ１、ＫＧ２に位置ずれが発生していないと判別された場合、及び、ＸＹ方向の位置ずれに応じて処理画像の座標情報が登録し直された場合、処理はステップＳ１５及びステップＳ１６に進む。このステップＳ１５及びステップＳ１６では、上述のようにテンプレート画像に基づいて処理画像に含まれる数字が検出される。この検出結果は、ステップＳ１６において、処理結果出力部２７により出力され、上述のように書類の所定の記入欄に入力される。

（実施の形態の効果）
以上の説明から明らかなように、実施の形態の文字認識システムは、テンプレート画像を用いたテンプレートマッチング処理により、認識対象となる例えば数字の認識を行う。

文字認識が困難となった場合に、画像処理により補正し、又は、予め複数作成したテンプレートパターンを選択して用いるようにすると、文字認識用ＰＣ２のＣＰＵ１１に掛かる負荷が大きくなるうえ、処理に長時間を要する。また、今後、例えば携帯端末装置又はシングルボードコンピュータ装置等の処理能力が低いＣＰＵを備えた機器でも、撮像画像に基づく文字認識処理を可能とするためには、ＣＰＵに掛かる負荷を小さくすることが好ましい。

実施の形態の文字認識システムは、処理画像内の数字と、テンプレート画像の数字とを比較して合致の有無を判別するだけのテンプレートマッチング処理で文字認識を行うため、文字認識用ＰＣ２のＣＰＵ１１に掛かる負荷を大幅に軽減することができる。このため、処理能力が低いＣＰＵを備えた機器でも、撮像画像に基づく文字認識処理を可能とすることができる。

また、実施の形態の文字認識システムは、認識対象となる数字の認識が困難となった場合、各基準画像ＫＧ１、ＫＧ２の過去と現在の変化を検出し、この変化に対応して、テンプレートマッチング処理に用いる撮像画像又はテンプレート画像の、少なくともいずれかに所定の処理を行う。撮像画像に対して行われる所定の処理には、例えば、上述の傾き補正処理、及び、テンプレートマッチング処理を行う撮像画像中の所定の範囲を変更する処理等が含まれる。

また、テンプレート画像に対して行われる所定の処理には、例えば、上述のように、テンプレート画像の作成が含まれ、基準画像の変化に対応する新たなテンプレート画像を形成して、上述のテンプレートマッチング処理を行う。これにより、ＣＰＵに大きな負荷を掛けることなく、様々な変化に対応してテンプレート画像を形成して、数字等の認識対象の認識を行うことができる。

最後に、上述の実施の形態は、一例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。また、実施の形態及び実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１カメラ装置
２文字認識用ＰＣ
３結果表示用ＰＣ３
４管理用ＰＣ
５データベース
６ローカルネットワーク
７工場内ネットワーク
８タブレット端末
１１ＣＰＵ
１２ＲＯＭ
１３ＲＡＭ
１４ＨＤＤ
１５操作インタフェース（操作Ｉ／Ｆ）
１６通信部
１７マウス装置
１８キーボード装置
２１画像取得部
２２基準画像登録部
２３処理画像登録部
２６マッチング処理部
２７処理結果出力部
２８基準画像認識部
２９テンプレート作成部
３０処理画像認識部
３１ＲＧＢ判別部
３２Ｚ，θ判別部
３３Ｘ，Ｙ判別部

特開２０１５－１１４９５６号公報

Claims

認識対象が撮像される撮像画像に含まれる基準画像を記憶する基準画像記憶部と、
前記認識対象が撮像された撮像画像に対して前記認識対象のテンプレート画像に基づくパターンマッチング処理を行い、前記撮像画像に含まれる前記認識対象を認識するマッチング処理部と、
前記撮像画像から前記基準画像を認識する基準画像認識部と、
前記認識対象の認識率が所定以下となったタイミングで、前記基準画像認識部により認識された前記基準画像の変化を検出する変化検出部と、
検出された前記基準画像の変化に基づいて、前記マッチング処理部における前記パターンマッチング処理に用いられる前記撮像画像又は前記テンプレート画像の少なくともいずれかに所定の処理を行うマッチング調整部と
を有する情報処理装置。
前記マッチング調整部は、検出された前記変化に基づいて、前記マッチング処理部で用いられる前記認識対象のテンプレート画像を作成するテンプレート作成部を含み、
前記マッチング処理部は、前記テンプレート作成部により作成されたテンプレート画像を用いて前記パターンマッチング処理を行うこと
を特徴とする請求項１に記載の情報処理装置。
前記テンプレート作成部は、前記変化検出部において、前記基準画像の色の変化が検出された場合、変化後の色に基づいてテンプレート画像を作成すること
を特徴とする請求項２に記載の情報処理装置。
前記テンプレート作成部は、前記変化検出部において、前記基準画像の縮尺の変化が検出された場合、変化後の縮尺に対応するテンプレート画像を作成すること
を特徴とする請求項２または請求項３に記載の情報処理装置。
前記テンプレート作成部は、前記変化検出部において、前記基準画像の回転方向の変化が検出された場合、回転方向の変化が生じている前記認識対象を包含する大きさの、回転方向の変化が生じていない状態のテンプレート画像を作成すること
を特徴とする請求項２から請求項４のうち、いずれか一項に記載の情報処理装置。
前記マッチング処理部は、前記撮像画像の所定の範囲に対して前記パターンマッチング処理を行うこと
を特徴とする請求項１から請求項５のうち、いずれか一項に記載の情報処理装置。
前記基準画像は、前記撮像画像における前記認識対象と所定の位置関係を有しており、
前記マッチング調整部は、前記変化検出部において、前記基準画像の前記撮像画像における位置の変化が検出された場合、
前記撮像画像におけるパターンマッチング処理を行う所定の範囲を変更し、
前記マッチング処理部は、前記マッチング調整部により変更された前記所定の範囲に対して前記パターンマッチング処理を行うこと
を特徴とする請求項６に記載の情報処理装置。
前記基準画像は、中心軸回りに回動させた場合に、同じ形状とはならない形状の画像であること
を特徴とする請求項７に記載の情報処理装置。
前記変化検出部において、前記基準画像の傾きが検出された場合、
前記マッチング調整部は、前記撮像画像の傾き補正を行い、
前記マッチング処理部は、前記マッチング調整部により傾き補正された前記撮像画像に対して前記パターンマッチング処理を行うこと
を特徴とする請求項１から請求項８のうち、いずれか一項に記載の情報処理装置。
情報処理装置によって実行される情報処理方法であって、
認識対象が撮像された撮像画像に対して認識対象のテンプレート画像に基づくパターンマッチング処理を行い、前記撮像画像に含まれる前記認識対象を認識するマッチング処理ステップと、
前記撮像画像に含まれる基準画像を認識する基準画像認識ステップと、
前記認識対象の認識率が所定以下となったタイミングで、前記基準画像の変化を検出する変化検出ステップと、
マッチング調整部が、検出された前記基準画像の変化に基づいて、前記パターンマッチング処理に用いられる前記撮像画像又は前記テンプレート画像の少なくともいずれかに所定の処理を行うマッチング調整ステップと
を有する情報処理方法。
コンピュータを、
認識対象が撮像された撮像画像に対して前記認識対象のテンプレート画像に基づくパターンマッチング処理を行い、前記撮像画像に含まれる前記認識対象を認識するマッチング処理部と、
前記撮像画像に含まれる基準画像を認識する基準画像認識部と、
前記認識対象の認識率が所定以下となったタイミングで、前記基準画像の変化を検出する変化検出部と、
検出された前記基準画像の変化に基づいて、前記マッチング処理部における前記パターンマッチング処理に用いられる前記撮像画像又は前記テンプレート画像の少なくともいずれかに所定の処理を行うマッチング調整部として機能させること
を特徴とする情報処理プログラム。
請求項１から請求項９のうち、いずれか一項に記載の情報処理装置と、
前記情報処理装置で認識された前記認識対象を所定の入力欄に入力した状態のデータを形成するデータ形成装置と
を有する情報処理システム。