JP5554654B2 - 画像処理方法、携帯情報端末及びプログラム - Google Patents

Description

本発明は文字認識機能を備えた画像処理方法、携帯情報端末及びプログラムに関する。

近年、撮像機能を備える携帯情報端末が多く流通している。そのため、カメラ機能による画像認識を応用した業務効率化の提案がされるようになった。

水道、ガス等の検針市場においては、メーターなどの数値入力にカメラ機能を使用して、文字認識による数値入力の自動化を行う試みがなされている。

学習したテンプレートを利用して、輪郭から３次元的な姿勢と平面内の回転角度を算出し３次元的な傾斜による歪みの補正と平面内の回転を補正し出力する特許文献１が知られる。

特許文献２に記されるように、ナンバープレートの文字認識では、撮影対象と撮影装置の撮影条件が既知の場合において、鉛直方向の角度と水平方向の角度が定まる。そのため撮像装置の設置条件のパラメータである鉛直方向の角度と水平方向の角度を補正し認識精度を向上させることが記されている。

特開平１１−３０６２８２号公報 特開平０６−２７４７８８号公報

上述した特許文献１では、携帯情報端末に応用するには撮影され得る角度で学習処理を行わなければならず手間がかかってしまう。特許文献２では、撮影条件の距離、角度が予め設置条件のパラメータとして決まっているものに対して認識精度を向上させるものであるため本体の移動のたびにパラメータの設定を変更する必要がある。

携帯情報端末等のカメラを用いる場合には、手持ちによる撮影角度のずれや、立ち位置により認識対象の写り方が変化するため、撮影画像から認識すべき領域を検知できず、文字認識が良好に行えないことがあった。

そのため本発明は、カメラが移動するような場合であっても撮影画像から認識対象の検出精度を向上させ文字認識を行いやすくした画像処理方法、画像処理方法を利用した携帯情報端末及びプログラムを提供することを目的とする。

上記の課題を解決するために、予め記憶している３Ｄモデルに対応した認識対象を含む画像をカメラで撮影し撮影画像を得る撮像工程と、前記撮像工程における前記カメラの重力に対する傾き角度を取得する角度取得工程と、前記３Ｄモデルを前記傾き角度に基づいた回転と鉛直軸周りに対応する回転方向の複数の値へ回転をさせる３Ｄモデル回転工程と、回転された前記３Ｄモデルから比較画像群を作成する作成工程と、前記撮影画像と前記比較画像群の一致検出を行い、前記撮影画像に写った前記認識対象の前記カメラに対する傾きを決定する一致検出工程と、一致検出した前記撮影画像に含まれる前記認識対象の文字領域を文字認識する文字認識工程とを有する画像処理方法を用いる。

また、上記の課題を解決するための携帯情報端末として、認識対象に対応した３Ｄモデルの情報を保持する３Ｄモデル保持部と前記認識対象を含む画像を撮影画像として得るカメラ部と、前記撮影画像を得た際の前記カメラの重力に対する傾き角度を取得する角度取得部と、前記３Ｄモデルを前記傾き角度に基づいた回転と鉛直軸周りに対応する回転方向の複数の値へ回転をさせる３Ｄモデル回転部と、回転された前記３Ｄモデルから比較画像群を作成する比較画像群作成部と、前記撮影画像と前記比較画像群の一致検出を行い、前記撮影画像に写った前記認識対象の前記カメラに対する傾きを決定する一致検出部と、一致検出した前記撮影画像に含まれる前記認識対象の文字領域を文字認識する文字認識部とを有する携帯情報端末。を使用することで解決する。

また、上記の課題を解決するためのプログラムとして、携帯情報端末のコンピュータを動作させるプログラムであって、予め記憶している３Ｄモデルに対応した認識対象を含む画像をカメラで撮影し撮影画像を得る撮像工程と、前記撮像工程における前記カメラの重力に対する傾き角度を取得する角度取得工程と、前記３Ｄモデルを前記傾き角度に基づいた回転と回転鉛直軸周りに対応する回転方向の複数の値へ回転させる３Ｄモデル回転工程と、回転された前記３Ｄモデルから比較画像群を作成する比較画像群作成工程と、前記撮影画像と前記比較画像群の一致検出を行い、前記撮影画像に写った前記認識対象の前記カメラに対する傾きを決定する一致検出工程と、一致検出した前記撮影画像に含まれる前記認識対象の文字領域を文字認識する文字認識工程とを有するプログラムを使用することで解決する。

本発明により、認識対象が予め定まっている場合に、手持ちによる認識対象とカメラ部の撮影角のずれや立ち位置による影響を抑え、認識対象の検出精度を向上させ適切な文字認識を行うことができる。また全ての角度について３Ｄモデルを回転させる場合に比べて、画像処理の負荷を減らすことができる。

本発明の携帯情報端末により、認識対象が予め定まっている場合に携帯情報端末のカメラを利用した手持ちによる撮影画像から認識対象に含まれる文字領域に適切な文字認識を行うことができる。

本発明の検針用の携帯情報端末は、認識対象が特定の型番のメーターであるため携帯情報端末のカメラを利用した手持ちによる撮影画像から認識対象に含まれる文字領域に適切な文字認識を行うことができ、適切な印刷出力を行うことができる。そのため検針業務の手間を減少させることができる。

本発明のプログラムにより、認識対象が予め定まっている場合に携帯情報端末のカメラを利用した手持ちによる撮影画像から認識対象に含まれる文字領域に適切な文字認識を行うことができる。

本発明の実施の形態に係る画像処理に関するフローチャート。 本発明の実施の形態に係る携帯情報端末１００の構成の画像処理に関する構成図。 本発明の実施の形態に係る携帯情報端末１００のハードウェア構成図。 （ａ）携帯情報端末１００の正面図、（ｂ）携帯情報端末１００の背面図。 認識対象の一例であるメーター２０１。 カメラ部１０１をメーター２０１に対してθ度傾けた状態を横から見た時の、角度取得部１０２にかかる重力加速度ｇを示した図。 カメラ部１０１をメーター２０１に対して左右方向にγ度傾けた状態を背後から見た時の、角度取得部１０２にかかる重力加速度ｇを示した模式図。 １軸周りの角度εを３軸加速度センサーでは検出できないことを示した図。 一致検出における処理のモデル図。 最一致画像６０４における文字領域の範囲を示す座標を表した図。 画像切り出し処理を示したモデル図。 歪み補正の処理のモデル図。 に実施例１における処理のフローチャート。

以下に本発明の実施形態を、図面を参照して説明する。図１に本発明の実施の形態に係るフローチャートを示す。説明は後述する。

図２は本発明の実施形態に係る携帯情報端末１００の構成の画像処理に関する構成図である。図２において、メモリ部１１０内の各部は画像処理に関するメモリ部１１０の本発明に関連する要素であり、画像処理部１２０内の各部は画像処理部１２０の本発明に関連する要素を表す。

角度取得部１０２は、カメラ部１０１が撮影した瞬間の重力加速度により認識対象とカメラ部１０１との取得可能な傾き角度を取得する。角度取得部１０２は本発明の実施形態では３軸加速度センサーが使用されるものとするが、カメラ部１０１の認識対象に対する傾き角度を取得できるものであれば、３軸加速度センサーに限らず、ジャイロスコープなどで代替してもよい。

３Ｄモデル保持部１１２は、メモリ部１１０の記憶領域内に存在する。３Ｄモデルとは認識対象を製造するために使われた設計情報や認識対象の外形や文字領域などを認識するために必要な特徴のある代表的な点を三次元上の点で表し、それら三次元の点を結んだベクトルデータで表した情報を用いる。

図３は本発明の実施の形態に係る携帯情報端末１００のハードウェア構成を示す構成図である。携帯情報端末１００は、本発明を適用しうる文字認識機能を備えた携帯情報端末１００である。カメラ部１０１は、携帯情報端末１００のカメラ部１０１で取り込んだ画像を、制御部１０４に入力する。ビデオアダプタ部１０６は、携帯情報端末１００の各構成の表示装置への入力情報を伝達し、操作入力部１０３は、携帯情報端末１００へ操作者からの入力情報を制御部１０４に伝達する。

制御部１０４は、ＣＰＵなどで構成される。メモリ部１１０は、ＢＩＯＳなどを格納したＲＯＭ、処理の一時保存を行うＲＡＭ、不揮発性記憶媒体であるＨＤＤ、小型軽量性に優れたフラッシュメモリや、ＳＳＤなどが特に好ましく用いられる。三次元のグラフィック情報を使用する際は、グラフィック専用のメモリを使用してもよいが、ＧＰＵをＣＰＵ内に格納しているものが好ましい。

メモリ部１１０は、制御部１０４の処理に関する様々な記憶を行い、制御部１０４に対するプログラムの格納や、処理の一時保存などを行う。携帯情報端末１００も、通常のパーソナルコンピュータと同様にＯＳがインストールされている。ＯＳやアプリケーションプログラム（アプリ）もメモリ部１１０に格納され、必要によって読み出され制御部１０４によって携帯情報端末１００の各機能を動作させている。図１における画像処理部１２０の処理は、メモリ部１１０に格納されたアプリを利用して制御部１０４が行う。撮影角度取得部１０２は、制御部１０４からの命令に従い操作入力部１０３の操作入力によりカメラ部１０１が撮影画像を取得した際のカメラ部１０１の地平面に対する角度を記憶しメモリ部１１０内部の撮影角度保持部１１３に記憶する。ビデオアダプタ部１０６で出力される内容は、メモリ部１１０に格納されているもの、カメラ部１０１で撮像した画像や各種処理の選択画面などであり各々制御部１０４により処理し表示を行う。

本発明の実施形態で用いられる認識対象に対応した３Ｄモデルもメモリ部１１０の３Ｄモデル情報保持部１１２に保存されている。３Ｄモデルの回転や一致検出、一致検出の判定、画像処理や文字認識も、制御部１０４が、メモリ部１１０に格納されたアプリを利用して行う。図２の画像処理部１２０の機能は、制御部１０４の演算能力を使用し、メモリ部１１０の記憶領域を利用して処理を行う。制御部１０４の処理によるため画像処理部１２０は、制御部１０４の一部機能として表している。プリンタ出力部１０５は、遠隔のプリンタやプリンタ１３３へ印刷する情報を出力する。また、本実施の形態では、画像処理等についてアプリでの動作を例示したが、専用のハードウェアや画像処理回路を用いることもできる。

図２における撮影画像保持部１１１、３Ｄモデル保持部１１２、角度保持部１１３、各々の情報は携帯情報端末１００に備えられたメモリ部１１０に記憶される。

図４（ａ）は本実施の形態に係る携帯情報端末１００の正面図であり、図４（ｂ）は携帯情報端末１００の背面図である。携帯情報端末１００の正面には携帯情報端末１００に出力された各種情報を表示する表示部１３１と携帯情報端末１００へ各種入力を行う入力キー１３２があり、タッチディスプレイを採用している場合は、表示装置と入力装置が張り合わされている。文字認識結果から伝票を出力するプリンタ部１３３を画面上部に設けている。

携帯情報端末１００の背面には、カメラ部１０１、携帯情報端末１００の構成を例示しているが、これら入出力機器がどのような位置関係であってもよく、プリンタ部１３３が、筐体内でなく無線通信で接続されていてもよい。プリンタ部１３３を表示部１３１の上部に配置することで、印刷物は、表示部１３１の上方へ排紙される。印刷物の印刷面は表示部１３１との表示面と同じ方向へ排紙される。このため操作者は、表示部１３１による撮影画像の確認と印刷物の印刷結果の確認を同時に行える。

検針用の携帯情報端末であるハンディーターミナル等では、その場での印刷出力や無線通信による読取データの出力ができることが好ましい。印刷される内容は、文字認識の認識結果を数値として認識し、使用量を計算した請求書などがある。また、認識対象が特定の型番のメーターであって、側面を含む外形の特徴、文字表示部がフォントの定まった数字のみで構成されている場合にさらに認識率の向上が望める。認識対象に使用されているフォントを記憶しておき、数字のみの認識を行う場合、認識対象に含まれる外形線で数字と読み間違える可能性のあるものを３Ｄモデルに記録し、撮影画像の文字認識を行う領域から除外することで、認識率を高めることができる。

表示部１３１には、カメラ部１０１の撮影領域にある画像を表示している。本発明の実施にあたって、カメラ部１０１で撮影された撮影画像には、３Ｄモデル保持部１１２に記憶された３Ｄモデルに対応した認識対象が記憶されている必要がある。そのため、撮影範囲を確認しながら撮影を行い易いように、カメラ部１０１と表示部１３１が異なる面に設けられた端末が好ましい。

図５は認識対象の一例であるメーター２０１とメーター２０１の文字領域２０２の図である。文字領域を含んだ認識対象であるメーター２０１は４桁の文字領域２０２を有する。本発明の実施形態では、文字領域は４桁の数字であるが、領域が複数である場合や、文字が漢字やアルファベットである場合も本発明の思想を適用することができる。

（センサーで取得できる傾き角度の説明）
図６〜８を用いて３軸加速度センサーにより、どのように認識対象との撮影角度の関係を検知するかを説明する。本発明の実施形態において、撮影角度は、カメラ部１０１と認識対象の角度関係を表し、カメラ部１０１の地平面に対する角度は、傾き角度、３Ｄモデルを回転させた角度は、回転角度と呼ぶ。特定の値を取らない何れかの軸に対しての回転方向については、傾きと呼ぶ。

文字領域を含んだ認識対象は、カメラの撮影できる範囲内に納めて撮影される。角度取得部１０２は計測可能な軸を３つ持っており、携帯情報端末１００のカメラ部１０１をメーター２０１に正対させた時を基準に考えて、左右方向の軸をｘ軸、上下方向の軸をｙ軸、奥行き方向の軸をｚ軸とする。

カメラ部１０１をｘ軸周り回転方向に傾きθ、ｚ軸周り回転方向に傾きγ、ｙ軸周り回転方向に傾きεに各々傾けて認識対象の撮影を行った場合に、検出可能な角度と検出不能な角度があることを以下に説明する。

図６は、メーター２０１に対してカメラ部１０１を奥行き方向にθ傾け、カメラ部１０１の傾き方向にメーター２０１がある状態を横から見た時の、角度取得部１０２にかかる重力加速度ｇを示した図である。

奥行き方向にのみ傾けている状態ではｘ軸に重力加速度はかからず、ｙ軸とｚ軸にのみ重力加速度がかかる。ｙ軸の測定値をｙｙとし、ｚ軸の測定値をｚｚとするとそれぞれ次の値となる。

カメラ部１０１は奥行き方向にθ傾いている。図６では、角度取得部１０２よりも下に位置している場合を例示する。
ｙｙ＝ｇ・ｓｉｎθ
ｚｚ＝ｇ・ｃｏｓθ
これから、奥行き方向の傾きθは次の式により導かれる。
θ＝ｓｉｎ^―１（ｙｙ／ｇ）＝ｃｏｓ^―１（ｚｚ／ｇ）

図７は、カメラ部１０１をメーター２０１に対して左右方向にγ傾けた状態を背後から見た時の、角度取得部１０２にかかる重力加速度ｇを示した模式図である。
左右方向の軸ｘについても、同様の方法で導き出すことが可能である。
これから、左右方向の傾きγは次の式により導かれる。
γ＝ｓｉｎ^―１（ｙｙ／ｇ）

一方、角度取得部１０２を使用したとしても、図８に示すように、ｙ軸周りの傾きεは検出できない。これは、重力加速度ｇが鉛直方向に一定に働いているため、鉛直方向を軸として鉛直軸周りに回転させたとしても、重力加速度ｇから得られる値は変わらない。これより、携帯情報端末１００をいずれかの方向へ傾けても一軸周りの重力加速度から得られる値は変化しない。そのため、３軸加速度センサーでは、いずれかの一軸周りの傾きは測定できない。

そこで、本発明の実施形態では、カメラの傾き角度を測定できない軸をｙ軸とし、ｙ軸周りの傾きεについては、画像処理部１２０を用いて、各種画像処理工程を用いて推定または決定を行う。

撮影画像には認識対象が入っているため、背後からの撮影を考慮する必要は無い。そのため正面から左右９０度がその対象範囲とする。

メーター２０１は地平面に対して鉛直に設置されているものとする。認識対象は、鉛直に設置されておらずとも、３Ｄモデルの基準となる画像の傾きと認識対象の設置位置の傾きが対応してさえすればよい。

３Ｄモデル保持部１１２はメーター２０１の配管を含んだ外形、凹凸領域、数値や文字領域に対応した位置情報を含んだ３Ｄモデルが保持されている。３Ｄモデルは認識に必要な情報を含んでいればよく、これらの実施の形態に制限されるものではない。３Ｄモデル保持部１１２に、予め認識対象に対応する３Ｄモデルを登録することで、適宜設定可能であり様々な形状に対応可能である。

本発明の実施形態における３Ｄモデルはメーター２０１の外形の頂点座標と、各頂点間を結ぶ情報、文字領域２０２の範囲を示すデータの集合で構成されているものである。正面から撮影を行って、加速度センサーがｙ軸について重力加速度ｇの値を検出した場合に、撮影された画像と３Ｄモデルの基準の傾きで輪郭を比較するとずれ量がなく一致する。

Ｓ１１（撮像工程）
認識対象に対応した３Ｄモデルの情報を保持する３Ｄモデル保持部１１２から文字認識を行いたい認識対象を操作入力部１３２により選択する。カメラ部１０１の機能を利用して、予め記憶している３Ｄモデルに対応した認識対象を含む画像を撮影する。携帯情報端末１００での撮像を行う際は、表示部１３１に表示を行いながら、撮影を行う。カメラ部１０１は認識対象であるメーター２０１を撮影し撮影画像保持部１１１に出力する。

Ｓ１２（角度取得工程）
認識対象であるメーター２０１を撮影し撮影画像保持部１１１に出力し、カメラ部１０１の撮影画像を取得した際の地平面に対する傾きは、加速度センサーにより、重力加速度から計算する。傾きθについて傾き角度θ１、傾きγについて傾き角度γ１であったとき、角度取得部１０２は傾き角度θ１と傾き角度γ１を３軸加速度センサーに加わった重力加速度からの計算により取得し、角度保持部１１３へ保存する。

Ｓ１３（３Ｄモデル回転工程）
３Ｄモデル回転部１２１は３Ｄモデル保持部１１２に保持された３Ｄモデルの情報と、角度保持部１１３に保持されている撮影された瞬間のカメラ部１０１の傾き角度θ１と、傾き角度γ１を利用して３Ｄモデルを回転補正する。

ｙ軸周りの傾き角度ε１は検出できない。撮影を行った画像に認識対象は含まれているため、ｙ軸周りの傾きεを正面から見て左右に５度刻みでそれぞれ最大９０度回転させる。そのため０度から１８０度までの範囲内３６段階で３Ｄモデルを回転させる。

３Ｄモデル回転部１２１では、３Ｄモデルが保持している頂点座標の一つ一つに対して、パラメータとして傾き角度θ１、傾き角度γ１を与え、傾きεについては０度から１８０度まで３６個となる複数の値を与える。傾き角度θ１、傾き角度γ１の位置からカメラ部１０１がメーター２０１を撮影したときに得られる画像に対応した状態の３Ｄモデルを得る。座標変換には頂点の移動や回転に一般的に使用する変換行列であるアフィン変換を用いる。

Ｓ１４（比較画像群を作成する作成工程）
比較画像群作成部１２２では、３Ｄモデル回転部１２１が３６通りの変換を行った３Ｄモデルから頂点間を結ぶ線をラスタライズすることで輪郭線を取り出し、比較画像群６０３を作成する。

Ｓ１５（一致検出工程）
図９は一致検出部１２３における処理のモデル図である。一致検出部１２３では、一致検出を行い易くするために、撮影画像保持部１１１に保持されている撮影画像６０１にエッジ抽出アルゴリズムを使用して撮影画像輪郭画像６０２を生成する。

一致検出部１２３で使用するエッジ抽出アルゴリズムとしてキャニー法を選択する。キャニー法はノイズに対する耐性が強いエッジ抽出アルゴリズムであり、撮影画像６０１から輪郭を抽出するのに適切である。図８の撮影画像６０１のように、ノイズや背景が含まれている場合、キャニー法を用いて、撮影画像６０１のエッジを検出すると撮影画像６０１から認識対象や背景などの輪郭が強調された撮影画像輪郭画像６０２が得られる。

次に先に作成した撮影画像輪郭画像６０２と比較画像群作成部１２２によって作成された３６枚の輪郭線の集合である比較画像群６０３とを、パターン認識アルゴリズムによって撮影画像輪郭画像６０２から比較画像群６０３に含まれる輪郭から最も輪郭線の近似する輪郭を検出し、撮影画像輪郭画像６０２に含まれる輪郭線からの認識対象であるメーター２０１の輪郭を認識する。

一致検出部１２３で使用するパターン認識アルゴリズムとして、ラスターベクトル変換と特徴点抽出を利用した、ベクトルデータの比較によって行う。

ベクトルデータで一致検出を行うことにより、認識対象輪郭画像６０２と比較画像群６０３の大きさが違った場合においても正しい比較結果を得ることが出来る。

この一致検出の処理により、比較画像群６０３の中で最も適切な輪郭の検出により撮影画像保持部１１１に保持されている認識対象の撮影画像６０１に対するずれ量が分かる。この処理により、比較画像群６０３の図に示すように、角度によって外形が変化する。メーター２０１の側面も認識対象とすることで、特徴のある形状を一致検出に利用することができる。

最一致画像６０４が確定すれば、その生成に使用した回転角度のε１を取得することが出来る。３Ｄモデルを回転させるのに使用した回転角度θ１、γ１、ε１を得ることができる。その結果、最一致画像６０４と撮影画像６０１とのずれ量がなければ、メーター２０１をカメラ部１０１が撮影した撮影角度は回転角度θ１、γ１、ε１と一致する。この回転角度は、撮影画像６０１に写ったメーター２０１のカメラ部１０１に対する傾きに対応する。

また、この一致検出の処理により、比較画像群６０３の中の最一致画像６０４と回転させた３Ｄモデルから得た輪郭とのオフセット情報６０５を出力する。オフセット情報６０５ｄｘ＝ｘ座標のズレ、ｄｙ＝ｙ座標のズレ、ｄｚ＝拡大比率と一致検出で決定した回転角度が一致検出部１２３から一致検出判定部１２４と文字領域決定部１２５に出力される。

Ｓ１６（一致検出の判定工程）
一致検出判定部１２４は、最一致画像６０４に使用された回転角度とずれ量を文字領域決定部１２５と歪み補正部１２６へ出力し、撮影画像６０１に写った認識対象の傾きは補正が必要かをオフセット情報、回転角度の値から判定する。文字認識するのに十分な程度の値であれば、文字認識部１２７へ撮影画像６０１の一致検出によりメーター２０１の領域であるとされた画像のＳ１９の文字認識工程へ進む。歪み補正を行わなければ、正常な文字認識結果を得られない場合は、Ｓ１７の文字領域決定工程へ進む。ここで判定の基準として、３Ｄモデル保持部１２１に保存された文字領域内の情報により、漢字であるか、数字であるか、どのようなフォントであるかや、文字領域が複数あるかなどの様々な認識対象の条件と文字認識アルゴリズムの条件により適宜設定可能である。３Ｄモデルごとに、予め３つの回転角度、３つのずれ量の各々の値に臨界値を設け、そのいずれか一つの値が臨界値を超えた場合に、文字領域決定部１２５と歪み補正部１２６へ、文字領域の決定を行うように命令を発し、Ｓ１７へ進む。

Ｓ１７（文字領域決定工程）
文字領域決定部１２５は、一致検出部１２３で最一致画像６０４に使用された３Ｄモデルの回転角度とオフセット情報６０５を一致検出判定部１２４から得る。決定された回転角度とオフセット情報と３Ｄモデル保持部１１２に保持しているメーター２０１の３Ｄモデルから、文字認識の対象となる領域の位置情報を用いて、最一致画像６０４から求めた文字領域２０２に対応する画像を切り出して歪み補正部１２６に出力する。

図１０は最一致画像６０４における文字領域２０２の範囲を示す座標を表した図である。

文字領域２０２の範囲を示す座標は４点で構成され、それぞれの座標は、３Ｄモデルが保持していた頂点座標を、決定された回転角度である角度θ１、角度γ１、角度ε１を用いてアフィン変換したのちに、画像上に投射した位置であり、それぞれを（ｘ１，ｙ１）（ｘ２，ｙ２）（ｘ３，ｙ３）（ｘ４，ｙ４）とする。

図９では、４点にかこまれた範囲は長方形で表示されているが、決定された撮影角度によって形が変化するため、長方形になるとは限らない。

切り出し範囲は、この文字領域２０２の範囲を示す座標にオフセット値を掛け合わせたものとなる。

切り出し範囲を示す点を（ｘｃ１，ｙｃ１）（ｘｃ２，ｙｃ２）（ｘｃ３，ｙｃ３）（ｘｃ４，ｙｃ４）とすると。
その座標はそれぞれ次にようになる。
（ｘｃ１，ｙｃ１）＝（（ｘ１＋ｄｘ）＊ｄｚ，（ｙ１＋ｄｙ）＊ｄｚ）
（ｘｃ２，ｙｃ２）＝（（ｘ２＋ｄｘ）＊ｄｚ，（ｙ２＋ｄｙ）＊ｄｚ）
（ｘｃ３，ｙｃ３）＝（（ｘ３＋ｄｘ）＊ｄｚ，（ｙ３＋ｄｙ）＊ｄｚ）
（ｘｃ４，ｙｃ４）＝（（ｘ４＋ｄｘ）＊ｄｚ，（ｙ４＋ｄｙ）＊ｄｚ）

図１１は、文字領域決定部１２５の処理のモデル図である。切り出し範囲を示す点を（ｘｃ１，ｙｃ１）（ｘｃ２，ｙｃ２）（ｘｃ３，ｙｃ３）（ｘｃ４，ｙｃ４）を囲み、それ以外を無効領域とした切り出しマスク８０１が生成され、撮影画像６０１に切り出しマスク８０１を適応し切り出し処理を行うと切り出し後画像８０２が生成される。

切り出し後画像８０２には文字領域に相当する部分のみ切り出されていることがわかる。

Ｓ１８（歪み補正工程）
図１２は、歪み補正の処理内容を説明した図である。切り出し後画像８０２の文字領域に相当する部分を拡大したものが数値表示部画像９０１である。

数値表示部画像９０１をみると、画像に歪みが存在し、歪み量が一定以上である場合では文字認識精度を低下させる可能性がある。

歪み補正部１２６はこの歪みを補正し、補正済み文字領域画像９０２を作成する。

歪みを補正するには、文字領域２０２内に位置する離散的座標の一点が、数値表示部画像９０１のどの位置に相当するかを導く必要がある。

この位置は、画像切り出しに使用した座標（ｘ１，ｙ１）（ｘ２，ｙ２）（ｘ３，ｙ３）（ｘ４，ｙ４）を算出したのと同様に、アフィン変換を使用すればよい。

図１２では、文字領域２０２を横６４０ドットｘ縦２４０ドット離散画像であると仮定した場合に、補正済み文字領域画像９０２を構成する画素が数値表示部画像９０１を構成するいずれかの画素に相当することを示している。

図１３では、画素の選択が最近傍法を利用したアルゴリズムによって、行なわれることを示しているが、近傍画素の情報を利用して線形補完法やバイキュービック法などを適応してもよい。

全ての補正が完了した画像が図１２内の補正済み文字領域画像９０２である。
文字認識に最適な歪みの補正された画像に変換されていることがわかる。

Ｓ１９（文字認識工程）
文字認識に適した補正済み文字領域画像９０２、または、一致検出判定部１２４で特定された撮影画像６０１の最一致画像６０４に対応した領域の文字領域に文字認識部１２７が文字認識を行う。

文字認識部１２７は補正済み文字領域画像９０２を認識対象とすることにより、文字列を含んだ認識対象の３Ｄモデルを保持している場合であれば、文字領域の検出精度を向上させ文字認識の精度を向上させることが可能となる。

また、加速度センサーで重力に対する傾き角度θ１、傾き角度γ１を決定した後に、傾きεに対応させて３Ｄモデルを逐次回転させて切り出し、一致画像を得ることでも同様な効果を得ることができる。そのため、３Ｄモデルを逐次回転させて切り出して、比較する場合も比較画像群を作成しているとみなせる。

本発明の実施形態において、傾きεの代表的な値として、０度から１８０度まで５度ずつ３６段階の値を用いたが、段階を細かくし、一致検出の精度を上げることや、およそ撮影される範囲として、４５度から１３５度を９０段階選択するなど、これらの値は適宜変更可能である。

本発明の実施形態において、傾きεのみ不定の値として扱ったが、１軸加速度センサーを用いて、２軸周りの傾きが検知できない場合、比較画像群を２軸周りの傾きに対して作成し、一致検出を行ってもよい。

本発明の実施形態において、文字領域の歪み補正は一般的な補正処理を行ったが、認識対象の一致検出が行いやすい輪郭である場合、傾きεの間隔を細かくすることでカメラ部１０１の決定された撮影角度とオフセット情報は精度が高くなる。その場合に、歪み補正部１２６で、決定された撮影角度とオフセット情報を使用して歪みのある文字領域の歪みを補正し、文字認識部１２７に出力することで補正の効果を向上させることができる。

また、本発明の実施形態において輪郭の検出にキャニー法を用いたが、背面が白である場合などは２値化を行うことでも輪郭を抽出することができる。背景の写り込みが少なく、認識対象の輪郭がはっきりしていれば、画像処理を行わずとも一致検出することができる。

認識対象が面であっても、奥行きを短く設定することで３Ｄモデルとして扱い、本発明の思想を適用できるが、三次元形状の認識対象について好適に用いられる。撮影角度によって外形が変化してしまう場合、側面も外形として認識することにより、角度ごとに輪郭線は多様に変化する。変化の大きい領域を比較することで、輪郭線の比較を行うことにより一致検出効率が高まる。また、背後に壁がある場合や、配置位置が人目につきにくい位置にあり、正面から撮影することが難しい可能性が高い業務用の検針用携帯情報端末において有益に使用することができる。

本発明の実施形態では傾きεの作成間隔は等間隔であるが、３Ｄモデルによっては、三次元形状の外形が大きく変化する角度を設定することによって、検出効率を高めることもできる。

本発明は実施形態に限らず適宜変更を加え応用をすることができる。本発明の実施形態では、鉛直方向に水平に設置してある物体のみを認識対象としたが、認識対象が傾いていたとしても、３Ｄモデルがその傾きに対応して保存されている場合は本発明の思想を応用することができる。

図１３に実施例１における処理のフローチャートを示す。本実施例では、本実施の形態と同様な構成で、図１３の一致検出部１２３で、最一致画像が複数選択された場合や最一致画像が選択されなかった場合の処理を示す。Ｓ１０５からＳ１０９、が本発明の実施形態と異なる処理を行う。Ｓ１０５での処理を一致検出された複数の比較画像と異なる角度にさらに比較画像群を作成し輪郭を比較し一致検出を行うことに変更した実施例である。

（第二の比較画像群を作成する作成工程）
Ｓ１０５で、傾きεの値が８５度と９０度が比較画像として選択された場合、Ｓ１０６において、一致検出部１２３は、比較画像群作成部１２２にエラーを返す。

Ｓ１０７において比較画像群作成部１２２は、８６．５度から８９．５度まで、０．５度ずつ３Ｄモデル回転部１２１により３Ｄモデル保持部１１２に記憶された３Ｄモデルを回転させる。

Ｓ１０８において、回転された３Ｄモデル比較画像群作成部１２２よりに１０枚の第二の比較画像群を再度作成し、Ｓ１０９へ進む。Ｓ１０９において、一致検出部１２３は、最一致画像６０４を決定し、オフセット情報、回転角度を一致検出判定部１２４と文字領域決定部１２５へ出力を行う。以下は本発明の実施形態と同様な処理を行う。

本実施例においても、傾きεの角度作成間隔は任意であり、検知された二つの比較画像の間で、第二の比較画像群を作成する回転角度εの角度作成間隔は任意の角度を設定可能である。

また、最初の比較画像群を作成する工程、つまり第一の比較画像群を作成する作成工程において任意の設定値として間隔を大きくとってしまった場合には、第二の比較画像群が一致検出の精度向上に役立つ。第二の比較画像群を作成するのに使用する回転角度の値として、第一の比較画像群に使用した角度の間をとって第二の比較画像群を作成するなど様々な応用例が考えられる。

本実施例において、二度目の比較画像検知で、傾きεについてより精度を高めた最一致画像６０４を得ることができる。

また最初は、傾きεの間隔を大きくとって比較画像群を作成し、一致検出部１２３が、２つの値について、近似していると判断させ、再度最一致に近い比較画像群を最一致の可能性の高い回転角度εの範囲で作成することで、処理の高速化をはかることができる。

１００ 携帯情報端末
１０１ カメラ部
１０２ 角度取得部
１０４ 制御部
１１０ メモリ部
１１２ ３Ｄモデル保持部
１２０ 画像処理部
１２１ ３Ｄモデル回転部
１２２ 比較画像群作成部
１２３ 一致検出部
２０１ メーター
２０２ 文字領域
６０１ 撮影画像
６０３ 比較画像群
６０４ 最一致画像
８０２ 切り出し後画像
９０１ 文字領域画像
９０２ 補正済み文字領域画像

Claims (13)

1. 予め記憶している３Ｄモデルに対応した認識対象を含む画像をカメラで撮影し撮影画像を得る撮像工程と、
   前記撮像工程における前記カメラの重力に対する傾き角度を取得する角度取得工程と、
   前記３Ｄモデルを前記傾き角度に基づいた回転と鉛直軸周りに対応する回転方向の複数の値へ回転をさせる３Ｄモデル回転工程と、
   回転された前記３Ｄモデルから比較画像群を作成する作成工程と、
   前記撮影画像と前記比較画像群の一致検出を行い、前記撮影画像に写った前記認識対象の前記カメラに対する傾きを決定する一致検出工程と、
   一致検出した前記撮影画像に含まれる前記認識対象の文字領域を文字認識する文字認識工程とを有する画像処理方法。
2. さらに、前記文字領域の歪み補正工程を有することを特徴とした請求項１に記載の画像処理方法。
3. 前記歪み補正工程は、前記認識対象の傾きを利用して、歪み補正を行うことを特徴とする請求項２に記載の画像処理方法。
4. 前記一致検出工程において、前記撮影画像と一致検出を行った回転された前記３Ｄモデルから作成した一致画像に用いられた３Ｄモデルの回転角度を出力し、
   前記３Ｄモデルは、前記文字領域に対応した位置情報を含み、さらに、前記回転角度を利用して前記３Ｄモデルの前記位置情報から前記文字領域を求める文字領域決定工程を有すること
   を特徴とした請求項１から請求項３のいずれか一項に記載の画像処理方法。
5. 前記一致検出工程において、拡大比率を算出し、前記文字領域決定工程で前記回転角度に加えて、前記拡大比率も利用することを特徴とする請求項４に記載の画像処理方法。
6. 認識対象に対応した３Ｄモデルの情報を保持する３Ｄモデル保持部と
   前記認識対象を含む画像を撮影画像として得るカメラ部と、
   前記撮影画像を得た際の前記カメラの重力に対する傾き角度を取得する角度取得部と、
   前記３Ｄモデルを前記傾き角度に基づいた回転と鉛直軸周りに対応する回転方向の複数の値へ回転をさせる３Ｄモデル回転部と、
   回転された前記３Ｄモデルから比較画像群を作成する比較画像群作成部と、
   前記撮影画像と前記比較画像群の一致検出を行い、前記撮影画像に写った前記認識対象の前記カメラに対する傾きを決定する一致検出部と、
   一致検出した前記撮影画像に含まれる前記認識対象の文字領域を文字認識する文字認識部とを有する携帯情報端末。
7. さらに、前記文字領域の歪み補正部を有することを特徴とした請求項６に記載の携帯情報端末。
8. 前記歪み補正部は、前記認識対象の傾きを利用して、歪み補正を行うことを特徴とする請求項７に記載の携帯情報端末。
9. 前記一致検出部において、前記撮影画像と一致検出を行った回転された前記３Ｄモデルから作成した一致画像に用いられた３Ｄモデルの回転角度を出力し、
   前記３Ｄモデルは、前記文字領域に対応した位置情報を含み、さらに、前記回転角度を利用して前記３Ｄモデルの前記位置情報から前記文字領域を求める文字領域決定部を有することを
   特徴とした請求項６から請求項８のいずれか一項に記載の携帯情報端末。
10. 前記一致検出部において、拡大比率を算出し、前記文字領域決定部で前記回転角度に加えて、前記拡大比率も利用することを特徴とする請求項９に記載の携帯情報端末。
11. さらに、前記認識対象は、特定の型番のメーターであり、前記文字認識部の認識結果を計算し印刷出力を行うプリンタ出力部を備えた検針用の請求項６から請求項１０のいずれか一項に記載の携帯情報端末。
12. 携帯情報端末のコンピュータを動作させるプログラムであって、
    予め記憶している３Ｄモデルに対応した認識対象を含む画像をカメラで撮影し撮影画像を得る撮像工程と、
    前記撮像工程における前記カメラの重力に対する傾き角度を取得する角度取得工程と、
    前記３Ｄモデルを前記傾き角度に基づいた回転と鉛直軸周りに対応する回転方向の複数の値へ回転させる３Ｄモデル回転工程と、
    回転された前記３Ｄモデルから比較画像群を作成する比較画像群作成工程と、
    前記撮影画像と前記比較画像群の一致検出を行い、前記撮影画像に写った前記認識対象の前記カメラに対する傾きを決定する一致検出工程と、
    一致検出した前記撮影画像に含まれる前記認識対象の文字領域を文字認識する文字認識工程とを有するプログラム。
13. さらに、第二の比較画像群を作成する作成工程を備え、
    前記一致検出で最一致画像が決定されなかった場合、第二の比較画像群を作成することを特徴とした請求項１２に記載のプログラム。

Images