JP4443194B2 - 携帯端末の文字認識における処理対象選択方法および携帯端末 - Google Patents

Description

本発明は携帯情報端末における光学式文字認識を行う際の処理対象選択方法に関するものである。

カメラ等の画像入力機能を搭載した携帯情報端末において、撮影した画像に対して光学式文字認識を実施する技術が開発されている。しかし、携帯情報端末のカメラで撮影された画像は手ブレなどの要因により画面に対して文字列が傾いて撮影される場合が多い。そこで、文字認識結果が誤っている（誤読）場合には再度使用者に撮影時の角度を調整しながら撮影させるか、認識結果をキーボード等の入力装置で修正している。

認識処理に先立って認識対象文字列の傾きを補正する技術としては、認識対象文字列の記入された用紙にあらかじめ記載済みの２つ以上の目印を検出し、これから得られた傾きに応じて、自動的に回転を行った後認識する試みが特許文献１に開示されている。

また、携帯情報端末において、英単語を認識して英和辞書を引くといった文字認識と辞書検索を結合した使い方が非特許文献１に開示されている。

特開平１１−２５０１７９号公報（４〜７項、第３図）

H. Fujisawa, H. Sako, Y. Okada, and S-W. Lee, "Information Capturing Camera and Developmental Issues," In Proc. Int. Conf. Document Analysis and Recognition, ICDAR'99, Bangalore, India, Sep. 20-22, 1999, pp. 205-208.

文字認識処理を精度良く実施する為には、画像内で認識対象の文字列が傾斜していないことが重要である。ところが、デジタルカメラやカメラ付き携帯端末等の情報端末装置にて撮影したデジタル画像の場合、当該情報端末装置を手で保持する場合が多く、認識対象の文字列が画像内で傾かないようにするためには撮影時に特段の注意が必要である（第一の課題）。

カメラ機能付き携帯端末にて撮影された画像に対する光学式文字認識機能において文字列が傾いて撮影された場合、従来技術では文字認識が不可能、或いは十分な認識精度が出ないという問題がある。そのため、正しい文字認識結果を得るためには、再度認識対象の文字を撮影しなければならないという課題がある。

特許文献１には用紙に記載されている2つ以上の目印によって傾きを検出する旨が記載されているが、この技術は認識対象の用紙にあらかじめ目印を印字もしくは記入しておく必要があり、名刺などを認識する場合には実用的ではない。
また、過去に撮影済の画像に対して文字認識処理を実施する場合は、上記の特段の注意を払って撮影されていない限り、認識対象文字列が画像内で傾斜している場合がある。この場合は文字認識処理を実施する前に画像処理ソフトウェア等を用いて画像の角度補正をする必要がある（第二の課題）。
更に、文字の記述方向が縦書きと横書きの２通りがある場合、画像の角度を調整して認識対象文字列を抽出したとしても、文字認識にあたっては認識対象文字列が縦書きなのか横書きなのかを設定する必要がある。名刺等の画像を取得して文字認識処理を実施する場合、縦書きと横書きのフォーマットが存在するため、その都度認識モードを設定しなおさなければいけないと問題がある。また新聞、雑誌等、縦書き文字列と横書き文字列が混在している文書においても文字の記述方向切り替えの負担は大きい（第三の課題）。
カメラ付携帯情報端末等の装置を利用する場合、乗り物での移動中など、画像の安定した位置で撮影しにくい環境下での利用が十分考えられる。しかし、従来技術では認識対象文字列が画像に対して傾斜が小さく抑えられた状態で選択されなければ文字認識精度が十分得られなかった。その為、使用者は認識対象画像を撮影する際に角度を調整する為に特段の注意が必要であった（第四の課題）。
加えて、カメラ付き携帯情報端末において文字認識した結果を用いて辞書検索やインターネットの検索を行おうとした場合、英単語の場合は空白により単語単位に分かれているので検索対象の単語を選択するのは容易である。しかし、同様な処理を日本語に適用しようとすると、英単語の場合と異なり、単語間の空白といったレイアウト情報による区切りが存在しないので、使用者は検索対象の文字列を１文字ずつ選択する必要があり、指定の負担が大きかった（第五の課題）。

本発明はこれらの課題を鑑みて、カメラ機能付き携帯情報端末にて文字認識対象物を撮影する際の撮影者負担を軽減する、又は撮影後の画像を文字認識に好適な角度に補正する際の負担を軽減するシステムまたは方法を提供することを目的とする。

更に、日本語を文字認識して辞書やインターネットの検索をする場合でも、検索対象の文字列指定する使用者の負担を軽減するシステム、または方法を提供することを目的とする。

上記第一の課題を解決するため、認識対象文字列の画像内での傾きの程度をリアルタイムで撮影者に呈示する角度インジケータを情報端末装置の画面上に表示する。使用者は角度インジケータに表示される情報を見つつ情報端末装置または認識対象物を動かし、適切な位置で撮影することにより文字認識処理に好適な画像を撮影することができる。

上記第二の課題を解決するために、撮影済みの画像を回転すると同時に認識対象となりうる文字列の行抽出をリアルタイムで実施する機能を提供する。使用者は簡単なキー操作等によって撮影済み画像を情報端末装置の画面上で回転させ、リアルタイムで行抽出される認識対象文字列候補を確認する。所望の認識対象文字列が抽出された時点で使用者は回転処理を停止、複数の行が抽出されている場合は認識したい文字列を選択して認識処理を実行することにより、過去に撮影済の画像に対する文字認識処理の簡便化を図る。

上記第三の課題を解決するために、該認識対象文字列が縦書きか横書きかを自動的に判定する機能を提供する。該認識対象文字列方向の自動判定には抽出された認識対象文字列の外接矩形のアスペクト比を用いる。具体的には認識対象文字列の外接矩形の高さと幅の比率が規定値と比較して縦書き文字列なのか横書き文字列なのかを判断して認識処理を実施する。使用する携帯端末装置の画面の向きが可変の場合には、画面の方向に応じて縦書き・横書きの切り替えを自動的に実施してもよい。

上記第四の課題を解決するために、認識対象文字列の傾斜角度に追従して自動的に認識対象文字列を選択するための外接矩形を生成する手段を提供する。具体的には、認識対象文字列の傾斜角度を例えば特開平７−１４１４６５「文書画像の傾き検出方法」の方法を用いて計測し、認識対象文字列が横書きの場合は画像に対して水平位置に、縦書きの場合は画像に対して垂直位置になるように回転した画像を作成する。その後認識対象文字列の外接矩形を生成し、該回転後画像に追加した回転外接矩形画像を作成する。続いて該回転外接矩形画像を回転して基の文字列の傾斜角度に戻し、情報端末装置の表示装置に表示する。

上記第五の課題を解決するために、日本語を文字認識した結果に対して形態素解析を行い、検索対象の文字列候補を自動的に生成し、使用者はそれらの個々の候補を選択、あるいは、それらの文字列候補の組み合わせを選択する手段を提供する。

認識対象の画像の傾き具合を視覚的に分かりやすく表示することで、使用者に画像が傾いていることを認知させ、文字認識処理に好適な角度で画像を撮影することが容易になる。

また、過去に撮影された画像に関しては、傾いている画像を直接編集してその結果に対して文字認識処理を実施できるため、再度撮影を行わなくてすむようになる。

また、角度補正が困難な場合にも、傾斜した状態で文字列の選択が可能となるため、有る程度傾斜した画像に対しても文字認識処理が実行できる。

図１〜２０を用いて本発明に好適な一実施形態を説明する。本発明の文字認識方式は名刺等を読み取って認識する携帯情報システム等に適用でき、例えば携帯電話での文字認識機能に適用できる。

図１は、本発明を適用した携帯情報端末のブロック図の一例である。本例では、携帯情報端末本体１００、認識対象となる名刺等を光学的に入力するカメラやスキャナなどの画像入力装置１１０、認識対象の画像や文字認識結果、カーソル１２１等を表示するＣＲＴや液晶などの表示装置１２０、使用者が操作できるボタン１３１等を配置した入力装置１３０、携帯情報端末全体の制御を行うため、端末本体１００内に搭載された制御部１４０および文字行抽出１５１、文字認識処理１５２等を行う文字認識部１５０、文字行傾きの定量化機能１６１および画像回転処理機能１６２をもつ画像処理部１６０を有する。

文字認識部１５０と画像処理部１６０はソフトウェアの機能であってよく、制御部１４０と同じ回路上で動作して差し支えない。入力装置はボタン等の一般的なデバイスで問題ないが、操作性の向上のために表示装置１２０と入力装置１３０はタッチパネル等の表示装置兼入力装置として実現することもできる。

図２は、第一の課題を解決するための手段を適用した文字認識処理を実施する場合のフローチャートの一例である(第一の実施形態)。使用者がＯＣＲ機能を開始すると、画像入力装置１１０から入力される動画像が表示装置１２０表示される（Ｓ２０１）。文字認識部１５０はただちに画像表示装置１２０に表示される十字型等のカーソル１２１のある領域に対して文字行抽出処理を実行し（Ｓ２０２）、抽出された文字行を取り囲む外接矩形を表示する（Ｓ２０３）。

同時に画像処理部１６０により文字行の傾きを定量化し、その定量化された値を棒グラフ等の形で角度インジケータ１２３に可視化する（Ｓ２０４）。定量化した値は文字行と画像の傾きの程度を反映していれば何でもよいが、例えば文字行と画像端辺の作る角度θの逆数に比例する値を採用すれば、傾きが小さい時に角度インジケータ１２３に大きな値が示され、使用者は直感的に操作できる。

使用者が撮影ボタンを押下（Ｓ２０５）するまではステップ（Ｓ２０１）に処理は戻り、以降（Ｓ２０１〜Ｓ２０４）の処理を繰り返して画面表示を更新し続ける。

角度インジケータ１２３を参考に使用者が端末装置または認識対象物を動かして、適切な撮影位置で撮影ボタンを押下(Ｓ２０５)したら画像撮影（Ｓ２０６）を実行する。引き続き認識ボタンの押下（Ｓ２０７）があればステップ（Ｓ２０３）で表示された外接矩形内の文字列に対して文字認識処理２１０を実行し認識結果を表示する（Ｓ２１１）。

撮影ボタンを押下(Ｓ２０５)した後にキャンセルボタンが押下された場合（Ｓ２０８）は撮影した画像を破棄してステップ（Ｓ２０１）へ戻る。それ以外のボタンが押下された場合はそれぞれ必要な動作に移行する（Ｓ２０９）。

図３は、第二の課題を解決するための手段を適用した文字認識処理を実施する場合のフローチャートの一例である(第二の実施形態)。携帯情報端末の使用者が以前撮影された静止画像をロード（Ｓ３０１）する操作を行うと、該静止画像が表示装置１２０に表示される（Ｓ３０２）。文字認識部１５０はただちに文字行抽出（Ｓ３０３）、外接矩形表示（Ｓ３０４）および角度インジケータ表示（Ｓ３０５）を行う。この時点で処理は使用者のキー入力待ち（Ｓ３０６）に移行する。

使用者が認識実行ボタンを押下（Ｓ３０７）した場合はただちにステップ（Ｓ３０４）で表示されている外接矩形の内部の文字列に対して文字認識処理を実行（Ｓ３１０）し、文字認識結果を表示する（Ｓ３１１）。使用者が矢印ボタンを押下（Ｓ３０８）した場合は、押下されたボタンによって右または左方向に一定角度画像を回転する（Ｓ３０９）。このとき、回転の中心は文字行矩形の中心とするが、使用者によって指定する画像上の一点を中心に回転処理を行っても良い。

矢印ボタンを押下し続けた場合は画像は連続して回転するものとし、それに従って外接矩形表示もリアルタイムに更新される。使用者の使い勝手を考慮して認識実行ボタン押下の操作を矢印ボタン押下をやめる（ボタンから指を離す）動作で代行させてもよい。

図４は第一の実施形態および第二の実施形態で表示部１２０に表示される画像の一例である。第一の実施形態では画像入力装置１１０から入力された動画が、第二の実施形態は以前に撮影された静止画が画像４００として表示部１２０に表示される。

画像４００内の認識対象文字列４０１はこの時点では傾いている。画面の中央には回転中心となる十字カーソル４０２が表示されている。文字認識部１５０は認識対象文字列４０１を取り囲む外接矩形４０３を生成、画面上に表示する。角度インジケータには傾いた認識対象文字列４０１の傾き程度を表す棒グラフが表示される（４０４）。

第一の実施形態では手で保持している携帯情報端末（カメラ）を回転（４０６）することにより、また、第二の実施形態では矢印キーを操作する（４０５）ことにより画面上に表示される画像を回転する。画像の回転に従って認識対象文字列４０１の傾きが小さくなるにつれ、外接矩形も同期して形状が変化する（４０７）。

さらに、角度インジケータには認識対象文字列４０１の傾きが小さくなったことを示す大きな値が棒グラフとして表示される（４０８）。利用者は画像の回転操作を繰り返して角度インジケータの示す値が大きくなる位置で文字認識処理を実行することにより、精度の高い文字認識結果を得ることが可能となる。

図５は、第三の課題を解決するための手段を適用した文字認識処理を実施する場合のフローチャートの一例である(第三の実施形態)。ステップ（Ｓ５０１〜Ｓ５０６）はステップ（Ｓ２０１〜Ｓ２０９）と同様なので説明は省略する。

認識ボタン押下（Ｓ５０４）された時点で、認識対象文字列の外接矩形のアスペクト比（高さと幅の比率）を計算し、あらかじめ規定した値αと比較する（Ｓ５０７）。もしアスペクト比が規定値αよりも大きければ縦書き文字列と判断、縦書き文字列認識用のパラメータ設定等を実施（Ｓ５１０）して文字認識処理を実施（Ｓ５１１）、結果を表示する（Ｓ５１２）。

同様に、もしアスペクト比が規定値αよりも大きくなければ引き続いてアスペクト比を規定値βと比較する（Ｓ５０８）。もしアスペクト比が規定値βよりも小さければ横書き文字列と判断、横書き文字列認識用のパラメータ設定等を実施（Ｓ５０９）して文字認識処理を実施（Ｓ５１１）、結果を表示する（Ｓ５１２）。アスペクト比がα以下かつβ以上の範囲であれば文字列は十分角度補正されていないとして認識処理に移行しない。

図６は第三の実施形態で表示部１２０に表示される画像の一例である。横書きの文字列６０１の場合は、外接矩形の高さ６０２が幅６０３に対して小さくなる。アスペクト比を外接矩形の高さ／外接矩形の幅と定義すると、アスペクト比が１より小さい場合は外接矩形は横長となる。

例えば、アスペクト比と比較する規定値βを０．５と設定した場合、アスペクト比が０．５を下回った状態で文字認識を起動すれば横書き文字列として必要な設定を自動的に実施する。同様に縦書き文字列６０４の場合は、外接矩形の高さ６０５が幅６０６に対して大きくなる。

上記と同様のアスペクト比の定義であれば、アスペクト比が１より大きい場合は外接矩形は縦長となる。例えば、アスペクト比と比較する規定値αを１．５と設定した場合、アスペクト比が１．５を上回った状態で文字認識を起動すれば縦書き文字列として必要な設定を自動的に実施する。

図７は、第四の課題を解決するための手段を適用した文字認識処理を実施する場合のフローチャートの１例である（第四の実施例）。

画像入力装置１１０から文字認識対象画像が入力（Ｓ７０１）されると、画像処理部１６０はただちに認識対象文字列の画像に対する角度を計算し（Ｓ７０２）、入力された文字認識対象画像を当該角度分回転補正する。補正方向は、横書き文字列であれば画面に対して水平方向に、縦書き文字列であれば画面に対して垂直方向それぞれなるように回転する。

次に、該回転後画像に対して文字列抽出を実施し、該回転後画像に外接矩形を付加し（Ｓ７０４）、この画像を画像バッファに保存する。画像バッファに保存する画像は画像全体でもよいし、付加した外接矩形内部のみでもよい。

続いて該回転後画像をステップ（Ｓ７０２）で検出した角度分だけ逆回転して元の入力画像と同じだけ傾いた画像を作成し、端末装置の表示部１２０に表示する。使用者が特に操作しなければ、ステップ（Ｓ７０１）に戻り、新しい入力画像に対しステップ（Ｓ７０１〜Ｓ７０７）の処理を繰り返す。

もし認識ボタンが押下されれば、このステップ（Ｓ７０５）で画像バッファに格納された画像を読み出し（Ｓ７１０）、その画像に対して文字認識処理を実行（Ｓ７１１）、文字認識結果を表示する（Ｓ７１２）。

図８は第四の実施形態で処理される画像の状態の一例である。画像入力装置１１０から入力された認識対象画像８０１上の認識対象文字列８０２は画面に対して傾斜した状態である。画像処理部１６０はこの認識対象文字列８０２が画面の縁となす角度８０３を検出し、角度８０３だけ画像を回転、認識対象文字列が画面に対して水平になるように補正し、回転補正画像８０４を作成する。

回転補正画像８０４上の認識対象文字列８０６に対し、文字認識部１５０は文字行抽出を実施し、外接矩形８０６を付加する。画像処理部１６０はこの回転補正画像８０４を角度８０３だけ逆回転してもとの認識対象画像８０１と同様の角度まで戻した画像８０７を生成し、表示装置１２０に表示する。

以上の第一から第四の実施形態はそれぞれ別個に実現してもよいし、すべてまたは一部を選択的に採用する形で実現してもよい。

次に、第５の課題を解決するための第５の実施形態について図９から図１２を用いて説明する。図９は、第５の実施形態を適用した携帯情報端末のブロック図の一例である。図１との差異は検索語抽出部１７０、電子辞書１７１が追加されたことである。

図１０は、第５の課題を解決するための手段を適用した文字認識、辞書検索処理を図９の装置において実施する場合のフローチャートの一例である。画像入力装置１１０から文字認識対象画像が入力（Ｓ１００１）されると、画像処理部１６０は適当な画像処理を元画像に対して施した後、文字認識部１５０の文字行抽出部１５１にて文字行が抽出される（Ｓ１００２）。その後、抽出された文字行に対して文字行認識部１５２は１文字毎に文字を切出して認識した結果を出力する（Ｓ１００３）。認識結果には１文字ごとの文字コードとそれに対応する矩形座標が含まれる。

文字認識した結果は検索語候補抽出部１７０に入力され、形態素解析により連続した文字列を単語等の形態素に分解する（Ｓ１００４）。例えば、図９の携帯情報端末のディスプレイに表示されたような「文法の知識を使うと」という文字列の場合、図１１に示すようなテーブル１１００が生成される。形態素解析により分解された文字列とそれに対応する矩形座標が格納される。

テーブル１１００のデータを用いて、携帯情報端末のディスプレイに検索対象の候補語を表示する（Ｓ１００５）。例えば、カーソルの中心座標とテーブル１１００の候補語矩形座標を比較し、カーソルの中心座標が含まれる候補語の矩形座標を図１２の１２００に示すような形でディスプレイに表示する。

次にカーソル移動キー１７４、あるいは、１７６を押下することで検索対象語の矩形表示を１２０１のように移動させ、検索したい矩形が表示された時に選択ボタン１７５を押下して検索対象語が決定される（Ｓ１００６）。決定された検索対象語は電子辞書部１７１に対して出力される。電子辞書部１７１では、入力された検索対象語をキーとして電子辞書を検索し（Ｓ１００７）、検索結果をディスプレイに表示する（Ｓ１００８）。

本実施例では形態素解析を用いて検索対象の候補語を生成したが、認識結果の文字列中で「漢字」から「ひらがな」に変化するなど、文字のカテゴリが変わるところで区切って候補語を生成する方法でも良い。あるいは、文字カテゴリと空白や文字サイズの変化する場所など、幾何学的な情報と合わせて判断してもよい。

次に、第５の課題を解決するための第６の実施形態について図９、図１０、および、図１３から図１５を用いて説明する。本実施例では「・・・の文法知識を使う・・・」というように、複数の形態素から構成される漢字列がある場合を取り上げ、「文法知識」の文字列のいずれかにカーソルが合わせられていると仮定する。

使用者は「文法」、あるいは、「知識」のように形態素のみを検索対象としたい場合と、「文法知識」といった複合語全体を検索したい場合が存在するので、これらの選択の負担を軽減する処理を以下で説明する。第６の実施形態において、図１０の処理フローで異なる部分は候補語抽出（Ｓ１００４）と候補語表示（Ｓ１００５）、候補語選択（Ｓ１００６）であるので、その処理についてのみ説明する。

候補語抽出（Ｓ１００４）では、第５の実施例に示したのと同様な処理により形態素解析により候補語を生成し、それに対応する図１３に示すような矩形座標テーブル１３００を生成する。次に、テーブル１３００から「文法」「文法知識」「知識」のそれぞれを選択するための領域座標テーブル１４００を生成する。このテーブルは、カーソル中心座標が該当領域に入っていればそれに対応する候補語の矩形を表示するためのテーブルである。

本テーブルの矩形座標のＸ座標を模式的に表したのが図１５である。「文法」「文法知識」「知識」のそれぞれに対応する選択領域は１５００、１５０１、１５０２であり、カーソルの中心座標がいずれの領域に含まれるかにより検索候補語として表示する矩形座標をテーブル１４００から選択する。そして選択された矩形座標をディスプレイに表示する（Ｓ１００５）。

表示された矩形の例を図１６に示す。(a)はカーソルが「知識」の選択領域にある場合の表示例、(b)は「文法知識」、(c)は「文法」それぞれカーソルが選択領域にある場合の表示例である。使用者は検索したい候補語の矩形が表示されていれば選択キー１７５を押下して検索対象語を選択する（Ｓ１００６）。本実施例は１文字行内の文字列選択について説明したが、上限の文字行に対する領域座標テーブルを合わせて持つことにより、複数の文字行に渡る選択が可能になる。

次に、第５の課題を解決するための第７の実施形態について図９、図１０、図１３、図１７、図１８を用いて説明する。第６の実施形態と同様に「・・・の文法知識を使う・・・」というように、複数の形態素から構成される漢字列がある場合を取り上げ、カーソルは「文法」の部分に位置している場合を想定する。また、第６の実施形態と同様に候補語抽出（Ｓ１００４）と候補語表示（Ｓ１００５）、候補語選択（Ｓ１００６）のみを説明する。

候補語抽出（Ｓ１００４）では、第５の実施例に示したのと同様な処理により形態素解析により候補語を生成し、それに対応する図１３に示すような矩形座標テーブル１３００を生成する。テーブル１３００から形態素とその複合語それぞれに対応する矩形座標テーブル１７００（図１７）を生成する。テーブルは左上点座標でソートされていると仮定する。

候補語表示（Ｓ１００５）では、図１８に示すようにカーソルの中心座標がその矩形領域に含まれる形態素の矩形（１８００）を最初に表示する。次にカーソルキー１７６を押下する度にソートされたテーブル１７００の矩形が表示されていく。使用者は検索したい矩形が表示された時点で選択キー１７５を押下して電子辞書を検索することができる（Ｓ１００６）。

次に、第５の課題を解決するための第８の実施形態について図９、図１０、図１３、図１９を用いて説明する。第６の実施形態と同様に「・・・の文法知識を使う・・・」というように、複数の形態素から構成される漢字列がある場合を取り上げ、カーソルは「文法」の部分に位置している場合を想定する。また、第６の実施形態と同様に候補語抽出（Ｓ１００４）と候補語表示（Ｓ１００５）、候補語選択（Ｓ１００６）のみを説明する。

候補語抽出１００４では、第５の実施例に示したのと同様な処理により形態素解析により候補語を生成し、それに対応する図１３に示すような矩形座標テーブル１３００を生成する。そして、カーソルの中心座標が含まれる候補語矩形を図１９の１９００のような形で表示する（１００５）。

ここで「文法知識」のように複合語を選択したい場合は、選択範囲の始点を指定する意味を与えた「１」のキーを押下した後、カーソル移動キー１７６を押下して１９０１のような矩形が表示される。さらにカーソル移動キー１７６を押下すれば１９０２のように選択領域が拡大される。使用者がカーソルキーで適当な検索対象語の矩形が表示された時点で選択キー１７５を押下して検索対象語を選択する（Ｓ１００６）。

次に、第５の課題を解決するための第９の実施形態について図９、図１０、図２０、図２１を用いて説明する。「・・・の文法知識処理を・・・」というように、３つ以上の形態素から構成される漢字列がある場合を取り上げ、カーソルは「知識」の部分に位置している場合を想定する。

３つ以上の形態素から構成される漢字列の場合、通常、使用者は漢字列全体を検索対象としたいか、あるいは、カーソル中心座標が含まれている形態素のみを検索したいかのいずれかの頻度が高いと思われる。そこで、これらの選択の負担を軽減する処理を以下で説明する。また、第６の実施形態と同様に候補語抽出（Ｓ１００４）と候補語表示（Ｓ１００５）、候補語選択（Ｓ１００６）のみを説明する。

候補語抽出（Ｓ１００４）では、第５の実施例に示したのと同様な処理により形態素解析により候補語を生成すると共に候補語に対応する文字種カテゴリをと矩形座標を格納した図２０に示すようなテーブル２０００を生成する。ここで言う文字種カテゴリとは候補語が「漢字」に属していれば「漢字」、「ひらがな」に属していれば「ひらがな」と言った具合に、文字種のカテゴリ毎の分類結果を意味する。そして、カーソルの中心座標が含まれる候補語（形態素）と同じ文字種カテゴリを持つ候補語の矩形を統合し図２１の２１００のような形で表示する（Ｓ１００５）。

ここで漢字列全体ではなく「知識」という候補語のみを選択したい場合は、選択のモードを切り替える意味を与えた「＃」のキーを押下して２１０１のような矩形を表示する。さらに、「知識処理」という文字列を選択したい場合は、選択範囲の始点を指定する意味を与えた「１」のキーを押下した後、カーソル移動キー１７６を押下して２１０２のような矩形が表示される。使用者がこのようなキー操作で適当な検索対象語の矩形が表示された時点で選択キー１７５を押下して検索対象語を選択する（Ｓ１００６）。

上記実施例では文字種のカテゴリとして「漢字」「ひらがな」のみを挙げたが、他にも「カタカナ」「英字」「数字」「記号」「外国語」など、文字種を分類する任意のカテゴリが適用される。加えて、文字種のカテゴリの代わりにその形態素が属する品詞を用いてもよい。

また、上記実施例では選択範囲の始点を指定したり、選択のモードを切り替えるために、それぞれ「１」、「＃」を押下したが、同様な意味を割り当てたキーであれば任意のキーを割り当ててよい。

さらに、本実施例では十字印のカーソルの中心座標を選択情報として用いたが、同様な効果を与える方法であれば他の情報でも良い。例えば、両括弧をディスプレイに表示してその括弧の中心座標あるいは、両括弧の矩形座標を用いても良い。さらに、日本語の選択では横書きについて説明したが、同様に縦書きについても適用可能である。

また、上記実施例はそれぞれ別個に実現してもよいし、すべてまたは一部を選択的に採用する形で実現してもよい。

本発明の実施例における携帯情報端末のブロック図である。 本発明の実施例におけるフロー図である。 本発明の実施例におけるフロー図である。 本発明の実施例における角度補正の説明図である。 本発明の実施例におけるフロー図である。 本発明の実施例における画面を示すである。 本発明の実施例におけるフロー図である。 本発明の実施例における文字列外接矩形生成方式の説明図である。 本発明の実施例における携帯情報端末のブロック図である。 本発明の実施例におけるフロー図である。 本発明の実施例における矩形座標テーブルの説明図である。 本発明の実施例における検索候補語の選択方式説明図である。 本発明の実施例における矩形座標テーブルの説明図である。 本発明の実施例における選択領域テーブルの説明図である。 本発明の実施例における矩形座標の説明図である。 本発明の実施例を説明する図である。 本発明の実施例における矩形座標テーブルの説明図である。 本発明の実施例を説明する図である。 本発明の実施例を説明する図である。 本発明の実施例における矩形座標テーブルの説明図である。 本発明の実施例を説明する図である。

符号の説明

１００・・・携帯情報端末装置、１１０・・・画像入力部、１２０・・・表示部、１３０・・・操作部、１４０・・・制御部、１５０・・・文字認識部、１６０・・・画像処理部

Claims (6)

1. 画像を撮影する画像撮影部と、
   画像内から文字認識対象文字行を抽出する文字行抽出部と、
   画像内の文字を認識する文字認識部と、
   文字行の傾きを定量化する画像処理部と、
   認識対象となる画像を表示するための画像表示部とを備え、
   OCR機能を開始すると前記画像撮影部から入力される画像を前記画像表示部へ表示し、
   撮影指示が入力されると前記表示された画像を撮影し、文字認識指示が入力されると前記撮影された画像に対して文字認識を行う携帯情報端末であって、
   前記画像撮影部から入力される画像を前記画像表示部へ表示する際に、前記画像処理部によって定量化された文字行の傾きを、リアルタイムに棒グラフの長さとして表示する角度インジケータに可視化することを特徴とする携帯端末。
2. 請求項１に記載の携帯端末であって、
   前記抽出された文字行の外接矩形のアスペクト比により、横書きもしくは縦書きの何れ
   かを自動的に判断し、認識モードを切り替えることを特徴とする携帯端末。
3. 請求項１に記載の携帯端末であって、
   画像撮影時の携帯情報端末の表示画面の方向に従って、横書きもしくは縦書きの何れか
   を自動的に判断し、認識モードを切り替えることを特徴とする携帯端末。
4. 撮影した画像から抽出した文字認識対象文字行の文字を認識する携帯端末における文字認識方法であって、
   OCR機能を開始すると、画像撮影部によって画像を入力するステップと、
   前記入力された画像を表示するステップと、
   前記表示された画像から文字認識対象文字行を抽出するステップと、
   前記抽出された文字行の傾きを定量化するステップと、
   前記定量化された値を棒グラフの長さとしてリアルタイムに示す角度インジケータを表示するステップと、
   前記表示された画像を前記画像撮影部によって撮影するステップと、
   前記撮影した画像に対して文字認識指令を入力するステップと、
   前記撮影した画像に対して文字認識を行うステップと、から成る事を特徴とする携帯端末における文字認識方法。
5. 請求項４に記載の携帯端末における文字認識方法であって、前記文字認識を行うステッ
   プは、
   抽出された文字行の外接矩形のアスペクト比により横書きおよび縦書きのいずれかを自
   動的に判定するステップと、
   前記判定結果に基いて認識モードを切り替えるステップと
   をさらに含むことを特徴とする携帯端末における文字認識方法。
6. 請求項４に記載の携帯端末における文字認識方法であって、前記文字認識を行うステッ
   プは、
   画像撮影時の携帯情報端末の表示画面の向きに従って、横書きおよび縦書きのいずれか
   を自動的に判定するステップと、
   前記判定結果に基いて認識モードを切り替えるステップと
   をさらに含むことを特徴とする携帯端末における文字認識方法。

Images