JP7027043B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

近年、スマートフォンやデジタルカメラ等の普及により、文字情報を含む画像情報が手軽に取得できるようになってきた。これによって、多種多様な観測環境から文字を取り込む市場が開けつつある。例えば、文字が印字された矩形の文字プレートを、スマートフォンやデジタルカメラ等で撮影し、文字認識処理を行うユースケースがある。この場合、カメラの位置及び向きによって文字に回転や歪みが生じるため、紙の文字を認識する場合とは前提条件が大きく異なる。
一方、認識処理を行う前に文字プレートを四角形として切り出すことができれば、文字の回転や歪みを補正することができ、文字認識処理の適用が容易になる。特許文献１では、撮影画像中から複数の線分を抽出し、線分を組み合わせることで四角形を切り出し、歪みを補正する方法が開示されている。

特許第４７１２４８７号公報

しかしながら、文字プレートを含む被写体に線状の傷や汚れがある場合、文字プレート境界以外の線分が多数検出される。そのため、線分の組み合わせの候補が膨大となり、計算量の増加と精度低下とが生じる。
本発明は、計算量の増加を抑え、精度よく文字部分に係る線分のペアを選択することを目的とする。

本発明の情報処理装置は、画像から線分群を検出する検出手段と、前記検出手段により検出された線分群から線分を２本ずつ組み合わせて、複数の線分ペア候補を生成する生成手段と、前記生成手段により生成された前記複数の線分ペア候補の各々について、線分ペア候補を成す２本の線分の間の領域を複数の小領域に分割して、当該分割した小領域ごとに文字らしさに基づく小領域信頼度を求め、当該求めた小領域信頼度に基づき線分ペアに関する信頼度を決定し、当該決定した前記線分ペアに関する信頼度に基づいて前記複数の線分ペア候補の中から線分ペアを選択する選択手段と、前記選択手段で選択された線分ペアの間の領域を分割して求めた前記複数の小領域の前記小領域信頼度の分布に基づいて、前記線分ペアに交わる方向の２本の交線分ペアを決定し、前記選択された線分ペアと前記交線分ペアとに基づいて四角形を生成する四角形生成手段と、を有することを特徴とする。

本発明によれば、計算量の増加を抑え、精度よく文字部分に係る線分のペアを選択することができる。

モバイル端末の外観の一例を示す図である。 モバイル端末のハードウェア構成の一例を示す図である。 モバイル端末のソフトウェア構成の一例を示す図である。 モバイルアプリのＵＩを提供する画面の一例を示す図である。 文字領域検出部の情報処理の一例を示すフローチャートである。 エッジ検出部による処理結果を表す模式図である。 線分検出部の情報処理の一例を示すフローチャートである。 エッジ画像を入力として線分検出部が処理を実行した処理結果を表す模式図である。 線分ペア候補生成部による処理結果を表す模式図である。 線分ペア選択部の情報処理の一例を示すフローチャートである。 線分ペア候補から線分ペア信頼度を算出する処理を説明する図である。 四角形生成部の情報処理の一例を示すフローチャートである。 四角形生成部による処理を説明する図である。 四角形生成部の変更例を説明する図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜第１の実施形態＞
［外観］
本実施形態に係る情報処理装置の一例として、モバイル端末を例に説明する。モバイル端末は、無線通信機能等の装備によって自由な場所で利用できる端末である。
図１は、モバイル端末の外観の一例を示す図である。モバイル端末１００は、各種のユニット（１０１～１０４）を含んで構成される。モバイル端末１００の表側がモバイル端末前面部１０１である。タッチパネル１０２は、出力（表示）と入力との２つの機能を備える。更に、モバイル端末１００の裏側がモバイル端末背面部１０３である。モバイル端末背面部１０３は、画像を取り込むためのカメラ１０４を含む。本実施形態では、モバイル端末１００のユーザは、被写体１０５を後述のモバイルアプリで撮影することで処理を開始することができる。本実施形態における被写体１０５はタイヤである。各タイヤの側面には、シリアルナンバーの刻印される領域（文字プレート領域）が一体成形（もしくは接合）されている。拡大被写体１０６は、拡大された被写体１０５の一部である。文字プレート１０７は、刻印された文字列（シリアルナンバー）を含む領域である。文字プレート１０７の内部には、例えばタイヤを一意に識別するためのシリアルナンバー１０８が刻印される。なお、被写体１０５はタイヤに限らず、例えば金属部品、紙文書、写真、ホワイトボード等の他の種類の被写体であってもよい。また文字プレート１０７や文字の作成方法は、刻印、印刷等、画像から識別可能な方法であれば何れの方法でもよい。後述のモバイルアプリは、被写体１０５の画像を取り込み、タッチパネル１０２に画像を出力することができる。

［ハードウェア構成］
図２は、モバイル端末１００のハードウェア構成の一例を示す図である。モバイル端末１００は、各種のユニット（２０１～２０７）を含んで構成される。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１は、各種のプログラムを実行し、様々な機能を実現するユニットである。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０２は、各種の情報を記憶するユニットである。また、ＲＡＭ２０２は、ＣＰＵ２０１の一時的な作業記憶領域としても利用されるユニットである。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３は、各種のプログラム等を記憶するユニットである。例えば、ＣＰＵ２０１は、ＲＯＭ２０３に記憶されているプログラムをＲＡＭ２０２にロードしてプログラムを実行する。
加えて、ＣＰＵ２０１がフラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）といった外部記憶装置に記憶されているプログラムに基づき処理を実行する。これにより、図３に示されるようなモバイル端末１００を構成するソフトウェア構成及び後述するシーケンスの各ステップの処理が実現される。
モバイル端末１００の機能及び後述するシーケンスに係る処理の全部又は一部については専用のハードウェアを用いて実現してもよい。
Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インターフェイス２０４は、タッチパネル１０２とデータを送受信する。
ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）２０５は、モバイル端末１００をネットワークに接続するためのユニットである。
カメラユニット２０６は、カメラ１０４と接続し被写体１０５の画像をモバイル端末１００に取り込む。上述したユニットは、バス２０７を介してデータの送受信を行うことが可能な構成となっている。カメラユニット２０６は、撮影部の一例である。

［ソフトウェア構成］
次に、モバイル端末１００におけるソフトウェア構成について説明する。図３は、モバイル端末１００のソフトウェア構成の一例を示す図である。モバイル端末１００のＯＳは、データ管理部３０１を有する。
データ管理部３０１は、画像やアプリケーションデータを管理する。ＯＳは、データ管理部３０１を利用するための制御ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を利用することでデータ管理部３０１が管理する画像やアプリケーションデータの取得、保存を行う。
モバイルアプリ（モバイルアプリケーション）３０２は、ＯＳのインストール機能によってインストールされる実行可能なアプリケーションである。モバイルアプリ３０２は、カメラユニット２０６を介して取りこんだ被写体１０５の画像に対して処理を行う。
メイン制御部３０３は、モバイル端末１００用のモバイルアプリ３０２を制御し、後述する各モジュール（３０５～３１３）に対する指示、管理を行う。
情報表示部３０４は、メイン制御部３０３からの指示に従い、モバイルアプリ３０２のＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）をユーザに提供する。モバイルアプリ３０２のＵＩは図４を用いて後述する。

操作情報取得部３０５は、情報表示部３０４により表示されるＵＩへのユーザ操作情報を取得し、ユーザ操作情報をメイン制御部３０３に通知する。例えば、表示・操作領域４０１をユーザが手で触れると、操作情報取得部３０５は、触れられた画面上の位置を感知し、位置の情報をメイン制御部３０３に送信する。
画像処理部３０６は、カメラユニット２０６を介して取り込んだ被写体１０５の画像に対して、グレイスケール変換、切り出し、拡大・縮小等種々の画像処理を行う。
文字領域検出部３０７は、被写体１０５の画像からシリアルナンバー１０８を包含する領域を文字領域として取得する。文字領域検出部３０７は、更に各モジュール（３０９～３１３）を有し、これらによって処理が実行される。文字領域検出部３０７の処理の詳細は、図５を用いて後述する。
文字認識部３０８は、文字領域検出部３０７により得られる文字領域に対して文字認識を適用し、シリアルナンバー１０８の文字コードを取得する。文字認識部３０８は、文字認識の方法として、例えばテンプレートマッチング等の方法を用いる。ここで、認識対象とする文字コードをシリアルナンバー１０８に出現する可能性のある文字コードに限定することで、認識精度を向上できる。またシリアルナンバー１０８が従う所定のフォーマット（例えば先頭文字はＡ、Ｂ、Ｃの何れかである、２文字目は０～９の数字である、等）が既知であれば、更に文字コードを限定してもよい。

エッジ検出部３０９は、被写体１０５の画像に対して、Ｃａｎｎｙのエッジ検出等のエッジ検出処理を行い、輝度勾配の強度が大きい画素をエッジ画素として取得する。各エッジ画素は、（ｘ，ｙ）座標、勾配強度、及び勾配方向を有する。
線分検出部３１０は、エッジ検出部３０９で得たエッジ画素群から、線分群を取得する。線分検出部３１０の処理の詳細は、図７を用いて後述する。
線分ペア候補生成部３１１は、前記線分群から線分を２本ずつ選択し、その組み合わせを線分ペア候補として生成する。線分ペア候補生成部３１１は、線分ペア候補を、線分間距離、線分間角度に対する閾値処理によって生成する。例えば、線分ペア候補生成部３１１は、画像サイズを縦横何れも４８０ピクセルとした場合、線分間距離が５０ピクセル以上２００ピクセル未満、線分間角度が±３０度以内となる２本の線分の組み合わせを線分ペア候補として保持する。各閾値は、撮影画像から文字プレート１０７の領域を表現する線分ペア候補を生成し、かつ、文字プレート１０７以外の領域を表現する線分ペア候補をなるべく生成しない値が設定される。被写体１０５、及び文字プレート１０７の大きさ、形状、カメラユニット２０６の位置、画角等が既知であれば、撮影画像中の文字プレート１０７の形状が制限できるため、それらに基づき閾値が設定される。より具体的に説明すると、ＣＰＵ２０１は、ＮＩＣ２０５を介して、又はＩ／Ｏインターフェイス２０４を介して、ユーザによって設定された閾値を取得し、ＲＡＭ２０２等に保持する。
線分ペア選択部３１２は、線分ペア候補生成部３１１により得た線分ペア候補から、シリアルナンバー１０８を囲う線分ペアを選択する。線分ペア選択部３１２の処理の詳細は、図１０を用いて後述する。
四角形生成部３１３は、線分ペア選択部３１２により得た線分ペアを２辺とする四角形を生成し、保持する。四角形生成部３１３の処理の詳細は、図１２を用いて後述する。

［モバイルアプリＵＩ］
図４は、モバイルアプリ３０２のＵＩを提供する画面の一例を示す図である。モバイル端末画面４００は、モバイル端末１００のタッチパネル１０２に表示される。また、モバイル端末画面４００では、表示・操作領域４０１にカメラ１０４を介して取りこんだ画像が表示され、画像等に対するユーザ操作を表示されたＵＩを介して受け付ける。シャッターボタン４０２は、カメラ１０４を介して取り込みモバイル端末画面４００に表示した画像を、ＲＡＭ２０２やデータ管理部３０１で保存するためのボタンである。以下、シャッターボタン４０２へのユーザ操作によって保存された画像を撮影画像と称する。ズームボタン４０３は、モバイル端末画面４００に表示する画像を拡大・縮小するためのボタンである。文字検出枠４０４は、撮影画像に対して、四角形生成部３１３が処理を実行することで生成される、シリアルナンバー１０８を囲う四角形領域を表す。認識結果表示領域４０５には、文字検出枠４０４に囲われる領域内の画像に対して、文字認識部３０８が文字認識処理した結果が表示される。

［情報処理］
次に、文字領域検出部３０７の情報処理について、図５を用いて説明する。まず、Ｓ５０１において、エッジ検出部３０９は、撮影画像からエッジ画素群を取得する。次に、Ｓ５０２において、線分検出部３１０は、エッジ画素群から線分群を生成する。次に、Ｓ５０３において、線分ペア候補生成部３１１は、線分群から２本ずつの線分を組み合わせて、線分ペア候補群を生成する。次に、Ｓ５０４において、線分ペア選択部３１２は、線分ペア候補群から文字プレート１０７を好適に表現する線分ペアを選択する。最後に、Ｓ５０５において、四角形生成部３１３は、線分ペアに基づき四角形を生成し、出力する。

［エッジ検出］
図６は、エッジ検出部３０９による処理結果を表す模式図である。入力画像６０１に対してエッジ検出部３０９が処理を実行すると、エッジ画像６０２が得られる。図６では、エッジ画素を黒画素（画素値０）、非エッジ画素を白画素（画素値２５５）として図示している。各エッジ画素は、座標、入力画像６０１の座標における輝度勾配強度、及び輝度勾配方向を有し、各エッジ画素の輝度勾配強度は所定の閾値より大きい。
エッジ画像６０２で示すように、文字プレート１０７の左右辺は、画像サイズに対して小さく、更に傷や汚れによって、エッジ画素が不連続となる。そのため、画像全体を入力として左右辺を表す線分を検出することは困難である。

［線分検出］
次に、Ｓ５０２における線分検出部３１０の情報処理について、図７を用いて説明する。
まず、Ｓ７０１において、線分検出部３１０は、Ｓ５０１によって得たエッジ画素群から、輝度勾配方向が所定の範囲に入るエッジ画素を取得し、これを新たなエッジ画素群とする。ここで設定する範囲は、文字プレート１０７の４辺のうち、安定して検出可能な２辺を表すエッジ画素を検出可能な方向とする。本実施形態において、文字プレート１０７は横長（上下辺が左右辺より長い）である。そのため、文字プレート１０７の上下辺は、左右辺と比べて、被写体１０５の傷や汚れ等のノイズに強い。そこで、線分検出部３１０上下辺を検出するために、輝度勾配方向が＋９０度±４５度、又は－９０度±４５度の何れかの範囲に含まれるエッジ画素を取得する。
次に、Ｓ７０２において、線分検出部３１０は、エッジ画素群に対してノイズ除去を行う。まず、線分検出部３１０は、輝度勾配強度が閾値（例えば２０）以下のエッジ画素は、文字プレート１０７の境界である可能性が低いため、ノイズとして削除する。次に、線分検出部３１０は、エッジ画素の連結成分（隣接する画素の集合）を取得し、連結成分のサイズ（外接矩形の幅又は高さの大きい方）が閾値（例えば３０ピクセル）以下となる連結成分に属するエッジ画素を削除する。これにより、被写体１０５の微小な傷や、主に曲線で構成される文字の境界等を削除できる。
次に、Ｓ７０３において、線分検出部３１０は、エッジ画素群に対して線分候補群を取得する。線分候補群の取得は次の手順で行う。まず、線分検出部３１０は、エッジ画素群に対してハフ変換を適用して直線群を取得する。ハフ変換で取得される各直線は両端の座標を持たない。そこで、線分検出部３１０は、各直線の投票に用いられたエッジ画素群の外接矩形と当該取得された直線との交点を取得し、これを線分の両端座標とする。線分検出部３１０は、これを全ての直線について適用し、直線数と同数の線分候補群を取得する。

次に、全ての線分候補について、Ｓ７０４において、線分検出部３１０は、線分信頼度を算出する。線分検出部３１０は、線分信頼度を、［線分長］／［平均誤差］によって定める。［線分長］は、対象の線分の長さである。［平均誤差］は、対象の線分と線分を構成するエッジ画素との距離の平均である。線分を構成するエッジ画素とは、線分の元となった直線の投票に用いられたエッジ画素である。これにより、線分が長く、線分を構成するエッジ画素が同一直線上に並ぶ程に線分信頼度は高くなる。線分信頼度の定義は上記に限らず、例えば輝度分離度により定義してもよい。輝度分離度は、線分の両面の輝度がどれだけ分離しているかを表す指標である。分離度は、以下の数式によって定義される。

数式において領域１は、線分を一辺とする幅ｗの領域とし、領域２は、線分を一辺とする領域１と重ならない幅ｗの領域とする。例えばｗ＝１０とする。
最後に、Ｓ７０５において、線分検出部３１０は、線分候補群から線分を選択し、出力する。線分検出部３１０は、Ｓ７０４で得た線分信頼度が高い方から所定の本数（例えば５本）を選択する。

図８は、エッジ画像６０２を入力として線分検出部３１０が処理を実行した処理結果を表す模式図である。エッジ画像６０２に対して、Ｓ７０１～Ｓ７０２の処理が実行されると、垂直エッジ画像８０１が得られる。垂直エッジ画像８０１は、文字プレート１０７の上下境界を表すエッジ画素を含むエッジ画像となる。垂直エッジ画像８０１に対してＳ７０３の処理が実行され、得られた線分候補群を表したものが線分候補画像８０２である。図８の例では、線分候補８０３ａ～８０３ｉの９本の線分候補が取得されている。Ｓ７０４～Ｓ７０５の処理が実行され、得られた線分候補群の情報を表したものが線分候補情報８０４である。線分候補情報８０４において、線分ＩＤａ～ｉは線分候補８０３ａ～８０３ｉに対応する。Ｓ７０４の処理により、各線分候補の情報として線分長、平均誤差、線分信頼度（線分長／平均誤差）が得られる。表記をわかりやすくするために、線分長を画像幅で除算した値を示している。更にＳ７０５の処理により、線分信頼度が高い上位５本が選択され、残りが削除される。最終的に残った線分を示したものが線分画像８０５である。ここに描画される線分候補８０３ｂ、ｃ、ｅ、ｆ、ｇが、線分検出部３１０の出力となる。

［線分ペア候補生成］
図９は、線分ペア候補生成部３１１による処理結果を表す模式図である。線分重畳画像９０１は、線分ペア候補生成部３１１の入力となる線分群を入力画像６０１に重畳した画像である。ここでは、５本の線分を入力として、線分ペア候補生成部３１１によって５組の線分ペア候補９０２ａ～ｅが生成される。図９では可視化のため、各線分ペア候補の線分と画像の左右端との交点が成す四角形を描画した。これは、後述するＳ１００１により得られる線分ペア領域に相当する。
線分ペア候補９０２ａは、線分候補８０３ｂ、ｅが成すペアである。線分ペア候補９０２ｂは、線分候補８０３ｂ、ｆが成すペアである。線分ペア候補９０２ｃは、線分候補８０３ｃ、ｆが成すペアである。線分ペア候補９０２ｄは、線分候補８０３ｅ、ｇが成すペアである。線分ペア候補９０２ｅは、線分候補８０３ｆ、ｇが成すペアである。

［線分ペア選択］
次に、Ｓ５０４における線分ペア選択部３１２の情報処理について、図１０を用いて説明する。
まず、線分ペア選択部３１２は、Ｓ５０３により得られる線分ペア候補群の各々に対して、Ｓ１００１～Ｓ１００４の処理を適用し、線分ペア信頼度を得る。
Ｓ１００１において、線分ペア選択部３１２は、線分ペア候補の各線分と、入力画像の左右端との４交点を求め、交点を頂点とする四角形を線分ペア領域として取得する。
Ｓ１００２において、線分ペア選択部３１２は、線分ペア領域を小領域に分割する。ここでは、線分ペア領域を横方向に１０分割する。分割方法は問わず、例えば、線分ペア選択部３１２は、縦を２分割、横を１０分割し計２０個の小領域を得てもよい。
更にこれらの小領域に対して、Ｓ１００３において、線分ペア選択部３１２は、小領域信頼度を算出する。小領域信頼度は、小領域の文字らしさを表現する値となるように定義する。本実施形態では、線分ペア選択部３１２は、小領域信頼度を［特徴点数］／［面積］として得る。［特徴点数］は、小領域内から得るコーナー特徴点数であり、［面積］は小領域の面積である。コーナー特徴点は、Ｈａｒｒｉｓオペレータ等を用いる。小領域信頼度の定義は、文字らしさが表現されていれば他の方法で定義してもよい。例えば、線分ペア選択部３１２は、事前に大量の文字画像と非文字画像を学習した学習器を用いて、統計的に小領域の文字らしさを算出してもよい。又は、線分ペア選択部３１２は、被写体上の文字以外の領域が平坦であり、文字と被写体とのコントラストが高い場合には、輝度勾配強度が文字らしさを表す。そこで、線分ペア選択部３１２は、各小領域内の輝度勾配強度平均を小領域信頼度として定義してもよい。

続いて、Ｓ１００４において、線分ペア選択部３１２は、線分ペア信頼度を算出する。線分ペア選択部３１２は、線分ペア信頼度を、［線分信頼度の平均］×［小領域信頼度の合計］として得る。［線分信頼度の平均］は、線分ペア候補を成す２本の線分の線分信頼度の平均である。線分ペア領域の分割数が固定値ではない（例えば入力画像サイズが変動し、小領域サイズが固定等）場合、線分ペア選択部３１２は、小領域信頼度の平均値を線分ペア信頼度として定義してもよい。
最後に、Ｓ１００５において、線分ペア選択部３１２は、線分ペア信頼度に基づき、線分ペア候補群から線分ペアを選択する。より具体的には、線分ペア選択部３１２は、線分ペア信頼度が最大の線分ペアを選択する。又は、線分ペア選択部３１２は、線分ペア信頼度が高い上位Ｎ個（例えばＮ＝５）を選択してもよい。

図１１は、線分ペア候補９０２ｄ、９０２ｅから線分ペア信頼度を算出する処理を説明する図である。
まず、線分ペア候補９０２ｄの線分ペア信頼度算出について説明する。線分ペア選択部３１２は、線分ペア候補９０２ｄから線分ペア領域を取得する。線分ペア選択部３１２が線分ペア領域を更に小領域に分割した結果が小領域群１１０１である。小領域群１１０１は、幅が均等で高さが異なる１０個の小領域から成る。線分ペア選択部３１２が小領域群１１０１から取得したコーナー特徴点をコーナー特徴点群１１０２として示している。コーナー特徴点は文字の近傍から多量に取得できるため、コーナー特徴点の密度を文字らしさとして定義できる。線分ペア候補９０２ｄを成す線分の情報を線分情報１１０３に示している。線分ペア候補９０２ｄを構成する線分ｅ、ｇの線分信頼度は、それぞれ０．１０、０．１３である。更に、小領域情報１１０４に、小領域群１１０１の各小領域を左から順にａ～ｊとして、面積、内包する特徴点数、及び、小領域信頼度（［特徴点数］／［面積］）を示している。各小領域の合計小領域信頼度は５．１となり、線分ペア信頼度は（０．１０＋０．１３）／２×５．１＝０．５９となる。
次に、線分ペア候補９０２ｅの線分ペア信頼度算出について説明する。先と同様に、図１１には、線分ペア候補９０２ｅから得る小領域群１１０５、線分ペア候補９０２ｅを成す線分の線分情報１１０６、小領域群１１０５の小領域情報１１０７が示されている。線分ペア候補９０２ｅを構成する線分ｆ、ｇの線分信頼度は、それぞれ０．２３、０．１４である。小領域群１１０５の合計小領域信頼度は５．８である。これより、線分ペア信頼度は、（０．２３＋０．１４）／２×５．８＝１．０６となる。
線分ペア候補９０２ｄ、９０２ｅの線分ペア信頼度は、それぞれ０．５９、１．０６となり、線分ペア信頼度が大きい線分ペア候補９０２ｅの方が選択される。線分ペア選択部３１２が同様の処理を全ての線分ペア候補に行うことで、文字プレート１０７の上下境界を表す線分ペアを取得できる。

［四角形生成］
Ｓ５０５における四角形生成部３１３の情報処理について、図１２を用いて説明する。図１２における入力は、Ｓ１００５で選択された線分ペアである。
まず、Ｓ１２０１において、四角形生成部３１３は、線分ペアから得る小領域群の各小領域信頼に対して、閾値処理を行う。例えば、四角形生成部３１３は、小領域信頼度が閾値０．５以上の場合はＴｒｕｅとし、閾値未満の場合はＦａｌｓｅとして保持する。
次に、Ｓ１２０２において、四角形生成部３１３は、Ｆａｌｓｅと判定された小領域が隣接して存在する領域の連続数を計測する。四角形生成部３１３は、小領域の分割方向が一方向ではない場合には、隣接する領域の面積を計測してもよい。
次に、Ｓ１２０３において、四角形生成部３１３は、連続数が閾値（例えば１）以下、かつ、画像端に接しないＦａｌｓｅ領域の判定結果を、Ｔｒｕｅに更新する。
次に、Ｓ１２０４において、四角形生成部３１３は、更新後の判定結果がＴｒｕｅである小領域の連続数を計測する。
最後に、Ｓ１２０５において、四角形生成部３１３は、Ｓ１２０４で計測した連続数が最大となる小領域の範囲を取得し、範囲の左右座標を四角形の左右辺となる四角形を出力する。四角形生成部３１３は、ここで出力する四角形を、連続数が最大となる小領域の範囲から所定の割合だけ拡張して出力してもよい。例えば、四角形生成部３１３は、小領域１個分だけ左右に拡張する。これにより、四角形内に十分に文字が含まれずに両端の文字を認識できなくなる可能性を低減できる。

図１３は、四角形生成部３１３による処理を説明する図である。ここでは、入力を小領域群１１０５とする。
小領域群１１０５に対して四角形生成部３１３が処理を実行した結果得られる各小領域の処理結果を小領域判定結果１３０６に示している。各小領域を左からａ～ｊとして、線分ペア選択処理のＳ１００３で得る小領域信頼度を示している。
まず、四角形生成部３１３は、小領域信頼度が閾値０．５より高い小領域をＴｒｕｅ，そうでない小領域をＦａｌｓｅとして保持する。Ｆａｌｓｅと判定されたのは、小領域ａ、ｂ、ｈ、ｊである。
次に、四角形生成部３１３は、Ｆａｌｓｅが連続する小領域の数を計測する。小領域ａ、ｂが連続数２、小領域ｈが連続数１、小領域ｊが連続数１、となる。
次に、四角形生成部３１３は、連続数が閾値１以下、かつ、画像端に接しない領域の判定結果をＴｒｕｅに更新する。ここでは、小領域ｈが、連続数１以下、かつ、画像端に接しないため、小領域ｈの判定結果はＴｒｕｅに更新される。
次に、四角形生成部３１３は、更新結果がＴｒｕｅである小領域の連続数を測る。ここでは、小領域ｃ～ｉの連続数が７であり、これ以外にはＴｒｕｅが連続する領域は存在しない。そこで、四角形生成部３１３は、小領域ｃ～ｉを保持する。
最後に、四角形生成部３１３は、保持された小領域ｃ～ｉを包含する領域を四角形１３０７として取得し、出力する。即ち、四角形生成部３１３は、小領域信頼度の分布に基づき、小領域ｃの左端、小領域ｉの右端のペアを直交線分ペアとして決定し、小領域ｃ～ｉを包含する領域を四角形１３０７として出力する。直交線分ペアは、交線分ペアの一例である。
四角形生成部３１３の他の変更例として、線分ペアと所定の直線（例えば画像端）との交点が成す四角形を出力してもよい。
四角形生成部３１３の他の変更例として、線分ペアに挟まれる領域から、線分ペアに直交する線分を新たに線分検出部３１０により求め、線分に基づき四角形を決定してもよい。

図１４は、四角形生成部３１３の変更例を説明する図である。
まず、線分ペア候補９０２ｅに対して、上下辺を成す線分ペアに直交する方向、即ち、左右辺の候補となる線分を線分検出部３１０により求める。ここではこれを直交線分群１４０１とする。上下辺を成す線分ペアに直交する方向は、上下辺を成す線分ペアに交わる方向の一例である。
次に、四角形生成部３１３は、直交線分群１４０１から、所定の条件を満たす２線分を直交線分ペア候補として保持する。所定の条件とは、例えば、距離が２００ピクセル以上、直交線分の上端と上辺との距離、及び直交線分の下端と下辺との距離が何れも１０ピクセル以下、２線分間の角度が１５度以内、アスペクト比（長辺長／短辺長とする）が４．０以上６．０以下、等である。これらは文字プレート１０７の形状、被写体１０５とカメラとの相対位置等が既知であれば、より精度よく決定できる。ここでは、直交線分１４０１ａ、ｂの２本が直交線分ペア候補となり、その他に直交線分ペア候補が保持される。
続いて、四角形生成部３１３は、複数の直交線分ペア候補から一つの直交線分ペアを選択し、これを左右辺とする四角形１４０２を出力する。四角形生成部３１３は、直交線分ペアを、四角形の面積が最大となるペアを選択する。又は、四角形生成部３１３は、直交線分の長さの平均が最も長いペア、直交線分間距離が最大のペア、直交線分の線分信頼度が最大のペア、等を基準に選択してもよい。又は、四角形生成部３１３は、これらに基づき新たに直交線分ペア信頼度を定め、これが最大となるペアを選択してもよい。

以上、上述した実施形態によれば、被写体の傷や汚れ、また文字プレートの形状等により文字を内包する四角形の４辺全てを検出することが困難であっても、検出が容易な２辺とその内部の文字らしさを考慮することで、精度よく文字プレートが検出できる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。

以上、上述した各実施形態によれば、計算量の増加を抑え、精度よく文字部分に係る線分のペアを選択することができる。

１００ モバイル端末
２０１ ＣＰＵ

Claims (6)

1. 画像から線分群を検出する検出手段と、
   前記検出手段により検出された線分群から線分を２本ずつ組み合わせて、複数の線分ペア候補を生成する生成手段と、
   前記生成手段により生成された前記複数の線分ペア候補の各々について、線分ペア候補を成す２本の線分の間の領域を複数の小領域に分割して、当該分割した小領域ごとに文字らしさに基づく小領域信頼度を求め、当該求めた小領域信頼度に基づき線分ペアに関する信頼度を決定し、当該決定した前記線分ペアに関する信頼度に基づいて前記複数の線分ペア候補の中から線分ペアを選択する選択手段と、
   前記選択手段で選択された線分ペアの間の領域を分割して求めた前記複数の小領域の前記小領域信頼度の分布に基づいて、前記線分ペアに交わる方向の２本の交線分ペアを決定し、前記選択された線分ペアと前記交線分ペアとに基づいて四角形を生成する四角形生成手段と、
   を有することを特徴とする情報処理装置。
2. 前記線分ペアに関する信頼度は、前記小領域信頼度と、当該線分ペア候補を成す２本の線分の線分信頼度とに基づいて決定される、ことを特徴とする請求項１記載の情報処理装置。
3. 前記四角形生成手段により生成された前記四角形に内包される領域を文字領域として文字認識を行う文字認識手段を更に有する、ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記情報処理装置は、撮影部を有するモバイル端末であって、
   前記検出手段は、前記撮影部で撮影された画像から線分群を検出する、ことを特徴とする請求項１乃至３の何れか１項記載の情報処理装置。
5. 情報処理装置が実行する情報処理方法であって、
   画像から線分群を検出する検出工程と、
   前記検出工程により検出された線分群から線分を２本ずつ組み合わせて、複数の線分ペア候補を生成する生成工程と、
   前記生成工程により生成された前記複数の線分ペア候補の各々について、線分ペア候補を成す２本の線分の間の領域を複数の小領域に分割して、当該分割した小領域ごとに文字らしさに基づく小領域信頼度を求め、当該求めた小領域信頼度に基づき線分ペアに関する信頼度を決定し、当該決定した前記線分ペアに関する信頼度に基づいて前記複数の線分ペア候補の中から線分ペアを選択する選択工程と、
   前記選択工程で選択された線分ペアの間の領域を分割して求めた前記複数の小領域の前記小領域信頼度の分布に基づいて、前記線分ペアに交わる方向の２本の交線分ペアを決定し、前記選択された線分ペアと前記交線分ペアとに基づいて四角形を生成する四角形生成工程と、を含むことを特徴とする情報処理方法。
6. コンピュータを、請求項１乃至４の何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。

Images