JP5383022B2

JP5383022B2 - 画像検出装置及び方法

Info

Publication number: JP5383022B2
Application number: JP2007249173A
Authority: JP
Inventors: 真一鷲田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-09-26
Filing date: 2007-09-26
Publication date: 2014-01-08
Anticipated expiration: 2027-09-26
Also published as: JP2009080635A

Description

本発明は、画像から特定の文字列領域を検出する画像検出装置及び方法に関する。より詳細には、本発明は、文字の並びに関するフォーマットが決まっている対象物を認識し、画像から特定文字列を含む画像領域を検出する画像検出装置、方法、プログラム及び記録媒体に関する。

ナンバープレートのような、予めある程度の文字の並びに関するフォーマットが決まっている対象物の認識に際し、抽出手段と文字認識手段を分ける画像認識システムは数多く存在する。しかし、万が一抽出に失敗すると、即検出不能もしくは文字認識手段による誤認識が発生することになる。それを防ぐため、例えば路面を誤検出しないように検出方法を工夫するような技術が提案されている（例えば、特許文献１参照）。また、対象物の抽出に文字認識手段を直接使用する画像認識システムも存在する。例えば、ナンバープレートの一連の番号部分らしい部分を文字認識し、明らかに数字である場合にナンバープレート領域であると認識する技術が提案されている（例えば、特許文献２参照）。また、対象物の抽出と文字認識に所謂、知識処理を利用する手法もある（例えば特許文献３参照）。

特開２０００−２３５６１８号公報特開２０００−１８２１８１号公報特開２０００−１４８９１２号公報

しかし、抽出手段を工夫しても、例えば看板などの誤検出を防ぐことは難しく、また抽出に文字認識手段を使用しても、明らかに数字であると誤認識してしまった場合、誤検出を防ぐことはできない。

本発明は、このような課題に鑑みてなされたもので、その目的とするところは、特定文字列を含む画像領域を精度よく効率的に検出する画像検出装置及び方法を提供することにある。

このような目的を達成するために、本発明の画像検出装置は、画像から特定領域を抽出するための画像検出装置であって、前記画像から前記特定領域の候補となる領域内の特定文字列が配置されるべき部分領域を抽出する領域抽出手段と、前記領域抽出手段によって抽出された前記部分領域を文字認識する文字認識手段と、前記特定文字列に含まれる文字と前記特定文字列に含まれない文字とを含む第１の辞書に基づく前記文字認識手段による認識結果に前記特定文字列に含まれる文字がある場合に、知識辞書を用いて前記認識結果を前記特定文字列に修正できれば前記領域を前記特定領域であると判定し、前記第１の辞書に基づく前記文字認識手段による認識結果において前記特定文字列が含む文字が含まれない場合に前記領域は前記特定領域ではないと判定する判定手段とを備えたことを特徴とする。

また上記目的を達成するために、本発明の画像検出方法は、画像から特定領域を抽出するための画像検出方法であって、前記画像から前記特定領域の候補となる領域内の特定文字列が配置されるべき部分領域を領域抽出手段が抽出する領域抽出ステップと、前記領域抽出ステップによって抽出された前記部分領域を文字認識手段が文字認識する文字認識ステップと、前記特定文字列に含まれる文字と前記特定文字列に含まれない文字とを含む第１の辞書に基づく前記文字認識ステップによる認識結果に前記特定文字列に含まれる文字がある場合に、知識辞書を用いて前記認識結果を前記特定文字列に修正できれば前記領域を前記特定領域であると判定し、前記第１の辞書に基づく前記文字認識ステップによる認識結果において前記特定文字列が含む文字が含まれない場合に前記領域は前記特定領域ではないと判定手段が判定する判定ステップとを備えることを特徴とする。

また、上記目的を達成するために、本発明のプログラムは、上記に記載の画像検出方法の各ステップをコンピュータに実行させることを特徴とする。

また、上記目的を達成するために、本発明の記録媒体は、上記に記載の画画像検出方法の各ステップをコンピュータに実行させるためのプログラムを記録したことを特徴とする。

なお、上記目的を達成するための手段の説明において、特許請求の範囲の構成要素と対応する実施形態中の図中符号等を（）で示した。ただし、特許請求の範囲に記載した構成要素は上記（）部の実施形態の構成要素に限定されるものではない。

本発明によれば、効率よく正確な画像検出処理が可能となり、特定文字列を含む画像領域を精度よく効率的に検出する効果を奏する。

以下、図面を参照して本発明を適用できる実施形態を詳細に説明する。尚、本明細書で参照される各図面において同様の機能を有する箇所には同一の符号を付している。

［実施形態１］
本実施形態を説明するための最良の形態として、ナンバープレート画像を抽出する場合を例にあげる。ナンバープレートは決まった矩形内に文字列が配置され、陸運支局名に特定の文字の並びがあり知識処理を施すことが可能である。

（装置構成）
図１は、本実施形態を実施するための装置の構成を示すブロック図である。図１に示す装置は、例えば汎用的なＰＣ（personal computer）等のコンピュータが適用可能である。図中符号１０１は本装置全体の制御を行うＣＰＵ（central processing unit）、１０２は本装置を制御するプログラム等がロードされるＲＡＭ（random access memory）等のメモリである。１０３はプログラムファイル、データファイル、後述の各種辞書ファイル等が格納されているＨＤＤ（hard disk drive）等の外部記憶装置である。１０４は情報を表示するディスプレイ、１０５は情報を入力するためのキーボード・マウス等の入力装置、１０６はデジタルカメラ等の画像入力装置である。

（動作説明）
図２は本実施形態におけるシステム全体の動作を示すフローチャートである。図２の処理手順は、ＣＰＵ１０１が実行する処理の内容を示し、ＣＰＵ１０１が、メモリ１０２にロードされた制御プログラムを読み出して実行することにより行われる。ステップＳ２０１において、ＣＰＵ１０１は画像入力装置１０６によって入力された画像から特定画像の矩形を仮抽出する。図３は、本実施形態における求める特定画像を含む入力画像の一例を示す図である。この場合の抽出手段は、車両からの位置推定や画像のエッジ抽出による方法、内部の文字塊と思われる部分からの推測など、既存の検出手段を用いて構わない。本実施形態では、この矩形抽出方法には既存の技術ほどの精度は求めておらず、むしろ精度が悪い場合に本実施形態の効果が大きく発揮される。

ステップＳ２０２において、ＣＰＵ１０１は画像内から矩形候補が検出できなかった場合は、検出処理を終了する。図４は、本実施形態における矩形抽出部分の一例で、矩形候補が検出できた場合の矩形候補例を示す図である。ＣＰＵ１０１は矩形候補が検出できた場合、必要に応じてノイズ除去や正対画像作成のための逆透視変換処理等の画像加工処理を加えた後、ステップＳ２０３において矩形内のＯＣＲ（optical character recognition）処理を試みる。図５は、矩形部分のＯＣＲ結果の一例を示す図である。

ステップＳ２０４において、ＣＰＵ１０１はステップＳ２０３で得られたＯＣＲ結果を用い、知識処理を行う。この知識処理とは、例えば引用文献３に示すような手法の応用であってよい。図６は、矩形部分のＯＣＲ結果の詳細の一例を示す図である。図５に示すＯＣＲ結果の先頭２文字の詳細な認識結果が、図６に示されるようなＯＣＲ結果の詳細である。すなわち、この知識処理とは、認識対象に「岩手」という単語があり知識辞書（文字認識辞書）に登録されている場合に、１文字目の第８候補と２文字目の第２候補を用いて「岩手」という認識結果を実現するよう修正処理を行う処理である。なお、図６に示す認識結果は、ナンバープレートの陸運支局名に使用されている文字のみを認識対象とした文字認識辞書ＡによりＯＣＲ処理をした結果である。文字認識辞書Ａの場合、ステップＳ２０４の知識処理の仕様によっては「岩手」が候補として上がる可能性があり、図７は、この場合に矩形部分のＯＣＲ結果を知識処理した一例である。

そこで、本実施形態では、認識のための文字認識辞書として、陸運支局名に使用されている以外の文字も加えた辞書Ｂを使用する。その文字認識辞書Ｂを利用した場合のステップＳ２０３、Ｓ２０４によるＯＣＲ結果を示した例が図８及び図９である。図８は、本実施形態における矩形部分のＯＣＲ結果の一例を示す図である。図９は、本実施形態における矩形部分のＯＣＲ結果の詳細の一例を示すである。この図９の例によると、認識結果にナンバープレートの陸運支局名に使用されている文字が一切含まれていないため、ステップＳ２０４の知識処理による陸運支局名の修正は不可能となる。

ＣＰＵ１０１はステップＳ２０５において、文字認識辞書Ｂを利用したステップＳ２０４の知識処理の結果がどのようになったかを判定する。もし知識処理が失敗し、どの陸運支局名にも修正できなかった場合、ＣＰＵ１０１はその矩形は特定画像の矩形ではなかったと判定し、検出処理を終了する。知識処理が成功し、修正せずとも陸運支局名であった、もしくは陸運支局名に修正することが可能であった場合（例えば図７）、ＣＰＵ１０１はその矩形は求める画像矩形であったと判定する。そして、ＣＰＵ１０１はステップＳ２０６において、ステップＳ２０４の知識処理の結果を反映する等の処理を行い、検出処理を終了する。

［実施形態２］
実施形態２は、実施形態１に記載したシステムにおいて、ナンバープレートを認識の対象とする場合を例に説明する。

図１０は、本実施形態における矩形部分のＯＣＲ結果の一例を示す図で、本実施形態の特徴を示す図である。図２のステップＳ２０３におけるＯＣＲ処理、ステップＳ２０４の知識処理において、知識処理が可能な陸運支局名を認識するための文字認識辞書Ｃと、それ以外の一連番号等を認識するための文字認識辞書Ｄとを別に用意する。陸運支局名認識のための文字認識辞書Ｃには、陸運支局名に使用されている以外の文字も加える（実施形態の文字認識辞書Ｂの同様）。一方、一連番号等を認識するための文字認識辞書Ｄには認識対象である数字もしくはひらがなのみを加える。

［他の実施形態］
以上述べた実施形態の他に次の形態を実施できる。
（１）実施形態１では、求める領域を矩形としたが、必ずしも矩形である必要は無く、直線に囲まれた領域であってもよいことは、当業者には自明であろう。
（２）実施形態１、２では、説明に最良の形態としてナンバープレートを例に説明をした。しかしながら、人名を含む領域を対象としてもよい。例えば帳票に記入された人名でもよく、名札に記載された人名でもよい。単語辞書Ｅにはあらかじめ人名を登録しておき、実施形態１に記載の手順において、文字認識辞書Ｂに替えて辞書Ｅを使用することより、人名を含む矩形を検出することが可能である。
（３）住所を含む矩形を対象としてもよい。例えば帳票に記入された住所でもよく、交差点の信号部分に記載の交差点名でも、電柱に記載された住所でもよい。単語辞書Ｆにはあらかじめ住所を登録しておき、実施形態１に記載の手順において、文字認識辞書Ｂに替えて辞書Ｆを使用することより、住所を含む矩形を検出することが可能である。
（４）その他、四角形や楕円などのある領域の内部に存在し、商品名や企業名などの名詞や慣用句など、単語に相当するものを単語辞書に追加し、実施形態１または実施形態２に記載の方法を適用することによって、領域を精度よく検出できる。
（５）上述の実施形態は、各データ処理を順次実施するソフトウェアで実現できるものである。即ち、上述した実施の形態の機能を実現するコンピュータプログラムを記録したコンピュータ読み取り可能な記憶媒体（または、記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（または、ＣＰＵやＭＰＵ）が、記憶媒体に格納されたプログラムコードを読み出し、実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が、上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶したＣＤ、ＭＤ、メモリカード、ＭＯ等のさまざまな記憶媒体に書き込み可能である。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけではない。即ち、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

［実施形態の効果］
以上説明したように本実施形態によれば、画像検出装置は、以下の機能を有する。即ち、画像から特定文字列（陸運支局名に使用されている文字）を含むか否かを判定すべき領域を抽出する領域抽出手段（１０１、Ｓ２０１）と、上記領域抽出手段によって抽出された上記領域を文字認識する文字認識手段（Ｓ２０３）とを備える。さらに、上記文字認識手段による認識結果に対し第１の辞書（辞書Ｂ）に基づき修正を試みる認識結果修正手段（Ｓ２０４）を備える。さらに、上記認識結果修正手段による修正結果に基づき上記領域が上記特定文字列を含むか否かを判定する判定手段（Ｓ２０５）を備える（実施形態１）。

以上の構成により、求める画像矩形によく似た画像の誤検出をより詳細に防ぐことが可能となり、検出精度が従来よりも向上する。それと共に、同時にＯＣＲ結果も知識処理を用いた修正結果が得られるという副次効果を得ることができる。

ここで、上記第１の辞書は、上記特定文字列に含まれる文字と、上記特定文字列に含まれない文字とを含むことができる。

また、上記認識結果修正手段は、上記領域内に認識対象が複数存在する場合、認識対象別に上記第１の辞書を含む複数の辞書を使用する（実施形態２、辞書Ｃ＝辞書Ｂ、辞書Ｄ））ことができる。

以上の構成により、検出に際し使用する文字部分（文字認識辞書Ｃによる）と文字認識のみに使用する文字部分（文字認識辞書Ｄによる）とで文字認識辞書を分けることにより、実施形態１に記載したシステムの精度をさらに向上させることが可能となる。

また、上記第１の辞書のみが、上記認識結果修正手段により文字列を修正する認識対象とする文字以外の文字も含む（辞書Ｂ、辞書Ｃ）ことができる。

また、上記第１の辞書は上記特定文字列を含むことができる。

本発明を適用できる実施形態の環境を示すシステム構成図である。本発明を適用できる実施形態のシステム全体の動作を示すフローチャートである。本発明を適用できる実施形態の入力画像の例を示した図である。本発明を適用できる実施形態の求める特定画像の矩形抽出部分を示した図である。求める特定画像の矩形部分のＯＣＲ結果例を示した図である。求める特定画像の矩形部分のＯＣＲ詳細結果例を示した図である。求める特定画像の矩形部分のＯＣＲ結果を知識処理し修正した例を示した図である。本発明を適用できる実施形態の求める特定画像の矩形部分のＯＣＲ結果例を示した図である。本発明を適用できる実施形態の求める特定画像の矩形部分のＯＣＲ詳細結果例を示した図である。本発明を適用できる実施形態の認識対象部分とその文字認識辞書との組み合わせ例を示した図である。

符号の説明

１０１ＣＰＵ
１０２メモリ
１０３外部記憶装置
１０４ディスプレイ
１０５入力装置
１０６画像入力装置

Claims

画像から特定領域を抽出するための画像検出装置であって、
前記画像から前記特定領域の候補となる領域内の特定文字列が配置されるべき部分領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出された前記部分領域を文字認識する文字認識手段と、
前記特定文字列に含まれる文字と前記特定文字列に含まれない文字とを含む第１の辞書に基づく前記文字認識手段による認識結果に前記特定文字列に含まれる文字がある場合に、知識辞書を用いて前記認識結果を前記特定文字列に修正できれば前記領域を前記特定領域であると判定し、前記第１の辞書に基づく前記文字認識手段による認識結果において前記特定文字列が含む文字が含まれない場合に前記領域は前記特定領域ではないと判定する判定手段と
を備えたことを特徴とする画像検出装置。
前記判定手段は、前記領域内に認識対象が複数存在する場合、認識対象別に前記第１の辞書を含む複数の辞書を使用することを特徴とする請求項１に記載の画像検出装置。
画像から特定領域を抽出するための画像検出方法であって、
前記画像から前記特定領域の候補となる領域内の特定文字列が配置されるべき部分領域を領域抽出手段が抽出する領域抽出ステップと、
前記領域抽出ステップによって抽出された前記部分領域を文字認識手段が文字認識する文字認識ステップと、
前記特定文字列に含まれる文字と前記特定文字列に含まれない文字とを含む第１の辞書に基づく前記文字認識ステップによる認識結果に前記特定文字列に含まれる文字がある場合に、知識辞書を用いて前記認識結果を前記特定文字列に修正できれば前記領域を前記特定領域であると判定し、前記第１の辞書に基づく前記文字認識ステップによる認識結果において前記特定文字列が含む文字が含まれない場合に前記領域は前記特定領域ではないと判定手段が判定する判定ステップと
を備えることを特徴とする画像検出方法。
請求項３に記載の画像検出方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
請求項３に記載の画像検出方法の各ステップをコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。