JP3479601B2 - 景観画像中文字読み取り方法及び実施装置ならびにその方法を記録した記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、景観画像中文字読
み取り方法及び装置ならびにその方法の処理手順を記録
した記録媒体に関し、特に、景観画像中の文字を読み取
る景観画像中文字読み取り技術の分野において、複数台
のカメラ等の映像入力装置を能動的に制御することで、
小さすぎて読めない文字や、反射や遮蔽などで読めない
文字の読み取りを可能とし、かつ読み取り精度を向上さ
せ、かつ複数台のカメラの動作シーケンスを操作者が容
易に設定可能な手段を実現するための技術に適用して有
効な技術に関するものである。

【０００２】

【従来の技術】景観画像中の文字を読み取る従来技術
は、看板の文字読み取りや自動車のナンバープレートの
読み取りに用いられている。これらのアプリケーション
では、読み取り対象が小さく文字のパタンが潰れてしま
った場合や、画角を最大に広げても対象全部が一枚の画
像に入らない場合などには読み取れない。また、従来の
技術では利用目的が単一で、他の利用目的には転用が困
難であった。

【０００３】そこで、視線方向と画角を外部からの信号
により制御可能なカメラを使用し、予め操作者が設定し
たカメラ視線方向と画角を用いてカメラを制御する機
能、及び画像中から読み取った文字領域の情報を用いた
当該文字領域を適性サイズに拡大するためのカメラの視
線制御と画角を自動計算し、かつその値を用いて能動的
にカメラ制御する機能を有することにより、かつ動作シ
ーケンスを操作者が容易に定義し格納する機能を有する
ことで、様々な利用場面に容易に適用できる手段が提案
されている。（参考：「景観画像中文字読み取り方法お
よびその装置およびその方法を記録した記憶媒体（特願
平１０−８１５９）」，「対象物適応型カメラ視線制御
による景観内文字領域抽出法」信学会全国大会Ｄ−１２
−２１１（１９８８））。

【０００４】

【発明が解決しようとする課題】しかしながら、景観画
像中の文字には、障害物による遮蔽や、反射等の問題で
文字が読み取れない場合が存在している。そのためには
カメラ自体を移動させるか、あるいは複数台の別視線方
向を有するカメラを用いて、対象物を読み取る必要があ
る。しかし、そのためには複数カメラを制御するための
装置、または方式が必要であり、また他の利用目的への
転用が難しい問題があった。

【０００５】本発明の目的は、複数のカメラを能動的に
制御し、かつその機能を様々な利用場面に容易に適用で
きる技術を提供することにある。

【０００６】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。

【０００７】

【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば以下
のとおりである。

【０００８】第１の発明は、広角用カメラで撮影された
景観画像を入力するステップと、前記景観画像から文字
の含まれる文字領域を抽出するステップと、前記文字領
域の情報から当該文字領域を拡大するためのカメラ制御
値を算出するステップと、 前記カメラ制御値に基づき、
認識用カメラを制御するステップと、前記認識用カメラ
で撮影され、拡大された文字領域の画像を入力するステ
ップと、前記認識用カメラで撮影された文字領域の画像
から切り出した文字パタンを認識して候補文字の文字列
を出力し、該文字列の候補文字の集合をデータベースに
記録されている文字と照合し最も似ている検索結果を出
力するステップと、前記結果を出力する処理が行われた
か否かを判断するステップと、少なくとも認識処理を失
敗した文字領域に関して、前記カメラ制御値に基づき、
前記認識用カメラの視線方向と別視線方向を有する再度
認識用カメラを制御するステップと、前記再度認識用カ
メラで撮影され、拡大された文字領域の画像を入力する
ステップと、前記再度認識用カメラで撮影された文字領
域の画像から切り出した文字パタンを認識して候補文字
の文字列を出力し、該文字列の候補文字の集合をデータ
ベースに記録されている文字と照合し最も似ている検索
結果を出力するステップとを有する景観画像中文字読み
取り方法である。

【０００９】第２の発明は、前記第１の発明の景観画像
中文字読み取り方法におけるステップをコンピュータに
実行させるためのプログラムを記録したコンピュータ読
み取り可能な記録媒体である。

【００１０】第３の発明は、広角用カメラで撮影された
景観画像を入力する手段と、前記景観画像から文字の含
まれる文字領域を抽出する手段と、前記文字領域の情報
から当該文字領域を拡大するためのカメラ制御値の算出
手段と、前記カメラ制御値に基づき、認識用カメラを制
御する手段と、前記認識用カメラで撮影され、拡大され
た文字領域の画像を入力する手段と、前記認識用カメラ
で撮影された文字領域の画像から切り出した文字パタン
を認識して候補文字の文字列を出力し、該文字列の候補
文字の集合をデータベースに記録されている文字と照合
し最も似ている検索結果を出力する手段と、前記結果を
出力する処理が行われたか否かを判断する手段と、少な
くとも認識処理を失敗した文字領域に関して、前記カメ
ラ制御値に基づき、前記認識用カメラの視線方向と別視
線方向を有する再度認識用カメラを制御する手段と、前
記再度認識用カメラで撮影され、拡大された文字領域の
画像を入力する手段と、前記再度認識用カメラで撮影さ
れた文字領域の画像から切り出した文字パタンを認識し
て候補文字の文字列を出力し、該文字列の候補文字の集
合をデータベースに記録されている文字と照合し最も似
ている検索結果を出力する手段とを具備する景観画像中
文字読み取り装置である。

【００１１】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態（実施例）を詳細に説明する。

【００１２】なお、実施形態（実施例）を説明するため
の全図において、同一機能を有するものは同一符号を付
け、その繰り返しの説明は省略する。

【００１３】図１は本発明の一実施形態における景観画
像中文字読み取り装置の概略全体構成を示す図である。
この景観画像中文字読み取り装置は、図１に示すよう
に、２台以上のカメラ１０１、各カメラに対応して各々
を制御する制御装置（例えば、パーソナルコンピュータ
を用いる）１０２、各制御装置１０２からネットワーク
を介して接続された共有データベース（記憶装置）１０
３から構成される。カメラ１０１は、制御装置１０２か
らの信号により画角、視線方向が制御される。制御装置
１０２は図２で、共有データ１０３は図３で詳細に説明
する。

【００１４】各カメラ１０１と制御装置１０２は同じ動
作機能を有するが、制御装置１０２に事前に格納された
動作シーケンスにより役割が決められている。１０４は
広角の範囲から対象物を抽出するカメラシステム、１０
５は抽出された対象物を認識するカメラシステム、１０
６は認識処理が失敗した対象物を再度認識するカメラシ
ステムである。尚、制御装置１０２は、１台でも複数台
設定されていても同じ処理を行うものとする。

【００１５】図２は制御装置１０２の内部構成を示した
ものである。カメラ制御部２０１は、カメラ制御値格納
部２１０に格納されたカメラ視線制御用の値（パン値、
チルト値、ズーム値）を参照し、参照した値を当該カメ
ラ制御用に適した値に変換（キャリブレーションを実
施）し、カメラ制御信号をカメラ１０１に送信すること
でカメラ制御を行う。命令解釈・実行部２０２は、命令
記述ファイル２０４に記述された実行命令を読み取り、
記述に従って実行部での処理を行う。

【００１６】画像バッファ２０３は、カメラ１０１に入
力された画像、実行部で行われる領域抽出、画像補正、
文字切り出し、で生成された画像が格納される。命令記
述ファイル２０４は、制御部で実行される命令の手順が
記述されている。文字領域位置・大きさ格納部２０５
は、文字領域抽出処理にて得られた位置及びその大きさ
が格納される。

【００１７】文字パタン格納部２０６には、文字切り出
しにて得られた文字パタンが格納される。認識結果格納
部２０７は、文字認識にて得られた認識結果が格納され
る。ＤＢ照合結果格納部２０８は、ＤＢ照合により得ら
れた結果が格納される。処理状況格納部２０９は、命令
解釈・実行部２０２で行われた状況及び状態が格納され
る。

【００１８】カメラ制御値格納部２１０は、文字領域抽
出から算出されたカメラ制御値、またはデータ入出力部
から得られたカメラ制御値を格納する。シーン切り替え
フラグ２１１は、解釈・実行部で行われた状況に従い命
令記述ファイルに記述された契機でシーンが切り替わっ
た際のそのシーンフラグを格納する。

【００１９】データ入出力部２１２は、画像バッファ２
０３、文字領域位置・大きさ格納部２０５、文字パタン
格納部２０６、認識結果格納部２０７、ＤＢ照合結果格
納部２０８、処理状況格納部２０９、及びカメラ制御値
格納部２１０と共有データベース１０３との間でデータ
入出力を実行する。

【００２０】図３は本実施例における共有データベース
（記憶装置）１０３の内部構成を示したものである。画
像バッファ３０１は、各制御装置１０２の画像バッファ
２０３と、データ入出力部２１２を介してデータの入出
力を行い、共有データを格納する。

【００２１】文字領域位置大きさ格納部３０２は、各制
御装置の文字領域位置・大きさ格納部２０５と、データ
入出力部２１２を介してデータの入出力を行い、共有デ
ータを格納する。文字パタン格納部３０３は、各制御装
置の文字パタン格納部２０６と、データ入出力部２１２
を介してデータの入出力を行い、共有データを格納す
る。

【００２２】処理状況格納部３０４は、各制御装置の処
理状況格納部２０９と、データ入出力部２１２を介して
データの入出力を行い、共有データを格納する。カメラ
制御値格納部３０５は、各制御装置のカメラ制御値格納
部２１０と、データ入出力部２１２を介してデータの入
出力を行い、共有データを格納する。認識結果格納部３
０６は、各制御部の認識結果格納部２０７と、データ入
出力部２１２を介してデータの入出力を行い、共有デー
タを格納する。ＤＢ照合結果格納部３０７は、各制御装
置のＤＢ照合結果格納部２０８と、データ入出力部２１
２を介してデータの入出力を行い、共有データを格納す
る。

【００２３】図４は本実施形態における実行処理の流れ
を示したものである。カメラ４０１は、情景画像からデ
ータ画像を画像バッファ２０３に入力する。文字領域抽
出手段４０２は、得られたデータ画像からある条件（例
えば、均一なＲＧＢ値が特定の大きさの矩形で存在する
領域）を満たす領域を文字領域として抽出し、その位置
及び大きさを文字領域位置・大きさ格納部２０５に格納
する手段である。

【００２４】画像補正変換手段４０３は、得られた文字
領域抽出結果から、傾斜補正及び回転補正を実施し、２
値化処理を実施した結果を再び画像バッファ２０３に格
納する手段である。文字切り出し手段４０４は、得られ
た２値化データから文字切り出し（例えば、黒画素の存
在領域が矩形である領域を文字として切り出す）を行
い、切り出したパタンを画像バッファ２０３または、文
字パタン格納部２０６に格納する手段である。

【００２５】文字認識手段４０５は、得られた文字パタ
ンを認識し、認識結果を認識結果格納部２０７に格納す
る手段である。ＤＢ照合手段４０６は、得られた複数個
の認識結果をＤＢに存在する単語等の情報を参照し最も
似ている候補を照合結果としてＤＢ照合結果格納部３０
７に格納する手段である。（参考：「対象物適応型カメ
ラ視線制御による景観内文字領域抽出法」信学会全国大
会Ｄ−１２−２１１（１９８８））。

【００２６】図５は広角用カメラシステム１０４の制御
装置の処理の流れ５０１を示すフロー図、図６は認識用
カメラシステム１０５の制御装置の処理の流れ５０２を
示すフロー図、図７は再度認識（リトライ）用カメラシ
ステム１０６の処理の流れ５０３を示すフロー図であ
る。尚、制御装置１０２は、１台でも複数台設定されて
いても同じ処理を行うものとする。

【００２７】図５に示すように、広角用カメラシステム
１０４の制御装置の処理フロー５０１は、カメラ入力ス
テップ５０４で、景観中の認識対象物を含むデータ画像
をカメラ入力する。文字領域抽出ステップ５０５で、入
力されたデータ画像に対し文字領域抽出処理を行い、文
字領域位置・大きさを算出する。そして、領域抽出結果
出力ステップ５０６で、共有データとして認識結果格納
部３０６に算出結果を出力する。前記ステップ５０４，
５０５，５０６の処理については、後で図８を用いて説
明する。広角カメラ処理終了状況出力ステップ５０７
で、共有データでの処理状況格納部３０４に広角カメラ
処理が終了したという情報を出力する。リトライ認識処
理が終了したか否かを判断する処理ステップ５０８で、
共有データでの処理状況格納部３０４にリトライ認識処
理状況を参照し終了状況が出力されたか否かを判断す
る。

【００２８】図６に示すように、認識用カメラシステム
１０５の制御装置の処理フロー５０２は、ステップ５０
９で、変数Ａに値０を代入する。ステップ５１０で、共
有データでの処理状況格納部３０４に広角カメラ処理が
終了したという情報が出力された否かを判断する。ステ
ップ５１１で、変数Ａが、任意の定数Ｂ（ただし、Ｂ＞
０となる整数）より小さいか否かを判断する。ステップ
５１２で、共有データでの文字領域位置・大きさ格納部
３０２を随時参照し、担当する領域抽出結果が出力され
たか否かを判断する。尚、前記処理フロー５０２を行う
認識用カメラシステム１０５が複数台存在する場合に
は、各装置が担当する抽出結果データを事前に装置ごと
に一定の規則（例えば、制御装置Ｂが３台の場合には、
データ番号が３ｎは制御装置Ｂの１、３ｎ＋１は制御装
置Ｂの２、３ｎ＋２は制御装置Ｂの３の担当。ただしｎ
は自然数とする。）で決めてあるものとする。

【００２９】ステップ５１３で、変数Ａに１を加えた値
を変数Ａとして代入する。オブジェクト（Object）認識
ステップ５１４で、担当した文字領域抽出結果に対し、
Object認識処理を実行する。Object認識ステップ５１４
の詳細については、後で図９を用いて説明する。

【００３０】結果出力ステップ５１５で、Object認識ス
テップ５１４の結果を共有データのＤＢ照合結果格納部
３０７に出力する。ステップ５１６で、結果出力処理５
１５が行われたか否かを判断する。ステップ５１７で、
共有データの文字領域位置・大きさ格納部３０２処理状
況格納部から担当した領域抽出情報を削除する処理を示
す。ステップ５１８で、共有データでの処理状況格納部
３０４に認識用カメラ処理が終了したという情報を出力
する。

【００３１】図７に示すように、ステップ５１９で、共
有データでの処理状況格納部３０４に認識用カメラ処理
が終了したという情報が出力されたか否かを判断する。
ステップ５２０で、共有データでの処理状況格納部３０
４にリトライ認識用カメラ処理が終了したという情報を
出力する処理を示す。尚、リトライ認識用カメラ処理５
０３を行うリトライ認識用カメラシステム１０６が複数
台数存在する場合には、各装置が担当する抽出結果デー
タを事前に装置ごとに一定の規則（例えば、制御装置Ｃ
が３台の場合には、データ番号が３ｎは制御装置Ｃの
１、３ｎ＋１は制御装置Ｃの２、３ｎ＋２は制御装置Ｃ
の３である。ただしｎは自然数とする。）で決めてある
ものとする。

【００３２】図８は図５のカメラ入力ステップ５０４、
文字領域抽出ステップ５０５、領域抽出結果出力ステッ
プ５０６の処理を摸式的に示した図である。図８におい
て、データ画像６０１は、カメラ入力ステップ５０４に
よって得られた読み取り対象物が点在しているデータ画
像である。文字領域６０１，６０２，６０３，６０４
は、文字領域抽出ステップ５０５により抽出された文字
領域である。文字領域抽出結果６０５は、領域抽出結果
出力ステップ５０６が文字領域位置・大きさ格納部２０
５、または共有データ文字領域位置・大きさ格納部３０
２に出力する文字領域抽出結果の一例である。文字領域
抽出結果６０５には、カメラ制御のために必要となる画
角や視線方向に関する算出結果や、抽出された領域の各
種情報が格納される。

【００３３】図９はObject認識ステップ５１４の処理の
流れを示すフロー図である。図９に示すように、領域抽
出結果入力ステップ７０１で、データ入出力部２１２に
より共有データでの文字領域位置・大きさ格納部３０２
から文字領域位置・大きさ格納部２０５に文字領域抽出
結果６０５が入力される。カメラ制御ステップ７０２で
カメラ制御部２０１にてカメラ制御値格納部２１０に格
納されたカメラ視線制御用の値（パン値、チルト値、ズ
ーム値）を参照し、参照した値を該カメラ制御用に適し
た値に変換（キャリブレーションを実施）しカメラ制御
信号をカメラに送信することでカメラ制御を行う。

【００３４】カメラ入力ステップ７０３で、情景画像か
らデータ画像を画像バッファ２０３に入力する。文字領
域抽出ステップ７０４は、文字領域抽出手段４０２で行
われる処理である。画像補正変換ステップ７０５は、画
像補正変換手段４０３で行われる処理である。文字切り
出しステップ７０６は、文字切り出し手段４０４にて行
われる処理である。文字認識ステップ７０７は、文字認
識手段４０５にて行われる処理である。ＤＢ照合ステッ
プ７０８は、ＤＢ照合手段４０６で行われる処理であ
る。これらの処理手段は公知のものを用いる。

【００３５】以上、本発明者によってなされた発明を、
前記実施例に基づき具体的に説明したが、本発明は、前
記実施例に限定されるものではなく、その要旨を逸脱し
ない範囲において種々変更可能であることは勿論であ
る。

【００３６】

【発明の効果】以上、説明したように、本発明によれ
ば、複数のカメラを能動的に制御し、かつその機能を様
々な利用場面に容易に適用させることが可能となり、障
害物による遮蔽や反射等の問題で文字が読み取れない場
合でも、別視線からのカメラから対象物を読み取ること
により、文字を読み取ることができる。

【図面の簡単な説明】

【図１】本発明の一実施形態（実施例）における景観画
像中読み取り装置の概略全体構成を示すブロック構成図
である。

【図２】本実施形態における制御装置の概略内部構成を
示すブロック構成図である。

【図３】本実施形態における共有データベースの内部構
成を示すブロック構成図である。

【図４】本実施形態における実行処理の流れを示すフロ
ー図である。

【図５】本実施形態における広角カメラシステムの処理
の流れを示すフロー図である。

【図６】本実施形態における認識用カメラシステムの処
理の流れを示すフロー図である。

【図７】本実施形態におけるリトライ用認識カメラシス
テムの処理の流れを示すフロー図である。

【図８】本実施形態における文字領域抽出の実施例と抽
出結果を示す図である。

【図９】本実施形態におけるObject認識における処理の
流れを示すフロー図である。

【符号の説明】

１０１…カメラ、１０２…制御装置、１０３…共有デー
タベース（記憶装置）、１０４…広角用カメラシステ
ム、１０５…認識用カメラシステム、１０６…再度認識
（リトライ）用カメラシステム、２０１…カメラ制御
部、２０２…命令解釈・実行部、２０３…画像バッフ
ァ、２０４…命令記述ファイル、２０５…文字領域位置
・大きさ格納部、２０６…文字パタン格納部、２０７…
認識結果格納部、２０８…ＤＢ照合結果格納部、２０９
…処理状況格納部、２１０…カメラ制御値格納部、２１
１…シーン切り替えフラグ、２１２…データ入出力部、
３０１…画像バッファ、３０２…文字領域位置・大きさ
格納部、３０３…文字パタン格納部、３０４…処理状況
格納部、３０５…カメラ制御値格納部、３０６…認識結
果格納部、３０７…ＤＢ照合結果格納部、４０１…カメ
ラ、４０２…文字領域抽出手段、４０３…画像補正変換
手段、４０４…文字切り出し手段、４０５…文字認識手
段、４０６…ＤＢ照合手段。

フロントページの続き (72)発明者 中村 修 東京都新宿区西新宿三丁目19番２号 日 本電信電話株式会社内 (72)発明者 杉村 利明 東京都新宿区西新宿三丁目19番２号 日 本電信電話株式会社内 (56)参考文献 特開 平９−130781（ＪＰ，Ａ) 特開 平６−76106（ＪＰ，Ａ) 特開 平６−74729（ＪＰ，Ａ) 特開 昭63−14281（ＪＰ，Ａ) 駐車場管理自動化のための画像認識技 術，ＮＴＴ Ｒ＆Ｄ，日本，1992年 ４ 月10日，第41巻第４号，ｐｐ．493−500 Ｄ−502 観測方向に依存しない景観 中文字の認識法，1990年電子情報通信学 会春期全国大会予稿集，日本，1990年, ｐ７−254 景観中文字認識アプリケーション用基 本機能モジュール開発支援システム，Ｎ ＴＴ Ｒ＆Ｄ，日本，1998年 ９月10 日，第47巻第９号，ｐｐ．921−924 撮像位置にロバストなナンバープレー ト認識方法，電子情報通信学会論文誌, 日本，1998年 ４月25日，第Ｊ81−Ａ巻 第４号，ｐｐ．536−545 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 - 9/82 H04N 7/18

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 広角用カメラで撮影された景観画像を入
   力するステップと、前記景観画像から文字の含まれる文
   字領域を抽出するステップと、 前記 文字領域の情報から当該文字領域を拡大するための
   カメラ制御値を算出するステップと、 前記 カメラ制御値に基づき、認識用カメラを制御するス
   テップと、 前記認識用カメラで撮影され 、拡大された文字領域の画
   像を入力するステップと、 前記認識用カメラで撮影 された文字領域の画像から切り
   出した文字パタンを認識して候補文字の文字列を出力
   し、該文字列の候補文字の集合をデータベースに記録さ
   れている文字と照合し最も似ている検索結果を出力する
   ステップと、 前記結果を出力する処理が行われたか否かを判断するス
   テップと、 少なくとも認識処理を失敗した文字領域に関して、前記
   カメラ制御値に基づき、前記認識用カメラの視線方向と
   別視線方向を有する再度認識用カメラを制御するステッ
   プと、 前記再度認識用カメラで撮影され、拡大された文字領域
   の画像を入力するステップと、 前記再度認識用カメラで撮影された文字領域の画像から
   切り出した文字パタンを認識して候補文字の文字列を出
   力し、該文字列の候補文字の集合をデータベースに記録
   されている文字と照合し最も似ている検索結果を出力す
   るステップと、を有する ことを特徴とする景観画像中文
   字読み取り方法。
2. 【請求項２】 請求項１に記載の景観画像中文字読み取
   り方法におけるステップをコンピュータに実行させるた
   めのプログラムを記録したコンピュータ読み取り可能な
   記録媒体。
3. 【請求項３】 広角用カメラで撮影された景観画像を
   入力する手段と、前記景観画像から文字の含まれる文字
   領域を抽出する手段と、前記 文字領域の情報から該文字領域を拡大するためのカ
   メラ制御値の算出手段と、前記 カメラ制御値に基づき、認識用カメラを制御する手
   段と、 前記認識用カメラで撮影され、 拡大された文字領域の画
   像を入力する手段と、前記認識用カメラで撮影 された文字領域の画像から切り
   出した文字パタンを認識して候補文字の文字列を出力
   し、該文字列の候補文字の集合をデータベースに記録さ
   れている文字と照合し最も似ている検索結果を出力する
   手段と、前記結果を出力する処理が行われたか否かを判断する手
   段と、 少なくとも認識処理を失敗した文字領域に関して、前記
   カメラ制御値に基づき、前記認識用カメラの視線方向と
   別視線方向を有する再度認識用カメラを制御する手段
   と、 前記再度認識用カメラで撮影され、拡大された文字領域
   の画像を入力する手段と、 前記再度認識用カメラで撮影された文字領域の画像から
   切り出した文字パタンを認識して候補文字の文字列を出
   力し、該文字列の候補文字の集合をデータベースに記録
   されている文字と照合し最も似ている検索結果を出力す
   る手段と、 を具備することを特徴とする景観画像中文字
   読み取り装置。