JPH11203404A - 景観画像中文字読み取り方法およびその装置およびその方法を記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 景観画像中の文字を読み取る際に、小さすぎ
て読めない文字領域の文字読み取りを可能にし、かつ読
み取りの精度を向上させ、かつ装置の動作シーケンスを
操作者が容易に設定可能にする方法および装置を提供す
る。 【解決手段】 視線方向と画角を制御可能なカメラ４を
使用し、予め操作者が設定した視線方向と画角を用いて
カメラ４を制御する。これで読み取った文字領域の情報
を用いて、文字領域を適正サイズに拡大するためのカメ
ラ４の視線方向と画角をカメラ制御値算出手段３で計算
する。全体制御手段１は、その値を用いてカメラ４を制
御する。これにより小さすぎて読み取り難い文字領域を
読み取り可能とする。また動作シーケンス格納テーブル
２を設け、動作シーケンスを操作者が容易に定義し格納
可能とする。全体制御手段１は、テーブル２の動作シー
ケンスに従い各部を制御することで、様々な利用場面に
容易に適用可能とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、景観画像中の文字
を読み取る景観画像中文字読み取り技術の分野におい
て、カメラを能動的に制御することで小すぎて読めない
文字領域の文字の読み取りを可能にし、かつ読み取りの
精度を向上させ、かつ装置の動作シーケンスを操作者が
容易に設定可能な手段を実現するための技術に関する。

【０００２】

【従来の技術】景観画像中の文字領域の文字を読み取る
従来の技術は、看板の文字の読み取りや自動車のナンバ
ープレートの読み取りに用いられている。

【０００３】従来技術のブロック図を図１５に示す。そ
の動作内容は、まず文字領域抽出手段２００がカメラ１
００で撮影した景観画像中から文字を含む領域（文字領
域と呼ぶ）の抽出を行う。次に画像補正変換手段３００
が画像の３次元的な傾斜による歪みを補正し、回転を補
正し、各画素を文字パターンに含まれるか否かを推定し
て含まれるグループと含まれないグループの２種類に分
けた２値画像を作成する。次に文字切り出し手段４００
が文字領域から個別の文字パターンを抽出する。次に文
字認識手段５００が個別の文字パターンを認識して候補
文字を出力し、次にその候補文字の集合をデータベース
照合手段６００が照合して読み取り結果の文字列を出力
し、最後に図略の出力手段が文字列を外部に出力する。

【０００４】

【発明が解決しようとする課題】発明が解決しようとす
る従来技術に対する課題は２つある。

【０００５】（１）１つの課題は、従来技術がカメラの
可動部分を持たないことによる限界である。

【０００６】以下に、従来技術が適用できないアプリケ
ーションを２つ述べる。

【０００７】第１のアプリケーションは、カードの枚数
も置かれる場所も不定であることを前提とするカードの
読み取りである。読み取り対象は県名が書かれた縦横比
がほぼ１対１の四角形であり、カメラの画角を広げれ
ば、一枚の画像に全てのカードを入れることができると
する。図１６は、台上に置かれた、文字が書かれた複数
のカードを机の上部に設置したカメラで写した画像であ
る。この時、カードの画像が小さくて文字のパターンが
潰れてしまい、認識ができないとする。このアプリケー
ションでは、カメラはまず全カードが画面に写る画角と
カメラ視線方向の値でカメラを制御し、その画像を取り
込んで個々のカードの位置を求め、個々のカードを拡大
した画像が得られるカメラの制御値を計算し、カメラを
その値で制御して画像を得る必要がある。

【０００８】第２のアプリケーションは、カードの枚数
も置かれる場所も決まっていることを前提とするカード
の読み取りである。図１７に示すように、カメラの画角
を最大に広げても、一枚の画像に全てのカードを入れる
ことはできないとする。このアプリケーションでは、個
々のカードを拡大した画像が得られるカメラの制御値を
あらかじめ調べておき、その制御値で順次カメラを制御
して画像を取り込んでいき、カードを読み取るタスクと
なる。

【０００９】上記の２つのアプリケーションは、共に図
１５に示す従来技術では実行できない。

【００１０】（２）従来の技術のもう１つの解決すべき
課題は、従来の技術は利用目的が単一であり、他の利用
目的への転用が困難であることである。

【００１１】例えば従来技術にカメラ制御を行う仕組み
を取り入れて、前記（１）で示した２つのアプリケーシ
ョンのどちらかに適用できる装置を開発しても、両者の
カメラ制御の動作シーケンスは異なるので、もう１つの
アプリケーションに適用することは困難であり、大きな
改造が必要になる。

【００１２】また、第１のアプリケーションの例では、
読み取り対象は縦書きの漢字の県名であるが、第２のア
プリケーションの例では、読み取り対象は横書きのロー
マ字の県名であり、文字切り出しにおける記入方向、文
字認識手段における文字種、データベース照合手段にお
けるデータベースの内容、が全て異なり、これらについ
ても装置の改造が必要となる。

【００１３】また、第１のアプリケーションの例では、
読み取り対象の県名が書かれた四角形の他に、文字が書
かれた横に細長い四角形が存在し（図１６）、これを読
み取り対象と区別するためには、やはり装置の改造が必
要となる。

【００１４】以上のとおり、本発明は、景観画像中の文
字を読み取る景観画像中文字読み取り技術の分野におい
て、カメラを能動的に制御することで小すぎて読めない
文字領域の文字の読み取りを可能にし、かつ読み取りの
精度を向上させ、かつ装置の動作シーケンスを操作者が
容易に設定可能な手段を実現する方法および装置を提供
することを課題とする。

【００１５】

【課題を解決するための手段】本発明の上述の課題は、
以下の〈１〉〜〈４〉の発明により解決される。

【００１６】〈１〉視線方向と画角を外部からの信号に
より制御可能なカメラを用いて景観画像中の文字を読み
取る景観画像中文字読み取り方法において、景観画像か
ら文字の含まれる文字領域を抽出する手順と、前記抽出
された文字領域の情報から、該文字領域を拡大するため
のカメラの制御値を算出する処理手順と、前記算出され
たカメラの制御値によりカメラを制御し、拡大された文
字領域を得る処理手順と、前記拡大された文字領域から
文字領域を抽出する処理手順と、前記抽出された文字領
域の画像の３次元的な傾斜による歪みを補正し、回転を
補正し、各画素を文字パターンに含まれるか否かを推定
して含まれるグループと含まれないグループの２種類に
分けた２値画像を作成する処理手順と、前記文字領域の
２値画像から個別の文字パターンを切り出す手順と、前
記切り出した文字パターンを認識して文字列の候補文字
を出力する処理手順と、前記文字列の候補文字の集合を
検索キーとしてデータベースと照合する処理手順と、前
記データベース照合の結果を出力する処理手順と、を有
し、予め動作させる前記処理手順とその順序を示す動作
シーケンスをテーブルに設定し格納する手順と、前記テ
ーブルに格納された動作シーケンスに従って前記処理手
順を実行する手順を有することを特徴とする景観画像中
文字読み取り方法。

【００１７】あるいは、視線方向と画角を外部からの信
号により制御可能なカメラを用いた景観画像中の文字を
読み取る景観画像中文字読み取り装置において、景観画
像もしくはカメラ制御値で制御されたカメラの文字領域
の画像から文字の含まれる文字領域を抽出する文字領域
抽出手段と、前記文字領域抽出手段で景観画像から抽出
された文字領域の情報から、該文字領域を拡大するため
の前記カメラ制御値を算出するカメラ制御値算出手段
と、前記文字領域の画像の３次元的な傾斜による歪みを
補正し、回転を補正し、各画素を文字パターンに含まれ
るか否かを推定して含まれるグループと含まれないグル
ープの２種類に分けた２値画像を作成する画像補正変換
手段と、前記文字領域の２値画像から個別の文字パター
ンを切り出す文字切り出し手段と、前記切り出した文字
パターンを認識して候補文字の文字列を出力する文字認
識手段と、前記文字列の候補文字の集合を検索キーとし
てデータベースを照合するデータベース検索手段と、動
作シーケンスに従って前記各手段を制御し、かつデータ
ベースの照合の結果を出力手段を介して出力する全体制
御手段と、前記全体制御手段の動作シーケンスを格納す
る動作シーケンス格納テーブルと、を備えることを特徴
とする景観画像中文字読み取り装置。

【００１８】〈２〉上記〈１〉の景観画像中文字読み取
り方法において、前記動作シーケンスをテーブルに設定
し格納する手順では、前記動作シーケンスを格納するテ
ーブルに抽出対象である文字領域の特徴を記録すること
を許容し、前記文字領域を抽出する処理手順では、前記
特徴を有する文字領域を抽出することを特徴とする景観
画像中文字読み取り方法。

【００１９】あるいは、上記〈１〉の景観画像中文字読
み取り装置において、前記動作シーケンス格納テーブル
は、抽出対象である文字領域の特徴を記録することを許
容するものであり、前記文字領域抽出手段は、前記特徴
を文字領域抽出の処理に利用するものであることを特徴
とする景観画像中文字読み取り装置。

【００２０】〈３〉上記〈１〉または〈２〉の景観画像
中文字読み取り方法において、前記動作シーケンスをテ
ーブルに設定し格納する手順では、処理手順において出
現する各シーン毎に独立したテーブルに動作シーケンス
を記述することを許容し、前記各シーンの動作シーケン
ス毎に、起動するための条件を設け、前記動作シーケン
スに従って前記手順を実行する手順では、該起動するた
めの条件を満足するシーンの動作シーケンスを探して起
動することを特徴とする景観画像中文字読み取り方法。

【００２１】あるいは、上記〈１〉または〈２〉の景観
画像中文字読み取り装置において、前記動作シーケンス
格納テーブルは、処理において出現する各シーン毎に独
立した動作シーケンス格納テーブルに記述することを許
容し、起動するための条件を設けるものであり、前記全
体制御手段は、前記各シーンの動作シーケンス毎に、前
記起動するための条件を満足するシーンの動作シーケン
スを探して起動するものであることを特徴とする景観画
像中文字読み取り装置。

【００２２】〈４〉上記〈１〉，〈２〉，〈３〉のいず
れかの景観画像中文字読み取り方法の手順および処理手
順を、コンピュータで実行するプログラムとして前記コ
ンピュータが読み取り可能な記録媒体に記録したことを
特徴とする景観画像中文字読み取り方法を記録した記録
媒体。

【００２３】本発明に係わる景観画像中文字読み取り方
法およびその装置においては、視線方向と画角を外部か
らの信号により制御可能なカメラを使用し、あらかじめ
操作者が設定したカメラの視線方向と画角を用いてカメ
ラを制御する機能、および画像中から読み取った文字領
域の情報を用いて該文字領域を適正サイズに拡大するた
めのカメラの視線方向と画角を自動計算し、かつその値
を用いてカメラを制御する機能を有することにより、読
み取り難い文字領域の読み取りを行うことができる手段
を実現し、かつ動作シーケンスを操作者が容易に定義し
格納する機能を有することにより、様々な利用場面に容
易に適用できる手段を実現でき、これによって技術の適
用範囲を拡大させる。

【００２４】また、動作シーケンスの情報の一部として
抽出対象である文字領域の特徴を記述することにより、
抽出精度を向上させる。

【００２５】

【発明の実施の形態】以下、図面を用いて本発明の実施
形態例を説明する。

【００２６】図１は、本発明の一実施形態例に係わる処
理ブロック図である。図１において、１は装置の各構成
要素を制御する全体制御手段、２は全体制御手段の動作
シーケンスを格納する動作シーケンス格納テーブル、３
は文字領域の情報から、該文字領域を拡大するためのカ
メラの制御値を算出するカメラ制御値算出手段、４は視
線方向と画角を外部からの信号により制御可能なカメ
ラ、５は景観の画像から文字の含まれる文字領域を抽出
する文字領域抽出手段、６は文字領域の画像の３次元的
な傾斜による歪みを補正し、回転を補正し、各画素を文
字パターンに含まれるか否かを推定して含まれるグルー
プと含まれないグループの２種類に分けた２値画像を作
成する画像補正変換手段、７は文字領域から個別の文字
パターンを切り出す文字切り出し手段、８は文字パター
ンを認識して候補文字を出力する文字認識手段、９は文
字列の候補文字の集合を検索キーとしてデータベースを
照合するデータベース照合手段、である。

【００２７】以下、図１のブロックの詳細な動作例につ
いて説明する。

【００２８】図２は、動作シーケンス格納テーブル２に
記述しうる命令セットの例について、処理内容と引数を
示したものである。

【００２９】図３は動作シーケンス格納テーブル２の記
述例であり、従来技術に対する課題の説明で示した、第
１のアプリケーションを実現するためのものである。こ
れに従って全体制御手段１は動作する。

【００３０】全体制御手段１の詳細な内部構成を図４に
示す。図４にあるように、全体制御手段１の内部構成要
素は、データを格納する要素（１０１〜１０８）と、動
作シーケンス格納テーブル２に記述された命令を解釈し
て実行する命令解釈・実行部１０９、命令解釈・実行部
１０９におけるシーンの切り替えで用いるシーン切り替
えフラグ１１０に分かれる。シーン切り替えフラグ１１
０の初期値は１に設定されているとする。

【００３１】以下、装置の動作を図３の記述に従って説
明する。簡単のために、あらかじめカメラ４の視線方向
と画角は設定してあるものとする。以降、全体制御手段
１が動作を行う制御は、その内部の命令解釈・実行部１
０９によって行われる。

【００３２】本実施形態例では、動作シーケンス格納テ
ーブル２における動作シーケンスは、シーン毎に別々に
記述するように書かれる。図３において、（ａ）は全体
的なシーンに対応する動作シーケンス、（ｂ）は注目す
る領域を拡大したシーンに対応する動作シーケンスであ
る。本実施形態例では、各動作シーケンスの先頭行が、
その動作シーケンスを起動するための条件を表現するも
ので、以降の行が具体的な処理内容とする。

【００３３】また、カメラの制御値であるパン値、チル
ト値、画角は、初期状態ではｐ０，ｔ０，ｚ０に設定さ
れているものとする。

【００３４】まず全体制御手段１は図３の（ａ）と
（ｂ）の２つの動作シーケンスの１行目を読み、起動す
る条件を調べる。初期状態ではシーン切り替えフラグ１
１０は１に設定されているので、（ａ）が起動される。

【００３５】次に全体制御手段１は（ａ）の２行目（以
下「（ａ）の」は省略する）の命令を読んで、カメラ４
に画像を送るように指示し、画像を受け取ると画像バッ
ファＡ１０１に格納する。図１６の画像がこの画像の例
とする。

【００３６】次に全体制御手段１は３行目の命令を読む
と、文字領域抽出手段４に画像バッファＡ１０１の画像
を送り、文字領域の位置・大きさ情報を１個の文字領域
について抽出するよう指示する。その際には、文字領域
の特徴量を指定できるものとする。この指定は省略も可
能とする。文字領域の特徴量には、形状、大きさ、色、
縦横比、等があるが、本実施形態例では形状はすべて長
方形とし、特徴量としては長方形の縦横比（縦辺を横辺
で割った値）だけを用いる。図３の（ａ）の例では、縦
横比として１．０が指定されているので、正方形に近い
四角形だけが抽出の対象となる。

【００３７】文字領域抽出手段５は送られた画像から、
指定された特徴量に該当する文字領域を１個抽出するこ
とを試みる。抽出に成功した場合は、成功の結果情報
（数字の１で表す）、抽出した文字領域の位置・大きさ
の情報（外接する最小の正方形の中心座標と一辺の長
さ）、送られた画像情報から抽出した文字領域の画像を
除去した画像、の３種類の情報を全体制御手段１に返
す。抽出に失敗した場合は、失敗の結果情報（数字の０
で表す）を全体制御手段１に返す。この場合は抽出に成
功し、図４の画像から図５のように１個の文字領域が抽
出されたとする。文字領域の抽出については、例えば文
献「船越、美濃、坂井：“情景画像中の文字抽出の検
討”、電子情報学会昭和６２年全国大会１５０３（ｐｐ
６−１８１）」に示されているように、画素の明度を用
いた画素統合によって領域分割を行い、各領域を多角形
近似した後でその中から平行四辺形らしい領域を抽出す
る方法を使えば良い。さらに、図５の結果から外接する
最小の正方形の中心座標と一辺の長さを算出したのが図
６、図１６の画像から図５の画像を除去した画像が図７
である。画像の座標系は図６に示すように、画像の中心
を原点とした、水平右向きをＸ軸、垂直上向きをＹ軸と
する。この場合に文字領域抽出手段５から全体制御手段
１に返される情報は、成功の結果情報「１」と、外接す
る最小の正方形の中心および一辺の長さと、図７の画像
である。

【００３８】これに対し、全体制御手段１は、成功ある
いは失敗の結果情報を処理結果フラグ１０３に格納し、
抽出に成功した場合はさらに抽出した文字領域の位置・
大きさの情報を文字領域位置・大きさ格納部１０４に格
納し、抽出した文字領域の画像を除去した画像を元々の
画像バッファＡ１０１に上書きする。

【００３９】次に全体制御手段１は４行目の命令を読む
と、処理結果フラグ１０３の値が０であれば８行目に分
岐しようとする。この場合には処理結果フラグ１０３の
値は０でないので分岐しない。

【００４０】次に全体制御手段１は５行目の命令を読む
と、文字領域位置・大きさ格納部１０４の値からカメラ
制御値を計算し、結果をカメラ制御値格納部１０５に格
納する。

【００４１】上記計算は、例として、画像を取り込んだ
時のパン角度、チルト角度、画角、の３つの値から、文
字領域の中心（Ｘ０，Ｙ０）と中心からの縁までの最大
距離（Ｌ０）の２つの値を用いて新しいパン角度、チル
ト角度、画角を計算する以下の方法を示す（本実施形態
例では、画像の全体のサイズは、縦方向も横方向も同じ
とする）。

【００４２】 新画角＝元の画角×Ｌ０×２／画像の全体サイズ 新チルト角度値＝元の画角×Ｙ０／画像の全体サイズ 新パン角度値＝元の画角×Ｘ０／画像の全体サイズ 次に全体制御手段１は６行目の命令を読むと、カメラ制
御値格納部１０５に格納されたカメラ制御値を用いてカ
メラ４を制御する。

【００４３】次に全体制御手段１は７行目の命令を読む
と、シーン切り替えフラグ１１０の値を０に設定する。

【００４４】次に全体制御手段１は８行目の命令を読む
と、このシーンの動作シーケンスを終了する。

【００４５】次に全体制御手段１は図３の（ａ）と
（ｂ）の２つの動作シーケンスの１行目を読み、起動す
る条件を調べる。初期状態ではシーン切り替えフラグ１
１０は０に設定されているので、（ｂ）が起動される。

【００４６】次に全体制御手段１は（ｂ）の２行目（以
下、「（ｂ）の」は省略する）の命令を読むと、カメラ
４に画像を送るように指示し、画像を受け取ると画像バ
ッファＢ１０２に格納する。画像の例を図８に示す。こ
の場合にはカメラが文字領域を拡大するように制御され
ているので、拡大された文字領域の画像が得られる。

【００４７】次に全体制御手段１は３行目の命令を読む
と、文字領域抽出手段５に画像バッファＢ１０２の画像
を送り、文字領域を１個抽出するよう指示する。縦横比
の引数は省略されているので、文字領域抽出手段５は送
られた画像から任意の縦横比の文字領域を１個抽出する
ことを試みる。抽出に成功した場合は、成功の結果情報
（数字の１で表す）、送られた画像情報から抽出した文
字領域の画像、の２種類の情報を全体制御手段１に返
す。抽出に失敗した場合は、失敗の結果情報（数字の０
で表す）を全体制御手段１に返す。この場合は抽出に成
功し、図８の画像から図９のように文字領域が抽出され
たとする。全体制御手段１は抽出の成功あるいは失敗の
情報を処理結果フラグ１０３に格納し、抽出された文字
領域の画像を画像バッファＢ１０２に格納する。

【００４８】次に全体制御手段１は４行目の命令を読む
と、画像補正変換手段６に画像バッファＢ１０２の画像
を送る。画像補正変換手段６は画像の３次元的な傾斜に
よる歪みを補正し、回転を補正し、各画素を文字パター
ンに含まれるか否かを推定して含まれるグループと含ま
れないグループの２種類に分けた２値画像を作成する。
画像の３次元的な傾斜による歪みの補正は、まず文字領
域の外縁の四角形の歪みを利用した平面の傾斜角度の推
定を行う。四角形の歪みを利用した平面の傾斜角度の推
定方法については、例えば文献「鈴本、小林、中村、小
倉：“撮像射影歪みを利用した文字平面の単眼視姿勢推
定”、１９９７年電子情報通信学会全国大会予稿集Ｄ−
１２−５８」で提案されている方法がある。次にこの推
定角度を用いて画像の３次元的な傾斜による歪みを補正
する。回転の補正は、文字領域の外縁の四角形の縦の辺
が垂直軸と平行に、横の辺が水平軸と平行になるように
回転させる。また２値画像の作成は、例えば画素の濃度
に一定の閾値を設定し、その閾値より高ければ文字に含
まれるとして１、低ければ０とすることで行える。この
結果を図１０に示す。そしてこうして作成した２値画像
を全体制御手段１に返す。全体制御手段１は画像バッフ
ァＢ１０２に格納する。

【００４９】次に全体制御手段１は５行目の命令を読む
と、文字切り出し手段６に画像バッファＢ１０２の文字
領域の画像と記入方向の種別（縦書き）を送り、個別の
文字パターンの切り出しを行うように指示する。

【００５０】文字切り出し手段５はまず送られた文字領
域の画像から指定された記入方向の情報に従って黒画素
の射影を取り、周辺分布を作成する。本例では縦書きが
指定されているので、垂直軸に平行に射影を取る。図１
０の射影を取った結果を図１１に示す。そして図１１の
下に示すように、周辺分布のグラフから、黒画素が多く
分布する範囲を行として抽出する。これは物理的には図
１２の灰色で示した２つの領域を行として抽出したこと
になる。そして各行の領域について、次に水平軸に平行
に射影を取り、黒画素が多く分布する範囲を抽出し、こ
れにより個別の文字パターンを切り出す。結果を図１３
に示す。そして結果を全体制御手段１に返す。全体制御
手段１は、返された文字パターンを文字パターン格納部
１０６に格納する。

【００５１】次に全体制御手段１は６行目の命令を読む
と、文字パターン格納部１０６に格納した文字パターン
と文字種情報（漢字）を送り、文字認識手段７に個別の
文字パターンの認識を指定した文字種の認識辞書で行う
よう指示する。文字認識手段７は、認識結果を候補文字
の集合で表し、それを全体制御手段１に返す。この例で
は、１行目は｛束東米｝、｛京景｝、｛都群｝、２行目
は｛島長｝、｛野｝、｛星粟県｝が返されるとする。全
体制御手段１は、返された認識結果を認識結果格納部１
０７に格納する。

【００５２】次に全体制御手段１は７行目の命令を読む
と、データベース照合手段８に認識結果格納部１０７に
格納した文字認識結果とデータベースファイル名（この
例ではＤＩＣ１．ｄａｔ）を送り、認識結果と指定した
ファイル名に該当するデータベースと照合することを指
示する。住所の単語データベースとして、ここでは例と
して、｛栃木県、茨城県、東京都、神奈川県、長野県、
愛知県、長崎県、福島県、鳥取県、山口県、島根県｝の
１２県名から構成され、ファイル名をＤＩＣ１．ｄａｔ
とする。この場合は記入方向（縦書き）と文字種（漢
字）が正しく指示されていたので認識結果には全て正解
文字が含まれており、住所の単語データベースとの照合
により正しく「東京都」と「長野県」が処理結果として
得られる。データベース照合手段８はこの結果の文字列
を、処理が成功した情報「１」と共に全体制御手段１に
返す。成功しなかった場合には「０」を返す。全体制御
手段１は、返された処理の成功／失敗情報を処理結果フ
ラグ１０３に、データベース照合結果の文字列をデータ
ベース照合結果格納部１０８に格納する。

【００５３】次に全体制御手段１は８行目の命令を読む
と、はデータベース照合結果を出力する。出力の形態と
しては、ここでは例としてファイルに出力するものと
し、「東京都」と「長野県」がファイル出力される。

【００５４】次に全体制御手段１は９行目の命令を読む
と、カメラの制御値であるパン値、チルト値、画角を、
初期状態のｐ０，ｔ０，ｚ０に設定する。

【００５５】次に全体制御手段１は１０行目の命令を読
むと、シーン切り替えフラグ１１０の値を１に設定す
る。

【００５６】次に全体制御手段１は１１行目の命令を読
むと、文字領域を拡大したシーンの動作シーケンスを終
了する。

【００５７】この後は、もう一つのカードについても同
様に読み取られ、ファイル出力される。

【００５８】次に、従来技術に対する課題で説明した第
２のアプリケーションに対応するための動作シーケンス
格納テーブルの内容の例を図２、図１４に示す。この例
では、２枚のカードを読むためのカメラ制御値であるパ
ン値、チルト値、画角の３つの値を２組用意し（ｐ１，
ｔ１，ｚ１の組、およびｐ２，ｔ２，ｚ２の組）、カメ
ラを２回駆動して２枚のカードを別々に読む。１枚目の
カードを読む動作が１行目から８行目で表され、２枚目
のカードを読む動作が９行目から１６行目で表される。
１行目と２行目はカメラ制御の命令、２行目と１０行目
は画像をカメラから入力して画像バッファＡ１０１に入
れる命令、３行目と１１行目は画像バッファＡ１０１か
ら文字領域を抽出して画像バッファＡ１０１に入れる命
令、４行目と１２行目は画像の補正変換を行って２値画
像を作る命令である。また５行目と１３行目は文字切り
出しを行う命令であるが、対象が横書きなので、記入方
向を「２」（横書き指定）としている。また６行目と１
４行目は文字認識を行う命令であるが、対象が英字なの
で、認識対象字種を、「２」（英字指定）としている。
また７行目と１５行目はデータベース照合を行う命令で
あるが、対象がローマ字の県名であり、例えば｛ＴＯＣ
ＨＩＧＩ，ＩＢＡＲＡＫＩ，ＴＯＫＹＯ，ＫＡＮＡＧＡ
ＷＡ，ＮＡＧＡＮＯ，ＡＩＣＨＩ，ＮＡＧＡＳＡＫＩ，
ＦＵＫＵＳＨＩＭＡ，ＴＯＴＯＲＩ，ＹＡＭＡＧＵＣＨ
Ｉ，ＳＨＩＭＡＮＥ｝を用いることとし（ファイル名を
ＤＩＣ２．ｄａｔとする）、この場合は読み取りが正し
く行われ、カード１からはＴＯＫＹＯとＮＡＧＡＮＯ、
カード２からはＳＨＩＭＡＮＥとＡＩＣＨＩが読み取ら
れたとする。また８行目と１６行目は出力であり、この
場合はＴＯＫＹＯとＮＧＡＮＯ，ＳＨＩＭＡＮＥとＡＩ
ＣＨＩがファイル出力される。そして１７行目で終了す
る。

【００５９】なお、本発明は、データベースや動作シー
ケンス格納テーブル等のデータを保存し、それらを自由
に読み出し可能なハードディスクやそれに準ずる装置
と、カメラ制御値算出、文字領域抽出、画像補正変換、
文字切り出し、文字認識、データベース照合等の処理を
行う際にデータの保持等に必要なバッファやそれに準ず
る装置と、データベース照合の結果等を表示、出力する
ディスプレイなどの出力装置と、あらかじめ動作シーケ
ンスの設定、格納等を行うためのキーボードやマウス等
の入力装置を備え、それらハードディスク、バッファ、
出力装置及び入力装置などをあらかじめ動作シーケンス
格納テーブルに格納された動作シーケンスに基いて制御
するコンピュータやそれに準ずる装置により、図１を用
いて説明した、カメラ制御値算出、文字領域抽出、画像
補正変換、文字切り出し、文字認識、データベース照合
等の各部機能を実現する処理の手順ないしアルゴリズム
を適宜、実行することが可能であり、その手順ないしア
ルゴリズムをコンピュータ等に実行させるためのプログ
ラムを該コンピュータが読み取り可能な媒体、例えばフ
ロッピーディスクやメモリカード、ＭＯ、ＣＤ−ＲＯＭ
などに記録して配布することが可能である。

【００６０】

【発明の効果】以上、詳細に説明した如く、本発明によ
れば、景観画像中文字読み取りを行う方法および装置に
おいて、カメラを能動的に制御する方式の導入により、
小さすぎて読めない文字領域の文字もカメラの視線方向
と画角を調整することで拡大して読むようにし、かつ装
置の動作シーケンスを簡単な命令の組み合わせによって
記述可能とすることにより、多くの目的に利用でき、か
つ文字読み取り能力が高い景観画像中文字読み取りの手
段が実現できるという顕著な効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施形態例の処理内容と装置構成を
説明するためのブロック図である。

【図２】本発明の一実施形態例における動作シーケンス
格納テーブルにおいて使用できる命令の一覧を示す図で
ある。

【図３】従来技術が適用できない第１の適用対象を本発
明の実施形態例で実現するための動作シーケンス格納テ
ーブルの内容の例を示す図であり、（ａ）は全体を撮影
したシーンの動作シーケンスの記述を示した図、（ｂ）
は特定の文字領域を拡大したシーンの動作シーケンスの
記述を示した図である。

【図４】本発明の一実施形態例における全体制御手段の
詳細構造を示す図である。

【図５】図１６に示す画像から文字領域を抽出した結果
を表す図である。

【図６】図１６に示す画像から文字領域の位置と大きさ
を抽出した結果を表す図である。

【図７】図１６に示す画像から図５で示した文字領域の
画像を除去した結果を表す図である。

【図８】図５で示した文字領域をカメラを制御して拡大
した画像を示す図である。

【図９】図８で示した画像から文字領域を抽出した結果
を示す図である。

【図１０】図９で示した文字領域の画像に対して３次元
的な傾斜による歪みを補正し、回転を補正し、２値化し
た画像を示す図である。

【図１１】図１０で示した文字領域の２値画像に対して
縦方向の射影を取る過程を示す図である。

【図１２】図１０で示した文字領域の２値画像から行を
切り出した結果を示す図である。

【図１３】図１０で示した文字領域の２値画像から個別
の文字パターンを切り出した結果を示す図である。

【図１４】従来技術が適用できない第２の適用対象を本
発明の実施形態例で実現するための動作シーケンス格納
テーブルの内容の例を示す図である。

【図１５】従来技術の処理内容と装置構成を説明するブ
ロック図である。

【図１６】従来技術が適用できない第１の適用対象を説
明するための画像例を示す図である。

【図１７】従来技術が適用できない第２の適用対象を説
明するための画像例を示す図である。

【符号の説明】

１…全体制御手段 ２…動作シーケンス格納テーブル ３…カメラ制御値算出手段 ４…カメラ ５…文字領域抽出手段 ６…画像補正変換手段 ７…文字切り出し手段 ８…文字認識手段 ９…データベース照合手段 １０１…画像バッファＡ １０２…画像バッファＢ １０３…処理結果フラグ １０４…文字領域位置・大きさ格納部 １０５…カメラ制御値格納部 １０６…文字パターン格納部 １０７…認識結果格納部 １０８…データベース照合結果格納部 １０９…命令解釈・実行部 １１０…シーン切り替えフラグ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小倉 健司 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内

Claims (7)

【特許請求の範囲】
1. 【請求項１】 視線方向と画角を外部からの信号により
   制御可能なカメラを用いて景観画像中の文字を読み取る
   景観画像中文字読み取り方法において、 景観画像から文字の含まれる文字領域を抽出する手順
   と、 前記抽出された文字領域の情報から、該文字領域を拡大
   するためのカメラの制御値を算出する処理手順と、 前記算出されたカメラの制御値によりカメラを制御し、
   拡大された文字領域を得る処理手順と、 前記拡大された文字領域から文字領域を抽出する処理手
   順と、 前記抽出された文字領域の画像の３次元的な傾斜による
   歪みを補正し、回転を補正し、各画素を文字パターンに
   含まれるか否かを推定して含まれるグループと含まれな
   いグループの２種類に分けた２値画像を作成する処理手
   順と、 前記文字領域の２値画像から個別の文字パターンを切り
   出す手順と、 前記切り出した文字パターンを認識して文字列の候補文
   字を出力する処理手順と、 前記文字列の候補文字の集合を検索キーとしてデータベ
   ースと照合する処理手順と、 前記データベース照合の結果を出力する処理手順と、を
   有し、 予め動作させる前記処理手順とその順序を示す動作シー
   ケンスをテーブルに設定し格納する手順と、 前記テーブルに格納された動作シーケンスに従って前記
   処理手順を実行する手順を有する、 ことを特徴とする景観画像中文字読み取り方法。
2. 【請求項２】 請求項１記載の景観画像中文字読み取り
   方法において、 前記動作シーケンスをテーブルに設定し格納する手順で
   は、前記動作シーケンスを格納するテーブルに抽出対象
   である文字領域の特徴を記録することを許容し、 前記文字領域を抽出する処理手順では、前記特徴を有す
   る文字領域を抽出する、 ことを特徴とする景観画像中文字読み取り方法。
3. 【請求項３】 請求項１または請求項２記載の景観画像
   中文字読み取り方法において、 前記動作シーケンスをテーブルに設定し格納する手順で
   は、処理手順において出現する各シーン毎に独立したテ
   ーブルに動作シーケンスを記述することを許容し、前記
   各シーンの動作シーケンス毎に、起動するための条件を
   設け、 前記動作シーケンスに従って前記手順を実行する手順で
   は、該起動するための条件を満足するシーンの動作シー
   ケンスを探して起動する、 ことを特徴とする景観画像中文字読み取り方法。
4. 【請求項４】 視線方向と画角を外部からの信号により
   制御可能なカメラを用いた景観画像中の文字を読み取る
   景観画像中文字読み取り装置において、 景観画像もしくはカメラ制御値で制御されたカメラの文
   字領域の画像から文字の含まれる文字領域を抽出する文
   字領域抽出手段と、 前記文字領域抽出手段で景観画像から抽出された文字領
   域の情報から、該文字領域を拡大するための前記カメラ
   制御値を算出するカメラ制御値算出手段と、 前記文字領域の画像の３次元的な傾斜による歪みを補正
   し、回転を補正し、各画素を文字パターンに含まれるか
   否かを推定して含まれるグループと含まれないグループ
   の２種類に分けた２値画像を作成する画像補正変換手段
   と、 前記文字領域の２値画像から個別の文字パターンを切り
   出す文字切り出し手段と、 前記切り出した文字パターンを認識して候補文字の文字
   列を出力する文字認識手段と、 前記文字列の候補文字の集合を検索キーとしてデータベ
   ースを照合するデータベース検索手段と、 動作シーケンスに従って前記各手段を制御し、かつデー
   タベースの照合の結果を出力手段を介して出力する全体
   制御手段と、 前記全体制御手段の動作シーケンスを格納する動作シー
   ケンス格納テーブルと、 を備えることを特徴とする景観画像中文字読み取り装
   置。
5. 【請求項５】 請求項４記載の景観画像中文字読み取り
   装置において、 前記動作シーケンス格納テーブルは、抽出対象である文
   字領域の特徴を記録することを許容するものであり、 前記文字領域抽出手段は、前記特徴を文字領域抽出の処
   理に利用するものである、 ことを特徴とする景観画像中文字読み取り装置。
6. 【請求項６】 請求項４または請求項５記載の景観画像
   中文字読み取り装置において、 前記動作シーケンス格納テーブルは、処理において出現
   する各シーン毎に独立した動作シーケンス格納テーブル
   に記述することを許容し、起動するための条件を設ける
   ものであり、 前記全体制御手段は、前記各シーンの動作シーケンス毎
   に、前記起動するための条件を満足するシーンの動作シ
   ーケンスを探して起動するものである、 ことを特徴とする景観画像中文字読み取り装置。
7. 【請求項７】 請求項１，２，３のいずれかに記載の景
   観画像中文字読み取り方法の手順および処理手順を、コ
   ンピュータで実行するプログラムとして前記コンピュー
   タが読み取り可能な記録媒体に記録した、 ことを特徴とする景観画像中文字読み取り方法を記録し
   た記録媒体。