WO2005066882A1 - 文字認識装置、移動通信システム、移動端末装置、固定局装置、文字認識方法および文字認識プログラム - Google Patents

Abstract

　移動可能なカメラで撮影した情景画像中に含まれうる単語を、単語辞書もしくは地図データベースを用いて効率的に抽出できるようにする。 　位置情報取得手段１０１は、装置の現在位置を測位して位置情報を取得する。方位情報取得手段１０２は、装置の向きを検出して方位情報を取得する。文字列認識手段１０４は、現在位置情報と方位情報とにもとづいて、情景画像の撮影範囲を特定する。文字列認識手段１０４は、撮影範囲の位置に対応づけられている店舗名、建築物名および地名などの情報を、地図データベース１０３から抽出する。そして、文字列認識手段１０４は、抽出した店舗名、建築物名および地名などの単語知識を用いて文字認識を行う。

Description

文字認識装置、移動通信システム、移動端末装置、固定局装置、文字認 識方法および文字認識プログラム

技術分野

[0001] 本発明は、画像に含まれる文字を認識する文字認識装置、移動通信システム、移 動端末装置、固定局装置、文字認識方法、文字認識プログラム、移動端末装置の情 報送受信プログラム、および固定局装置の情報抽出プログラムに関し、特に、移動可 能なカメラが撮影した情景画像中の道路標識、店舗看板およびポスタなどに記載さ れている地名、道路名、店舗名、ビル名、広告文および人名などの文字情報を読み 取る文字認識装置、移動通信システム、移動端末装置、固定局装置、文字認識方法 、文字認識プログラム、情報送受信プログラムおよび情報抽出プログラムに関する。 背景技術

[0002] ビデオカメラやデジタルカメラなどで撮影した情景画像中から文字情報を認識する 文字認識装置力 ^、くつか知られている。これらの文字認識装置では、照明変動や文 字歪みなどがある場合でも高 ヽ認識精度を得るために、一般に認識対象の文字列 に関する単語知識 (単語情報)が文字認識処理に利用される。

[0003] 例えば、特許文献 1には、情景画像中から看板広告主に関する文字情報を抽出す る文字認識装置が記載されている。特許文献 1に記載された文字認識装置は、画像 中から看板広告主名および電話番号を読み取る。文字認識装置は、読み取った文 字列と電話帳データベースなどに含まれる単語との一致文字数を計数して認識スコ ァを計算する。そして、文字認識装置は、最大の認識スコアが得られた看板広告主 情報を最終認識結果とする。

[0004] また、特許文献 2には、携帯端末が撮像した画像の文字認識を行う携帯端末型画 像処理システムが記載されて！ヽる。特許文献 2に記載された携帯端末型画像処理シ ステムでは、 GPS (Global Positioning System )など力も得られる位置情報と専用単 語辞書とが関連づけられている。そして、携帯端末型画像処理システムのサーバは、 装置 (携帯端末)の現在位置情報に対応する専用単語辞書を用いて文字認識を行う 。例えば、ユーザがレストランにいる場合には、サーバは、レストランで使用される確 率が高い郷土料理のメニューなどの単語知識を含んだ専用辞書を選択して用いる。 特許文献 1 :特許第 3360030号公報 (第 4-6頁、第 1-4図）

特許文献 2 :特開 2003— 178067号公報 (第 14-15頁、第 20図）

発明の開示

発明が解決しょうとする課題

[0005] 特許文献 1に記載された文字認識装置または特許文献 2に記載された携帯端末型 画像処理システムにおいて、不必要に多くの単語知識を用いると、認識速度が低下 するとともに、類似単語の増大などによって認識精度が低下する可能性がある。従つ て、文字認識の高速ィ匕および精度向上が十分に行えない場合がある。

[0006] また、特許文献 1に記載された文字認識装置によれば、電話帳データベースなどに 含まれる単語との照合を行うことによって、認識精度の向上を図っている。しかし、電 話帳データベースなどに含まれる大量の単語知識との照合が必要となり、文字認識 処理の高速ィ匕および精度向上が十分に行えない可能性がある。

[0007] また、特許文献 2に記載された携帯型画像処理システムによれば、装置の現在位 置情報を用いて、入力画像に含まれる可能性の高い単語だけを収録した専用単語 辞書を文字認識に利用することにより、ある程度は文字認識速度を高速化することが でき、文字認識精度を高めることができる。

[0008] しかし、情景画像 (入力画像）として、カメラ力ゝら数メートルな ヽし数十メートル離れた 位置の情景が撮像されるので、 GPSからの位置情報のみにもとづ 、て辞書選択を行 うと、現在位置を中心とする半径数十メートルの円内の範囲に対応する全ての単語 知識 (専用単語辞書)を用いて文字認識を行わなければならない。そのため、移動可 能なカメラで撮影した情景画像中に含まれうる単語を、単語辞書もしくは地図データ ベース力 十分に効率的に抽出できない場合があり、文字認識の高速ィ匕および精度 向上の余地がある。

[0009] また、特許文献 2に記載された携帯型画像処理システムよれば、位置情報に直接 対応づけられた単語知識を文字認識に用いることはできる。しかし、位置情報に直接 対応づけられて 、な 、種類の単語情報を文字認識に用いることはできな 、。 [0010] そこで、本発明は、移動可能なカメラで撮影した情景画像中に含まれうる単語を、 単語辞書もしくは地図データベースを用いて効率的に抽出できる文字認識装置、移 動通信システム、移動端末装置、固定局装置、文字認識方法、文字認識プログラム 、情報送受信プログラムおよび情報抽出プログラムを提供することを目的とする。また 、本発明は、位置情報に直接対応づけられていない種類の単語情報をも用いて文 字認識できる文字認識装置、移動通信システム、移動端末装置、固定局装置、文字 認識方法、文字認識プログラム、情報送受信プログラムおよび情報抽出プログラムを 提供することを目的とする。

課題を解決するための手段

[0011] 本発明による文字認識装置は、画像を撮影する画像撮影手段と、画像の撮影位置 を測位して、撮影位置を示す撮影位置情報を求める位置測位手段と、画像の撮影 方向を検出して、撮影方向を示す撮影方位情報を求める方位検出手段と、各場所 の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置 対応情報記憶手段と、撮影位置情報および撮影方位情報にもとづいて、画像撮影 手段による撮影対象となった範囲を特定し、範囲に含まれる位置に対応づけられた 位置対応情報を位置対応情報記憶手段から抽出する位置対応情報抽出手段と、位 置対応情報抽出手段によって抽出された位置対応情報を用いて、画像撮影手段が 撮影した画像中に含まれる文字または文字列を認識する文字認識手段とを備えたこ とを特徴とする。なお、位置対応情報とは、例えば、地図データベース 103が記憶す る交通網情報、地名情報、建築物情報および店舗情報などの単語情報である。

[0012] また、文字認識装置は、位置情報と対応づけられて ヽな 、語である位置非対応情 報を記憶する位置非対応情報記憶手段と、位置対応情報抽出手段によって抽出さ れた位置対応情報にもとづ!/、て、位置非対応情報記憶手段から位置非対応情報を 抽出する位置非対応情報抽出手段とを備え、文字認識手段は、位置対応情報抽出 手段によって抽出された位置対応情報と、位置非対応情報抽出手段によって抽出さ れた位置非対応情報とを用いて、画像中に含まれる文字または文字列を認識するも のであってもよい。そのような構成によれば、位置対応情報記憶手段から抽出した単 語と関連する非地理的な位置非対応情報を、位置非対応情報記憶手段から抽出し て文字認識に利用できるので、人名、商品名または日付など位置情報に直接対応 づけられない文字列などの認識精度を高めることができる。

[0013] また、位置非対応情報記憶手段は、位置情報と対応づけられて 、な!、語の集合で あって、少なくとも 1つの語が位置対応情報と同一となっている語の集合を位置非対 応情報として記憶し、位置非対応情報抽出手段は、位置対応情報抽出手段によって 抽出された位置対応情報をキーとして、位置非対応情報記憶手段から位置非対応 情報を抽出するものであってもよい。そのような構成によれば、位置非対応情報に含 まれる単語を容易に抽出して、文字認識処理に用いることができる。

[0014] また、本発明による移動通信システムは、移動端末装置と固定局装置とが無線伝 送路を介して通信を行う移動通信システムにおいて、移動端末装置は、画像を撮影 する画像撮影手段と、画像の撮影位置を測位して、撮影位置を示す撮影位置情報 を求める位置測位手段と、画像の撮影方向を検出して、撮影方向を示す撮影方位 情報を求める方位検出手段と、撮影位置情報、撮影方位情報および画像撮影手段 によって撮影された画像を、通信ネットワークを介して固定局装置に送信する移動端 末側情報送信手段とを備え、固定局装置は、各場所の位置を示す各位置情報に対 応づけられた語である位置対応情報を記憶する位置対応情報記憶手段と、移動端 末側情報送信手段から受信した撮影位置情報および撮影方位情報にもとづいて、 画像撮影手段による撮影対象となった範囲を特定し、範囲に含まれる位置に対応づ けられた位置対応情報を位置対応情報記憶手段力 抽出する位置対応情報抽出手 段と、位置対応情報抽出手段によって抽出された位置対応情報を用いて、移動端末 側情報送信手段力 受信した画像中に含まれる文字または文字列を認識する文字 認識手段と、文字認識手段が認識した文字または文字列の情報を、通信ネットワーク を介して移動端末装置に送信する固定局側情報送信手段とを備えたものであっても よい。そのような構成によれば、移動端末装置は位置対応情報記憶手段および文字 認識手段を備える必要がな 、ので、移動端末装置の構成を簡略ィ匕することができる

[0015] また、固定局装置は、位置情報と対応づけられて 、な 、語である位置非対応情報 を記憶する位置非対応情報記憶手段と、位置対応情報抽出手段によって抽出され た位置対応情報にもとづ!/、て、位置非対応情報記憶手段から位置非対応情報を抽 出する位置非対応情報抽出手段とを備え、文字認識手段は、位置対応情報抽出手 段によって抽出された位置対応情報と、位置非対応情報抽出手段によって抽出され た位置非対応情報とを用いて、画像中に含まれる文字または文字列を認識するもの であってもよい。そのような構成によれば、移動端末装置の構成を簡略化するととも に、位置情報と直接関連のな 、文字列などの文字認識精度を高めることができる。

[0016] また、移動端末装置は、文字認識手段が認識した文字または文字列の情報を、通 信ネットワークを介して固定局側情報送信手段から受信する移動端末側情報受信手 段と、受信した文字または文字列の情報を出力する出力手段とを備えたものであつ てもよい。そのような構成によれば、移動端末のユーザに、文字認識の結果情報を、 表示部に表示したり音声出力することによって提供することができる。なお、文字また は文字列の情報を出力するとは、例えば、文字または文字列の情報を、表示部に表 示したり、音声出力部に出力したりすることである。

[0017] また、移動通信システムは、移動端末装置と固定局装置とが無線伝送路を介して 通信を行う移動通信システムにおいて、移動端末装置は、画像を撮影する画像撮影 手段と、画像の撮影位置を測位して、撮影位置を示す撮影位置情報を求める位置 測位手段と、画像の撮影方向を検出して、撮影方向を示す撮影方位情報を求める 方位検出手段と、撮影位置情報および撮影方位情報を、通信ネットワークを介して 固定局装置に送信する移動端末側情報送信手段と、画像撮影手段が撮影した画像 中に含まれる文字または文字列を認識する文字認識手段とを備え、固定局装置は、 各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶す る固定局側位置対応情報記憶手段と、移動端末側情報送信手段から受信した撮影 位置情報および撮影方位情報にもとづ ヽて、画像撮影手段による撮影対象となった 範囲を特定し、範囲に含まれる位置に対応づけられた位置対応情報を固定局側位 置対応情報記憶手段から抽出する固定局側位置対応情報抽出手段と、位置情報と 対応づけられて ヽな 、語である位置非対応情報を記憶する位置非対応情報記憶手 段と、固定局側位置対応情報抽出手段によって抽出された位置対応情報にもとづい て、位置非対応情報記憶手段から位置非対応情報を抽出する位置非対応情報抽出 手段と、位置非対応情報抽出手段によって抽出された位置非対応情報を、通信ネッ トワークを介して移動端末装置に送信する固定局側情報送信手段とを備え、文字認 識手段は、固定局側情報送信手段から受信した位置非対応情報を用いて、画像中 に含まれる文字または文字列を認識するものであってもよい。そのような構成によれ ば、位置非対応情報の検索処理を固定局内で行うので、移動端末装置の処理負担 を軽減し、移動端末装置に要求される計算能力が高くなくてすむ。また、位置非対応 情報を記憶するデータベースが固定局側で一元管理されるので、メンテナンスがし やすぐ保守性を向上させることができる。

[0018] また、移動端末装置は、各場所の位置を示す各位置情報に対応づけられた語であ る位置対応情報を記憶する移動端末側位置対応情報記憶手段と、撮影位置情報お よび撮影方位情報にもとづ ヽて、画像撮影手段による撮影対象となった範囲を特定 し、範囲に含まれる位置に対応づけられた位置対応情報を移動端末側位置対応情 報記憶手段から抽出する移動端末側位置対応情報抽出手段とを備え、文字認識手 段は、固定局側情報送信手段から受信した位置非対応情報と、移動端末側位置対 応情報抽出手段によって抽出された位置対応情報とを用いて、画像中に含まれる文 字または文字列を認識するものであってもよい。そのような構成によれば、位置非対 応情報に限定して送信することによって、固定局装置が移動端末装置に送信するデ 一タ量を低減することができる。

[0019] また、固定局側情報送信手段は、位置非対応情報抽出手段によって抽出された位 置非対応情報と、固定局側位置対応情報抽出手段によって抽出された位置対応情 報とを、通信ネットワークを介して移動端末装置に送信し、文字認識手段は、固定局 側情報送信手段から受信した位置非対応情報と位置対応情報とを用いて、画像中 に含まれる文字または文字列を認識するものであってもよい。そのような構成によれ ば、位置非対応情報のみを送信する場合と比較して、更に移動端末装置の処理負 担を軽減することができ、移動端末装置に要求される計算能力が高くなくてすむ。

[0020] また、位置非対応情報記憶手段は、位置情報と対応づけられて 、な!、語の集合で あって、少なくとも 1つの語が位置対応情報と同一となっている語の集合を位置非対 応情報として記憶し、位置非対応情報抽出手段は、固定局側位置対応情報抽出手 段によって抽出された位置対応情報をキーとして、位置非対応情報記憶手段から位 置非対応情報を抽出するものであってもよい。そのような構成によれば、位置非対応 情報に含まれる単語を容易に抽出して、文字認識処理に用いることができる。

[0021] 本発明による移動端末装置は、画像中に含まれる文字または文字列を認識する文 字認識処理を実行する固定局装置と情報を送受信する移動端末装置であって、画 像を撮影する画像撮影手段と、画像の撮影位置を測位して、撮影位置を示す撮影 位置情報を求める位置測位手段と、画像の撮影方向を検出して、撮影方向を示す 撮影方位情報を求める方位検出手段と、撮影位置情報、撮影方位情報および画像 撮影手段によって撮影された画像を、通信ネットワークを介して固定局装置に送信す る移動端末側情報送信手段と、固定局装置が撮影位置情報および撮影方位情報を 用いた画像に対する文字認識処理によって得た文字または文字列の情報を、固定 局装置力 受信する移動端末側情報受信手段とを備えたことを特徴とする。そのよう な構成によれば、移動端末装置は位置対応情報記憶手段および文字認識手段を備 える必要がな 、ので、移動端末装置の構成を簡略ィ匕することができる。

[0022] 本発明による固定局装置は、移動端末装置と情報を送受信する固定局装置であつ て、移動端末装置から、移動端末装置が撮影した画像、画像の撮影位置を示す撮 影位置情報、および画像の撮影方向を示す撮影方位情報を受信する固定局側情報 受信手段と、各場所の位置を示す各位置情報に対応づけられた語である位置対応 情報を記憶する位置対応情報記憶手段と、移動端末装置から受信した撮影位置情 報および撮影方位情報にもとづいて、移動端末装置による撮影対象となった範囲を 特定し、範囲に含まれる位置に対応づけられた位置対応情報を位置対応情報記憶 手段から抽出する位置対応情報抽出手段と、位置対応情報抽出手段によって抽出 された位置対応情報を用いて、移動端末装置から受信した画像中に含まれる文字ま たは文字列を認識する文字認識手段と、文字認識手段が認識した文字または文字 列の情報を、通信ネットワークを介して移動端末装置に送信する固定局側情報送信 手段とを備えたことを特徴とする。そのような構成によれば、移動端末装置は位置対 応情報記憶手段および文字認識手段を備える必要がな 、ので、移動端末装置の構 成を簡略ィ匕することができる。 [0023] また、固定局装置は、位置情報と対応づけられて 、な 、語である位置非対応情報 を記憶する位置非対応情報記憶手段と、位置対応情報抽出手段によって抽出され た位置対応情報にもとづ!/、て、位置非対応情報記憶手段から位置非対応情報を抽 出する位置非対応情報抽出手段とを備え、文字認識手段は、位置対応情報抽出手 段によって抽出された位置対応情報と、位置非対応情報抽出手段によって抽出され た位置非対応情報とを用いて、画像中に含まれる文字または文字列を認識するもの であってもよい。そのような構成によれば、移動端末装置の構成を簡略化するととも に、位置情報と直接関連のな 、文字列などの文字認識精度を高めることができる。

[0024] また、移動端末装置は、固定局装置と情報を送受信し、画像中に含まれる文字ま たは文字列を認識する文字認識処理を実行する移動端末装置であって、画像を撮 影する画像撮影手段と、画像の撮影位置を測位して、撮影位置を示す撮影位置情 報を求める位置測位手段と、画像の撮影方向を検出して、撮影方向を示す撮影方 位情報を求める方位検出手段と、撮影位置情報および撮影方位情報を、通信ネット ワークを介して固定局装置に送信する移動端末側情報送信手段と、各場所の位置 を示す各位置情報に対応づけられて ヽな ヽ語である位置非対応情報であって、固 定局装置が撮影位置情報および撮影方位情報を用いて決定した位置非対応情報 を、固定局装置から受信する移動端末側情報受信手段と、移動端末側情報受信手 段が受信した位置非対応情報を用いて、画像撮影手段が撮影した画像中に含まれ る文字または文字列を認識する文字認識手段とを備えたものであってもよ ヽ。そのよ うな構成によれば、位置非対応情報の検索処理を固定局内で行うので、移動端末装 置の処理負担を軽減し、移動端末装置に要求される計算能力が高くなくてすむ。ま た、位置非対応情報を記憶するデータベースが固定局側で一元管理されるので、メ ンテナンスがしゃすぐ保守性を向上させることができる。

[0025] また、移動端末装置は、各場所の位置を示す各位置情報に対応づけられた語であ る位置対応情報を記憶する移動端末側位置対応情報記憶手段と、撮影位置情報お よび撮影方位情報にもとづ ヽて、画像撮影手段による撮影対象となった範囲を特定 し、範囲に含まれる位置に対応づけられた位置対応情報を移動端末側位置対応情 報記憶手段から抽出する移動端末側位置対応情報抽出手段とを備え、文字認識手 段は、移動端末側情報受信手段が受信した位置非対応情報と、移動端末側位置対 応情報抽出手段によって抽出された位置対応情報とを用いて、画像中に含まれる文 字または文字列を認識するものであってもよい。そのような構成によれば、位置非対 応情報に限定して送信することによって、固定局装置が移動端末装置に送信するデ 一タ量を低減することができる。

[0026] また、固定局装置は、画像中に含まれる文字または文字列を認識する文字認識処 理を実行する移動端末装置と情報を送受信する固定局装置であって、移動端末装 置から、移動端末装置が撮影した画像の撮影位置を示す撮影位置情報、および画 像の撮影方向を示す撮影方位情報を受信する固定局側情報受信手段と、各場所の 位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する固定局 側位置対応情報記憶手段と、固定局側情報受信手段が受信した撮影位置情報およ び撮影方位情報にもとづ ヽて、移動端末装置による撮影対象となった範囲を特定し 、範囲に含まれる位置に対応づけられた位置対応情報を固定局側位置対応情報記 憶手段から抽出する固定局側位置対応情報抽出手段と、位置情報と対応づけられ て!ヽな!ヽ語である位置非対応情報を記憶する位置非対応情報記憶手段と、固定局 側位置対応情報抽出手段によって抽出された位置対応情報にもとづいて、位置非 対応情報記憶手段から位置非対応情報を抽出する位置非対応情報抽出手段と、位 置非対応情報抽出手段によって抽出された位置非対応情報を、通信ネットワークを 介して移動端末装置に送信する固定局側情報送信手段とを備えたものであってもよ い。そのような構成によれば、位置非対応情報の検索処理を固定局内で行うので、 移動端末装置の処理負担を軽減し、移動端末装置に要求される計算能力が高くなく てすむ。また、位置非対応情報を記憶するデータベースが固定局側で一元管理され るので、メンテナンスがしゃすぐ保守性を向上させることができる。

[0027] また、固定局側情報送信手段は、位置非対応情報抽出手段によって抽出された位 置非対応情報と、固定局側位置対応情報抽出手段によって抽出された位置対応情 報とを送信するものであってもよい。そのような構成によれば、位置非対応情報のみ を送信する場合と比較して、更に移動端末装置の処理負担を軽減することができ、 移動端末装置に要求される計算能力が高くなくてすむ。 [0028] 本発明による文字認識方法は、画像撮影手段が、画像を撮影し、位置測位手段が 、画像の撮影位置を測位して、撮影位置を示す撮影位置情報を求め、方位検出手 段が、画像の撮影方向を検出して、撮影方向を示す撮影方位情報を求め、位置対 応情報抽出手段が、撮影位置情報および撮影方位情報にもとづいて、画像撮影手 段による撮影対象となった範囲を特定し、位置対応情報抽出手段が、各場所の位置 を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置対応情 報記憶手段から、範囲に含まれる位置に対応づけられた位置対応情報を抽出し、文 字認識手段が、位置対応情報抽出手段によって抽出された位置対応情報を用いて 、画像撮影手段が撮影した画像中に含まれる文字または文字列を認識することを特 徴とする。

[0029] また、文字認識方法は、位置非対応情報抽出手段が、位置情報と対応づけられて Vヽな ヽ語である位置非対応情報を記憶する位置非対応情報記憶手段から、位置対 応情報抽出手段によって抽出された位置対応情報にもとづいて位置非対応情報を 抽出し、文字認識手段が、位置対応情報抽出手段によって抽出された位置対応情 報と、位置非対応情報抽出手段によって抽出された位置非対応情報とを用いて、画 像中に含まれる文字または文字列を認識するものであってもよい。そのような構成に よれば、位置対応情報記憶手段力 抽出した単語と関連する非地理的な位置非対 応情報を、位置非対応情報記憶手段から抽出して文字認識に利用できるので、人名 、商品名または日付など位置情報に直接対応づけられない文字列などの認識精度 を高めることができる。

[0030] また、文字認識方法は、移動端末装置と固定局装置とが無線伝送路を介して通信 を行う移動通信システムで使用される、画像中に含まれる文字または文字列を認識 する文字認識方法であって、移動端末装置が、画像を撮影し、移動端末装置が、画 像の撮影位置を測位して、撮影位置を示す撮影位置情報を求め、移動端末装置が 、画像の撮影方向を検出して、撮影方向を示す撮影方位情報を求め、移動端末装 置が、撮影位置情報、撮影方位情報および画像撮影手段によって撮影された画像 を、通信ネットワークを介して固定局装置に送信し、固定局装置が、移動端末装置か ら受信した撮影位置情報および撮影方位情報にもとづ ヽて、移動端末装置による撮 影対象となった範囲を特定し、固定局装置が、各場所の位置を示す各位置情報に 対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段から、範 囲に含まれる位置に対応づけられた位置対応情報を抽出し、固定局装置が、抽出し た位置対応情報を用いて、移動端末装置力 受信した画像中に含まれる文字または 文字列を認識し、固定局装置が、認識した文字または文字列の情報を、通信ネットヮ ークを介して移動端末装置に送信するものであってもよい。そのような構成によれば 、移動端末装置は位置対応情報記憶手段および文字認識手段を備える必要がな ヽ ので、移動端末装置の構成を簡略ィ匕することができる。

[0031] また、文字認識方法は、移動端末装置が、固定局装置が認識した文字または文字 列の情報を、通信ネットワークを介して固定局装置力 受信し、移動端末装置が、受 信した前記文字または文字列の情報を出力するものであってもよ!/、。そのような構成 によれば、移動端末のユーザに、文字認識の結果情報を、表示部に表示したり音声 出力すること〖こよって提供することができる。

[0032] また、文字認識方法は、移動端末装置と固定局装置とが無線伝送路を介して通信 を行う移動通信システムで使用される、画像中に含まれる文字または文字列を認識 する文字認識方法であって、移動端末装置が、画像を撮影し、移動端末装置が、画 像の撮影位置を測位して、撮影位置を示す撮影位置情報を求め、移動端末装置が 、画像の撮影方向を検出して、撮影方向を示す撮影方位情報を求め、移動端末装 置が、撮影位置情報および撮影方位情報を、通信ネットワークを介して固定局装置 に送信し、固定局装置が、移動端末装置から受信した撮影位置情報および撮影方 位情報にもとづいて、移動端末装置による撮影対象となった範囲を特定し、固定局 装置が、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報 を記憶する固定局側位置対応情報記憶手段から、範囲に含まれる位置に対応づけ られた位置対応情報を抽出し、固定局装置が、位置情報と対応づけられていない語 である位置非対応情報を記憶する位置非対応情報記憶手段から、固定局側位置対 応情報記憶手段から抽出した位置対応情報にもとづいて位置非対応情報を抽出し、 固定局装置が、抽出した位置非対応情報を、通信ネットワークを介して移動端末装 置に送信し、移動端末装置が、固定局装置から受信した位置非対応情報を用いて、 移動端末装置が撮影した画像中に含まれる文字または文字列を認識するものであつ てもよい。そのような構成によれば、位置非対応情報の検索処理を固定局内で行うの で、移動端末装置の処理負担を軽減し、移動端末装置に要求される計算能力が高く なくてすむ。また、位置非対応情報を記憶するデータベースが固定局側で一元管理 されるので、メンテナンスがしゃすぐ保守性を向上させることができる。

[0033] 本発明による文字認識プログラムは、コンピュータに、画像の撮影位置を示す撮影 位置情報、および画像の撮影方向を示す撮影方位情報にもとづいて、撮影対象とな つた範囲を特定する処理と、各場所の位置を示す各位置情報に対応づけられた語 である位置対応情報を記憶する位置対応情報記憶手段から、範囲に含まれる位置 に対応づけられた位置対応情報を抽出する処理と、抽出した位置対応情報を用いて 、撮影された画像中に含まれる文字または文字列を認識する文字認識処理とを実行 させることを特徴とする。

[0034] また、文字認識プログラムは、コンピュータに、位置情報と対応づけられて 、な！/、語 である位置非対応情報を記憶する位置非対応情報記憶手段から、位置対応情報記 憶手段力 抽出した位置対応情報にもとづいて位置非対応情報を抽出する処理と、 位置対応情報記憶手段から抽出した位置対応情報と、位置非対応情報記憶手段か ら抽出した位置非対応情報とを用いて、画像中に含まれる文字または文字列を認識 する処理とを実行させるものであってもよい。そのような構成によれば、位置対応情報 記憶手段力も抽出した単語と関連する非地理的な位置非対応情報を、位置非対応 情報記憶手段から抽出して文字認識に利用できるので、人名、商品名または日付な ど位置情報に直接対応づけられない文字列などの認識精度を高めることができる。

[0035] 本発明による情報送受信プログラムは、画像中に含まれる文字または文字列を認 識する文字認識処理を実行する固定局装置と情報を送受信する移動端末装置に搭 載される情報送受信プログラムであって、コンピュータに、画像の撮影位置を示す撮 影位置情報、画像の撮影方向を示す撮影方位情報、および撮影された画像を、通 信ネットワークを介して固定局装置に送信する処理と、固定局装置が撮影位置情報 および撮影方位情報を用いた画像に対する文字認識処理によって得た文字または 文字列の情報を、固定局装置力 受信する処理とを実行させるを実行させることを特 徴とする。そのような構成によれば、移動端末装置は位置対応情報記憶手段および 文字認識手段を備える必要がな ヽので、移動端末装置の構成を簡略化することがで きる。

[0036] また、文字認識プログラムは、移動端末装置と情報を送受信する固定局装置に搭 載される文字認識プログラムであって、コンピュータに、移動端末装置から、移動端 末装置が撮影した画像、画像の撮影位置を示す撮影位置情報、および画像の撮影 方向を示す撮影方位情報を受信する処理と、移動端末装置から受信した撮影位置 情報および撮影方位情報にもとづ ヽて、移動端末装置による撮影対象となった範囲 を特定する処理と、各場所の位置を示す各位置情報に対応づけられた語である位置 対応情報を記憶する位置対応情報記憶手段から、範囲に含まれる位置に対応づけ られた位置対応情報を抽出する処理と、抽出した位置対応情報を用いて、移動端末 装置から受信した画像中に含まれる文字または文字列を認識する処理と、認識した 文字または文字列の情報を、通信ネットワークを介して移動端末装置に送信する処 理とを実行させるものであってもよい。そのような構成によれば、移動端末装置は位 置対応情報記憶手段および文字認識手段を備える必要がな!、ので、移動端末装置 の構成を簡略ィ匕することができる。

[0037] また、文字認識プログラムは、固定局装置と情報を送受信し、画像中に含まれる文 字または文字列を認識する文字認識処理を実行する移動端末装置に搭載される文 字認識プログラムであって、コンピュータに、画像の撮影位置を示す撮影位置情報、 および画像の撮影方向を示す撮影方位情報を、通信ネットワークを介して固定局装 置に送信する処理と、各場所の位置を示す各位置情報に対応づけられて ヽな ヽ語 である位置非対応情報であって、固定局装置が撮影位置情報および撮影方位情報 を用いて決定した位置非対応情報を、固定局装置から受信する処理と、固定局装置 から受信した位置非対応情報を用いて、移動端末装置が撮影した画像中に含まれる 文字または文字列を認識する処理とを実行させるものであってもよ 、。そのような構 成によれば、位置非対応情報の検索処理を固定局内で行うので、移動端末装置の 処理負担を軽減し、移動端末装置に要求される計算能力が高くなくてすむ。また、位 置非対応情報を記憶するデータベースが固定局側で一元管理されるので、メンテナ ンスがしやすぐ保守性を向上させることができる。

[0038] 本発明による情報抽出プログラムは、画像中に含まれる文字または文字列を認識 する文字認識処理を実行する移動端末装置と情報を送受信する固定局装置に搭載 される情報抽出プログラムであって、コンピュータに、移動端末装置から、移動端末 装置が撮影した画像の撮影位置を示す撮影位置情報、および画像の撮影方向を示 す撮影方位情報を受信する処理と、移動端末装置から受信した撮影位置情報およ び撮影方位情報にもとづ ヽて、移動端末装置による撮影対象となった範囲を特定す る処理と、各場所の位置を示す各位置情報に対応づけられた語である位置対応情 報を記憶する固定局側位置対応情報記憶手段から、範囲に含まれる位置に対応づ けられた位置対応情報を抽出する処理と、位置情報と対応づけられて 、な 、語であ る位置非対応情報を記憶する位置非対応情報記憶手段から、固定局側位置対応情 報記憶手段力 抽出した位置対応情報にもとづいて位置非対応情報を抽出する処 理と、抽出した位置非対応情報を、通信ネットワークを介して移動端末装置に送信す る処理とを実行させることを特徴とする。そのような構成によれば、位置非対応情報の 検索処理を固定局内で行うので、移動端末装置の処理負担を軽減し、移動端末装 置に要求される計算能力が高くなくてすむ。また、位置非対応情報を記憶するデー タベースが固定局側で一元管理されるので、メンテナンスがしゃすぐ保守性を向上 させることがでさる。

発明の効果

[0039] 本発明によれば、撮影位置情報と撮影方位情報との両方を用いることにより、情景 画像中に含まれる確率が高!、単語知識を、位置対応情報記憶手段 (単語辞書や地 図データベースなど)から限定して抽出するので、位置情報のみを用いて単語知識 を抽出する場合と比較して、文字認識に用いる単語知識を効率的に絞り込むことが できる。そのため、文字列認識速度の高速ィ匕および認識精度の向上を図ることがで きる。従って、移動可能なカメラで撮影した情景画像中に含まれうる単語を、単語辞 書もしくは地図データベースを用いて効率的に抽出することができる。

発明を実施するための最良の形態

[0040] 実施の形態 1. 以下、本発明の第 1の実施の形態を、図面を参照して説明する。図 1は、本発明に よる文字認識装置の構成の一例を示すブロック図である。図 1に示すように、文字認 識装置は、位置情報取得手段 101と、方位情報取得手段 102と、地図データベース 103と、文字列認識手段 104と、画像入力手段 106とを含む。

[0041] 画像入力手段 106は、例えば、移動可能なビデオカメラなどによって実現される。

画像入力手段 106は、情景画像 (入力画像)を撮影し、画像データを文字列認識手 段 104に出力する。

[0042] 位置情報取得手段 101は、例えば、 GPS受信装置などによって実現される。位置 情報取得手段 101は、装置 (例えば、画像入力手段 106)の位置を測位することによ つて位置情報 (緯度および経度)を取得し、文字列認識手段 104に出力する。すな わち、位置情報取得手段 101は、情景画像の撮影位置を示す撮影位置情報を出力 する。

[0043] 方位情報取得手段 102は、例えば、ジャイロスコープなどによって実現される。方位 情報取得手段 102は、装置 (例えば、画像入力手段 106)の向きを検出することによ つて装置の向きの情報 (東、西、南または北などの方位情報)を取得し、文字列認識 手段 104に出力する。すなわち、方位情報取得手段 102は、情景画像の撮影方向 を示す撮影方位情報を出力する。

[0044] 地図データベース 103は、例えば、磁気ディスク装置（図示せず)などの記憶装置 によって実現される。地図データベース 103は、道路や鉄道などの交通網に関する 交通網情報、地名や地域の位置を示す地名情報、建物の名称 Z構造 Z所在地など を示す建築物情報、および店舗の名称 Z電話番号 Z所在地などを示す店舗情報な どを記憶する。また、地図データベース 103は、各交通網情報、地名情報、建築物 情報および店舗情報などの単語情報を、位置情報 (緯度 Z経度などの情報）に対応 づけて記憶する。

[0045] 文字列認識手段 104は、例えば、後述の文字認識プログラムに従って動作するコ ンピュータ（図示せず)などによって実現される。文字列認識手段 104は、文字認識 装置の現在位置情報と方位情報とにもとづ!/、て、情景画像中に写って！/、る場所の範 囲 (撮影範囲)を特定する。以下、文字認識装置が特定する情景画像中に写ってい る場所の範囲を単に特定範囲と記す。

[0046] 文字列認識手段 104は、特定範囲の位置に対応づけられて 、る店舗名、建築物 名および地名などの情報を、地図データベース 103から抽出する。そして、文字列認 識手段 104は、抽出した店舗名、建築物名および地名などの情報を用いて文字認 識を行う。また、文字列認識手段 104は、情景画像中に写っている地域と道路網や 鉄道網で接続されて 、る土地、交差点または駅などの名称の情報も用いて文字認識 を行う。なお、本実施の形態において、文字列認識手段 104が文字認識に用いる地 名や建物名などの単語情報を単語知識と記す。

[0047] 画像撮影手段は、画像入力手段 106によって実現される。位置測位手段は、位置 情報取得手段 101によって実現される。方位検出手段は、方位情報取得手段 102 によって実現される。位置対応情報記憶手段は、地図データベース 103によって実 現される。位置対応情報抽出手段および文字認識手段は、文字列認識手段 104〖こ よって実現される。

[0048] また、本実施の形態にお!、て、文字列認識手段 104を実現するコンピュータの記 憶装置（図示せず）は、文字認識処理を実行するための各種プログラムを記憶してい る。例えば、コンピュータの記憶装置は、コンピュータに、画像の撮影位置を示す撮 影位置情報、および画像の撮影方向を示す撮影方位情報にもとづいて、撮影対象と なった範囲を特定する処理と、各場所の位置を示す各位置情報に対応づけられた 語である位置対応情報を記憶する位置対応情報記憶手段から、範囲に含まれる位 置に対応づけられた位置対応情報を抽出する処理と、抽出した位置対応情報を用 Vヽて、撮影された画像中に含まれる文字または文字列を認識する文字認識処理とを 実行させるための文字認識プログラムを記憶している。

[0049] 次に、動作について説明する。図 2は、文字認識装置が行う文字認識処理の処理 経過の一例を示すフローチャートである。画像入力手段 106は、情景画像を撮像し、 画像データを文字列認識手段 104に出力する (ステップ S10)。位置情報取得手段 1 01は、装置の位置を測位して現在位置情報を取得し、文字列認識手段 104に出力 する (ステップ Sl l)。方位情報取得手段 102は、装置の向きを検出して方位情報を 取得し、文字列認識手段 104に出力する (ステップ S12)。 [0050] 文字列認識手段 104は、現在位置情報および方位情報にもとづ!/ヽて、地図データ ベース 103を参照して認識処理に利用する単語を絞り込み、地図データベース 103 力 単語知識を抽出する。この結果、地名や建物名などの単語知識が抽出される。 そして、文字列認識手段 104は、抽出した単語知識を利用して情景画像中から文字 列を読み取ることによって文字認識を行う（ステップ S13)。

[0051] 文字認識が終わると、文字列認識手段 104は、ユーザなどによって処理終了の指 示が入力された力否か判断する (ステップ S 14)。例えば、文字列認識手段 104は、 文字認識を終わると、文字認識の結果を表示部（図示せず)などに表示するとともに 、文字認識処理の終了 Z継続指示入力画面を表示する。そして、ユーザは、文字認 識処理を終了させる場合には、入力部（図示せず)など力も処理終了の指示を入力 する。なお、文字列認識手段 104は、文字認識の結果情報を表示部に表示すること によってユーザに提供するのでなぐ音声出力部（図示せず）に出力することによって 音声によりユーザに提供してもよ 、。

[0052] 処理終了の指示が入力されたと判断した場合には、文字認識装置は、文字認識処 理を終了する。処理終了の指示が入力されな力 たと判断した場合には、文字認識 装置は、再びステップ S 10の処理に戻り、ステップ S 10からステップ S 14までの処理 を繰り返し実行する。

[0053] 以上のように、本実施の形態によれば、文字認識装置は、位置情報取得手段 101 および方位情報取得手段 102が取得する位置情報および方位情報にもとづいて、 地図データベース 103から単語知識を抽出する。そして、文字認識装置は、情景画 像中の地域に対応づけられた地域の地域名、建築物名、店舗名、店舗住所および 店舗電話番号などの情報や、対応付けられた地域に交通網で接続された地域の地 名などの情報を用いて文字認識処理を行う。

[0054] 位置情報と方位情報との両方を用いることにより、情景画像中に含まれる確率が高 い地名、道路名、建築物名および店舗名などの単語知識を、地図データベース 103 力も限定して抽出するので、位置情報のみを用いて単語知識を抽出する場合と比較 して、文字認識に用いる単語知識を効率的に絞り込むことができる。従って、文字列 の認識速度の高速ィ匕および認識精度の向上を図ることができる。 [0055] 図 3は、文字認識装置が特定する特定範囲の例を示す説明図である。図 3 (a)は、 本発明による文字認識装置が特定する特定範囲の例を示す説明図である。また、図

3 (b)は、従来の文字認識装置 (例えば、特許文献 2に記載されたシステムのサーノ が特定する特定範囲の例を示す説明図である。情景画像中に写っている地域は、一 般に、平面内において扇状の領域である。 GPS情報など位置情報のみによって地 図データベース力 単語知識を抽出する場合には、図 _{3 (b)}に示すように、装置の現 在位置を中心に円状の範囲に関連づけられて 、る単語を全て用 、て文字認識をし なければならない。

[0056] 本実施の形態によれば、図 3 (a)に示すように、位置情報に加えて方位情報を用い ることによって、情景画像中に写って 、る扇型の範囲に関連づけられて 、る単語知 識のみを抽出することができる。そのため、方位情報を用いることによって、情景画像 範囲外の地域に関する情報を用いずに文字認識できるので、従来の位置情報のみ を用いる場合と比較して、効果的に単語を絞り込むことができる。従って、位置情報 のみを用いる場合と比較して、認識速度の高速ィ匕および認識精度の向上を図ること ができる。

[0057] また、地図データベース 103が記憶する交通網情報を用いることによって、案内標 識に記載され得る近隣地区の地名など、図 3 (a)に示した扇状の範囲外の場所の地 名なども文字認識処理に活用することができる。

[0058] 次に、本実施の形態の具体例を説明する。ここでは、文字認識装置は、位置情報 取得手段 101として GPS受信装置を、方位情報取得手段 102としてジャイロスコ一 プを、地図データベース 103として磁気ディスク装置を、文字列認識手段 104として コンピュータを、画像入力手段 106として移動可能なビデオカメラを備える場合を例 に説明する。

[0059] ビデオカメラは、情景画像を撮影し、画像データをコンピュータに出力する。 GPS 受信装置は、受信した GPS信号にもとづいて装置の現在位置を測位することによつ て緯度および経度 (位置情報)を取得し、コンピュータに出力する。

[0060] ジャイロスコープは、装置 (本例では、ビデオカメラ）の向きを検出することによって 方位情報を取得し、コンピュータに出力する。例えば、方位情報として向きを数値で 表現するものとし、北を「0」、東を「90」、南を「180」、西を「270」と表すものとする。 この場合、装置が南西を向いている場合には、ジャイロスコープは、方位情報として 値「225」を出力する。なお、方位情報の表現方法は本例に示した方法に限らず、向 きを一意に特定できる他の表現方法を用いてもょ 、。

[0061] 磁気ディスク装置で実現された地図データベース 103は、交通網情報、地名情報、 建築物情報および店舗情報などを記憶する。図 4一図 7は、交通網情報、地名情報 、建築物情報および店舗情報の内容の例を示す説明図である。

[0062] 図 4は、道路に関する交通網情報の一例を示す説明図である。図 4に示すように、 地図データベース 103は、道路に関する交通網情報として、例えば、交差点名 601 、交差点の所在地 (住所 602および緯度 Z経度 603)、隣接する交差点名 Z方位 60 4などの情報を記憶する。また、地図データベース 103は、交通網情報として、例え ば、交差点間を結ぶ道路名称などの情報を記憶してもよい。

[0063] 図 5は、地名情報の一例を示す説明図である。図 5 (a)は、地図データベース 103 が地名情報として記憶する地名テーブル 706の一例を示す説明図である。図 5 (b) は、地図データベース 103が地名情報として記憶する 2次元地図 707の一例を示す 説明図である。図 5 (b)に示すように、地図データベース 103は、地名情報として、地 域 703— 705ごとに、ラベル（C1一 C3)付けした 2次元地図 707を記憶する。また、 地図データベース 103は、地名情報として、図 5 (a)に示すように、地名 701と地図ラ ベル値 702との対応関係を示す地名テーブル 706を記憶する。また、 2次元地図 70 7の X, y座標値を経度 Z緯度に対応付けることによって、緯度 Z経度の情報から現 在位置の地名を知ることができる。

[0064] 図 6は、建築物情報の一例を示す説明図である。地図データベース 103は、建築 物情報として、例えば、各建築物に関する建物名 801、住所 802、緯度 Z経度 803 および高さ 804などの様々な建築物の属性に関する情報を記憶する。

[0065] 図 7は、店舗情報の一例を示す説明図である。地図データベース 103は、店舗情 報として、例えば、店舗名 901、住所 902、ビル名/階 903および電話番号 904など の情報を記憶する。

[0066] 次に、現在の位置情報および方位情報がそれぞれ GPS受信装置およびジャイロス コープ力もコンピュータに入力された場合に、認識に利用する店舗名、建築物名およ び地名などを抽出する方法について説明する。

[0067] まず、地名の抽出方法を図面を参照して説明する。図 8は、ある時刻における文字 認識装置の現在位置、現在方位および撮影範囲を地図上に重ねて表示した説明図 である。本例では、現在位置が地点 1001であり、現在方位が北向きであり、情景画 像の画角が 90度であり、撮像範囲が斜線領域 1002である場合を説明する。情景画 像中に店舗看板が含まれる場合、店舗看板に斜線領域 1002の住所名が記載され ている可能性が高い。そこで、文字認識装置は、斜線領域 1002に対応する領域の 地名を、地図データベース 103が記憶する地名情報を参照して抽出する。

[0068] 例えば、地点 1001が図 5 (b)の地点 708と同一位置であり、斜線範囲 1002が図 5

(b)の斜線範囲 709と同一範囲である場合、文字認識装置は、図 5 (b)に示す 2次元 地図 707にもとづいて、情景画像中に写っている地域はラベル値「C2」の範囲である と判断する。また、文字認識装置は、図 5 (a)に示す地名テーブル 706にもとづいて、 ラベル値「C2」に対応する地名「金座二丁目」を抽出する。すなわち、まず「金座二丁 目」または「金座」など地名の単語が、文字認識に利用される単語として抽出される。

[0069] また、交通標識に近隣の地名が記載されて 、る可能性がある。そこで、文字認識装 置は、図 4に示す交通網情報を参照して、交差点を左折 Z直進 Z右折した場合に到 達する地域の地名を抽出する。例えば、ある時点において情景画像の撮像範囲内 に東経「a2」/北緯「b2」の地点が含まれるとすると、文字認識装置は、図 4に示す交 通網情報にもとづいて、撮像範囲内に「金座二丁目交差点」が含まれると判断する。 そして、文字認識装置は、図 4に示す交通網情報にもとづいて、近隣に存在する「金 座一丁目」， 「金座三丁目」などの交差点名および交差点の住所や、更にその先の 交差点の地名などを抽出する。

[0070] 次に、建築物名、店舗名および店舗電話番号などの抽出方法を図面を参照して説 明する。店舗看板などには、建築物名や店舗名などが記載されている可能性が高い 。そこで、文字認識装置は、斜線領域 1002の緯度 Z経度に含まれる建築物の情報 を、図 6に示す建築物情報の緯度 Z経度 803にもとづいて抽出する。すなわち、文 字認識装置は、緯度 Z経度 803にもとづいて、建築物の建物名 801および住所 802 などを抽出する。また、文字認識装置は、抽出した建物名 801を図 7に示す店舗情 報と照合して、その建物内に存在する店舗名 901や電話番号 904などの情報を抽出 する。

[0071] 文字列認識手段 (本例では、コンピュータ) 104は、以上に示した方法により抽出し た地名や店舗名などの単語知識を用いて、入力された情景画像に対して文字認識 を行う。文字列認識手段 104は、例えば、単語知識を用いた文字列認識アルゴリズ ムとして、一般に郵便住所認識などに用いられる動的計画法や HMM (Hidden Markov Model )法などを用いて文字認識を行う。

[0072] 例えば、文字列認識手段 104は、動的計画法や HMM法などを用いて、入力画像 に含まれる様々な図形を 1文字と仮定して、図形ごとに文字を認識する。そして、文 字列認識手段 104は、図形ごとに認識した文字を様々に組み合わせて、組み合わ せた文字列と単語知識とを照合することによって単語レベルでの文字認識を行う。

[0073] 単語知識を用いないとすると 1文字ごとに正確に認識しなければ単語を正確に認 識できないが、単語知識を用いると、 1文字ごとの僅かな認識誤りを補正できるので、 文字認識の精度を向上させることができる。

[0074] 次に、本発明の効果について、図面を参照して説明する。本発明では、図 8に示す ように、撮影範囲である斜線領域 1002以外の範囲に対応する地名、建築物名およ び店舗名などの単語知識を利用せずに、文字認識処理を行うことができる。例えば、 図 8に示すように、建築物 1008は現在位置 1001の比較的近くに存在するが、撮像 している方位とは逆側に存在するので、文字認識装置は、建築物 1008の建築物名 、内部にある店舗名、店舗の住所および電話番号などに関する単語知識を処理対 象外として、文字認識処理を行うことができる。

[0075] 以上のように、本発明によれば、位置情報のみによって単語知識を抽出する従来 の場合と比較して、処理に必要な単語知識を限定することができる。処理対象とする 単語知識が少ないほど高速に文字認識処理できるので、本発明では、認識時間を 高速ィ匕することができる。

[0076] なお、本具体例では、画像入力手段 106が移動可能なビデオカメラである場合を 説明したが、画像入力手段 106は他の撮像手段であってもよい。例えば、画像入力 手段 106は、人が持ち歩くカメラ付きの携帯電話機や PDA (Personal Digital Assistants )などであってもよい。また、画像入力手段 106は、デジタルカメラや移動 可能な車両に固定した車載カメラなどであってもよい。また、画像入力手段 106が撮 像する画像は、静止画像であってもよく動画像であってもよ 、。

[0077] 実施の形態 2.

次に、本発明の第 2の実施の形態を図面を参照して説明する。図 9は、文字認識装 置の構成の他の例を示すブロック図である。図 9に示すように、文字認識装置は、位 置情報取得手段 201と、方位情報取得手段 202と、地図データベース 203と、文字 列認識手段 204と、文書データベース 205と、画像入力手段 206とを含む。

[0078] 本実施の形態において、文字認識装置は、第 1の実施の形態で示した構成要素に カロえて、文書データベース 205を含む。本実施の形態において、文字認識装置は、 地図データベース 203にカ卩えて、文書データベース 205が記憶する情報に含まれる 単語をも利用して文字認識処理を行う点で、第 1の実施の形態と異なる。なお、位置 情報取得手段 201、方位情報取得手段 202、地図データベース 203および画像入 力手段 206の機能および実現方法は、第 1の実施の形態で示した位置情報取得手 段 101、方位情報取得手段 102、地図データベース 103および画像入力手段 106と 同様である。

[0079] 文書データベース 205は、例えば、磁気ディスク装置（図示せず)などの記憶装置 によって実現される。文書データベース 205は、緯度 Z経度などの位置情報と直接 対応づけられていないテキスト情報を格納する。例えば、文書データベース 205は、 「10月 3日一 6日まで画家 Aの個展が Bデパート 8階催事場で行われる」， 「パン屋 C の売れ筋商品はクリームパンである」などのテキスト情報の集合を記憶する。以下、文 書データベース 205が記憶するテキスト情報を文書情報 (位置非対応情報)と記す。

[0080] 後述するように、本実施の形態では、文字認識装置は、文書情報に含まれる単語 知識も用いて文字認識を行う。例えば、文字認識装置は、文書情報「10月 3日一 6日 まで画家 Aの個展が Bデパート 8階催事場で行われる」に含まれる「10月 3日」， 「画 家 A」などの単語知識も用いて文字認識を行う。

[0081] 文字列認識手段 204は、例えば、文字認識プログラムに従って動作するコンビユー タ（図示せず)などによって実現される。文字列認識手段 204は、文字認識装置の現 在位置情報と方位情報とにもとづ 、て、情景画像中に写って 、る場所の範囲を特定 する。文字列認識手段 204は、特定範囲の位置に対応づけられている店舗名、建築 物名および地名などの情報を地図データベース 203から抽出する。

[0082] また、文字列認識手段 204は、地図データベース 203から抽出した単語知識を用 いて文字認識を行うだけでなぐ地図データベース 203から抽出した単語知識と関連 する文書情報を文書データベース 205から抽出する。そして、文字列認識手段 204 は、 203から抽出した単語知識に加えて文書情報も用いて文字認識処理を行う。

[0083] 文書データベース 205から関連する文書情報を抽出し単語知識として用いれば、 抽出した文書情報を用いて文字列認識処理を行うことができる。また、抽出した文書 情報が単語の形態になっていない場合には、文字列認識手段 204は、構文解析を 行って文書情報を単語単位に分割することによって、文字列認識処理に利用するこ とがでさる。

[0084] 位置非対応情報記憶手段は、文書データベース 205によって実現される。位置非 対応情報抽出手段は、文字列認識手段 204によって実現される。

[0085] また、本実施の形態にお!、て、文字列認識手段 204を実現するコンピュータの記 憶装置（図示せず）は、文字認識処理を実行するための各種プログラムを記憶してい る。例えば、コンピュータの記憶装置は、コンピュータに、画像の撮影位置を示す撮 影位置情報、および画像の撮影方向を示す撮影方位情報にもとづいて、撮影対象と なった範囲を特定する処理と、各場所の位置を示す各位置情報に対応づけられた 語である位置対応情報を記憶する位置対応情報記憶手段から、範囲に含まれる位 置に対応づけられた位置対応情報を抽出する処理と、位置情報と対応づけられて ヽ な！ヽ語である位置非対応情報を記憶する位置非対応情報記憶手段から、位置対応 情報記憶手段から抽出した位置対応情報にもとづいて位置非対応情報を抽出する 処理と、位置対応情報記憶手段から抽出した位置対応情報と、位置非対応情報記 憶手段から抽出した位置非対応情報とを用いて、画像中に含まれる文字または文字 列を認識する処理とを実行させるための文字認識プログラムを記憶している。

[0086] 次に、動作について説明する。図 10は、文字認識装置が行う文字認識処理の処理 経過の他の例を示すフローチャートである。図 10において、ステップ S 20からステツ プ S22までの処理は、第 1の実施の形態で示したステップ S10からステップ S12まで の処理と同様である。

[0087] 文字列認識手段 204は、現在位置情報および方位情報にもとづ!/ヽて、地図データ ベース 203を参照し、地図データベース 203から単語知識を抽出する（ステップ S23 )。文字列認識手段 204は、抽出した単語知識をキーワードとして文書データベース 205を検索し、文書データベース 205から文書情報を抽出する (ステップ S24)。そし て、文字列認識手段 204は、地図データベース 203から抽出した単語知識と、文書 データベース 205から抽出した文書情報とを用いて、情景画像から文字情報を読み 取ることによって文字認識を行う（ステップ S 25)。

[0088] 文字認識が終わると、文字列認識手段 204は、ユーザなどによって処理終了の指 示が入力された力否か判断する (ステップ S26)。処理終了の指示が入力されたと判 断した場合には、文字認識装置は、文字認識処理を終了する。処理終了の指示が 入力されなかったと判断した場合には、文字認識装置は、再びステップ S20の処理 に戻り、ステップ S20からステップ S26までの処理を繰り返し実行する。

[0089] なお、文字列認識手段 204は、例えば、文字認識の結果情報を、表示部（図示せ ず）に表示することによってユーザに提供してもよい。また、文字列認識手段 204は、 例えば、文字認識の結果情報を、音声出力部（図示せず）に出力することによって音 声によりユーザに提供してもよ 、。

[0090] 以上のように、本実施の形態によれば、文字認識装置は、位置情報および方位情 報にもとづいて、位置情報に直接対応づけられていないが地図データベース 203か ら抽出した単語知識に関連する関連文書情報を、文書データベース 205から抽出す る。そして、文字認識装置は、関連文書情報を利用して文字認識を行う。従って、地 図データベース 203から抽出した単語と関連する非地理的な文書情報を、文書デー タベース 205から抽出して文字認識に利用できるので、人名、商品名または日付な ど位置情報に直接対応づけられない文字列などの認識精度を高めることができる。

[0091] 次に、本実施の形態の具体例を説明する。ここでは、文字認識装置は、位置情報 取得手段 201として GPS受信装置を、方位情報取得手段 202としてジャイロスコー プを、地図データベース 203として地図用磁気ディスク装置を、文書データベース 20 5として文書用磁気ディスク装置を、文字列認識手段 204としてコンピュータを、画像 入力手段 206として移動可能な車両に固定した車載カメラを備える場合を例に説明 する。

[0092] GPS受信装置およびジャイロスコープは、第 1の実施の形態で示した具体例と同様 である。また、地図用磁気ディスク装置は、第 1の実施の形態で示した具体例におけ る磁気ディスク装置と同様である。

[0093] 車載カメラは、情景画像を撮影し、画像データをコンピュータに出力する。文書用 磁気ディスク装置は、様々な文書情報を記憶している。なお、文書情報は、文章形式 で記載されたデータでもよぐキーワードをネットワーク状に関連づけた記載形式 (例 えば、単語の集合データ)であってもよい。

[0094] コンピュータは、 GPS受信装置およびジャイロスコープ力 入力される現在位置情 報および方位情報にもとづいて、地図用および文書用の磁気ディスク装置を参照し 、情景画像中の文字を読み取る。なお、コンピュータが地図用磁気ディスク装置から 文字認識に用いる単語知識を抽出する方法は、第 1の実施の形態で示した具体例と 同様である。

[0095] 次に、コンピュータが文書用磁気ディスク装置から文字認識に用いる単語知識を抽 出する方法について、図面を参照して説明する。図 11は、繁華街を走行中に、車両 の車載カメラが撮影したデパートの垂れ幕の例を示す説明図である。図 11に示すよ うに、本例では、垂れ幕に「画家 A」などの固有名詞が記載されている。この場合、「 画家 A」と 、う単語は緯度 Z経度などの位置情報と直接関係がな 、情報なので、コン ピュータ (文字列認識手段 204)は、地図用磁気ディスク装置 (地図データベース 20 3)から「画家 A」に関する単語知識を抽出することはできな!ヽ。

[0096] 本例では、コンピュータは、地図用磁気ディスク装置（地図データベース 203)が記 憶する単語知識と、位置情報 Z方向情報とにもとづいて、地図用磁気ディスク装置 力も情景画像中に写っている「デパート B」を抽出する。そして、コンピュータは、「デ パート B」をキーワード (検索キー）として、文書用磁気ディスク装置が記憶する文書情 報から関連文書を検索する。 [0097] 例えば、文書用磁気ディスク装置が「10月 3日一 6日まで画家 Aの個展が Bデパー ト 8階催事場で行われる」という文書情報を記憶している場合には、コンピュータは、 文書情報から「10月 3日」， 「6日」， 「画家 A」， 「個展」， 「8階」， 「催事場」などの単語 知識を抽出する。そして、コンピュータは、抽出した単語知識を利用して文字認識を 行う。従って、コンピュータは、「画家 A」という単語知識を用いて文字認識を行うこと ができる。

[0098] すなわち、本具体例では、文書用磁気ディスク装置は、位置情報と対応づけられて いない語の集合であって、少なくとも 1の語が、地図用磁気ディスク装置が記憶する 単語知識と同一となっている語 (本例では、「デパート B」）の集合を文書情報として記 憶している。そして、コンピュータは、地図用磁気ディスク装置力も抽出した単語知識 (本例では、「デパート B」）をキーとして、文書用磁気ディスク装置から、「デパート B」 を含む「画家 A」などの語の集合を抽出して!/、る。

[0099] なお、本例では、文書用磁気ディスク装置が記憶する文書情報が文書形式で記述 され、キーワード検索によって得られた文書情報カゝら単語知識を抽出する場合を説 明したが、文書情報は本例で示した文書形式に限られない。例えば、文書用磁気デ イスク装置が記憶する文書情報は、「10月 3日」， 「10月 6日」， 「画家 A」， 「個展」， 「 Bデパート」， 「8階」， 「催事場」などの単語知識の集合として記述されたデータであつ てもよい。

[0100] また、文書用磁気ディスク装置が記憶する文書情報が期間限定の広告情報ゃニュ ースなどである場合には、文書情報を随時更新するようにしてもよい。例えば、文字 認識装置のユーザは、文書データベース更新用のソフトウェアを用いて、文書用磁 気ディスク装置が記憶する文書情報を更新してもよい。また、例えば、インターネット を介してテキスト情報を受信することによって、文書情報を更新できるようにしてもよい

[0101] 実施の形態 3.

次に、本発明の第 3の実施の形態を、図面を参照して説明する。図 12は、移動端 末装置と固定局内装置とが無線伝送路を介して通信を行う移動通信システムの構成 の例を示すブロック図である。図 12に示すように、移動通信システムは、移動可能な 移動局 (例えば、車両に搭載されるカーナビゲーシヨン用端末装置など）に設置され た移動端末装置 300aと、固定局に設置された固定局内装置 300bとを含む。また、 移動端末装置 300aは、位置情報取得手段 301と、方位情報取得手段 302と、画像 入力手段 303と、情報送信手段 304とを含む。また、固定局内装置 300bは、情報受 信手段 305と、地図データベース 306と、文字列認識手段 307とを含む。

[0102] 移動端末装置 300aの機能について説明する。画像入力手段 303は、移動可能な ビデオカメラなどによって実現される。画像入力手段 303は、撮影した情景画像デー タを情報送信手段 304に出力する。

[0103] 位置情報取得手段 301は、 GPS受信装置などによって実現される。位置情報取得 手段 301は、情景画像が撮影された時点での画像入力手段 303の位置を測位する ことによって、緯度 Z経度 (位置情報)を取得する。そして、位置情報取得手段 301 は、取得した位置情報を情報送信手段 304に出力する。

[0104] 方位情報取得手段 302は、ジャイロスコープなどによって実現される。方位情報取 得手段 302は、情景画像が撮影された時点での画像入力手段 303の向き (東西南 北)を検出することによって、方位情報を取得する。そして、方位情報取得手段 302 は、取得した方位情報を情報送信手段 304に出力する。

[0105] 情報送信手段 304は、後述する情報送受信プログラムに従って動作するコンビュ ータ（図示せず）、および移動端末装置 300aのネットワークインタフェース部（図示せ ず)などによって実現される。なお、この情報送受信プログラムは、移動端末装置 300 aの記憶装置（図示せず）に記憶される。情報送信手段 304は、位置情報取得手段 3 01、方位情報取得手段 302および画像入力手段 303から入力された情報 (位置情 報、方位情報および画像データ)を、無線通信ネットワークを介して、固定局内装置 3 00bの情報受信手段 305に送信する。

[0106] 本実施の形態において、移動端末装置 300aの記憶装置は、固定局内装置 300b に情報を送受信するための各種プログラムを記憶している。例えば、移動端末装置 3 00aの記憶装置は、コンピュータに、画像の撮影位置を示す撮影位置情報、画像の 撮影方向を示す撮影方位情報、および撮影された画像を、通信ネットワークを介して 固定局装置に送信する処理と、固定局装置が撮影位置情報および撮影方位情報を 用いた画像に対する文字認識処理によって得た文字または文字列の情報を、固定 局装置力 受信する処理とを実行させるための情報送受信プログラムを記憶している

[0107] 次に、固定局内装置（固定局装置） 300bの機能について説明する。情報受信手段 305は、文字認識プログラムに従って動作するコンピュータ（図示せず）、および固定 局内装置 300bのネットワークインタフェース部（図示せず)などによって実現される。 なお、この文字認識プログラムは、固定局内装置 300bの記憶装置（図示せず）に記 憶される。情報受信手段 305は、情報送信手段 304から送信された情報 (位置情報 方位情報および画像データ）を、無線通信ネットワークを介して受信する。そして、情 報受信手段 305は、受信した情報を文字列認識手段 307に出力する。

[0108] 地図データベース 306は、磁気ディスク装置（図示せず)などの記憶装置によって 実現される。地図データベース 306は、交通網の所在を示す交通網情報、地名や地 域の存在範囲を示す地名情報、建物名 Z建物構造 Z建物所在などを示す建築物 情報、店舗名 Z店舗電話番号 Z店舗住所などを示す店舗情報などを記憶する。

[0109] 文字列認識手段 307は、文字認識プログラムに従って動作するコンピュータなどに よって実現される。文字列認識手段 307は、情報受信手段 305が受信した位置情報 および方位情報にもとづいて、地地図データベース 306から情景画像中に含まれう る単語知識を抽出する。そして、文字列認識手段 307は、抽出した単語知識を用い て、情報受信手段 305から入力される情景画像中の文字情報を読み取ることによつ て文字認識を行う。

[0110] 本実施の形態において、固定局装置 300bの記憶装置は、文字認識処理を実行す るための各種プログラムを記憶している。例えば、固定局装置 300bの記憶装置は、 コンピュータに、移動局装置から、移動局装置が撮影した画像、画像の撮影位置を 示す撮影位置情報、および画像の撮影方向を示す撮影方位情報を受信する処理と 、移動局装置から受信した撮影位置情報および撮影方位情報にもとづいて、移動局 装置による撮影対象となった範囲を特定する処理と、各場所の位置を示す各位置情 報に対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段から 、範囲に含まれる位置に対応づけられた位置対応情報を抽出する処理と、抽出した 位置対応情報を用いて、移動局装置から受信した画像中に含まれる文字または文 字列を認識する処理と、認識した文字または文字列の情報を、通信ネットワークを介 して移動局装置に送信する処理とを実行させるための文字認識プログラムを記憶し ている。

[0111] また、本実施の形態において、画像撮影手段は、画像入力手段 303によって実現 される。位置測位手段は、位置情報取得手段 301によって実現される。方位検出手 段は、方位情報取得手段 302によって実現される。移動端末側情報送信手段は、情 報送信手段 304によって実現される。位置対応情報記憶手段は、地図データベース 306によって実現される。位置対応情報抽出手段および文字認識手段は、文字列 認識手段 307によって実現される。固定局側情報送信手段は、固定局内装置 300b のコンピュータおよびネットワークインタフェース部などによって実現される。移動端末 側情報受信手段は、移動端末装置 300aのコンピュータおよびネットワークインタフエ ース部などによって実現される。出力手段は、移動端末装置のコンピュータおよび表 示部（図示せず)や音声出力部（図示せず)などによって実現される。

[0112] 次に、動作について説明する。図 13は、移動端末装置 300aが位置情報、方位情 報および情景画像データを取得する情報取得処理の処理経過の一例を示すフロー チャートである。また、図 14は、固定局内装置 300bが行う文字認識処理の処理経過 の一例を示すフローチャートである。

[0113] まず、移動端末装置 300aの動作を説明する。画像入力手段 303は、情景画像を 撮影し画像データを出力する (ステップ S31)。位置情報取得手段 301は、画像入力 手段 303の位置を測位することによって、位置情報を取得する (ステップ S32)。方位 情報取得手段 302は、画像入力手段 303の向きを検出することによって、方位情報 を取得する (ステップ S33)。情報送信手段 304は、画像入力手段 303、位置情報取 得手段 301および方位情報取得手段 302からの画像データ、位置情報および方位 情報を、無線通信ネットワークを介して固定局内装置 300bに送信する (ステップ S34

) o

[0114] 固定局内装置 300bが後述する文字認識処理を実行し文字認識の結果情報を送 信すると、移動端末装置 300aは、固定局内装置 300bから、無線通信ネットワークを 介して文字認識の結果情報を受信する (ステップ S35)。そして、文字認識の結果情 報は、移動端末装置 300a側で、移動局のユーザなどによって利用される。例えば、 移動端末装置 300aは、受信した文字認識の結果情報を、表示部に表示することに よってユーザに提供してもよい。また、例えば、移動端末装置 300aは、受信した文字 認識の結果情報を、音声出力部に出力することによって音声によりユーザに提供し てもよい。

[0115] 文字認識の結果情報を受信すると、移動端末装置 300aは、ユーザなどによって処 理終了の指示が入力された力否力判断する (ステップ S36)。処理終了の指示が入 力されたと判断した場合には、移動端末装置 300aは、情報取得処理を終了する。処 理終了の指示が入力されな力つたと判断した場合には、移動端末装置 300aは、再 びステップ S31の処理に戻り、ステップ S31からステップ S36までの処理を繰り返し実 行する。

[0116] 次に、固定局内装置 300bの動作を説明する。情報受信手段 305は、移動端末装 置 300aの情報送信手段 304から、無線通信ネットワークを介して、情景画像データ 、位置情報および方位情報を受信する (ステップ S41)。文字列認識手段 307は、受 信した位置情報および方位情報にもとづ!/、て、情景画像中に含まれうる単語知識を 、地図データベース 306から抽出する。そして、文字列認識手段 307は、抽出した単 語知識を用いて情景画像中の文字を認識する (ステップ S42)。

[0117] 文字認識を終了すると、固定局内装置 300bは、文字認識の結果情報を、無線通 信ネットワークを介して移動端末装置 300aに送信する (ステップ S43)。

[0118] 文字認識の結果情報を送信すると、固定局内装置 300bは、固定局の担当者など によって処理終了の指示が入力された力否か判断する (ステップ S44)。処理終了の 指示が入力されたと判断した場合には、固定局内装置 300bは、文字認識処理を終 了する。処理終了の指示が入力されな力つたと判断した場合には、固定局内装置 30 Obは、再びステップ S41の処理に戻り、ステップ S41からステップ S44までの処理を 繰り返し実行する。

[0119] 以上のように、本実施の形態によれば、移動端末装置 300aは地図データベースお よび文字認識手段を備える必要がな ヽので、移動端末装置の構成を簡略化すること ができる。

[0120] なお、本実施の形態において、固定局内装置 300bが更に文書データベースを備 えてもよい。この場合、固定局内装置 300bの文字列認識手段 307は、地図データ ベース 306から抽出した単語を検索キーとして、文書データベース力も文書情報を 抽出してもよい。そして、文字列認識手段 307は、文書情報を利用して文字列認識 を行ってもよい。そのようにすれば、位置情報と直接関連のない文字列などの文字認 識精度を高めることができる。

[0121] 実施の形態 4.

次に、本発明の第 4の実施の形態を、図面を参照して説明する。図 15は、移動端 末装置と固定局内装置とが無線伝送路を介して通信を行う移動通信システムの構成 の他の例を示すブロック図である。図 15に示すように、移動通信システムは、移動可 能な移動局 (例えば、車両に搭載されるカーナビゲーシヨン用端末装置など）に設置 された移動端末装置 400aと、固定局に設置された固定局内装置 400bとを含む。ま た、移動端末装置 400aは、位置情報取得手段 401と、方位情報取得手段 402と、 画像入力手段 403と、位置方位情報送信手段 404と、文書情報受信手段 405と、文 字列認識手段 406と、移動端末側地図データベース 407とを含む。また、固定局内 装置 400bは、位置方位情報受信手段 408と、文書データベース検索手段 409と、 固定局側地図データベース 410と、文書データベース 411と、文書情報送信手段 41 2とを含む。

[0122] 移動端末装置 400aの機能について説明する。画像入力手段 403は、移動可能な ビデオカメラなどによって実現される。画像入力手段 403は、撮影した情景画像デー タを文字列認識手段 406に出力する。

[0123] 位置情報取得手段 401は、 GPS受信装置などによって実現される。位置情報取得 手段 401は、情景画像が撮影された時点での画像入力手段 403の位置を測位する ことによって、緯度 Z経度 (位置情報)を取得する。そして、位置情報取得手段 401 は、取得した位置情報を位置方位情報送信手段 404に出力する。

[0124] 方位情報取得手段 402は、ジャイロスコープなどによって実現される。方位情報取 得手段 402は、情景画像が撮影された時点での画像入力手段 403の向き (東西南 北)を検出することによって方位情報を取得する。そして、方位情報取得手段 402は 、取得した方位情報を位置方位情報送信手段 404に出力する。

[0125] 位置方位情報送信手段 404は、文字認識プログラムに従って動作するコンビユー タ（図示せず）、および移動端末装置 400aのネットワークインタフェース部（図示せず )などによって実現される。なお、この文字認識プログラムは、移動端末装置 400aの 記憶装置（図示せず）に記憶される。位置方位情報送信手段 404は、位置情報取得 手段 401および方位情報取得手段 402から入力された情報 (位置情報および方位 情報)を、無線通信ネットワークを介して、固定局内装置 400bの位置方位情報受信 手段 408に送信する。

[0126] 文書情報受信手段 405は、文字認識プログラムに従って動作するコンピュータ、お よび移動端末装置 400aのネットワークインタフェース部などによって実現される。文 書情報受信手段 405は、固定局内装置 400bから無線通信ネットワークを介して文 書情報を受信し、文字列認識手段 406に出力する。

[0127] 文字認識手段 406は、文字認識プログラムに従って動作するコンピュータなどによ つて実現される。文字列認識手段 204は、移動端末側地図データベース 407から抽 出した単語知識に加えて、固定局内装置 400bから受信した文書情報も用いて文字 認識処理を行う。

[0128] なお、移動端末側地図データベース 407の機能および実現方法は、第 2の実施の 形態で示した地図データベース 203と同様である。

[0129] 本実施の形態にお!ヽて、移動端末装置 400aの記憶装置は、文字認識処理を実行 するための各種プログラムを記憶している。例えば、移動端末装置 400aの記憶装置 は、コンピュータに、画像の撮影位置を示す撮影位置情報、および画像の撮影方向 を示す撮影方位情報を、通信ネットワークを介して固定局装置に送信する処理と、各 場所の位置を示す各位置情報に対応づけられて ヽな 、語である位置非対応情報で あって、固定局装置が撮影位置情報および撮影方位情報を用いて決定した位置非 対応情報を、固定局装置から受信する処理と、固定局装置から受信した位置非対応 情報を用いて、移動局装置が撮影した画像中に含まれる文字または文字列を認識 する処理とを実行させるための文字認識プログラムを記憶している。 [0130] 次に、固定局内装置（固定局装置) 400bの機能について説明する。位置方位情報 受信手段 408は、後述する情報抽出プログラムに従って動作するコンピュータ（図示 せず）、および固定局内装置 400bのネットワークインタフェース部（図示せず)などに よって実現される。なお、この情報抽出プログラムは、固定局内装置 400bの記憶装 置（図示せず）に記憶される。位置方位情報受信手段 408は、位置方位情報送信手 段 404から送信された情報 (位置情報および方位情報)を、無線通信ネットワークを 介して受信する。そして、位置方位情報受信手段 408は、受信した情報を文書デー タベース検索手段 409に出力する。

[0131] 固定局側地図データベース 410および文書データベース 411の機能および実現 方法は、それぞれ第 2の実施の形態で示した地図データベース 203および文書デー タベース 205と同様である。

[0132] 文書データベース検索手段 409は、情報抽出プログラムに従って動作するコンビュ ータ（図示せず)などによって実現される。文書データベース検索手段 409は、位置 方位情報受信手段 408が受信した位置情報および方位情報にもとづ 、て、固定局 側地図データベース 410を検索して、固定局側地図データベース 410から単語知識 を抽出する。また、文書データベース検索手段 409は、抽出した単語知識を検索キ 一として、文書データベース 411を検索して関連文書を抽出する。そして、文書デー タベース検索手段 409は、抽出した文書情報を文書情報送信手段 412に出力する。

[0133] 本実施の形態において、固定局装置 400bの記憶装置は、情報抽出処理を実行す るための各種プログラムを記憶している。例えば、固定局装置 400bの記憶装置は、 コンピュータに、移動局装置から、移動局装置が撮影した画像の撮影位置を示す撮 影位置情報、および画像の撮影方向を示す撮影方位情報を受信する処理と、移動 局装置から受信した撮影位置情報および撮影方位情報にもとづ!/、て、移動局装置 による撮影対象となった範囲を特定する処理と、各場所の位置を示す各位置情報に 対応づけられた語である位置対応情報を記憶する固定局側位置対応情報記憶手段 から、範囲に含まれる位置に対応づけられた位置対応情報を抽出する処理と、位置 情報と対応づけられて ヽな ヽ語である位置非対応情報を記憶する位置非対応情報 記憶手段から、固定局側位置対応情報記憶手段から抽出した位置対応情報にもと づいて位置非対応情報を抽出する処理と、抽出した位置非対応情報を、通信ネット ワークを介して移動局装置に送信する処理とを実行させるための文書情報抽出プロ グラムを記憶している。

[0134] なお、本実施の形態において、画像撮影手段は、画像入力手段 403によって実現 される。位置測位手段は、位置情報取得手段 401によって実現される。方位検出手 段は、方位情報取得手段 402によって実現される。移動端末側情報送信手段は、位 置方位情報送信手段 404によって実現される。文字認識手段および移動端末側位 置対応情報抽出手段は、文字列認識手段 406によって実現される。固定局側位置 対応情報記憶手段は、固定局側地図データベース 410によって実現される。固定局 側位置対応情報抽出手段および位置非対応情報抽出手段は、文書データベース 検索手段 409によって実現される。位置非対応情報記憶手段は、文書データベース 411によって実現される。固定局側情報送信手段は、文書情報送信手段 412によつ て実現される。移動端末側位置対応情報記憶手段は、移動端末側地図データべ一 ス 407によって実現される。

[0135] 次に、動作について説明する。図 16は、移動端末装置 400aが行う文字認識処理 の処理経過の一例を示すフローチャートである。また、図 17は、固定局内装置 400b が文書情報を抽出する文書情報抽出処理の処理経過の一例を示すフローチャート である。

[0136] まず、移動端末装置 400aの動作を説明する。画像入力手段 403は、情景画像を 撮影し画像データを出力する (ステップ S51)。位置情報取得手段 401は、画像入力 手段 403の位置を測位することによって、位置情報を取得する (ステップ S52)。方位 情報取得手段 402は、画像入力手段 403の向きを検出することによって、方位情報 を取得する (ステップ S53)。位置方位情報送信手段 404は、位置情報取得手段 40 1および方位情報取得手段 402からの位置情報および方位情報を、無線通信ネット ワークを介して固定局内装置 400bに送信する（ステップ S54)。

[0137] 固定局内装置 400bが後述する文書情報抽出処理を実行し文書情報を送信すると 、文書情報受信手段 405は、固定局内装置 400bから、無線通信ネットワークを介し て文書情報を受信する (ステップ S55)。 [0138] なお、移動端末装置 400aは、ステップ S54にお 、て位置情報および方位情報を 送信すると、固定局内装置 400bから文書情報を受信するまで、次のステップ S56の 処理を実行せずに待機する。この場合、移動端末装置 400aは、処理待機中に、固 定局内装置 400bからの文書情報を用いずに実行できる処理を予め先行して実行し ていてもよい。例えば、移動端末装置 400aは、文書情報を受信する前であっても、 背景画像中の 1文字の範囲を様々に仮定して文字認識を行っていてもよい。

[0139] 文書情報を受信すると、文字列認識手段 406は、位置情報および方位情報にもと づいて移動端末側地図データベース 407から抽出した単語知識と、固定局内装置 4 00bから受信した文書情報とを用いて、画像入力手段 403からの画像データ中の文 字列を認識する (ステップ S56)。なお、位置情報と方位情報とにもとづいて移動端末 側地図データベース 407から建築物名や店舗名などの単語知識を抽出する方法は 、第 1の実施の形態で示した方法と同様である。

[0140] 文字認識が終わると、移動端末装置 400aは、ユーザなどによって処理終了の指示 が入力された力否か判断する (ステップ S57)。処理終了の指示が入力されたと判断 した場合には、移動端末装置 400aは、文字認識処理を終了する。処理終了の指示 が入力されな力つたと判断した場合には、移動端末装置 400aは、再びステップ S51 の処理に戻り、ステップ S51からステップ S57までの処理を繰り返し実行する。

[0141] 文字認識の結果情報は、移動端末装置 400a側で、移動局のユーザなどによって 利用される。例えば、移動端末装置 400aは、文字認識の結果情報を、表示部（図示 せず）に表示することによってユーザに提供してもよい。また、例えば、移動端末装置 400aは、文字認識の結果情報を、音声出力部（図示せず）に出力することによって 音声によりユーザに提供してもよ 、。

[0142] 次に、固定局内装置 400bの動作を説明する。位置方位情報受信手段 408は、ス テツプ S54において移動端末装置 400aの位置方位情報送信手段 404から送信さ れた位置情報および方位情報を、無線通信ネットワークを介して受信する (ステップ S 61)。そして、位置方位情報受信手段 408は、受信した位置情報および方位情報を 文書データベース検索手段 409に出力する。

[0143] 文書データベース検索手段 409は、受信した位置情報および方位情報にもとづ！/ヽ て、固定局側地図データベース 410を参照して、固定局側地図データベース 410か ら単語知識を抽出する。文書データベース検索手段 409は、抽出した単語知識を検 索キーとして文書データベース 411を検索して、文書データベース 411から関連する 文書情報を抽出する (ステップ S62)。そして、文書データベース検索手段 409は、 抽出した文書情報を文書情報送信手段 412に出力する。

[0144] 文書情報送信手段 412は、文書情報を、無線通信ネットワークを介して移動端末 装置 400aに送信する (ステップ S63)。文書情報を送信すると、固定局内装置 400b は、固定局の担当者などによって処理終了の指示が入力された力否力判断する (ス テツプ S64)。処理終了の指示が入力されたと判断した場合には、固定局内装置 40 Obは、文書情報抽出処理を終了する。処理終了の指示が入力されなかったと判断し た場合には、固定局内装置 400bは、再びステップ S61の処理に戻り、ステップ S61 からステップ S64までの処理を繰り返し実行する。

[0145] 以上のように、本実施の形態によれば、固定局内装置 400bが文書データベース 4 11を備え、固定局内装置 400b側で文書情報の検索処理を実行する。文書データ ベースの検索時間は、文書データベースの規模に従って大きく変化する。また、文書 データベースの検索処理は、他の処理と比較して処理時間が大きい。本実施の形態 によれば、文書データベースの検索処理を固定局内で行うので、移動端末装置 400 aの処理負担を軽減し、第 2の実施の形態と比較して、移動端末装置 400aに要求さ れる計算能力が高くなくてすむ。また、文書データベースが固定局側で一元管理さ れるので、メンテナンスがしゃすぐ保守性を向上させることができる。

[0146] なお、固定局内装置 400bから移動端末装置 400aに情報送信する場合、文字情 報とともに、固定局側地図データベース 410から抽出した単語知識も送信する形態も 考えられる。本実施の形態では、文書情報に限定して送信することによって、固定局 内装置 400bから移動端末装置 400aに送信するデータ量を低減することができる。

[0147] また、本実施の形態では、固定局内装置 400bが文書情報のみを送信する場合を 説明したが、固定局内装置 400bは、文書情報に加えて、固定局側地図データべ一 ス 410から抽出した単語知識も移動端末装置 400aに送信するようにしてもよい。この 場合、移動端末装置 400aは、移動端末側地図データベース 407を備えず、固定局 内装置 400bから受信した情報のみを用いて文字認識を行ってもよい。そのようにす れば、文書情報のみを送信する場合と比較して、更に移動端末装置 400aの処理負 担を軽減することができ、移動端末装置 400aに要求される計算能力が高くなくてす む。

産業上の利用可能性

[0148] 本発明による文字認識装置は、車両に搭載されるカーナビゲーシヨン用端末装置 や携帯電話機などの端末装置を含んだシステムとして適用できる。例えば、カーナビ ゲーシヨン装置などを含むシステムに適用すれば、ドライバなどに目的地を示す看板 などが見えた旨などを通知することができる。また、ドライバなどに目的地までの経路 案内をする場合に、道路案内標識などを示して道路案内情報を提供することができ る。また、車両などで移動中にドライバなどの嗜好に合致した周辺情報を、ドライバな どに提供することができる。例えば、文字認識装置の文字認識結果を用いて、「お探 しのそば屋の看板が見えました」、「次の案内標識の交差点を左方向（銀座方面）に 曲がってください」、「お好きな画家の展覧会が右手前方のデパートで開催されてい ます」などの情報をドライバなどに提供することができる。

図面の簡単な説明

[0149] [図 1]本発明による文字認識装置の構成の一例を示すブロック図である。

[図 2]文字認識装置が行う文字認識処理の処理経過の一例を示すフローチャートで ある。

[図 3]文字認識装置が特定する特定範囲の例を示す説明図である。

圆 4]道路に関する交通網情報の一例を示す説明図である。

[図 5]地名情報の一例を示す説明図である。

[図 6]建築物情報の一例を示す説明図である。

[図 7]店舗情報の一例を示す説明図である。

[図 8]ある時刻における文字認識装置の現在位置、現在方位および撮影範囲を地図 上に重ねて表示した説明図である。

[図 9]文字認識装置の構成の他の例を示すブロック図である。

[図 10]文字認識装置が行う文字認識処理の処理経過の他の例を示すフローチャート である。

圆 11]車両の車載カメラが撮影したデパートの垂れ幕の例を示す説明図である。 圆 12]移動端末装置と固定局内装置とが無線伝送路を介して通信を行う移動通信シ ステムの構成の一例を示すブロック図である。

圆 13]移動端末装置 300aが位置情報、方位情報および情景画像データを取得する 情報取得処理の処理経過の一例を示すフローチャートである。

[図 14]固定局内装置 300bが行う文字認識処理の処理経過の一例を示すフローチヤ ートである。

圆 15]移動端末装置と固定局内装置とが無線伝送路を介して通信を行う移動通信シ ステムの構成の他の例を示すブロック図である。

[図 16]移動端末装置 400aが行う文字認識処理の処理経過の一例を示すフローチヤ ートである。

[図 17]固定局内装置 400bが文書情報を抽出する文書情報抽出処理の処理経過の 一例を示すフローチャートである。

符号の説明

101 位置情報取得手段

102 方位情報取得手段

103 地図データベース

104 文字列認識手段

106 画像入力手段

Claims

請求の範囲

[1] 画像を撮影する画像撮影手段と、

画像の撮影位置を測位して、前記撮影位置を示す撮影位置情報を求める位置測 位手段と、

画像の撮影方向を検出して、前記撮影方向を示す撮影方位情報を求める方位検 出手段と、

各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶 する位置対応情報記憶手段と、

前記撮影位置情報および前記撮影方位情報にもとづ!/、て、画像撮影手段による撮 影対象となった範囲を特定し、前記範囲に含まれる位置に対応づけられた位置対応 情報を位置対応情報記憶手段から抽出する位置対応情報抽出手段と、

位置対応情報抽出手段によって抽出された位置対応情報を用いて、画像撮影手 段が撮影した画像中に含まれる文字または文字列を認識する文字認識手段とを備 えた

ことを特徴とする文字認識装置。

[2] 位置情報と対応づけられて 、な 、語である位置非対応情報を記憶する位置非対 応情報記憶手段と、

位置対応情報抽出手段によって抽出された位置対応情報にもとづいて、位置非対 応情報記憶手段から位置非対応情報を抽出する位置非対応情報抽出手段とを備え 文字認識手段は、位置対応情報抽出手段によって抽出された位置対応情報と、位 置非対応情報抽出手段によって抽出された位置非対応情報とを用いて、画像中に 含まれる文字または文字列を認識する

請求項 1記載の文字認識装置。

[3] 位置非対応情報記憶手段は、位置情報と対応づけられて 、な 、語の集合であって 、少なくとも 1つの語が位置対応情報と同一となっている語の集合を位置非対応情報 として記憶し、

位置非対応情報抽出手段は、位置対応情報抽出手段によって抽出された位置対 応情報をキーとして、位置非対応情報記憶手段から位置非対応情報を抽出する 請求項 2記載の文字認識装置。

[4] 移動端末装置と固定局装置とが無線伝送路を介して通信を行う移動通信システム において、

前記移動端末装置は、

画像を撮影する画像撮影手段と、

画像の撮影位置を測位して、前記撮影位置を示す撮影位置情報を求める位置測 位手段と、

画像の撮影方向を検出して、前記撮影方向を示す撮影方位情報を求める方位検 出手段と、

前記撮影位置情報、前記撮影方位情報および画像撮影手段によって撮影された 画像を、通信ネットワークを介して前記固定局装置に送信する移動端末側情報送信 手段とを備え、

前記固定局装置は、

各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶 する位置対応情報記憶手段と、

移動端末側情報送信手段から受信した前記撮影位置情報および前記撮影方位情 報にもとづいて、画像撮影手段による撮影対象となった範囲を特定し、前記範囲に 含まれる位置に対応づけられた位置対応情報を位置対応情報記憶手段カゝら抽出す る位置対応情報抽出手段と、

位置対応情報抽出手段によって抽出された位置対応情報を用いて、前記移動端 末側情報送信手段カゝら受信した前記画像中に含まれる文字または文字列を認識す る文字認識手段と、

文字認識手段が認識した文字または文字列の情報を、通信ネットワークを介して前 記移動端末装置に送信する固定局側情報送信手段とを備えた

ことを特徴とする移動通信システム。

[5] 固定局装置は、

位置情報と対応づけられて 、な 、語である位置非対応情報を記憶する位置非対 応情報記憶手段と、

位置対応情報抽出手段によって抽出された位置対応情報にもとづいて、位置非対 応情報記憶手段から位置非対応情報を抽出する位置非対応情報抽出手段とを備え 文字認識手段は、位置対応情報抽出手段によって抽出された位置対応情報と、位 置非対応情報抽出手段によって抽出された位置非対応情報とを用いて、画像中に 含まれる文字または文字列を認識する

請求項 4記載の移動通信システム。

[6] 移動端末装置は、

文字認識手段が認識した文字または文字列の情報を、通信ネットワークを介して固 定局側情報送信手段から受信する移動端末側情報受信手段と、

受信した前記文字または文字列の情報を出力する出力手段とを備えた 請求項 4または請求項 5記載の移動通信システム。

[7] 移動端末装置と固定局装置とが無線伝送路を介して通信を行う移動通信システム において、

前記移動端末装置は、

画像を撮影する画像撮影手段と、

画像の撮影位置を測位して、前記撮影位置を示す撮影位置情報を求める位置測 位手段と、

画像の撮影方向を検出して、前記撮影方向を示す撮影方位情報を求める方位検 出手段と、

前記撮影位置情報および前記撮影方位情報を、通信ネットワークを介して前記固 定局装置に送信する移動端末側情報送信手段と、

画像撮影手段が撮影した画像中に含まれる文字または文字列を認識する文字認 識手段とを備え、

前記固定局装置は、

各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶 する固定局側位置対応情報記憶手段と、 移動端末側情報送信手段から受信した前記撮影位置情報および前記撮影方位情 報にもとづいて、画像撮影手段による撮影対象となった範囲を特定し、前記範囲に 含まれる位置に対応づけられた位置対応情報を固定局側位置対応情報記憶手段か ら抽出する固定局側位置対応情報抽出手段と、

位置情報と対応づけられて 、な 、語である位置非対応情報を記憶する位置非対 応情報記憶手段と、

固定局側位置対応情報抽出手段によって抽出された位置対応情報にもとづいて、 位置非対応情報記憶手段から位置非対応情報を抽出する位置非対応情報抽出手 段と、

位置非対応情報抽出手段によって抽出された位置非対応情報を、通信ネットヮー クを介して前記移動端末装置に送信する固定局側情報送信手段とを備え、

前記文字認識手段は、固定局側情報送信手段から受信した位置非対応情報を用 Vヽて、画像中に含まれる文字または文字列を認識する

ことを特徴とする移動通信システム。

[8] 移動端末装置は、

各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶 する移動端末側位置対応情報記憶手段と、

撮影位置情報および撮影方位情報にもとづ ヽて、画像撮影手段による撮影対象と なった範囲を特定し、前記範囲に含まれる位置に対応づけられた位置対応情報を移 動端末側位置対応情報記憶手段から抽出する移動端末側位置対応情報抽出手段 とを備え、

文字認識手段は、固定局側情報送信手段から受信した位置非対応情報と、移動 端末側位置対応情報抽出手段によって抽出された位置対応情報とを用いて、画像 中に含まれる文字または文字列を認識する

請求項 7記載の移動通信システム。

[9] 固定局側情報送信手段は、位置非対応情報抽出手段によって抽出された位置非 対応情報と、固定局側位置対応情報抽出手段によって抽出された位置対応情報と を、通信ネットワークを介して移動端末装置に送信し、 文字認識手段は、固定局側情報送信手段から受信した位置非対応情報と位置対 応情報とを用いて、画像中に含まれる文字または文字列を認識する

請求項 7記載の移動通信システム。

[10] 位置非対応情報記憶手段は、位置情報と対応づけられて 、な 、語の集合であって 、少なくとも 1つの語が位置対応情報と同一となっている語の集合を位置非対応情報 として記憶し、

位置非対応情報抽出手段は、固定局側位置対応情報抽出手段によって抽出され た位置対応情報をキーとして、位置非対応情報記憶手段から位置非対応情報を抽 出する

請求項 7から請求項 9のうちのいずれか 1項に記載の移動通信システム。

[11] 画像中に含まれる文字または文字列を認識する文字認識処理を実行する固定局 装置と情報を送受信する移動端末装置であって、

画像を撮影する画像撮影手段と、

画像の撮影位置を測位して、前記撮影位置を示す撮影位置情報を求める位置測 位手段と、

画像の撮影方向を検出して、前記撮影方向を示す撮影方位情報を求める方位検 出手段と、

前記撮影位置情報、前記撮影方位情報および画像撮影手段によって撮影された 画像を、通信ネットワークを介して前記固定局装置に送信する移動端末側情報送信 手段と、

前記固定局装置が前記撮影位置情報および前記撮影方位情報を用いた前記画 像に対する文字認識処理によって得た文字または文字列の情報を、前記固定局装 置から受信する移動端末側情報受信手段とを備えた

ことを特徴とする移動端末装置。

[12] 移動端末装置と情報を送受信する固定局装置であって、

前記移動端末装置から、前記移動端末装置が撮影した画像、前記画像の撮影位 置を示す撮影位置情報、および前記画像の撮影方向を示す撮影方位情報を受信 する固定局側情報受信手段と、 各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶 する位置対応情報記憶手段と、

前記移動端末装置から受信した前記撮影位置情報および前記撮影方位情報にも とづいて、前記移動端末装置による撮影対象となった範囲を特定し、前記範囲に含 まれる位置に対応づけられた位置対応情報を位置対応情報記憶手段カゝら抽出する 位置対応情報抽出手段と、

位置対応情報抽出手段によって抽出された位置対応情報を用いて、前記移動端 末装置から受信した前記画像中に含まれる文字または文字列を認識する文字認識 手段と、

文字認識手段が認識した文字または文字列の情報を、通信ネットワークを介して前 記移動端末装置に送信する固定局側情報送信手段とを備えた

ことを特徴とする固定局装置。

[13] 位置情報と対応づけられて 、な 、語である位置非対応情報を記憶する位置非対 応情報記憶手段と、

位置対応情報抽出手段によって抽出された位置対応情報にもとづいて、位置非対 応情報記憶手段から位置非対応情報を抽出する位置非対応情報抽出手段とを備え 文字認識手段は、位置対応情報抽出手段によって抽出された位置対応情報と、位 置非対応情報抽出手段によって抽出された位置非対応情報とを用いて、画像中に 含まれる文字または文字列を認識する

請求項 12に記載の固定局装置。

[14] 固定局装置と情報を送受信し、画像中に含まれる文字または文字列を認識する文 字認識処理を実行する移動端末装置であって、

画像を撮影する画像撮影手段と、

画像の撮影位置を測位して、前記撮影位置を示す撮影位置情報を求める位置測 位手段と、

画像の撮影方向を検出して、前記撮影方向を示す撮影方位情報を求める方位検 出手段と、 前記撮影位置情報および前記撮影方位情報を、通信ネットワークを介して前記固 定局装置に送信する移動端末側情報送信手段と、

各場所の位置を示す各位置情報に対応づけられて 、な 、語である位置非対応情 報であって、前記固定局装置が前記撮影位置情報および前記撮影方位情報を用い て決定した位置非対応情報を、前記固定局装置から受信する移動端末側情報受信 手段と、

移動端末側情報受信手段が受信した位置非対応情報を用いて、画像撮影手段が 撮影した画像中に含まれる文字または文字列を認識する文字認識手段とを備えた ことを特徴とする移動端末装置。

[15] 各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶 する移動端末側位置対応情報記憶手段と、

撮影位置情報および撮影方位情報にもとづ ヽて、画像撮影手段による撮影対象と なった範囲を特定し、前記範囲に含まれる位置に対応づけられた位置対応情報を移 動端末側位置対応情報記憶手段から抽出する移動端末側位置対応情報抽出手段 とを備え、

文字認識手段は、移動端末側情報受信手段が受信した位置非対応情報と、移動 端末側位置対応情報抽出手段によって抽出された位置対応情報とを用いて、画像 中に含まれる文字または文字列を認識する

請求項 14記載の移動端末装置。

[16] 画像中に含まれる文字または文字列を認識する文字認識処理を実行する移動端 末装置と情報を送受信する固定局装置であって、

前記移動端末装置から、前記移動端末装置が撮影した画像の撮影位置を示す撮 影位置情報、および前記画像の撮影方向を示す撮影方位情報を受信する固定局側 情報受信手段と、

各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶 する固定局側位置対応情報記憶手段と、

固定局側情報受信手段が受信した前記撮影位置情報および前記撮影方位情報 にもとづいて、前記移動端末装置による撮影対象となった範囲を特定し、前記範囲 に含まれる位置に対応づけられた位置対応情報を固定局側位置対応情報記憶手段 から抽出する固定局側位置対応情報抽出手段と、

位置情報と対応づけられて 、な 、語である位置非対応情報を記憶する位置非対 応情報記憶手段と、

固定局側位置対応情報抽出手段によって抽出された位置対応情報にもとづいて、 位置非対応情報記憶手段から位置非対応情報を抽出する位置非対応情報抽出手 段と、

位置非対応情報抽出手段によって抽出された位置非対応情報を、通信ネットヮー クを介して前記移動端末装置に送信する固定局側情報送信手段とを備えた

ことを特徴とする固定局装置。

[17] 固定局側情報送信手段は、位置非対応情報抽出手段によって抽出された位置非 対応情報と、固定局側位置対応情報抽出手段によって抽出された位置対応情報と を送信する請求項 16記載の固定局装置。

[18] 画像撮影手段が、画像を撮影し、

位置測位手段が、画像の撮影位置を測位して、前記撮影位置を示す撮影位置情 報を求め、

方位検出手段が、画像の撮影方向を検出して、前記撮影方向を示す撮影方位情 報を求め、

位置対応情報抽出手段が、前記撮影位置情報および前記撮影方位情報にもとづ Vヽて、画像撮影手段による撮影対象となった範囲を特定し、

位置対応情報抽出手段が、各場所の位置を示す各位置情報に対応づけられた語 である位置対応情報を記憶する位置対応情報記憶手段から、前記範囲に含まれる 位置に対応づけられた位置対応情報を抽出し、

文字認識手段が、位置対応情報抽出手段によって抽出された位置対応情報を用 Vヽて、画像撮影手段が撮影した画像中に含まれる文字または文字列を認識する ことを特徴とする文字認識方法。

[19] 位置非対応情報抽出手段が、位置情報と対応づけられて 、な 、語である位置非 対応情報を記憶する位置非対応情報記憶手段から、位置対応情報抽出手段によつ て抽出された位置対応情報にもとづいて位置非対応情報を抽出し、 文字認識手段が、位置対応情報抽出手段によって抽出された位置対応情報と、位 置非対応情報抽出手段によって抽出された位置非対応情報とを用いて、画像中に 含まれる文字または文字列を認識する

請求項 18記載の文字認識方法。

[20] 移動端末装置と固定局装置とが無線伝送路を介して通信を行う移動通信システム で使用される、画像中に含まれる文字または文字列を認識する文字認識方法であつ て、

前記移動端末装置が、画像を撮影し、

前記移動端末装置が、画像の撮影位置を測位して、前記撮影位置を示す撮影位 置情報を求め、

前記移動端末装置が、画像の撮影方向を検出して、前記撮影方向を示す撮影方 位情報を求め、

前記移動端末装置が、前記撮影位置情報、前記撮影方位情報および画像撮影手 段によって撮影された画像を、通信ネットワークを介して前記固定局装置に送信し、 前記固定局装置が、前記移動端末装置から受信した前記撮影位置情報および前 記撮影方位情報にもとづ ヽて、前記移動端末装置による撮影対象となった範囲を特 定し、

前記固定局装置が、各場所の位置を示す各位置情報に対応づけられた語である 位置対応情報を記憶する位置対応情報記憶手段から、前記範囲に含まれる位置に 対応づけられた位置対応情報を抽出し、

前記固定局装置が、抽出した位置対応情報を用いて、前記移動端末装置から受 信した前記画像中に含まれる文字または文字列を認識し、

前記固定局装置が、認識した文字または文字列の情報を、通信ネットワークを介し て前記移動端末装置に送信する

ことを特徴とする文字認識方法。

[21] 移動端末装置が、固定局装置が認識した文字または文字列の情報を、通信ネット ワークを介して固定局装置力 受信し、 前記移動端末装置が、受信した前記文字または文字列の情報を出力する 請求項 20記載の文字認識方法。

[22] 移動端末装置と固定局装置とが無線伝送路を介して通信を行う移動通信システム で使用される、画像中に含まれる文字または文字列を認識する文字認識方法であつ て、

前記移動端末装置が、画像を撮影し、

前記移動端末装置が、画像の撮影位置を測位して、前記撮影位置を示す撮影位 置情報を求め、

前記移動端末装置が、画像の撮影方向を検出して、前記撮影方向を示す撮影方 位情報を求め、

前記移動端末装置が、前記撮影位置情報および前記撮影方位情報を、通信ネット ワークを介して前記固定局装置に送信し、

前記固定局装置が、前記移動端末装置から受信した前記撮影位置情報および前 記撮影方位情報にもとづ ヽて、前記移動端末装置による撮影対象となった範囲を特 定し、

前記固定局装置が、各場所の位置を示す各位置情報に対応づけられた語である 位置対応情報を記憶する固定局側位置対応情報記憶手段から、前記範囲に含まれ る位置に対応づけられた位置対応情報を抽出し、

前記固定局装置が、位置情報と対応づけられて 、な 、語である位置非対応情報を 記憶する位置非対応情報記憶手段から、前記固定局側位置対応情報記憶手段から 抽出した前記位置対応情報にもとづいて位置非対応情報を抽出し、

前記固定局装置が、抽出した位置非対応情報を、通信ネットワークを介して前記移 動端末装置に送信し、

前記移動端末装置が、前記固定局装置から受信した位置非対応情報を用いて、 前記移動端末装置が撮影した画像中に含まれる文字または文字列を認識する ことを特徴とする文字認識方法。

[23] コンピュータに、

画像の撮影位置を示す撮影位置情報、および画像の撮影方向を示す撮影方位情 報にもとづいて、撮影対象となった範囲を特定する処理と、

各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶 する位置対応情報記憶手段から、前記範囲に含まれる位置に対応づけられた位置 対応情報を抽出する処理と、

抽出した位置対応情報を用いて、撮影された画像中に含まれる文字または文字列 を認識する文字認識処理とを実行させる

ことを特徴とする文字認識プログラム。

[24] コンピュータに、

位置情報と対応づけられて 、な 、語である位置非対応情報を記憶する位置非対 応情報記憶手段から、位置対応情報記憶手段から抽出した位置対応情報にもとづ Vヽて位置非対応情報を抽出する処理と、

位置対応情報記憶手段から抽出した位置対応情報と、位置非対応情報記憶手段 から抽出した位置非対応情報とを用いて、画像中に含まれる文字または文字列を認 識する処理とを実行させる

請求項 23記載の文字認識プログラム。

[25] 画像中に含まれる文字または文字列を認識する文字認識処理を実行する固定局 装置と情報を送受信する移動端末装置に搭載される情報送受信プログラムであって コンピュータに、

画像の撮影位置を示す撮影位置情報、画像の撮影方向を示す撮影方位情報、お よび撮影された画像を、通信ネットワークを介して前記固定局装置に送信する処理と 固定局装置が前記撮影位置情報および前記撮影方位情報を用いた前記画像に 対する文字認識処理によって得た文字または文字列の情報を、前記固定局装置か ら受信する処理とを実行させる

ことを特徴とする情報送受信プログラム。

[26] 移動端末装置と情報を送受信する固定局装置に搭載される文字認識プログラムで あって、 コンピュータに、

前記移動端末装置から、前記移動端末装置が撮影した画像、前記画像の撮影位 置を示す撮影位置情報、および前記画像の撮影方向を示す撮影方位情報を受信 する処理と、

前記移動端末装置から受信した前記撮影位置情報および前記撮影方位情報にも とづいて、前記移動端末装置による撮影対象となった範囲を特定する処理と、 各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶 する位置対応情報記憶手段から、前記範囲に含まれる位置に対応づけられた位置 対応情報を抽出する処理と、

抽出した位置対応情報を用いて、前記移動端末装置から受信した前記画像中に 含まれる文字または文字列を認識する処理と、

認識した文字または文字列の情報を、通信ネットワークを介して前記移動端末装置 に送信する処理とを実行させる

ことを特徴とする文字認識プログラム。

[27] 固定局装置と情報を送受信し、画像中に含まれる文字または文字列を認識する文 字認識処理を実行する移動端末装置に搭載される文字認識プログラムであって、 コンピュータに、

画像の撮影位置を示す撮影位置情報、および画像の撮影方向を示す撮影方位情 報を、通信ネットワークを介して前記固定局装置に送信する処理と、

各場所の位置を示す各位置情報に対応づけられて 、な 、語である位置非対応情 報であって、前記固定局装置が前記撮影位置情報および前記撮影方位情報を用い て決定した位置非対応情報を、前記固定局装置から受信する処理と、

前記固定局装置から受信した位置非対応情報を用いて、前記移動端末装置が撮 影した画像中に含まれる文字または文字列を認識する処理とを実行させる

ことを特徴とする文字認識プログラム。

[28] 画像中に含まれる文字または文字列を認識する文字認識処理を実行する移動端 末装置と情報を送受信する固定局装置に搭載される情報抽出プログラムであって、 コンピュータに、 前記移動端末装置から、前記移動端末装置が撮影した画像の撮影位置を示す撮 影位置情報、および前記画像の撮影方向を示す撮影方位情報を受信する処理と、 前記移動端末装置から受信した前記撮影位置情報および前記撮影方位情報にも とづいて、前記移動端末装置による撮影対象となった範囲を特定する処理と、 各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶 する固定局側位置対応情報記憶手段から、前記範囲に含まれる位置に対応づけら れた位置対応情報を抽出する処理と、

位置情報と対応づけられて 、な 、語である位置非対応情報を記憶する位置非対 応情報記憶手段から、前記固定局側位置対応情報記憶手段から抽出した前記位置 対応情報にもとづいて位置非対応情報を抽出する処理と、

抽出した位置非対応情報を、通信ネットワークを介して前記移動端末装置に送信 する処理とを実行させる

ことを特徴とする情報抽出プログラム。