JPWO2005066882A1 - 文字認識装置、移動通信システム、移動端末装置、固定局装置、文字認識方法および文字認識プログラム - Google Patents

文字認識装置、移動通信システム、移動端末装置、固定局装置、文字認識方法および文字認識プログラム Download PDF

Info

Publication number
JPWO2005066882A1
JPWO2005066882A1 JP2005516818A JP2005516818A JPWO2005066882A1 JP WO2005066882 A1 JPWO2005066882 A1 JP WO2005066882A1 JP 2005516818 A JP2005516818 A JP 2005516818A JP 2005516818 A JP2005516818 A JP 2005516818A JP WO2005066882 A1 JPWO2005066882 A1 JP WO2005066882A1
Authority
JP
Japan
Prior art keywords
position
information
means
image
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005516818A
Other languages
English (en)
Other versions
JP4591353B2 (ja
Inventor
高橋 勝彦
勝彦 高橋
大輔 西脇
大輔 西脇
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2004002848 priority Critical
Priority to JP2004002848 priority
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2004/018059 priority patent/WO2005066882A1/ja
Publication of JPWO2005066882A1 publication Critical patent/JPWO2005066882A1/ja
Application granted granted Critical
Publication of JP4591353B2 publication Critical patent/JP4591353B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in preceding groups G01C1/00-G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in preceding groups G01C1/00-G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/20Image acquisition
    • G06K9/32Aligning or centering of the image pick-up or image-field
    • G06K9/3233Determination of region of interest
    • G06K9/325Detection of text region in scene imagery, real life image or Web pages, e.g. licenses plates, captions on TV images
    • G06K9/3258Scene text, e.g. street name
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2209/00Indexing scheme relating to methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K2209/01Character recognition

Abstract

移動可能なカメラで撮影した情景画像中に含まれうる単語を、単語辞書もしくは地図データベースを用いて効率的に抽出できるようにする。
位置情報取得手段101は、装置の現在位置を測位して位置情報を取得する。方位情報取得手段102は、装置の向きを検出して方位情報を取得する。文字列認識手段104は、現在位置情報と方位情報とにもとづいて、情景画像の撮影範囲を特定する。文字列認識手段104は、撮影範囲の位置に対応づけられている店舗名、建築物名および地名などの情報を、地図データベース103から抽出する。そして、文字列認識手段104は、抽出した店舗名、建築物名および地名などの単語知識を用いて文字認識を行う。

Description

本発明は、画像に含まれる文字を認識する文字認識装置、移動通信システム、移動端末装置、固定局装置、文字認識方法、文字認識プログラム、移動端末装置の情報送受信プログラム、および固定局装置の情報抽出プログラムに関し、特に、移動可能なカメラが撮影した情景画像中の道路標識、店舗看板およびポスタなどに記載されている地名、道路名、店舗名、ビル名、広告文および人名などの文字情報を読み取る文字認識装置、移動通信システム、移動端末装置、固定局装置、文字認識方法、文字認識プログラム、情報送受信プログラムおよび情報抽出プログラムに関する。

ビデオカメラやデジタルカメラなどで撮影した情景画像中から文字情報を認識する文字認識装置がいくつか知られている。これらの文字認識装置では、照明変動や文字歪みなどがある場合でも高い認識精度を得るために、一般に認識対象の文字列に関する単語知識(単語情報)が文字認識処理に利用される。

例えば、特許文献1には、情景画像中から看板広告主に関する文字情報を抽出する文字認識装置が記載されている。特許文献1に記載された文字認識装置は、画像中から看板広告主名および電話番号を読み取る。文字認識装置は、読み取った文字列と電話帳データベースなどに含まれる単語との一致文字数を計数して認識スコアを計算する。そして、文字認識装置は、最大の認識スコアが得られた看板広告主情報を最終認識結果とする。

また、特許文献2には、携帯端末が撮像した画像の文字認識を行う携帯端末型画像処理システムが記載されている。特許文献2に記載された携帯端末型画像処理システムでは、GPS(Global Positioning System )などから得られる位置情報と専用単語辞書とが関連づけられている。そして、携帯端末型画像処理システムのサーバは、装置(携帯端末)の現在位置情報に対応する専用単語辞書を用いて文字認識を行う。例えば、ユーザがレストランにいる場合には、サーバは、レストランで使用される確率が高い郷土料理のメニューなどの単語知識を含んだ専用辞書を選択して用いる。
特許第3360030号公報(第4−6頁、第1−4図) 特開2003−178067号公報(第14−15頁、第20図)

特許文献1に記載された文字認識装置または特許文献2に記載された携帯端末型画像処理システムにおいて、不必要に多くの単語知識を用いると、認識速度が低下するとともに、類似単語の増大などによって認識精度が低下する可能性がある。従って、文字認識の高速化および精度向上が十分に行えない場合がある。

また、特許文献1に記載された文字認識装置によれば、電話帳データベースなどに含まれる単語との照合を行うことによって、認識精度の向上を図っている。しかし、電話帳データベースなどに含まれる大量の単語知識との照合が必要となり、文字認識処理の高速化および精度向上が十分に行えない可能性がある。

また、特許文献2に記載された携帯型画像処理システムによれば、装置の現在位置情報を用いて、入力画像に含まれる可能性の高い単語だけを収録した専用単語辞書を文字認識に利用することにより、ある程度は文字認識速度を高速化することができ、文字認識精度を高めることができる。

しかし、情景画像(入力画像)として、カメラから数メートルないし数十メートル離れた位置の情景が撮像されるので、GPSからの位置情報のみにもとづいて辞書選択を行うと、現在位置を中心とする半径数十メートルの円内の範囲に対応する全ての単語知識(専用単語辞書)を用いて文字認識を行わなければならない。そのため、移動可能なカメラで撮影した情景画像中に含まれうる単語を、単語辞書もしくは地図データベースから十分に効率的に抽出できない場合があり、文字認識の高速化および精度向上の余地がある。

また、特許文献2に記載された携帯型画像処理システムよれば、位置情報に直接対応づけられた単語知識を文字認識に用いることはできる。しかし、位置情報に直接対応づけられていない種類の単語情報を文字認識に用いることはできない。

そこで、本発明は、移動可能なカメラで撮影した情景画像中に含まれうる単語を、単語辞書もしくは地図データベースを用いて効率的に抽出できる文字認識装置、移動通信システム、移動端末装置、固定局装置、文字認識方法、文字認識プログラム、情報送受信プログラムおよび情報抽出プログラムを提供することを目的とする。また、本発明は、位置情報に直接対応づけられていない種類の単語情報をも用いて文字認識できる文字認識装置、移動通信システム、移動端末装置、固定局装置、文字認識方法、文字認識プログラム、情報送受信プログラムおよび情報抽出プログラムを提供することを目的とする。

本発明による文字認識装置は、画像を撮影する画像撮影手段と、画像の撮影位置を測位して、撮影位置を示す撮影位置情報を求める位置測位手段と、画像の撮影方向を検出して、撮影方向を示す撮影方位情報を求める方位検出手段と、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段と、撮影位置情報および撮影方位情報にもとづいて、画像撮影手段による撮影対象となった範囲を特定し、範囲に含まれる位置に対応づけられた位置対応情報を位置対応情報記憶手段から抽出する位置対応情報抽出手段と、位置対応情報抽出手段によって抽出された位置対応情報を用いて、画像撮影手段が撮影した画像中に含まれる文字または文字列を認識する文字認識手段とを備えたことを特徴とする。なお、位置対応情報とは、例えば、地図データベース103が記憶する交通網情報、地名情報、建築物情報および店舗情報などの単語情報である。

また、文字認識装置は、位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段と、位置対応情報抽出手段によって抽出された位置対応情報にもとづいて、位置非対応情報記憶手段から位置非対応情報を抽出する位置非対応情報抽出手段とを備え、文字認識手段は、位置対応情報抽出手段によって抽出された位置対応情報と、位置非対応情報抽出手段によって抽出された位置非対応情報とを用いて、画像中に含まれる文字または文字列を認識するものであってもよい。そのような構成によれば、位置対応情報記憶手段から抽出した単語と関連する非地理的な位置非対応情報を、位置非対応情報記憶手段から抽出して文字認識に利用できるので、人名、商品名または日付など位置情報に直接対応づけられない文字列などの認識精度を高めることができる。

また、位置非対応情報記憶手段は、位置情報と対応づけられていない語の集合であって、少なくとも1つの語が位置対応情報と同一となっている語の集合を位置非対応情報として記憶し、位置非対応情報抽出手段は、位置対応情報抽出手段によって抽出された位置対応情報をキーとして、位置非対応情報記憶手段から位置非対応情報を抽出するものであってもよい。そのような構成によれば、位置非対応情報に含まれる単語を容易に抽出して、文字認識処理に用いることができる。

また、本発明による移動通信システムは、移動端末装置と固定局装置とが無線伝送路を介して通信を行う移動通信システムにおいて、移動端末装置は、画像を撮影する画像撮影手段と、画像の撮影位置を測位して、撮影位置を示す撮影位置情報を求める位置測位手段と、画像の撮影方向を検出して、撮影方向を示す撮影方位情報を求める方位検出手段と、撮影位置情報、撮影方位情報および画像撮影手段によって撮影された画像を、通信ネットワークを介して固定局装置に送信する移動端末側情報送信手段とを備え、固定局装置は、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段と、移動端末側情報送信手段から受信した撮影位置情報および撮影方位情報にもとづいて、画像撮影手段による撮影対象となった範囲を特定し、範囲に含まれる位置に対応づけられた位置対応情報を位置対応情報記憶手段から抽出する位置対応情報抽出手段と、位置対応情報抽出手段によって抽出された位置対応情報を用いて、移動端末側情報送信手段から受信した画像中に含まれる文字または文字列を認識する文字認識手段と、文字認識手段が認識した文字または文字列の情報を、通信ネットワークを介して移動端末装置に送信する固定局側情報送信手段とを備えたものであってもよい。そのような構成によれば、移動端末装置は位置対応情報記憶手段および文字認識手段を備える必要がないので、移動端末装置の構成を簡略化することができる。

また、固定局装置は、位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段と、位置対応情報抽出手段によって抽出された位置対応情報にもとづいて、位置非対応情報記憶手段から位置非対応情報を抽出する位置非対応情報抽出手段とを備え、文字認識手段は、位置対応情報抽出手段によって抽出された位置対応情報と、位置非対応情報抽出手段によって抽出された位置非対応情報とを用いて、画像中に含まれる文字または文字列を認識するものであってもよい。そのような構成によれば、移動端末装置の構成を簡略化するとともに、位置情報と直接関連のない文字列などの文字認識精度を高めることができる。

また、移動端末装置は、文字認識手段が認識した文字または文字列の情報を、通信ネットワークを介して固定局側情報送信手段から受信する移動端末側情報受信手段と、受信した文字または文字列の情報を出力する出力手段とを備えたものであってもよい。そのような構成によれば、移動端末のユーザに、文字認識の結果情報を、表示部に表示したり音声出力することによって提供することができる。なお、文字または文字列の情報を出力するとは、例えば、文字または文字列の情報を、表示部に表示したり、音声出力部に出力したりすることである。

また、移動通信システムは、移動端末装置と固定局装置とが無線伝送路を介して通信を行う移動通信システムにおいて、移動端末装置は、画像を撮影する画像撮影手段と、画像の撮影位置を測位して、撮影位置を示す撮影位置情報を求める位置測位手段と、画像の撮影方向を検出して、撮影方向を示す撮影方位情報を求める方位検出手段と、撮影位置情報および撮影方位情報を、通信ネットワークを介して固定局装置に送信する移動端末側情報送信手段と、画像撮影手段が撮影した画像中に含まれる文字または文字列を認識する文字認識手段とを備え、固定局装置は、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する固定局側位置対応情報記憶手段と、移動端末側情報送信手段から受信した撮影位置情報および撮影方位情報にもとづいて、画像撮影手段による撮影対象となった範囲を特定し、範囲に含まれる位置に対応づけられた位置対応情報を固定局側位置対応情報記憶手段から抽出する固定局側位置対応情報抽出手段と、位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段と、固定局側位置対応情報抽出手段によって抽出された位置対応情報にもとづいて、位置非対応情報記憶手段から位置非対応情報を抽出する位置非対応情報抽出手段と、位置非対応情報抽出手段によって抽出された位置非対応情報を、通信ネットワークを介して移動端末装置に送信する固定局側情報送信手段とを備え、文字認識手段は、固定局側情報送信手段から受信した位置非対応情報を用いて、画像中に含まれる文字または文字列を認識するものであってもよい。そのような構成によれば、位置非対応情報の検索処理を固定局内で行うので、移動端末装置の処理負担を軽減し、移動端末装置に要求される計算能力が高くなくてすむ。また、位置非対応情報を記憶するデータベースが固定局側で一元管理されるので、メンテナンスがしやすく、保守性を向上させることができる。

また、移動端末装置は、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する移動端末側位置対応情報記憶手段と、撮影位置情報および撮影方位情報にもとづいて、画像撮影手段による撮影対象となった範囲を特定し、範囲に含まれる位置に対応づけられた位置対応情報を移動端末側位置対応情報記憶手段から抽出する移動端末側位置対応情報抽出手段とを備え、文字認識手段は、固定局側情報送信手段から受信した位置非対応情報と、移動端末側位置対応情報抽出手段によって抽出された位置対応情報とを用いて、画像中に含まれる文字または文字列を認識するものであってもよい。そのような構成によれば、位置非対応情報に限定して送信することによって、固定局装置が移動端末装置に送信するデータ量を低減することができる。

また、固定局側情報送信手段は、位置非対応情報抽出手段によって抽出された位置非対応情報と、固定局側位置対応情報抽出手段によって抽出された位置対応情報とを、通信ネットワークを介して移動端末装置に送信し、文字認識手段は、固定局側情報送信手段から受信した位置非対応情報と位置対応情報とを用いて、画像中に含まれる文字または文字列を認識するものであってもよい。そのような構成によれば、位置非対応情報のみを送信する場合と比較して、更に移動端末装置の処理負担を軽減することができ、移動端末装置に要求される計算能力が高くなくてすむ。

また、位置非対応情報記憶手段は、位置情報と対応づけられていない語の集合であって、少なくとも1つの語が位置対応情報と同一となっている語の集合を位置非対応情報として記憶し、位置非対応情報抽出手段は、固定局側位置対応情報抽出手段によって抽出された位置対応情報をキーとして、位置非対応情報記憶手段から位置非対応情報を抽出するものであってもよい。そのような構成によれば、位置非対応情報に含まれる単語を容易に抽出して、文字認識処理に用いることができる。

本発明による移動端末装置は、画像中に含まれる文字または文字列を認識する文字認識処理を実行する固定局装置と情報を送受信する移動端末装置であって、画像を撮影する画像撮影手段と、画像の撮影位置を測位して、撮影位置を示す撮影位置情報を求める位置測位手段と、画像の撮影方向を検出して、撮影方向を示す撮影方位情報を求める方位検出手段と、撮影位置情報、撮影方位情報および画像撮影手段によって撮影された画像を、通信ネットワークを介して固定局装置に送信する移動端末側情報送信手段と、固定局装置が撮影位置情報および撮影方位情報を用いた画像に対する文字認識処理によって得た文字または文字列の情報を、固定局装置から受信する移動端末側情報受信手段とを備えたことを特徴とする。そのような構成によれば、移動端末装置は位置対応情報記憶手段および文字認識手段を備える必要がないので、移動端末装置の構成を簡略化することができる。

本発明による固定局装置は、移動端末装置と情報を送受信する固定局装置であって、移動端末装置から、移動端末装置が撮影した画像、画像の撮影位置を示す撮影位置情報、および画像の撮影方向を示す撮影方位情報を受信する固定局側情報受信手段と、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段と、移動端末装置から受信した撮影位置情報および撮影方位情報にもとづいて、移動端末装置による撮影対象となった範囲を特定し、範囲に含まれる位置に対応づけられた位置対応情報を位置対応情報記憶手段から抽出する位置対応情報抽出手段と、位置対応情報抽出手段によって抽出された位置対応情報を用いて、移動端末装置から受信した画像中に含まれる文字または文字列を認識する文字認識手段と、文字認識手段が認識した文字または文字列の情報を、通信ネットワークを介して移動端末装置に送信する固定局側情報送信手段とを備えたことを特徴とする。そのような構成によれば、移動端末装置は位置対応情報記憶手段および文字認識手段を備える必要がないので、移動端末装置の構成を簡略化することができる。

また、固定局装置は、位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段と、位置対応情報抽出手段によって抽出された位置対応情報にもとづいて、位置非対応情報記憶手段から位置非対応情報を抽出する位置非対応情報抽出手段とを備え、文字認識手段は、位置対応情報抽出手段によって抽出された位置対応情報と、位置非対応情報抽出手段によって抽出された位置非対応情報とを用いて、画像中に含まれる文字または文字列を認識するものであってもよい。そのような構成によれば、移動端末装置の構成を簡略化するとともに、位置情報と直接関連のない文字列などの文字認識精度を高めることができる。

また、移動端末装置は、固定局装置と情報を送受信し、画像中に含まれる文字または文字列を認識する文字認識処理を実行する移動端末装置であって、画像を撮影する画像撮影手段と、画像の撮影位置を測位して、撮影位置を示す撮影位置情報を求める位置測位手段と、画像の撮影方向を検出して、撮影方向を示す撮影方位情報を求める方位検出手段と、撮影位置情報および撮影方位情報を、通信ネットワークを介して固定局装置に送信する移動端末側情報送信手段と、各場所の位置を示す各位置情報に対応づけられていない語である位置非対応情報であって、固定局装置が撮影位置情報および撮影方位情報を用いて決定した位置非対応情報を、固定局装置から受信する移動端末側情報受信手段と、移動端末側情報受信手段が受信した位置非対応情報を用いて、画像撮影手段が撮影した画像中に含まれる文字または文字列を認識する文字認識手段とを備えたものであってもよい。そのような構成によれば、位置非対応情報の検索処理を固定局内で行うので、移動端末装置の処理負担を軽減し、移動端末装置に要求される計算能力が高くなくてすむ。また、位置非対応情報を記憶するデータベースが固定局側で一元管理されるので、メンテナンスがしやすく、保守性を向上させることができる。

また、移動端末装置は、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する移動端末側位置対応情報記憶手段と、撮影位置情報および撮影方位情報にもとづいて、画像撮影手段による撮影対象となった範囲を特定し、範囲に含まれる位置に対応づけられた位置対応情報を移動端末側位置対応情報記憶手段から抽出する移動端末側位置対応情報抽出手段とを備え、文字認識手段は、移動端末側情報受信手段が受信した位置非対応情報と、移動端末側位置対応情報抽出手段によって抽出された位置対応情報とを用いて、画像中に含まれる文字または文字列を認識するものであってもよい。そのような構成によれば、位置非対応情報に限定して送信することによって、固定局装置が移動端末装置に送信するデータ量を低減することができる。

また、固定局装置は、画像中に含まれる文字または文字列を認識する文字認識処理を実行する移動端末装置と情報を送受信する固定局装置であって、移動端末装置から、移動端末装置が撮影した画像の撮影位置を示す撮影位置情報、および画像の撮影方向を示す撮影方位情報を受信する固定局側情報受信手段と、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する固定局側位置対応情報記憶手段と、固定局側情報受信手段が受信した撮影位置情報および撮影方位情報にもとづいて、移動端末装置による撮影対象となった範囲を特定し、範囲に含まれる位置に対応づけられた位置対応情報を固定局側位置対応情報記憶手段から抽出する固定局側位置対応情報抽出手段と、位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段と、固定局側位置対応情報抽出手段によって抽出された位置対応情報にもとづいて、位置非対応情報記憶手段から位置非対応情報を抽出する位置非対応情報抽出手段と、位置非対応情報抽出手段によって抽出された位置非対応情報を、通信ネットワークを介して移動端末装置に送信する固定局側情報送信手段とを備えたものであってもよい。そのような構成によれば、位置非対応情報の検索処理を固定局内で行うので、移動端末装置の処理負担を軽減し、移動端末装置に要求される計算能力が高くなくてすむ。また、位置非対応情報を記憶するデータベースが固定局側で一元管理されるので、メンテナンスがしやすく、保守性を向上させることができる。

また、固定局側情報送信手段は、位置非対応情報抽出手段によって抽出された位置非対応情報と、固定局側位置対応情報抽出手段によって抽出された位置対応情報とを送信するものであってもよい。そのような構成によれば、位置非対応情報のみを送信する場合と比較して、更に移動端末装置の処理負担を軽減することができ、移動端末装置に要求される計算能力が高くなくてすむ。

本発明による文字認識方法は、画像撮影手段が、画像を撮影し、位置測位手段が、画像の撮影位置を測位して、撮影位置を示す撮影位置情報を求め、方位検出手段が、画像の撮影方向を検出して、撮影方向を示す撮影方位情報を求め、位置対応情報抽出手段が、撮影位置情報および撮影方位情報にもとづいて、画像撮影手段による撮影対象となった範囲を特定し、位置対応情報抽出手段が、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段から、範囲に含まれる位置に対応づけられた位置対応情報を抽出し、文字認識手段が、位置対応情報抽出手段によって抽出された位置対応情報を用いて、画像撮影手段が撮影した画像中に含まれる文字または文字列を認識することを特徴とする。

また、文字認識方法は、位置非対応情報抽出手段が、位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段から、位置対応情報抽出手段によって抽出された位置対応情報にもとづいて位置非対応情報を抽出し、文字認識手段が、位置対応情報抽出手段によって抽出された位置対応情報と、位置非対応情報抽出手段によって抽出された位置非対応情報とを用いて、画像中に含まれる文字または文字列を認識するものであってもよい。そのような構成によれば、位置対応情報記憶手段から抽出した単語と関連する非地理的な位置非対応情報を、位置非対応情報記憶手段から抽出して文字認識に利用できるので、人名、商品名または日付など位置情報に直接対応づけられない文字列などの認識精度を高めることができる。

また、文字認識方法は、移動端末装置と固定局装置とが無線伝送路を介して通信を行う移動通信システムで使用される、画像中に含まれる文字または文字列を認識する文字認識方法であって、移動端末装置が、画像を撮影し、移動端末装置が、画像の撮影位置を測位して、撮影位置を示す撮影位置情報を求め、移動端末装置が、画像の撮影方向を検出して、撮影方向を示す撮影方位情報を求め、移動端末装置が、撮影位置情報、撮影方位情報および画像撮影手段によって撮影された画像を、通信ネットワークを介して固定局装置に送信し、固定局装置が、移動端末装置から受信した撮影位置情報および撮影方位情報にもとづいて、移動端末装置による撮影対象となった範囲を特定し、固定局装置が、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段から、範囲に含まれる位置に対応づけられた位置対応情報を抽出し、固定局装置が、抽出した位置対応情報を用いて、移動端末装置から受信した画像中に含まれる文字または文字列を認識し、固定局装置が、認識した文字または文字列の情報を、通信ネットワークを介して移動端末装置に送信するものであってもよい。そのような構成によれば、移動端末装置は位置対応情報記憶手段および文字認識手段を備える必要がないので、移動端末装置の構成を簡略化することができる。

また、文字認識方法は、移動端末装置が、固定局装置が認識した文字または文字列の情報を、通信ネットワークを介して固定局装置から受信し、移動端末装置が、受信した前記文字または文字列の情報を出力するものであってもよい。そのような構成によれば、移動端末のユーザに、文字認識の結果情報を、表示部に表示したり音声出力することによって提供することができる。

また、文字認識方法は、移動端末装置と固定局装置とが無線伝送路を介して通信を行う移動通信システムで使用される、画像中に含まれる文字または文字列を認識する文字認識方法であって、移動端末装置が、画像を撮影し、移動端末装置が、画像の撮影位置を測位して、撮影位置を示す撮影位置情報を求め、移動端末装置が、画像の撮影方向を検出して、撮影方向を示す撮影方位情報を求め、移動端末装置が、撮影位置情報および撮影方位情報を、通信ネットワークを介して固定局装置に送信し、固定局装置が、移動端末装置から受信した撮影位置情報および撮影方位情報にもとづいて、移動端末装置による撮影対象となった範囲を特定し、固定局装置が、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する固定局側位置対応情報記憶手段から、範囲に含まれる位置に対応づけられた位置対応情報を抽出し、固定局装置が、位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段から、固定局側位置対応情報記憶手段から抽出した位置対応情報にもとづいて位置非対応情報を抽出し、固定局装置が、抽出した位置非対応情報を、通信ネットワークを介して移動端末装置に送信し、移動端末装置が、固定局装置から受信した位置非対応情報を用いて、移動端末装置が撮影した画像中に含まれる文字または文字列を認識するものであってもよい。そのような構成によれば、位置非対応情報の検索処理を固定局内で行うので、移動端末装置の処理負担を軽減し、移動端末装置に要求される計算能力が高くなくてすむ。また、位置非対応情報を記憶するデータベースが固定局側で一元管理されるので、メンテナンスがしやすく、保守性を向上させることができる。

本発明による文字認識プログラムは、コンピュータに、画像の撮影位置を示す撮影位置情報、および画像の撮影方向を示す撮影方位情報にもとづいて、撮影対象となった範囲を特定する処理と、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段から、範囲に含まれる位置に対応づけられた位置対応情報を抽出する処理と、抽出した位置対応情報を用いて、撮影された画像中に含まれる文字または文字列を認識する文字認識処理とを実行させることを特徴とする。

また、文字認識プログラムは、コンピュータに、位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段から、位置対応情報記憶手段から抽出した位置対応情報にもとづいて位置非対応情報を抽出する処理と、位置対応情報記憶手段から抽出した位置対応情報と、位置非対応情報記憶手段から抽出した位置非対応情報とを用いて、画像中に含まれる文字または文字列を認識する処理とを実行させるものであってもよい。そのような構成によれば、位置対応情報記憶手段から抽出した単語と関連する非地理的な位置非対応情報を、位置非対応情報記憶手段から抽出して文字認識に利用できるので、人名、商品名または日付など位置情報に直接対応づけられない文字列などの認識精度を高めることができる。

本発明による情報送受信プログラムは、画像中に含まれる文字または文字列を認識する文字認識処理を実行する固定局装置と情報を送受信する移動端末装置に搭載される情報送受信プログラムであって、コンピュータに、画像の撮影位置を示す撮影位置情報、画像の撮影方向を示す撮影方位情報、および撮影された画像を、通信ネットワークを介して固定局装置に送信する処理と、固定局装置が撮影位置情報および撮影方位情報を用いた画像に対する文字認識処理によって得た文字または文字列の情報を、固定局装置から受信する処理とを実行させるを実行させることを特徴とする。そのような構成によれば、移動端末装置は位置対応情報記憶手段および文字認識手段を備える必要がないので、移動端末装置の構成を簡略化することができる。

また、文字認識プログラムは、移動端末装置と情報を送受信する固定局装置に搭載される文字認識プログラムであって、コンピュータに、移動端末装置から、移動端末装置が撮影した画像、画像の撮影位置を示す撮影位置情報、および画像の撮影方向を示す撮影方位情報を受信する処理と、移動端末装置から受信した撮影位置情報および撮影方位情報にもとづいて、移動端末装置による撮影対象となった範囲を特定する処理と、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段から、範囲に含まれる位置に対応づけられた位置対応情報を抽出する処理と、抽出した位置対応情報を用いて、移動端末装置から受信した画像中に含まれる文字または文字列を認識する処理と、認識した文字または文字列の情報を、通信ネットワークを介して移動端末装置に送信する処理とを実行させるものであってもよい。そのような構成によれば、移動端末装置は位置対応情報記憶手段および文字認識手段を備える必要がないので、移動端末装置の構成を簡略化することができる。

また、文字認識プログラムは、固定局装置と情報を送受信し、画像中に含まれる文字または文字列を認識する文字認識処理を実行する移動端末装置に搭載される文字認識プログラムであって、コンピュータに、画像の撮影位置を示す撮影位置情報、および画像の撮影方向を示す撮影方位情報を、通信ネットワークを介して固定局装置に送信する処理と、各場所の位置を示す各位置情報に対応づけられていない語である位置非対応情報であって、固定局装置が撮影位置情報および撮影方位情報を用いて決定した位置非対応情報を、固定局装置から受信する処理と、固定局装置から受信した位置非対応情報を用いて、移動端末装置が撮影した画像中に含まれる文字または文字列を認識する処理とを実行させるものであってもよい。そのような構成によれば、位置非対応情報の検索処理を固定局内で行うので、移動端末装置の処理負担を軽減し、移動端末装置に要求される計算能力が高くなくてすむ。また、位置非対応情報を記憶するデータベースが固定局側で一元管理されるので、メンテナンスがしやすく、保守性を向上させることができる。

本発明による情報抽出プログラムは、画像中に含まれる文字または文字列を認識する文字認識処理を実行する移動端末装置と情報を送受信する固定局装置に搭載される情報抽出プログラムであって、コンピュータに、移動端末装置から、移動端末装置が撮影した画像の撮影位置を示す撮影位置情報、および画像の撮影方向を示す撮影方位情報を受信する処理と、移動端末装置から受信した撮影位置情報および撮影方位情報にもとづいて、移動端末装置による撮影対象となった範囲を特定する処理と、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する固定局側位置対応情報記憶手段から、範囲に含まれる位置に対応づけられた位置対応情報を抽出する処理と、位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段から、固定局側位置対応情報記憶手段から抽出した位置対応情報にもとづいて位置非対応情報を抽出する処理と、抽出した位置非対応情報を、通信ネットワークを介して移動端末装置に送信する処理とを実行させることを特徴とする。そのような構成によれば、位置非対応情報の検索処理を固定局内で行うので、移動端末装置の処理負担を軽減し、移動端末装置に要求される計算能力が高くなくてすむ。また、位置非対応情報を記憶するデータベースが固定局側で一元管理されるので、メンテナンスがしやすく、保守性を向上させることができる。

本発明によれば、撮影位置情報と撮影方位情報との両方を用いることにより、情景画像中に含まれる確率が高い単語知識を、位置対応情報記憶手段(単語辞書や地図データベースなど)から限定して抽出するので、位置情報のみを用いて単語知識を抽出する場合と比較して、文字認識に用いる単語知識を効率的に絞り込むことができる。そのため、文字列認識速度の高速化および認識精度の向上を図ることができる。従って、移動可能なカメラで撮影した情景画像中に含まれうる単語を、単語辞書もしくは地図データベースを用いて効率的に抽出することができる。

実施の形態1.
以下、本発明の第1の実施の形態を、図面を参照して説明する。図1は、本発明による文字認識装置の構成の一例を示すブロック図である。図1に示すように、文字認識装置は、位置情報取得手段101と、方位情報取得手段102と、地図データベース103と、文字列認識手段104と、画像入力手段106とを含む。

画像入力手段106は、例えば、移動可能なビデオカメラなどによって実現される。画像入力手段106は、情景画像(入力画像)を撮影し、画像データを文字列認識手段104に出力する。

位置情報取得手段101は、例えば、GPS受信装置などによって実現される。位置情報取得手段101は、装置(例えば、画像入力手段106)の位置を測位することによって位置情報(緯度および経度)を取得し、文字列認識手段104に出力する。すなわち、位置情報取得手段101は、情景画像の撮影位置を示す撮影位置情報を出力する。

方位情報取得手段102は、例えば、ジャイロスコープなどによって実現される。方位情報取得手段102は、装置(例えば、画像入力手段106)の向きを検出することによって装置の向きの情報(東、西、南または北などの方位情報)を取得し、文字列認識手段104に出力する。すなわち、方位情報取得手段102は、情景画像の撮影方向を示す撮影方位情報を出力する。

地図データベース103は、例えば、磁気ディスク装置(図示せず)などの記憶装置によって実現される。地図データベース103は、道路や鉄道などの交通網に関する交通網情報、地名や地域の位置を示す地名情報、建物の名称/構造/所在地などを示す建築物情報、および店舗の名称/電話番号/所在地などを示す店舗情報などを記憶する。また、地図データベース103は、各交通網情報、地名情報、建築物情報および店舗情報などの単語情報を、位置情報(緯度/経度などの情報)に対応づけて記憶する。

文字列認識手段104は、例えば、後述の文字認識プログラムに従って動作するコンピュータ(図示せず)などによって実現される。文字列認識手段104は、文字認識装置の現在位置情報と方位情報とにもとづいて、情景画像中に写っている場所の範囲(撮影範囲)を特定する。以下、文字認識装置が特定する情景画像中に写っている場所の範囲を単に特定範囲と記す。

文字列認識手段104は、特定範囲の位置に対応づけられている店舗名、建築物名および地名などの情報を、地図データベース103から抽出する。そして、文字列認識手段104は、抽出した店舗名、建築物名および地名などの情報を用いて文字認識を行う。また、文字列認識手段104は、情景画像中に写っている地域と道路網や鉄道網で接続されている土地、交差点または駅などの名称の情報も用いて文字認識を行う。なお、本実施の形態において、文字列認識手段104が文字認識に用いる地名や建物名などの単語情報を単語知識と記す。

画像撮影手段は、画像入力手段106によって実現される。位置測位手段は、位置情報取得手段101によって実現される。方位検出手段は、方位情報取得手段102によって実現される。位置対応情報記憶手段は、地図データベース103によって実現される。位置対応情報抽出手段および文字認識手段は、文字列認識手段104によって実現される。

また、本実施の形態において、文字列認識手段104を実現するコンピュータの記憶装置(図示せず)は、文字認識処理を実行するための各種プログラムを記憶している。例えば、コンピュータの記憶装置は、コンピュータに、画像の撮影位置を示す撮影位置情報、および画像の撮影方向を示す撮影方位情報にもとづいて、撮影対象となった範囲を特定する処理と、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段から、範囲に含まれる位置に対応づけられた位置対応情報を抽出する処理と、抽出した位置対応情報を用いて、撮影された画像中に含まれる文字または文字列を認識する文字認識処理とを実行させるための文字認識プログラムを記憶している。

次に、動作について説明する。図2は、文字認識装置が行う文字認識処理の処理経過の一例を示すフローチャートである。画像入力手段106は、情景画像を撮像し、画像データを文字列認識手段104に出力する(ステップS10)。位置情報取得手段101は、装置の位置を測位して現在位置情報を取得し、文字列認識手段104に出力する(ステップS11)。方位情報取得手段102は、装置の向きを検出して方位情報を取得し、文字列認識手段104に出力する(ステップS12)。

文字列認識手段104は、現在位置情報および方位情報にもとづいて、地図データベース103を参照して認識処理に利用する単語を絞り込み、地図データベース103から単語知識を抽出する。この結果、地名や建物名などの単語知識が抽出される。そして、文字列認識手段104は、抽出した単語知識を利用して情景画像中から文字列を読み取ることによって文字認識を行う(ステップS13)。

文字認識が終わると、文字列認識手段104は、ユーザなどによって処理終了の指示が入力されたか否か判断する(ステップS14)。例えば、文字列認識手段104は、文字認識を終わると、文字認識の結果を表示部(図示せず)などに表示するとともに、文字認識処理の終了/継続指示入力画面を表示する。そして、ユーザは、文字認識処理を終了させる場合には、入力部(図示せず)などから処理終了の指示を入力する。なお、文字列認識手段104は、文字認識の結果情報を表示部に表示することによってユーザに提供するのでなく、音声出力部(図示せず)に出力することによって音声によりユーザに提供してもよい。

処理終了の指示が入力されたと判断した場合には、文字認識装置は、文字認識処理を終了する。処理終了の指示が入力されなかったと判断した場合には、文字認識装置は、再びステップS10の処理に戻り、ステップS10からステップS14までの処理を繰り返し実行する。

以上のように、本実施の形態によれば、文字認識装置は、位置情報取得手段101および方位情報取得手段102が取得する位置情報および方位情報にもとづいて、地図データベース103から単語知識を抽出する。そして、文字認識装置は、情景画像中の地域に対応づけられた地域の地域名、建築物名、店舗名、店舗住所および店舗電話番号などの情報や、対応付けられた地域に交通網で接続された地域の地名などの情報を用いて文字認識処理を行う。

位置情報と方位情報との両方を用いることにより、情景画像中に含まれる確率が高い地名、道路名、建築物名および店舗名などの単語知識を、地図データベース103から限定して抽出するので、位置情報のみを用いて単語知識を抽出する場合と比較して、文字認識に用いる単語知識を効率的に絞り込むことができる。従って、文字列の認識速度の高速化および認識精度の向上を図ることができる。

図3は、文字認識装置が特定する特定範囲の例を示す説明図である。図3(a)は、本発明による文字認識装置が特定する特定範囲の例を示す説明図である。また、図3(b)は、従来の文字認識装置(例えば、特許文献2に記載されたシステムのサーバ)が特定する特定範囲の例を示す説明図である。情景画像中に写っている地域は、一般に、平面内において扇状の領域である。GPS情報など位置情報のみによって地図データベースから単語知識を抽出する場合には、図3(b)に示すように、装置の現在位置を中心に円状の範囲に関連づけられている単語を全て用いて文字認識をしなければならない。

本実施の形態によれば、図3(a)に示すように、位置情報に加えて方位情報を用いることによって、情景画像中に写っている扇型の範囲に関連づけられている単語知識のみを抽出することができる。そのため、方位情報を用いることによって、情景画像範囲外の地域に関する情報を用いずに文字認識できるので、従来の位置情報のみを用いる場合と比較して、効果的に単語を絞り込むことができる。従って、位置情報のみを用いる場合と比較して、認識速度の高速化および認識精度の向上を図ることができる。

また、地図データベース103が記憶する交通網情報を用いることによって、案内標識に記載され得る近隣地区の地名など、図3(a)に示した扇状の範囲外の場所の地名なども文字認識処理に活用することができる。

次に、本実施の形態の具体例を説明する。ここでは、文字認識装置は、位置情報取得手段101としてGPS受信装置を、方位情報取得手段102としてジャイロスコープを、地図データベース103として磁気ディスク装置を、文字列認識手段104としてコンピュータを、画像入力手段106として移動可能なビデオカメラを備える場合を例に説明する。

ビデオカメラは、情景画像を撮影し、画像データをコンピュータに出力する。GPS受信装置は、受信したGPS信号にもとづいて装置の現在位置を測位することによって緯度および経度(位置情報)を取得し、コンピュータに出力する。

ジャイロスコープは、装置(本例では、ビデオカメラ)の向きを検出することによって方位情報を取得し、コンピュータに出力する。例えば、方位情報として向きを数値で表現するものとし、北を「0」、東を「90」、南を「180」、西を「270」と表すものとする。この場合、装置が南西を向いている場合には、ジャイロスコープは、方位情報として値「225」を出力する。なお、方位情報の表現方法は本例に示した方法に限らず、向きを一意に特定できる他の表現方法を用いてもよい。

磁気ディスク装置で実現された地図データベース103は、交通網情報、地名情報、建築物情報および店舗情報などを記憶する。図4〜図7は、交通網情報、地名情報、建築物情報および店舗情報の内容の例を示す説明図である。

図4は、道路に関する交通網情報の一例を示す説明図である。図4に示すように、地図データベース103は、道路に関する交通網情報として、例えば、交差点名601、交差点の所在地(住所602および緯度/経度603)、隣接する交差点名/方位604などの情報を記憶する。また、地図データベース103は、交通網情報として、例えば、交差点間を結ぶ道路名称などの情報を記憶してもよい。

図5は、地名情報の一例を示す説明図である。図5(a)は、地図データベース103が地名情報として記憶する地名テーブル706の一例を示す説明図である。図5(b)は、地図データベース103が地名情報として記憶する2次元地図707の一例を示す説明図である。図5(b)に示すように、地図データベース103は、地名情報として、地域703〜705ごとに、ラベル(C1〜C3)付けした2次元地図707を記憶する。また、地図データベース103は、地名情報として、図5(a)に示すように、地名701と地図ラベル値702との対応関係を示す地名テーブル706を記憶する。また、2次元地図707のx,y座標値を経度/緯度に対応付けることによって、緯度/経度の情報から現在位置の地名を知ることができる。

図6は、建築物情報の一例を示す説明図である。地図データベース103は、建築物情報として、例えば、各建築物に関する建物名801、住所802、緯度/経度803および高さ804などの様々な建築物の属性に関する情報を記憶する。

図7は、店舗情報の一例を示す説明図である。地図データベース103は、店舗情報として、例えば、店舗名901、住所902、ビル名/階903および電話番号904などの情報を記憶する。

次に、現在の位置情報および方位情報がそれぞれGPS受信装置およびジャイロスコープからコンピュータに入力された場合に、認識に利用する店舗名、建築物名および地名などを抽出する方法について説明する。

まず、地名の抽出方法を図面を参照して説明する。図8は、ある時刻における文字認識装置の現在位置、現在方位および撮影範囲を地図上に重ねて表示した説明図である。本例では、現在位置が地点1001であり、現在方位が北向きであり、情景画像の画角が90度であり、撮像範囲が斜線領域1002である場合を説明する。情景画像中に店舗看板が含まれる場合、店舗看板に斜線領域1002の住所名が記載されている可能性が高い。そこで、文字認識装置は、斜線領域1002に対応する領域の地名を、地図データベース103が記憶する地名情報を参照して抽出する。

例えば、地点1001が図5(b)の地点708と同一位置であり、斜線範囲1002が図5(b)の斜線範囲709と同一範囲である場合、文字認識装置は、図5(b)に示す2次元地図707にもとづいて、情景画像中に写っている地域はラベル値「C2」の範囲であると判断する。また、文字認識装置は、図5(a)に示す地名テーブル706にもとづいて、ラベル値「C2」に対応する地名「金座二丁目」を抽出する。すなわち、まず「金座二丁目」または「金座」など地名の単語が、文字認識に利用される単語として抽出される。

また、交通標識に近隣の地名が記載されている可能性がある。そこで、文字認識装置は、図4に示す交通網情報を参照して、交差点を左折/直進/右折した場合に到達する地域の地名を抽出する。例えば、ある時点において情景画像の撮像範囲内に東経「a2」/北緯「b2」の地点が含まれるとすると、文字認識装置は、図4に示す交通網情報にもとづいて、撮像範囲内に「金座二丁目交差点」が含まれると判断する。そして、文字認識装置は、図4に示す交通網情報にもとづいて、近隣に存在する「金座一丁目」,「金座三丁目」などの交差点名および交差点の住所や、更にその先の交差点の地名などを抽出する。

次に、建築物名、店舗名および店舗電話番号などの抽出方法を図面を参照して説明する。店舗看板などには、建築物名や店舗名などが記載されている可能性が高い。そこで、文字認識装置は、斜線領域1002の緯度/経度に含まれる建築物の情報を、図6に示す建築物情報の緯度/経度803にもとづいて抽出する。すなわち、文字認識装置は、緯度/経度803にもとづいて、建築物の建物名801および住所802などを抽出する。また、文字認識装置は、抽出した建物名801を図7に示す店舗情報と照合して、その建物内に存在する店舗名901や電話番号904などの情報を抽出する。

文字列認識手段(本例では、コンピュータ)104は、以上に示した方法により抽出した地名や店舗名などの単語知識を用いて、入力された情景画像に対して文字認識を行う。文字列認識手段104は、例えば、単語知識を用いた文字列認識アルゴリズムとして、一般に郵便住所認識などに用いられる動的計画法やHMM(Hidden Markov Model )法などを用いて文字認識を行う。

例えば、文字列認識手段104は、動的計画法やHMM法などを用いて、入力画像に含まれる様々な図形を1文字と仮定して、図形ごとに文字を認識する。そして、文字列認識手段104は、図形ごとに認識した文字を様々に組み合わせて、組み合わせた文字列と単語知識とを照合することによって単語レベルでの文字認識を行う。

単語知識を用いないとすると1文字ごとに正確に認識しなければ単語を正確に認識できないが、単語知識を用いると、1文字ごとの僅かな認識誤りを補正できるので、文字認識の精度を向上させることができる。

次に、本発明の効果について、図面を参照して説明する。本発明では、図8に示すように、撮影範囲である斜線領域1002以外の範囲に対応する地名、建築物名および店舗名などの単語知識を利用せずに、文字認識処理を行うことができる。例えば、図8に示すように、建築物1008は現在位置1001の比較的近くに存在するが、撮像している方位とは逆側に存在するので、文字認識装置は、建築物1008の建築物名、内部にある店舗名、店舗の住所および電話番号などに関する単語知識を処理対象外として、文字認識処理を行うことができる。

以上のように、本発明によれば、位置情報のみによって単語知識を抽出する従来の場合と比較して、処理に必要な単語知識を限定することができる。処理対象とする単語知識が少ないほど高速に文字認識処理できるので、本発明では、認識時間を高速化することができる。

なお、本具体例では、画像入力手段106が移動可能なビデオカメラである場合を説明したが、画像入力手段106は他の撮像手段であってもよい。例えば、画像入力手段106は、人が持ち歩くカメラ付きの携帯電話機やPDA(Personal Digital Assistants )などであってもよい。また、画像入力手段106は、デジタルカメラや移動可能な車両に固定した車載カメラなどであってもよい。また、画像入力手段106が撮像する画像は、静止画像であってもよく動画像であってもよい。

実施の形態2.
次に、本発明の第2の実施の形態を図面を参照して説明する。図9は、文字認識装置の構成の他の例を示すブロック図である。図9に示すように、文字認識装置は、位置情報取得手段201と、方位情報取得手段202と、地図データベース203と、文字列認識手段204と、文書データベース205と、画像入力手段206とを含む。

本実施の形態において、文字認識装置は、第1の実施の形態で示した構成要素に加えて、文書データベース205を含む。本実施の形態において、文字認識装置は、地図データベース203に加えて、文書データベース205が記憶する情報に含まれる単語をも利用して文字認識処理を行う点で、第1の実施の形態と異なる。なお、位置情報取得手段201、方位情報取得手段202、地図データベース203および画像入力手段206の機能および実現方法は、第1の実施の形態で示した位置情報取得手段101、方位情報取得手段102、地図データベース103および画像入力手段106と同様である。

文書データベース205は、例えば、磁気ディスク装置(図示せず)などの記憶装置によって実現される。文書データベース205は、緯度/経度などの位置情報と直接対応づけられていないテキスト情報を格納する。例えば、文書データベース205は、「10月3日〜6日まで画家Aの個展がBデパート8階催事場で行われる」,「パン屋Cの売れ筋商品はクリームパンである」などのテキスト情報の集合を記憶する。以下、文書データベース205が記憶するテキスト情報を文書情報(位置非対応情報)と記す。

後述するように、本実施の形態では、文字認識装置は、文書情報に含まれる単語知識も用いて文字認識を行う。例えば、文字認識装置は、文書情報「10月3日〜6日まで画家Aの個展がBデパート8階催事場で行われる」に含まれる「10月3日」,「画家A」などの単語知識も用いて文字認識を行う。

文字列認識手段204は、例えば、文字認識プログラムに従って動作するコンピュータ(図示せず)などによって実現される。文字列認識手段204は、文字認識装置の現在位置情報と方位情報とにもとづいて、情景画像中に写っている場所の範囲を特定する。文字列認識手段204は、特定範囲の位置に対応づけられている店舗名、建築物名および地名などの情報を地図データベース203から抽出する。

また、文字列認識手段204は、地図データベース203から抽出した単語知識を用いて文字認識を行うだけでなく、地図データベース203から抽出した単語知識と関連する文書情報を文書データベース205から抽出する。そして、文字列認識手段204は、203から抽出した単語知識に加えて文書情報も用いて文字認識処理を行う。

文書データベース205から関連する文書情報を抽出し単語知識として用いれば、抽出した文書情報を用いて文字列認識処理を行うことができる。また、抽出した文書情報が単語の形態になっていない場合には、文字列認識手段204は、構文解析を行って文書情報を単語単位に分割することによって、文字列認識処理に利用することができる。

位置非対応情報記憶手段は、文書データベース205によって実現される。位置非対応情報抽出手段は、文字列認識手段204によって実現される。

また、本実施の形態において、文字列認識手段204を実現するコンピュータの記憶装置(図示せず)は、文字認識処理を実行するための各種プログラムを記憶している。例えば、コンピュータの記憶装置は、コンピュータに、画像の撮影位置を示す撮影位置情報、および画像の撮影方向を示す撮影方位情報にもとづいて、撮影対象となった範囲を特定する処理と、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段から、範囲に含まれる位置に対応づけられた位置対応情報を抽出する処理と、位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段から、位置対応情報記憶手段から抽出した位置対応情報にもとづいて位置非対応情報を抽出する処理と、位置対応情報記憶手段から抽出した位置対応情報と、位置非対応情報記憶手段から抽出した位置非対応情報とを用いて、画像中に含まれる文字または文字列を認識する処理とを実行させるための文字認識プログラムを記憶している。

次に、動作について説明する。図10は、文字認識装置が行う文字認識処理の処理経過の他の例を示すフローチャートである。図10において、ステップS20からステップS22までの処理は、第1の実施の形態で示したステップS10からステップS12までの処理と同様である。

文字列認識手段204は、現在位置情報および方位情報にもとづいて、地図データベース203を参照し、地図データベース203から単語知識を抽出する(ステップS23)。文字列認識手段204は、抽出した単語知識をキーワードとして文書データベース205を検索し、文書データベース205から文書情報を抽出する(ステップS24)。そして、文字列認識手段204は、地図データベース203から抽出した単語知識と、文書データベース205から抽出した文書情報とを用いて、情景画像から文字情報を読み取ることによって文字認識を行う(ステップS25)。

文字認識が終わると、文字列認識手段204は、ユーザなどによって処理終了の指示が入力されたか否か判断する(ステップS26)。処理終了の指示が入力されたと判断した場合には、文字認識装置は、文字認識処理を終了する。処理終了の指示が入力されなかったと判断した場合には、文字認識装置は、再びステップS20の処理に戻り、ステップS20からステップS26までの処理を繰り返し実行する。

なお、文字列認識手段204は、例えば、文字認識の結果情報を、表示部(図示せず)に表示することによってユーザに提供してもよい。また、文字列認識手段204は、例えば、文字認識の結果情報を、音声出力部(図示せず)に出力することによって音声によりユーザに提供してもよい。

以上のように、本実施の形態によれば、文字認識装置は、位置情報および方位情報にもとづいて、位置情報に直接対応づけられていないが地図データベース203から抽出した単語知識に関連する関連文書情報を、文書データベース205から抽出する。そして、文字認識装置は、関連文書情報を利用して文字認識を行う。従って、地図データベース203から抽出した単語と関連する非地理的な文書情報を、文書データベース205から抽出して文字認識に利用できるので、人名、商品名または日付など位置情報に直接対応づけられない文字列などの認識精度を高めることができる。

次に、本実施の形態の具体例を説明する。ここでは、文字認識装置は、位置情報取得手段201としてGPS受信装置を、方位情報取得手段202としてジャイロスコープを、地図データベース203として地図用磁気ディスク装置を、文書データベース205として文書用磁気ディスク装置を、文字列認識手段204としてコンピュータを、画像入力手段206として移動可能な車両に固定した車載カメラを備える場合を例に説明する。

GPS受信装置およびジャイロスコープは、第1の実施の形態で示した具体例と同様である。また、地図用磁気ディスク装置は、第1の実施の形態で示した具体例における磁気ディスク装置と同様である。

車載カメラは、情景画像を撮影し、画像データをコンピュータに出力する。文書用磁気ディスク装置は、様々な文書情報を記憶している。なお、文書情報は、文章形式で記載されたデータでもよく、キーワードをネットワーク状に関連づけた記載形式(例えば、単語の集合データ)であってもよい。

コンピュータは、GPS受信装置およびジャイロスコープから入力される現在位置情報および方位情報にもとづいて、地図用および文書用の磁気ディスク装置を参照し、情景画像中の文字を読み取る。なお、コンピュータが地図用磁気ディスク装置から文字認識に用いる単語知識を抽出する方法は、第1の実施の形態で示した具体例と同様である。

次に、コンピュータが文書用磁気ディスク装置から文字認識に用いる単語知識を抽出する方法について、図面を参照して説明する。図11は、繁華街を走行中に、車両の車載カメラが撮影したデパートの垂れ幕の例を示す説明図である。図11に示すように、本例では、垂れ幕に「画家A」などの固有名詞が記載されている。この場合、「画家A」という単語は緯度/経度などの位置情報と直接関係がない情報なので、コンピュータ(文字列認識手段204)は、地図用磁気ディスク装置(地図データベース203)から「画家A」に関する単語知識を抽出することはできない。

本例では、コンピュータは、地図用磁気ディスク装置(地図データベース203)が記憶する単語知識と、位置情報/方向情報とにもとづいて、地図用磁気ディスク装置から情景画像中に写っている「デパートB」を抽出する。そして、コンピュータは、「デパートB」をキーワード(検索キー)として、文書用磁気ディスク装置が記憶する文書情報から関連文書を検索する。

例えば、文書用磁気ディスク装置が「10月3日〜6日まで画家Aの個展がBデパート8階催事場で行われる」という文書情報を記憶している場合には、コンピュータは、文書情報から「10月3日」,「6日」,「画家A」,「個展」,「8階」,「催事場」などの単語知識を抽出する。そして、コンピュータは、抽出した単語知識を利用して文字認識を行う。従って、コンピュータは、「画家A」という単語知識を用いて文字認識を行うことができる。

すなわち、本具体例では、文書用磁気ディスク装置は、位置情報と対応づけられていない語の集合であって、少なくとも1の語が、地図用磁気ディスク装置が記憶する単語知識と同一となっている語(本例では、「デパートB」)の集合を文書情報として記憶している。そして、コンピュータは、地図用磁気ディスク装置から抽出した単語知識(本例では、「デパートB」)をキーとして、文書用磁気ディスク装置から、「デパートB」を含む「画家A」などの語の集合を抽出している。

なお、本例では、文書用磁気ディスク装置が記憶する文書情報が文書形式で記述され、キーワード検索によって得られた文書情報から単語知識を抽出する場合を説明したが、文書情報は本例で示した文書形式に限られない。例えば、文書用磁気ディスク装置が記憶する文書情報は、「10月3日」,「10月6日」,「画家A」,「個展」,「Bデパート」,「8階」,「催事場」などの単語知識の集合として記述されたデータであってもよい。

また、文書用磁気ディスク装置が記憶する文書情報が期間限定の広告情報やニュースなどである場合には、文書情報を随時更新するようにしてもよい。例えば、文字認識装置のユーザは、文書データベース更新用のソフトウェアを用いて、文書用磁気ディスク装置が記憶する文書情報を更新してもよい。また、例えば、インターネットを介してテキスト情報を受信することによって、文書情報を更新できるようにしてもよい。

実施の形態3.
次に、本発明の第3の実施の形態を、図面を参照して説明する。図12は、移動端末装置と固定局内装置とが無線伝送路を介して通信を行う移動通信システムの構成の例を示すブロック図である。図12に示すように、移動通信システムは、移動可能な移動局(例えば、車両に搭載されるカーナビゲーション用端末装置など)に設置された移動端末装置300aと、固定局に設置された固定局内装置300bとを含む。また、移動端末装置300aは、位置情報取得手段301と、方位情報取得手段302と、画像入力手段303と、情報送信手段304とを含む。また、固定局内装置300bは、情報受信手段305と、地図データベース306と、文字列認識手段307とを含む。

移動端末装置300aの機能について説明する。画像入力手段303は、移動可能なビデオカメラなどによって実現される。画像入力手段303は、撮影した情景画像データを情報送信手段304に出力する。

位置情報取得手段301は、GPS受信装置などによって実現される。位置情報取得手段301は、情景画像が撮影された時点での画像入力手段303の位置を測位することによって、緯度/経度(位置情報)を取得する。そして、位置情報取得手段301は、取得した位置情報を情報送信手段304に出力する。

方位情報取得手段302は、ジャイロスコープなどによって実現される。方位情報取得手段302は、情景画像が撮影された時点での画像入力手段303の向き(東西南北)を検出することによって、方位情報を取得する。そして、方位情報取得手段302は、取得した方位情報を情報送信手段304に出力する。

情報送信手段304は、後述する情報送受信プログラムに従って動作するコンピュータ(図示せず)、および移動端末装置300aのネットワークインタフェース部(図示せず)などによって実現される。なお、この情報送受信プログラムは、移動端末装置300aの記憶装置(図示せず)に記憶される。情報送信手段304は、位置情報取得手段301、方位情報取得手段302および画像入力手段303から入力された情報(位置情報、方位情報および画像データ)を、無線通信ネットワークを介して、固定局内装置300bの情報受信手段305に送信する。

本実施の形態において、移動端末装置300aの記憶装置は、固定局内装置300bに情報を送受信するための各種プログラムを記憶している。例えば、移動端末装置300aの記憶装置は、コンピュータに、画像の撮影位置を示す撮影位置情報、画像の撮影方向を示す撮影方位情報、および撮影された画像を、通信ネットワークを介して固定局装置に送信する処理と、固定局装置が撮影位置情報および撮影方位情報を用いた画像に対する文字認識処理によって得た文字または文字列の情報を、固定局装置から受信する処理とを実行させるための情報送受信プログラムを記憶している。

次に、固定局内装置(固定局装置)300bの機能について説明する。情報受信手段305は、文字認識プログラムに従って動作するコンピュータ(図示せず)、および固定局内装置300bのネットワークインタフェース部(図示せず)などによって実現される。なお、この文字認識プログラムは、固定局内装置300bの記憶装置(図示せず)に記憶される。情報受信手段305は、情報送信手段304から送信された情報(位置情報方位情報および画像データ)を、無線通信ネットワークを介して受信する。そして、情報受信手段305は、受信した情報を文字列認識手段307に出力する。

地図データベース306は、磁気ディスク装置(図示せず)などの記憶装置によって実現される。地図データベース306は、交通網の所在を示す交通網情報、地名や地域の存在範囲を示す地名情報、建物名/建物構造/建物所在などを示す建築物情報、店舗名/店舗電話番号/店舗住所などを示す店舗情報などを記憶する。

文字列認識手段307は、文字認識プログラムに従って動作するコンピュータなどによって実現される。文字列認識手段307は、情報受信手段305が受信した位置情報および方位情報にもとづいて、地地図データベース306から情景画像中に含まれうる単語知識を抽出する。そして、文字列認識手段307は、抽出した単語知識を用いて、情報受信手段305から入力される情景画像中の文字情報を読み取ることによって文字認識を行う。

本実施の形態において、固定局装置300bの記憶装置は、文字認識処理を実行するための各種プログラムを記憶している。例えば、固定局装置300bの記憶装置は、コンピュータに、移動局装置から、移動局装置が撮影した画像、画像の撮影位置を示す撮影位置情報、および画像の撮影方向を示す撮影方位情報を受信する処理と、移動局装置から受信した撮影位置情報および撮影方位情報にもとづいて、移動局装置による撮影対象となった範囲を特定する処理と、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段から、範囲に含まれる位置に対応づけられた位置対応情報を抽出する処理と、抽出した位置対応情報を用いて、移動局装置から受信した画像中に含まれる文字または文字列を認識する処理と、認識した文字または文字列の情報を、通信ネットワークを介して移動局装置に送信する処理とを実行させるための文字認識プログラムを記憶している。

また、本実施の形態において、画像撮影手段は、画像入力手段303によって実現される。位置測位手段は、位置情報取得手段301によって実現される。方位検出手段は、方位情報取得手段302によって実現される。移動端末側情報送信手段は、情報送信手段304によって実現される。位置対応情報記憶手段は、地図データベース306によって実現される。位置対応情報抽出手段および文字認識手段は、文字列認識手段307によって実現される。固定局側情報送信手段は、固定局内装置300bのコンピュータおよびネットワークインタフェース部などによって実現される。移動端末側情報受信手段は、移動端末装置300aのコンピュータおよびネットワークインタフェース部などによって実現される。出力手段は、移動端末装置のコンピュータおよび表示部(図示せず)や音声出力部(図示せず)などによって実現される。

次に、動作について説明する。図13は、移動端末装置300aが位置情報、方位情報および情景画像データを取得する情報取得処理の処理経過の一例を示すフローチャートである。また、図14は、固定局内装置300bが行う文字認識処理の処理経過の一例を示すフローチャートである。

まず、移動端末装置300aの動作を説明する。画像入力手段303は、情景画像を撮影し画像データを出力する(ステップS31)。位置情報取得手段301は、画像入力手段303の位置を測位することによって、位置情報を取得する(ステップS32)。方位情報取得手段302は、画像入力手段303の向きを検出することによって、方位情報を取得する(ステップS33)。情報送信手段304は、画像入力手段303、位置情報取得手段301および方位情報取得手段302からの画像データ、位置情報および方位情報を、無線通信ネットワークを介して固定局内装置300bに送信する(ステップS34)。

固定局内装置300bが後述する文字認識処理を実行し文字認識の結果情報を送信すると、移動端末装置300aは、固定局内装置300bから、無線通信ネットワークを介して文字認識の結果情報を受信する(ステップS35)。そして、文字認識の結果情報は、移動端末装置300a側で、移動局のユーザなどによって利用される。例えば、移動端末装置300aは、受信した文字認識の結果情報を、表示部に表示することによってユーザに提供してもよい。また、例えば、移動端末装置300aは、受信した文字認識の結果情報を、音声出力部に出力することによって音声によりユーザに提供してもよい。

文字認識の結果情報を受信すると、移動端末装置300aは、ユーザなどによって処理終了の指示が入力されたか否か判断する(ステップS36)。処理終了の指示が入力されたと判断した場合には、移動端末装置300aは、情報取得処理を終了する。処理終了の指示が入力されなかったと判断した場合には、移動端末装置300aは、再びステップS31の処理に戻り、ステップS31からステップS36までの処理を繰り返し実行する。

次に、固定局内装置300bの動作を説明する。情報受信手段305は、移動端末装置300aの情報送信手段304から、無線通信ネットワークを介して、情景画像データ、位置情報および方位情報を受信する(ステップS41)。文字列認識手段307は、受信した位置情報および方位情報にもとづいて、情景画像中に含まれうる単語知識を、地図データベース306から抽出する。そして、文字列認識手段307は、抽出した単語知識を用いて情景画像中の文字を認識する(ステップS42)。

文字認識を終了すると、固定局内装置300bは、文字認識の結果情報を、無線通信ネットワークを介して移動端末装置300aに送信する(ステップS43)。

文字認識の結果情報を送信すると、固定局内装置300bは、固定局の担当者などによって処理終了の指示が入力されたか否か判断する(ステップS44)。処理終了の指示が入力されたと判断した場合には、固定局内装置300bは、文字認識処理を終了する。処理終了の指示が入力されなかったと判断した場合には、固定局内装置300bは、再びステップS41の処理に戻り、ステップS41からステップS44までの処理を繰り返し実行する。

以上のように、本実施の形態によれば、移動端末装置300aは地図データベースおよび文字認識手段を備える必要がないので、移動端末装置の構成を簡略化することができる。

なお、本実施の形態において、固定局内装置300bが更に文書データベースを備えてもよい。この場合、固定局内装置300bの文字列認識手段307は、地図データベース306から抽出した単語を検索キーとして、文書データベースから文書情報を抽出してもよい。そして、文字列認識手段307は、文書情報を利用して文字列認識を行ってもよい。そのようにすれば、位置情報と直接関連のない文字列などの文字認識精度を高めることができる。

実施の形態4.
次に、本発明の第4の実施の形態を、図面を参照して説明する。図15は、移動端末装置と固定局内装置とが無線伝送路を介して通信を行う移動通信システムの構成の他の例を示すブロック図である。図15に示すように、移動通信システムは、移動可能な移動局(例えば、車両に搭載されるカーナビゲーション用端末装置など)に設置された移動端末装置400aと、固定局に設置された固定局内装置400bとを含む。また、移動端末装置400aは、位置情報取得手段401と、方位情報取得手段402と、画像入力手段403と、位置方位情報送信手段404と、文書情報受信手段405と、文字列認識手段406と、移動端末側地図データベース407とを含む。また、固定局内装置400bは、位置方位情報受信手段408と、文書データベース検索手段409と、固定局側地図データベース410と、文書データベース411と、文書情報送信手段412とを含む。

移動端末装置400aの機能について説明する。画像入力手段403は、移動可能なビデオカメラなどによって実現される。画像入力手段403は、撮影した情景画像データを文字列認識手段406に出力する。

位置情報取得手段401は、GPS受信装置などによって実現される。位置情報取得手段401は、情景画像が撮影された時点での画像入力手段403の位置を測位することによって、緯度/経度(位置情報)を取得する。そして、位置情報取得手段401は、取得した位置情報を位置方位情報送信手段404に出力する。

方位情報取得手段402は、ジャイロスコープなどによって実現される。方位情報取得手段402は、情景画像が撮影された時点での画像入力手段403の向き(東西南北)を検出することによって方位情報を取得する。そして、方位情報取得手段402は、取得した方位情報を位置方位情報送信手段404に出力する。

位置方位情報送信手段404は、文字認識プログラムに従って動作するコンピュータ(図示せず)、および移動端末装置400aのネットワークインタフェース部(図示せず)などによって実現される。なお、この文字認識プログラムは、移動端末装置400aの記憶装置(図示せず)に記憶される。位置方位情報送信手段404は、位置情報取得手段401および方位情報取得手段402から入力された情報(位置情報および方位情報)を、無線通信ネットワークを介して、固定局内装置400bの位置方位情報受信手段408に送信する。

文書情報受信手段405は、文字認識プログラムに従って動作するコンピュータ、および移動端末装置400aのネットワークインタフェース部などによって実現される。文書情報受信手段405は、固定局内装置400bから無線通信ネットワークを介して文書情報を受信し、文字列認識手段406に出力する。

文字認識手段406は、文字認識プログラムに従って動作するコンピュータなどによって実現される。文字列認識手段204は、移動端末側地図データベース407から抽出した単語知識に加えて、固定局内装置400bから受信した文書情報も用いて文字認識処理を行う。

なお、移動端末側地図データベース407の機能および実現方法は、第2の実施の形態で示した地図データベース203と同様である。

本実施の形態において、移動端末装置400aの記憶装置は、文字認識処理を実行するための各種プログラムを記憶している。例えば、移動端末装置400aの記憶装置は、コンピュータに、画像の撮影位置を示す撮影位置情報、および画像の撮影方向を示す撮影方位情報を、通信ネットワークを介して固定局装置に送信する処理と、各場所の位置を示す各位置情報に対応づけられていない語である位置非対応情報であって、固定局装置が撮影位置情報および撮影方位情報を用いて決定した位置非対応情報を、固定局装置から受信する処理と、固定局装置から受信した位置非対応情報を用いて、移動局装置が撮影した画像中に含まれる文字または文字列を認識する処理とを実行させるための文字認識プログラムを記憶している。

次に、固定局内装置(固定局装置)400bの機能について説明する。位置方位情報受信手段408は、後述する情報抽出プログラムに従って動作するコンピュータ(図示せず)、および固定局内装置400bのネットワークインタフェース部(図示せず)などによって実現される。なお、この情報抽出プログラムは、固定局内装置400bの記憶装置(図示せず)に記憶される。位置方位情報受信手段408は、位置方位情報送信手段404から送信された情報(位置情報および方位情報)を、無線通信ネットワークを介して受信する。そして、位置方位情報受信手段408は、受信した情報を文書データベース検索手段409に出力する。

固定局側地図データベース410および文書データベース411の機能および実現方法は、それぞれ第2の実施の形態で示した地図データベース203および文書データベース205と同様である。

文書データベース検索手段409は、情報抽出プログラムに従って動作するコンピュータ(図示せず)などによって実現される。文書データベース検索手段409は、位置方位情報受信手段408が受信した位置情報および方位情報にもとづいて、固定局側地図データベース410を検索して、固定局側地図データベース410から単語知識を抽出する。また、文書データベース検索手段409は、抽出した単語知識を検索キーとして、文書データベース411を検索して関連文書を抽出する。そして、文書データベース検索手段409は、抽出した文書情報を文書情報送信手段412に出力する。

本実施の形態において、固定局装置400bの記憶装置は、情報抽出処理を実行するための各種プログラムを記憶している。例えば、固定局装置400bの記憶装置は、コンピュータに、移動局装置から、移動局装置が撮影した画像の撮影位置を示す撮影位置情報、および画像の撮影方向を示す撮影方位情報を受信する処理と、移動局装置から受信した撮影位置情報および撮影方位情報にもとづいて、移動局装置による撮影対象となった範囲を特定する処理と、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する固定局側位置対応情報記憶手段から、範囲に含まれる位置に対応づけられた位置対応情報を抽出する処理と、位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段から、固定局側位置対応情報記憶手段から抽出した位置対応情報にもとづいて位置非対応情報を抽出する処理と、抽出した位置非対応情報を、通信ネットワークを介して移動局装置に送信する処理とを実行させるための文書情報抽出プログラムを記憶している。

なお、本実施の形態において、画像撮影手段は、画像入力手段403によって実現される。位置測位手段は、位置情報取得手段401によって実現される。方位検出手段は、方位情報取得手段402によって実現される。移動端末側情報送信手段は、位置方位情報送信手段404によって実現される。文字認識手段および移動端末側位置対応情報抽出手段は、文字列認識手段406によって実現される。固定局側位置対応情報記憶手段は、固定局側地図データベース410によって実現される。固定局側位置対応情報抽出手段および位置非対応情報抽出手段は、文書データベース検索手段409によって実現される。位置非対応情報記憶手段は、文書データベース411によって実現される。固定局側情報送信手段は、文書情報送信手段412によって実現される。移動端末側位置対応情報記憶手段は、移動端末側地図データベース407によって実現される。

次に、動作について説明する。図16は、移動端末装置400aが行う文字認識処理の処理経過の一例を示すフローチャートである。また、図17は、固定局内装置400bが文書情報を抽出する文書情報抽出処理の処理経過の一例を示すフローチャートである。

まず、移動端末装置400aの動作を説明する。画像入力手段403は、情景画像を撮影し画像データを出力する(ステップS51)。位置情報取得手段401は、画像入力手段403の位置を測位することによって、位置情報を取得する(ステップS52)。方位情報取得手段402は、画像入力手段403の向きを検出することによって、方位情報を取得する(ステップS53)。位置方位情報送信手段404は、位置情報取得手段401および方位情報取得手段402からの位置情報および方位情報を、無線通信ネットワークを介して固定局内装置400bに送信する(ステップS54)。

固定局内装置400bが後述する文書情報抽出処理を実行し文書情報を送信すると、文書情報受信手段405は、固定局内装置400bから、無線通信ネットワークを介して文書情報を受信する(ステップS55)。

なお、移動端末装置400aは、ステップS54において位置情報および方位情報を送信すると、固定局内装置400bから文書情報を受信するまで、次のステップS56の処理を実行せずに待機する。この場合、移動端末装置400aは、処理待機中に、固定局内装置400bからの文書情報を用いずに実行できる処理を予め先行して実行していてもよい。例えば、移動端末装置400aは、文書情報を受信する前であっても、背景画像中の1文字の範囲を様々に仮定して文字認識を行っていてもよい。

文書情報を受信すると、文字列認識手段406は、位置情報および方位情報にもとづいて移動端末側地図データベース407から抽出した単語知識と、固定局内装置400bから受信した文書情報とを用いて、画像入力手段403からの画像データ中の文字列を認識する(ステップS56)。なお、位置情報と方位情報とにもとづいて移動端末側地図データベース407から建築物名や店舗名などの単語知識を抽出する方法は、第1の実施の形態で示した方法と同様である。

文字認識が終わると、移動端末装置400aは、ユーザなどによって処理終了の指示が入力されたか否か判断する(ステップS57)。処理終了の指示が入力されたと判断した場合には、移動端末装置400aは、文字認識処理を終了する。処理終了の指示が入力されなかったと判断した場合には、移動端末装置400aは、再びステップS51の処理に戻り、ステップS51からステップS57までの処理を繰り返し実行する。

文字認識の結果情報は、移動端末装置400a側で、移動局のユーザなどによって利用される。例えば、移動端末装置400aは、文字認識の結果情報を、表示部(図示せず)に表示することによってユーザに提供してもよい。また、例えば、移動端末装置400aは、文字認識の結果情報を、音声出力部(図示せず)に出力することによって音声によりユーザに提供してもよい。

次に、固定局内装置400bの動作を説明する。位置方位情報受信手段408は、ステップS54において移動端末装置400aの位置方位情報送信手段404から送信された位置情報および方位情報を、無線通信ネットワークを介して受信する(ステップS61)。そして、位置方位情報受信手段408は、受信した位置情報および方位情報を文書データベース検索手段409に出力する。

文書データベース検索手段409は、受信した位置情報および方位情報にもとづいて、固定局側地図データベース410を参照して、固定局側地図データベース410から単語知識を抽出する。文書データベース検索手段409は、抽出した単語知識を検索キーとして文書データベース411を検索して、文書データベース411から関連する文書情報を抽出する(ステップS62)。そして、文書データベース検索手段409は、抽出した文書情報を文書情報送信手段412に出力する。

文書情報送信手段412は、文書情報を、無線通信ネットワークを介して移動端末装置400aに送信する(ステップS63)。文書情報を送信すると、固定局内装置400bは、固定局の担当者などによって処理終了の指示が入力されたか否か判断する(ステップS64)。処理終了の指示が入力されたと判断した場合には、固定局内装置400bは、文書情報抽出処理を終了する。処理終了の指示が入力されなかったと判断した場合には、固定局内装置400bは、再びステップS61の処理に戻り、ステップS61からステップS64までの処理を繰り返し実行する。

以上のように、本実施の形態によれば、固定局内装置400bが文書データベース411を備え、固定局内装置400b側で文書情報の検索処理を実行する。文書データベースの検索時間は、文書データベースの規模に従って大きく変化する。また、文書データベースの検索処理は、他の処理と比較して処理時間が大きい。本実施の形態によれば、文書データベースの検索処理を固定局内で行うので、移動端末装置400aの処理負担を軽減し、第2の実施の形態と比較して、移動端末装置400aに要求される計算能力が高くなくてすむ。また、文書データベースが固定局側で一元管理されるので、メンテナンスがしやすく、保守性を向上させることができる。

なお、固定局内装置400bから移動端末装置400aに情報送信する場合、文字情報とともに、固定局側地図データベース410から抽出した単語知識も送信する形態も考えられる。本実施の形態では、文書情報に限定して送信することによって、固定局内装置400bから移動端末装置400aに送信するデータ量を低減することができる。

また、本実施の形態では、固定局内装置400bが文書情報のみを送信する場合を説明したが、固定局内装置400bは、文書情報に加えて、固定局側地図データベース410から抽出した単語知識も移動端末装置400aに送信するようにしてもよい。この場合、移動端末装置400aは、移動端末側地図データベース407を備えず、固定局内装置400bから受信した情報のみを用いて文字認識を行ってもよい。そのようにすれば、文書情報のみを送信する場合と比較して、更に移動端末装置400aの処理負担を軽減することができ、移動端末装置400aに要求される計算能力が高くなくてすむ。

本発明による文字認識装置は、車両に搭載されるカーナビゲーション用端末装置や携帯電話機などの端末装置を含んだシステムとして適用できる。例えば、カーナビゲーション装置などを含むシステムに適用すれば、ドライバなどに目的地を示す看板などが見えた旨などを通知することができる。また、ドライバなどに目的地までの経路案内をする場合に、道路案内標識などを示して道路案内情報を提供することができる。また、車両などで移動中にドライバなどの嗜好に合致した周辺情報を、ドライバなどに提供することができる。例えば、文字認識装置の文字認識結果を用いて、「お探しのそば屋の看板が見えました」、「次の案内標識の交差点を左方向(銀座方面)に曲がってください」、「お好きな画家の展覧会が右手前方のデパートで開催されています」などの情報をドライバなどに提供することができる。

本発明による文字認識装置の構成の一例を示すブロック図である。 文字認識装置が行う文字認識処理の処理経過の一例を示すフローチャートである。 文字認識装置が特定する特定範囲の例を示す説明図である。 道路に関する交通網情報の一例を示す説明図である。 地名情報の一例を示す説明図である。 建築物情報の一例を示す説明図である。 店舗情報の一例を示す説明図である。 ある時刻における文字認識装置の現在位置、現在方位および撮影範囲を地図上に重ねて表示した説明図である。 文字認識装置の構成の他の例を示すブロック図である。 文字認識装置が行う文字認識処理の処理経過の他の例を示すフローチャートである。 車両の車載カメラが撮影したデパートの垂れ幕の例を示す説明図である。 移動端末装置と固定局内装置とが無線伝送路を介して通信を行う移動通信システムの構成の一例を示すブロック図である。 移動端末装置300aが位置情報、方位情報および情景画像データを取得する情報取得処理の処理経過の一例を示すフローチャートである。 固定局内装置300bが行う文字認識処理の処理経過の一例を示すフローチャートである。 移動端末装置と固定局内装置とが無線伝送路を介して通信を行う移動通信システムの構成の他の例を示すブロック図である。 移動端末装置400aが行う文字認識処理の処理経過の一例を示すフローチャートである。 固定局内装置400bが文書情報を抽出する文書情報抽出処理の処理経過の一例を示すフローチャートである。

符号の説明

101 位置情報取得手段
102 方位情報取得手段
103 地図データベース
104 文字列認識手段
106 画像入力手段

Claims (28)

  1. 画像を撮影する画像撮影手段と、
    画像の撮影位置を測位して、前記撮影位置を示す撮影位置情報を求める位置測位手段と、
    画像の撮影方向を検出して、前記撮影方向を示す撮影方位情報を求める方位検出手段と、
    各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段と、
    前記撮影位置情報および前記撮影方位情報にもとづいて、画像撮影手段による撮影対象となった範囲を特定し、前記範囲に含まれる位置に対応づけられた位置対応情報を位置対応情報記憶手段から抽出する位置対応情報抽出手段と、
    位置対応情報抽出手段によって抽出された位置対応情報を用いて、画像撮影手段が撮影した画像中に含まれる文字または文字列を認識する文字認識手段とを備えた
    ことを特徴とする文字認識装置。
  2. 位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段と、
    位置対応情報抽出手段によって抽出された位置対応情報にもとづいて、位置非対応情報記憶手段から位置非対応情報を抽出する位置非対応情報抽出手段とを備え、
    文字認識手段は、位置対応情報抽出手段によって抽出された位置対応情報と、位置非対応情報抽出手段によって抽出された位置非対応情報とを用いて、画像中に含まれる文字または文字列を認識する
    請求項1記載の文字認識装置。
  3. 位置非対応情報記憶手段は、位置情報と対応づけられていない語の集合であって、少なくとも1つの語が位置対応情報と同一となっている語の集合を位置非対応情報として記憶し、
    位置非対応情報抽出手段は、位置対応情報抽出手段によって抽出された位置対応情報をキーとして、位置非対応情報記憶手段から位置非対応情報を抽出する
    請求項2記載の文字認識装置。
  4. 移動端末装置と固定局装置とが無線伝送路を介して通信を行う移動通信システムにおいて、
    前記移動端末装置は、
    画像を撮影する画像撮影手段と、
    画像の撮影位置を測位して、前記撮影位置を示す撮影位置情報を求める位置測位手段と、
    画像の撮影方向を検出して、前記撮影方向を示す撮影方位情報を求める方位検出手段と、
    前記撮影位置情報、前記撮影方位情報および画像撮影手段によって撮影された画像を、通信ネットワークを介して前記固定局装置に送信する移動端末側情報送信手段とを備え、
    前記固定局装置は、
    各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段と、
    移動端末側情報送信手段から受信した前記撮影位置情報および前記撮影方位情報にもとづいて、画像撮影手段による撮影対象となった範囲を特定し、前記範囲に含まれる位置に対応づけられた位置対応情報を位置対応情報記憶手段から抽出する位置対応情報抽出手段と、
    位置対応情報抽出手段によって抽出された位置対応情報を用いて、前記移動端末側情報送信手段から受信した前記画像中に含まれる文字または文字列を認識する文字認識手段と、
    文字認識手段が認識した文字または文字列の情報を、通信ネットワークを介して前記移動端末装置に送信する固定局側情報送信手段とを備えた
    ことを特徴とする移動通信システム。
  5. 固定局装置は、
    位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段と、
    位置対応情報抽出手段によって抽出された位置対応情報にもとづいて、位置非対応情報記憶手段から位置非対応情報を抽出する位置非対応情報抽出手段とを備え、
    文字認識手段は、位置対応情報抽出手段によって抽出された位置対応情報と、位置非対応情報抽出手段によって抽出された位置非対応情報とを用いて、画像中に含まれる文字または文字列を認識する
    請求項4記載の移動通信システム。
  6. 移動端末装置は、
    文字認識手段が認識した文字または文字列の情報を、通信ネットワークを介して固定局側情報送信手段から受信する移動端末側情報受信手段と、
    受信した前記文字または文字列の情報を出力する出力手段とを備えた
    請求項4または請求項5記載の移動通信システム。
  7. 移動端末装置と固定局装置とが無線伝送路を介して通信を行う移動通信システムにおいて、
    前記移動端末装置は、
    画像を撮影する画像撮影手段と、
    画像の撮影位置を測位して、前記撮影位置を示す撮影位置情報を求める位置測位手段と、
    画像の撮影方向を検出して、前記撮影方向を示す撮影方位情報を求める方位検出手段と、
    前記撮影位置情報および前記撮影方位情報を、通信ネットワークを介して前記固定局装置に送信する移動端末側情報送信手段と、
    画像撮影手段が撮影した画像中に含まれる文字または文字列を認識する文字認識手段とを備え、
    前記固定局装置は、
    各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する固定局側位置対応情報記憶手段と、
    移動端末側情報送信手段から受信した前記撮影位置情報および前記撮影方位情報にもとづいて、画像撮影手段による撮影対象となった範囲を特定し、前記範囲に含まれる位置に対応づけられた位置対応情報を固定局側位置対応情報記憶手段から抽出する固定局側位置対応情報抽出手段と、
    位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段と、
    固定局側位置対応情報抽出手段によって抽出された位置対応情報にもとづいて、位置非対応情報記憶手段から位置非対応情報を抽出する位置非対応情報抽出手段と、
    位置非対応情報抽出手段によって抽出された位置非対応情報を、通信ネットワークを介して前記移動端末装置に送信する固定局側情報送信手段とを備え、
    前記文字認識手段は、固定局側情報送信手段から受信した位置非対応情報を用いて、画像中に含まれる文字または文字列を認識する
    ことを特徴とする移動通信システム。
  8. 移動端末装置は、
    各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する移動端末側位置対応情報記憶手段と、
    撮影位置情報および撮影方位情報にもとづいて、画像撮影手段による撮影対象となった範囲を特定し、前記範囲に含まれる位置に対応づけられた位置対応情報を移動端末側位置対応情報記憶手段から抽出する移動端末側位置対応情報抽出手段とを備え、
    文字認識手段は、固定局側情報送信手段から受信した位置非対応情報と、移動端末側位置対応情報抽出手段によって抽出された位置対応情報とを用いて、画像中に含まれる文字または文字列を認識する
    請求項7記載の移動通信システム。
  9. 固定局側情報送信手段は、位置非対応情報抽出手段によって抽出された位置非対応情報と、固定局側位置対応情報抽出手段によって抽出された位置対応情報とを、通信ネットワークを介して移動端末装置に送信し、
    文字認識手段は、固定局側情報送信手段から受信した位置非対応情報と位置対応情報とを用いて、画像中に含まれる文字または文字列を認識する
    請求項7記載の移動通信システム。
  10. 位置非対応情報記憶手段は、位置情報と対応づけられていない語の集合であって、少なくとも1つの語が位置対応情報と同一となっている語の集合を位置非対応情報として記憶し、
    位置非対応情報抽出手段は、固定局側位置対応情報抽出手段によって抽出された位置対応情報をキーとして、位置非対応情報記憶手段から位置非対応情報を抽出する
    請求項7から請求項9のうちのいずれか1項に記載の移動通信システム。
  11. 画像中に含まれる文字または文字列を認識する文字認識処理を実行する固定局装置と情報を送受信する移動端末装置であって、
    画像を撮影する画像撮影手段と、
    画像の撮影位置を測位して、前記撮影位置を示す撮影位置情報を求める位置測位手段と、
    画像の撮影方向を検出して、前記撮影方向を示す撮影方位情報を求める方位検出手段と、
    前記撮影位置情報、前記撮影方位情報および画像撮影手段によって撮影された画像を、通信ネットワークを介して前記固定局装置に送信する移動端末側情報送信手段と、
    前記固定局装置が前記撮影位置情報および前記撮影方位情報を用いた前記画像に対する文字認識処理によって得た文字または文字列の情報を、前記固定局装置から受信する移動端末側情報受信手段とを備えた
    ことを特徴とする移動端末装置。
  12. 移動端末装置と情報を送受信する固定局装置であって、
    前記移動端末装置から、前記移動端末装置が撮影した画像、前記画像の撮影位置を示す撮影位置情報、および前記画像の撮影方向を示す撮影方位情報を受信する固定局側情報受信手段と、
    各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段と、
    前記移動端末装置から受信した前記撮影位置情報および前記撮影方位情報にもとづいて、前記移動端末装置による撮影対象となった範囲を特定し、前記範囲に含まれる位置に対応づけられた位置対応情報を位置対応情報記憶手段から抽出する位置対応情報抽出手段と、
    位置対応情報抽出手段によって抽出された位置対応情報を用いて、前記移動端末装置から受信した前記画像中に含まれる文字または文字列を認識する文字認識手段と、
    文字認識手段が認識した文字または文字列の情報を、通信ネットワークを介して前記移動端末装置に送信する固定局側情報送信手段とを備えた
    ことを特徴とする固定局装置。
  13. 位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段と、
    位置対応情報抽出手段によって抽出された位置対応情報にもとづいて、位置非対応情報記憶手段から位置非対応情報を抽出する位置非対応情報抽出手段とを備え、
    文字認識手段は、位置対応情報抽出手段によって抽出された位置対応情報と、位置非対応情報抽出手段によって抽出された位置非対応情報とを用いて、画像中に含まれる文字または文字列を認識する
    請求項12に記載の固定局装置。
  14. 固定局装置と情報を送受信し、画像中に含まれる文字または文字列を認識する文字認識処理を実行する移動端末装置であって、
    画像を撮影する画像撮影手段と、
    画像の撮影位置を測位して、前記撮影位置を示す撮影位置情報を求める位置測位手段と、
    画像の撮影方向を検出して、前記撮影方向を示す撮影方位情報を求める方位検出手段と、
    前記撮影位置情報および前記撮影方位情報を、通信ネットワークを介して前記固定局装置に送信する移動端末側情報送信手段と、
    各場所の位置を示す各位置情報に対応づけられていない語である位置非対応情報であって、前記固定局装置が前記撮影位置情報および前記撮影方位情報を用いて決定した位置非対応情報を、前記固定局装置から受信する移動端末側情報受信手段と、
    移動端末側情報受信手段が受信した位置非対応情報を用いて、画像撮影手段が撮影した画像中に含まれる文字または文字列を認識する文字認識手段とを備えた
    ことを特徴とする移動端末装置。
  15. 各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する移動端末側位置対応情報記憶手段と、
    撮影位置情報および撮影方位情報にもとづいて、画像撮影手段による撮影対象となった範囲を特定し、前記範囲に含まれる位置に対応づけられた位置対応情報を移動端末側位置対応情報記憶手段から抽出する移動端末側位置対応情報抽出手段とを備え、
    文字認識手段は、移動端末側情報受信手段が受信した位置非対応情報と、移動端末側位置対応情報抽出手段によって抽出された位置対応情報とを用いて、画像中に含まれる文字または文字列を認識する
    請求項14記載の移動端末装置。
  16. 画像中に含まれる文字または文字列を認識する文字認識処理を実行する移動端末装置と情報を送受信する固定局装置であって、
    前記移動端末装置から、前記移動端末装置が撮影した画像の撮影位置を示す撮影位置情報、および前記画像の撮影方向を示す撮影方位情報を受信する固定局側情報受信手段と、
    各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する固定局側位置対応情報記憶手段と、
    固定局側情報受信手段が受信した前記撮影位置情報および前記撮影方位情報にもとづいて、前記移動端末装置による撮影対象となった範囲を特定し、前記範囲に含まれる位置に対応づけられた位置対応情報を固定局側位置対応情報記憶手段から抽出する固定局側位置対応情報抽出手段と、
    位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段と、
    固定局側位置対応情報抽出手段によって抽出された位置対応情報にもとづいて、位置非対応情報記憶手段から位置非対応情報を抽出する位置非対応情報抽出手段と、
    位置非対応情報抽出手段によって抽出された位置非対応情報を、通信ネットワークを介して前記移動端末装置に送信する固定局側情報送信手段とを備えた
    ことを特徴とする固定局装置。
  17. 固定局側情報送信手段は、位置非対応情報抽出手段によって抽出された位置非対応情報と、固定局側位置対応情報抽出手段によって抽出された位置対応情報とを送信する請求項16記載の固定局装置。
  18. 画像撮影手段が、画像を撮影し、
    位置測位手段が、画像の撮影位置を測位して、前記撮影位置を示す撮影位置情報を求め、
    方位検出手段が、画像の撮影方向を検出して、前記撮影方向を示す撮影方位情報を求め、
    位置対応情報抽出手段が、前記撮影位置情報および前記撮影方位情報にもとづいて、画像撮影手段による撮影対象となった範囲を特定し、
    位置対応情報抽出手段が、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段から、前記範囲に含まれる位置に対応づけられた位置対応情報を抽出し、
    文字認識手段が、位置対応情報抽出手段によって抽出された位置対応情報を用いて、画像撮影手段が撮影した画像中に含まれる文字または文字列を認識する
    ことを特徴とする文字認識方法。
  19. 位置非対応情報抽出手段が、位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段から、位置対応情報抽出手段によって抽出された位置対応情報にもとづいて位置非対応情報を抽出し、
    文字認識手段が、位置対応情報抽出手段によって抽出された位置対応情報と、位置非対応情報抽出手段によって抽出された位置非対応情報とを用いて、画像中に含まれる文字または文字列を認識する
    請求項18記載の文字認識方法。
  20. 移動端末装置と固定局装置とが無線伝送路を介して通信を行う移動通信システムで使用される、画像中に含まれる文字または文字列を認識する文字認識方法であって、
    前記移動端末装置が、画像を撮影し、
    前記移動端末装置が、画像の撮影位置を測位して、前記撮影位置を示す撮影位置情報を求め、
    前記移動端末装置が、画像の撮影方向を検出して、前記撮影方向を示す撮影方位情報を求め、
    前記移動端末装置が、前記撮影位置情報、前記撮影方位情報および画像撮影手段によって撮影された画像を、通信ネットワークを介して前記固定局装置に送信し、
    前記固定局装置が、前記移動端末装置から受信した前記撮影位置情報および前記撮影方位情報にもとづいて、前記移動端末装置による撮影対象となった範囲を特定し、
    前記固定局装置が、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段から、前記範囲に含まれる位置に対応づけられた位置対応情報を抽出し、
    前記固定局装置が、抽出した位置対応情報を用いて、前記移動端末装置から受信した前記画像中に含まれる文字または文字列を認識し、
    前記固定局装置が、認識した文字または文字列の情報を、通信ネットワークを介して前記移動端末装置に送信する
    ことを特徴とする文字認識方法。
  21. 移動端末装置が、固定局装置が認識した文字または文字列の情報を、通信ネットワークを介して固定局装置から受信し、
    前記移動端末装置が、受信した前記文字または文字列の情報を出力する
    請求項20記載の文字認識方法。
  22. 移動端末装置と固定局装置とが無線伝送路を介して通信を行う移動通信システムで使用される、画像中に含まれる文字または文字列を認識する文字認識方法であって、
    前記移動端末装置が、画像を撮影し、
    前記移動端末装置が、画像の撮影位置を測位して、前記撮影位置を示す撮影位置情報を求め、
    前記移動端末装置が、画像の撮影方向を検出して、前記撮影方向を示す撮影方位情報を求め、
    前記移動端末装置が、前記撮影位置情報および前記撮影方位情報を、通信ネットワークを介して前記固定局装置に送信し、
    前記固定局装置が、前記移動端末装置から受信した前記撮影位置情報および前記撮影方位情報にもとづいて、前記移動端末装置による撮影対象となった範囲を特定し、
    前記固定局装置が、各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する固定局側位置対応情報記憶手段から、前記範囲に含まれる位置に対応づけられた位置対応情報を抽出し、
    前記固定局装置が、位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段から、前記固定局側位置対応情報記憶手段から抽出した前記位置対応情報にもとづいて位置非対応情報を抽出し、
    前記固定局装置が、抽出した位置非対応情報を、通信ネットワークを介して前記移動端末装置に送信し、
    前記移動端末装置が、前記固定局装置から受信した位置非対応情報を用いて、前記移動端末装置が撮影した画像中に含まれる文字または文字列を認識する
    ことを特徴とする文字認識方法。
  23. コンピュータに、
    画像の撮影位置を示す撮影位置情報、および画像の撮影方向を示す撮影方位情報にもとづいて、撮影対象となった範囲を特定する処理と、
    各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段から、前記範囲に含まれる位置に対応づけられた位置対応情報を抽出する処理と、
    抽出した位置対応情報を用いて、撮影された画像中に含まれる文字または文字列を認識する文字認識処理とを実行させる
    ことを特徴とする文字認識プログラム。
  24. コンピュータに、
    位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段から、位置対応情報記憶手段から抽出した位置対応情報にもとづいて位置非対応情報を抽出する処理と、
    位置対応情報記憶手段から抽出した位置対応情報と、位置非対応情報記憶手段から抽出した位置非対応情報とを用いて、画像中に含まれる文字または文字列を認識する処理とを実行させる
    請求項23記載の文字認識プログラム。
  25. 画像中に含まれる文字または文字列を認識する文字認識処理を実行する固定局装置と情報を送受信する移動端末装置に搭載される情報送受信プログラムであって、
    コンピュータに、
    画像の撮影位置を示す撮影位置情報、画像の撮影方向を示す撮影方位情報、および撮影された画像を、通信ネットワークを介して前記固定局装置に送信する処理と、
    固定局装置が前記撮影位置情報および前記撮影方位情報を用いた前記画像に対する文字認識処理によって得た文字または文字列の情報を、前記固定局装置から受信する処理とを実行させる
    ことを特徴とする情報送受信プログラム。
  26. 移動端末装置と情報を送受信する固定局装置に搭載される文字認識プログラムであって、
    コンピュータに、
    前記移動端末装置から、前記移動端末装置が撮影した画像、前記画像の撮影位置を示す撮影位置情報、および前記画像の撮影方向を示す撮影方位情報を受信する処理と、
    前記移動端末装置から受信した前記撮影位置情報および前記撮影方位情報にもとづいて、前記移動端末装置による撮影対象となった範囲を特定する処理と、
    各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する位置対応情報記憶手段から、前記範囲に含まれる位置に対応づけられた位置対応情報を抽出する処理と、
    抽出した位置対応情報を用いて、前記移動端末装置から受信した前記画像中に含まれる文字または文字列を認識する処理と、
    認識した文字または文字列の情報を、通信ネットワークを介して前記移動端末装置に送信する処理とを実行させる
    ことを特徴とする文字認識プログラム。
  27. 固定局装置と情報を送受信し、画像中に含まれる文字または文字列を認識する文字認識処理を実行する移動端末装置に搭載される文字認識プログラムであって、
    コンピュータに、
    画像の撮影位置を示す撮影位置情報、および画像の撮影方向を示す撮影方位情報を、通信ネットワークを介して前記固定局装置に送信する処理と、
    各場所の位置を示す各位置情報に対応づけられていない語である位置非対応情報であって、前記固定局装置が前記撮影位置情報および前記撮影方位情報を用いて決定した位置非対応情報を、前記固定局装置から受信する処理と、
    前記固定局装置から受信した位置非対応情報を用いて、前記移動端末装置が撮影した画像中に含まれる文字または文字列を認識する処理とを実行させる
    ことを特徴とする文字認識プログラム。
  28. 画像中に含まれる文字または文字列を認識する文字認識処理を実行する移動端末装置と情報を送受信する固定局装置に搭載される情報抽出プログラムであって、
    コンピュータに、
    前記移動端末装置から、前記移動端末装置が撮影した画像の撮影位置を示す撮影位置情報、および前記画像の撮影方向を示す撮影方位情報を受信する処理と、
    前記移動端末装置から受信した前記撮影位置情報および前記撮影方位情報にもとづいて、前記移動端末装置による撮影対象となった範囲を特定する処理と、
    各場所の位置を示す各位置情報に対応づけられた語である位置対応情報を記憶する固定局側位置対応情報記憶手段から、前記範囲に含まれる位置に対応づけられた位置対応情報を抽出する処理と、
    位置情報と対応づけられていない語である位置非対応情報を記憶する位置非対応情報記憶手段から、前記固定局側位置対応情報記憶手段から抽出した前記位置対応情報にもとづいて位置非対応情報を抽出する処理と、
    抽出した位置非対応情報を、通信ネットワークを介して前記移動端末装置に送信する処理とを実行させる
    ことを特徴とする情報抽出プログラム。
JP2005516818A 2004-01-08 2004-12-03 文字認識装置、移動通信システム、移動端末装置、固定局装置、文字認識方法および文字認識プログラム Active JP4591353B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004002848 2004-01-08
JP2004002848 2004-01-08
PCT/JP2004/018059 WO2005066882A1 (ja) 2004-01-08 2004-12-03 文字認識装置、移動通信システム、移動端末装置、固定局装置、文字認識方法および文字認識プログラム

Publications (2)

Publication Number Publication Date
JPWO2005066882A1 true JPWO2005066882A1 (ja) 2007-12-20
JP4591353B2 JP4591353B2 (ja) 2010-12-01

Family

ID=34747061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005516818A Active JP4591353B2 (ja) 2004-01-08 2004-12-03 文字認識装置、移動通信システム、移動端末装置、固定局装置、文字認識方法および文字認識プログラム

Country Status (5)

Country Link
US (2) US7916948B2 (ja)
EP (1) EP1703445A4 (ja)
JP (1) JP4591353B2 (ja)
CN (1) CN100433050C (ja)
WO (1) WO2005066882A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4707536B2 (ja) * 2005-10-31 2011-06-22 アイシン・エィ・ダブリュ株式会社 道路ペイント認識システム、道路ペイント認識方法及び道路ペイントデータベースの作成方法
JP4755556B2 (ja) * 2006-09-04 2011-08-24 クラリオン株式会社 車載装置
KR100775123B1 (ko) 2006-09-15 2007-11-08 삼성전자주식회사 영상 객체 인덱싱 방법 및 이를 이용한 영상 객체 인덱싱시스템
JP4746568B2 (ja) * 2007-01-16 2011-08-10 ヤフー株式会社 情報提供装置、情報提供方法、及びプログラム
IL184179D0 (en) * 2007-06-24 2008-03-20 Rdc Rafael Dev Corp Ltd A method and apparatus for connecting a cellular telephone user to the internet
US8208024B2 (en) * 2007-11-30 2012-06-26 Target Brands, Inc. Communication and surveillance system
US8938211B2 (en) 2008-12-22 2015-01-20 Qualcomm Incorporated Providing and utilizing maps in location determination based on RSSI and RTT data
US20100157848A1 (en) * 2008-12-22 2010-06-24 Qualcomm Incorporated Method and apparatus for providing and utilizing local maps and annotations in location determination
US8938355B2 (en) * 2009-03-13 2015-01-20 Qualcomm Incorporated Human assisted techniques for providing local maps and location-specific annotated data
US8953838B2 (en) * 2009-06-24 2015-02-10 Here Global B.V. Detecting ground geographic features in images based on invariant components
US8761435B2 (en) * 2009-06-24 2014-06-24 Navteq B.V. Detecting geographic features in images based on invariant components
US9129163B2 (en) * 2009-06-24 2015-09-08 Here Global B.V. Detecting common geographic features in images based on invariant components
KR101662595B1 (ko) 2009-11-03 2016-10-06 삼성전자주식회사 사용자 단말 장치, 경로 안내 시스템 및 그 경로 안내 방법
JP4759638B2 (ja) * 2009-12-25 2011-08-31 株式会社スクウェア・エニックス リアルタイムなカメラ辞書
US8805078B2 (en) 2010-02-08 2014-08-12 Tomtom Germany Gmbh & Co. Kg Methods for digital mapping and associated apparatus
US9262394B2 (en) * 2010-03-26 2016-02-16 Nec Corporation Document content analysis and abridging apparatus
WO2011136340A1 (ja) * 2010-04-28 2011-11-03 楽天株式会社 情報提供装置、情報提供処理プログラム、情報提供処理プログラムを記録した記録媒体、及び情報提供方法
CN102062609B (zh) * 2010-06-23 2012-11-14 武汉奋进电力技术有限公司 一种智能物品取放导航系统及导航方法
JP5647919B2 (ja) 2011-03-07 2015-01-07 株式会社Nttドコモ 文字認識装置、文字認識方法、文字認識システム、および文字認識プログラム
US9082035B2 (en) * 2011-08-29 2015-07-14 Qualcomm Incorporated Camera OCR with context information
JP5845764B2 (ja) * 2011-09-21 2016-01-20 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US9063936B2 (en) 2011-12-30 2015-06-23 Verisign, Inc. Image, audio, and metadata inputs for keyword resource navigation links
US8965971B2 (en) * 2011-12-30 2015-02-24 Verisign, Inc. Image, audio, and metadata inputs for name suggestion
US9080882B2 (en) * 2012-03-02 2015-07-14 Qualcomm Incorporated Visual OCR for positioning
US20140019126A1 (en) * 2012-07-13 2014-01-16 International Business Machines Corporation Speech-to-text recognition of non-dictionary words using location data
CN103050025B (zh) * 2012-12-20 2015-09-09 广东欧珀移动通信有限公司 一种移动终端的学习方法及其学习系统
JP2015219821A (ja) * 2014-05-20 2015-12-07 ソニー株式会社 情報処理装置、管理装置、情報処理方法、およびプログラム
CN104318399A (zh) * 2014-11-10 2015-01-28 深圳市网家缘科技有限公司 一种基于地理位置的招聘信息街拍分享方法及系统
CN105136135B (zh) * 2015-09-01 2017-10-13 上海青橙实业有限公司 信息获取方法及移动终端
CN106845470A (zh) * 2017-02-20 2017-06-13 百度在线网络技术(北京)有限公司 地图数据采集方法和装置
CN106886593A (zh) * 2017-02-21 2017-06-23 百度在线网络技术(北京)有限公司 信息处理方法、装置和服务器
CN107677289A (zh) * 2017-09-30 2018-02-09 百度在线网络技术(北京)有限公司 信息处理方法、装置以及机动车
CN108038427A (zh) * 2017-11-29 2018-05-15 维沃移动通信有限公司 一种文字识别方法及移动终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000047579A (ja) * 1998-07-30 2000-02-18 Nippon Telegr & Teleph Corp <Ntt> 地図データベース更新装置
JP2002213971A (ja) * 2001-01-17 2002-07-31 Alpine Electronics Inc ナビゲーション装置
JP2003178067A (ja) * 2001-12-10 2003-06-27 Mitsubishi Electric Corp 携帯端末型画像処理システム、携帯端末およびサーバ

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978520A (en) * 1995-07-31 1999-11-02 Hitachi, Ltd. Method of recognizing image data and apparatus therefor
JPH09114851A (ja) * 1995-10-20 1997-05-02 Fuji Xerox Co Ltd 情報管理装置
US6104833A (en) * 1996-01-09 2000-08-15 Fujitsu Limited Pattern recognizing apparatus and method
US5844505A (en) * 1997-04-01 1998-12-01 Sony Corporation Automobile navigation system
JPH1114384A (ja) * 1997-06-24 1999-01-22 Mitsubishi Electric Corp ナビゲーションシステム、ナビゲーションシステム用地点情報コード作成装置、および情報提供システムとその印刷媒体
US8432414B2 (en) * 1997-09-05 2013-04-30 Ecole Polytechnique Federale De Lausanne Automated annotation of a view
JP3092576B2 (ja) * 1998-01-22 2000-09-25 日本電気株式会社 文字認識装置
GB9809679D0 (en) * 1998-05-06 1998-07-01 Xerox Corp Portable text capturing method and device therefor
JP3360030B2 (ja) 1998-08-06 2002-12-24 日本電信電話株式会社 文字認識装置および文字認識方法および文字認識方法をプログラムの形で記録した記録媒体
JP2001336941A (ja) * 2000-05-25 2001-12-07 Sony Corp カーナビゲーション装置
US7031875B2 (en) * 2001-01-24 2006-04-18 Geo Vector Corporation Pointing systems for addressing objects
JP4271878B2 (ja) * 2001-03-22 2009-06-03 株式会社日立製作所 映像中の文字検索方法及び装置並びに文字検索処理プログラム
US20030202683A1 (en) * 2002-04-30 2003-10-30 Yue Ma Vehicle navigation system that automatically translates roadside signs and objects
US7346156B1 (en) * 2004-01-29 2008-03-18 Stanacard Llc Methods and apparatuses for placing a telephone call

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000047579A (ja) * 1998-07-30 2000-02-18 Nippon Telegr & Teleph Corp <Ntt> 地図データベース更新装置
JP2002213971A (ja) * 2001-01-17 2002-07-31 Alpine Electronics Inc ナビゲーション装置
JP2003178067A (ja) * 2001-12-10 2003-06-27 Mitsubishi Electric Corp 携帯端末型画像処理システム、携帯端末およびサーバ

Also Published As

Publication number Publication date
WO2005066882A1 (ja) 2005-07-21
US20070189612A1 (en) 2007-08-16
US20110081084A1 (en) 2011-04-07
EP1703445A1 (en) 2006-09-20
EP1703445A4 (en) 2011-07-27
US8135218B2 (en) 2012-03-13
JP4591353B2 (ja) 2010-12-01
US7916948B2 (en) 2011-03-29
CN100433050C (zh) 2008-11-12
CN1926559A (zh) 2007-03-07

Similar Documents

Publication Publication Date Title
US10127734B2 (en) Augmented reality personalization
US20170074675A1 (en) Augmented reality maps
US10168162B2 (en) Navigation apparatus and mapping system using personal contacts
CN105659304B (zh) 车辆、导航系统及生成并递送导航信息的方法
US9454714B1 (en) Sequence transcription with deep neural networks
US20190145790A1 (en) System and method for rating landmarks for use as route guidance in vehicle navigation
US9678987B2 (en) Method, apparatus and computer program product for providing standard real world to virtual world links
JP5496997B2 (ja) ナビゲーションシステムに使用するための地理的データベースの情報を収集する方法
US9891058B2 (en) Method and apparatus for providing navigation guidance via proximate devices
JP2016048247A (ja) ローカル・マップ及び位置特有の注釈付きデータを提供するための人間援助型の技術
US8954275B2 (en) Schematic maps
CN103632626B (zh) 一种基于移动互联网的智能导游实现方法、装置及移动客户端
US9179278B2 (en) Systems and methods involving augmented menu using mobile device
US9497581B2 (en) Incident reporting
US8244227B2 (en) Information providing device, mobile communication device, information providing system, information providing method, and program
JP4236372B2 (ja) 空間情報利用システムおよびサーバシステム
TWI273271B (en) Navigation system
DE60018466T2 (de) Verfahren und system zur bereitsstellung von ortsinformation in einem drahtlosen kommunikationsnetz
US7290000B2 (en) Server, user terminal, information providing service system, and information providing service method
Schöning et al. PhotoMap: using spontaneously taken images of public maps for pedestrian navigation tasks on mobile devices
JP3227272B2 (ja) ナビゲーション装置
US20120027301A1 (en) Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
DE69531188T2 (de) Navigationsvorrichtung
JP2014160471A (ja) ナビゲータとしてのモバイルイメージング装置
US6199014B1 (en) System for providing driving directions with visual cues

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071112

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20091015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100817

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100830

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130924

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4591353

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150