JPH11265391A - 情報検索装置 - Google Patents

Abstract

(57)【要約】 【課題】 景観中の文字列を検索キーワードとして入力
する際、操作者の静止時間を短縮する。 【解決手段】 検索キーワードとしたい文字列を含む画
像を入力する画像入力部２と、入力された文字列画像か
ら文字画像を切り出す文字切り出し部３と、切り出され
た文字画像を認識し、文字コード列を出力する文字認識
部４と、文字コード列を検索キ―ワードとして蓄積する
検索キーワード蓄積部５と、蓄積された文字コード列の
無線による送信および検索システムによつて検索された
結果の受信を行う検索情報通信部７と、受信した検索結
果を蓄積する検索結果蓄積部８と、蓄積された検索結果
を表示するための表示部１より構成されることを特徴と
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は看板やポスター等に
書かれている文字列を認識して、検索キーワードとして
用いる携帯型の情報検索装置に関するものである。

【０００２】

【従来の技術】従来の携帯型の情報検索装置は、電話回
線やＬＡＮ等を利用してデータベースヘアクセスするも
のが多かった。そのため、検索を行える場所は、電話回
線やＬＡＮが利用できる場所に限られていた。そこで最
近では、携帯電話やＰＨＳとモデム、あるいはこれらを
一体化した無線モデムを用いることにより利用場所の制
約を解消し、屋外でも容易に情報の検索が可能な装置が
普及しつつある（“移動体データ通信が表舞台に”；日
経エレクトロニクス１９９７．５．１９号，Ｖｏｌ．６
８９，ｐｐｌ１３−１８９）。そして、これらの携帯用
情報検索装置における検索キーワードの入力方法として
は、小型キーボードによる入力、あるいはタブレットを
用いたペン入力などが一般的である。小型キーボードを
用いる場合は、カナ漢字変換による文字入力が多い。タ
ブレットを用いる場合は、タブレット面上に筆記された
文字を認識して入力する方法や、文字一覧表を表示して
入力する方法が多い。

【０００３】

【発明が解決しようとする課題】キーボードを用いる場
合も、タブレットを用いる場合も、検索キーワードを入
力するには、操作者は静止する必要がある。そのため、
無線通信により利用場所の制約が解消されたとはいえ、
例えば、人通りの多い路上のように交通の妨げになる場
所での利用は困難で、必ずしもどこでも自由に使用でき
るわけではなかった。

【０００４】ところで、屋外で使用されることの多い携
帯型の情報検索装置においては、入力する検索キーワー
ドは、景観中に存在する文字列、例えば看板やポスター
に書かれている企業名、商品名、イベント名、ＵＲＬ
（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏ
ｒ）等の文字列である場合も少なくない。これらの文字
列を効率的に入力することができれば、携帯型の情報検
索装置の使用形態、使用方法を格段に拡大することがで
きる。

【０００５】本発明は上記事情に鑑みてなされたもの
で、その目的は、景観中の文字列を検索キーワードとし
て入力する際に、操作者が静止しなければならない時間
を短縮し、どこでも素早く利用できる携帯型の情報検索
装置を提供することである。

【０００６】

【課題を解決するための手段】上記の課題を達成するた
めに、本発明は検索キーワードの入力手段として文字認
識技術を用いる。具体的には、検索キーワードとしたい
文字列を含む画像を入力すると、文字領域切り出し、文
字認識、情報検索の各処理を自動的に実行する。そのた
めの手段として、検索キーワードとしたい文字列を含む
画像を小型のカメラ等によって入力する画像入力部と、
入力された文字列画像から一文字ずつの文字画像領域を
求めて文字画像を切り出す文字切り出し部と、切り出さ
れた文字画像を認識して認識結果の文字コード列を出力
する文字認識部と、文字認識部より出力された文字コー
ド列を検索キーワードとして蓄積する検索キーワード蓄
積部と、検索キーワード蓄積部に蓄積された文字コード
列の無線による外部検索システムヘの送信および検索シ
ステムによつて検索された結果の無線による受信を行う
検索情報通信部と、検索情報通信部によつて受信した検
索結果を蓄積する検索結果蓄積部と、入力された画像、
検索キーワード蓄積部に蓄積された文字コード列、およ
び検索結果蓄積部に蓄積された検索結果を表示するため
の表示部より構成されたものである。

【０００７】また、検索キーワード蓄積部に蓄積された
文字コード列を必要に応じて修正する認識結果修正部を
具備したものである。

【０００８】この構成により、情報検索のために必ず行
わなければならない操作は、検索キーワードとしたい文
字列を含む画像の入力だけであり、キーボード入力やペ
ン入力のような従来の入力手段に比べ、格段に簡易かつ
迅速な操作が実現できる。

【０００９】

【発明の実施の形態】図１は本発明の一実施形態例を示
す。この情報検索装置は、表示部１、画像入力部２、文
字切り出し部３、文字認識部４、検索キーワード蓄積部
５、認識結果修正部６、検索情報通信部７、および検索
結果蓄積部８とで構成されている。

【００１０】表示部１では、ヘッドマウントディスプレ
イで構成され、後述の画像入力部２より入力される景観
映像およびキャプチャされた文字列画像の表示、後述の
文字認識部４で得られる文字認識結果の表示、後述の検
索結果蓄積部８に蓄積された情報検索結果の表示を行
う。ヘッドマウントディスプレイはシースルーモードで
使用し、現実の景観に、上記の各種電子情報が重畳され
て表示される。

【００１１】画像入力部２では、検索キーワードとした
い文字列画像の入力を行う。操作者は、表示部１に表示
される景観映像を見ながら、検索キーワードとしたい文
字列が視野に入つた時点で静止画像のキャプチャ操作を
行うことにより、文字列画像を入力する。画像入力部２
はたとえば、小型ビデオカメラを操作者が装着した表示
部１（ヘッドマウントディスプレイ）に取り付けること
により、常に操作者の視線方向の文字列画像入力を可能
とする。

【００１２】文字切り出し部３では、画像入力部２で入
力された文字列画像から、１文字分ずつ文字画像を切り
出す。

【００１３】文字認識部４では、切り出された各文字画
像の認識を行い、認識結果文字コード列を検索キーワー
ド蓄積部５に蓄積する。文字切り出し部３および文字認
識部４で使用する方法としては、例えば、文字線とその
背景の濃度コンストラストが高い、文字の外接矩形が正
方形に近いものが多い、等の文字の普遍的な性質を利用
することによつて、雑音が多く条件の変化の激しい情景
画像から文字を抽出、認識する方法が提案されている
（“情景画像からの文字パターン抽出と認識”）大谷
淳，塩昭夫，電子情報通信学会論文誌ＤＶｏｌ．Ｊ７１
‐ＤＮｏ．６ｐｐ．１０８７‐１０４７）ものが使用で
きる。

【００１４】認識結果修正部６では、文字認識部４から
出力された認識結果文字コード列が情報検索に支障があ
る程の誤認識を含む場合に、認識結果の修正を行う。修
正は認識処理の過程で得られる複数の候補文字を表示
し、その中から、マウス等のポインティングデバイスに
よって選択することにより行う。検索システムは曖昧検
索の利用も可能であるため、誤認識の修正は情報検索に
支障がある場合のための機構であり、ほとんどの場合は
使用しない。

【００１５】検索情報通信部７では、検索キーワード蓄
積部５に蓄積されている認識結果文字コード列を取り出
し、検索キーワードとして外部検索システムヘの送信を
行う。また、外部検索システムによつて検索された結果
を受信し、検索結果蓄積部８へ蓄積する。検索情報通信
部７は、携帯電話やＰＨＳとモデムとの組み合わせ、あ
るいはこれらを一体化した無線モデムと、通信ソフトウ
ェアから構成され、上記検索キーワードの送信や、外部
検索システムによる検索結果の受信は無線により行われ
る。外部検索システムとしては、インターネット上の検
索エンジン（例えばｇｏｏ：ｈｔｔｐ：／／ｗｗｗ．ｇ
ｏｏ．ｎｅ．ｊｐ／）でも良いし、ネットワークに接続
された固有の検索システムでも良い。

【００１６】図２は、本発明の一実施形態例における具
体的な装置外観図である。

【００１７】本発明にかかる情報検索装置はプログラム
を格納するためのノートパソコン１１、表示部としての
ヘッドマウントディスプレイ１２、ヘッドマウントディ
スプレイ１２に取り付けた画像入力を行うための小型ビ
デオカメラ１３、無線通信を行うためのＰＨＳ１４とモ
デム１５からなる。ポインティングデバイス１６はノー
トパソコン１１のものを使用する。ここにはノートパソ
コン１１の利用例を挙げたが、ＰＤＡ（Ｐｅｒｓｏｎａ
ｌ Ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）等の高機能
携帯端末、あるいは同等の専用装置でも可能である。

【００１８】このように構成した情報検索装置の動作お
よび作用を説明する。図３は、図１に示した情報検索装
置の動作を示すフローチヤートである。なお、（Ｓ１）
〜（Ｓ９）は各ステップを示す。

【００１９】まず、ステップ（Ｓ１）において、キャプ
チャ操作により、画像入力部２（小型ビデオカメラ１
３）から検索キーワードとしたい文字列を含む画像を入
力する。

【００２０】次にステップ（Ｓ２）では、一文字分ずつ
文字画像を文字切り出し部３で切り出す。ステップ（Ｓ
３）で、ステップ（Ｓ２）で切り出された文字画像につ
いて文字認識部４で文字認識を行い、ステップ（Ｓ４）
で認識結果文字コ―ド列の蓄積を検索キーワード蓄積部
５にて行う。ステップ（Ｓ５）で認識結果を表示部１
（ヘッドマウントディスプレイ１２）に表示し、修正す
る必要があるか否かを判断する。修正する必要がある場
合は、ステップ（Ｓ６）で認識結果修正部６において修
正を行う。修正は認識処理の過程で得られる複数の候補
文字を表示し、その中からポインティングデバイス１６
によって正解文字を選ぶことによって行う。次に、ステ
ップ（Ｓ７）において検索キーワード蓄積部５に蓄積さ
れた認識結果文字コード列を検索キーワードとして検索
情報通信部７を介して無線による通信で外部検索システ
ムに送信し、ステップ（Ｓ８）で情報検索を行つた結果
を受信し、検索結果蓄積部８に蓄積する。ステップ（Ｓ
９）で検索結果を表示部１に表示して、処理を終了す
る。

【００２１】

【発明の効果】以上説明したように、本発明は、景観中
から文字列画像を入力する画像入力部と、上記文字列画
像から文字画像を切り出す文字切り出し部と、上記文字
画像を認識して文字コード列を出力する文字認識部と、
上記文字認識部より出力された上記文字コード列を蓄積
する検索キーワード蓄積部と、上記検索キーワード蓄積
部に蓄積された上記文字コード列の外部検索システムヘ
の送信、および外部検索システムを用いた検索結果の受
信を行う検索情報通信部と、上記検索情報通信部により
受信された検索結果を蓄積する検索結果蓄積部と、上記
検索キーワード蓄積部に蓄積された上記文字コード列お
よび上記検索結果蓄積部に蓄積された上記検索結果を表
示する表示部とを有するので、景観中の文字列を検索キ
ーワードとして入力する際に、操作者が静止しなければ
ならない時間を短縮することができ、いつでもどこでも
素早く利用できる携帯型の情報検索装置が実現可能であ
る。

【００２２】また、検索キーワード蓄積部に蓄積された
上記文字コード列の修正を行う認識結果修正部を備えた
ので、誤認識を避けることができる。

【図面の簡単な説明】

【図１】本発明の一実施例における情報検索装置の全体
概要を示すブロック図である。

【図２】本発明の一実施例における情報検索装置の装置
外観図である。

【図３】本発明の一実施例における情報検索装置の動作
を示すフローチャートである。

【符号の説明】

１ 表示部 ２ 画像入力部 ３ 文字切り出し部 ４ 文字認識部 ５ 検索キーワード蓄積部 ６ 認識結果修正部 ７ 検索情報通信部 ８ 検索結果蓄積部 １１ ノートパソコン １２ ヘッドマウントディスプレイ １３ 小型ビデオカメラ １４ ＰＨＳ １５ モデム １６ ポインティングデバイス

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小倉 健司 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内

Claims (2)

【特許請求の範囲】
1. 【請求項１】 景観中から文字列画像を入力する画像入
   力部と、 上記文字列画像から文字画像を切り出す文字切り出し部
   と、 上記文字画像を認識して文字コード列を出力する文字認
   識部と、 上記文字認識部より出力された上記文字コード列を蓄積
   する検索キーワード蓄積部と、 上記検索キーワード蓄積部に蓄積された上記文字コード
   列の外部検索システムヘの送信、および外部検索システ
   ムを用いた検索結果の受信を行う検索情報通信部と、 上記検索情報通信部により受信された検索結果を蓄積す
   る検索結果蓄積部と、上記検索キーワード蓄積部に蓄積
   された上記文字コード列および上記検索結果蓄積部に蓄
   積された上記検索結果を表示する表示部とを有すること
   を特徴とする情報検索装置。
2. 【請求項２】 上記検索キーワード蓄積部に蓄積された
   上記文字コード列の修正を行う認識結果修正部を具備し
   たことを特徴とする請求項１に記載の情報検索装置。