JP6056375B2 - 情報処理システム、情報処理方法、及び、コンピュータプログラム - Google Patents

Description

本発明は、画像データに関連した情報を提供する技術に関する。

従来より、ある画像データと類似する画像データを画像データベースから検索する、類似画像検索技術が知られている。この画像検索技術では、基準となる画像の特徴量と、画像データベースに登録されている画像データの特徴量とを比較し、画像データ同士が類似しているか否かの判定を行っている。

類似画像検索技術として、例えば、特許文献１には画像に特徴量による類似度と、画像データをＯＣＲ処理して得られるテキストデータを使用した検索処理とを併用することで、類似画像検索の精度を高める技術が開示されている。

特開２００２−７４１３号公報

例えば、外国に旅行した際に、飲食店などの店頭で、飲食店であることは認識しているが、提供している料理やその価格帯かがわからないケースなどがある。国内であれば、看板等の記載されている店名等をキーワードとしてインターネット検索を行い、その飲食店の情報を得ることも容易に行うことが出来るが、外国では普段目にしない文字で店名が看板に記載されている場合などもあるので、検索等を行うことは容易ではない。

そこで、前記の類似画像検索技術を用いて、例えば、店頭の看板（ロゴ等を含む）等の撮影画像データを管理サーバに送信すると、管理サーバで管理されているその店頭の看板の画像データと関連付けられているメニューやクーポンといった関連情報をユーザの母国語で得られれば、そのような不便さは多少解消される。

さらには、送信した画像データに関連付けられている関連画像データがなければ、その看板画像データから得られる情報、例えば、看板に記載の店名等の情報を旅行者の母国語で得ることが出来れば、旅行者にとっては有益なものである。

そこで、本発明は、撮像された画像と類似する画像の検索を行い、ユーザの言語に対応する情報を提供することを可能とする技術を提供することを目的とする。

上記した目的を達成するために、本発明の情報処理システムは、撮像装置を備える携帯情報端末と、前記携帯情報端末と通信可能に接続されるサーバとを含む情報処理システムであって、前記携帯情報端末は、前記撮像装置で撮像された撮像画像を取得する撮像画像取得手段と、前記携帯情報端末の表示言語として設定されているユーザ言語情報を取得する言語情報取得手段と、前記サーバに、前記撮像画像取得手段により取得された撮像画像と、前記言語情報取得手段により取得されたユーザ言語情報とを送信する撮像画像送信手段とを備え、前記サーバは、画像データと、当該画像データに対応付けた複数の言語ごとに関連情報とを記憶する関連情報記憶手段と、前記撮像画像送信手段で送信された撮像画像とユーザ言語情報とを受信する撮像画像受信手段と、前記関連情報記憶手段に記憶されている画像データに、前記撮像画像受信手段で受信した撮像画像と類似する画像データが存在するかを判定する類似画像判定手段と、前記類似画像判定手段で存在すると判定した場合に、当該類似すると判定した前記関連情報記憶手段に記憶されている画像データに対応する関連情報のうち、前記ユーザの言語情報から特定される言語に対応する関連情報を取得する関連情報取得手段と、前記関連情報取得手段で取得した関連情報を、前記携帯情報端末に送信する関連情報送信手段と、前記類似画像判定手段で存在しないと判定した場合に、前記撮像画像に対して文字認識処理を行う文字認識手段と、前記文字認識手段による文字認識処理が行われることで生成されたテキスト情報を前記携帯情報端末に送信するテキスト情報送信手段とを備え、前記携帯情報端末は、前記関連情報送信手段で送信された関連情報を受信し表示する関連情報表示手段を更に備えることを特徴とする。

上記した目的を達成するために、本発明の処理方法は、撮像装置を備える携帯情報端末と、前記携帯情報端末と通信可能に接続され、画像データと、当該画像データに対応付けた複数の言語ごとに関連情報とを記憶する関連情報記憶手段を備えるサーバとを含む情報処理システムにおける処理方法であって、前記携帯情報端末が、前記撮像装置で撮像された撮像画像を取得する撮像画像取得ステップと、前記携帯情報端末の表示言語として設定されているユーザ言語情報を取得する言語情報取得ステップと、前記サーバに、前記撮像画像取得ステップにより取得された撮像画像と、前記言語情報取得ステップにより取得されたユーザ言語情報とを送信する撮像画像送信ステップとを実行し、前記サーバが、前記撮像画像送信ステップで送信された撮像画像とユーザ言語情報とを受信する撮像画像受信ステップと、前記関連情報記憶手段に記憶されている画像データに、前記撮像画像受信ステップで受信した撮像画像と類似する画像データが存在するかを判定する類似画像判定ステップと、前記類似画像判定ステップで存在すると判定した場合に、当該類似すると判定した前記関連情報記憶手段に記憶されている画像データに対応する関連情報のうち、前記ユーザの言語情報から特定される言語に対応する関連情報を取得する関連情報取得ステップと、前記関連情報取得ステップで取得した関連情報を、前記携帯情報端末に送信する関連情報送信ステップと、前記類似画像判定ステップで存在しないと判定した場合に、前記撮像画像に対して文字認識処理を行う文字認識ステップと、前記文字認識ステップによる文字認識処理が行われることで生成されたテキスト情報を前記携帯情報端末に送信するテキスト情報送信ステップとを実行し、前記携帯情報端末は、前記関連情報送信ステップで送信された関連情報を受信し表示する関連情報表示ステップを実行することを特徴とする。

上記した目的を達成するために、本発明のプログラムは、撮像装置を備える携帯情報端末と、前記携帯情報端末と通信可能に接続され、画像データと、当該画像データに対応付けた複数の言語ごとに関連情報とを記憶する関連情報記憶手段を備えるサーバとを含む情報処理システムで実行可能なプログラムであって、前記携帯情報端末を、前記撮像装置で撮像された撮像画像を取得する撮像画像取得手段と、前記携帯情報端末の表示言語として設定されているユーザ言語情報を取得する言語情報取得手段と、前記サーバに、前記撮像画像取得手段により取得された撮像画像と、前記言語情報取得手段により取得されたユーザ言語情報とを送信する撮像画像送信手段として機能させ、前記サーバを、前記撮像画像送信手段で送信された撮像画像とユーザ言語情報とを受信する撮像画像受信手段と、前記関連情報記憶手段に記憶されている画像データに、前記撮像画像受信手段で受信した撮像画像と類似する画像データが存在するかを判定する類似画像判定手段と、前記類似画像判定手段で存在すると判定した場合に、当該類似すると判定した前記関連情報記憶手段に記憶されている画像データに対応する関連情報のうち、前記ユーザの言語情報から特定される言語に対応する関連情報を取得する関連情報取得手段と、前記関連情報取得手段で取得した関連情報を、前記携帯情報端末に送信する関連情報送信手段と、前記類似画像判定手段で存在しないと判定した場合に、前記撮像画像に対して文字認識処理を行う文字認識手段と、前記文字認識手段による文字認識処理が行われることで生成されたテキスト情報を前記携帯情報端末に送信するテキスト情報送信手段して機能させ、前記携帯情報端末を、前記関連情報送信手段で送信された関連情報を受信し表示する関連情報表示手段として機能させることを特徴とする。

本発明によれば、撮像された画像と類似する画像の検索を行い、ユーザの言語に対応する情報を提供することが可能となる。

本発明の情報処理システムのシステム構成の一例を示す図である。 管理サーバ１０１のハードウェア構成の一例を示す図である。 携帯情報端末１０２のハードウェア構成の一例を示す図である。 管理サーバ１０１及び携帯情報端末１０２の機能構成の一例を示す図である。 管理サーバ１０１のＣＰＵ２０１によって行われる初期設定処理の一例を示すフローチャートである。 携帯情報端末１０２のＣＰＵ３０１によって行われる関連情報取得要求処理の一例を示すフローチャートである。 管理サーバ１０１のＣＰＵ２０１によって行われる画像検索・関連情報取得処理の一例を示す図である。 管理サーバ１０１のＣＰＵ２０１及び携帯情報端末１０２のＣＰＵ３０１によって行われる関連情報閲覧処理の一例を示す図である。 検索結果表示画面９００の構成の一例を示す図である。 図４の画像ＤＢ（データベース）４０９のデータ構成の一例を示す図である。

以下、図面を参照して、本発明の実施の形態の一例について説明する。

図１は、本発明の情報処理システムのシステム構成の一例を示す図である。図１に示す通り、本発明の情報処理システムは、管理サーバ１０１、複数台の携帯情報端末１０２、通信ネットワーク１０３等を備えて構成されている。

管理サーバ１０１は、画像データに関連情報を対応付けてデータテーブルで記憶管理しており、携帯情報端末１０２から送信される、画像データの関連情報取得要求に応じて、携帯情報端末１０２から送信された画像データと類似のデータテーブルで記憶管理している画像データを検索し、類似した画像データの関連情報として登録されている情報を携帯情報端末１０２に送信する機能を有している。その時、携帯情報端末１０２での言語設定に合わせた形で、関連情報を提供する。すなわち、携帯情報端末１０２の言語設定が英語であれば英語の関連情報を、日本語であれば日本語の関連情報を携帯情報端末に送信する。

また、携帯情報端末１０２から送信される画像データに対して文字認識処理を行い、その結果得られたテキスト情報を携帯情報端末の言語設定で選択されている言語に翻訳する機能を有している。その結果得られるテキスト情報を、携帯情報端末１０２に対して送信する。

携帯情報端末１０２は、カメラ機能を有しており、カメラを用いて被写体を撮影することで、画像データを生成することが可能である。また、カメラで撮影される等により得られる画像データを管理サーバ１０１に送信することで、管理サーバ１０２に対して画像データの関連情報の取得要求を行う装置である。例えば、スマートフォンやタブレット端末等である。

通信ネットワーク１０３は、管理サーバ１０１と携帯情報端末１０２とを通信可能に接続するためのインターネット等のネットワークである。接続形態は、有線／無線を問わない。

以上が、本発明の情報処理システムのシステム構成の一例の説明である。

次に、図２を参照して、図１の管理サーバ１０１に適用可能な情報処理装置のハードウェア構成の一例について説明する。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０３あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Basic Input / Output System）やオペレーティングシステムプログラム（以下、ＯＳ）や、管理サーバ１０１が実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２０２はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１１からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

また、２０５は入力コントローラで、キーボードやポインティングデバイス等の入力装置２０９からの入力を制御する。２０６はビデオコントローラで、ディスプレイ装置２１０等の表示器への表示を制御する。これらは必要に応じて操作者が使用するものである。

２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

２０８は通信Ｉ／Ｆ（インタフェース）コントローラで、ネットワーク（例えば、図１に示したＬＡＮ１０７）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ装置２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ装置２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

ＣＰＵ２０１を、後述する図４に示す各手段として機能させるためのプログラムは外部メモリ２１１に記録されている。そして、ＣＰＵ３０１は、必要に応じてＲＡＭ２０２にロードし、当該プログラムを実行する。ＣＰＵ２０１は、当該プログラムに従った制御を実行することで、後述するフローチャートに示す各ステップの処理を実行する。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。

次に、図３を参照して、図１の携帯情報端末１０２のハードウェア構成の一例について説明する。

図３において、３０１はＣＰＵで、システムバス３１０に接続される後述する各種のデバイスを統括的に制御する。ＲＯＭ３０３や外部メモリ３０９には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステム（ＯＳ）や、携帯情報端末１０２が実行する機能を実現するために必要な各種プログラムやデータ等が記憶されている。

３０２はＲＡＭで、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。ＣＰＵ３０１は、後述する各種の処理の実行に際して必要なプログラム等をＲＯＭ３０３や外部メモリ３０９からＲＡＭ３０２にロードして、ロードしたプログラムを実行することで、各種の動作を実現する。

撮影部３０４は、撮影レンズ、撮像素子、撮像素子で得られた画像信号を所定の形式に変換する回路等からなる。通信部３０５は、通信ネットワーク（例えば、図１の通信ネットワーク１０３）を介して管理サーバ１０１等の外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

表示部３０６は、液晶ディスプレイ等からなり、ＣＰＵ３０１が、例えばＲＡＭ３０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、表示部３０６への表示を可能としている。

操作部３０７はＣＰＵ３０１に対して各種の指示を入力するためのものであり、各種のボタンや表示部３０６に貼られているタッチパネルシートからなる。表示部３０６に表示されているシステムの操作画面に対する押下指示を受け付けると、押されるとその位置情報を操作部３０７はＣＰＵ３０１に伝える。

音声入力部３０８は、マイク等から構成され、入力された音声を音声信号に変換する。外部メモリ３０９は、携帯情報端末１０２が後述するフローチャート示す各ステップの処理を実行するためのプログラムやデータを記憶する記憶装置である。

ＣＰＵ３０１を、後述する図４に示す各手段として機能させるためのプログラムは外部メモリ３０９に記録されている。そして、ＣＰＵ３０１は、必要に応じてＲＡＭ３０２にロードし、当該プログラムを実行する。ＣＰＵ３０１は、プログラムに従った制御を実行することで、後述するフローチャートに示す各ステップの処理を実行することになる。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ３０９に格納されている。

以上が、図１の携帯情報端末１０２のハードウェア構成の一例の説明である。

次に、図４を参照して、管理サーバ１０１及び携帯情報端末１０２の機能構成について説明する。図４に示す通り、管理サーバ１０１は、設定保存手段４０１、送受信手段４０２、特徴量抽出手段４０３、画像検索手段４０４、ＯＣＲ手段４０５、翻訳手段４０６等を備えている。また、携帯情報端末１０２は、設定保存手段４１１、位置情報取得手段４１２、情報表示手段４１３、送受信手段４１４、撮影手段４１５等を備えている。

まず、管理サーバ１０１が備える各手段について説明する。設定保存手段４０１は、画像検索手段４０４が、画像データベース４０９に登録されている画像データのうち、送受信手段４０２で携帯情報端末１０２から受信した画像データと類似する画像データを検索する際に、類似画像と判定する設定値や、送受信手段４０２で受信した画像データに対するＯＣＲ処理をどの言語のＯＣＲ辞書を用いて行うかといった設定情報を保存する機能部である。

送受信手段４０２は、携帯情報端末１０２とのデータ通信を行うために機能部である。例えば、携帯情報端末１０２から送信される画像データや、画像データベース４０９に登録されている画像データの関連情報取得要求を受信したり、携帯情報端末１０２に対して、画像データの関連情報や、画像データに対するＯＣＲ処理や、ＯＣＲ処理の結果得られるテキスト情報に対する翻訳処理等を行うことにより得られる翻訳語のテキスト情報を、携帯情報端末１０２に対して送信したりする。

特徴量抽出手段４０３は、送受信手段４０２が携帯情報端末１０２から受信した画像データの特徴量を抽出する機能部である。画像検索手段４０４は、前記送受信手段４０２で受信した画像データと類似する、画像データベース４０９に登録されている画像データを検索する検索し、その関連情報を取得する機能部である。

ＯＣＲ手段４０５は、送受信手段４０２で受信した画像データに対して文字認識処理（ＯＣＲ処理）を実行し、テキストデータを生成する機能部である。翻訳手段４０６は、ＯＣＲ手段４０５により得られたテキストデータを他の言語に翻訳する機能部である。翻訳手段４０６は、翻訳処理を行う際には翻訳辞書ＤＢ４０７に登録されている情報を用いて、翻訳処理を行う。

次に、携帯情報端末１０２が備える各手段について説明する。設定保存手段４１１は、ＯＳの言語設定等の設定情報を保存する機能部である。位置情報取得部４１２は、携帯情報端末１０２が存在する位置を示す位置情報を取得する機能部である。例えばＧＰＳ機能等によって実現される。

情報表示手段４１３は、各種の情報を表示部に表示する機能部である。例えば、管理サーバ１０１から送信された画像データの関連情報を表示部に表示する。撮影手段４１４は、撮影部３０４を用いて、被写体を撮影し、画像データを生成する機能部である。

送受信部４１５は、通信部３０５を用いて管理サーバ１０１と各種のデータの送受信を行う機能部である。例えば、画像データの関連情報の取得要求を行う際に、画像データ、ＯＳの言語情報や携帯情報端末１０２の位置情報を管理サーバ１０１に送信したり、管理サーバ１０１から送信された画像データの関連情報を取得したりする。

以上が、管理サーバ１０１及び携帯情報端末１０２の機能構成の説明である。

次に、図５を参照して、管理サーバ１０１のＣＰＵ２０１によって行わる初期設定処理の一例について説明する。この処理は、管理サーバ１０１のＣＰＵ２０１を設定保存手段として機能させるためのプログラムによる制御に基づき行われる。

管理サーバ１０１のＣＰＵ２０１は、システム管理者の操作指示により入力される、画像データに対するＯＣＲ処理を行う際に用いる辞書（ＯＣＲ辞書）の優先度の、ＯＣＲ処理の結果得られたテキスト情報の翻訳処理を行う際に用いる辞書（翻訳辞書）の優先度、検索の基準となる画像データと、画像データベース中の画像データがどれぐらい類似している場合に、画像検索手段４０５に類似画像と判定させるかの設定値の入力を受け付ける。

例えば、ＯＣＲ辞書の優先度としては、携帯情報端末１０２の位置情報取得手段４１２で取得した位置情報が示す国・地域で使用されている言語の辞書を、最優先の辞書として設定し、特定の言語（例えば、英語、日本語、中国語）の優先度をさらに設定する。翻訳辞書の優先度としては、携帯情報端末１０２のＯＳの言語設定で選択されている言語に翻訳するための辞書を、最優先の辞書として設定し、特定の言語（例えば、英語、日本語、中国語）の優先度をさらに設定する。

また、類似度の設定値としては０％〜１００％の値を設定することが可能であり、この値が大きいほど、管理サーバ１０１のＣＰＵ２０１は、基準画像データと類似する画像データのみを、類似画像と判断することになる。

その後、ステップＳ５０１からステップＳ５０３の処理終了後、管理サーバ１０１のＣＰＵ２０１は、それらステップで入力を受け付けた各種の設定情報を外部メモリ２１１に記憶する（ステップＳ５０４）。

以上が、管理サーバ１０１のＣＰＵ２０１によって行わる初期設定処理の一例の説明である。

次に、図６を参照して、携帯情報端末１０２のＣＰＵ３０１によって行われる関連情報取得要求処理の一例について説明する。

携帯情報端末１０２のＣＰＵ３０１は、撮影部３０５を用いて被写体（例えば店舗の看板）の写真撮影を行い、画像データを生成する（ステップＳ６０１）。また、ＯＳの言語設定で選択されている言語情報を取得する（ステップＳ６０２）。

そして、携帯情報端末１０２のＣＰＵ３０１は、当該携帯情報端末１０２の位置情報を取得可能であるかを判定し（ステップＳ６０３）、取得可能である（ＹＥＳ）と判定した場合には、処理をステップＳ６０４に進め、位置情報を取得し、ステップＳ６０１で得られた画像データ、ステップＳ６０２で取得した言語情報、ステップＳ６０４で取得した位置情報を用いて検索情報を作成する（ステップＳ６０５）。一方、ステップＳ６０４の判定処理で位置情報の取得が可能ではない（ＮＯ）と判定した場合には、携帯情報端末１０２のＣＰＵ３０１は、処理をステップＳ６０６に進め、ステップＳ６０１で得られた画像データ、ステップＳ６０２で取得した言語情報を用いて検索情報を作成する。この時、事前に取得していた位置情報がある場合には、その位置情報を用いて検索情報を作成するようにしても構わない。

携帯情報端末１０２のＣＰＵ３０１は、ステップＳ６０５、または、ステップＳ６０６の処理が終了後、作成した検索情報を管理サーバ１０１に対して送信する（ステップＳ６０７）。

以上が、携帯情報端末１０２のＣＰＵ３０１によって行われる関連情報取得要求処理の一例の説明である。

次に、図７を参照して、管理サーバ１０１のＣＰＵ２０１によって行われる画像検索・関連情報取得処理の一例について説明する。

管理サーバ１０１のＣＰＵ２０１は、携帯情報端末１０２より送信された検索情報を受信し、ＲＡＭ２０２（または外部メモリ２１１）に記憶する（ステップＳ７０１）。その後、受信した検索情報に含まれる画像データの特徴量を抽出する（ステップＳ７０２）。特徴量は、画像データの輝度や色成分、輪郭などの情報を、数値などの比較可能なデータに置き換えたものである。その後、管理サーバ１０１のＣＰＵ２０１は、画像データベース４０９に登録されている画像データのうち、ステップＳ７０１で受信した画像データ（基準画像データ）と類似する画像データの検索処理を行う（ステップＳ７０３）。この時、ステップＳ７０２で抽出した特徴量を用いて画像データの検索処理を行う。

ここで、図１０を参照して、図４に示した、画像ＤＢ（データベース）４０９のデータ構成の一例について説明する。この画像ＤＢ４０９は、例えば、管理サーバ１０１の外部メモリ２１１に記憶されている。

図１０に示す通り、画像ＤＢ４０９はＩＤ１００１、画像１００２、特徴量１００３、関連情報１００４等のデータ項目を備えて構成されている。

ＩＤ１００１は、画像ＤＢ４０９に登録されている画像データを一意に識別するために用いられる識別情報が登録されるデータ項目である。画像１００２は、画像が登録されるデータ項目である。特徴量１００３は、画像１００２に登録されている画像の特徴量が登録されるデータ項目である。この特徴量は、類似画像検索の際に用いられる情報である。

関連情報１００４は、画像データに関連する情報が登録されるデータ項目である。本実施例では、画像データに関連する情報として、飲食店で提供される各国語（日本語、英語、中国語等）のメニューの画像データ（一部文字画像が含まれている）やメニューのテキストデータが登録されている。その他、図示していないが、画像データ１００２に登録されている画像データのサムネイル画像なども登録されている。

以上が、画像ＤＢ４０９のデータ構成の説明である。

図７の説明に戻る。管理サーバ１０１は、ステップＳ７０３での類似画像検索が終了後、その検索処理の結果、類似度が、類似と判断する基準となる類似度として設定された数値以上である画像データ（類似画像データ）が画像ＤＢ４０９に登録されているか否かを判定する（ステップＳ７０４）。

ステップＳ７０４の判定処理で、類似画像データが画像ＤＢ４０９に登録されている（ＹＥＳ）と判定した場合には、管理サーバ１０１のＣＰＵ２０１は処理をステップＳ７０５に進め、画像ＤＢ４０９に登録されている類似画像データのサムネイル画像を取得する。尚、尚、検索情報に含まれる画像データと類似する画像データが画像データベースに複数登録されている場合には、全ての類似画像データのサムネイル画像を取得する。

そして、検索情報に含まれる言語情報を取得し（ステップＳ７０６）、取得した言語情報に従って、類似画像データの関連情報を取得する（ステップＳ７０７）。尚、検索情報に含まれる画像データと類似する画像データが画像データベースに複数登録されている場合には、最も類似する画像データの関連情報を取得することになる。そして、類似画像のサムネイル画像、関連情報を表示させるための検索結果情報を作成する（ステップＳ７０８）。

一方、ステップＳ７０４の判定処理で、類似画像データが画像ＤＢ４０９に登録されていない（ＮＯ）と判定した場合には、管理サーバ１０１のＣＰＵ２０１は処理をステップＳ７０９に進め、検索情報に位置情報が含まれるかを判定する。

このステップＳ７０９判定処理で、位置情報が含まれる（ＹＥＳ）と判定した場合には、処理をステップＳ７１０に進め、位置情報に従って、ＯＣＲに使用するＯＣＲ辞書の言語を決定する。例えば、位置情報が日本国内を示す情報であれば、日本語のＯＣＲ辞書を、位置情報が韓国内を示す情報であれば韓国語のＯＣＲ辞書をＯＣＲに使用する辞書として決定する。一方、位置情報が含まれない（ＮＯ）と判定した場合には、予め設定された優先順位に従って、ＯＣＲに使用するＯＣＲ辞書の言語を決定する（ステップＳ７１１）。

ステップＳ７１０またはステップＳ７１１でＯＣＲ辞書の言語を決定した後に、管理サーバ１０１のＣＰＵ２０１は、決定したＯＣＲ辞書を用いて、検索情報に含まれる画像データに対するＯＣＲ処理を実行し（ステップＳ７１２）、ＯＣＲ結果テキストを取得する（ステップＳ７１３）。

その後、ステップＳ７１３で取得したＯＣＲ結果テキストを、検索情報に含まれる言語情報が示す言語に翻訳すべく、ＯＣＲ結果テキストに対して翻訳処理を実行する（ステップＳ７１４）。検索情報に含まれる言語情報は、携帯情報端末を使用するユーザが通常使用している母国語等の言語であることが高いため、本発明では、ユーザになるべくわかりやすい情報を提供するために、このような翻訳処理を行っている。そして翻訳結果テキストを生成する。

そして、ＯＣＲ結果テキストと、翻訳結果テキストを表示させるための検索結果情報を作成する。翻訳処理の結果は当然ＯＣＲ処理の結果得られるＯＲＣ結果テキストに左右されるため、翻訳結果が適切であるかをユーザに認識させるべく、ＯＣＲ結果テキストも含めた形で検索結果情報を作成している。

ステップＳ７０８、または、ステップＳ７１５の処理終了後、それらステップで作成した検索結果情報を、検索要求を行った携帯情報端末１０２に対して送信する（ステップＳ７１６）。

以上が、管理サーバ１０１のＣＰＵ２０１によって行われる管理サーバ１０１のＣＰＵ２０１によって行われる画像検索・関連情報取得処理の一例の説明である。

次に、図８を参照して、管理サーバ１０１のＣＰＵ２０１及び携帯情報端末１０２のＣＰＵ３０１によって行われる関連情報閲覧処理の一例について説明する。

携帯情報端末１０２のＣＰＵ３０１は、管理サーバ１０１から送信された検索結果情報を受信すると（ステップＳ８０１）、受信した検索結果情報を用いて、図９に示す検索結果表示画面９００を表示部３０６に表示する（ステップＳ８０２）。

ここで、図９を参照して、図８のステップＳ８０２で携帯情報端末１０２の表示部３０６に表示される検索結果表示画面９００の構成の一例について説明する。

サムネイル画像表示部９０１は、類似画像データのサムネイル画像が表示される表示部である。このサムネイル画像表示部に表示されているサムネイル画像には、関連情報を取得するためのリンク情報が設定されており、携帯情報端末１０２のＣＰＵ３０１は、サムネイル画像に対するタッチ指示を受け付けると、そのサムネイル画像が示す画像データ（類似画像）の関連情報の取得要求を、管理サーバ１０１に対して送信する。

関連情報（画像）表示部９０２は、管理サーバ１０１から受信した検索結果情報に含まれる関連情報（画像）が表示される表示部である。テキスト情報表示部９０３は、管理サーバ１０１から受信した検索結果情報に含まれる関連テキストや、ＯＣＲ結果テキスト、翻訳結果テキストが表示される表示部である。ユーザは、これら表示部に表示される情報を確認することで、自身が撮影した看板から特定される飲食店等の情報を確認することが出来る。また、テキスト情報表示部９０３に表示されているテキストを部分的に選択し、その情報を用いてのＷｅｂ検索を行うことが可能となっている。

以上が、検索結果表示画面９００の構成の一例の説明である。

図８の説明に戻る。携帯情報端末１０２のＣＰＵ３０１は、表示部３０６に検索結果画面９００を表示した後に、サムネイル画像表示部９０１に表示されているサムネイル画像に対するタッチ指示を受け付けると（ステップＳ８０３でＹＥＳ）、タッチ指示されたサムネイル画像から画像ＩＤを特定し（ステップＳ８０４）、その画像ＩＤとＯＳで表示言語として設定されている言語情報を管理サーバ１０１に対して送信する（ステップＳ８０５）。

管理サーバ１０１のＣＰＵ２０１は、携帯情報端末１０２から送信された画像ＩＤ、言語情報を受信すると（ステップＳ８０６）、受信した画像ＩＤで特定される画像データの関連情報のうち、受信した言語情報に対応した関連情報を画像ＤＢ４０９から取得する（ステップＳ８０７）。そして、取得した関連情報を、携帯情報端末に対して送信する（ステップＳ８０８）。

携帯情報端末１０２のＣＰＵ３０１は、管理サーバ１０１より送信された関連情報を受信すると（ステップＳ８０９）、その関連情報を用いて検索結果表示画面の表示を更新する（ステップＳ８１０）。その後、処理をステップＳ８０３に戻す。

携帯情報端末１０２のＣＰＵ３０１は、テキスト情報表示部９０３に表示されている検索結果文字列を用いてのＷｅｂ検索指示を受け付けると（ステップＳ８１１でＹＥＳ）、Ｗｅｂブラウザアプリケーションを起動し（ステップＳ８１２）、Ｗｅｂブラウザアプリケーションにより制御に従って、テキスト情報表示部９０３で選択された文字列を検索条件とした検索要求を、不図示の検索サーバに対して送信する（ステップＳ８１３）。そして、その検索結果を受信すると、ブラウザアプリケーションの表示画面に、検索の結果、検索サーバより得られた情報を表示する（ステップＳ８１４）。その後、処理をステップＳ８０３に進める。

また、携帯情報端末１０２のＣＰＵ３０１は、終了指示を受け付けた場合には（ステップＳ８１５でＹＥＳ）、本図に示す処理を終了する。それ以外の処理を受け付けた場合には（この場合、ステップＳ８１５でＮＯと判定する）、処理をステップＳ８１６に進め、その他指示された処理を実行し、ステップＳ８０３に処理を進める。

以上が、管理サーバ１０１のＣＰＵ２０１及び携帯情報端末１０２のＣＰＵ３０１によって行われる関連情報閲覧処理の一例の説明である。

以上説明したように、本発明によれば、撮影処理により生成される画像データを用いてその画像データと関連する情報を、当該撮影処理がされた装置の言語設定で表示言語等として設定されている言語で取得することが可能となる。これにより、例えば、飲食店の看板を写真撮影することで、その飲食店に関連する情報を容易に得ることが可能となるため、特に、海外等、他の言語を使用している地域であっても、自身が必要とする情報を容易に取得することが可能となる。

以上の説明では、飲食店の情報取得を例に説明したが、当然これ以外にも本発明を適用できることは言うまでもない。

以上、実施形態例を詳述したが、本発明は、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。

また、本発明におけるプログラムは、各処理方法をコンピュータが実行可能（読み取り可能）なプログラムであり、本発明の記録媒体は、各処理方法をコンピュータが実行可能なプログラムが記憶されている。

なお、本発明におけるプログラムは、各装置の処理方法ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読取り実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テープ，不揮発性のメモリカード，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ，データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０１ 管理サーバ
１０２ 携帯情報端末
１０３ 通信ネットワーク
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信インタフェース（Ｉ／Ｆ）コントローラ
２０９ 入力装置
２１０ ディスプレイ装置
２１１ 外部メモリ
３０１ ＣＰＵ
３０２ ＲＡＭ
３０３ ＲＯＭ
３０４ 撮影部
３０５ 通信部
３０６ 表示部
３０７ 操作部
３０８ 音声入力部
３０９ 外部記憶装置
３１０ システムバス

Claims (11)

1. 撮像装置を備える携帯情報端末と、前記携帯情報端末と通信可能に接続されるサーバとを含む情報処理システムであって、
   前記携帯情報端末は、
   前記撮像装置で撮像された撮像画像を取得する撮像画像取得手段と、
   前記携帯情報端末の表示言語として設定されているユーザ言語情報を取得する言語情報取得手段と、
   前記サーバに、前記撮像画像取得手段により取得された撮像画像と、前記言語情報取得手段により取得されたユーザ言語情報とを送信する撮像画像送信手段と
   を備え、
   前記サーバは、
   画像データと、当該画像データに対応付けた複数の言語ごとに関連情報とを記憶する関連情報記憶手段と、
   前記撮像画像送信手段で送信された撮像画像とユーザ言語情報とを受信する撮像画像受信手段と、
   前記関連情報記憶手段に記憶されている画像データに、前記撮像画像受信手段で受信した撮像画像と類似する画像データが存在するかを判定する類似画像判定手段と、
   前記類似画像判定手段で存在すると判定した場合に、当該類似すると判定した前記関連情報記憶手段に記憶されている画像データに対応する関連情報のうち、前記ユーザの言語情報から特定される言語に対応する関連情報を取得する関連情報取得手段と、
   前記関連情報取得手段で取得した関連情報を、前記携帯情報端末に送信する関連情報送信手段と、
   前記類似画像判定手段で存在しないと判定した場合に、前記撮像画像に対して文字認識処理を行う文字認識手段と、
   前記文字認識手段による文字認識処理が行われることで生成されたテキスト情報を前記携帯情報端末に送信するテキスト情報送信手段と
   を備え、
   前記携帯情報端末は、
   前記関連情報送信手段で送信された関連情報を受信し表示する関連情報表示手段
   を更に備えることを特徴とする情報処理システム。
2. 前記携帯情報端末の位置情報を取得する位置情報取得手段と、
   前記位置情報取得手段で取得された位置情報により特定される地域で使用される言語から、前記言語情報取得手段により取得されたユーザ言語情報に対応する言語へ、前記文字認識手段による文字認識処理が行われることで生成された文字認識結果テキスト情報を翻訳する翻訳手段と
   を更に備えることを特徴とする請求項１に記載の情報処理システム。
3. 前記関連情報記憶手段には、前記画像データの特徴量データが記憶されており、
   前記撮像画像受信手段で受信した撮像画像の特徴量データを算出する算出手段と更に備え、
   前記類似画像判定手段は、特徴量データを用いて、前記撮像画像と類似する画像データが存在するかを判定すること
   を特徴とする請求項１または２に記載の情報処理システム。
4. 前記関連情報記憶手段に記憶されている画像データに、前記撮像画像と類似する画像データが存在するかの判定に用いる類似度を設定する類似度設定手段を更に備え、
   前記類似画像判定手段は、前記撮像画像との類似度が前記類似度設定手段で設定された類似度以上か否かによって、前記記憶手段に、前記撮像画像と類似する画像データが存在するかを判定すること
   を特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
5. 前記関連情報記憶手段に記憶されている画像データに、前記撮像画像と類似する画像データが複数存在する場合には、前記関連情報送信手段は、前記撮像画像と最も類似する画像データの関連情報を、前記携帯情報端末に送信すること
   を特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
6. 前記関連情報送信手段は更に、前記撮像画像と最も類似する画像データ以外の関連情報を取得させるための情報を前記携帯情報端末に送信すること
   を特徴とする請求項５に記載の情報処理システム。
7. 撮像装置を備える携帯情報端末と通信可能に接続されるサーバであって、
   画像データと、当該画像データに対応付けた複数の言語ごとに関連情報とを記憶する関連情報記憶手段と、
   前記携帯情報端末から、前記撮像装置で撮像された撮像画像と前記携帯情報端末の表示言語として設定されているユーザ言語情報とを受信する撮像画像受信手段と、
   前記関連情報記憶手段に記憶されている画像データに、前記撮像画像受信手段で受信した撮像画像と類似する画像データが存在するかを判定する類似画像判定手段と、
   前記類似画像判定手段で存在すると判定した場合に、当該類似すると判定した前記関連情報記憶手段に記憶されている画像データに対応する関連情報のうち、前記ユーザの言語情報から特定される言語に対応する関連情報を取得する関連情報取得手段と、
   前記関連情報取得手段で取得した関連情報を、前記携帯情報端末に送信する関連情報送信手段と、
   前記類似画像判定手段で存在しないと判定した場合に、前記撮像画像に対して文字認識処理を行う文字認識手段と、
   前記文字認識手段による文字認識処理が行われることで生成されたテキスト情報を前記携帯情報端末に送信するテキスト情報送信手段と
   を備えることを特徴とするサーバ。
8. 撮像装置を備える携帯情報端末と、前記携帯情報端末と通信可能に接続され、画像データと、当該画像データに対応付けた複数の言語ごとに関連情報とを記憶する関連情報記憶手段を備えるサーバとを含む情報処理システムにおける処理方法であって、
   前記携帯情報端末が、
   前記撮像装置で撮像された撮像画像を取得する撮像画像取得ステップと、
   前記携帯情報端末の表示言語として設定されているユーザ言語情報を取得する言語情報取得ステップと、
   前記サーバに、前記撮像画像取得ステップにより取得された撮像画像と、前記言語情報取得ステップにより取得されたユーザ言語情報とを送信する撮像画像送信ステップと
   を実行し、
   前記サーバが、
   前記撮像画像送信ステップで送信された撮像画像とユーザ言語情報とを受信する撮像画像受信ステップと、
   前記関連情報記憶手段に記憶されている画像データに、前記撮像画像受信ステップで受信した撮像画像と類似する画像データが存在するかを判定する類似画像判定ステップと、
   前記類似画像判定ステップで存在すると判定した場合に、当該類似すると判定した前記関連情報記憶手段に記憶されている画像データに対応する関連情報のうち、前記ユーザの言語情報から特定される言語に対応する関連情報を取得する関連情報取得ステップと、
   前記関連情報取得ステップで取得した関連情報を、前記携帯情報端末に送信する関連情報送信ステップと、
   前記類似画像判定ステップで存在しないと判定した場合に、前記撮像画像に対して文字認識処理を行う文字認識ステップと、
   前記文字認識ステップによる文字認識処理が行われることで生成されたテキスト情報を前記携帯情報端末に送信するテキスト情報送信ステップと
   を実行し、
   前記携帯情報端末は、
   前記関連情報送信ステップで送信された関連情報を受信し表示する関連情報表示ステップ
   を実行することを特徴とする処理方法。
9. 撮像装置を備える携帯情報端末と通信可能に接続され、画像データと、当該画像データに対応付けた複数の言語ごとに関連情報とを記憶する関連情報記憶手段を備えるサーバにおける処理方法であって、
   前記サーバが、
   前記携帯情報端末から、前記撮像装置で撮像された撮像画像と前記携帯情報端末の表示言語として設定されているユーザ言語情報とを受信する撮像画像受信ステップと、
   前記関連情報記憶手段に記憶されている画像データに、前記撮像画像受信ステップで受信した撮像画像と類似する画像データが存在するかを判定する類似画像判定ステップと、
   前記類似画像判定ステップで存在すると判定した場合に、当該類似すると判定した前記関連情報記憶手段に記憶されている画像データに対応する関連情報のうち、前記ユーザの言語情報から特定される言語に対応する関連情報を取得する関連情報取得ステップと、
   前記関連情報取得ステップで取得した関連情報を、前記携帯情報端末に送信する関連情報送信ステップと、
   前記類似画像判定ステップで存在しないと判定した場合に、前記撮像画像に対して文字認識処理を行う文字認識ステップと、
   前記文字認識ステップによる文字認識処理が行われることで生成されたテキスト情報を前記携帯情報端末に送信するテキスト情報送信ステップと
   を実行することを特徴とする処理方法。
10. 撮像装置を備える携帯情報端末と、前記携帯情報端末と通信可能に接続され、画像データと、当該画像データに対応付けた複数の言語ごとに関連情報とを記憶する関連情報記憶手段を備えるサーバとを含む情報処理システムで実行可能なプログラムであって、
    前記携帯情報端末を、
    前記撮像装置で撮像された撮像画像を取得する撮像画像取得手段と、
    前記携帯情報端末の表示言語として設定されているユーザ言語情報を取得する言語情報取得手段と、
    前記サーバに、前記撮像画像取得手段により取得された撮像画像と、前記言語情報取得手段により取得されたユーザ言語情報とを送信する撮像画像送信手段
    として機能させ、
    前記サーバを、
    前記撮像画像送信手段で送信された撮像画像とユーザ言語情報とを受信する撮像画像受信手段と、
    前記関連情報記憶手段に記憶されている画像データに、前記撮像画像受信手段で受信した撮像画像と類似する画像データが存在するかを判定する類似画像判定手段と、
    前記類似画像判定手段で存在すると判定した場合に、当該類似すると判定した前記関連情報記憶手段に記憶されている画像データに対応する関連情報のうち、前記ユーザの言語情報から特定される言語に対応する関連情報を取得する関連情報取得手段と、
    前記関連情報取得手段で取得した関連情報を、前記携帯情報端末に送信する関連情報送信手段と、
    前記類似画像判定手段で存在しないと判定した場合に、前記撮像画像に対して文字認識処理を行う文字認識手段と、
    前記文字認識手段による文字認識処理が行われることで生成されたテキスト情報を前記携帯情報端末に送信するテキスト情報送信手段
    として機能させ、
    前記携帯情報端末を、
    前記関連情報送信手段で送信された関連情報を受信し表示する関連情報表示手段
    として機能させることを特徴とするプログラム。
11. 撮像装置を備える携帯情報端末と通信可能に接続され、画像データと、当該画像データに対応付けた複数の言語ごとに関連情報とを記憶する関連情報記憶手段を備えるサーバで実行可能なプログラムであって、
    前記サーバを、
    前記携帯情報端末から、前記撮像装置で撮像された撮像画像と前記携帯情報端末の表示言語として設定されているユーザ言語情報とを受信する撮像画像受信手段と、
    前記関連情報記憶手段に記憶されている画像データに、前記撮像画像受信手段で受信した撮像画像と類似する画像データが存在するかを判定する類似画像判定手段と、
    前記類似画像判定手段で存在すると判定した場合に、当該類似すると判定した前記関連情報記憶手段に記憶されている画像データに対応する関連情報のうち、前記ユーザの言語情報から特定される言語に対応する関連情報を取得する関連情報取得手段と、
    前記関連情報取得手段で取得した関連情報を、前記携帯情報端末に送信する関連情報送信手段と、
    前記類似画像判定手段で存在しないと判定した場合に、前記撮像画像に対して文字認識処理を行う文字認識手段と、
    前記文字認識手段による文字認識処理が行われることで生成されたテキスト情報を前記携帯情報端末に送信するテキスト情報送信手段
    として機能させることを特徴とするプログラム。

Images