JP4271722B1 - 画像認識情報システム、情報サーバ、情報提供方法および情報提供プログラム - Google Patents

Abstract

【課題】画像認識によって認識された物に関連する複数の情報およびサービス提供方法をユーザに対して選択的に提供する。
【解決手段】本発明に係る画像認識情報システム１は、カメラ１２を内蔵した端末１０と、画像認識サーバ５０とが相互に接続されてなる画像認識情報システムであって、画像認識サーバが、端末から受信した画像に対して認識処理を行って認識データを出力する画像認識部６２と、認識データに対応する関連情報データを検索する関連情報検索部６３とを有する。そして端末が画像認識サーバによって検索された関連情報データによってアクセスすることが可能な情報サーバ１００を有する。
【選択図】図１

Description

本発明は、インターネットおよび携帯端末を利用した画像認識サービスに関し、特に該サービスで認識された画像に関連する情報の提供に関する。

デジタルカメラを内蔵した携帯端末が広く普及し、またデジタルカメラによって撮影された画像データから、その画像データとして撮影された物が何であるかを認識する画像認識技術が普及したことに伴って、このような携帯端末向けに画像認識技術を利用した情報サービスの提供が始まっている。

特許文献１には、そのようなサービスに使用される、画像認識によって認識された物に関連する情報を携帯端末に配信するという技術について記載されている。

米国特許７０１６５３２号明細書

特許文献１にあるような技術によって、画像認識によって認識された物に関連する情報を得ることはできる。しかしながら、同じ物であっても、その物に対応する情報やそれに関連してユーザが得たいサービスは一通りであるとは限らない。その物に関してユーザが得たい情報の項目は複数存在することがあり、またその情報を得る方法も一通りとは限らない。情報項目によって、特定のＵＲＬのウェブページを表示するなどで事足りるような場合もある一方で、担当者が直接電話もしくは電子メールなどでユーザとコンタクトする必要がある場合もある。

また、担当者がユーザとコンタクトする場合、ユーザが自らの希望する連絡方法や連絡可能時間などを担当者に伝達する必要もある。たとえば担当者がユーザに電話する場合、あらかじめ登録されているユーザの電話番号に電話しても、時間帯によっては該ユーザが出られない場合もある。そのような場合に、ユーザが電話に出ることが可能な時間帯を担当者に伝達する必要もある。

本発明の目的は、画像認識によって認識された物に関連する複数の情報およびサービス提供方法をユーザに対して選択的に提供でき、ユーザが自らの希望を伝達してその通りの情報を得ることのできる画像認識情報システム、画像認識サーバ、情報サーバ、情報提供方法および情報提供プログラムを提供することにある。

上記目的を達成するため、本発明に係る画像認識情報システムは、カメラを内蔵した端末と、端末から出力された画像を受信し、それに対して認識処理を行って認識データを出力する画像認識部を有する画像認識サーバと、端末と接続された情報サーバとからなる画像認識情報システムであって、画像認識サーバが、関連情報データを予め記憶する関連情報データベースと、認識データに対応する複数の関連情報データを関連情報データベースから検索する関連情報検索部とを備え、端末が、関連情報データに基づいて情報サーバにアクセスし、それと同時に自らに対応する識別番号を情報サーバに送信する機能を有すると共に、関連情報データが、認識データに関連して端末のユーザが照会可能な内容を示す照会可能内容情報と、照会可能内容情報に関連してユーザがアクセス可能なＵＲＬを示す照会ＵＲＬ情報と、照会ＵＲＬ情報に対応してユーザが要求しうるアクションの種類を示すアクション種類情報と、アクション種類情報に一意に対応するＩＤであるアクションＩＤとを含み、情報サーバが、端末から要求されたＵＲＬに基づくデータを端末に出力するウェブサーバ部と、アクションＩＤに対応するアクション種類を予め記憶しているアクション種類データベースと、識別番号に対応する個人情報を予め記憶している利用情報データベースと、識別番号に対応する個人情報を利用情報データベースから検索する利用情報検索部と、アクションＩＤに対応するアクション種類をアクション種類データベースから検索する問い合わせ対応部とを備え、ウェブサーバ部が、ＵＲＬに含まれるアクションＩＤを問い合わせ対応部に出力すると共に端末から受信した識別番号を利用情報検索部に出力する機能を有し、問い合わせ対応部が、検索されたアクション種類および個人情報を含む対応依頼を担当者端末宛に送信する機能を有することを特徴とする（請求項１）。

画像認識サーバが認識データに対応する関連情報データを検索する構成を有することによって、画像認識によって認識された物に関連する複数の情報およびサービス提供方法をユーザに対して選択的に提供できるようになる。またユーザは、画像認識サーバから返送された照会ＵＲＬ情報と、この照会ＵＲＬ情報に対応してユーザが要求しうるアクションの種類を示すアクション種類情報と、アクション種類情報に一意に対応するＩＤであるアクションＩＤによって、照会可能内容に応じた情報にアクセスし、アクションＩＤによって自分の望むアクションを要求することができるようになる。そして、担当者がユーザと直接コンタクトして、このアクションＩＤに対応するアクション種類に応じた対応をすることが可能になる。

このシステムで、画像認識サーバが関連情報データを端末に返送する送受信部を有するようにすれば（請求項２）、検索された関連情報データをユーザに届けることができるようになる。

また、端末と画像認識サーバとのデータの交換は、端末が画像認識サーバに対して画像を添付した電子メールを送信し、送受信部が端末に対して関連情報データを含む電子メールを返信するようにすると（請求項３）、端末の側に備えられる標準的な機能だけでこのシステムを利用できる。

その一方で、端末が、画像認識サーバへの画像の送信と、画像認識サーバから受信した関連情報データの表示とを一括して行うアプリケーションを有するようにすれば、これらの処理を一連の流れで行えるという点で、ユーザの利便性を向上させることができる（請求項４）。

その際、アクションＩＤは照会ＵＲＬ情報に引数として付加されて端末に返送されることが（請求項５）、ユーザは該ＵＲＬを選択するだけでアクションを要求することができるようになるのでさらに望ましい。

そして、端末が、画像と同時に関連情報データの選択に使用できる付加的情報を送信し、関連情報検索部は付加的情報に基づいて関連情報データを選択するようにすることもできる（請求項８）。

本発明は上記の画像認識情報システム全体を提供するだけでなく、この画像認識情報システムを構成する情報サーバ、情報提供方法および情報提供プログラムを提供するものでもある。

本発明は、認識データに対応する関連情報データを検索するように構成したので、画像認識によって認識された物に関連する複数の情報およびサービス提供方法をユーザに対して選択的に提供できる。これによって、画像認識によって認識された物に関連する複数の情報およびサービス提供方法をユーザに対して選択的に提供でき、かつユーザが自らの希望を伝達することもできるという、従来にない優れた画像認識情報システム、携帯端末、画像認識サーバ、情報サーバ、情報提供方法および情報提供プログラムを提供することができる。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る画像認識情報システム１の構成を示す概念図である。画像認識情報システム１は、対象物１６０を撮影するカメラを内蔵した携帯端末１０と、画像認識サーバ５０と、情報サーバ１００とで構成される。携帯端末１０、画像認識サーバ５０、および情報サーバ１００は、各々公衆無線通信網、もしくはインターネットなどで相互に接続され、データ通信を行うことが可能である。情報サーバ１００は、詳しくは後述するが、携帯端末１０からの照会の内容を担当者端末１７１に送信し、担当者１７０に対応を依頼する。

図２は、図１で示した携帯端末１０内部の構成をより詳しく示す概念図である。携帯端末１０は、たとえば携帯電話端末、ＰＨＳ端末、ＰＤＡ端末、ノート型パーソナルコンピュータなどである。

携帯端末１０は、制御部１１、カメラ１２、通信モジュール１３、記憶部１４、およびディスプレイ１５を含む。制御部１１は、ＣＰＵ、ＲＡＭ、およびＯＳを合わせて構成されるマイクロコンピュータであり、他の各部を制御し、またアプリケーションプログラムを実行する。カメラ１２は、対象物１６０を撮影し、撮影された画像データを出力する。

通信モジュール１３は、画像認識サーバ５０または情報サーバ１００とのデータ通信と、担当者１７０との音声通話を行う。記憶部１４は、制御部１１が実行するアプリケーションプログラム、カメラ１２が撮影した画像データ、通信モジュール１３が送受信したデータなどを記憶する、ハードディスクドライブもしくはフラッシュメモリなどのような不揮発性記憶装置である。ディスプレイ１５は、制御部１１が実行するアプリケーションプログラムの結果などを表示する。

制御部１１は、撮影部２１、電子メールクライアント２２、ウェブブラウザ２３といった各機能部を、アプリケーションプログラムとして実行する。また、記憶部１４には個体識別番号２４が記憶される。撮影部２１は、カメラ１２を制御して対象物１６０を撮影し、撮影された画像データを電子メールクライアント２２に渡し、また記憶部１４に保存する。ただし、画像データを記憶部１４に保存しないで電子メールクライアント２２に渡すことも可能である。

電子メールクライアント２２は、通信モジュール１３を介して、画像認識サーバ５０との電子メールの送受信を行う。また電子メールクライアント２２は、送受信した電子メールの本文に記載されているＵＲＬをクリッカブルなものとして表示し、該ＵＲＬをユーザがクリックすると、ウェブブラウザ２３を起動して該ＵＲＬをそこに渡す処理を行う。

ウェブブラウザ２３は、通信モジュール１３を介してウェブサイトにアクセスしてウェブページを閲覧する通常のウェブブラウザである。またウェブブラウザ２３は、電子メールクライアント２２に起動されてＵＲＬを渡された場合、該ＵＲＬのウェブページにアクセスする処理を行う。その際、アクセスしたＵＲＬのウェブサーバに、個体識別番号２４を渡す。個体識別番号２４は、携帯端末１０の各々に対して一意に与えられる識別番号であり、ユーザによる偽造や改変は不可能である。

図３は、図１で示した画像認識サーバ５０内部の構成をより詳しく示す概念図である。画像認識サーバ５０は通常のコンピュータ装置であり、制御部５１、記憶部５２、および通信インターフェイス５３を含む。制御部５１は、ＣＰＵ、ＲＡＭ、およびＯＳを合わせて構成されるコンピュータ装置の中枢であり、他の各部を制御し、またアプリケーションプログラムを実行する。記憶部５２は、後述の各データを記憶する、磁気ディスクおよび光ディスクなどにより構成される外部記憶装置である。通信インターフェイス５３は、携帯端末１０と通信を行うインターフェイスである。

制御部５１は、電子メール送受信部６１、画像認識部６２、関連情報検索部６３といった各機能部を、アプリケーションプログラムとして実行する。また記憶部５２には、画像認識データベース７１、および関連情報データベース７２が記憶されている。画像認識データベース７１は、認識させる対象の画像についてのデータがあらかじめ記憶されている。関連情報データベース７２については後述する。

電子メール送受信部６１は、携帯端末１０からの電子メールを受信し、該電子メールに添付されている画像データを画像認識部６２に渡す。また電子メール送受信部６１は、関連情報検索部６３から渡された情報を含めた電子メールを作成し、携帯端末１０に返信する。

画像認識部６２は、電子メール送受信部６１から渡された画像データに対して、画像認識データベース７１を使用して画像認識処理を行い、該画像データに対応する認識データを特定して関連情報検索部６３に渡す。ここで、画像認識部６２が行う画像認識処理は、たとえば前述の特許文献１に記載の技術を使用して行うことができるし、これ以外の公知の画像認識技術を利用して行うこともできる。従って、画像認識処理についての詳細、および画像認識データベース７１のデータ構成などについては詳しく説明しない。

画像認識部６２が関連情報検索部６３に渡す認識データとは、画像データとして撮影された対象物１６０が何であるかを示すデータである。より具体的には、たとえば対象物１６０のメーカー名、商品種別、商品名、品番…などである。このうち、関連情報検索部６３に渡すデータとして何を使用するかは任意である。ここでは、対象物１６０のメーカー名および品番を関連情報検索部６３に渡すものとして以後の説明を進める。

関連情報検索部６３は、画像認識部６２から渡された認識データに対して、関連情報データベース７２を検索し、該認識データに対応する関連情報データを特定し、認識データと関連情報データとを電子メール送受信部６１に渡す。

図４は、図３で示した関連情報データベース７２のデータ構成を示す概念図である。関連情報データベース７２は、メーカー名８１、品番８２、照会可能内容８３、照会ＵＲＬ８４、アクション種類８５、およびアクションＩＤ８６が含まれる。メーカー名８１および品番８２は、前述のように画像認識部６２から渡される認識データである。なお、メーカー名８１には、対象物１６０のメーカー以外にも、対象物１６０に関連する各種業者や公的機関なども含みうる。

関連情報検索部６３は、メーカー名８１および品番８２に対応する照会可能内容８３および照会ＵＲＬ８４を関連情報データベース７２から検索する。照会可能内容８３は、メーカー名８１および品番８２によって示される商品について、ユーザが情報サーバ１００に対して照会可能な内容である。照会ＵＲＬ８４は、照会可能内容８３で示される照会内容について照会する際にユーザがアクセス可能であるＵＲＬである。

ただし、メーカー名８１および品番８２に対応する照会可能内容８３および照会ＵＲＬ８４は１個に限らず、複数個得られることがある。照会可能内容８３と照会ＵＲＬ８４とは、原則として１対１で対応する。また、照会ＵＲＬ８４は、通常の静的なウェブページのアドレスに限らず、たとえば掲示板など、ＣＧＩなどによって動的に作成されるウェブページのアドレスでもよく、また動画や音声などのリッチコンテンツのアドレスであってもよい。

アクション種類８５は、照会ＵＲＬ８４に対応してユーザが要求しうるアクションの種類である。アクション種類８５は、１つの照会ＵＲＬ８４に対して複数存在しうる。アクション種類８５に対応する、ユーザの要求するアクションの種類としては、たとえば電話によるコールバックを要求する場合に、そのコールバックを行う時間帯を「午前」「午後」「夜間」「いつでも」などのように指定することなどが考えられる。もちろん、この例に限定されるものではない。

アクションＩＤ８６は、アクション種類８５に１対１で対応する。ただし、図４に示した例では、アクション種類８５が「特になし」もしくは「電子メール」の場合、アクションＩＤ８６は空欄となっている（必ずしもこの例に従う必要はない）。アクションＩＤ８６は、後述のようにユーザがクリックするＵＲＬに含まれる。

図５は、図３で示した画像認識サーバ５０の各部が実行する処理を表すフローチャートである。電子メール送受信部６１が携帯端末１０からの画像データを添付された電子メールを受信すると（ステップＳ２０１）、電子メール送受信部６１はこの画像データを画像認識部６２に渡す（ステップＳ２０２）。画像認識部６２は渡された画像データに対して画像認識処理を行い（ステップＳ２０３）、該画像データに対応する認識データを特定して関連情報検索部６３に渡す（ステップＳ２０４）。

関連情報検索部６３は、画像認識部６２から渡された認識データに対応する関連情報データを特定し（ステップＳ２０５）、得られた認識データと関連情報データとを電子メール送受信部６１に渡す（ステップＳ２０６）。電子メール送受信部６１は、後述の付加データを発行し（ステップＳ２０７）、関連情報検索部６３から渡された認識データと関連情報データとにこの付加データを組み合わせて携帯端末１０から受信したメールに対する返信メールを作成して送信する（ステップＳ２０８）。

図６は、図３で示した電子メール送受信部６１が、関連情報検索部６３に渡されたデータに基づいて作成する携帯端末１０への返信メール９０の一例を示す概念図である。返信メール９０の宛先９１は、携帯端末１０のアドレスである。返信メール９０の本文９２には、メーカー名８１および品番８２が記載され、さらにメーカー名８１および品番８２に対応して検索された複数組の照会可能内容８３、照会ＵＲＬ８４、アクション種類８５が記載される。さらに、各々の照会ＵＲＬ８４の末尾には、引数として付加データ９３とアクションＩＤ８６が追加されている。

付加データ９３は電子メール送受信部６１が発行する、携帯端末への返送に付加されるデータである。より具体的には、たとえば画像認識情報システム１による問い合わせである旨の情報、問い合わせ番号、ユーザの要求するアクション…などである。アクションＩＤ８６は、前述のように、関連情報データベース７２にアクション種類８５に対応して記憶されているものである。

図６に示した例では、付加データ９３として、画像認識情報システム１による問い合わせである旨を示す「system=shalink」という情報と、電子メール送受信部６１が発行した問い合わせ番号「inquiry_no=A000001」という情報が付加されている。そしてアクションＩＤ８６として、たとえばアクション種類８５が「コールバック（午前中）」である場合には、それに対応するアクションＩＤ８６が「action=callback_am」という形で付加されている。

前述のように、携帯端末１０が内蔵する電子メールクライアント２２は、受信した電子メールの本文に記載されているＵＲＬをクリッカブルなものとして表示する。図６のメールについても、付加データ９３とアクションＩＤ８６とを引数として含む照会ＵＲＬ８４が電子メールクライアント２２においてはクリッカブルなように表示される。

このクリッカブルＵＲＬをユーザがクリックすると、ウェブブラウザ２３が起動して照会ＵＲＬ８４のウェブサイトにアクセスし、該ウェブサイトに付加データ９３とアクションＩＤ８６とを渡す。とそれと同時に、ウェブブラウザ２３は個体識別番号２４も該ウェブサイトに渡す。以後、照会ＵＲＬ８４の示すウェブサイトが、図１で示した情報サーバ１００であるものとして説明を継続する。

図７は、図１で示した情報サーバ１００内部の構成をより詳しく示す概念図である。情報サーバ１００は通常のコンピュータ装置であり、制御部１０１、記憶部１０２、および通信インターフェイス１０３を含む。制御部１０１は、ＣＰＵ、ＲＡＭ、およびＯＳを合わせて構成されるコンピュータ装置の中枢であり、他の各部を制御し、またアプリケーションプログラムを実行する。記憶部１０２は、後述の各データを記憶する、磁気ディスクおよび光ディスクなどにより構成される外部記憶装置である。通信インターフェイス１０３は、携帯端末１０と通信を行うインターフェイスである。

制御部１０１は、ウェブサーバ部１１１、問い合わせ対応部１１２、ログ記録部１１３、利用情報検索部１１４といった各機能部を、アプリケーションプログラムとして実行する。また記憶部１０２には、問い合わせ対応データベース１２１、通信ログ１２２、アクション種類データベース１２３、および利用情報データベース１２４が記憶されている。

ウェブサーバ部１１１は、Ａｐａｃｈｅなどのような通常のウェブサーバソフトウェアであり、クライアント（本実施の形態では携帯端末１０）から依頼されたＵＲＬ（本実施の形態では照会ＵＲＬ８４）に対応するウェブページの表示データを該クライアントに返送する。前述のように、ここでいうウェブページの表示データは通常の静的なウェブページに限らず、ＣＧＩなどによって動的に作成されるウェブページでもよく、また動画や音声などのリッチコンテンツであってもよい。

問い合わせ対応部１１２は、問い合わせ対応データベース１２１およびアクション種類データベース１２３を検索して、ユーザの問い合わせ内容への対応を検索する。ログ記録部１１３は、ユーザからの照会およびその対応について、通信ログ１２２に記録する。利用情報検索部１１４は、個体識別番号２４に対応するユーザの個人情報を利用情報データベース１２４から検索する。

図８は、図７で示した問い合わせ対応データベース１２１のデータ構成を示す概念図である。問い合わせ対応データベース１２１には、照会ＵＲＬ８４に対応する、メーカー名８１、品番８２、問い合わせ種類１３１と、ユーザの問い合わせ内容に対応する方法である対応方法１３２とその対応先１３３について記憶されている。

たとえば対応方法１３２が「電子メール返信」もしくは「電話コールバック」なら、対応先１３３はその電子メール返信もしくはコールバックを依頼する担当者１７０の電子メールアドレスなどである。対応方法１３２が「特になし」の場合、対応先１３３は空欄となる。

問い合わせ対応部１１２は、検索された対応方法１３２および対応先１３３の内容に基づいて、担当者１７０に対応を依頼する。担当者１７０への対応依頼には、たとえば電子メールなど、任意の手段を使用することができる。対応方法１３２が「特になし」の場合はウェブサーバ部１１１が照会ＵＲＬ８４に対応するウェブページの表示データを該クライアントに返送すれば十分であるので、問い合わせ対応部１１２は特に何もしない。

担当者１７０は、情報サーバ１００が設置された会社内もしくは同社から委託された業者などの担当者であり、図１に示した担当者端末１７１に表示された情報サーバ１００からの依頼内容に基づいて、問い合わせを発したユーザへの対応を行う。

図９は、図７で示した利用情報データベース１２４のデータ構成を示す概念図である。利用情報データベース１２４は、個体識別番号２４に対応する携帯端末１０のユーザに対応する個人情報、たとえば電話番号１４１、メールアドレス１４２、氏名１４３、住所１４４などが記憶されている。ユーザは、あらかじめ該サービスに利用登録して、これらの個人情報を利用情報データベース１２４にあらかじめ登録してあるものとする。この個体識別番号２４は、該サービスを利用した内容と共に、通信ログ１２２に記録される。

図１０は、図７で示したアクション種類データベース１２３のデータ構成を示す概念図である。アクション種類データベース１２３には、アクションＩＤ１５１とそれに対応するアクション種類１５２が記憶されている。アクションＩＤ１５１とアクション種類１５２は、関連情報データベース７２のアクションＩＤ８６とアクション種類８５に各々対応する内容である。ただし、アクションＩＤ１５１が定義されていない項目では、アクション種類１５２は存在しない。

図１１は、図７で示した情報サーバ１００の各部が実行する処理を表すフローチャートである。ウェブサーバ部１１１が携帯端末１０からのアクセスを受けると（ステップＳ２５１）、照会ＵＲＬ８４に対応するウェブページを表示する（ステップＳ２５２）と同時に、携帯端末１０から受信した照会ＵＲＬ８４、付加データ９３、およびアクションＩＤ８６を問い合わせ対応部１１２に渡し（ステップＳ２５３）、さらに個体識別番号２４を利用情報検索部１１４に渡す（ステップＳ２５４）。

問い合わせ対応部１１２は、照会ＵＲＬ８４に対応する問い合わせ種類１３１、対応方法１３２、その対応先１３３を検索する（ステップＳ２５５）。検索された対応方法１３２が「特になし」であれば（ステップＳ２５６：ＹＥＳ）、そのままログ記録部１１３が処理内容を通信ログ１２２に記録して（ステップＳ２６２）終了する。

対応方法１３２が「特になし」以外であれば（ステップＳ２５６：ＮＯ）、利用情報検索部１１４が利用情報データベース１２４で個体識別番号２４をキーとしてユーザの個人情報を検索した（ステップＳ２５７）結果に応じて、問い合わせ対応部１１２は対応方法１３２が「電話コールバック」であるか「電子メール返信」であるかを判断して（ステップＳ２５８）、検索された電話番号１４１もしくはメールアドレス１４２のうちのいずれかを担当者１７０への対応依頼の本文に掲載して対応依頼を作成する（ステップＳ２５９または２６０）。対応方法１３２が「電話コールバック」であれば電話番号１４１を記載し、対応方法１３２が「電子メール返信」であればメールアドレス１４２を記載する。

また、その際に問い合わせ対応部１１２は必要に応じてアクションＩＤ８６をキーとしてアクション種類データベース１２３を検索し、アクションＩＤ８６（１５１）に対応するアクション種類１５２を検索する。

以上で作成された対応依頼を、問い合わせ対応部１１２が担当者１７０に電子メールとして送信し（ステップＳ２６１）、ログ記録部１１３が処理内容を通信ログ１２２に記録して（ステップＳ２６２）終了する。ちなみに対応依頼の送信先である担当者１７０の電子メールアドレスは、対応先１３３に記載されている。

図１２は、図７で示した問い合わせ対応部１１２が担当者１７０に出す対応依頼１８０の一例を示す概念図である。この対応依頼１８０は、担当者１７０宛の電子メールで送信される。対応依頼１８０の宛先１８１は、問い合わせ対応部１１２が検索した対応先１３３に記載されている担当者１７０の電子メールアドレスである。

対応依頼１８０の本文１８２には、問い合わせ対応データベース１２１で照会ＵＲＬ８４および付加データ９３をキーとして検索されたメーカー名８１、品番８２、問い合わせ種類１３１、利用情報データベース１２４で個体識別番号２４をキーとして検索された電話番号１４１（またはメールアドレス１４２）、氏名１４３、住所１４４、アクション種類１５２などが記載されている。

担当者端末１７１によってこの対応依頼１８０を受け取った担当者１７０は、問い合わせ種類１３１とアクション種類１５２とを見て、本文１８２に記載されている電話番号１４１に電話をかけるか、もしくはメールアドレス１４２に電子メールを返信するかのいずれかにより、ユーザとコンタクトして、より詳しい話をユーザから聞くことができる。その際、アクション種類１５２を利用することにより、たとえば電話しても該ユーザが不在だったなどのようなことを少なくして、より確実にユーザとコンタクトすることができる。

同時に、ユーザが該サービスを利用した内容は通信ログ１２２に記録されるので、このサービスを有料で展開する場合には、個体識別番号２４をキーとして該ユーザに適正に課金することができる。必要に応じて、画像認識サーバ５０と情報サーバ１００とが相互に通信し、付加データ９３などを利用して、個体識別番号２４に対応するユーザが該サービスを利用した履歴について把握し、課金に利用することもできる。

［第２の実施の形態］
本発明の第２の実施の形態に係る画像認識情報システムは、図１に示した本発明の第１の実施の形態に係る画像認識情報システム１と同じく、対象物１６０を撮影するカメラを内蔵した携帯端末１０ｂと、画像認識サーバ５０と、情報サーバ１００とで構成される。携帯端末１０が後述の携帯端末１０ｂに置き換わった以外は、画像認識サーバ５０および情報サーバ１００は、本発明の第１の実施の形態と内部構成および動作がほとんど同一である。よって、システム全体の構成についての図示は省略する。

図１３は、本発明の第２の実施の形態に係る携帯端末１０ｂ内部の構成をより詳しく示す概念図である。携帯端末１０ｂは、ハードウェアとしての構成は本発明の第１の実施の形態に係る携帯端末１０と同一であるが、制御部１１は画像認識情報クライアント３２２をアプリケーションプログラムとして実行する。これ以外の、同一の要素および機能部には同一の名称および参照番号を付して説明を省略する。

画像認識情報クライアント３２２は、第１の実施の形態における撮影部２１、電子メールクライアント２２、ウェブブラウザ２３の各々の機能を１つのアプリケーションプログラムに統合したものである。従って、ユーザは対象物１６０を撮影した画像データを添付した電子メールを作成する必要はなく、すぐにその画像データを画像認識サーバ５０に送信し、対象物１６０についての認識データ、関連情報データおよび付加データを見ることができる。携帯端末１０ｂと画像認識サーバ５０との間のデータの交換は、電子メールを利用したものであっても、そうでなくてもよい。

画像認識情報クライアント３２２は認識データ、関連情報データおよび付加データを図６に示したような形で（それ以外の形でもよい）表示して、ユーザの操作に基づいて情報サーバ１００にアクセスして担当者１７０による電話コールバックもしくは電子メール返信などを受けることができる。

画像認識情報クライアント３２２は記憶部１４に利用者ＩＤ３２４、対応方法情報３２５と連絡先情報３２６とを保持しており、照会ＵＲＬ８４および付加データ９３と同時に利用者ＩＤ３２４、対応方法情報３２５、連絡先情報３２６およびアクション情報３２７を情報サーバ１００に渡す。なお、第１の実施の形態にあったアクション種類８５およびアクションＩＤ８６は、ここでは使用しない場合がある。

その際、画像認識情報クライアント３２２はユーザに希望する対応方法、連絡先、連絡可能時間などを入力させ、そこで入力された内容に基づく対応方法情報３２５、連絡先情報３２６、およびアクション情報３２７を送信することができる。特に対応方法および連絡先などについての希望が入力されない場合は、画像認識情報クライアント３２２は対応方法情報３２５、連絡先情報３２６、およびアクション情報３２７を送信せず、そのかわりにアクション種類８５に対応するアクションＩＤ８６を第１の実施の形態と同様に送信するようにすることもできる。

たとえばユーザが電子メールによる対応を希望する場合、対応方法情報３２５は「電子メール返信」、連絡先情報３２６はその電子メールの返信先となる電子メールアドレス、アクション情報３２７は空欄である。ユーザが電話による対応を希望する場合、対応方法情報３２５は「電話コールバック」、連絡先情報３２６はそのコールバック先となる電話番号、アクション情報３２７は電話連絡可能な時刻などである。

ここで、対応方法情報３２５は問い合わせ対応データベース１２１にあらかじめ登録された対応方法１３２とは一致しない対応方法を指定することができる。また、連絡先情報３２６で指定される電話番号およびメールアドレスは、利用情報データベース１２４にあらかじめ登録された電話番号１４１やメールアドレス１４２とは違う連絡先を指定できる。もちろん、それらは携帯端末１０ｂの電話番号やメールアドレスである必要もない。またアクション情報３２７として、電話連絡可能な時刻などを細かく指定することもできる。

利用者ＩＤ３２４は、画像認識情報クライアント３２２をユーザがダウンロードして携帯端末１０ｂにインストールした際に発行される一意のＩＤである。第１の実施の形態における個体識別番号２４のかわりに、ユーザの識別および課金処理にこの利用者ＩＤ３２４が使用される。なお、画像認識情報クライアント３２２のダウンロード元、および利用者ＩＤ３２４の発行元は、画像認識サーバ５０であっても、情報サーバ１００であっても、それら以外のコンピュータでもよい。

図１４は、本実施の形態で問い合わせ対応部１１２が担当者１７０に出す対応依頼１８０の一例を示す概念図である。情報サーバ１００は、携帯端末１０ｂから対応方法情報３２５および連絡先情報３２６を受信している場合は、図１２に示した第１の実施の形態の場合の電話番号１４１（またはメールアドレス１４２）とアクション種類１５２のかわりに、対応方法情報３２５、連絡先情報３２６、およびアクション情報３２７を対応依頼１８０の本文１８２に掲載する。これ以外は第１の実施の形態に係る動作と同一であるので、同一の要素には同一の参照番号を付して説明を省略する。

こうすれば、たとえば携帯端末１０ｂ以外の電話もしくは電子メールで連絡が欲しい場合、もしくは電話にはすぐに出られないので電子メールで連絡が欲しい場合などで、連絡先を細かく指定して該サービスを受けることができる。もちろん、ユーザが対応方法情報３２５、連絡先情報３２６、およびアクション情報３２７を送信したくない場合には送信しないようにもできる。この場合は、利用情報データベース１２４にあらかじめ登録された連絡先に、アクション種類８５で指定した内容に基づいて、電話もしくは電子メールで担当者１７０からの連絡が来る。

［その他の実施の形態］
ここまでで述べた第１および第２の実施の形態で、携帯端末１０もしくは１０ｂがＧＰＳ（Global Positioning System）機能を有し、このＧＰＳ機能によって画像認識サーバ５０に該携帯端末のユーザの現在位置情報を、対象物１６０を撮影した画像データと同時に送信するようにしてもよい。画像認識サーバ５０は、画像認識結果に基づいて検索されたユーザが可能な照会可能内容８３およびアクション種類８５を、受け取った現在位置情報によってさらに絞り込むことができる。たとえば、ユーザの現在位置に最も近い営業拠点にいる担当者にコールバックさせるなどのようなことができる。

現在位置情報以外にも、照会可能内容８３およびアクション種類８５の選択に利用できる任意の付加的情報（たとえば携帯端末の種類、現在時刻など）を、携帯端末１０もしくは１０ｂが画像認識サーバ５０に対して画像データと同時に送信するようにすることができる。

これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることは言うまでもないことである。

カメラを内蔵した携帯端末向けの情報サービスに利用できる。提供される情報の種類およびサービス内容については、特に制限されない。

本発明の第１の実施の形態に係る画像認識情報システムの構成を示す概念図である。 図１で示した携帯端末内部の構成をより詳しく示す概念図である。 図１で示した画像認識サーバ内部の構成をより詳しく示す概念図である。 図３で示した関連情報データベースのデータ構成を示す概念図である。 図３で示した画像認識サーバの各部が実行する処理を表すフローチャートである。 図３で示した電子メール送受信部が、関連情報検索部に渡されたデータに基づいて作成する携帯端末への返信メールの一例を示す概念図である。 図１で示した情報サーバ内部の構成をより詳しく示す概念図である。 図７で示した問い合わせ対応データベースのデータ構成を示す概念図である 図７で示した利用情報データベースのデータ構成を示す概念図である。 図７で示したアクション種類データベースのデータ構成を示す概念図である。 図７で示した情報サーバの各部が実行する処理を表すフローチャートである。 図７で示した問い合わせ対応部が担当者に出す対応依頼の一例を示す概念図である。 本発明の第２の実施の形態に係る携帯端末内部の構成をより詳しく示す概念図である。 本実施の形態で問い合わせ対応部が担当者に出す対応依頼の一例を示す概念図である。

符号の説明

１ 画像認識情報システム
１０、１０ｂ 携帯端末
１１ 制御部
１２ カメラ
１３ 通信モジュール
１４ 記憶部
１５ ディスプレイ
２１ 撮影部
２２ 電子メールクライアント
２３ ウェブブラウザ
５０ 画像認識サーバ
５１ 制御部
５２ 記憶部
５３ 通信インターフェイス
６１ 電子メール送受信部
６２ 画像認識部
６３ 関連情報検索部
７１ 画像認識データベース
７２ 関連情報データベース
１００ 情報サーバ
１０１ 制御部
１０２ 記憶部
１０３ 通信インターフェイス
１１１ ウェブサーバ部
１１２ 問い合わせ対応部
１１３ ログ記録部
１１４ 利用情報検索部
１２１ 問い合わせ対応データベース
１２２ 通信ログ
１２３ アクション種類データベース
１２４ 利用情報データベース
１６０ 対象物
１７０ 担当者
１７１ 担当者端末
３２２ 画像認識情報クライアント
３２４ 利用者ＩＤ
３２５ 対応方法情報
３２６ 連絡先情報
３２７ アクション情報

Claims (9)

1. カメラを内蔵した端末と、前記端末から出力された画像を受信し、それに対して認識処理を行って認識データを出力する画像認識部を有する画像認識サーバと、前記端末と接続された情報サーバとからなる画像認識情報システムであって、
   前記画像認識サーバが、関連情報データを予め記憶する関連情報データベースと、前記認識データに対応する複数の前記関連情報データを前記関連情報データベースから検索する関連情報検索部とを備え、
   前記端末が、前記関連情報データに基づいて前記情報サーバにアクセスし、それと同時に自らに対応する識別番号を前記情報サーバに送信する機能を有すると共に、
   前記関連情報データが、前記認識データに関連して前記端末のユーザが照会可能な内容を示す照会可能内容情報と、前記照会可能内容情報に関連して前記ユーザがアクセス可能なＵＲＬを示す照会ＵＲＬ情報と、前記照会ＵＲＬ情報に対応してユーザが要求しうるアクションの種類を示すアクション種類情報と、前記アクション種類情報に一意に対応するＩＤであるアクションＩＤとを含み、
   前記情報サーバが、前記端末から要求されたＵＲＬに基づくデータを前記端末に出力するウェブサーバ部と、前記アクションＩＤに対応するアクション種類を予め記憶しているアクション種類データベースと、前記識別番号に対応する個人情報を予め記憶している利用情報データベースと、前記識別番号に対応する個人情報を前記利用情報データベースから検索する利用情報検索部と、前記アクションＩＤに対応するアクション種類を前記アクション種類データベースから検索する問い合わせ対応部とを備え、
   前記ウェブサーバ部が、前記ＵＲＬに含まれる前記アクションＩＤを前記問い合わせ対応部に出力すると共に前記端末から受信した前記識別番号を前記利用情報検索部に出力する機能を有し、
   前記問い合わせ対応部が、検索された前記アクション種類および前記個人情報を含む対応依頼を担当者端末宛に送信する機能を有する
   ことを特徴とする画像認識情報システム。
2. 前記画像認識サーバが、前記関連情報検索部によって検索された関連情報データを前記端末に返送する送受信部を有することを特徴とする、請求項１に記載の画像認識情報システム。
3. 前記端末が、前記画像認識サーバに対して前記画像を添付した電子メールを送信し、
   前記送受信部が、前記端末に対して前記関連情報データを含む電子メールを返信することを特徴とする、請求項２に記載の画像認識情報システム。
4. 前記端末が、前記画像認識サーバへの前記画像の送信と、前記画像認識サーバから受信した関連情報データの表示とを一括して行うためのアプリケーションを実行する機能を有することを特徴とする、請求項２に記載の画像認識情報システム。
5. 前記画像認識サーバが、前記照会ＵＲＬ情報に前記アクションＩＤを引数として付加して前記端末に返送する送受信部を有することを特徴とする、請求項１に記載の画像認識情報システム。
6. 前記端末が、前記画像と同時に前記関連情報データの選択に使用できる付加的情報を送信し、
   前記関連情報検索部は前記付加的情報に基づいて前記関連情報データを選択することを特徴とする、請求項１に記載の画像認識情報システム。
7. カメラを内蔵した端末と相互に接続されている情報サーバであって、
   前記端末から要求されたユーザが要求しうるアクションの種類に一意に対応するＩＤであるアクションＩＤを含むＵＲＬに基づくデータを前記端末に出力するウェブサーバ部と、
   前記アクションＩＤに対応するアクション種類を予め記憶しているアクション種類データベースと、
   前記端末に対応する識別番号に対応する個人情報を予め記憶している利用情報データベースと、
   前記識別番号に対応する個人情報を前記利用情報データベースから検索する利用情報検索部と、
   前記アクションＩＤに対応するアクション種類を前記アクション種類データベースから検索する問い合わせ対応部とを備え、
   前記ウェブサーバ部が、前記ＵＲＬに含まれる前記アクションＩＤを前記問い合わせ対応部に出力すると共に前記端末から受信した前記識別番号を前記利用情報検索部に出力する機能を有し、
   前記問い合わせ対応部が、検索された前記アクション種類および前記個人情報を含む対応依頼を担当者端末宛に送信する機能を有することを特徴とする情報サーバ。
8. カメラを内蔵した端末と画像認識サーバとが相互に接続されたシステムにあって、前記画像認識サーバが前記カメラによって撮影された画像に関連する情報を前記端末に提供する方法であって、
   前記端末が、前記画像を前記画像認識サーバに送信するステップと、
   前記画像認識サーバが、受信した前記画像に対して認識処理を行って複数の認識データを出力し、前記認識データに対応しかつ前記認識データに関連して前記端末のユーザが照会可能な内容を示す照会可能内容情報と、前記照会可能内容情報に関連して前記ユーザがアクセス可能なＵＲＬを示す照会ＵＲＬ情報と、前記照会ＵＲＬ情報に対応してユーザが要求しうるアクションの種類を示すアクション種類情報と、前記アクション種類情報に一意に対応するＩＤであるアクションＩＤとを含む複数の関連情報データを予め備えられた関連情報データベースから検索するステップと、
   前記画像認識サーバが、前記関連情報データを前記端末に返送するステップと、
   前記端末が、前記画像認識サーバから返送された前記関連情報データによって情報サーバにアクセスすると共に自らに対応する識別番号を前記情報サーバに送信するステップと、
   前記情報サーバが、前記アクションＩＤに対応するアクション種類を予め備えているアクション種類データベースから検索し、前記アクション種類と、前記識別番号に対応して予め備えている利用情報データベースから検索された個人情報を含む対応依頼を担当者端末宛に送信するステップと
   を有することを特徴とする情報提供方法。
9. カメラを内蔵した端末と相互に接続されている情報サーバが備えているコンピュータに、
   前記端末から要求されたユーザが要求しうるアクションの種類に一意に対応するＩＤであるアクションＩＤを含むＵＲＬに基づくデータを前記端末に出力し、同時に前記ＵＲＬに含まれる前記アクションＩＤと前記端末から受信した前記端末に対応する識別番号とを後段に出力する処理と、
   前記ＵＲＬに含まれる前記アクションＩＤに対応するアクション種類を予め備えているアクション種類データベースから検索する処理と、
   前記識別番号に対応する個人情報を予め備えている利用情報データベースから検索する処理と、
   前記アクション種類および前記個人情報を含む対応依頼を担当者端末宛に送信する処理と
   を実行させることを特徴とする情報提供プログラム。

Images