JP6601894B1 - ウェアラブル検索システム、検索方法、及び、検索プログラム - Google Patents

Abstract

【課題】検索のためのユーザの動作が不要なウェアラブル検索システム、検索方法、及び、検索プログラムを提供する。【解決手段】ウェアラブル検索システム１００は、ユーザＵの焦点を検出するとともに、ユーザＵの焦点上に存在する対象物Ｓを撮影するカメラ付メガネ２００と、ユーザＵが携帯する携帯端末３００と、カメラ付メガネ２００及び携帯端末３００と通信ネットワークＮによって接続されたサーバ４００と、を備え、カメラ付メガネ２００は、対象物Ｓの画像情報と位置情報（ユーザＵの焦点情報及び位置情報）とをサーバ４００に送信し、サーバ４００は、カメラ付メガネ２００から送信された対象物Ｓの画像情報及び位置情報に基づいてデータテーブルを検索することにより、対象物Ｓを特定するとともに対象物情報を抽出し、抽出した対象物情報を携帯端末３００に送信し、携帯端末３００は、対象物情報を表示部３０１に表示する。【選択図】図１

Description

本発明は、ウェアラブル検索システム、検索方法、及び、検索プログラムに関する。

特許文献１には、ユーザが所定のジェスチャを行ったか否かを検出するウェアラブル動作センサと、メガネタイプの透過型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）と、当該透過型ＨＭＤに内蔵されたカメラとを備えるウェアラブル検索システムが記載されている。特許文献１に記載のウェアラブル検索システムでは、ユーザが検索するために所定のジェスチャを行うと、ウェアラブル動作センサが当該ジェスチャを検出し、カメラがユーザの視界方向のカメラ撮影を行う。そして、カメラによって撮影された画像から検索対象が抽出され、抽出された検索対象の画像が画像認識サーバへ送信され、当該画像認識サーバにおいて検索が実行される。また、検索結果は、透過型ＨＭＤ上に表示される。

特開２０１６−１１５１２５号公報

しかし、特許文献１に記載されているウェアラブル検索システムでは、ユーザによる検索のための動作、例えば、機器操作、対象物の指定、及びジェスチャ等が必要であった。すなわち、ユーザの「検索する」という目的意識がないと、検索を行うことができない。そのため、ユーザが無意識に「見ている」対象についての情報を提供することができないという問題があった。

本発明の目的は、検索のためのユーザの動作が不要なウェアラブル検索システム、検索方法、及び、検索プログラムを提供することである。

本発明の第１の態様に係るウェアラブル検索システムは、ユーザの焦点を検出するとともに、前記ユーザの前記焦点上に存在する対象物を撮影するカメラ付メガネと、前記ユーザが携帯する携帯端末と、前記カメラ付メガネ及び前記携帯端末と通信ネットワークによって接続されたサーバと、を備え、前記カメラ付メガネは、撮影した前記対象物の画像情報とともに、前記ユーザの前記焦点に関する焦点情報及び前記ユーザの位置情報を前記対象物の位置情報として前記サーバに送信し、前記サーバは、前記対象物の前記画像情報と、前記対象物の位置情報と、前記対象物に関する対象物情報とが対応付けられたデータテーブルを、前記カメラ付メガネから送信された前記対象物の前記画像情報及び前記位置情報に基づいて検索することにより、前記対象物を特定するとともに前記対象物情報を抽出し、抽出した前記対象物情報を前記携帯端末に送信し、前記携帯端末は、前記対象物情報を前記携帯端末の表示部に表示する。

本発明の第２の態様に係る検索方法は、ユーザに着用されるカメラ付メガネと、前記ユーザが携帯する携帯端末と、前記カメラ付メガネ及び前記携帯端末と通信ネットワークによって接続されたサーバと、を備えるウェアラブル検索システムにおいて実施される検索方法であって、前記カメラ付メガネが、前記ユーザの焦点を検出するとともに、前記ユーザの前記焦点上に存在する対象物を撮影し、撮影した前記対象物の画像情報とともに、前記ユーザの前記焦点に関する焦点情報及び前記ユーザの位置情報を前記対象物の位置情報として前記サーバに送信し、前記サーバが、前記対象物の前記画像情報と、前記対象物の位置情報と、前記対象物に関する対象物情報とが対応付けられたデータテーブルを、前記カメラ付メガネから送信された前記対象物の前記画像情報及び前記位置情報に基づいて検索することにより、前記対象物を特定するとともに前記対象物情報を抽出し、抽出した前記対象物情報を前記携帯端末に送信し、前記携帯端末が、前記対象物情報を前記携帯端末の表示部に表示する。

本発明の第３の態様に係る検索プログラムは、ユーザに着用されるカメラ付メガネと、前記ユーザが携帯する携帯端末と、前記カメラ付メガネ及び前記携帯端末と通信ネットワークによって接続されたサーバと、を備えるウェアラブル検索システムにおいて実行される検索プログラムであって、前記カメラ付メガネに、前記ユーザの焦点を検出するとともに、前記ユーザの前記焦点上に存在する対象物を撮影し、撮影した前記対象物の画像情報とともに、前記ユーザの前記焦点に関する焦点情報及び前記ユーザの位置情報を前記対象物の位置情報として前記サーバに送信する処理を実行させ、前記サーバに、前記対象物の前記画像情報と、前記対象物の位置情報と、前記対象物に関する対象物情報とが対応付けられたデータテーブルを、前記カメラ付メガネから送信された前記対象物の前記画像情報及び前記位置情報に基づいて検索することにより、前記対象物を特定するとともに前記対象物情報を抽出し、抽出した前記対象物情報を前記携帯端末に送信する処理を実行させ、前記携帯端末に、前記対象物情報を前記携帯端末の表示部に表示する処理を実行させる。

検索のためのユーザの動作が不要なウェアラブル検索システム、検索方法、及び、検索プログラムを提供することができる。

本発明の実施の形態１に係るウェアラブル検索システムの一例を示す図である。 本発明の実施の形態１に係るウェアラブル検索システムにおいて実施される検索方法の一例を示すフローチャートである。 本発明の実施の形態１に係るウェアラブル検索システムにおいて実施される検索方法の一例を示すフローチャートである。

実施の形態１
以下、図面を参照して本発明の実施の形態１について説明する。
図１は、本発明の実施の形態１に係るウェアラブル検索システム１００の一例を示す図である。図１に示すように、ウェアラブル検索システム１００は、ユーザＵに着用されるカメラ付メガネ２００、ユーザＵが携帯する携帯端末３００、及びサーバ４００を備える。また、サーバ４００は、カメラ付メガネ２００及び携帯端末３００と通信ネットワークＮによって接続されている。

カメラ付メガネ２００は、カメラが搭載されたメガネであり、図示しない制御部を備える。制御部は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び図示しない記憶部等を備える。そして、ＣＰＵが記憶部に格納されたプログラムを実行することにより、制御部における全ての処理が実現する。
また、制御部のそれぞれの記憶部に格納されるプログラムは、ＣＰＵに実行されることにより、制御部のそれぞれにおける処理を実現するためのコードを含む。なお、記憶部は、例えば、このプログラムや、制御部における処理に利用される各種情報を格納することができる任意の記憶装置を含んで構成される。記憶装置は、例えば、メモリ等である。

カメラ付メガネ２００は、ユーザＵの眼の焦点を検出する。カメラ付メガネ２００によるユーザＵの眼の焦点の検出は、既知の技術を用いて実現することができる。具体的には、カメラ付メガネ２００は、例えば、ユーザＵの眼に赤外光によるマーカーを照射して眼屈折力を測定し、焦点を検出してもよい。ここで、ユーザＵの眼の焦点を検出するとは、カメラ付メガネ２００から、ユーザＵの眼の焦点までの距離（以下、焦点距離とも称する。）を検出することを意味する。

また、カメラ付メガネ２００は、ユーザＵの焦点上に存在する対象物Ｓを撮影する。具体的には、カメラ付メガネは、当該カメラ付メガネに搭載されたカメラの焦点位置をユーザＵの眼の焦点の位置に合わせて撮影する。

また、カメラ付メガネ２００は、ユーザＵの位置情報を取得する。具体的には、カメラ付メガネ２００は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星から信号を受信し、ユーザＵの位置情報を取得する。また、携帯端末３００が、同様に、ユーザＵの位置情報を取得可能である場合、カメラ付メガネ２００は、携帯端末３００からユーザＵの位置情報を通信ネットワークＮ経由で受信してもよい。

また、カメラ付メガネ２００は、撮影した対象物Ｓの画像情報を前記サーバに送信する。また、カメラ付メガネ２００は、対象物Ｓの画像情報とともに、対象物Ｓの位置情報として、検出したユーザＵの眼の焦点距離に関する焦点情報及びユーザＵの位置情報をサーバ４００に送信する。

サーバ４００は、ウェアラブル検索システム１００における検索処理を担う部分であり、図示しない制御部を備える。制御部は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び図示しない記憶部等を備える。そして、ＣＰＵが記憶部に格納されたプログラムを実行することにより、制御部における全ての処理が実現する。
また、制御部のそれぞれの記憶部に格納されるプログラムは、ＣＰＵに実行されることにより、制御部のそれぞれにおける処理を実現するためのコードを含む。なお、記憶部は、例えば、このプログラムや、制御部における処理に利用される各種情報を格納することができる任意の記憶装置を含んで構成される。記憶装置は、例えば、メモリ等である。

サーバ４００は、カメラ付メガネ２００から送信された、対象物Ｓの画像情報及び対象物Ｓの位置情報に基づいて、対象物Ｓの画像情報と、対象物Ｓの位置情報と、対象物Ｓに関する対象物情報と、対象物Ｓに関連する関連情報とが対応付けられたデータテーブルを検索する。具体的には、当該データテーブルから、カメラ付メガネ２００から送信された対象物Ｓの画像情報及び位置情報に一致する対象物Ｓの画像情報及び位置情報の対象物情報及び関連情報を抽出する。これにより、サーバ４００は、対象物Ｓを特定するとともに、対象物Ｓの対象物情報と関連情報とを抽出する。ここで、対象物Ｓの対象物情報とは、例えば、対象物Ｓがビル等である場合、当該ビルの名称等である。また、対象物Ｓの関連情報とは、例えば、対象物Ｓがビル等である場合、当該ビルに入居している店舗の名前や種類等である。ここで、店舗の種類とは、薬局、家具店、雑貨店、被服店、装飾用品店、専門道具店等である。なお、当該データテーブルはサーバ４００の記憶部に格納されていてもよいし、外部の記憶装置に格納されていてもよい。
また、サーバ４００がカメラ付メガネ２００から送信された対象物Ｓの画像情報と当該データテーブルに格納されている対象物Ｓの画像情報との比較を行う際、サーバ４００は、カメラ付メガネ２００から送信された対象物Ｓの画像情報及び当該データテーブルに格納されている対象物Ｓの画像情報に対して、特徴点の抽出等の種々の画像処理を行う。これにより、サーバ４００は、当該データテーブルから、カメラ付メガネ２００から送信された対象物Ｓの画像情報と一致する対象物Ｓの画像情報を検出する。
また、サーバ４００は、抽出した対象物Ｓの対象物情報及び関連情報をユーザＵの携帯端末３００に送信する。

携帯端末３００は、ユーザＵに対して、サーバ４００の検索結果の提示を行う部分であり、図示しない制御部を備える。制御部は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び図示しない記憶部等を備える。そして、ＣＰＵが記憶部に格納されたプログラムを実行することにより、制御部における全ての処理が実現する。
また、制御部のそれぞれの記憶部に格納されるプログラムは、ＣＰＵに実行されることにより、制御部のそれぞれにおける処理を実現するためのコードを含む。なお、記憶部は、例えば、このプログラムや、制御部における処理に利用される各種情報を格納することができる任意の記憶装置を含んで構成される。記憶装置は、例えば、メモリ等である。

携帯端末３００は、表示部３０１を備え、サーバ４００から送信された対象物Ｓの対象物情報及び関連情報を、当該表示部３０１に表示する。
また、携帯端末３００は、当該携帯端末３００における検索履歴に基づいて、サーバ４００から送信された関連情報から、ユーザＵにとって有益な関連情報を選択し、選択した関連情報を対象物情報とともに表示部３０１に表示してもよい。具体的には、携帯端末３００は、サーバ４００から送信された関連情報から、当該携帯端末３００の検索履歴のうち検索回数が所定回数より多い検索結果と関連性の高い関連情報を選択する。例えば、当該携帯端末３００の検索履歴に、家具についての検索回数が所定回数より多い場合に、携帯端末３００は、対象物Ｓの関連情報に家具店の情報があれば、当該家具店の情報を表示部３０１に表示する。

また、携帯端末３００は、サーバ４００からの対象物情報及び関連情報の送信を停止する停止命令をサーバ４００に送信する。具体的には、ユーザＵによって携帯端末３００が操作されることによって、配信停止が設定された場合に、携帯端末３００は、配信停止命令をサーバ４００に送信する。

次に、図２及び図３を参照しながら、ウェアラブル検索システム１００において実施される検索方法について説明する。
まず、カメラ付メガネ２００は、ユーザＵの眼の焦点を検出し、焦点距離に関する焦点情報を取得する（ステップＳ１０１）。

次に、カメラ付メガネ２００は、ユーザＵの焦点上に存在する対象物Ｓを撮影し、対象物Ｓの画像情報を取得する（ステップＳ１０２）。

次に、カメラ付メガネ２００は、ＧＰＳ衛星から信号を受信し、ユーザＵの位置情報を取得する（ステップＳ１０３）。なお、カメラ付メガネ２００は、携帯端末３００からユーザＵの位置情報を取得してもよい。

次に、カメラ付メガネ２００は、対象物Ｓの画像情報とともに、対象物Ｓの位置情報として、検出したユーザＵの焦点情報及びユーザＵの位置情報をサーバ４００に送信する（ステップＳ１０４）。なお、ステップＳ１０１〜ステップＳ１０３において情報を取得することができなかった場合や、ステップＳ１０４においてサーバ４００に情報を送信することができなかった場合、カメラ付メガネ２００は、携帯端末３００にその旨を送信してもよい。この場合、携帯端末３００は、表示部３０１に「検索不可」と表示してもよい。

次に、サーバ４００は、カメラ付メガネ２００から送信された、対象物Ｓの画像情報、対象物Ｓの位置情報（ユーザＵの焦点情報及びユーザＵの位置情報）を受信する（ステップＳ１０５）。

次に、サーバ４００は、カメラ付メガネ２００から送信された対象物Ｓの画像情報及び当該データテーブルに格納されている対象物Ｓの画像情報に対して、特徴点の抽出等の種々の画像処理を行う（ステップＳ１０６）。

次に、サーバ４００は、ステップＳ１０６によって得られた情報及び対象物Ｓの位置情報に基づいて、当該データテーブルから、カメラ付メガネ２００から送信された対象物Ｓの画像情報及び位置情報と一致する対象物Ｓの画像情報及び位置情報を検出する。これにより、サーバ４００は、対象物Ｓの特定を行う（ステップＳ１０７）。なお、ステップＳ１０７において、対象物Ｓの特定ができなかった場合、サーバ４００は、携帯端末３００にその旨を送信してもよい。この場合、携帯端末３００は、表示部３０１に「検索不可」と表示してもよい。

次に、サーバ４００は、当該データテーブルから、ステップＳ１０７において特定した対象物Ｓの対象物情報と関連情報とを抽出する（ステップＳ１０８）。

次に、サーバ４００は、ステップＳ１０８において抽出した対象物Ｓの対象物情報及び関連情報を携帯端末３００に送信する（ステップＳ１０９）。

次に、携帯端末３００は、サーバ４００から送信された対象物Ｓの対象物情報及び関連情報を受信する（ステップＳ１１０）。

次に、携帯端末３００は、当該携帯端末３００における検索履歴に基づいて、サーバ４００から送信された関連情報から、ユーザＵにとって有益な関連情報を選択し（ステップＳ１１１）、選択した関連情報を対象物情報とともに表示部３０１に表示する（ステップＳ１１２）。

次に、携帯端末３００は、ユーザＵによって携帯端末３００が操作されることによって、配信停止が設定されたか否かと判断する（ステップＳ１１３）。
ステップＳ１１３において、ユーザＵによって携帯端末３００が操作されることによって、配信停止が設定されていない場合（ステップＳ１１３；Ｎｏ）、本処理を繰り返す。
ステップＳ１１３において、ユーザＵによって携帯端末３００が操作されることによって、配信停止が設定されている場合（ステップＳ１１３；Ｙｅｓ）、携帯端末３００は、配信停止命令をサーバ４００に送信する（ステップＳ１１４）。

次に、サーバ４００は、携帯端末３００から配信停止命令を受信し（ステップＳ１１５）、携帯端末３００への対象物情報及び関連情報の送信を停止する（ステップＳ１１６）。

以上に説明した実施の形態１に係るウェアラブル検索システム１００、検索方法、及び、検索プログラムによれば、カメラ付メガネ２００が自動でユーザＵの焦点上に位置する対象物Ｓの画像情報を取得し、当該対象物Ｓの画像情報とともに、対象物Ｓの位置情報（ユーザＵの位置情報及び焦点情報）を送信し、サーバ４００がカメラ付メガネ２００から送信された対象物Ｓの画像情報及び位置情報に基づいて、データテーブルから対象物Ｓの対象物情報及び関連情報を検索し、携帯端末３００の表示部３０１に当該対象物情報及び関連情報が表示される。すなわち、ユーザＵが「検索する」という目的意識を持たなくても、ユーザＵの焦点上に存在する対象物Ｓについて検索を行うことができる。これにより、検索のためのユーザＵの動作が不要なウェアラブル検索システム１００、検索方法、及び、検索プログラムを提供することができる。

また、サーバ４００によって、対象物Ｓの対象物情報だけでなく関連情報も検索されるため、対象物Ｓが特定されるだけでなく、特定された対象物Ｓの関連情報もユーザＵに提示することができる。

また、携帯端末３００によって、サーバ４００から送信された関連情報からユーザＵにとって有益な関連情報が選択されるため、ユーザＵにとって有益な関連情報を提示することができる。

また、携帯端末３００がユーザＵによって操作されることにより、携帯端末３００は、サーバ４００からの対象物情報及び関連情報の送信を停止する配信停止命令をサーバ４００に送信するため、対象物情報及び関連情報の配信が不要な場合には、その配信を停止することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記の実施の形態１において、カメラ付メガネ２００は、透過型ＨＭＤであってもよい。この場合、サーバ４００から対象物Ｓの対象物情報及び関連情報がカメラ付メガネ２００に送信され、カメラ付メガネ２００に当該対象物情報及び関連情報が表示されてもよい。

また、上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、図２及び図３のフローチャートに記載の処理手順を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
ユーザの焦点を検出するとともに、前記ユーザの前記焦点上に存在する対象物を撮影するカメラ付メガネと、
前記ユーザが携帯する携帯端末と、
前記カメラ付メガネ及び前記携帯端末と通信ネットワークによって接続されたサーバと、
を備え、
前記カメラ付メガネは、撮影した前記対象物の画像情報とともに、前記ユーザの前記焦点に関する焦点情報及び前記ユーザの位置情報を前記対象物の位置情報として前記サーバに送信し、
前記サーバは、前記対象物の前記画像情報と、前記対象物の位置情報と、前記対象物に関する対象物情報とが対応付けられたデータテーブルを、前記カメラ付メガネから送信された前記対象物の前記画像情報及び前記位置情報に基づいて検索することにより、前記対象物を特定するとともに前記対象物情報を抽出し、抽出した前記対象物情報を前記携帯端末に送信し、
前記携帯端末は、前記対象物情報を前記携帯端末の表示部に表示する、ウェアラブル検索システム。
（付記２）
前記データテーブルにおいて、前記対象物の前記画像情報と、前記対象物の前記位置情報と、前記対象物に関する前記対象物情報と、前記対象物に関連する関連情報とが対応付けられており、
前記サーバは、前記データテーブルを、前記カメラ付メガネから送信された前記対象物の前記画像情報及び前記位置情報に基づいて検索することにより、前記対象物を特定するとともに前記対象物情報及び前記関連情報を抽出し、抽出した前記対象物情報及び前記関連情報を前記携帯端末に送信し、
前記携帯端末は、前記対象物情報及び前記関連情報を前記携帯端末の表示部に表示する、付記１に記載のウェアラブル検索システム。
（付記３）
前記携帯端末は、当該携帯端末における検索履歴に基づいて、前記サーバから送信された前記関連情報から、前記ユーザにとって有益な前記関連情報を選択し、選択した前記関連情報を前記対象物情報とともに前記表示部に表示する、付記２に記載のウェアラブル検索システム。
（付記４）
前記携帯端末は、前記サーバからの前記対象物情報及び前記関連情報の送信を停止する停止命令を前記サーバに送信する、付記２又は３に記載のウェアラブル検索システム。
（付記５）
ユーザに着用されるカメラ付メガネと、前記ユーザが携帯する携帯端末と、前記カメラ付メガネ及び前記携帯端末と通信ネットワークによって接続されたサーバと、を備えるウェアラブル検索システムにおいて実施される検索方法であって、
前記カメラ付メガネが、前記ユーザの焦点を検出するとともに、前記ユーザの前記焦点上に存在する対象物を撮影し、撮影した前記対象物の画像情報とともに、前記ユーザの前記焦点に関する焦点情報及び前記ユーザの位置情報を前記対象物の位置情報として前記サーバに送信し、
前記サーバが、前記対象物の前記画像情報と、前記対象物の位置情報と、前記対象物に関する対象物情報とが対応付けられたデータテーブルを、前記カメラ付メガネから送信された前記対象物の前記画像情報及び前記位置情報に基づいて検索することにより、前記対象物を特定するとともに前記対象物情報を抽出し、抽出した前記対象物情報を前記携帯端末に送信し、
前記携帯端末が、前記対象物情報を前記携帯端末の表示部に表示する、検索方法。
（付記６）
前記データテーブルにおいて、前記対象物の前記画像情報と、前記対象物の前記位置情報と、前記対象物に関する前記対象物情報と、前記対象物に関連する関連情報とが対応付けられており、
前記サーバが、前記データテーブルを、前記カメラ付メガネから送信された前記対象物の前記画像情報及び前記位置情報に基づいて検索することにより、前記対象物を特定するとともに前記対象物情報及び前記関連情報を抽出し、抽出した前記対象物情報及び前記関連情報を前記携帯端末に送信し、
前記携帯端末が、前記対象物情報及び前記関連情報を前記携帯端末の表示部に表示する、付記５に記載の検索方法。
（付記７）
前記携帯端末が、当該携帯端末における検索履歴に基づいて、前記サーバから送信された前記関連情報から、前記ユーザにとって有益な前記関連情報を選択し、選択した前記関連情報を前記対象物情報とともに前記表示部に表示する、付記６に記載の検索方法。
（付記８）
前記携帯端末が、前記サーバからの前記対象物情報及び前記関連情報の送信を停止する停止命令を前記サーバに送信する、付記６又は７に記載の検索方法。
（付記９）
ユーザに着用されるカメラ付メガネと、前記ユーザが携帯する携帯端末と、前記カメラ付メガネ及び前記携帯端末と通信ネットワークによって接続されたサーバと、を備えるウェアラブル検索システムにおいて実行される検索プログラムであって、
前記カメラ付メガネに、前記ユーザの焦点を検出するとともに、前記ユーザの前記焦点上に存在する対象物を撮影し、撮影した前記対象物の画像情報とともに、前記ユーザの前記焦点に関する焦点情報及び前記ユーザの位置情報を前記対象物の位置情報として前記サーバに送信する処理を実行させ、
前記サーバに、前記対象物の前記画像情報と、前記対象物の位置情報と、前記対象物に関する対象物情報とが対応付けられたデータテーブルを、前記カメラ付メガネから送信された前記対象物の前記画像情報及び前記位置情報に基づいて検索することにより、前記対象物を特定するとともに前記対象物情報を抽出し、抽出した前記対象物情報を前記携帯端末に送信する処理を実行させ、
前記携帯端末に、前記対象物情報を前記携帯端末の表示部に表示する処理を実行させる、検索プログラム。
（付記１０）
前記データテーブルにおいて、前記対象物の前記画像情報と、前記対象物の前記位置情報と、前記対象物に関する前記対象物情報と、前記対象物に関連する関連情報とが対応付けられており、
前記サーバに、前記データテーブルを、前記カメラ付メガネから送信された前記対象物の前記画像情報及び前記位置情報に基づいて検索することにより、前記対象物を特定するとともに前記対象物情報及び前記関連情報を抽出し、抽出した前記対象物情報及び前記関連情報を前記携帯端末に送信する処理を実行させ、
前記携帯端末に、前記対象物情報及び前記関連情報を前記携帯端末の表示部に表示する処理を実行させる、付記９に記載の検索プログラム。
（付記１１）
前記携帯端末に、当該携帯端末における検索履歴に基づいて、前記サーバから送信された前記関連情報から、前記ユーザにとって有益な前記関連情報を選択し、選択した前記関連情報を前記対象物情報とともに前記表示部に表示する処理を実行させる、付記１０に記載の検索プログラム。
（付記１２）
前記携帯端末に、前記サーバからの前記対象物情報及び前記関連情報の送信を停止する停止命令を前記サーバに送信する処理を実行させる、付記１０又は１１に記載の検索プログラム。

１００ ウェアラブル検索システム
２００ カメラ付メガネ
３００ 携帯端末
３０１ 表示部
４００ サーバ
Ｓ 対象物
Ｕ ユーザ

Claims (10)

1. ユーザの焦点を検出するとともに、前記ユーザの前記焦点上に存在する対象物を撮影するカメラ付メガネと、
   前記ユーザが携帯する携帯端末と、
   前記カメラ付メガネ及び前記携帯端末と通信ネットワークによって接続されたサーバと、
   を備え、
   前記カメラ付メガネは、撮影した前記対象物の画像情報とともに、前記ユーザの前記焦点に関する焦点情報及び前記ユーザの位置情報を前記対象物の位置情報として前記サーバに送信し、
   前記サーバは、前記対象物の前記画像情報と、前記対象物の位置情報と、前記対象物に関する対象物情報とが対応付けられたデータテーブルを、前記カメラ付メガネから送信された前記対象物の前記画像情報及び前記位置情報に基づいて検索することにより、前記対象物を特定するとともに前記対象物情報を抽出し、抽出した前記対象物情報を前記携帯端末に送信し、
   前記携帯端末は、前記対象物情報を前記携帯端末の表示部に表示する、ウェアラブル検索システム。
2. 前記データテーブルにおいて、前記対象物の前記画像情報と、前記対象物の前記位置情報と、前記対象物に関する前記対象物情報と、前記対象物に関連する関連情報とが対応付けられており、
   前記サーバは、前記データテーブルを、前記カメラ付メガネから送信された前記対象物の前記画像情報及び前記位置情報に基づいて検索することにより、前記対象物を特定するとともに前記対象物情報及び前記関連情報を抽出し、抽出した前記対象物情報及び前記関連情報を前記携帯端末に送信し、
   前記携帯端末は、前記対象物情報及び前記関連情報を前記携帯端末の表示部に表示する、請求項１に記載のウェアラブル検索システム。
3. 前記携帯端末は、当該携帯端末における検索履歴に基づいて、前記サーバから送信された前記関連情報から、前記ユーザにとって有益な前記関連情報を選択し、選択した前記関連情報を前記対象物情報とともに前記表示部に表示する、請求項２に記載のウェアラブル検索システム。
4. 前記携帯端末は、前記サーバからの前記対象物情報及び前記関連情報の送信を停止する停止命令を前記サーバに送信する、請求項２又は３に記載のウェアラブル検索システム。
5. ユーザに着用されるカメラ付メガネと、前記ユーザが携帯する携帯端末と、前記カメラ付メガネ及び前記携帯端末と通信ネットワークによって接続されたサーバと、を備えるウェアラブル検索システムにおいて実施される検索方法であって、
   前記カメラ付メガネが、前記ユーザの焦点を検出するとともに、前記ユーザの前記焦点上に存在する対象物を撮影し、撮影した前記対象物の画像情報とともに、前記ユーザの前記焦点に関する焦点情報及び前記ユーザの位置情報を前記対象物の位置情報として前記サーバに送信し、
   前記サーバが、前記対象物の前記画像情報と、前記対象物の位置情報と、前記対象物に関する対象物情報とが対応付けられたデータテーブルを、前記カメラ付メガネから送信された前記対象物の前記画像情報及び前記位置情報に基づいて検索することにより、前記対象物を特定するとともに前記対象物情報を抽出し、抽出した前記対象物情報を前記携帯端末に送信し、
   前記携帯端末が、前記対象物情報を前記携帯端末の表示部に表示する、検索方法。
6. 前記データテーブルにおいて、前記対象物の前記画像情報と、前記対象物の前記位置情報と、前記対象物に関する前記対象物情報と、前記対象物に関連する関連情報とが対応付けられており、
   前記サーバが、前記データテーブルを、前記カメラ付メガネから送信された前記対象物の前記画像情報及び前記位置情報に基づいて検索することにより、前記対象物を特定するとともに前記対象物情報及び前記関連情報を抽出し、抽出した前記対象物情報及び前記関連情報を前記携帯端末に送信し、
   前記携帯端末が、前記対象物情報及び前記関連情報を前記携帯端末の表示部に表示する、請求項５に記載の検索方法。
7. 前記携帯端末が、当該携帯端末における検索履歴に基づいて、前記サーバから送信された前記関連情報から、前記ユーザにとって有益な前記関連情報を選択し、選択した前記関連情報を前記対象物情報とともに前記表示部に表示する、請求項６に記載の検索方法。
8. 前記携帯端末が、前記サーバからの前記対象物情報及び前記関連情報の送信を停止する停止命令を前記サーバに送信する、請求項６又は７に記載の検索方法。
9. ユーザに着用されるカメラ付メガネと、前記ユーザが携帯する携帯端末と、前記カメラ付メガネ及び前記携帯端末と通信ネットワークによって接続されたサーバと、を備えるウェアラブル検索システムにおいて実行される検索プログラムであって、
   前記カメラ付メガネに、前記ユーザの焦点を検出するとともに、前記ユーザの前記焦点上に存在する対象物を撮影し、撮影した前記対象物の画像情報とともに、前記ユーザの前記焦点に関する焦点情報及び前記ユーザの位置情報を前記対象物の位置情報として前記サーバに送信する処理を実行させ、
   前記サーバに、前記対象物の前記画像情報と、前記対象物の位置情報と、前記対象物に関する対象物情報とが対応付けられたデータテーブルを、前記カメラ付メガネから送信された前記対象物の前記画像情報及び前記位置情報に基づいて検索することにより、前記対象物を特定するとともに前記対象物情報を抽出し、抽出した前記対象物情報を前記携帯端末に送信する処理を実行させ、
   前記携帯端末に、前記対象物情報を前記携帯端末の表示部に表示する処理を実行させる、検索プログラム。
10. 前記データテーブルにおいて、前記対象物の前記画像情報と、前記対象物の前記位置情報と、前記対象物に関する前記対象物情報と、前記対象物に関連する関連情報とが対応付けられており、
    前記サーバに、前記データテーブルを、前記カメラ付メガネから送信された前記対象物の前記画像情報及び前記位置情報に基づいて検索することにより、前記対象物を特定するとともに前記対象物情報及び前記関連情報を抽出し、抽出した前記対象物情報及び前記関連情報を前記携帯端末に送信する処理を実行させ、
    前記携帯端末に、前記対象物情報及び前記関連情報を前記携帯端末の表示部に表示する処理を実行させる、請求項９に記載の検索プログラム。

Images