JP3602455B2

JP3602455B2 - Menu providing device and program

Info

Publication number: JP3602455B2
Application number: JP2001032781A
Authority: JP
Inventors: 祐介藤巻
Original assignee: 株式会社ジャストシステム
Priority date: 2000-08-22
Filing date: 2001-02-08
Publication date: 2004-12-15
Anticipated expiration: 2021-02-08
Also published as: JP2002140353A

Description

【０００１】
本発明は、特定または不特定の物に対する所望の情報を利用者が取り出すためのメニューを提供する装置等に関する。
【０００２】
【従来の技術】
近年、インターネット上のホームページで様々な情報が提供されている。パーソナルコンピュータなどの端末装置からこれらのホームページにアクセスし、利用者が所望の情報を取り出すためには、取り出した情報を提供しているホームページのアドレス（ＵＲＬ）を入力するのが一般的な方法である。
【０００３】
しかしながら、この方法では、ホームページの開設者（情報の提供者）が、アドレスを別の方法で利用者に提供しなければならない。また、利用者も提供されたアドレスを管理しなければならないが、インターネット上のホームページの数は無数にあり、適切にアドレスを管理するのは容易なことではない。
【０００４】
また、従来から一般に各ホームページにアクセスし、情報を取り出すための方法として、まず、利用者はサーチエンジンと呼ばれるサイトにアクセスし、そこからリンクの貼られた各ホームページにジャンプする方法がある。利用者がこのサーチエンジンを利用して所望のホームページを検索する場合、カテゴリーを追っていったり、検索キーワードを入力したりする。
【０００５】
しかしながら、利用者が所望する情報がどのようなカテゴリーに属するのかが分からない場合も多い。また、検索キーワードを利用してホームページを検索する場合、検索キーワードが曖昧であると索出されるホームページ数が膨大になりすぎるので、その中から利用者が所望のホームページを見つけだすのが困難になってしまう。一方、検索キーワードを絞り込みすぎると、本来的に利用者が所望する情報を提供しているホームページが、検索漏れしてしまうこともある。
【０００６】
さらに、上記のアドレスを入力する方法や検索キーワードを用いた方法では、利用者は、キーボード操作してこれらを入力しなければならない。従って、キーボード操作に不慣れな利用者は、これらの方法を用いてホームページにアクセスするのが非常に面倒に感じるという問題がある。とりわけ最近のインターネット人口の爆発的な増加に伴って、このようなキーボードに不慣れな利用者の割合が増加しているというのが現状である。
【０００７】
【発明が解決しようとする課題】
そこで、簡単な操作で誰でも、無数に存在するインターネット上のホームページの中から必要な情報を提供しているホームページに選択的にアクセスし、そこから情報を取り出せるようにすることが、ここ最近の重要な技術的課題となっている。
【０００８】
本発明は、インターネット上に存在する特定または不特定の物に対する所望の情報を、容易に取り出せるようにするためのメニューを利用者に提供することを目的とする。
【００１５】
【課題を解決する手段】
上記目的を達成するため、本発明の第１の観点にかかるメニュー提供装置は、
インターネット上の情報にアクセスすることが可能な端末装置と通信可能に構成され、該端末装置がアクセスすべき情報を選択するためのメニューを提供するメニュー提供装置であって、
所望の対象物を認識可能とする対象物情報を受信する対象物情報受信手段と、
前記対象物情報受信手段が受信した対象物情報に基づいて、前記所望の対象物を認識する対象物認識手段と、
前記対象物認識手段による対象物の認識結果に基づいて、前記端末装置においてアクセスすべき情報を選択するためのメニューを生成するメニュー生成手段と、
前記メニュー生成手段が生成したメニューを、前記端末装置に送信するメニュー送信手段と
を備え、
前記メニュー生成手段は、
対象物と各対象物に関して生成されるべき予め設計された階層構造を有し、ユーザの操作に応じて順次下位層に選択を進め、前記アクセスすべき情報を選択できるように設計された第１のメニューの原型となるメニュー情報とを関連づけて予め記憶するメニュー記憶手段と、
前記対象物認識手段によって認識された対象物に関連づけられているメニュー情報が前記メニュー記憶手段に予め記憶されているか否かを判別する判別手段と、
前記判別手段がメニュー情報が予め記憶されていると判別した場合に、認識された対象物に関連づけられて前記メニュー記憶手段に記憶されているメニュー情報に基づいて、前記端末装置に提供する第１のメニューを生成する第１のメニュー生成手段と、
前記判別手段がメニュー情報が予め記憶されていないと判別した場合に、認識結果に基づいて検索式を生成する検索式生成手段と、
前記検索式生成手段が生成した検索式に従って、サーチエンジンから検索結果として、前記端末装置がアクセスすることが可能な情報のアドレスを得るアドレス取得手段と、
前記アドレス取得手段が取得したアドレスのうちから選択したアドレスに基づいて、前記端末装置に有用なアドレスがグループ分けされた第２のメニューを生成する第２のメニュー生成手段と、
を備える、
ことを特徴とする。
【００１６】
上記メニュー提供装置は、端末装置からその利用者が情報を得たい対象物についての対象物情報が送られてくれば、アクセスすべき情報（例えばホームページ）を選択するためのメニューを当該端末装置に返送する。そして、端末装置の利用者は、このメニューに従って、所望の情報にアクセスすることができる。このため、誰でも簡単な操作でインターネット上の所望の情報にアクセスすることができるようなメニューを提供できる。
【００１７】
また、このメニューからインターネット上の情報へのアクセスを可能とすることで、端末装置の利用者にアドレス等の情報を管理させなくても済むようになる。さらに、情報を提供する側も、その情報を必要とする利用者を的確に誘導することができるようになる。このため、アドレス等の情報を広く知らしめるような行為をあまり行わなくても済むようになる。
【００１８】
そして、対象物に関し予め予め設計された階層構造を有し、ユーザの操作に応じて順次下位層に選択を進め、前記アクセスすべき情報を選択できるように設計された第１のメニューの原型となるメニュー情報を用意してある場合には、対象物情報を送ってきた端末に返送すべきメニューを迅速に生成することができる。また、対象物に関するメニュー情報が用意されていない場合には、検索式を生成し、サーチエンジンの検索結果として得られたアドレスのうちから、選択したアドレスに基づいて端末に有用なアドレスがグループ分けされた第２のメニューを生成する。このように検索式を生成し、サーチエンジンの検索結果として得られたアドレスに基づいて第２のメニューを生成することができるようにすることで、メニューを提供できないという場合を少なくすることができる。
【００１９】
ここで、前記対象物認識手段によって認識された対象物に関連づけられて前記メニュー記憶手段に記憶されているメニュー情報が複数ある場合には、これら複数のメニュー情報を結びつけた第１のメニューを、前記端末装置に提供するメニューとして生成するものとしてもよい。
【００２３】
上記メニュー提供装置において、
前記メニュー生成手段は、前記対象物認識手段の認識結果に基づいて得られる第１または第２のメニューを、さらに所定の情報を用いてカスタマイズする手段を有するものとしてもよい。
【００２４】
ここで、前記メニュー生成手段は、次のような情報に基づいて、第１または第２のメニューをカスタマイズするものとすることができる。
（１）前記端末装置の利用者のプロファイル
（２）前記端末装置の利用者による、このメニュー提供装置の利用の履歴
（３）メニュー生成時の時間に関する情報
（４）前記端末装置が存在する場所に関する情報
【００２５】
このようなメニューのカスタマイズを行うことで、メニューからアクセス可能とする情報の数を、利用者にとって利用のし易い適切な数に絞ることができ、また、利用者が最も必要とするであろう情報に行き着きやすくすることができる。
【００２６】
上記メニュー提供装置において、
前記対象物情報受信手段は、対応する対象物の画像を受信する画像受信手段によって構成され、
前記対象物認識手段は、前記対象物の画像を画像認識する画像認識手段によって構成されたものとすることができる。
【００２７】
ここで、前記画像受信手段は、複数の画像を受信できてもよい。この場合、
前記画像認識手段は、前記画像受信手段が複数の画像を受信した場合には、それぞれ画像認識し、
前記メニュー生成手段は、前記画像認識手段による複数の画像の認識結果に基づいて、第１または第２のメニューを生成するものとすることができる。
【００２８】
さらに、前記画像受信手段が受信する複数の画像は、他の画像と異なる対象物を撮影した画像を含むもの（一部が異なる対象物のものでも、全てが異なる対象もののいずれも可）であってもよい。この場合において、
前記メニュー生成手段は、前記画像認識手段による画像の認識結果に基づいた条件式を生成し、該条件式に基づいて第１または第２のメニューを生成するものとすることができる。
【００２９】
条件式としては、例えば、画像の認識結果から複数の対象物の名称等が得られた場合に、そのＡＮＤ条件またはＯＲ条件によるものとすることができる。これにより、利用者にとって、より利用しやすいメニューを提供することが可能となる。なお、複数の画像が全て同じ対象物のものである場合にも、当該対象物の特定がし易くなる。
【００３０】
上記メニュー提供装置において、
前記対象物情報受信手段は、前記端末装置が前記対象物から無線通信により取得した該対象物の識別情報を受信するものであってもよい。この場合、
前記対象物認識手段は、前記対象物情報受信手段が受信した識別情報に基づいて、前記所定の対象物を認識するものとすることができる。
【００３１】
ここで、前記対象物情報受信手段は、前記端末装置が前記対象物から無線通信により取得した該対象物の状態に関する情報をさらに受信するものであってもよい。この場合、
前記対象物認識手段は、前記対象物受信手段が受信した識別情報及び状態に関する情報に基づいて、前記所定の対象物を特定の状態のものに限定して認識するものとすることができる。
【００３２】
ここで、前記端末装置が前記対象物から無線通信により該対象物の識別情報（及び状態に関する情報）を受信するというのは、前記端末装置と前記対象物とがＢｌｕｅｔｏｏｔｈ技術の適用により通信可能となっている場合に、該対象物のＩＤ番号等を受信することをいう。つまり、この構成は、前記対象物に無線通信用のモジュールが埋め込まれていることが前提となっている。
【００３３】
上記メニュー提供装置は、
前記第１のメニュー生成手段が生成した第１のメニューに含まれる機能を前記端末装置において実行するのに必要なプログラムを、前記端末装置に送信するプログラム送信手段をさらに備えるものであってもよい。
【００３４】
上記目的を達成するため、本発明の第２の観点にかかるプログラムは、
インターネット上の情報にアクセスすることが可能な端末装置と通信可能に構成されたコンピュータ装置を、
所望の対象物を認識可能とする対象物情報を受信する対象物情報受信手段と、
前記対象物情報受信手段が受信した対象物情報に基づいて、前記所望の対象物を認識する対象物認識手段と、
前記対象物認識手段による対象物の認識結果に基づいて、前記端末装置においてアクセスすべき情報を選択するためのメニューを生成するメニュー生成手段と、
前記メニュー生成手段が生成したメニューを、前記端末装置に送信するメニュー送信手段と、
を備え、
前記メニュー生成手段は、
対象物と各対象物に関して生成されるべき予め設計された階層構造を有し、ユーザの操作に応じて順次下位層に選択を進め、前記アクセスすべき情報を選択できるように設計された第１のメニューの原型となるメニュー情報とを関連づけて予め記憶するメニュー記憶手段と、
前記対象物認識手段によって認識された対象物に関連づけられているメニュー情報が前記メニュー記憶手段に予め記憶されているか否かを判別する判別手段と、
前記判別手段がメニュー情報が予め記憶されていると判別した場合に、前記対象物認識手段によって認識された対象物と関連づけられて前記メニュー記憶手段に記憶されているメニュー情報に基づいて、前記端末装置に提供する第１のメニューを生成する第１のメニュー生成手段と、
前記判別手段がメニュー情報が記憶されていないと判別した場合に、前記対象物認識手段の認識結果に基づいて、キーワードによる検索式を生成する検索式生成手段と、
前記検索式生成手段が生成した検索式に従って、サーチエンジンから検索結果として、前記端末装置がアクセスすることが可能な情報のアドレスを得るアドレス取得手段と、
前記アドレス取得手段が取得したアドレスのうちから選択したアドレスに基づいて、前記端末装置に有用なアドレスがグループ分けされた第２のメニューを生成する第２のメニュー生成手段と、
として機能することを特徴とする。
【００３５】
【発明の実施の形態】
以下、添付図面を参照して、本発明の実施の形態について説明する。
【００３６】
図１は、この実施の形態にかかるメニュー提供システムの構成を示す図である。図示するように、このメニュー提供システムは、インターネット３上のＷｅｂサーバ１と、ダイアルアップ接続などの方法によりインターネットサービスプロバイダ（ＩＳＰ）４を介してインターネット３に接続された利用者端末２とから構成されている。利用者端末２は、利用者が情報を所望し、その情報にアクセスするためのメニューが提供される対象物５を撮影する機能を備えている。
【００３７】
Ｗｅｂサーバ１は、汎用のサーバコンピュータなどによって構成され、図２に示すように、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１１と、メモリ１２と、通信装置１３とを備えている。Ｗｅｂサーバ１には、固定ディスク装置などを物理的記憶媒体とした画像認識データベース１４、メニューデータベース１５及び利用者データベース１６が接続されている。Ｗｅｂサーバ１は、ここではシングルプロセッサシステムとしているが、マルチプロセッサシステムとすることも可能である。
【００３８】
ＣＰＵ１１は、メモリ１２に記憶されたプログラムを実行し、利用者端末２から送られてきた対象物５の画像に基づいてメニューを生成し、このメニューを利用者端末２に返す。ＣＰＵ１１は、内部タイマを有する。メモリ１２は、ＣＰＵ１１が実行するプログラムを記憶すると共に、プログラム実行時のワークエリアとして使用される。通信装置１３は、インターネット３に接続され、利用者端末２からの対象物５の画像を受信すると共に、生成したメニューを利用者端末２に送信する。
【００３９】
画像認識データベース１４は、対象物５の画像を画像認識するための情報を記憶するデータベースである。メニューデータベース１５は、対象物５の画像からメニューを生成するために必要な情報を記憶するデータベースである。メニューデータベース１５については、さらに詳しく後述する。利用者データベース１６は、このメニュー提供サービスの利用者のプロファイル（年齢、性別、職業など）と、利用の履歴を記憶するデータベースである。
【００４０】
図３は、メニューデータベース１５のデータベース構造を示す図である。メニューデータベース１５は、まず、図３（ａ）に示すように、認識した対象物とメニュー型（利用者に提供するメニューの原型となるもの）のＩＤとを対応付けて登録したテーブルを有している。ここで、１つの対象物に対して複数のＩＤが割り付けられている場合もあり、異なる対象物に対して同一のＩＤが割り付けられている場合もある。
【００４１】
メニューデータベース１５は、図３（ｂ）に示すように、メニュー型のＩＤと対応するメニュー型を記憶するアドレスとを対応付けて登録したテーブルを有している。さらに、メニューデータベース１５は、図３（ｃ）に示すように、図３（ｂ）のテーブルに記憶された各アドレスにメニュー型のデータを記憶している。
【００４２】
また、図１に示す利用者端末２は、パーソナルコンピュータやモバイルコンピュータなどによって構成され、図４に示すように、ＣＰＵ２１と、メモリ２２と、入力装置２３と、表示装置２４と、撮像装置２５と、通信装置２６とを備えている。
【００４３】
ＣＰＵ２１は、メモリ２２に記憶されたプログラムを実行し、対象物５の画像の撮影及び送信、Ｗｅｂサーバ１からのメニューの受信及び表示のために必要な処理を行う。ＣＰＵ２１は、また、表示されたメニューに従って、インターネット３上の任意のホームページにアクセスするための処理を行う。メモリ２２は、ＣＰＵ２１のプログラムを記憶すると共に、プログラム実行時のワークエリアとして使用される。
【００４４】
入力装置２３は、利用者が必要な指示を入力するためのもので、キーボードやマウスなどのポインティングデバイスによって構成されている。表示装置２４は、Ｗｅｂサーバ１から送られてきたメニューを表示すると共に、メニューに従ってアクセスしたホームページを表示する。撮像装置２５は、ＣＣＤなどを含み、入力装置２３からの指示に従って、対象物５の画像を撮影する。通信装置２６は、インターネット３に接続され、Ｗｅｂサーバ１に対象物５の画像を送信すると共に、Ｗｅｂサーバ１から送られてきたメニューを受信する。また、通信装置２６は、メニューに従って指示されたホームページにアクセスするための通信処理を行う。
【００４５】
以下、この実施の形態にかかるメニュー提供システムにおける動作について、説明する。図５は、このメニュー提供システムにおける動作を示すフローチャートである。図５において、左側が利用者端末２における動作を、右側がＷｅｂサーバ１における動作を示している。
【００４６】
まず、利用者端末２において、利用者が入力装置２３を操作することにより撮像装置２５から対象物５の画像を撮影する（ステップＳ２１）。撮影した対象物５の画像は、ＣＰＵ２１の制御の下、通信装置２６がインターネット３を介してＷｅｂサーバ１に送信する（ステップＳ２２）。
【００４７】
Ｗｅｂサーバ１では、通信装置１３が対象物５の画像を受信し、これをＣＰＵ１１に渡す（ステップＳ１１）。ＣＰＵ１１は、詳細を後述するように、メニューデータベース１５及び利用者データベース１６を参照し、対象物５に関する情報にアクセスするためのメニューを生成する（ステップＳ１２）。そして、生成したメニュー全体を、通信装置１３がインターネット３を介して利用者端末２に送信する（ステップＳ１３）。これで、Ｗｅｂサーバ１側の処理を終了する。
【００４８】
次に、利用者端末２で通信装置２６がＷｅｂサーバ１から送られてきた画像を受信すると（ステップＳ２３）、ＣＰＵ２１は、このメニュー（複数ページある時は、その第１ページ）を表示装置２４に表示させる（ステップＳ２４）。そして、このフローチャートの処理を終了する。その後、利用者端末２の利用者は、入力装置２３を操作することにより、メニュー中の所望の項目を選択していくことによって、インターネット３上で提供されている対象物５に関する所望の情報（ホームページ）にアクセスすることができるようになる。
【００４９】
次に、ステップＳ１２におけるメニュー生成処理について、図６のフローチャートを参照して詳しく説明する。まず、ＣＰＵ１１は、画像認識データベース１４を参照し、ステップＳ１１で受信した対象物５の画像を画像認識する（ステップＳ１０１）。
【００５０】
画像認識の結果、対象物を特定できるかどうかを判定する（ステップＳ１０２）。ここで、対象物を特定できる場合とは、完全に１つの物に特定できる場合だけでなく、２つ以上の候補があった場合も含む。例えば、本来はボールペンの画像であるが、ボールペンかシャープペンシルのいずれかと特定される場合も対象物を特定できる場合として含む。
【００５１】
ステップＳ１０２で対象物を特定できなかったと判定した場合には、ＣＰＵ１１は、所定のエラーメッセージを用意する（ステップＳ１０３）。そして、このフローチャートの処理を終了し、図５の処理に復帰する。なお、用意したエラーメッセージは、ステップＳ１３、Ｓ２３及びＳ２４において、メニューと同様に取り扱われるものとなり、メニューの代わりにこのエラーメッセージが利用者端末２に表示されることとなる。
【００５２】
一方、ステップＳ１０２で対象物を特定できたと判定した場合には、ＣＰＵ１１は、メニューデータベース１５を参照し、特定した対象物に対応付けて登録されているメニュー型のＩＤを取り出す（ステップＳ１０４）。ここで、特定した対象物に対応付けられているＩＤが２つ以上ある場合には、全てのＩＤを取り出す。また、画像認識の結果から特定した対象物が２つ以上あった場合には、それぞれの対象物について、対応するＩＤを取り出す。
【００５３】
次に、ＣＰＵ１１は、メニューデータベース１５を参照し、取り出したＩＤに対応するメニュー型が登録されているかどうかを判定する（ステップＳ１０５）。ここで、取り出したＩＤが２つ以上あった場合に、そのうちの１つにでも対応するメニュー型があれば、メニュー型が登録されているという判定結果を得ることとなる。
【００５４】
ＩＤに対応するメニュー型が登録されていると判定した場合には、ＣＰＵ１１は、取り出した各ＩＤに対応するメニュー型をメニューデータベース１５から取り出す（ステップＳ１０６）。さらに、ＣＰＵ１１は、利用者データベース１６から、画像を送ってきた利用者端末２の利用者のプロファイルと、利用の履歴とを取り出す（ステップＳ１０７）。ＣＰＵ１１は、また、内部タイマが計時している時間情報（時刻、曜日など）を取り出す（ステップＳ１０８）。
【００５５】
そして、ＣＰＵ１１は、ステップＳ１０７、Ｓ１０８で取り出した利用者のプロファイル、利用の履歴、時間情報に基づいて、ステップＳ１０６で取り出したメニュー型をカスタマイズし、利用者端末２に返送すべきメニューを生成する（ステップＳ１０９）。その後、後述するステップＳ１１５の処理に進む。
【００５６】
一方、ステップＳ１０５において、ＩＤに対応するメニュー型が登録されていないと判定した場合には、ＣＰＵ１１は、ステップＳ１０１における画像の認識結果に基づいて、検索キーワードを決定する（ステップＳ１１０）。この検索キーワードは、２つ以上であってもよく、その場合には、ＡＮＤやＯＲなどの条件式が立てられる。
【００５７】
次に、ＣＰＵ１１は、サーチエンジンを起動し、ステップＳ１１０で決定した検索キーワードを用いて検索を行う（ステップＳ１１１）。なお、このサーチエンジンは、Ｗｅｂサーバ１内に含まれるものであってもよく、インターネット３上の他のサイトにあるサーチエンジンを利用するものであってもよい。
【００５８】
さらに、ＣＰＵ１１は、利用者データベース１６から、画像を送ってきた利用者端末２の利用者のプロファイルと、利用の履歴とを取り出す（ステップＳ１１２）。ＣＰＵ１１は、また、内部タイマが計時している時間情報（時刻、曜日など）を取り出す（ステップＳ１１３）。
【００５９】
そして、ＣＰＵ１１は、ステップＳ１１２、Ｓ１１３で取り出した利用者のプロファイル、利用の履歴、時間情報に基づいて、ステップＳ１１１で得られた検索結果から利用者に有用であると思われるホームページのＵＲＬを選択し、これらをグループ分けして、利用者端末２に返送すべきメニューを生成する（ステップＳ１１４）。その後、ステップＳ１１５の処理に進む。
【００６０】
ステップＳ１１５では、ＣＰＵ１１は、ステップＳ１０９またはＳ１１４で生成したメニューを、当該利用者の利用の履歴として利用者データベース１６に記憶させる。そして、このフローチャートの処理を終了し、図５の処理に復帰する。こうしてステップＳ１０９またはＳ１１４で生成されたメニューが利用者端末２に表示されることとなる。
【００６１】
以下、この実施の形態にかかるメニュー提供システムにおいて、利用者端末２で対象物５の画像を撮影してから、対象物５に対するメニューをＷｅｂサーバ１から提供されるまでの動作について、図７を参照し、具体的な例を示して説明する。
【００６２】
図の左上に示すように、対象物５として、シャープペンシルがあったとする。利用者は、対象物５であるシャープペンシルに関する情報が欲しい場合には、まず、利用者端末２の撮像装置２５によって、このシャープペンシルの画像を撮影する…▲１▼。そして、撮影した画像をインターネット３を介してＷｅｂサーバ１に送信する…▲２▼。
【００６３】
Ｗｅｂサーバ１では、画像認識データベース１４を参照して、利用者端末２から送られてきた画像を画像認識する…▲３▼。ここでは、その画像がシャープペンシルを示すものであると完全に特定はできなかったが、シャープペンシルかボールペンのいずれかであると認識できたものとする。
【００６４】
次に、Ｗｅｂサーバ１では、メニューデータベース１５を参照して、対象物−−シャープペンシル及びボールペン−−に対応付けられているＩＤを抽出する…▲４▼。ここで、シャープペンシルに対してＡとＣとが、ボールペンに対応してＢとＣが、アドレスとして対応付けられてメニューデータベース１５に記憶されていたとすると、ＩＤとしてＡ、Ｂ及びＣの３つが抽出される。メニューデータベース１５を参照して、ＩＤ−−Ａ、Ｂ及びＣ−−にそれぞれ対応付けられている３つのメニュー型（メニュー型についても、Ａ、Ｂ及びＣと呼ぶ）を抽出する…▲５▼。
【００６５】
次に、Ｗｅｂサーバ１では、利用者データベース１６とＣＰＵ１１の内部タイマとを参照し、抽出された３つのメニュー型に基づいて、利用者端末２に返送すべきメニューを生成する…▲６▼。ここでは、まず、メニュー型が３つあったので、Ａ、Ｂ及びＣの３つの選択項目を有するメニューの１ページ目（最上位階層）を用意し、この１ページ目の各項目からそれぞれのメニュー型に対してリンクを貼る。
【００６６】
さらに、メニュー型に含んでいたＵＲＬのうち、利用者データベース１６にある利用者のプロファイル及び利用の履歴並びに現在の時刻及び曜日から利用者にとって不要と思われる情報のＵＲＬを削除する。さらに、残ったＵＲＬを、利用者データベース１６にある利用者のプロファイル及び利用の履歴並びに現在の時刻及び曜日から利用者にとって有用性が高いと思われる順番に並び替える。これで、利用者端末２に返送すべきメニューが生成される。
【００６７】
Ｗｅｂサーバ１は、こうして作成されたメニューをインターネット３を介して利用者端末２に返送する…▲７▼。利用者端末２では、Ｗｅｂサーバ１からのメニューを表示装置２４に表示する…▲８▼。これで、利用者端末２の利用者は、表示されたメニューに従って入力装置２３を操作し、項目を選択していくことで、インターネット３上に存在する所望のホームページにアクセスできるようになる。
【００６８】
以下、Ｗｅｂサーバ１から利用者端末２に提供されるメニューの例を、図８を参照して説明する。なお、この例で示すメニューでは、画像認識の結果で特定された対象物がシャープペンシルとボールペンであることは上記のメニュー生成手順の例と同じであるが、抽出されるＩＤ、メニュー型などは上記と異なるものとしていることに留意されたい。
【００６９】
図８（ａ）に示すように、このメニューの１ページ目（最上位階層）は、Ｗｅｂサーバ１での画像認識の結果として特定した対象物である「シャープペンシル」と「ボールペン」とで、利用者がいずれの対象物を意図し、情報を得たいかを選択するできるように構成される。それぞれの対象物の項目は、２ページ目（次の階層）にリンクが貼られており、入力装置２３でいずれかの項目を選択することで、それぞれの対象物に対応した２ページ目にジャンプすることができる。
【００７０】
１ページ目で「シャープペンシル」を選択したとすると、図８（ｂ）に示すように、シャープペンシルに関してどのような情報が欲しいのかを選択するためのページが、メニューの２ページ目として現れる。ここでは、選択する項目として、「製品情報」、「製造企業」、「購入」及び「筆記具」の項目がある。例えば、この項目の１つ１つがメニューデータベース１５に記憶されているメニュー型に対応するものとすることができ、「筆記具」の項目は、１ページ目で「ボールペン」を選択した場合にも現れる項目である（上記した異なる対象物でＩＤが一致する場合に該当する）。
【００７１】
また、２ページ目における各項目は、３ページ目（さらに次の階層）にリンクが貼られており、入力装置２３でいずれかの項目を選択することでそれぞれの項目に対応した３ページ目にジャンプすることができる。
【００７２】
２ページ目で「購入」を選択したとすると、図８（ｃ）に示すように、シャープペンシルの購入方法別に、そのための情報を得るためのページが、メニューの３ページ目として現れる。購入方法の別として、オンライン販売での購入とシャープペンシルの販売店とがある。なお、この３ページ目は、メニューの最下層に当たる。
【００７３】
３ページ目は、インターネット３上のホームページへリンクが貼られたものとなっており、例えば、「販売店」を購入方法としたものは、図８（ｄ）に示すように、インターネット３上でのホームページを示す情報が現れる。最初に現れるのは、メニューのカスタマイズによって利用者にとって最も優先順位が高いとされたホームページに関する情報であり、右側の▽（または△）の印の部分を入力装置２３で指示することによって、次に優先順位の高い（低い）ホームページに関する情報を表示装置２４に表示させることができる。
【００７４】
また、図８（ｄ）の「詳細情報」の部分を入力装置２３で指示することによって、当該ホームページがどのようなものであるかを、例えばポップアップウィンドウなどに表示させることができる。また、「ＵＲＬ：ＷＷＷ．…」の部分を入力装置２３で指示することによって、ここからリンクの貼られたインターネット３上のホームページにアクセスすることができる。
【００７５】
以上説明したように、この実施の形態にかかるメニュー提供システムでは、利用者端末２の利用者は、対象物５の画像を撮影してＷｅｂサーバ１に送れば、Ｗｅｂサーバ１から、メニューが提供される。そして、このメニューに従って、インターネット上のホームページにアクセスすることができる。このため、キーボード操作が必要なく、誰でも簡単に対象物５に関するインターネット上の所望の情報を取り出すことができるようになる。
【００７６】
また、Ｗｅｂサーバ１は、メニューデータベース１５を備え、対象物と関連付けたメニュー型を用意している。特定した対象物に関連づけられたメニュー型がある場合には、利用者端末２に提供するメニューを迅速に作成できる。一方、特定した対象物に関連付けられたメニュー型がなくても、キーワードによる検索式を生成し、サーチエンジンから関連する情報を提供するホームページのＵＲＬを取得しているため、対象物を特定できる限りメニューを提供することができる。
【００７７】
また、Ｗｅｂサーバ１は、利用者データベース１６を備え、ここに登録された利用者のプロファイルと利用の履歴とに従って、利用者端末２に提供するメニューを作成している。このため、提供されたメニューでは、対象物５に関する情報を提供するホームページのうちで利用者を誘導するホームページの数を、適切な数に絞ることができる。しかも、このメニューを利用することで、利用者が最も必要とするであろう情報を提供するホームページに行き着きやすくなる。
【００７８】
さらに、利用者は、情報が必要となった段階でその対象物５を撮像装置２５によって撮影すればよく、実際に情報が必要となるまで自分で管理すべきものは何もなくてよい。さらに、ホームページを開設して情報を提供する側にとっても、その情報を必要とする利用者を自己のホームページに適切に誘導することができるので、雑誌や新聞への掲載などのアドレスを広く知らしめるような行為をあまり行わなくても済むようになる。
【００７９】
本発明は、上記の実施の形態に限られず、種々の変形、応用が可能である。以下、本発明に適用可能な上記の実施の形態の変形態様について説明する。
【００８０】
上記の実施の形態では、利用者端末２が備える撮像装置２５で対象物５の画像を撮影していた。これに対して、利用者端末２は、このような撮像装置を備えないパーソナルコンピュータなどであってもよいが、この場合には、デジタルスチルカメラなどで撮影した画像を取り込み、取り込んだ画像を利用者端末２からＷｅｂサーバ１に送信するものとしてもよい。
【００８１】
上記の実施の形態では、Ｗｅｂサーバ１から利用者端末２にメニューを送信する際（ステップＳ１３）に、そのメニュー全体を送信するものとしていた。これに対して、複数ページで構成されるメニューの場合には、Ｗｅｂサーバ１は、最初にその１ページ目（最上位階層のページ）だけを利用者端末２に送信するものとし、下位の階層のページは、メニューに従って利用者端末２から要求が送られてくる都度、Ｗｅｂサーバ１から送信するものとしてもよい。
【００８２】
上記の実施の形態では、Ｗｅｂサーバ１での画像の認識結果から対象物５を１つの対象物に絞れないときは、候補となる対象物のそれぞれに対応したＩＤをメニューデータベース１５から取り出していた。そして、各ＩＤからメニュー型を取り出し、利用者端末２に送信すべきメニューを生成していた。これに対して、候補となる対象物を１つに絞りきれないときは、最初に各候補について利用者端末２に送信し、利用者によって選択させるものとしてもよい。
【００８３】
上記の実施の形態では、利用者端末２は、対象物５そのものの画像を撮影し、Ｗｅｂサーバ１に送るものとしていた。しかしながら、対象物５の一部の画像、特に対象物５を特定しやすい部分（バーコードなど）の画像を撮影し、Ｗｅｂサーバ１に送ってもよい。このような場合、対象物５のカテゴリー（上記したシャープペンシル、ボールペンなど）だけでなく、特定の製品（××社の品番××の製品）のレベルにまで特定できる（但し、対象物５そのものの画像でも、場合によっては可能）。さらに、対象物５について複数の画像（例えば、全体とバーコードの部分）を撮影し、撮影した全ての画像を利用者端末２からＷｅｂサーバ１に送るものとしてもよい。これにより、Ｗｅｂサーバ１では、対象物の特定がより容易になる。
【００８４】
この場合、画像認識の結果として、そのカテゴリー名と製品名との両方を対象物として特定すればよい。また、メニューデータベース１５も、カテゴリー名にＩＤを対応付けて記憶させておくと共に、製品名にもＩＤを対応付けて記憶させておくものとすればよい。そして、例えば、生成するメニューの１ページ目で、撮影した対象物５をそのカテゴリーのものとして捉えるか、特定の製品として捉えるかを選択できるようにすればよい。
【００８５】
上記の実施の形態では、利用者端末２で撮影した対象物５に対するメニューは、インターネット３を介して接続されたＷｅｂサーバ１から提供されるものとしていた。これに対して、利用者端末２をインターネット３に接続するＩＳＰ４のサーバ装置に上記したＷｅｂサーバ１の機能を持たせ、ＩＳＰ４のサーバ装置がメニューを生成して利用者端末２に提供するものとしてもよい。
【００８６】
また、利用者端末２で対象物５の画像を撮影するのではなく、例えば電車の中吊り広告や出版物に掲載されたＵＲＬを撮影し、ＩＳＰ４のサーバ装置に送信するものとしてもよい。この場合、ＩＳＰ４のサーバ装置は、送られてきたＵＲＬの画像に基づいて文字認識し、認識したＵＲＬが示すホームページにジャンプしてアクセスするようにしてもよい。
【００８７】
また、利用者端末２は、出版物に掲載された記事を撮影してＷｅｂサーバ１（またはＩＳＰ４のサーバ装置：この段落及び次段落において、同じ）に送信してもよい。この場合、Ｗｅｂサーバ１は、送られてきた記事を文字認識し、さらにこれを自然言語解析して、その解析結果に基づいてメニューを生成することができる。また、画像を送信するのではなく、電子ブックに掲載された記事の一部をテキスト情報としてＷｅｂサーバ１に送信してもよい。この場合も、Ｗｅｂサーバ１は、送られてきたテキスト情報を自然言語解析して、その解析結果に基づいてメニューを生成することができる。さらに、Ｗｅｂサーバ１は、送られてきた記事を文字認識し、これを読み上げた音声データを再生するためのメニューを追加してもよい。
【００８８】
さらに、利用者端末２は、ＧＰＳなどによって特定される位置情報をＷｅｂサーバ１に送信してもよい。この場合、Ｗｅｂサーバ１は、送られてきた位置情報に基づいてメニューを生成することができる。例えば、位置情報から利用者が渋谷にいると認識できた場合には、メニュー型をカスタマイズし、或いはサーチ結果を選択することにより、渋谷にある店舗の情報や渋谷駅の時刻表などを選択するメニューを生成することができる。また、位置情報は、利用者端末２から送られてくるのではなく、携帯電話機の基地局などに従って特定してもよい。
【００８９】
あるいは、特定の場所（例えば、駅のホームなど）に特有の目印を提示しておき、利用者端末２においてその目印を撮影し、Ｗｅｂサーバ１へ送るものとしてもよい。この場合、利用者のいる位置がより詳細に認識できる。これにより、Ｗｅｂサーバ１は、例えば、地下鉄の××駅の○○線上りホームであると特定できれば、その路線の上り線の時刻表や、沿線の情報などを選択するメニューを提供することができる。また、利用者が××通りの東側にいると特定できれば、近くのバス停を示す地図や、タクシーの配車を要求するためのメニューなどを提供することができる。
【００９０】
あるいは、病院や薬局で患者に渡す薬（または薬袋）に特定の目印を付加してもよい。この場合、薬を受け取った患者は、この目印と診察券に付された患者ＩＤをＷｅｂサーバ１に送ることにより、Ｗｅｂサーバ１からこの薬に関するメニューが提供される。そして、このメニューに従って、薬の飲み方や賞味期限、飲み合わせの悪い大衆薬などの情報を引き出すことができるようにしてもよい。
【００９１】
上記の実施の形態では、利用者端末２からＷｅｂサーバ１には、１つの対象物の画像を送るものとしていた。これに対して、利用者端末２で複数の対象物の画像を撮影し、これをＷｅｂサーバ１に送ってもよい。この場合、Ｗｅｂサーバ１は、複数の対象物に応じたメニューを提供するものとすることができる。例えば、にんじんとタマネギとジャガイモの画像が送られてきた場合には、Ｗｅｂサーバ１は、これを材料とするカレー、シチュー、肉じゃが等に関する情報を選択するためのメニューを生成してもよい。また、新型のゲーム機の画像とゲームソフト（旧型のゲーム機のバージョン）の画像とが送られれてきた場合には、Ｗｅｂサーバ１は、新型のゲーム機のバージョンの当該ゲームソフトに関する情報を選択するためのメニューを生成してもよい。さらに、公共料金の振込取扱表の画像とクレジットカードまたは銀行のキャッシュカードの画像とが送られてきた場合には、オンラインバンキング、振込ページを選択するためのメニューを生成してもよい。
【００９２】
このように、複数の対象物の画像が送られてきた場合には、Ｗｅｂサーバ１は、画像の認識結果から、ＡＮＤ条件やＯＲ条件などの条件式を生成し、この条件式に当てはまるメニューを生成することができる。この場合、複数の条件式を生成し、それぞれの条件式に基づいてメニューを生成するものとしてもよい。例えば、音楽ＣＤとイベントホールの画像が送られてきた場合には、（１）…（音楽一般）ＡＮＤ（当該イベントホール）、（２）…（当該ＣＤの歌手）ＡＮＤ（イベントホール一般）というような複数の条件式を生成することができる。ここで、前者の条件式から当該イベントホールで行われる音楽コンサートに関する情報を選択するためのメニューを、後者の条件式から当該歌手のコンサートに関する情報を選択するためのメニューを生成することができ、これら２つのメニューを統合したメニュー（第１ページでいずれかを選択するもの）を生成することができる。
【００９３】
上記の実施の形態では、Ｗｅｂサーバ１から利用者端末２には、対象物５に関して生成したメニューを提供するのみであった。これに対して、例えば提供するメニューの中に「音楽を視聴する」、「説明文を読む」といった項目がある場合には、Ｗｅｂサーバ１は、利用者端末２において音楽を視聴するためのプログラム、或いは説明文を読むためのプログラムを、通信装置１３からインターネット３を介して利用者端末２に送信できるようにしてもよい。
【００９４】
上記の実施の形態では、利用者端末２で撮影した対象物５の画像を基に、当該対象物５が何であるかを認識するものとしていた。しかしながら、対象物５を認識するための方法はこれに限られない。例えば、Ｂｌｕｅｔｏｏｔｈモジュールが対象物５に埋め込まれている場合には、利用者端末２は、対象物５（実際には、チップ）と無線通信を行い、当該対象物５に付されたオブジェクトＩＤを取得するものとしてもよい。この場合、利用者端末２からＷｅｂサーバ１に対象物５から取得したオブジェクトＩＤを送信し、Ｗｅｂサーバ１では、利用者端末２から受信したオブジェクトＩＤに基づいて、対象物を認識するものとすることができる。
【００９５】
また、このように対象物５にＢｌｕｅｔｏｏｔｈモジュールが埋め込まれている場合において、利用者端末２が当該対象物５からオブジェクトＩＤに加えてその内部状態に関する情報を取得する者としてもよい。利用者端末２は、取得したオブジェクトＩＤと共に内部状態に関する情報もＷｅｂサーバ１に送信する。Ｗｅｂサーバ１は、利用者端末２から受信したオブジェクトＩＤに基づいて、特定の状態にある対象物を認識することができ、特定の状態にある対象物に関するメニューを生成するものとすることができる。
【００９６】
上記の実施の形態では、Ｗｅｂサーバ１のＣＰＵ１１が実行するプログラム（図５、図６）は、メモリ１２に既に記憶されているものとして説明した。しかしながら、このようなプログラムのみを別途提供し、インターネット３上の任意のＷｅｂサーバから上記機能を有するＷｅｂサーバ１を構築することができる。図９は、メモリ１２に記憶されるプログラムの提供方法の例を示す図である。
【００９７】
図９（ａ）に示すように、ＣＤ−ＲＯＭ、ＤＶＤなどの記録媒体１８にプログラムを記録しておき、Ｗｅｂサーバ１が有する媒体駆動装置１７によって記録媒体１８からプログラムを読み取って、メモリ１２に記憶させるものとしてもよい。また、図９（ｂ）に示すように、インターネット３に接続された管理者端末６がこのプログラムを搬送波に重畳した信号をＷｅｂサーバ１に送信し、通信装置１３が受信したプログラムをメモリ１２に記憶させるものとしてもよい。この他にも、様々な方法でこのようなプログラムを提供することができる。
【００９８】
【発明の効果】
以上説明したように、本発明によれば、誰でも簡単な操作によって、インターネット上のホームページから対象物に関する所望の情報を取り出すことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかるメニュー提供システムの構成を示す図である。
【図２】図１のＷｅｂサーバの構成を示すブロック図である。
【図３】図２のメニューデータベースのデータベース構造を示す図である。
【図４】図１の利用者端末の構成を示すブロック図である。
【図５】図１のメニュー提供システムにおける動作を示すフローチャートである。
【図６】図５のメニュー生成処理を詳細に示すフローチャートである。
【図７】図１のメニュー提供システムにおける動作の流れを、具体的に示す説明図である。
【図８】図１のメニュー提供システムで提供されるメニューの例を示す図である。
【図９】図２のＷｅｂサーバのメモリに記憶されるプログラムの提供方法を示す図である。
【符号の説明】
１Ｗｅｂサーバ
２利用者端末
３インターネット
４インターネットサービスプロバイダ（ＩＳＰ）
５対象物
６管理者端末
１１ＣＰＵ
１２メモリ
１３通信装置
１４画像認識データベース
１５メニューデータベース
１６利用者データベース
１７媒体駆動装置
１８記録媒体
２１ＣＰＵ
２２メモリ
２３入力装置
２４表示装置
２５撮像装置
２６通信装置[0001]
The present invention provides a menu for a user to retrieve desired information for a specific or unspecified object. apparatus Etc.
[0002]
[Prior art]
In recent years, various information has been provided on homepages on the Internet. In order to access these homepages from a terminal device such as a personal computer and to retrieve desired information, a general method is to input the address (URL) of the website providing the retrieved information. is there.
[0003]
However, in this method, the creator of the homepage (information provider) must provide the address to the user by another method. Also, the user must manage the provided address, but the number of homepages on the Internet is innumerable, and it is not easy to manage the address appropriately.
[0004]
As a conventional method for accessing each homepage and extracting information, there is a method in which a user first accesses a site called a search engine and jumps to each homepage to which a link is attached. When a user searches a desired homepage using this search engine, he follows the category or inputs a search keyword.
[0005]
However, in many cases, it is not known what category the information desired by the user belongs to. In addition, when searching a homepage using a search keyword, if the search keyword is ambiguous, the number of searched homepages becomes too large, and it becomes difficult for a user to find a desired homepage from among them. I will. On the other hand, if the search keywords are excessively narrowed down, the homepage that originally provides the information desired by the user may be omitted from the search.
[0006]
Furthermore, in the above-described method of inputting an address or using a search keyword, the user must input the information by operating a keyboard. Therefore, there is a problem that a user unfamiliar with keyboard operation feels very troublesome to access the homepage using these methods. Especially with the recent explosion of the Internet population, the proportion of users unfamiliar with such keyboards is increasing.
[0007]
[Problems to be solved by the invention]
Therefore, in recent years, anyone can easily access and retrieve information from a myriad of homepages on the Internet that provide necessary information by using simple operations. It is an important technical issue.
[0008]
SUMMARY OF THE INVENTION An object of the present invention is to provide a user with a menu for easily obtaining desired information on a specific or unspecified object existing on the Internet.
[0015]
[Means to solve the problem]
In order to achieve the above object, a menu providing device according to a first aspect of the present invention includes:
A menu providing device configured to be able to communicate with a terminal device capable of accessing information on the Internet and providing a menu for selecting information to be accessed by the terminal device,
Object information receiving means for receiving object information enabling a desired object to be recognized,
Object recognition means for recognizing the desired object based on the object information received by the object information receiving means,
Menu generation means for generating a menu for selecting information to be accessed in the terminal device, based on a recognition result of the target by the target recognition means;
Menu transmitting means for transmitting the menu generated by the menu generating means to the terminal device;
With
The menu generation means,
A first designed hierarchical structure having a pre-designed hierarchical structure to be generated for the objects and each of the objects, sequentially selecting the lower layers according to the operation of the user, and selecting the information to be accessed; Menu storage means for storing in advance the menu information serving as a prototype of the menu in association with
Determining means for determining whether menu information associated with the object recognized by the object recognizing means is stored in advance in the menu storage means,
When the determination means determines that the menu information is stored in advance, the first information to be provided to the terminal device based on the menu information stored in the menu storage means in association with the recognized object. First menu generating means for generating a menu of
A search formula generation unit configured to generate a search formula based on the recognition result when the determination unit determines that the menu information is not stored in advance;
According to the search formula generated by the search formula generation unit, as a search result from a search engine, an address obtaining unit for obtaining an address of information accessible by the terminal device;
The address obtained by the address obtaining means Address selected from Based on the Groups of useful addresses for terminal devices Second menu generation means for generating a second menu;
Comprising,
It is characterized by the following.
[0016]
The menu providing device, when the object information about the object whose user wants to obtain information is sent from the terminal device, a menu for selecting information to be accessed (for example, a homepage) is sent to the terminal device. I will send it back. Then, the user of the terminal device can access desired information according to the menu. Therefore, it is possible to provide a menu that allows anyone to access desired information on the Internet with a simple operation.
[0017]
In addition, by enabling access to information on the Internet from this menu, it is not necessary for the user of the terminal device to manage information such as addresses. Further, the information provider can accurately guide the user who needs the information. For this reason, it is not necessary to perform an act of widely disseminating information such as an address.
[0018]
The first menu has a hierarchical structure designed in advance with respect to the object, and sequentially proceeds to lower layers in accordance with the operation of the user, and a prototype of the first menu designed so that the information to be accessed can be selected. If such menu information is prepared, it is possible to quickly generate a menu to be returned to the terminal that has sent the object information. If menu information about the object is not prepared, a search formula is generated and the address obtained as a search engine search result is used. Address selected from On the basis of the Useful addresses for devices are grouped Generate a second menu. In this way, by generating a search expression and generating the second menu based on the address obtained as a search result of the search engine, the number of cases where the menu cannot be provided can be reduced. .
[0019]
Here, the menu stored in the menu storage means in association with the object recognized by the object recognition means information If there are multiple information Tied First The menu may be generated as a menu provided to the terminal device.
[0023]
In the above menu providing device,
The menu generating means is obtained based on a recognition result of the object recognizing means. First or second The menu may further include means for customizing the menu using predetermined information.
[0024]
Here, the menu generating means is based on the following information: First or second The menu can be customized.
(1) User profile of the terminal device
(2) History of use of this menu providing device by the user of the terminal device
(3) Information about the time when the menu was generated
(4) Information on a place where the terminal device exists
[0025]
By customizing such a menu, the number of information accessible from the menu can be reduced to an appropriate number that is easy for the user to use, and the user will most likely need it. Information can be easily reached.
[0026]
In the above menu providing device,
The object information receiving unit is configured by an image receiving unit that receives an image of a corresponding object,
The object recognition means may be constituted by an image recognition means for recognizing an image of the object.
[0027]
Here, the image receiving means may be capable of receiving a plurality of images. in this case,
The image recognition means, when the image receiving means receives a plurality of images, each image recognition,
The menu generating means is based on a recognition result of the plurality of images by the image recognizing means, First or second A menu may be generated.
[0028]
Further, the plurality of images received by the image receiving means include an image obtained by photographing an object different from other images (any one of a part of a different object or all the different objects can be used). You may. In this case,
The menu generating unit generates a conditional expression based on a recognition result of the image by the image recognizing unit, and generates a conditional expression based on the conditional expression. First or second A menu may be generated.
[0029]
For example, when the names of a plurality of objects are obtained from the recognition result of the image, the conditional expression can be based on the AND condition or the OR condition. This makes it possible to provide a menu that is easier for the user to use. Note that even when a plurality of images are all of the same object, the object can be easily specified.
[0030]
In the above menu providing device,
The object information receiving means may receive identification information of the object obtained by the terminal device from the object by wireless communication. in this case,
The object recognition means may recognize the predetermined object based on the identification information received by the object information receiving means.
[0031]
Here, the object information receiving means may further receive information on the state of the object acquired by the terminal device from the object by wireless communication. in this case,
The object recognizing means may recognize the predetermined object only in a specific state based on the identification information and the information on the state received by the object receiving means.
[0032]
Here, the fact that the terminal device receives the identification information (and information about the state) of the target object from the target object by wireless communication means that the terminal device and the target object can communicate with each other by applying the Bluetooth technology. Means that the ID number or the like of the object is received. That is, this configuration is based on the premise that a module for wireless communication is embedded in the object.
[0033]
The menu providing device,
Said First Generated by the menu generation means First The terminal device may further include a program transmission unit that transmits a program required to execute a function included in the menu in the terminal device to the terminal device.
[0034]
In order to achieve the above object, a program according to a second aspect of the present invention includes:
A computer device configured to be able to communicate with a terminal device capable of accessing information on the Internet,
Object information receiving means for receiving object information enabling a desired object to be recognized,
Object recognition means for recognizing the desired object based on the object information received by the object information receiving means,
Menu generation means for generating a menu for selecting information to be accessed in the terminal device, based on a recognition result of the target by the target recognition means;
Menu transmission means for transmitting the menu generated by the menu generation means to the terminal device;
With
The menu Generate Means are
A first designed hierarchical structure having a pre-designed hierarchical structure to be generated for the objects and each of the objects, sequentially selecting the lower layers according to the operation of the user, and selecting the information to be accessed; Menu storage means for storing in advance the menu information serving as a prototype of the menu in association with
Determining means for determining whether menu information associated with the object recognized by the object recognizing means is stored in advance in the menu storage means,
When the determination unit determines that the menu information is stored in advance, the terminal unit determines the menu information based on the menu information stored in the menu storage unit in association with the object recognized by the object recognition unit. First menu generation means for generating a first menu to be provided to the device;
A search expression generation unit configured to generate a search expression based on a keyword based on a recognition result of the object recognition unit when the determination unit determines that the menu information is not stored;
According to the search formula generated by the search formula generation unit, as a search result from a search engine, an address obtaining unit for obtaining an address of information accessible by the terminal device;
The address obtained by the address obtaining means Address selected from Based on the Groups of useful addresses for terminal devices Second menu generation means for generating a second menu;
It is characterized by functioning as
[0035]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
[0036]
FIG. 1 is a diagram showing a configuration of a menu providing system according to this embodiment. As shown in the figure, the menu providing system includes a Web server 1 on the Internet 3 and a user terminal 2 connected to the Internet 3 via an Internet service provider (ISP) 4 by a method such as a dial-up connection. ing. The user terminal 2 has a function of photographing an object 5 to which a user desires information and a menu for accessing the information is provided.
[0037]
The Web server 1 is configured by a general-purpose server computer or the like, and includes a CPU (Central Processing Unit) 11, a memory 12, and a communication device 13, as shown in FIG. The Web server 1 is connected to an image recognition database 14, a menu database 15, and a user database 16 using a fixed disk device or the like as a physical storage medium. Here, the Web server 1 is a single processor system, but may be a multiprocessor system.
[0038]
The CPU 11 executes a program stored in the memory 12, generates a menu based on the image of the object 5 sent from the user terminal 2, and returns the menu to the user terminal 2. The CPU 11 has an internal timer. The memory 12 stores a program to be executed by the CPU 11 and is used as a work area when executing the program. The communication device 13 is connected to the Internet 3, receives the image of the object 5 from the user terminal 2, and transmits the generated menu to the user terminal 2.
[0039]
The image recognition database 14 is a database that stores information for image recognition of the image of the object 5. The menu database 15 is a database that stores information necessary for generating a menu from an image of the object 5. The menu database 15 will be described later in more detail. The user database 16 is a database that stores a profile (age, gender, occupation, etc.) of a user of the menu providing service and a history of use.
[0040]
FIG. 3 is a diagram showing a database structure of the menu database 15. As shown in FIG. 3A, the menu database 15 first has a table in which the recognized object and the ID of the menu type (the prototype of the menu provided to the user) are registered in association with each other. ing. Here, a plurality of IDs may be assigned to one object, or the same ID may be assigned to different objects.
[0041]
As shown in FIG. 3B, the menu database 15 has a table in which a menu type ID and an address for storing the corresponding menu type are registered in association with each other. Further, as shown in FIG. 3C, the menu database 15 stores menu-type data at each address stored in the table of FIG. 3B.
[0042]
Further, the user terminal 2 shown in FIG. 1 is configured by a personal computer, a mobile computer, or the like, and as shown in FIG. 4, a CPU 21, a memory 22, an input device 23, a display device 24, an imaging device 25, , A communication device 26.
[0043]
The CPU 21 executes a program stored in the memory 22 to perform processing necessary for photographing and transmitting an image of the object 5 and receiving and displaying a menu from the Web server 1. The CPU 21 also performs a process for accessing an arbitrary homepage on the Internet 3 according to the displayed menu. The memory 22 stores a program of the CPU 21 and is used as a work area when executing the program.
[0044]
The input device 23 is for the user to input necessary instructions, and is constituted by a pointing device such as a keyboard and a mouse. The display device 24 displays the menu sent from the Web server 1 and the homepage accessed according to the menu. The imaging device 25 includes a CCD or the like, and captures an image of the target object 5 according to an instruction from the input device 23. The communication device 26 is connected to the Internet 3, transmits an image of the object 5 to the Web server 1, and receives a menu sent from the Web server 1. Further, the communication device 26 performs a communication process for accessing the designated homepage according to the menu.
[0045]
Hereinafter, the operation of the menu providing system according to this embodiment will be described. FIG. 5 is a flowchart showing the operation in the menu providing system. 5, the operation on the user terminal 2 is shown on the left side, and the operation on the Web server 1 is shown on the right side.
[0046]
First, at the user terminal 2, the user operates the input device 23 to capture an image of the object 5 from the imaging device 25 (step S21). The communication device 26 transmits the captured image of the object 5 to the Web server 1 via the Internet 3 under the control of the CPU 21 (step S22).
[0047]
In the Web server 1, the communication device 13 receives the image of the object 5 and passes it to the CPU 11 (step S11). As will be described in detail later, the CPU 11 refers to the menu database 15 and the user database 16 and generates a menu for accessing information on the object 5 (step S12). Then, the communication device 13 transmits the generated entire menu to the user terminal 2 via the Internet 3 (step S13). This completes the processing on the Web server 1 side.
[0048]
Next, when the communication device 26 receives the image sent from the Web server 1 at the user terminal 2 (step S23), the CPU 21 displays this menu (the first page when there are a plurality of pages) on the display device 24. (Step S24). Then, the process of this flowchart ends. After that, the user of the user terminal 2 operates the input device 23 to select desired items in the menu, and thereby obtains desired information about the object 5 provided on the Internet 3 ( Homepage) can be accessed.
[0049]
Next, the menu generation processing in step S12 will be described in detail with reference to the flowchart in FIG. First, the CPU 11 refers to the image recognition database 14 and recognizes the image of the object 5 received in step S11 (step S101).
[0050]
It is determined whether the object can be specified as a result of the image recognition (step S102). Here, the case where the target object can be specified includes not only a case where the target object can be completely specified but also a case where there are two or more candidates. For example, an image of a ballpoint pen is originally included, but a case where the image is specified as either a ballpoint pen or a mechanical pencil is also included as a case where an object can be specified.
[0051]
If it is determined in step S102 that the target object has not been specified, the CPU 11 prepares a predetermined error message (step S103). Then, the process of this flowchart ends, and the process returns to the process of FIG. The prepared error message is handled in the same manner as the menu in steps S13, S23, and S24, and this error message is displayed on the user terminal 2 instead of the menu.
[0052]
On the other hand, if it is determined in step S102 that the target object has been specified, the CPU 11 refers to the menu database 15 and extracts a menu-type ID registered in association with the specified target object (step S104). Here, if there are two or more IDs associated with the specified object, all IDs are extracted. If there are two or more objects identified from the result of the image recognition, the corresponding ID is extracted for each object.
[0053]
Next, the CPU 11 refers to the menu database 15 and determines whether a menu type corresponding to the extracted ID is registered (step S105). Here, when there are two or more extracted IDs, if at least one of them has a corresponding menu type, a determination result that the menu type is registered is obtained.
[0054]
If it is determined that the menu type corresponding to the ID is registered, the CPU 11 extracts the menu type corresponding to each extracted ID from the menu database 15 (step S106). Further, the CPU 11 extracts, from the user database 16, the profile of the user of the user terminal 2 that has sent the image and the use history (step S107). The CPU 11 also extracts time information (time, day of the week, etc.) measured by the internal timer (step S108).
[0055]
Then, the CPU 11 customizes the menu type extracted in step S106 based on the user profile, usage history, and time information extracted in steps S107 and S108, and generates a menu to be returned to the user terminal 2. (Step S109). Thereafter, the process proceeds to the process of step S115 described below.
[0056]
On the other hand, if it is determined in step S105 that the menu type corresponding to the ID is not registered, the CPU 11 determines a search keyword based on the image recognition result in step S101 (step S110). This search keyword may be two or more, in which case a conditional expression such as AND or OR is established.
[0057]
Next, the CPU 11 activates the search engine and performs a search using the search keyword determined in step S110 (step S111). This search engine may be included in the web server 1 or may use a search engine at another site on the Internet 3.
[0058]
Further, the CPU 11 extracts, from the user database 16, the profile of the user of the user terminal 2 that has sent the image and the history of use (step S112). The CPU 11 also extracts time information (time, day of the week, etc.) measured by the internal timer (step S113).
[0059]
Then, the CPU 11 selects a URL of a homepage considered to be useful for the user from the search results obtained in step S111 based on the user profile, usage history, and time information extracted in steps S112 and S113. Then, these are grouped and a menu to be returned to the user terminal 2 is generated (step S114). Thereafter, the process proceeds to the process of step S115.
[0060]
In step S115, the CPU 11 stores the menu generated in step S109 or S114 in the user database 16 as a history of use of the user. Then, the process of this flowchart ends, and the process returns to the process of FIG. Thus, the menu generated in step S109 or S114 is displayed on the user terminal 2.
[0061]
Hereinafter, in the menu providing system according to the present embodiment, FIG. 7 illustrates an operation from capturing an image of the object 5 by the user terminal 2 to providing a menu for the object 5 from the Web server 1. This will be described with reference to a specific example.
[0062]
As shown in the upper left of the figure, it is assumed that the object 5 is a mechanical pencil. When the user wants information on the mechanical pencil, which is the object 5, the user first captures an image of the mechanical pencil by the imaging device 25 of the user terminal 2 ... (1). Then, the photographed image is transmitted to the Web server 1 via the Internet 3... (2).
[0063]
The Web server 1 refers to the image recognition database 14 to recognize the image sent from the user terminal 2... (3). Here, it cannot be completely specified that the image indicates a mechanical pencil, but it is assumed that the image can be recognized as either a mechanical pencil or a ballpoint pen.
[0064]
Next, the Web server 1 refers to the menu database 15 and extracts an ID associated with the object--the mechanical pencil and the ballpoint pen-(4). Here, if A and C are associated with the mechanical pencil and B and C are associated with the ball-point pen and stored as addresses in the menu database 15, three IDs A, B and C are provided as IDs. Is extracted. With reference to the menu database 15, three menu types (also referred to as A, B, and C, respectively) that are respectively associated with IDs--A, B, and C-- are extracted. .
[0065]
Next, the Web server 1 refers to the user database 16 and the internal timer of the CPU 11, and generates a menu to be returned to the user terminal 2 based on the extracted three menu types ... (6). Here, first, since there are three menu types, the first page (top level) of the menu having three selection items of A, B, and C is prepared, and each of the items on the first page is set to the respective items. Add a link to the menu type.
[0066]
Further, from the URLs included in the menu type, the user's profile and usage history in the user database 16 and the URL of information deemed unnecessary for the user from the current time and day of the week are deleted. Further, the remaining URLs are rearranged from the user database 16 in the user database 16 in the order considered to be more useful for the user from the user's profile, usage history, current time and day of the week. Thus, a menu to be returned to the user terminal 2 is generated.
[0067]
The Web server 1 returns the menu created in this way to the user terminal 2 via the Internet 3 ... {7}. In the user terminal 2, the menu from the Web server 1 is displayed on the display device 24 ... (8). Thus, the user of the user terminal 2 can access a desired homepage on the Internet 3 by operating the input device 23 according to the displayed menu and selecting items.
[0068]
Hereinafter, an example of a menu provided from the Web server 1 to the user terminal 2 will be described with reference to FIG. In the menu shown in this example, it is the same as the above-described example of the menu generation procedure that the objects identified by the result of the image recognition are the mechanical pencil and the ballpoint pen. Note that this is different from the above.
[0069]
As shown in FIG. 8A, the first page (the highest hierarchy) of this menu includes “sharp pencil” and “ballpoint pen”, which are objects identified as a result of image recognition in the web server 1, It is configured so that a user can select which object is intended and wants to obtain information. For each item of the object, a link is attached to the second page (next level), and by selecting any item with the input device 23, the item jumps to the second page corresponding to each object. can do.
[0070]
Assuming that “mechanical pencil” is selected on the first page, a page for selecting what kind of information is desired about the mechanical pencil appears as the second page of the menu as shown in FIG. 8B. Here, items to be selected include items of “product information”, “manufacturing company”, “purchase”, and “writing implement”. For example, each of the items may correspond to the menu type stored in the menu database 15, and the item of "writing implement" also appears when "ballpoint pen" is selected on the first page. Item (corresponds to the case where the IDs of the different objects match).
[0071]
Each item on the second page has a link attached to the third page (and the next layer), and by selecting any item with the input device 23, the third page corresponding to each item is displayed. You can jump.
[0072]
If "Purchase" is selected on the second page, as shown in FIG. 8C, a page for obtaining information for each mechanical pencil purchasing method appears as the third page of the menu. Other methods of purchase include online purchases and mechanical pencil dealers. This third page corresponds to the bottom layer of the menu.
[0073]
On the third page, a link is attached to a home page on the Internet 3. For example, a method of purchasing a “seller” on the Internet 3 as shown in FIG. Information indicating the homepage of the user appears. The first information that appears is the home page information that is given the highest priority to the user by customizing the menu. The user can specify the ▽ (or △) mark on the right side by using the input device 23 to display the next information. Information on a homepage with a higher (lower) priority order can be displayed on the display device 24.
[0074]
In addition, by instructing the “detailed information” portion in FIG. 8D with the input device 23, it is possible to display what the home page is, for example, in a pop-up window. .. Can be accessed from the input device 23 to access a home page on the Internet 3 to which a link is attached.
[0075]
As described above, in the menu providing system according to the present embodiment, if the user of the user terminal 2 takes an image of the object 5 and sends it to the Web server 1, the menu is provided from the Web server 1. Is done. Then, according to this menu, a homepage on the Internet can be accessed. Therefore, no keyboard operation is required, and anyone can easily retrieve desired information on the Internet about the object 5.
[0076]
Further, the Web server 1 includes a menu database 15 and prepares a menu type associated with an object. If there is a menu type associated with the specified object, a menu to be provided to the user terminal 2 can be quickly created. On the other hand, even if there is no menu type associated with the specified object, since a search expression using a keyword is generated and a URL of a homepage providing related information is obtained from a search engine, as long as the object can be specified. Menu can be provided.
[0077]
Further, the Web server 1 includes a user database 16 and creates a menu to be provided to the user terminal 2 according to the user's profile and usage history registered here. Therefore, in the provided menu, the number of homepages that guide the user among the homepages that provide information on the object 5 can be reduced to an appropriate number. In addition, by using this menu, it is easy to reach a homepage that provides information that the user will most need.
[0078]
Further, the user may take an image of the object 5 with the imaging device 25 when the information is needed, and there is no need to manage anything by himself until the information is actually needed. In addition, the side who provides information by establishing a homepage can appropriately guide users who need the information to their homepage, so that the address of publication in magazines and newspapers is widely known. You don't have to do that much.
[0079]
The present invention is not limited to the above embodiment, and various modifications and applications are possible. Hereinafter, modifications of the above-described embodiment applicable to the present invention will be described.
[0080]
In the above embodiment, the image of the object 5 is captured by the imaging device 25 provided in the user terminal 2. On the other hand, the user terminal 2 may be a personal computer or the like that does not have such an imaging device. In this case, the user terminal 2 captures an image captured by a digital still camera or the like and uses the captured image. It may be transmitted from the user terminal 2 to the Web server 1.
[0081]
In the above embodiment, when transmitting a menu from the Web server 1 to the user terminal 2 (step S13), the entire menu is transmitted. On the other hand, in the case of a menu composed of a plurality of pages, the Web server 1 first transmits only the first page (the page of the highest hierarchy) to the user terminal 2 and the lower hierarchy. Page may be transmitted from the Web server 1 every time a request is transmitted from the user terminal 2 according to the menu.
[0082]
In the above embodiment, when the target object 5 cannot be narrowed down to one target object from the image recognition result in the Web server 1, the ID corresponding to each of the candidate target objects is extracted from the menu database 15. . Then, a menu type is extracted from each ID, and a menu to be transmitted to the user terminal 2 is generated. On the other hand, when the number of candidate objects cannot be reduced to one, each candidate may be first transmitted to the user terminal 2 and selected by the user.
[0083]
In the above embodiment, the user terminal 2 captures an image of the object 5 itself and sends the image to the Web server 1. However, an image of a part of the object 5, in particular, an image of a part (such as a barcode) where the object 5 can be easily identified may be captured and sent to the Web server 1. In such a case, it is possible to specify not only the category of the object 5 (the above-described mechanical pencil, ballpoint pen, etc.) but also the level of a specific product (product of xx company part number xx) (however, the object 5 itself Is possible in some cases). Further, a plurality of images (for example, the whole and a barcode portion) of the target object 5 may be photographed, and all the photographed images may be transmitted from the user terminal 2 to the Web server 1. This makes it easier for the Web server 1 to specify the target object.
[0084]
In this case, both the category name and the product name may be specified as objects as a result of image recognition. Further, the menu database 15 may store the ID in association with the category name and store the ID in association with the product name. Then, for example, on the first page of the menu to be generated, it may be possible to select whether to capture the photographed object 5 as that of the category or as a specific product.
[0085]
In the above embodiment, the menu for the object 5 photographed by the user terminal 2 is provided from the Web server 1 connected via the Internet 3. On the other hand, the server device of the ISP 4 that connects the user terminal 2 to the Internet 3 has the function of the Web server 1 described above, and the server device of the ISP 4 generates a menu and provides the menu to the user terminal 2. Is also good.
[0086]
Further, instead of photographing the image of the object 5 with the user terminal 2, for example, a URL published in a hanging advertisement in a train or a publication may be photographed and transmitted to the server device of the ISP 4. In this case, the server device of the ISP 4 may perform character recognition based on the transmitted URL image and jump to a homepage indicated by the recognized URL to access.
[0087]
Further, the user terminal 2 may photograph an article published in a publication and transmit the photographed article to the Web server 1 (or the server device of the ISP 4: the same in this paragraph and the next paragraph). In this case, the Web server 1 can perform character recognition of the sent article, further analyze the article by natural language, and generate a menu based on the analysis result. Instead of transmitting an image, a part of an article published in an electronic book may be transmitted to the Web server 1 as text information. Also in this case, the Web server 1 can analyze the sent text information in a natural language and generate a menu based on the analysis result. Further, the Web server 1 may add a menu for recognizing the sent article by character recognition and reproducing the voice data read aloud.
[0088]
Further, the user terminal 2 may transmit position information specified by GPS or the like to the Web server 1. In this case, the Web server 1 can generate a menu based on the transmitted position information. For example, if it is recognized from the location information that the user is in Shibuya, the menu type is customized or the search result is selected to select information on stores in Shibuya or the timetable of Shibuya Station. Menus can be generated. Further, the position information may be specified according to a base station of a mobile phone instead of being sent from the user terminal 2.
[0089]
Alternatively, a mark specific to a specific place (for example, a platform at a station) may be presented, and the mark may be photographed at the user terminal 2 and sent to the Web server 1. In this case, the position where the user is located can be recognized in more detail. Thus, if the Web server 1 can specify, for example, that the platform is an up platform at the XX station of the subway, the Web server 1 can provide a menu for selecting the timetable of the up line of the route or information on the route. it can. If the user can be identified as being on the east side of XX street, a map showing a nearby bus stop, a menu for requesting a taxi dispatch, and the like can be provided.
[0090]
Alternatively, a specific mark may be added to the medicine (or medicine bag) delivered to the patient at a hospital or pharmacy. In this case, the patient who has received the medicine sends the mark and the patient ID attached to the consultation ticket to the Web server 1, so that the Web server 1 provides a menu relating to the medicine. Then, according to this menu, information such as how to take the medicine, the expiration date, and over-the-counter over-the-counter medicines may be extracted.
[0091]
In the above embodiment, an image of one target is sent from the user terminal 2 to the Web server 1. On the other hand, images of a plurality of objects may be captured by the user terminal 2 and sent to the Web server 1. In this case, the Web server 1 can provide a menu corresponding to a plurality of objects. For example, when an image of a carrot, an onion, and a potato is sent, the Web server 1 may generate a menu for selecting information on curry, stew, meat potato, and the like using the image as a material. When the image of the new game machine and the image of the game software (the version of the old game machine) are sent, the Web server 1 selects information on the game software of the new game machine version. May be generated. In addition, the image of the utility transfer table When When an image of a credit card or a bank card is sent, a menu for selecting an online banking or transfer page may be generated.
[0092]
As described above, when images of a plurality of objects are sent, the Web server 1 recognizes the images. Insight From the result, a conditional expression such as an AND condition or an OR condition can be generated, and a menu applicable to the conditional expression can be generated. In this case, a plurality of conditional expressions may be generated, and a menu may be generated based on each of the conditional expressions. For example, if an image of a music CD and event hall is sent, (1) … (General music) AND (the event hall), (2) A plurality of conditional expressions such as... (Singer of the CD) AND (general event hall) can be generated. Here, a menu for selecting information about a music concert performed in the event hall from the former conditional expression, and a menu for selecting information about the singer's concert from the latter conditional expression can be generated. A menu that integrates these two menus (one of which is selected on the first page) can be generated.
[0093]
In the above embodiment, only the menu generated for the object 5 is provided from the Web server 1 to the user terminal 2. On the other hand, for example, when the provided menu includes items such as “watch music” and “read explanation”, the Web server 1 executes the program for viewing music on the user terminal 2. Alternatively, a program for reading an explanatory note may be transmitted from the communication device 13 to the user terminal 2 via the Internet 3.
[0094]
In the above-described embodiment, the object 5 is recognized based on the image of the object 5 captured by the user terminal 2. However, the method for recognizing the object 5 is not limited to this. For example, when the Bluetooth module is embedded in the object 5, the user terminal 2 performs wireless communication with the object 5 (actually, a chip), and sends the object ID assigned to the object 5 It may be obtained. In this case, the object ID acquired from the object 5 is transmitted from the user terminal 2 to the Web server 1, and the Web server 1 recognizes the object based on the object ID received from the user terminal 2. be able to.
[0095]
Further, when the Bluetooth module is embedded in the object 5 in this way, the user terminal 2 may be a person who acquires information on the internal state of the object 5 in addition to the object ID. The user terminal 2 transmits information about the internal state together with the acquired object ID to the Web server 1. The Web server 1 can recognize an object in a specific state based on the object ID received from the user terminal 2, and can generate a menu related to the object in a specific state. .
[0096]
In the above embodiment, the program (FIGS. 5 and 6) executed by the CPU 11 of the Web server 1 has been described as being stored in the memory 12. However, only such a program is separately provided, and the Web server 1 having the above function can be constructed from any Web server on the Internet 3. FIG. 9 is a diagram illustrating an example of a method of providing a program stored in the memory 12.
[0097]
As shown in FIG. 9A, a program is recorded on a recording medium 18 such as a CD-ROM or a DVD, and the program is read from the recording medium 18 by a medium driving device 17 of the Web server 1, and It may be stored. Also, as shown in FIG. 9B, the administrator terminal 6 connected to the Internet 3 transmits a signal obtained by superimposing this program on a carrier wave to the Web server 1, and stores the program received by the communication device 13 in the memory 12. It may be stored. In addition, such a program can be provided by various methods.
[0098]
【The invention's effect】
As described above, according to the present invention, anyone can retrieve desired information on an object from a homepage on the Internet by a simple operation.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a menu providing system according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration of a Web server in FIG. 1;
FIG. 3 is a diagram showing a database structure of a menu database of FIG. 2;
FIG. 4 is a block diagram illustrating a configuration of a user terminal of FIG. 1;
FIG. 5 is a flowchart showing an operation in the menu providing system of FIG. 1;
FIG. 6 is a flowchart showing the menu generation processing of FIG. 5 in detail.
FIG. 7 is an explanatory diagram specifically showing an operation flow in the menu providing system of FIG. 1;
FIG. 8 is a diagram showing an example of a menu provided by the menu providing system of FIG. 1;
FIG. 9 is a diagram illustrating a method of providing a program stored in a memory of the Web server in FIG. 2;
[Explanation of symbols]
1 Web server
2 User terminal
3 Internet
4 Internet Service Provider (ISP)
5 Object
6 Administrator terminal
11 CPU
12 memory
13 Communication device
14 Image Recognition Database
15 Menu database
16 user database
17 Medium drive
18 Recording media
21 CPU
22 memory
23 Input device
24 Display device
25 Imaging device
26 Communication equipment

Claims

A menu providing device configured to be able to communicate with a terminal device capable of accessing information on the Internet and providing a menu for selecting information to be accessed by the terminal device,
Object information receiving means for receiving object information enabling a desired object to be recognized,
Object recognition means for recognizing the desired object based on the object information received by the object information receiving means,
Menu generation means for generating a menu for selecting information to be accessed in the terminal device, based on a recognition result of the target by the target recognition means;
Menu transmission means for transmitting the menu generated by the menu generation means to the terminal device,
The menu generation means,
A first designed hierarchical structure having a pre-designed hierarchical structure to be generated for the objects and each of the objects, sequentially selecting the lower layers according to the operation of the user, and selecting the information to be accessed; Menu storage means for storing in advance the menu information serving as a prototype of the menu in association with
Determining means for determining whether menu information associated with the object recognized by the object recognizing means is stored in advance in the menu storage means,
When the determination means determines that the menu information is stored in advance, the first information to be provided to the terminal device based on the menu information stored in the menu storage means in association with the recognized object. First menu generating means for generating a menu of
A search formula generation unit configured to generate a search formula based on the recognition result when the determination unit determines that the menu information is not stored in advance;
According to the search formula generated by the search formula generation unit, as a search result from a search engine, an address obtaining unit for obtaining an address of information accessible by the terminal device;
Second menu generating means for generating a second menu in which addresses useful for the terminal device are grouped based on an address selected from the addresses obtained by the address obtaining means;
Comprising,
A menu providing device, characterized in that:

The first menu generation unit, when there are a plurality of menu information stored in the menu storage unit in association with the object recognized by the object recognition unit, links the plurality of menu information. The menu providing device according to claim 1, wherein the first menu is generated as a menu to be provided to the terminal device.

3. The apparatus according to claim 1, wherein the menu generating unit further includes a unit that customizes the first or second menu obtained based on the recognition result of the object recognizing unit using predetermined information. The menu providing device according to 1.

4. The menu providing device according to claim 3, wherein the menu generating unit customizes the first or second menu based on a profile of a user of the terminal device. 5.

5. The menu according to claim 3, wherein the menu generating unit customizes the first or second menu based on a history of use of the menu providing device by a user of the terminal device. 6. Providing device.

The menu providing device according to claim 3, wherein the menu generation unit customizes the first or second menu based on information on a time at the time of generating the menu.

7. The menu providing device according to claim 3, wherein the menu generation unit customizes the first or second menu based on information on a location where the terminal device is located. 8. .

The object information receiving unit is configured by an image receiving unit that receives an image of a corresponding object,
The menu providing apparatus according to claim 1, wherein the object recognition unit includes an image recognition unit that recognizes an image of the object.

The image receiving means is capable of receiving a plurality of images,
The image recognition means, when the image receiving means receives a plurality of images, each image recognition,
9. The menu providing apparatus according to claim 8, wherein the menu generation unit generates the first or second menu based on a recognition result of the plurality of images by the image recognition unit.

The plurality of images received by the image receiving means includes an image of a target object different from other images,
10. The menu generating unit according to claim 9, wherein the menu generating unit generates a conditional expression based on an image recognition result by the image recognizing unit, and generates the first or second menu based on the conditional expression. Menu providing device.

The object information receiving means is for receiving identification information of the object obtained by the terminal device by wireless communication from the object,
The menu provision according to any one of claims 1 to 7, wherein the object recognizing means recognizes the predetermined object based on the identification information received by the object information receiving means. apparatus.

The object information receiving means is for further receiving information on the state of the object obtained by the terminal device by wireless communication from the object,
12. The apparatus according to claim 11, wherein the object recognizing unit recognizes the predetermined object only in a specific state based on the identification information and the information on the state received by the object receiving unit. The menu providing device according to 1.

The apparatus according to claim 1, further comprising a program transmission unit configured to transmit, to the terminal device, a program required to execute a function included in the first menu generated by the first menu generation unit in the terminal device. Item 13. The menu providing device according to any one of Items 1 to 12

A computer device configured to be able to communicate with a terminal device capable of accessing information on the Internet,
Object information receiving means for receiving object information enabling a desired object to be recognized,
Object recognition means for recognizing the desired object based on the object information received by the object information receiving means,
Menu generation means for generating a menu for selecting information to be accessed in the terminal device, based on a recognition result of the target by the target recognition means;
Menu transmission means for transmitting the menu generated by the menu generation means to the terminal device;
Function
The menu generation means,
A first designed hierarchical structure having a pre-designed hierarchical structure to be generated for the objects and each of the objects, sequentially selecting the lower layers according to the operation of the user, and selecting the information to be accessed; Menu storage means for storing in advance the menu information serving as a prototype of the menu in association with
Determining means for determining whether menu information associated with the object recognized by the object recognizing means is stored in advance in the menu storage means,
When the determination unit determines that the menu information is stored in advance, the terminal unit determines the menu information based on the menu information stored in the menu storage unit in association with the object recognized by the object recognition unit. First menu generation means for generating a first menu to be provided to the device;
A search expression generation unit configured to generate a search expression based on a keyword based on a recognition result of the object recognition unit when the determination unit determines that the menu information is not stored;
According to the search formula generated by the search formula generation unit, as a search result from a search engine, an address obtaining unit for obtaining an address of information accessible by the terminal device;
Second menu generating means for generating a second menu in which addresses useful for the terminal device are grouped based on an address selected from the addresses obtained by the address obtaining means;
A program that functions as a program.