JP6064392B2 - 検索装置、検索方法、検索プログラムおよび検索システム - Google Patents

Description

本発明は、検索装置、検索方法、検索プログラムおよび検索システムに関する。

オブジェクトと、当該オブジェクトに連携する連携情報とを関連付けてサーバなどに格納し、ユーザが撮像した画像に含まれるオブジェクトと対応するオブジェクトをサーバから検索する技術がすでに知られている（特許文献１参照）。また、検索されたオブジェクトに関連付けられた連携情報をユーザに提示するようにした技術も、既に知られている。

ところで、サーバに対して、例えばユーザが撮像した画像に含まれる第１のオブジェクトとよく似ており、且つ、当該オブジェクトとは異なる連携情報が関連付けられた第２のオブジェクトが格納されている場合が有り得る。このような場合、撮像された第１のオブジェクトを含む画像に基づく検索の結果、この第２のオブジェクトが検索されてしまい、ユーザが想定する連携情報が得られない場合が生じ得るという問題点があった。

例えば、第２のオブジェクトは第１のオブジェクトを縮小して作成したサムネイル画像であり、第１のオブジェクトは固有の連携情報に関連付けられ、第２のオブジェクトは複数の異なる第１のオブジェクトにそれぞれ基づく第２のオブジェクトの一覧が連携情報として関連付けられている場合が考えられる。このような場合、第２のオブジェクトは第１のオブジェクトを縮小して作成されたものであるため、第１のオブジェクトを含む画像に基づく検索の結果、第２のオブジェクトが検索されてしまうおそれがある。

本発明は、上記に鑑みてなされたものであって、画像に基づく検索でより的確な検索結果を得られるようにすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、画像と、画像に含まれるオブジェクトを検索するための索引と、オブジェクトに連携する機能を示す連携情報とを関連付けて格納する格納手段と、撮像画像を受信する受信手段と、撮像画像と格納手段に格納される索引とに基づき、格納手段に格納される画像の中から、撮像画像に含まれるオブジェクトを含む画像を検索する検索手段と、検索手段により検索された画像に含まれるオブジェクトに連携する連携情報を撮像画像の送信元に対して提示する提示手段とを有し、検索手段は、撮像画像に含まれるオブジェクトを含む画像が複数検索された場合に、撮像画像のサイズに対する撮像画像から抽出されたオブジェクトのサイズの比率と、検索された画像について予め設定されたサイズに対する画像内のオブジェクトのサイズの比率とに基づき、検索された複数の画像から検索結果とする１の画像を選択し、提示手段は、検索手段により複数の画像から１の画像が選択された場合は、１の画像に含まれるオブジェクトに連携する連携情報を撮像画像の送信元に対して提示することを特徴とする。

本発明によれば、画像に基づく検索でより的確な検索結果を得ることが可能となるという効果を奏する。

図１は、実施形態に係る検索システムの一例の構成を示す図である。 図２は、実施形態に係るＤＢに格納される索引データの元となる画像データの例を示す図である。 図３は、実施形態に係るサーバの機能を示す一例の機能ブロック図である。 図４は、実施形態に係るＤＢの一例の構成を示す図である。 図５は、実施形態に係るＸＭＬコードの一例を示す図である。 図６は、実施形態に係るサーバの動作の例を示すフローチャートである。 図７は、実施形態に係る索引の連携情報の提示処理の例を示すフローチャートである。 図８は、実施形態に係る、複数の索引から１を選択する処理を、ユーザが行うように促す場合の一例の処理を示すフローチャートである。 図９は、実施形態に係る端末装置の一例の構成を示すブロック図である。 図１０は、実施形態に係る端末装置の一例の機能を示す機能ブロック図である。

以下に添付図面を参照して、検索装置および検索方法、ならびに、プログラムの実施形態を詳細に説明する。図１は、実施形態に係る検索システムの一例の構成を示す図である。

ネットワーク１０に対して、サーバ１１および端末装置２０が接続される。ネットワーク１０は、例えばインターネットであって、通信プロトコルとしてＴＣＰ／ＩＰ(Transmission Control Protocol/Internet Protocol)が適用される。ネットワーク１０は、互いにネットワークで接続される複数のコンピュータを含み、外部からは、その内部が隠蔽されたブラックボックスとして入出力のみが示されるネットワーク・グループであるネットワーククラウドであってもよい。

ネットワーク１０に対して、さらに、複数の商用サイト３０Ａおよび３０Ｂが接続される。これら商用サイト３０Ａおよび３０Ｂは、ネットワーク１０を介してなされた注文に応じて商品の発送などを行うことができる。

端末装置２０は、無線または有線によってネットワーク１０との間で通信を行うことができる。端末装置２０は、ネットワーク１０を介して受信した命令に従った動作を行うことができると共に、表示装置と入力装置とを含むＵＩ（ユーザインタフェース）に対してネットワーク１０を介して受信した画像などの表示や、ＵＩに対してなされたユーザ操作に従いネットワーク１０に向けてデータを送信することができる。

また、端末装置２０は、撮像機能を有し、ＵＩに対する撮像指示操作に応じて被写体の撮像を行うことができるようにされている。端末装置２０は、撮像により得られた撮像画像をネットワーク１０に向けて送信することができる。

サーバ１１は、データベース（ＤＢ）１２が接続され、ネットワーク１０を介して受信した要求に従い、ＤＢ１２に対して、実施形態に係る検索処理を行うことができる。実施形態においては、ＤＢ１２には複数の画像データ５０Ａおよび５０Ｂを検索するための各索引データが、それぞれ連携情報と関連付けられて格納される。索引データは、画像データのバイナリを解析して得られたデータであって、画像データを、検索のための構造に変換したデータである。

なお、ＤＢ１２に対して、画像データを直接的に格納することも可能である。画像データのファイル名およびパスをＤＢ１２に格納してもよい。

サーバ１１は、ネットワーク１０を介して画像データを受信し、受信した当該画像データに基づきＤＢ１２を検索して、当該画像データに対応する連携情報を検索結果として取得する。サーバは、この検索結果として取得された連携情報を、画像データの送信元に返す。

図２は、ＤＢ１２に格納される索引データの元となる画像データ５０Ａおよび５０Ｂの例を示す。ここで、画像データに含まれるオブジェクトについて定義する。オブジェクトとは、画像データによる画像内において主となる対象物の画像を指し、当該主となる対象物の背景画像や、画像内における当該主となる対象物の付随情報などとは区別される画像である。

一例として、画像データ５０Ａおよび５０Ｂは、それぞれカタログ雑誌の中身である内容ページと、当該カタログ雑誌の表紙である表紙ページであるものとする。図２（ａ）は、内容ページの画像１３０Ａによる画像データ５０Ａの例を示し、図２（ｂ）は、表紙ページの画像１３０Ｂによる画像データ５０Ｂの例を示す。

図２（ａ）は、画像１３０Ａの中央部に１のオブジェクト１３１が配置された例である。画像１３０Ａにおいて、オブジェクト１３１に対して、オブジェクト１３１を含む対象領域１３４が設定される。この図２（ａ）は、対象領域１３４のサイズに対するオブジェクト１３１のサイズの比率が小さい場合の例である。カタログ雑誌の場合、内容ページは、商品の紹介を行うのが目的であるため、商品を示す画像であるオブジェクト１３１は、内容ページに対して大きく表示される。

図２（ｂ）は、画像１３０Ｂに対して複数のオブジェクト１３２および１３３が配置された例である。ここでは、オブジェクト１３２は、図２（ａ）に示すオブジェクト１３１を縮小した画像であり、オブジェクト１３３は、他の画像である。画像１３０Ｂに対してさらに多くのオブジェクトを配置してもよい。この例では、表示ページは、カタログ雑誌の内容を要約して示すように、内容ページに含まれる各オブジェクト１３２および１３３が縮小されサムネイルとして表示されている。画像１３０Ｂにおいて、対象領域１３５は、オブジェクト１３２および１３３を含むと共に、表示ページ（画像データ１３０Ｂ）の全体に及ぶように設定されている。

なお、対象領域１３４および１３５は、オブジェクト１３１、ならびに、オブジェクト１３２および１３３をそれぞれ認識するための指標として用いられる。対象領域は、オブジェクトの全体を含み、且つ、オブジェクトを含む画像の全体より小さい任意のサイズにそれぞれ設定可能である。

連携情報について説明する。連携情報は、例えば、画像に含まれるオブジェクトに連携する機能を示す情報であって、より具体的には、当該オブジェクトの属性情報にアクセスするアクセス方法を含む情報である。したがって、連携情報は、実際には、画像に含まれるオブジェクトに対して関連付けられてＤＢ１２に格納されると考えることができる。

一例として、内容ページの画像１３０Ａに含まれるオブジェクト１３１において、連携情報は、オブジェクト１３１が示す商品を取り扱う例えば商用サイト３０ＡのＵＲＬ(Uniform Resource Locator)や、当該商品の購入設定を行う購入ページのＵＲＬである。これらに限らず、連携情報として、当該商品を取り扱う店舗の電話番号やメールアドレスを用いてもよい。さらに、当該商品の情報などを含むデータファイルをダウンロードするための情報を、連携情報として用いてもよい。なお、ＤＢ１２において、１のオブジェクトに対して複数の連携情報を関連付けることができる。

別の例として、表紙ページの画像１３０Ｂに含まれる各オブジェクト１３２および１３３に対して、連携情報として、例えば、当該表紙ページを含むカタログ雑誌そのものを紹介するネットワーク１０上のサイトなどのＵＲＬを用いることができる。

図３は、サーバ１１の機能を示す一例の機能ブロック図である。サーバ１１は、受信部１００と、抽出部１０１と、算出部１０２と、検索部１０３と、提示部１０４と、制御部１１０とを有する。また、図３では、ＤＢ１２がサーバ１１に含まれるように示している。制御部１１０は、このサーバ１１の全体的な動作を制御する。

受信部１００は、ネットワーク１０を介して送信されたデータを受信する。例えば、端末装置２０から送信された撮像画像（撮像画像４０Ａとする）が受信部１００に受信される。

抽出部１０１は、受信部１００に受信された撮像画像４０Ａに対して画像解析を行い、撮像画像４０Ａから特徴点を検出して、当該撮像画像４０Ａに含まれるオブジェクトを抽出する。例えば、抽出部１０１は、撮像画像４０Ａに対して２値化処理を施して、２値化された撮像画像４０Ａに対してエッジ検出や正規化処理を行い、撮像画像４０Ａの特徴点を検出する。オブジェクトは、この検出された特徴点により表される。

算出部１０２は、抽出部１０１に抽出された撮像画像４０Ａの特徴点と、ＤＢ１２に格納される各索引によって検索される各オブジェクトを表す特徴点とを比較する。そして、比較結果に基づき、撮像画像４０Ａに含まれるオブジェクトと、ＤＢ１２に格納される各索引によって検索される各オブジェクトとの類似度を算出する。類似度は、例えば、画像から抽出した各特徴点間の関係を、画像毎に比較することで求めることができる。一例として、特徴点間の関係を数値化して特徴量を算出し、画像間で特徴量の差分の絶対値を求め、求めた差分の絶対値がより小さい場合に、当該画像間の類似度が高いとする。

検索部１０３は、算出部１０２で算出された類似度に基づき、ＤＢ１２に格納される各索引によって検索される各オブジェクトのうち、撮像画像４０Ａに含まれるオブジェクトとの類似度が高い画像を検索する。このとき、検索部１０３は、ＤＢ１２に格納される各索引によって検索される各オブジェクトから、撮像画像４０Ａに含まれる各オブジェクトとの類似度が最も高いオブジェクトを含む１の索引を検索結果として出力する。

これに限らず、検索部１０３は、ＤＢ１２に格納される各索引によって検索される各オブジェクトから、撮像画像４０Ａに含まれるオブジェクトとの類似度が高いオブジェクトを含む順に従い、所定数の索引を検索結果として出力してもよいし、類似度が閾値以上のオブジェクトを検索するための１または複数の索引を検索結果として出力することもできる。さらに、類似度が、撮像画像４０Ａについて算出された類似度の最大値から予め決められた範囲内（５％など）にある索引を、検索結果として出力することも考えられる。

提示部１０４は、検索部１０３による検索出力の索引に関連付けられた連携情報をＤＢ１２から取り出し、端末装置２０に提示する。この連携情報の提示は、当該連携情報を端末装置２０に直接的に送信してもよいし、当該連携情報を含むＷｅｂページを生成し、端末装置２０に向けて当該Ｗｅｂページヘのアクセス方法（ＵＲＬなど）を提示する方法でもよい。端末装置２０からこのＷｅｂページにアクセスすることで、連携情報を取得することができる。

これに限らず、端末装置２０に、撮像画像４０Ａの撮像から、提示された連携情報の表示までの一連の動作を行うアプリケーションソフトウェア（以下、アプリケーションと略称する）を予めインストールしておき、提示された連携情報を、このアプリケーションを用いて取得することも可能である。

なお、サーバ１１は、ＣＰＵ(Central Processing Unit)と、ＲＡＭ(Random Access Memory)と、ＲＯＭ(Read Only Memory)と、ハードディスクドライブなどのストレージ装置とを含む、一般的なコンピュータ装置により構成することができる。また、サーバ１１は、１台のコンピュータ装置で構成されるのに限らず、例えば複数のコンピュータ装置上で分散的に動作する構成としてもよい。

上述した受信部１００、抽出部１０１、算出部１０２、検索部１０３、提示部１０４および制御部１１０は、ＣＰＵ上で動作する検索プログラムによって実現される。これに限らず、受信部１００、抽出部１０１、算出部１０２、検索部１０３、提示部１０４および制御部１１０の一部または全部を、互いに協働する個別のハードウェアを用いて実現してもよい。実施形態に係る検索処理を実行するための検索プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録して提供される。

さらに、実施形態に係る検索処理を実行するための検索プログラムを、インターネットなどの通信ネットワークに接続されたコンピュータ上に格納し、通信ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施形態に係る検索処理を実行するための検索プログラムを、インターネットなどの通信ネットワーク経由で提供または配布するように構成してもよい。

実施形態に係る検索処理を実行するための検索プログラムは、例えば、上述した各部（受信部１００、抽出部１０１、算出部１０２、検索部１０３、提示部１０４および制御部１１０）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが例えばストレージ装置から当該検索プログラムを読み出して実行することにより上記各部が主記憶装置（例えばＲＡＭ）上にロードされ、各部が主記憶装置上に生成されるようになっている。

このような構成において、ユーザは、端末装置２０を用いて例えばカタログ雑誌のページを撮像し、撮像画像４０Ａや撮像画像４０Ｂを得る。この例では、撮像画像４０Ａおよび４０Ｂは、それぞれ、カタログ雑誌の内容ページおよび表紙ページを撮像した撮像画像であるものとする。ユーザは、例えば撮像画像４０Ａを、ネットワーク１０を介してサーバ１１に送信する。

撮像画像４０Ａは、サーバ１１の受信部１００に受信され、受信された撮像画像４０Ａの特徴点が抽出部１０１で検出され、オブジェクトが抽出される。さらに、算出部１０２で、抽出部１０１で検出された特徴点に基づき、撮像画像４０Ａに含まれるオブジェクトと、ＤＢ１２に格納される各索引によって検索される各オブジェクトとの類似度が算出される。この算出結果に基づき検索部１０３で索引が検索される。そして、提示部１０４は、検索部の検索出力に基づきＤＢ１２から連携情報を取り出し、撮像画像４０Ａの送信元である端末装置２０に提示する。

ユーザは、サーバ１１から端末装置２０に対して提示された連携情報に基づき、例えば商用サイト３０Ａにアクセスして、撮像画像４０Ａに含まれるオブジェクトが示す商品を購入などすることができる。

ここで、例えば図２（ａ）に画像１３０Ａに含まれるオブジェクト１３１に酷似したオブジェクトを含む画像が、端末装置２０で撮像画像４０Ａとして撮像されたものとする。また、ＤＢ１２には、オブジェクト１３１を含む画像１３０Ａと、オブジェクト１３１を縮小したオブジェクト１３２を含む画像１３０Ｂとが格納されているものとする。

この場合、撮像画像４０Ａの特徴点の検出結果から算出した類似度に基づく検索の結果、画像１３０Ａではなく、画像１３０Ｂが検索されてしまう可能性がある。この場合、ユーザは、所望の連携情報を得ることができなくなってしまう。このような事態を防ぐために、実施形態では、検索部１０３において、対象領域（撮像範囲）とオブジェクトとのサイズの比率に基づき、ＤＢ１２に格納される画像の検索を行う。

図２を用いて、より具体的に説明する。図２（ａ）に例示される画像１３０Ａでは、オブジェクト１３１が画像１３０Ａに対して大きなスペースを占めるように配置され、オブジェクト１３１に対して、オブジェクト１３１のサイズよりやや大きめのサイズで、対象領域１３４が設定されている。一方、図２（ｂ）に例示される画像１３０Ｂでは、オブジェクト１３１が縮小されたオブジェクト１３２が配置されると共に、対象領域１３５が画像１３０Ｂの全面に対して、すなわち、オブジェクト１３２のサイズに対して十分大きなサイズで設定されている。

画像１３０Ａにおいて、対象領域１３４のサイズに対するオブジェクト１３１のサイズの第１の比率を、例えばそれぞれの面積に基づき求めた値が１／２であるとする。これに対して、画像１３０Ｂにおいて、対象領域１３５のサイズに対するオブジェクト１３２のサイズの第２の比率を面積で求めた値は、例えば１／１６となり、画像１３０Ａの場合と比べて大きく異る。なお、サイズの比率は、面積に基づき求める方法に限られない。このような、サイズの比率を示す情報は、予め求め、索引に含めてＤＢ１２に格納することが考えられる。

さらに、端末装置２０から受信された撮像画像４０Ａについては、抽出部１０１で抽出されたオブジェクトのサイズと、撮像画像４０Ａ自体のサイズとの比率を求めることが考えられる。例えば撮像画像４０Ａが図２（ａ）に画像１３０Ａで示されるような画像とし、撮像画像４０Ａのサイズに対するオブジェクト（オブジェクト１３１とする）のサイズの第３の比率が例えば１／４であるとする。

この場合、第３の比率は、上述した第１の比率および第２の比率のうち、第１の比率により近い。したがって、検索部１０３は、撮像画像４０Ａに対する検索結果として画像１３０Ａに対応する索引を出力する。提示部１０４は、この画像１３０Ａに対応する索引に関連付けられた連携情報を、端末装置２０に対して提示する。このように、オブジェクトのサイズの画像サイズに対する比率に基づき索引の選択を行うことで、より的確に所望の索引を選択することができる。

図４は、このような、オブジェクトのサイズの比率に基づき画像を検索する処理を実現するためのＤＢ１２の一例の構成を示す。図４（ａ）は、ＤＢ１２に格納される各索引データを識別するための索引テーブル１２０の例を示す。各索引データは、図４（ａ）に例示されるように、ＩＤと、索引データのバイナリデータとが関連付けられてＤＢ１２に格納される。

また、ＩＤは、ＤＢ１２に格納される各索引データを識別可能であれば、形式は特に限定されない。ＤＢ１２に格納される各索引データがカタログ雑誌の各ページのオブジェクトを検索するためのものである場合、ＩＤとして当該オブジェクトが掲載されるページ番号を含む値を用いることができる。

図４（ｂ）は、画像のＩＤと対象領域とを関連付ける対象領域テーブル１２１の一例を示す。この例では、対象領域は、タグを用いてデータの意味や構造を定義して記述するマークアップ言語の一種であるＸＭＬ(Extensible Markup Language)を用いて記述される。後述するが、この対象領域の記述に対して、連携情報の記述も埋め込まれる。対象領域が記述されるＸＭＬコードは、この対象領域１２１のフィールドに直接的に格納してもよいし、当該ＸＭＬコードを別途ファイルに記述し、当該フィールドにはこのファイル名とパスを記述してもよい。

図５は、図４（ｂ）に示されるＸＭＬコード１４０の一例を示す。この図５に示されるＸＭＬコード１４０は、カタログ雑誌のある内容ページの対象領域を記述する例である。最も外側のタグ「<page>」および「</page>」に挟まれた部分により、ページが定義される。各部分１４１₁、１４１₂において、タグ「<hotspot>」および「</hotspot>」に挟まれた部分により、それぞれ１の対象領域が定義される。このように、１のページに対して複数の対象領域を定義することができる。

部分１４１₁において、最初の行１４２は、タグ「<area>」および「</area>」に挟まれた部分により、対象領域のページ内での範囲が例えば左上隅の座標（ｘ１，ｙ１）および右下隅の座標（ｘ２，ｙ２）で定義される。

各部分１４３₁、１４３₂において、タグ「<link>」および「</link>」に挟まれた部分により、それぞれ１の連携情報が定義される。このように、１の対象領域に対して複数の連携情報を定義することができる。各部分１４３₁において、タグ「<title>」および「</title>」に挟まれた部分により連携情報のタイトルが定義される。タグ「<type>」および「</type>」に挟まれた部分によりこの連携情報のタイプが定義される。また、この例では、連携情報として、タグ「<URI>」および「</URI>」に挟まれた部分により、ネットワーク１０上でのアドレス情報が定義されている。

このように、ＸＭＬコード１４０により、ページ内の対象領域および当該対象領域における連携情報を定義しているため、ページ内の当該対象領域に含まれるオブジェクトに関連付けられる連携情報による機能を実行することができる。

図６は、実施形態に係るサーバ１１の動作の例を示すフローチャートである。先ず、端末装置２０で撮像されて得られた例えば撮像画像４０Ａが、ネットワーク１０を介してサーバ１１に対して送信される。ステップＳ１００で、サーバ１１において、受信部１００は、この撮像画像４０Ａを受信する。次のステップＳ１０１で、抽出部１０１は、受信された撮像画像４０Ａに対して画像解析を行い特徴点を検出してオブジェクトの抽出を行う。

次のステップＳ１０２で、検索部１０３は、撮像画像４０Ａのサイズに対するオブジェクトのサイズの比率を算出する。なお、ＤＢ１２に格納される各画像について、対象領域のサイズに対するオブジェクトのサイズの比率は、予め算出されているものとする。このＤＢ１２に格納される各画像の比率を示す情報は、上述したＸＭＬコード１４０に埋め込んでおくことができる。

次のステップＳ１０３で、算出部１０２は、撮像画像４０Ａから抽出されたオブジェクトと、ＤＢ１２に格納される各索引によって検索されるブジェクととを比較する。より具体的には、算出部１０２は、撮像画像４０Ａに含まれるオブジェクトと、ＤＢ１２に格納される各索引によって検索されるオブジェクトとの各類似度を算出する。

次のステップＳ１０４で、検索部１０３は、ステップＳ１０３で算出した類似度に基づき、ＤＢ１２に格納された索引のうち、撮像画像４０Ａに含まれるオブジェクトと合致するオブジェクトが検索される索引が有るか否かを判定する。この例では、ＤＢ１２に含まれる索引に検索されるオブジェクトのうち、類似度が閾値以上であるオブジェクトを、撮像画像４０Ａに含まれるオブジェクトと合致するオブジェクトが検索される索引であると判定するものとする。

若し、ステップＳ１０４でオブジェクトが合致する索引が有ると判定した場合、検索部１０３は、処理をステップＳ１０５に移行させる。ステップＳ１０５で、検索部１０３は、ＤＢ１２に格納される索引のうち、オブジェクトが複数の索引で合致しているか否かを判定する。若し、１の索引のみでオブジェクトが合致していると判定した場合、検索部１０３は、当該１の索引を検索出力として、処理を後述するステップＳ１０７に移行させる。一方、複数の索引でオブジェクトが合致していると判定した場合、検索部１０３は、処理をステップＳ１０６に移行させる。

ステップＳ１０６で、検索部１０３は、当該複数の索引それぞれによって検索される複数のオブジェクトのサイズの、対象領域のサイズに対する比率を各々求める。この複数のオブジェクトに関する比率は、予め求めておきＤＢ１２に格納しておいてもよい。それと共に、検索部１０３は、撮像画像４０Ａについて、撮像画像４０Ａのサイズに対するオブジェクトのサイズの比率を求める。そして、当該複数のオブジェクトのそれぞれについて求めた比率のうち、撮像画像４０Ａについて求めた比率に最も近い比率を求め、求めた比率に対応するオブジェクトを検索するための索引を選択して検索出力とし、処理をステップＳ１０７に移行させる。

ステップＳ１０７で、提示部１０４は、検索部１０３による検索出力の索引に対応付けられた連携情報をＤＢ１２から取り出す。そして、提示部１０４は、取り出した連携情報の、撮像画像４０Ａの送信元の端末装置２０に対する提示を行う。そして、図６のフローチャートによる一連の処理が終了される。

なお、上述したステップＳ１０４で合致する索引がないと判定した場合、処理がステップＳ１０８に移行され、提示部１０４により、合致する索引がＤＢ１２に格納されていない旨を示すメッセージが、端末装置２０に対して提示される。そして、図６のフローチャートによる一連の処理が終了される。

図７は、図６におけるステップＳ１０７の、索引の連携情報の提示処理の例を示すフローチャートである。提示部１０４は、先ずステップＳ２００で、検索部１０３の検索出力の索引によって検索されるオブジェクトにおける、撮像画像４０Ａに対応する対象領域を特定する。次のステップＳ２０１で、提示部１０４は、ＤＢ１２を参照し、特定した対象領域に関連付けられた連携情報が有るか否かを判定する。若し、有ると判定した場合、提示部１０４は、処理をステップＳ２０２に移行させ、当該対象領域に複数の連携情報が関連付けられているか否かを判定する。

提示部１０４は、ステップＳ２０２で、当該対象領域に対して複数の連携情報が関連付けられていると判定した場合、処理をステップＳ２０３に移行させる。ステップＳ２０３で、提示部１０４は、この複数の連携情報による各機能を示す機能リストを作成し、機能リストから１の機能を選択するための選択画面を端末装置２０に対して提示する。例えば、特定された対象領域に対して、連携情報としてＵＲＬおよび電話番号が関連付けられている場合、ＵＲＬに示されるアドレスにアクセスする機能と、電話番号への電話機能とを選択するための選択画面を生成し、端末装置２０に対して提示する。そして、図７のフローチャートによる一連の処理が終了される。

一方、ステップＳ２０２で、提示部１０４は、当該対象領域に対して１の連携情報のみが関連付けられていると判定した場合は、処理をステップＳ２０４に移行させる。ステップＳ２０４では、この１の連携情報による機能を実行させるような画面を生成し、端末装置２０に対して提示する。そして、図７のフローチャートによる一連の処理が終了される。

なお、上述のステップＳ２０１において、ステップＳ２００で特定された対象領域に対して連携情報が関連付けられていないと判定した場合、処理をステップＳ２０５に移行させる。ステップＳ２０５で、提示部１０４は、予め定められた特定の画面を、端末装置２０に対して提示する。そして、図７のフローチャートによる一連の処理が終了される。

上述では、ステップＳ１０６において、サーバ１１側で、複数の索引から１の索引を選択しているが、これはこの例に限定されない。すなわち、複数の索引から１の索引を選択する処理を、ユーザが行うように促すことができる。

図８は、検索部１０３の検索出力による複数の索引から１を選択する処理を、ユーザが行うように促す場合の一例の処理を示すフローチャートである。上述した図６のステップＳ１０５で、撮像画像４０Ａに含まれるオブジェクトに対して複数の索引で合致していると判定した場合、検索部１０３は、処理を図８に示すステップＳ１０６’に移行させる。

処理がステップＳ１０６’に移行されると、提示部１０４は、ステップＳ３００で、合致していると判定された複数の索引を示す情報をユーザに提示するための画面を生成し、端末装置２０に対して提示する。例えば、提示部１０４は、複数の索引それぞれによって検索される各オブジェクトの画像を表示させる画面を生成して、端末装置２０に対して提示することが考えられる。

提示部１０４は、端末装置２０からの、複数の索引（オブジェクト画像）から１の索引（オブジェクト画像）が選択された選択結果が受信されるのを待機する（ステップＳ３０１）。端末装置２０から、ステップＳ３００で提示した複数の索引から１の索引を選択した旨を受信すると、提示部１０４は、ステップＳ３０２で、索引が合致していると判定された複数のオブジェクト画像から、受信結果に応じて１を選択する。そして、選択されたオブジェクトが検索される索引に関連付けられた連携情報をＤＢ１２から取り出して、端末装置２０に対して提示する。

このように、複数の画像をユーザに提示することによっても、ユーザは、より的確に所望の画像を選択することができる。

図９は、端末装置２０の一例の構成を示す。図９に例示される端末装置２０において、バス４０１に対してＣＰＵ４０２、ＲＯＭ４０３、ＲＡＭ４０４および表示制御部４０５が接続される。また、バス４０１に対して、ストレージ４０７、データＩ／Ｆ４０８、入力部４０９、通信部４１０および撮像部４１１が接続される。ストレージ４０７は、データを不揮発に記憶することが可能な記憶媒体であって、例えばフラッシュメモリなどの不揮発性の半導体メモリである。これに限らず、ストレージ４０７としてハードディスクドライブを用いてもよい。

ＣＰＵ４０２は、ＲＯＭ４０３およびストレージ４０７に記憶されるプログラムに従い、ＲＡＭ４０４をワークメモリとして用いて、このコンピュータ４００の全体を制御する。表示制御部４０５は、ＣＰＵ４０２により生成された表示制御信号を、表示部４０６が表示可能な信号に変換して出力する。

ストレージ４０７は、上述のＣＰＵ４０２が実行するためのプログラムや各種データが格納される。データＩ／Ｆ４０８は、外部からのデータの入力を行う。データＩ／Ｆ４０８としては、例えば、ＵＳＢ(Universal Serial Bus)やＩＥＥＥ１３９４(Institute of Electrical and Electronics Engineers 1394)などによるインタフェースを適用することができる。

入力部４０９は、ユーザ入力を受け付ける入力デバイスを含む。ユーザは、例えば表示部４０６に対する表示に応じて入力デバイスを操作することで、端末装置２０に対して指示を出すことができる。なお、ユーザ入力を受け付ける入力デバイスを、表示部４０６と一体的に構成し、押圧した位置に応じた制御信号を出力すると共に、表示部４０６の画像を透過するタッチパネルとして構成すると、好ましい。

通信部４１０は、所定のプロトコルを用いてネットワーク１０と通信を行う。撮像部４１１は、光学系と、撮像素子と、光学系および撮像素子の制御駆動回路と、撮像素子から出力される信号に所定の処理を施して画像データとして出力する。撮像部４１１は、入力部４０９に対するユーザ操作による指示に従い、撮像やズームなどの機能を実行する。撮像部４１１で撮像され得られた撮像画像は、例えばバス４０１を介して通信部４１０に送られ、ＣＰＵ４０２の命令に従いネットワーク１０を介してサーバ１１に送信される。

このような構成において、端末装置２０は、上述したサーバ１１の提示部１０４により提示された各情報を、ネットワーク１０上のＷｅｂサイトを閲覧するためのブラウザアプリケーションを用いて表示することができる。また、端末装置２０は、このブラウザアプリケーションを用いて、サーバ１１に対して要求やデータを送信することができる。

この場合、サーバ１１において、提示部１０４は、端末装置２０に対して各情報を提示するための表示制御情報を、例えばＨＴＭＬ(HyperText Markup Language)や各種スクリプト言語を用いて生成し、生成したファイルをネットワーク１０上の所定のアドレスに置く。提示部１０４から端末装置２０に対してこのアドレスを通知することで、端末装置２０から当該表示制御情報にアクセスし、提示部１０４による各情報の提示を端末装置２０に表示させることができる。

これに限らず、端末装置２０に対して、撮像画像の送信から提示情報の表示までの一連の処理を行うアプリケーションをインストールすることも考えられる。図１０は、この場合の端末装置２０の一例の機能を示す機能ブロック図である。端末装置２０は、受信部４２０と、送信部４２１と、撮像処理部４２２と、入力処理部４２３と、提示部４２４と、制御部４３０とを有する。

撮像処理部４２２は、撮像部４１１による撮像動作を制御し、撮像画像を取得する。送信部４２１は、例えばサーバ１１のネットワーク１０上のアドレス情報を予め有し、ネットワーク１０を介したサーバ１１に対する送信処理を行う。撮像処理部４２２が取得した撮像画像は、送信部４２１によりサーバ１１に送信される。受信部４２０は、サーバから送信された情報を受信する。例えば、サーバ１１の提示部１０４から提示される情報が受信部４２０に受信される。

入力処理部４２３は、ハードウェアとしての入力部４０９に対するユーザ入力を処理する。提示部４２４は、予め用意されたＵＩ画像を表示制御部４０５に渡し、表示部４０６にこのＵＩ画像による画面を表示させる。また、提示部４２４は、受信部４２０に受信された、例えばサーバ１１の提示部１０４から提示される情報に基づく表示画面を生成し、表示制御部４０５を介して表示部４０６に表示させる。なお、提示部４２４による情報提示は、表示のみならず、音声によって行うことも可能である。

制御部４３０は、この端末装置２０の全体の動作を制御する。また、制御部４３０は、サーバ１１の提示部１０４から提示された、撮像画像に対応する連携情報に基づく連携機能を実行することができる。例えば、連携情報にＵＲＬが指定されている場合、制御部４３０は、端末装置２０にインストールされているブラウザアプリケーションを呼び出し、このＵＲＬに示されるアドレスにアクセスさせることも可能である。

上述した受信部４２０と、送信部４２１と、撮像処理部４２２と、入力処理部４２３と、提示部４２４と、制御部４３０は、ＣＰＵ４０２上で動作する端末用プログラムによって実現される。この端末用プログラムは、ネットワーク１０に接続されたコンピュータ上に格納し、ネットワーク１０経由でダウンロードさせることにより提供するように構成される。また、この端末用プログラムを、ネットワーク１０経由で提供または配布するように構成してもよい。この端末用プログラムを、ＲＯＭ４０３に予め記憶させて提供することも考えられる。

これに限らず、この端末用プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録して提供してもよい。この場合、例えばデータＩ／Ｆ４０８に接続された外部のドライブ装置を介して、端末用プログラムが端末装置２０に供給される。

端末用プログラムは、例えば、上述した各部（受信部４２０、送信部４２１、撮像処理部４２２、入力処理部４２３、提示部４２４および制御部４３０）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ４０２が例えばストレージ４０７から当該端末用プログラムを読み出して実行することにより上記各部が主記憶装置（例えばＲＡＭ４０４）上にロードされ、各部が主記憶装置上に生成されるようになっている。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０ ネットワーク
１１ サーバ
１２ データベース（ＤＢ）
２０ 端末装置
３０Ａ，３０Ｂ 商用サイト
１００ 受信部
１０１ 抽出部
１０２ 算出部
１０３ 検索部
１０４ 提示部
１３１，１３２，１３３ オブジェクト
１３４，１３５ 対象領域
１４０ ＸＭＬコード

特表２００９−５０６３９３号公報

Claims (10)

1. 画像と、該画像に含まれるオブジェクトを検索するための索引と、該オブジェクトに連携する機能を示す連携情報とを関連付けて格納する格納手段と、
   撮像画像を受信する受信手段と、
   前記撮像画像と前記格納手段に格納される前記索引とに基づき、前記格納手段に格納される画像の中から、該撮像画像に含まれるオブジェクトを含む画像を検索する検索手段と、
   前記検索手段により検索された画像に含まれるオブジェクトに連携する前記連携情報を前記撮像画像の送信元に対して提示する提示手段と
   を有し、
   前記検索手段は、
   撮像画像に含まれるオブジェクトを含む前記画像が複数検索された場合に、
   前記撮像画像のサイズに対する該撮像画像から抽出されたオブジェクトのサイズの比率と、検索された画像について予め設定されたサイズに対する該画像内のオブジェクトのサイズの比率とに基づき、検索された複数の画像から検索結果とする１の画像を選択し、
   前記提示手段は、
   前記検索手段により前記複数の画像から前記１の画像が選択された場合は、該１の画像に含まれるオブジェクトに連携する前記連携情報を前記撮像画像の送信元に対して提示する
   検索装置。
2. 前記格納手段は、
   １の画像が複数のオブジェクトを含む場合、該複数のオブジェクトのそれぞれに対して１以上の前記連携情報を関連付けて格納し、
   前記提示手段は、
   検索の結果得られた１の画像に含まれる全てのオブジェクトのうち、前記撮像画像に含まれるオブジェクトに１の連携情報が関連付けられている場合は、該１の連携情報が示す機能を実行させる画面を提示し、
   検索の結果得られた１の画像に含まれる全てのオブジェクトのうち、前記撮像画像に含まれるオブジェクトに複数の連携情報が関連付けられている場合は、該複数の連携情報から１の連携情報を選択するための機能リストを前記撮像画像の送信元に対して提示する
   請求項１に記載の検索装置。
3. 前記格納手段に格納される前記連携情報として、少なくとも、ネットワークアクセス機能を利用するためのＵＲＬと、電話機能を利用するための電話番号と、を指定可能である
   請求項１または請求項２に記載の検索装置。
4. 撮像画像を受信する受信ステップと、
   画像と、該画像に含まれるオブジェクトを検索するための索引と、該オブジェクトに連携する機能を示す連携情報とを関連付けて格納する格納手段に格納される該索引と、前記撮像画像とに基づき、該格納手段に格納される画像の中から、該撮像画像に含まれるオブジェクトを含む画像を検索する検索ステップと、
   前記検索ステップにより検索された画像に含まれるオブジェクトに連携する前記連携情報を前記撮像画像の送信元に対して提示する提示ステップと
   を有し、
   前記検索ステップは、
   撮像画像に含まれるオブジェクトを含む前記画像が複数検索された場合に、
   前記撮像画像のサイズに対する該撮像画像から抽出されたオブジェクトのサイズの比率と、検索された画像について予め設定されたサイズに対する該画像内のオブジェクトのサイズの比率とに基づき、検索された複数の画像から検索結果とする１の画像を選択し、
   前記提示ステップは、
   前記検索ステップにより前記複数の画像から前記１の画像が選択された場合は、該１の画像に含まれるオブジェクトに連携する前記連携情報を前記撮像画像の送信元に対して提示する
   検索方法。
5. 前記格納手段は、１の画像が複数のオブジェクトを含む場合、該複数のオブジェクトのそれぞれに対して１以上の前記連携情報が関連付けて格納され、
   前記提示ステップは、
   検索の結果得られた１の画像に含まれる全てのオブジェクトのうち、前記撮像画像に含まれるオブジェクトに１の連携情報が関連付けられている場合は、該１の連携情報が示す機能を実行させる画面を提示し、
   検索の結果得られた１の画像に含まれる全てのオブジェクトのうち、前記撮像画像に含まれるオブジェクトに複数の連携情報が関連付けられている場合は、該複数の連携情報から１の連携情報を選択するための機能リストを前記撮像画像の送信元に対して提示する
   請求項４に記載の検索方法。
6. 前記格納手段に格納される前記連携情報として、少なくとも、ネットワークアクセス機能を利用するためのＵＲＬと、電話機能を利用するための電話番号と、を指定可能である
   請求項４または請求項５に記載の検索方法。
7. 請求項４乃至請求項６の何れか１項に記載の検索方法をコンピュータに実行させるための検索プログラム。
8. 端末装置と、検索装置とを含む検索システムであって、
   前記検索装置は、
   画像と、該画像に含まれるオブジェクトを検索するための索引と、該オブジェクトに連携する機能を示す連携情報とを関連付けて格納する格納手段と、
   撮像画像を受信する受信手段と、
   前記撮像画像と前記格納手段に格納される前記索引とに基づき、前記格納手段に格納される画像の中から、該撮像画像に含まれるオブジェクトを含む画像を検索し、
   前記検索手段により検索された画像に含まれるオブジェクトに連携する前記連携情報を前記撮像画像の送信元に対して提示する提示手段と
   を有し、
   前記端末装置は、
   前記撮像画像を送信する送信手段と、
   前記提示手段により提示された前記連携情報に基づき生成した画面を表示させるための表示制御手段と
   を有し、
   前記検索手段は、
   撮像画像に含まれるオブジェクトを含む前記画像が複数検索された場合に、
   前記撮像画像のサイズに対する該撮像画像から抽出されたオブジェクトのサイズの比率と、検索された画像について予め設定されたサイズに対する該画像内のオブジェクトのサイズの比率とに基づき、検索された複数の画像から検索結果とする１の画像を選択し、
   前記提示手段は、
   前記検索手段により前記複数の画像から前記１の画像が選択された場合は、該１の画像に含まれるオブジェクトに連携する前記連携情報を前記撮像画像の送信元に対して提示する
   検索システム。
9. 前記格納手段は、
   １の画像が複数のオブジェクトを含む場合、該複数のオブジェクトのそれぞれに対して１以上の前記連携情報を関連付けて格納し、
   前記提示手段は、
   検索の結果得られた１の画像に含まれる全てのオブジェクトのうち、前記撮像画像に含まれるオブジェクトに１の連携情報が関連付けられている場合は、該１の連携情報が示す機能を実行させる画面を提示し、
   検索の結果得られた１の画像に含まれる全てのオブジェクトのうち、前記撮像画像に含まれるオブジェクトに複数の連携情報が関連付けられている場合は、該複数の連携情報から１の連携情報を選択するための機能リストを前記撮像画像の送信元に対して提示する
   請求項８に記載の検索システム。
10. 前記格納手段に格納される前記連携情報として、少なくとも、ネットワークアクセス機能を利用するためのＵＲＬと、電話機能を利用するための電話番号と、を指定可能である
    請求項８または請求項９に記載の検索システム。

Images