JP5317798B2 - 現実世界から目的物を検索する携帯情報検索機器 - Google Patents

Description

本発明は、検索技術の改良に関する。

近年、情報処理を用いた各種情報検索の技術が工夫されているが、その一例として、現実世界にある目的物の画像をサーバに送信して、予めサーバに記憶している情報とマッチングすることで、ある目的物が何であるかを、いわば電子図鑑のように回答する技術は提案されている（例えば、特許文献１，２参照）。また、それらに近いものとして、特許文献３で開示の技術は、現実世界の物品に附されたバーコード等の識別子を読み取って通信ネットワーク経由で送信すれば、サーバが関連ＵＲＬなどの情報を検索し回答するものである。

特開２００３−４４４９７号公報 特許第４１３７７５６号公報 特開平１１−１４３８８５号公報

しかし、上記のような従来技術は、現実世界で既に所在の判明している目前の目的物からその関連情報を得るもので、逆に、名称や種類などの条件を基にして、該当する目的物を検索対象範囲の現実世界から検索する技術は存在しなかった。このため、多種類の陳列品から目的の品やその候補を探すような作業は人手によらざるを得ず、その効率化が潜在的に求められていた。

本発明は、上記のような課題を解決するもので、その目的は、携帯情報検索機器において、指定された目的物を周囲の画像から画像処理によって簡易かつ確実に検索する技術を提供することである。

上記の目的をふまえ、本発明は以下のような各態様を含む。まず、態様（１）は、端末側に関するもので、入力手段と、撮影手段と、情報の表示部と、通信ネットワーク経由でサーバと通信する通信手段と、制御を行うコンピュータと、を備え、前記撮影手段の動きに応じて画像を連続的に撮影及び表示する携帯情報検索機器であって、前記入力手段から目的物の指定を受け付けてその指定内容を表す指定データとして前記サーバへ送信する対象指定手段と、逐次連続して、前記撮影手段で検索対象範囲を撮影することにより対象画像を取得する画像取得手段と、取得された前記各対象画像を前記サーバに逐次連続して送信する画像送信手段と、送信した前記対象画像をもとに、前記目的物とマッチした部分を指摘する位置情報もしくは表示用画像を前記サーバから逐次連続して受信する結果受信手段と、逐次連続して受信された前記位置情報又は表示用画像を用いて、前記マッチした部分を指摘する表示を逐次連続して前記表示部に行う表示手段と、をコンピュータが実現することを特徴とする。

態様（１１）は、上記態様（１）を方法という視点で捉えたもので、入力手段と、撮影手段と、情報の表示部と、通信ネットワーク経由でサーバと通信する通信手段と、制御を行うコンピュータと、を備え、前記撮影手段の動きに応じて画像を連続的に撮影及び表示する携帯情報検索機器を用いる情報処理方法であって、前記入力手段から目的物の指定を受け付けてその指定内容を表す指定データとして前記サーバへ送信する対象指定処理と、逐次連続して、前記撮影手段で検索対象範囲を撮影することにより対象画像を取得する画像取得処理と、取得された前記各対象画像を前記サーバに逐次連続して送信する画像送信処理と、送信した前記対象画像をもとに、前記目的物とマッチした部分を指摘する位置情報もしくは表示用画像を前記サーバから逐次連続して受信する結果受信処理と、逐次連続して受信された前記位置情報又は表示用画像を用いて、前記マッチした部分を指摘する表示を逐次連続して前記表示部に行う表示処理と、をコンピュータが実現することを特徴とする。

態様（１４）は、上記態様（１）（１１）をコンピュータ・プログラムという視点で捉えたもので、入力手段と、撮影手段と、情報の表示部と、通信ネットワーク経由でサーバと通信する通信手段と、制御を行うコンピュータと、を備え、前記撮影手段の動きに応じて画像を連続的に撮影及び表示する携帯情報検索機器を制御するコンピュータ・プログラムであって、そのプログラムは前記コンピュータを制御することにより、前記入力手段から目的物の指定を受け付けてその指定内容を表す指定データとして前記サーバへ送信する対象指定処理と、逐次連続して、前記撮影手段で検索対象範囲を撮影することにより対象画像を取得する画像取得処理と、取得された前記各対象画像を前記サーバに逐次連続して送信する画像送信処理と、送信した前記対象画像をもとに、前記目的物とマッチした部分を指摘する位置情報もしくは表示用画像を前記サーバから逐次連続して受信する結果受信処理と、逐次連続して受信された前記位置情報又は表示用画像を用いて、前記マッチした部分を指摘する表示を逐次連続して前記表示部に行う表示処理と、を実行させることを特徴とする。

他の一態様（４）は、サーバ側に関するもので、携帯情報検索機器と通信ネットワークで通信する通信手段を備えたサーバであって、前記携帯情報検索機器から目的物の指定内容を表す指定データを受信する指定受付手段と、前記携帯情報検索機器から検索対象範囲を撮影した対象画像を逐次連続して受信する画像受信手段と、逐次連続して受信された前記各対象画像から、前記指定データが表す前記目的物とマッチする部分を逐次連続して検出するマッチング手段と、前記各対象画像をもとに、前記目的物とマッチした部分を指摘するグラフィック加工処理を施した表示用画像又はマッチした部分の位置を指摘する位置情報を、検出結果として逐次連続して前記携帯情報検索機器に送信する結果送信手段と、をコンピュータが実現することを特徴とする。

態様（１２）は、上記態様（４）を方法という視点で捉えたもので、携帯情報検索機器と通信ネットワークで通信する通信手段を備えたサーバを用いる情報処理方法であって、前記携帯情報検索機器から目的物の指定内容を表す指定データを受信する指定受付処理と、前記携帯情報検索機器から検索対象範囲を撮影した対象画像を逐次連続して受信する画像受信処理と、逐次連続して受信された前記各対象画像から、前記指定データが表す前記目的物とマッチする部分を逐次連続して検出するマッチング処理と、前記各対象画像をもとに、前記目的物とマッチした部分を指摘するグラフィック加工処理を施した表示用画像又はマッチした部分の位置を指摘する位置情報を、検出結果として逐次連続して前記携帯情報検索機器に送信する結果送信処理と、をコンピュータが実現することを特徴とする。

態様（７）は、本発明のいずれかの態様における携帯情報検索機器と、本発明のいずれかの態様におけるサーバと、を有することを特徴とする検索システムに関する。

このような本発明の基本的な作用効果として、予め入手した商品画像などの目的物を、陳列棚などを撮影した対象画像からマッチングで検出しその部分をグラフィック処理で指摘することにより、目的物を現実世界から簡易かつ確実に検索することが可能となる。

特に、クライアントサーバシステムに関する態様（１）（１１）（１４）、（４）（１２）、（７）により、携帯情報端末の限られた記憶や演算の能力をサーバのそれらで効果的に支援できると共に、サーバでの情報更新により最新情報をクライアントとなる携帯情報検索機器から利用することができる。

また、他の一態様（２）は、端末側に関するいずれかの態様に関する携帯情報検索機器において、前記対象指定手段は、前記入力手段から、検索条件の指定を受け付ける検索受付手段と、受け付けられた前記検索条件の指定を伴う検索要求を前記サーバに送信する要求送信手段と、を有することを特徴とする。

他の一態様（５）は、態様（２）の携帯情報検索機器に対応するもので、態様（４）などのサーバにおいて、前記指定受付手段は、目的物ごとの照合用情報を含む検索用情報を記憶している情報記憶手段と、前記携帯情報検索機器から、検索条件の指定を伴う検索要求を受信する検索要求受信手段と、前記情報記憶手段に記憶されている前記検索用情報から、受け付けられた前記検索条件を基に目的物を検索するとともにその目的物の照合用情報を取得して前記マッチング手段に渡す検索結果取得手段と、を有することを特徴とする。

このように、端末で指定される検索条件に応じた目的物とその照合用情報をサーバで検索したうえでマッチングを行うことにより、条件指定からマッチングに至る一連の処理が迅速容易になり、未知の多数の候補からでも望みの商品等の発見が容易になる。

また、本発明の他の一態様（３）は、端末側に関するいずれかの態様において、前記表示手段（表示処理）は、前記マッチした部分を相対的に明瞭に、残余の部分を相対的に不明瞭に表示することを特徴とする。
このように、マッチした目的物の部分を目立たせて他をくすませたり暗い色で覆ったりするマスク処理によって、目的物を一見して把握しやすい表示が実現できる。

また、本発明の他の一態様（６）は、マッチングに関する本発明のいずれかの態様（（４）（５）ほか）において、前記マッチング手段（マッチング処理）は、部分画像マッチングアルゴリズムを用いることを特徴とする。
このように、特徴量等に絞ってマッチング演算を行う部分画像マッチングアルゴリズムの適用により、高解像度など大容量の対象画像を用いて広範囲・高精度に目的物を検索することが可能となる。

また、本発明の他の一態様（８）は、端末上で完結するもので、入力手段と、撮影手段と、情報の表示部と、制御を行うコンピュータと、を備えた携帯情報検索機器であって、前記入力手段から、目的物の指定を受け付ける指定受付手段と、逐次連続して、前記撮影手段で検索対象範囲を撮影することにより対象画像を取得する画像取得手段と、取得された前記各対象画像から、前記目的物とマッチした部分を逐次連続して検出するマッチング手段と、逐次連続して前記各対象画像を、前記マッチした部分を指摘するグラフィック加工処理を施して前記表示部に表示する表示手段と、をコンピュータが実現することを特徴とする。

態様（１３）は、上記態様（８）を方法という視点で捉えたもので、入力手段と、撮影手段と、情報の表示部と、制御を行うコンピュータと、を備えた携帯情報検索機器を用いる情報検索方法であって、前記入力手段から、目的物の指定を受け付ける指定受付処理と、逐次連続して、前記撮影手段で検索対象範囲を撮影することにより対象画像を取得する画像取得処理と、取得された前記各対象画像から、前記目的物とマッチした部分を逐次連続して検出するマッチング処理と、逐次連続して前記各対象画像を、前記マッチした部分を指摘するグラフィック加工処理を施して前記表示部に表示する表示処理と、をコンピュータが実現することを特徴とする。

本発明の基本的な作用効果に加え、上記のような携帯情報検索機器単体による態様（８）（１３）では、通信の設備や費用が不要となり、構成が単純で信頼性も改善される。

本発明の他の一態様（９）は、端末側に関するもので、入力手段と、撮影手段と、情報の表示部と、通信ネットワーク経由でサーバと通信する通信手段と、制御を行うコンピュータと、を備え、前記撮影手段の動きに応じて画像を連続的に撮影及び表示する携帯情報検索機器であって、前記入力手段から、検索条件の指定を受け付ける検索受付手段と、受け付けられた前記検索条件の指定を伴う検索要求を前記サーバに送信する要求送信手段と、送信した前記検索条件に対応する照合用情報を前記サーバから受信する情報受信手段と、逐次連続して、前記撮影手段で検索対象範囲を撮影することにより対象画像を取得する画像取得手段と、逐次連続して取得された前記各対象画像から、受信された前記照合用情報とマッチした部分を逐次連続して検出するマッチング手段と、逐次連続して前記各対象画像を、前記マッチした部分を指摘するグラフィック加工処理を施して前記表示部に表示する表示手段と、をコンピュータが実現することを特徴とする。

態様（１０）は、態様（９）に対応するサーバ側に関するもので、携帯情報検索機器と通信ネットワークで通信する通信手段を備えたサーバであって、目的物ごとの照合用情報を含む検索用情報を記憶している情報記憶手段と、前記携帯情報検索機器から、検索条件の指定を伴う検索要求を受信する検索要求受信手段と、前記情報記憶手段に記憶されている前記検索用情報から、受け付けられた前記検索条件を基に目的物を検索するとともにその目的物の照合用情報を取得する検索手段と、取得された前記照合用情報を前記携帯情報検索機器へ送信する情報送信手段と、をコンピュータが実現することを特徴とする。

このように、検索をサーバ側で行うが画像のマッチングは端末側で行うことにより、比較的大容量となる画像を端末からサーバへマッチングのため送る必要がなくなり、そのための所要時間やデータ量、パケット料金等が節減可能となる。

また、上記に限らず、各装置やシステムに対応する方法、コンピュータ・プログラム（ダウンロード提供の場合を含む）、そのようなコンピュータ・プログラムを記憶した記憶媒体も、それぞれ本発明の態様である。さらに、上記のように構成される本発明の作用及び効果、並びに本発明の他の各態様における構成、作用及び効果については、実施形態などを通じて後述する通りである。

本発明によれば、携帯情報検索機器において、指定された目的物を周囲の画像から画像処理によって簡易かつ確実に検索する技術を提供することができる。

本発明の第１実施形態について（以下、図８まで同じ）その構成を示す図。 処理手順を示すフローチャート。 検索用情報を例示する図。 検索用情報に含まれる照合用情報を例示する図。 端末において検索条件として検索キーワードを入力している状態を示す図。 書籍を陳列した陳列棚の様子を示す図。 端末の背面に設けられたカメラで撮影している対象画像を端末表面の表示部に表示している状態を示す図。 端末の表示部において、マッチした部分以外をマスクすると共に、マッチした書籍の関連情報を表示している表示例を示す図。 対象画像の範囲と、それに応じた表示内容が、逐次連続して変化する状態を示す図。 本発明の第２実施形態について、その構成を示す図。 本発明の第２実施形態について、処理手順を示すフローチャート。 本発明の第３実施形態について、その構成を示す図。 本発明の第３実施形態について、処理手順を示すフローチャート。

次に、本発明を実施するための形態（「実施形態」と呼ぶ）について、図に沿って説明する。なお、背景技術や課題などで既に述べた内容と共通の前提事項については適宜省略する。

〔１．構成〕
最初に紹介する実施形態は、図１（構成図）に示すように、スマートフォンなどの携帯情報検索機器となる携帯情報機器（以下「端末」とも呼ぶ）１と、サーバ２と、をインターネットや携帯電話網に代表される通信ネットワークＮ経由で組み合わせた検索システム（以下「本システム」と呼ぶ）に関するものであるが、本発明は、本システム、端末１やサーバ２に対応する情報処理方法やコンピュータ・プログラムなど、他のカテゴリの技術としても把握可能である。

そして、端末１は、図１に示すように、タッチパネルなど操作の入力手段Ｔと、ＣＣＤカメラなどの撮影手段（以下「カメラ」とも呼ぶ）Ｃと、液晶表示パネルなど情報の表示部Ｄと、通信ネットワークＮ経由でサーバ２と通信する通信手段１７（携帯電話や無線ＬＡＮなどのクライアント通信モジュールなど）と、を備え、撮影手段の動きに応じて画像を連続的に撮影及び表示するものである。また、端末１は、各部の制御を行うコンピュータの構成として、ＣＰＵなどの演算制御部１５と、外部記憶装置（ＨＤＤ、フラッシュメモリ等）や主メモリ等の記憶装置１６と、を有する。

この端末１では、前記コンピュータが、図１に示す各手段などの要素（３５，４０など）を実現する。より具体的には、記憶装置１６に予め記憶（インストール）した所定のコンピュータ・プログラムが前記コンピュータを（特に演算制御部１５を）制御することにより、図１に示す各手段などの要素（３５，４０など）を実現する。この場合のコンピュータ・プログラムは、例えば、所定のウェブサイトから通信ネットワークＮ経由でダウンロードすることで取得し、インストールしておく。

また、サーバ２も、一般的なサーバコンピュータの構成として、ＣＰＵなどの演算制御部２５と、外部記憶装置（ＨＤＤ等）や主メモリ等の記憶装置２６と、端末１と通信ネットワークＮで通信する通信手段２７と、を有する。また、サーバ２では、図１に示す各手段などの要素（３０，５５など）を前記サーバコンピュータが実現する。より具体的には、記憶装置２６に予め記憶（インストール）した所定のコンピュータ・プログラムが前記サーバコンピュータを（特に演算制御部２５を）制御することにより、図１に示す各手段などの要素（３０，５５など）を実現する。

端末１やサーバ２の上記各要素（３５，５５など）のうち、情報を記憶する手段は、それぞれの記憶装置１６又は２６においてファイルや各種データベース（「ＤＢ」とも表す）、配列等の変数、システム設定値など任意の形式で実現することもできるし、これに代え、サーバ２の一要素を構成するように接続された外部の別体のサーバ上に設けてもよい。また、端末１やサーバ２の上記各要素（３５，５５など）のうち、その他の情報処理を行う各要素は、以下のような各機能や処理を実現・実行する処理手段である。

〔２．作用〕
上記のように構成した本システムにおける処理手順を、図２のフローチャートに沿って説明する。なお、本出願においてステップ番号その他の符号は、図中の部分を指し示すためのものであり、処理の順序とは無関係である。

〔２−１．目的物の指定と対象画像の送信〕
まず、端末１では、対象指定手段が、入力手段Ｔから目的物の指定を受け付けてその指定内容を表す指定データとしてサーバ２へ送信する（対象指定処理）。この際、目的物は、一又は二以上の有形の対象（文字、図形、記号、形状、文様、色彩やこれらの結合など）であり、生物無生物、動産不動産、有償無償等は問わない。また、目的物の指定については、例えば知人などからお奨め品として電子メールで受信した目的物の画像や、ウェブサイトからダウンロードした目的物の画像などを、選択したり送信することで指定してもよいし、文字列や属性値などの検索条件として指定してもよい。

ここで示す例は、後者の検索条件として指定する場合で、前記対象指定手段は、検索受付手段３５及び要求送信手段４０で構成し、また、サーバ２の情報記憶手段３０は、目的物ごとの照合用情報を含む検索用情報を記憶しており、その一例を図３に示す。

この例では、書籍ごとに、条件検索用の属性（属性値）を兼ねた関連情報として、書籍タイトル（「題名」）、著者名、出版年、出版社名、所定のウェブサイトで読者からの評価を集計した評価点（「星の数」）、説明文を含むほか、画像から書籍の表紙を検出するための照合用情報のファイル名（例えば、「０００３．ｇｉｆ」など）を含んでいる。照合用情報は、サーバ２内の所定のディレクトリに記憶され、図４に例示するように、書籍「ＡＢ」「ＣＤ」「ＥＦ」ごとに、表紙の特徴的な外見を、画像や、その他の形式の特徴量などで表したデータである。

そして、検索受付手段３５が、入力手段Ｔから検索条件の指定を受け付けると（ステップＳ３５。検索受付処理）、要求送信手段４０が、受け付けられた前記検索条件の指定を伴う検索要求をサーバ２に送信する（ステップＳ４０）。

検索条件としては、例えば、図３に例示したような題名、著者名といった属性に含まれる文字列や星の数などの属性値を指定する。評価値である星の数については、例えば、５つまでの値を取り得る星の数が３つ以上のものを表示するといった使い方が考えられる。また、図５は、スマートフォンである端末１について、タッチパネルを兼ねる表示部Ｄを備えた表面を示すもので、この例は、表示部Ｄに表示された入力欄Ｅで入力文字を確認しながら、手の指Ｆで、表示されているボタン群Ｂを用いて検索キーワードを入力している状態を示している。

このような検索条件の指定に続いて、画像取得手段４５が、逐次連続して、カメラＣで検索対象範囲を撮影することにより対象画像を取得し（ステップＳ４５。画像取得処理）、画像送信手段５０が、取得された前記各対象画像をサーバ２に逐次連続して送信する（ステップＳ５０。画像送信処理）。ここで、図６は、端末１を持つユーザの目前にある壁面に設置された書籍の陳列棚Ｒを正面から見た図である。また、図７は、端末１の背面に設けられた（図示せず）カメラＣ（図１）を用いて、図６に示した陳列棚Ｒを撮影している状態を示しており、その対象画像を表示部Ｄに表示することにより、背後の陳列棚が透けて見えるような外観となっている。

〔２−２．サーバでの処理〕
サーバ２では、指定受付手段が、端末１から目的物の指定内容を表す指定データを受信する（指定受付処理）。この際、指定内容の受付については、端末１から目的物の画像の転送を受けてもよいし、文字列や属性値などの検索条件を表すデータの転送を受け、それに基づいた検索により対象を特定してもよい。ここで示す例は、後者の検索条件として指定を受ける場合で、前記指定受付手段は、情報記憶手段３０と、検索要求受信手段５５と、検索結果取得手段６０と、で構成する。

この場合、サーバ２において、検索要求受信手段５５が端末１から検索条件の指定を伴う検索要求を受信すると（ステップＳ５５。検索要求受信処理）、検索結果取得手段６０が、情報記憶手段３０に記憶されている前記検索用情報から、受け付けられた前記検索条件を基に目的物を検索するとともにその目的物の照合用情報を取得してマッチング手段７０に渡す（ステップＳ６０。検索結果取得処理）。また、サーバ２では画像受信手段６５が、端末１から検索対象範囲を撮影した対象画像を逐次連続して受信する（ステップＳ６５。画像受信処理）。

なお、検索要求の受信後、検索結果を端末１へ一旦送信してユーザに選択又は確認させた上、対象画像を送信させてもよいし、そのような選択や確認無しで、検索要求と対象画像を相次いで連続して送信させてもよい。

そして、マッチング手段７０が、逐次連続して受信された前記各対象画像から、前記指定データが表す前記目的物とマッチする部分すなわち前記照合用情報とマッチする部分を逐次連続して検出する（ステップＳ７０。マッチング処理）。この検出の際、マッチング手段７０が用いるマッチング技術の種類は自由であり、例えば、ニューラルネットワーク技術を用いれば、照合用情報を特徴量のように定式化することなく、画像の任意の位置から所定のパターンを検出することもできる。

但し、マッチングにおいてマッチング手段７０は、部分画像マッチングアルゴリズム（例えば、芸術科学会論文誌Ｖｏｌ．６，Ｎｏ．３，ｐｐ．１１７−１２５）を用いることが特に望ましい。このように、特徴量等に絞ってマッチング演算を行う部分画像マッチングアルゴリズムの適用により、演算処理負荷が軽減されるので、高解像度など大容量の対象画像からでも広範囲・高精度に目的物を検索することが可能となるが、このような部分画像マッチングアルゴリズムの利用は必須ではなく省略も可能である。

そして、結果送信手段７５が、前記各対象画像をもとに、前記目的物とマッチした部分を指摘するグラフィック加工処理を施した表示用画像又はマッチした部分の位置を指摘する位置情報を、検出結果として逐次連続して端末１に送信する（ステップＳ７５。結果送信処理）。

〔２−３．結果の受信と表示〕
端末１では、結果受信手段８０が、送信した前記対象画像をもとに、前記検索条件に該当する目的物とマッチした部分を指摘する位置情報もしくは表示用画像をサーバ２から逐次連続して受信すると（ステップＳ８０。結果受信処理）、表示手段８５が、逐次連続して受信された前記位置情報又は表示用画像を用いて、前記マッチした部分を指摘する表示を逐次連続して表示部Ｄに行う（ステップＳ８５。表示処理）。

この表示の際、表示手段８５は、必須ではないが、前記マッチした部分を、その明度、彩度などについて相対的に明瞭に、また残余の部分は相対的に不明瞭に表示することが望ましい。図８は、このような表示の一例であり、図７の例で表示部Ｄに表示していた対象画像に写っていた何冊もの書籍のうち、検索条件に合致した書籍Ｘ「ＡＢ…」のみが明るく表示され、かつ、図３に例示した著者名や出版社名などの関連情報Ｋが表示されている。

このように、マッチした目的物の部分を目立たせて他をくすませたり暗い色で覆ったりするマスク処理によって、目的物を一見して把握しやすい表示が実現できる。但し、このようなマスク処理は必須ではないので、例えば、目的物としてマッチした部分を指摘する位置情報を用いてマッチした部分を線で囲んだり、その部分を点滅させるなど、他の態様のグラフィック表示で強調することにより、マッチした部分を指摘する表示を行ってもよい。

なお、検出結果としてサーバ２から端末１へ、マッチした部分の位置情報（前記対象画像内の位置座標範囲など）を送って、その部分を指摘するグラフィック表示内容を端末１内で作成してもよいし、前記対象画像を基にグラフィック加工によるマスク処理済の表示用画像を送信して端末１ではそっくりそのまま表示する態様でもよい。

〔２−４．逐次連続した処理の繰り返し〕
以上のうち（図２）、周辺画像の撮影から表示までの処理（端末１側でのステップＳ４５〜Ｓ８５）と、周辺画像の受信から検出結果の送信までの処理（サーバ２側でのステップＳ６５〜Ｓ７５）を、数コマ／秒など適当な時間間隔で繰り返すことにより、カメラＣを設けた端末１の位置や向きを徐々に変化させ、カメラの画像範囲よりも広範囲の陳列棚等から目的物をマッチングし表示することが可能となる。

図９は、その一例を示すもので、ある陳列棚に書籍Ａ，Ｂ，Ｃ，Ｄが図９（１）に示すような配置で並んでいて、そのうち書籍ＡとＤだけが検索条件に合致した目的物（図９（１）において実線で示す）であり、他の書籍ＢとＣは非対象（図９（１）において破線で示す）であるとする。この陳列棚に端末１のカメラＣを向け、図９（２）左側に示す範囲の対象画像をサーバに送ると、マッチングの結果に基づいて、目的物である書籍Ａだけが明瞭に表示され、非対象の書籍Ｂはマスク処理などで不明瞭（非表示を含む）に表示された状態となる（図９（２）右側）。

この状態から、数コマ（数フレーム）分だけ左方向にカメラが移動した状態が図９（３）であり、この状態を経てさらに左に移動すると、図９（４）左側に示すような対象画像を基に、マッチングの結果に基づき、図９（４）右側に示すように、目的物である書籍ＡとＤが明瞭に表示され、非対象の書籍Ｃはマスク処理などで不明瞭に表示された状態となる。

〔３．効果〕
以上のように、本実施形態では、予め入手した商品画像などの目的物を、陳列棚などを撮影した対象画像からマッチングで検出しその部分をグラフィック処理で指摘することにより、目的物を現実世界から簡易かつ確実に検索することが可能となる。また、本実施形態では、端末で指定される検索条件に応じた目的物とその照合用情報をサーバで検索したうえでマッチングを行うことにより、条件指定からマッチングに至る一連の処理が迅速容易になり、未知の多数の候補からでも望みの商品等の発見が容易になる。

また、本実施形態では、クライアントサーバシステムという実現態様により、携帯情報端末の限られた記憶や演算の能力をサーバのそれらで効果的に支援できると共に、サーバでの情報更新により最新情報をクライアントとなる携帯情報機器から利用することができる。

〔４．第２実施形態〕
上記実施形態（「第１実施形態」と呼ぶ）は、クライアントサーバシステムの構成をとったが、携帯情報機器の記憶や計算の能力などに応じ、以上のような全ての処理を、携帯情報機器上で完結させる実現態様も考えられる（第２実施形態）。このような第２実施形態における携帯情報機器（端末）１１の構成を図１０に示す。すなわち、端末１１は、第１実施形態の端末１に準じて、入力手段Ｔと、撮影手段Ｃと、情報の表示部Ｄと、制御を行うコンピュータの構成である演算制御部５及び記憶装置６と、を有するが、通信手段７は必須ではない。

この端末１１では、図１１のフローチャートに示すように、指定受付手段３７が、入力手段Ｔから目的物の指定を受け付ける（ステップＳ３７。指定受付処理）。また、画像取得手段４７が、逐次連続して、カメラＣで検索対象範囲を撮影することにより対象画像を取得すると（ステップＳ４７。画像取得処理）、マッチング手段７２が、取得された前記各対象画像から、前記目的物とマッチした部分を逐次連続して検出する（ステップＳ７２。マッチング処理）。そして、表示手段８７は、逐次連続して前記各対象画像を、そのマッチした部分を指摘するグラフィック加工処理を施して表示部Ｄに表示する（ステップＳ８７。表示処理）。

このように、スタンドアロンの機器単体による実現態様である第２実施形態では、第１実施形態について説明した作用や効果に加え、通信の設備や費用が不要となり、構成が単純で信頼性も改善される。また、通信所要時間の削減により応答の迅速性も改善できる。

なお、上記のような第２実施形態では、検索条件を受け付けて目的物やその照合用情報を検索用情報から検索し取得することは必須ではないが、そのような検索を行う場合は、目的物ごとの照合用情報を含む検索用情報を予め記憶している情報記憶手段を設け、指定受付手段が入力手段から目的物の指定を受け付け、検索結果取得手段が、前記情報記憶手段に記憶されている前記検索用情報から、受け付けられた前記検索条件を基に目的物を検索するとともにその目的物の照合用情報を取得する。そして、マッチング手段が、対象画像から照合用情報とマッチする部分を検出する。

〔５．第３実施形態〕
また、第１実施形態に示したようなクライアントサーバシステムの構成をとる場合に、どの機能をどちら側に配置するかは柔軟に変更可能であり、例えば、商品等の検索はサーバで行うが、画像のマッチングはクライアント（端末）側で行う構成でもよい（第３実施形態）。この第３実施形態について、構成を図１２、処理手順を図１３に示す。

この第３実施形態では、端末１３やサーバ２３の演算制御部等のハードウェア的構成や、端末での検索条件の指定の受け付けやそれを伴う検索要求のサーバへの送信、サーバでの検索要求の受信や照合用情報の取得については第１実施形態（図１）に準じる。但し、第３実施形態では、取得された前記照合用情報を情報送信手段７６が端末１３へ送信し（ステップＳ７６。情報返信処理）、端末１３では、情報受信手段８１が、ステップＳ４０で送信した前記検索条件に対応する照合用情報をサーバ２３から受信する（ステップＳ８１。情報受信処理）。

そして、画像取得手段４５が、逐次連続して、カメラＣで検索対象範囲を撮影することにより対象画像を取得し（ステップＳ４５。画像取得処理）、マッチング手段７１が、逐次連続して取得された前記各対象画像から、受信された前記照合用情報とマッチした部分を逐次連続して検出し（ステップＳ７１。マッチング処理）、表示手段８５が、逐次連続して前記各対象画像を、前記マッチした部分を指摘するグラフィック加工処理を施して表示部Ｄに表示する（ステップＳ８５。表示処理）。

このように、検索をサーバ側で行うが画像のマッチングは端末側で行うことにより、比較的大容量となる画像を端末からサーバへマッチングのため送る必要がなくなり、そのための所要時間やデータ量、パケット料金等が節減可能となる。

〔６．他の実施形態〕
なお、上記各実施形態は例示に過ぎず、本発明は、以下に例示するものやそれ以外の他の実施態様も含むものである。例えば、第１実施形態では、指定された検索条件に基づく検索を含む例を示したが、検索は必須ではないので、第２実施形態に示したように検索を含まない形で、クライアントサーバシステムとして本発明を構成することも可能である。

また、上記各実施形態では、書籍への適用を例示したが、本発明は書籍に限らず、ＣＤジャケットやスナック菓子など各種物品の陳列棚などに適用可能である。また、各構成図、データの図、フローチャート、概念図、画面表示例の図などは例示に過ぎず、各要素の有無、その順序や具体的内容などは適宜変更可能である。また、本発明において、各手段などの要素は、コンピュータの演算制御部に限らず、ワイヤードロジック等に基づく電子回路で実現してもよい。

Ｎ 通信ネットワーク
１ 携帯情報機器（端末）
２ サーバ
５，１５，２５ 演算制御部
６，１６，２６ 記憶装置
７，１７，２７ 通信手段
３０ 情報記憶手段
３５ 検索受付手段
６０ 検索結果取得手段
７０ マッチング手段
８５ 表示手段

Claims (6)

1. 逐次連続して、撮影手段で検索対象範囲を撮影することにより対象画像を複数取得する画像取得手段と、
   取得された各対象画像をサーバに逐次連続して送信する画像送信手段と、
   入力手段から、目的物を表すテキストである検索条件の指定を受け付ける検索受付手段と、
   受け付けられた前記検索条件の指定を伴う検索要求を前記サーバに送信することにより、前記サーバに対して、複数の目的物候補の画像候補と各画像候補に応じた複数の属性との対応関係に基づいて、前記検索条件と前記複数の属性のいずれかにおいてマッチする画像候補を検索させると共に前記検索された画像候補と前記各対象画像とに基づくマッチング処理を実行させる要求送信手段と、
   前記検索された画像候補とマッチした部分を指摘する位置情報又は表示用画像を前記サーバから逐次連続して受信する結果受信手段と、
   逐次連続して受信された前記位置情報又は前記表示用画像を用いて、前記マッチした部分を指摘する表示を逐次連続して表示部に行う表示手段と、
   を具備することを特徴とする携帯情報検索機器。
2. 前記表示手段は、前記マッチした部分を相対的に明瞭に、残余の部分を相対的に不明瞭に表示する、
   ことを特徴とする請求項１記載の携帯情報検索機器。
3. 携帯情報検索機器から、目的物を表すテキストである検索条件の指定を伴う検索要求を受信する検索要求受信手段と、
   前記携帯情報検索機器から検索対象範囲を撮影した対象画像を逐次連続して受信する画像受信手段と、
   複数の目的物候補の画像候補と各画像候補に応じた複数の属性との対応関係に基づいて、前記検索条件と前記複数の属性のいずれかにおいてマッチする画像候補を検索すると共に前記検索された画像候補と前記受信された各対象画像とに基づくマッチング処理を実行することにより、前記検索された画像候補とマッチする部分を逐次連続して検出するマッチング手段と、
   前記検索された画像候補とマッチした部分を指摘するグラフィック加工処理を施した表示用画像又は前記検索された画像候補とマッチした部分の位置を指摘する位置情報を、検出結果として逐次連続して前記携帯情報検索機器に送信する結果送信手段と、
   を具備することを特徴とするサーバ。
4. 携帯情報検索機器とサーバとを具備する検索システムであって、
   前記携帯情報検索機器は、
   逐次連続して、撮影手段で検索対象範囲を撮影することにより対象画像を複数取得する画像取得手段と、
   取得された各対象画像を前記サーバに逐次連続して送信する画像送信手段と、
   入力手段から、目的物を表すテキストである検索条件の指定を受け付ける検索受付手段と、
   受け付けられた前記検索条件の指定を伴う検索要求を前記サーバに送信することにより、前記サーバに対して、複数の目的物候補の画像候補と各画像候補に応じた複数の属性との対応関係に基づいて、前記検索条件と前記複数の属性のいずれかにおいてマッチする画像候補を検索させると共に前記検索された画像候補と前記各対象画像とに基づくマッチング処理を実行させる要求送信手段と、
   前記検索された画像候補とマッチした部分を指摘する位置情報又は表示用画像を前記サーバから逐次連続して受信する結果受信手段と、
   逐次連続して受信された前記位置情報又は前記表示用画像を用いて、前記マッチした部分を指摘する表示を逐次連続して前記表示部に行う表示手段と、
   を具備し、
   前記サーバは、
   前記携帯情報検索機器から、前記検索要求を受信する検索要求受信手段と、
   前記携帯情報検索機器から前記各対象画像を逐次連続して受信する画像受信手段と、
   前記対応関係に基づいて、前記検索条件と前記複数の属性のいずれかにおいてマッチする画像候補を検索すると共に前記検索された画像候補と前記受信された各対象画像とに基づくマッチング処理を実行することにより、前記検索された画像候補とマッチする部分を逐次連続して検出するマッチング手段と、
   前記検索された画像候補とマッチした部分を指摘するグラフィック加工処理を施した表示用画像又は前記検索された画像候補とマッチした部分の位置を指摘する位置情報を、検出結果として逐次連続して前記携帯情報検索機器に送信する結果送信手段と、
   を具備する、
   ことを特徴とする検索システム。
5. 入力手段から、目的物を表すテキストである検索条件の指定を受け付け、
   逐次連続して、撮影手段で検索対象範囲を撮影することにより対象画像を複数取得し、
   取得された各対象画像をサーバに逐次連続して送信し、
   受け付けられた前記検索条件の指定を伴う検索要求を前記サーバに送信することにより、前記サーバに対して、複数の目的物候補の画像候補と各画像候補に応じた複数の属性との対応関係に基づいて、前記検索条件と前記複数の属性のいずれかにおいてマッチする画像候補を検索させると共に前記検索された画像候補と前記各対象画像とに基づくマッチング処理を実行させ、
   前記検索された画像候補とマッチした部分を指摘する位置情報又は表示用画像を前記サーバから逐次連続して受信し、
   逐次連続して受信された前記位置情報又は前記表示用画像を用いて、前記マッチした部分を指摘する表示を逐次連続して表示部に行う、
   ことを特徴とする情報処理方法。
6. 携帯情報検索機器を、
   入力手段から、目的物を表すテキストである検索条件の指定を受け付ける検索受付手段と、
   逐次連続して、撮影手段で検索対象範囲を撮影することにより対象画像を複数取得する画像取得手段と、
   取得された各対象画像をサーバに逐次連続して送信する画像送信手段と、
   受け付けられた前記検索条件の指定を伴う検索要求を前記サーバに送信することにより、前記サーバに対して、複数の目的物候補の画像候補と各画像候補に応じた複数の属性との対応関係に基づいて、前記検索条件と前記複数の属性のいずれかにおいてマッチする画像候補を検索させると共に前記検索された画像候補と前記各対象画像とに基づくマッチング処理を実行させる要求送信手段と、
   前記検索された画像候補とマッチした部分を指摘する位置情報又は表示用画像を前記サーバから逐次連続して受信する結果受信手段と、
   逐次連続して受信された前記位置情報又は前記表示用画像を用いて、前記マッチした部分を指摘する表示を逐次連続して表示部に行う表示手段と、
   として機能させる、
   ことを特徴とするプログラム。

Images