JP6684846B2 - 物品検索システム - Google Patents

Description

本発明は物品検索システムに関するものである。

従来、デジタルカメラと電子メール送信機能を有する携帯電話機と、この携帯電話機とネットワークを介して接続され、画像の特徴量に応じた類似度別にＷｅｂサイトのＵＲＬを関連付けたデータベースを有するＷｅｂサイト画像検索サービス提供サーバーとを備え、携帯電話機は、デジタルカメラで撮影した画像をネットワークを介してＷｅｂサイト画像検索サービス提供サーバーのメールアドレスに送信する手段と、Ｗｅｂサイト画像検索サービス提供サーバーから受信した検索結果のＷｅｂサイトのＵＲＬにアクセスして、そのＷｅｂ情報を表示する手段とを有し、Ｗｅｂサイト画像検索サービス提供サーバーは、携帯電話機から受信した画像から特徴量を抽出して、データベースに格納されたＷｅｂサイトの特徴量と比較して類似度の高いＷｅｂサイトを検索する手段と、検索結果のＷｅｂサイトのＵＲＬを携帯電話機のメールアドレスに返信する手段とを有する携帯電話Ｗｅｂサイト画像検索システムが知られている（特許文献１参照）。

そして、特許文献１には、利用者が興味を持った商品のロゴ、商品名、商品写真などを撮影するだけで、直感的に関連Ｗｅｂサイトに到達することができれば、より多くの顧客をＷｅｂサイトに誘導することができることが説明されている。

特開２００３−２７１６５０号公報

しかしながら、特許文献１のシステムでは、携帯電話機からＷｅｂサイト画像検索サービス提供サーバーのメールアドレスに送信するという手間が必要であり、かつ、構成上、画像の特徴量に応じた類似度別にＷｅｂサイトのＵＲＬを関連付けたデータベースを有するＷｅｂサイト画像検索サービス提供サーバーが必要であるため複雑であるという問題がある。

また、携帯電話機（以下、携帯端末ともいう。）のデジタルカメラで撮影した画像中のどういった画像部分を検索させるのかで検索結果のばらつきが大きいことも予想され、依然として改善の余地がある。

本発明は、このような事情に鑑みてなされたものであり、ネットワークにアクセス可能な携帯端末を用いた物品検索が可能な物品検索システムであって、構成がシンプルで、検索結果の精度が高い物品検索システムを提供することを目的とする。

本発明は、上記目的を達成するために以下の構成によって把握される。
（１）本発明の物品検索システムは、ネットワークにアクセス可能な携帯端末を用いた物品検索が可能な物品検索システムであって、前記携帯端末は、検索対象とする物品を含む画像を表示できる表示部と、前記表示部上でユーザが指定する前記物品を含む前記表示部上の一部の領域を指定領域として認識する領域認識手段と、前記ネットワークにアクセスして、前記指定領域内の画像に基づいて、前記物品に関するネット検索を行うネット検索手段と、前記物品に関する前記ネット検索の結果を前記表示部に表示させる検索結果表示手段と、を備え、前記領域認識手段は、動画が前記表示部に一時停止状態の前記画像として表示されている状態のときに、前記ユーザが前記指定領域を指定した後、一時停止が解除され、前記動画の再生がはじまると、前記表示部上を前記指定領域内の前記画像が移動するのに合わせて、前記指定領域を追従させ、前記ネット検索手段は、あらかじめ定められたタイミングごとに前記指定領域内の前記画像を切り取ることで複数枚の切取画像を取得するとともに、複数枚の前記切取画像のそれぞれに対する画像検索を行うことで、前記指定領域内の前記画像に基づいた複数回の前記ネット検索を実施し、前記検索結果表示手段は、前記ネット検索手段が行った複数回の前記ネット検索の結果を総合的に見て抽出件数の多い前記ネット検索の結果を優先的に前記表示部に表示させる。

（２）上記（１）の構成において、前記携帯端末は動画を含む画像を撮像できる撮像手段を備え、前記動画が前記撮像手段によって撮像されたものである。

（３）上記（１）又は（２）の構成において、前記ネット検索手段は、複数枚の前記切取画像のそれぞれに対して文字列を抽出する処理を行い、前記文字列が抽出された場合、さらに、その抽出された前記文字列ごとに文字検索を行うことで、前記指定領域内の前記画像に基づいたネット検索を実施する。

（４）本発明の物品検索システムは、ネットワークにアクセス可能な携帯端末を用いた物品検索が可能な物品検索システムであって、前記携帯端末は、検索対象とする物品を含む画像を表示できる表示部と、前記表示部上でユーザが指定する前記物品を含む前記表示部上の一部の領域を指定領域として認識する領域認識手段と、前記ネットワークにアクセスして、前記指定領域内の画像に基づいて、前記物品に関するネット検索を行うネット検索手段と、前記物品に関する前記ネット検索の結果を前記表示部に表示させる検索結果表示手段と、を備え、前記ネット検索手段は、前記指定領域内の前記画像を切り取った切取画像を取得するとともに、前記切取画像に対する画像検索を行うことで、前記指定領域内の前記画像に基づいた前記ネット検索を実施する。

（５）本発明の物品検索システムは、ネットワークにアクセス可能な携帯端末を用いた物品検索が可能な物品検索システムであって、前記携帯端末は、検索対象とする物品を含む画像を表示できる表示部と、前記表示部上でユーザが指定する前記物品を含む前記表示部上の一部の領域を指定領域として認識する領域認識手段と、前記ネットワークにアクセスして、前記指定領域内の画像に基づいて、前記物品に関するネット検索を行うネット検索手段と、前記物品に関する前記ネット検索の結果を前記表示部に表示させる検索結果表示手段と、を備え、前記ネット検索手段は、前記指定領域内の前記画像中の文字列を抽出する処理を行い、前記文字列が抽出された場合、その抽出された前記文字列の文字検索を行うことで、前記指定領域内の前記画像に基づいたネット検索を実施する。

（６）上記（４）又は（５）の構成において、前記携帯端末は画像を撮像できる撮像手段を備え、検索対象とする物品を含む前記画像が前記撮像手段で撮像された１枚の静止画である。

（７）上記（１）から（６）のいずれか１つの構成において、前記物品検索システムは、前記表示部上の一部を囲うように前記ユーザによって操作されるマーキングペンを備え、前記領域認識手段は、前記ユーザが前記マーキングペンを用いて前記表示部上の一部を囲う操作を行うと、前記マーキングペンで囲われた領域を前記指定領域として認識する。

（８）上記（１）から（７）のいずれか１つの構成において、前記物品検索システムが商品を購入するための検索を行うシステムであって、前記ネット検索手段は、前記ネットワークにアクセスして、提携するショッピングサイト内で前記ネット検索を実施する。

本発明によれば、ネットワークにアクセス可能な携帯端末を用いた物品検索が可能な物品検索システムであって、構成がシンプルで、検索結果の精度が高い物品検索システムを提供することができる。

本発明に係る第１実施形態の物品検索システムを説明するための図である。 本発明に係る第１実施形態のユーザが指定領域を指定するところを説明するための図である。 本発明に係る第１実施形態のユーザが図２に示す点線に沿った部分をマーキングペンで囲う操作を行った後の状態を示す図である。 本発明に係る第３実施形態の表示部にユーザが撮像手段で撮像した動画が表示され、指定領域の指定を行ったところを示す図である。 本発明に係る第３実施形態の指定領域内の画像が移動するのに合わせて指定領域が追従しているところを示す図である。

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施形態」と称する。）について詳細に説明する。
なお、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。

（第１実施形態）
図１は本発明に係る第１実施形態の物品検索システム１を説明するための図である。
第１実施形態では、物品検索システム１がユーザの購入したい商品を購入するための検索を行うシステムである場合を想定しており、図１に示すように、物品検索システム１は、ネットワークにアクセス可能な携帯端末１０と、ネットワークに接続され、本システムと提携するショッピングサイトを運営するサーバ２０と、を備えている。

携帯端末１０は、一般的なタブレット、スマートフォン及び携帯電話等でよく、画像等を表示する表示部１１と、記憶部（いわゆる、ＲＡＭ、ＲＯＭ、フラッシュメモリ等で構成されるメモリ）と、その記憶部に記憶されたプログラム（例えばＯＳや後述のアプリケーション等）と協業で全体的な動作を司る制御部（ＣＰＵやＬＳＩ等で構成される中央処理装置）と、ネットワークと通信するための通信部（例えば、無線通信装置）と、を備えており、携帯端末１０にインストールされた物品検索システム１を利用するためのアプリケーションの指示の下、携帯端末１０の制御部が物品検索システム１の各種手段として機能し、物品に関するネット検索等が実現されている。

また、物品検索システム１は、携帯端末１０の表示部１１上の一部を指定領域とするためにユーザが操作するマーキングペン１２を備えており、ユーザがマーキングペン１２を用いて表示部１１上の一部を囲う操作を行うと、携帯端末１０の制御部は、ユーザが指定する指定領域を認識する領域認識手段として機能し、マーキングペン１２で囲われた領域を指定領域として認識する。

以下、具体的に、物品検索システム１で物品を検索する流れを説明しながら詳細な構成等についての説明を行う。
図２は、ユーザが指定領域を指定するところを説明するための図である。
なお、図２では、ユーザが携帯端末１０をネットワーク（例えば、インターネット）に接続して、洋服等が閲覧可能なサイトにアクセスして、検索対象とする物品（本例では、洋服）がウェブページを閲覧するためのブラウザ（例えば、Ｇｏｏｇｌｅ（登録商標）等の提供するブラウザ）上に表示されているところを示している。
つまり、表示部１１に検索対象とする物品を含む画像が表示されているところを示している。

そして、図示しない物品検索システム１を利用するためのアプリケーションの起動アイコンをマーキングペン１２（ユーザの指でもよい）等でタップして、アプリケーションを立ち上げると、図２に示すように、その洋服が表示されている表示部１１上には、ユーザによるマーキングペン１２を使用した、表示部１１上での指定によって物品（本例では洋服）を含む表示部１１上の一部の領域を指定領域とするときのための領域指定アイコンＡ１が表示される。

なお、先に物品検索システム１を利用するためのアプリケーションの起動アイコンをマーキングペン１２（ユーザの指でもよい）等でタップして、アプリケーションを起動させた状態とした後に、ウェブページを閲覧するためのブラウザ（例えば、Ｇｏｏｇｌｅ（登録商標）等の提供するブラウザ）を立ち上げて、洋服等が閲覧可能なサイトにアクセスして表示部１１に検索対象とする物品（本例では、洋服）が表示される手順であってもよいことは言うまでもない。

そこで、ユーザは、マーキングペン１２で領域指定アイコンＡ１をタップした後、ネット検索を行いたい物品（本例では、左から３番目の洋服）を含む表示部１１上の一部の領域（点線ＭＫ参照）を囲う操作を行う。

そうすると、先に述べたように、携帯端末１０の制御部は、ユーザが指定する指定領域を認識する領域認識手段として機能し、マーキングペン１２で囲われた領域を指定領域として認識する。

なお、一般的なタブレット、スマートフォン、携帯電話等の表示部（モニタ）は、標準でタッチセンサ付の表示部になっており、この指定領域の認識は、マーキングペン１２が表示部１１に接触すると、その接触位置を表示部１１の有するタッチセンサが検知するので、タッチセンサによって検出されるマーキングペン１２がなぞった軌跡に基づいて行われている。

図３はユーザが図２に示す点線ＭＫに沿った部分をマーキングペン１２で囲う操作を行った後の状態を示す図である。
図３に示すように、領域認識手段は、指定された指定領域を認識すると、ユーザに対して指定された部分が視覚的にわかるように、表示部１１上にマーカー（実線ＭＫ参照）を表示する。

したがって、ユーザはマーカーを見ることで自分が指定したかった領域が指定領域として認識されているかを目視で確認することができる。

また、図３に示すように、領域認識手段が指定領域を認識すると、携帯端末１０の制御部は、ネットワークにアクセスして、指定領域（実線ＭＫ参照）内の画像に基づいて、物品（本例では、左から３番目の洋服）に関するネット検索を行うネット検索手段として機能し、まず、表示部１１上にネット検索を開始する指示をユーザが出すための検索アイコン（文字検索アイコンＡ２及び画像検索アイコンＡ３）を表示する。

なお、ネット検索手段は、検索アイコン（文字検索アイコンＡ２及び画像検索アイコンＡ３）とともに、ユーザがマーカーを見た結果、自分の指定したかった領域で無かったときに、領域認識手段が認識した指定領域（実線ＭＫ参照）を取り消すための取消アイコンＡ４も表示し、例えば、ユーザがマーキングペン１２で取消アイコンＡ４をタップすると、携帯端末１０の制御部は、再び、図２に示した状態に表示部１１の状態を戻すので、ユーザはもう一度指定領域を指定し直すことができる。

そして、ユーザがマーキングペン１２で、例えば、文字検索アイコンＡ２をタップすると、ネット検索手段は、指定領域（実線ＭＫ参照）内の画像に基づいて、物品（本例では、左から３番目の洋服）に関するネット検索を行うことになる。

具体的には、文字検索アイコンＡ２が選択されたので、ネット検索手段は、指定領域（実線ＭＫ参照）内の画像を切り取った切取画像を取得し、ＯＣＲ処理（光学式文字認識処理）を、その切取画像に前処理として行い、切取画像（指定領域内の画像）中の文字列（図３では、洋服に文字等が描かれていない洋服の例になっているが、例えば、洋服についているメーカーの名前やデザインとしての文字列等）を抽出する処理を行う。

そして、ネット検索手段は、文字列が抽出された場合、ネットワークにアクセスして、サーバ２０が提供する本システムと提携するショッピングサイト内に入り、一般に携帯端末１０で利用できるウェブページを見るためのブラウザ（例えば、Ｇｏｏｇｌｅ（登録商標）等の提供するブラウザ）が有する文字検索機能を動作させ、ＯＣＲ処理で読み取った文字列の文字検索を行うことで、指定領域（実線ＭＫ参照）内の画像（切取画像）に基づいたネット検索を実施する。

なお、必ずしも、切取画像からＯＣＲ処理で文字列が取得できるとは言えないので、そのような場合には、携帯端末１０の表示部１１に「文字列が読み取れないため、画像検索アイコンＡ３を選択してください」等の表示を行う。

また、携帯端末１０にＯＣＲ処理用のソフトがインストールされていない場合は、例えば、携帯端末１０は、本システムを提供している事業者のサーバ等の端末にアクセスし、事業者のサーバ等の端末に切取画像を送信して、事業者のサーバ等の端末でＯＣＲ処理を行わせ、事業者のサーバ等の端末が読み取った文字列（文字情報）を携帯端末１０に送信し、事業者のサーバ等の端末から受信した文字情報に基づいて文字検索を行う。

一方、ユーザがマーキングペン１２で、例えば、画像検索アイコンＡ３をタップすると、ネット検索手段は、指定領域（実線ＭＫ参照）内の画像を切り取った切取画像を取得し、ネットワークにアクセスして、サーバ２０が提供する本システムと提携するショッピングサイト内に入り、一般に携帯端末１０で利用できるウェブページを見るためのブラウザ（例えば、Ｇｏｏｇｌｅ（登録商標）等の提供するブラウザ）が有する画像検索機能を動作させ、切取画像に対する画像検索を行うことで、指定領域（実線ＭＫ参照）内の画像（切取画像）に基づいたネット検索を実施する。

なお、本実施形態では、本システムと提携するショッピングサイト内でネット検索を実施することで、その検索で発見された物品（本例では、左から３番目の洋服）に関するネット検索の結果として、その物品（本例では、左から３番目の洋服）が、直ぐに、購入できる状態で得られるものとなる。

しかしながら、本システムと提携するショッピングサイト内でネット検索することに限定されることはなく、ショッピングサイト内に入っていないネットワーク（例えば、インターネット）上でネット検索することを妨げるものではない。

そして、ネット検索手段によるネット検索の結果が得られると、携帯端末１０の制御部は、検索結果表示手段として機能し、ネット検索の結果を表示部１１に表示させる。
本実施形態では、本システムと提携するショッピングサイト内でネット検索しているので、その検索対象とした物品（洋服）を購入するための画面が表示されることになる。

なお、図１では、本システムと提携するショッピングサイトを運営するサーバ２０が１つだけしか描かれていないが、当然、複数のショッピングサイトと提携していてもよく、この場合には、ネット検索手段は、それぞれのショッピングサイト内でネット検索を行い、複数のサイトで検索対象とした物品（本例では、左から３番目の洋服）が発見された場合には、検索結果表示手段が、タップすることで、その検索対象とした物品（本例では、左から３番目の洋服）を購入できる画面に遷移するように紐づけたサイト名の一覧を表示するようにすればよい。

また、先に、ネット検索をショッピングサイト以外のネットワーク（例えば、インターネット）上で行うことを妨げないと説明したが、この場合、検索結果表示手段が、その検索対象とした物品（本例では、左から３番目の洋服）に関するネット検索の結果を表示部１１に表示するときに、ショッピングサイトをヒットさせていると考えられる結果を優先的に表示するようにするのが好ましい。

例えば、一例としては、検索結果表示手段が、ヒットしたネット検索の結果の文章部分に、値段、価格及び特価等のショッピングサイトで多用されるワードが含まれているネット検索の結果を優先的に表示部１１に表示させるようにすれば、ネット検索の結果のうち、その検索対象とした物品（本例では、左から３番目の洋服）を販売しているショッピングサイトにアクセスできるネット検索の結果が優先的に表示部１１に表示される確率を高めることができる。

そして、本実施形態によれば、表示部１１に表示されている画像全体をネット検索の対象とせず、ユーザが表示部１１上で検索対象とする物品（本例では洋服）を含む表示部１１上の一部の領域を指定領域として、その指定領域内の画像に基づいたネット検索を行うため、ネット検索の精度を大幅に高めることができる。

つまり、表示部１１に表示されている画像全体をネット検索の対象とした場合、左から１番目、２番目及び４番目の洋服も検索対象となり、例えば、１番目の洋服のヒット件数が高い場合、検索結果の上位は左から１番目の洋服になることになる。

しかし、本実施形態の場合、左から３番目の洋服だけがネット検索の対象となるため、そのようなことが回避でき、ネット検索の精度を大幅に高めることができる。

また、例えば、ネット上で閲覧できるファッション雑誌、広告等を見ているときには、モデルが帽子、ジャケット、ズボン等の全体的なコーディネートを行った状態で写っている場合が多い。

このようなときに、ユーザが検索して購入したい物品が帽子である場合、帽子のところだけを囲うようにして指定領域を指定すれば、ネット検索の対象が、その帽子だけに絞られることになるので、ネット検索の精度を大幅に高めることができる。

そして、本実施形態では、一般に携帯端末１０で利用できるウェブページを見るためのブラウザが有する検索機能をうまく活用しているため、従来技術のように、画像の特徴量に応じた類似度別にＷｅｂサイトのＵＲＬを関連付けたデータベースを有するＷｅｂサイト画像検索サービス提供サーバーを設ける必要はなく、極めて、シンプルな構成にすることが可能である。

なお、上記では、画像検索アイコンＡ３をタップすると、画像検索だけを行う場合について説明したが、画像検索アイコンＡ３がタップされた場合には、文字検索も併用するようになっていてもよい。

つまり、ユーザが画像検索アイコンＡ３をタップすると、ネット検索手段が切取画像に対する画像検索によるネット検索を実施するとともに、切取画像から文字列が抽出できた場合、さらに、その抽出された文字列に対する文字検索によるネット検索を実施するようにしてもよい。

この場合、２回（複数回）のネット検索が行われることになり、複数のネット検索の結果が得られる。
そこで、検索結果表示手段は、ネット検索手段が行った複数回のネット検索の結果を総合的に見て抽出件数の多いネット検索の結果を優先的に表示部１１に表示させる。

正確さを多少犠牲にしてわかりやすく言えば、それぞれのネット検索の結果のアンドを取って、ネット検索の結果同士で見たときに、ヒット率（抽出件数）の多いネット検索の結果を優先的に表示部１１に表示するようにする。

このようにすれば、ユーザの求める商品が表示部１１に表示される確率を高いものとすることができる。

（第２実施形態）
次に、本発明に係る第２実施形態について説明する。
第２実施形態でも、基本的な構成は、第１実施形態と同様であるため、以下では、主に異なる部分について説明する。

先に説明したように、携帯端末１０は、一般的なタブレット、スマートフォン及び携帯電話等でよく、標準で画像及び動画を撮像できるカメラ等の撮像手段を備えている。
そこで、第２実施形態では、この撮像手段で撮像した画像を基に、ネット検索を行うようにしている。

具体的には、ユーザが携帯端末１０の撮像手段（カメラ）で画像（写真）を撮る操作を行い、表示部１１に撮像手段で撮像された１枚の静止画（写真）が表示されている状態として、先ほどと同様に、物品検索システム１を利用するためのアプリケーションの起動アイコンをマーキングペン１２等でタップしてアプリケーションを立ち上げ、表示部１１上に領域指定アイコンＡ１を表示させる。

そして、ユーザは、先に図２を参照して説明したのと同様に、表示部１１上に表示されている領域指定アイコンＡ１をマーキングペン１２でタップした後、検索対象とする物品を含む表示部１１上の一部の領域をマーキングペン１２で囲むように操作して指定領域を指定する。

このようにして、ユーザが指定領域を指定すると、ネット検索手段は、その指定によって領域認識手段が認識した指定領域内の画像を切り取った切取画像を取得し、その１つの切取画像（指定領域内の画像）に基づいて、物品に関するネット検索を行う。

なお、具体的なネット検索は、先に説明したように、ユーザの選択によって、切取画像（指定領域内の画像）から抽出した文字列に基づく文字検索、又は、切取画像（指定領域内の画像）をそのまま利用した画像検索のどちらかが実施されることになる。

本実施形態の場合、例えば、街中で気になる物品を発見したときでも、第１実施形態と類似のネット検索を実施することができる。
特に、近寄って物品だけを撮像できない場合には、静止画の中には、いろいろな物品が写り込むことになるが、検索対象としたい物品だけを含むように指定領域を指定することで、大幅にネット検索の精度を高めることができる。

なお、上記の説明は、ユーザが携帯端末１０の撮像手段（カメラ）で写真撮影を行ったときの写真の場合について説明したものになっているが、ここでいう１枚の静止画は、写真に限定されるものではなく、ユーザが携帯端末１０の撮像手段（カメラ）で撮った動画を一時停止して１枚の静止画の状態としたものを含む。

（第３実施形態）
次に、本発明に係る第３実施形態について説明する。
第３実施形態でも、基本的な構成は、第１実施形態と同様であるため、以下では、主に異なる部分について説明する。

第３実施形態でも、第２実施形態と同様に、携帯端末１０が一般的に標準装備しているカメラ等の動画を含む画像を撮像できる撮像手段を活用する。
具体的には、第３実施形態では、ユーザが撮像手段で撮像した動画を用いてネット検索を行うことでネット検索の結果の精度を高めることができ、以下、図４及び図５を参照して説明する。

図４は表示部１１にユーザが撮像手段で撮像した動画が表示され、指定領域の指定を行ったところを示す図である。
図５は指定領域内の画像が移動するのに合わせて指定領域が追従しているところを示す図である。

例えば、ユーザが、既に、撮像手段で動画で撮像済みであるものとする。
そして、ユーザが先に説明したのと同様にアプリケーションの起動アイコンをマーキングペン１２等でタップしてアプリケーションを立ち上げるとともに、携帯端末１０の動画再生機能を使って表示部１１に撮像した動画を再生した状態にする。

この場合も、動画が再生されている表示部１１上に、先に説明した領域指定アイコンＡ１が表示された状態になるので、ユーザは、指定領域を指定するために、マーキングペン１２で領域指定アイコンＡ１をタップする。

そうすると、領域認識手段は、領域指定アイコンＡ１をタップされたのを起点として、携帯端末１０の動画再生機能のうちの動画を一時停止させる機能を動作させ、動画が表示部１１に一時停止状態の画像として表示されている状態とする。

そこで、ユーザは、先ほどと同様にマーキングペン１２等で指定領域を囲むようにして指定すると、領域認識手段は、マーキングペン１２で囲われた領域を指定領域として認識する。

例えば、ユーザが、マーキングペン１２等でネット検索を行いたい物品（本例では、階段を歩いている人の上着）を含む表示部１１上の一部の領域（点線ＭＫ参照）を囲う操作を行うと、領域認識手段は、その領域を指定領域として認識し、これまでと同様に、領域認識手段は、図４に示すように、ユーザによって指定された指定領域がわかるように、表示部１１上にマーカー（実線ＭＫ参照）を表示する。

一方、図４では、図示を省略しているが、この場合も、表示部１１には、図３に示した文字検索アイコンＡ２、画像検索アイコンＡ３、及び、取消アイコンＡ４が表示されているが、ユーザは、文字検索アイコンＡ２又は画像検索アイコンＡ３をタップするのではなく、表示部１１上に表示されている携帯端末１０の動画再生機能のうちの再生アイコン（図示せず）をタップし、動画の一時停止を解除する。
なお、ユーザが文字検索アイコンＡ２又は画像検索アイコンＡ３をタップした場合は、先に、第２実施形態で説明したネット検索が行われることになる。

ただし、本実施形態では、携帯端末１０の動画再生機能の再生アイコン（図示せず）をタップするものとしているが、文字検索アイコンＡ２、画像検索アイコンＡ３、及び、取消アイコンＡ４と並べるようにして、携帯端末１０の動画再生機能のうちの動画の一時停止を解除して再生させる機能を動作させるための、再生指示アイコンを設けるようにした態様であってもよい。

なお、指定領域の指定をやり直したい場合には、先ほどと同様に、ユーザが取消アイコンＡ４をマーキングペン１２等でタップすると表示部１１上のマーカー（図４の実線ＭＫ参照）を消すとともに、領域認識手段は、認識した指定領域の取消を行うので、もう一度、ユーザは、マーキングペン１２等で指定領域を囲むようにして指定する。

そして、このように、領域認識手段は、動画が表示部１１に一時停止状態の画像として表示されている状態のときに、ユーザが指定領域を指定した後、一時停止が解除され、動画の再生がはじまると、図５に示すように、表示部１１上を指定領域内の画像（本例では、階段を歩いている人の上着の画像）が移動するのに合わせて、指定領域（図５の実線ＭＫ参照）を追従させる処理を行う。

そして、ネット検索手段は、あらかじめ定められたタイミング（例えば、１秒ごと等のタイミング、数フレームごとのタイミング等）ごとに指定領域内の画像（本例では、階段を歩いている人の上着の画像）を、先ほどと同様に切取画像として取得することで指定領域内の複数枚の画像（本例では、複数枚の階段を歩いている人の上着の画像）を取得するとともに、その複数枚の切取画像（指定領域内の画像）のそれぞれに対する画像検索を行うことで、指定領域内の画像（本例では、階段を歩いている人の上着の画像）に基づいた複数回のネット検索を実施する。

なお、図５では示していないが、例えば、ネット検索手段が所定の枚数の切取画像（指定領域内の画像）を取得した場合、又は、指定領域を追従させた結果、指定領域がフレームアウトした場合に、ネット検索手段は、表示部１１にネット検索の準備が完了した旨の表示、例えば、「文字検索アイコンＡ２又は画像検索アイコンＡ３をタップしてください。」を表示する処理を行う。
ただし、文章による表示に限定される必要はなく、文字検索アイコンＡ２及び画像検索アイコンＡ３の色が変わるようにする等、ネット検索の準備ができたことがユーザに伝わればよい。

さらには、動画を一時停止して静止画としたときの第２実施形態の動作をさせないものとする場合には、ユーザが、マーキングペン１２等で指定領域を指定した段階では、文字検索アイコンＡ２及び画像検索アイコンＡ３を表示部１１に表示させず、取消アイコンＡ４だけを表示させておき、ネット検索の準備が完了したときに、ネット検索手段が文字検索アイコンＡ２及び画像検索アイコンＡ３を表示部１１に表示させるようにしてもよい。

そして、先ほどと同様に、ユーザがマーキングペン１２等で検索アイコン（文字検索アイコンＡ２及び画像検索アイコンＡ３）をタップすると、ネット検索手段は、ネット検索を開始する。

そして、ネット検索の内容自体は、先に説明したのと同様であるが、本実施形態では、それぞれの切取画像（指定領域内の画像）についてネット検索が行われる、つまり、複数回のネット検索を行うことになる点がこれまでとは異なる。

このように、本実施形態では、複数回のネット検索を行うので、複数回のネット検索の結果が得られた状態になる。
そこで、検索結果表示手段は、ネット検索手段が複数枚の切取画像（指定領域内の複数の画像）のそれぞれについて行った複数回のネット検索の結果を総合的に見て抽出件数の多いネット検索の結果を優先的に表示部１１に表示させる。

正確さを多少犠牲にしてわかりやすく言えば、それぞれのネット検索の結果のアンドを取って、ネット検索の結果同士で見たときに、ヒット率（抽出件数）の多いネット検索の結果を優先的に表示部１１に表示するようにしている。

このようにすると、例えば、１枚の画像では、商品のロゴ等の特徴的な部分がうまく写っていなかったとしても、他の画像には特徴的な部分が写っていれば、他の画像を用いたネット検索の結果には、その特徴的な部分を含む商品が多くヒットする確率が高い。

一方、その特徴的な部分がうまく写っていない画像でのネット検索の結果にも、商品の模様等からネット検索の結果の中には、他の画像の場合ほど多くない可能性があるが対象の商品が含まれている可能性が高い。

したがって、例えば、どのネット検索の結果にも含まれている、又は、全てのネット検索の結果を合算したときに多く含まれている等といった抽出手法で、これらを総合的に見てヒット件数（抽出件数）の多いネット検索の結果を優先的に表示部１１に表示させることで、ユーザの求める商品が表示部１１に表示される確率を極めて高いものとすることができる。

なお、本実施形態でも、画像検索アイコンＡ３がタップされた場合、ネット検索手段が、複数枚の切取画像のそれぞれに対して文字列を抽出する処理を行い、文字列が抽出された場合、さらに、その抽出された文字列ごとに文字検索を行うことで、指定領域内の画像に基づいたネット検索を実施するようにして、画像検索によるネット検索の結果だけでなく、その文字列に基づくネット検索の結果も含めて、ネット検索の結果を総合的に見て抽出件数の多いネット検索の結果を優先的に表示部１１に表示させるようにしてもよく、また、動画は、必ずしも、ユーザ自身が所持する携帯端末１０の撮像手段で撮像したものに限定される必要はない。

以上、具体的な実施形態を基に本発明の説明を行ってきたが、本発明は、上記実施形態に限定されるものではなく、実施形態に対して変更や改良を行ったものも発明の技術的範囲に含まれるものである。

上記実施形態では、検索対象とする物品がユーザの購入したい衣服である場合について説明したが、衣服に限定される必要はなく、その他様々な物品（例えば、食料品、家電製品及び雑貨等）であってもよい。

また、上記実施形態では、検索対象とする物品がユーザの購入したい商品である場合について主に説明してきたが、必ずしも、購入するためのネット検索である必要はなく、その物品がどこのメーカーのものであるのかなどの情報だけが欲しい場合もあり、このため、先に少し触れたように、ショッピングサイト内でのネット検索に限られる必要はなく、ショッピングサイト内に入っていない、インターネット上での物品検索であってもよい。
なお、このような場合には、先に実施形態で説明した本システムと提携するショッピングサイトを運営するサーバ２０は省略される。

さらに、携帯端末１０へのアプリケーションのインストールは、ユーザがインストール操作を行うものに限らず、例えば、ネット上のストア等でアプリケーションを選択すると、自動的にインストールされて、携帯端末１０の表示部１１上に、物品検索システム１を利用するためのアプリケーションの起動アイコンが追加されるものであってもよく、携帯端末１０にプリインストールされているものであってもよい。

加えて、上記では、ユーザが指定領域を指定するに当たり、マーキングペン１２を用いていたが、例えば、ユーザの指で表示部１１の指定したい範囲を囲うようにしてもよく、指定したい範囲のほぼ中心と考えられる位置をタップすることで、領域認識手段が、そのタップされた位置を基準にある程度の範囲を指定領域として認識するようにしてもよい。

ただし、表示部１１に表示される検索対象とする物品がどの程度の大きさとして表示されるかは、その時々で変わるため、正しく検索対象とする物品が含まれる一部の範囲を指定領域として指定することを考えれば、ユーザ自身がマーキングペン１２等で指定したい範囲を囲むように操作して指定することが好ましい。

また、上記実施形態では、ネット検索手段がウェブページ等を閲覧するためのブラウザの有する検索機能を動作させ、ネット検索を行う場合について説明したが、携帯端末１０にネット検索用の検索エンジン（文字検索エンジン及び画像検索エンジン）をインストールすることで検索エンジン自体を搭載させて、ネット検索手段がその検索エンジンを動作させることでネット検索を行うものになっていてもよい。

加えて、上記実施形態では、指定領域を指定する操作をユーザが主にマーキングペン１２で行う場合について説明したが、一部で触れたようにユーザの指によって行うことも可能である。

しかしながら、指の場合には表示部１１に接触する面積が大きくなるので、例えば、指定したい領域が小さい場合に正確な指定領域の指定が行い難い場合等があるため、マーキングペン１２を用いる態様のほうがより好ましい。

このように、本発明は、具体的な実施形態に限定される必要はなく、様々な変更や改良を行ったものも発明の技術的範囲に含まれるものであり、そのことは当業者にとって特許請求の範囲の記載から明らかである。

１ 物品検索システム
１０ 携帯端末
１１ 表示部
１２ マーキングペン
２０ サーバ
Ａ１ 領域指定アイコン
Ａ２ 文字検索アイコン
Ａ３ 画像検索アイコン
Ａ４ 取消アイコン

Claims (3)

1. ネットワークにアクセス可能な携帯端末を用いた物品検索が可能な物品検索システムであって、
   前記携帯端末は、
   検索対象とする物品を含む画像を表示できる表示部と、
   前記表示部上でユーザが指定する前記物品を含む前記表示部上の一部の領域を指定領域として認識する領域認識手段と、
   前記ネットワークにアクセスして、前記指定領域内の画像に基づいて、前記物品に関するネット検索を行うネット検索手段と、
   前記物品に関する前記ネット検索の結果を前記表示部に表示させる検索結果表示手段と、を備え、
   前記領域認識手段は、動画が前記表示部に一時停止状態の前記画像として表示されている状態のときに、前記ユーザが前記指定領域を指定した後、一時停止が解除され、前記動画の再生がはじまると、前記表示部上を前記指定領域内の前記画像が移動するのに合わせて、前記指定領域を追従させ、
   前記ネット検索手段は、あらかじめ定められたタイミングごとに前記指定領域内の前記画像を切り取ることで複数枚の切取画像を取得するとともに、複数枚の前記切取画像のそれぞれに対する画像検索を行うことで、前記指定領域内の前記画像に基づいた複数回の前記ネット検索を実施し、
   前記検索結果表示手段は、前記ネット検索手段が行った複数回の前記ネット検索の結果を総合的に見て抽出件数の多い前記ネット検索の結果を優先的に前記表示部に表示させることを特徴とする物品検索システム。
2. 前記携帯端末は動画を含む画像を撮像できる撮像手段を備え、前記動画が前記撮像手段によって撮像されたものであることを特徴とする請求項１に記載の物品検索システム。
3. 前記ネット検索手段は、複数枚の前記切取画像のそれぞれに対して文字列を抽出する処理を行い、前記文字列が抽出された場合、さらに、その抽出された前記文字列ごとに文字検索を行うことで、前記指定領域内の前記画像に基づいたネット検索を実施することを特徴とする請求項１又は請求項２に記載の物品検索システム。