JP5581292B2 - 検索装置、検索方法、記録媒体、ならびに、プログラム - Google Patents

検索装置、検索方法、記録媒体、ならびに、プログラム Download PDF

Info

Publication number
JP5581292B2
JP5581292B2 JP2011217443A JP2011217443A JP5581292B2 JP 5581292 B2 JP5581292 B2 JP 5581292B2 JP 2011217443 A JP2011217443 A JP 2011217443A JP 2011217443 A JP2011217443 A JP 2011217443A JP 5581292 B2 JP5581292 B2 JP 5581292B2
Authority
JP
Japan
Prior art keywords
product
length
search
user
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011217443A
Other languages
English (en)
Other versions
JP2013077215A (ja
JP2013077215A5 (ja
Inventor
宗 益子
二郎 田中
志学 岩淵
賢三 韮澤
龍人 大江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Priority to JP2011217443A priority Critical patent/JP5581292B2/ja
Priority to US14/346,523 priority patent/US9396215B2/en
Priority to PCT/JP2012/058964 priority patent/WO2013046768A1/ja
Publication of JP2013077215A publication Critical patent/JP2013077215A/ja
Publication of JP2013077215A5 publication Critical patent/JP2013077215A5/ja
Application granted granted Critical
Publication of JP5581292B2 publication Critical patent/JP5581292B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465Query processing support for facilitating data mining operations in structured databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0621Item configuration or customization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03Data mining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、検索装置、検索方法、記録媒体、ならびに、プログラムに関し、ユーザの手先等、ユーザの意思に基づいて位置が定められるオブジェクトの位置から検索クエリに指定すべき指定長を得るものである。
従来から、ユーザが望むサイズの商品を検索するため、ユーザにサイズ条件を入力させる技術が提案されている。たとえば、後に掲げる特許文献1には、ユーザが商品の幅、奥行、高さを直接数値入力することにより、当該幅、奥行、高さに適合する商品を検索する商品検索システムが開示されている。
一方、従来から、人間の体の各関節の位置を検出する技術が提案されている。たとえば、後に掲げる特許文献2には、あらかじめ定めた静止姿勢や動作を人間がとることで得られるジェスチャーを、奥行も検知可能なカメラを利用することで検出し、各種の指示入力を行う技術が開示されている。
特開2010−015228号公報 米国特許出願公開第2010/0199228号明細書
ここで、人間は、自分の身体との相対的な関係により、各種の長さを把握することが多い。したがって、数値から実際の長さを理解することが困難な場合も多いし、長さを表す数値を直接得ることが困難であることも多い。
そこで、人間の身体との相対的な関係に基づいて、直感的に所望の商品のサイズを定めて商品を検索する技術が強く望まれている。
本発明は、上記のような課題を解決するもので、ユーザの手先等、ユーザの意思に基づいて位置が定められるオブジェクトの位置から検索クエリに指定すべき指定長を得る検索装置、検索方法、記録媒体、ならびに、プログラムを提供することを目的とする。
本発明の第1の観点に係る検索装置は、
現実空間内でユーザの意思に基づいて位置が変化する複数のオブジェクトのそれぞれの位置を検知する検知部、
前記検知された複数のオブジェクトの位置から、前記ユーザの意思に基づく指定長を算出する算出部、
少なくとも、商品サイズと、商品画像と、を有する商品レコードが管理される商品データベースから、前記算出された指定長に基づく検索条件を満たす商品サイズを有する商品レコードを検索する検索部、
前記検索された商品レコードが有する商品画像を画面に表示する表示部
を備えるように構成する。
また、本発明の検索装置において、
前記複数のオブジェクトの数は2であり、
前記検知部は、前記複数のオブジェクトのそれぞれの位置として、水平方向の位置ならびに垂直方向の位置を検知し、
前記算出部は、前記ユーザの意思に基づく指定長として、前記検知された2つのオブジェクトの位置から、当該2つのオブジェクトの水平方向の距離を表す水平長と、当該2つのオブジェクトの垂直方向の距離を表す垂直長と、を算出し、
前記商品サイズは、商品幅および商品高を含み、
前記検索部は、前記水平長を含む水平範囲を定め、当該垂直長を含む垂直範囲を定め、
前記検索部は、前記水平範囲に含まれる商品幅を有しかつ前記垂直範囲に含まれる商品高を有する商品レコードの個数が、前記水平範囲に含まれる商品幅を有する商品レコードの個数に比べて十分に少ないか否かを、あらかじめ定めた少数条件を満たすか否かにより判定し、
前記検索部は、
(a)前記少数条件が満たされない場合、前記水平範囲に含まれる商品幅を有しかつ前記垂直範囲に含まれる商品高を有する商品レコードを検索結果とし、
(b)前記少数条件が満たされる場合、前記水平範囲に含まれる商品幅を有する商品レコードを検索結果とする
ように構成することができる。
また、本発明の検索装置において、
前記複数のオブジェクトの数は2であり、
前記検知部は、前記複数のオブジェクトのそれぞれの位置として、水平方向の位置を検知し、
前記算出部は、前記ユーザの意思に基づく指定長として、前記複数のオブジェクトの水平方向の距離を表す水平長を算出し、
前記商品サイズは、商品幅を含み、
前記検索部は、前記水平長を含む水平範囲を定め、前記水平範囲に含まれる商品幅を有する商品レコードを検索する
ように構成することができる。
また、本発明の検索装置において、
前記複数のオブジェクトの数は2であり、
前記検知部は、前記複数のオブジェクトのそれぞれの位置として、垂直方向の位置を検知し、
前記算出部は、前記ユーザの意思に基づく指定長として、前記複数のオブジェクトの垂直方向の距離を表す垂直長を算出し、
前記商品サイズは、商品高を含み、
前記検索部は、前記垂直長を含む垂直範囲を定め、前記垂直範囲に含まれる商品高を有する商品レコードを検索する
ように構成することができる。
また、本発明の検索装置において、
前記複数のオブジェクトの数は2であり、
前記検知部は、前記複数のオブジェクトのそれぞれの位置として、水平方向の位置ならびに垂直方向の位置を検知し、
前記算出部は、前記ユーザの意思に基づく指定長として、前記複数のオブジェクトの水平方向の距離を表す水平長と、垂直方向の距離を表す垂直長と、を算出し、
前記商品サイズは、商品幅と、商品高と、を含み、
前記検索部は、前記水平長を含む水平範囲を定め、前記垂直長を含む垂直範囲を定め、前記水平範囲に含まれる商品幅を有し、かつ、前記垂直範囲に含まれる商品高を有する商品レコードを検索する
ように構成することができる。
また、本発明の検索装置において、
前記複数のオブジェクトの数は2であり、
前記検知部は、前記複数のオブジェクトのそれぞれの位置として、水平方向の位置、垂直方向の位置ならびに奥行方向の位置を検知し、
前記算出部は、前記ユーザの意思に基づく指定長として、前記複数のオブジェクトの水平方向の距離を表す水平長と、垂直方向の距離を表す垂直長と、奥行方向の距離を表す奥行長と、を算出し、
前記商品サイズは、商品幅と、商品高と、商品奥行と、を含み、
前記検索部は、前記水平長を含む水平範囲を定め、前記垂直長を含む垂直範囲を定め、前記奥行長を含む垂直範囲を定め、前記水平範囲に含まれる商品幅を有し、前記垂直範囲に含まれる商品高を有し、かつ、前記奥行範囲に含まれる商品奥行を有する商品レコードを検索する
ように構成することができる。
また、本発明の検索装置において、
前記表示部は、前記指定長に対応付けられる拡縮率で前記商品画像を拡縮してから表示する
ように構成することができる。
また、本発明の検索装置において、
前記複数のオブジェクトは、ユーザの両手先であり、
前記表示部は、前記画面内に前記現実空間を撮影した撮影画像を表示し、前記検知された位置から、当該画面内に表示された当該撮影画像内において前記ユーザの両手先が撮影されている位置を推測して、前記検索された商品レコードに含まれる商品画像が、当該推測された位置に挟まれるようにフィットさせて、当該商品画像を表示する
ように構成することができる。
また、本発明の検索装置において、
前記複数のオブジェクトは、ユーザの両手先であり、
前記表示部は、前記画面内に前記現実空間を撮影した撮影画像を表示し、前記検知された位置から、当該画面内に表示された当該撮影画像内において前記ユーザの両手先が撮影されている位置を推測して、当該推測された位置にマークを表示する
ように構成することができる。
また、本発明の検索装置において、
前記表示部は、前記推測された位置が変化すると、当該変化前の位置に前記マークの残像を所定の時間表示する
ように構成することができる。
また、本発明の検索装置において、
前記検知部は、前記ユーザの奥行位置を検知し、
前記表示部は、前記撮影画像を、前記ユーザの奥行位置に対応付けられる拡縮率で拡縮してから、前記画面内に表示する
ように構成することができる。
また、本発明の検索装置において、
前記検知部は、前記撮影画像に基づいて、前記複数のオブジェクトの位置を検知し、
前記検索部は、前記撮影画像に撮影された前記ユーザの姿から、当該ユーザの属性を推定し、当該推定された属性を有するユーザによる商品の購買履歴により、前記商品レコードを絞り込み検索する
ように構成することができる。
また、本発明の検索装置において、
前記複数のオブジェクトは、2人のユーザの両手先であり、
前記2人のユーザの両手先について前記検知された水平方向、垂直方向、奥行方向の位置から、当該2人のユーザの両手先のそれぞれの水平方向の距離、垂直方向の距離、奥行方向の距離が求められ、
求められた水平方向の距離のうち、大きい方の距離が、水平長として算出され、
求められた垂直方向の距離のうち、大きい方の距離が、垂直長として算出され、
求められた奥行方向の距離のうち、大きい方の距離が、奥行長として算出され、
前記商品サイズは、商品幅、商品高ならびに商品奥行を含み、
前記検索部は、前記水平長を含む水平範囲を定め、当該垂直長を含む垂直範囲を定め、当該奥行長を含む奥行範囲を定め、
前記検索部は、前記水平範囲に含まれる商品幅を有し、前記垂直範囲に含まれる商品高を有し、前記奥行範囲に含まれる商品奥行を有する商品レコードを検索する
ように構成することができる。
また、本発明の検索装置において、
前記検索部は、前記指定長を含む指定範囲を定め、前記商品データベースから、前記指定範囲に含まれる商品サイズを有する商品レコードを検索し、
前記表示部は、前記指定範囲を、前記画面にさらに表示する
ように構成することができる。
また、本発明の検索装置において、
前記検索部は、前記検知部により検知された位置が直近の所定時間内に移動した領域の大きさに基づいて、前記指定長を含む指定範囲を定め、前記商品データベースから、前記指定範囲に含まれる商品サイズを有する商品レコードを検索する
ように構成することができる。
また、本発明の検索装置において、
前記表示部は、前記検索部が検索をし直すことにより検索結果に含まれなくなった商品レコードの商品画像の残像を、所定の時間表示する
ように構成することができる。
また、本発明の検索装置において、
前記指定長は所定の精度で算出され、
前記検索部は、前記算出された指定長が変化して、前記検索条件が変化するごとに、前記商品レコードを検索し直す
ように構成することができる。
また、本発明の検索装置において、
前記商品レコードが検索し直されるごとに、前記検索された商品レコードの数の増減を表す情報を、前記画面にさらに表示する
ように構成することができる。
また、本発明の検索装置において、
前記複数のオブジェクトの数は2であり、
前記検知部は、前記複数のオブジェクトのそれぞれの位置として、第1方向の位置ならびに第2方向の位置を検知し、
前記算出部は、前記ユーザの意思に基づく指定長として、前記検知された2つのオブジェクトの位置から、当該2つのオブジェクトの第1方向の距離を表す第1長と、当該2つのオブジェクトの第2方向の距離を表す第2長と、を算出し、
前記商品サイズは、第1商品長および第2商品長を含み、
前記検索部は、前記第1長を含む第1範囲を定め、当該第2長を含む第2範囲を定め、
前記検索部は、前記第1範囲に含まれる第1長を有する商品レコードの個数が十分に多いか否かを、あらかじめ定めた多数条件を満たすか否かにより判定し、
前記検索部は、
(a)前記多数条件が満たされない場合、前記第1範囲に含まれる第1長を有する商品レコードを検索結果とし、
(b)前記多数条件が満たされる場合、前記第1範囲に含まれる第1長を有し、かつ、前記第2範囲に含まれる第2長を有する商品レコードを検索結果とする
ように構成することができる。
また、本発明の検索装置において、
前記表示部は、前記商品データベースに管理される商品レコードが有する商品サイズの最大値と最小値との少なくとも一方の情報を、前記画面内に表示する
ように構成することができる。
また、本発明の検索装置において、
前記表示部は、前記検索条件における前記指定長の方向の情報を、前記画面内に表示する
ように構成することができる。
本発明の第2の観点に係る検索方法は、検知部、算出部、検索部、表示部を有する検索装置が実行し、
前記検知部が、現実空間内でユーザの意思に基づいて位置が変化する複数のオブジェクトのそれぞれの位置を検知する検知工程、
前記算出部が、前記検知された複数のオブジェクトの位置から、前記ユーザの意思に基づく指定長を算出する算出工程、
前記検索部が、少なくとも、商品サイズと、商品画像と、を有する商品レコードが管理される商品データベースから、前記算出された指定長に基づく検索条件を満たす商品サイズを有する商品レコードを検索する検索工程、
前記表示部が、前記検索された商品レコードが有する商品画像を画面に表示する表示工程
を備えるように構成する。
本発明の第3の観点に係るプログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体は、コンピュータを、
現実空間内でユーザの意思に基づいて位置が変化する複数のオブジェクトのそれぞれの位置を検知する検知部、
前記検知された複数のオブジェクトの位置から、前記ユーザの意思に基づく指定長を算出する算出部、
少なくとも、商品サイズと、商品画像と、を有する商品レコードが管理される商品データベースから、前記算出された指定長に基づく検索条件を満たす商品サイズを有する商品レコードを検索する検索部、
前記検索された商品レコードが有する商品画像を画面に表示する表示部
として機能させるように構成する。
本発明の第4の観点に係るプログラムは、コンピュータを、
現実空間内でユーザの意思に基づいて位置が変化する複数のオブジェクトのそれぞれの位置を検知する検知部、
前記検知された複数のオブジェクトの位置から、前記ユーザの意思に基づく指定長を算出する算出部、
少なくとも、商品サイズと、商品画像と、を有する商品レコードが管理される商品データベースから、前記算出された指定長に基づく検索条件を満たす商品サイズを有する商品レコードを検索する検索部、
前記検索された商品レコードが有する商品画像を画面に表示する表示部
として機能させるように構成する。
本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読み取り可能な非一時的(non-transitory)な記録媒体に記録することができる。また、これらの記録媒体は、コンピュータとは独立して配布・販売することができる。
また、本発明のプログラムは、上記のような記録媒体から、RAM(Random Access Memory)等のコンピュータによる読み書き可能な記録媒体にロードされ、一時的(temporary)に記録された上で、CPU(Central Processing Unit)が、当該RAM等に記録されたプログラムを読み出して解釈、実行するように構成することができる。
さらに、本発明のプログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網等の一時的(transitory)な伝送媒体を介して配布・販売することができる。
本発明によれば、ユーザの手先等、ユーザの意思に基づいて位置が定められるオブジェクトの位置から検索クエリに指定すべき指定長を得る検索装置、検索方法、記録媒体、ならびに、プログラムを提供することができる。
本発明の実施例に係る検索装置の概要構成を示す説明図である。 本発明の実施例に係る検索装置を実現するコンピュータ等と、ユーザとの位置関係を説明する説明図である。 オブジェクトの位置の検知と距離の算出の手法を説明する説明図である。 本発明の実施例に係る検索装置にて実行される検索処理の制御の流れを示すフローチャートである。 検知されたユーザの両手先の位置と、指定長との関係を示す説明図である。 検知されたユーザの両手先および腰の位置と、指定長との関係を示す説明図である。 二人のユーザの両手先の位置と、指定長との関係を示す説明図である。 画面に対する商品画像等の情報の表示例を示す説明図である。 画面に対する商品画像等の情報の表示例を示す説明図である。 画面に対する商品画像等の情報の表示例を示す説明図である。 水平範囲により商品を検索する旨を画面に表示する表示例である。 垂直範囲により商品を検索する旨を画面に表示する表示例である。 水平範囲ならびに垂直範囲により商品を検索する旨を画面に表示する表示例である。 商品画像の大きさを指定長に応じて変化させる表示例を示す説明図である。 ユーザの動作をわかりやすく画面に表示する表示例である。 指定長の精度を画面に表示する表示例を示す説明図である。 ユーザが姿勢を変化させたために、商品レコードの数が変化した場合の表示例を示す説明図である。 ユーザが姿勢を変化させたために、商品レコードの数が変化した場合の表示例を示す説明図である。
以下に本発明の実施形態を説明する。なお、本実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
本発明に係る検索装置は、ゲーム用エンターテインメント端末やパーソナルコンピュータ等、各種のコンピュータにおいて、所定のプログラムを実行することにより実現することができる。
ここで、コンピュータとは、CPUがプログラムを実行することによって、RAMを一時的な記憶域や処理の結果の出力先として利用し、キーボードやマウス等の入力装置によりユーザからの指示を受け付けたり、ディスプレイ等の出力装置に処理の結果を出力したり、NIC(Network Interface Card)を介して他の機器と通信することにより上記の入出力を行ったりするハードウェアであり、入出力用の機器は、適宜省略することも可能である。
コンピュータのハードディスク等には、CPUが実行するプログラムのほか、CPUによる処理の対象となる各種の情報を表現したレコードが蓄積されたデータベースが記録される。CPUは、データベースから検索クエリに合致するレコードを検索したり、データベースに新たなレコードを追加したり等の処理を行う。
このほか、FPGA(Field Programmable Gate Array)等の技術を応用することにより、プログラムから電子回路の設計を作成し、当該設計に基づいて、専用の電子回路を構成することによって、本発明の検索装置を実現することも可能である。
(検索装置)
図1は、本発明の実施例に係る検索装置の概要構成を示す説明図である。図2は、本発明の実施例に係る検索装置を実現するコンピュータ等と、ユーザとの位置関係を説明する説明図である。以下、これらの図を参照して説明する。
図1に示すように、検索装置101は、検知部102、算出部103、検索部104、表示部105を備える。
本実施例では、図2に示すように、検索装置101は、モーションセンサ152とディスプレイ153とが接続されたコンピュータ151本体において所定のプログラムを実行することにより実現される。
ユーザ161の位置や姿勢はモーションセンサ152により検知され、ユーザ161は、ディスプレイ153の画面に表示される検索結果等を閲覧する。
ここで、検知部102は、現実空間内でユーザ161の意思に基づいて位置が変化する複数のオブジェクトのそれぞれの位置を検知する。
ユーザ161の意思に基づいて位置が変化する複数のオブジェクトとして、最も単純なものは、ユーザ161の右手先162と左手先163である。ユーザ161の両手先の現実空間における位置は、奥行検出可能なカメラを用いたモーションセンサ152を利用することにより、検知することが可能である。
このほか、所定の立体形状を持つ物体、たとえば、自立可能な旗、小型のパイロン、煙草の箱、AR(Augmented Reality)技術で利用されるマーカなどを、ユーザの意思に基づいて位置が変化するオブジェクトとして利用することも可能である。上記のモーションセンサ152における奥行検出技術や、各種の画像認識技術を応用することにより、これらのオブジェクトの現実空間における位置を検知することが可能である。
この際には、オブジェクトの色彩(たとえば、手先の肌色、赤い旗やパイロンなどを利用する。)をあらかじめ定めておき、色彩を手がかりに画像認識を行うことで、高速かつ正確な認識が可能となる。
また、位置が検知されたオブジェクトの個数が、あらかじめ想定していた数よりも多い場合、たとえば、本来は2つであるべき赤い旗が4つ認識できてしまった場合等には、モーションセンサ152に近い順にオブジェクトを所定の個数選択することで、無用な認識結果を除去することができる。
なお、後述するように、オブジェクトの数は、適宜変更が可能である。本実施例では、1人のユーザの両手先を利用するため、位置を検知すべきオブジェクトの個数は2となるが、2人のユーザの両手先を利用する場合には、位置を検知すべきオブジェクトの個数は4となる。
一方、算出部103は、検知された複数のオブジェクトの位置から、ユーザの意思に基づく指定長を算出する。
最も単純には、複数のオブジェクトの間の現実空間における距離を算出し、これを指定長とする手法がある。
図3は、オブジェクトの位置の検知と距離の算出の手法を説明する説明図である。以下、本図を参照して説明する。
モーションセンサ152は、ユーザ161とモーションセンサ152との奥行距離171を、赤外線等を用いて測定する。
また、モーションセンサ152は、ユーザ161をカメラにより撮影した撮影画像内における右手先162や左手先163の位置を推定する。
そして、人間の関節や骨格に関する制約条件を元に、現実空間における右手先162ならびに左手先163の3次元的な位置を検知する。
このほか、撮影画像内における右手先162と左手先163の画像内距離から、右手先162とモーションセンサ152と左手先163とがなす角172を検知することも可能である。この場合には、右手先162の奥行、左手先163の奥行、すなわち、両手先とモーションセンサ152との距離は、ほぼ奥行距離171に等しい、と近似すれば、奥行距離171(d)と、角172(θ)と、から、右手先162と左手先163との間の現実世界における距離(L)を、
L = d×tan(θ/2)
のように、近似的に計算することもできる。
なお、算出すべき指定長は、1つに限る必要はない。複数のオブジェクトの位置から指定長を算出する種々の具体例については後述する。
さらに、検索部104は、少なくとも、商品サイズと、商品画像と、を有する商品レコードが管理される商品データベースから、算出された指定長に基づく検索条件を満たす商品サイズを有する商品レコードを検索する。
商品データベースに管理される商品レコードは、一般的には、以下のような情報を含む。
(1)商品ID(IDentifier)。
(2)商品カテゴリ。
(3)商品名。
(4)商品の幅、高さ、奥行などにより表現される商品サイズ。
(5)商品の外観を表す商品画像のファイル名やURL(Universal Resource Locator)。
(6)商品の価格。
(7)商品の詳細情報を提供するURL。
(8)商品特有のサイズ情報。たとえば、テレビジョン装置における対角線のインチ数や、衣服におけるSS、S、M、L、LL、XL等のサイズ表示。
このような商品データベースを利用し、複数のオブジェクトとしてユーザの両手先を採用し、商品の幅と指定長との誤差が所定の閾範囲内であることを検索条件として採用すれば、ユーザが手を使って表現した幅に近い幅を持つ商品レコードが検索されることになる。
最後に、表示部105は、検索された商品レコードが有する商品画像をディスプレイ153の画面に表示する。
検索結果の商品レコードに係る商品画像は、そのまま並べて画面に表示するのが最も単純である。このほか、画面内の所定の領域内に、商品画像を1枚ずつ一定時間おきに順にスライドショー表示する等の態様を採用することもできる。
また、指定長に大小に応じて、商品画像を拡縮して画面に表示することにより、現在の指定長をユーザにフィードバックするとともに、商品の相対的な大きさをユーザが把握しやすくすることも可能である。
なお、画面には、商品画像のほか、モーションセンサ152が有するカメラにより撮影されたユーザ161の姿を表示し、さらに、位置が検知できたオブジェクトの撮影画像内における位置にマークを表示して、ユーザ161に対して指定長の入力のフィードバックを行うことが望ましい。
たとえば、ユーザ161の右手先と左手先をオブジェクトとして採用した場合には、画面に表示されるユーザの撮影画像において、右手先と認識された部分と左手先と認識された部分に、それぞれ右手と左手を表すマークを重ねて表示することで、ユーザ161は、自分の意思通りに指定長が認識されているかを確認することができる。
以下では、1人のユーザの両手先を複数のオブジェクトとして採用し、両手先の水平方向の距離を指定長として採用し、検索条件として指定長と商品の幅が所定の閾値以下であることを採用した例を説明する。
(検索処理)
図4は、本実施例に係る検索装置101にて実行される検索処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。
ユーザにより、商品データベースから特定のジャンルの商品を検索する旨の選択がなされると、本処理が開始される。これは、「特定のジャンルの商品であって、かつ、指定長に基づいて定められる検索条件を満たす商品」を「全商品が登録されている商品データベース」から検索することに相当する。
なお、ジャンルの選択には、特許文献2に開示されるような公知の技術を利用しても良いし、キーボードやマウス、ゲームコントローラなどを利用した入力技術を応用しても良い。
本処理が開始されると、まず、検索装置101を実現するコンピュータのCPUは、モーションセンサ等を利用して、ユーザの両手先、すなわち、オブジェクトの現実空間における位置を検知する(ステップS201)。したがって、CPUの制御の下、モーションセンサ等が、検知部102として機能する。
ついで、CPUは、検知された両手先の位置の履歴を参照し、ユーザが所定のジェスチャーをとっているか否かを判定する(ステップS202)。ここで、所定のジェスチャーとは、検索処理を終了することを表す処理である。
ユーザが所定のジェスチャーをとっていない場合(ステップS202;No)、CPUは、検知された両手先の位置から、指定長を算出する(ステップS203)。上記のように、本実施例では、現実空間における両手先の水平方向の距離を計算して、これを指定長とする。したがって、CPUは、算出部103として機能する。
さらに、CPUは、算出された指定長から、検索条件を生成する(ステップS204)。上記のように、本実施例では、指定長と商品の幅との差が、所定の閾値以下であることを表す検索クエリを生成し、これを検索条件とする。
そして、CPUは、商品データベースから、検索条件を満たす商品レコードを検索する(ステップS205)。したがって、CPUは、商品レコードが記録されているハードディスク等と共同して、検索部104として機能する。
さらに、CPUは、検索結果の商品レコードに含まれる商品画像を、画面に対する表示対象として設定して(ステップS206)、ステップS201に戻る。
ここで、商品画像が表示対象として設定されると、その後は、本処理と並行して動作する表示処理において、表示対象に設定された商品画像が適宜画面に表示される。
なお、商品レコードの検索は、計算負荷が大きいことも多い。そこで、ステップS204にて生成された検索条件が、以前に生成された検索条件と異なる場合にのみ、商品レコードの再検索(ステップS205)ならびに表示対象の商品画像の設定(ステップS206)を行うこととしても良い。
一方、ユーザが所定のジェスチャーをとっていると判定された場合(ステップS202;Yes)、本処理を終了する。
所定のジェスチャーとしては、たとえば、以下のような態様がありうる。
(1)ユーザから見て両手先を前後に動かすジェスチャー。これは、モーションセンサから見ると、両手先が奥行方向に動くジェスチャーに相当する。
(2)両手先を所定時間だけ静止し続けるジェスチャー。
(3)片手先を隠すジェスチャー。モーションセンサがユーザの姿を撮影していて、その撮影画像が画面内に表示されている状況で、画面の外に方手先を出すようなジェスチャーである。
なお、所定のジェスチャーは、これらの態様には限られない。後述する指定長の態様や、指定長の範囲の態様と衝突しない限りにおいて、任意のジェスチャーを採用することができる。
本処理が終了した際には、ステップS201〜S206の繰り返しにおいて、最後に算出された指定長、最後に生成された検索条件、検索結果の商品レコードが、ユーザ所望の指定長、検索条件、商品レコードである、ということとなる。
したがって、本処理に引き続いて実行される種々の処理においては、最後の指定長、検索条件、商品レコードを、ユーザ所望のものとして、処理の対象とすることができる。
(指定長の態様)
さて、ユーザの両手先を2つのオブジェクトとする場合には、指定長として、以下のような態様を採用することができる。ここで、検知された両手先の位置が、水平方向、鉛直方向、奥行方向の数値を並べた三次元直交座標の座標値により、(x1,y1,z1)ならびに(x2,y2,z2)と表現されるものとする。
まず、指定長が1つ指定され、当該指定長が商品の幅を表す態様がある。この場合には、指定長として、|x2-x1|、もしくは、〔(x2-x1)2+(y2-y1)21/2を採用することができる。この態様は、サイズの縦横比がほぼ一定と考えられるジャンルの商品について、商品サイズを指定する場合に好適である。
なお、指定長が商品の幅を表しているか否かは、|x2-x1|が|y2-y1|に比べて十分大きいか否か、たとえば、前者の後者に対する比が所定の閾値以上であるか否かによって判定することも可能である。
次に、指定長が1つ指定され、当該指定長が商品の高さを表す態様がある。
この場合には、指定長として、|y2-y1|、もしくは、〔(x2-x1)2+(y2-y1)21/2を採用することができる。この態様は、たとえばスカートの長さ等、高さ方向のサイズが重要と考えられるジャンルの商品について、商品サイズを指定する場合に好適である。
なお、指定長が商品の高さを表しているか否かは、|y2-y1|が|x2-x1|に比べて十分大きいか否か、たとえば、前者の後者に対する比が所定の閾値以上であるか否かによって判定することも可能である。
また、指定長が1つ指定され、当該指定長が商品の対角線の長さを表す態様がある。
この場合には、指定長として、〔(x2-x1)2+(y2-y1)21/2を採用することができる。この態様は、たとえば液晶ディスプレイやテレビジョン装置等、対角線のサイズが重要と考えられるジャンルの商品について、商品サイズを指定する場合に好適である。
なお、指定長が商品の対角線の長さを表しているか否かは、たとえば、|y2-y1|と|x2-x1|との比が、1対2乃至2対1の範囲であるか否か等、想定されるジャンルの商品における代表的な縦横比から所定の誤差範囲内であるか否かによって判定することが可能である。
なお、商品のジャンルに適した指定長が1種類である場合(たとえば、商品高である場合)には、ユーザがどの方向に両手先を広げていたとしても(たとえば、左右に広げていたとしても)、その両手先により示される上記のような種々の距離を、商品のジャンルに適した方向の指定長として算出することとしても良い。
たとえば、スカート丈は垂直方向の長さではあるが、検索対象となっている商品データベースがスカートという商品ジャンルに限定されている場合(商品データベースにスカートのみが登録されている場合や、あらかじめユーザにより、商品ジャンルがスカートであると選択されている場合等)には、両手先の垂直方向の距離と水平方向の距離のいずれか長い方を、商品高に対する指定長として算出することができる。
さて、指定長が2つ指定され、当該指定長が商品の幅と高さを表す態様もある。
この場合には、幅に対応する指定長として|x2-x1|を、高さに対応する指定長として|y2-y1|を、それぞれ採用することができる。
このほか、指定長が3つ指定され、当該指定長が商品の幅、高さ、奥行を表す態様がある。
この態様では、幅に対応する指定長として|x2-x1|を、高さに対応する指定長として|y2-y1|を、奥行に対応する指定長として|z2-z1|を、それぞれ採用することができる。
図5は、検知されたユーザの両手先の位置と、指定長との関係を示す説明図である。以下、本図を参照して説明する。
ユーザ161の右手先162の座標(x1,y1,z1)と、左手先163の座標(x2,y2,z2)と、から、幅、高さ、奥行のそれぞれに対する指定長|x2-x1|,|y2-y1|,|z2-z1|を求めることができる。
また、モーションセンサを利用してユーザの関節の位置を検知する態様では、右手先、左手先のほか、ユーザの腰(臍、丹田)を、オブジェクトとして採用する態様もありうる。この態様は、指定長を3つ指定する場合に好適である。
図6は、検知されたユーザの両手先および腰の位置と、指定長との関係を示す説明図である。以下、本図を参照して説明する。
本図では、図5と同様に、ユーザ161の右手先162の座標(x1,y1,z1)と、左手先163の座標(x2,y2,z2)が定められるほか、ユーザ161の腰164の座標値(x3,y3,z3)が図示されている。
この態様では、幅に対応する指定長として|x2-x1|を、高さに対応する指定長として|y2-y1|を採用する。すなわち、右手先と左手先によって、商品の幅と高さを指定する。
また、奥行に対する指定長として、max(|z3-z2|,|z3-z1|)を採用する。これは、右手先と左手先のうち、臍から遠い方と、臍との距離を、奥行とするものである。
大きな商品を抱き抱えるときには、右手先と左手先と、臍で商品の隅を支えることが多い。本態様は、この支え方に対応して、指定長を得るものである。
なお、本態様では、ユーザの腰の位置にかえて、ユーザの頭の位置を利用することとしても良い。
このほか、2人のユーザが協力して、指定長を3つ指定する態様もある。この態様では、ユーザの両手先を4つのオブジェクトとして採用し、ユーザごとの両手先の奥行の差を比較する。
そして、奥行の差が小さいユーザの両手先の位置から、商品の幅と高さに対する指定長を得て、奥行の差が大きいユーザの両手先の位置から、商品の奥行に対する指定長を得る。
図7は、二人のユーザの両手先の位置と、指定長との関係を示す説明図である。以下、本図を参照して説明する。
本図には、1人目のユーザの両手先162a、163a、2人目のユーザの両手先163b、163bが図示されている。
本図に示す例では、両手先162a、163aの奥行の差と、両手先163b、163bの奥行の差と、を比較した場合に、両手先163b、163bの奥行の差の方が大きい状況を想定している。
したがって、奥行長193は、2人目のユーザの両手先163b、163bの奥行の差から求められることになる。
また、水平長191、垂直長192は、1人目のユーザの両手先162a、163aの水平方向の差ならびに垂直方向の差から求められることになる。
ここで、本図に示すように、1人目のユーザの両手先162a、163aの水平方向の差(水平長191)ならびに垂直方向の差(垂直長192)、2人目のユーザの両手先163b、163bの奥行の差(奥行長193)により定められる直方体195を考える。
すると、1人目のユーザの両手先162a、163aは、直方体181の奥行方向に伸びる4辺のうち、対向する2辺の上に存在することになる。また、2人目のユーザの両手先162b、163bは、直方体181の奥行方向に対向する2面を挟むように配置されていることになる。
このように、2人のユーザが協力することによって、商品サイズを指定することが可能である。
(指定長の範囲の態様)
上記のように指定長が指定された場合であっても、商品のサイズと指定長とが完全に一致することは稀である。したがって、指定長と商品とのサイズとの間にある程度の差があるものも、検索対象とすることが好ましい。
そこで、指定長Sと、当該指定長Sに対比される商品のサイズLから、以下のような各種の検索条件を用いることで、商品を検索することが好ましい。
(1)条件「|S-L|≦E」。ただし、Eは、あらかじめ定めた定数長。Eとしては、たとえば、5cm〜20cm程度を採用することができる。
(2)条件「|S-L|/S≦K」。ただし、Kは、あらかじめ定めた定数。Kとしては、たとえば、0.05〜0.20程度を採用することができる。
また、大型テレビジョン装置は対角線長をインチで表現しているが、任意のインチ数の商品が販売されているわけではなく、42インチ、46インチ、50インチ、60インチなどのように、飛び飛びの値をとっている。この場合には、飛び飛びの値から指定長に最も近いものを選び出し、選び出された値のサイズを有する商品を検索するように、検索条件を設定すれば良い。
また、上記Eを、定数ではなく、ユーザの動作により指定する態様もある。この態様については、後述する。
以下、理解を容易にするため、オブジェクトの水平方向の距離から得られる指定長を水平長と呼び、当該水平長に対する範囲を水平範囲と呼ぶ。たとえば上記条件(1)においては、水平長Sに対する水平範囲は、S-E以上S+E以下の範囲に相当する。
同様に、以下では、垂直長、垂直範囲、奥行長、奥行範囲のような呼称を用いて、説明することとする。
(商品画像等の表示)
上記のように、ステップS206にて表示対象に設定された商品画像は、画面に表示される。図8、9、10は、画面に対する商品画像等の情報の表示例を示す説明図である。以下、これらの図を参照して説明する。
図8に示す表示例では、画面301の中に、撮影画像表示領域311と、商品画像表示領域321と、が、用意されている。
ここで、撮影画像表示領域311には、モーションセンサにより撮影されたユーザの姿312を含む撮影画像が表示される。また、撮影画像のうち、両手先と認識された部分が描画されている位置には、認識結果をユーザにフィードバックするために、円形の中に十字線が描かれたマーク313が表示されている。
一方、商品画像表示領域321には、検索結果の商品レコードに含まれる商品画像322が複数、列挙表示されている。このため、ユーザは、自分が指定した商品サイズの商品を容易に一覧することができる。
図9に示す表示例においても、画面301の中に、撮影画像表示領域311と、商品画像表示領域321と、が、用意されている。商品画像表示領域321は、マーク313の中心に商品画像表示領域321の隅が挟まれるように配置されている。商品画像表示領域321には、商品画像322が1枚だけ、商品画像表示領域321にフィットするように拡大縮小されて表示されている。
本表示態様では、撮影画像内のユーザの姿312の大きさに合わせて商品画像322が配置されるため、ユーザは、商品の大きさを自分の身体の大きさと比較することができる。
さらに、モーションセンサが検知したユーザへの奥行距離に比例する拡大率で撮影画像を表示したり、ユーザの関節を認識した上で、ユーザの頭と臍(腰)との距離が画面301内で所定の大きさになるように撮影画像の拡大率を調整することとすれば、ユーザとモーションセンサとの距離にかかわらず、撮影画像内に表示されるユーザの姿312の大きさがほぼ一定となるようにすることができる。このような技術を適用することにより、ユーザは、指定長や商品サイズを直感的に理解することが可能となる。
図10に示す表示例では、図9と同様に、商品画像表示領域321は、マーク313の中心に商品画像表示領域321の隅が挟まれるように配置されている。
そして、商品画像表示領域321内には、図8と同様に、商品画像322が列挙表示されている。
本態様では、ユーザは、画面301から自分の身体に対する商品サイズと、当該商品サイズに適合する商品の一覧と、を同時に閲覧することが可能となる。
なお、商品画像の表示の態様は種々考えられるため、その詳細については、後述する。
以下では、本検索装置101の種々の実施例について、さらに詳細に説明する。なお、以下の説明では、理解を容易にするため、本実施例をさらに詳細に構成した事項や本実施例との相違点を中心に記述することとし、本実施例との共通点については適宜説明を省略する。
本実施例は、ユーザの左右の手先をオブジェクトとして採用する場合に好適な態様である。
一般に、人間が長さを身体で表現する場合、幅を指定するには両手先を左右に広げ、高さを指定するには両手先を上下に広げることが多いが、両手先で高さと幅の対角線を表現することもある。
一方、商品には、縦横比がほぼ一定と考えられるもの、主として高さにより商品のバリエーションが決まるもの、主として幅により商品のバリエーションが決まるもの等、商品のジャンルによって様々な種類がある。
本実施例は、ユーザの手先が商品の幅を指すのか、幅のみならず、商品の高さを指すのか、を商品のジャンルに合わせて自動的に判断するものである。
本実施例では、ユーザの両手先がオブジェクトとなるので、オブジェクトの個数は2となる。
また、本実施例の最も単純な態様では、両手先の奥行は考慮しない。この場合には、モーションセンサを利用することにより検知された両手先の奥行方向の位置は無視して、水平方向の位置と、垂直方向の位置と、を用いる。
ここで、本実施例の算出部103は、上記実施例と同様に、ユーザの両手先の水平方向の距離から水平長ならびに水平範囲を算出し、垂直方向の距離から垂直長ならびに垂直範囲を算出する。
そして、検索部104は、以下の2つの条件による検索を行う。
(1)水平範囲に含まれる商品幅を有する商品レコード。この条件を満たす商品レコードの数をNwとする。
(2)水平範囲に含まれる商品幅を有し、かつ、垂直範囲に含まれる商品高を有する商品レコード。この条件を満たす商品レコードの数をNwhとする。
本実施例では、NwhがNwに比べて十分に少ない場合、ユーザは商品幅による検索を望んでいると推測して、条件(1)による検索結果を採用して、商品画像をユーザに提示する。
一方、NwhがNwに比べて十分に少ないとはいえない場合、ユーザは、商品幅と商品高の両方による検索を望んでいると推測して、条件(2)による検索結果を採用して、商品画像をユーザに提示する。
ここで、「xがyに比べて十分に少ない」ことを表す条件(以下「少数条件」という。)には、最も単純には、
x=0かつy≧1
を採用することができる。これは、上記の例では、水平範囲と垂直範囲の両方を満たす商品は存在しないが、水平範囲を満たす商品は存在する場合に相当する。
また、これをより一般化して、所定の正閾値Mに対して、
x<Mかつy≧M
の場合に、少数条件が満たされるとしても良いし、
x×M≦y
の場合に、少数条件が満たされるとすることも可能である。
上記の実施例では、ユーザが左右の手先を利用して長さを指定する場合には、幅を指定している可能性が高い、ということを前提としていたが、これをより一般化することも可能である。すなわち、
(1)水平範囲に含まれる商品幅を有する商品レコード(個数Nw)。
(2)水平範囲に含まれる商品幅を有し、かつ、垂直範囲に含まれる商品高を有する商品レコード(個数Nwh)。
(3)垂直範囲に含まれる商品高を有する商品レコード(個数Nh)。
の3種の検索を行い、Nw,Nh,Nwhの大小関係から、ユーザの希望はいずれであるかを推定するものである。
NwhがNwに対して十分に少ない場合、もしくは、NwhがNhに対して十分に少ない場合には、ユーザは、幅と高さの両方を指定しているとはいえない。そこで、この場合には、Nw>Nhであれば、条件(1)による検索結果を採用し、Nw≦Nhであれば、条件(3)による検索結果を採用する。
NwhがNwに対して十分に少ないとはいえず、かつ、NwhがNhに対して十分に少ないとはいえない場合には、上記(2)による検索結果を採用する。
なお、条件(1)や条件(3)による検索結果の数が多すぎる場合には、ユーザにとってより有用な検索結果を提示するため、条件(2)による検索結果を採用することとしても良い。
このほか、水平長と垂直長のうち、長い方を第1長、短い方を第2長とし、それぞれに対応する第1範囲と第2範囲を定めて、まず第1範囲により商品レコードを検索する手法もある。
この手法では、第1範囲により検索された商品レコードの個数が多すぎる場合(所定の閾値を超えたか否かにより判定しても良いし、上記の少数条件の判定を逆にしたものにより判定しても良い。)には、第1範囲と第2範囲の両方を満たす商品レコードを検索結果とする。
また、第1範囲により検索された商品レコードの個数が多すぎわけではない場合には、第1範囲により検索された商品レコードを検索結果とする。
この手法では、適切な個数の商品レコードをユーザに提示することにより、ユーザに理解しやすいように情報を提示することができるようになる。
なお、第1長と第2長は、水平長と垂直長の長短により定めるのではなく、商品ジャンルに応じて定めても良い。たとえば、スカートの場合には垂直長を第1長とする等である。
さて、本実施例では、いずれの検索条件が採用されたかをユーザが容易に確認できるようにするため、画面301にその旨を表示することが望ましい。
図11は、水平範囲により商品を検索する旨を画面301に表示する表示例である。
本図に示すように、画面301内では、マーク313から垂直方向に、水平範囲を表す2つの帯601a、601bが表示されている。これは、撮影画像内に表されているユーザの姿312の身体の大きさに対して相対的に、商品の左端が帯601aに含まれ、商品の右端が帯601bに含まれるような商品サイズの商品が検索されていることをユーザに知らせるものである。
図12は、垂直範囲により商品を検索する旨を画面301に表示する表示例である。
本図に示すように、画面301内では、マーク313から水平方向に、垂直範囲を表す2つの帯601c、601dが表示されている。これは、撮影画像内に表されているユーザの姿312の身体の大きさに対して相対的に、商品の上端が帯601cに含まれ、商品の下端が帯601dに含まれるような商品サイズの商品が検索されていることをユーザに知らせるものである。
図13は、水平範囲ならびに垂直範囲により商品を検索する旨を画面301に表示する表示例である。
本図に示すように、画面301内では、マーク313から、水平範囲を表す2つの帯601a、601bが表示されている。垂直範囲を表す2つの帯601c、601dが表示されている。これは、撮影画像内に表されているユーザの姿312の身体の大きさに対して相対的に、商品の左端が帯601aに含まれ、商品の右端が帯601bに含まれ、商品の上端が帯601cに含まれ、商品の下端が帯601dに含まれるような商品サイズの商品が検索されていることをユーザに知らせるものである。
帯601a、601b、601c、601bの広さは、撮影画像内に表されているユーザの姿312の身体の大きさに対して相対的に定められ、水平範囲や垂直範囲の広さに連動する。したがって、上記の実施例や後述する実施例に適用しても、検索されている商品サイズの範囲をユーザに知らせることができる。
また、図11、12、13では、商品データベースに登録されている商品サイズの上限と下限を表す限界線602が、帯601a、601b、601c、601bに平行に表示されている。ユーザは、限界線602を見ることで、商品サイズとしてどのようなものが存在しているのかを直感的に理解することができるようになる。
上記の図8、図10に示す表示例では、商品画像322は、あらかじめ定められた大きさで、いわゆるアイコンに相当するものを用意していたが、商品画像322を列挙表示する場合に、指定長に連動して、アイコンを拡縮するような態様を採用することもできる。
図14は、商品画像の大きさを指定長に応じて変化させる表示例を示す説明図である。以下、本図を参照して説明する。
図14に示す例は、図8に示す例に対して、マーク313の間の距離が広がっている。したがって、指定長がより長くなっていることになる。そのため、検索結果として表示される商品も、異なるものとなっている。
また、図8と本図を対比すればわかる通り、指定長が大きくなればなるほど、商品画像322が画面301に表示されるサイズが大きくなる。したがって、ユーザは、指定長の変化を直感的に知得することができるようになる。
なお、商品画像322の拡縮率は、指定長に比例するように設定したり、段階を追って次第に大きくなるように設定したりすることができる。
また、上記の図9に示す表示例では、ユーザの身体に対する相対的なサイズで商品画像322が1枚表示される。このため、ユーザは、指定長を自分の身体と対比して、直感的に知得することができるようになる。
なお、図9に示す例では、商品レコードの検索結果が複数存在する場合には、一定時間おきに順次商品画像322を切り替えて表示しても良いし、検索結果のうち、最近最も人気の商品等、代表的な商品の商品レコードを1つ選択して、その商品レコードの商品画像322を表示することとしても良い。
本実施例によれば、ユーザは、画面に表示される商品画像322の大きさの変化から、自身が指定している指定長の変化を直感的に理解できるようになる。
上記の実施例では、水平範囲等は、あらかじめ定めた定数Eや定数Kに基づいて定められていたが、オブジェクトの動きから、これらを設定する態様もある。
理解を容易にするため、時刻uに検知された結果から算出されたユーザの左右の手先の水平長をS(u)と表記し、所定の正の時間長をDと表記することとする。
本実施例では、時刻tにおける水平範囲R(t)を、
R(t) = mint-D≦u≦tS(u)〜maxt-D≦u≦tS(u)
と設定する。これは、時刻tの直近の時間帯t-D〜tにおける両手先の水平方向の距離の最小値と最大値の間を、水平範囲R(t)とするものである。
あるいは、水平範囲にある程度の幅を持たせるために、
R(t) = mint-D≦u≦tS(u)-E〜maxt-D≦u≦tS(u)+E
と設定しても良い。
ユーザが両手先を大きく動かしている間は、水平範囲は大きくなり、帯601a、601bを画面に表示する態様では、その幅も広くなる。一方、ユーザが姿勢を固定すると、水平範囲は狭まっていき、姿勢を固定したまま時間Dが経過すると、水平範囲は最小の広さとなる。
図15は、図11の表示例において、ユーザの動作をわかりやすく画面に表示する表示例である。
本図に示す例では、マーク313が画面301内を移動する際に、残像314(本図では、点線で描かれている。)が一定時間(たとえば時間D)だけ残るように表示される。したがって、残像314は、帯601a、602bの内部に見えることになる。
このようなマーク313や残像314の表示方式を採用することによって、ユーザに、手先を動かした範囲が検索の対象となる水平範囲等である旨を、直感的に知らせることができるようになる。
なお、ここでは、水平範囲を例として説明したが、垂直範囲についても同様の構成を適用することが可能である。
また、検索結果が変化すると、画面301に表示されるべき商品画像322も変化するが、この商品画像322についても、マーク313と同様に、一定時間残像を表示することとしても良い。商品画像322の残像を表示することにより、ユーザは、検索結果の増減を直感的に理解することができるようになる。
上記の実施例では、たとえば、ユーザの両手先の水平方向の距離をそのまま水平長として採用していたが、たとえば5cm刻みや10cm刻み、1インチ刻みなど、検知された距離を所定の精度に変換した結果を、指定長として採用することとしても良い。
このような態様では、ユーザの両手先の位置が少々ずれたとしても、ステップS204にて生成される検索条件は、以前に生成された検索条件と同じとなることが多い。
また、指定長から指定範囲を定める場合にも、当該精度に従うこととすることができる。指定長より1つ分の刻みだけ小さいものから当該指定長まで(ワンサイズ下から指定サイズまで)を指定範囲としたり指定長から、当該指定長より1つ分の刻みだけ大きいものまで(指定サイズからワンサイズ上まで)を指定範囲としたり、指定長より1つ分の刻みだけ小さいものから指定長より1つ分の刻みだけ大きいものまで(ワンサイズ下からワンサイズ上まで)を指定範囲とする態様を採用することができる。
図16は、指定長の精度を画面に表示する表示例を示す説明図である。以下、本図を参照して説明する。
本図は、図11に示す表示例において、指定長の精度、すなわち、刻み幅を表すインジケータ801を表示するものである。
インジケータ801に示される目盛は、一つのサイズの幅を示しており、本図では、ユーザに指定された指定長を含むサイズならびにそのワンサイズ上が指定範囲とされている。このため、帯601a、601bの広さは、インジケータ801の2目盛分となっている。
このように、本実施形態では、ユーザは、インジケータ801と帯601の関係とを見ることで、商品サイズがどの程度の刻みで区切られており、現在はどの範囲を検索しているのかを容易に知得することができる。
また、本図に示すインジケータ801は、現在検索対象となっている商品(商品データベースに登録されている全商品としても良いし、ユーザによりあらかじめ指定されたジャンルの商品のみを考えても良い。)について指定すべき指定長、すなわち、検索条件に用いられる指定長が、水平長であることをユーザにガイドする役割も有する。
本図に示す例と同様に、指定すべき指定長が垂直長である場合には、縦方向に伸びるインジケータを画面に表示することにより、これをユーザにガイドすることができるようになる。
このほか、本実施例では、商品レコードの再検索(ステップS205)ならびに表示対象の商品画像の再設定(ステップS206)が行われる頻度が低くなり、計算負荷を抑制することができる。
本実施例は、商品レコードが検索し直されるごとに、検索された商品レコードの数の増減を表す情報を画面301に表示するものである。
たとえば、検索された商品レコードの数が増えた場合には、マーク313や帯601、商品画像表示領域321の背景等を赤い色で表示し、減った場合には、青い色で表示し、赤色や青色の強さを、増減の大きさによって定めることができる。
図17、18は、図8、9に示す例の後、ユーザが姿勢を変化させたために、商品レコードの数が変化した場合の表示例を示す説明図である。以下、本図を参照して説明する。
これらの図に示す表示例では、商品画像表示領域321の半透明の背景の明るさを変化させることにより、検索結果の商品レコードの増減を表現している。すなわち、検索結果が増えれば明るくなり、減れば暗くなるようにする。
図8、図9に示す表示例における商品画像表示領域321の背景に比べて、図17、18に示す表示例の商品画像表示領域321の背景は、暗い色(本図ではハッチングにより表現している。)で表示されている。
本実施例によれば、検索結果の数がどの程度存在するのかをユーザが直感的に理解することができ、特に、図9、図18に示すように、商品画像表示領域321に商品画像322が1枚だけ表示される態様において好適である。
上記の実施例では、商品サイズと指定長ならびに指定範囲との関係に基づいて商品レコードの検索を行っていた。
本態様は、撮影画像に撮影されている情報から、さらなる商品の絞り込みを行う。
すなわち、撮影画像に撮影されているユーザの顔や衣服の様子から、ユーザの性別や年齢層を推定する。そして、商品サイズによる絞り込みに加えて、推定された性別や年齢層に該当するユーザ全体の商品の購入履歴に基づいて、さらに商品の絞り込みを行うのである。
上記実施例では、指定長をユーザに直感的に指定させるために、ユーザを撮影することとしているが、本実施例は、その撮影結果を商品のさらなる絞り込みに再利用することで、情報の効率的な利用を行い、ユーザの傾向に応じた検索結果を提示することができるようになる。
本発明によれば、ユーザの手先等、ユーザの意思に基づいて位置が定められるオブジェクトの位置から検索クエリに指定すべき指定長を得る検索装置、検索方法、記録媒体、ならびに、プログラムを提供することができる。
101 検索装置
102 検知部
103 算出部
104 検索部
105 表示部
151 コンピュータ
152 モーションセンサ
153 ディスプレイ
161 ユーザ
162 右手先
163 右手先
171 奥行距離
172 角
191 水平長
192 垂直長
193 奥行長
195 直方体
301 画面
311 撮影画像表示領域
312 撮影されたユーザの姿
313 マーク
314 残像
321 商品画像表示領域
322 商品画像
601 帯
602 限界線
801 インジケータ

Claims (23)

  1. 現実空間内でユーザの意思に基づいて位置が変化する複数のオブジェクトのそれぞれの位置を検知する検知部、
    前記検知された複数のオブジェクトの位置の複数の方向における距離から、前記ユーザの意思に基づく前記複数の方向に対する複数の指定長を算出する算出部、
    少なくとも、商品サイズと、商品画像と、を有する商品レコードが管理される商品データベースから、前記算出された前記複数の方向に対する複数の指定長に基づく検索条件を満たす前記複数の方向に対する複数の商品長を含む商品サイズを有する商品レコードを検索する検索部、
    前記検索された商品レコードが有する商品画像を画面に表示する表示部
    を備えることを特徴とする検索装置。
  2. 請求項1に記載の検索装置であって
    前記複数の方向は、第1方向ならびに第2方向であり、
    前記算出部は、前記第1方向ならびに前記第2方向に対する指定長として第1長ならびに第2長を算出し、
    前記商品サイズは、前記第1方向ならびに前記第2方向に対する商品長として第1商品長ならびに第2商品長を含み、
    前記検索部は、前記算出された第1長および第2長に基づく検索条件を満たす第1商品長および第2商品長を含む商品サイズを有する商品レコードを検索する
    ことを特徴とする検索装置。
  3. 請求項2に記載の検索装置であって、
    前記検索部は、前記第1長を含む第1範囲を定め、前記第2長を含む第2範囲を定め、
    前記検索部は、前記第1範囲に含まれる第1商品長を有する商品レコードの個数が十分に多いか否かを、あらかじめ定めた多数条件を満たすか否かにより判定し、
    前記検索部は、
    (a)前記多数条件が満たされない場合、前記第1範囲に含まれる第1商品長を有する商品レコードを検索結果とし、
    (b)前記多数条件が満たされる場合、前記第1範囲に含まれる第1商品長を有し、かつ、前記第2範囲に含まれる第2商品長を有する商品レコードを検索結果とする
    ことを特徴とする検索装置。
  4. 請求項2に記載の検索装置であって、
    前記検索部は、前記第1長を含む第1範囲を定め、前記第2長を含む第2範囲を定め、
    前記検索部は、前記第1範囲に含まれる第1商品長を有し、かつ、前記第2範囲に含まれる第2商品長を有する商品レコードの個数が、前記第1範囲に含まれる第1商品長を有する商品レコードの個数に比べて十分に少ないか否かを、あらかじめ定めた少数条件を満たすか否かにより判定し、
    前記検索部は、
    (a)前記少数条件が満たされる場合、前記第1範囲に含まれる第1商品長を有する商品レコードを検索結果とし、
    (b)前記少数条件が満たされない場合、前記第1範囲に含まれる第1商品長を有し、かつ、前記第2範囲に含まれる第2商品長を有する商品レコードを検索結果とする
    ことを特徴とする検索装置。
  5. 請求項2から4のいずれか1項に記載の検索装置であって、
    前記第1方向、第1範囲ならびに第1商品長と、前記第2方向、第2範囲ならびに第2商品長と、の、一方は、水平方向、水平範囲ならびに商品幅であり、他方は、垂直方向、垂直範囲ならびに商品高である
    ことを特徴とする検索装置。
  6. 請求項1に記載の検索装置であって
    前記複数の方向は、水平方向、垂直方向ならびに奥行方向であり、
    前記算出部は、前記水平方向、前記垂直方向ならびに前記奥行方向に対する指定長として水平長、垂直長ならびに奥行長を算出し、
    前記商品サイズは、前記水平方向、前記垂直方向ならびに前記奥行方向に対する商品長として商品幅、商品高ならびに商品奥行を含み、
    前記検索部は、前記水平長を含む水平範囲を定め、前記垂直長を含む垂直範囲を定め、前記奥行長を含む垂直範囲を定め、前記水平範囲に含まれる商品幅を有し、前記垂直範囲に含まれる商品高を有し、かつ、前記奥行範囲に含まれる商品奥行を有する商品レコードを検索する
    ことを特徴とする検索装置。
  7. 請求項1から6のいずれか1項に記載の検索装置であって、
    前記表示部は、前記画面内に前記現実空間内の前記ユーザを撮影した撮影画像を表示し、
    前記表示部は、前記画面内における前記ユーザの身体の大きさに対する前記商品画像の相対的なサイズが、前記現実空間内における前記ユーザの身体の大きさに対する前記指定長の相対的なサイズとなる拡縮率で前記商品画像を拡縮してから表示する
    ことを特徴とする検索装置。
  8. 請求項1から6のいずれか1項に記載の検索装置であって、
    前記複数のオブジェクトは、ユーザの両手先であり、
    前記表示部は、前記画面内に前記現実空間を撮影した撮影画像を表示し、前記検知された位置から、当該画面内に表示された当該撮影画像内において前記ユーザの両手先が撮影されている位置を推測して、前記検索された商品レコードに含まれる商品画像が、当該推測された位置に挟まれるようにフィットさせて、当該商品画像を表示する
    ことを特徴とする検索装置。
  9. 請求項1から6のいずれか1項に記載の検索装置であって、
    前記複数のオブジェクトは、ユーザの両手先であり、
    前記表示部は、前記画面内に前記現実空間を撮影した撮影画像を表示し、前記検知された位置から、当該画面内に表示された当該撮影画像内において前記ユーザの両手先が撮影されている位置を推測して、当該推測された位置にマークを表示する
    ことを特徴とする検索装置。
  10. 請求項9に記載の検索装置であって、
    前記表示部は、前記推測された位置が変化すると、当該変化前の位置に前記マークの残像を所定の時間表示する
    ことを特徴とする検索装置。
  11. 請求項9または10に記載の検索装置であって、
    前記検知部は、前記ユーザの奥行位置を検知し、
    前記表示部は、前記撮影画像を、前記ユーザの奥行位置に対応付けられる拡縮率で拡縮してから、前記画面内に表示する
    ことを特徴とする検索装置。
  12. 請求項8から11のいずれか1項に記載の検索装置であって、
    前記検知部は、前記撮影画像に基づいて、前記複数のオブジェクトの位置を検知し、
    前記検索部は、前記撮影画像に撮影された前記ユーザの姿から、当該ユーザの属性を推定し、当該推定された属性を有するユーザによる商品の購買履歴により、前記商品レコードを絞り込み検索する
    ことを特徴とする検索装置。
  13. 請求項1に記載の検索装置であって、
    前記複数のオブジェクトは、2人のユーザの両手先であり、
    前記複数の方向は、水平方向、垂直方向、奥行方向であり、
    前記2人のユーザの両手先について前記検知された水平方向、垂直方向、奥行方向の位置から、当該2人のユーザの両手先のそれぞれの水平方向の距離、垂直方向の距離、奥行方向の距離が求められ、
    求められた奥行方向の距離のうち、小さい方の距離が求められた両手先から求められた水平方向の距離が、水平長として算出され、
    求められた奥行方向の距離のうち、小さい方の距離が求められた両手先から求められた垂直方向距離が、垂直長として算出され、
    求められた奥行方向の距離のうち、大きい方の距離が、奥行長として算出され、
    前記商品サイズは、水平方向、垂直方向、奥行方向に対する商品長として、商品幅、商品高ならびに商品奥行を含み、
    前記検索部は、前記水平長を含む水平範囲を定め、当該垂直長を含む垂直範囲を定め、当該奥行長を含む奥行範囲を定め、
    前記検索部は、前記水平範囲に含まれる商品幅を有し、前記垂直範囲に含まれる商品高を有し、前記奥行範囲に含まれる商品奥行を有する商品レコードを検索する
    ことを特徴とする検索装置。
  14. 請求項1から13のいずれか1項に記載の検索装置であって、
    前記検索部は、前記指定長を含む指定範囲を定め、前記商品データベースから、前記指定範囲に含まれる商品サイズを有する商品レコードを検索し、
    前記表示部は、前記指定範囲を、前記画面にさらに表示する
    ことを特徴とする検索装置。
  15. 請求項1から13のいずれか1項に記載の検索装置であって、
    前記検索部は、前記検知部により検知された位置が直近の所定時間内に移動した領域の大きさに基づいて、前記指定長を含む指定範囲を定め、前記商品データベースから、前記指定範囲に含まれる商品サイズを有する商品レコードを検索する
    ことを特徴とする検索装置。
  16. 請求項1から15のいずれか1項に記載の検索装置であって、
    前記表示部は、前記検索部が検索をし直すことにより検索結果に含まれなくなった商品レコードの商品画像の残像を、所定の時間表示する
    ことを特徴とする検索装置。
  17. 請求項1から16のいずれか1項に記載の検索装置であって、
    前記指定長は所定の精度で算出され、
    前記検索部は、前記算出された指定長が変化して、前記検索条件が変化するごとに、前記商品レコードを検索し直す
    ことを特徴とする検索装置。
  18. 請求項17に記載の検索装置であって、
    前記商品レコードが検索し直されるごとに、前記検索された商品レコードの数の増減を表す情報を、前記画面にさらに表示する
    ことを特徴とする検索装置。
  19. 請求項1から18のいずれか1項に記載の検索装置であって、
    前記表示部は、前記商品データベースに管理される商品レコードが有する商品サイズの最大値と最小値との少なくとも一方の情報を、前記画面内に表示する
    ことを特徴とする検索装置。
  20. 請求項1から19のいずれか1項に記載の検索装置であって、
    前記表示部は、前記検索条件における前記指定長の方向の情報を、前記画面内に表示する
    ことを特徴とする検索装置。
  21. 検知部、算出部、検索部、表示部を有する検索装置が実行する検索方法であって、
    前記検知部が、現実空間内でユーザの意思に基づいて位置が変化する複数のオブジェクトのそれぞれの位置を検知する検知工程、
    前記算出部が、前記検知された複数のオブジェクトの位置の複数の方向における距離から、前記ユーザの意思に基づく前記複数の方向に対する複数の指定長を算出する算出工程、
    前記検索部が、少なくとも、商品サイズと、商品画像と、を有する商品レコードが管理される商品データベースから、前記算出された前記複数の方向に対する複数の指定長に基づく検索条件を満たす前記複数の方向に対する複数の商品長を含む商品サイズを有する商品レコードを検索する検索工程、
    前記表示部が、前記検索された商品レコードが有する商品画像を画面に表示する表示工程
    を備えることを特徴とする検索方法。
  22. コンピュータを、
    現実空間内でユーザの意思に基づいて位置が変化する複数のオブジェクトのそれぞれの位置を検知する検知部、
    前記検知された複数のオブジェクトの位置の複数の方向における距離から、前記ユーザの意思に基づく前記複数の方向に対する複数の指定長を算出する算出部、
    少なくとも、商品サイズと、商品画像と、を有する商品レコードが管理される商品データベースから、前記算出された前記複数の方向に対する複数の指定長に基づく検索条件を満たす前記複数の方向に対する複数の商品長を含む商品サイズを有する商品レコードを検索する検索部、
    前記検索された商品レコードが有する商品画像を画面に表示する表示部
    として機能させることを特徴とするプログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体。
  23. コンピュータを、
    現実空間内でユーザの意思に基づいて位置が変化する複数のオブジェクトのそれぞれの位置を検知する検知部、
    前記検知された複数のオブジェクトの位置の複数の方向における距離から、前記ユーザの意思に基づく前記複数の方向に対する複数の指定長を算出する算出部、
    少なくとも、商品サイズと、商品画像と、を有する商品レコードが管理される商品データベースから、前記算出された前記複数の方向に対する複数の指定長に基づく検索条件を満たす前記複数の方向に対する複数の商品長を含む商品サイズを有する商品レコードを検索する検索部、
    前記検索された商品レコードが有する商品画像を画面に表示する表示部
    として機能させることを特徴とするプログラム。
JP2011217443A 2011-09-30 2011-09-30 検索装置、検索方法、記録媒体、ならびに、プログラム Active JP5581292B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011217443A JP5581292B2 (ja) 2011-09-30 2011-09-30 検索装置、検索方法、記録媒体、ならびに、プログラム
US14/346,523 US9396215B2 (en) 2011-09-30 2012-04-02 Search device, search method, recording medium, and program
PCT/JP2012/058964 WO2013046768A1 (ja) 2011-09-30 2012-04-02 検索装置、検索方法、記録媒体、ならびに、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011217443A JP5581292B2 (ja) 2011-09-30 2011-09-30 検索装置、検索方法、記録媒体、ならびに、プログラム

Publications (3)

Publication Number Publication Date
JP2013077215A JP2013077215A (ja) 2013-04-25
JP2013077215A5 JP2013077215A5 (ja) 2014-04-03
JP5581292B2 true JP5581292B2 (ja) 2014-08-27

Family

ID=47994837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011217443A Active JP5581292B2 (ja) 2011-09-30 2011-09-30 検索装置、検索方法、記録媒体、ならびに、プログラム

Country Status (3)

Country Link
US (1) US9396215B2 (ja)
JP (1) JP5581292B2 (ja)
WO (1) WO2013046768A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9519661B2 (en) * 2012-04-17 2016-12-13 Excalibur Ip, Llc Method and system for updating a background picture of a web search results page for different search queries
US20150185851A1 (en) * 2013-12-30 2015-07-02 Google Inc. Device Interaction with Self-Referential Gestures
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
JP6478713B2 (ja) * 2015-03-04 2019-03-06 キヤノン株式会社 計測装置および計測方法
JP6670549B2 (ja) * 2015-03-30 2020-03-25 大和ハウス工業株式会社 取引支援システム及び取引支援方法
JP6464889B2 (ja) * 2015-03-31 2019-02-06 富士通株式会社 画像処理装置、画像処理プログラム、及び画像処理方法
WO2018146922A1 (ja) * 2017-02-13 2018-08-16 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP7230343B2 (ja) * 2018-05-28 2023-03-01 株式会社リコー 画像検索装置、画像検索方法、画像検索プログラム及び販売システム
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US10802600B1 (en) * 2019-09-20 2020-10-13 Facebook Technologies, Llc Virtual interactions at a distance
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
JP2021152727A (ja) * 2020-03-24 2021-09-30 ブラザー工業株式会社 プログラムおよび電子デバイス
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07210608A (ja) * 1994-01-27 1995-08-11 Omron Corp 販売支援システム
JP4855697B2 (ja) 2005-03-17 2012-01-18 京セラ株式会社 携帯電話機
JP2010009558A (ja) * 2008-05-28 2010-01-14 Oki Semiconductor Co Ltd 画像認識装置、電装機器動作制御ユニット、電化製品、画像認識プログラム、半導体装置
JP4958853B2 (ja) * 2008-07-01 2012-06-20 ヤフー株式会社 商品検索サーバ、商品検索方法、プログラム、及び商品検索システム
US20100199228A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US8744121B2 (en) * 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
JP5441609B2 (ja) * 2009-10-20 2014-03-12 Jr東日本メカトロニクス株式会社 情報処理装置、情報処理方法及びプログラム
JP5537909B2 (ja) * 2009-11-19 2014-07-02 株式会社Aivick 商品検索システム
JP5413673B2 (ja) * 2010-03-08 2014-02-12 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20130110666A1 (en) * 2011-10-28 2013-05-02 Adidas Ag Interactive retail system

Also Published As

Publication number Publication date
US9396215B2 (en) 2016-07-19
US20140236996A1 (en) 2014-08-21
JP2013077215A (ja) 2013-04-25
WO2013046768A1 (ja) 2013-04-04

Similar Documents

Publication Publication Date Title
JP5581292B2 (ja) 検索装置、検索方法、記録媒体、ならびに、プログラム
KR102471195B1 (ko) 증강 현실 디지털 콘텐츠 검색 및 크기 조정 기술
CN104583913B (zh) 用户界面装置及显示目标物操作方法
US9135513B2 (en) Image processing apparatus and method for obtaining position and orientation of imaging apparatus
CN102279700B (zh) 显示控制设备、显示控制方法
JP6771996B2 (ja) ユーザーインターフェースのリアルタイムインタラクティブ操作のためのシステム及び方法
US10410370B2 (en) System and method for redefining depth-based edge snapping for three-dimensional point selection
US10089328B2 (en) Information processing system, method for controlling information processing system, program, and information recording medium capable of grouping objects without needing to pre-define a group associated with a sorting condition
JP2007109136A (ja) 画像表示制御装置
CN105741327B (zh) 提取图片的主色和醒目色的方法和装置
US20160349972A1 (en) Data browse apparatus, data browse method, and storage medium
US9405446B1 (en) Efficient and interactive presentation of item images
JP2008015929A (ja) 手書き入力処理装置、手書き入力処理方法、および手書き入力処理用プログラム
JP2010245983A (ja) 映像構造化装置,映像構造化方法および映像構造化プログラム
US8274528B2 (en) Support system, method and program
JP5538287B2 (ja) 商品検索システム
US10120057B1 (en) System and method for determining the direction of an actor
US20220283698A1 (en) Method for operating an electronic device in order to browse through photos
US10372297B2 (en) Image control method and device
JP3877876B2 (ja) 画像データ検索システム、画像データ検索方法およびプログラム記録媒体
GB2556068A (en) Data interation device
TWI605404B (zh) Image display system, image display method, and image display program
JP2004094938A (ja) 画像データ検索システムおよびこれに用いる画像データ検索用端末装置および画像データ検索方法並びにプログラム記録媒体
US20150043830A1 (en) Method for presenting pictures on screen

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140218

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20140218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140305

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140714

R150 Certificate of patent or registration of utility model

Ref document number: 5581292

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250