JPWO2018096804A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JPWO2018096804A1
JPWO2018096804A1 JP2018552443A JP2018552443A JPWO2018096804A1 JP WO2018096804 A1 JPWO2018096804 A1 JP WO2018096804A1 JP 2018552443 A JP2018552443 A JP 2018552443A JP 2018552443 A JP2018552443 A JP 2018552443A JP WO2018096804 A1 JPWO2018096804 A1 JP WO2018096804A1
Authority
JP
Japan
Prior art keywords
information
user
real object
display
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018552443A
Other languages
English (en)
Other versions
JP6943257B2 (ja
Inventor
哲男 池田
哲男 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018096804A1 publication Critical patent/JPWO2018096804A1/ja
Application granted granted Critical
Publication of JP6943257B2 publication Critical patent/JP6943257B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/009—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader the reader being an RFID reader

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Geometry (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】複数のユーザ、表示オブジェクト及び実オブジェクト間のインタラクションを可能にする仕組みを提供する。【解決手段】表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御する処理方針情報制御部と、前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御する表示制御部と、を備える情報処理装置。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
近年、スマートフォン、タブレット端末、及びデジタルサイネージ等の情報処理装置が広く普及しており、このような複雑な処理及び表現が可能な情報処理装置における表示オブジェクト（即ち、ＵＩ：User Interface）に関する開発が、様々な観点で行われている。例えば、ユーザがより直観的に操作可能なＵＩ、複雑な操作を簡易に実現可能なＵＩ、ユーザの利便性を向上させるＵＩ等が開発されている。その一例として、下記特許文献１に、テーブル上にＵＩを表示して、かかるＵＩとユーザとのインタラクションを実現する技術が開示されている。
特開２０１６−６６１３号公報
近年、上述した各種情報処理装置をはじめとして、ユーザとのインタラクションに基づいて各種サービスを提供する装置が増えている。このような装置では、典型的には、ひとりのユーザとのインタラクションに基づいて、当該ひとりのユーザへのサービスが提供される。複数ユーザへの拡張に関しては、上記特許文献１で、複数のユーザとのインタラクションを実現してユーザの利便性を向上させるための検討が行われている。他方、上記特許文献１では、ユーザと関連する実オブジェクトに関する検討は不十分であった。
そこで、本開示では、複数のユーザ、表示オブジェクト及び実オブジェクト間のインタラクションを可能にする仕組みを提供する。
本開示によれば、表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御する処理方針情報制御部と、
前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御する表示制御部と、
を備える情報処理装置が提供される。
また、本開示によれば、表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御することと、前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御することと、を含むプロセッサにより実行される情報処理方法が提供される。
また、本開示によれば、コンピュータを、表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御する処理方針情報制御部と、前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御する表示制御部と、として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、複数のユーザ、表示オブジェクト及び実オブジェクト間のインタラクションを可能にする仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの一構成例を示す図である。 本実施形態に係る情報処理システムの他の構成例を示す図である。 本実施形態に係る情報処理システムの他の構成例を示す図である。 本実施形態に係る情報処理システムの機能構成の一例を示すブロック図である。 本実施形態に係る情報処理システムにより実行される情報処理の流れの一例を示すフローチャートである。 本実施形態に係る処理方針情報生成処理を説明するための図である。 本実施形態に係る処理方針情報生成処理を説明するための図である。 本実施形態に係る処理方針情報生成処理を説明するための図である。 本実施形態に係る処理方針情報生成処理を説明するための図である。 本実施形態に係る処理方針情報生成処理を説明するための図である。 本実施形態に係る処理方針情報生成処理を説明するための図である。 本実施形態に係る処理方針情報生成処理を説明するための図である。 本実施形態に係る処理方針情報提示処理を説明するための図である。 本実施形態に係る処理方針情報提示処理を説明するための図である。 本実施形態に係る処理方針情報変更操作検出処理を説明するための図である。 本実施形態に係る処理方針情報変更操作検出処理を説明するための図である。 本実施形態に係る処理方針情報変更操作検出処理を説明するための図である。 本実施形態に係る処理方針情報変更操作検出処理を説明するための図である。 本実施形態に係る処理方針情報変更操作検出処理を説明するための図である。 本実施形態に係る処理方針情報変更登録処理を説明するための図である。 本実施形態に係る処理方針情報変更登録処理を説明するための図である。 本実施形態に係る処理方針情報変更登録処理を説明するための図である。 本実施形態に係る処理結果提示処理を説明するための図である。 本実施形態に係る処理結果提示処理を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の要素を、必要に応じて実オブジェクト２０Ａ、２０Ｂ及び２０Ｃのように区別する。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、実オブジェクト２０Ａ、２０Ｂ及び２０Ｃを特に区別する必要が無い場合には、単に実オブジェクト２０と称する。
なお、説明は以下の順序で行うものとする。
１．情報処理システムの概要
２．機能構成
３．処理の流れ
４．各処理の詳細
４．１．処理方針情報生成処理
４．２．処理方針情報提示処理
４．３．処理方針情報変更操作検出処理
４．４．処理方針情報変更登録処理
４．５．処理結果提示処理
５．具体例
５．１．第１の具体例
５．２．第２の具体例
６．ハードウェア構成例
７．まとめ
＜＜１．情報処理システムの概要＞＞
図１を参照して、本開示の一実施形態に係る情報処理システムの構成について説明する。図１は、本開示の一実施形態に係る情報処理システムの一構成例を示す図である。なお、本明細書において、システムとは、所定の処理を実行するための構成のことを意味していてよく、システム全体として１つの装置とみなすこともできるし、複数の装置によってシステムが構成されているとみなすこともできる。図１に示す本実施形態に係る情報処理システムも、情報処理システム全体として所定の処理（例えば図４に示す機能構成によって実現される処理）を実行可能に構成されていればよく、情報処理システム内のどの構成を１つの装置とみなすかは任意であってよい。
図１を参照すると、本開示の一実施形態に係る情報処理システム１００ａは、入力部１１０ａと、出力部１３０ａと、を備える。
出力部１３０ａは、各種の情報をテーブル１４０ａに表示することにより、当該情報をユーザに対して視覚的に通知する。出力部１３０ａとしては、例えばプロジェクタが用いられる。図示するように、出力部１３０ａは、テーブル１４０ａの上方に、例えば天井から吊り下げられた状態でテーブル１４０ａと所定の距離離隔して配置され、テーブル１４０ａの天面に情報を投影する。このように上方からテーブル１４０ａの天面に情報を表示する方式を、「プロジェクション型」とも呼称する。
なお、以下の説明では、出力部１３０ａによって情報が表示される領域全体のことを表示画面とも呼称する。例えば、出力部１３０ａは、表示画面に、情報処理システム１００ａによるアプリケーションの実行に伴いユーザに対して提示される情報を表示する。表示される情報は、例えば各アプリケーションの動作画面である。以下では、表示画面において、このようなアプリケーションの動作画面が表示される各表示領域を、表示オブジェクトとも称する。表示オブジェクトは、いわゆるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部品（ウィジェット）であってもよい。
ここで、情報処理システム１００ａがプロジェクション型である場合には、出力部１３０ａは照明機器を含んでもよい。出力部１３０ａに照明機器が含まれる場合、情報処理システム１００ａは、入力部１１０ａによって入力された情報の内容及び／又は出力部１３０ａによって表示される情報の内容に基づいて、当該照明機器の点灯、消灯等の状態を制御してもよい。
また、出力部１３０ａは、スピーカを含んでもよく、各種の情報を音声として出力してもよい。出力部１３０ａがスピーカで構成される場合、スピーカの数は１つであってもよく、複数であってもよい。出力部１３０ａが複数のスピーカで構成される場合、情報処理システム１００ａは、音声を出力するスピーカを限定したり、音声を出力する方向を調整したりしてもよい。
入力部１１０ａは、情報処理システム１００ａを使用するユーザの操作内容を入力する装置である。図１に示す例では、入力部１１０ａは、テーブル１４０ａの上方に、例えば天井から吊り下げられた状態で設けられる。このように、入力部１１０ａは、情報が表示される対象となるテーブル１４０ａと離隔して設けられる。入力部１１０ａは、テーブル１４０ａの天面、すなわち、表示画面を撮影し得る撮像装置によって構成され得る。入力部１１０ａとしては、例えば１つのレンズでテーブル１４０ａを撮像するカメラや、２つのレンズでテーブル１４０ａを撮像して奥行き方向の情報を記録することが可能なステレオカメラ等が用いられ得る。入力部１１０ａがステレオカメラである場合には、例えば可視光カメラや赤外線カメラ等が用いられ得る。
入力部１１０ａとして、１つのレンズでテーブル１４０ａを撮像するカメラが用いられる場合、情報処理システム１００ａは、そのカメラが撮像した画像（撮像画像）を解析することで、テーブル１４０ａ上に位置する物理的な物体（以下、実オブジェクトとも称する）、例えばユーザの手の位置を検出することができる。また、入力部１１０ａとしてステレオカメラが用いられる場合には、情報処理システム１００ａは、当該ステレオカメラによる撮像画像を解析することで、テーブル１４０ａ上に位置する物体の位置情報に加えて、当該物体の深度情報（換言すると、三次元情報）を取得することができる。情報処理システム１００ａは、当該深度情報に基づいて、高さ方向におけるテーブル１４０ａへのユーザの手の接触若しくは近接、及びテーブル１４０ａからの手の離脱を検出することが可能となる。なお、以下の説明では、ユーザが情報に表示画面に手等の操作体を接触又は近接させることを、まとめて単に「接触」とも称する。
本実施形態では、入力部１１０ａによる撮像画像に基づいて、表示画面上（すなわちテーブル１４０ａの天面上）における操作体、例えばユーザの手の位置が検出され、検出された操作体の位置に基づいて各種の情報が入力される。つまり、ユーザは、表示画面上で操作体を動かすことにより、各種の操作入力を行うことができる。例えば、表示オブジェクトに対するユーザの手の接触が検出されることにより、当該表示オブジェクトに対する操作入力が行われることになる。なお、以下の説明では、一例として、操作体としてユーザの手が用いられる場合について説明するが、本実施形態はかかる例に限定されず、操作体としてはスタイラス等の各種の操作部材が用いられてもよい。
また、入力部１１０ａが撮像装置によって構成される場合には、入力部１１０ａは、テーブル１４０ａの天面を撮影するだけでなく、テーブル１４０ａの周囲に存在するユーザを撮影してもよい。例えば、情報処理システム１００ａは、撮像画像に基づいて、テーブル１４０ａの周囲におけるユーザの位置を検出することができる。また、例えば、情報処理システム１００ａは、撮像画像に含まれるユーザの顔や体の大きさ等、ユーザ個人を特定し得る身体的な特徴を抽出することにより、ユーザの個人認識を行ってもよい。
ここで、本実施形態はかかる例に限定されず、他の方法によりユーザの操作入力が実行されてもよい。例えば、入力部１１０ａがテーブル１４０ａの天面にタッチパネルとして設けられてもよく、ユーザの操作入力は、当該タッチパネルに対するユーザの指等の接触によって検出されてもよい。また、入力部１１０ａを構成する撮像装置に対するジェスチャによってユーザの操作入力が検出されてもよい。あるいは、入力部１１０ａは、ユーザが発する音声や、周囲の環境の環境音を収音するマイクロフォン等の音声入力装置を含んでもよい。当該音声入力装置としては、特定の方向の音声を収音するためのマイクアレイが好適に用いられ得る。また、当該マイクアレイは、その収音方向を任意の方向に調整可能に構成され得る。入力部１１０ａとして音声入力装置が用いられる場合には、収音された音声により操作入力が行われてもよい。また、情報処理システム１００ａは、収音された音声を解析することにより、当該音声に基づいて個人認識を行ってもよい。あるいは、入力部１１０ａは、リモートコントロール装置（いわゆるリモコン）によって構成されてもよい。当該リモコンは、リモコンに配置された所定のボタンを操作することにより、所定の指示が入力されるものであってもよいし、リモコンに搭載される加速度センサやジャイロセンサ等のセンサによってリモコンの動きや姿勢が検出されることにより、ユーザが当該リモコンを動かす操作によって、所定の指示が入力されるものであってもよい。更に、情報処理システム１００ａは、図示しないマウス、キーボード、ボタン、スイッチ及びレバー等、他の入力装置を入力部１１０ａとして備えてもよく、ユーザによる操作は、これらの入力装置を介して入力されてもよい。
以上、図１を参照して、本実施形態に係る情報処理システム１００ａの構成について説明した。なお、図１には図示しないが、情報処理システム１００ａには他の装置が接続されていてもよい。例えば、情報処理システム１００ａには、テーブル１４０ａを照らすための照明機器が接続されていてもよい。情報処理システム１００ａは、表示画面の状態に応じて当該照明機器の点灯状態を制御してもよい。
ここで、本実施形態では、情報処理システムの構成は図１に示すものに限定されない。本実施形態に係る情報処理システムは、各種の情報を表示画面に表示する出力部と、表示された情報に対する操作入力を少なくとも受け付けることが可能な入力部を備えればよく、その具体的な構成は限定されない。図２及び図３を参照して、本実施形態に係る情報処理システムの他の構成例について説明する。図２及び図３は、本実施形態に係る情報処理システムの他の構成例を示す図である。
図２に示す情報処理システム１００ｂでは、テーブル１４０ｂの下方に出力部１３０ａが設けられる。出力部１３０ａは、例えばプロジェクタであり、当該テーブル１４０ｂの天板に向かって下側から情報を投影する。テーブル１４０ｂの天板は、例えばガラス板や透明プラスチック板等の透明な材質で形成されており、出力部１３０ａによって投影された情報は、テーブル１４０ｂの天面に表示されることとなる。このようにテーブル１４０ｂの下から情報を出力部１３０ａに投影して、テーブル１４０ｂの天面に情報を表示する方式を、「リアプロジェクション型」とも称する。
図２に示す例では、テーブル１４０ｂの天面（表面）に入力部１１０ｂが設けられる。入力部１１０ｂは、例えばタッチパネルによって構成され、テーブル１４０ｂの天面の表示画面への操作体の接触が当該タッチパネルによって検出されることにより、ユーザによる操作入力が行われる。なお、入力部１１０ｂの構成はかかる例に限定されず、図１に示す情報処理システム１００ａと同様に、入力部１１０ｂは、テーブル１４０ｂの下方にテーブル１４０ｂと離隔して設けられてもよい。この場合、入力部１１０ｂは、例えば撮像装置によって構成され、透明な材質によって形成される天板越しに、テーブル１４０ｂの天面上での操作体の位置を検出し得る。
図３に示す情報処理システム１００ｃでは、タッチパネル式のディスプレイが、その表示画面を上方に向けた状態でテーブル上に設置される。情報処理システム１００ｃでは、入力部１１０ｃ及び出力部１３０ｃは、当該タッチパネル式のディスプレイとして一体的に構成され得る。つまり、ディスプレイの表示画面に各種の情報が表示され、当該ディスプレイの表示画面に対する操作体の接触がタッチパネルによって検出されることにより、ユーザによる操作入力が行われる。なお、情報処理システム１００ｃにおいても、図１に示す情報処理システム１００ａと同様に、入力部１１０ｃとして、タッチパネル式のディスプレイの上方に撮像装置が設けられてもよい。当該撮像装置により、テーブルの周囲のユーザの位置等が検出され得る。
以上、図２及び図３を参照して、本実施形態に係る情報処理システムの他の構成例について説明した。以上説明したように、本実施形態に係る情報処理システムは、多様な構成によって実現され得る。ここで、以下では、図１に示す、テーブル１４０ａの上方に入力部１１０ａ及び出力部１３０ａが設けられる情報処理システム１００ａの構成を例に挙げて、本実施形態についての説明を行う。ただし、上述した図２又は図３に示す構成等、本実施形態に係る情報処理システムを実現し得る他の構成であっても、以下に説明する機能と同様の機能を実現することが可能である。以下の説明では、簡単のため、情報処理システム１００ａ、入力部１１０ａ、出力部１３０ａを、単に情報処理システム１００、入力部１１０、出力部１３０とも呼称することとする。
＜＜２．機能構成＞＞
以下、図４を参照して、以上説明した本実施形態に係る情報処理システム１００を実現し得る機能構成について説明する。図４は、本実施形態に係る情報処理システム１００の機能構成の一例を示すブロック図である。
図４を参照すると、本実施形態に係る情報処理システム１００は、その機能として、入力部１１０、制御部１２０、出力部１３０、処理方針情報記憶部１５０及び物体情報記憶部１６０を含む。
（１）入力部１１０
入力部１１０は、情報処理システム１００に対して各種の情報を入力するための入力インタフェースである。ユーザは、入力部１１０を介して、各種の情報を情報処理システム１００に入力することができる。入力部１１０は、図１〜図３に示す入力部１１０ａ〜１１０ｃに対応するものである。本実施形態では、入力部１１０は、出力部１３０によって表示される表示オブジェクトに対するユーザの操作入力を少なくとも受け付けることができるように構成される。
例えば、入力部１１０は、撮像装置によって構成され、表示画面上のユーザの手、及び表示画面上に位置する物体等を含む撮像画像を撮影する。入力部１１０を介して入力された情報（例えば当該撮像画像についての情報等）は、後述する制御部１２０に提供され、ユーザの操作入力が検出されたり、物体が検出されたりする。撮像装置は、例えば可視光カメラ又は赤外線カメラであってもよい。また、上述したように、入力部１１０は、ステレオカメラ等の深度情報を取得可能な深度センサとしての機能を含む撮像装置として構成されてもよい。他方、深度センサは、time of flight方式、又はstructured light方式等の任意の方式によるセンサとして、撮像装置とは別個に構成されてもよい。また、入力部１１０は、タッチセンサを含んで構成されてもよい。その場合、タッチセンサは表示画面へのタッチを検出する。そして、表示画面上のタッチしていないユーザの手及び表示画面上の物体の検出機能は、深度センサ及び／又は表示画面を上方から撮像する撮像装置により担保されてもよい。
例えば、入力部１１０は、表示画面に表示された表示オブジェクト又は実オブジェクトへのタッチ、タップ、ダブルタップ等の操作を検出し得る。他にも、入力部１１０は、表示画面に表示された表示オブジェクト又は実オブジェクトの上空に手をかざす操作も検出し得る。このような操作を、ホバーとも称する。ホバーの検出は、表示オブジェクト又は実オブジェクトに対してユーザが操作しようとする意図を、実際に操作される前に（例えば、タップされる前に）検出するために有効である。
（２）制御部１２０
制御部１２０は、例えばＣＰＵ又はＤＳＰ等の各種のプロセッサによって構成され、各種の演算処理を実行することにより、情報処理システム１００の動作を制御する。例えば、制御部１２０は、処理方針情報記憶部１５０、物体情報記憶部１６０又は他の記憶装置に記憶されるプログラムに従って動作する。制御部１２０は、各種の情報を処理する情報処理装置とみなすことができる。図示するように、制御部１２０は、その機能として、処理方針情報制御部１２１、及び表示制御部１２３を含む。なお、制御部１２０は、これらの機能以外の機能を有していてもよい。また、制御部１２０の各機能は、制御部１２０を構成するプロセッサが所定のプログラムに従って動作することにより実現される。
（２−１）処理方針情報制御部１２１
処理方針情報制御部１２１は、表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、実オブジェクトの処理方針を示す処理方針情報を、実オブジェクトへのユーザ操作に応じて制御する機能を有する。処理方針情報制御部１２１は、処理方針情報の制御のひとつとして、実オブジェクトにユーザを関連付ける処理を行う。ここで、実オブジェクトにユーザを関連付ける処理とは、ユーザの識別情報と実オブジェクトの識別情報とを対応付ける処理である。また、表示オブジェクトが表示される物体表面とは、上述したテーブル１４０ａ等の表示画面となる物体の表面である。表示オブジェクトが表示される物体表面は、平面でなくてもよいし、一続きでなくてもよく、例えば球であってもよいし、複数の平面を組み合わせた段状の表面であってもよい。
処理方針情報は、実オブジェクトに対応付けて記憶される。以下、処理方針情報の一例を説明する。
処理方針情報は、少なくとも実オブジェクトに関連付けられるユーザの識別情報を含む。この実オブジェクトに関連付けられる識別情報が示すユーザは、例えば、当該実オブジェクトを所有する人物、購入する人物、レンタルする人物、又は提供する人物等であってもよい。また、複数のユーザがひとつの実オブジェクトに関連付けられてもよい。
処理方針情報は、実オブジェクトに関連付けられるユーザの識別情報として、実オブジェクトの処理権利を有するユーザの識別情報を含んでいてもよい。換言すると、実オブジェクトに、当該実オブジェクトの処理権利を有するユーザが関連付けられてもよい。処理権利は、例えば、実オブジェクトを購入する権利、レンタルする権利、所有する、予約する権利等の、実オブジェクトに対して任意の処理を行うための権利である。処理権利は、レンタル期間等の、処理権利の有効期間を示す情報を含んでいてもよい。以下では、このような処理権利を有するユーザを、実オブジェクトが所属するユーザとも称する。即ち、実オブジェクトにユーザを関連付けることを、実オブジェクトをユーザに所属させる、実オブジェクトがユーザに所属する、又は実オブジェクトの所属先をユーザにする、等とも称する。また、実オブジェクトが所属するユーザを示す情報を、所属情報とも称する。
処理方針情報は、実オブジェクトに関連付けられるユーザの識別情報として、実オブジェクトの処理権利の取得待ちをしているユーザの識別情報を含んでいてもよい。換言すると、実オブジェクトに、当該実オブジェクトの処理権利の取得待ちをしているユーザが関連付けられてもよい。これにより、ユーザは、他のユーザに処理権利が付与された実オブジェクトに関し、処理権利の予約を行う（即ち、待ち行列に追加する）ことが可能である。例えば、情報処理システム１００は、購入する権利を有するユーザ（即ち、購入者）が購入を辞退した場合に、待ち行列の１番目の他のユーザを購入者に格上げすることが可能となる。
処理方針情報は、実オブジェクトへのユーザ操作のうち有効化する又は無効化するユーザ操作を示す情報を含んでいてもよい。例えば、複数のユーザによる共同購入が可能な場合、すでにユーザが関連付けられた実オブジェクトに関し、さらに別のユーザを関連付ける操作は有効化される。一方で、ひとりのユーザによる単独購入のみが可能な場合、すでにユーザが関連付けられた実オブジェクトに関し、さらに別のユーザを関連付ける操作は無効化される。このように、有効化又は無効化されるユーザ操作を示す情報が処理方針情報に含まれることで、許容されるユーザ操作又は禁止される操作をユーザに明示することが可能となり、ユーザの利便性が向上する。
以下の表１に、処理方針情報の一例を示す。
Figure 2018096804
（２−２）表示制御部１２３
表示制御部１２３は、表示画面における表示を制御する機能を有する。
例えば、表示制御部１２３は、表示画面に情報を表示させるための表示情報を生成して、生成した表示情報を出力部１３０へ出力することで、出力部１３０に情報を出力させる。このように、情報処理システム１００が表示制御部１２３による制御に基づいて情報を表示することを、単に情報処理システム１００が情報を表示する、又は表示制御部１２３が情報を表示するとも称する。表示制御部１２３による制御は多様に考えられる。
例えば、表示制御部１２３は、実オブジェクトの処理方針情報に基づいて表示オブジェクトの表示を制御してもよい。例えば、表示制御部１２３は、実オブジェクトが所属するユーザ、レンタル期間、共同購入が可能か否か等の処理方針情報を示す情報を含む表示オブジェクトを表示する。
例えば、表示制御部１２３は、実オブジェクトの特徴を示す物体情報に基づいて表示オブジェクトの表示を制御してもよい。物体情報は、処理方針情報以外の実オブジェクトに関する情報であって、ユーザ操作により変化しない情報である。例えば、物体情報は、例えば実オブジェクトの値段、大きさ、形状、重さ、又は在庫等を示す情報を含んでいてもよい。また、物体情報は、実オブジェクトに関するＳＮＳ（Social Networking Service）等のＷｅｂ上の情報等を含んでいてよい。例えば、表示制御部１２３は、処理方針情報と物体情報とを組み合わせ、高価な実オブジェクトがユーザに所属する場合には、予算が足りないことを警告する表示オブジェクトを表示する。
例えば、表示制御部１２３は、ユーザ入力に対するアプリケーションからのインタラクションを示す表示オブジェクトの表示を制御してもよい。その場合、表示制御部１２３は、アプリケーションを表示するウインドウ等を対象としたマルチコンテンツの描画制御、及び各コンテンツに対してタッチなどのイベント配信を行う、一般的なＯＳの制御レイヤーとして機能し得る。
（３）出力部１３０
出力部１３０は、情報処理システム１００によって処理される各種の情報をユーザに対して通知するための出力インタフェースである。出力部１３０は、例えば、ディスプレイ、タッチパネル又はプロジェクタ等の表示装置によって構成され、表示制御部１２３からの制御により、表示画面に各種の情報を表示する。出力部１３０は、図１〜図３に示す出力部１３０ａ〜１３０ｃに対応するものであり、上述したように、表示画面に表示オブジェクトを表示する。なお、本実施形態はかかる例に限定されず、出力部１３０は、スピーカ等の音声出力装置を更に含んでもよく、各種の情報を音声として出力してもよい。
（４）処理方針情報記憶部１５０
処理方針情報記憶部１５０は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等の各種の記憶装置によって構成され、情報処理システム１００によって処理される各種の情報を記憶する。具体的には、処理方針情報記憶部１５０は、実オブジェクトの処理方針情報を記憶する。記憶される情報は、表１を参照して上記説明した通りである。
（５）物体情報記憶部１６０
物体情報記憶部１６０は、例えばＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等の各種の記憶装置によって構成され、情報処理システム１００によって処理される各種の情報を記憶する。具体的には、物体情報記憶部１６０は、実オブジェクトの物体情報を記憶する。
＜＜３．処理の流れ＞＞
以下、図５を参照して、本実施形態に係る情報処理システム１００における処理の流れを説明する。図５は、本実施形態に係る情報処理システム１００により実行される情報処理の流れの一例を示すフローチャートである。図５に示すように、本実施形態に係る情報処理は、処理方針情報生成処理群（ステップＳ１００）、処理方針情報変更処理群（ステップＳ２００）、及び処理結果提示処理群（ステップＳ３００）を含む。
（１）処理方針情報生成処理群
まず、情報処理システム１００は、実オブジェクトの処理方針情報を生成するための各種処理を行う（ステップＳ１００）。
詳しくは、まず、情報処理システム１００は、表示画面上に存在する実オブジェクトを検出する（ステップＳ１０２）。例えば、処理方針情報制御部１２１は、深度情報に基づいて表示画面と実オブジェクトとの境目を認識し、閉曲面を１つの実オブジェクトとして検出する。
情報処理システム１００は、検出されたすべての実オブジェクトを処理したか否かを判定する（ステップＳ１０４）。以降のステップＳ１０６〜Ｓ１１０の処理は、検出された実オブジェクトの各々を対象として、全ての実オブジェクトが処理されるまで繰り返し行われる（ステップＳ１０４／ＮＯ）。まず、処理方針情報制御部１２１は、対象の実オブジェクトの処理方針情報が処理方針情報記憶部１５０に登録済みか否かを判定する（ステップＳ１０６）。登録済みであると判定された場合、情報処理システム１００は、対象の実オブジェクトを変更して、再度ステップＳ１０６〜Ｓ１１０の処理を行う（ステップＳ１０６／ＹＥＳ）。一方で、未登録であると判定された場合（ステップＳ１０６／ＮＯ）、処理方針情報制御部１２１は、処理方針情報を生成する処理方針情報生成処理を行い（ステップＳ１０８）、処理方針情報記憶部１５０に登録する（ステップＳ１１０）。この後、情報処理システム１００は、対象の実オブジェクトを変更して、再度ステップＳ１０６〜Ｓ１１０の処理を行う。
（２）処理方針情報変更処理群
情報処理システム１００は、処理方針情報生成処理群を終えた場合（ステップＳ１０４／ＹＥＳ）、実オブジェクトの処理方針情報を変更するための各種処理を行う（ステップＳ２００）。
詳しくは、まず、処理方針情報制御部１２１は、全ての登録済みの処理方針情報を処理したか否かを判定する（ステップＳ２０２）。以降のステップＳ２０４〜Ｓ２０８の処理は、登録済みの処理方針情報の各々を対象として、全ての処理方針情報が処理されるまで繰り返し行われる（ステップＳ２０２／ＮＯ）。まず、表示制御部１２３は、処理方針情報をユーザに提示する、処理方針情報提示処理を行う（ステップＳ２０４）。例えば、表示制御部１２３は、ある実オブジェクトに関連付けて、当該実オブジェクトの処理方針情報を示す表示オブジェクトを表示する。次いで、処理方針情報制御部１２１は、ユーザ操作を逐次監視して、処理方針情報を変更するユーザ操作を検出する、処理方針情報変更操作検出処理を行う（ステップＳ２０６）。そして、処理方針情報制御部１２１は、処理方針情報を変更するユーザ操作が検出された場合に、かかるユーザ操作に応じて処理方針情報の変更を登録する、処理方針情報変更登録処理を行う（ステップＳ２０８）。この後、情報処理システム１００は、対象の処理方針情報を変更して、再度ステップＳ２０４〜Ｓ２０８の処理を行う。
（３）処理結果提示処理群
情報処理システム１００は、処理方針情報変更処理群を終えた場合（ステップＳ２０２／ＹＥＳ）、処理結果提示のための各種処理を行う（ステップＳ３００）。
詳しくは、まず、表示制御部１２３は、処理方針情報の確定操作が行われたか否かを判定する（ステップＳ３０２）。確定操作が行われていないと判定された場合（ステップＳ３０２／ＮＯ）、処理は処理方針情報生成処理群に戻る。一方で、確定操作が行われたと判定された場合（ステップＳ３０２／ＹＥＳ）、処理結果を表示する、処理結果提示処理を行う（ステップＳ３０４）。
＜＜４．各処理の詳細＞＞
以下、上記説明した、処理方針情報生成処理（ステップＳ１０８）、処理方針情報提示処理（ステップＳ２０４）、処理方針情報変更操作検出処理（ステップＳ２０６）、処理方針情報変更登録処理（ステップＳ２０８）、及び処理結果提示処理（ステップＳ３０４）の各々の詳細を説明する。
＜４．１．処理方針情報生成処理＞
情報処理システム１００は、実オブジェクトの処理方針情報を生成する。例えば、情報処理システム１００は、実オブジェクトへの特定の操作を行ったユーザを実オブジェクトに関連付ける。例えば、情報処理システム１００は、ユーザが表示画面上に実オブジェクトを置くなどの操作を行い、実オブジェクトが表示画面上に初めて登場した際に、処理方針情報を生成する。
以下、図６〜図１２を参照して、処理方針情報生成処理の一例を説明する。情報処理システム１００は、以下に説明する処理を単体で又は組み合わせて実行する。
図６は、本実施形態に係る処理方針情報生成処理を説明するための図である。例えば、符号２０１示すように、表示画面１０（例えば、テーブル１４０ａの天面）上にユーザＸが実オブジェクト２０Ａを置き、ユーザＹが実オブジェクト２０Ｂを置いたものとする。この場合、符号２０２に示すように、情報処理システム１００は、実オブジェクト２０にユーザを関連付けない、即ち所属先をなしとする処理方針情報を生成してもよい。
図７は、本実施形態に係る処理方針情報生成処理を説明するための図である。例えば、符号２０３示すように、表示画面１０上にユーザＸが実オブジェクト２０Ａを置き、ユーザＹが実オブジェクト２０Ｂを置いたものとする。この場合、符号２０４に示すように、情報処理システム１００は、実オブジェクトを置いたユーザを当該実オブジェクト２０に関連付けてもよい。換言すると、情報処理システム１００は、実オブジェクトに触れたユーザを当該実オブジェクト２０に関連付けてもよい。例えば、情報処理システム１００は、実オブジェクト２０ＡにユーザＸを関連付け、実オブジェクト２０Ａの所属先をユーザＸとする処理方針情報を生成する。同様に、情報処理システム１００は、実オブジェクト２０ＢにユーザＹを関連付け、実オブジェクト２０Ｂの所属先をユーザＹとする処理方針情報を生成する
なお、情報処理システム１００は、実オブジェクト２０を置いた手をトレースすることで、どの実オブジェクト２０がどのユーザにより置かれたかを認識することができる。また、情報処理システム１００は、各々のユーザを、顔又は手の形状等を画像認識することで認識し区別してもよいし、より簡易には表示画面１０から見たユーザが存在する方向（例えば、腕の付け根の方向）に基づいて認識し区別してもよい。
また、図７では、処理方針情報生成処理の結果が提示される例を示している。詳しくは、実オブジェクト２０Ａの処理方針情報を示す表示オブジェクト３０Ａとして「所有者：Ｘ」が表示され、実オブジェクト２０Ｂに処理方針情報を示す表示オブジェクト３０Ｂとして「所有者：Ｙ」が表示されている。ただし、処理方針情報生成処理においては、これらの表示は行われなくてもよい。以降の図８〜図１２でも同様である。
図８は、本実施形態に係る処理方針情報生成処理を説明するための図である。例えば、符号２０５に示すように、表示画面１０上にユーザＸが実オブジェクト２０Ａを置き、ユーザＹが実オブジェクト２０Ｂを置いたものとする。例えば、情報処理システム１００は、実オブジェクトと所定の関係にあるユーザを、実オブジェクトに関連付けてもよい。この所定の関係は、距離に関連していてもよい。例えば、情報処理システム１００は、実オブジェクトとの距離が最も近いユーザを当該実オブジェクトに関連付ける。符号２０５を参照すると、実オブジェクト２０Ａ及び２０Ｂとの距離は、ユーザＹよりもユーザＸの方が近い。そこで、符号２０６に示すように、情報処理システム１００は、実オブジェクト２０Ａ及び２０ＢにユーザＸを関連付け、各々の処理方針情報を示す表示オブジェクト３０Ａ及び３０Ｂを表示する。本登録処理では、実オブジェクトを置いたユーザに関わらず、柔軟な関連付けが可能となる。なお、情報処理システム１００は、ユーザが実オブジェクトを置いた際の腕の付け根座標等に基づいてユーザが存在する位置を推定し、ユーザの位置と実オブジェクトの重心位置との距離を各ユーザに関して比較することで、実オブジェクトとの距離が最も近いユーザを特定し得る。
図９は、本実施形態に係る処理方針情報生成処理を説明するための図である。例えば、符号２０７に示すように、表示画面１０上にユーザＸが実オブジェクト２０Ａを置き、ユーザＹが実オブジェクト２０Ｂ及び２０Ｃを置いたものとする。例えば、情報処理システム１００は、実オブジェクトと所定の関係にあるユーザを、実オブジェクトに関連付けてもよい。この所定の関係は、実オブジェクトの向きに関連していてもよい。例えば、情報処理システム１００は、実オブジェクトの向きに対応するユーザを実オブジェクトに関連付ける。符号２０８に示すように、情報処理システム１００は、実オブジェクト２０Ａ及び２０Ｂが向く方向にユーザＸが存在することを認識し、実オブジェクト２０Ａ及び２０ＢにユーザＸを関連付け、各々の処理方針情報を示す表示オブジェクト３０Ａ及び３０Ｂを表示する。また、情報処理システム１００は、実オブジェクト２０Ｃが向く方向にユーザＹが存在することを認識し、実オブジェクト２０ＣにユーザＹを関連付け、処理方針情報を示す表示オブジェクト３０Ｃを表示する。なお、実オブジェクト２０の向きは、例えば実オブジェクト２０に印字された文字の向き、パッケージ等の上下情報が存在するテクスチャ、向きの概念が存在するバーコード又は向きを判別可能な形状等に基づいて認識され得る。
図１０は、本実施形態に係る処理方針情報生成処理を説明するための図である。例えば、符号２０９に示すように、表示画面１０上にユーザＸが実オブジェクト２０Ｃを置き、ユーザＹが実オブジェクト２０Ｄを置いたものとする。符号２０９を参照すると、実オブジェクト２０Ｃはすでに存在するユーザＸのクレジットカードＸの近くに置かれ、実オブジェクト２０Ｄはすでに存在するユーザＹのクレジットカードＹの近くに置かれている。例えば、情報処理システム１００は、所定の関係にある２つの実オブジェクトの一方に、他方の実オブジェクト又は他方の実オブジェクトに関連付けられたユーザを関連付けてもよい。この所定の関係は、距離に関連していてもよい。例えば、符号２１０に示すように、情報処理システム１００は、実オブジェクト２０Ｃに最も近い又は所定距離内のクレジットカードを所属先として登録してもよい。符号２１０に示すように、情報処理システム１００は、実オブジェクト２０Ｃに最も近い又は所定距離内のクレジットカードＸ（又はクレジットカードＸに関連付けられたユーザＸ）を関連付ける。なお、クレジットカードＸにユーザＸが関連付けられることは、印字情報等に基づいて特定されてもよい。そして、情報処理システム１００は、実オブジェクト２０ＣはクレジットカードＸ（又はユーザＸ）により支払いが行われることを示す処理方針情報を生成し、その旨を示す表示オブジェクト３０Ｃを表示する。同様に、情報処理システム１００は、実オブジェクト２０Ｄに最も近い又は所定距離内のクレジットカードＹ（又はクレジットカードＹに関連付けられたユーザＹ）を関連付ける。そして、情報処理システム１００は、実オブジェクト２０ＤはクレジットカードＹ（又はユーザＹ）により支払いが行われることを示す処理方針情報を生成し、その旨を示す表示オブジェクト３０Ｄを表示する。実オブジェクト２０Ａ及び表示オブジェクト３０Ａ、並びに実オブジェクト２０Ｂ及び表示オブジェクト３０Ｂに関しては、すでに同様の処理が行われている。
なお、表示画面における表示例を示す図においては、実オブジェクト上に実際に記載された文字を通常書体（斜字でない書体）で表現し、表示オブジェクトに含まれる文字を斜字で表現するものとする。このことは、以降の図でも同様である。
ここで、図１０では、所属先にすることが可能な実オブジェクトとして、印字情報等に基づいて個人を特定可能なクレジットカードを例に説明したが、本例はかかる例に限定されない。例えば、所属先にすることが可能な実オブジェクトは、プリペイドカード等のそれ単体では個人を特定することが困難な実オブジェクトであってもよい。また、所属先にすることが可能な実オブジェクトは、クレジットカード又はプリペイドカード等の、支払のための媒体以外であってもよい。その場合、例えば実オブジェクトに関連付けられたユーザが、他の実オブジェクトに関連付けられる。その場合の例を、図１１を参照して説明する。
図１１は、本実施形態に係る処理方針情報生成処理を説明するための図である。例えば、符号２１１に示すように、実オブジェクト２０Ａ及び実オブジェクト２０Ｂがすでに表示画面１０上に置かれた状態で、ユーザＸが実オブジェクト２０Ｃを置き、ユーザＹが実オブジェクト２０Ｄを置いたものとする。実オブジェクト２０Ａは、ユーザＸに関連付けられており、その旨を示す表示オブジェクト３０Ａが表示されている。また、実オブジェクト２０Ｂは、ユーザＹに関連付けられており、その旨を示す表示オブジェクト３０Ｂが表示されている。例えば、情報処理システム１００は、所定の関係にある２つの実オブジェクトの一方に、他方に関連付けられたユーザを関連付けてもよい。この所定の関係は、距離に関連していてもよい。例えば、符号２１２に示すように、実オブジェクト２０Ｃ及び２０Ｄの近くに又は所定距離内に実オブジェクト２０Ｂが存在する。そこで、情報処理システム１００は、実オブジェクト２０Ｃ及び２０ＤにユーザＸを関連付け、各々の処理方針情報を示す表示オブジェクト３０Ｃ及び３０Ｄを表示する。
図１２は、本実施形態に係る処理方針情報生成処理を説明するための図である。例えば、符号２１３に示すように、実オブジェクト２０Ａがすでに表示画面１０上に置かれた状態で、ユーザＸが実オブジェクト２０Ｂを置き、ユーザＹが実オブジェクト２０Ｃを置いたものとする。例えば、情報処理システム１００は、所定の関係にある２つの実オブジェクトの一方に、他方に関連付けられたユーザを関連付けてもよい。この所定の関係は、向きに関連していてもよい。例えば、符号２１４に示すように、情報処理システム１００は、実オブジェクト２０Ｂが向く方向にクレジットカードＸが存在することを認識し、クレジットカードＸに関連付けられたユーザＸを実オブジェクト２０Ｂに関連付け、処理方針情報を示す表示オブジェクト３０Ｂを表示する。また、情報処理システム１００は、実オブジェクト２０Ｃが向く方向にクレジットカードＹが存在することを認識し、クレジットカードＹに関連付けられたユーザＹを実オブジェクト２０Ｃに関連付け、処理方針情報を示す表示オブジェクト３０Ｃを表示する。実オブジェクト２０Ａ及び表示オブジェクト３０Ａに関しては、すでに同様の処理が行われている。
＜４．２．処理方針情報提示処理＞
情報処理システム１００は、実オブジェクトの処理方針情報に基づいて表示オブジェクトの表示を制御する。制御対象は、表示オブジェクトの内容、位置、大きさ、角度、形状、表示範囲等である。
例えば、情報処理システム１００は、処理方針情報に基づいて表示オブジェクトの内容を制御する。具体的には、情報処理システム１００は、図１３の符号２２１、２２２、図１４の符号２２５、２２６又は２２７に示すように、処理方針情報がすでに登録済み／未登録であることを示す表示オブジェクト、又は関連付けられたユーザに関する表示オブジェクト等を表示し得る。これにより、ユーザは、実オブジェクトの処理方針情報の存在有無、及び存在する場合はその内容を確認することが可能となる。
例えば、情報処理システム１００は、処理方針情報に基づいて表示オブジェクトの表示範囲を制御する。具体的には、情報処理システム１００は、後述する図１３の符号２２３及び図１４の符号２２８に示すように、ユーザが関連付けられているか否かに基づいて、実オブジェクトに表示オブジェクトの表示範囲を重畳させるか否かを制御し得る。実オブジェクトに表示オブジェクトの表示範囲が重畳されると、実オブジェクトのテクスチャが表示オブジェクトの表示内容で上書きされるので、視認が困難に且つセンシング（画像認識等を含む）が困難になる傾向にある。そこで、情報処理システム１００は、所属先がない実オブジェクトを表示オブジェクトの表示範囲から除くことで、所属先がない実オブジェクトの視認を容易に且つセンシングを容易にすることが可能となる。ここで、情報処理システム１００が設けられる部屋が明るい場合、ある領域を表示オブジェクトの表示範囲から除く処理として、黒一色を当該領域に表示（即ち、投影）してもよい。逆に、情報処理システム１００が設けられる部屋が暗い場合、ある領域を表示オブジェクトの表示範囲から除く処理として、白一色を当該領域に表示してもよい。他方、情報処理システム１００は、所属先のユーザがいる実オブジェクトに表示オブジェクトの表示範囲を重畳させることで、視認し辛くして、不要な所属情報の操作を未然に防止することが可能となる。
他にも、情報処理システム１００は、図１３の符号２２４及び図１４の符号２２８に示すように、ユーザが関連付けられているか否かに基づいて、実オブジェクトのセンシング対象領域に表示オブジェクトの表示範囲を重畳させるか否かを制御してもよい。センシング対象領域とは、バーコード等の、図１５等を参照して後述するようなユーザ操作を受け付けるための、又は画像認識等のためのセンシング（例えば、撮像）の対象となる領域である。そこで、情報処理システム１００は、所属先がない実オブジェクトに関しては、センシング対象領域を表示オブジェクトの表示範囲から除くことで、所属先がない実オブジェクトの視認を容易に且つセンシングを容易にすることが可能となる。また、情報処理システム１００は、表示範囲を実オブジェクトのうち上記センシング対象領域以外に重畳させることで、表示範囲の大きさを確保することも可能となる。他方、情報処理システム１００は、所属先のユーザがいる実オブジェクトのセンシング対象領域に表示オブジェクトの表示範囲を重畳させることで、視認し辛くして、不要な所属情報の操作を未然に防止することが可能となる。
例えば、情報処理システム１００は、実オブジェクトの処理方針情報を示す表示オブジェクトを、当該実オブジェクトに関連付けて表示する。例えば、情報処理システム１００は、関連付けられたユーザを示す表示オブジェクトを、実オブジェクトに重畳させて、又は実オブジェクトの付近に表示する。これにより、ユーザは、実オブジェクトの処理方針情報を直観的に知ることが可能となる。
以下、図１３及び図１４を参照して、処理方針情報提示処理の一例を説明する。情報処理システム１００は、以下に説明する処理を単体で又は組み合わせて実行する。
図１３は、本実施形態に係る処理方針情報提示処理を説明するための図である。図１３では、バーコード２１が付された図書であって、所属先がない実オブジェクト２０が、表示画面１０上に置かれている場合の表示例が示されている。実オブジェクト２０は、図書館における貸出し対象の図書であってもよく、バーコード２１は、図書館による管理のための情報が格納され、かかる情報の取得のためのセンシング対象であってもよい。図１３の符号２２１に示すように、情報処理システム１００は、何ら表示オブジェクトを表示しなくてもよい。また、符号２２２に示すように、情報処理システム１００は、所属先がないことを示す表示オブジェクト３０を表示してもよい。また、符号２２３に示すように、情報処理システム１００は、実オブジェクト２０を除いた範囲を表示範囲として表示オブジェクト３０を表示してもよい。また、符号２２４に示すように、情報処理システム１００は、実オブジェクト２０のうちバーコード２１を除いた範囲を表示範囲として表示オブジェクト３０を表示してもよい。
図１４は、本実施形態に係る処理方針情報提示処理を説明するための図である。図１４では、バーコード２１が付された図書であって、所属先がある実オブジェクト２０が、表示画面１０上に置かれている場合の表示例が示されている。例えば、符号２２５に示すように、情報処理システム１００は、所属先のユーザを示す表示オブジェクト３０を表示してもよい。また、符号２２６に示すように、情報処理システム１００は、すでに実オブジェクト２０の所属先になっているユーザが、自身に所属させるための操作を再度行った場合に、すでに所属済みであることを示す表示オブジェクト３０を表示してもよい。また、符号２２７に示すように、情報処理システム１００は、ユーザＸに所属している実オブジェクト２０に対してユーザＹが自身に所属させるための操作を行った場合、ユーザＸに所属済みであることを示す表示オブジェクト３０を表示してもよい。また、符号２２８に示すように、情報処理システム１００は、実オブジェクト２０のすべての範囲を表示範囲として表示オブジェクト３０を表示してもよい。
なお、情報処理システム１００は、常時、ユーザが実オブジェクト２０に触れたタイミング又は触れようと手をホバーさせたタイミングで、上記説明した表示オブジェクト３０を表示し得る。
＜４．３．処理方針情報変更操作検出処理＞
情報処理システム１００は、処理方針情報を変更するユーザ操作を検出して、ユーザが意図する処理方針情報の変更内容を認識する。
例えば、情報処理システム１００は、実オブジェクトへの触れ方に応じて処理方針情報を制御してもよい。具体的には、情報処理システム１００は、実オブジェクトをタップする指の本数、手の形、角度、指で作る図形等に応じて、処理方針情報を付与又は削除するといった変更内容を認識し得る。
以下、図１５〜図１９を参照して、処理方針情報を付与する操作の一例を説明する。情報処理システム１００は、以下に説明する処理を単体で又は組み合わせて実行する。
図１５は、本実施形態に係る処理方針情報変更操作検出処理を説明するための図である。図１５では、バーコード２１が付された図書である実オブジェクト２０が表示画面１０上に置かれている場合の、処理方針情報を変更する対象とする実オブジェクト２０を選択する操作の一例が示されている。例えば、符号２３１、２３２又は２３３に示すように情報処理システム１００は、バーコード２１等のセンシング対象の領域をなぞる操作、囲う操作又はタップする操作を、選択操作として検出してもよい。この選択操作は、選択したユーザを所属先にする操作として認識されてもよい。情報処理システム１００は、このような操作に基づいてバーコード２１の位置を早期に特定し、かかる位置を対象として限定的にセンシングすることが可能となる。また、１つの実オブジェクト２０に複数のバーコード２１が付されている場合に、ユーザがどちらのバーコード２１を対象としているかを認識することが可能となる。また、符号２３４に示すように、情報処理システム１００は、実オブジェクト２０自体をタップする操作を、選択操作として検出してもよい。情報処理システム１００は、このような操作に基づいて、タップされた実オブジェクト２０を対象としたセンシングを行ったり、タップされた実オブジェクト２０に付されたバーコード２１に限定したセンシングを行ったりすることが可能である。
図１６及び図１７は、本実施形態に係る処理方針情報変更操作検出処理を説明するための図である。図１６及び図１７では、ユーザ操作に応じて処理方針情報の付与が認識される例が示されている。例えば、情報処理システム１００は、ユーザ操作に応じて、購入／レンタルの区別、レンタル期間、共同購入の許可／拒否が認識される例が示されている。
具体的には、図１６の符号２３５、２３６及び２３７では、バーコード２１が付された図書である実オブジェクト２０が表示画面１０上に置かれている場合の、処理方針情報を変更する操作の一例が示されている。例えば、符号２３５に示すように、操作する指が１本か２本かに応じて、異なる処理方針情報の付与が認識されてもよい。例えば、バーコード２１Ａを指１本でタップされた実オブジェクト２０Ａは１週間のレンタルが意図されていることが認識され、バーコード２１Ｂを指２本でタップされた実オブジェクト２０Ｂは２週間のレンタルが意図されていることが認識されてもよい。また、符号２３６に示すように、指で操作されたか手のひらで操作されたかに応じて、異なる処理方針情報の付与が認識されてもよい。例えば、バーコード２１Ａを指でタップされた実オブジェクト２０Ａは購入が意図されていることが認識され、バーコード２１Ｂを手のひらでタッチされた実オブジェクト２０Ｂはレンタルが意図されていることが認識されてもよい。また、符号２３７に示すように、指で描かれた図形の形状に応じて、異なる処理方針情報の付与が認識されてもよい。例えば、バーコード２１Ａを円で囲われた実オブジェクト２０Ａは購入が意図されていることが認識され、バーコード２１Ｂを三角形で囲われた実オブジェクト２０Ｂはレンタルが意図されていることが認識されてもよい。他方、図１６の符号２３８では、食品である実オブジェクト２０が表示画面１０上に置かれている場合の、処理方針情報を変更する操作の一例が示されている。符号２３８に示すように、実オブジェクト２０をタッチしたクレジットカードに応じて、異なる処理方針情報の付与が認識されてもよい。例えば、クレジットカードＸによりタッチされた実オブジェクト２０ＡはクレジットカードＸによる決済が意図されていることが認識され、クレジットカードＹによりタッチされた実オブジェクト２０ＢはクレジットカードＹによる決済が意図されていることが認識されてもよい。
また、図１７の符号２３９及び符号２４０では、バーコード２１が付された図書である実オブジェクト２０が表示画面１０上に置かれている場合の、処理方針情報を変更する操作の一例が示されている。例えば、符号２３９に示すように、操作する指の角度に応じて、異なる処理方針情報の付与が認識されてもよい。例えば、バーコード２１Ａを下方向からタップされた実オブジェクト２０Ａは１週間のレンタルが意図されていることが認識され、バーコード２１Ｂを横方向からタップされた実オブジェクト２０Ｂは週間のレンタルが意図されていることが認識されてもよい。また、情報処理システム１００は、実オブジェクトへの触れ方と処理方針情報の制御内容との関係を示す情報を、補助情報として表示してもよい。具体的には、符号２４０に示すように、バーコード２１に指が触れた場合に、指の角度と対応するレンタル期間との関係を示す表示オブジェクト３０が表示され得る。これにより、ユーザの利便性は向上する。なお、ここでの指の角度とは、表示画面１０と平行する方向における角度であってもよいし、表示画面１０の法線方向との間で成す角度であってもよい。
なお、図１６及び図１７を参照して説明した処理方針情報を変更する操作は、図１５を参照して説明した実オブジェクトを選択する操作を兼ねて行われてもよい。
続いて、図１８を参照して、処理方針情報を削除する操作、又は一度行った操作をキャンセルする操作の一例を説明する。情報処理システム１００は、以下に説明する処理を単体で又は組み合わせて実行する。
図１８は、本実施形態に係る処理方針情報変更操作検出処理を説明するための図である。図１８では、実オブジェクトの処理方針情報をユーザ操作に応じて削除する又は処理方針情報の変更をユーザ操作に応じてキャンセルする例が示されている。例えば、一度行った操作を再度行う操作により、一度目の操作に応じた変更をキャンセルして元に戻すことが意図されていることが認識されてもよい。例えば、実オブジェクト２０の処理方針情報が、バーコード２１をなぞる操作により変更された場合に、符号２４１に示すように、バーコード２１を再度なぞる操作により、変更がキャンセルされてもよい。また、符号２４２に示すように、表示オブジェクトの一種であるキャンセルボタン３１への操作により、処理方針情報を削除することが意図されていることが認識されてもよい。例えば、実オブジェクト２０がユーザＸに所属する場合、所属情報からユーザＸが削除されてもよい。また、符号２４３に示すように、実オブジェクト２０の上に手をホバーさせながら左右に振る操作により、処理方針情報を削除することが意図されていることが認識されてもよい。例えば、実オブジェクト２０がユーザＸに所属する場合、所属情報からユーザＸが削除されてもよい。
ここで、情報処理システム１００は、処理方針情報を変更するためのユーザ操作が検出された又は予測される場合に、補助情報を表示してもよい。補助情報は、処理方針情報を参照することで得られる、すでに他のユーザに関連付けられていること等であってもよいし、物体情報を参照することで得られる、予算が足りないこと又は在庫がないこと等であってもよい。例えば、情報処理システム１００は、ユーザが実オブジェクトの処理方針情報を変更する又は変更しようとするタイミングで補助情報を表示することで、不要な操作による手数の増加及び当該操作により発生する不都合を未然に防ぐことが可能である。
この場合の例は、図１７の符号２４０を参照して一部言及したが、さらに図１９を参照して説明する。情報処理システム１００は、以下に説明する処理を単体で又は組み合わせて実行する。
図１９は、本実施形態に係る処理方針情報変更操作検出処理を説明するための図である。図１９では、ユーザが、実オブジェクトを自身に所属させる操作を行う場合に、補助情報が表示される例が示されている。例えば、符号２４４に示すように、情報処理システム１００は、表示画面１０上に置かれた図書の実オブジェクト２０を予約するために、ユーザが実オブジェクト２０上空で手をホバーさせてタップしようとするタイミングで、表示オブジェクト３０を表示してもよい。表示オブジェクト３０は、他のユーザにすでに予約されていることを示す補助情報であり、ユーザは、この補助情報により実オブジェクト２０への不要なタッチをしなくて済む。また、符号２４５に示すように、ユーザが、１０００円の食品である実オブジェクト２０Ａを購入するために、実オブジェクト２０Ａ上空で手をホバーさせてタップしようとするタイミングで、表示オブジェクト３０Ａ及び３０Ｂを表示してもよい。表示オブジェクト３０Ａは、実オブジェクト２０Ａは予算に収まらないことを示す補助情報であり、表示オブジェクト３０Ｂは、６００円の食品である実オブジェクト２０Ｂであれば購入可能であることを示す補助情報である。ユーザは、この補助情報により実オブジェクト２０Ａへの不要なタッチをしなくて済むと共に、実オブジェクト２０Ｂの購入を検討することが可能である。
＜４．４．処理方針情報変更登録処理＞
情報処理システム１００は、処理方針情報変更操作検出処理において検出されたユーザ操作に基づいて認識した変更内容に応じて、処理方針情報記憶部１５０に記憶された処理方針情報を変更する。例えば、情報処理システム１００は、ユーザ操作に基づいて認識した変更内容を、そのまま反映する、一部変更内容を変えて反映する、又は反映しない、といった制御を行う。処理方針変更登録処理は、典型的には、処理方針情報変更操作検出処理と連続的に行われるが、ユーザが何らかの確定操作を行ったタイミングで行われてもよい。また、情報処理システム１００は、変更結果を示す表示オブジェクトを表示してもよい。
例えば、第１のユーザが関連付けられた実オブジェクトに第２のユーザが触れた又は触れることが予測される場合を想定する。その場合、情報処理システム１００は、第２のユーザに対し当該実オブジェクトが第１のユーザが関連付けられていることを示す表示オブジェクトを表示させ、及び／又は第１のユーザに対し第２のユーザの操作に関する表示オブジェクトを表示させる。例えば、情報処理システム１００は、図２０の符号２５２を参照して後述するように、第２のユーザに対し実オブジェクトが第１のユーザに所属することを示す表示オブジェクトを表示する。また、情報処理システム１００は、図２０の符号２５２を参照して後述するように、第１のユーザに対し第２のユーザ操作により実オブジェクトの所属先が変更されたことを示す表示オブジェクトを表示する。これにより、第１のユーザは、第２のユーザによる操作により受ける、所属先が勝手に変更される又は変更される恐れがあるといった不利益を認識することが可能になる。このことは、盗難防止にも有効である。
以下、図２０〜図２２を参照して、処理方針情報変更登録処理の一例を説明する。情報処理システム１００は、以下に説明する処理を単体で又は組み合わせて実行する。
図２０〜図２２は、本実施形態に係る処理方針情報変更登録処理を説明するための図である。図２０〜図２２では、表示画面１０上にユーザＸに所属する実オブジェクト２０が置かれている状況下で、所属先をユーザＹに変更し当該変更を確定するための実オブジェクト２０へのタッチ操作が行われた場合の表示例が示されている。
図２０の符号２５１に示すように、情報処理システム１００は、すでにユーザＸに所属しており、所属先を変更する操作を受け付けないことを示す表示オブジェクト３０を表示してもよい。この場合、情報処理システム１００は、実オブジェクト２０の所属先を変更する操作を受け付けず、処理方針情報の変更を登録しない。このような登録基準は、先勝ちとも称され得る。
図２０の符号２５２に示すように、情報処理システム１００は、所属先の変更を登録し、ユーザＸに対して処理権利が失われたことを通知するための表示オブジェクト３０Ａ、及びユーザＹに対して処理権利が得られたことを通知するための表示オブジェクト３０Ｂを表示する。このような登録基準は、後勝ちとも称される。
図２１の符号２５３に示すように、情報処理システム１００は、所属情報の変更（ここでは、追加）を登録して、実オブジェクト２０の所属先がユーザＸ及びユーザＹであることを示す表示オブジェクト３０を表示してもよい。
図２１の符号２５４に示すように、情報処理システム１００は、処理権利を取得するための待ち行列への追加を登録し、実オブジェクト２０の処理権利はユーザＸが有し、待ち行列にユーザＹが存在することを示す表示オブジェクト３０を表示してもよい。この場合、例えばユーザＸが処理権利をキャンセルする操作を行った場合に、処理権利がユーザＹに移行して実オブジェクト２０がユーザＹに所属することとなる。
図２２の符号２５５に示すように、情報処理システム１００は、ユーザＹにより所属先を変更するよう操作された実オブジェクト２０Ａが、すでにユーザＸに所属しており、所属先を変更する操作を受け付けないことを示す表示オブジェクト３０Ａを表示してもよい。そして、情報処理システム１００は、実オブジェクト２０Ａと同一物である実オブジェクト２０Ｂを案内する表示オブジェクト３０Ｂを表示してもよい。この場合、情報処理システム１００は、実オブジェクト２０Ａの所属先を変更する操作を受け付けず、処理方針情報の変更を登録しない。
図２２の符号２５６に示すように、情報処理システム１００は、ユーザＹにより所属先の変更が希望された実オブジェクト２０Ａが、すでにユーザＸに所属しており、所属先を変更する操作を受け付けないことを示す表示オブジェクト３０Ａを表示してもよい。そして、情報処理システム１００は、実オブジェクト２０Ａと類似する実オブジェクト２０Ｂを案内する表示オブジェクト３０Ｂを表示してもよい。この場合、情報処理システム１００は、実オブジェクト２０Ａの所属先を変更する操作を受け付けず、処理方針情報の変更を登録しない。
＜４．５．処理結果提示処理＞
情報処理システム１００は、一連のユーザ操作が確定された場合に、処理結果を示す表示オブジェクトを表示する。例えば、情報処理システム１００は、表示画面上に位置するすべての実オブジェクトの処理方針情報及び／又は物体情報に基づいて、表示オブジェクトを表示する。
以下、図２３及び図２４を参照して、処理結果提示処理の一例を説明する。情報処理システム１００は、以下に説明する処理を単体で又は組み合わせて実行する。
図２３は、本実施形態に係る処理結果提示処理を説明するための図である。図２３の符号２６１に示すように、表示画面１０上に実オブジェクト２０Ａ、２０Ｂ及び２０Ｃが置かれている。実オブジェクト２０Ａは、処理方針情報として、所属先がユーザＸであること及び１週間のレンタルが行われることが登録されており、レンタル期間が１週間であることを示す表示オブジェクト３０Ａが表示されている。実オブジェクト２０Ｂは、処理方針情報として、所属先がユーザＸであること及び２週間のレンタルが行われることが登録されており、レンタル期間が２週間であることを示す表示オブジェクト３０Ｂが表示されている。実オブジェクト２０Ｃは、処理方針情報として、所属先がユーザＸであること及び１週間のレンタルが行われることが登録されており、レンタル期間が１週間であることを示す表示オブジェクト３０Ｃが表示されている。ユーザＸが、表示オブジェクトの一種である清算ボタン３２をタッチすると、情報処理システム１００は、１度目の処理方針情報確定操作が行われたことを認識して、符号２６２に示すように、処理結果を示す表示オブジェクト３０Ｄを表示する。その際、情報処理システム１００は、清算ボタン３２をタッチした手の付け根の位置に基づいてユーザＸの位置を推定し、ユーザＸが見やすく確認しやすい手元に表示オブジェクト３０Ｄを表示してもよい。また、情報処理システム１００は、表示画面１０上の実オブジェクトの位置を認識して、可能な限り平坦な面に表示オブジェクト３０Ｄを表示してもよい。ユーザＸが、表示オブジェクトの一種である確定ボタン３３をタッチすると、情報処理システム１００は２度目の処理方針情報確定操作が行われたことを認識して、例えばレンタル料の支払い情報等を示す表示オブジェクトを表示する。その後、ユーザＸは、レンタル料を支払い、各実オブジェクト２０を持ち帰ることができる。
図２４は、本実施形態に係る処理結果提示処理を説明するための図である。図２４の符号２６３に示すように、表示画面１０上に実オブジェクト２０Ａ、２０Ｂ及び２０Ｃが置かれている。実オブジェクト２０Ａは、処理方針情報として、所属先がクレジットカードＸ（即ち、ユーザＸ）であること及び購入が行われることが登録されており、クレジットカードＸにより支払いが行われることを示す表示オブジェクト３０Ａが表示されている。実オブジェクト２０Ｂは、処理方針情報として、所属先がクレジットカードＸ（即ち、ユーザＸ）であること及び購入が行われることが登録されており、クレジットカードＸにより支払いが行われることを示す表示オブジェクト３０Ｂが表示されている。実オブジェクト２０Ａは、処理方針情報として、所属先がクレジットカードＹ（即ち、ユーザＹ）であること及び購入が行われることが登録されており、クレジットカードＹにより支払いが行われることを示す表示オブジェクト３０Ｃが表示されている。ユーザＸが、表示された清算ボタン３２Ａをタッチすると、情報処理システム１００は、１度目の処理方針情報確定操作が行われたことを認識して、符号２６４に示すように、所属先がユーザＸである実オブジェクト２０Ａ及び２０Ｂの各々の値段及び合計金額を含む表示オブジェクト３０Ｄを、ユーザＸの手元に表示する。また、ユーザＹが、表示された清算ボタン３２Ｂをタッチすると、情報処理システム１００は、１度目の処理方針情報確定操作が行われたことを認識して、符号２６４に示すように、所属先がユーザＹである実オブジェクト２０Ｃの値段及び合計金額を含む表示オブジェクト３０Ｅを、ユーザＹの手元に表示する。その際、情報処理システム１００は、表示画面のうちクレジットカードの近傍且つ十分な面積を有する平坦な平面に、清算ボタン３２をタッチした手の付け根の位置に基づいて推定したユーザの位置に応じた向きで、処理結果を示す表示オブジェクトを表示してもよい。ユーザＸが、確定ボタン３３Ａをタッチすると、情報処理システム１００は、２度目の処理方針情報確定操作が行われたことを認識して、例えば支払い情報等を示す表示オブジェクトを表示する。その後、ユーザＸは、合計金額を支払い、実オブジェクト２０Ａ及び２０Ｂを持ち帰ることができる。同様に、ユーザＹが、確定ボタン３３Ｂをタッチすると、情報処理システム１００は、２度目の処理方針情報確定操作が行われたことを認識して、例えば支払い情報等を示す表示オブジェクトを表示する。その後、ユーザＹは、合計金額を支払い、実オブジェクト２０Ｃを持ち帰ることができる。
＜＜５．具体例＞＞
以下では、本実施形態に係る情報処理システム１００の適用例を具体的に説明する。
＜５．１．第１の具体例＞
本具体例は、情報処理システム１００がスーパーマーケットのセルフレジに適用され、複数人が清算処理を行う場合の例である。
ここで、情報処理システム１００は、各処理を以下のように行うものとする。処理方針情報生成処理では、情報処理システム１００は、実オブジェクトを表示画面１０上に置いたユーザを所属先とする処理方針情報を生成する。処理方針情報変更操作検出処理では、情報処理システム１００は、指１本でのタップを所属先の追加又は変更操作として、指２本でのタップを待ち行列への追加操作として、手のひらでのタッチを同系統商品の推薦を要求する操作として、同じ操作をもう一度繰り返すことをキャンセル操作として検出する。処理結果提示処理では、情報処理システム１００は、処理結果を示す表示オブジェクトをユーザの手元に表示する。
以下、図２５〜図３８を参照しながら、時系列に従って清算処理の様子を説明する。図２５〜図３８は、本実施形態に係る情報処理システム１００の第１の具体例を説明するための図である。かかる清算処理において最終的に処理方針情報記憶部１５０に登録される処理方針情報を、下記の表２に示す。
Figure 2018096804
図２５に示すように、表示画面１０上にユーザＸが実オブジェクト２０Ａ及び２０Ｂを置き、ユーザＹが実オブジェクト２０Ｃ及び２０Ｄを置いたものとする。他にも、表示画面１０上には、お勧め商品として、実オブジェクト２０Ｅ及び２０Ｆが予め置かれている。なお、実オブジェクト２０Ａ〜２０Ｆは、すべて商品である。また、情報処理システム１００は、会計（即ち、清算）するための会計ボタン３２を表示している。
次いで、情報処理システム１００は、処理方針情報生成処理において商品２０を置いたユーザを所属先（即ち、購入者）とする処理方針情報を生成し、処理方針情報提示処理において処理方針情報を提示する。具体的には、図２６に示すように、情報処理システム１００は、商品２０Ａ及び２０Ｂの所属先をユーザＸとする処理方針情報を生成し、所属先がユーザＸであることを示す表示オブジェクト３０Ａ及び３０Ｂを表示する。また、情報処理システム１００は、商品２０Ｂ及び２０Ｃの所属先をユーザＹとする処理方針情報を生成し、所属先がユーザＹであることを示す表示オブジェクト３０Ｃ及び３０Ｄを表示する。また、情報処理システム１００は、所属先を有する商品２０Ａ〜２０Ｄに関し、所属先を削除するためのキャンセルボタン３１Ａ〜３１Ｄも表示する。
次に、図２７に示すように、ユーザＸは、商品２０Ｃを指１本でタップする。すると、情報処理システム１００は、商品２０Ｃの所属先にユーザＸを追加し、商品２０Ｃの所属先がユーザＹ及びユーザＸであることを示す表示オブジェクト３０Ｅを表示する。
次いで、図２８に示すように、ユーザは、商品２０Ｄを手のひらでタッチする。すると、情報処理システム１００は、商品２０Ｃと同系統の類似商品である商品２０Ｆを推薦する表示オブジェクト３０Ｆを表示する。
次に、図２９に示すように、ユーザＸは、推薦された商品２０Ｆを指１本でタップする。すると、情報処理システム１００は、商品２０Ｆの所属先をユーザＸとする処理方針情報を生成し、商品２０Ｆの所属先がユーザＸであることを示す表示オブジェクト３０Ｇ、及びキャンセルボタン３１Ｆを表示する。
次いで、図３０に示すように、ユーザＹは、ユーザＸが買わないならば欲しいと考える商品２０Ｂを指２本でタップする。すると、情報処理システム１００は、商品２０Ｂの処理権利（即ち、購入権）の待ち行列にユーザＹを追加し、商品２０Ｆの購入権はユーザＸが有し、待ち行列にユーザＹが存在することを示す表示オブジェクト３０Ｈを表示する。
次に、図３１に示すように、ユーザＹが会計ボタン３２をタップすると、図３２に示すように、情報処理システム１００は、１度目の処理方針情報確定操作が行われたことを認識して、各々のユーザの手元に処理結果を示す表示オブジェクト３０Ｉ及び３０Ｊを表示する。詳しくは、情報処理システム１００は、処理方針情報及び物体情報を参照して、所属先がユーザＸである商品２０Ａ、２０Ｂ、２０Ｃ及び２０Ｆの各々の値段及び合計金額を含む表示オブジェクト３０ＩをユーザＸの手元に表示する。また、情報処理システム１００は、処理方針情報及び物体情報を参照して、所属先がユーザＹである商品２０Ｃ及び２０Ｄの各々の値段及び合計金額を含む表示オブジェクト３０ＪをユーザＹの手元に表示する。なお、商品２０Ｃは、所属先がユーザＸ及びユーザＹの２者であり、共同購入されるので、各ユーザには値段の半額が請求される。また、情報処理システム１００は、各々の購入を確定するための確定ボタン３３Ａ及び３３Ｂを表示する。
次いで、図３３に示すように、ユーザＸが商品２０Ｂの購入をキャンセルするためにキャンセルボタン３１Ｂをタップする。すると、図３４に示すように、情報処理システム１００は、待ち行列に存在するユーザＹを購入者に格上げして商品２０Ｂの所属先をユーザＹとし、商品２０Ｂの所属先がユーザＹであることを示す表示オブジェクト３０Ｋを表示する。また、かかる所属先の変更に伴い、情報処理システム１００は、表示オブジェクト３０Ｉを表示オブジェクト３０Ｌに更新し、表示オブジェクト３０Ｊを表示オブジェクト３０Ｍに更新する。
次に、図３５に示すように、ユーザＸが確定ボタン３３Ａをタップし、ユーザＹが確定ボタン３３Ｂをタップする。すると、図３６に示すように、情報処理システム１００は、２度目の処理方針情報確定操作が行われたことを認識して、クレジットカードを置くよう指示する表示オブジェクト３０Ｎ及び３０Ｏを、各々のユーザの手元に表示する。
次いで、図３７に示すように、ユーザＸはクレジットカードＸを表示オブジェクト３０Ｎ内の指定位置に置き、ユーザＹはクレジットカードＹを表示オブジェクト３０Ｏ内の指定位置に置く。すると、情報処理システム１００は、各々のユーザを所属先とする商品２０に関する決済処理を行う。
その後、図３８に示すように、情報処理システム１００は、物体情報を参照し、各々の商品２０の重さに基づいて袋詰め順序を示唆する表示オブジェクト３０Ｐ、３０Ｑ、及び３４Ａ〜３４Ｆを表示する。詳しくは、情報処理システム１００は、ユーザＸに対して、袋詰め順序を総合的に示唆する表示オブジェクト３０Ｐ、及び個々の商品２０毎に袋詰め順序の１番目〜３番目を示唆する表示オブジェクト３４Ａ〜３４Ｃを表示する。また、情報処理システム１００は、ユーザＹに対して、袋詰め順序を総合的に示唆する表示オブジェクト３０Ｑ、及び個々の商品２０毎に袋詰め順序の１番目〜３番目を示唆する表示オブジェクト３４Ｄ〜３４Ｆを表示する。
＜５．２．第２の具体例＞
本具体例は、情報処理システム１００が図書館での図書のセルフ貸出しサービスに適用され、複数人が貸出し処理を行う場合の例である。なお、情報処理システム１００は、図書館以外にも、ＣＤ又はＤＶＤ等のレンタルショップにも同様に適用可能である。
ここで、情報処理システム１００は、各処理を以下のように行うものとする。処理方針情報生成処理では、情報処理システム１００は、実オブジェクトが表示画面１０上に置かれた時点では所属先をなしとする処理方針情報を生成する。処理方針情報変更操作検出処理では、情報処理システム１００は、指１本でなぞる操作を所属先の追加若しくは変更操作、又は待ち行列への追加操作として、指２本でなぞる操作を同じ図書の探索を要求する操作として、ホバーを図書の状況に応じた操作ガイド又はメッセージの表示を要求する操作として検出する。処理結果提示処理では、情報処理システム１００は、処理結果を示す表示オブジェクトをユーザの手元に表示する。
以下、図３９〜図５０を参照しながら、時系列に従って貸出し処理の様子を説明する。図３９〜図５０は、本実施形態に係る情報処理システム１００の第２の具体例を説明するための図である。かかる貸出し処理において最終的に処理方針情報記憶部１５０に登録される処理方針情報を、下記の表３に示す。
Figure 2018096804
図３９に示すように、表示画面１０上にユーザＸが実オブジェクト２０Ａ及び２０Ｂを置き、ユーザＹが実オブジェクト２０Ｃ及び２０Ｄを置いたものとする。他にも、表示画面１０上には、お勧め図書として、実オブジェクト２０Ｅ及び２０Ｆが予め置かれている。なお、実オブジェクト２０Ａ〜２０Ｆは、すべて図書であり、バーコード２１Ａ〜２１Ｆが付されている。また、情報処理システム１００は、貸出しを確定するための確定ボタン３２を表示している。
次いで、情報処理システム１００は、処理方針情報生成処理において所属先（即ち、借りる者）をなしとする処理方針情報を生成し、処理方針情報提示処理において処理方針情報を提示する。具体的には、図４０に示すように、情報処理システム１００は、所属先がない図書２０Ａ〜Ｆのバーコード２１Ａ〜２１Ｆを除いた、表示画面１０の全範囲を表示範囲とする表示オブジェクト３０Ａを表示する。例えば、情報処理システム１００は、部屋が明るい場合、バーコード２１Ａ〜２１Ｆを除いた範囲に、操作指示又はイベント情報等の図書館側がユーザに通知したい任意の情報を表示しつつ、バーコード２１Ａ〜２１Ｆに相当する領域に黒一色を表示する。これにより、ユーザからは、バーコード２１Ａ〜２１Ｆが視認容易となる。なお、表示オブジェクト３０Ａは、背景としての意味をもち、他の表示オブジェクト（例えば、確定ボタン３２）により上書きされ得る。なお、表示オブジェクト３０Ａのような背景と、それに上書きされる確定ボタン３２のような表示オブジェクトは、ひとつの表示オブジェクトとして合成されて表示されるものであるが、本明細書では、それぞれ分離して表示されるものとして説明する。
次に、図４１に示すように、ユーザＸは、図書２０Ａ及び２０Ｂのバーコード２１Ａ及び２１Ｂを指１本でなぞり、ユーザＹは、図書２０Ｃ及び２０Ｄのバーコード２１Ｃ及び２１Ｄを指１本でなぞる。すると、図４２に示すように、情報処理システム１００は、所属先がない図書２０Ｅ及び２０Ｆのバーコード２１Ｅ及び２１Ｆを除いた、表示画面１０の全範囲を表示範囲とする表示オブジェクト３０Ｂを、背景として表示する。また、情報処理システム１００は、図書２０Ａ及び２０Ｂの所属先をユーザＸとして、ユーザＸが借りる図書２０の一覧を示す表示オブジェクト３０Ｃを表示する。また、情報処理システム１００は、図書２０Ｃ及び２０Ｄの所属先をユーザＹとして、ユーザＹが借りる図書２０の一覧を示す表示オブジェクト３０Ｄを表示する。
次いで、図４３に示すように、ユーザＸは、ユーザＹがすでに所属先として登録されている図書２０Ｃを操作しようと手を伸ばしてホバー操作を行う。すると、情報処理システム１００は、図書２０Ｃのバーコード２１Ｃへの投影を解除した表示オブジェクト３０Ｅに背景を変更し、操作ガイドを示す表示オブジェクト３０Ｆを表示する。
次に、図４４に示すように、ユーザＸは、図書２０Ｃのバーコード２１Ｃを指１本でなぞる。すると、情報処理システム１００は、図書２０Ｃの予約者としてユーザＸを関連付け、ユーザＸが借りる又は予約する図書２０の一覧を示す表示オブジェクト３０Ｇを表示する。
次いで、図４５に示すように、ユーザＸは、ユーザＹがすでに所属先として登録されている図書２０Ｄのバーコード２１Ｄを指２本でなぞる。すると、情報処理システム１００は、図書２０Ｄと同じ図書が存在する書架を示す表示オブジェクト３０Ｉを表示する。なお、情報処理システム１００は、図書２０Ｄを操作しようと手を伸ばしてホバー操作を行った時点で、バーコード２１Ｄへの投影を解除した表示オブジェクト３０Ｈに背景を変更している。
次に、図４６に示すように、ユーザは、２冊目の図書「Ｂｏｏｋ ４」である図書２０Ｇを表示画面１０上に置く。すると、情報処理システム１００は、表示画面１０上に図書２０Ｇが置かれた時点で、所属先をなしとする処理方針情報を生成し、バーコード２１Ｇへの投影を解除した表示オブジェクト３０Ｊに背景を変更する。そして、ユーザは、図書２０Ｇのバーコード２１Ｇを指１本でなぞる。すると、情報処理システム１００は、図書２０Ｇの所属先をユーザＸとして、ユーザＸが借りる又は予約する図書２０の一覧を示す表示オブジェクト３０Ｋを表示する。ここで、ユーザＸへの図書の貸出し数は、貸出限度冊数である３冊に達している。
次いで、図４７に示すように、ユーザＸは、図書２０Ｆを操作しようと手を伸ばしてホバー操作を行う。すると、情報処理システム１００は、ユーザＸへの貸出し数が貸出限度冊数に達していることを示す表示オブジェクト３０Ｌを表示する。また、情報処理システム１００は、現時点で所属先がない図書２０Ｅ及び２０Ｆのバーコード２１Ｅ及び２１Ｆを除いた、表示画面１０の全範囲を表示範囲とする表示オブジェクト３０Ｂを、背景として表示する。
次に、図４８に示すように、ユーザＸが確定ボタン３２をタップする。すると、図４９に示すように、情報処理システム１００は、処理方針情報確定操作が行われたことを認識して、背景を削除し、ユーザＸへの貸出し処理結果を示す表示オブジェクト３０Ｍ、及びユーザＹへの貸出し処理結果を示す表示オブジェクト３０Ｎを、各ユーザの手元に表示する。その際、情報処理システム１００は、物体情報を参照して、各々の図書２０の重さも表示オブジェクト３０Ｍ及び３０Ｎにおいて表示する。また、情報処理システム１００は、図書２０Ａ、２０Ｇ及び２０ＢがユーザＸに貸し出されることを示す表示オブジェクト３０Ｏ、３０Ｐ及び３０Ｑを表示する。また、情報処理システム１００は、図書２０Ｃ及び２０ＤがユーザＹに貸し出されることを示す表示オブジェクト３０Ｒ及び３０Ｓを表示する。
次いで、図５０に示すように、ユーザＸに貸出された図書２０Ａ及び２０Ｇが表示画面１０上から無くなる。すると、情報処理システム１００は、ユーザＸが図書２０Ａ及び２０Ｇを持って行ったと判断して、ユーザＸへの貸出し図書一覧から図書２０Ａ及び２０Ｇを削除した表示オブジェクト３０Ｔを表示する。また、情報処理システム１００は、残った図書２０Ｂを持っていくよう警告する表示オブジェクト３０ＵをユーザＸに対して表示する。また、図５０に示すように、ユーザＹに貸出された図書２０Ｃ及び２０Ｄが表示画面１０上から無くなる。すると、情報処理システム１００は、ユーザＹが図書２０Ｃ及び２０Ｄを持って行ったと判断して、ユーザＹへの貸出し図書がすべて持って行かれたこと示す表示オブジェクト３０Ｖを表示する。
＜＜６．ハードウェア構成例＞＞
最後に、図５１を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図５１は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図５１に示す情報処理装置９００は、例えば、図１〜図４に示した情報処理システム１００を実現し得る。本実施形態に係る情報処理システム１００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図５１に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図４に示す制御部１２０を形成し得る。例えば、ＣＰＵ９０１は、入力装置９０６から入力された情報に基づいて、ストレージ装置９０８に記憶される実オブジェクトの処理方針情報を制御し、処理方針情報に応じた表示オブジェクトを表示するよう出力装置９０７を制御する。
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。他にも、入力装置９０６は、ユーザに関する情報を検知する装置により形成され得る。例えば、入力装置９０６は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。また、入力装置９０６は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得してもよい。また、入力装置９０６は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して装置の緯度、経度及び高度を含む位置情報を測定するＧＮＳＳモジュールを含んでもよい。また、位置情報に関しては、入力装置９０６は、Ｗｉ−Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。入力装置９０６は、例えば、図１〜図４に示す入力部１１０を形成し得る。本実施形態では、入力装置９０６は、ユーザ操作、及び表示画面上の実オブジェクトに関する情報を受け付ける。
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば、図１〜図４に示す出力部１３０を形成し得る。本実施形態では、出力装置９０７は、ＣＰＵ９０１による制御に基づき、実オブジェクトの処理方針情報に応じた表示オブジェクトを表示する。
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図４に示す処理方針情報記憶部１５０及び物体情報記憶部１６０を形成し得る。本実施形態では、ストレージ装置９０８は、実オブジェクトごとの処理方針情報及び物体情報を記憶する。
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
＜＜７．まとめ＞＞
以上、図１〜図５１を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、情報処理システム１００は、表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、実オブジェクトの処理方針を示す処理方針情報を、実オブジェクトへのユーザ操作に応じて制御する。そして、情報処理システム１００は、実オブジェクトの処理方針情報に基づいて表示オブジェクトの表示を制御する。処理方針情報は、少なくとも実オブジェクトに関連付けられるユーザの識別情報を含み、実オブジェクトへのユーザ操作に応じて制御され、そして処理方針情報に基づいて表示オブジェクトの表示が制御される。そのため、情報処理システム１００は、複数のユーザ、表示オブジェクト及び実オブジェクト間のインタラクションを実現することが可能である。また、ユーザは、実オブジェクトを直接操作することにより、直観的に処理方針情報を操作することが可能である。また、情報処理システム１００は、上記表示を実現するための各種処理を分離して実行可能であるので、適用先に応じた柔軟なシステムの構築が可能である。
また、情報処理システム１００は、実オブジェクトに触れたユーザを実オブジェクトに関連付ける。これにより、ユーザは、容易かつ直観的な操作で実オブジェクトを自身に所属させることが可能となり、購入又はレンタル等の動作を簡単に行うことが可能となる。
また、情報処理システム１００は、ユーザが関連付けられているか否かに基づいて、実オブジェクトに表示オブジェクトの表示範囲を重畳させるか否かを制御する。これにより、情報処理システム１００は、所属先がない実オブジェクトの存在をユーザに明示することが可能となり、ユーザは、操作を行うべきか否かを容易に判断することが可能となる。さらには、情報処理システム１００は、ユーザが関連付けられているか否かに基づいて、実オブジェクトのセンシング対象領域に表示オブジェクトの表示範囲を重畳させるか否かを制御してもよい。これにより、情報処理システム１００は、センシング精度を向上させたり、投影面積を効率的に利用したり、ユーザの注意を操作すべき実オブジェクトだけに集中させたりすることが可能である。
また、情報処理システム１００は、ユーザ操作が行われる前のホバーが行われている段階で補助情報を提示する。これにより、不要な操作による手数増加、及び扶養な操作により発生する様々な不都合を未然に防止することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図４に示した情報処理システム１００の機能構成例のうち、制御部１２０、処理方針情報記憶部１５０及び物体情報記憶部１６０が、入力部１１０及び出力部１３０とネットワーク等で接続されたサーバ等の装置に備えられていても良い。
その場合、入力部１１０からの情報がネットワーク等を通じて当該サーバ等の装置に送信され、制御部１２０が入力部１１０からの情報に対して処理を行い、当該サーバ等の装置から、出力部１３０が出力するための情報がネットワーク等を通じて出力部１３０に送られる。
また、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御する処理方針情報制御部と、
前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御する表示制御部と、
を備える情報処理装置。
（２）
前記処理方針情報制御部は、前記実オブジェクトに触れたユーザを前記実オブジェクトに関連付ける、前記（１）に記載の情報処理装置。
（３）
前記処理方針情報制御部は、前記実オブジェクトへの触れ方に応じて前記処理方針情報を制御する、前記（２）に記載の情報処理装置。
（４）
前記表示制御部は、前記実オブジェクトへの触れ方と前記処理方針情報の制御内容との関係を示す情報を表示させる、前記（３）に記載の情報処理装置。
（５）
前記処理方針情報制御部は、前記実オブジェクトの向きに対応するユーザを前記実オブジェクトに関連付ける、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記処理方針情報制御部は、前記実オブジェクトとの距離が最も近いユーザを前記実オブジェクトに関連付ける、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記処理方針情報制御部は、所定の関係にある２つの前記実オブジェクトの一方に、他方に関連付けられたユーザを関連付ける、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記表示制御部は、第１のユーザが関連付けられた前記実オブジェクトに第２のユーザが触れた又は触れることが予測される場合に、前記実オブジェクトに前記第１のユーザが関連付けられていることを示す表示オブジェクトを表示させ、及び／又は前記第１のユーザに対し前記第２のユーザの操作に関する表示オブジェクトを表示させる、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記表示制御部は、前記処理方針情報に基づいて前記表示オブジェクトの表示範囲を制御する、前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記表示制御部は、ユーザが関連付けられているか否かに基づいて、前記実オブジェクトに前記表示オブジェクトの表示範囲を重畳させるか否かを制御する、前記（９）に記載の情報処理装置。
（１１）
前記表示制御部は、ユーザが関連付けられているか否かに基づいて、前記実オブジェクトのセンシング対象領域に前記表示オブジェクトの表示範囲を重畳させるか否かを制御する、前記（９）に記載の情報処理装置。
（１２）
前記表示制御部は、前記実オブジェクトの特徴を示す物体情報に基づいて前記表示オブジェクトの表示を制御する、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記処理方針情報は、前記実オブジェクトに関連付けられるユーザの識別情報として、前記実オブジェクトの処理権利を有するユーザの識別情報を含む、前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記処理方針情報は、前記実オブジェクトに関連付けられるユーザの識別情報として、前記実オブジェクトの処理権利の取得待ちをしているユーザの識別情報を含む、前記（１３）に記載の情報処理装置。
（１５）
前記処理権利は、前記実オブジェクトを購入する権利である、前記（１３）又は（１４）に記載の情報処理装置。
（１６）
前記処理権利は、前記実オブジェクトをレンタルする権利である、前記（１３）又は（１４）に記載の情報処理装置。
（１７）
前記処理方針情報は、前記処理権利の有効期間を示す情報を含む、前記（１６）に記載の情報処理装置。
（１８）
前記処理方針情報は、前記実オブジェクトへのユーザ操作のうち有効化する又は無効化するユーザ操作を示す情報を含む、前記（１）〜（１７）のいずれか一項に記載の情報処理装置。
（１９）
表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御することと、
前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御することと、
を含むプロセッサにより実行される情報処理方法。
（２０）
コンピュータを、
表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御する処理方針情報制御部と、
前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御する表示制御部と、
として機能させるためのプログラム。
１０ 表示画面
２０ 実オブジェクト
３０ 表示オブジェクト
１００ 情報処理システム
１１０ 入力部
１２０ 制御部
１２１ 処理方針情報制御部
１２３ 表示制御部
１３０ 出力部
１４０ テーブル
１５０ 処理方針情報記憶部
１６０ 物体情報記憶部

Claims (20)

  1. 表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御する処理方針情報制御部と、
    前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御する表示制御部と、
    を備える情報処理装置。
  2. 前記処理方針情報制御部は、前記実オブジェクトに触れたユーザを前記実オブジェクトに関連付ける、請求項１に記載の情報処理装置。
  3. 前記処理方針情報制御部は、前記実オブジェクトへの触れ方に応じて前記処理方針情報を制御する、請求項２に記載の情報処理装置。
  4. 前記表示制御部は、前記実オブジェクトへの触れ方と前記処理方針情報の制御内容との関係を示す情報を表示させる、請求項３に記載の情報処理装置。
  5. 前記処理方針情報制御部は、前記実オブジェクトの向きに対応するユーザを前記実オブジェクトに関連付ける、請求項１に記載の情報処理装置。
  6. 前記処理方針情報制御部は、前記実オブジェクトとの距離が最も近いユーザを前記実オブジェクトに関連付ける、請求項１に記載の情報処理装置。
  7. 前記処理方針情報制御部は、所定の関係にある２つの前記実オブジェクトの一方に、他方に関連付けられたユーザを関連付ける、請求項１に記載の情報処理装置。
  8. 前記表示制御部は、第１のユーザが関連付けられた前記実オブジェクトに第２のユーザが触れた又は触れることが予測される場合に、前記実オブジェクトに前記第１のユーザが関連付けられていることを示す表示オブジェクトを表示させ、及び／又は前記第１のユーザに対し前記第２のユーザの操作に関する表示オブジェクトを表示させる、請求項１に記載の情報処理装置。
  9. 前記表示制御部は、前記処理方針情報に基づいて前記表示オブジェクトの表示範囲を制御する、請求項１に記載の情報処理装置。
  10. 前記表示制御部は、ユーザが関連付けられているか否かに基づいて、前記実オブジェクトに前記表示オブジェクトの表示範囲を重畳させるか否かを制御する、請求項９に記載の情報処理装置。
  11. 前記表示制御部は、ユーザが関連付けられているか否かに基づいて、前記実オブジェクトのセンシング対象領域に前記表示オブジェクトの表示範囲を重畳させるか否かを制御する、請求項９に記載の情報処理装置。
  12. 前記表示制御部は、前記実オブジェクトの特徴を示す物体情報に基づいて前記表示オブジェクトの表示を制御する、請求項１に記載の情報処理装置。
  13. 前記処理方針情報は、前記実オブジェクトに関連付けられるユーザの識別情報として、前記実オブジェクトの処理権利を有するユーザの識別情報を含む、請求項１に記載の情報処理装置。
  14. 前記処理方針情報は、前記実オブジェクトに関連付けられるユーザの識別情報として、前記実オブジェクトの処理権利の取得待ちをしているユーザの識別情報を含む、請求項１３に記載の情報処理装置。
  15. 前記処理権利は、前記実オブジェクトを購入する権利である、請求項１３に記載の情報処理装置。
  16. 前記処理権利は、前記実オブジェクトをレンタルする権利である、請求項１３に記載の情報処理装置。
  17. 前記処理方針情報は、前記処理権利の有効期間を示す情報を含む、請求項１６に記載の情報処理装置。
  18. 前記処理方針情報は、前記実オブジェクトへのユーザ操作のうち有効化する又は無効化するユーザ操作を示す情報を含む、請求項１に記載の情報処理装置。
  19. 表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御することと、
    前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御することと、
    を含むプロセッサにより実行される情報処理方法。
  20. コンピュータを、
    表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御する処理方針情報制御部と、
    前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御する表示制御部と、
    として機能させるためのプログラム。
JP2018552443A 2016-11-25 2017-10-05 情報処理装置、情報処理方法及びプログラム Active JP6943257B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016228765 2016-11-25
JP2016228765 2016-11-25
PCT/JP2017/036366 WO2018096804A1 (ja) 2016-11-25 2017-10-05 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018096804A1 true JPWO2018096804A1 (ja) 2019-10-17
JP6943257B2 JP6943257B2 (ja) 2021-09-29

Family

ID=62194987

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018552443A Active JP6943257B2 (ja) 2016-11-25 2017-10-05 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US10802700B2 (ja)
JP (1) JP6943257B2 (ja)
WO (1) WO2018096804A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7256665B2 (ja) * 2019-03-28 2023-04-12 シャープ株式会社 情報処理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065558A (ja) * 2004-08-26 2006-03-09 Canon Inc 入力表示装置
JP2012529099A (ja) * 2009-06-05 2012-11-15 サムスン エレクトロニクス カンパニー リミテッド ユーザ別ｕｉ提供方法及びそれを適用したデバイス
WO2013108349A1 (ja) * 2012-01-18 2013-07-25 パナソニック株式会社 表示装置および表示方法
WO2014132525A1 (ja) * 2013-03-01 2014-09-04 日本電気株式会社 情報処理システム、および情報処理方法
WO2015098188A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 表示制御装置、表示制御方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040125136A1 (en) * 2002-12-30 2004-07-01 Jukka Wallenius Provision of services through a display system
KR101349227B1 (ko) * 2010-03-29 2014-02-11 한국전자통신연구원 멀티미디어 시스템에서 객체 정보 제공 장치 및 방법
US9632677B2 (en) * 2011-03-02 2017-04-25 The Boeing Company System and method for navigating a 3-D environment using a multi-input interface
TWI451160B (zh) * 2012-03-05 2014-09-01 原相科技股份有限公司 自動偵測方法及使用該方法之可攜式電子裝置
KR102071579B1 (ko) * 2013-09-02 2020-01-30 삼성전자주식회사 화면 미러링을 이용한 서비스 제공 방법 및 그 장치
US9563192B2 (en) * 2014-01-02 2017-02-07 Rockwell Automation Technologies, Inc. Software workstation and method for employing appended metadata in industrial automation software
JP2016006613A (ja) 2014-06-20 2016-01-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6521055B2 (ja) * 2015-03-20 2019-05-29 株式会社リコー 表示装置、表示制御方法、表示制御プログラムおよび表示システム
US10282052B2 (en) * 2015-10-15 2019-05-07 At&T Intellectual Property I, L.P. Apparatus and method for presenting information associated with icons on a display screen
CN106981000B (zh) * 2016-10-13 2020-06-09 阿里巴巴集团控股有限公司 基于增强现实的多人线下交互、点餐方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065558A (ja) * 2004-08-26 2006-03-09 Canon Inc 入力表示装置
JP2012529099A (ja) * 2009-06-05 2012-11-15 サムスン エレクトロニクス カンパニー リミテッド ユーザ別ｕｉ提供方法及びそれを適用したデバイス
WO2013108349A1 (ja) * 2012-01-18 2013-07-25 パナソニック株式会社 表示装置および表示方法
WO2014132525A1 (ja) * 2013-03-01 2014-09-04 日本電気株式会社 情報処理システム、および情報処理方法
WO2015098188A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 表示制御装置、表示制御方法及びプログラム

Also Published As

Publication number Publication date
US20200050336A1 (en) 2020-02-13
US10802700B2 (en) 2020-10-13
WO2018096804A1 (ja) 2018-05-31
JP6943257B2 (ja) 2021-09-29

Similar Documents

Publication Publication Date Title
US11402871B1 (en) Keyboard movement changes virtual display orientation
KR102252229B1 (ko) 웨어러블 디바이스용 로열티 계좌 및 자체 브랜드 계좌에 대한 사용자 인터페이스
US11778421B2 (en) User interfaces for tracking and finding items
CN106227344A (zh) 电子设备及其控制方法
CN108710525A (zh) 虚拟场景中的地图展示方法、装置、设备及存储介质
CN107038565A (zh) 用于电子支付的移动电子装置和方法
CN203241978U (zh) 信息处理装置
CN112578971A (zh) 页面内容展示方法、装置、计算机设备及存储介质
JP6943257B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20150302784A1 (en) Information processing system, control method, and computer-readable medium
US11054941B2 (en) Information processing system, information processing method, and program for correcting operation direction and operation amount
JP2020162756A (ja) ゲームプログラム、方法、および情報処理装置
CN109672799A (zh) 信息处理装置、系统以及存储媒体
US11188206B2 (en) Information processing apparatus and information processing method
CN109672798A (zh) 信息处理装置以及存储媒体
US11636460B2 (en) Electronic device, method and computer readable recording medium for electronic transaction
CN113393608B (zh) 业务处理方法、装置、终端及存储介质
CN108885638A (zh) 用于数字地图的着墨输入
JP2020162757A (ja) ゲームプログラム、方法、および情報処理装置
CN114779999A (zh) 信息显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210823

R151 Written notification of patent or utility model registration

Ref document number: 6943257

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151