WO2018096804A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2018096804A1
WO2018096804A1 PCT/JP2017/036366 JP2017036366W WO2018096804A1 WO 2018096804 A1 WO2018096804 A1 WO 2018096804A1 JP 2017036366 W JP2017036366 W JP 2017036366W WO 2018096804 A1 WO2018096804 A1 WO 2018096804A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
real object
display
information processing
Prior art date
Application number
PCT/JP2017/036366
Other languages
English (en)
French (fr)
Inventor
哲男 池田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/343,579 priority Critical patent/US10802700B2/en
Priority to JP2018552443A priority patent/JP6943257B2/ja
Publication of WO2018096804A1 publication Critical patent/WO2018096804A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/009—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader the reader being an RFID reader

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 discloses a technique for displaying a UI on a table and realizing an interaction between the UI and a user.
  • the present disclosure provides a mechanism that enables interaction between a plurality of users, display objects, and real objects.
  • the processing policy information indicating the processing policy of the real object including the identification information of the user associated with the real object on the surface of the object on which the display object is displayed according to a user operation on the real object.
  • An information processing apparatus is provided.
  • the processing policy information indicating the processing policy of the real object can be used for a user operation on the real object.
  • an information processing method executed by a processor including controlling in response and controlling display of the display object based on the processing policy information of the real object.
  • the processing policy information indicating the processing policy of the real object including the identification information of the user associated with the real object on the surface of the object on which the display object is displayed is transmitted to the real object.
  • a program for functioning as a processing policy information control unit that controls in accordance with a user operation and a display control unit that controls display of the display object based on the processing policy information of the real object is provided.
  • elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numerals.
  • a plurality of elements having substantially the same functional configuration are distinguished as real objects 20A, 20B, and 20C as necessary.
  • the real objects 20A, 20B, and 20C are simply referred to as real objects 20 when it is not necessary to distinguish them.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system according to an embodiment of the present disclosure.
  • the system may mean a configuration for executing a predetermined process, and the system as a whole can be regarded as one device, or a system is configured by a plurality of devices. It can also be regarded as.
  • the information processing system according to the present embodiment illustrated in FIG. 1 may also be configured to execute predetermined processing (for example, processing realized by the functional configuration illustrated in FIG. 4) as the entire information processing system. Which of these configurations is considered as one device may be arbitrary.
  • an information processing system 100a includes an input unit 110a and an output unit 130a.
  • the output unit 130a visually notifies the user of the information by displaying various types of information on the table 140a.
  • a projector is used as the output unit 130a.
  • the output unit 130a is disposed above the table 140a, for example, spaced from the table 140a by a predetermined distance while being suspended from the ceiling, and projects information on the top surface of the table 140a.
  • a method for displaying information on the top surface of the table 140a from above is also referred to as a “projection type”.
  • the entire area where information is displayed by the output unit 130a is also referred to as a display screen.
  • the output unit 130a displays information presented to the user as the application is executed by the information processing system 100a on the display screen.
  • the displayed information is, for example, an operation screen of each application.
  • each display area in which the operation screen of such an application is displayed on the display screen is also referred to as a display object.
  • the display object may be a so-called GUI (Graphical User Interface) component (widget).
  • the output unit 130a may include a lighting device.
  • the information processing system 100a turns on the lighting device based on the content of information input by the input unit 110a and / or the content of information displayed by the output unit 130a. You may control states, such as light extinction.
  • the output unit 130a may include a speaker and may output various kinds of information as sound.
  • the number of speakers may be one or plural.
  • the information processing system 100a may limit the speakers that output sound or adjust the direction in which sound is output.
  • the input unit 110a is a device that inputs operation details of a user who uses the information processing system 100a.
  • the input unit 110a is provided above the table 140a, for example, in a state suspended from the ceiling.
  • the input unit 110a is provided apart from the table 140a on which information is displayed.
  • the input unit 110a may be configured by an imaging device that can capture the top surface of the table 140a, that is, the display screen.
  • a camera that images the table 140a with one lens a stereo camera that can record information in the depth direction by imaging the table 140a with two lenses, or the like can be used.
  • the input unit 110a is a stereo camera, for example, a visible light camera or an infrared camera can be used.
  • the information processing system 100a analyzes the image (captured image) captured by the camera to physically locate the table 140a.
  • the position of a simple object hereinafter also referred to as a real object
  • the information processing system 100a analyzes the captured image by the stereo camera, and in addition to the position information of the object located on the table 140a, Depth information (in other words, three-dimensional information) can be acquired.
  • the information processing system 100a can detect contact or proximity of the user's hand to the table 140a in the height direction and separation of the hand from the table 140a based on the depth information.
  • contact when the user touches or brings an operating body such as a hand in contact with information on the display screen is also simply referred to as “contact”.
  • the position of the operating body for example, the user's hand on the display screen (that is, the top surface of the table 140a) is detected, and based on the detected position of the operating body.
  • Various information is input. That is, the user can perform various operation inputs by moving the operating tool on the display screen. For example, when a user's hand contact with the display object is detected, an operation input for the display object is performed.
  • a case where a user's hand is used as an operation body will be described as an example, but the present embodiment is not limited to this example, and various operation members such as a stylus are used as the operation body. May be.
  • the input unit 110a may capture not only the top surface of the table 140a but also a user existing around the table 140a.
  • the information processing system 100a can detect the position of the user around the table 140a based on the captured image.
  • the information processing system 100a may perform personal recognition of the user by extracting physical features that can identify the individual of the user, such as the size of the user's face and body included in the captured image. .
  • the present embodiment is not limited to such an example, and user operation input may be executed by other methods.
  • the input unit 110a may be provided as a touch panel on the top surface of the table 140a, and the user's operation input may be detected by contact of the user's finger or the like with respect to the touch panel. Further, the user's operation input may be detected by a gesture with respect to the imaging device constituting the input unit 110a.
  • the input unit 110a may include a voice input device such as a microphone that picks up sounds produced by the user and environmental sounds of the surrounding environment.
  • a microphone array for collecting sound in a specific direction can be suitably used. Further, the microphone array can be configured such that the sound collection direction can be adjusted to an arbitrary direction.
  • the input unit 110a When a voice input device is used as the input unit 110a, an operation input may be performed using the collected voice. Further, the information processing system 100a may perform individual recognition based on the voice by analyzing the collected voice.
  • the input unit 110a may be configured by a remote control device (so-called remote control).
  • the remote controller may be one in which a predetermined instruction is input by operating a predetermined button arranged on the remote controller, or movement of the remote controller by a sensor such as an acceleration sensor or a gyro sensor mounted on the remote controller. Or a posture may be detected, and a predetermined instruction may be input by an operation of the user moving the remote controller.
  • the information processing system 100a may include other input devices such as a mouse, a keyboard, buttons, switches, and levers (not shown) as the input unit 110a, and user operations are input through these input devices. Also good.
  • the configuration of the information processing system 100a according to the present embodiment has been described above with reference to FIG. Although not shown in FIG. 1, another device may be connected to the information processing system 100a.
  • an illumination device for illuminating the table 140a may be connected to the information processing system 100a.
  • the information processing system 100a may control the lighting state of the lighting device according to the state of the display screen.
  • the configuration of the information processing system is not limited to that shown in FIG.
  • the information processing system according to the present embodiment only needs to include an output unit that displays various types of information on the display screen, and an input unit that can accept at least an operation input for the displayed information. Is not limited.
  • FIG.2 and FIG.3 the other structural example of the information processing system which concerns on this embodiment is demonstrated.
  • 2 and 3 are diagrams showing another configuration example of the information processing system according to the present embodiment.
  • an output unit 130a is provided below the table 140b.
  • the output unit 130a is a projector, for example, and projects information from below toward the top plate of the table 140b.
  • the top plate of the table 140b is formed of a transparent material such as a glass plate or a transparent plastic plate, and the information projected by the output unit 130a is displayed on the top surface of the table 140b.
  • a method of projecting information from the bottom of the table 140b onto the output unit 130a and displaying the information on the top surface of the table 140b is also referred to as a “rear projection type”.
  • the input unit 110b is provided on the top surface (front surface) of the table 140b.
  • the input unit 110b is configured by, for example, a touch panel, and the operation input by the user is performed when the touch of the operating body on the display screen on the top surface of the table 140b is detected by the touch panel.
  • the configuration of the input unit 110b is not limited to this example, and the input unit 110b may be provided below the table 140b and separated from the table 140b, similarly to the information processing system 100a shown in FIG.
  • the input unit 110b is configured by an imaging device, for example, and can detect the position of the operation body on the top surface of the table 140b through a top plate formed of a transparent material.
  • a touch panel display is installed on a table with its display screen facing upward.
  • the input unit 110c and the output unit 130c can be integrally configured as the touch panel display. That is, various types of information are displayed on the display screen of the display, and the operation input by the user is performed by detecting the touch of the operating body on the display screen of the display by the touch panel.
  • an imaging device may be provided above the touch panel display as the input unit 110c. The position of the user around the table can be detected by the imaging device.
  • the information processing system according to the present embodiment can be realized by various configurations.
  • the present embodiment will be described by taking as an example the configuration of the information processing system 100a in which the input unit 110a and the output unit 130a are provided above the table 140a shown in FIG.
  • the information processing system 100a, the input unit 110a, and the output unit 130a are simply referred to as the information processing system 100, the input unit 110, and the output unit 130.
  • FIG. 4 is a block diagram illustrating an example of a functional configuration of the information processing system 100 according to the present embodiment.
  • the information processing system 100 includes an input unit 110, a control unit 120, an output unit 130, a processing policy information storage unit 150, and an object information storage unit 160 as its functions.
  • the input unit 110 is an input interface for inputting various information to the information processing system 100. A user can input various types of information to the information processing system 100 via the input unit 110.
  • the input unit 110 corresponds to the input units 110a to 110c shown in FIGS.
  • the input unit 110 is configured to be able to accept at least a user operation input on the display object displayed by the output unit 130.
  • the input unit 110 is configured by an imaging device, and captures a captured image including a user's hand on the display screen, an object positioned on the display screen, and the like. Information (for example, information about the captured image) input via the input unit 110 is provided to the control unit 120 described later, and a user operation input is detected or an object is detected.
  • the imaging device may be a visible light camera or an infrared camera, for example.
  • the input unit 110 may be configured as an imaging device including a function as a depth sensor capable of acquiring depth information such as a stereo camera.
  • the depth sensor may be configured separately from the imaging device as a sensor using an arbitrary method such as a time of flight method or a structured light method.
  • the input unit 110 may include a touch sensor.
  • the touch sensor detects a touch on the display screen.
  • the detection function of the user's hand which is not touching on the display screen and the object on the display screen may be secured by the imaging device which images the depth sensor and / or the display screen from above.
  • the input unit 110 can detect operations such as touching, tapping, and double tapping on a display object or a real object displayed on the display screen.
  • the input unit 110 can also detect an operation of holding a hand over a display object or a real object displayed on the display screen. Such an operation is also referred to as a hover.
  • the hover detection is effective for detecting the intention of the user to operate on the display object or the real object before the user actually operates (for example, before tapping).
  • Control unit 120 is configured by various processors such as a CPU or a DSP, for example, and controls the operation of the information processing system 100 by executing various arithmetic processes.
  • the control unit 120 operates according to a program stored in the processing policy information storage unit 150, the object information storage unit 160, or another storage device.
  • the control unit 120 can be regarded as an information processing apparatus that processes various types of information.
  • the control unit 120 includes a processing policy information control unit 121 and a display control unit 123 as its functions. Note that the control unit 120 may have functions other than these functions.
  • each function of the control unit 120 is realized by a processor constituting the control unit 120 operating according to a predetermined program.
  • Processing policy information control unit 121 displays processing policy information indicating the processing policy of the real object, including user identification information associated with the real object on the surface of the object on which the display object is displayed, according to the user operation on the real object. It has a function to control.
  • the processing policy information control unit 121 performs processing for associating a user with a real object as one of control of processing policy information.
  • the process of associating the user with the real object is a process of associating the user identification information with the real object identification information.
  • the object surface on which the display object is displayed is the surface of the object that becomes the display screen such as the table 140a described above.
  • the object surface on which the display object is displayed may not be a flat surface or a continuous surface, and may be, for example, a sphere or a stepped surface combining a plurality of flat surfaces. .
  • Processing policy information is stored in association with real objects.
  • processing policy information will be described.
  • the processing policy information includes at least user identification information associated with the real object.
  • the user indicated by the identification information associated with the real object may be, for example, a person who owns the real object, a person to purchase, a person to rent, or a person to provide.
  • a plurality of users may be associated with one real object.
  • the processing policy information may include identification information of a user who has the right to process the real object as identification information of the user associated with the real object.
  • a user who has the right to process the real object may be associated with the real object.
  • the processing right is a right for performing arbitrary processing on a real object such as a right to purchase a real object, a right to rent, a right to own, or a right to reserve.
  • the processing right may include information indicating the validity period of the processing right such as a rental period.
  • a user having such a processing right is also referred to as a user to which a real object belongs.
  • associating a user with a real object is also referred to as making the real object belong to the user, the real object belongs to the user, or the real object belongs to the user.
  • Information indicating a user to which a real object belongs is also referred to as affiliation information.
  • the processing policy information may include identification information of a user who is waiting to acquire a processing right of the real object as identification information of the user associated with the real object.
  • a user who is waiting to acquire a processing right for the real object may be associated with the real object.
  • the user can reserve the processing right (that is, add it to the queue) for the real object to which the processing right is given to another user.
  • the information processing system 100 can upgrade the first other user in the queue to a purchaser when a user who has the right to purchase (ie, a purchaser) declines the purchase.
  • the processing policy information may include information indicating a user operation to be validated or invalidated among user operations on the real object. For example, when joint purchase by a plurality of users is possible, the operation of associating another user with respect to a real object with which the user is already associated is validated. On the other hand, when only a single purchase is possible by one user, the operation of associating another user with the real object already associated with the user is invalidated. In this way, by including information indicating user operations to be enabled or disabled in the processing policy information, it becomes possible to clearly indicate to the user the permitted user operation or the prohibited operation. Will improve.
  • Table 1 below shows an example of processing policy information.
  • the display control unit 123 has a function of controlling display on the display screen.
  • the display control unit 123 generates display information for displaying information on the display screen, and outputs the generated display information to the output unit 130, thereby causing the output unit 130 to output the information.
  • the information processing system 100 displaying information based on the control by the display control unit 123 is also simply referred to as the information processing system 100 displaying information or the display control unit 123 displaying information.
  • Various controls by the display control unit 123 can be considered.
  • the display control unit 123 may control the display of the display object based on the processing policy information of the real object. For example, the display control unit 123 displays a display object including information indicating processing policy information such as a user to which the real object belongs, a rental period, and whether joint purchase is possible.
  • the display control unit 123 may control the display of the display object based on the object information indicating the characteristics of the real object.
  • the object information is information on a real object other than the processing policy information, and is information that does not change due to a user operation.
  • the object information may include information indicating, for example, the price, size, shape, weight, or stock of the real object.
  • the object information may include information on the Web such as SNS (Social Networking Service) related to the real object.
  • the display control unit 123 combines the processing policy information and the object information, and displays a display object that warns that the budget is insufficient when an expensive real object belongs to the user.
  • the display control unit 123 may control display of a display object indicating an interaction from an application with respect to a user input.
  • the display control unit 123 can function as a general OS control layer that performs multi-content drawing control for an application display window or the like, and distributes an event such as a touch to each content. .
  • the output unit 130 is an output interface for notifying the user of various types of information processed by the information processing system 100.
  • the output unit 130 is configured by a display device such as a display, a touch panel, or a projector, and displays various types of information on the display screen under the control of the display control unit 123.
  • the output unit 130 corresponds to the output units 130a to 130c shown in FIGS. 1 to 3, and displays a display object on the display screen as described above.
  • the present embodiment is not limited to this example, and the output unit 130 may further include an audio output device such as a speaker, and may output various types of information as audio.
  • the processing policy information storage unit 150 includes various storage devices such as a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device, and is processed by the information processing system 100. Various information to be stored is stored. Specifically, the processing policy information storage unit 150 stores processing policy information of real objects. The stored information is as described above with reference to Table 1.
  • the object information storage unit 160 includes various storage devices such as a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, or a magneto-optical storage device, and stores various types of information processed by the information processing system 100.
  • a magnetic storage device such as an HDD
  • a semiconductor storage device such as an HDD
  • an optical storage device such as an optical disk drive
  • a magneto-optical storage device such as an optical disk drive, or a magneto-optical storage device.
  • the object information storage unit 160 stores object information of a real object.
  • FIG. 5 is a flowchart illustrating an example of a flow of information processing executed by the information processing system 100 according to the present embodiment.
  • the information processing according to the present embodiment includes a processing policy information generation processing group (step S100), a processing policy information change processing group (step S200), and a processing result presentation processing group (step S300). .
  • step S100 Processing Policy Information Generation Processing Group First, the information processing system 100 performs various processes for generating processing policy information for real objects (step S100).
  • the information processing system 100 detects a real object that exists on the display screen (step S102).
  • the processing policy information control unit 121 recognizes the boundary between the display screen and the real object based on the depth information, and detects the closed curved surface as one real object.
  • the information processing system 100 determines whether or not all detected real objects have been processed (step S104). The subsequent processes in steps S106 to S110 are repeated for all the detected real objects until all the real objects are processed (step S104 / NO).
  • the processing policy information control unit 121 determines whether or not the processing policy information of the target real object has been registered in the processing policy information storage unit 150 (step S106). If it is determined that the information has been registered, the information processing system 100 changes the target real object, and performs the processes of steps S106 to S110 again (step S106 / YES).
  • step S106 when it is determined that it is not registered (step S106 / NO), the processing policy information control unit 121 performs processing policy information generation processing for generating processing policy information (step S108), and processing policy information storage unit 150 is registered (step S110). Thereafter, the information processing system 100 changes the target real object and performs the processing of steps S106 to S110 again.
  • the processing policy information control unit 121 determines whether or not all registered processing policy information has been processed (step S202). The subsequent processing in steps S204 to S208 is repeated for all the registered processing policy information until all processing policy information is processed (step S202 / NO).
  • the display control unit 123 performs processing policy information presentation processing that presents processing policy information to the user (step S204). For example, the display control unit 123 displays a display object indicating processing policy information of the real object in association with a certain real object.
  • the processing policy information control unit 121 performs processing policy information change operation detection processing for sequentially monitoring user operations and detecting user operations for changing the processing policy information (step S206).
  • the processing policy information control unit 121 performs a processing policy information change registration process for registering a change in the processing policy information in accordance with the user operation (Step S1). S208). Thereafter, the information processing system 100 changes the target processing policy information and performs the processes of steps S204 to S208 again.
  • step S300 Processing Result Presentation Processing Group
  • the display control unit 123 determines whether or not an operation for confirming the processing policy information has been performed (step S302). If it is determined that the confirming operation has not been performed (step S302 / NO), the processing returns to the processing policy information generation processing group. On the other hand, when it is determined that a confirmation operation has been performed (step S302 / YES), a processing result presentation process for displaying the processing result is performed (step S304).
  • processing policy information generation processing (step S108), the processing policy information presentation processing (step S204), the processing policy information change operation detection processing (step S206), the processing policy information change registration processing (step S208) described above, and Details of each of the processing result presentation processing (step S304) will be described.
  • the information processing system 100 generates processing policy information for real objects. For example, the information processing system 100 associates a user who has performed a specific operation on a real object with the real object. For example, the information processing system 100 generates processing policy information when the user performs an operation such as placing a real object on the display screen and the real object first appears on the display screen.
  • the information processing system 100 executes the processes described below alone or in combination.
  • FIG. 6 is a diagram for explaining the processing policy information generation processing according to the present embodiment.
  • the information processing system 100 may generate processing policy information that does not associate the user with the real object 20, that is, does not belong to any member.
  • FIG. 7 is a diagram for explaining the processing policy information generation processing according to the present embodiment.
  • the information processing system 100 may associate the user who placed the real object with the real object 20.
  • the information processing system 100 may associate the user who touched the real object with the real object 20.
  • the information processing system 100 associates the user X with the real object 20A and generates processing policy information in which the real object 20A belongs to the user X.
  • the information processing system 100 associates the user Y with the real object 20B and generates processing policy information in which the real object 20B belongs to the user Y.
  • the information processing system 100 can recognize which real object 20 is placed by which user by tracing the hand where the real object 20 is placed.
  • the information processing system 100 may recognize and distinguish each user by image recognition of the shape of the face or hand, or more simply, the direction in which the user is seen from the display screen 10 (for example, May be recognized and distinguished based on the direction of the base of the arm).
  • FIG. 7 shows an example in which the result of the processing policy information generation process is presented. Specifically, “owner: X” is displayed as the display object 30A indicating the processing policy information of the real object 20A, and “owner: Y” is displayed as the display object 30B indicating the processing policy information in the real object 20B. . However, these displays do not have to be performed in the processing policy information generation process. The same applies to the following FIG. 8 to FIG.
  • FIG. 8 is a diagram for explaining the processing policy information generation processing according to the present embodiment.
  • the information processing system 100 may associate a user who has a predetermined relationship with a real object with the real object. This predetermined relationship may be related to distance.
  • the information processing system 100 associates the user who is closest to the real object with the real object. Referring to reference numeral 205, the distance between the real objects 20A and 20B is closer to the user X than to the user Y.
  • the information processing system 100 associates the user X with the real objects 20A and 20B and displays the display objects 30A and 30B indicating the respective processing policy information. In this registration process, flexible association is possible regardless of the user who placed the real object.
  • the information processing system 100 estimates the position where the user exists based on the base coordinates of the arm when the user places the real object, and determines the distance between the user's position and the center of gravity of the real object for each user. By comparing, it is possible to specify the user who is closest to the real object.
  • FIG. 9 is a diagram for explaining the processing policy information generation processing according to the present embodiment.
  • the information processing system 100 may associate a user who has a predetermined relationship with a real object with the real object. This predetermined relationship may be related to the orientation of the real object.
  • the information processing system 100 associates a user corresponding to the direction of the real object with the real object.
  • the information processing system 100 recognizes that the user X exists in the direction in which the real objects 20A and 20B face, associates the user X with the real objects 20A and 20B, and indicates each processing policy information. Display objects 30A and 30B are displayed. Further, the information processing system 100 recognizes that the user Y exists in the direction in which the real object 20C faces, and associates the user Y with the real object 20C and displays the display object 30C indicating the processing policy information.
  • the orientation of the real object 20 is based on, for example, the orientation of characters printed on the real object 20, the texture in which up / down information such as a package exists, the barcode in which the concept of orientation exists, or the shape whose orientation can be determined. Can be recognized.
  • FIG. 10 is a diagram for explaining the processing policy information generation processing according to the present embodiment.
  • the user X places a real object 20C and the user Y places a real object 20D on the display screen 10.
  • the real object 20C is placed near the credit card X of the user X that already exists
  • the real object 20D is placed near the credit card Y of the user Y that already exists.
  • the information processing system 100 may associate one of two real objects having a predetermined relationship with the other real object or a user associated with the other real object. This predetermined relationship may be related to distance.
  • the information processing system 100 may register the credit card closest to the real object 20C or within a predetermined distance as the affiliation destination. As indicated by reference numeral 210, the information processing system 100 associates the credit card X (or the user X associated with the credit card X) that is closest to or within a predetermined distance from the real object 20C. The association of the user X with the credit card X may be specified based on print information or the like. Then, the information processing system 100 generates processing policy information indicating that the real object 20C is paid by the credit card X (or the user X), and displays a display object 30C indicating that fact.
  • the information processing system 100 associates the credit card Y closest to the real object 20D or within a predetermined distance (or the user Y associated with the credit card Y). Then, the information processing system 100 generates processing policy information indicating that the real object 20D is paid by the credit card Y (or the user Y), and displays a display object 30D indicating that fact. Similar processing has already been performed on the real object 20A and the display object 30A, and the real object 20B and the display object 30B.
  • a credit card that can identify an individual based on print information or the like has been described as an example of a real object that can belong to, but this example is not limited to such an example.
  • a real object that can be an affiliation may be a real object such as a prepaid card that is difficult to identify an individual by itself.
  • the real object that can be an affiliation destination may be a medium other than a payment medium such as a credit card or a prepaid card.
  • a user associated with a real object is associated with another real object. An example in that case will be described with reference to FIG.
  • FIG. 11 is a diagram for explaining the processing policy information generation processing according to the present embodiment.
  • the real object 20A and the real object 20B are already placed on the display screen 10
  • the user X places the real object 20C
  • the user Y places the real object 20D.
  • the real object 20A is associated with the user X, and a display object 30A indicating that fact is displayed.
  • the real object 20B is associated with the user Y, and a display object 30B indicating that fact is displayed.
  • the information processing system 100 may associate one of two real objects having a predetermined relationship with a user associated with the other. This predetermined relationship may be related to distance.
  • the information processing system 100 associates the user X with the real objects 20C and 20D, and displays the display objects 30C and 30D indicating the respective processing policy information.
  • FIG. 12 is a diagram for explaining the processing policy information generation processing according to the present embodiment.
  • the information processing system 100 may associate one of two real objects having a predetermined relationship with a user associated with the other. This predetermined relationship may be related to orientation.
  • the information processing system 100 recognizes that the credit card X exists in the direction in which the real object 20B faces, associates the user X associated with the credit card X with the real object 20B, and performs processing.
  • a display object 30B indicating policy information is displayed. Further, the information processing system 100 recognizes that the credit card Y exists in the direction in which the real object 20C faces, associates the user Y associated with the credit card Y with the real object 20C, and displays the display policy 30C indicating the processing policy information. Is displayed. Similar processing has already been performed for the real object 20A and the display object 30A.
  • the information processing system 100 controls display of the display object based on the processing policy information of the real object.
  • the control target is the content, position, size, angle, shape, display range, etc. of the display object.
  • the information processing system 100 controls the content of the display object based on the processing policy information. Specifically, the information processing system 100 displays a display object indicating that the processing policy information has already been registered / unregistered, as indicated by reference numerals 221, 222 in FIG. 13 and reference numerals 225, 226, or 227 in FIG. Or a display object or the like related to the associated user. As a result, the user can check the existence / non-existence of the processing policy information of the real object, and the contents of the information, if any.
  • the information processing system 100 controls the display range of the display object based on the processing policy information. Specifically, the information processing system 100 displays the display range of the display object on the real object based on whether or not the user is associated, as indicated by reference numeral 223 in FIG. 13 and reference numeral 228 in FIG. Whether to superimpose can be controlled.
  • the display range of the display object is superimposed on the real object, the texture of the real object is overwritten with the display content of the display object, so that it is difficult to visually recognize and sensing (including image recognition) tends to be difficult. . Therefore, the information processing system 100 can easily recognize and sense a real object without an affiliation by removing a real object without an affiliation from the display range of the display object.
  • the information processing system 100 when the room in which the information processing system 100 is provided is bright, as a process of removing a certain area from the display range of the display object, one black color may be displayed (that is, projected) on the area. Conversely, when the room in which the information processing system 100 is provided is dark, white may be displayed in the area as a process of removing a certain area from the display range of the display object.
  • the information processing system 100 by superimposing the display range of the display object on the real object where the user to which the user belongs belongs, the information processing system 100 is difficult to visually recognize and can prevent an operation of unnecessary belonging information. .
  • the information processing system 100 displays the display range of the display object in the sensing target area of the real object based on whether or not the user is associated, as indicated by reference numeral 224 in FIG. 13 and reference numeral 228 in FIG. 14. You may control whether to superimpose.
  • the sensing target area is an area that is a target of sensing (for example, imaging) for receiving a user operation such as a barcode, which will be described later with reference to FIG. 15 or the like, or for image recognition. Therefore, the information processing system 100 can easily recognize and sense a real object without an affiliation by removing the sensing target area from the display range of the display object for a real object without an affiliation. It becomes possible.
  • the information processing system 100 can ensure the size of the display range by superimposing the display range on the real object other than the sensing target region.
  • the information processing system 100 prevents the operation of unnecessary belonging information in advance by making it difficult to visually recognize the display object by superimposing the display range of the display object on the sensing target area of the real object where the user belongs. Is possible.
  • the information processing system 100 displays a display object indicating processing policy information of a real object in association with the real object.
  • the information processing system 100 displays a display object indicating the associated user superimposed on the real object or in the vicinity of the real object. As a result, the user can intuitively know the processing policy information of the real object.
  • the information processing system 100 executes the processes described below alone or in combination.
  • FIG. 13 is a diagram for explaining the processing policy information presentation processing according to the present embodiment.
  • FIG. 13 shows a display example in which a real object 20 which is a book to which a barcode 21 is attached and does not belong is placed on the display screen 10.
  • the real object 20 may be a book to be lent out in a library, and the barcode 21 may be a sensing target for storing information for management by the library and acquiring such information.
  • the information processing system 100 may not display any display object. Further, as indicated by reference numeral 222, the information processing system 100 may display the display object 30 indicating that there is no affiliation destination.
  • the information processing system 100 may display the display object 30 using the range excluding the real object 20 as a display range. Further, as indicated by reference numeral 224, the information processing system 100 may display the display object 30 using the range excluding the barcode 21 in the real object 20 as a display range.
  • FIG. 14 is a diagram for explaining the processing policy information presentation processing according to the present embodiment.
  • FIG. 14 shows a display example in which a real object 20 to which the affiliation belongs is placed on the display screen 10 as a book with a barcode 21 attached thereto.
  • the information processing system 100 may display a display object 30 that indicates the user to which the user belongs.
  • the information processing system 100 confirms that the user who has already belonged to the real object 20 has already belonged when the user performs an operation for belonging to himself / herself again.
  • the displayed display object 30 may be displayed.
  • the information processing system 100 has already belonged to the user X when the user Y performs an operation for allowing the user Y to belong to the real object 20 belonging to the user X. You may display the display object 30 which shows that. Further, as indicated by reference numeral 228, the information processing system 100 may display the display object 30 using the entire range of the real object 20 as a display range.
  • the information processing system 100 can always display the display object 30 described above at the timing when the user touches the real object 20 or the timing when the user hovers his hand to touch it.
  • the information processing system 100 detects a user operation for changing the processing policy information, and recognizes the change contents of the processing policy information intended by the user.
  • the information processing system 100 may control the processing policy information according to how to touch the real object. Specifically, the information processing system 100 can recognize changes such as adding or deleting processing policy information according to the number of fingers tapping a real object, the shape of a hand, an angle, a figure created by a finger, and the like. .
  • the information processing system 100 executes the processes described below alone or in combination.
  • FIG. 15 is a diagram for explaining the processing policy information change operation detection processing according to the present embodiment.
  • FIG. 15 shows an example of an operation for selecting the real object 20 whose processing policy information is to be changed when the real object 20, which is a book with the barcode 21, is placed on the display screen 10.
  • the information processing system 100 may detect an operation of tracing, enclosing, or tapping an area to be sensed such as the barcode 21 as a selection operation. This selection operation may be recognized as an operation in which the selected user belongs.
  • the information processing system 100 can specify the position of the barcode 21 at an early stage based on such an operation, and can perform limited sensing on the position.
  • the information processing system 100 may detect an operation of tapping the real object 20 itself as a selection operation. Based on such an operation, the information processing system 100 performs sensing for the tapped real object 20 or performs sensing limited to the barcode 21 attached to the tapped real object 20. It is possible.
  • 16 and 17 are diagrams for explaining the processing policy information change operation detection processing according to the present embodiment. 16 and 17 show an example in which the addition of the processing policy information is recognized according to the user operation.
  • the information processing system 100 shows an example in which purchase / rental distinction, rental period, and joint purchase permission / rejection are recognized in accordance with a user operation.
  • the reference numerals 235, 236, and 237 in FIG. 16 indicate operations for changing the processing policy information when the real object 20 that is a book with the barcode 21 is placed on the display screen 10.
  • An example is shown.
  • the application of different processing policy information may be recognized depending on whether one or two fingers are operated.
  • a real object 20A tapped with one finger on the barcode 21A is intended to be rented for one week
  • a real object 20B tapped with two fingers on the barcode 21B is rented for two weeks. May be recognized as intended.
  • the addition of different processing policy information may be recognized.
  • the real object 20A tapped with the finger on the barcode 21A is recognized to be intended for purchase, and the real object 20B touched with the palm of the barcode 21B is recognized to be intended for rental. Also good.
  • the addition of different processing policy information may be recognized according to the shape of the graphic drawn with the finger. For example, it is recognized that a real object 20A surrounded by a circle of the barcode 21A is intended to be purchased, and a real object 20B surrounded by a triangle of the barcode 21B is recognized to be intended for rental. Also good.
  • reference numeral 238 in FIG. 16 shows an example of an operation for changing the processing policy information when the real object 20 that is a food is placed on the display screen 10.
  • the addition of different processing policy information may be recognized.
  • the real object 20A touched by the credit card X is intended to be settled by the credit card X
  • the real object 20B touched by the credit card Y is intended to be settled by the credit card Y. May be recognized.
  • reference numerals 239 and 240 in FIG. 17 show an example of an operation for changing the processing policy information when the real object 20 that is a book with the barcode 21 is placed on the display screen 10.
  • the application of different processing policy information may be recognized depending on the angle of the finger to be operated.
  • the real object 20A tapped from the lower side of the barcode 21A is intended to be rented for one week
  • the real object 20B tapped from the horizontal direction of the barcode 21B is intended to be rented for the week.
  • the information processing system 100 may display information indicating the relationship between how to touch the real object and the control content of the processing policy information as auxiliary information.
  • the angle of the finger may be an angle in a direction parallel to the display screen 10 or may be an angle formed with a normal direction of the display screen 10.
  • the information processing system 100 executes the processes described below alone or in combination.
  • FIG. 18 is a diagram for explaining the processing policy information change operation detection processing according to the present embodiment.
  • FIG. 18 shows an example in which the processing policy information of the real object is deleted according to the user operation or the change of the processing policy information is canceled according to the user operation.
  • the operation performed once is intended to cancel the change corresponding to the first operation and restore the original operation by performing the operation once again.
  • the processing policy information of the real object 20 is changed by an operation of tracing the barcode 21
  • the change may be canceled by an operation of tracing the barcode 21 again as indicated by reference numeral 241.
  • the processing policy information is intended to be deleted by an operation on a cancel button 31 that is a kind of display object. For example, when the real object 20 belongs to the user X, the user X may be deleted from the belonging information. Further, as indicated by reference numeral 243, it may be recognized that the processing policy information is intended to be deleted by an operation of shaking the hand over the real object 20 and moving it left and right. For example, when the real object 20 belongs to the user X, the user X may be deleted from the belonging information.
  • the information processing system 100 may display auxiliary information when a user operation for changing the processing policy information is detected or predicted.
  • the auxiliary information may be obtained by referring to the processing policy information, may already be associated with another user, etc., or may be obtained by referring to the object information. There may be no such as.
  • the information processing system 100 displays the auxiliary information at a timing when the user changes or intends to change the processing policy information of the real object, thereby increasing the number of operations due to unnecessary operations and inconveniences caused by the operations. It is possible to prevent.
  • the example in this case is partly referred to with reference to the reference numeral 240 in FIG. 17 and will be further described with reference to FIG.
  • the information processing system 100 executes the processes described below alone or in combination.
  • FIG. 19 is a diagram for explaining the processing policy information change operation detection processing according to the present embodiment.
  • FIG. 19 shows an example in which auxiliary information is displayed when the user performs an operation of causing a real object to belong to the user.
  • the information processing system 100 attempts to tap the user by hovering over the real object 20 to reserve the real object 20 of the book placed on the display screen 10.
  • the display object 30 may be displayed at the timing.
  • the display object 30 is auxiliary information indicating that it has already been reserved by another user, and the user does not need to make unnecessary touches on the real object 20 with this auxiliary information.
  • the display objects 30A and 30B are displayed at a timing when the user tries to tap the hand over the real object 20A. It may be displayed.
  • the display object 30A is auxiliary information indicating that the real object 20A does not fit in the budget
  • the display object 30B is auxiliary information indicating that the real object 20B, which is a 600 yen food item, can be purchased. With this auxiliary information, the user does not have to make unnecessary touches on the real object 20A, and can consider purchasing the real object 20B.
  • the information processing system 100 changes the processing policy information stored in the processing policy information storage unit 150 according to the change content recognized based on the user operation detected in the processing policy information change operation detection process. For example, the information processing system 100 performs control such that the change content recognized based on the user operation is reflected as it is, the partial change content is changed, or is not reflected.
  • the processing policy change registration processing is typically performed continuously with the processing policy information change operation detection processing, but may be performed at the timing when the user performs some confirmation operation. Further, the information processing system 100 may display a display object indicating the change result.
  • the information processing system 100 causes the second user to display a display object indicating that the real object is associated with the first user, and / or the second user to the first user. Display objects related to the operation.
  • the information processing system 100 displays a display object indicating that the real object belongs to the first user to the second user, as will be described later with reference to the reference numeral 252 in FIG.
  • the information processing system 100 displays a display object indicating that the real object affiliation has been changed by the second user operation to the first user.
  • the 1st user can recognize the disadvantage received by operation by the 2nd user that an affiliation destination is changed arbitrarily or there is a possibility that it may be changed. This is also effective for preventing theft.
  • the information processing system 100 executes the processes described below alone or in combination.
  • 20 to 22 are diagrams for explaining the processing policy information change registration processing according to the present embodiment. 20 to 22, in a situation where the real object 20 belonging to the user X is placed on the display screen 10, the user touches the real object 20 to change the affiliation destination to the user Y and confirm the change. A display example when an operation is performed is shown.
  • the information processing system 100 may display a display object 30 indicating that it already belongs to the user X and does not accept an operation to change the affiliation destination. In this case, the information processing system 100 does not accept an operation for changing the affiliation destination of the real object 20 and does not register the change of the processing policy information. Such registration criteria may also be referred to as first win.
  • the information processing system 100 registers the change of affiliation and notifies the display object 30A for notifying the user X that the processing right has been lost and the user Y.
  • the display object 30B for notifying that the processing right has been obtained is displayed.
  • Such registration criteria are also referred to as late wins.
  • the information processing system 100 registers a change (in this case, addition) of affiliation information and indicates that the affiliation destination of the real object 20 is the user X and the user Y. 30 may be displayed.
  • the information processing system 100 registers the addition to the queue for acquiring the processing right, and the user X has the processing right for the real object 20, and the user Y is in the queue. You may display the display object 30 which shows that exists. In this case, for example, when the user X performs an operation for canceling the processing right, the processing right is transferred to the user Y, and the real object 20 belongs to the user Y.
  • the information processing system 100 accepts an operation for changing the affiliation because the real object 20A operated to change the affiliation by the user Y already belongs to the user X. You may display the display object 30A which shows that there is no. Then, the information processing system 100 may display the display object 30B that guides the real object 20B that is the same as the real object 20A. In this case, the information processing system 100 does not accept an operation for changing the affiliation destination of the real object 20A and does not register the change of the processing policy information.
  • the information processing system 100 does not accept an operation for changing the affiliation because the real object 20 ⁇ / b> A whose affiliation is desired to be changed by the user Y already belongs to the user X.
  • a display object 30A indicating this may be displayed.
  • the information processing system 100 may display the display object 30B that guides the real object 20B similar to the real object 20A. In this case, the information processing system 100 does not accept an operation for changing the affiliation destination of the real object 20A and does not register the change of the processing policy information.
  • the information processing system 100 displays a display object indicating a processing result when a series of user operations is confirmed. For example, the information processing system 100 displays a display object based on the processing policy information and / or object information of all real objects located on the display screen.
  • the information processing system 100 executes the processes described below alone or in combination.
  • FIG. 23 is a diagram for explaining the processing result presentation processing according to the present embodiment.
  • real objects 20A, 20B, and 20C are placed on the display screen 10.
  • the real object 20A is registered as the processing policy information that the affiliation is the user X and the one-week rental is performed, and the display object 30A indicating that the rental period is one week is displayed. Yes.
  • the real object 20B is registered as processing policy information that the affiliation is the user X and that the rental for 2 weeks is performed, and the display object 30B indicating that the rental period is 2 weeks is displayed. Yes.
  • the real object 20C is registered as processing policy information that the affiliation is the user X and one week of rental is performed, and a display object 30C indicating that the rental period is one week is displayed. Yes.
  • the information processing system 100 recognizes that the first processing policy information confirmation operation has been performed, and the processing result is as shown by reference numeral 262.
  • a display object 30D is displayed.
  • the information processing system 100 may estimate the position of the user X based on the position of the base of the hand touching the clearing button 32 and display the display object 30D at a hand that is easy for the user X to see and check.
  • the information processing system 100 may recognize the position of the real object on the display screen 10 and display the display object 30D on a plane as flat as possible.
  • the information processing system 100 recognizes that the second processing policy information confirmation operation has been performed, and displays, for example, payment information for rental fees. Display the object. Thereafter, the user X can pay a rental fee and take each real object 20 home.
  • FIG. 24 is a diagram for explaining the processing result presentation processing according to the present embodiment.
  • real objects 20A, 20B, and 20C are placed on the display screen 10.
  • the real object 20A is a display object indicating that the affiliation destination is the credit card X (that is, the user X) and that the purchase is performed as the processing policy information, and that the payment is made by the credit card X.
  • 30A is displayed.
  • the real object 20B is registered as processing policy information that the affiliation is the credit card X (that is, the user X) and the purchase is made, and a display object indicating that payment is made by the credit card X 30B is displayed.
  • the real object 20A is registered as processing policy information that the affiliation destination is the credit card Y (that is, the user Y) and that the purchase is performed, and a display object indicating that payment is performed by the credit card Y. 30C is displayed.
  • the information processing system 100 recognizes that the first processing policy information confirmation operation has been performed, and the affiliation destination is the user X, as indicated by reference numeral 264.
  • the display object 30D including the price and total amount of each of the real objects 20A and 20B is displayed at the user X's hand.
  • the information processing system 100 recognizes that the first processing policy information confirmation operation has been performed, and as shown by reference numeral 264, the affiliation destination is The display object 30E including the price and the total amount of the real object 20C that is the user Y is displayed at the user Y's hand. At that time, the information processing system 100 responds to the position of the user estimated based on the position of the base of the hand touching the clearing button 32 on a flat plane having a sufficient area near the credit card in the display screen. You may display the display object which shows a process result by direction.
  • the information processing system 100 recognizes that the second processing policy information confirmation operation has been performed, and displays a display object indicating payment information, for example. Thereafter, the user X can pay the total amount and take back the real objects 20A and 20B.
  • the user Y touches the confirmation button 33B the information processing system 100 recognizes that the second processing policy information confirmation operation has been performed, and displays a display object indicating, for example, payment information. Thereafter, the user Y can pay the total amount and take back the real object 20C.
  • This specific example is an example in which the information processing system 100 is applied to a self-checkout in a supermarket and a plurality of people perform a checkout process.
  • the information processing system 100 performs each process as follows.
  • the processing policy information generation processing the information processing system 100 generates processing policy information that belongs to the user who placed the real object on the display screen 10.
  • the processing policy information change operation detection process the information processing system 100 touches with the palm of the hand using a tap with one finger as an addition or change operation for the affiliation, and an operation for adding a tap with two fingers into the queue. Is detected as a cancel operation, and the same operation is repeated once more as an operation requesting the recommendation of the same-system product.
  • the processing result presentation processing the information processing system 100 displays a display object indicating the processing result at the user's hand.
  • FIGS. 25 to 38 are diagrams for explaining a first specific example of the information processing system 100 according to the present embodiment.
  • Table 2 shows the processing policy information that is finally registered in the processing policy information storage unit 150 in the settlement process.
  • the information processing system 100 displays an accounting button 32 for accounting (that is, liquidation).
  • the information processing system 100 generates processing policy information that belongs to the user who placed the product 20 in the processing policy information generation processing (that is, a purchaser), and presents the processing policy information in the processing policy information presentation processing. .
  • the information processing system 100 generates processing policy information in which the belongings of the products 20A and 20B are the user X, and the display object 30A indicating that the belonging is the user X And 30B are displayed.
  • the information processing system 100 generates processing policy information in which the merchandise 20B and 20C belong to the user Y, and displays the display objects 30C and 30D indicating that the merchandise belongs to the user Y.
  • the information processing system 100 also displays cancel buttons 31A to 31D for deleting the affiliation for the products 20A to 20D having the affiliation.
  • the user X taps the product 20C with one finger. Then, the information processing system 100 adds the user X to the affiliation destination of the product 20C, and displays the display object 30E indicating that the affiliation destination of the product 20C is the user Y and the user X.
  • the user touches the product 20D with the palm of the hand.
  • the information processing system 100 displays a display object 30F that recommends a product 20F that is a similar product of the same system as the product 20C.
  • the user X taps the recommended product 20F with one finger. Then, the information processing system 100 generates processing policy information in which the product 20F belongs to the user X, and displays a display object 30G indicating that the product 20F belongs to the user X and a cancel button 31F.
  • the user Y taps the product 20B that the user X wants if the user X does not buy with two fingers. Then, the information processing system 100 adds the user Y to the processing right (that is, purchase right) queue of the product 20B, the user X has the purchase right of the product 20F, and the user Y exists in the queue. A display object 30H is displayed.
  • the information processing system 100 recognizes that the first processing policy information confirmation operation has been performed.
  • the display objects 30I and 30J indicating the processing results are displayed at the hand of each user.
  • the information processing system 100 refers to the processing policy information and the object information, and displays the display object 30I including the price and total price of each of the products 20A, 20B, 20C, and 20F to which the user X belongs as the user X. Display at hand.
  • the information processing system 100 refers to the processing policy information and the object information, and displays the display object 30J including the price and total amount of the products 20C and 20D to which the user Y belongs to the user Y at hand.
  • the information processing system 100 displays confirmation buttons 33A and 33B for confirming each purchase.
  • the information processing system 100 upgrades the user Y existing in the queue to a purchaser, sets the affiliation of the product 20B as the user Y, and the affiliation of the product 20B is the user Y. Is displayed. Further, in accordance with the change of the affiliation destination, the information processing system 100 updates the display object 30I to the display object 30L and updates the display object 30J to the display object 30M.
  • the information processing system 100 recognizes that the second processing policy information confirmation operation has been performed, and displays the display objects 30N and 30O instructing the user to place a credit card for each user. Display at hand.
  • the user X places the credit card X at the designated position in the display object 30N, and the user Y places the credit card Y at the designated position in the display object 30O. Then, the information processing system 100 performs a settlement process related to the product 20 to which each user belongs.
  • the information processing system 100 refers to the object information and displays the display objects 30P, 30Q, and 34A to 34F that suggest the packing order based on the weight of each product 20. .
  • the information processing system 100 displays to the user X a display object 30P that comprehensively suggests the bagging order, and a display object 34A that suggests the first to third bagging orders for each individual product 20. ⁇ 34C are displayed.
  • the information processing system 100 displays to the user Y a display object 30Q that comprehensively suggests the packing order, and a display object 34D that indicates the first to third of the packing order for each product 20. 34F is displayed.
  • Second Example> This specific example is an example in which the information processing system 100 is applied to a book self-lending service in a library, and a plurality of people perform lending processing.
  • the information processing system 100 can be similarly applied to rental shops such as CDs or DVDs in addition to libraries.
  • the information processing system 100 performs each process as follows.
  • the processing policy information generation processing the information processing system 100 generates processing policy information having no affiliation when the real object is placed on the display screen 10.
  • the processing policy information change operation detection process the information processing system 100 searches for the same book by tracing the operation with two fingers as an operation to add or change the affiliation, or to add to the queue. Is detected as an operation requesting display of an operation guide or message according to the state of the book.
  • the processing result presentation processing the information processing system 100 displays a display object indicating the processing result at the user's hand.
  • FIG. 39 to 50 are diagrams for explaining a second specific example of the information processing system 100 according to the present embodiment.
  • Table 3 below shows processing policy information that is finally registered in the processing policy information storage unit 150 in the lending process.
  • a user X places real objects 20A and 20B and a user Y places real objects 20C and 20D on the display screen 10.
  • real objects 20E and 20F are previously placed on the display screen 10 as recommended books.
  • the real objects 20A to 20F are all books and have barcodes 21A to 21F attached thereto.
  • the information processing system 100 displays a confirmation button 32 for confirming the lending.
  • the information processing system 100 generates processing policy information indicating no affiliation (that is, a borrower) in the processing policy information generation processing, and presents the processing policy information in the processing policy information presentation processing. Specifically, as shown in FIG. 40, the information processing system 100 displays the display object 30A having the entire range of the display screen 10 except for the barcodes 21A to 21F of the books 20A to F without the affiliation. Is displayed. For example, when the room is bright, the information processing system 100 displays any information that the library side wants to notify the user, such as operation instructions or event information, in the range excluding the barcodes 21A to 21F, and the barcodes 21A to 21F. A black color is displayed in the area corresponding to.
  • the display object 30A has a meaning as a background and can be overwritten by another display object (for example, the confirmation button 32). Note that the background such as the display object 30A and the display object such as the confirmation button 32 overwritten on the background are combined and displayed as one display object, but in this specification, they are separated from each other. The description will be made assuming that the information is displayed.
  • the information processing system 100 displays the display object 30 ⁇ / b> B having the entire range of the display screen 10 as the display range, excluding the barcodes 21 ⁇ / b> E and 21 ⁇ / b> F of the books 20 ⁇ / b> E and 20 ⁇ / b> F that do not belong to Display as.
  • the information processing system 100 displays a display object 30 ⁇ / b> C indicating a list of books 20 borrowed by the user X, where the books 20 A and 20 B belong to the user X.
  • the information processing system 100 displays a display object 30D indicating a list of books 20 borrowed by the user Y, where the books 20C and 20D belong to the user Y.
  • the user X extends his hand and performs a hover operation so as to operate the book 20C in which the user Y has already been registered as the affiliation destination. Then, the information processing system 100 changes the background to the display object 30E from which the projection of the book 20C onto the barcode 21C is canceled, and displays the display object 30F indicating the operation guide.
  • the user X traces the barcode 21C of the book 20C with one finger. Then, the information processing system 100 associates the user X as a reservation person of the book 20C, and displays the display object 30G indicating a list of the books 20 that the user X borrows or reserves.
  • the user X traces the barcode 21D of the book 20D in which the user Y has already been registered as the affiliation destination with two fingers. Then, the information processing system 100 displays a display object 30I indicating a bookshelf in which the same book as the book 20D exists. Note that the information processing system 100 changes the background to the display object 30H that has been unprojected onto the barcode 21D at the time when the hand 20 is reached and the hover operation is performed to operate the book 20D.
  • the user places the book 20G, which is the second book “Book 4”, on the display screen 10.
  • the information processing system 100 generates processing policy information that does not belong to the display object 30J, and a background is displayed on the display object 30J that has been unprojected onto the barcode 21G. change.
  • the user traces the barcode 21G of the book 20G with one finger.
  • the information processing system 100 displays a display object 30 ⁇ / b> K indicating a list of books 20 that the user X borrows or reserves, assuming that the book 20G belongs to the user X.
  • the number of books lent out to the user X has reached three, which is the maximum number of books to be lent.
  • the user X extends his hand to perform a hover operation to operate the book 20F.
  • the information processing system 100 displays the display object 30 ⁇ / b> L indicating that the number of loans to the user X has reached the limit number of books to be lent. Further, the information processing system 100 displays, as a background, the display object 30B having the entire range of the display screen 10 excluding the barcodes 21E and 21F of the books 20E and 20F to which the book does not belong at present as the display range.
  • the information processing system 100 recognizes that the processing policy information confirmation operation has been performed, deletes the background, and displays the display object 30 ⁇ / b> M indicating the result of lending processing to the user X, and the user A display object 30N indicating the result of the lending process to Y is displayed at the hand of each user.
  • the information processing system 100 displays the weight of each book 20 on the display objects 30M and 30N with reference to the object information. Further, the information processing system 100 displays display objects 30O, 30P, and 30Q indicating that the books 20A, 20G, and 20B are lent to the user X. Further, the information processing system 100 displays display objects 30R and 30S indicating that the books 20C and 20D are lent to the user Y.
  • the books 20A and 20G lent to the user X disappear from the display screen 10. Then, the information processing system 100 determines that the user X has taken the books 20A and 20G, and displays the display object 30T in which the books 20A and 20G are deleted from the list of books lent to the user X. Further, the information processing system 100 displays to the user X a display object 30U that warns to bring the remaining book 20B. Also, as shown in FIG. 50, the books 20C and 20D lent to the user Y disappear from the display screen 10. Then, the information processing system 100 determines that the user Y has taken the books 20C and 20D, and displays a display object 30V indicating that all of the lending books to the user Y have been taken.
  • FIG. 51 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 900 shown in FIG. 51 can realize the information processing system 100 shown in FIGS. 1 to 4, for example.
  • Information processing by the information processing system 100 according to the present embodiment is realized by cooperation between software and hardware described below.
  • the information processing apparatus 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing apparatus 900 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, and a communication device 913.
  • the information processing apparatus 900 may include a processing circuit such as an electric circuit, a DSP, or an ASIC instead of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 can form the control unit 120 shown in FIG.
  • the CPU 901 controls the processing policy information of the real object stored in the storage device 908 based on the information input from the input device 906, and sets the output device 907 to display the display object corresponding to the processing policy information. Control.
  • the CPU 901, ROM 902, and RAM 903 are connected to each other by a host bus 904a including a CPU bus.
  • the host bus 904 a is connected to an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be configured separately, and these functions may be mounted on one bus.
  • the input device 906 is realized by a device in which information is input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA that supports the operation of the information processing device 900.
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the user using the above-described input means and outputs the input signal to the CPU 901.
  • a user of the information processing apparatus 900 can input various data and instruct a processing operation to the information processing apparatus 900 by operating the input device 906.
  • the input device 906 can be formed by a device that detects information about the user.
  • the input device 906 includes various sensors such as an image sensor (for example, a camera), a depth sensor (for example, a stereo camera), an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance sensor, and a force sensor. Can be included.
  • the input device 906 includes information related to the information processing device 900 state, such as the posture and movement speed of the information processing device 900, and information related to the surrounding environment of the information processing device 900, such as brightness and noise around the information processing device 900. May be obtained. Further, the input device 906 receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite) and receives position information including the latitude, longitude, and altitude of the device. A GNSS module to measure may be included.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the input device 906 may detect the position by transmission / reception with Wi-Fi (registered trademark), a mobile phone / PHS / smartphone, or the like, or near field communication.
  • the input device 906 can form, for example, the input unit 110 shown in FIGS.
  • the input device 906 receives user operations and information related to real objects on the display screen.
  • the output device 907 is formed of a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as laser projectors, LED projectors and lamps, audio output devices such as speakers and headphones, printer devices, and the like. .
  • the output device 907 outputs results obtained by various processes performed by the information processing device 900. Specifically, the display device visually displays results obtained by various processes performed by the information processing device 900 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the output device 907 can form, for example, the output unit 130 shown in FIGS. In the present embodiment, the output device 907 displays a display object corresponding to the processing policy information of the real object based on control by the CPU 901.
  • the storage device 908 is a data storage device formed as an example of a storage unit of the information processing device 900.
  • the storage apparatus 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can form, for example, the processing policy information storage unit 150 and the object information storage unit 160 shown in FIG. In the present embodiment, the storage device 908 stores processing policy information and object information for each real object.
  • the drive 909 is a storage medium reader / writer, and is built in or externally attached to the information processing apparatus 900.
  • the drive 909 reads information recorded on a removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is a communication interface formed by a communication device or the like for connecting to the network 920, for example.
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet and other communication devices.
  • the network 920 is a wired or wireless transmission path for information transmitted from a device connected to the network 920.
  • the network 920 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs including Ethernet (registered trademark), a WAN (Wide Area Network), and the like.
  • the network 920 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • IP-VPN Internet Protocol-Virtual Private Network
  • each of the above components may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • a computer program for realizing each function of the information processing apparatus 900 according to the present embodiment as described above can be produced and mounted on a PC or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the information processing system 100 displays the processing policy information indicating the processing policy of the real object including the identification information of the user associated with the real object on the surface of the object on which the display object is displayed, to the user to the real object. Control according to the operation. Then, the information processing system 100 controls the display of the display object based on the processing policy information of the real object.
  • the processing policy information includes at least user identification information associated with the real object, is controlled according to a user operation on the real object, and display of the display object is controlled based on the processing policy information. Therefore, the information processing system 100 can realize an interaction among a plurality of users, display objects, and real objects. Further, the user can intuitively manipulate the processing policy information by directly manipulating the real object. Further, since the information processing system 100 can separately execute various processes for realizing the above display, a flexible system can be constructed according to the application destination.
  • the information processing system 100 associates the user who touched the real object with the real object.
  • the user can easily and intuitively make the real object belong to himself / herself, and can easily perform operations such as purchase or rental.
  • the information processing system 100 controls whether or not to superimpose the display range of the display object on the real object based on whether or not the user is associated. As a result, the information processing system 100 can clearly indicate to the user the existence of a real object to which the user does not belong, and the user can easily determine whether or not to perform an operation. Furthermore, the information processing system 100 may control whether or not to superimpose the display range of the display object on the sensing target area of the real object based on whether or not the user is associated. As a result, the information processing system 100 can improve sensing accuracy, use the projected area efficiently, or concentrate the user's attention only on the real object to be operated.
  • the information processing system 100 presents auxiliary information at the stage where the hover is performed before the user operation is performed. Thereby, it is possible to prevent an increase in labor due to unnecessary operations and various inconveniences caused by dependent operations.
  • each device described in this specification may be realized as a single device, or a part or all of the devices may be realized as separate devices.
  • the control unit 120, the processing policy information storage unit 150, and the object information storage unit 160 are connected to the input unit 110 and the output unit 130 through a network or the like. It may be provided in a device such as a server. In that case, information from the input unit 110 is transmitted to a device such as the server through a network or the like, and the control unit 120 processes the information from the input unit 110, and the output unit 130 from the device such as the server. Information for output is sent to the output unit 130 via a network or the like.
  • Processing policy information control for controlling processing policy information indicating a processing policy of the real object, including user identification information associated with the real object on the surface of the object on which the display object is displayed, according to a user operation on the real object
  • a display control unit that controls display of the display object based on the processing policy information of the real object
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the processing policy information control unit associates a user who has touched the real object with the real object. (3) The information processing apparatus according to (2), wherein the processing policy information control unit controls the processing policy information in accordance with how to touch the real object.
  • the display control unit When the second user touches or is predicted to touch the real object associated with the first user, the display control unit is associated with the real object.
  • the display control unit controls whether or not to superimpose a display range of the display object on the real object based on whether or not a user is associated.
  • the information processing apparatus includes, as user identification information associated with the real object, identification information of a user who is waiting to acquire a processing right for the real object.
  • the processing right is a right to purchase the real object.
  • the processing right is a right to rent the real object.
  • the processing policy information includes information indicating a validity period of the processing right.
  • Controlling processing policy information indicating the processing policy of the real object including user identification information associated with the real object on the surface of the object on which the display object is displayed, according to a user operation on the real object; Controlling display of the display object based on the processing policy information of the real object;
  • Information processing method executed by a processor including: (20) Computer Processing policy information control for controlling processing policy information indicating a processing policy of the real object, including user identification information associated with the real object on the surface of the object on which the display object is displayed, according to a user operation on the real object
  • a display control unit that controls display of the display object based on the processing policy information of the real object; Program to function as.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Geometry (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】複数のユーザ、表示オブジェクト及び実オブジェクト間のインタラクションを可能にする仕組みを提供する。 【解決手段】表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御する処理方針情報制御部と、前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御する表示制御部と、を備える情報処理装置。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　近年、スマートフォン、タブレット端末、及びデジタルサイネージ等の情報処理装置が広く普及しており、このような複雑な処理及び表現が可能な情報処理装置における表示オブジェクト（即ち、ＵＩ：User　Interface）に関する開発が、様々な観点で行われている。例えば、ユーザがより直観的に操作可能なＵＩ、複雑な操作を簡易に実現可能なＵＩ、ユーザの利便性を向上させるＵＩ等が開発されている。その一例として、下記特許文献１に、テーブル上にＵＩを表示して、かかるＵＩとユーザとのインタラクションを実現する技術が開示されている。
特開２０１６－６６１３号公報
　近年、上述した各種情報処理装置をはじめとして、ユーザとのインタラクションに基づいて各種サービスを提供する装置が増えている。このような装置では、典型的には、ひとりのユーザとのインタラクションに基づいて、当該ひとりのユーザへのサービスが提供される。複数ユーザへの拡張に関しては、上記特許文献１で、複数のユーザとのインタラクションを実現してユーザの利便性を向上させるための検討が行われている。他方、上記特許文献１では、ユーザと関連する実オブジェクトに関する検討は不十分であった。
　そこで、本開示では、複数のユーザ、表示オブジェクト及び実オブジェクト間のインタラクションを可能にする仕組みを提供する。
　本開示によれば、表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御する処理方針情報制御部と、
　前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御する表示制御部と、
を備える情報処理装置が提供される。
　また、本開示によれば、表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御することと、前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御することと、を含むプロセッサにより実行される情報処理方法が提供される。
　また、本開示によれば、コンピュータを、表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御する処理方針情報制御部と、前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御する表示制御部と、として機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、複数のユーザ、表示オブジェクト及び実オブジェクト間のインタラクションを可能にする仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの一構成例を示す図である。 本実施形態に係る情報処理システムの他の構成例を示す図である。 本実施形態に係る情報処理システムの他の構成例を示す図である。 本実施形態に係る情報処理システムの機能構成の一例を示すブロック図である。 本実施形態に係る情報処理システムにより実行される情報処理の流れの一例を示すフローチャートである。 本実施形態に係る処理方針情報生成処理を説明するための図である。 本実施形態に係る処理方針情報生成処理を説明するための図である。 本実施形態に係る処理方針情報生成処理を説明するための図である。 本実施形態に係る処理方針情報生成処理を説明するための図である。 本実施形態に係る処理方針情報生成処理を説明するための図である。 本実施形態に係る処理方針情報生成処理を説明するための図である。 本実施形態に係る処理方針情報生成処理を説明するための図である。 本実施形態に係る処理方針情報提示処理を説明するための図である。 本実施形態に係る処理方針情報提示処理を説明するための図である。 本実施形態に係る処理方針情報変更操作検出処理を説明するための図である。 本実施形態に係る処理方針情報変更操作検出処理を説明するための図である。 本実施形態に係る処理方針情報変更操作検出処理を説明するための図である。 本実施形態に係る処理方針情報変更操作検出処理を説明するための図である。 本実施形態に係る処理方針情報変更操作検出処理を説明するための図である。 本実施形態に係る処理方針情報変更登録処理を説明するための図である。 本実施形態に係る処理方針情報変更登録処理を説明するための図である。 本実施形態に係る処理方針情報変更登録処理を説明するための図である。 本実施形態に係る処理結果提示処理を説明するための図である。 本実施形態に係る処理結果提示処理を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第１の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理システムの第２の具体例を説明するための図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の要素を、必要に応じて実オブジェクト２０Ａ、２０Ｂ及び２０Ｃのように区別する。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、実オブジェクト２０Ａ、２０Ｂ及び２０Ｃを特に区別する必要が無い場合には、単に実オブジェクト２０と称する。
　なお、説明は以下の順序で行うものとする。
　　１．情報処理システムの概要
　　２．機能構成
　　３．処理の流れ
　　４．各処理の詳細
　　　４．１．処理方針情報生成処理
　　　４．２．処理方針情報提示処理
　　　４．３．処理方針情報変更操作検出処理
　　　４．４．処理方針情報変更登録処理
　　　４．５．処理結果提示処理
　　５．具体例
　　　５．１．第１の具体例
　　　５．２．第２の具体例
　　６．ハードウェア構成例
　　７．まとめ
　＜＜１．情報処理システムの概要＞＞
　図１を参照して、本開示の一実施形態に係る情報処理システムの構成について説明する。図１は、本開示の一実施形態に係る情報処理システムの一構成例を示す図である。なお、本明細書において、システムとは、所定の処理を実行するための構成のことを意味していてよく、システム全体として１つの装置とみなすこともできるし、複数の装置によってシステムが構成されているとみなすこともできる。図１に示す本実施形態に係る情報処理システムも、情報処理システム全体として所定の処理（例えば図４に示す機能構成によって実現される処理）を実行可能に構成されていればよく、情報処理システム内のどの構成を１つの装置とみなすかは任意であってよい。
　図１を参照すると、本開示の一実施形態に係る情報処理システム１００ａは、入力部１１０ａと、出力部１３０ａと、を備える。
　出力部１３０ａは、各種の情報をテーブル１４０ａに表示することにより、当該情報をユーザに対して視覚的に通知する。出力部１３０ａとしては、例えばプロジェクタが用いられる。図示するように、出力部１３０ａは、テーブル１４０ａの上方に、例えば天井から吊り下げられた状態でテーブル１４０ａと所定の距離離隔して配置され、テーブル１４０ａの天面に情報を投影する。このように上方からテーブル１４０ａの天面に情報を表示する方式を、「プロジェクション型」とも呼称する。
　なお、以下の説明では、出力部１３０ａによって情報が表示される領域全体のことを表示画面とも呼称する。例えば、出力部１３０ａは、表示画面に、情報処理システム１００ａによるアプリケーションの実行に伴いユーザに対して提示される情報を表示する。表示される情報は、例えば各アプリケーションの動作画面である。以下では、表示画面において、このようなアプリケーションの動作画面が表示される各表示領域を、表示オブジェクトとも称する。表示オブジェクトは、いわゆるＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）部品（ウィジェット）であってもよい。
　ここで、情報処理システム１００ａがプロジェクション型である場合には、出力部１３０ａは照明機器を含んでもよい。出力部１３０ａに照明機器が含まれる場合、情報処理システム１００ａは、入力部１１０ａによって入力された情報の内容及び／又は出力部１３０ａによって表示される情報の内容に基づいて、当該照明機器の点灯、消灯等の状態を制御してもよい。
　また、出力部１３０ａは、スピーカを含んでもよく、各種の情報を音声として出力してもよい。出力部１３０ａがスピーカで構成される場合、スピーカの数は１つであってもよく、複数であってもよい。出力部１３０ａが複数のスピーカで構成される場合、情報処理システム１００ａは、音声を出力するスピーカを限定したり、音声を出力する方向を調整したりしてもよい。
　入力部１１０ａは、情報処理システム１００ａを使用するユーザの操作内容を入力する装置である。図１に示す例では、入力部１１０ａは、テーブル１４０ａの上方に、例えば天井から吊り下げられた状態で設けられる。このように、入力部１１０ａは、情報が表示される対象となるテーブル１４０ａと離隔して設けられる。入力部１１０ａは、テーブル１４０ａの天面、すなわち、表示画面を撮影し得る撮像装置によって構成され得る。入力部１１０ａとしては、例えば１つのレンズでテーブル１４０ａを撮像するカメラや、２つのレンズでテーブル１４０ａを撮像して奥行き方向の情報を記録することが可能なステレオカメラ等が用いられ得る。入力部１１０ａがステレオカメラである場合には、例えば可視光カメラや赤外線カメラ等が用いられ得る。
　入力部１１０ａとして、１つのレンズでテーブル１４０ａを撮像するカメラが用いられる場合、情報処理システム１００ａは、そのカメラが撮像した画像（撮像画像）を解析することで、テーブル１４０ａ上に位置する物理的な物体（以下、実オブジェクトとも称する）、例えばユーザの手の位置を検出することができる。また、入力部１１０ａとしてステレオカメラが用いられる場合には、情報処理システム１００ａは、当該ステレオカメラによる撮像画像を解析することで、テーブル１４０ａ上に位置する物体の位置情報に加えて、当該物体の深度情報（換言すると、三次元情報）を取得することができる。情報処理システム１００ａは、当該深度情報に基づいて、高さ方向におけるテーブル１４０ａへのユーザの手の接触若しくは近接、及びテーブル１４０ａからの手の離脱を検出することが可能となる。なお、以下の説明では、ユーザが情報に表示画面に手等の操作体を接触又は近接させることを、まとめて単に「接触」とも称する。
　本実施形態では、入力部１１０ａによる撮像画像に基づいて、表示画面上（すなわちテーブル１４０ａの天面上）における操作体、例えばユーザの手の位置が検出され、検出された操作体の位置に基づいて各種の情報が入力される。つまり、ユーザは、表示画面上で操作体を動かすことにより、各種の操作入力を行うことができる。例えば、表示オブジェクトに対するユーザの手の接触が検出されることにより、当該表示オブジェクトに対する操作入力が行われることになる。なお、以下の説明では、一例として、操作体としてユーザの手が用いられる場合について説明するが、本実施形態はかかる例に限定されず、操作体としてはスタイラス等の各種の操作部材が用いられてもよい。
　また、入力部１１０ａが撮像装置によって構成される場合には、入力部１１０ａは、テーブル１４０ａの天面を撮影するだけでなく、テーブル１４０ａの周囲に存在するユーザを撮影してもよい。例えば、情報処理システム１００ａは、撮像画像に基づいて、テーブル１４０ａの周囲におけるユーザの位置を検出することができる。また、例えば、情報処理システム１００ａは、撮像画像に含まれるユーザの顔や体の大きさ等、ユーザ個人を特定し得る身体的な特徴を抽出することにより、ユーザの個人認識を行ってもよい。
　ここで、本実施形態はかかる例に限定されず、他の方法によりユーザの操作入力が実行されてもよい。例えば、入力部１１０ａがテーブル１４０ａの天面にタッチパネルとして設けられてもよく、ユーザの操作入力は、当該タッチパネルに対するユーザの指等の接触によって検出されてもよい。また、入力部１１０ａを構成する撮像装置に対するジェスチャによってユーザの操作入力が検出されてもよい。あるいは、入力部１１０ａは、ユーザが発する音声や、周囲の環境の環境音を収音するマイクロフォン等の音声入力装置を含んでもよい。当該音声入力装置としては、特定の方向の音声を収音するためのマイクアレイが好適に用いられ得る。また、当該マイクアレイは、その収音方向を任意の方向に調整可能に構成され得る。入力部１１０ａとして音声入力装置が用いられる場合には、収音された音声により操作入力が行われてもよい。また、情報処理システム１００ａは、収音された音声を解析することにより、当該音声に基づいて個人認識を行ってもよい。あるいは、入力部１１０ａは、リモートコントロール装置（いわゆるリモコン）によって構成されてもよい。当該リモコンは、リモコンに配置された所定のボタンを操作することにより、所定の指示が入力されるものであってもよいし、リモコンに搭載される加速度センサやジャイロセンサ等のセンサによってリモコンの動きや姿勢が検出されることにより、ユーザが当該リモコンを動かす操作によって、所定の指示が入力されるものであってもよい。更に、情報処理システム１００ａは、図示しないマウス、キーボード、ボタン、スイッチ及びレバー等、他の入力装置を入力部１１０ａとして備えてもよく、ユーザによる操作は、これらの入力装置を介して入力されてもよい。
　以上、図１を参照して、本実施形態に係る情報処理システム１００ａの構成について説明した。なお、図１には図示しないが、情報処理システム１００ａには他の装置が接続されていてもよい。例えば、情報処理システム１００ａには、テーブル１４０ａを照らすための照明機器が接続されていてもよい。情報処理システム１００ａは、表示画面の状態に応じて当該照明機器の点灯状態を制御してもよい。
　ここで、本実施形態では、情報処理システムの構成は図１に示すものに限定されない。本実施形態に係る情報処理システムは、各種の情報を表示画面に表示する出力部と、表示された情報に対する操作入力を少なくとも受け付けることが可能な入力部を備えればよく、その具体的な構成は限定されない。図２及び図３を参照して、本実施形態に係る情報処理システムの他の構成例について説明する。図２及び図３は、本実施形態に係る情報処理システムの他の構成例を示す図である。
　図２に示す情報処理システム１００ｂでは、テーブル１４０ｂの下方に出力部１３０ａが設けられる。出力部１３０ａは、例えばプロジェクタであり、当該テーブル１４０ｂの天板に向かって下側から情報を投影する。テーブル１４０ｂの天板は、例えばガラス板や透明プラスチック板等の透明な材質で形成されており、出力部１３０ａによって投影された情報は、テーブル１４０ｂの天面に表示されることとなる。このようにテーブル１４０ｂの下から情報を出力部１３０ａに投影して、テーブル１４０ｂの天面に情報を表示する方式を、「リアプロジェクション型」とも称する。
　図２に示す例では、テーブル１４０ｂの天面（表面）に入力部１１０ｂが設けられる。入力部１１０ｂは、例えばタッチパネルによって構成され、テーブル１４０ｂの天面の表示画面への操作体の接触が当該タッチパネルによって検出されることにより、ユーザによる操作入力が行われる。なお、入力部１１０ｂの構成はかかる例に限定されず、図１に示す情報処理システム１００ａと同様に、入力部１１０ｂは、テーブル１４０ｂの下方にテーブル１４０ｂと離隔して設けられてもよい。この場合、入力部１１０ｂは、例えば撮像装置によって構成され、透明な材質によって形成される天板越しに、テーブル１４０ｂの天面上での操作体の位置を検出し得る。
　図３に示す情報処理システム１００ｃでは、タッチパネル式のディスプレイが、その表示画面を上方に向けた状態でテーブル上に設置される。情報処理システム１００ｃでは、入力部１１０ｃ及び出力部１３０ｃは、当該タッチパネル式のディスプレイとして一体的に構成され得る。つまり、ディスプレイの表示画面に各種の情報が表示され、当該ディスプレイの表示画面に対する操作体の接触がタッチパネルによって検出されることにより、ユーザによる操作入力が行われる。なお、情報処理システム１００ｃにおいても、図１に示す情報処理システム１００ａと同様に、入力部１１０ｃとして、タッチパネル式のディスプレイの上方に撮像装置が設けられてもよい。当該撮像装置により、テーブルの周囲のユーザの位置等が検出され得る。
　以上、図２及び図３を参照して、本実施形態に係る情報処理システムの他の構成例について説明した。以上説明したように、本実施形態に係る情報処理システムは、多様な構成によって実現され得る。ここで、以下では、図１に示す、テーブル１４０ａの上方に入力部１１０ａ及び出力部１３０ａが設けられる情報処理システム１００ａの構成を例に挙げて、本実施形態についての説明を行う。ただし、上述した図２又は図３に示す構成等、本実施形態に係る情報処理システムを実現し得る他の構成であっても、以下に説明する機能と同様の機能を実現することが可能である。以下の説明では、簡単のため、情報処理システム１００ａ、入力部１１０ａ、出力部１３０ａを、単に情報処理システム１００、入力部１１０、出力部１３０とも呼称することとする。
　＜＜２．機能構成＞＞
　以下、図４を参照して、以上説明した本実施形態に係る情報処理システム１００を実現し得る機能構成について説明する。図４は、本実施形態に係る情報処理システム１００の機能構成の一例を示すブロック図である。
　図４を参照すると、本実施形態に係る情報処理システム１００は、その機能として、入力部１１０、制御部１２０、出力部１３０、処理方針情報記憶部１５０及び物体情報記憶部１６０を含む。
　（１）入力部１１０
　入力部１１０は、情報処理システム１００に対して各種の情報を入力するための入力インタフェースである。ユーザは、入力部１１０を介して、各種の情報を情報処理システム１００に入力することができる。入力部１１０は、図１～図３に示す入力部１１０ａ～１１０ｃに対応するものである。本実施形態では、入力部１１０は、出力部１３０によって表示される表示オブジェクトに対するユーザの操作入力を少なくとも受け付けることができるように構成される。
　例えば、入力部１１０は、撮像装置によって構成され、表示画面上のユーザの手、及び表示画面上に位置する物体等を含む撮像画像を撮影する。入力部１１０を介して入力された情報（例えば当該撮像画像についての情報等）は、後述する制御部１２０に提供され、ユーザの操作入力が検出されたり、物体が検出されたりする。撮像装置は、例えば可視光カメラ又は赤外線カメラであってもよい。また、上述したように、入力部１１０は、ステレオカメラ等の深度情報を取得可能な深度センサとしての機能を含む撮像装置として構成されてもよい。他方、深度センサは、time　of　flight方式、又はstructured　light方式等の任意の方式によるセンサとして、撮像装置とは別個に構成されてもよい。また、入力部１１０は、タッチセンサを含んで構成されてもよい。その場合、タッチセンサは表示画面へのタッチを検出する。そして、表示画面上のタッチしていないユーザの手及び表示画面上の物体の検出機能は、深度センサ及び／又は表示画面を上方から撮像する撮像装置により担保されてもよい。
　例えば、入力部１１０は、表示画面に表示された表示オブジェクト又は実オブジェクトへのタッチ、タップ、ダブルタップ等の操作を検出し得る。他にも、入力部１１０は、表示画面に表示された表示オブジェクト又は実オブジェクトの上空に手をかざす操作も検出し得る。このような操作を、ホバーとも称する。ホバーの検出は、表示オブジェクト又は実オブジェクトに対してユーザが操作しようとする意図を、実際に操作される前に（例えば、タップされる前に）検出するために有効である。
　（２）制御部１２０
　制御部１２０は、例えばＣＰＵ又はＤＳＰ等の各種のプロセッサによって構成され、各種の演算処理を実行することにより、情報処理システム１００の動作を制御する。例えば、制御部１２０は、処理方針情報記憶部１５０、物体情報記憶部１６０又は他の記憶装置に記憶されるプログラムに従って動作する。制御部１２０は、各種の情報を処理する情報処理装置とみなすことができる。図示するように、制御部１２０は、その機能として、処理方針情報制御部１２１、及び表示制御部１２３を含む。なお、制御部１２０は、これらの機能以外の機能を有していてもよい。また、制御部１２０の各機能は、制御部１２０を構成するプロセッサが所定のプログラムに従って動作することにより実現される。
　（２－１）処理方針情報制御部１２１
　処理方針情報制御部１２１は、表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、実オブジェクトの処理方針を示す処理方針情報を、実オブジェクトへのユーザ操作に応じて制御する機能を有する。処理方針情報制御部１２１は、処理方針情報の制御のひとつとして、実オブジェクトにユーザを関連付ける処理を行う。ここで、実オブジェクトにユーザを関連付ける処理とは、ユーザの識別情報と実オブジェクトの識別情報とを対応付ける処理である。また、表示オブジェクトが表示される物体表面とは、上述したテーブル１４０ａ等の表示画面となる物体の表面である。表示オブジェクトが表示される物体表面は、平面でなくてもよいし、一続きでなくてもよく、例えば球であってもよいし、複数の平面を組み合わせた段状の表面であってもよい。
　処理方針情報は、実オブジェクトに対応付けて記憶される。以下、処理方針情報の一例を説明する。
　処理方針情報は、少なくとも実オブジェクトに関連付けられるユーザの識別情報を含む。この実オブジェクトに関連付けられる識別情報が示すユーザは、例えば、当該実オブジェクトを所有する人物、購入する人物、レンタルする人物、又は提供する人物等であってもよい。また、複数のユーザがひとつの実オブジェクトに関連付けられてもよい。
　処理方針情報は、実オブジェクトに関連付けられるユーザの識別情報として、実オブジェクトの処理権利を有するユーザの識別情報を含んでいてもよい。換言すると、実オブジェクトに、当該実オブジェクトの処理権利を有するユーザが関連付けられてもよい。処理権利は、例えば、実オブジェクトを購入する権利、レンタルする権利、所有する、予約する権利等の、実オブジェクトに対して任意の処理を行うための権利である。処理権利は、レンタル期間等の、処理権利の有効期間を示す情報を含んでいてもよい。以下では、このような処理権利を有するユーザを、実オブジェクトが所属するユーザとも称する。即ち、実オブジェクトにユーザを関連付けることを、実オブジェクトをユーザに所属させる、実オブジェクトがユーザに所属する、又は実オブジェクトの所属先をユーザにする、等とも称する。また、実オブジェクトが所属するユーザを示す情報を、所属情報とも称する。
　処理方針情報は、実オブジェクトに関連付けられるユーザの識別情報として、実オブジェクトの処理権利の取得待ちをしているユーザの識別情報を含んでいてもよい。換言すると、実オブジェクトに、当該実オブジェクトの処理権利の取得待ちをしているユーザが関連付けられてもよい。これにより、ユーザは、他のユーザに処理権利が付与された実オブジェクトに関し、処理権利の予約を行う（即ち、待ち行列に追加する）ことが可能である。例えば、情報処理システム１００は、購入する権利を有するユーザ（即ち、購入者）が購入を辞退した場合に、待ち行列の１番目の他のユーザを購入者に格上げすることが可能となる。
　処理方針情報は、実オブジェクトへのユーザ操作のうち有効化する又は無効化するユーザ操作を示す情報を含んでいてもよい。例えば、複数のユーザによる共同購入が可能な場合、すでにユーザが関連付けられた実オブジェクトに関し、さらに別のユーザを関連付ける操作は有効化される。一方で、ひとりのユーザによる単独購入のみが可能な場合、すでにユーザが関連付けられた実オブジェクトに関し、さらに別のユーザを関連付ける操作は無効化される。このように、有効化又は無効化されるユーザ操作を示す情報が処理方針情報に含まれることで、許容されるユーザ操作又は禁止される操作をユーザに明示することが可能となり、ユーザの利便性が向上する。
　以下の表１に、処理方針情報の一例を示す。
Figure JPOXMLDOC01-appb-T000001
　（２－２）表示制御部１２３
　表示制御部１２３は、表示画面における表示を制御する機能を有する。
　例えば、表示制御部１２３は、表示画面に情報を表示させるための表示情報を生成して、生成した表示情報を出力部１３０へ出力することで、出力部１３０に情報を出力させる。このように、情報処理システム１００が表示制御部１２３による制御に基づいて情報を表示することを、単に情報処理システム１００が情報を表示する、又は表示制御部１２３が情報を表示するとも称する。表示制御部１２３による制御は多様に考えられる。
　例えば、表示制御部１２３は、実オブジェクトの処理方針情報に基づいて表示オブジェクトの表示を制御してもよい。例えば、表示制御部１２３は、実オブジェクトが所属するユーザ、レンタル期間、共同購入が可能か否か等の処理方針情報を示す情報を含む表示オブジェクトを表示する。
　例えば、表示制御部１２３は、実オブジェクトの特徴を示す物体情報に基づいて表示オブジェクトの表示を制御してもよい。物体情報は、処理方針情報以外の実オブジェクトに関する情報であって、ユーザ操作により変化しない情報である。例えば、物体情報は、例えば実オブジェクトの値段、大きさ、形状、重さ、又は在庫等を示す情報を含んでいてもよい。また、物体情報は、実オブジェクトに関するＳＮＳ（Social　Networking　Service）等のＷｅｂ上の情報等を含んでいてよい。例えば、表示制御部１２３は、処理方針情報と物体情報とを組み合わせ、高価な実オブジェクトがユーザに所属する場合には、予算が足りないことを警告する表示オブジェクトを表示する。
　例えば、表示制御部１２３は、ユーザ入力に対するアプリケーションからのインタラクションを示す表示オブジェクトの表示を制御してもよい。その場合、表示制御部１２３は、アプリケーションを表示するウインドウ等を対象としたマルチコンテンツの描画制御、及び各コンテンツに対してタッチなどのイベント配信を行う、一般的なＯＳの制御レイヤーとして機能し得る。
　（３）出力部１３０
　出力部１３０は、情報処理システム１００によって処理される各種の情報をユーザに対して通知するための出力インタフェースである。出力部１３０は、例えば、ディスプレイ、タッチパネル又はプロジェクタ等の表示装置によって構成され、表示制御部１２３からの制御により、表示画面に各種の情報を表示する。出力部１３０は、図１～図３に示す出力部１３０ａ～１３０ｃに対応するものであり、上述したように、表示画面に表示オブジェクトを表示する。なお、本実施形態はかかる例に限定されず、出力部１３０は、スピーカ等の音声出力装置を更に含んでもよく、各種の情報を音声として出力してもよい。
　（４）処理方針情報記憶部１５０
　処理方針情報記憶部１５０は、例えばＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等の各種の記憶装置によって構成され、情報処理システム１００によって処理される各種の情報を記憶する。具体的には、処理方針情報記憶部１５０は、実オブジェクトの処理方針情報を記憶する。記憶される情報は、表１を参照して上記説明した通りである。
　（５）物体情報記憶部１６０
　物体情報記憶部１６０は、例えばＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等の各種の記憶装置によって構成され、情報処理システム１００によって処理される各種の情報を記憶する。具体的には、物体情報記憶部１６０は、実オブジェクトの物体情報を記憶する。
　＜＜３．処理の流れ＞＞
　以下、図５を参照して、本実施形態に係る情報処理システム１００における処理の流れを説明する。図５は、本実施形態に係る情報処理システム１００により実行される情報処理の流れの一例を示すフローチャートである。図５に示すように、本実施形態に係る情報処理は、処理方針情報生成処理群（ステップＳ１００）、処理方針情報変更処理群（ステップＳ２００）、及び処理結果提示処理群（ステップＳ３００）を含む。
　（１）処理方針情報生成処理群
　まず、情報処理システム１００は、実オブジェクトの処理方針情報を生成するための各種処理を行う（ステップＳ１００）。
　詳しくは、まず、情報処理システム１００は、表示画面上に存在する実オブジェクトを検出する（ステップＳ１０２）。例えば、処理方針情報制御部１２１は、深度情報に基づいて表示画面と実オブジェクトとの境目を認識し、閉曲面を１つの実オブジェクトとして検出する。
　情報処理システム１００は、検出されたすべての実オブジェクトを処理したか否かを判定する（ステップＳ１０４）。以降のステップＳ１０６～Ｓ１１０の処理は、検出された実オブジェクトの各々を対象として、全ての実オブジェクトが処理されるまで繰り返し行われる（ステップＳ１０４／ＮＯ）。まず、処理方針情報制御部１２１は、対象の実オブジェクトの処理方針情報が処理方針情報記憶部１５０に登録済みか否かを判定する（ステップＳ１０６）。登録済みであると判定された場合、情報処理システム１００は、対象の実オブジェクトを変更して、再度ステップＳ１０６～Ｓ１１０の処理を行う（ステップＳ１０６／ＹＥＳ）。一方で、未登録であると判定された場合（ステップＳ１０６／ＮＯ）、処理方針情報制御部１２１は、処理方針情報を生成する処理方針情報生成処理を行い（ステップＳ１０８）、処理方針情報記憶部１５０に登録する（ステップＳ１１０）。この後、情報処理システム１００は、対象の実オブジェクトを変更して、再度ステップＳ１０６～Ｓ１１０の処理を行う。
　（２）処理方針情報変更処理群
　情報処理システム１００は、処理方針情報生成処理群を終えた場合（ステップＳ１０４／ＹＥＳ）、実オブジェクトの処理方針情報を変更するための各種処理を行う（ステップＳ２００）。
　詳しくは、まず、処理方針情報制御部１２１は、全ての登録済みの処理方針情報を処理したか否かを判定する（ステップＳ２０２）。以降のステップＳ２０４～Ｓ２０８の処理は、登録済みの処理方針情報の各々を対象として、全ての処理方針情報が処理されるまで繰り返し行われる（ステップＳ２０２／ＮＯ）。まず、表示制御部１２３は、処理方針情報をユーザに提示する、処理方針情報提示処理を行う（ステップＳ２０４）。例えば、表示制御部１２３は、ある実オブジェクトに関連付けて、当該実オブジェクトの処理方針情報を示す表示オブジェクトを表示する。次いで、処理方針情報制御部１２１は、ユーザ操作を逐次監視して、処理方針情報を変更するユーザ操作を検出する、処理方針情報変更操作検出処理を行う（ステップＳ２０６）。そして、処理方針情報制御部１２１は、処理方針情報を変更するユーザ操作が検出された場合に、かかるユーザ操作に応じて処理方針情報の変更を登録する、処理方針情報変更登録処理を行う（ステップＳ２０８）。この後、情報処理システム１００は、対象の処理方針情報を変更して、再度ステップＳ２０４～Ｓ２０８の処理を行う。
　（３）処理結果提示処理群
　情報処理システム１００は、処理方針情報変更処理群を終えた場合（ステップＳ２０２／ＹＥＳ）、処理結果提示のための各種処理を行う（ステップＳ３００）。
　詳しくは、まず、表示制御部１２３は、処理方針情報の確定操作が行われたか否かを判定する（ステップＳ３０２）。確定操作が行われていないと判定された場合（ステップＳ３０２／ＮＯ）、処理は処理方針情報生成処理群に戻る。一方で、確定操作が行われたと判定された場合（ステップＳ３０２／ＹＥＳ）、処理結果を表示する、処理結果提示処理を行う（ステップＳ３０４）。
　＜＜４．各処理の詳細＞＞
　以下、上記説明した、処理方針情報生成処理（ステップＳ１０８）、処理方針情報提示処理（ステップＳ２０４）、処理方針情報変更操作検出処理（ステップＳ２０６）、処理方針情報変更登録処理（ステップＳ２０８）、及び処理結果提示処理（ステップＳ３０４）の各々の詳細を説明する。
　＜４．１．処理方針情報生成処理＞
　情報処理システム１００は、実オブジェクトの処理方針情報を生成する。例えば、情報処理システム１００は、実オブジェクトへの特定の操作を行ったユーザを実オブジェクトに関連付ける。例えば、情報処理システム１００は、ユーザが表示画面上に実オブジェクトを置くなどの操作を行い、実オブジェクトが表示画面上に初めて登場した際に、処理方針情報を生成する。
　以下、図６～図１２を参照して、処理方針情報生成処理の一例を説明する。情報処理システム１００は、以下に説明する処理を単体で又は組み合わせて実行する。
　図６は、本実施形態に係る処理方針情報生成処理を説明するための図である。例えば、符号２０１示すように、表示画面１０（例えば、テーブル１４０ａの天面）上にユーザＸが実オブジェクト２０Ａを置き、ユーザＹが実オブジェクト２０Ｂを置いたものとする。この場合、符号２０２に示すように、情報処理システム１００は、実オブジェクト２０にユーザを関連付けない、即ち所属先をなしとする処理方針情報を生成してもよい。
　図７は、本実施形態に係る処理方針情報生成処理を説明するための図である。例えば、符号２０３示すように、表示画面１０上にユーザＸが実オブジェクト２０Ａを置き、ユーザＹが実オブジェクト２０Ｂを置いたものとする。この場合、符号２０４に示すように、情報処理システム１００は、実オブジェクトを置いたユーザを当該実オブジェクト２０に関連付けてもよい。換言すると、情報処理システム１００は、実オブジェクトに触れたユーザを当該実オブジェクト２０に関連付けてもよい。例えば、情報処理システム１００は、実オブジェクト２０ＡにユーザＸを関連付け、実オブジェクト２０Ａの所属先をユーザＸとする処理方針情報を生成する。同様に、情報処理システム１００は、実オブジェクト２０ＢにユーザＹを関連付け、実オブジェクト２０Ｂの所属先をユーザＹとする処理方針情報を生成する
　なお、情報処理システム１００は、実オブジェクト２０を置いた手をトレースすることで、どの実オブジェクト２０がどのユーザにより置かれたかを認識することができる。また、情報処理システム１００は、各々のユーザを、顔又は手の形状等を画像認識することで認識し区別してもよいし、より簡易には表示画面１０から見たユーザが存在する方向（例えば、腕の付け根の方向）に基づいて認識し区別してもよい。
　また、図７では、処理方針情報生成処理の結果が提示される例を示している。詳しくは、実オブジェクト２０Ａの処理方針情報を示す表示オブジェクト３０Ａとして「所有者：Ｘ」が表示され、実オブジェクト２０Ｂに処理方針情報を示す表示オブジェクト３０Ｂとして「所有者：Ｙ」が表示されている。ただし、処理方針情報生成処理においては、これらの表示は行われなくてもよい。以降の図８～図１２でも同様である。
　図８は、本実施形態に係る処理方針情報生成処理を説明するための図である。例えば、符号２０５に示すように、表示画面１０上にユーザＸが実オブジェクト２０Ａを置き、ユーザＹが実オブジェクト２０Ｂを置いたものとする。例えば、情報処理システム１００は、実オブジェクトと所定の関係にあるユーザを、実オブジェクトに関連付けてもよい。この所定の関係は、距離に関連していてもよい。例えば、情報処理システム１００は、実オブジェクトとの距離が最も近いユーザを当該実オブジェクトに関連付ける。符号２０５を参照すると、実オブジェクト２０Ａ及び２０Ｂとの距離は、ユーザＹよりもユーザＸの方が近い。そこで、符号２０６に示すように、情報処理システム１００は、実オブジェクト２０Ａ及び２０ＢにユーザＸを関連付け、各々の処理方針情報を示す表示オブジェクト３０Ａ及び３０Ｂを表示する。本登録処理では、実オブジェクトを置いたユーザに関わらず、柔軟な関連付けが可能となる。なお、情報処理システム１００は、ユーザが実オブジェクトを置いた際の腕の付け根座標等に基づいてユーザが存在する位置を推定し、ユーザの位置と実オブジェクトの重心位置との距離を各ユーザに関して比較することで、実オブジェクトとの距離が最も近いユーザを特定し得る。
　図９は、本実施形態に係る処理方針情報生成処理を説明するための図である。例えば、符号２０７に示すように、表示画面１０上にユーザＸが実オブジェクト２０Ａを置き、ユーザＹが実オブジェクト２０Ｂ及び２０Ｃを置いたものとする。例えば、情報処理システム１００は、実オブジェクトと所定の関係にあるユーザを、実オブジェクトに関連付けてもよい。この所定の関係は、実オブジェクトの向きに関連していてもよい。例えば、情報処理システム１００は、実オブジェクトの向きに対応するユーザを実オブジェクトに関連付ける。符号２０８に示すように、情報処理システム１００は、実オブジェクト２０Ａ及び２０Ｂが向く方向にユーザＸが存在することを認識し、実オブジェクト２０Ａ及び２０ＢにユーザＸを関連付け、各々の処理方針情報を示す表示オブジェクト３０Ａ及び３０Ｂを表示する。また、情報処理システム１００は、実オブジェクト２０Ｃが向く方向にユーザＹが存在することを認識し、実オブジェクト２０ＣにユーザＹを関連付け、処理方針情報を示す表示オブジェクト３０Ｃを表示する。なお、実オブジェクト２０の向きは、例えば実オブジェクト２０に印字された文字の向き、パッケージ等の上下情報が存在するテクスチャ、向きの概念が存在するバーコード又は向きを判別可能な形状等に基づいて認識され得る。
　図１０は、本実施形態に係る処理方針情報生成処理を説明するための図である。例えば、符号２０９に示すように、表示画面１０上にユーザＸが実オブジェクト２０Ｃを置き、ユーザＹが実オブジェクト２０Ｄを置いたものとする。符号２０９を参照すると、実オブジェクト２０Ｃはすでに存在するユーザＸのクレジットカードＸの近くに置かれ、実オブジェクト２０Ｄはすでに存在するユーザＹのクレジットカードＹの近くに置かれている。例えば、情報処理システム１００は、所定の関係にある２つの実オブジェクトの一方に、他方の実オブジェクト又は他方の実オブジェクトに関連付けられたユーザを関連付けてもよい。この所定の関係は、距離に関連していてもよい。例えば、符号２１０に示すように、情報処理システム１００は、実オブジェクト２０Ｃに最も近い又は所定距離内のクレジットカードを所属先として登録してもよい。符号２１０に示すように、情報処理システム１００は、実オブジェクト２０Ｃに最も近い又は所定距離内のクレジットカードＸ（又はクレジットカードＸに関連付けられたユーザＸ）を関連付ける。なお、クレジットカードＸにユーザＸが関連付けられることは、印字情報等に基づいて特定されてもよい。そして、情報処理システム１００は、実オブジェクト２０ＣはクレジットカードＸ（又はユーザＸ）により支払いが行われることを示す処理方針情報を生成し、その旨を示す表示オブジェクト３０Ｃを表示する。同様に、情報処理システム１００は、実オブジェクト２０Ｄに最も近い又は所定距離内のクレジットカードＹ（又はクレジットカードＹに関連付けられたユーザＹ）を関連付ける。そして、情報処理システム１００は、実オブジェクト２０ＤはクレジットカードＹ（又はユーザＹ）により支払いが行われることを示す処理方針情報を生成し、その旨を示す表示オブジェクト３０Ｄを表示する。実オブジェクト２０Ａ及び表示オブジェクト３０Ａ、並びに実オブジェクト２０Ｂ及び表示オブジェクト３０Ｂに関しては、すでに同様の処理が行われている。
　なお、表示画面における表示例を示す図においては、実オブジェクト上に実際に記載された文字を通常書体（斜字でない書体）で表現し、表示オブジェクトに含まれる文字を斜字で表現するものとする。このことは、以降の図でも同様である。
　ここで、図１０では、所属先にすることが可能な実オブジェクトとして、印字情報等に基づいて個人を特定可能なクレジットカードを例に説明したが、本例はかかる例に限定されない。例えば、所属先にすることが可能な実オブジェクトは、プリペイドカード等のそれ単体では個人を特定することが困難な実オブジェクトであってもよい。また、所属先にすることが可能な実オブジェクトは、クレジットカード又はプリペイドカード等の、支払のための媒体以外であってもよい。その場合、例えば実オブジェクトに関連付けられたユーザが、他の実オブジェクトに関連付けられる。その場合の例を、図１１を参照して説明する。
　図１１は、本実施形態に係る処理方針情報生成処理を説明するための図である。例えば、符号２１１に示すように、実オブジェクト２０Ａ及び実オブジェクト２０Ｂがすでに表示画面１０上に置かれた状態で、ユーザＸが実オブジェクト２０Ｃを置き、ユーザＹが実オブジェクト２０Ｄを置いたものとする。実オブジェクト２０Ａは、ユーザＸに関連付けられており、その旨を示す表示オブジェクト３０Ａが表示されている。また、実オブジェクト２０Ｂは、ユーザＹに関連付けられており、その旨を示す表示オブジェクト３０Ｂが表示されている。例えば、情報処理システム１００は、所定の関係にある２つの実オブジェクトの一方に、他方に関連付けられたユーザを関連付けてもよい。この所定の関係は、距離に関連していてもよい。例えば、符号２１２に示すように、実オブジェクト２０Ｃ及び２０Ｄの近くに又は所定距離内に実オブジェクト２０Ｂが存在する。そこで、情報処理システム１００は、実オブジェクト２０Ｃ及び２０ＤにユーザＸを関連付け、各々の処理方針情報を示す表示オブジェクト３０Ｃ及び３０Ｄを表示する。
　図１２は、本実施形態に係る処理方針情報生成処理を説明するための図である。例えば、符号２１３に示すように、実オブジェクト２０Ａがすでに表示画面１０上に置かれた状態で、ユーザＸが実オブジェクト２０Ｂを置き、ユーザＹが実オブジェクト２０Ｃを置いたものとする。例えば、情報処理システム１００は、所定の関係にある２つの実オブジェクトの一方に、他方に関連付けられたユーザを関連付けてもよい。この所定の関係は、向きに関連していてもよい。例えば、符号２１４に示すように、情報処理システム１００は、実オブジェクト２０Ｂが向く方向にクレジットカードＸが存在することを認識し、クレジットカードＸに関連付けられたユーザＸを実オブジェクト２０Ｂに関連付け、処理方針情報を示す表示オブジェクト３０Ｂを表示する。また、情報処理システム１００は、実オブジェクト２０Ｃが向く方向にクレジットカードＹが存在することを認識し、クレジットカードＹに関連付けられたユーザＹを実オブジェクト２０Ｃに関連付け、処理方針情報を示す表示オブジェクト３０Ｃを表示する。実オブジェクト２０Ａ及び表示オブジェクト３０Ａに関しては、すでに同様の処理が行われている。
　＜４．２．処理方針情報提示処理＞
　情報処理システム１００は、実オブジェクトの処理方針情報に基づいて表示オブジェクトの表示を制御する。制御対象は、表示オブジェクトの内容、位置、大きさ、角度、形状、表示範囲等である。
　例えば、情報処理システム１００は、処理方針情報に基づいて表示オブジェクトの内容を制御する。具体的には、情報処理システム１００は、図１３の符号２２１、２２２、図１４の符号２２５、２２６又は２２７に示すように、処理方針情報がすでに登録済み／未登録であることを示す表示オブジェクト、又は関連付けられたユーザに関する表示オブジェクト等を表示し得る。これにより、ユーザは、実オブジェクトの処理方針情報の存在有無、及び存在する場合はその内容を確認することが可能となる。
　例えば、情報処理システム１００は、処理方針情報に基づいて表示オブジェクトの表示範囲を制御する。具体的には、情報処理システム１００は、後述する図１３の符号２２３及び図１４の符号２２８に示すように、ユーザが関連付けられているか否かに基づいて、実オブジェクトに表示オブジェクトの表示範囲を重畳させるか否かを制御し得る。実オブジェクトに表示オブジェクトの表示範囲が重畳されると、実オブジェクトのテクスチャが表示オブジェクトの表示内容で上書きされるので、視認が困難に且つセンシング（画像認識等を含む）が困難になる傾向にある。そこで、情報処理システム１００は、所属先がない実オブジェクトを表示オブジェクトの表示範囲から除くことで、所属先がない実オブジェクトの視認を容易に且つセンシングを容易にすることが可能となる。ここで、情報処理システム１００が設けられる部屋が明るい場合、ある領域を表示オブジェクトの表示範囲から除く処理として、黒一色を当該領域に表示（即ち、投影）してもよい。逆に、情報処理システム１００が設けられる部屋が暗い場合、ある領域を表示オブジェクトの表示範囲から除く処理として、白一色を当該領域に表示してもよい。他方、情報処理システム１００は、所属先のユーザがいる実オブジェクトに表示オブジェクトの表示範囲を重畳させることで、視認し辛くして、不要な所属情報の操作を未然に防止することが可能となる。
　他にも、情報処理システム１００は、図１３の符号２２４及び図１４の符号２２８に示すように、ユーザが関連付けられているか否かに基づいて、実オブジェクトのセンシング対象領域に表示オブジェクトの表示範囲を重畳させるか否かを制御してもよい。センシング対象領域とは、バーコード等の、図１５等を参照して後述するようなユーザ操作を受け付けるための、又は画像認識等のためのセンシング（例えば、撮像）の対象となる領域である。そこで、情報処理システム１００は、所属先がない実オブジェクトに関しては、センシング対象領域を表示オブジェクトの表示範囲から除くことで、所属先がない実オブジェクトの視認を容易に且つセンシングを容易にすることが可能となる。また、情報処理システム１００は、表示範囲を実オブジェクトのうち上記センシング対象領域以外に重畳させることで、表示範囲の大きさを確保することも可能となる。他方、情報処理システム１００は、所属先のユーザがいる実オブジェクトのセンシング対象領域に表示オブジェクトの表示範囲を重畳させることで、視認し辛くして、不要な所属情報の操作を未然に防止することが可能となる。
　例えば、情報処理システム１００は、実オブジェクトの処理方針情報を示す表示オブジェクトを、当該実オブジェクトに関連付けて表示する。例えば、情報処理システム１００は、関連付けられたユーザを示す表示オブジェクトを、実オブジェクトに重畳させて、又は実オブジェクトの付近に表示する。これにより、ユーザは、実オブジェクトの処理方針情報を直観的に知ることが可能となる。
　以下、図１３及び図１４を参照して、処理方針情報提示処理の一例を説明する。情報処理システム１００は、以下に説明する処理を単体で又は組み合わせて実行する。
　図１３は、本実施形態に係る処理方針情報提示処理を説明するための図である。図１３では、バーコード２１が付された図書であって、所属先がない実オブジェクト２０が、表示画面１０上に置かれている場合の表示例が示されている。実オブジェクト２０は、図書館における貸出し対象の図書であってもよく、バーコード２１は、図書館による管理のための情報が格納され、かかる情報の取得のためのセンシング対象であってもよい。図１３の符号２２１に示すように、情報処理システム１００は、何ら表示オブジェクトを表示しなくてもよい。また、符号２２２に示すように、情報処理システム１００は、所属先がないことを示す表示オブジェクト３０を表示してもよい。また、符号２２３に示すように、情報処理システム１００は、実オブジェクト２０を除いた範囲を表示範囲として表示オブジェクト３０を表示してもよい。また、符号２２４に示すように、情報処理システム１００は、実オブジェクト２０のうちバーコード２１を除いた範囲を表示範囲として表示オブジェクト３０を表示してもよい。
　図１４は、本実施形態に係る処理方針情報提示処理を説明するための図である。図１４では、バーコード２１が付された図書であって、所属先がある実オブジェクト２０が、表示画面１０上に置かれている場合の表示例が示されている。例えば、符号２２５に示すように、情報処理システム１００は、所属先のユーザを示す表示オブジェクト３０を表示してもよい。また、符号２２６に示すように、情報処理システム１００は、すでに実オブジェクト２０の所属先になっているユーザが、自身に所属させるための操作を再度行った場合に、すでに所属済みであることを示す表示オブジェクト３０を表示してもよい。また、符号２２７に示すように、情報処理システム１００は、ユーザＸに所属している実オブジェクト２０に対してユーザＹが自身に所属させるための操作を行った場合、ユーザＸに所属済みであることを示す表示オブジェクト３０を表示してもよい。また、符号２２８に示すように、情報処理システム１００は、実オブジェクト２０のすべての範囲を表示範囲として表示オブジェクト３０を表示してもよい。
　なお、情報処理システム１００は、常時、ユーザが実オブジェクト２０に触れたタイミング又は触れようと手をホバーさせたタイミングで、上記説明した表示オブジェクト３０を表示し得る。
　＜４．３．処理方針情報変更操作検出処理＞
　情報処理システム１００は、処理方針情報を変更するユーザ操作を検出して、ユーザが意図する処理方針情報の変更内容を認識する。
　例えば、情報処理システム１００は、実オブジェクトへの触れ方に応じて処理方針情報を制御してもよい。具体的には、情報処理システム１００は、実オブジェクトをタップする指の本数、手の形、角度、指で作る図形等に応じて、処理方針情報を付与又は削除するといった変更内容を認識し得る。
　以下、図１５～図１９を参照して、処理方針情報を付与する操作の一例を説明する。情報処理システム１００は、以下に説明する処理を単体で又は組み合わせて実行する。
　図１５は、本実施形態に係る処理方針情報変更操作検出処理を説明するための図である。図１５では、バーコード２１が付された図書である実オブジェクト２０が表示画面１０上に置かれている場合の、処理方針情報を変更する対象とする実オブジェクト２０を選択する操作の一例が示されている。例えば、符号２３１、２３２又は２３３に示すように情報処理システム１００は、バーコード２１等のセンシング対象の領域をなぞる操作、囲う操作又はタップする操作を、選択操作として検出してもよい。この選択操作は、選択したユーザを所属先にする操作として認識されてもよい。情報処理システム１００は、このような操作に基づいてバーコード２１の位置を早期に特定し、かかる位置を対象として限定的にセンシングすることが可能となる。また、１つの実オブジェクト２０に複数のバーコード２１が付されている場合に、ユーザがどちらのバーコード２１を対象としているかを認識することが可能となる。また、符号２３４に示すように、情報処理システム１００は、実オブジェクト２０自体をタップする操作を、選択操作として検出してもよい。情報処理システム１００は、このような操作に基づいて、タップされた実オブジェクト２０を対象としたセンシングを行ったり、タップされた実オブジェクト２０に付されたバーコード２１に限定したセンシングを行ったりすることが可能である。
　図１６及び図１７は、本実施形態に係る処理方針情報変更操作検出処理を説明するための図である。図１６及び図１７では、ユーザ操作に応じて処理方針情報の付与が認識される例が示されている。例えば、情報処理システム１００は、ユーザ操作に応じて、購入／レンタルの区別、レンタル期間、共同購入の許可／拒否が認識される例が示されている。
　具体的には、図１６の符号２３５、２３６及び２３７では、バーコード２１が付された図書である実オブジェクト２０が表示画面１０上に置かれている場合の、処理方針情報を変更する操作の一例が示されている。例えば、符号２３５に示すように、操作する指が１本か２本かに応じて、異なる処理方針情報の付与が認識されてもよい。例えば、バーコード２１Ａを指１本でタップされた実オブジェクト２０Ａは１週間のレンタルが意図されていることが認識され、バーコード２１Ｂを指２本でタップされた実オブジェクト２０Ｂは２週間のレンタルが意図されていることが認識されてもよい。また、符号２３６に示すように、指で操作されたか手のひらで操作されたかに応じて、異なる処理方針情報の付与が認識されてもよい。例えば、バーコード２１Ａを指でタップされた実オブジェクト２０Ａは購入が意図されていることが認識され、バーコード２１Ｂを手のひらでタッチされた実オブジェクト２０Ｂはレンタルが意図されていることが認識されてもよい。また、符号２３７に示すように、指で描かれた図形の形状に応じて、異なる処理方針情報の付与が認識されてもよい。例えば、バーコード２１Ａを円で囲われた実オブジェクト２０Ａは購入が意図されていることが認識され、バーコード２１Ｂを三角形で囲われた実オブジェクト２０Ｂはレンタルが意図されていることが認識されてもよい。他方、図１６の符号２３８では、食品である実オブジェクト２０が表示画面１０上に置かれている場合の、処理方針情報を変更する操作の一例が示されている。符号２３８に示すように、実オブジェクト２０をタッチしたクレジットカードに応じて、異なる処理方針情報の付与が認識されてもよい。例えば、クレジットカードＸによりタッチされた実オブジェクト２０ＡはクレジットカードＸによる決済が意図されていることが認識され、クレジットカードＹによりタッチされた実オブジェクト２０ＢはクレジットカードＹによる決済が意図されていることが認識されてもよい。
　また、図１７の符号２３９及び符号２４０では、バーコード２１が付された図書である実オブジェクト２０が表示画面１０上に置かれている場合の、処理方針情報を変更する操作の一例が示されている。例えば、符号２３９に示すように、操作する指の角度に応じて、異なる処理方針情報の付与が認識されてもよい。例えば、バーコード２１Ａを下方向からタップされた実オブジェクト２０Ａは１週間のレンタルが意図されていることが認識され、バーコード２１Ｂを横方向からタップされた実オブジェクト２０Ｂは週間のレンタルが意図されていることが認識されてもよい。また、情報処理システム１００は、実オブジェクトへの触れ方と処理方針情報の制御内容との関係を示す情報を、補助情報として表示してもよい。具体的には、符号２４０に示すように、バーコード２１に指が触れた場合に、指の角度と対応するレンタル期間との関係を示す表示オブジェクト３０が表示され得る。これにより、ユーザの利便性は向上する。なお、ここでの指の角度とは、表示画面１０と平行する方向における角度であってもよいし、表示画面１０の法線方向との間で成す角度であってもよい。
　なお、図１６及び図１７を参照して説明した処理方針情報を変更する操作は、図１５を参照して説明した実オブジェクトを選択する操作を兼ねて行われてもよい。
　続いて、図１８を参照して、処理方針情報を削除する操作、又は一度行った操作をキャンセルする操作の一例を説明する。情報処理システム１００は、以下に説明する処理を単体で又は組み合わせて実行する。
　図１８は、本実施形態に係る処理方針情報変更操作検出処理を説明するための図である。図１８では、実オブジェクトの処理方針情報をユーザ操作に応じて削除する又は処理方針情報の変更をユーザ操作に応じてキャンセルする例が示されている。例えば、一度行った操作を再度行う操作により、一度目の操作に応じた変更をキャンセルして元に戻すことが意図されていることが認識されてもよい。例えば、実オブジェクト２０の処理方針情報が、バーコード２１をなぞる操作により変更された場合に、符号２４１に示すように、バーコード２１を再度なぞる操作により、変更がキャンセルされてもよい。また、符号２４２に示すように、表示オブジェクトの一種であるキャンセルボタン３１への操作により、処理方針情報を削除することが意図されていることが認識されてもよい。例えば、実オブジェクト２０がユーザＸに所属する場合、所属情報からユーザＸが削除されてもよい。また、符号２４３に示すように、実オブジェクト２０の上に手をホバーさせながら左右に振る操作により、処理方針情報を削除することが意図されていることが認識されてもよい。例えば、実オブジェクト２０がユーザＸに所属する場合、所属情報からユーザＸが削除されてもよい。
　ここで、情報処理システム１００は、処理方針情報を変更するためのユーザ操作が検出された又は予測される場合に、補助情報を表示してもよい。補助情報は、処理方針情報を参照することで得られる、すでに他のユーザに関連付けられていること等であってもよいし、物体情報を参照することで得られる、予算が足りないこと又は在庫がないこと等であってもよい。例えば、情報処理システム１００は、ユーザが実オブジェクトの処理方針情報を変更する又は変更しようとするタイミングで補助情報を表示することで、不要な操作による手数の増加及び当該操作により発生する不都合を未然に防ぐことが可能である。
　この場合の例は、図１７の符号２４０を参照して一部言及したが、さらに図１９を参照して説明する。情報処理システム１００は、以下に説明する処理を単体で又は組み合わせて実行する。
　図１９は、本実施形態に係る処理方針情報変更操作検出処理を説明するための図である。図１９では、ユーザが、実オブジェクトを自身に所属させる操作を行う場合に、補助情報が表示される例が示されている。例えば、符号２４４に示すように、情報処理システム１００は、表示画面１０上に置かれた図書の実オブジェクト２０を予約するために、ユーザが実オブジェクト２０上空で手をホバーさせてタップしようとするタイミングで、表示オブジェクト３０を表示してもよい。表示オブジェクト３０は、他のユーザにすでに予約されていることを示す補助情報であり、ユーザは、この補助情報により実オブジェクト２０への不要なタッチをしなくて済む。また、符号２４５に示すように、ユーザが、１０００円の食品である実オブジェクト２０Ａを購入するために、実オブジェクト２０Ａ上空で手をホバーさせてタップしようとするタイミングで、表示オブジェクト３０Ａ及び３０Ｂを表示してもよい。表示オブジェクト３０Ａは、実オブジェクト２０Ａは予算に収まらないことを示す補助情報であり、表示オブジェクト３０Ｂは、６００円の食品である実オブジェクト２０Ｂであれば購入可能であることを示す補助情報である。ユーザは、この補助情報により実オブジェクト２０Ａへの不要なタッチをしなくて済むと共に、実オブジェクト２０Ｂの購入を検討することが可能である。
　＜４．４．処理方針情報変更登録処理＞
　情報処理システム１００は、処理方針情報変更操作検出処理において検出されたユーザ操作に基づいて認識した変更内容に応じて、処理方針情報記憶部１５０に記憶された処理方針情報を変更する。例えば、情報処理システム１００は、ユーザ操作に基づいて認識した変更内容を、そのまま反映する、一部変更内容を変えて反映する、又は反映しない、といった制御を行う。処理方針変更登録処理は、典型的には、処理方針情報変更操作検出処理と連続的に行われるが、ユーザが何らかの確定操作を行ったタイミングで行われてもよい。また、情報処理システム１００は、変更結果を示す表示オブジェクトを表示してもよい。
　例えば、第１のユーザが関連付けられた実オブジェクトに第２のユーザが触れた又は触れることが予測される場合を想定する。その場合、情報処理システム１００は、第２のユーザに対し当該実オブジェクトが第１のユーザが関連付けられていることを示す表示オブジェクトを表示させ、及び／又は第１のユーザに対し第２のユーザの操作に関する表示オブジェクトを表示させる。例えば、情報処理システム１００は、図２０の符号２５２を参照して後述するように、第２のユーザに対し実オブジェクトが第１のユーザに所属することを示す表示オブジェクトを表示する。また、情報処理システム１００は、図２０の符号２５２を参照して後述するように、第１のユーザに対し第２のユーザ操作により実オブジェクトの所属先が変更されたことを示す表示オブジェクトを表示する。これにより、第１のユーザは、第２のユーザによる操作により受ける、所属先が勝手に変更される又は変更される恐れがあるといった不利益を認識することが可能になる。このことは、盗難防止にも有効である。
　以下、図２０～図２２を参照して、処理方針情報変更登録処理の一例を説明する。情報処理システム１００は、以下に説明する処理を単体で又は組み合わせて実行する。
　図２０～図２２は、本実施形態に係る処理方針情報変更登録処理を説明するための図である。図２０～図２２では、表示画面１０上にユーザＸに所属する実オブジェクト２０が置かれている状況下で、所属先をユーザＹに変更し当該変更を確定するための実オブジェクト２０へのタッチ操作が行われた場合の表示例が示されている。
　図２０の符号２５１に示すように、情報処理システム１００は、すでにユーザＸに所属しており、所属先を変更する操作を受け付けないことを示す表示オブジェクト３０を表示してもよい。この場合、情報処理システム１００は、実オブジェクト２０の所属先を変更する操作を受け付けず、処理方針情報の変更を登録しない。このような登録基準は、先勝ちとも称され得る。
　図２０の符号２５２に示すように、情報処理システム１００は、所属先の変更を登録し、ユーザＸに対して処理権利が失われたことを通知するための表示オブジェクト３０Ａ、及びユーザＹに対して処理権利が得られたことを通知するための表示オブジェクト３０Ｂを表示する。このような登録基準は、後勝ちとも称される。
　図２１の符号２５３に示すように、情報処理システム１００は、所属情報の変更（ここでは、追加）を登録して、実オブジェクト２０の所属先がユーザＸ及びユーザＹであることを示す表示オブジェクト３０を表示してもよい。
　図２１の符号２５４に示すように、情報処理システム１００は、処理権利を取得するための待ち行列への追加を登録し、実オブジェクト２０の処理権利はユーザＸが有し、待ち行列にユーザＹが存在することを示す表示オブジェクト３０を表示してもよい。この場合、例えばユーザＸが処理権利をキャンセルする操作を行った場合に、処理権利がユーザＹに移行して実オブジェクト２０がユーザＹに所属することとなる。
　図２２の符号２５５に示すように、情報処理システム１００は、ユーザＹにより所属先を変更するよう操作された実オブジェクト２０Ａが、すでにユーザＸに所属しており、所属先を変更する操作を受け付けないことを示す表示オブジェクト３０Ａを表示してもよい。そして、情報処理システム１００は、実オブジェクト２０Ａと同一物である実オブジェクト２０Ｂを案内する表示オブジェクト３０Ｂを表示してもよい。この場合、情報処理システム１００は、実オブジェクト２０Ａの所属先を変更する操作を受け付けず、処理方針情報の変更を登録しない。
　図２２の符号２５６に示すように、情報処理システム１００は、ユーザＹにより所属先の変更が希望された実オブジェクト２０Ａが、すでにユーザＸに所属しており、所属先を変更する操作を受け付けないことを示す表示オブジェクト３０Ａを表示してもよい。そして、情報処理システム１００は、実オブジェクト２０Ａと類似する実オブジェクト２０Ｂを案内する表示オブジェクト３０Ｂを表示してもよい。この場合、情報処理システム１００は、実オブジェクト２０Ａの所属先を変更する操作を受け付けず、処理方針情報の変更を登録しない。
　＜４．５．処理結果提示処理＞
　情報処理システム１００は、一連のユーザ操作が確定された場合に、処理結果を示す表示オブジェクトを表示する。例えば、情報処理システム１００は、表示画面上に位置するすべての実オブジェクトの処理方針情報及び／又は物体情報に基づいて、表示オブジェクトを表示する。
　以下、図２３及び図２４を参照して、処理結果提示処理の一例を説明する。情報処理システム１００は、以下に説明する処理を単体で又は組み合わせて実行する。
　図２３は、本実施形態に係る処理結果提示処理を説明するための図である。図２３の符号２６１に示すように、表示画面１０上に実オブジェクト２０Ａ、２０Ｂ及び２０Ｃが置かれている。実オブジェクト２０Ａは、処理方針情報として、所属先がユーザＸであること及び１週間のレンタルが行われることが登録されており、レンタル期間が１週間であることを示す表示オブジェクト３０Ａが表示されている。実オブジェクト２０Ｂは、処理方針情報として、所属先がユーザＸであること及び２週間のレンタルが行われることが登録されており、レンタル期間が２週間であることを示す表示オブジェクト３０Ｂが表示されている。実オブジェクト２０Ｃは、処理方針情報として、所属先がユーザＸであること及び１週間のレンタルが行われることが登録されており、レンタル期間が１週間であることを示す表示オブジェクト３０Ｃが表示されている。ユーザＸが、表示オブジェクトの一種である清算ボタン３２をタッチすると、情報処理システム１００は、１度目の処理方針情報確定操作が行われたことを認識して、符号２６２に示すように、処理結果を示す表示オブジェクト３０Ｄを表示する。その際、情報処理システム１００は、清算ボタン３２をタッチした手の付け根の位置に基づいてユーザＸの位置を推定し、ユーザＸが見やすく確認しやすい手元に表示オブジェクト３０Ｄを表示してもよい。また、情報処理システム１００は、表示画面１０上の実オブジェクトの位置を認識して、可能な限り平坦な面に表示オブジェクト３０Ｄを表示してもよい。ユーザＸが、表示オブジェクトの一種である確定ボタン３３をタッチすると、情報処理システム１００は２度目の処理方針情報確定操作が行われたことを認識して、例えばレンタル料の支払い情報等を示す表示オブジェクトを表示する。その後、ユーザＸは、レンタル料を支払い、各実オブジェクト２０を持ち帰ることができる。
　図２４は、本実施形態に係る処理結果提示処理を説明するための図である。図２４の符号２６３に示すように、表示画面１０上に実オブジェクト２０Ａ、２０Ｂ及び２０Ｃが置かれている。実オブジェクト２０Ａは、処理方針情報として、所属先がクレジットカードＸ（即ち、ユーザＸ）であること及び購入が行われることが登録されており、クレジットカードＸにより支払いが行われることを示す表示オブジェクト３０Ａが表示されている。実オブジェクト２０Ｂは、処理方針情報として、所属先がクレジットカードＸ（即ち、ユーザＸ）であること及び購入が行われることが登録されており、クレジットカードＸにより支払いが行われることを示す表示オブジェクト３０Ｂが表示されている。実オブジェクト２０Ａは、処理方針情報として、所属先がクレジットカードＹ（即ち、ユーザＹ）であること及び購入が行われることが登録されており、クレジットカードＹにより支払いが行われることを示す表示オブジェクト３０Ｃが表示されている。ユーザＸが、表示された清算ボタン３２Ａをタッチすると、情報処理システム１００は、１度目の処理方針情報確定操作が行われたことを認識して、符号２６４に示すように、所属先がユーザＸである実オブジェクト２０Ａ及び２０Ｂの各々の値段及び合計金額を含む表示オブジェクト３０Ｄを、ユーザＸの手元に表示する。また、ユーザＹが、表示された清算ボタン３２Ｂをタッチすると、情報処理システム１００は、１度目の処理方針情報確定操作が行われたことを認識して、符号２６４に示すように、所属先がユーザＹである実オブジェクト２０Ｃの値段及び合計金額を含む表示オブジェクト３０Ｅを、ユーザＹの手元に表示する。その際、情報処理システム１００は、表示画面のうちクレジットカードの近傍且つ十分な面積を有する平坦な平面に、清算ボタン３２をタッチした手の付け根の位置に基づいて推定したユーザの位置に応じた向きで、処理結果を示す表示オブジェクトを表示してもよい。ユーザＸが、確定ボタン３３Ａをタッチすると、情報処理システム１００は、２度目の処理方針情報確定操作が行われたことを認識して、例えば支払い情報等を示す表示オブジェクトを表示する。その後、ユーザＸは、合計金額を支払い、実オブジェクト２０Ａ及び２０Ｂを持ち帰ることができる。同様に、ユーザＹが、確定ボタン３３Ｂをタッチすると、情報処理システム１００は、２度目の処理方針情報確定操作が行われたことを認識して、例えば支払い情報等を示す表示オブジェクトを表示する。その後、ユーザＹは、合計金額を支払い、実オブジェクト２０Ｃを持ち帰ることができる。
　＜＜５．具体例＞＞
　以下では、本実施形態に係る情報処理システム１００の適用例を具体的に説明する。
　＜５．１．第１の具体例＞
　本具体例は、情報処理システム１００がスーパーマーケットのセルフレジに適用され、複数人が清算処理を行う場合の例である。
　ここで、情報処理システム１００は、各処理を以下のように行うものとする。処理方針情報生成処理では、情報処理システム１００は、実オブジェクトを表示画面１０上に置いたユーザを所属先とする処理方針情報を生成する。処理方針情報変更操作検出処理では、情報処理システム１００は、指１本でのタップを所属先の追加又は変更操作として、指２本でのタップを待ち行列への追加操作として、手のひらでのタッチを同系統商品の推薦を要求する操作として、同じ操作をもう一度繰り返すことをキャンセル操作として検出する。処理結果提示処理では、情報処理システム１００は、処理結果を示す表示オブジェクトをユーザの手元に表示する。
　以下、図２５～図３８を参照しながら、時系列に従って清算処理の様子を説明する。図２５～図３８は、本実施形態に係る情報処理システム１００の第１の具体例を説明するための図である。かかる清算処理において最終的に処理方針情報記憶部１５０に登録される処理方針情報を、下記の表２に示す。
Figure JPOXMLDOC01-appb-T000002
　図２５に示すように、表示画面１０上にユーザＸが実オブジェクト２０Ａ及び２０Ｂを置き、ユーザＹが実オブジェクト２０Ｃ及び２０Ｄを置いたものとする。他にも、表示画面１０上には、お勧め商品として、実オブジェクト２０Ｅ及び２０Ｆが予め置かれている。なお、実オブジェクト２０Ａ～２０Ｆは、すべて商品である。また、情報処理システム１００は、会計（即ち、清算）するための会計ボタン３２を表示している。
　次いで、情報処理システム１００は、処理方針情報生成処理において商品２０を置いたユーザを所属先（即ち、購入者）とする処理方針情報を生成し、処理方針情報提示処理において処理方針情報を提示する。具体的には、図２６に示すように、情報処理システム１００は、商品２０Ａ及び２０Ｂの所属先をユーザＸとする処理方針情報を生成し、所属先がユーザＸであることを示す表示オブジェクト３０Ａ及び３０Ｂを表示する。また、情報処理システム１００は、商品２０Ｂ及び２０Ｃの所属先をユーザＹとする処理方針情報を生成し、所属先がユーザＹであることを示す表示オブジェクト３０Ｃ及び３０Ｄを表示する。また、情報処理システム１００は、所属先を有する商品２０Ａ～２０Ｄに関し、所属先を削除するためのキャンセルボタン３１Ａ～３１Ｄも表示する。
　次に、図２７に示すように、ユーザＸは、商品２０Ｃを指１本でタップする。すると、情報処理システム１００は、商品２０Ｃの所属先にユーザＸを追加し、商品２０Ｃの所属先がユーザＹ及びユーザＸであることを示す表示オブジェクト３０Ｅを表示する。
　次いで、図２８に示すように、ユーザは、商品２０Ｄを手のひらでタッチする。すると、情報処理システム１００は、商品２０Ｃと同系統の類似商品である商品２０Ｆを推薦する表示オブジェクト３０Ｆを表示する。
　次に、図２９に示すように、ユーザＸは、推薦された商品２０Ｆを指１本でタップする。すると、情報処理システム１００は、商品２０Ｆの所属先をユーザＸとする処理方針情報を生成し、商品２０Ｆの所属先がユーザＸであることを示す表示オブジェクト３０Ｇ、及びキャンセルボタン３１Ｆを表示する。
　次いで、図３０に示すように、ユーザＹは、ユーザＸが買わないならば欲しいと考える商品２０Ｂを指２本でタップする。すると、情報処理システム１００は、商品２０Ｂの処理権利（即ち、購入権）の待ち行列にユーザＹを追加し、商品２０Ｆの購入権はユーザＸが有し、待ち行列にユーザＹが存在することを示す表示オブジェクト３０Ｈを表示する。
　次に、図３１に示すように、ユーザＹが会計ボタン３２をタップすると、図３２に示すように、情報処理システム１００は、１度目の処理方針情報確定操作が行われたことを認識して、各々のユーザの手元に処理結果を示す表示オブジェクト３０Ｉ及び３０Ｊを表示する。詳しくは、情報処理システム１００は、処理方針情報及び物体情報を参照して、所属先がユーザＸである商品２０Ａ、２０Ｂ、２０Ｃ及び２０Ｆの各々の値段及び合計金額を含む表示オブジェクト３０ＩをユーザＸの手元に表示する。また、情報処理システム１００は、処理方針情報及び物体情報を参照して、所属先がユーザＹである商品２０Ｃ及び２０Ｄの各々の値段及び合計金額を含む表示オブジェクト３０ＪをユーザＹの手元に表示する。なお、商品２０Ｃは、所属先がユーザＸ及びユーザＹの２者であり、共同購入されるので、各ユーザには値段の半額が請求される。また、情報処理システム１００は、各々の購入を確定するための確定ボタン３３Ａ及び３３Ｂを表示する。
　次いで、図３３に示すように、ユーザＸが商品２０Ｂの購入をキャンセルするためにキャンセルボタン３１Ｂをタップする。すると、図３４に示すように、情報処理システム１００は、待ち行列に存在するユーザＹを購入者に格上げして商品２０Ｂの所属先をユーザＹとし、商品２０Ｂの所属先がユーザＹであることを示す表示オブジェクト３０Ｋを表示する。また、かかる所属先の変更に伴い、情報処理システム１００は、表示オブジェクト３０Ｉを表示オブジェクト３０Ｌに更新し、表示オブジェクト３０Ｊを表示オブジェクト３０Ｍに更新する。
　次に、図３５に示すように、ユーザＸが確定ボタン３３Ａをタップし、ユーザＹが確定ボタン３３Ｂをタップする。すると、図３６に示すように、情報処理システム１００は、２度目の処理方針情報確定操作が行われたことを認識して、クレジットカードを置くよう指示する表示オブジェクト３０Ｎ及び３０Ｏを、各々のユーザの手元に表示する。
　次いで、図３７に示すように、ユーザＸはクレジットカードＸを表示オブジェクト３０Ｎ内の指定位置に置き、ユーザＹはクレジットカードＹを表示オブジェクト３０Ｏ内の指定位置に置く。すると、情報処理システム１００は、各々のユーザを所属先とする商品２０に関する決済処理を行う。
　その後、図３８に示すように、情報処理システム１００は、物体情報を参照し、各々の商品２０の重さに基づいて袋詰め順序を示唆する表示オブジェクト３０Ｐ、３０Ｑ、及び３４Ａ～３４Ｆを表示する。詳しくは、情報処理システム１００は、ユーザＸに対して、袋詰め順序を総合的に示唆する表示オブジェクト３０Ｐ、及び個々の商品２０毎に袋詰め順序の１番目～３番目を示唆する表示オブジェクト３４Ａ～３４Ｃを表示する。また、情報処理システム１００は、ユーザＹに対して、袋詰め順序を総合的に示唆する表示オブジェクト３０Ｑ、及び個々の商品２０毎に袋詰め順序の１番目～３番目を示唆する表示オブジェクト３４Ｄ～３４Ｆを表示する。
　＜５．２．第２の具体例＞
　本具体例は、情報処理システム１００が図書館での図書のセルフ貸出しサービスに適用され、複数人が貸出し処理を行う場合の例である。なお、情報処理システム１００は、図書館以外にも、ＣＤ又はＤＶＤ等のレンタルショップにも同様に適用可能である。
　ここで、情報処理システム１００は、各処理を以下のように行うものとする。処理方針情報生成処理では、情報処理システム１００は、実オブジェクトが表示画面１０上に置かれた時点では所属先をなしとする処理方針情報を生成する。処理方針情報変更操作検出処理では、情報処理システム１００は、指１本でなぞる操作を所属先の追加若しくは変更操作、又は待ち行列への追加操作として、指２本でなぞる操作を同じ図書の探索を要求する操作として、ホバーを図書の状況に応じた操作ガイド又はメッセージの表示を要求する操作として検出する。処理結果提示処理では、情報処理システム１００は、処理結果を示す表示オブジェクトをユーザの手元に表示する。
　以下、図３９～図５０を参照しながら、時系列に従って貸出し処理の様子を説明する。図３９～図５０は、本実施形態に係る情報処理システム１００の第２の具体例を説明するための図である。かかる貸出し処理において最終的に処理方針情報記憶部１５０に登録される処理方針情報を、下記の表３に示す。
Figure JPOXMLDOC01-appb-T000003
　図３９に示すように、表示画面１０上にユーザＸが実オブジェクト２０Ａ及び２０Ｂを置き、ユーザＹが実オブジェクト２０Ｃ及び２０Ｄを置いたものとする。他にも、表示画面１０上には、お勧め図書として、実オブジェクト２０Ｅ及び２０Ｆが予め置かれている。なお、実オブジェクト２０Ａ～２０Ｆは、すべて図書であり、バーコード２１Ａ～２１Ｆが付されている。また、情報処理システム１００は、貸出しを確定するための確定ボタン３２を表示している。
　次いで、情報処理システム１００は、処理方針情報生成処理において所属先（即ち、借りる者）をなしとする処理方針情報を生成し、処理方針情報提示処理において処理方針情報を提示する。具体的には、図４０に示すように、情報処理システム１００は、所属先がない図書２０Ａ～Ｆのバーコード２１Ａ～２１Ｆを除いた、表示画面１０の全範囲を表示範囲とする表示オブジェクト３０Ａを表示する。例えば、情報処理システム１００は、部屋が明るい場合、バーコード２１Ａ～２１Ｆを除いた範囲に、操作指示又はイベント情報等の図書館側がユーザに通知したい任意の情報を表示しつつ、バーコード２１Ａ～２１Ｆに相当する領域に黒一色を表示する。これにより、ユーザからは、バーコード２１Ａ～２１Ｆが視認容易となる。なお、表示オブジェクト３０Ａは、背景としての意味をもち、他の表示オブジェクト（例えば、確定ボタン３２）により上書きされ得る。なお、表示オブジェクト３０Ａのような背景と、それに上書きされる確定ボタン３２のような表示オブジェクトは、ひとつの表示オブジェクトとして合成されて表示されるものであるが、本明細書では、それぞれ分離して表示されるものとして説明する。
　次に、図４１に示すように、ユーザＸは、図書２０Ａ及び２０Ｂのバーコード２１Ａ及び２１Ｂを指１本でなぞり、ユーザＹは、図書２０Ｃ及び２０Ｄのバーコード２１Ｃ及び２１Ｄを指１本でなぞる。すると、図４２に示すように、情報処理システム１００は、所属先がない図書２０Ｅ及び２０Ｆのバーコード２１Ｅ及び２１Ｆを除いた、表示画面１０の全範囲を表示範囲とする表示オブジェクト３０Ｂを、背景として表示する。また、情報処理システム１００は、図書２０Ａ及び２０Ｂの所属先をユーザＸとして、ユーザＸが借りる図書２０の一覧を示す表示オブジェクト３０Ｃを表示する。また、情報処理システム１００は、図書２０Ｃ及び２０Ｄの所属先をユーザＹとして、ユーザＹが借りる図書２０の一覧を示す表示オブジェクト３０Ｄを表示する。
　次いで、図４３に示すように、ユーザＸは、ユーザＹがすでに所属先として登録されている図書２０Ｃを操作しようと手を伸ばしてホバー操作を行う。すると、情報処理システム１００は、図書２０Ｃのバーコード２１Ｃへの投影を解除した表示オブジェクト３０Ｅに背景を変更し、操作ガイドを示す表示オブジェクト３０Ｆを表示する。
　次に、図４４に示すように、ユーザＸは、図書２０Ｃのバーコード２１Ｃを指１本でなぞる。すると、情報処理システム１００は、図書２０Ｃの予約者としてユーザＸを関連付け、ユーザＸが借りる又は予約する図書２０の一覧を示す表示オブジェクト３０Ｇを表示する。
　次いで、図４５に示すように、ユーザＸは、ユーザＹがすでに所属先として登録されている図書２０Ｄのバーコード２１Ｄを指２本でなぞる。すると、情報処理システム１００は、図書２０Ｄと同じ図書が存在する書架を示す表示オブジェクト３０Ｉを表示する。なお、情報処理システム１００は、図書２０Ｄを操作しようと手を伸ばしてホバー操作を行った時点で、バーコード２１Ｄへの投影を解除した表示オブジェクト３０Ｈに背景を変更している。
　次に、図４６に示すように、ユーザは、２冊目の図書「Ｂｏｏｋ　４」である図書２０Ｇを表示画面１０上に置く。すると、情報処理システム１００は、表示画面１０上に図書２０Ｇが置かれた時点で、所属先をなしとする処理方針情報を生成し、バーコード２１Ｇへの投影を解除した表示オブジェクト３０Ｊに背景を変更する。そして、ユーザは、図書２０Ｇのバーコード２１Ｇを指１本でなぞる。すると、情報処理システム１００は、図書２０Ｇの所属先をユーザＸとして、ユーザＸが借りる又は予約する図書２０の一覧を示す表示オブジェクト３０Ｋを表示する。ここで、ユーザＸへの図書の貸出し数は、貸出限度冊数である３冊に達している。
　次いで、図４７に示すように、ユーザＸは、図書２０Ｆを操作しようと手を伸ばしてホバー操作を行う。すると、情報処理システム１００は、ユーザＸへの貸出し数が貸出限度冊数に達していることを示す表示オブジェクト３０Ｌを表示する。また、情報処理システム１００は、現時点で所属先がない図書２０Ｅ及び２０Ｆのバーコード２１Ｅ及び２１Ｆを除いた、表示画面１０の全範囲を表示範囲とする表示オブジェクト３０Ｂを、背景として表示する。
　次に、図４８に示すように、ユーザＸが確定ボタン３２をタップする。すると、図４９に示すように、情報処理システム１００は、処理方針情報確定操作が行われたことを認識して、背景を削除し、ユーザＸへの貸出し処理結果を示す表示オブジェクト３０Ｍ、及びユーザＹへの貸出し処理結果を示す表示オブジェクト３０Ｎを、各ユーザの手元に表示する。その際、情報処理システム１００は、物体情報を参照して、各々の図書２０の重さも表示オブジェクト３０Ｍ及び３０Ｎにおいて表示する。また、情報処理システム１００は、図書２０Ａ、２０Ｇ及び２０ＢがユーザＸに貸し出されることを示す表示オブジェクト３０Ｏ、３０Ｐ及び３０Ｑを表示する。また、情報処理システム１００は、図書２０Ｃ及び２０ＤがユーザＹに貸し出されることを示す表示オブジェクト３０Ｒ及び３０Ｓを表示する。
　次いで、図５０に示すように、ユーザＸに貸出された図書２０Ａ及び２０Ｇが表示画面１０上から無くなる。すると、情報処理システム１００は、ユーザＸが図書２０Ａ及び２０Ｇを持って行ったと判断して、ユーザＸへの貸出し図書一覧から図書２０Ａ及び２０Ｇを削除した表示オブジェクト３０Ｔを表示する。また、情報処理システム１００は、残った図書２０Ｂを持っていくよう警告する表示オブジェクト３０ＵをユーザＸに対して表示する。また、図５０に示すように、ユーザＹに貸出された図書２０Ｃ及び２０Ｄが表示画面１０上から無くなる。すると、情報処理システム１００は、ユーザＹが図書２０Ｃ及び２０Ｄを持って行ったと判断して、ユーザＹへの貸出し図書がすべて持って行かれたこと示す表示オブジェクト３０Ｖを表示する。
　＜＜６．ハードウェア構成例＞＞
　最後に、図５１を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図５１は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図５１に示す情報処理装置９００は、例えば、図１～図４に示した情報処理システム１００を実現し得る。本実施形態に係る情報処理システム１００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図５１に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図４に示す制御部１２０を形成し得る。例えば、ＣＰＵ９０１は、入力装置９０６から入力された情報に基づいて、ストレージ装置９０８に記憶される実オブジェクトの処理方針情報を制御し、処理方針情報に応じた表示オブジェクトを表示するよう出力装置９０７を制御する。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。他にも、入力装置９０６は、ユーザに関する情報を検知する装置により形成され得る。例えば、入力装置９０６は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。また、入力装置９０６は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得してもよい。また、入力装置９０６は、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して装置の緯度、経度及び高度を含む位置情報を測定するＧＮＳＳモジュールを含んでもよい。また、位置情報に関しては、入力装置９０６は、Ｗｉ－Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。入力装置９０６は、例えば、図１～図４に示す入力部１１０を形成し得る。本実施形態では、入力装置９０６は、ユーザ操作、及び表示画面上の実オブジェクトに関する情報を受け付ける。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば、図１～図４に示す出力部１３０を形成し得る。本実施形態では、出力装置９０７は、ＣＰＵ９０１による制御に基づき、実オブジェクトの処理方針情報に応じた表示オブジェクトを表示する。
　ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図４に示す処理方針情報記憶部１５０及び物体情報記憶部１６０を形成し得る。本実施形態では、ストレージ装置９０８は、実オブジェクトごとの処理方針情報及び物体情報を記憶する。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜７．まとめ＞＞
　以上、図１～図５１を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、情報処理システム１００は、表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、実オブジェクトの処理方針を示す処理方針情報を、実オブジェクトへのユーザ操作に応じて制御する。そして、情報処理システム１００は、実オブジェクトの処理方針情報に基づいて表示オブジェクトの表示を制御する。処理方針情報は、少なくとも実オブジェクトに関連付けられるユーザの識別情報を含み、実オブジェクトへのユーザ操作に応じて制御され、そして処理方針情報に基づいて表示オブジェクトの表示が制御される。そのため、情報処理システム１００は、複数のユーザ、表示オブジェクト及び実オブジェクト間のインタラクションを実現することが可能である。また、ユーザは、実オブジェクトを直接操作することにより、直観的に処理方針情報を操作することが可能である。また、情報処理システム１００は、上記表示を実現するための各種処理を分離して実行可能であるので、適用先に応じた柔軟なシステムの構築が可能である。
　また、情報処理システム１００は、実オブジェクトに触れたユーザを実オブジェクトに関連付ける。これにより、ユーザは、容易かつ直観的な操作で実オブジェクトを自身に所属させることが可能となり、購入又はレンタル等の動作を簡単に行うことが可能となる。
　また、情報処理システム１００は、ユーザが関連付けられているか否かに基づいて、実オブジェクトに表示オブジェクトの表示範囲を重畳させるか否かを制御する。これにより、情報処理システム１００は、所属先がない実オブジェクトの存在をユーザに明示することが可能となり、ユーザは、操作を行うべきか否かを容易に判断することが可能となる。さらには、情報処理システム１００は、ユーザが関連付けられているか否かに基づいて、実オブジェクトのセンシング対象領域に表示オブジェクトの表示範囲を重畳させるか否かを制御してもよい。これにより、情報処理システム１００は、センシング精度を向上させたり、投影面積を効率的に利用したり、ユーザの注意を操作すべき実オブジェクトだけに集中させたりすることが可能である。
　また、情報処理システム１００は、ユーザ操作が行われる前のホバーが行われている段階で補助情報を提示する。これにより、不要な操作による手数増加、及び扶養な操作により発生する様々な不都合を未然に防止することが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図４に示した情報処理システム１００の機能構成例のうち、制御部１２０、処理方針情報記憶部１５０及び物体情報記憶部１６０が、入力部１１０及び出力部１３０とネットワーク等で接続されたサーバ等の装置に備えられていても良い。
その場合、入力部１１０からの情報がネットワーク等を通じて当該サーバ等の装置に送信され、制御部１２０が入力部１１０からの情報に対して処理を行い、当該サーバ等の装置から、出力部１３０が出力するための情報がネットワーク等を通じて出力部１３０に送られる。
　また、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御する処理方針情報制御部と、
　前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御する表示制御部と、
を備える情報処理装置。
（２）
　前記処理方針情報制御部は、前記実オブジェクトに触れたユーザを前記実オブジェクトに関連付ける、前記（１）に記載の情報処理装置。
（３）
　前記処理方針情報制御部は、前記実オブジェクトへの触れ方に応じて前記処理方針情報を制御する、前記（２）に記載の情報処理装置。
（４）
　前記表示制御部は、前記実オブジェクトへの触れ方と前記処理方針情報の制御内容との関係を示す情報を表示させる、前記（３）に記載の情報処理装置。
（５）
　前記処理方針情報制御部は、前記実オブジェクトの向きに対応するユーザを前記実オブジェクトに関連付ける、前記（１）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記処理方針情報制御部は、前記実オブジェクトとの距離が最も近いユーザを前記実オブジェクトに関連付ける、前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記処理方針情報制御部は、所定の関係にある２つの前記実オブジェクトの一方に、他方に関連付けられたユーザを関連付ける、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記表示制御部は、第１のユーザが関連付けられた前記実オブジェクトに第２のユーザが触れた又は触れることが予測される場合に、前記実オブジェクトに前記第１のユーザが関連付けられていることを示す表示オブジェクトを表示させ、及び／又は前記第１のユーザに対し前記第２のユーザの操作に関する表示オブジェクトを表示させる、前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記表示制御部は、前記処理方針情報に基づいて前記表示オブジェクトの表示範囲を制御する、前記（１）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記表示制御部は、ユーザが関連付けられているか否かに基づいて、前記実オブジェクトに前記表示オブジェクトの表示範囲を重畳させるか否かを制御する、前記（９）に記載の情報処理装置。
（１１）
　前記表示制御部は、ユーザが関連付けられているか否かに基づいて、前記実オブジェクトのセンシング対象領域に前記表示オブジェクトの表示範囲を重畳させるか否かを制御する、前記（９）に記載の情報処理装置。
（１２）
　前記表示制御部は、前記実オブジェクトの特徴を示す物体情報に基づいて前記表示オブジェクトの表示を制御する、前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記処理方針情報は、前記実オブジェクトに関連付けられるユーザの識別情報として、前記実オブジェクトの処理権利を有するユーザの識別情報を含む、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記処理方針情報は、前記実オブジェクトに関連付けられるユーザの識別情報として、前記実オブジェクトの処理権利の取得待ちをしているユーザの識別情報を含む、前記（１３）に記載の情報処理装置。
（１５）
　前記処理権利は、前記実オブジェクトを購入する権利である、前記（１３）又は（１４）に記載の情報処理装置。
（１６）
　前記処理権利は、前記実オブジェクトをレンタルする権利である、前記（１３）又は（１４）に記載の情報処理装置。
（１７）
　前記処理方針情報は、前記処理権利の有効期間を示す情報を含む、前記（１６）に記載の情報処理装置。
（１８）
　前記処理方針情報は、前記実オブジェクトへのユーザ操作のうち有効化する又は無効化するユーザ操作を示す情報を含む、前記（１）～（１７）のいずれか一項に記載の情報処理装置。
（１９）
　表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御することと、
　前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御することと、
を含むプロセッサにより実行される情報処理方法。
（２０）
　コンピュータを、
　表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御する処理方針情報制御部と、
　前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御する表示制御部と、
として機能させるためのプログラム。
　１０　　表示画面
　２０　　実オブジェクト
　３０　　表示オブジェクト
　１００　　情報処理システム
　１１０　　入力部
　１２０　　制御部
　１２１　　処理方針情報制御部
　１２３　　表示制御部
　１３０　　出力部
　１４０　　テーブル
　１５０　　処理方針情報記憶部
　１６０　　物体情報記憶部

Claims (20)

  1. 　表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御する処理方針情報制御部と、
    　前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御する表示制御部と、
    を備える情報処理装置。
  2. 　前記処理方針情報制御部は、前記実オブジェクトに触れたユーザを前記実オブジェクトに関連付ける、請求項１に記載の情報処理装置。
  3. 　前記処理方針情報制御部は、前記実オブジェクトへの触れ方に応じて前記処理方針情報を制御する、請求項２に記載の情報処理装置。
  4. 　前記表示制御部は、前記実オブジェクトへの触れ方と前記処理方針情報の制御内容との関係を示す情報を表示させる、請求項３に記載の情報処理装置。
  5. 　前記処理方針情報制御部は、前記実オブジェクトの向きに対応するユーザを前記実オブジェクトに関連付ける、請求項１に記載の情報処理装置。
  6. 　前記処理方針情報制御部は、前記実オブジェクトとの距離が最も近いユーザを前記実オブジェクトに関連付ける、請求項１に記載の情報処理装置。
  7. 　前記処理方針情報制御部は、所定の関係にある２つの前記実オブジェクトの一方に、他方に関連付けられたユーザを関連付ける、請求項１に記載の情報処理装置。
  8. 　前記表示制御部は、第１のユーザが関連付けられた前記実オブジェクトに第２のユーザが触れた又は触れることが予測される場合に、前記実オブジェクトに前記第１のユーザが関連付けられていることを示す表示オブジェクトを表示させ、及び／又は前記第１のユーザに対し前記第２のユーザの操作に関する表示オブジェクトを表示させる、請求項１に記載の情報処理装置。
  9. 　前記表示制御部は、前記処理方針情報に基づいて前記表示オブジェクトの表示範囲を制御する、請求項１に記載の情報処理装置。
  10. 　前記表示制御部は、ユーザが関連付けられているか否かに基づいて、前記実オブジェクトに前記表示オブジェクトの表示範囲を重畳させるか否かを制御する、請求項９に記載の情報処理装置。
  11. 　前記表示制御部は、ユーザが関連付けられているか否かに基づいて、前記実オブジェクトのセンシング対象領域に前記表示オブジェクトの表示範囲を重畳させるか否かを制御する、請求項９に記載の情報処理装置。
  12. 　前記表示制御部は、前記実オブジェクトの特徴を示す物体情報に基づいて前記表示オブジェクトの表示を制御する、請求項１に記載の情報処理装置。
  13. 　前記処理方針情報は、前記実オブジェクトに関連付けられるユーザの識別情報として、前記実オブジェクトの処理権利を有するユーザの識別情報を含む、請求項１に記載の情報処理装置。
  14. 　前記処理方針情報は、前記実オブジェクトに関連付けられるユーザの識別情報として、前記実オブジェクトの処理権利の取得待ちをしているユーザの識別情報を含む、請求項１３に記載の情報処理装置。
  15. 　前記処理権利は、前記実オブジェクトを購入する権利である、請求項１３に記載の情報処理装置。
  16. 　前記処理権利は、前記実オブジェクトをレンタルする権利である、請求項１３に記載の情報処理装置。
  17. 　前記処理方針情報は、前記処理権利の有効期間を示す情報を含む、請求項１６に記載の情報処理装置。
  18. 　前記処理方針情報は、前記実オブジェクトへのユーザ操作のうち有効化する又は無効化するユーザ操作を示す情報を含む、請求項１に記載の情報処理装置。
  19. 　表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御することと、
    　前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御することと、
    を含むプロセッサにより実行される情報処理方法。
  20. 　コンピュータを、
    　表示オブジェクトが表示される物体表面における実オブジェクトに関連付けられるユーザの識別情報を含む、前記実オブジェクトの処理方針を示す処理方針情報を、前記実オブジェクトへのユーザ操作に応じて制御する処理方針情報制御部と、
    　前記実オブジェクトの前記処理方針情報に基づいて前記表示オブジェクトの表示を制御する表示制御部と、
    として機能させるためのプログラム。
PCT/JP2017/036366 2016-11-25 2017-10-05 情報処理装置、情報処理方法及びプログラム WO2018096804A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/343,579 US10802700B2 (en) 2016-11-25 2017-10-05 Information processing apparatus and information processing method
JP2018552443A JP6943257B2 (ja) 2016-11-25 2017-10-05 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016228765 2016-11-25
JP2016-228765 2016-11-25

Publications (1)

Publication Number Publication Date
WO2018096804A1 true WO2018096804A1 (ja) 2018-05-31

Family

ID=62194987

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036366 WO2018096804A1 (ja) 2016-11-25 2017-10-05 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US10802700B2 (ja)
JP (1) JP6943257B2 (ja)
WO (1) WO2018096804A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020161058A (ja) * 2019-03-28 2020-10-01 シャープ株式会社 情報処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014132525A1 (ja) * 2013-03-01 2014-09-04 日本電気株式会社 情報処理システム、および情報処理方法
WO2015098188A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 表示制御装置、表示制御方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040125136A1 (en) * 2002-12-30 2004-07-01 Jukka Wallenius Provision of services through a display system
JP2006065558A (ja) * 2004-08-26 2006-03-09 Canon Inc 入力表示装置
KR101651859B1 (ko) * 2009-06-05 2016-09-12 삼성전자주식회사 사용자별 ｕｉ 제공방법 및 이를 적용한 디바이스
KR101349227B1 (ko) * 2010-03-29 2014-02-11 한국전자통신연구원 멀티미디어 시스템에서 객체 정보 제공 장치 및 방법
US9632677B2 (en) * 2011-03-02 2017-04-25 The Boeing Company System and method for navigating a 3-D environment using a multi-input interface
JP5879536B2 (ja) * 2012-01-18 2016-03-08 パナソニックＩｐマネジメント株式会社 表示装置および表示方法
TWI451160B (zh) * 2012-03-05 2014-09-01 原相科技股份有限公司 自動偵測方法及使用該方法之可攜式電子裝置
KR102071579B1 (ko) * 2013-09-02 2020-01-30 삼성전자주식회사 화면 미러링을 이용한 서비스 제공 방법 및 그 장치
US9563192B2 (en) * 2014-01-02 2017-02-07 Rockwell Automation Technologies, Inc. Software workstation and method for employing appended metadata in industrial automation software
JP2016006613A (ja) 2014-06-20 2016-01-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN107533416B (zh) * 2015-03-20 2021-03-16 株式会社理光 显示装置、显示控制方法、计算机可读记录介质和显示系统
US10282052B2 (en) * 2015-10-15 2019-05-07 At&T Intellectual Property I, L.P. Apparatus and method for presenting information associated with icons on a display screen
CN106981000B (zh) * 2016-10-13 2020-06-09 阿里巴巴集团控股有限公司 基于增强现实的多人线下交互、点餐方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014132525A1 (ja) * 2013-03-01 2014-09-04 日本電気株式会社 情報処理システム、および情報処理方法
WO2015098188A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 表示制御装置、表示制御方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020161058A (ja) * 2019-03-28 2020-10-01 シャープ株式会社 情報処理装置
JP7256665B2 (ja) 2019-03-28 2023-04-12 シャープ株式会社 情報処理装置

Also Published As

Publication number Publication date
JP6943257B2 (ja) 2021-09-29
JPWO2018096804A1 (ja) 2019-10-17
US20200050336A1 (en) 2020-02-13
US10802700B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
US20220253200A1 (en) Systems and methods for docking virtual objects to surfaces
US10289376B2 (en) Method for displaying virtual object in plural electronic devices and electronic device supporting the method
US11169830B2 (en) Account management user interfaces
KR102423447B1 (ko) 벤디드 디스플레이를 구비한 전자 장치 및 그 제어 방법
US11778421B2 (en) User interfaces for tracking and finding items
US11681537B2 (en) Account management user interfaces
KR20220038171A (ko) 웨어러블 디바이스용 로열티 계좌 및 자체 브랜드 계좌에 대한 사용자 인터페이스
CN106227344A (zh) 电子设备及其控制方法
CN203241978U (zh) 信息处理装置
CN109074573B (zh) 便携装置和便携装置的电子支付方法
CN107038565A (zh) 用于电子支付的移动电子装置和方法
CN104081307A (zh) 图像处理装置、图像处理方法和程序
KR101898650B1 (ko) 예술 작품 전시 정보 제공 장치
CN113157172A (zh) 弹幕信息显示方法、发送方法、装置、终端及存储介质
CN112578971A (zh) 页面内容展示方法、装置、计算机设备及存储介质
CN111080371A (zh) 向用户的账户发放资源的方法、装置及存储介质
WO2018096804A1 (ja) 情報処理装置、情報処理方法及びプログラム
US10304120B2 (en) Merchandise sales service device based on dynamic scene change, merchandise sales system based on dynamic scene change, method for selling merchandise based on dynamic scene change and non-transitory computer readable storage medium having computer program recorded thereon
US20150302784A1 (en) Information processing system, control method, and computer-readable medium
US11636460B2 (en) Electronic device, method and computer readable recording medium for electronic transaction
JP5194096B2 (ja) 試着システムおよびプログラム
US11054941B2 (en) Information processing system, information processing method, and program for correcting operation direction and operation amount
KR20210087385A (ko) 전자거래를 위한 전자장치, 방법 및 컴퓨터 판독가능 기록매체
CN109672799A (zh) 信息处理装置、系统以及存储媒体
JP7525831B2 (ja) 非接触型ｐｏｓレジスタ及び非接触型ｐｏｓレジスタ運用方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17874377

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018552443

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17874377

Country of ref document: EP

Kind code of ref document: A1