WO2020012955A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2020012955A1
WO2020012955A1 PCT/JP2019/025253 JP2019025253W WO2020012955A1 WO 2020012955 A1 WO2020012955 A1 WO 2020012955A1 JP 2019025253 W JP2019025253 W JP 2019025253W WO 2020012955 A1 WO2020012955 A1 WO 2020012955A1
Authority
WO
WIPO (PCT)
Prior art keywords
real object
information
real
control unit
information processing
Prior art date
Application number
PCT/JP2019/025253
Other languages
English (en)
French (fr)
Inventor
靖子 石原
秀憲 青木
新太郎 筒井
富士夫 荒井
佐藤　直之
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/253,928 priority Critical patent/US11393177B2/en
Priority to JP2020530085A priority patent/JP7371626B2/ja
Priority to CN201980043908.1A priority patent/CN112368746A/zh
Publication of WO2020012955A1 publication Critical patent/WO2020012955A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • Patent Literature 1 discloses a technique for recognizing an object (real object) from a moving image captured from a constantly changing viewpoint and maintaining a state in which related information of the object is displayed.
  • a virtual object When a virtual object is superimposed on a real object, it is possible to cause an interaction between the real object and the virtual object (for example, the virtual object collides with the real object, makes a sound, sits on the real object, and the like).
  • an interaction between the real object and the virtual object for example, the virtual object collides with the real object, makes a sound, sits on the real object, and the like.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program that support the arrangement of a real object related to a virtual object and can prevent a user experience when displaying a virtual object from being impaired. I do.
  • the preparation mode for arranging a real object pre-recorded, based on information on the real object causing a virtual object to interact, based on augmented reality display of information that supports the arrangement of the real object.
  • a processing device is proposed.
  • the processor in the preparation mode for arranging the real object, based on the information about the real object recorded in advance and interacting with the virtual object, augmented reality display information that supports the arrangement of the real object And recording the placement result information of the real object in a placement result information database referred to in a normal mode for displaying the virtual object that interacts with the placed real object. Suggest a method.
  • the computer performs augmented reality display of information that assists in arranging the real object based on information recorded in advance and about the real object in which the virtual object interacts. And control to record the arrangement result information of the real object in the arrangement result information database referred to in the normal mode for displaying the virtual object that interacts with the arranged real object. Suggest a program to work.
  • FIG. 1 is a diagram for describing an outline of an information processing system according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of an overall configuration of an information processing system according to an embodiment. It is a block diagram showing an example of composition of an information processing terminal by this embodiment. It is a figure showing an example of real object information by this embodiment.
  • 5 is a flowchart illustrating an example of a flow of an operation process in a preparation mode according to the embodiment. 5 is a flowchart illustrating an example of a flow of an operation process in a normal mode according to the embodiment.
  • FIG. 11 is a diagram illustrating an alternative process according to the present embodiment when no real object is arranged.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
  • the information processing terminal 10 according to the present embodiment supports the placement of the real object related to the virtual object by displaying the information for prompting the placement of the real object causing the virtual object to interact with the augmented reality display. Prevent user experience from being compromised.
  • the predetermined real object when causing an interaction between a real object and a virtual object (for example, the virtual object collides with the real object, makes a sound, sits on the real object, or the like), the predetermined real object If they are not placed in places, the state of the virtual object will be unnatural and the user experience will be impaired (for example, there will be collision sounds in nothing, unnaturally floating, Such).
  • a user who prepares a real object is provided by providing a preparation mode in which augmented reality display information that prompts the placement of the real object is provided based on information about the real object in which the virtual object interacts.
  • augmented reality display information that prompts the placement of the real object is provided based on information about the real object in which the virtual object interacts.
  • the information processing terminal 10 when it is necessary to place a real object (for example, a trash can) at a predetermined position in the real space, the information processing terminal 10 outputs the real object image 42 (virtual object). Is displayed in an augmented reality display at a predetermined location.
  • the real object image 42 may be a 3D model image for the preparation mode, or may have transparency.
  • the information on the real object causing the virtual object to interact may be incorporated in the application in advance.
  • Information on the real object (general name, shape, material information, arrangement information, etc.) is input by the developer when implementing the behavior (interaction) of the virtual object, and is associated with the virtual object (for example, along with the virtual object ID). )
  • the application means a program for controlling augmented reality display of a virtual object, and software including information on a real object to be arranged, display data of the virtual object, sound data at the time of interaction, and the like.
  • the information on the real object is not limited to being incorporated in the application.
  • a database real object information database
  • the information processing terminal 10 further displays an image 44 indicating detailed information (for example, a name, a shape, a material, a size, a color, and notes on arrangement) on the real object to be arranged. You may.
  • the information processing terminal 10 may display a virtual object 40 that interacts with a real object to be arranged in a test manner.
  • a virtual object 40 that interacts with a real object to be arranged in a test manner.
  • an environment in which an application is executed can be easily set even when a developer and an application executor (operator) are different.
  • an application executor operator
  • the real object to be used changes due to frequent updates of the application, it is possible to easily cope with the real object information incorporated in the updated application or the updated real object information DB with reference to the updated real object information DB.
  • the information processing terminal 10 acquires the placement result information of the real object. For example, when the placement of the real object is completed, the user (installer) performs an operation (gesture operation, voice input, and the like) for checking the check box 441 displayed on the image 44. When the check box 441 is checked, the information processing terminal 10 records that the placement of the real object is completed as placement result information. If a predetermined real object cannot be prepared and a substitute is arranged, the user may input the material and size of the substitute. If the placement location or the orientation is unavoidably shifted, the user inputs the extent of the shift. When the real object cannot be arranged, the fact that the real object could not be arranged is input.
  • an operation gesture operation, voice input, and the like
  • the arrangement result information is referred to when the application is executed, more specifically, in the normal mode for displaying the virtual object.
  • the information processing terminal 10 can grasp the arrangement state of the real object by referring to the arrangement result information. This makes it possible to execute appropriate interaction so as not to be in an unnatural state, and prevent the user experience from being impaired.
  • the information processing terminal 10 executes a predetermined interaction when a predetermined real object is arranged, and executes an alternative process according to the change when there is a change.
  • the information processing terminal 10 changes the collision sound according to the material of the substitute (for example, usually a metal sound, but if the material of the real object is not a metal, The sound of the virtual object), adjust the display position of the virtual object according to the size of the substitute, or prevent interaction if no real object is placed, so that the virtual object interacts with the virtual object. Can be prevented from becoming unnatural.
  • the information processing system has been described above.
  • the method of augmented reality display in the present embodiment is not particularly limited.
  • a glasses-type HMD Head Mounted Display
  • the display unit 120 is provided on a lens portion located in front of the user's eyes when the user wears the HMD.
  • the display unit 120 is realized by an optically transmissive display, and allows a user to visually recognize a virtual object while simultaneously viewing the real world with the naked eye.
  • the HMD is not limited to the one that presents an image to both eyes, and may be one that presents an image to only one eye. Further, as shown in FIG.
  • the HMD is provided with an outward camera 111 that captures an image of the user's line of sight when wearing, that is, the user's field of view. Further, the HMD may be provided with a microphone (hereinafter, referred to as a “microphone”) or a speaker.
  • a microphone hereinafter, referred to as a “microphone”
  • the HMD is not limited to the glasses type, but is a headband type (a type worn with a band that goes around the entire circumference of the head.
  • a band passing not only on the temporal region but also on the top of the head may be provided).
  • a helmet type (the visor portion of the helmet corresponds to the display) may be used.
  • the information processing terminal 10 may be a video see-through HMD.
  • the display unit 120 located in front of the user when the user wears it is realized by a video transmission type display.
  • the video transmission type display has a structure in which the field of view is covered with the display, and is viewed as an image of the real world and a virtual object taken in real time.
  • FIG. 2 is a diagram illustrating an example of the overall configuration of the information processing system according to the present embodiment.
  • the information processing system includes an information processing terminal 10 and a server 20.
  • the information processing terminal 10 and the server 20 are connected via a network 30 and can transmit and receive data.
  • the information processing terminal 10 is a display device including the display unit 120 and capable of augmented reality display of a virtual object.
  • An application for displaying a virtual object may be received from the server 20, for example.
  • the specific configuration of the information processing terminal 10 will be described later with reference to FIG.
  • the server 20 is a content server and transmits, for example, an application for displaying a virtual object to the information processing terminal 10. Further, the server 20 may accumulate the arrangement result information of the real objects and transmit the information to the information processing terminal 10 as necessary.
  • the example of the system configuration of the information processing system according to the present embodiment has been described.
  • the configuration described above with reference to FIG. 2 is merely an example, and the configuration of the information processing system according to the present embodiment is not limited to the example.
  • the functions of the information processing terminal 10 and the server 20 according to the present embodiment may be realized by a single device.
  • the configuration of the information processing system according to the present embodiment can be flexibly modified according to specifications and operations.
  • FIG. 3 is a block diagram illustrating an example of a configuration of the information processing terminal 10 according to the present embodiment.
  • the information processing terminal 10 includes a sensor unit 110, a control unit 100, a display unit 120, a speaker 130, a communication unit 140, an operation input unit 150, and a storage unit 160.
  • the sensor unit 110 has a function of acquiring (sensing) various kinds of information on the user or the surrounding environment.
  • the control unit 100 of the information processing terminal 10 can perform head tracking, position tracking, space recognition, gesture recognition, voice recognition, and the like based on various information sensed by the sensor unit 110.
  • the sensor unit 110 may include an outward camera 111, an inward camera 112, a microphone 113, a gyro sensor 114, an acceleration sensor 115, an azimuth sensor 116, and a position positioning unit 117.
  • the specific example of the sensor unit 110 described here is an example, and the present embodiment is not limited to this.
  • it may include an illuminance sensor and a biological sensor. Further, there may be a plurality of sensors.
  • the outward camera 111 and the inward camera 112 are obtained by a lens system including an imaging lens, an aperture, a zoom lens, a focus lens, and the like, a driving system that performs a focus operation and a zoom operation on the lens system, and a lens system.
  • a solid-state imaging device array for generating an imaging signal by photoelectrically converting the imaging light.
  • the solid-state imaging device array may be realized by, for example, a CCD (Charge Coupled Device) sensor array or a CMOS (Complementary Metal Oxide Semiconductor) sensor array.
  • the outward camera 111 be set to an angle of view and a direction including at least an area corresponding to the field of view of the user. Further, a plurality of outward cameras 111 may be provided. Further, the outward camera 111 may include a depth camera capable of acquiring a depth map by sensing.
  • the microphone 113 collects a user's voice and surrounding environmental sounds and outputs the collected voice to the control unit 100 as voice data.
  • the gyro sensor 114 is realized by, for example, a three-axis gyro sensor and detects an angular velocity (rotational speed).
  • the acceleration sensor 115 is realized by, for example, a three-axis acceleration sensor, and detects acceleration at the time of movement.
  • the azimuth sensor 116 is realized by, for example, a three-axis geomagnetic sensor (compass) and detects an absolute direction (azimuth).
  • the position positioning unit 117 calculates the own position of the information processing terminal 10. For example, the position positioning unit 117 may use so-called SLAM (simultaneous localization and mapping) as a method of self-position estimation.
  • SLAM simultaneous localization and mapping
  • the position positioning unit 117 may detect the current position of the information processing terminal 10 based on an externally obtained signal.
  • the position positioning unit 117 is realized by a GPS (Global Positioning System) positioning unit, and may receive a radio wave from a GPS satellite to detect a position where the information processing terminal 10 is present.
  • the position positioning unit 117 may be a unit that detects a position by transmitting / receiving to / from Wi-Fi (registered trademark), Bluetooth (registered trademark), a mobile phone, a PHS, a smartphone, or the like, or short-range communication. .
  • Control unit 100 functions as an arithmetic processing device and a control device, and controls overall operations in the information processing terminal 10 according to various programs.
  • the control unit 100 is realized by an electronic circuit such as a CPU (Central Processing Unit) and a microprocessor. Further, the control unit 100 may include a ROM (Read Only Memory) for storing a program to be used and calculation parameters, and a RAM (Random Access Memory) for temporarily storing parameters that change appropriately.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 100 performs head tracking, position tracking, space recognition, gesture recognition, voice recognition, and the like, and can appropriately display a virtual object according to an application. More specifically, the control unit 100 according to the present embodiment functions as a user situation recognition unit 101, a surrounding situation recognition unit 102, an arrangement information management unit 103, a mode setting unit 104, and a display control unit 105.
  • the user situation recognition unit 101 recognizes a user's position (for example, a position in a room, a self-position), a posture, a movement, and the like as a user situation based on various types of sensing data acquired by the sensor unit 110.
  • the user situation recognition unit 101 can perform gesture and voice recognition.
  • the user situation recognition unit 101 can also perform tracking (head tracking, position tracking) of a change in face direction, movement, and the like.
  • the surrounding situation recognition unit 102 performs object recognition, space recognition, and the like in the surrounding environment as the surrounding situation based on various types of sensing data acquired by the sensor unit 110.
  • the arrangement information management unit 103 manages information on the arrangement of the real object. For example, the placement information management unit 103 acquires placement result information of a real object by a user based on various sensing data acquired by the sensor unit 110, and stores the information in the storage unit 160. Further, the arrangement information management unit 103 may transmit the arrangement result information accumulated in the storage unit 160 to the server 20.
  • the mode setting unit 104 sets a preparation mode or a normal mode as an operation mode of the application.
  • the preparation mode is a mode in which information about the arrangement of the real objects is displayed in augmented reality when the installer or the like prepares and arranges the real objects in which the virtual objects interact with each other in advance.
  • the normal mode is a mode in which a virtual object that interacts with a placed real object is displayed. For example, in the case of a game application, a player (general user) is targeted.
  • the mode setting unit 104 may set an operation mode selected by a user (for example, an installer) having predetermined authority. The same person may use the preparation mode and the normal mode.
  • the display control unit 105 performs augmented reality display control of the virtual object. Specifically, the display control unit 105 superimposes and displays the virtual object in the real space using the display unit 120 according to the application. At this time, the display control unit 105 can perform display control based on the recognition results of the user situation recognizing unit 101 and the surrounding situation recognizing unit 102 so that the virtual object appears to actually exist in the real space. Specifically, the display control unit 105 changes the virtual object in accordance with the user's head movement, change in posture, position, and the like (so-called head tracking function and position tracking function).
  • the display control unit 105 displays augmented reality display of information that supports the placement of the real object based on information about the real object in which the virtual object interacts.
  • Information on a real object that causes a virtual object to interact (hereinafter, also referred to as “real object information”) is input by a developer when defining the behavior (interaction) of a virtual object, as described above.
  • the information on the behavior of the virtual object includes information on an interaction point (for example, a relative position from a reference point in a predetermined area).
  • the real object information includes, in addition to the general name, shape, material, arrangement information, and the like, alternative processing when there is no real object.
  • FIG. 4 shows an example of the real object information according to the present embodiment.
  • the categories of the real object information include, for example, the ID of the virtual object to be associated, the general name of the real object, the placement information (position, orientation, etc.), and the 3D asset (the virtual object Example), size information, material, weight, color, content of interaction with virtual object, reference image (illustration, photograph, etc.) of real object, alternative processing when the real object is not placed, or development related to placement It is assumed that comments are received from the participants.
  • the arrangement information may be, for example, information on a relative position or orientation from a predetermined reference point in the area.
  • the predetermined reference point may be, for example, a room entrance, a window, predetermined furniture, or the like.
  • a place (interaction point) at which an interaction occurs can be set in advance, so that the arrangement (position, orientation, etc.) of a related real object can also be set.
  • Alternative processing when no real object is located include, for example, not displaying a virtual object, not emitting sound, displaying a real object as a virtual object, displaying a virtual object even without a real object, starting an application (The application in the normal mode is not executed).
  • the actual object information shown in FIG. 4 is an example, and the present embodiment is not limited to this.
  • environmental information around the real object may be included.
  • the display control unit 105 When the normal mode is set by the mode setting unit 104, the display control unit 105 performs augmented reality display of a virtual object that interacts with the arranged real object.
  • the application includes an interaction point (area designation, location designation in the area), interaction contents, display data such as a 3D model of a virtual object causing the interaction, sound effect data at the time of interaction, and preferable real object information at the interaction point. It has been incorporated.
  • the display control unit 105 performs display control for moving the virtual object at a predetermined place (interaction point) based on the information. At this time, the display control unit 105 refers to the arrangement result information acquired in the preparation mode, and determines the behavior of the virtual object according to the arrangement result. That is, the display control unit 105 can perform an alternative process as necessary based on the arrangement result, so that the movement and the sound effect of the virtual object do not become unnatural.
  • the arrangement result information may be stored in the storage unit 160 or may be obtained from the server 20.
  • the placement result information includes information on the presence / absence of the real object, such as whether or not the predetermined real object has been placed as specified, as well as "placed real objects having the same shape but different materials", "shape and material It is assumed that another real object (alternative product) is arranged, such as "A real object having the same size but a smaller size is arranged.” In addition, it is also possible to recognize the arrangement of the real object in real time using the outward camera 111 and acquire a difference from the preferable arrangement of the real object preset in the application.
  • the recognition processing load is large and it is difficult to judge the material and weight and to accurately grasp the difference from a preset preferable real object
  • the arrangement state of the real object since the arrangement state of the real object cannot be known without actually going to the place, it is possible to grasp the arrangement state of the real object in advance when starting the application in the normal mode. It is preferable to refer to the acquired arrangement result information.
  • the control unit 100 can also perform control of outputting a predetermined sound effect from the speaker 130 when the virtual object interacts. At this time, the control unit 100 may output the sound effect according to the material or the like of the actual object that is actually arranged with reference to the arrangement result information.
  • the display unit 120 has a function of performing augmented reality display of a virtual object.
  • the display unit 120 is realized by an optical transmission display, and performs display using, for example, a hologram optical technique.
  • the display unit 120 may be realized by a liquid crystal display (LCD) device, an organic light emitting diode (OLED) device, or the like.
  • the display unit 120 may be a transmission type, a semi-transmission type, or a non-transmission type. Further, the optical transmittance of the display unit 120 may be controlled by the control unit 100.
  • the speaker 130 reproduces an audio signal under the control of the control unit 100.
  • the communication unit 140 is a communication module for transmitting / receiving data to / from another device by wire / wireless.
  • the communication unit 140 is, for example, a wired LAN (Local Area Network), a wireless LAN, Wi-Fi (registered trademark), (Wireless Fidelity), infrared communication, Bluetooth (registered trademark), short-range / contactless communication, or the like, and is configured to use an external device. Wirelessly communicate with the device directly or via a network access point.
  • Operation input unit 150 is realized by an operation member having a physical structure such as a switch, a button, or a lever.
  • the storage unit 160 is realized by a ROM (Read Only Memory) that stores a program, an operation parameter, and the like used in the processing of the control unit 100 described above, and a RAM (Random Access Memory) that temporarily stores appropriately changed parameters and the like. .
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the storage unit 160 stores space recognition information (space map data), an application, and an arrangement result information DB (database).
  • the arrangement result information DB may be stored in the server 20.
  • the configuration of the information processing terminal 10 according to the present embodiment has been specifically described above.
  • the configuration of the information processing terminal 10 according to the present embodiment is not limited to the example illustrated in FIG.
  • the information processing terminal 10 may be configured by a plurality of devices.
  • the information processing terminal 10 according to the present embodiment may have a system configuration including an HMD worn by a user and a smartphone.
  • the function of the control unit 100 may be provided in the smartphone, and the information presentation may be performed on the HMD according to the control of the smartphone.
  • At least a part of the sensor unit 110 may be an external sensor (for example, an environment-side sensor such as a camera, a depth sensor, a microphone, an infrared sensor, and an illuminance sensor installed in a room).
  • an external sensor for example, an environment-side sensor such as a camera, a depth sensor, a microphone, an infrared sensor, and an illuminance sensor installed in a room.
  • At least some of the functions of the control unit 100 of the information processing terminal 10 may be present in another device that is communicatively connected via the communication unit 140.
  • at least a part of the functions of the control unit 100 of the information processing terminal 10 may be provided in an intermediate server, a cloud server (server 20) on the Internet, or the like.
  • FIG. 5 is a flowchart illustrating an example of the flow of operation processing in the preparation mode according to the present embodiment. As shown in FIG. 5, when the application is started (step S103), the control unit 100 of the information processing terminal 10 confirms the setting of the operation mode (step S106).
  • the display control unit 105 acquires the real object information embedded in the application (step S109). Alternatively, the display control unit 105 acquires real object information from the server 20.
  • the display control unit 105 generates a 3D model for the preparation mode (an example of a virtual object of the real object used in the preparation mode, which is not necessarily a 3D image) based on the acquired real object information. (Step S112). As described above, by generating the display for the preparation mode from the real object information (real object parameters), it is possible to reduce the number of steps for creating an instruction book for each application and for creating an application dedicated to preparation.
  • control unit 100 starts control to guide the user (installer) to the location of the real object based on the location information extracted from the real object information (step S115). Specifically, the control unit 100 determines the user's own position using SLAM technology or the like, and uses the display unit 120 and the speaker 130 to guide the user to a predetermined location. At this time, the control unit 100 may notify the user of the information of the real object to be brought to the arrangement location before starting the guidance. For example, the control unit 100 may display a reference image of the real object, and may give a notification such as “Please move to the back of the room with such a trash can”. Further, the control unit 100 may display information on the real object to be arranged even during guidance.
  • the display control unit 105 displays the real object information to be placed (step S118). Specifically, as described with reference to FIG. 1, the virtual object (the generated 3D model) of the real object is displayed in the augmented reality at a predetermined location, and the location of the real object is clearly specified. . At this time, the display control unit 105 further supports the arrangement of the real object by displaying the detailed information of the real object together or displaying a virtual object that interacts with the real object in a test manner. Becomes possible. As a result, even an installer who does not know the contents of the application can arrange the real object necessary for the application in the position and orientation intended by the developer.
  • the arrangement information management unit 103 acquires the feedback of the arrangement of the real object (referred to as arrangement result information in this specification) and records it in the arrangement result information DB (step S121).
  • the arrangement result information DB may be stored in the storage unit 160 or may be stored in the server 20.
  • the result (arrangement result information) may be shared on a network.
  • the method of acquiring the arrangement result information is not particularly limited. For example, as shown in FIG. 1, when a predetermined real object is arranged, a check box 441 may be checked. If the placement could not be performed, the process may be ended without checking the check box, or the fact that the placement could not be performed may be input.
  • steps S115 to S112 are repeated for all the real objects set in the real object information (step S124).
  • the arrangement result information may be shared, and the real objects that have been arranged by other staffs may be appropriately removed from the guidance target.
  • FIG. 6 is a flowchart illustrating an example of the flow of operation processing in the normal mode according to the present embodiment.
  • the control unit 100 analyzes the status of the essential arrangement real object from the arrangement result information DB.
  • the essential arrangement real object is a real object that is indispensable for UX (User Experience) of the application, and is set in advance by a developer.
  • the information on the indispensable real object is included, for example, in the real object information incorporated in the application.
  • control unit 100 determines whether the application can be executed (step S126). Specifically, the control unit 100 determines that the application in the normal mode cannot be executed when the essential arrangement real object is not arranged, and when the essential arrangement real object is arranged, the control unit 100 executes the application in the normal mode. It is determined that execution is possible.
  • the display control unit 105 presents a message indicating that the application cannot be executed to the user (player) (Step S129). For example, a notification such as "A problem has occurred. Please call the staff" is performed. Thus, it is possible to prevent the application from being started (for example, the game progressing) in a situation where the indispensable real objects are not placed (that is, a situation where the user experience is impaired).
  • step S126 when it is determined that the application can be executed (step S126 / Yes), the display control unit 105 starts executing the application in the normal mode (in the case of an event application, starts introduction to the player, etc.) It is determined whether or not has reached a predetermined interaction point (step S132).
  • control unit 100 refers to the arrangement result information DB and confirms whether or not a predetermined real object is arranged at the interaction point (step S135).
  • control unit 100 executes a specified normal process (interaction of a predefined virtual object) (step S138).
  • the control unit 100 checks an alternative processing flag (that is, whether or not the alternative processing is registered in the real object information) (step S141). If the substitute process is registered, the substitute process is executed (step S144).
  • the substitution process includes, in addition to the substitution process when the real object is not arranged, the substitution process according to the substitution product when the substitution product is arranged.
  • alternative processing includes not displaying a virtual object, generating an image of a real object with a 3D model and displaying it as a virtual object, and changing the interaction (for example, changing to an interaction irrelevant to the real object).
  • changing to an interaction that is not related to a real object for example, changing a behavior of jumping out of a real object to a behavior of jumping out of a floor or a wall can be cited.
  • the application can execute the alternative behavior with the virtual object without causing an unnatural state and bringing the user back to reality. Can be provided.
  • Such an information processing system can be applied to, for example, the following AR game event using a real space, and when a real object is not arranged, by performing a predetermined alternative process, an uncomfortable feeling can be obtained. Can be prevented.
  • sounds such as trash bins and other objects in the real space collide with virtual objects (game characters etc.)
  • game characters of the virtual objects explain the real space (eg, pictures of paintings that are real objects)
  • Virtual The game character of the object sees the "book” or "poster” (real object) in the real space, looks surprised, laughs, etc.
  • the virtual object game character guides the user to the real object, and the user interacts with the real object (for example, pressing a button, holding a hand over a sensor, picking up an item, etc.).
  • the user interacts with the real object (for example, pressing a button, holding a hand over a sensor, picking up an item, etc.).
  • the virtual object for example, buttons
  • step S112 in FIG. 5 may be performed after the guidance shown in step S115.
  • step S115 of FIG. 5 may not be performed, and only the arrangement location (area name or the like) may be presented.
  • all the processes shown in FIGS. 5 and 6 need not necessarily be performed by a single device.
  • the processing may be performed by the information processing terminal 10.
  • a computer program for causing the functions of the information processing terminal 10 or the server 20 to be exhibited by hardware such as the CPU, ROM, and RAM built in the information processing terminal 10 or the server 20 can be created.
  • a computer-readable storage medium storing the computer program is provided.
  • the present technology may also have the following configurations.
  • (1) In the preparation mode for arranging the real object, pre-recorded, based on information about the real object causing the virtual object to interact, based on augmented reality display of information that supports the arrangement of the real object, Control to record the placement result information of the real object in a placement result information database referred to in a normal mode for displaying the virtual object that interacts with the placed real object,
  • An information processing device comprising a control unit for performing (2)
  • the control unit includes: The information processing apparatus according to (1), wherein information indicating an arrangement of the real object is displayed as information supporting the arrangement of the real object.
  • the control unit includes: The information processing apparatus according to (1) or (2), wherein the information supporting the arrangement of the real object is augmented reality display of the virtual object of the real object at a predetermined arrangement location in a real space.
  • the control unit includes: The information (1) or (2), which displays a virtual object of the real object and a virtual object that interacts with the real object at a predetermined location in the real space as information for supporting the arrangement of the real object.
  • the control unit includes: The information processing apparatus according to any one of (1) to (4), wherein a display for guiding a user to a place where the real object is placed is displayed as information for supporting the placement of the real object.
  • the information processing device includes: The information processing apparatus according to any one of (1) to (6), wherein detailed information of the real object is displayed as information for supporting the arrangement of the real object.
  • the detailed information of the real object includes at least one of a name of the real object, 3D asset, size information, material information, weight information, interaction content, captured image, illustration image, and comment.
  • An information processing apparatus according to claim 1.
  • the information processing apparatus according to any one of (1) to (8), wherein the information on the real object is stored in association with the virtual object.
  • the control unit includes: In the normal mode, display control of the virtual object is performed at a predetermined location set according to the arrangement result information of the real object stored in the arrangement result information database.
  • the information processing device according to any one of 9).
  • the control unit includes: The information processing apparatus according to (10), wherein when it is determined from the arrangement result information of the real objects that the specific real object has not been arranged in the preparation mode, the execution of the normal mode is stopped.
  • the control unit includes: At the interaction point, when it is confirmed from the arrangement result information of the real object that the predetermined real object has not been arranged, a predetermined alternative process is performed on the display of the virtual object, (10) or (11).
  • the information processing device according to (1).
  • the control unit includes: The information processing device according to (12), wherein, as the substitute process, the display of the virtual object is stopped or the interaction is changed to an interaction that does not relate to the real object.
  • the control unit includes: The information processing apparatus according to (12), wherein, as the alternative process, an interaction set by the virtual object is executed after displaying a virtual object of the real object at a predetermined location.
  • the control unit includes: At the interaction point, when it is confirmed from the arrangement result information of the real object that a real object different from a predetermined real object is arranged, the interaction is changed to an interaction adapted to the different real object, (10) or (11).
  • the information processing device according to (1).
  • the control unit includes: The information processing apparatus according to (15), wherein an interaction of the virtual object is changed according to at least one of material information or size information of the different real object.
  • the processor In the preparation mode for arranging the real object, pre-recorded, based on the information about the real object causing the virtual object to interact, based on augmented reality display information that supports the arrangement of the real object, The arrangement result information of the real object is recorded in an arrangement result information database referred to in a normal mode for displaying the virtual object that interacts with the arranged real object,
  • An information processing method including: (19) Computer In the preparation mode for arranging the real object, pre-recorded, based on information about the real object causing the virtual object to interact, based on augmented reality display of information that supports the arrangement of the real object, Control to record the placement result information of the real object in a placement result information database referred to in a normal mode for displaying the virtual object that interacts with the placed real object, Program to function as a control unit that performs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示する制御と、前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録する制御と、を行う制御部（１００）を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　近年、実物体に仮想オブジェクトを重畳表示してユーザに情報を提供する技術が存在する。
　例えば下記特許文献１では、刻々変化する視点で撮像された動画像からオブジェクト（実物体）を認識し、オブジェクトの関連情報を表示した状態を維持する技術が開示されている。
特開２０１５－９５１４７号公報
　実物体に仮想物を重畳表示する場合、実物体と仮想オブジェクトとのインタラクション（例えば仮想オブジェクトが実物体に衝突して音が鳴る、実物体の上に座る、など）を起こすことも可能であるが、このようなユーザ体験を提供するには、予め所定の実物体を所定の場所に配置しておくことが望ましい。所定の実物体が所定の場所に配置されていないにも関わらず、仮想オブジェクトが予め決められたインタラクションを行うと、不自然な動きに見えて違和感が生じる。
　そこで、本開示では、仮想オブジェクトと関わる実物体の配置を支援し、仮想オブジェクトを表示する際のユーザ体験が損なわれることを防止することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示する制御と、前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録する制御と、を行う制御部を備える、情報処理装置を提案する。
　本開示によれば、プロセッサが、実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示することと、前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録することと、を含む、情報処理方法を提案する。
　本開示によれば、コンピュータを、実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示する制御と、前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録する制御と、を行う制御部として機能させるための、プログラムを提案する。
　以上説明したように本開示によれば、仮想オブジェクトと関わる実物体の配置を支援し、仮想オブジェクトを表示する際のユーザ体験が損なわれることを防止することが可能である。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態による情報処理システムの全体構成の一例を示す図である。 本実施形態による情報処理端末の構成の一例を示すブロック図である。 本実施形態による実物体情報の一例を示す図である。 本実施形態による準備モードにおける動作処理の流れの一例を示すフローチャートである。 本実施形態による通常モードにおける動作処理の流れの一例を示すフローチャートである。 本実施形態による実物体が配置されていない場合の代替処理について説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．情報処理装置の構成
　３．動作処理
　　３－１．準備モードにおける動作処理
　　３－２．通常モードにおける動作処理
　４．まとめ
　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。本実施形態による情報処理端末１０は、仮想オブジェクトがインタラクションを起こす実物体の配置を促す情報を拡張現実表示することで、仮想オブジェクトと関わる実物体の配置を支援し、仮想オブジェクトを表示する際のユーザ体験が損なわれることを防止する。
　上述したように、実物体と仮想オブジェクトとのインタラクション（例えば仮想オブジェクトが実物体に衝突して音が鳴る、実物体の上に座る、など）を起こす際に、予め所定の実物体が所定の場所に配置されていないと、仮想オブジェクトの状態が不自然なものとなってしまい、ユーザ体験が損なわれてしまう（例えば、何もないところで衝突音がする、不自然に浮いて表示される、など）。
　また、特定の場所で行うイベントアプリケーションの場合、イベントアプリケーションに必要な実物体を運営側が配置しなければならないが、開発者の意図する位置や向きで所定の実物体を配置することや、配置状態が正しいものであるかどうかを確認することは難しかった。
　そこで、本開示の一実施形態では、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づいて、実物体の配置を促す情報を拡張現実表示する準備モードを提供することで、実物体を用意するユーザ（以下、「設置者」とも称す）に対して、実物体の配置（位置や向き）を、より分かり易く明示することが可能となる。
　具体的には、例えば図１に示すように、実空間における所定の位置に、実物体（例えばゴミ箱）を配置する必要がある場合、情報処理端末１０は、実物体の画像４２（仮想オブジェクト）を、所定の配置場所に拡張現実表示する。実物体の画像４２は、準備モード用の３Ｄモデル画像であってもよいし、また、透過性を持たせてもよい。
　これにより、ユーザは、実物体の配置場所や向きを直感的に把握することができ、アプリケーション実行時における、実物体の配置や向きが異なる場合の違和感を防止することが可能となる。また、実物大の画像４２が表示されることで、ユーザは、実物体のサイズも直感的に把握することができる。
　なお、仮想オブジェクトがインタラクションを起こす実物体に関する情報は、アプリケーションに予め組み込むようにしてもよい。実物体に関する情報（一般名称、形状、材質情報、配置情報等）は、仮想オブジェクトの振る舞い（インタラクション）を実装する際に、開発者により入力され、仮想オブジェクトと関連付けて（例えば仮想オブジェクトのＩＤと共に）アプリケーションに組み込まれる。本明細書において、アプリケーションとは、仮想オブジェクトの拡張現実表示を制御するプログラムと、配置する実物体に関する情報や、仮想オブジェクトの表示データ、インタラクション時の音データ等を含むソフトウェアを意味する。実物体に関する情報は、アプリケーションに組み込むことに限定されず、例えばサーバ２０等に別途データベース（実物体情報データベース）を生成し、適宜、情報処理端末１０から参照するようにしてもよい。
　また、情報処理端末１０は、図１に示すように、配置する実物体に関する詳細な情報（例えば、名称、形状、材質、サイズ、色、配置に関する留意事項等）を示す画像４４をさらに表示してもよい。
　また、情報処理端末１０は、図１に示すように、配置する実物体とインタラクションを起こす仮想オブジェクト４０をテスト的に表示してもよい。これにより、実際にどこでどのようなインタラクションが発生するのかを把握し、より正確に実物体の配置を行うことができる。また、所定の実物体の代替品を配置する際にも、仮想オブジェクトのインタラクションを確認することで、不自然な状態とならないよう配置することができる。
　本実施形態によって、開発者とアプリケーションの実行者（運営者）が異なる場合でも、アプリケーションを実行する環境を容易に設置することができる。アプリケーションの頻繁なアップデートにより使用する実物体が変わる場合も、更新されたアプリケーションに組み込まれた実物体情報や、更新された実物体情報ＤＢを参照することで容易に対応することが可能となる。
　次いで、情報処理端末１０は、実物体の配置結果情報を取得する。例えば、ユーザ（設置者）は、実物体の配置が完了すると、画像４４に表示されているチェックボックス４４１にチェックを入れる操作（ジェスチャ操作、音声入力等）を行う。チェックボックス４４１にチェックが入ると、情報処理端末１０は、実物体の配置が完了したことを配置結果情報として記録する。ユーザは、所定の実物体が用意できず代替品を配置した場合は、代替品の材質やサイズ等を入力するようにしてもよい。また、やむを得ず配置場所や向きをずらした場合、どの程度ずらしたかを入力する。また、実物体を配置できなかった場合は、配置できなかったことを入力する。
　かかる配置結果情報は、アプリケーションの実行時、より具体的には、仮想オブジェクトを表示する通常モードの際に参照される。情報処理端末１０は、インタラクションポイントにおいて仮想オブジェクトを表示する際、配置結果情報を参照することで実物体の配置状態を把握することができる。これにより、不自然な状態とならないよう適切なインタラクションを実行し、ユーザ体験が損なわれることを防止することが可能となる。
　具体的には、情報処理端末１０は、所定の実物体が配置されている場合は既定のインタラクションを実行し、変更がある場合は変更に応じた代替処理を実行する。例えば、情報処理端末１０は、代替品の材質に応じて衝突音を変更したり（例えば通常は金属音だが、実物体の材質が金属ではないものになっていた場合、変更された材質に応じた衝突音に変更する）、代替品のサイズに応じて仮想オブジェクトの表示位置を調整したり、何ら実物体が配置されていない場合はインタラクションを起こさないようにしたりすることで、仮想オブジェクトのインタラクションが不自然な状態となることを回避することができる。
　以上、本開示の一実施形態による情報処理システムについて説明した。なお、本実施形態における拡張現実表示の手法は特に限定しない。例えば図１に示すような、メガネ型のＨＭＤ（Head　Mounted　Display）を情報処理端末１０として用いてもよい。メガネ型のＨＭＤは、ユーザ装着時にユーザの眼前に位置するレンズ部分に表示部１２０が設けられている。表示部１２０は、光学透過型ディスプレイにより実現され、ユーザは、実世界を肉眼で視覚しながら同時に仮想物を視認することができる。また、ＨＭＤは、両眼に画像を提示するものに限定されず、片眼のみに画像を提示するものであってもよい。また、ＨＭＤには、図１に示すように、装着時にユーザの視線方向、すなわちユーザの視界を撮像する外向きカメラ１１１が設けられている。また、ＨＭＤには、マイクロホン（以下、「マイク」と示す）やスピーカが設けられていてもよい。
　また、ＨＭＤは、メガネ型に限定されず、ヘッドバンド型（頭部の全周を回るバンドで装着されるタイプ。また、側頭部だけでなく頭頂部を通るバンドが設けられる場合もある）や、ヘルメットタイプ（ヘルメットのバイザー部分がディスプレイに相当する）であってもよい。
　また、本実施形態による情報処理端末１０は、ビデオシースルー型のＨＭＤであってもよい。ビデオシースルー型のＨＭＤの場合、ユーザ装着時にユーザの眼前に位置する表示部１２０がビデオ透過型ディスプレイにより実現される。ビデオ透過型ディスプレイは、視界をディスプレイで覆う構造であり、実世界と仮想物をリアルタイムに撮影した映像として視覚される。
　続いて、このような本実施形態による情報処理システムの全体構成について図２を参照して説明する。図２は、本実施形態による情報処理システムの全体構成の一例を示す図である。
　図２に示すように、本実施形態に係る情報処理システムは、情報処理端末１０とサーバ２０とを含む。情報処理端末１０とサーバ２０は、ネットワーク３０を介して接続され、データの送受信が可能となる。
　情報処理端末１０は、上述したように、表示部１２０を備え、仮想オブジェクトを拡張現実表示することが可能な表示デバイスである。仮想オブジェクトの表示を行うアプリケーションは、例えばサーバ２０から受信し得る。情報処理端末１０の具体的な構成については、図３を参照して後述する。
　サーバ２０は、コンテンツサーバであって、例えば仮想オブジェクトの表示を行うアプリケーションを情報処理端末１０に送信する。また、サーバ２０は、実物体の配置結果情報を蓄積し、必要に応じて情報処理端末１０に送信してもよい。
　以上、本実施形態に係る情報処理システムのシステム構成例について説明した。なお、図２を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、本実施形態に係る情報処理端末１０およびサーバ２０が有する機能は、単一の装置により実現されてもよい。本実施形態に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。
　＜＜２．情報処理端末１０の構成＞＞
　図３は、本実施形態による情報処理端末１０の構成の一例を示すブロック図である。図３に示すように、情報処理端末１０は、センサ部１１０、制御部１００、表示部１２０、スピーカ１３０、通信部１４０、操作入力部１５０、および記憶部１６０を有する。
　＜２－１．センサ部１１０＞
　センサ部１１０は、ユーザまたは周辺環境に関する各種情報を取得（センシング）する機能を有する。情報処理端末１０の制御部１００は、センサ部１１０によりセンシングされた各種情報に基づいて、ヘッドトラッキング、ポジショントラッキング、空間認識、ジェスチャ認識、音声認識等を行うことが可能である。
　例えばセンサ部１１０は、外向きカメラ１１１、内向きカメラ１１２、マイク１１３、ジャイロセンサ１１４、加速度センサ１１５、方位センサ１１６、および位置測位部１１７を含んでいてもよい。なおここで挙げるセンサ部１１０の具体例は一例であって、本実施形態はこれに限定されない。例えば、照度センサや生体センサ等を含んでいてもよい。また、各センサは複数あってもよい。
　外向きカメラ１１１および内向きカメラ１１２は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を各々有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
　外向きカメラ１１１は、ユーザの視界に相当する領域を少なくとも含む画角や向きに設定されることが望ましい。また、外向きカメラ１１１は、複数設けられていてもよい。また、外向きカメラ１１１は、センシングによりデプスマップを取得可能なデプスカメラを含んでもよい。
　マイク１１３は、ユーザの音声や周囲の環境音を収音し、音声データとして制御部１００に出力する。
　ジャイロセンサ１１４は、例えば３軸ジャイロセンサにより実現され、角速度（回転速度）を検出する。
　加速度センサ１１５は、例えば３軸加速度センサにより実現され、移動時の加速度を検出する。
　方位センサ１１６は、例えば３軸地磁気センサ（コンパス）により実現され、絶対方向（方位）を検出する。
　位置測位部１１７は、情報処理端末１０の自己位置を算出する。例えば位置測位部１１７は、自己位置推定の手法として、いわゆるＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ　ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　ｍａｐｐｉｎｇ）を用いてもよい。
　また、位置測位部１１７は、外部からの取得信号に基づいて情報処理端末１０の現在位置を検知してもよい。具体的には、例えば位置測位部１１７は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）測位部により実現され、ＧＰＳ衛星からの電波を受信して、情報処理端末１０が存在している位置を検知してもよい。また、位置測位部１１７は、例えばＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
　＜２－２．制御部１００＞
　制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理端末１０内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含んでいてもよい。
　制御部１００は、ヘッドトラッキング、ポジショントラッキング、空間認識、ジェスチャ認識、音声認識等を行い、アプリケーションに従って適切に仮想オブジェクトを表示し得る。より具体的には、本実施形態による制御部１００は、ユーザ状況認識部１０１、周辺状況認識部１０２、配置情報管理部１０３、モード設定部１０４、および表示制御部１０５として機能する。
　（ユーザ状況認識部１０１）
　ユーザ状況認識部１０１は、センサ部１１０により取得された各種センシングデータに基づいて、ユーザ状況として、ユーザの位置（例えば室内における位置、自己位置）、姿勢、動き等を認識する。また、ユーザ状況認識部１０１は、ジェスチャや音声の認識を行い得る。また、ユーザ状況認識部１０１は、顔向きの変化や移動等のトラッキング（ヘッドトラッキング、ポジショントラッキング）を行うことも可能である。
　（周辺状況認識部１０２）
　周辺状況認識部１０２は、センサ部１１０により取得された各種センシングデータに基づいて、周辺状況として、周辺環境における物体認識や空間認識等を行う。
　（配置情報管理部１０３）
　配置情報管理部１０３は、実物体の配置に関する情報の管理を行う。例えば配置情報管理部１０３は、センサ部１１０により取得された各種センシングデータに基づいて、ユーザによる実物体の配置結果情報を取得し、記憶部１６０に保存する。また、配置情報管理部１０３は、記憶部１６０に蓄積した配置結果情報をサーバ２０に送信してもよい。
　（モード設定部１０４）
　モード設定部１０４は、アプリケーションの動作モードとして、準備モードまたは通常モードの設定を行う。準備モードとは、仮想オブジェクトがインタラクションを起こす実物体を設置者等が予め配置して準備する際に、実物体の配置に関する情報を拡張現実表示するモードである。通常モードとは、配置された実物体とインタラクションを起こす仮想オブジェクトを表示するモードであって、例えばゲームアプリケーションの場合、プレイヤー（一般ユーザ）が対象となる。モード設定部１０４は、所定の権限を有するユーザ（例えば設置者）により選択された動作モードに設定するようにしてもよい。なお、準備モードと通常モードを同一人物が利用してもよい。
　（表示制御部１０５）
　表示制御部１０５は、仮想オブジェクトの拡張現実表示制御を行う。具体的には、表示制御部１０５は、アプリケーションに従って、表示部１２０を用いて実空間に仮想オブジェクトを重畳表示する。この際、表示制御部１０５は、ユーザ状況認識部１０１や周辺状況認識部１０２の認識結果に基づいて、仮想オブジェクトがあたかも実空間に実際に存在して見えるよう表示制御し得る。具体的には、表示制御部１０５は、ユーザの頭の動き、姿勢の変化、位置等に合わせて、仮想オブジェクトを変化させる（いわゆるヘッドトラッキング機能や、ポジショントラッキング機能）。
　表示制御部１０５は、モード設定部１０４により準備モードが設定された場合は、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示する。仮想オブジェクトがインタラクションを起こす実物体に関する情報（以下、「実物体情報」とも称す）は、上述したように、仮想オブジェクトの振る舞い（インタラクション）を定義する際に開発者により入力される。仮想オブジェクトの振る舞いに関する情報には、インタラクションポイント（例えば所定のエリア内の基準点からの相対的な位置）の情報が含まれる。また、実物体情報には、一般名称、形状、材質、配置情報等の他、当該実物体がない場合の代替処理が含まれる。ここで、図４に、本実施形態による実物体情報の一例を示す。
　図４に示すように、実物体情報のカテゴリは、例えば、関連付けられる仮想オブジェクトのＩＤ、実物体の一般名称、配置情報（位置、向き等）、３Ｄアセット（準備モードで用いる実物体の仮想オブジェクトの一例）、サイズ情報、材質、重さ、色、仮想オブジェクトとのインタラクション内容、実物体の参考画像（イラスト、写真等）、当該実物体が配置されなかった場合の代替処理、または配置に関する開発者からのコメント等が想定される。
　配置情報は、例えば、エリア内における所定の基準点からの相対的な位置や向きの情報であってもよい。所定の基準点は、例えば、部屋の入口、窓、所定の家具等であってもよい。特定の場所で実施するイベントアプリケーションの場合、インタラクションを起こす場所（インタラクションポイント）は予め設定され得るため、関連する実物体の配置（位置、向き等）も合わせて設定され得る。
　実物体が配置されていない時の代替処理は、例えば、仮想オブジェクトを表示しない、音を出さない、実物体を仮想オブジェクトとして表示する、実物体がなくても仮想オブジェクトを表示する、アプリケーションを起動させない（通常モードのアプリケーションを実行しない）等が挙げられる。
　なお、図４に示す実物体情報は一例であって、本実施形態はこれに限定されない。例えば、実物体の周辺の環境情報（周りを明るくする、暗くする、等）を含めてもよい。
　また、表示制御部１０５は、モード設定部１０４により通常モードが設定された場合は、配置した実物体とインタラクションを起こす仮想オブジェクトの拡張現実表示を行う。アプリケーションには、インタラクションポイント（エリア指定、エリア内の場所指定）、インタラクション内容、インタラクションを起こす仮想オブジェクトの３Ｄモデル等の表示データ、インタラクション時の効果音データ、およびインタラクションポイントにおける好ましい実物体情報等が組み込まれている。表示制御部１０５は、これらの情報に基づいて、所定の場所（インタラクションポイント）において、仮想オブジェクトを動かす表示制御を行う。この際、表示制御部１０５は、準備モードの際に取得された配置結果情報を参照し、配置結果に合わせて仮想オブジェクトの振る舞いを判断する。すなわち、表示制御部１０５は、配置結果に基づき、必要に応じて代替処理を行うことで、仮想オブジェクトの動きや効果音が不自然なものとならないようにすることができる。
　配置結果情報は、記憶部１６０に記憶されていてもよいし、サーバ２０から取得してもよい。配置結果情報には、所定の実物体を規定通りに配置したか否か、といった実物体の配置有無に関する情報のほか、「形状は同じだが材質の異なる実物体を配置した」、「形状と材質は同じだがサイズが小さい実物体を配置した」等の別の実物体（代替品）を配置したという情報も想定される。なお、外向きカメラ１１１を用いて実物体の配置をリアルタイムで認識し、アプリケーションにおいて予め設定された好ましい実物体の配置との相違を取得することも可能である。ただし、認識処理負担が大きく、材質や重さまでの判断や、予め設定された好ましい実物体との相違を正確に把握することが困難な場合、準備モード時に取得した配置結果情報を参照することが、より望ましい。また、リアルタイム認識の場合、実際にその場に行かないと実物体の配置状況がわからないため、通常モードでアプリケーションを起動する際に予め実物体の配置状況を把握できるという点からも、準備モード時に取得した配置結果情報を参照することが好ましい。
　なお、仮想オブジェクトのインタラクション制御では、効果音や振動等も併せて出力することも可能である。制御部１００は、仮想オブジェクトのインタラクション時に、所定の効果音をスピーカ１３０から出力する制御も行い得る。また、この際、制御部１００は、配置結果情報を参照し、実際に配置されている実物体の材質等に合わせた効果音を出力するようにしてもよい。
　＜２－３．表示部１２０＞
　表示部１２０は、仮想オブジェクトの拡張現実表示を行う機能を有する。例えば表示部１２０は、光学透過型ディスプレイにより実現され、例えばホログラム光学技術を用いて表示を行う。また、表示部１２０は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置等により実現されてもよい。また、表示部１２０は、透過型、半透過型、または非透過型であってもよい。また、表示部１２０の光学透過度は、制御部１００により制御されてもよい。
　＜２－４．スピーカ１３０＞
　スピーカ１３０は、制御部１００の制御に従って、音声信号を再生する。
　＜２－５．通信部１４０＞
　通信部１４０は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１４０は、例えば有線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と、直接またはネットワークアクセスポイントを介して、無線通信する。
　＜２－６．操作入力部１５０＞
　操作入力部１５０は、スイッチ、ボタン、またはレバー等の物理的な構造を有する操作部材により実現される。
　＜２－７．記憶部１６０＞
　記憶部１６０は、上述した制御部１００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）により実現される。
　また、記憶部１６０は、空間認識情報（空間マップデータ）、アプリケーション、配置結果情報ＤＢ（データベース）を格納する。配置結果情報ＤＢは、サーバ２０に格納されていてもよい。
　以上、本実施形態による情報処理端末１０の構成について具体的に説明した。なお、本実施形態による情報処理端末１０の構成は、図３に示す例に限定されない。例えば、情報処理端末１０は、複数の装置により構成されていてもよい。例えば、本実施形態による情報処理端末１０は、ユーザが装着しているＨＭＤとスマートフォンにより構成されるシステム構成であってもよい。この場合、例えば制御部１００が有する機能がスマートフォンに設けられ、スマートフォンの制御に従って、ＨＭＤで情報提示が行われるようにしてもよい。
　また、センサ部１１０の少なくとも一部が、外部センサ（例えば部屋に設置されているカメラ、デプスセンサ、マイク、赤外線センサ、照度センサ等の環境側センサ）であってもよい。
　また、情報処理端末１０の制御部１００が有する少なくとも一部の機能が、通信部１４０を介して通信接続される他の装置に存在してもよい。例えば、情報処理端末１０の制御部１００が有する少なくとも一部の機能が、中間サーバまたはインターネット上のクラウドサーバ（サーバ２０）等に設けられていてもよい。
　＜＜３．動作処理＞＞
　続いて、本実施形態による情報処理システムの動作処理について図面を用いて具体的に説明する。
　　＜３－１．準備モードにおける動作処理＞
　図５は、本実施形態による準備モードにおける動作処理の流れの一例を示すフローチャートである。図５に示すように、まず、情報処理端末１０の制御部１００は、アプリケーションを起動すると（ステップＳ１０３）、動作モードの設定を確認する（ステップＳ１０６）。
　次に、準備モードに設定された場合（ステップＳ１０６／準備モード）、表示制御部１０５は、アプリケーションに組み込まれた実物体情報を取得する（ステップＳ１０９）。または、表示制御部１０５は、サーバ２０から実物体情報を取得する。
　次いで、表示制御部１０５は、取得した実物体情報に基づいて、準備モード用の３Ｄモデル（準備モードで用いる実物体の仮想オブジェクトの一例であって、必ずしも３Ｄ画像でなくともよい）を生成する（ステップＳ１１２）。このように、実物体情報（実物体パラメータ）から準備モード用の表示を生成することで、アプリケーション毎に指示書を作ることや準備専用のアプリケーションを作る工数を削減することが可能である。
　次に、制御部１００は、実物体情報から抽出した配置情報に基づいて、実物体の配置場所にユーザ（設置者）を誘導する制御を開始する（ステップＳ１１５）。具体的には、制御部１００は、ＳＬＡＭ技術等によりユーザの自己位置を判断し、表示部１２０やスピーカ１３０を用いて、所定の配置場所までユーザを誘導する。この際、制御部１００は、配置場所に持っていくべき実物体の情報を誘導開始前にユーザに通知してもよい。例えば制御部１００は、実物体の参考画像を表示すると共に、「このようなゴミ箱を持って部屋の奥まで移動して下さい」等の通知を行ってもよい。また、制御部１００は、誘導中も、配置する実物体の情報を表示していてもよい。
　次いで、誘導に従ってユーザが配置場所まで移動すると、表示制御部１０５は、配置する実物体情報を表示する（ステップＳ１１８）。具体的には、図１を参照して説明したように、実物体の仮想オブジェクト（生成した３Ｄモデル）を所定の配置場所に拡張現実表示し、実物体の配置場所を、より分かり易く明示する。この際、表示制御部１０５は、実物体の詳細情報を併せて表示したり、当該実物体とインタラクションを起こす仮想オブジェクトをテスト的に表示したりすることで、さらに実物体の配置を支援することが可能となる。これにより、アプリケーションの内容を知らない設置者でも、アプリケーションに必要な実物体を、開発者が意図する位置、向きで配置することが可能となる。
　次に、配置情報管理部１０３は、実物体の配置のフィードバック（本明細書では、配置結果情報と称す）を取得し、配置結果情報ＤＢに記録する（ステップＳ１２１）。配置結果情報ＤＢは、記憶部１６０に格納されていてもよいし、サーバ２０に格納されていてもよい。複数のスタッフにより実物体の配置を行っている場合、その結果（配置結果情報）をネットワーク上で共有できるようにしてもよい。配置結果情報の取得方法は特に限定しないが、例えば図１に示すように、所定の実物体を配置した場合はチェックボックス４４１にチェックを入れるようにしてもよい。配置できなかった場合には、チェックを入れないで終了する、若しくは、配置できなかったことを入力するようにしてもよい。また、「形状は同じだが材質の異なる実物体を配置した」、「形状と材質は同じだがサイズが小さい実物体を配置した」等の別の実物体（代替品）を配置した場合、ユーザ（設置者）は、代替品の情報を入力した上で、チェックボックスにチェックを入れるようにしてもよい。
　以上説明したステップＳ１１５～ステップＳ１１２の処理を、実物体情報に設定された全ての実物体について繰り返す（ステップＳ１２４）。なお、上述したように、複数のスタッフで配置を行っている場合、配置結果情報を共有し、他のスタッフが配置を終えた実物体は誘導対象から適宜除くようにしてもよい。
　以上、準備モードの動作処理について具体的に説明した。
　　＜３－２．通常モードにおける動作処理＞
　図６は、本実施形態による通常モードにおける動作処理の流れの一例を示すフローチャートである。図５に示すステップＳ１０６において、通常モードが設定された場合（ステップＳ１０６／通常モード）、図６に示すように、制御部１００は、配置結果情報ＤＢから、必須配置実物体の状況を解析する（ステップＳ１２３）。必須配置実物体とは、アプリケーションのＵＸ（User　Experience）に必須となる実物体であって、予め開発者により設定される。必須配置実物体の情報は、例えばアプリケーションに組み込まれる実物体情報に含まれる。
　次に、制御部１００は、アプリケーション実行可否を判断する（ステップＳ１２６）。具体的には、制御部１００は、必須配置実物体が配置されていない場合、通常モードでのアプリケーションの実行不可と判断し、必須配置実物体が配置されている場合、通常モードでのアプリケーションの実行が可能と判断する。
　次いで、アプリケーション実行不可と判断された場合（ステップＳ１２６／Ｎｏ）、表示制御部１０５は、実行不可のメッセージをユーザ（プレイヤー）に提示する（ステップＳ１２９）。例えば、「問題が発生しました。スタッフを呼んでください」等の通知を行う。これにより、必須配置実物体が配置されてない状況（すなわちユーザ体験が損なわれる状況）でアプリケーションが開始されてしまうこと（例えば、ゲームが進行すること）を回避することができる。
　一方、アプリケーション実行可能と判断された場合（ステップＳ１２６／Ｙｅｓ）、表示制御部１０５は、通常モードでのアプリケーションの実行を開始し（イベントアプリケーションの場合、プレイヤーへのイントロダクション等を開始する）、プレイヤーが所定のインタラクションポイントに到達したか否かを確認する（ステップＳ１３２）。
　次に、インタラクションポイントへの到達を確認すると、制御部１００は、配置結果情報ＤＢを参照し、当該インタラクションポイントに所定の実物体が配置されているか否かを確認する（ステップＳ１３５）。
　次いで、所定の実物体が配置されている場合（ステップＳ１３５／Ｙｅｓ）、制御部１００は、規定された通常処理（予め定義された仮想オブジェクトのインタラクション）を実行する（ステップＳ１３８）。
　一方、所定の実物体が配置されていない場合（ステップＳ１３５／Ｎｏ）、制御部１００は、代替処理フラグ（すなわち、実物体情報に代替処理が登録されているか否か）を確認し（ステップＳ１４１）、代替処理が登録されている場合は、代替処理を実行する（ステップＳ１４４）。代替処理には、実物体が配置されていない場合の代替処理の他、代替品が配置されている場合に代替品に合わせた代替処理も含まれる。
　例えば、代替処理として、仮想オブジェクトを表示しない、実物体の映像を３Ｄモデルで生成し、仮想オブジェクトとして表示する、インタラクションを変更する（例えば実物体に関わらないインタラクションに変更）等が挙げられる。実物体に関わらないインタラクションに変更の例としては、例えば実物体から飛び出してくるといった振る舞いを、床や壁から飛び出す振る舞いに変更する等が挙げられる。
　これにより、予期せず運営側で実物体の配置ができなかった場合でも、仮想オブジェクトで代替の振る舞いを実行することにより、不自然な状態となってユーザを現実に引き戻してしまうことなく、アプリケーションを提供することができる。
　このような本実施形態による情報処理システムは、例えば、現実空間を使った下記のようなＡＲゲームイベントに適用でき、実物体が配置されていない場合は所定の代替処理を行うことで、違和感を防止することができる。
・現実空間のゴミ箱などの小道具と仮想オブジェクト（ゲームキャラクター等）が衝突して音が鳴るインタラクション
・仮想オブジェクトのゲームキャラクターが実空間の説明（実物体である絵画の説明等）を行うインタラクション
・仮想オブジェクトのゲームキャラクターが実空間の「本」や「ポスター」（実物体）を見て、驚く、笑い出す等、あたかもこの場を共有しているように見せるインタラクション・仮想オブジェクトのゲームキャラクターが走り回り、実物体に躓くインタラクション
・仮想オブジェクトのゲームキャラクターがユーザを実物体に誘導し、ユーザが実物体とインタラクションを行うことで（例えば、ボタンを押す、センサに手をかざす、アイテムを手に取る等）ゲームを進行させる場合（実物体が配置されないと先に進めなくなってしまうが、代替処理により（例えばボタンの仮想オブジェクトを表示）、ユーザのインタラクションが行えるようにし、ゲームを進行させることを可能とする）
　以上挙げた例のうち、「現実空間のゴミ箱などの小道具と仮想オブジェクト（ゲームキャラクター等）が衝突して音が鳴るインタラクション」について、図７を参照して説明する。図７左に示すように、所定の実物体５０が所定の場所に配置されている場合は、通常処理、すなわち仮想オブジェクト４０（ゲームキャラクター等）が実物体５０と衝突して音が鳴るインタラクションを提示する。一方、所定の実物体５０が配置されていないことが配置結果情報ＤＢを参照して判明した場合、通常処理を行ってしまうと、図７右上に示すように不自然な状態（何も無い場所での衝突動作と音の発生）となってしまう。そこで、図７右下に示すような代替処理を行うことで、違和感を防止することを可能とする。具体的には、実物体の仮想オブジェクト４６を表示したり、衝突音を消したり、その場で滑って転ぶ振る舞い等、仮想オブジェクト４８の動きを実物体に関わらないものに変更したりすることで、実物体が配置されていない場合の違和感を防止することができる。
　以上説明したステップＳ１３２～ステップＳ１４３の処理を、アプリケーションが終了するまで、インタラクションポイント毎に繰り返す（ステップＳ１４６）。
　以上、本実施形態による動作処理の一例を説明した。なお図５、図６に示す動作処理は一例であって、本開示は図５、図６に示す例に限定されない。例えば、本開示は、図５、図６に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。例えば図５のステップＳ１１２は、ステップＳ１１５に示す誘導後に行ってもよい。
　また、図５、図６に示す全ての処理が必ずしも実行されなくともよい。例えば図５のステップＳ１１５に示す誘導を行わず、配置場所（エリア名等）だけ提示するようにしてもよい。
　また、図５、図６に示す全ての処理が必ずしも単一の装置で行われなくともよい。例えば、図５のステップＳ１０９に示す実物体情報の取得や、ステップＳ１１２に示す３Ｄモデルの生成、また、図６のステップＳ１２３に示す必須配置実物体の状況解析は、サーバ２０で行い、他の処理は情報処理端末１０で行うようにしてもよい。
　＜＜４．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、仮想オブジェクトと関わる実物体の配置を支援し、仮想オブジェクトを表示する際にユーザ体験を損なうことを防止することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した情報処理端末１０、またはサーバ２０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理端末１０、またはサーバ２０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示する制御と、
　前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録する制御と、
を行う制御部を備える、情報処理装置。
（２）
　前記制御部は、
　　前記実物体の配置を支援する情報として、前記実物体の配置を示す情報を表示する、前記（１）に記載の情報処理装置。
（３）
　前記制御部は、
　　前記実物体の配置を支援する情報として、実空間における所定の配置場所に、前記実物体の仮想オブジェクトを拡張現実表示する、前記（１）または（２）に記載の情報処理装置。
（４）
　前記制御部は、
　　前記実物体の配置を支援する情報として、実空間における所定の配置場所に、前記実物体の仮想オブジェクトと、当該実物体とインタラクションを起こす仮想オブジェクトを表示する、前記（１）または（２）に記載の情報処理装置。
（５）
　前記制御部は、
　　前記実物体の配置を支援する情報として、前記実物体の配置場所までユーザを誘導する表示を行う、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（６）
　前記制御部は、前記誘導を開始する際、前記配置場所に設置する前記実物体の準備をユーザに促す通知を行う、前記（５）に記載の情報処理装置。
（７）
　前記制御部は、
　　前記実物体の配置を支援する情報として、前記実物体の詳細情報を表示する、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）
　前記実物体の詳細情報は、前記実物体の名称、３Ｄアセット、サイズ情報、材質情報、重さ情報、インタラクション内容、撮像画像、イラスト画像、またはコメントの少なくともいずれかを含む、前記（７）に記載の情報処理装置。
（９）
　前記実物体に関する情報は、前記仮想オブジェクトに関連付けて記憶される、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
　前記制御部は、
　　前記通常モードの際、前記配置結果情報データベースに記憶された前記実物体の前記配置結果情報に応じて、設定された所定の場所において、前記仮想オブジェクトの表示制御を行う、前記（１）～（９）のいずれか１項に記載の情報処理装置。
（１１）
　前記制御部は、
　　前記実物体の前記配置結果情報から、前記準備モードにおいて特定の前記実物体が配置されなかったことを判断すると、前記通常モードの実行を中止する、前記（１０）に記載の情報処理装置。
（１２）
　前記制御部は、
　　インタラクションポイントにおいて、前記実物体の前記配置結果情報から、所定の前記実物体が配置されなかったことを確認すると、前記仮想オブジェクトの表示に関し、所定の代替処理を行う、前記（１０）または（１１）に記載の情報処理装置。
（１３）
　前記制御部は、
　　前記代替処理として、前記仮想オブジェクトの表示の中止、または、前記実物体と関わらないインタラクションに変更する、前記（１２）に記載の情報処理装置。
（１４）
　前記制御部は、
　　前記代替処理として、所定の配置場所に、前記実物体の仮想オブジェクトを表示した上で、前記仮想オブジェクトによる設定されたインタラクションを実行する、前記（１２）に記載の情報処理装置。
（１５）
　前記制御部は、
　　インタラクションポイントにおいて、前記実物体の前記配置結果情報から、所定の実物体と異なる実物体が配置されたことを確認すると、当該異なる実物体に合わせたインタラクションに変更する、前記（１０）または（１１）に記載の情報処理装置。
（１６）
　前記制御部は、
　　前記異なる実物体の材質情報またはサイズ情報の少なくともいずれかに応じて、前記仮想オブジェクトのインタラクションを変化させる、前記（１５）に記載の情報処理装置。
（１７）
　前記仮想オブジェクトのインタラクションの変化は、前記仮想オブジェクトの動きの変化、または音の変化である、前記（１６）に記載の情報処理装置。
（１８）
　プロセッサが、
　実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示することと、
　前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録することと、
を含む、情報処理方法。
（１９）
　コンピュータを、
　実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示する制御と、
　前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録する制御と、
を行う制御部として機能させるための、プログラム。
　１０　情報処理端末
　１００　制御部
　　１０１　ユーザ状況認識部
　　１０２　周辺状況認識部
　　１０３　配置情報管理部
　　１０４　モード設定部
　　１０５　表示制御部
　１１０　センサ部
　１１１　外向きカメラ
　１１２　内向きカメラ
　１１３　マイク
　１１４　ジャイロセンサ
　１１５　加速度センサ
　１１６　方位センサ
　１１７　位置測位部
　１２０　表示部
　１３０　スピーカ
　１４０　通信部
　１５０　操作入力部
　１６０　記憶部
　２０　サーバ

Claims (19)

  1. 　実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示する制御と、
    　前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録する制御と、
    を行う制御部を備える、情報処理装置。
  2. 　前記制御部は、
    　　前記実物体の配置を支援する情報として、前記実物体の配置を示す情報を表示する、請求項１に記載の情報処理装置。
  3. 　前記制御部は、
    　　前記実物体の配置を支援する情報として、実空間における所定の配置場所に、前記実物体の仮想オブジェクトを拡張現実表示する、請求項１に記載の情報処理装置。
  4. 　前記制御部は、
    　　前記実物体の配置を支援する情報として、実空間における所定の配置場所に、前記実物体の仮想オブジェクトと、当該実物体とインタラクションを起こす仮想オブジェクトを表示する、請求項１に記載の情報処理装置。
  5. 　前記制御部は、
    　　前記実物体の配置を支援する情報として、前記実物体の配置場所までユーザを誘導する表示を行う、請求項１に記載の情報処理装置。
  6. 　前記制御部は、前記誘導を開始する際、前記配置場所に設置する前記実物体の準備をユーザに促す通知を行う、請求項５に記載の情報処理装置。
  7. 　前記制御部は、
    　　前記実物体の配置を支援する情報として、前記実物体の詳細情報を表示する、請求項１に記載の情報処理装置。
  8. 　前記実物体の詳細情報は、前記実物体の名称、３Ｄアセット、サイズ情報、材質情報、重さ情報、インタラクション内容、撮像画像、イラスト画像、またはコメントの少なくともいずれかを含む、請求項７に記載の情報処理装置。
  9. 　前記実物体に関する情報は、前記仮想オブジェクトに関連付けて記憶される、請求項１に記載の情報処理装置。
  10. 　前記制御部は、
    　　前記通常モードの際、前記配置結果情報データベースに記憶された前記実物体の前記配置結果情報に応じて、設定された所定の場所において、前記仮想オブジェクトの表示制御を行う、請求項１に記載の情報処理装置。
  11. 　前記制御部は、
    　　前記実物体の前記配置結果情報から、前記準備モードにおいて特定の前記実物体が配置されなかったことを判断すると、前記通常モードの実行を中止する、請求項１０に記載の情報処理装置。
  12. 　前記制御部は、
    　　インタラクションポイントにおいて、前記実物体の前記配置結果情報から、所定の前記実物体が配置されなかったことを確認すると、前記仮想オブジェクトの表示に関し、所定の代替処理を行う、請求項１０に記載の情報処理装置。
  13. 　前記制御部は、
    　　前記代替処理として、前記仮想オブジェクトの表示の中止、または、前記実物体と関わらないインタラクションに変更する、請求項１２に記載の情報処理装置。
  14. 　前記制御部は、
    　　前記代替処理として、所定の配置場所に、前記実物体の仮想オブジェクトを表示した上で、前記仮想オブジェクトによる設定されたインタラクションを実行する、請求項１２に記載の情報処理装置。
  15. 　前記制御部は、
    　　インタラクションポイントにおいて、前記実物体の前記配置結果情報から、所定の実物体と異なる実物体が配置されたことを確認すると、当該異なる実物体に合わせたインタラクションに変更する、請求項１０に記載の情報処理装置。
  16. 　前記制御部は、
    　　前記異なる実物体の材質情報またはサイズ情報の少なくともいずれかに応じて、前記仮想オブジェクトのインタラクションを変化させる、請求項１５に記載の情報処理装置。
  17. 　前記仮想オブジェクトのインタラクションの変化は、前記仮想オブジェクトの動きの変化、または音の変化である、請求項１６に記載の情報処理装置。
  18. 　プロセッサが、
    　実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示することと、
    　前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録することと、
    を含む、情報処理方法。
  19. 　コンピュータを、
    　実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示する制御と、
    　前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録する制御と、
    を行う制御部として機能させるための、プログラム。
PCT/JP2019/025253 2018-07-09 2019-06-25 情報処理装置、情報処理方法、およびプログラム WO2020012955A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/253,928 US11393177B2 (en) 2018-07-09 2019-06-25 Information processing apparatus, information processing method, and program
JP2020530085A JP7371626B2 (ja) 2018-07-09 2019-06-25 情報処理装置、情報処理方法、およびプログラム
CN201980043908.1A CN112368746A (zh) 2018-07-09 2019-06-25 信息处理装置、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-129746 2018-07-09
JP2018129746 2018-07-09

Publications (1)

Publication Number Publication Date
WO2020012955A1 true WO2020012955A1 (ja) 2020-01-16

Family

ID=69142359

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/025253 WO2020012955A1 (ja) 2018-07-09 2019-06-25 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US11393177B2 (ja)
JP (1) JP7371626B2 (ja)
CN (1) CN112368746A (ja)
WO (1) WO2020012955A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022172692A1 (ja) * 2021-02-12 2022-08-18 ソニーグループ株式会社 画像処理装置、画像処理方法、画像処理システム
JP7126583B1 (ja) 2021-03-31 2022-08-26 株式会社コーエーテクモゲームス ゲームプログラム、記録媒体、ゲーム処理方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL311731A (en) 2018-02-15 2024-05-01 Magic Leap Inc Musical instruments in mixed reality
US11337023B2 (en) * 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
CN117044234A (zh) 2020-05-29 2023-11-10 奇跃公司 表面适当碰撞

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007064684A (ja) * 2005-08-29 2007-03-15 Canon Inc マーカ配置補助方法及び装置
JP2008275340A (ja) * 2007-04-25 2008-11-13 Canon Inc 情報処理装置、情報処理方法
JP2015219590A (ja) * 2014-05-14 2015-12-07 キヤノン株式会社 情報処理装置、情報処理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015095147A (ja) 2013-11-13 2015-05-18 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US10192115B1 (en) * 2017-12-13 2019-01-29 Lowe's Companies, Inc. Virtualizing objects using object models and object position data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007064684A (ja) * 2005-08-29 2007-03-15 Canon Inc マーカ配置補助方法及び装置
JP2008275340A (ja) * 2007-04-25 2008-11-13 Canon Inc 情報処理装置、情報処理方法
JP2015219590A (ja) * 2014-05-14 2015-12-07 キヤノン株式会社 情報処理装置、情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUZUKI , YU ET AL.: "Prototype of a Cooking Support System Overlaying Cooking Instructions over Ingredients", IEICE TECHNICAL REPORT, vol. 112, no. 225, 27 September 2012 (2012-09-27), pages 89 - 94, XP009508815, ISSN: 0913-5685 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022172692A1 (ja) * 2021-02-12 2022-08-18 ソニーグループ株式会社 画像処理装置、画像処理方法、画像処理システム
JP7126583B1 (ja) 2021-03-31 2022-08-26 株式会社コーエーテクモゲームス ゲームプログラム、記録媒体、ゲーム処理方法
JP2022157447A (ja) * 2021-03-31 2022-10-14 株式会社コーエーテクモゲームス ゲームプログラム、記録媒体、ゲーム処理方法

Also Published As

Publication number Publication date
US11393177B2 (en) 2022-07-19
US20210264677A1 (en) 2021-08-26
JPWO2020012955A1 (ja) 2021-08-02
CN112368746A (zh) 2021-02-12
JP7371626B2 (ja) 2023-10-31

Similar Documents

Publication Publication Date Title
WO2020012955A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6393367B2 (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
JP6693060B2 (ja) 表示システム、表示装置、表示装置の制御方法、及び、プログラム
WO2019176308A1 (ja) 情報処理装置、情報処理方法、および、プログラム
JP6675209B2 (ja) 情報処理装置およびユーザガイド提示方法
JP6492673B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US10771707B2 (en) Information processing device and information processing method
JP2017091433A (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
WO2019155840A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2016224086A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP7085578B2 (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
WO2017022769A1 (ja) ヘッドマウントディスプレイ、表示制御方法及びプログラム
JP6495398B2 (ja) 仮想空間を提供するための方法、プログラム、および当該プログラムを実行するための情報処理装置
JP6580624B2 (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
EP3287868B1 (en) Content discovery
JP7405083B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6535699B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP2020154569A (ja) 表示装置、表示制御方法、及び表示システム
JP2018018315A (ja) 表示システム、表示装置、情報表示方法、及び、プログラム
WO2024057783A1 (ja) ３６０度画像視点位置同定部を備える情報処理装置
JP2019145120A (ja) 仮想空間を提供するための方法、プログラム、および当該プログラムを実行するための情報処理装置
WO2023243024A1 (ja) セパレート型スマートデバイス
EP4206867A1 (en) Peripheral tracking system and method
WO2022149497A1 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP7260673B2 (ja) 映像表示装置及び映像表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19834815

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020530085

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19834815

Country of ref document: EP

Kind code of ref document: A1