WO2018008208A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2018008208A1
WO2018008208A1 PCT/JP2017/013486 JP2017013486W WO2018008208A1 WO 2018008208 A1 WO2018008208 A1 WO 2018008208A1 JP 2017013486 W JP2017013486 W JP 2017013486W WO 2018008208 A1 WO2018008208 A1 WO 2018008208A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
virtual object
information processing
execution unit
processing apparatus
Prior art date
Application number
PCT/JP2017/013486
Other languages
English (en)
French (fr)
Inventor
浩丈 市川
佐藤　直之
誠司 鈴木
真人 島川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2018008208A1 publication Critical patent/WO2018008208A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • AR augmented reality
  • Patent Document 2 describes a technique for controlling display of a display object on a transmissive display so that a user can visually recognize an actual object located behind the transmissive display through the transmissive display.
  • JP 2012-155654 A Japanese Patent No. 5830987
  • Patent Literature 1 and Patent Literature 2 do not disclose notifying the user that the object to be displayed is a virtual object.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of allowing a user to adaptively recognize that an object is a virtual object.
  • the processor performs processing for causing the user to recognize that the first object is a virtual object based on the result of the user's motion recognition with respect to the first object that is a virtual object. Performing an information processing method.
  • a process for causing the computer to recognize that the first object is a virtual object based on a result of user's motion recognition with respect to the first object that is a virtual object A program is provided for functioning as a process execution unit that executes.
  • FIG. 3 is a schematic diagram showing how a user visually recognizes a real object and a virtual object through an AR glass 10. It is the figure which showed the real object and virtual object which are visually recognized through the display part 124 in the condition shown in FIG. It is the functional block diagram which showed the structural example of AR glass 10 by this embodiment.
  • 4 is a diagram illustrating an example of a posture in which a user deposits weight on a virtual object 32.
  • FIG. FIG. 6 is a diagram illustrating an example of a flow of a user operation on a virtual object 32. It is the figure which showed the example of a display of the display part 124 in each condition shown in FIG. It is the flowchart which showed the 1st operation example by this embodiment. It is the flowchart which showed the 2nd operation example by this embodiment. It is explanatory drawing which showed the hardware structural example of AR glass 10 by this embodiment.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • a plurality of configurations having substantially the same functional configuration are differentiated as needed, such as the AR glass 10a and the AR glass 10b.
  • the AR glass 10a and the AR glass 10b are simply referred to as the AR glass 10 when it is not necessary to distinguish between them.
  • the information processing system includes an AR glass 10, a server 20, and a communication network 22.
  • the AR glass 10 is an example of an information processing apparatus according to the present disclosure.
  • the AR glass 10 is a device that controls display of a virtual object associated with a position in the real world in advance. For example, the AR glass 10 first sends a virtual object located around the position (for example, a certain range in all directions) from the server 20 via the communication network 22 based on the position information of the AR glass 10. get. Then, the AR glass 10 displays, on the display unit 124 described later, a virtual object included in the user's field of view among the acquired virtual objects based on the posture of the AR glass 10 (or the detection result of the user's line-of-sight direction). indicate.
  • the AR glass 10 generates a right-eye image and a left-eye image based on the acquired virtual object, displays the right-eye image on the right-eye display unit 124a, and displays the left-eye image on the left-eye display unit. It is displayed on 124b. Thereby, a user can visually recognize a virtual stereoscopic video.
  • the display unit 124 (of the AR glass 10) is a transmissive display.
  • the virtual object is basically a 3D object.
  • the virtual object can basically be a kind of object existing in the real world (for example, a chair, a bed, a wall, a door, an animal (a person or a dog), etc.).
  • the virtual object is displayed with the same shape, size, and color as the real object.
  • the virtual object can be associated with a position in the real world without depending on the presence of the real object.
  • FIG. 2 is a schematic diagram showing how the user wears the AR glass 10 and visually recognizes the real object 30 and the virtual object 32.
  • the real object 30 is a real desk.
  • the virtual object 32 is a virtual object of a chair and can be displayed realistically (that is, as if it is a real chair).
  • FIG. 3 is a diagram showing an example of the real object 30 and the virtual object 32 visually recognized through the display unit 124 in the situation shown in FIG. As shown in FIG. 3, the real object 30 and the virtual object 32 included in the user's field of view are simultaneously viewed by the user through the display unit 124.
  • the AR glass 10 can communicate with the server 20 via the communication network 22.
  • the server 20 is a device that stores a virtual object in association with real-world location information.
  • the real world position information may be information including latitude and longitude, or may be floor plan information in a predetermined building.
  • the server 20 receives a virtual object acquisition request from another device such as the AR glass 10, for example, the server 20 transmits a virtual object corresponding to the acquisition request to the other device.
  • the communication network 22 is a wired or wireless transmission path for information transmitted from a device connected to the communication network 22.
  • the communication network 22 may include a public line network such as a telephone line network, the Internet, and a satellite communication network, various LANs including the Ethernet (registered trademark), a wide area network (WAN), and the like.
  • the communication network 22 may include a dedicated network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • the AR glass 10 according to the present embodiment has been created with the above circumstances taken into consideration.
  • the AR glass 10 according to the present embodiment executes processing for causing the user to recognize that the object is a virtual object based on the result of the user's action recognition for the object that is a virtual object. For this reason, for example, it is possible to cause the user to recognize that a specific object located around the user is a virtual object at an appropriate timing.
  • FIG. 4 is a functional block diagram showing a configuration example of the AR glass 10 according to the present embodiment.
  • the AR glass 10 includes a control unit 100, a communication unit 120, a sensor unit 122, a display unit 124, an audio output unit 126, and a storage unit 128.
  • Control unit 100 centrally controls the operation of the AR glass 10 using hardware such as a CPU (Central Processing Unit) 150 and a RAM (Random Access Memory) 154, which will be described later, built in the AR glass 10. .
  • the control unit 100 includes a virtual object acquisition unit 102, a motion recognition unit 104, and a process execution unit 106.
  • the virtual object acquisition unit 102 acquires a virtual object to be displayed from the server 20 based on the measurement result of the position information of the AR glass 10 by the sensor unit 122 described later. For example, first, the virtual object acquisition unit 102 transmits the position information measured by the sensor unit 122 to the server 20 to be positioned around the position information (for example, a certain range in all directions). A plurality of virtual objects are acquired from the server 20.
  • Motion recognition unit 104 recognizes the user's motion based on, for example, measurement results of the position information, posture, speed, acceleration, or orientation of the AR glass 10 by the sensor unit 122. Alternatively, the motion recognition unit 104 can also recognize the user's motion based on a series of moving images captured by the sensor unit 122.
  • the operation recognition unit 104 recognizes a predetermined operation based on the measurement result by the sensor unit 122.
  • the predetermined operation may be a predetermined operation accompanied by a change in posture, such as an operation of changing from a posture other than a posture for keeping weight to a posture for keeping weight.
  • the “posture other than the posture for depositing weight” is an example of the first posture in the present disclosure
  • the posture for depositing weight is an example of the second posture in the present disclosure.
  • the posture for depositing weight is, for example, a leaning posture or a sitting posture.
  • the motion recognition unit 104 can predict the user's motion in the future for a predetermined time, for example, based on the learning data regarding the user's motion and the current measurement result by the sensor unit 122.
  • the learning data can be generated in advance by learning the characteristics of an action based on, for example, a measurement result (or an action recognition result) related to a past user action.
  • learning data may be produced
  • the process execution unit 106 controls display of the virtual object acquired by the virtual object acquisition unit 102 based on the posture of the AR glass 10 (or the user's line-of-sight direction) measured by the sensor unit 122. More specifically, the process execution unit 106 first determines the user's field of view based on the measurement result of the posture (or the user's line of sight) of the AR glass 10 among the virtual objects acquired by the virtual object acquisition unit 102. The virtual object contained in is extracted. Then, the process execution unit 106 causes the display unit 124 to display the extracted virtual object.
  • the process execution unit 106 determines that the target object is a virtual object based on the virtual object acquired by the virtual object acquisition unit 102 and the result of motion recognition (or motion prediction) by the motion recognition unit 104. Processing for causing the user to recognize (hereinafter referred to as notification processing) is executed.
  • the target object may be, for example, a virtual object associated with a position within a predetermined range from the user in the real world.
  • the process execution unit 106 executes notification processing related to the object based on the result (or motion prediction) of the user's motion recognition for the virtual object acquired by the virtual object acquisition unit 102.
  • the notification process is to perform display control for allowing the user to recognize that the target object is a virtual object, output control of sound, and / or output control of tactile stimulation (vibration or the like).
  • the notification process is to change the display attribute or display position of the target virtual object.
  • the notification process may change the display color of the target virtual object from the default display color, make the virtual object semi-transparent, enlarge or reduce the size of the virtual object, or wire the virtual object. Change to display a frame, add decoration around the virtual object, change the shape of the virtual object, hide the virtual object, or change the virtual object to another type It may be replaced with a virtual object.
  • the notification process is changed so that when the target virtual object is not animated by default, the virtual object is animated (for example, blinking at a predetermined time interval or continuously rotated). It may be to do. Since these changes cannot occur in the real object, the user can recognize that the target object is a virtual object by making these changes.
  • the notification process may be to newly display another virtual object such as a warning text or image.
  • the notification process may be to output a warning sound (for example, a buzzer sound, a sound such as “Dangerous!”) Or a tactile stimulus (vibration).
  • the process execution unit 106 executes the notification process based on the result of motion recognition for the virtual object acquired by the virtual object acquisition unit 102 and the positional relationship between the position of the virtual object in the real world and the user. Decide whether or not to do.
  • the process execution unit 106 displays the result of the user's motion recognition for the corresponding virtual object. Based on this, it is determined whether or not to execute the notification process. Further, when the distance between all virtual objects in the real world and the user is greater than a predetermined threshold, the process execution unit 106 does not execute the notification process.
  • the process execution unit 106 executes notification processing for the virtual object. .
  • the process execution unit 106 does not execute the notification process for the virtual object.
  • the distance between the position of the virtual object in the real world and the user is the position and orientation of the AR glass 10 measured by the sensor unit 122 (or the detection result of the user's line-of-sight direction), and the real world of the virtual object. Based on the position of the.
  • the process execution part 106 can also perform a notification process based on the notification conditions registered in association with each virtual object acquired by the virtual object acquisition part 102.
  • the notification condition is, for example, a condition for performing notification processing for each virtual object when any part of the user's body approaches the virtual object (its position in the real world). For example, when the type of the virtual object is a chair, it may be determined to start the notification process when a buttocks, a back, a hand, or the like approaches. Further, when the type of the virtual object is a wall, it may be determined that the notification process is started when a shoulder, a back, a hand, or the like approaches.
  • the notification process may be performed on condition that any part of the user's body approaches the virtual object and that the virtual object and the part have a predetermined positional relationship in the height direction. Specifically, a case where the user tries to step on the virtual object is assumed. In this case, the notification process may be performed on condition that the user's leg approaches the virtual object and the user's leg is positioned above the virtual object. Alternatively, instead of the positional relationship in the height direction, the speed or acceleration of any part of the user's body in the height direction may be used as the notification processing condition.
  • the process execution unit 106 notifies each virtual object acquired by the virtual object acquisition unit 102 based on the distance between the virtual object and the type of the user part registered in association with the virtual object. Decide whether to execute the process. As an example, when the distance between the corresponding part and the virtual object is equal to or smaller than a predetermined threshold (that is, when approaching), the process execution unit 106 executes notification processing for the virtual object. In addition, when the distance between the corresponding part and the virtual object is larger than a predetermined threshold, the process execution unit 106 does not execute the notification process for the virtual object.
  • a predetermined threshold that is, when approaching
  • the process execution part 106 can also perform a notification process in steps based on a predetermined
  • a second notification process hereinafter referred to as a second notification process
  • the process execution unit 106 when there is a virtual object in which the distance between the virtual object position in the real world and the user is equal to or smaller than a predetermined threshold, the process execution unit 106 first sets the first virtual object to the first The notification process is executed. Thereafter, the process execution unit 106 executes the second notification process for the corresponding virtual object based on the result of the user's motion recognition for the corresponding virtual object.
  • the process execution unit 106 performs the first notification process and the second notification process for all virtual objects. Do not execute.
  • the first notification process is to perform a first display control for allowing the user to recognize that the target object is a virtual object
  • the second notification process is performed when the target object is
  • the second display control for causing the user to recognize that the object is a virtual object may be performed.
  • the first notification process may be to change the display attribute or display position of the target virtual object
  • the second notification process may be to newly display another virtual object.
  • the first notification process includes three types of display control for allowing the user to recognize that the target object is a virtual object, output control for sound, and output control for tactile stimulation (vibration). One of them is performed, and the second notification process may be one of the three types of control different from the first notification process.
  • the first notification process is to change the display attribute or the display position of the virtual object, and the second notification process is to output a warning sound to the sound output unit 126. Good.
  • FIG. 6 is an explanatory diagram showing an example of the flow of user actions on the virtual object 32.
  • FIG. 7 is a diagram showing a display example of the display unit 124 in each situation shown in (a) to (c) of FIG.
  • the virtual object 32 shown in FIGS. 6 and 7 is the same as the virtual object 32 of the chair shown in FIG.
  • the AR glass 10 displays the virtual object 32 on the display unit 124 with a default display attribute ((a) of FIG. 7).
  • the process execution unit 106 changes the display color of the virtual object 32 from the default display color, for example, and displays it on the display unit 124 (first display). Notification processing).
  • the process execution unit 106 causes the display unit 124 to newly display, for example, a warning virtual object 34 (second notification process).
  • a warning virtual object 34 second notification process
  • the process execution unit 106 may dynamically change the content of the notification process described above based on a predetermined criterion.
  • the predetermined reference may be a positional relationship between the position of the virtual object in the real world and the user.
  • the process execution unit 106 displays on the display unit 124 as the distance between the virtual object position in the real world and the user decreases. The transparency of the virtual object may be increased.
  • the process execution unit 106 does not make the distance between the position of the virtual object in the real world and the user smaller than a predetermined distance.
  • the position of the virtual object in the real world may be changed according to the movement of the user. Thereby, for example, even if the user tries to approach the virtual object, it is possible to realize an experience in which the virtual object moves away (cannot approach the virtual object more than a predetermined distance). Through such an experience, the user can recognize that the corresponding object is a virtual object.
  • the predetermined standard may be user motion recognition.
  • the process execution unit 106 displays the display as the user changes his / her posture toward the virtual object so that the user deposits weight (for example, leans on the virtual object).
  • the transparency of the virtual object displayed on the part 124 may be increased.
  • the process execution unit 106 outputs a warning sound that is output as the user changes his / her posture toward the virtual object.
  • the volume of may be increased.
  • the communication unit 120 transmits and receives information to and from other devices. For example, the communication unit 120 transmits an acquisition request for a virtual object located around the current position to the server 20 according to the control of the virtual object acquisition unit 102. In addition, the communication unit 120 receives a virtual object from the server 20.
  • the sensor unit 122 may include a positioning device that receives a positioning signal from a positioning satellite such as a GPS (Global Positioning System) and measures the current position.
  • the sensor unit 122 may include a range sensor.
  • the sensor unit 122 includes, for example, a three-axis acceleration sensor, a gyroscope, a magnetic sensor, a camera, a depth sensor, and / or a microphone.
  • the sensor unit 122 measures the speed, acceleration, posture, orientation, or the like of the AR glass 10.
  • the sensor unit 122 captures an image of the eyes of the user wearing the AR glass 10 or captures an image in front of the AR glass 10.
  • the sensor unit 122 can detect an object positioned in front of the user and can detect a distance to the detected object.
  • the display unit 124 is an example of an output unit in the present disclosure.
  • the display unit 124 displays an image according to the control of the output control unit 108.
  • the display unit 124 projects an image on at least a partial region (projection plane) of each of the left-eye lens and the right-eye lens.
  • the left-eye lens and the right-eye lens can be formed of a transparent material such as resin or glass.
  • the display unit 124 may include a liquid crystal panel and the transmittance of the liquid crystal panel may be controllable. Thereby, the display unit 124 can be controlled to be transparent or translucent.
  • Audio output unit 126 The audio output unit 126 is an example of an output unit in the present disclosure.
  • the audio output unit 126 outputs audio according to the control of the output control unit 108.
  • Storage unit 128 stores various data and various software.
  • FIG. 8 is a flowchart showing a first operation example according to the present embodiment.
  • the virtual object acquisition unit 102 of the AR glass 10 is arranged around the current position (for example, a certain range in all directions of up, down, left, and right directions) based on the position information measurement result by the sensor unit 122.
  • a plurality of virtual objects located are acquired from the server 20 (S101).
  • the process execution unit 106 calculates the distance between the position of each virtual object acquired by the virtual object acquisition unit 102 in the real world and the user based on the measurement result by the sensor unit 122. Then, the process execution unit 106 determines whether there is a virtual object whose distance from the user is equal to or less than a predetermined threshold (S103). When there is no virtual object whose distance from the user is equal to or smaller than the predetermined threshold (S103: No), the AR glass 10 performs the process of S109 described later.
  • the process execution unit 106 recognizes that the predetermined action for at least one of the virtual objects is motion recognition It is determined whether or not it has been recognized by the unit 104 (S105). When the predetermined operation is not recognized (S105: No), the AR glass 10 performs the process of S109 described later.
  • the process execution unit 106 executes a notification process for each of the corresponding virtual objects (S107). .
  • the process execution unit 106 determines the user's virtual object acquired in S101 based on the measurement result of the posture (or the user's line of sight) of the AR glass 10 by the sensor unit 122 and the process result in S107.
  • a virtual object located in the field of view is displayed on the display unit 124 (S109).
  • the processes of S107 and S109 may be performed integrally.
  • FIG. 9 is a flowchart showing a second operation example according to the present embodiment. Note that S201 illustrated in FIG. 9 is the same as S101 in the first operation example.
  • the process execution unit 106 acquires the notification condition registered in association with each virtual object acquired in S201 from, for example, the server 20 or the storage unit 128 (S203).
  • the notification condition is, for example, for each virtual object, a condition for executing notification processing when any part of the user's body approaches the virtual object (its position in the real world). It can be.
  • the process execution unit 106 determines whether a notification condition associated with at least one of the virtual objects acquired in S201 is satisfied (S205). When it is determined that the notification condition is not satisfied for all the virtual objects (S205: No), the process execution unit 106 performs the process of S209 described later.
  • the process execution unit 106 executes the notification process for the corresponding virtual object (S207).
  • S209 shown in FIG. 9 is the same as S109 in the first operation example. Note that the operations of S207 and S209 may be performed integrally.
  • the AR glass 10 allows the user to recognize that the object is a virtual object based on the result of the user's motion recognition for the object that is a virtual object. Execute the process. For this reason, for example, it is possible to cause the user to recognize that a specific object located around the user is a virtual object at an appropriate timing.
  • the AR glass 10 indicates that the object is a virtual object.
  • a predetermined action on the virtual object for example, an action of changing the posture so that the user deposits weight on the virtual object
  • the AR glass 10 indicates that the object is a virtual object.
  • the AR glass 10 includes a CPU 150, a ROM (Read Only Memory) 152, a RAM 154, a bus 156, an interface 158, an input device 160, an output device 162, a storage device 164, and a communication device 166.
  • the CPU 150 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the AR glass 10 according to various programs. In addition, the CPU 150 realizes the function of the control unit 100 in the AR glass 10.
  • the CPU 150 is configured by a processor such as a microprocessor.
  • the ROM 152 stores programs used by the CPU 150 and control data such as calculation parameters.
  • the RAM 154 temporarily stores a program executed by the CPU 150, for example.
  • the bus 156 includes a CPU bus and the like.
  • the bus 156 connects the CPU 150, the ROM 152, and the RAM 154 to each other.
  • the interface 158 connects the input device 160, the output device 162, the storage device 164, and the communication device 166 to the bus 156.
  • the input device 160 includes, for example, input means for a user to input information, such as buttons, switches, levers, and microphones, and an input control circuit that generates an input signal based on the input by the user and outputs the input signal to the CPU 150.
  • input means for a user to input information such as buttons, switches, levers, and microphones
  • input control circuit that generates an input signal based on the input by the user and outputs the input signal to the CPU 150.
  • the output device 162 includes, for example, a display device such as a projector and an audio output device such as a speaker.
  • the display device may be a liquid crystal display (LCD) device, an organic light emitting diode (OLED) device, or the like.
  • the storage device 164 is a data storage device that functions as the storage unit 128.
  • the storage device 164 includes, for example, a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, or a deletion device that deletes data recorded on the storage medium.
  • the communication device 166 is a communication interface composed of a communication device for connecting to the communication network 22 or the like, for example.
  • the communication device 166 may be a wireless LAN compatible communication device, an LTE (Long Term Evolution) compatible communication device, or a wire communication device that performs wired communication.
  • the communication device 166 functions as the communication unit 120.
  • the information processing apparatus may be the server 20.
  • the server 20 acquires the position information and posture information of the AR glass 10 (and the detection result of the user's line-of-sight direction) and the result of motion recognition by the motion recognition unit 104 from the AR glass 10, thereby obtaining the AR glass. 10 can be notified.
  • the server 20 performs display control, audio output control, and the like for the AR glass 10 to make the user recognize that the target object is a virtual object based on these pieces of information.
  • the function of the motion recognition unit 104 may be performed by the server 20 instead of the AR glass 10.
  • the information processing apparatus is not limited to the server 20, and may be another type of apparatus that can be connected to the communication network 22, such as a smartphone, a tablet terminal, a PC (Personal Computer), or a game machine. Good.
  • the display unit may be a video transmission type HMD (Head Mounted Display) display.
  • HMD Head Mounted Display
  • the display unit may be a 3D projector.
  • the server 20 causes the 3D projector to perform projection mapping of the virtual object with respect to the projection target based on the sensing result of the user's field of view by the sensor worn by the user or the sensor arranged in the environment.
  • the projection target may be a flat surface or a three-dimensional object.
  • each step in the operation of the above-described embodiment does not necessarily have to be processed in the order described.
  • the steps may be processed by changing the order as appropriate.
  • Each step may be processed in parallel or individually instead of being processed in time series. Further, some of the described steps may be omitted, or another step may be further added.
  • a process execution unit that executes a process for causing the user to recognize that the first object is a virtual object based on a result of user's action recognition for the first object that is a virtual object;
  • An information processing apparatus comprising: (2) When the predetermined action of the user with respect to the first object is recognized, the process execution unit executes the process, The information processing apparatus according to (1), wherein when the predetermined action of the user with respect to the first object is not recognized, the process execution unit does not execute the process.
  • the first posture is a posture other than a posture for depositing weight
  • the user's predetermined motion includes the approach of the user's predetermined part to the first object and the movement of the user's predetermined part in the height direction.
  • the processing execution unit further executes the processing based on a positional relationship between the area associated with the first object in the real world and the user, and any one of (1) to (5) The information processing apparatus according to one item.
  • the processing execution unit is further based on a distance between a region associated with the first object in the real world and a part of the type associated with the first object in the user's body, The information processing apparatus according to any one of (1) to (8), wherein the processing is executed. (11) When the distance between the region of the type associated with the first object and the region of the user's body is equal to or less than a predetermined threshold, the process execution unit executes the process, If the distance between the region of the type associated with the first object in the user's body and the region is greater than a predetermined threshold, the process execution unit does not execute the process, The information processing apparatus according to (10).
  • the processing is to perform display control, audio output control, and / or tactile stimulus output control for allowing the user to recognize that the first object is a virtual object, (1) The information processing apparatus according to any one of (11) to (11). (13) The information processing apparatus according to (12), wherein the processing includes changing a display attribute or a display position of the first object. (14) The information processing apparatus according to (12) or (13), wherein the process includes outputting warning information to an output unit. (15) The process execution unit is configured to cause the user to recognize that the first object is a virtual object based on a positional relationship between the user and an area associated with the first object in the real world.
  • the process execution unit executes a second process for causing the user to recognize that the first object is a virtual object based on a result of the user's motion recognition with respect to the first object.
  • the information processing apparatus according to (2).
  • the process execution unit executes the first process and, based on the result of the user's action recognition, the second The information processing apparatus according to (15), wherein the processing is executed.
  • the process execution unit does not execute the first process and the second process, according to (15) or (16).
  • Information processing device When the distance between the region and the user is greater than a predetermined threshold, the process execution unit does not execute the first process and the second process, according to (15) or (16).
  • the first process is to perform a first display control on the display unit;
  • the information processing apparatus according to any one of (15) to (17), wherein the second process is to perform a second display control on the display unit.
  • the processor executes a process for causing the user to recognize that the first object is a virtual object based on a result of the user's action recognition on the first object that is a virtual object; Including an information processing method.
  • Computer A process execution unit that executes a process for causing the user to recognize that the first object is a virtual object based on a result of user's action recognition for the first object that is a virtual object; Program to function as

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】オブジェクトが仮想オブジェクトであることを、状況に適応的にユーザに認識させることが可能な、情報処理装置、情報処理方法、およびプログラムを提案する。 【解決手段】仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理を実行する処理実行部、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　近年、実世界に付加的な情報を重畳してユーザに提示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）に関する技術が各種開発されている（例えば下記特許文献１参照）。
　また、ＡＲコンテンツの表示時における視認性の向上を図るための技術も提案されている。例えば、下記特許文献２には、透過ディスプレイの背後に位置する実物体を、透過ディスプレイを通してユーザが視認可能なように、透過ディスプレイにおける表示オブジェクトの表示を制御する技術が記載されている。
特開２０１２－１５５６５４号公報 特許第５８３０９８７号公報
　ところで、例えばユーザの動作状況などの状況に応じて、オブジェクトが仮想オブジェクトであることをユーザに認識させることも望まれる。しかしながら、特許文献１および特許文献２には、表示対象のオブジェクトが仮想オブジェクトであることをユーザに通知することは開示されていない。
　そこで、本開示では、オブジェクトが仮想オブジェクトであることを、状況に適応的にユーザに認識させることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理を実行する処理実行部、を備える、情報処理装置が提供される。
　また、本開示によれば、仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理をプロセッサが実行すること、を含む、情報処理方法が提供される。
　また、本開示によれば、コンピュータを、仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理を実行する処理実行部、として機能させるための、プログラムが提供される。
　以上説明したように本開示によれば、オブジェクトが仮想オブジェクトであることを、状況に適応的にユーザに認識させることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の実施形態による情報処理システムの構成例を示した説明図である。 ＡＲグラス１０を通して実オブジェクトおよび仮想オブジェクトをユーザが視認する様子を示した概略図である。 図２に示した状況において表示部１２４を通して視認される実オブジェクトおよび仮想オブジェクトを示した図である。 本実施形態によるＡＲグラス１０の構成例を示した機能ブロック図である。 ユーザが仮想オブジェクト３２に体重を預ける姿勢の一例を示した図である。 仮想オブジェクト３２に対するユーザの動作の流れの一例を示した図である。 図６に示した各状況における表示部１２４の表示例を示した図である。 本実施形態による第１の動作例を示したフローチャートである。 本実施形態による第２の動作例を示したフローチャートである。 本実施形態によるＡＲグラス１０のハードウェア構成例を示した説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じてＡＲグラス１０ａおよびＡＲグラス１０ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、ＡＲグラス１０ａおよびＡＲグラス１０ｂを特に区別する必要が無い場合には、単にＡＲグラス１０と称する。
　また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
　１．情報処理システムの構成
　２．実施形態の詳細な説明
　３．ハードウェア構成
　４．変形例
＜＜１．情報処理システムの構成＞＞
　まず、本開示の実施形態による情報処理システムの構成について、図１を参照して説明する。図１に示すように、当該情報処理システムは、ＡＲグラス１０、サーバ２０、および、通信網２２を含む。
　＜１－１．ＡＲグラス１０＞
　ＡＲグラス１０は、本開示における情報処理装置の一例である。ＡＲグラス１０は、予め実世界上の位置に関連付けられている仮想オブジェクトの表示を制御する装置である。例えば、ＡＲグラス１０は、まず、ＡＲグラス１０の位置情報に基づいて、当該位置の周囲（例えば上下左右全方位の一定の範囲）に位置する仮想オブジェクトを、通信網２２を介してサーバ２０から取得する。そして、ＡＲグラス１０は、ＡＲグラス１０の姿勢（またはユーザの視線方向の検出結果）に基づいて、取得した仮想オブジェクトのうち、ユーザの視界内に含まれる仮想オブジェクトを、後述する表示部１２４に表示する。例えば、ＡＲグラス１０は、取得した仮想オブジェクトに基づいて右目用画像および左目用画像を生成し、そして、右目用画像を右目用表示部１２４ａに表示し、かつ、左目用画像を左目用表示部１２４ｂに表示する。これにより、仮想的な立体視映像をユーザに視認させることができる。なお、（ＡＲグラス１０の）表示部１２４は、透過型のディスプレイで構成される。
　ここで、仮想オブジェクトは、基本的に３Ｄのオブジェクトである。また、仮想オブジェクトは、基本的には、実世界上に存在する種類のオブジェクト（例えば、椅子、ベッド、壁、ドア、動物（人や犬）など）であり得る。例えば、仮想オブジェクトは、実オブジェクトと同様の形状、サイズ、および色で表示される。なお、仮想オブジェクトは、実オブジェクトの存在に依存せずに、実世界上の位置に関連付けられ得る。
　図２は、ユーザがＡＲグラス１０を装着して、実オブジェクト３０および仮想オブジェクト３２を視認する様子を示した概略図である。なお、図２に示した例では、実オブジェクト３０は、実物の机である。また、仮想オブジェクト３２は、椅子の仮想オブジェクトであり、かつ、写実的に（つまり、実物の椅子であるかのように）表示され得る。
　また、図３は、図２に示した状況において、表示部１２４を通して視認される実オブジェクト３０および仮想オブジェクト３２の例を示した図である。図３に示したように、ユーザの視界内に含まれる実オブジェクト３０および仮想オブジェクト３２は、表示部１２４を通して同時にユーザに視認される。
　また、ＡＲグラス１０は、通信網２２を介してサーバ２０と通信することが可能である。
　＜１－２．サーバ２０＞
　サーバ２０は、実世界の位置情報と関連付けて仮想オブジェクトを記憶する装置である。ここで、実世界の位置情報は、緯度および経度を含む情報であってもよいし、所定の建物内の間取り図の情報であってもよい。また、サーバ２０は、仮想オブジェクトの取得要求を例えばＡＲグラス１０などの他の装置から受信した場合には、当該取得要求に対応する仮想オブジェクトを当該他の装置へ送信する。
　＜１－３．通信網２２＞
　通信網２２は、通信網２２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網２２は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網２２は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　＜１－４．課題の整理＞
　以上、本実施形態による情報処理システムの構成について説明した。ところで、写実的な３Ｄの仮想オブジェクトが表示部１２４に表示されると、ユーザは当該仮想オブジェクトが仮想オブジェクトであるか実オブジェクトであるかを識別し難い。特に表示部１２４が高輝度なディスプレイである場合には、ユーザはさらに識別し難い。そして、仮想オブジェクトを実オブジェクトであるとユーザが誤認識してしまうと、様々な危険がユーザに生じ得る。例えば、ユーザは、仮想の椅子に座ろうとして転倒したり、または、仮想の壁に寄り掛かろうとして転倒する恐れがある。
　そこで、上記事情を一着眼点にして、本実施形態によるＡＲグラス１０を創作するに至った。本実施形態によるＡＲグラス１０は、仮想オブジェクトであるオブジェクトに対するユーザの動作認識の結果に基づいて、当該オブジェクトが仮想オブジェクトであることをユーザに認識させるための処理を実行する。このため、例えば、ユーザの周囲に位置する特定のオブジェクトが仮想オブジェクトであることを適切なタイミングで当該ユーザに認識させることができる。
＜＜２．実施形態の詳細な説明＞＞
　＜２－１．構成＞
　以上、本実施形態による情報処理システムの構成について説明した。次に、本実施形態によるＡＲグラス１０の構成について詳細に説明する。図４は、本実施形態によるＡＲグラス１０の構成例を示した機能ブロック図である。図４に示すように、ＡＲグラス１０は、制御部１００、通信部１２０、センサ部１２２、表示部１２４、音声出力部１２６、および、記憶部１２８を有する。
　｛２－１－１．制御部１００｝
　制御部１００は、ＡＲグラス１０に内蔵される、後述するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１５０や、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１５４などのハードウェアを用いて、ＡＲグラス１０の動作を統括的に制御する。また、図４に示すように、制御部１００は、仮想オブジェクト取得部１０２、動作認識部１０４、および、処理実行部１０６を有する。
　｛２－１－２．仮想オブジェクト取得部１０２｝
　仮想オブジェクト取得部１０２は、後述するセンサ部１２２による、ＡＲグラス１０の位置情報の測定結果に基づいて、表示対象の仮想オブジェクトをサーバ２０から取得する。例えば、仮想オブジェクト取得部１０２は、まず、センサ部１２２により測定された位置情報をサーバ２０へ送信することにより、当該位置情報の周囲（例えば上下左右全方位の一定の範囲）に位置付けられている複数の仮想オブジェクトをサーバ２０から取得する。
　｛２－１－３．動作認識部１０４｝
　動作認識部１０４は、例えばセンサ部１２２による、ＡＲグラス１０の位置情報、姿勢、速度、加速度、または、方位などの測定結果に基づいて、ユーザの動作を認識する。または、動作認識部１０４は、センサ部１２２により撮像された一連の動画像に基づいて、ユーザの動作を認識することも可能である。
　例えば、動作認識部１０４は、センサ部１２２による測定結果に基づいて、所定の動作を認識する。ここで、所定の動作は、例えば体重を預ける姿勢以外の姿勢から体重を預ける姿勢へ変える動作などの、姿勢の変化を伴う所定の動作であり得る。なお、「体重を預ける姿勢以外の姿勢」は、本開示における第１の姿勢の一例であり、また、体重を預ける姿勢は、本開示における第２の姿勢の一例である。また、体重を預ける姿勢は、例えば、寄り掛かる姿勢や座る姿勢などである。
　また、動作認識部１０４は、ユーザの動作に関する学習データと、センサ部１２２による現在の測定結果とに基づいて、例えば所定の時間分の未来におけるユーザの動作を予測することも可能である。なお、この学習データは、例えば過去のユーザの動作に関する測定結果（または動作の認識結果）に基づいて動作の特徴が学習されることにより予め生成され得る。また、学習データはユーザごとに生成されてもよいし、または、複数のユーザの測定結果の履歴に基づいて一つの学習データだけが生成されてもよい。
　｛２－１－４．処理実行部１０６｝
　（２－１－４－１．仮想オブジェクトの表示）
　処理実行部１０６は、センサ部１２２により測定される、ＡＲグラス１０の姿勢（またはユーザの視線方向）に基づいて、仮想オブジェクト取得部１０２により取得された仮想オブジェクトの表示を制御する。より具体的には、処理実行部１０６は、まず、仮想オブジェクト取得部１０２により取得された仮想オブジェクトのうち、ＡＲグラス１０の姿勢（またはユーザの視線方向）の測定結果に基づいて、ユーザの視界内に含まれる仮想オブジェクトを抽出する。そして、処理実行部１０６は、抽出した仮想オブジェクトを表示部１２４に表示させる。
　（２－１－４－２．通知処理）
　また、処理実行部１０６は、仮想オブジェクト取得部１０２により取得された仮想オブジェクト、および、動作認識部１０４による動作認識の結果（または動作予測）に基づいて、対象のオブジェクトが仮想オブジェクトであることをユーザに認識させるための処理（以下、通知処理と称する）を実行する。ここで、対象のオブジェクトは、例えば、実世界においてユーザから所定の範囲内の位置に関連付けられている仮想オブジェクトであり得る。
　例えば、処理実行部１０６は、仮想オブジェクト取得部１０２により取得された仮想オブジェクトに対するユーザの動作認識の結果（または動作予測）に基づいて、当該オブジェクトに関する通知処理を実行する。ここで、通知処理は、対象のオブジェクトが仮想オブジェクトであることをユーザに認識させるための表示制御、音声の出力制御、および／または、触覚刺激（振動など）の出力制御を行うことである。
　例えば、通知処理は、対象の仮想オブジェクトの表示属性または表示位置を変化させることである。一例として、通知処理は、対象の仮想オブジェクトの表示色をデフォルトの表示色から変更したり、当該仮想オブジェクトを半透明にしたり、当該仮想オブジェクトのサイズを拡大または縮小したり、当該仮想オブジェクトをワイヤフレーム表示するように変更したり、当該仮想オブジェクトの周囲にデコレーションを付加したり、当該仮想オブジェクトの形状を変更したり、当該仮想オブジェクトを非表示にしたり、または、当該仮想オブジェクトを別の種類の仮想オブジェクトに置き換えることであってもよい。または、通知処理は、対象の仮想オブジェクトがデフォルトではアニメーション表示されていない場合に、当該仮想オブジェクトをアニメーション表示（例えば、所定の時間間隔で点滅させたり、連続的に回転させるなど）するように変更することであってもよい。これらの変化は実オブジェクトでは生じ得ないので、これらの変化がなされることにより、対象のオブジェクトが仮想オブジェクトであることをユーザに認識させることができる。
　または、通知処理は、例えば警告用のテキストや画像などの他の仮想オブジェクトを新たに表示させることであってもよい。または、通知処理は、警告用の音声（例えばブザー音や、「危険です！」などの音声など）や触覚刺激（振動など）を出力させることであってもよい。
　（２－１－４－３．通知処理の具体例１）
　以下では、処理実行部１０６による通知処理の実行方法に関してより詳細に説明する。例えば、処理実行部１０６は、仮想オブジェクト取得部１０２により取得された仮想オブジェクトに対する動作認識の結果、および、当該仮想オブジェクトの実世界上の位置とユーザとの位置関係に基づいて、通知処理を実行するか否かを決定する。一例として、仮想オブジェクトの実世界上の位置とユーザとの距離が所定の閾値以下である仮想オブジェクトが存在する場合には、処理実行部１０６は、該当の仮想オブジェクトに対するユーザの動作認識の結果に基づいて、通知処理を実行するか否かを決定する。また、全ての仮想オブジェクトの実世界上の位置とユーザとの距離が所定の閾値よりも大きい場合には、処理実行部１０６は、通知処理を実行しない。
　前者の場合、例えば、ユーザとの距離が所定の閾値以下である仮想オブジェクトに対する、上述した所定の動作が認識された場合には、処理実行部１０６は、該当の仮想オブジェクトに関して通知処理を実行する。また、当該仮想オブジェクトに対する、上述した所定の動作が認識されない場合には、処理実行部１０６は、該当の仮想オブジェクトに関して通知処理を実行しない。なお、仮想オブジェクトの実世界上の位置とユーザとの距離は、センサ部１２２により測定されるＡＲグラス１０の位置および姿勢（またはユーザの視線方向の検出結果）と、当該仮想オブジェクトの実世界上の位置とに基づいて特定され得る。
　ここで、図５を参照して、上記の機能についてより詳細に説明する。図５に示したように、対象の仮想オブジェクト３２の実世界上の位置とユーザとの距離が所定の閾値（＝Ｄ）であり、かつ、仮想オブジェクト３２の方へユーザが体重を預けるように姿勢を変える動作が認識された（または当該動作が予測された）とする。この場合、処理実行部１０６は、例えば、警告用の音声を音声出力部１２６に出力させたり、または、表示部１２４において警告用のオブジェクトを新たに表示させる。これにより、対象の仮想オブジェクト３２が仮想オブジェクトであることをユーザに認識させることができ、ユーザに注意喚起を行うことができる。
　（２－１－４－４．通知処理の具体例２）
　または、処理実行部１０６は、仮想オブジェクト取得部１０２により取得された個々の仮想オブジェクトに関連付けて登録されている通知条件に基づいて、通知処理を実行することも可能である。ここで、通知条件は、例えば、仮想オブジェクトごとに、当該仮想オブジェクト（の実世界上の位置）にユーザの身体のいずれの部位が接近した場合に通知処理を実行するかの条件である。例えば、仮想オブジェクトの種類が椅子である場合には、臀部、背中、または、手などが接近した場合に通知処理を開始するように定められ得る。また、仮想オブジェクトの種類が壁である場合には、肩、背中、または、手などが接近した場合に通知処理を開始するように定められ得る。あるいは、仮想オブジェクトにユーザの身体のいずれの部位が接近したことに加え、高さ方向において当該仮想オブジェクトと当該部位が所定の位置関係を有することを条件に通知処理が行われても良い。具体的には、ユーザが仮想オブジェクトを踏もうとするようなケースが想定される。この場合、仮想オブジェクトにユーザの脚が接近し、かつ、仮想オブジェクトの上方にユーザの脚が位置することを条件として通知処理が行われてもよい。あるいは、高さ方向の位置関係の代わりに、高さ方向におけるユーザの体のいずれかの部位の速度あるいは加速度が通知処理の条件として用いられても良い。
　例えば、処理実行部１０６は、仮想オブジェクト取得部１０２により取得された仮想オブジェクトごとに、当該仮想オブジェクトに関連付けて登録されている種類の当該ユーザの部位と当該仮想オブジェクトとの距離に基づいて、通知処理を実行するか否かを決定する。一例として、該当の部位と当該仮想オブジェクトとの距離が所定の閾値以下になった場合（つまり接近した場合）には、処理実行部１０６は、当該仮想オブジェクトに関して通知処理を実行する。また、該当の部位と当該仮想オブジェクトとの距離が所定の閾値よりも大きい場合には、処理実行部１０６は、当該仮想オブジェクトに関して通知処理を実行しない。
　（２－１－４－５．通知処理の具体例３）
　または、処理実行部１０６は、所定の基準に基づいて、通知処理を段階的に実行することも可能である。例えば、処理実行部１０６は、まず、対象の仮想オブジェクトの実世界上の位置とユーザとの位置関係に基づいて、当該オブジェクトが仮想オブジェクトであることをユーザに認識させるための第１の処理（以下、第１の通知処理と称する）を実行する。そして、処理実行部１０６は、当該オブジェクトに対するユーザの動作認識の結果に基づいて、当該オブジェクトが仮想オブジェクトであることをユーザに認識させるための第２の処理（以下、第２の通知処理と称する）を実行する。
　より具体的には、仮想オブジェクトの実世界上の位置とユーザとの距離が所定の閾値以下である仮想オブジェクトが存在する場合には、処理実行部１０６は、まず、該当の仮想オブジェクトに関して第１の通知処理を実行する。その後、処理実行部１０６は、該当の仮想オブジェクトに対するユーザの動作認識の結果に基づいて、該当の仮想オブジェクトに関して第２の通知処理を実行する。
　また、全ての仮想オブジェクトの実世界上の位置とユーザとの距離が所定の閾値よりも大きい間は、処理実行部１０６は、全ての仮想オブジェクトに関して第１の通知処理および第２の通知処理を実行しない。
　ここで、第１の通知処理は、対象のオブジェクトが仮想オブジェクトであることをユーザに認識させるための第１の表示制御を行うことであり、かつ、第２の通知処理は、対象のオブジェクトが仮想オブジェクトであることをユーザに認識させるための第２の表示制御を行うことであり得る。例えば、第１の通知処理は、対象の仮想オブジェクトの表示属性または表示位置を変化させることであり、かつ、第２の通知処理は、他の仮想オブジェクトを新たに表示させることであってもよい。
　あるいは、第１の通知処理は、対象のオブジェクトが仮想オブジェクトであることをユーザに認識させるための表示制御、音声の出力制御、および、触覚刺激（振動など）の出力制御の三種類のうちのいずれか一つを行うことであり、かつ、第２の通知処理は、上記三種類の制御のうち、第１の通知処理とは異なるいずれかの種類の制御を行うことであり得る。例えば、第１の通知処理は、仮想オブジェクトの表示属性または表示位置を変化させることであり、かつ、第２の通知処理は、警告用の音声を音声出力部１２６に出力させることであってもよい。
　‐適用例
　ここで、図６および図７を参照して、上記の機能についてより詳細に説明する。図６は、仮想オブジェクト３２に対するユーザの動作の流れの例を示した説明図である。また、図７は、図６の（ａ）～（ｃ）に示した各状況における表示部１２４の表示例を示した図である。なお、図６および図７に示した仮想オブジェクト３２は、図２に示した椅子の仮想オブジェクト３２と同一である。
　まず、図６の（ａ）に示したように、仮想オブジェクト３２の実世界上の位置とユーザとの距離（＝ｄ）が所定の閾値（＝Ｄ）よりも大きい状況を想定する。この際には、ＡＲグラス１０は、仮想オブジェクト３２をデフォルトの表示属性で表示部１２４に表示させる（図７の（ａ））。
　その後、ユーザが仮想オブジェクト３２の方へ移動し、そして、図６の（ｂ）に示すように、仮想オブジェクト３２の実世界上の位置とユーザとの距離（＝ｄ）が所定の閾値（＝Ｄ）よりも小さくなったとする。この際には、図７の（ｂ）に示したように、処理実行部１０６は、例えば仮想オブジェクト３２の表示色をデフォルトの表示色から変化させ、そして、表示部１２４に表示させる（第１の通知処理）。
　その後、ユーザは仮想オブジェクト３２の方へさらに移動し、そして、図６の（ｃ）に示すように、仮想オブジェクト３２に座るように姿勢を変化させ始めたとする。この際には、図７の（ｃ）に示したように、処理実行部１０６は、例えば警告用の仮想オブジェクト３４を新たに表示部１２４に表示させる（第２の通知処理）。このように、通知処理を段階的に行うことにより、仮想オブジェクト３２が仮想オブジェクトであることをユーザに対して、より強調して通知することができる。従って、仮想オブジェクト３２を実オブジェクトであるとユーザが誤認識する恐れをさらに減少させることができる。
　（２－１－４－６．通知処理の変形例）
　なお、変形例として、処理実行部１０６は、上述した通知処理の内容を、所定の基準に基づいて動的に変化させてもよい。ここで、所定の基準は、仮想オブジェクトの実世界上の位置とユーザとの位置関係であり得る。例えば、「通知処理」が仮想オブジェクトの透過度を変化させる処理である場合、処理実行部１０６は、仮想オブジェクトの実世界上の位置とユーザとの距離が小さくなるほど、表示部１２４に表示される当該仮想オブジェクトの透過度をより大きくさせてもよい。また、「通知処理」が仮想オブジェクトの実世界上の位置を変化させる処理である場合、処理実行部１０６は、仮想オブジェクトの実世界上の位置とユーザとの距離が所定の距離よりも小さくならないように、ユーザの移動に応じて、当該仮想オブジェクトの実世界上の位置を変化させてもよい。これにより、例えば、ユーザが仮想オブジェクトに近づこうとしても当該仮想オブジェクトが遠ざかっていく（当該仮想オブジェクトに対して所定の距離以上近づくことができない）ような体験を実現することができる。そして、このような体験を通して、該当のオブジェクトが仮想オブジェクトであることをユーザに認識させることができる。
　または、所定の基準は、ユーザの動作認識であり得る。例えば、「通知処理」が仮想オブジェクトの透過度を変化させる処理である場合、処理実行部１０６は、仮想オブジェクトの方へユーザが体重を預ける（例えば寄り掛かる）ように姿勢を変化させるにつれて、表示部１２４に表示される当該仮想オブジェクトの透過度をより大きくさせてもよい。また、「通知処理」が警告用の音声を出力させる処理である場合、処理実行部１０６は、仮想オブジェクトの方へユーザが体重を預けるように姿勢を変化させるにつれて、出力される警告用の音声の音量をより大きくしてもよい。
　｛２－１－５．通信部１２０｝
　通信部１２０は、他の装置との間で情報の送受信を行う。例えば、通信部１２０は、仮想オブジェクト取得部１０２の制御に従って、現在位置の周囲に位置する仮想オブジェクトの取得要求をサーバ２０へ送信する。また、通信部１２０は、仮想オブジェクトをサーバ２０から受信する。
　｛２－１－６．センサ部１２２｝
　センサ部１２２は、例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）などの測位衛星から測位信号を受信して現在位置を測位する測位装置を含み得る。また、センサ部１２２は、測域センサを含み得る。
　さらに、センサ部１２２は、例えば、３軸加速度センサ、ジャイロスコープ、磁気センサ、カメラ、深度センサ、および／または、マイクロフォンなどを含む。例えば、センサ部１２２は、ＡＲグラス１０の速度、加速度、姿勢、または方位などを測定する。また、センサ部１２２は、ＡＲグラス１０を装着するユーザの目の画像を撮影したり、ＡＲグラス１０の前方の画像を撮影する。また、センサ部１２２は、ユーザの前方に位置する物体を検出したり、また、検出した物体までの距離を検出し得る。
　｛２－１－７．表示部１２４｝
　表示部１２４は、本開示における出力部の一例である。表示部１２４は、出力制御部１０８の制御に従って、映像を表示する。例えば、表示部１２４は、左目用レンズおよび右目用レンズそれぞれの少なくとも一部の領域（投影面）に対して映像を投影する。なお、左目用レンズおよび右目用レンズは、例えば樹脂やガラスなどの透明材料により形成され得る。
　なお、変形例として、表示部１２４は液晶パネルを有し、かつ、液晶パネルの透過率が制御可能であってもよい。これにより、表示部１２４は、透明または半透明の状態に制御され得る。
　｛２－１－８．音声出力部１２６｝
　音声出力部１２６は、本開示における出力部の一例である。音声出力部１２６は、出力制御部１０８の制御に従って、音声を出力する。
　｛２－１－９．記憶部１２８｝
　記憶部１２８は、各種のデータや各種のソフトウェアを記憶する。
　＜２－２．動作＞
　以上、本実施形態による構成について説明した。次に、本実施形態による動作について、「２－２－１．第１の動作例」～「２－２－２．第２の動作例」において説明する。図８は、本実施形態による第１の動作例を示したフローチャートである。
　｛２－２－１．第１の動作例｝
　図８に示したように、まず、ＡＲグラス１０の仮想オブジェクト取得部１０２は、センサ部１２２による位置情報の測定結果に基づいて、現在位置の周囲（例えば上下左右全方位の一定の範囲）に位置する複数の仮想オブジェクトをサーバ２０から取得する（Ｓ１０１）。
　続いて、処理実行部１０６は、センサ部１２２による測定結果に基づいて、仮想オブジェクト取得部１０２により取得された個々の仮想オブジェクトの実世界上の位置とユーザとの距離を算出する。そして、処理実行部１０６は、ユーザとの距離が所定の閾値以下である仮想オブジェクトが存在するか否かを判定する（Ｓ１０３）。ユーザとの距離が所定の閾値以下である仮想オブジェクトが存在しない場合には（Ｓ１０３：Ｎｏ）、ＡＲグラス１０は、後述するＳ１０９の処理を行う。
　一方、ユーザとの距離が所定の閾値以下である仮想オブジェクトが存在する場合には（Ｓ１０３：Ｙｅｓ）、処理実行部１０６は、該当の仮想オブジェクトのうちの少なくともいずれかに対する所定の動作が動作認識部１０４により認識されたか否かを判定する（Ｓ１０５）。所定の動作が認識されていない場合には（Ｓ１０５：Ｎｏ）、ＡＲグラス１０は、後述するＳ１０９の処理を行う。
　一方、該当の仮想オブジェクトのうちの少なくともいずれかに対する所定の動作が認識された場合には（Ｓ１０５：Ｙｅｓ）、処理実行部１０６は、該当の仮想オブジェクトの各々に関して通知処理を実行する（Ｓ１０７）。
　その後、処理実行部１０６は、センサ部１２２によるＡＲグラス１０の姿勢（またはユーザの視線方向）の測定結果と、Ｓ１０７での処理結果とに基づいて、Ｓ１０１で取得された仮想オブジェクトのうちユーザの視界内に位置する仮想オブジェクトを表示部１２４に表示させる（Ｓ１０９）。あるいは、Ｓ１０７およびＳ１０９の処理は一体的に行われてもよい。
　｛２－２－２．第２の動作例｝
　次に、本実施形態による第２の動作例について説明する。図９は、本実施形態による第２の動作例を示したフローチャートである。なお、図９に示したＳ２０１は、第１の動作例におけるＳ１０１と同様である。
　Ｓ２０１の後、処理実行部１０６は、Ｓ２０１で取得された個々の仮想オブジェクトに関連付けて登録されている通知条件を例えばサーバ２０または記憶部１２８から取得する（Ｓ２０３）。なお、この通知条件は、上述したように、例えば仮想オブジェクトごとに、当該仮想オブジェクト（の実世界上の位置）にユーザの身体のいずれの部位が接近した場合に通知処理を実行するかの条件であり得る。
　続いて、処理実行部１０６は、Ｓ２０１で取得された仮想オブジェクトのうちの少なくともいずれかに関連付けられている通知条件が成立するか否かを判定する（Ｓ２０５）。全ての仮想オブジェクトに関して通知条件が成立しないと判定された場合には（Ｓ２０５：Ｎｏ）、処理実行部１０６は、後述するＳ２０９の処理を行う。
　一方、少なくともいずれかの仮想オブジェクトに関連付けられている通知条件が成立すると判定された場合には（Ｓ２０５：Ｙｅｓ）、処理実行部１０６は、該当の仮想オブジェクトに関して通知処理を実行する（Ｓ２０７）。
　なお、図９に示したＳ２０９は、第１の動作例におけるＳ１０９と同様である。なお、Ｓ２０７およびＳ２０９の動作は一体的に行われてもよい。
　＜２－３．効果＞
　以上説明したように、本実施形態によれば、ＡＲグラス１０は、仮想オブジェクトであるオブジェクトに対するユーザの動作認識の結果に基づいて、当該オブジェクトが仮想オブジェクトであることを当該ユーザに認識させるための処理を実行する。このため、例えば、ユーザの周囲に位置する特定のオブジェクトが仮想オブジェクトであることを適切なタイミングで当該ユーザに認識させることができる。
　例えば、仮想オブジェクトに対する所定の動作（例えば仮想オブジェクトの方へユーザが体重を預けるように姿勢を変化させる動作など）が認識された場合には、ＡＲグラス１０は、当該オブジェクトが仮想オブジェクトであることをユーザに認識させるための処理を実行する。このため、仮に仮想オブジェクトが（あたかも実オブジェクトであるかのように）写実的に表示されている場合であっても、当該オブジェクトに対してユーザが所定の動作を行おうとする際には、当該オブジェクトが仮想オブジェクトであることをユーザに認識させることができる。
　従って、仮想オブジェクトの表示時における安全性を向上させることができる。例えば、表示部１２４に表示されている仮想オブジェクトを実オブジェクトであるとユーザが誤認識してしまうことによりユーザが転倒してしまう等の危険の発生を防止することができる。
＜＜３．ハードウェア構成＞＞
　次に、本実施形態によるＡＲグラス１０のハードウェア構成について、図１０を参照して説明する。図１０に示すように、ＡＲグラス１０は、ＣＰＵ１５０、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１５２、ＲＡＭ１５４、バス１５６、インターフェース１５８、入力装置１６０、出力装置１６２、ストレージ装置１６４、および通信装置１６６を備える。
　ＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従ってＡＲグラス１０内の動作全般を制御する。また、ＣＰＵ１５０は、ＡＲグラス１０において制御部１００の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。
　ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
　ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
　バス１５６は、ＣＰＵバスなどから構成される。このバス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４を相互に接続する。
　インターフェース１５８は、入力装置１６０、出力装置１６２、ストレージ装置１６４、および通信装置１６６を、バス１５６と接続する。
　入力装置１６０は、例えばボタン、スイッチ、レバー、マイクロフォンなどユーザが情報を入力するための入力手段、および、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１５０に出力する入力制御回路などから構成される。
　出力装置１６２は、例えば、プロジェクタなどの表示装置、および、スピーカーなどの音声出力装置を含む。なお、表示装置は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）装置や、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置などであってもよい。
　ストレージ装置１６４は、記憶部１２８として機能する、データ格納用の装置である。ストレージ装置１６４は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
　通信装置１６６は、例えば通信網２２などに接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置１６６は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６６は、通信部１２０として機能する。
＜＜４．変形例＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　＜４－１．変形例１＞
　例えば、上述した実施形態では、本開示における情報処理装置がＡＲグラス１０である例について説明したが、かかる例に限定されない。例えば、上述した処理実行部１０６を（ＡＲグラス１０の代わりに）サーバ２０が含む場合には、当該情報処理装置は、サーバ２０であってもよい。この場合、サーバ２０は、ＡＲグラス１０の位置情報および姿勢情報（およびユーザの視線方向の検出結果）と、動作認識部１０４による動作認識の結果とをＡＲグラス１０から取得することにより、ＡＲグラス１０に対して通知処理を行うことが可能である。例えば、サーバ２０は、これらの情報に基づいて、対象のオブジェクトが仮想オブジェクトであることをユーザに認識させるための表示制御や音声の出力制御などをＡＲグラス１０に対して行う。また、この場合、動作認識部１０４の機能は、ＡＲグラス１０の代わりに、サーバ２０が行ってもよい。
　また、当該情報処理装置は、サーバ２０に限定されず、例えば、スマートフォン、タブレット端末、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、または、ゲーム機など、通信網２２に接続可能な他の種類の装置であってもよい。
　＜４－２．変形例２＞
　また、上述した実施形態では、本開示における表示部がＡＲグラス１０の表示部１２４である例について説明したが、かかる例に限定されない。例えば、当該表示部は、ビデオ透過型のＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）のディスプレイであってもよい。この場合、ユーザの前方の撮像映像が当該ディスプレイに逐次表示され得る。
　または、当該表示部は、３Ｄプロジェクタであってもよい。この場合、例えば、サーバ２０は、ユーザが装着するセンサまたは環境内に配置されたセンサによるユーザの視界のセンシング結果に基づいて、仮想オブジェクトを投影対象に対して当該３Ｄプロジェクタにプロジェクションマッピングさせる。これにより、上述した実施形態と同様の機能を実現することができる。なお、投影対象は、平面であってもよいし、立体物であってもよい。
　＜４－３．変形例３＞
　また、上述した実施形態の動作における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
　また、上述した実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述した実施形態によるＡＲグラス１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理を実行する処理実行部、
を備える、情報処理装置。
（２）
　前記第１のオブジェクトに対する前記ユーザの所定の動作が認識された場合には、前記処理実行部は、前記処理を実行し、
　前記第１のオブジェクトに対する前記ユーザの所定の動作が認識されない場合には、前記処理実行部は、前記処理を実行しない、前記（１）に記載の情報処理装置。
（３）
　前記ユーザの所定の動作は、第１の姿勢から第２の姿勢へ変える動作を含む、前記（２）に記載の情報処理装置。
（４）
　前記第１の姿勢は、体重を預ける姿勢以外の姿勢であり、
　前記第２の姿勢は、体重を預ける姿勢である、前記（３）に記載の情報処理装置。
（５）
　前記ユーザの所定の動作は、前記第１のオブジェクトに対する前記ユーザの所定の部位の接近と、高さ方向における前記ユーザの所定の部位の移動を含む、前記（２）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記処理実行部は、さらに、実世界における前記第１のオブジェクトに関連付けられた領域と、前記ユーザとの位置関係に基づいて、前記処理を実行する、前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記領域と前記ユーザとの距離が所定の閾値以下である場合には、前記処理実行部は、前記ユーザの動作認識の結果に基づいて、前記処理を実行する、前記（６）に記載の情報処理装置。
（８）
　前記領域と前記ユーザとの距離が所定の閾値よりも大きい場合には、前記処理実行部は、前記処理を実行しない、前記（６）または（７）に記載の情報処理装置。
（９）
　前記処理実行部は、さらに、実世界における前記第１のオブジェクトに関連付けられた領域に接近する前記ユーザの部位の認識結果に基づいて、前記処理を実行する、前記（１）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記処理実行部は、さらに、実世界における前記第１のオブジェクトに関連付けられた領域と、前記ユーザの身体のうち、前記第１のオブジェクトに関連付けられている種類の部位との距離に基づいて、前記処理を実行する、前記（１）～（８）のいずれか一項に記載の情報処理装置。
（１１）
　前記ユーザの身体のうち、前記第１のオブジェクトに関連付けられている種類の部位と前記領域との距離が所定の閾値以下になった場合には、前記処理実行部は、前記処理を実行し、
　前記ユーザの身体のうち、前記第１のオブジェクトに関連付けられている種類の部位と前記領域との距離が所定の閾値よりも大きい場合には、前記処理実行部は、前記処理を実行しない、前記（１０）に記載の情報処理装置。
（１２）
　前記処理は、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための表示制御、音声の出力制御、および／または、触覚刺激の出力制御を行うことである、前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記処理は、前記第１のオブジェクトの表示属性または表示位置を変化させることを含む、前記（１２）に記載の情報処理装置。
（１４）
　前記処理は、警告情報を出力部に出力させることを含む、前記（１２）または（１３）に記載の情報処理装置。
（１５）
　前記処理実行部は、実世界における前記第１のオブジェクトに関連付けられた領域と前記ユーザとの位置関係に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための第１の処理を実行し、
　前記処理実行部は、前記第１のオブジェクトに対する前記ユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための第２の処理を実行する、前記（２）に記載の情報処理装置。
（１６）
　前記領域と前記ユーザとの距離が所定の閾値以下である場合には、前記処理実行部は、前記第１の処理を実行し、かつ、前記ユーザの動作認識の結果に基づいて前記第２の処理を実行する、前記（１５）に記載の情報処理装置。
（１７）
　前記領域と前記ユーザとの距離が所定の閾値よりも大きい場合には、前記処理実行部は、前記第１の処理および前記第２の処理を実行しない、前記（１５）または（１６）に記載の情報処理装置。
（１８）
　前記第１の処理は、表示部に対する第１の表示制御を行うことであり、
　前記第２の処理は、前記表示部に対する第２の表示制御を行うことである、前記（１５）～（１７）のいずれか一項に記載の情報処理装置。
（１９）
　仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理をプロセッサが実行すること、
を含む、情報処理方法。
（２０）
　コンピュータを、
　仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理を実行する処理実行部、
として機能させるための、プログラム。
１０　ＡＲグラス
２０　サーバ
２２　通信網
１００　制御部
１０２　仮想オブジェクト取得部
１０４　動作認識部
１０６　処理実行部
１０８　出力制御部
１２０　通信部
１２２　センサ部
１２４　表示部
１２６　音声出力部
１２８　記憶部

Claims (20)

  1. 　仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理を実行する処理実行部、
    を備える、情報処理装置。
  2. 　前記第１のオブジェクトに対する前記ユーザの所定の動作が認識された場合には、前記処理実行部は、前記処理を実行し、
    　前記第１のオブジェクトに対する前記ユーザの所定の動作が認識されない場合には、前記処理実行部は、前記処理を実行しない、請求項１に記載の情報処理装置。
  3. 　前記ユーザの所定の動作は、第１の姿勢から第２の姿勢へ変える動作を含む、請求項２に記載の情報処理装置。
  4. 　前記第１の姿勢は、体重を預ける姿勢以外の姿勢であり、
    　前記第２の姿勢は、体重を預ける姿勢である、請求項３に記載の情報処理装置。
  5. 　前記ユーザの所定の動作は、前記第１のオブジェクトに対する前記ユーザの所定の部位の接近と、高さ方向における前記ユーザの所定の部位の移動を含む、請求項２に記載の情報処理装置。
  6. 　前記処理実行部は、さらに、実世界における前記第１のオブジェクトに関連付けられた領域と、前記ユーザとの位置関係に基づいて、前記処理を実行する、請求項１に記載の情報処理装置。
  7. 　前記領域と前記ユーザとの距離が所定の閾値以下である場合には、前記処理実行部は、前記ユーザの動作認識の結果に基づいて、前記処理を実行する、請求項６に記載の情報処理装置。
  8. 　前記領域と前記ユーザとの距離が所定の閾値よりも大きい場合には、前記処理実行部は、前記処理を実行しない、請求項６に記載の情報処理装置。
  9. 　前記処理実行部は、さらに、実世界における前記第１のオブジェクトに関連付けられた領域に接近する前記ユーザの部位の認識結果に基づいて、前記処理を実行する、請求項１に記載の情報処理装置。
  10. 　前記処理実行部は、さらに、実世界における前記第１のオブジェクトに関連付けられた領域と、前記ユーザの身体のうち、前記第１のオブジェクトに関連付けられている種類の部位との距離に基づいて、前記処理を実行する、請求項１に記載の情報処理装置。
  11. 　前記ユーザの身体のうち、前記第１のオブジェクトに関連付けられている種類の部位と前記領域との距離が所定の閾値以下になった場合には、前記処理実行部は、前記処理を実行し、
    　前記ユーザの身体のうち、前記第１のオブジェクトに関連付けられている種類の部位と前記領域との距離が所定の閾値よりも大きい場合には、前記処理実行部は、前記処理を実行しない、請求項１０に記載の情報処理装置。
  12. 　前記処理は、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための表示制御、音声の出力制御、および／または、触覚刺激の出力制御を行うことである、請求項１に記載の情報処理装置。
  13. 　前記処理は、前記第１のオブジェクトの表示属性または表示位置を変化させることを含む、請求項１２に記載の情報処理装置。
  14. 　前記処理は、警告情報を出力部に出力させることを含む、請求項１２に記載の情報処理装置。
  15. 　前記処理実行部は、実世界における前記第１のオブジェクトに関連付けられた領域と前記ユーザとの位置関係に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための第１の処理を実行し、
    　前記処理実行部は、前記第１のオブジェクトに対する前記ユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための第２の処理を実行する、請求項２に記載の情報処理装置。
  16. 　前記領域と前記ユーザとの距離が所定の閾値以下である場合には、前記処理実行部は、前記第１の処理を実行し、かつ、前記ユーザの動作認識の結果に基づいて前記第２の処理を実行する、請求項１５に記載の情報処理装置。
  17. 　前記領域と前記ユーザとの距離が所定の閾値よりも大きい場合には、前記処理実行部は、前記第１の処理および前記第２の処理を実行しない、請求項１５に記載の情報処理装置。
  18. 　前記第１の処理は、表示部に対する第１の表示制御を行うことであり、
    　前記第２の処理は、前記表示部に対する第２の表示制御を行うことである、請求項１５に記載の情報処理装置。
  19. 　仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理をプロセッサが実行すること、
    を含む、情報処理方法。
  20. 　コンピュータを、
    　仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理を実行する処理実行部、
    として機能させるための、プログラム。
PCT/JP2017/013486 2016-07-05 2017-03-30 情報処理装置、情報処理方法、およびプログラム WO2018008208A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-133483 2016-07-05
JP2016133483A JP2018005676A (ja) 2016-07-05 2016-07-05 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2018008208A1 true WO2018008208A1 (ja) 2018-01-11

Family

ID=60912048

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/013486 WO2018008208A1 (ja) 2016-07-05 2017-03-30 情報処理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP2018005676A (ja)
WO (1) WO2018008208A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169622A (ja) * 2008-01-15 2009-07-30 Canon Inc 画像処理装置、画像処理方法
JP2012155654A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP2013257716A (ja) * 2012-06-12 2013-12-26 Sony Computer Entertainment Inc 障害物回避装置および障害物回避方法
JP2015064868A (ja) * 2013-08-29 2015-04-09 キヤノンマーケティングジャパン株式会社 情報処理システムとその処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169622A (ja) * 2008-01-15 2009-07-30 Canon Inc 画像処理装置、画像処理方法
JP2012155654A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP2013257716A (ja) * 2012-06-12 2013-12-26 Sony Computer Entertainment Inc 障害物回避装置および障害物回避方法
JP2015064868A (ja) * 2013-08-29 2015-04-09 キヤノンマーケティングジャパン株式会社 情報処理システムとその処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GIGAZINE, 3 March 2016 (2016-03-03), XP055601507, Retrieved from the Internet <URL:http://gigazine.net/news/20160303-htc-vive-warn-vr-furniture> [retrieved on 20170518] *

Also Published As

Publication number Publication date
JP2018005676A (ja) 2018-01-11

Similar Documents

Publication Publication Date Title
US11810226B2 (en) Systems and methods for utilizing a living entity as a marker for augmented reality content
JP6646620B2 (ja) 広範囲同時遠隔ディジタル提示世界
CN108304063B (zh) 信息处理装置、信息处理方法和计算机可读介质
US20180190022A1 (en) Dynamic depth-based content creation in virtual reality environments
EP3391183A1 (en) Pass-through camera user interface elements for virtual reality
JP6558839B2 (ja) 媒介現実
WO2018092545A1 (ja) 情報処理装置、情報処理方法、およびプログラム
TW202113428A (zh) 用於針對頭戴式顯示器產生動態障礙物碰撞警告之系統和方法
WO2018008210A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018524684A (ja) 媒介現実
CN108021227B (zh) 在虚拟现实中快速移动的方法及虚拟现实装置
JP2019516180A (ja) 仮想化環境内にイメージを提示するための方法及び装置
JP2023520968A (ja) 人工現実中にいる間に定義された空間の境界内のオブジェクトを検出するためのシステムおよび方法
WO2018173399A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2023519470A (ja) 人工現実中にいる間に侵入を検出するためのシステムおよび方法
US11195320B2 (en) Feed-forward collision avoidance for artificial reality environments
WO2018198503A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN112269472A (zh) 构建虚拟边界对象的方法和系统及其vr眼镜
CN111279410B (zh) 显示设备和显示设备控制方法
WO2018008208A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US10409464B2 (en) Providing a context related view with a wearable apparatus
WO2021241110A1 (ja) 情報処理装置、情報処理方法及びプログラム
TWI637287B (zh) 在虛擬實境中快速移動的方法、虛擬實境裝置及記錄媒體
CN118103799A (zh) 与远程设备的用户交互

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17823816

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17823816

Country of ref document: EP

Kind code of ref document: A1