WO2014171200A1 - 情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システム - Google Patents

情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システム Download PDF

Info

Publication number
WO2014171200A1
WO2014171200A1 PCT/JP2014/055352 JP2014055352W WO2014171200A1 WO 2014171200 A1 WO2014171200 A1 WO 2014171200A1 JP 2014055352 W JP2014055352 W JP 2014055352W WO 2014171200 A1 WO2014171200 A1 WO 2014171200A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
real
real object
display
unit
Prior art date
Application number
PCT/JP2014/055352
Other languages
English (en)
French (fr)
Inventor
山本 一幸
育英 細田
城井 学
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201480020555.0A priority Critical patent/CN105144248B/zh
Priority to US14/782,638 priority patent/US10269180B2/en
Priority to JP2015512346A priority patent/JP6217747B2/ja
Priority to EP14785048.1A priority patent/EP2988275A4/en
Priority to BR112015025869A priority patent/BR112015025869A2/pt
Publication of WO2014171200A1 publication Critical patent/WO2014171200A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/24Constructional details thereof, e.g. game controllers with detachable joystick handles
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/26Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92Video game devices specially adapted to be hand-held while playing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/217Input arrangements for video game devices characterised by their sensors, purposes or types using environment-related information, i.e. information generated otherwise than by the player, e.g. ambient temperature or humidity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55Details of game data or player data management
    • A63F2300/5546Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Definitions

  • the technology disclosed in the present specification relates to an information processing device and information processing method, a display device and a display method, and an information processing system that perform processing related to a virtual image combined with a real image in an augmented reality image.
  • the present invention relates to an information processing device, an information processing method, a display device, a display method, and an information processing system that present an interaction between an object and a real space.
  • Virtual creatures are widely used in the description field of information processing as 2D or 3D game characters, avatars that are incarnations of players (users), and computer user interfaces. This type of virtual creature generates an action on the information processing apparatus, and freely moves around the screen or emits a sound.
  • AR augmented reality
  • mixed reality that superimpose a virtual image on a real image and see it are becoming popular.
  • Virtual images to be superimposed on real images include game characters, player (user) incarnations of avatars, virtual pets, virtual creatures such as computer user interfaces, or virtual moving objects such as automobiles. .
  • an entertainment apparatus that can interact with a user and displays a virtual pet walking around on a virtual screen in combination with an image of a real environment
  • This entertainment device renders a virtual pet generated by the system unit into a real image captured by a video camera and displays it on a display / sound output device such as a monitor or television set having a display and a speaker.
  • a display / sound output device such as a monitor or television set having a display and a speaker.
  • the virtual pet moves only within the screen, and voices expressing the behavior and reaction are only output from the place where the display / sound output device is installed, so that the interaction between the virtual pet and the real space can be expressed realistically. There is a limit to it.
  • the depth position of the 3D stereoscopic image displayed by the DFD (Depth Fusion Display) type 3D display device is matched to the depth position through which the real object passes, and the virtual object is stereoscopically viewed in the same space for the observer.
  • an object display device that presents a feeling as if both have interaction see, for example, Patent Document 2.
  • this object display device can provide is limited to the effects of visual interaction. Further, the effect of the interaction is limited to the installation location of the object display device that displays the virtual object.
  • an image processing method has been proposed in which an image of a virtual space including a virtual object is superimposed on the real space and presented on a head-mounted display (see, for example, Patent Document 3).
  • a sound effect such as a sound of a virtual object moving around in a virtual space is output from a speaker.
  • the sound effect represents the interaction of the virtual object in the virtual space, and does not present the interaction of the virtual object with the real space.
  • an information terminal device that displays an image of a virtual pet so that the virtual pet appears as a virtual image on the skin in the real field of view has been proposed (see, for example, Patent Document 4).
  • an impression is given as if the virtual pet was reacting to the movement of the skin. That is, according to this information terminal device, a user in the real space can perform an action on the virtual pet, but conversely, the virtual pet cannot perform an action in the real space. That is, it does not present an interaction between the virtual pet and the real space.
  • An object of the technology disclosed in this specification is to provide an excellent information processing apparatus and information processing method, display apparatus and display method, and information processing system capable of suitably presenting an interaction between a virtual object and a real space. There is to do.
  • An output unit for adding motion to a real object A control unit that controls an output from the output unit according to an operation performed by the virtual object on the real object or an operation performed on the virtual object by the real object; Is an information processing apparatus.
  • the information processing apparatus further includes identification information for identifying the information processing apparatus.
  • the information processing apparatus further includes a receiving unit that receives a detection result of an operation performed on the real object by the virtual object.
  • the said control part is comprised so that the output from the said output part may be controlled according to the received said detection result.
  • the information processing apparatus further includes a virtual object control unit that controls the operation of the virtual object.
  • the said control part is comprised so that the output from the said output part may be controlled according to operation
  • the output unit of the information processing apparatus includes a vibration device, a pulse generation device, a heat generation device, and a cooling device incorporated in the real object.
  • the technology described in claim 6 of the present application is: Obtaining an action performed by the virtual object on the real object, or an action performed by the real object on the virtual object; Adding an action to the real object in response to an action performed by the virtual object on the real object or an action performed by the real object on the virtual object; Is an information processing method.
  • a detection unit for detecting a specific real object A detection unit for detecting a specific real object; A display unit for displaying a virtual object in response to detecting the specific real object; Is a display device.
  • the detection unit of the display device identifies the real object, and the display unit corresponds to the identified real object. Is configured to display.
  • the detection unit of the display device identifies the real object based on identification information included in the real object, or the object recognition recognizes the real object. It is configured to identify a real object.
  • the detection unit of the display device detects the real object from within the user's field of view, and the display unit overlaps the real object.
  • the virtual object is displayed.
  • the display device further includes a virtual object control unit that controls the operation of the virtual object.
  • the virtual object control unit of the display device according to claim 11 is configured to control the appearance or disappearance of the virtual object according to a user's action. Yes.
  • the virtual object control unit of the display device is configured to display the virtual object displayed by the display unit according to a user's action, situation, or time zone. The amount of information is controlled.
  • the virtual object control unit of the display device controls an operation of the virtual object with respect to the real object, or the virtual object is the real object.
  • the operation of the virtual object is controlled in accordance with the operation received from the object.
  • the detection unit of the display device performs an operation of the virtual object with respect to the real object or an operation that the virtual object receives from the real object.
  • the virtual object control unit is configured to control the operation of the virtual object based on a detection result of the detection unit.
  • the virtual object control unit of the display device controls the operation of the virtual object so as to be synchronized with the operation of the real object. It is configured.
  • the display unit of the display device according to claim 7 is used by being mounted on a user's head or face, and the position of the user's head or face is used. And a position / orientation detection unit for detecting the attitude.
  • the display unit is configured to correct the display of the virtual object in a direction opposite to a change in the position or posture of the user's head or face.
  • the technique described in claim 18 of the present application is: A detection step of detecting a specific real object; A display step of displaying a virtual object in response to detecting the specific real object; Is a display method.
  • a control device for controlling the operation of the virtual object A display device that detects a real object and displays a corresponding virtual object; An output device that applies an action to a real object in response to an action performed by the virtual object on the real object or an action performed by the real object on the virtual object; Is an information processing system.
  • system here refers to a logical collection of a plurality of devices (or functional modules that realize specific functions), and each device or functional module is in a single housing. It does not matter whether or not (the same applies hereinafter).
  • a display device that detects a real object, displays a corresponding virtual object, and controls the operation of the virtual object;
  • An output device that applies an action to a real object in response to an action performed by the virtual object on the real object or an action performed by the real object on the virtual object; Is an information processing system.
  • an excellent information processing apparatus and information processing method, display apparatus and display method, and information processing system capable of suitably presenting an interaction between a virtual object and a real space are provided. can do.
  • FIG. 1 is a diagram schematically illustrating a functional configuration of an information processing system 100 that presents an augmented reality image to a user.
  • FIG. 2 is a diagram showing a specific configuration example 100-2 of the information processing system.
  • FIG. 3 is a diagram showing an example of a communication sequence in the information processing system 100-2.
  • FIG. 4 is a diagram showing a specific configuration example 100-4 of the information processing system.
  • FIG. 5 is a diagram showing a modification 100-5 of the information processing system shown in FIG.
  • FIG. 6 is a diagram showing an example of a communication sequence in the information processing system 100-4.
  • FIG. 7 is a diagram showing an external configuration of an image display apparatus 700 applicable to the technology disclosed in this specification.
  • FIG. 1 is a diagram schematically illustrating a functional configuration of an information processing system 100 that presents an augmented reality image to a user.
  • FIG. 2 is a diagram showing a specific configuration example 100-2 of the information processing system.
  • FIG. 3 is a diagram showing an example of a
  • FIG. 8 is a diagram illustrating a state in which the image display device 700 worn by the user is viewed from above.
  • FIG. 9 is a diagram illustrating an internal configuration example of the image display apparatus 700.
  • FIG. 10 is a diagram schematically illustrating an internal configuration example of the output device 202 configured as a dedicated hardware device.
  • FIG. 11 is a diagram schematically illustrating a configuration example of the actuator unit 1020.
  • FIG. 12A is a diagram illustrating a specific example of the output device 202.
  • FIG. 12B is a diagram illustrating a specific example of the output device 202.
  • FIG. 12C is a diagram illustrating a specific example of the output device 202.
  • FIG. 13 is a diagram illustrating a configuration example of the vibration device 1101.
  • FIG. 13 is a diagram illustrating a configuration example of the vibration device 1101. FIG.
  • FIG. 14 is a diagram illustrating an operation example of the vibration device 1101 illustrated in FIG. 13.
  • FIG. 15 is a diagram illustrating an operation example of the vibration device 1101 illustrated in FIG. 13.
  • FIG. 16 is a diagram illustrating an operation example of the output device 202 illustrated in FIG. 12C.
  • FIG. 17 is a diagram illustrating an operation example of the output device 202 illustrated in FIG. 12C.
  • FIG. 18 is a diagram illustrating an operation example of the output device 202 illustrated in FIG. 12C.
  • FIG. 19 is a diagram illustrating an operation example of the output device 202 illustrated in FIG. 12C.
  • FIG. 20 is a diagram illustrating an operation example of the output device 202 illustrated in FIG. 12C.
  • FIG. 20 is a diagram illustrating an operation example of the output device 202 illustrated in FIG. 12C.
  • FIG. 21 is a diagram showing a state in which the virtual object 150 is presented following the movement of the user's head.
  • FIG. 22 is a diagram illustrating a state in which the virtual object 150 is presented without following the movement of the user's head.
  • FIG. 23 is a diagram illustrating a state in which the movement of the image of the virtual object 150 is delayed with respect to the movement of the user's head.
  • FIG. 24A is a diagram illustrating a state in which the user observes the real object 151 through the head mounted display 2401.
  • FIG. 24B is a diagram illustrating a state in which the user observes the virtual object 150 through the head mounted display 2401.
  • FIG. 25 is a diagram showing how each user observes the virtual objects 150A, 150B, 150C,...
  • FIG. 26 is a diagram illustrating an example in which the area where the identification information 152 in the room is arranged becomes a real object.
  • FIG. 27 is a diagram illustrating an example in which a part of the user's body becomes a real object.
  • FIG. 28 is a diagram illustrating an example in which a part of the user's body becomes a real object.
  • FIG. 29 is a diagram showing further modifications 100-29 of the information processing system shown in FIG.
  • FIG. 1 schematically shows a functional configuration of an information processing system 100 that presents an augmented reality or mixed reality image in which a virtual image is superimposed on a real image to a user.
  • the illustrated information processing system 100 synthesizes and presents a virtual object 150 in a real space as a virtual image, but includes a virtual object control unit 101, a virtual object generation unit 102, a display unit 103, and a detection unit 104.
  • the “virtual object” referred to in the present embodiment is, for example, an avatar such as a user's incarnation, a 2D or 3D game character, a computer user interface, and the like.
  • the virtual object 150 does not need to be a person but may be an animal such as a virtual pet. Further, the virtual object 150 does not have to be a living thing, and may be a moving body such as an automobile, a helicopter, and a ship.
  • the virtual object 150 may be text instead of an object image.
  • the virtual object 150 may be a voice (such as a voice assistant) (without displaying an image).
  • a human virtual object 150 As a method of compositing a virtual object to a real image, a method of superimposing a virtual image on a real space that is a user's field of view observed on a see-through head-mounted display, or a video see-through head-mounted display is used. In addition, there is a method of superimposing a virtual image on a real space image taken by a camera.
  • the virtual object control unit 101 controls the appearance and disappearance (from the real space) of the virtual object 150 (in the real space) and the operation and behavior of the virtual object 150 that is appearing (in the real space). Basically, the virtual object control unit 101 makes the virtual object 150 corresponding to the real object 151 appear in response to the user seeing or finding the real object 151 (however, (It is assumed that the virtual object 150 is associated with the real object 151 in advance).
  • the actual object 151 is provided with identification information 152 such as an IC tag or a barcode (which may be a QR code (registered trademark) or a dot code).
  • identification information 152 may be a display image such as a barcode.
  • the real object 151 may be a printed matter or an object having characteristics (in other words, an image can be easily recognized), and does not necessarily include the identification information 152 such as an IC tag.
  • the above-mentioned “according to seeing the real object 151” or “according to finding” means actually recognizing the identification information 152 arranged in the real object 151 or object recognition of the image. This is realized by the process of specifying the real object 151. For each piece of identification information 152, information on the corresponding virtual object 150 is stored in a library.
  • a method for causing the virtual object 150 to appear is determined by the system side regardless of the pull type that appears when the user requests the appearance by a gesture or other input operation, and the user's intention. It is classified as a push (PUSH) type that appears when the event occurs.
  • PUSH push
  • the above-described method for causing the virtual object 150 corresponding to the real object 151 to appear corresponds to the appearance of the PULL type. Further, when the user removes his / her line of sight from the region where the virtual object 150 or the real object 151 exists (or a predetermined time elapses after the user removes his / her line of sight), the user stops showing interest in the virtual object 150 (for example, a predetermined time or longer) When an event such as “do not talk” occurs, the virtual object control unit 101 causes the virtual object 150 to disappear.
  • the virtual object 150 appears in a comfortable appearance method at a user's comfortable timing regardless of whether the appearance form is an image, text, or sound.
  • the appearance timing and appearance method of the virtual object 150 are controlled while recognizing the user's action. It is also necessary to control the amount of information of the virtual object 150 according to the user's behavior, situation, time zone, etc. (for example, when the user is sitting on a train, the virtual object 150 may be rich content with an image. Although it is good, when walking in a crowded area, the virtual object 150 is made of only sound.
  • the virtual object 150 that appears in the push type may be extinguished by, for example, a user's operation (for example, by a gesture such as a user picking and moving the displayed virtual object 150 or flipping it with a fingertip) You may be allowed to).
  • a user's operation for example, by a gesture such as a user picking and moving the displayed virtual object 150 or flipping it with a fingertip
  • You may be allowed to.
  • the same extinction method may be applied to the virtual object 150 that appears in the PULL type.
  • the virtual object control unit 101 causes an action on the real object 151 to be performed as an operation or action of the virtual object 150.
  • the virtual object control unit 101 determines the operation and behavior of the virtual object 150, for example, any one of the following control rules (1) to (6) or a combination of two or more of (1) to (6) Control based on the control rule consisting of
  • the virtual object 150 may operate autonomously or may operate by a user operation.
  • the virtual object generation unit 102 generates an image of the virtual object 150 such as a person or an animal whose appearance and disappearance, operation and behavior are controlled by the virtual object control unit 101. Although various rendering techniques such as texture mapping, light source, and shading can be applied to the generation of the image data of the virtual object 150, detailed description thereof is omitted in this specification.
  • the virtual object generation unit 102 may generate text and sound together with an image of the virtual object 150, or may generate a virtual object 150 consisting of only text or sound without an image (described above).
  • the display unit 103 synthesizes the image of the virtual object 150 generated by the virtual object generation unit 102 so as to overlap the real image, and displays and outputs it on the screen.
  • the display unit 103 is configured as an image display device (head-mounted display) that is used by being mounted on the user's head or face (described later)
  • an image of the virtual object 150 is displayed in the user's field of view. Is displayed in a see-through manner superimposed on the real space that is the field of view, or is displayed on a video see-through superimposed on an image in the real space captured by the camera.
  • a projection type image device may be applied to the display unit 103 to project the virtual object 150 onto an object in the real space. For example, when the virtual object 150 appears in response to the user seeing or finding the real object 151 (described above), the virtual object 150 is superimposed on the real object 151 as described later. Displayed.
  • the detecting unit 104 detects an event that occurs in the real space or the virtual space.
  • the detection unit 104 includes a camera, recognizes an image of the user's field of view captured by the camera, and identifies the real object 151 on which the virtual object 150 is an action target based on, for example, its shape. .
  • identification information 152 such as an IC tag or a barcode (which may be a QR code (registered trademark) or a dot code) is disposed on the real object 151
  • the detection unit 104 reads the identification information 152.
  • the real object 151 can be specified.
  • the detecting unit 104 performs such interaction, that is, an action that the virtual object 150 performs on the real object 151 and a reaction from the real object 151, an action that the real object 151 performs on the virtual object 150, and the virtual object 150. Reaction detection is also performed.
  • the actions that the virtual object 150 performs on the real object 151 are physical operations such as the virtual object 150 riding on the real object 151, stepping on the real object 151, and hitting the real object 151, for example.
  • the detection unit 104 needs to constantly monitor the interaction between the virtual object 150 and the real object 151. However, since there is no need to monitor while the virtual object 150 does not appear, the operation of the camera may be turned off to reduce power consumption.
  • the detection unit 104 may analyze an image of the virtual object 150 displayed on the display unit 103 to detect an action that the virtual object 150 is performing on the real object 151, or may relate to the action Information may be obtained directly from the virtual object control unit 101 that controls the operation or action of the virtual object 150.
  • the detecting unit 104 also detects an action (described later) that the output unit 105 performs on the virtual object 150 through the real object 151.
  • the action performed by the real object 151 can be detected based on the analysis result of the image of the virtual object 150 displayed superimposed on the real object 151, the recognition result of the captured image of the camera, or the like.
  • the detection unit 104 may receive feedback from the output control unit 106 for an action that the output unit 105 has performed on the virtual object 150. This detection result is notified to the virtual object control unit 101.
  • the virtual object control unit 101 controls the reaction of the virtual object 150 with respect to the action performed by the output unit 105.
  • the detection unit 104 also detects an interaction between the user and the virtual object 150 (for example, when a part of the user's body becomes the real object 151). For the detection of the action or reaction performed by the user, gesture recognition using a motion capture technology, voice recognition, or the like is used.
  • the detection unit 104 Based on the expression of the virtual object 150 displayed on the display unit 103 or the context such as the action taken by the virtual object 150, the detection unit 104 detects the mental state (excited or cooled) of the virtual object 150. Or other states may be determined. Alternatively, the detection unit 104 may acquire information related to the mental state of the virtual object 150 from the virtual object control unit 101 and notify the output control unit 106 of the information. Accordingly, the output control unit 106 can control the operation of the output unit 105 to perform an action or reaction according to the mental state of the virtual object 150 and tactile feedback (described later) to the user.
  • the output unit 105 generates an output such as vibration, an electric pulse, heat generation or cooling, wind, sound, light emission, movement, jumping, etc. for the real object 151 that is the target of the action of the virtual object 150, The reaction by the real object 151 is realized.
  • the output unit 105 outputs at least a part of output devices among moving devices such as a vibration device, a pulse generation device, a heat generation device, a cooling device, a blower device, an acoustic device, a light emitting device, and a wheel.
  • the output unit 105 including these output devices is incorporated in the real object 151 (in other words, some real objects 151 include the output unit 105).
  • the real object 151 will be described as including the output unit 105.
  • the output control unit 106 controls driving of each output device constituting the output unit 105 as a reaction corresponding to the action that the virtual object 150 performs on the real object 151 detected by the detection unit 104.
  • the output control unit 106 outputs the amplitude and period of vibration, the amount of heat generation, the volume of sound or sound, the amount of light emission, etc. according to the strength of the stepping force (or tapping force) of the virtual object 150 on the real object 151.
  • the outputs from the output devices 1101 to 1108 see FIG. 11 described later
  • the interaction between the virtual object 150 and the real space is expressed.
  • the output control unit 106 causes the virtual object 150 to perform a reaction of the output unit 105 while accurately synchronizing with the action performed by the virtual object 150 (that is, the operation of the virtual object 150 displayed by the display unit 103). Produce the feeling of being in the real place.
  • the output control unit 106 can use the output unit 105 to perform an action on the virtual object 150 instead of a reaction on the action of the virtual object 150.
  • an action on the virtual object 150 on the contrary, such as shaking, heating, cooling, or blowing wind.
  • the environment detection unit 107 detects information regarding the environment of the real space surrounding the virtual object 150 and the user.
  • the virtual object control unit 101 may input the environment information detected by the environment detection unit 107 as necessary and use it for controlling the operation and behavior of the virtual object 150. Further, the output control unit 106 may adjust the output of the output unit 105 according to the environment information, and add the influence of the environment to the expression of the interaction between the virtual object 150 and the real object 151.
  • the environment detection unit 107 detects, for example, ambient light intensity, acoustic intensity, position or location, temperature, weather, time, surrounding image, number of people outside, and the like as environment information.
  • the environment detection unit includes various sensors such as a light quantity sensor, a microphone, a GPS (Global Positioning System) sensor, a temperature sensor, a humidity sensor, a clock, an image sensor (camera), and a radiation sensor.
  • a light quantity sensor such as a microphone, a GPS (Global Positioning System) sensor, a temperature sensor, a humidity sensor, a clock, an image sensor (camera), and a radiation sensor.
  • GPS Global Positioning System
  • the state detection unit 108 detects the state of the user who uses the virtual object 150 (or observes the virtual object 150).
  • the virtual object control unit 101 inputs the state information detected by the state detection unit 108 as necessary, and uses it to control the timing of appearance / disappearance of the virtual object 150 and the operation and behavior of the virtual object 150.
  • the output control unit 106 may also adjust the output of the output unit 105 in accordance with the state information, and add the influence of the user state to the expression of the interaction between the virtual object 150 and the real space.
  • the state detection unit 108 acquires, for example, information on the position and posture of the user's head or posture information in order to track the user's head movement.
  • the state detection unit 108 is a sensor that can detect a total of nine axes, for example, a three-axis gyro sensor, a three-axis acceleration sensor, and a three-axis geomagnetic sensor.
  • the state detection unit 108 may use any one or more sensors such as a GPS (Global Positioning System) sensor, a Doppler sensor, an infrared sensor, and a radio wave intensity sensor.
  • the state detection unit 108 combines the information provided from various infrastructures such as mobile phone base station information and PlaceEngine (registered trademark) information (electrical measurement information from a wireless LAN access point) with the acquisition of position information. You may make it use.
  • PlaceEngine registered trademark
  • the state detection unit 108 includes a user's working state and behavior state (moving state such as stationary, walking, and running, eyelid opening / closing state, line-of-sight direction), and mental state (the user is immersed or concentrated while observing the virtual object). Emotion, emotion, emotion, etc.) and even physiological state.
  • the state detection unit 108 is a camera that shoots the face of the user, a gyro sensor, an acceleration sensor, a speed sensor, a pressure sensor, a temperature sensor that detects body temperature or temperature, and a sweat sensor.
  • Various state sensors such as a myoelectric sensor, an electrooculogram sensor, an electroencephalogram sensor, an expiration sensor, and a gas sensor, and a timer may be provided.
  • the environment detection unit 107 and the state detection unit 108 are arbitrary components of the information processing system 100. Whether the virtual object control unit 101 controls the operation or action of the virtual object 150 based on the environment information and the state information is arbitrary.
  • the information processing system 100 configured as shown in FIG. 1 may be realized by a single device, or may be realized by two or more devices that are physically independent and interconnected by a network or the like. .
  • FIG. 2 shows a specific configuration example 100-2 of the information processing system.
  • the information processing system 100-2 includes two devices, a display device 201 that synthesizes and displays the virtual object 150 in the real space, and an output device 202 that represents the interaction performed by the virtual object 150 in the real space. Consists of physically independent devices.
  • the display device 201 is a game machine main body, for example, and includes a virtual object control unit 101, a virtual object generation unit 102, a display unit 103, and a detection unit 104.
  • the virtual object control unit 101 controls the appearance and disappearance of the virtual object 150 and its operation or action according to rules such as a game.
  • the virtual object generation unit 102 generates an image of the virtual object 150.
  • the display unit 103 synthesizes the image of the virtual object 150 generated by the virtual object generation unit 102 so as to overlap the real image, and displays and outputs it on the screen.
  • the detection unit 104 constantly monitors the operation and behavior of the virtual object 150 controlled by the virtual object control unit 101, and detects an action performed by the virtual object 150 in the real space (or in the virtual space).
  • the display device 201 may include at least one of the environment detection unit 107 and the state detection unit 108.
  • the virtual object control unit 101 may change the action or action of the virtual object 150 or the action to be performed on the real object 151 so as to be influenced by the detected environment information and state information.
  • the output device 202 includes an output control unit 106 and an output unit 105 that are built in the real object 151.
  • the output control unit 106 expresses a reaction to the virtual object 150 by controlling driving of each output device constituting the output unit 105 in accordance with an action performed by the virtual object 150 on the real object 151.
  • the output control unit 106 performs output control for the output unit 105 so that the output device 202 performs an action on the virtual object 150.
  • the display device 201 and the output device 202 include communication units 211 and 212, respectively.
  • the display device 201 transmits information related to the action of the virtual object 150 detected by the detection unit 104 or information related to the action of the virtual object 150 specified by the virtual object control unit 101 to the output device 202 via the communication unit 211. Send.
  • the output control unit 106 configures the output unit 105 as a reaction to the action that the virtual object 150 is performing on the real object 151. Control the drive of each output device.
  • the communication units 211 and 212 are connected using any communication means such as wireless or wired communication.
  • communication means MHL (Mobile High-definition Link), USB (Universal Serial Bus), HDMI (registered trademark) (Multidefinition Multimedia Interface), Wi-Fi (registered trademark), Bluetooth (registered trademark), and Bluetooth (registered trademark), Bluetooth (registered trademark), and Bluetooth (registered trademark), Bluetooth (trademark) BLE (Bluetooth (registered trademark) Low Energy) communication, ultra-low power wireless communication such as ANT, mesh network standardized by IEEE802.11s, infrared communication, human body communication, signal transmission via conductive fiber, etc. Can be mentioned.
  • the output device 202 may further include an environment detection unit 213.
  • the environment detection unit 213 detects information regarding the real space surrounding the virtual object 150 that is performing an action on the real object 151.
  • the output control unit 106 can adjust the output of the output unit 105 according to the environment information, and add the influence of the environment to the expression of the interaction between the virtual object 150 and the real space.
  • the output device 202 can be configured as, for example, a dedicated hardware device that expresses an interaction performed by the virtual object 150 in real space.
  • the output unit 105 vibrates in order to express the reaction to the action performed by the virtual object 150 in various forms such as vibration of the real object 151, heat generation or cooling, wind, sound, light emission, movement, jumping, and the like.
  • a device, a pulse generating device, a heat generating device, a cooling device, a blower device, an acoustic device, a light emitting device, a moving device, and the like are included.
  • the output device 202 can use these output devices to perform an action on the virtual object 150 instead of a reaction on the action of the virtual object 150. For example, it is also possible to perform an action on the virtual object 150 on the contrary, such as shaking, heating, cooling, or blowing wind.
  • the output device 202 can be configured by using an existing electronic device instead of a dedicated hardware device, for example, a smartphone having a vibration function and a speaker, a multi-function terminal, or the like.
  • a dedicated hardware device for example, a smartphone having a vibration function and a speaker, a multi-function terminal, or the like.
  • the types of output devices equipped as the output unit 105 are limited, and the method for expressing the interaction between the virtual object 150 and the real object 151 is also limited.
  • the action and reaction performed between the virtual object 150 and the real object 151 are accurately synchronized, in other words, the operation of the virtual object 150 displayed on the display unit 103 and the driving of the output unit 105 on the output device 202 side are Accurate synchronization is important for showing realistic interactions. On the other hand, if the response delay time is too long for the action and it is not well synchronized, the interaction will be unnatural. If the virtual object 150 is always operated, it is easy for the user to appear as if the user is interacting in real time.
  • FIG. 3 shows an example of a communication sequence in the information processing system 100-2.
  • the display device 201 When the display device 201 identifies the real object 151 by reading the identification information 152 or recognizing the object, the display device 201 synthesizes and displays the virtual object 150 corresponding to the identified real object 151 in the real space (SEQ301). The display device 201 refreshes the operation or action of the virtual object 150 at a predetermined control cycle.
  • the display device 201 detects an action performed by the virtual object 150 on the real object 151, the display device 201 transmits a message including the detection result to the output device 202, for example, at a predetermined time interval (SEQ302).
  • the display device 201 does not transmit information regarding the action of the virtual object 150 but converts the reaction to the action of the virtual object 150 into an instruction for expressing the reaction with the real object 151 or the control information of the output unit 105 and transmits it. It may be.
  • the output device 202 operates the output unit 105 as a reaction on the real object 151 side (SEQ303) to express the interaction between the virtual object 150 and the real object 151.
  • SEQ303 a reaction on the real object 151 side
  • the output device 202 may return a confirmation response to the message from the display device 201, a reaction output completion (interaction) completion report, and the like to the display device 201 (SEQ304).
  • the output device 202 can also perform an action on the virtual object 150, not as a reaction of the real object 151 with respect to the action of the virtual object 150 (SEQ305).
  • the output device 202 may transmit information related to the action performed by the output unit 105 to the display device 201 so that the virtual object 150 performs the reaction (SEQ 306).
  • the display device 201 When the display device 201 receives action information for the virtual object 150 from the output device 202, the display device 201 generates an image of the virtual object 150 that takes a reaction to the information, and synthesizes and displays the image on the real object 151 in the real space.
  • the reaction of the virtual object 150 is performed in exact synchronization (or with a small delay time) with the action performed by the output device 202, that is, the real object 151, the user is given an impression that the interaction is actually performed. Can be given.
  • FIG. 4 shows another specific configuration example 100-4 of the information processing system.
  • the information processing system 100-4 includes a control device 401 that controls the appearance or disappearance of the virtual object 150, its operation or action, a display device 402 that displays the virtual object 150 by combining it with the real space, It is composed of three physically independent devices called an output device 403 that expresses the interaction between the virtual object 150 and the real space.
  • control device 401 may be a server installed at home or on the cloud
  • the display device 402 may be a user terminal that logs into the server.
  • multiple user terminals are logged in to the same server at the same time.
  • control device 401 and the display device 402, the display device 402 and the output device 403, and the output device 403 and the control device 401 are interconnected by wireless or wired communication means.
  • a communication medium such as a LAN (Local Area Network) such as a home network or a wide area network such as the Internet can be used.
  • the control device 401 includes a virtual object control unit 101, and controls the appearance or disappearance of the virtual object 150, its operation or action in accordance with, for example, a rule such as a game or the context of a user's action.
  • the control device 401 can be configured by one server device installed on the Internet or a combination of a plurality of server devices.
  • the display device 402 includes a virtual object generation unit 102, a display unit 103, and a detection unit 104.
  • the virtual object generation unit 102 generates an image of the virtual object 150 when receiving information related to the operation or action of the virtual object 150 from the control device 402. Then, the display unit 103 synthesizes the image of the virtual object 150 generated by the virtual object generation unit 102 so as to overlap the corresponding real object 151, and displays and outputs it on the screen.
  • the detection unit 104 constantly monitors the operation and behavior of the virtual object 150 controlled by the virtual object control unit 101 (or the image of the virtual object 150 displayed by the display unit 103), and the virtual object 150 is a virtual object. An action to be performed on 151 is detected.
  • the display device 402 may include at least one of an environment detection unit and a state detection unit.
  • the display device 402 includes a state detection unit 414.
  • the virtual object control unit 101 receives the environment information and the state information detected by the display device 402, the virtual object control unit 101 applies the action to the real object 151 as if the virtual object 150 is affected by the environment or the state. You may make it change the action to perform.
  • the state detection unit 414 includes a sensor that detects the position and orientation of the display device 402 such as an acceleration sensor and a gyro sensor, for example. In order to move the display position of the virtual object 150 on the screen in accordance with the movement of the visual field, detection results of an acceleration sensor, a gyro sensor, or the like are used.
  • the output device 403 includes an output control unit 106 and an output unit 105 built in the real object 151.
  • the output control unit 106 controls driving of each output device constituting the output unit 105 as a reaction of the real object 151 with respect to an action performed by the virtual object 150 on the real object 151.
  • the output device 403 receives the detection result of the action of the virtual object 150 from the display device 402 or the like, or receives the information regarding the action such as the action or action of the virtual object 150 directly from the control device 401, based on this,
  • the output unit 105 outputs a reaction to the virtual object 150 and expresses an interaction between the virtual object 150 and the real space.
  • the output device 403 may further include an environment detection unit 413.
  • the environment detection unit 413 detects information related to the real space surrounding the virtual object 150 performing an action on the real object 151.
  • the output control unit 106 can adjust the output of the output unit 105 according to the environment information, and add the influence from the environment to the expression of the interaction performed with the virtual object 150.
  • the output device 202 may further include a state detection unit 415.
  • the state detection unit 415 includes a gyro sensor, for example, and detects a change in the position and orientation of the real object 151 that occurs when an action or reaction is performed on the virtual object 150.
  • the action of the virtual object 150 placed on the real object 151 is controlled according to such a change in the position or orientation of the real object 151, and the interaction between the virtual object 150 and the real object 151 is further controlled.
  • FIG. 5 shows a modification 100-5 of the information processing system shown in FIG.
  • the virtual object generation unit 102 is provided in the display device 402
  • the virtual object generation unit 102 is provided in the control device 401 such as a game machine body. Is different.
  • the control device 401 and the display device 402, the display device 402 and the output device 403, and the output device 403 and the control device 401 are interconnected by wireless or wired communication means.
  • control device 402 transmits information on the operation or action of an individual virtual object or an image of an individual virtual object to each display device.
  • the control device 401 as the game machine main body has the same virtual object, a virtual object unique to each user (avatar or the like) with respect to the display device 402 as a game controller possessed by each of a plurality of users participating in the game. Information on a game character or the like may be transmitted. Further, the control device 401 may transmit information on a plurality of virtual objects (virtual objects of each user) to each display device, such as an avatar of another user in the vicinity, together with the user's own avatar. (See FIG. 25 and later).
  • the action and reaction performed between the virtual object 150 and the real object 151 are accurately synchronized, in other words, the operation of the virtual object 150 displayed on the display unit 103 and the driving of the output unit 105 on the output device 202 side.
  • the response delay time is too long for the action and it is not well synchronized, the interaction will be unnatural.
  • the virtual object 150 is always operated, it is easy to give the user an impression that the reaction is taken in real time.
  • FIG. 6 shows an example of a communication sequence in the information processing system 100-4 (or 100-5).
  • the display device 402 When the display device 402 specifies the real object 151 by reading the identification information 152 or recognizing the object in the user's field of view (SEQ601), the display device 402 notifies the control device 401 (SEQ602).
  • control device 401 causes the virtual object 150 corresponding to the read identification information 152 to appear (SEQ603), and the action or action information of the virtual object 150 or the image of the virtual object 150 derived from the information.
  • the data is transmitted to the display device 402 (SEQ604).
  • the control device 401 refreshes the operation or action of the virtual object 150 at a predetermined control cycle.
  • the display device 402 displays the image of the virtual object 150 corresponding to the specified real object 151 by combining with the real space (SEQ605).
  • the display device 402 When the display device 402 detects the state of the user using the display device 402 itself or the environment information surrounding the user (SEQ 606), the display device 402 transmits the detection result to the control device 401 (SEQ 607). Then, the control device 401 performs an image update process according to the received state information (SEQ608), and transmits necessary information to the display device 402 (SEQ609).
  • a real image displayed in a see-through display or a video see-through manner moves through the display device 402.
  • the display device 402 is a device of a type worn by the user, such as a head-mounted display, or a device mounted on a moving body
  • the virtual object 150 is overlaid on the real object 151.
  • By moving the display area of the virtual object 150 so as to cancel the movement of the head the movement of the virtual object 150 following the movement of the user's head can be presented.
  • the display device 402 includes a sensor for detecting the position and orientation of the display device 402 such as an acceleration sensor and a gyro sensor.
  • a sensor for detecting the position and orientation of the display device 402 such as an acceleration sensor and a gyro sensor.
  • the display device 402 transmits the detection result to the control device 401 (SEQ 611).
  • the display area of the virtual object 150 is moved so as to cancel the movement of the user's head, and the virtual object 150 overlaps an appropriate place in the real space (for example, on the real object 151). In this manner, an image correction process is performed (SEQ612).
  • image correction processing may be performed on the display device 402 side.
  • servo control for example, D (differential) control in PID control
  • motion prediction are performed so that the display position of the virtual object 150 converges to 0 at a certain time.
  • control device 401 transmits information on the virtual object 150 after the image correction to the display device 402 (SEQ 613), and the display device 402 displays the virtual object 150 after the correction (SEQ 614) (same as above).
  • the display device 402 detects an action performed by the virtual object 150 on the real object 151 (SEQ615), the display device 402 transmits a message including the detection result to the output device 403 at a predetermined time interval, for example (SEQ616). Alternatively, the control device 401 notifies the output device 403 that an action has been instructed to the virtual object 150 (SEQ617) (SEQ618).
  • the output device 403 operates the output unit 105 as a reaction on the real object 151 side (SEQ619), and the interaction between the virtual object 150 and the real space.
  • SEQ619 a reaction on the real object 151 side
  • the interaction with the virtual object 150 seems to be performed in real space. Impression can be given to the user.
  • the output device 403 may return a confirmation response to a message from the display device 402 or the control unit 401, a reaction output completion (interaction) completion report, or the like to the display device 402 or the control unit 401 (SEQ620). , SEQ 621).
  • the output device 202 can also perform an action on the virtual object 150 instead of as a reaction of the real object 151 with respect to the action of the virtual object 150 (SEQ622).
  • the output device 403 may transmit information related to the action performed by the output unit 105 to the control device 401 or the display device 402 so that the virtual object 150 performs the reaction (SEQ623, SEQ624). .
  • control device 401 can cause the virtual object 150 to react to the action of the real object 151, thereby expressing the interaction between the virtual object 150 and the real space (SEQ625).
  • the reaction of the virtual object 150 is performed in exact synchronization with the action performed by the output device 202, that is, the real object 151, the user sees the interaction realistically.
  • FIG. 29 shows a further modification 100-29 of the information processing system shown in FIG.
  • the functions of the control device 401 such as the virtual object control unit 101 are integrated with the output device 403.
  • the control device 401 is assumed to be a server on the cloud (described above).
  • the output device 403 is a game machine main body installed in the home
  • the display device 402 is a game controller connected to the game machine main body. It is also assumed that a plurality of users' game controllers are connected to one game machine body.
  • the virtual object control unit 101 in the output device 403 controls the appearance and disappearance of the virtual object 150 and its operation or action according to rules such as a game.
  • the virtual object generation unit 102 in the display device 402 generates an image of the virtual object 150 when receiving information about the operation or action of the virtual object 150 from the virtual object control unit 101. Then, the display unit 103 synthesizes the image of the virtual object 150 generated by the virtual object generation unit 102 so as to overlap the real image, and displays and outputs it on the screen.
  • the output control unit 106 in the output device 403 receives information on the action that the virtual object 150 is performing on the real object 151 from the virtual object control unit 101, the output control unit 106 configures the output unit 105 as a reaction of the real object 151. Control the drive of each output device.
  • the action and reaction performed between the virtual object 150 and the real object 151 are accurately synchronized, in other words, the operation of the virtual object 150 displayed on the display unit 103 and the driving of the output unit 105 on the output device 202 side.
  • the response delay time is too long for the action and the synchronization is not well established, the user is given the impression that the interaction is unnatural.
  • the virtual object 150 is constantly operated, it is easy for the user to appear as if taking a reaction in real time.
  • the virtual object 150 appears as an image as shown in FIGS. 2, 4, 5, and 29, and a voice such as a word spoken by the virtual object 150 accompanies the image, or no image is displayed.
  • the appearance form of the virtual object 150 is various, such as when only sound emitted from a predetermined direction appears.
  • the virtual object 150 is predetermined on the system side regardless of the user's intention.
  • a push (PUSH) type appearance method that appears due to the occurrence of this event is assumed.
  • the display device 201 shown in FIG. 2 and the display device 402 shown in FIGS. 4, 5, and 29 are configured as an image display device (head-mounted display) that is used by being mounted on the user's head or face. can do.
  • FIG. 24A shows a state where the user observes the real object 151 on which the identification information 152 is pasted through the head-mounted display 2401. As described above, when the user sees or finds the real object 151, the virtual object 150 associated with the real object 151 (or identification information 152) appears.
  • FIG. 24B shows a state where the user observes the appearing virtual object 150 through the head mounted display 2401.
  • a plurality of user terminals log in to the same server at the same time, and virtual objects corresponding to the user terminals appear simultaneously on the same real object.
  • a plurality of user terminals share one output device 403.
  • FIG. 24 a scene in which a plurality of users wearing head mounted displays 2501, 2502, 2503,... Are looking at the same real object 151.
  • Different virtual objects 150A, 150B, 150C,... For each user are associated with the real object 151 (or identification information 152), and each user has his / her own head-mounted display 2501, 2502, 2503,. And the virtual objects 150A, 150B, 150C,... Of other users can be observed. Further, each of the virtual objects 150A, 150B, 150C,... Interacts with the real object 151, and the virtual objects 150A, 150B, 150C,.
  • FIG. 7 shows an external configuration of an image display apparatus 700 according to an embodiment of the technique disclosed in this specification.
  • the image display device 700 is a head-mounted display that is used by being worn on the head or face of a user, and displays an image for each of the left and right eyes.
  • the illustrated image display device 700 is a transmissive or see-through type, and the user can view a real-world landscape (ie, see-through) through the image while displaying the image. Therefore, an AR (Augmented Reality) image including the virtual object 150 can be superimposed on the real world landscape. Further, since the display image cannot be seen from the outside (that is, another person), it is easy to protect privacy when displaying information.
  • the image display device 700 can be used as the display device 201 shown in FIG. 2 or the display device 402 shown in FIGS. 4, 5, and 29.
  • the illustrated image display apparatus 700 has a structure similar to eyesight correction glasses.
  • Virtual image optical units 701L and 701R including a transparent light guide unit and the like are disposed at positions of the image display device 700 main body facing the left and right eyes of the user. Inside each virtual image optical unit 701L and 701R, An image (not shown) to be observed is displayed.
  • Each of the virtual image optical units 701L and 701R is supported by a support body 702 having a shape similar to a spectacle frame, for example.
  • An outer camera 712 for inputting a surrounding image is installed at the approximate center of the spectacle frame-like support 702.
  • the outer camera 712 can photograph a landscape in the user's line-of-sight direction, for example.
  • the outer camera 712 can be configured with a plurality of cameras so that the three-dimensional information of the surrounding image can be acquired using the parallax information.
  • shooting is performed while moving the camera using SLAM (Simultaneous Localization and Mapping) image recognition, and parallax information is calculated using a plurality of temporally moving frame images (for example, (See Patent Document 5), and the three-dimensional information of the surrounding image can be acquired from the calculated parallax information.
  • SLAM Simultaneous Localization and Mapping
  • a user's field of view following the virtual object 150 is photographed by the outer camera 712.
  • a virtual object 150 corresponding to the real object 151 is displayed on at least one of the virtual image optical units 701L and 701R.
  • microphones 703L and 703R are installed near the left and right ends of the support 702, respectively.
  • the microphones 703L and 703R substantially symmetrically on the left and right, it is possible to recognize only the voice localized at the center (user's voice) and separate it from ambient noise and other people's voice. For example, it is possible to prevent an erroneous operation of picking up a voice other than the user when performing an operation by voice input from the microphones 703L and 703R.
  • FIG. 8 shows a state in which the image display device 700 worn by the user is viewed from above.
  • display panels 704L and 704R for displaying and outputting left-eye and right-eye images are disposed at the left and right ends of the image display device 700, respectively.
  • Each of the display panels 704L and 704R includes a micro display such as a liquid crystal display or an organic EL element, or a laser scanning display such as a retina direct drawing display.
  • the left and right display images output from the display panels 704L and 704R are guided to near the left and right eyes by the virtual image optical units 701L and 701R, and the enlarged virtual images are formed on the user's pupil.
  • each of the virtual image optical units 701L and 701R includes an optical system that collects irradiation light from the micro display, a light guide plate that is disposed at a position where light passing through the optical system is incident, and A deflection filter that reflects light incident on the light guide plate and a deflection filter that emits light that has been totally reflected inside the light guide plate and propagated toward the user's eyes are provided.
  • the display panels 704L and 704R are used for see-through display of the virtual object 150 as one of the AR images.
  • the image display device 700 used by being mounted on the user's head or face may display the virtual object 150 by video see-through instead of see-through.
  • FIG. 9 shows an internal configuration example of the image display device 700. Hereinafter, each part will be described.
  • the control unit 901 includes a ROM (Read Only Memory) 901A and a RAM (Random Access Memory) 901B.
  • the ROM 901A stores program codes executed by the control unit 901 and various data.
  • the control unit 901 executes the program loaded into the RAM 901B, thereby starting the image display control and comprehensively controlling the operation of the entire image display device 700.
  • an image display control program As a program or data stored in the ROM 901A, an image display control program, a control program for generating or controlling display of the virtual object 150, an action performed by the virtual object 150 in the real space is detected (for example, the virtual object 150 Identifies a real object 151 performing physical operation and detects an action performed on the real object 151), a detection program, a communication processing program with an external device such as a server (not shown) on the Internet), a real object A library of virtual objects 150 corresponding to each 151, identification information 152 unique to the device 700, and the like can be given. However, the library of virtual objects 150 may not be held locally by the image display device 700 but may be acquired sequentially from a server (not shown) on the Internet.
  • the input operation unit 902 includes one or more operation elements that the user performs input operations such as keys, buttons, and switches, receives a user instruction via the operation elements, and outputs the instruction to the control unit 901.
  • the input operation unit 902 similarly accepts a user instruction including a remote control command received by the remote control reception unit 903 and outputs it to the control unit 901.
  • the user may perform the appearance and disappearance of the display of the virtual object 150 and the operation on the virtual object 150 via the input operation unit 902.
  • the status information acquisition unit 904 is a functional module that acquires status information of the image processing apparatus 700 main body or a user wearing the apparatus 700.
  • the status information acquisition unit 904 may be equipped with various sensors for detecting status information by itself, or an external device (for example, a user wears a part or all of these sensors).
  • the state information may be acquired from a smartphone, a wristwatch, or another multifunction terminal) via the communication unit 905 (described later).
  • the state information acquisition unit 904 acquires, for example, information on the position and posture of the user's head or posture information in order to track the user's head movement.
  • the state information acquisition unit 904 is a sensor that can detect a total of nine axes including, for example, a three-axis gyro sensor, a three-axis acceleration sensor, and a three-axis geomagnetic sensor.
  • the state information acquisition unit 304 may use any one or more sensors such as a GPS (Global Positioning System) sensor, a Doppler sensor, an infrared sensor, and a radio wave intensity sensor.
  • the state information acquisition unit 904 acquires information provided from various infrastructures such as mobile phone base station information and PlaceEngine (registered trademark) information (electrical measurement information from a wireless LAN access point) for acquiring position and orientation information. Further, it may be used in combination.
  • the state acquisition unit 904 for tracking head movement is built in a head-mounted display as the image display device 700, but accessory parts attached to the head-mounted display, etc. You may make it comprise.
  • the externally connected state acquisition unit 904 expresses the posture information of the head in the form of a rotation matrix, for example, such as wireless communication such as Bluetooth (registered trademark) communication or USB (Universal Serial Bus). Send to the head-mounted display via high-speed wired interface.
  • the state information acquisition unit 904 may include, for example, the user's work state (installation state of the image display device 700) as the state information of the user wearing the image display device 700. Presence / absence), user's action state (moving state such as stationary, walking, running, eyelid opening / closing state, line of sight, pupil size, physical operation such as action or reaction performed on virtual object 150), mental state ( The degree of excitement, excitement, arousal, emotion, emotion, etc., such as whether the user is immersed or concentrated while observing the display image), and the physiological state are acquired.
  • the user's work state installation state of the image display device 700
  • Presence / absence user's action state
  • moving state such as stationary, walking, running, eyelid opening / closing state, line of sight, pupil size, physical operation such as action or reaction performed on virtual object 150
  • mental state The degree of excitement, excitement, arousal, emotion, emotion, etc., such as whether the user is immersed or concentrated while observing the display image
  • the state information acquisition unit 904 obtains the state information from the user by using a mounting sensor such as a mechanical switch, an inner camera that captures the user's face, a gyro sensor, an acceleration sensor, a speed sensor, a pressure sensor Sensors, temperature sensors that detect body temperature or temperature, sweat sensors, myoelectric sensors, electro-oculogram sensors, electroencephalogram sensors, breath sensors, gas / ion concentration sensors, and other state sensors, and timers (all not shown) May be.
  • a mounting sensor such as a mechanical switch, an inner camera that captures the user's face, a gyro sensor, an acceleration sensor, a speed sensor, a pressure sensor Sensors, temperature sensors that detect body temperature or temperature, sweat sensors, myoelectric sensors, electro-oculogram sensors, electroencephalogram sensors, breath sensors, gas / ion concentration sensors, and other state sensors, and timers (all not shown) May be.
  • the appearance or disappearance of the display of the virtual object 150, the operation of the virtual object 150, and the operation of the real object 151 on the virtual object 150 are controlled based on the state or state change acquired by the state information acquisition unit 904. Sometimes.
  • the environment information acquisition unit 916 is a functional module that acquires information on one or more environmental factors surrounding the image processing apparatus 700 main body or a user wearing the apparatus 700.
  • the environmental factors referred to here are electromagnetic waves (ultraviolet rays, blue light, radio waves), heat rays (infrared rays), radiation, harmful chemical substances floating in the atmosphere, noise, negative ions, and the like that the device 700 or the user receives.
  • the environmental information acquisition unit 916 may be equipped with various sensors for detecting such environmental factors.
  • the environment information acquisition unit 916 collects external devices (for example, smartphones, watches, and other multi-function terminals worn by the user) including some or all of these sensors, and environment information. You may make it acquire the information regarding an environmental factor via the communication part 905 (after-mentioned) from a server.
  • the appearance or disappearance of the display of the virtual object 150, the operation of the virtual object 150, and the operation of the real object 151 on the virtual object 150 are controlled based on the environment acquired by the environment information acquisition unit 916. Sometimes.
  • the outer camera 912 is disposed, for example, in the approximate center of the front surface of the image display apparatus 700 (see the outer camera 712 in FIG. 7), and can capture a surrounding image.
  • an image of the user's own eyes that is, the user's line-of-sight direction, is obtained with the outer camera 912. Images can be taken.
  • the outer camera 912 can be configured by a plurality of cameras so that the three-dimensional information of the surrounding image can be acquired using the parallax information.
  • SLAM Simultaneous Localization and Mapping
  • parallax information is calculated using a plurality of temporally moving frame images (for example, (See Patent Document 5), and the three-dimensional information of the surrounding image can be acquired from the calculated parallax information.
  • the user can adjust the zoom of the outer camera 912 through the operation of the input operation unit 902, the size of the pupil recognized by the internal camera, and voice input.
  • the captured image of the outer camera 912 can be displayed and output on the display unit 909, and can also be stored in the storage unit 906.
  • the user's field of view following the virtual object 150 can be captured by the outer camera 912. Therefore, in this embodiment, the outer camera 912 can also be used as the detection unit 104 described above.
  • the real object 151 can be specified by reading the identification information 152 such as a barcode attached to the real object 151 from the photographed image of the outer camera 912 or by recognizing the object from the photographed image of the outer camera 912. it can.
  • the communication unit 905 performs communication processing with other image display devices, multi-function terminals, external devices such as a server (not shown) on the Internet, and modulation / demodulation and encoding / decoding processing of communication signals.
  • the control unit 901 transmits transmission data to the external device from the communication unit 905.
  • the configuration of the communication unit 905 is arbitrary.
  • the communication unit 905 can be configured in accordance with a communication method used for transmission / reception operations with an external device serving as a communication partner.
  • the communication method may be either wired or wireless.
  • Communication standards mentioned here include MHL (Mobile High-definition Link), USB (Universal Serial Bus), HDMI (registered trademark) Multimedia Interface, Wi-Fi (registered trademark), Bluetooth (registered trademark), and Bluetooth (registered trademark), Bluetooth (registered trademark), and Bluetooth (registered trademark), Bluetooth (registered trademark), and Bluetooth (registered trademark), Bluetooth (registered trademark), and Bluetooth (registered trademark), Bluetooth (registered trademark), and Bluetooth (registered trademark), Bluetooth (trademark) BLE (Bluetooth (registered trademark) Low Energy) communication, ultra-low power wireless communication such as ANT, mesh network standardized by IEEE802.11s, infrared communication, human body communication, signal transmission via conductive fiber, etc. Can be mentioned.
  • the communication unit 905 may be a cellular radio transceiver that operates according to a standard such as W-CDMA (Wideband Code Multiple Access), LTE (Long Term Evolution), or the like.
  • W-CDMA Wideband Code Multiple Access
  • LTE Long Term Evolution
  • information on the virtual object 150 generated inside the image display device 700, acquired state information, and environment information may be transmitted to an external device via the communication unit 905.
  • information (such as a library) generated by an external server or the like for controlling the display of the virtual object 150 may be received via the communication unit 905.
  • the storage unit 906 is a large-capacity storage device configured by an SSD (Solid State Drive) or the like.
  • the storage unit 906 stores application programs executed by the control unit 901 and various data. For example, information (such as a library) of the virtual object 150 whose display is controlled by the control unit 901 and a display image of the virtual object 150 displayed on the display unit 909 may be stored in the storage unit 906.
  • the image processing unit 907 further performs signal processing such as image quality correction on the image signal output from the control unit 901 and converts the image signal to a resolution that matches the screen of the display unit 909.
  • the display driving unit 908 sequentially selects the pixels of the display unit 909 for each row and performs line sequential scanning, and supplies a pixel signal based on the image signal that has been subjected to signal processing.
  • the display unit 909 includes a display panel configured by, for example, a micro display such as an organic EL (Electro-Luminescence) element or a liquid crystal display, or a laser scanning display such as a direct retina display.
  • the virtual image optical unit 910 enlarges and projects the display image of the display unit 909 and causes the user to observe it as an enlarged virtual image.
  • the virtual object 150 and other AR images are made to be observed by the user through the virtual image optical unit 910.
  • the outer display unit 915 has a display screen that faces the outside of the image display device 700 (in the direction opposite to the face of the user who wears the image display device 700). Can be displayed. For example, when the image of the virtual object 150 displayed on the display unit 909 is also displayed on the outer display unit 915, virtual reality can be shared with other users around. For the detailed configuration of the outer display unit 915, see, for example, Japanese Patent Application Nos. 2012-200902 and 2012-200903 already assigned to the applicant.
  • the audio processing unit 913 further performs signal processing such as sound quality correction, audio amplification, and input audio signal on the audio signal output from the control unit 901.
  • the voice input / output unit 914 outputs the voice after the voice processing to the outside and inputs the voice from the microphone (described above).
  • the audio input / output unit 914 can output a binaural sound source.
  • the basic operation is that the virtual object 150 appears when the user sees or finds the real object 151.
  • the identification information 152 is read by capturing the user's field of view with the outer camera 912 and analyzing the captured image, or is present by object recognition.
  • the object 151 can be specified, and the virtual object 150 appears on the display unit 909 accordingly.
  • the display device 201 or the display device 402 can be configured by using an information device (for example, see Patent Document 6) such as a smartphone or a digital camera that displays a captured image of the camera through.
  • an information device for example, see Patent Document 6
  • a smartphone or a digital camera that displays a captured image of the camera through.
  • FIG. 10 schematically shows an internal configuration example of the output device 202 or 403 configured as a dedicated hardware device.
  • the output device 202 is a hardware device that represents an interaction performed by the virtual object 150 in the real space, and is integrated with or built in the real object 151, for example.
  • the output device 202 performs a reaction on the action of the virtual object 150 or performs an action on the virtual object 150.
  • the illustrated output device 202 includes a control unit 1001, a communication unit 1002, a state detection unit 1003, an environment detection unit 1004, an actuator unit 1020, and a drive control unit 1010.
  • the control unit 1001 includes a ROM 1001A and a RAM 1001B.
  • the ROM 901A stores program codes executed by the control unit 1001 and various data.
  • the control unit 1001 controls the operation of the actuator unit 1020 via the drive control unit 1010 by executing a program loaded into the RAM 1001B.
  • the operation of the actuator unit 1020 for expressing a reaction to an action performed by the virtual object 150 on the real object 151, an action performed by the real object 151 on the virtual object 150, or the like is controlled.
  • Control program Further, data such as an operation pattern of the actuator unit 1020 for expressing an action or reaction desired to be performed on the virtual object 150 through the real object 151 may be stored in the ROM 100A.
  • the state detection unit 1003 detects the state of the real object 151 on which the output device 202 is mounted or a change in the state.
  • the state detection unit 1003 includes, for example, a gyro sensor, an acceleration sensor, a speed sensor, a pressure sensor, a temperature sensor that detects body temperature or air temperature, a sweat sensor, a myoelectric sensor, an electro-oculogram sensor, an electroencephalogram sensor, an expiration sensor, and a gas ion concentration.
  • One or more state sensors, such as sensors, are provided.
  • the environment detection unit 1004 detects one or more environmental factors surrounding the real object 151 on which the output device 202 is mounted, or the virtual object 150 performing a physical operation on the real object 151, or a change thereof.
  • the actuator unit 1020 includes one or more output device groups for outputting a reaction or action of the real object 151 with respect to the virtual object 150.
  • FIG. 11 schematically shows a configuration example of the actuator unit 1020.
  • the actuator unit 1020 includes at least one of a vibration device 1101, a heat generation device 1102, a cooling device 1103, a blower device 1104 such as a fan, an acoustic device 1105 such as a speaker, a light emitting device 1106, a moving device 1107 such as a wheel, and a pulse generation device 1108. Part output device.
  • the control unit 1001 can control the operations of these output devices 1101 to 1108 through the drive control unit 1010.
  • the actuator unit 1020 performs vibration, heat generation or cooling, wind, sound, light emission, movement, and the like on the real object 151 on which the virtual object 150 performs an action as a reaction or action on the virtual object 150.
  • Output such as jumping can be generated.
  • There are many types of output devices equipped in the actuator unit 1020 and when a plurality of output devices are operated in combination, more various interactions can be presented.
  • control unit 1001 When the control unit 1001 receives a detection result of an action performed by the virtual object 150 in the real space (for example, a physical operation performed on the real object 151) from the display devices 201 and 402 via the communication unit 1002, The reaction for the action is calculated, and the operation of the actuator unit 1020 is controlled via the drive control unit 1010. Alternatively, when the control unit 1001 receives a reaction calculation result from the display devices 201 and 402 via the communication unit 1002, the control unit 1001 controls the operation of the actuator unit 1020 accordingly.
  • a detection result of an action performed by the virtual object 150 in the real space for example, a physical operation performed on the real object 151
  • the control unit 1001 controls the operation of the actuator unit 1020 accordingly.
  • control unit 1001 receives information regarding the state of the user and changes in the state from the display devices 201 and 402, or information regarding changes in the environment surrounding the display devices 201 and 402 and the user, and changes in the environment via the communication unit 1002. Is received, the reaction or action of the real object 151 corresponding to the state or the change of the state or the environment or the change of the environment is calculated, and the operation of the actuator unit 1020 is controlled via the drive control unit 1010. Alternatively, when the control unit 1001 receives a reaction or a calculation result of an action corresponding to the state or environment from the display devices 201 and 402 via the communication unit 1002, the control unit 1001 controls the operation of the actuator unit 1020 accordingly.
  • the state of the user referred to here includes a physical operation such as an action or a reaction performed on the virtual object 150 by the user himself / herself.
  • control unit 1001 reacts or changes depending on the state or state change of the real object 151 detected by the state detection unit 1003, the environmental factor surrounding the virtual object 150 detected by the state detection unit 1004, or the change thereof. And the operation of the actuator unit 1020 is controlled according to this.
  • the control unit 1001 may feed back the action or reaction of the real object 151 performed using the actuator unit 1020 to the display devices 201 and 402 via the communication unit 1002.
  • the shape and size of the output device 202 or the real object 151 on which the output device 202 is mounted are arbitrary (hereinafter, the output device 202 and the real object 151 on which the output device 202 is mounted are unified as “output device 202”. I will call it).
  • a flat output device such as a cushion as shown in FIG. 12A 202 and a disk-shaped output device 202 as shown in FIG. 12B are conceivable.
  • the appropriate size of the output device 202 varies depending on the size of the virtual object 150 that performs an action or receives a reaction. For example, when the virtual object 150 has a palm size, the output device 202 may also have a palm size, as shown in FIG. 12C.
  • the upper surface is an operation surface 1201 for performing physical operations (actions performed by the virtual object 150 and reactions performed by the output device 202 on the virtual object 150).
  • the virtual object 150 rides on the operation surface 1201 and performs various activities such as walking, running, jumping, and playing a musical instrument.
  • FIGS. 12A to 12C only a single virtual object 150 appears on one output device 202 (real object 151), but two or more virtual objects as shown in FIG. A scene where objects appear and coexist simultaneously is also assumed.
  • one of the plurality of virtual objects is the user's own avatar or the character of the game being played by the user, and the other virtual objects are other users' avatars or game characters.
  • the real object 151 includes the output unit 105 or is integrated with the output unit 105 and appears on the real object 151. It is possible to react to the action of the virtual object 150, or to perform an action on the virtual object 150.
  • the real object 151 does not include the output unit 105, is simply an object in which the identification information 152 is arranged or can be recognized, and is a stage where the virtual object 150 appears. Does not.
  • the real object 151 may be a region 2601 in which the identification information 152 is disposed indoors as shown in FIG. 26, or a place that can be specified by image recognition or the like.
  • the virtual object 150 is displayed so as to overlap the area 2601.
  • the place where the identification information 152 is disposed is merely an anchor for calling the virtual object 150, and no physical operation is performed on the virtual object 150 (no interaction with the virtual object 150 is performed).
  • a user wearing a head-mounted display 2701 turns to the right and looks at the right shoulder.
  • the fact that the user has turned to the right can be detected based on, for example, recognition processing of a captured image of the outer camera 912 or sensor output such as a gyro sensor.
  • the head mounted display 2701 displays the virtual object 150 so as to be placed directly on the right shoulder of the user.
  • the appearance of turning to the right corresponds to the PULL type (described above).
  • a voice that the virtual object 150 speaks from near the right shoulder of the user is generated.
  • the virtual object 150 starts to be displayed in response. It is a natural interaction that the virtual object 150 speaks from a fixed direction such as the right shoulder.
  • the appearance method of talking to the user autonomously when the virtual object 150 wants to appear is classified as a PUSH type (described above). Further, when the user turns away from the right shoulder and the virtual object 150 placed on the right shoulder goes out of the field of view, the display of the virtual object 150 disappears.
  • the head-mounted display 2801 when it is detected that the user wearing the head-mounted display 2801 looks at his / her palm 2802, the head-mounted display 2801 is placed on the user's palm 2802.
  • the virtual object 150 is displayed so as to be placed directly. At this time, whether or not the user is looking at the palm of the user may be confirmed by, for example, authentication processing of a fingerprint photographed by the outer camera 912.
  • the virtual object 150 is displayed. It may be an about method. Palms can be identified by machine learning. Further, the display of the virtual object 150 may be extinguished by the user retracting the palm or holding the hand.
  • the right shoulder is raised and lowered instead of driving the hardware device such as the actuator unit 1020.
  • the action on the virtual object 150 can be performed by human operations such as shaking the right shoulder, raising and lowering the palm, and joining hands.
  • An action performed by the user on the virtual object 150 based on a photographed image of the outer camera 912 can be detected based on a photographed image of the outer camera 912, for example.
  • the virtual object control unit 101 may control the reaction operation of the virtual object 150 such as stepping on the right shoulder or the palm of the hand, jumping, or rolling down in response to the detected action on the virtual object 150. .
  • the vibration device 1101 is configured by a combination of one or more devices that convert an electrical signal into force or mechanical distortion, such as a piezoelectric element.
  • the operation surface 1201 of the output device 202 is disposed so as to be supported by three or more piezoelectric elements 1301, 1302, and 1303. Then, as shown in FIG. 14, by operating the piezoelectric elements 1301, 1302, and 1303 to have different strokes, a free space can be expressed on the operation surface 1201 as shown in FIG.
  • the walking virtual object 150 falls from the operation surface 1201 unless it is tilted forward, the ground contact position of the foot is changed, or the jump is performed.
  • the detection unit 104 detects an action on the virtual object 150 of the output device 202 (real object 151) that the operation surface 120 of the real object 151 is tilted based on the recognition result of the captured image of the outer camera 912 and the like. Alternatively, the detection unit 104 receives a notification from the output control unit 106 that the actuator unit 1020 has been operated so as to tilt the operation surface 120. Then, the detection unit 104 notifies the virtual object control unit 101 of the action that the output device 202 has performed on the virtual object 150. In contrast, the virtual object control unit 101 moves the virtual object 150 so that it does not fall off the floor, changes its posture, or falls off the floor without changing the posture. Control.
  • the display unit 103 displays a virtual object 150 that takes a reaction.
  • the operation of the actuator unit 1020 is not only an action on the virtual object 150 but also a tactile feedback to the user.
  • the vibration device 1101 vibrates and steps.
  • the tactile sensation 1601 is transmitted from the lower surface of the output device 202 (real object 151) to the palm.
  • the acoustic device 1105 may generate a stepping sound (a pseudo sound such as “don, don”) 1602 to enhance the sense of presence. Further, it may be expressed by temperature that the heat generating device 1106 generates heat and receives a physical operation from the virtual object 150. Further, when the virtual object 150 that is constantly operated, such as continuing to step on the virtual object 150, is displayed, it is possible to give an impression that the virtual object 150 is interacting without delay.
  • the vibration 1701 of the vibration device 1101 and the larger footstep sound 1702 due to the acoustic device 1105 are generated, and the ventilation The device 1104 may generate a breeze 1703, the heat generating device 1102 may generate heat, or the light emitting device 1106 may emit a flashing light 1704, so that the virtual object 150 may actually pass. Further, when the virtual object 150 that is constantly operated, such as continuing to step on the virtual object 150, is displayed, it is possible to give an impression that the virtual object 150 is interacting without delay.
  • the output device 202 can transmit the mental state of the virtual object 150 to the palm of the user by temperature using the heat generating device 1102 and the cooling device 1103.
  • the heat generating device 1102 generates heat
  • the hot air 1801 conveys the excited state of the virtual object 150 from the palm to the user. Yes (see FIG. 18).
  • the cooling device 1103 cools the user's palm
  • the cold object 1901 is cooled (frozen) with the cold air 1901 from the palm. Can be communicated to the user (see FIG. 19).
  • the output device 202 can add a sound effect or the like to the action or reaction performed by the virtual object 150 using the acoustic device 1105 to give a sense of reality.
  • the virtual object 150 is playing a musical instrument such as the violin 2000
  • the sound of the other musical instruments 2001, 2002,... Can be uttered from the acoustic device 1105 to improve the performance effect (see FIG. 20).
  • the state information acquisition unit 904 or the like can further enhance the atmosphere by emitting the sound of applause 2010 from the acoustic device 1105 in synchronization with the timing when the user is impressed by the performance of the virtual object 150.
  • FIG. 10 and FIG. 11 show a configuration example of a high-spec output device 202 equipped with a plurality of output devices 1101, 1102,.
  • the actuator unit 1020 is equipped with various types of output devices, the actions and reactions in the real space of the virtual object 150 can be expressed in a more diverse manner, as can be seen with reference to FIGS. .
  • the output device 202 can be substituted by an information terminal equipped with only a limited output device.
  • a flat palm-sized information processing device such as a smartphone equipped with a vibrator function such as an eccentric motor can be used as the output device 202 according to the present embodiment. .
  • the virtual object 150 does not operate in synchronization with the action or reaction performed by the output device 403, the virtual object 150 becomes an unnatural operation.
  • the display device 402 is configured as a head-mounted display, when the user swings, the display area of the virtual object 150 is moved so as to cancel the head movement detected by the gyro sensor or the like. Thus, the virtual object 150 that follows the movement of the user's head can be presented.
  • the display area of the virtual object 150 moves to the opposite left side. Since the object 150 stays on the real object 151 where it appears, the virtual object 150 appears to the user as if it exists in the real space.
  • the display area of the virtual object 150 is made to follow the movement of the user's head, that is, the field of view (that is, the virtual object 150 must be returned to the location of the original real object 151).
  • the virtual object 150 has a strong impression as a display image of the head mounted display 2101 and does not appear to exist in the real space.
  • the display becomes unnatural.
  • the control device 401 that controls the virtual object 150 and the display device 402 that displays the virtual object 150 are configured as physically independent devices. In some cases, a delay due to communication processing also occurs, so the latency problem becomes more serious.
  • FIG. 23 shows a state in which the movement of the image of the virtual object 150 is delayed with respect to the movement of the user's head.
  • the actual movement of the user's head is indicated by a solid line 2301
  • the detected amount of head movement recognized from the captured image of the camera is indicated by a dashed line 2302.
  • a correct value is known only with a time delay.
  • the movement of the user's head itself can be detected by a sensor such as a gyro sensor (described above).
  • a sensor such as a gyro sensor (described above).
  • a detected amount of head movement by a sensor such as a gyro sensor is indicated by a dotted line 2303.
  • the gyro sensor is a relative sensor, the movement of the user's head per unit time can be detected, but the absolute coordinates are unknown and there is a concern that it will eventually shift.
  • a process of matching to a correct value may be performed in parallel using the image recognition result indicated by reference numeral 2302. Specifically, the servo is applied so that the difference between the detection amount of the head movement by the gyro sensor and the detection amount by the image recognition becomes zero, and whether the difference converges to zero in a certain time (see the image). So that the difference is zero when the head is stationary.
  • the detection amount of the gyro sensor is differentially controlled (motion prediction such as feedforward use of differential control in which a differential signal is superimposed), there is a certain effect.
  • the virtual object 150 takes a reaction to the action of the real object 151, there is a latency problem as well.
  • the reaction that the virtual object 150 tilts forward changes the ground contact position of the foot, jumps, or falls down is performed.
  • the delay time until the virtual object 151 takes a reaction with respect to the movement of the real object 151 is too long, the operation of the virtual object 150 does not appear to be a reaction and an unnatural image is generated. If a real object 151 is photographed with a camera and its movement is detected by image recognition, the correct value is known only with a time delay.
  • the detection unit 104 in the display device 402 detects the action of the real object 151 from the photographed image of the camera, etc., the control device 401 generates the action of the virtual object 150 corresponding to the action, and the display device 402 displays the action.
  • a delay occurs due to arithmetic processing in each of the devices 401 and 402 and communication processing between the devices 401 and 402.
  • a change in the position or orientation of the real object 151 detected by the gyro sensor (described above) included in the landing device 403 as the state detection unit 415 is used.
  • the operation of the corresponding virtual object 150 may be controlled.
  • the virtual object 150 is caused to take a reaction of tilting forward, changing the ground contact position of the foot, jumping, or falling down.
  • the gyro sensor is a relative sensor, the movement of the user's head per unit time can be detected, but since the absolute coordinates are not known, it is to be matched with the image information (same as above).
  • the technology disclosed in this specification relates to a technology for presenting an interaction between a virtual object and a real space.
  • FIG. 2, FIG. 4, FIG. As system configurations for realizing the technology, FIG. 2, FIG. 4, FIG.
  • the implementation is not limited to these.
  • a head-mounted display is used as a display device that presents a virtual object to the user.
  • the technology disclosed in this specification is not limited to this.
  • Various information terminals having a display screen such as a smartphone, a tablet terminal, and a game controller can be used as a display device.
  • FIGS. 12, 26, 27, and 28 are given as real objects in which virtual objects appear, but the technology disclosed in this specification is not limited to these.
  • an output unit for adding motion to a real object A control unit that controls an output from the output unit according to an operation performed by the virtual object on the real object or an operation performed on the virtual object by the real object;
  • An information processing apparatus comprising: (2) It further includes identification information for identifying the information processing apparatus.
  • (3) a receiving unit that receives a detection result of an operation performed by the virtual object on the real object The control unit controls the output from the output unit according to the received detection result.
  • the information processing apparatus controls appearance and disappearance of the virtual object.
  • the information processing apparatus according to (4) above.
  • the output unit includes at least one output device among a vibration device, a pulse generation device, a heat generation device, a cooling device, a blower device, an acoustic device, a light emitting device, and a moving device incorporated in the real object. Prepare The information processing apparatus according to (1) above.
  • the control unit controls the output from the output unit in synchronization with the operation of the virtual object displayed by the display device.
  • the information processing apparatus according to (1) above.
  • An information processing method comprising: (9) a detection unit for detecting a specific real object; A display unit for displaying a virtual object in response to detecting the specific real object; A display device comprising: (10) The detection unit identifies the real object, The display unit displays the virtual object corresponding to the identified real object; The display device according to (9) above. (11) The detection unit identifies the real object based on identification information included in the real object, or identifies the real object by object recognition. The display device according to (9) above.
  • the detection unit detects the real object from within the user's field of view, The display unit displays the virtual object superimposed on the real object; The display device according to (9) above.
  • a virtual object control unit that controls the operation of the virtual object is further provided.
  • the virtual object control unit controls appearance and disappearance of the virtual object.
  • the virtual object control unit controls the appearance or disappearance of the virtual object according to a user's action.
  • (16) The virtual object control unit controls the information amount of the virtual object displayed by the display unit according to a user's action or situation, and a time zone.
  • the virtual object control unit controls an operation of the virtual object with respect to the real object.
  • the virtual object control unit controls the operation of the virtual object according to an operation that the virtual object receives from the real object.
  • the detection unit detects an operation of the virtual object with respect to the real object, or an operation received by the virtual object from the real object,
  • the virtual object control unit controls the operation of the virtual object based on a detection result of the detection unit.
  • (20) The virtual object control unit controls the operation of the virtual object so as to be synchronized with the operation of the real object.
  • a transmission unit that transmits the detection result of the detection unit to an external device is further provided.
  • (22) The virtual object displayed on the display unit is always operated.
  • (23) The display unit is used by being mounted on a user's head or face.
  • (24) A position and orientation detection unit that detects the position and orientation of the user's head or face, The display unit corrects the display of the virtual object in a direction opposite to the change in the position or posture of the user's head or face,
  • (25) a detection step of detecting a specific real object;
  • a control device for controlling the operation of the virtual object;
  • a display device that detects a real object and displays a corresponding virtual object;
  • An output device that applies an action to a real object in response to an action performed by the virtual object on the real object or an action performed by the real object on the virtual object;
  • An information processing system comprising: (27) a display device that detects a real object, displays a corresponding virtual object, and controls the operation of the virtual object;
  • An output device that applies an action to a real object in response to an action performed by the virtual object on the real object or an action performed by the real object on the virtual object;
  • An information processing system comprising:
  • Communication part 1003 ... State detection part, 1004 ... Environment detection part 1010 ... Drive control part, 1020 ... Actuator part 1101 ... Vibration device, 1102 ... Heat generation device 1103 ... Cooling device, 1104 ... Air blow device 1105 ... Acoustic device, 1106 ... Light emitting device 1107 ... Moving device, 1108 ... Pulse generating device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

 仮想物体と現実空間とのインタラクションを好適に提示する。 ユーザーが実在物体151を見たことに応じて、又は、見付けたことに応じて、その実在物体151に対応する仮想物体150が出現する。実在物体151は、振動や、電気パルス、発熱又は冷却、風、音、発光、移動、跳躍などの出力を生じさせる出力デバイスを備え、仮想物体150が実在物体151に行なったアクションに対するリアクションを行なう。仮想物体150と実在物体151間のインタラクションがうまく同期して行なわれると、よりリアルな印象を与えることができる。

Description

情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システム
 本明細書で開示する技術は、拡張現実画像内で現実画像に合成された仮想画像に関する処理を行なう情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システムに係り、特に、仮想物体と現実空間とのインタラクションを提示する情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システムに関する。
 2D若しくは3Dゲームのキャラクターや、プレイヤー(ユーザー)本人の化身であるアバター、さらには、コンピューターのユーザー・インターフェースとして、情報処理の記述分野で、仮想生物が広く利用されている。この種の仮想生物は、情報処理装置上で動作が生成され、画面上を自由に動き回ったり、音声を発したりする。
 また最近では、拡張現実感(Augmented Reality:AR)若しくは複合現実感のように、仮想的な画像を現実画像に重ね合わせて見せる技術が浸透しつつある。現実画像に重ね合わせる仮想画像には、ゲームのキャラクターや、プレイヤー(ユーザー)本人の化身であるアバター、仮想ペット、コンピューターのユーザー・インターフェースといった仮想生物、あるいは自動車などの仮想的な移動体が挙げられる。
 例えば、ユーザーと対話することが可能で、仮想画面上を歩き回る仮想ペットを、実環境の画像と合成して表示するエンタテイメント装置について提案がなされている(例えば、特許文献1を参照のこと)。このエンタテイメント装置は、システム・ユニットで生成した仮想ペットをビデオ・カメラで捕捉した実画像にレンダリングして、ディスプレイとスピーカーを有するモニターやテレビセットのようなディスプレイ・サウンド出力装置に表示する。しかしながら、仮想ペットは画面内でのみ移動し、その行動やリアクションを表現する音声などがディスプレイ・サウンド出力装置の設置場所から出力されるだけであり、仮想ペットと現実空間とのインタラクションをリアルに表現するには限界がある。
 また、実物体が通過する奥行き位置に、DFD(Depth Fusion Display)型の3次元表示装置により表示される3次元立体像の奥行き位置を一致させ、仮想物体が観察者にとってあたかも同じ空間に立体的に存在し、両者がインタラクションを持つかのような感覚を呈示するオブジェクト表示装置について提案がなされている(例えば、特許文献2を参照のこと)。しかしながら、このオブジェクト表示装置が与えることができるのは、視覚的なインタラクションの効果に限定される。また、インタラクションの効果が及ぶのは、仮想物体を表示するオブジェクト表示装置の設置場所に限定される。
 また、仮想物体を含んだ仮想空間の映像を現実空間に重畳させてヘッド・マウント・ディスプレイで提示する画像処理方法について提案がなされている(例えば、特許文献3を参照のこと)。この画像処理方法によれば、仮想物体が仮想空間中を動き回る音などの効果音をスピーカーから出力する。しかしながら、効果音は、仮想物体の仮想空間中でのインタラクションを表現したものであり、仮想物体の現実空間とのインタラクションを提示するものではない。
 また、実視野内の皮膚の上に仮想ペットが虚像として現れるように、仮想ペットの画像を表示させる情報端末装置について提案がなされている(例えば、特許文献4を参照のこと)。仮想ペットが手などの皮膚の動きに合わせて動くことにより、あたかも皮膚の動きに仮想ペットが反応しているような印象を与える。すなわち、この情報端末装置によれば、現実空間にいるユーザーは仮想ペットに対するアクションを行なうことができるが、逆に仮想ペットが現実空間でアクションを行なうことはできない。すなわち、仮想ペットと現実空間とのインタラクションを提示するものではない。
 本明細書で開示する技術の目的は、仮想物体と現実空間とのインタラクションを好適に提示することができる、優れた情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システムを提供することにある。
 本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
 実在物体に動作を加える出力部と、
 仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、前記出力部からの出力を制御する制御部と、
を具備する情報処理装置である。
 本願の請求項2に記載の技術によれば、請求項1に記載の情報処理装置は、前記情報処理装置を識別するための識別情報をさらに備えている。
 本願の請求項3に記載の技術によれば、請求項1に記載の情報処理装置は、前記仮想物体が前記実在物体に対して行なう動作の検出結果を受信する受信部をさらに備えている。そして、前記制御部は、受信した前記検出結果に従って、前記出力部からの出力を制御するように構成されている。
 本願の請求項4に記載の技術によれば、請求項1に記載の情報処理装置は、前記仮想物体の動作を制御する仮想物体制御部をさらに備えている。そして、前記制御部は、前記仮想物体制御部により制御される前記仮想物体の動作に応じて、前記出力部からの出力を制御するように構成されている。
 本願の請求項5に記載の技術によれば、請求項1に記載の情報処理装置の前記出力部は、前記実在物体の中に組み込まれた、振動デバイス、パルス発生デバイス、発熱デバイス、冷却デバイス、送風デバイス、音響デバイス、発光デバイス、移動デバイスのうち少なくとも1つの出力デバイスを備えている。
 また、本願の請求項6に記載の技術は、
 仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作を取得するステップと、
 前記仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、前記実在物体に動作を加えるステップと、
を有する情報処理方法である。
 また、本願の請求項7に記載の技術は、
 特定の実在物体を検出する検出部と、
 前記特定の実在物体を検出したことに応じて、仮想物体を表示する表示部と、
を具備する表示装置である。
 本願の請求項8に記載の技術によれば、請求項7に記載の表示装置の前記検出部は、前記実在物体を識別し、前記表示部は、識別した前記実在物体に対応した前記仮想物体を表示するように構成されている。
 本願の請求項9に記載の技術によれば、請求項7に記載の表示装置の前記検出部は、前記実在物体が備える識別情報に基づいて前記実在物体を識別し、又は、物体認識により前記実在物体を識別するように構成されている。
 本願の請求項10に記載の技術によれば、請求項7に記載の表示装置の前記検出部は、ユーザーの視界内から前記実在物体を検出し、前記表示部は、前記実在物体に重ね合わせて前記仮想物体を表示するように構成されている。
 本願の請求項11に記載の技術によれば、請求項7に記載の表示装置は、前記仮想物体の動作を制御する仮想物体制御部をさらに備えている。
 本願の請求項12に記載の技術によれば、請求項11に記載の表示装置の前記仮想物体制御部は、ユーザーの行動に応じて前記仮想物体の出現又は消滅を制御するように構成されている。
 本願の請求項13に記載の技術によれば、請求項11に記載の表示装置の前記仮想物体制御部は、ユーザーの行動又は状況、時間帯に応じて、前記表示部が表示する前記仮想物体の情報量を制御するように構成されている。
 本願の請求項14に記載の技術によれば、請求項11に記載の表示装置の前記仮想物体制御部は、前記仮想物体の前記実在物体に対する動作を制御し、又は、前記仮想物体が前記実在物体から受ける動作に応じて、前記仮想物体の動作を制御するように構成されている。
 本願の請求項15に記載の技術によれば、請求項11に記載の表示装置の前記検出部は、前記仮想物体の前記実在物体に対する動作、又は、前記仮想物体が前記実在物体から受ける動作を検出し、前記仮想物体制御部は、前記検出部の検出結果に基づいて、前記仮想物体の動作を制御するように構成されている。
 本願の請求項16に記載の技術によれば、請求項11に記載の表示装置の前記仮想物体制御部は、前記実在物体の動作と同期するように、前記仮想物体の動作を制御するように構成されている。
 本願の請求項17に記載の技術によれば、請求項7に記載の表示装置の前記表示部は、ユーザーの頭部又は顔部に装着して用いられ、ユーザーの頭部又は顔部の位置並びに姿勢を検出する位置姿勢検出部をさらに備えている。そして、前記表示部は、ユーザーの頭部又は顔部の位置又は姿勢の変化とは逆方向に、前記仮想物体の表示を修正するように構成されている。
 また、本願の請求項18に記載の技術は、
 特定の実在物体を検出する検出ステップと、
 前記特定の実在物体を検出したことに応じて、仮想物体を表示する表示ステップと、
を有する表示方法である。
 また、本願の請求項19に記載の技術は、
 仮想物体の動作を制御する制御装置と、
 実在物体を検出して、対応する仮想物体を表示する表示装置と、
 仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、実在物体に動作を加える出力装置と、
を具備する情報処理システムである。
 但し、ここで言う「システム」とは、複数の装置(又は特定の機能を実現する機能モジュール)が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない(以下同様)。
 また、本願の請求項20に記載の技術は、
 実在物体を検出して、対応する仮想物体を表示するとともに、仮想物体の動作を制御する表示装置と、
 仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、実在物体に動作を加える出力装置と、
を具備する情報処理システムである。
 本明細書で開示する技術によれば、仮想物体と現実空間とのインタラクションを好適に提示することができる、優れた情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システムを提供することができる。
 本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、拡張現実感画像をユーザーに提示する情報処理システム100の機能的構成を模式的に示した図である。 図2は、情報処理システムの具体的に構成例100-2を示した図である。 図3は、情報処理システム100-2内の通信シーケンス例を示した図である。 図4は、情報処理システムの具体的に構成例100-4を示した図である。 図5は、図4に示した情報処理システムの変形例100-5を示した図である。 図6は、情報処理システム100-4内の通信シーケンス例を示した図である。 図7は、本明細書に開示する技術に適用可能な画像表示装置700の外観構成を示した図である。 図8は、ユーザーが装着した状態の画像表示装置700を上方から眺めた様子を示した図である。 図9は、画像表示装置700の内部構成例を示した図である。 図10は、専用のハードウェア装置として構成される出力装置202の内部構成例を模式的に示した図である。 図11は、アクチュエーター部1020の構成例を模式的に示した図である。 図12Aは、出力装置202の具体例を示した図である。 図12Bは、出力装置202の具体例を示した図である。 図12Cは、出力装置202の具体例を示した図である。 図13は、振動デバイス1101の構成例を示した図である。 図14は、図13に示した振動デバイス1101の動作例を示した図である。 図15は、図13に示した振動デバイス1101の動作例を示した図である。 図16は、図12Cに示した出力装置202の動作例を示した図である。 図17は、図12Cに示した出力装置202の動作例を示した図である。 図18は、図12Cに示した出力装置202の動作例を示した図である。 図19は、図12Cに示した出力装置202の動作例を示した図である。 図20は、図12Cに示した出力装置202の動作例を示した図である。 図21は、ユーザーの頭部の動きに追従して仮想物体150を提示する様子を示した図である。 図22は、ユーザーの頭部の動きに追従させずに仮想物体150を提示する様子を示した図である。 図23は、ユーザーの頭部の動きに対して、仮想物体150の画像の動きが遅延している様子を示した図である。 図24Aは、ユーザーがヘッド・マウント・ディスプレイ2401越しに実在物体151を観察している様子を示した図である。 図24Bは、ユーザーがヘッド・マウント・ディスプレイ2401越しに仮想物体150を観察している様子を示した図である。 図25は、各ユーザーがヘッド・マウント・ディスプレイ2501、2502、2503、…越しに仮想物体150A、150B、150C、…を観察する様子を示した図である。 図26は、室内の識別情報152が配設された領域が実在物体になる例を示した図である。 図27は、ユーザーの身体の一部が実在物体になる例を示した図である。 図28は、ユーザーの身体の一部が実在物体になる例を示した図である。 図29は、図4に示した情報処理システムのさらなる変形例100-29を示した図である。
 以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
 図1には、仮想的な画像を現実画像に重ね合わせた拡張現実感又は複合現実感の画像をユーザーに提示する情報処理システム100の機能的構成を模式的に示している。図示の情報処理システム100は、仮想的な画像として、仮想物体150を現実空間に合成して提示するが、仮想物体制御部101と、仮想物体生成部102と、表示部103と、検出部104と、出力部105と、出力制御部106と、環境検出部107と、状態検出部108を備えている。
 本実施形態で言う「仮想物体」とは、例えばユーザーの化身などのアバターや、2D若しくは3Dゲームのキャラクター、コンピューターのユーザー・インターフェースなどである。仮想物体150は、人物である必要はなく、仮想ペットなど動物であってもよい。また、仮想物体150は生物である必要はなく、自動車やヘリコプター、船舶などの移動体であってもよい。あるいは、仮想物体150は、物の画像ではなく、テキストであってもよい。あるいは、仮想物体150は、(画像の表示を伴わない)音声(音声アシスタントなど)であってもよい。仮想物体150を、物の画像と音声の組み合わせで表現する場合には、画像の出現場所と音声の発生場所を一致させる必要がある。以下では、説明の便宜上、人物の仮想物体150として扱う。また、仮想物体を現実画像に合成する方法として、シースルーのヘッド・マウント・ディスプレイで観察されるユーザーの視界である現実空間に仮想画像を重ね合わせる方法や、ビデオシースルーのヘッド・マウント・ディスプレイのようにカメラで撮影された現実空間の画像に仮想画像を重ね合わせる方法がある。
 仮想物体制御部101は、仮想物体150の(現実空間への)出現並びに(現実空間からの)消滅、(現実空間中に)出現中の仮想物体150の動作や行動を制御する。基本的には、ユーザーが実在物体151を見たことに応じて、又は、見付けたことに応じて、仮想物体制御部101は、その実在物体151に対応する仮想物体150を出現させる(但し、実在物体151に仮想物体150があらかじめ対応付けられていることが前提となる)。
 ここで、実在物体151には、ICタグやバーコード(QRコード(登録商標)、ドット・コードでもよい)などの識別情報152が配設されている。実在物体151がスマートフォンのように表示部を持つ情報端末の場合、識別情報152はバーコードなどの表示画像であってもよい。実在物体151は、印刷物でもよいし、特徴を持った(言い換えれば、画像認識し易い)物体でもよく、ICタグなどの識別情報152を必ずしも含んでいなくてもよい。上記の「実在物体151を見たことに応じて」又は「見付けたことに応じて」とは、実際には、実在物体151に配設された識別情報152を認識したり、画像の物体認識により実在物体151を特定したりする処理で実現される。識別情報152毎に、対応する仮想物体150の情報がライブラリー化されている。
 また、仮想物体150を出現させる方法は、ユーザーがジェスチャーやその他の入力操作などにより出現を要求したことに応じて出現するプル(PULL)型と、ユーザーの意図とは関係なく、システム側で所定のイベントが発生したことにより出現するプッシュ(PUSH)型に分類される。
 上述した、実在物体151に対応する仮想物体150が出現させる方法は、PULL型の出現に該当する。また、ユーザーが仮想物体150若しくは実在物体151が存在する領域から目線を外す(又は、目線を外してから所定時間が経過する)、ユーザーが仮想物体150に関心を示さなくなる(例えば、所定時間以上話し掛けない)といったイベントが発生すると、仮想物体制御部101は仮想物体150を消滅させる。
 一方、PUSH型の場合、出現形態が画像、テキスト、音声のいずれであれ、ユーザーの心地の良いタイミングで心地の良い出現方法で、仮想物体150が出現することが望ましい。例えば、ユーザーの行動認識を行ないながら、仮想物体150の出現タイミングと出現方法を制御する。ユーザーの行動や状況、時間帯などに応じて、仮想物体150の情報量を制御する必要もある(例えば、ユーザーが電車の中で座っているときには、仮想物体150は画像付きのリッチ・コンテンツでもよいが、人混みの中を歩いているときには、音声だけの仮想物体150にする)。また、PUSH型で出現する仮想物体150を、例えばユーザーの操作によって消滅させるようにしてもよい(例えば、表示された仮想物体150をユーザーが摘まんで動かす、指先で弾き飛ばすなどのジェスチャーで、消滅させるようにしてもよい)。勿論、PULL型で出現する仮想物体150に対しても、同様の消滅方法を適用してもよい。
 また、仮想物体制御部101は、仮想物体150の動作又は行動として、実在物体151に対するアクションを行なわせる。仮想物体制御部101は、仮想物体150の動作や行動を、例えば以下の(1)~(6)のうちいずれか1つの制御ルール、又は、(1)~(6)のうち2以上の組み合わせからなる制御ルールに基づいて、制御する。要するに、仮想物体150は、自律動作する場合もあれば、ユーザーの操作で動作する場合もある。
(1)ユーザーが現在行なっているゲームのルールなどに従う自律動作
(2)ユーザーが現実世界で行なっている行動若しくは動作
(3)ユーザーが仮想空間で行なう行動若しくは動作(例えばマウスやタッチパネル、その他の入力デバイスを介して行なうゲームの操作)
(4)現実空間(若しくは仮想空間)におけるユーザーの現在の状態
(5)仮想物体150がいる現実空間(若しくは仮想空間)における環境
(6)実在物体151(出力部105)が仮想物体150に対して行なうアクション又はリアクション
 仮想物体生成部102は、仮想物体制御部101で出現と消滅、動作や行動が制御される、人物や動物などの仮想物体150の画像を生成する。仮想物体150の画像データの生成には、テクスチャー・マッピングや、光源、シェーディングなど、さまざまなレンダリング技術を適用することができるが、本明細書では詳細な説明を省略する。また、仮想物体生成部102は、仮想物体150の画像とともにテキストや音声を生成することや、画像を伴わない、テキスト又は音声のみからなる仮想物体150を生成することもある(前述)。
 表示部103は、仮想物体生成部102で生成した仮想物体150の画像を、現実画像と重なり合うように合成して、画面に表示出力する。表示部103が、ユーザーの頭部又は顔部に装着して用いられる画像表示装置(ヘッド・マウント・ディスプレイ)として構成される場合(後述)、ユーザーの視界内に仮想物体150の画像を、ユーザーの視界である現実空間に重ね合わせてシースルー表示し、又は、カメラで撮影された現実空間の画像に重ね合わせてビデオシースルー表示する。あるいは、表示部103に投影型の画像装置を適用して、現実空間上の物体に仮想物体150を投影するようにしてもよい。例えば、ユーザーが実在物体151を見たことに応じて、又は、見付けたことに応じて、仮想物体150が出現する場合(前述)、後述するように、仮想物体150は実在物体151に重ね合わせて表示される。
 検出部104は、現実空間又は仮想空間で発生するイベントを検出する。例えば、検出部104は、カメラを備え、カメラで撮影したユーザーの視界の画像を認識処理して、例えばその形状などに基づいて仮想物体150がアクションの対象となっている実在物体151を特定する。あるいは、実在物体151にICタグやバーコード(QRコード(登録商標)、ドット・コードでもよい)などの識別情報152が配設されている場合には、検出部104は、識別情報152を読み取って、実在物体151を特定することができる。実在物体151が特定されると、これに対応する仮想物体150が出現する。
 本実施形態では、仮想物体150と現実空間に存在する実在物体151の間でインタラクションを行なうことを想定している。検出部104は、このようなインタラクション、すなわち、仮想物体150が実在物体151に対して行なうアクションや実在物体151からのリアクション、実在物体151が仮想物体150に対して行なうアクションや仮想物体150からのリアクションの検出も行なう。仮想物体150が実在物体151に対して行なうアクションとは、例えば仮想物体150が実在物体151に乗り上げる、実在物体151上で足踏みをする、実在物体151を叩くなどの物理的な操作である。検出部104は、仮想物体150と実在物体151間のインタラクションを常時モニタリングする必要がある。但し、仮想物体150が出現していない間はモニタリングする必要がないので、カメラの動作をオフにして、消費電力を低減するようにしてもよい。
 また、検出部104は、表示部103に表示される仮想物体150の画像を解析して、仮想物体150が実在物体151に対して行なっているアクションを検出してもよいし、あるいは、アクションに関する情報を、仮想物体150の動作若しくは行動を制御する仮想物体制御部101から直接取得するようにしてもよい。
 また、検出部104は、出力部105が実在物体151を通じて仮想物体150に対して行なうアクション(後述)も検出する。例えば、実在物体151に重ね合わせて表示した仮想物体150の画像の解析結果や、カメラの撮像画像の認識結果などに基づいて、実在物体151が行なうアクションを検出することができる。あるいは、検出部104は、出力部105に仮想物体150に対して行なわせたアクションを、出力制御部106からフィードバックを受けてもよい。この検出結果は、仮想物体制御部101に通知される。仮想物体制御部101は、出力部105が行なったアクションに対して、仮想物体150のリアクションを制御する。
 また、検出部104は、ユーザーと仮想物体150間のインタラクションも検出する(例えば、ユーザーの身体の一部が実在物体151となる場合など)。ユーザーが行なうアクション又はリアクションの検出には、モーション・キャプチャー技術を応用したジェスチャー認識や、音声認識などが用いられる。
 検出部104は、表示部103に表示される仮想物体150の表情、あるいは、仮想物体150がとった行動などのコンテキストに基づいて、仮想物体150の精神状態(興奮している、又は、冷めている)やその他の状態を判断するようにしてもよい。あるいは、検出部104は、仮想物体制御部101から仮想物体150の精神状態に関する情報を取得して、出力制御部106に通知するようにしてもよい。これによって、出力制御部106は、出力部105の動作を制御して、仮想物体150の精神状態に応じたアクション又はリアクション、ユーザーへの触感フィードバック(後述)を行なうことができる。
 出力部105は、仮想物体150がアクションを行なう対象となっている実在物体151に対して、振動や、電気パルス、発熱又は冷却、風、音、発光、移動、跳躍などの出力を生じさせ、実在物体151によるリアクションを実現する。出力部105は、このような出力を行なうために、振動デバイス、パルス発生デバイス、発熱デバイス、冷却デバイス、送風デバイス、音響デバイス、発光デバイス、車輪などの移動デバイスのうち少なくとも一部の出力デバイスを備えている。あるいは、これらの出力デバイスを備えた出力部105が実在物体151の中に組み込まれている(言い換えれば、実在物体151の中には、出力部105を内蔵したものがある)。以下では、便宜上、実在物体151は出力部105を内蔵しているものとして説明する。
 出力制御部106は、検出部104が検出した、仮想物体150が実在物体151に対して行なっているアクションに応じたリアクションとして、出力部105を構成する各出力デバイスの駆動を制御する。例えば、仮想物体150が実在物体151上で足踏みする力(あるいは叩く力)の強弱に応じて、出力制御部106は、振動の振幅や周期、発熱量、音声又は音響の音量、発光量など出力部105の各出力デバイス1101~1108(後述並びに図11を参照のこと)からの出力を調整して、実在物体151によるリアクションを行なうことによって、仮想物体150と現実空間とのインタラクションを表現する。出力制御部106は、仮想物体150が行なうアクション(すなわち、表示部103が表示する仮想物体150の動作)と正確に同期をとりながら、出力部105のリアクションを行なわせることによって、仮想物体150がリアルにその場所に存在するという感じを演出する。
 また、出力制御部106は、出力部105を用いて、仮想物体150のアクションに対するリアクションではなく、仮想物体150に対するアクションを行なうこともできる。例えば、仮想物体150を揺する、加熱する、冷やす、風を吹くなど、逆に仮想物体150に対するアクションを行なうこともできる。
 環境検出部107は、仮想物体150やユーザーを取り巻く現実空間の環境に関する情報を検出する。仮想物体制御部101は、環境検出部107で検出された環境情報を必要に応じて入力して、仮想物体150の動作や行動の制御に利用するようにしてもよい。また、出力制御部106も、環境情報に応じて出力部105の出力を調整して、仮想物体150と実在物体151とのインタラクションの表現に環境の影響を付加するようにしてもよい。
 環境検出部107は、環境情報として、例えば、環境光強度、音響強度、位置若しくは場所、温度、天気、時刻、周囲画像、外側にいる人数などを検出する。環境検出部は、このような環境情報を検出するために、光量センサーや、マイクロフォン、GPS(Global Positioning System)センサー、温度センサー、湿度センサー、時計、イメージ・センサー(カメラ)、放射線センサーなどの各種の環境センサーを備えている。
 状態検出部108は、仮想物体150を利用する(若しくは仮想物体150を観察する)ユーザーの状態を検出する。仮想物体制御部101は、状態検出部108で検出された状態情報を必要に応じて入力して、仮想物体150の出現・消滅のタイミング制御、仮想物体150の動作や行動の制御に利用する。また、出力制御部106も、状態情報に応じて出力部105の出力を調整して、仮想物体150と現実空間とのインタラクションの表現にユーザーの状態の影響を付加するようにしてもよい。
 状態検出部108は、ユーザーの頭部動作を追跡するために、例えばユーザーの頭部の位置及び姿勢の情報又は姿勢の情報を取得する。ユーザーの頭部動作を追跡するために、状態検出部108は、例えば3軸ジャイロ・センサー、3軸加速度センサー、3軸地磁気センサーの合計9軸を検出可能なセンサーとする。また、状態検出部108は、GPS(Global Positioning System)センサー、ドップラー・センサー、赤外線センサー、電波強度センサーなどのいずれか1つ又は2以上のセンサーをさらに組み合わせて用いてもよい。
 また、状態検出部108は、位置情報の取得に、携帯電話基地局情報やPlaceEngine(登録商標)情報(無線LANアクセスポイントからの電測情報)など、各種インフラストラクチャーから提供される情報を組み合わせて用いるようにしてもよい。
 また、状態検出部108は、ユーザーの作業状態や行動状態(静止、歩行、走行などの移動状態、瞼の開閉状態、視線方向)、精神状態(ユーザーが仮想物体を観察中に没頭若しくは集中しているかなどの感動度、興奮度、覚醒度、感情や情動など)、さらには生理状態を検出する。状態検出部108は、これらの状態情報をユーザーから取得するために、ユーザーの顔を撮影するカメラ、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温又は気温を検知する温度センサー、発汗センサー、筋電位センサー、眼電位センサー、脳波センサー、呼気センサー、ガス・センサーなどの各種の状態センサー、タイマーを備えていてもよい。
 環境検出部107並びに状態検出部108は、情報処理システム100の任意の構成要素である。仮想物体制御部101が環境情報や状態情報に基づいて仮想物体150の動作又は行動を制御するかどうかは任意である。
 図1に示したような構成の情報処理システム100は、1台の装置で実現する場合もあれば、物理的に独立しネットワークなどで相互接続される2台以上の装置で実現する場合もある。
 図2には、情報処理システムの具体的な構成例100-2を示している。図示の例では、情報処理システム100-2は、仮想物体150を現実空間に合成して表示する表示装置201と、仮想物体150が現実空間で行なったインタラクションを表現する出力装置202という2台の物理的に独立した装置で構成される。
 表示装置201は、例えばゲーム機本体などであり、仮想物体制御部101と、仮想物体生成部102と、表示部103と、検出部104を備えている。
 仮想物体制御部101は、ゲームなどのルールに従って仮想物体150の出現や消滅、その動作若しくは行動を制御する。仮想物体生成部102は、仮想物体150の画像を生成する。そして、表示部103は、仮想物体生成部102で生成した仮想物体150の画像を、現実画像と重なり合うように合成して、画面に表示出力する。また、検出部104は、仮想物体制御部101で制御される仮想物体150の動作や行動を常時監視して、仮想物体150が現実空間で(若しくは仮想空間で)行なうアクションを検出する。
 なお、図2では省略したが、表示装置201は、環境検出部107と状態検出部108のうち少なくとも一方を備えていてもよい。仮想物体制御部101は、検出された環境情報や状態情報に影響を受けたように、仮想物体150の動作若しくは行動、実在物体151に対して行なうアクションを変化させるようにしてもよい。
 出力装置202は、実在物体151内に内蔵された、出力制御部106と出力部105を備えている。出力制御部106は、仮想物体150が実在物体151に対して行なっているアクションに応じて、出力部105を構成する各出力デバイスの駆動を制御して、仮想物体150に対するリアクションを表現する。あるいは、逆に、出力制御部106は、出力装置202が仮想物体150に対してアクションを行なうための出力制御を、出力部105に対して行なう。
 表示装置201と出力装置202は、それぞれ通信部211、212を備えている。例えば、表示装置201は、検出部104が検出した仮想物体150のアクションに関する情報、あるいは、仮想物体制御部101が指示した仮想物体150のアクションに関する情報を、通信部211を介して出力装置202に送信する。一方、出力装置202側では、通信部212が表示装置201からアクションに関する情報を受信すると、出力制御部106は、仮想物体150が実在物体151に行なっているアクションに対するリアクションとして、出力部105を構成する各出力デバイスの駆動を制御する。
 通信部211、212間は無線又は有線通信など、任意の通信手段を用いて接続される。ここで言う通信手段として、MHL(Mobile High-definition Link)やUSB(Universal Serial Bus)、HDMI(登録商標)(High Definition Multimedia Interface)、Wi-Fi(登録商標)、Bluetooth(登録商標)通信やBLE(Bluetooth(登録商標) Low Energy)通信、ANTなどの超低消費電力無線通信、IEEE802.11sなどで規格化されたメッシュ・ネットワーク、赤外線通信、人体通信、導電性繊維を介した信号伝送などを挙げることができる。
 また、出力装置202は、環境検出部213をさらに備えていてもよい。環境検出部213は、実在物体151にアクションを行なっている仮想物体150を取り巻く現実空間に関する情報を検出する。このような場合、出力制御部106は、環境情報に応じて出力部105の出力を調整して、仮想物体150と現実空間とのインタラクションの表現に環境の影響を付加することができる。
 出力装置202は、例えば、仮想物体150が現実空間で行なったインタラクションを表現する、専用のハードウェア装置として構成することができる。この場合の出力部105は、仮想物体150が行なったアクションに対するリアクションを、実在物体151の振動や、発熱又は冷却、風、音、発光、移動、跳躍などさまざまな形態で表現するために、振動デバイス、パルス発生デバイス、発熱デバイス、冷却デバイス、送風デバイス、音響デバイス、発光デバイス、移動デバイスなど多種類の出力デバイスで構成される。また、出力装置202は、これらの出力デバイスを用いて、仮想物体150のアクションに対するリアクションではなく、仮想物体150に対するアクションを行なうこともできる。例えば、仮想物体150を揺する、加熱する、冷やす、風を吹くなど、逆に仮想物体150に対するアクションを行なうこともできる。
 あるいは、出力装置202は、専用のハードウェア装置としてではなく、例えばバイブレーション機能とスピーカーを備えたスマートフォン、多機能端末など、既存の電子機器を代用して構成することもできる。このような場合、出力部105として装備する出力デバイスの種類は限定的であり、仮想物体150と実在物体151とのインタラクションを表現する方法も限定されることになる。
 仮想物体150と実在物体151の間で行なうアクションとリアクションが正確に同期している、言い換えれば、表示部103で表示する仮想物体150の動作と、出力装置202側の出力部105の駆動とが正確に同期していることが、リアルなインタラクションとして見せる上で重要である。逆に、アクションに対してリアクションの遅延時間が長過ぎるなど、うまく同期がとれていないと、不自然なインタラクションになってしまう。なお、仮想物体150を常時動作させていると、ユーザーにはリアルタイムでインタラクションを行なっているように映り易くなる。
 図3には、情報処理システム100-2内の通信シーケンス例を示している。
 表示装置201は、識別情報152の読み取りや物体に認識などにより実在物体151を特定すると、特定した実在物体151に対応する仮想物体150を現実空間に合成して表示する(SEQ301)。表示装置201は、所定の制御周期で仮想物体150の動作又は行動をリフレッシュする。
 また、表示装置201は、仮想物体150が実在物体151に対して行なったアクションを検出すると、その検出結果を含んだメッセージを、例えば所定の時間間隔で出力装置202に送信する(SEQ302)。但し、表示装置201は、仮想物体150のアクションに関する情報ではなく、仮想物体150のアクションに対するリアクションを実在物体151で表現するための指示、あるいは、出力部105の制御情報に変換して送信するようにしてもよい。
 これに対し、出力装置202は、表示装置201からメッセージを受け取る度に、実在物体151側のリアクションとして出力部105を動作させて(SEQ303)、仮想物体150と実在物体151とのインタラクションを表現する。ここで、実在物体151のリアクションは、仮想物体150が実在物体150に対して行なうアクションと正確に同期して実施されると、ユーザーにはインタラクションがリアルであるような印象を与えることができる。
 また、出力装置202は、表示装置201からのメッセージに対する確認応答や、リアクションの出力(インタラクション)の完了報告などを、表示装置201に返すようにしてもよい(SEQ304)。
 また、逆に、出力装置202は、仮想物体150のアクションに対する実在物体151のリアクションとしてではなく、仮想物体150に対するアクションを行なうこともできる(SEQ305)。このような場合、仮想物体150がリアクションを行なうように、出力装置202は、出力部105で行なったアクションに関する情報を表示装置201に送信するようにしてもよい(SEQ306)。
 表示装置201は、出力装置202から仮想物体150に対するアクションの情報を受け取ると、これに対するリアクションをとる仮想物体150の画像を生成し、現実空間上の実在物体151に合成して表示する。仮想物体150のリアクションは、出力装置202すなわち実在物体151が行なうアクションと正確に同期して(若しくは、小さな遅延時間で)実施されると、インタラクションがリアルに行なわれているような印象をユーザーに与えることができる。
 図4には、情報処理システムの他の具体的な構成例100-4を示している。図示の例では、情報処理システム100-4は、仮想物体150の出現や消滅、その動作若しくは行動を制御する制御装置401と、仮想物体150を現実空間に合成して表示する表示装置402と、仮想物体150と現実空間とのインタラクションを表現する出力装置403という3台の物理的に独立した装置で構成される。
 例えば、制御装置401は家庭内若しくはクラウド上に設置されたサーバー、表示装置402はそのサーバーにログインするユーザー端末であってもよい。同じサーバーに、複数のユーザー端末が同時にログインしている場合もある。このような場合、複数のユーザー端末が1台の出力装置403を共用することも想定される(図25並びに後述を参照のこと)。例えば、ユーザー端末毎に対応した仮想物体が出現し、1台の出力装置403が各々の仮想物体に対してリアクションをとるができる。
 図示しないが、制御装置401と表示装置402間、表示装置402と出力装置403間、並びに、出力装置403と制御装置401間は、無線又は有線の通信手段で相互接続されているものとする。接続には、ホーム・ネットワークなどのLAN(Local Area Network)や、インターネットなどの広域ネットワークなどの通信媒体(図示しない)を使用することができる。
 制御装置401は、仮想物体制御部101を備え、例えばゲームなどのルールや、ユーザーの行動のコンテキストなどに従って、仮想物体150の出現や消滅、その動作若しくは行動を制御する。あるいは、制御装置401を、インターネット上に設置された1台のサーバー装置、あるいは複数台のサーバー装置の組み合わせで構成することもできる。
 表示装置402は、仮想物体生成部102と、表示部103と、検出部104を備えている。仮想物体生成部102は、制御装置402から仮想物体150の動作若しくは行動に関する情報を受け取ると、仮想物体150の画像を生成する。そして、表示部103は、仮想物体生成部102で生成した仮想物体150の画像を、対応する実在物体151と重なり合うように合成して、画面に表示出力する。また、検出部104は、仮想物体制御部101で制御される仮想物体150の動作や行動(若しくは、表示部103が表示する仮想物体150の画像)を常時監視して、仮想物体150が仮想物体151に対して行なうアクションを検出する。
 なお、表示装置402は、環境検出部と状態検出部のうち少なくとも一方を備えていてもよい。図示の例では、表示装置402は状態検出部414を備えている。仮想物体制御部101は、表示装置402で検出された環境情報や状態情報を受け取ると、仮想物体150が環境や状態から影響を受けて動作若しくは行動するかのように、実在物体151に対して行なうアクションを変化させるようにしてもよい。状態検出部414は、例えば、加速度センサーやジャイロ・センサーなどの表示装置402の位置及び姿勢を検出するセンサーを備えている。視界の動きに応じて仮想物体150の表示位置を画面上で移動させるために、加速度センサーやジャイロ・センサーなどの検出結果が利用される。
 出力装置403は、実在物体151内に内蔵された出力制御部106と出力部105を備えている。出力制御部106は、仮想物体150が実在物体151に行なっているアクションに対する実在物体151のリアクションとして、出力部105を構成する各出力デバイスの駆動を制御する。出力装置403は、表示装置402などから仮想物体150のアクションの検出結果を受け取るか、又は、制御装置401から直接、仮想物体150の動作若しくは行動などアクションに関する情報を受け取ると、これに基づいて、出力部105で仮想物体150に対するリアクションの出力を行ない、仮想物体150と現実空間とのインタラクションを表現する。
 また、出力装置403は、環境検出部413をさらに備えていてもよい。環境検出部413は、実在物体151に対してアクションを行なっている仮想物体150を取り巻く現実空間に関する情報を検出する。このような場合、出力制御部106は、環境情報に応じて出力部105の出力を調整して、仮想物体150と行なうインタラクションの表現に、環境からの影響を付加することができる。
 また、出力装置202は、状態検出部415をさらに備えていてもよい。状態検出部415は、例えばジャイロ・センサーを含み、仮想物体150に対してアクション又はリアクションを行なったときに生じる実在物体151の位置や姿勢の変化を検出する。制御装置401側では、実在物体151のこのような位置又は姿勢の変化に応じて、その上に載っている仮想物体150のアクションを制御して、仮想物体150と実在物体151とのインタラクションをよりリアルなものにすることができる。
 図5には、図4に示した情報処理システムの変形例100-5を示している。図4に示した例では、表示装置402内に仮想物体生成部102が装備されるのに対し、図5に示す例では、ゲーム機本体などの制御装置401内に仮想物体生成部102が装備される点で相違する。図示しないが、制御装置401と表示装置402間、表示装置402と出力装置403間、並びに、出力装置403と制御装置401間は、無線又は有線の通信手段で相互接続されているものとする。
 図4、図5のいずれも、表示装置202を1台しか描いていないが、情報処理システム100-4、100-5内に複数台の表示装置202が存在するというシステム構成例も想定される。このような場合、1台の制御装置402が各々の表示装置に個別の仮想物体の動作若しくは行動に関する情報、又は、個別の仮想物体の画像を送信することも考えられる。例えば、ゲーム機本体としての制御装置401が、ゲームに参加する複数のユーザーの各々が所持するゲーム・コントローラーとしての表示装置402に対して、同じ仮想物体、ユーザー毎に固有の仮想物体(アバターやゲームのキャラクターなど)の情報を送信するようにしてもよい。また、制御装置401は、ユーザー本人のアバターとともに、周囲にいる他ユーザーのアバターなど、各々表示装置に対して、複数の仮想物体(各ユーザーの仮想物体)の情報を送信するようにしてもよい(図25並びに後述を参照のこと)。
 仮想物体150と実在物体151の間で行なうアクションとリアクションが正確に同期していること、言い換えれば、表示部103で表示する仮想物体150の動作と、出力装置202側の出力部105の駆動とが正確に同期していることが、仮想物体150と実在物体151とのインタラクションがよりリアルであるような印象を与える上で重要である。逆に、アクションに対してリアクションの遅延時間が長過ぎるなど、うまく同期がとれていないと、不自然なインタラクションになってしまう。仮想物体150を常時動作させていると、リアルタイムでリアクションをとっているような印象をユーザーに与え易くなる。
 図6には、情報処理システム100-4(又は、100-5)内の通信シーケンス例を示している。
 表示装置402は、例えばユーザーの視界内で、識別情報152の読み取りや物体認識などにより実在物体151を特定すると(SEQ601)、制御装置401に通知する(SEQ602)。
 これに対し、制御装置401は、読み取った識別情報152に対応した仮想物体150を出現させ(SEQ603)、仮想物体150の動作又は行動の情報、又は、その情報から導出される仮想物体150の画像データを、表示装置402に送信する(SEQ604)。また、制御装置401は、所定の制御周期で仮想物体150の動作又は行動をリフレッシュする。そして、表示装置402は、現実空間に合成して、特定した実在物体151に対応する仮想物体150の画像を表示する(SEQ605)。
 表示装置402は、表示装置402自体、又は、表示装置402を利用しているユーザーの状態やユーザーを取り巻く環境情報を検出すると(SEQ606)、その検出結果を制御装置401に送信する(SEQ607)。そして、制御装置401側では、受信した状態情報に応じて画像の更新処理を行ない(SEQ608)、表示装置402に必要な情報を送信する(SEQ609)。
 ここで、表示装置402を使用するユーザーの位置又は姿勢の変化に応じて、表示装置402越しにシースルー表示又はビデオシースルー表示される現実画像が移動する。例えば表示装置402がヘッド・マウント・ディスプレイのようにユーザーが装着して用いるタイプの装置の場合、あるいは移動体上に搭載された装置の場合には、実在物体151の上に仮想物体150を重ね合わせるには、ユーザーの視界の動きを検出するとともに、ユーザーの視界の動きとは逆の向きに仮想物体150の表示位置を画面上で移動させる必要がある。頭部の動きを打ち消すように仮想物体150の表示領域を移動させることで、ユーザーの頭部の動きに追従した仮想物体150の動きを提示することができる。
 このため、表示装置402は、加速度センサーやジャイロ・センサーなどの表示装置402の位置及び姿勢を検出するセンサーを備えている。表示装置402は、加速度センサーやジャイロ・センサーなどで位置及び姿勢を検出すると(SEQ610)、その検出結果を制御装置401に送信する(SEQ611)。そして、制御装置401側では、ユーザーの頭部の動きを打ち消すように仮想物体150の表示領域を移動させて、現実空間の適切な場所(例えば、実在物体151の上)に仮想物体150が重なり合うように、画像の修正処理を行なう(SEQ612)。あるいは、このような画像の修正処理を表示装置402側で行なうようにしてもよい。
 また、ユーザーの頭部の動きを打ち消すように仮想物体150の表示領域を移動させるという画像修整をかけたとしても、レイテンシーの問題があり、ユーサーの首振り運動などによる視界の動きに追従できずに、ずれた場所に仮想物体150が表示されてしまうことが懸念される。そこで、本実施形態では、サーボ制御(例えば、PID制御のうち、D(微分)制御)や動き予測をかけて、仮想物体150の表示位置のずれがある時間で0に収束するようにしている。
 そして、制御装置401は、画像修正後の仮想物体150の情報を、表示装置402に送信し(SEQ613)、表示装置402は、修正後の仮想物体150を表示する(SEQ614)(同上)。
 また、表示装置402は、仮想物体150が実在物体151に対して行なったアクションを検出すると(SEQ615)、その検出結果を含んだメッセージを、例えば所定の時間間隔で出力装置403に送信する(SEQ616)。あるいは、制御装置401は、仮想物体150にアクションを指示したことを(SEQ617)、出力装置403に通知する(SEQ618)。
 これに対し、出力装置403は、表示装置402又は制御装置401からメッセージを受け取る度に、実在物体151側のリアクションとして出力部105を動作させて(SEQ619)、仮想物体150と現実空間とのインタラクションを表現する。ここで、実在物体151のリアクションは、仮想物体150が実在物体150に対して行なうアクションと正確に同期して実施されると、仮想物体150とのインタラクションが現実空間でリアルに行なわれているような印象をユーザーに与えることができる。
 また、出力装置403は、表示装置402や制御部401からのメッセージに対する確認応答や、リアクションの出力(インタラクション)の完了報告などを、表示装置402や制御部401に返すようにしてもよい(SEQ620、SEQ621)。
 また、逆に、出力装置202は、仮想物体150のアクションに対する実在物体151のリアクションとしてではなく、仮想物体150に対するアクションを行なうこともできる(SEQ622)。このような場合、仮想物体150がリアクションを行なうように、出力装置403は、出力部105で行なったアクションに関する情報を制御装置401や表示装置402に送信するようにしてもよい(SEQ623、SEQ624)。
 このような場合、制御装置401が、実在物体151のアクションに対するリアクションを仮想物体150に行なわせることで、仮想物体150と現実空間とのインタラクションを表現することができる(SEQ625)。仮想物体150のリアクションは、出力装置202すなわち実在物体151が行なうアクションと正確に同期して実施されると、ユーザーにはインタラクションがリアルに映る。
 図4に示した情報処理システムのさらなる変形例100-29を、図29に示しておく。図29では、仮想物体制御部101などの制御装置401の機能が出力装置403と一体化されている。図4では、制御装置401をクラウド上のサーバーと想定した(前述)。これに対し、図29では、出力装置403は家庭内に設置されたゲーム機本体、表示装置402はそのゲーム機本体に接続されるゲーム・コントローラーであることも想定される。1台のゲーム機本体に、複数のユーザーのゲーム・コントローラーが接続されることも想定される。
 出力装置403内の仮想物体制御部101は、例えばゲームなどのルールに従って仮想物体150の出現や消滅、その動作若しくは行動を制御する。
 一方、表示装置402内の仮想物体生成部102は、仮想物体制御部101から仮想物体150の動作若しくは行動に関する情報を受け取ると、仮想物体150の画像を生成する。そして、表示部103は、仮想物体生成部102で生成した仮想物体150の画像を、現実画像と重なり合うように合成して、画面に表示出力する。
 また、出力装置403内の出力制御部106は、仮想物体150が実在物体151に行なっているアクションに関する情報を仮想物体制御部101から受け取ると、実在物体151のリアクションとして、出力部105を構成する各出力デバイスの駆動を制御する。
 図29に示すようなシステム構成例では、図6に示した通信シーケンス中の、制御装置401と出力装置403間の通信動作は、出力装置403内部での情報転送動作に置き換わる。
 仮想物体150と実在物体151の間で行なうアクションとリアクションが正確に同期していること、言い換えれば、表示部103で表示する仮想物体150の動作と、出力装置202側の出力部105の駆動とが正確に同期していることが、インタラクションがリアルに行なわれている印象をユーザーに与える上で重要である。逆に、アクションに対してリアクションの遅延時間が長過ぎるなど、うまく同期がとれていないと、インタラクションが不自然であるという印象をユーザーに与えてしまう。仮想物体150を常時動作させていると、ユーザーにはリアルタイムでリアクションをとっているように映り易くなる。
 なお、仮想物体150は、図2、図4、図5、図29に示したように画像として出現する以外に、仮想物体150が話す言葉など音声が画像に伴う場合や、画像は表示されず、所定の方位から発される音声のみが出現する場合など、仮想物体150の出現形態はさまざまである。また、仮想物体150は、ユーザーがジェスチャーやその他の入力操作などにより出現を要求したことに応じて出現するプル(PULL)型の出現の他に、ユーザーの意図とは関係なく、システム側で所定のイベントが発生したことにより出現するプッシュ(PUSH)型の出現方法が想定される。
 図2に示した表示装置201や、図4、図5、図29に示した表示装置402は、ユーザーの頭部又は顔部に装着して用いる画像表示装置(ヘッド・マウント・ディスプレイ)として構成することができる。
 図24Aには、識別情報152が貼設された実在物体151をユーザーがヘッド・マウント・ディスプレイ2401越しに観察している様子を示している。上述したように、ユーザーが実在物体151を見たことに応じて、又は、見付けたことに応じて、実在物体151(又は、識別情報152)に対応付けられた仮想物体150が出現する。図24Bには、出現した仮想物体150を、ユーザーがヘッド・マウント・ディスプレイ2401越しに観察している様子を示している。
 上述したように、同じサーバーに複数のユーザー端末が同時にログインして、各ユーザー端末に対応する仮想物体が同じ実在物体の上に同時に出現することも想定される。このような場合、複数のユーザー端末が1台の出力装置403を共用することになる。図24に示した例に当て嵌めると、図25に示すように、それぞれヘッド・マウント・ディスプレイ2501、2502、2503、…を装着した複数のユーザーが同じ実在物体151を眺めているというシーンである。ユーザー毎に異なる仮想物体150A、150B、150C、…が実在物体151(又は、識別情報152)に対応付けられ、各ユーザーはそれぞれ自分のヘッド・マウント・ディスプレイ2501、2502、2503、…越しに自分及び他ユーザーの仮想物体150A、150B、150C、…を観察することができる。また、各仮想物体150A、150B、150C、…はそれぞれ実在物体151とインタラクションを行なうとともに、仮想物体150A、150B、150C、…同士でインタラクションを行なうこともある。
 勿論、ヘッド・マウント・ディスプレイ2501、2502、2503、…越しに同じ実在物体151を眺める各ユーザーが、それぞれ自分の仮想物体しか表示されない(すなわち、ユーザー毎の仮想物体は同時に出現するが、他ユーザーの仮想物体は見えない)、という実施形態も考えられる。この場合、仮想物体毎に実在物体151とのインタラクションは行なうが、仮想物体同士でのインタラクションは行なわない。
 図7には、本明細書で開示する技術の一実施形態に係る画像表示装置700の外観構成を示している。画像表示装置700は、ユーザーが頭部又は顔部に装着して用いられるヘッド・マウント・ディスプレイであり、左右の眼毎に画像を表示する。図示の画像表示装置700は、透過性すなわちシースルーのタイプであり、画像を表示している間も、ユーザーは、画像越しに現実世界の風景を眺める(すなわち、シースルーする)ことができる。したがって、仮想物体150を始めとするAR(Augmented Reality:拡張現実感)画像を現実世界の風景に重ね合わせて見せることができる。また、表示画像は、外側(すなわち他人)からは見えないので、情報表示に際してプライバシーが守られ易い。この画像表示装置700は、図2に示した表示装置201や、図4、図5、図29に示した表示装置402として活用することができる。
 図示の画像表示装置700は、視力矯正用の眼鏡に類似した構造からなる。画像表示装置700本体のユーザーの左右の眼に対向する位置には、透明な導光部などからなる虚像光学部701L、701Rが配設され、各虚像光学部701L、701Rの内側には、ユーザーが観察する画像(図示しない)が表示される。各虚像光学部701L、701Rは、例えば、眼鏡フレームに類似した形状の支持体702によって支持されている。
 眼鏡フレーム状の支持体702のほぼ中央には、周囲画像(ユーザーの視界)入力用の外側カメラ712が設置されている。外側カメラ712は、例えばユーザーの視線方向の風景を撮影することができる。視差情報を利用して、周囲画像の3次元情報を取得できるように、外側カメラ712を複数台のカメラで構成することができる。また、1台のカメラでも、SLAM(Simultaneous Locallization and Mapping)画像認識を用いて、カメラを移動させながら撮影を行ない、時間的に前後する複数のフレーム画像を用いて視差情報を算出し(例えば、特許文献5を参照のこと)、算出した視差情報から周囲画像の3次元情報を取得することもできる。本実施形態では、例えば、仮想物体150を目線で追うユーザーの視界を外側カメラ712で撮影する。画像表示装置700の基本的動作として、外側カメラ712で実在物体151を捕捉すると、これに対応する仮想物体150が各虚像光学部701L、701Rの少なくとも一方に表示される。
 また、支持体702の左右の両端付近にそれぞれマイクロフォン703L、703Rが設置されている。左右ほぼ対称的にマイクロフォン703L、703Rを持つことで、中央に定位した音声(ユーザーの声)だけを認識して、周囲の雑音や他人の話声と分離することができる。例えば、マイクロフォン703L、703Rからの音声入力による操作を行なうときに、ユーザー以外の声を拾う誤動作を防止することができる。
 図8には、ユーザーが装着した状態の画像表示装置700を上方から眺めた様子を示している。図示のように、画像表示装置700の左右両端には、左眼用及び右眼用の画像をそれぞれ表示出力する表示パネル704L、704Rが配設されている。各表示パネル704L、704Rは、液晶ディスプレイ又は有機EL素子などのマイクロ・ディスプレイや、網膜直描ディスプレイなどのレーザー走査方式のディスプレイからなる。表示パネル704L、704Rから出力される左右の表示画像は、虚像光学部701L、701Rによって左右それぞれの眼付近まで導光され、その拡大虚像がユーザーの瞳に結像される。詳細な図示を省略するが、虚像光学部701L、701Rはそれぞれ、マイクロ・ディスプレイからの照射光を集光する光学系と、光学系の通過光を入射する位置に配設された導光板と、導光板への入射光を反射する偏向フィルターと、導光板内を全反射して伝播された光をユーザーの眼に向かって出射させる偏向フィルターを備えている。
 本実施形態では、AR画像の1つとして仮想物体150をシースルー表示するのに、表示パネル704L、704Rが用いられる。なお、ユーザーの頭部又は顔部に装着して用いられる画像表示装置700は、シースルーではなく、ビデオシースルーにより仮想物体150を表示するようにしてもよい。
 図9には、画像表示装置700の内部構成例を示している。以下、各部について説明する。
 制御部901は、ROM(Read Only Memory)901AやRAM(Random Access Memory)901Bを備えている。ROM901A内には、制御部901で実行するプログラム・コードや各種データを格納している。制御部901は、RAM901Bへロードしたプログラムを実行することで、画像の表示制御を始め、画像表示装置700全体の動作を統括的にコントロールする。
 ROM901Aに格納するプログラムやデータとして、画像の表示制御プログラムや、仮想物体150を生成し又は表示制御するための制御プログラム、仮想物体150が現実空間上で行なうアクションを検出する(例えば、仮想物体150が物理操作を行なっている実在物体151を特定し、実在物体151に対し行なっている行為を検出する)検出プログラム、インターネット上のサーバー(図示しない)など外部機器との通信処理プログラム)、実在物体151毎に対応する仮想物体150のライブラリー、当該装置700に固有の識別情報152などを挙げることができる。但し、仮想物体150のライブラリーは、画像表示装置700がローカルに保持せず、インターネット上のサーバー(図示しない)から逐次取得するようにしてもよい。
 入力操作部902は、キーやボタン、スイッチなど、ユーザーが入力操作を行なう1以上の操作子を備え、操作子を介したユーザーの指示を受け付けて、制御部901に出力する。また、入力操作部902は、リモコン受信部903で受信したリモコン・コマンドからなるユーザーの指示を同様に受け付けて、制御部901に出力する。
 本実施形態では、仮想物体150の表示の出現や消滅、仮想物体150に対する操作を、ユーザーが入力操作部902を介して行なうこともある。
 状態情報取得部904は、当該画像処理装置700本体、又は当該装置700を装着したユーザーの状態情報を取得する機能モジュールである。状態情報取得部904は、自ら状態情報を検出するための各種センサーを装備していてもよいし、これらのセンサー類の一部又は全部を備えた外部機器(例えば、ユーザーが身に付けているスマートフォンや腕時計、その他の多機能端末)から通信部905(後述)を介して状態情報を取得するようにしてもよい。
 状態情報取得部904は、ユーザーの頭部動作を追跡するために、例えばユーザーの頭部の位置及び姿勢の情報又は姿勢の情報を取得する。ユーザーの頭部動作を追跡するために、状態情報取得部904は、例えば3軸ジャイロ・センサー、3軸加速度センサー、3軸地磁気センサーの合計9軸を検出可能なセンサーとする。また、状態情報取得部304は、GPS(Global Positioning System)センサー、ドップラー・センサー、赤外線センサー、電波強度センサーなどのいずれか1つ又は2以上のセンサーをさらに組み合わせて用いてもよい。また、状態情報取得部904は、位置姿勢情報の取得に、携帯電話基地局情報やPlaceEngine(登録商標)情報(無線LANアクセスポイントからの電測情報)など、各種インフラストラクチャーから提供される情報をさらに組み合わせて用いるようにしてもよい。図9に示す例では、頭部動作追跡のための状態取得部904は、画像表示装置700としてのヘッド・マウント・ディスプレイに内蔵されるが、ヘッド・マウント・ディスプレイに外付けされるアクセサリー部品などで構成するようにしてもよい。後者の場合、外付け接続される状態取得部904は、頭部の姿勢情報を例えば回転マトリックスの形式で表現し、Bluetooth(登録商標)通信などの無線通信やUSB(Universal Serial Bus)のような高速な有線インフェース経由でヘッド・マウント・ディスプレイ本体に送信する。
 また、状態情報取得部904は、上述したユーザーの頭部動作の追跡の他に、当該画像表示装置700を装着したユーザーの状態情報として、例えば、ユーザーの作業状態(画像表示装置700の装着の有無)や、ユーザーの行動状態(静止、歩行、走行などの移動状態、瞼の開閉状態、視線方向、瞳孔の大小、仮想物体150に対して行なうアクション又はリアクションなどの物理操作)、精神状態(ユーザーが表示画像を観察中に没頭若しくは集中しているかなどの感動度、興奮度、覚醒度、感情や情動など)、さらには生理状態を取得する。また、状態情報取得部904は、これらの状態情報をユーザーから取得するために、機械スイッチなどからなる装着センサーや、ユーザーの顔を撮影する内側カメラ、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温又は気温を検知する温度センサー、発汗センサー、筋電位センサー、眼電位センサー、脳波センサー、呼気センサー、ガス・イオン濃度センサーなどの各種の状態センサー、タイマー(いずれも図示しない)を備えていてもよい。
 本実施形態では、状態情報取得部904が取得した状態又は状態の変化に基づいて、仮想物体150の表示の出現や消滅、仮想物体150の動作、実在物体151の仮想物体150に対する操作を制御することもある。
 環境情報取得部916は、当該画像処理装置700本体、又は当該装置700を装着したユーザーを取り巻く1以上の環境因子に関する情報を取得する機能モジュールである。ここで言う環境因子として、当該装置700又はユーザーが浴びる電磁波(紫外線、ブルーライト、電波)、熱線(赤外線)、放射線、大気中を漂う有害化学物質、騒音、マイナスイオンなどである。
 環境情報取得部916は、このような環境因子を検出するための各種センサーを装備していてもよい。あるいは、環境情報取得部916は、これらのセンサー類の一部又は全部を備えた外部機器(例えば、ユーザーが身に付けているスマートフォンや腕時計、その他の多機能端末)や、環境情報を収集するサーバーから通信部905(後述)を介して環境因子に関する情報を取得するようにしてもよい。
 本実施形態では、環境情報取得部916が取得した環境又は環境の変化に基づいて、仮想物体150の表示の出現や消滅、仮想物体150の動作、実在物体151の仮想物体150に対する操作を制御することもある。
 外側カメラ912は、例えば画像表示装置700本体前面のほぼ中央に配置され(図7中の外側カメラ712を参照のこと)、周囲画像を撮影することができる。また、状態情報取得部904で検出したユーザーの視線方向に合わせて外側カメラ912のパン、チルト、ロール方向の姿勢制御を行なうことで、外側カメラ912でユーザーの自分目線の画像すなわちユーザーの視線方向の画像を撮影することができる。視差情報を利用して、周囲画像の3次元情報を取得できるように、外側カメラ912を複数台のカメラで構成することができる。また、1台のカメラでも、SLAM(Simultaneous Locallization and Mapping)画像認識を用いて、カメラを移動させながら撮影を行ない、時間的に前後する複数のフレーム画像を用いて視差情報を算出し(例えば、特許文献5を参照のこと)、算出した視差情報から周囲画像の3次元情報を取得することもできる。ユーザーは、入力操作部902の操作、内部カメラで認識される瞳孔の大小や音声入力を通じて、外側カメラ912のズームを調整することができるものとする。外側カメラ912の撮影画像を、表示部909に表示出力することができ、また、記憶部906に格納することもできる。
 仮想物体150を目線で追うユーザーの視界を外側カメラ912で捕捉することができる。したがって、本実施形態では、外側カメラ912を上記の検出部104として活用することもできる。例えば、実在物体151に貼り付けられたバーコードなどの識別情報152を外側カメラ912の撮影画像から読み取る、あるいは、外側カメラ912の撮影画像から物体認識することによって、実在物体151を特定することができる。
 通信部905は、他の画像表示装置や多機能端末、インターネット上のサーバー(図示しない)などの外部機器との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。また、制御部901は、外部機器への送信データを通信部905から送出する。通信部905の構成は任意である。例えば、通信相手となる外部機器との送受信動作に使用する通信方式に応じて、通信部905を構成することができる。通信方式は、有線、無線のいずれの形態であってもよい。ここで言う通信規格として、MHL(Mobile High-definition Link)やUSB(Universal Serial Bus)、HDMI(登録商標)(High Definition Multimedia Interface)、Wi-Fi(登録商標)、Bluetooth(登録商標)通信やBLE(Bluetooth(登録商標) Low Energy)通信、ANTなどの超低消費電力無線通信、IEEE802.11sなどで規格化されたメッシュ・ネットワーク、赤外線通信、人体通信、導電性繊維を介した信号伝送などを挙げることができる。
 あるいは、通信部905は、例えばW-CDMA(Wideband Code Division Multiple Access)、LTE(Long Term Evolution)などの標準規格に従って動作する、セルラー無線送受信機であってもよい。
 本実施形態では、画像表示装置700内部で生成した仮想物体150の情報、取得した状態情報や環境情報を、通信部905を介して外部の装置に送信することがある。あるいは、外部のサーバーなどで生成された、仮想物体150の表示を制御するための情報(ライブラリーなど)を、通信部905を介して受信することもある。
 記憶部906は、SSD(Solid State Drive)などで構成される大容量記憶装置である。記憶部906は、制御部901で実行するアプリケーション・プログラムや各種データを記憶している。例えば、制御部901で表示制御している仮想物体150の情報(ライブラリーなど)や、表示部909に表示した仮想物体150の表示画像を、記憶部906内に記憶するようにしてもよい。
 画像処理部907は、制御部901から出力される画像信号に対して画質補正などの信号処理をさらに行なうとともに、表示部909の画面に合わせた解像度に変換する。そして、表示駆動部908は、表示部909の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。
 表示部909は、例えば有機EL(Electro-Luminescence)素子や液晶ディスプレイなどのマイクロ・ディスプレイ、あるいは、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される表示パネルを有する。虚像光学部910は、表示部909の表示画像を拡大投影して、ユーザーには拡大虚像として観察させる。本実施形態では、虚像光学部910を通じて、仮想物体150やその他のAR画像をユーザーに観察させるようになっている。
 外側表示部915は、表示画面が画像表示装置700の外側(装着したユーザーの顔とは反対の方向)に向けられており、表示部909と同じ画像又は異なる画像を、周囲にいる他のユーザーに表示することができる。例えば、表示部909に表示している仮想物体150の画像を外側表示部915でも表示すると、周囲にいる他ユーザーとの間で仮想現実感を共有することができる。なお、外側表示部915の詳細な構成については、例えば本出願人に既に譲渡されている特願2012-200902号明細書、特願2012-200903号明細書を参照されたい。
 音声処理部913は、制御部901から出力される音声信号に対して音質補正や音声増幅、入力された音声信号などの信号処理をさらに行なう。そして、音声入出力部914は、音声処理後の音声を外部出力、並びにマイクロフォン(前述)からの音声入力を行なう。本実施形態では、音声入出力部914はバイノーラル音源を出力できるものとする。
 上記では、ユーザーが実在物体151を見たことに応じて、又は、見付けたことに応じて、仮想物体150が出現するのが基本動作である、と説明した。表示装置201又は表示装置402がヘッド・マウント・ディスプレイとして構成される場合、外側カメラ912でユーザーの視界を捕捉し、その撮影画像を解析することによって識別情報152を読み取り、又は、物体認識により実在物体151を特定することができ、これに応じて表示部909で仮想物体150が出現する。
 なお、図7乃至図9には、ヘッド・マウント・ディスプレイとして実現される表示装置201又は表示装置402の構成例を示したが、本明細書で開示する技術はこれに限定されるものではない。例えば、カメラの撮影画像をスルー表示するスマートフォンやディジタルカメラなどの情報機器(例えば、特許文献6を参照のこと)を用いて、表示装置201又は表示装置402を構成することもできる。
 図10には、専用のハードウェア装置として構成される出力装置202又は403の内部構成例を模式的に示している。既に述べたように、出力装置202は、仮想物体150が現実空間で行なったインタラクションを表現するハードウェア装置であり、例えば実在物体151と一体若しくは内蔵される。出力装置202は、仮想物体150のアクションに対するリアクションを行なったり、仮想物体150に対するアクションを行なったりする。
 図示の出力装置202は、制御部1001と、通信部1002と、状態検出部1003と、環境検出部1004と、アクチュエーター部1020と、駆動制御部1010を備えている。
 制御部1001は、ROM1001AやRAM1001Bを備えている。ROM901A内には、制御部1001で実行するプログラム・コードや各種データを格納している。制御部1001は、RAM1001Bへロードしたプログラムを実行することで、駆動制御部1010を介してアクチュエーター部1020の動作をコントロールする。
 ROM1001Aに格納するプログラムとして、仮想物体150が実在物体151に対して行なったアクションに対するリアクションや、実在物体151が仮想物体150に対して行なうアクションなどを表現するための、アクチュエーター部1020の動作を制御する制御プログラムである。また、実在物体151を通じて仮想物体150に行ないたいアクション又はリアクションを表現するためのアクチュエーター部1020の動作パターンなどのデータを、ROM100Aに格納しておいてもよい。
 状態検出部1003は、出力装置202を搭載する実在物体151の状態又は状態の変化を検出する。状態検出部1003は、例えばジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温又は気温を検知する温度センサー、発汗センサー、筋電位センサー、眼電位センサー、脳波センサー、呼気センサー、ガス・イオン濃度センサーなどの、1以上の状態センサーを備えている。
 環境検出部1004は、出力装置202を搭載する実在物体151、あるいは、実在物体151に対して物理操作を行なっている仮想物体150を取り巻く1以上の環境因子又はその変化を検出する。
 アクチュエーター部1020は、仮想物体150に対する実在物体151のリアクション又はアクションを出力するための1以上の出力デバイス群からなる。
 図11には、アクチュエーター部1020の構成例を模式的に示している。アクチュエーター部1020は、振動デバイス1101、発熱デバイス1102、冷却デバイス1103、ファンなどの送風デバイス1104、スピーカーなどの音響デバイス1105、発光デバイス1106、車輪などの移動デバイス1107、パルス発生デバイス1108のうち少なくとも一部の出力デバイスを備えている。制御部1001は、駆動制御部1010を通じて、これらの出力デバイス1101~1108の動作を制御することができる。そして、アクチュエーター部1020は、仮想物体150に対するリアクション又はアクションとして、仮想物体150がアクションを行なう対象となっている実在物体151に対して、振動や、発熱又は冷却、風、音、発光、移動、跳躍などの出力を生じさせることができる。アクチュエーター部1020が装備する出力デバイスの種類が多く、且つ、複数の出力デバイスを組み合わせて動作させると、より多様なインタラクションを提示することができる。
 制御部1001は、通信部1002を介して、表示装置201、402などから、仮想物体150が現実空間で行なうアクション(例えば、実在物体151に対して行なう物理操作)の検出結果を受信すると、そのアクションに対するリアクションを計算して、駆動制御部1010を介してアクチュエーター部1020の動作をコントロールする。あるいは、制御部1001は、通信部1002を介して、表示装置201、402などからリアクションの計算結果を受信すると、これに従ってアクチュエーター部1020の動作を制御する。
 また、制御部1001は、通信部1002を介して、表示装置201、402などから、ユーザーの状態や状態の変化に関する情報、又は、表示装置201、402やユーザーを取り巻く環境や環境の変化に関する情報を受信すると、状態や状態の変化、又は、環境や環境の変化に対応した実在物体151のリアクション又はアクションを計算して、駆動制御部1010を介してアクチュエーター部1020の動作をコントロールする。あるいは、制御部1001は、通信部1002を介して、表示装置201、402などから状態や環境に応じたリアクション又はアクションの計算結果を受信すると、これに従ってアクチュエーター部1020の動作を制御する。
 なお、ここで言うユーザーの状態には、ユーザー自身が仮想物体150に対して行なうアクション又はリアクションなどの物理操作が含まれる。
 また、制御部1001は、状態検出部1003で検出された実在物体151の状態又は状態の変化や、状態検出部1004で検出された仮想物体150を取り巻く環境因子又はその変化に応じたリアクション又はアクションを計算し、これに従ってアクチュエーター部1020の動作を制御する。
 制御部1001は、アクチュエーター部1020を用いて実施した実在物体151のアクション又はリアクションを、通信部1002を介して表示装置201、402などにフィードバックするようにしてもよい。
 出力装置202、若しくは出力装置202を搭載する実在物体151の形状やサイズは任意である(以下では、出力装置202と、出力装置202を搭載する実在物体151を、統一して「出力装置202」と呼ぶことにする)。
 例えば、アバターのような人の形をした仮想物体150が歩いて乗り上がる、上で足踏みをするといった物理操作を行なうことを想定すると、図12Aに示すように座布団のような平板状の出力装置202や、図12Bに示すような円盤状の出力装置202が考えられる。
 また、アクションを行ない又はリアクションを受ける仮想物体150のサイズに応じて、出力装置202の適正なサイズも異なる。例えば、仮想物体150が手のひらサイズの場合には、図12Cに示すように、出力装置202も手のひらサイズであってもよい。
 図12A~図12Cの各図に例示した出力装置202において、上面は物理操作(仮想物体150が行なうアクション、並びに、出力装置202が仮想物体150に対して行なうリアクション)を行なう操作面1201であり、仮想物体150は、操作面1201上に乗って、歩く、走る、ジャンプする、楽器を演奏するなど、さまざまな活動を行なう。
 なお、図12A~図12Cに示す例では、1つの出力装置202(実在物体151)上に、単一の仮想物体150しか出現していないが、図25にも示したように2以上の仮想物体が同時に出現して共存するというシーンも想定される。例えば、複数の仮想物体のうち1つは、ユーザー本人のアバターや、ユーザーがプレイしているゲームのキャラクターであり、それ以外の仮想物体は、その他のユーザーのアバターやゲームのキャラクターである。
 図1、図2、図4、図5の各々に示したシステム構成では、実在物体151は、出力部105を搭載し、又は、出力部105と一体となっており、実在物体151上に出現した仮想物体150のアクションに対してリアクションしたり、あるいは仮想物体150に対してアクションを行なったりすることができる。しかしながら、最も簡素なシステム構成は、実在物体151は出力部105を備えず、単に識別情報152が配設され又は物体認識が可能な物体であり、仮想物体150が出現するステージでしかなく、インタラクションは行なわない。
 あるいは、実在物体151は、図26に示すように室内などで識別情報152が配設された領域2601や、画像認識などにより特定することが可能な場所であってもよい。ユーザーがヘッド・マウント・ディスプレイ2602越しに識別情報152を眺めると、領域2601内に重なるように仮想物体150が表示される。識別情報152が配設された場所は、仮想物体150を呼び出すためのアンカーに過ぎず、仮想物体150に対して物理操作は行なわない(仮想物体150とのインタラクションは行なわない)。
 また、ユーザーの手のひらや右肩など、ユーザーの身体の一部であってもよい。図27に示すように、ヘッド・マウント・ディスプレイ2701を頭部に装着したユーザーが右を向き、右肩を見つめる。ユーザーが右を向いたことは、例えば外側カメラ912の撮影画像の認識処理や、ジャイロ・センサーなどセンサー出力に基づいて検出することができる。そして、ヘッド・マウント・ディスプレイ2701は、ユーザーの右肩の上に直接載るように、仮想物体150を表示する。ユーザーが仮想物体150を表示させたいときに(あるいは、仮想物体150と対話したいとき)、右を向くという出現の仕方は、PULL型(前述)に相当する。
 例えば、バイノーラル音源などを利用して、ユーザーの右肩付近から仮想物体150が話しかける音声を発生させる。そして、ユーザーが右側を振り向くと、これに応答して、仮想物体150を表示し始める。右肩などいつも決まった方向から仮想物体150が話しかけてくるのが、自然なインタラクションである。仮想物体150が出現したくなったときに、自律的にユーザーに話しかけるという出現の仕方は、PUSH型(前述)に分類される。また、ユーザーが右肩から眼をそらし、右肩に載っている仮想物体150が視界から外れると、仮想物体150の表示を消滅させる。
 なお、ユーザーが右肩を見たことを検出するには、ユーザーが胴体ごと姿勢を変えて右側を向いたのか、胴体の姿勢は一定のままで頭部だけを動かしたのかを判別する必要がある。
 あるいは、図28に示すように、ヘッド・マウント・ディスプレイ2801を頭部に装着したユーザーが自分の手のひら2802を見つめたことを検出すると、ヘッド・マウント・ディスプレイ2801は、ユーザーの手のひら2802の上に直接載るように、仮想物体150を表示する。その際、ユーザーが見つめたのがユーザー本人の手のひらかどうかは、例えば外側カメラ912で撮影した指紋の認証処理などにより確認するようにしてもよい。あるいは、ユーザー本人の手のひらかどうかといった個人認証ではなく、右手か左手かを判別して、右手であれば仮想物体150を表示する、特定の姿勢をした手のひらを発見して仮想物体150を表示する、というアバウトな方法であってもよい。機械学習により手のひらを判別することができる。また、ユーザーが手のひらを引っ込める、あるいは手を握ることによって、仮想物体150の表示を消滅させるようにしてもよい。
 図27や図28に示したように、右肩や手のひらなど、実在物体151が人体の一部で構成される場合、アクチュエーター部1020のようなハードウェア・デバイスの駆動ではなく、右肩を上げ下げする、右肩を震わせる、手のひらを上げ下げする、手を結ぶ、といった人的作業によって、仮想物体150に対するアクションを行なうことができる。外側カメラ912の撮影画像などに基づいて、ユーザーが仮想物体150に対して行なったアクションは、例えば外側カメラ912の撮影画像などに基づいて検出することができる。仮想物体制御部101は、検出された仮想物体150へのアクションに対応して、右肩や手のひら上でステップする、ジャンプする、転げ落ちるなど、仮想物体150のリアクション動作を制御するようにすればよい。
 続いて、出力装置202を用いて仮想物体150に対して行なうリアクション又はアクションの動作について説明する。
 振動デバイス1101は、圧電素子のように、電気信号を力や機械的な歪みに変換する1以上のデバイスの組み合わせで構成される。図13に示す例では、出力装置202の操作面1201を、3以上の圧電素子1301、1302、1303で支持するように配置している。そして、図14に示すように、各圧電素子1301、1302、1303のストロークを異ならせるように動作することで、図15に示すように、操作面1201で自由空間を表現することができる。
 図15に示すような動作は、操作面1201上に載っている仮想物体150に対し、床が傾く、というアクションを与えることができる。これに対し、例えば歩行型の仮想物体150は、前傾する、足の接地位置を変える、ジャンプするなどの動作をさせなければ、操作面1201から転げ落ちてしまう。
 検出部104は、外側カメラ912の撮像画像の認識結果などに基づいて、実在物体151の操作面120が傾くという、出力装置202(実在物体151)の仮想物体150に対するアクションを検出する。あるいは、検出部104は、操作面120を傾けるようにアクチュエーター部1020を動作させたという通知を、出力制御部106から受け取る。そして、検出部104は、出力装置202が仮想物体150に対して行なったアクションを、仮想物体制御部101に通知する。これに対し、仮想物体制御部101は、床から転げ落ちないように移動したり姿勢を変化させたりする、あるいは、姿勢を変えるなど何ら行なわずに床から転げ落ちてしまうなど、仮想物体150のリアクションを制御する。そして、表示部103は、リアクションをとる仮想物体150を表示する。
 図12Cに示したように、手のひらなどユーザーの身体に付けるタイプの出力装置202の場合、アクチュエーター部1020の動作は、仮想物体150に対するアクションだけでなく、ユーザーへの触感フィードバックにもなる。
 例えば、図16に示すように、ユーザーの手のひらに置いた出力装置202(実在物体151)上で、アバターのような仮想物体150が足踏みをすると、振動デバイス1101が振動して、足踏みしている触覚1601を出力装置202(実在物体151)の下面から手のひらに伝える。それと同時に、音響デバイス1105が足踏み音(「ドン、ドン」などの擬音)1602を発生して、臨場感を高めるようにしてもよい。また、発熱デバイス1106が熱を発生して、仮想物体150から物理操作を受けていることを温度で表現するようにしてもよい。また、仮想物体150の足踏みを続けるなど、常時動作させる仮想物体150を表示すると、仮想物体150が遅延なくインタラクションを行なっているような印象を与えることができる。
 また、図17に示すように、仮想物体150が出力装置202(実在物体151)上を駆け抜けるときには、上記の振動デバイス1101の振動1701や音響デバイス1105によるより大きな足踏み音1702を発生するとともに、送風デバイス1104が疾風1703を発生したり、発熱デバイス1102が熱を発生したり、発光デバイス1106が閃光1704を発したりして、仮想物体150が現実に通り過ぎる演出を行なうようにしてもよい。また、仮想物体150の足踏みを続けるなど、常時動作させる仮想物体150を表示すると、仮想物体150が遅延なくインタラクションを行なっているような印象を与えることができる。
 また、出力装置202は、発熱デバイス1102と冷却デバイス1103を用い、仮想物体150の精神状態を温度でユーザーの手のひらに伝えることができる。例えば、仮想物体150が興奮しているとき(若しくは激怒しているとき)には、発熱デバイス1102が熱を発して、その熱気1801で仮想物体150の興奮状態を、手のひらからユーザーに伝えることができる(図18を参照のこと)。また、仮想物体150が怯えているとき(若しくは冷静なとき)には、冷却デバイス1103がユーザーの手のひらを冷却して、その冷気1901で仮想物体150が冷めた(凍えた)状態を、手のひらからユーザーに伝えることができる(図19を参照のこと)。
 また、出力装置202は、音響デバイス1105を用いて、仮想物体150が行なうアクションやリアクションに効果音などを付加して、臨場感を与えることができる。例えば、仮想物体150がバイオリン2000などの楽器を演奏しているときには、他の楽器2001、2002、…の音を音響デバイス1105から発声して、演奏の効果を上げることができる(図20を参照のこと)。また、状態情報取得部904などで、仮想物体150の演奏にユーザーが感銘を受けたタイミングに同期して、拍手喝采2010の音を音響デバイス1105から発することで、雰囲気をさらに盛り上げることができる。
 図10並びに図11には、複数の出力デバイス1101、1102、…を装備したハイスペックな出力装置202の構成例を示した。アクチュエーター部1020が多種類の出力デバイスを装備していれば、図16乃至図20を参照しても分かるように、仮想物体150の現実空間でのアクションやリアクションをより多様に表現することができる。但し、限られた出力デバイスしか装備していない情報端末で出力装置202を代用することもできる。例えば、偏心モーターなどのバイブレーター機能を装備したスマートフォンなどの平型で手のひらサイズの情報処理装置(例えば、特許文献7を参照のこと)を、本実施形態に係る出力装置202として代用することもできる。
 仮想物体150は、出力装置403が行なうアクションやリアクションと同期して動作しなければ、不自然な動作になる。表示装置402がヘッド・マウント・ディスプレイとして構成される場合には、ユーザーが首振り動作したときには、ジャイロ・センサーなどで検出した頭部の動きを打ち消すように、仮想物体150の表示領域を移動させることで、ユーザーの頭部の動きに追従した仮想物体150を提示することができる。
 図21に示すように、ユーザーが右に振り向き、ヘッド・マウント・ディスプレイ2101越しに見える視界が右側に移動するのに伴って、仮想物体150の表示領域をその逆の左側に移動させると、仮想物体150が出現場所である実在物体151の上に留まっているので、ユーザーには仮想物体150が現実空間に存在しているかのように映る。これに対し、図22に示すように、ユーザーの頭部の動きすなわち視界の移動に仮想物体150の表示領域を追従させないと(すなわち、仮想物体150を元の実在物体151の場所まで戻さないと)、仮想物体150はヘッド・マウント・ディスプレイ2101の表示画像としての印象が強く、現実空間に存在しているようには映らない。
 ここで、ユーザーの頭部の動きを打ち消すように仮想物体150の表示領域を移動させるという画像修整をかけたとしても、レイテンシーの問題がある。レイテンシーのために、ユーザーの頭部の動きと仮想物体150の表示領域の変化が同期をとることができなければ、不自然な表示になってしまう。例えば、外側カメラ912の撮影画像の画像認識により、ヘッド・マウント・ディスプレイを装着したユーザーの頭部の動きを検出しようとすると、時間遅れてしか正しい値が分からない。付言すれば、図4、図5、図29に示したように、仮想物体150を制御する制御装置401と、仮想物体150を表示する表示装置402が、物理的に独立した装置で構成される場合には、通信処理による遅延も生じるため、レイテンシーの問題はより深刻になる。
 図23には、ユーザーの頭部の動きに対して、仮想物体150の画像の動きが遅延している様子を示している。同図中、ユーザーの頭部の実際の動きを実線2301で示し、カメラの撮影画像から認識される頭部の動きの検出量を一点鎖線2302で示している。図示のように、画像認識による動き検出では、時間遅れでしか正しい値が分からない。
 ユーザーの頭部の動き自体は、ジャイロ・センサー(前述)などのセンサーにより検出することができる。図23中で、ジャイロ・センサーなどのセンサーによる頭部の動きの検出量を点線2303で示している。
 そこで、仮想物体生成部102又は仮想物体制御部101が行なう処理として、ジャイロ・センサーなどのセンサーにより検出されるユーザーの頭部の動きを打ち消すように、仮想物体150の表示領域を移動させるという画像修整をかける。
 但し、ジャイロ・センサーは相対センサーなので、単位時間当たりのユーザーの頭部の動きを検出することはできるが、絶対座標が分からず、やがてずれていくことが懸念される。この対策として、ずれ量に対しては、参照番号2302で示される画像認識の結果を利用して、正しい値に合わせ込むという処理を並行して行なうようにすればよい。具体的には、ジャイロ・センサーによる頭部の動きの検出量が画像認識による検出量との差分がゼロになるようにサーボをかけ、ある時間で差分がゼロに収束するか(画像を参照して、絶対座標に吸着させる)、あるいは頭部が止まっているときに差分がゼロになるように合わせ込むようにする。あるいは、ジャイロ・センサーの検出量を微分制御(微分信号を重畳するという、微分制御のフィードフォワード的使用などの動き予測)であっても、一定の効果がある。
 また、実在物体151のアクションに対して、仮想物体150がリアクションをとる場合も、同様に、レイテンシーの問題がある。例えば、仮想物体150が載っている実在物体151が傾くのに対し(図15を参照のこと)、仮想物体150が、前傾する、足の接地位置を変える、ジャンプする、あるいは転げ落ちるというリアクションをとる場合、実在物体151の動きに対し、仮想物体151がリアクションをとるまでの遅延時間が大き過ぎると、仮想物体150の動作がリアクションには見えず、不自然な画像になってしまう。実在物体151をカメラで撮影して画像認識によりその動きを検出しようとすると、時間遅れでしか正しい値が分からない。勿論、表示装置402内の検出部104がカメラの撮影画像などから実在物体151のアクションを検出し、制御装置401でそのアクションに対応する仮想物体150のアクションを生成して、表示装置402で表示を行なう場合、各装置401、402での演算処理と装置401、402間の通信処理による遅延が生じる。
 そこで、仮想物体生成部102又は仮想物体制御部101が行なう処理として、出陸装置403が状態検出部415として備えるジャイロ・センサー(前述)により検出される、実在物体151の位置又は姿勢の変化に対応した仮想物体150の動作を制御するようにすればよい。例えば、仮想物体150が、前傾する、足の接地位置を変える、ジャンプする、あるいは転げ落ちるというリアクションをとらせる。
 但し、ジャイロ・センサーは相対センサーなので、単位時間当たりのユーザーの頭部の動きを検出することはできるが、絶対座標が分からないので、画像情報とのすり合わせを行なうようにする(同上)。
特開2010-49690号公報 特開2005-12385号公報 特開2005-165776号公報 特開2006-262980号公報 特開2008-304268号公報 特開2012-248930号公報 特開2012-155655号公報
 以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
 本明細書で開示する技術は、仮想物体と現実空間とのインタラクションを提示する技術に関するものであり、本明細書では当該技術を実現するシステム構成として、図2、図4、図5、図29を例示したが、実現形態はこれらに限定されない。
 また、本明細書では、ユーザーに仮想物体を提示する表示装置として、ヘッド・マウント・ディスプレイを挙げたが、本明細書で開示する技術はこれに限定されるものではない。スマートフォンやタブレット端末、ゲーム・コントローラーなど、表示画面を持つさまざまな情報端末を表示装置に用いることができる。
 また、本明細書では、仮想物体が出現する実在物体として、図12、図26、図27、図28を挙げたが、本明細書で開示する技術はこれらに限定されるものではない。
 要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
 なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)実在物体に動作を加える出力部と、
 仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、前記出力部からの出力を制御する制御部と、
を具備する情報処理装置。
(2)前記情報処理装置を識別するための識別情報をさらに備える、
上記(1)に記載の情報処理装置。
(3)前記仮想物体が前記実在物体に対して行なう動作の検出結果を受信する受信部をさらに備え、
 前記制御部は、受信した前記検出結果に従って、前記出力部からの出力を制御する、
上記(1)に記載の情報処理装置。
(4)前記仮想物体の動作を制御する仮想物体制御部をさらに備え、
 前記制御部は、前記仮想物体制御部により制御される前記仮想物体の動作に応じて、前記出力部からの出力を制御する、
上記(1)に記載の情報処理装置。
(5)前記仮想物体制御部は、前記仮想物体の出現と消滅を制御する、
上記(4)に記載の情報処理装置。
(6)前記出力部は、前記実在物体の中に組み込まれた、振動デバイス、パルス発生デバイス、発熱デバイス、冷却デバイス、送風デバイス、音響デバイス、発光デバイス、移動デバイスのうち少なくとも1つの出力デバイスを備える、
上記(1)に記載の情報処理装置。
(7)前記制御部は、表示装置が表示する前記仮想物体の動作と同期して、前記出力部からの出力を制御する、
上記(1)に記載の情報処理装置。
(8)仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作を取得するステップと、
 前記仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、前記実在物体に動作を加えるステップと、
を有する情報処理方法。
(9)特定の実在物体を検出する検出部と、
 前記特定の実在物体を検出したことに応じて、仮想物体を表示する表示部と、
を具備する表示装置。
(10)前記検出部は、前記実在物体を識別し、
 前記表示部は、識別した前記実在物体に対応した前記仮想物体を表示する、
上記(9)に記載の表示装置。
(11)前記検出部は、前記実在物体が備える識別情報に基づいて前記実在物体を識別し、又は、物体認識により前記実在物体を識別する、
上記(9)に記載の表示装置。
(12)前記検出部は、ユーザーの視界内から前記実在物体を検出し、
 前記表示部は、前記実在物体に重ね合わせて前記仮想物体を表示する、
上記(9)に記載の表示装置。
(13)前記仮想物体の動作を制御する仮想物体制御部をさらに備える、
上記(9)に記載の表示装置。
(14)前記仮想物体制御部は、前記仮想物体の出現と消滅を制御する、
上記(13)に記載の表示装置。
(15)前記仮想物体制御部は、ユーザーの行動に応じて前記仮想物体の出現又は消滅を制御する、
上記(13)に記載の表示装置。
(16)前記仮想物体制御部は、ユーザーの行動又は状況、時間帯に応じて、前記表示部が表示する前記仮想物体の情報量を制御する、
上記(13)に記載の表示装置。
(17)前記仮想物体制御部は、前記仮想物体の前記実在物体に対する動作を制御する、
上記(13)に記載の表示装置。
(18)前記仮想物体制御部は、前記仮想物体が前記実在物体から受ける動作に応じて、前記仮想物体の動作を制御する、
上記(13)に記載の表示装置。
(19)前記検出部は、前記仮想物体の前記実在物体に対する動作、又は、前記仮想物体が前記実在物体から受ける動作を検出し、
 前記仮想物体制御部は、前記検出部の検出結果に基づいて、前記仮想物体の動作を制御する、
上記(13)に記載の表示装置。
(20)前記仮想物体制御部は、前記実在物体の動作と同期するように、前記仮想物体の動作を制御する、
上記(13)に記載の表示装置。
(21)前記検出部の検出結果を外部の装置に送信する送信部をさらに備える、
上記(9)に記載の表示装置。
(22)前記表示部で表示する前記仮想物体を常時動作させる、
上記(9)に記載の表示装置。
(23)前記表示部は、ユーザーの頭部又は顔部に装着して用いられる、
上記(9)に記載の表示装置。
(24)ユーザーの頭部又は顔部の位置並びに姿勢を検出する位置姿勢検出部をさらに備え、
 前記表示部は、ユーザーの頭部又は顔部の位置又は姿勢の変化とは逆方向に、前記仮想物体の表示を修正する、
上記(23)に記載の表示装置。
(25)特定の実在物体を検出する検出ステップと、
 前記特定の実在物体を検出したことに応じて、仮想物体を表示する表示ステップと、
を有する表示方法。
(26)仮想物体の動作を制御する制御装置と、
 実在物体を検出して、対応する仮想物体を表示する表示装置と、
 仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、実在物体に動作を加える出力装置と、
を具備する情報処理システム。
(27)実在物体を検出して、対応する仮想物体を表示するとともに、仮想物体の動作を制御する表示装置と、
 仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、実在物体に動作を加える出力装置と、
を具備する情報処理システム。
 101…仮想物体制御部、102…仮想物体生成部
 103…表示部、104…検出部
 105…出力部、105…出力制御部
 107…環境検出部、108…状態検出部
 150…仮想物体、151…実在物体、152…識別情報
 201…表示装置、202…出力装置、213…環境検出部
 401…制御装置、402…表示装置、403…出力装置
 413…環境検出部、414…状態検出部、415…状態検出部
 700…画像表示装置(透過型)
 701L、701R…虚像光学部、702…支持体
 703L、703R…マイクロフォン、704L、704R…表示パネル
 901…制御部、901A…ROM、901B…RAM
 902…入力操作部、903…リモコン受信部
 904…状態情報取得部、905…通信部、906…記憶部
 907…画像処理部、908…表示駆動部
 909…表示部、910…虚像光学部、912…外側カメラ
 913…音声処理部、914…音声入出力部
 915…外側表示部、916…環境情報取得部
 1001…制御部、1001A…ROM、1001B…RAM
 1002…通信部、1003…状態検出部、1004…環境検出部
 1010…駆動制御部、1020…アクチュエーター部
 1101…振動デバイス、1102…発熱デバイス
 1103…冷却デバイス、1104…送風デバイス
 1105…音響デバイス、1106…発光デバイス
 1107…移動デバイス、1108…パルス発生デバイス

Claims (20)

  1.  実在物体に動作を加える出力部と、
     仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、前記出力部からの出力を制御する制御部と、
    を具備する情報処理装置。
  2.  前記情報処理装置を識別するための識別情報をさらに備える、
    請求項1に記載の情報処理装置。
  3.  前記仮想物体が前記実在物体に対して行なう動作の検出結果を受信する受信部をさらに備え、
     前記制御部は、受信した前記検出結果に従って、前記出力部からの出力を制御する、
    請求項1に記載の情報処理装置。
  4.  前記仮想物体の動作を制御する仮想物体制御部をさらに備え、
     前記制御部は、前記仮想物体制御部により制御される前記仮想物体の動作に応じて、前記出力部からの出力を制御する、
    請求項1に記載の情報処理装置。
  5.  前記出力部は、前記実在物体の中に組み込まれた、振動デバイス、パルス発生デバイス、発熱デバイス、冷却デバイス、送風デバイス、音響デバイス、発光デバイス、移動デバイスのうち少なくとも1つの出力デバイスを備える、
    請求項1に記載の情報処理装置。
  6.  仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作を取得するステップと、
     前記仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、前記実在物体に動作を加えるステップと、
    を有する情報処理方法。
  7.  特定の実在物体を検出する検出部と、
     前記特定の実在物体を検出したことに応じて、仮想物体を表示する表示部と、
    を具備する表示装置。
  8.  前記検出部は、前記実在物体を識別し、
     前記表示部は、識別した前記実在物体に対応した前記仮想物体を表示する、
    請求項7に記載の表示装置。
  9.  前記検出部は、前記実在物体が備える識別情報に基づいて前記実在物体を識別し、又は、物体認識により前記実在物体を識別する、
    請求項7に記載の表示装置。
  10.  前記検出部は、ユーザーの視界内から前記実在物体を検出し、
     前記表示部は、前記実在物体に重ね合わせて前記仮想物体を表示する、
    請求項7に記載の表示装置。
  11.  前記仮想物体の動作を制御する仮想物体制御部をさらに備える、
    請求項7に記載の表示装置。
  12.  前記仮想物体制御部は、ユーザーの行動に応じて前記仮想物体の出現又は消滅を制御する、
    請求項11に記載の表示装置。
  13.  前記仮想物体制御部は、ユーザーの行動又は状況、時間帯に応じて、前記表示部が表示する前記仮想物体の情報量を制御する、
    請求項11に記載の表示装置。
  14.  前記仮想物体制御部は、前記仮想物体の前記実在物体に対する動作を制御し、又は、前記仮想物体が前記実在物体から受ける動作に応じて、前記仮想物体の動作を制御する、
    請求項11に記載の表示装置。
  15.  前記検出部は、前記仮想物体の前記実在物体に対する動作、又は、前記仮想物体が前記実在物体から受ける動作を検出し、
     前記仮想物体制御部は、前記検出部の検出結果に基づいて、前記仮想物体の動作を制御する、
    請求項11に記載の表示装置。
  16.  前記仮想物体制御部は、前記実在物体の動作と同期するように、前記仮想物体の動作を制御する、
    請求項11に記載の表示装置。
  17.  前記表示部は、ユーザーの頭部又は顔部に装着して用いられ、
     ユーザーの頭部又は顔部の位置並びに姿勢を検出する位置姿勢検出部をさらに備え、
     前記表示部は、ユーザーの頭部又は顔部の位置又は姿勢の変化とは逆方向に、前記仮想物体の表示を修正する、
    請求項7に記載の表示装置。
  18.  特定の実在物体を検出する検出ステップと、
     前記特定の実在物体を検出したことに応じて、仮想物体を表示する表示ステップと、
    を有する表示方法。
  19.  仮想物体の動作を制御する制御装置と、
     実在物体を検出して、対応する仮想物体を表示する表示装置と、
     仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、実在物体に動作を加える出力装置と、
    を具備する情報処理システム。
  20.  実在物体を検出して、対応する仮想物体を表示するとともに、仮想物体の動作を制御する表示装置と、
     仮想物体が前記実在物体に対して行なった動作、又は、前記実在物体が前記仮想物体に対して行なう動作に応じて、実在物体に動作を加える出力装置と、
    を具備する情報処理システム。
PCT/JP2014/055352 2013-04-16 2014-03-04 情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システム WO2014171200A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201480020555.0A CN105144248B (zh) 2013-04-16 2014-03-04 信息处理设备和信息处理方法、显示设备和显示方法与信息处理系统
US14/782,638 US10269180B2 (en) 2013-04-16 2014-03-04 Information processing apparatus and information processing method, display apparatus and display method, and information processing system
JP2015512346A JP6217747B2 (ja) 2013-04-16 2014-03-04 情報処理装置及び情報処理方法
EP14785048.1A EP2988275A4 (en) 2013-04-16 2014-03-04 INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD, DISPLAY DEVICE AND DISPLAY METHOD AND INFORMATION PROCESSING SYSTEM
BR112015025869A BR112015025869A2 (pt) 2013-04-16 2014-03-04 aparelhos de processamento de informação e de exibição, métodos para processamento de informação e para exibição, e, sistema de processamento de informação

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013086023 2013-04-16
JP2013-086023 2013-04-16

Publications (1)

Publication Number Publication Date
WO2014171200A1 true WO2014171200A1 (ja) 2014-10-23

Family

ID=51731161

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/055352 WO2014171200A1 (ja) 2013-04-16 2014-03-04 情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システム

Country Status (6)

Country Link
US (1) US10269180B2 (ja)
EP (1) EP2988275A4 (ja)
JP (1) JP6217747B2 (ja)
CN (1) CN105144248B (ja)
BR (1) BR112015025869A2 (ja)
WO (1) WO2014171200A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126772A (ja) * 2014-12-31 2016-07-11 イマージョン コーポレーションImmersion Corporation 拡張及び仮想現実アプリケーションのための触覚的に向上されたオブジェクトを生成するシステム及び方法
JP2017033334A (ja) * 2015-08-03 2017-02-09 株式会社オプティム ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。
WO2017076785A1 (de) * 2015-11-07 2017-05-11 Audi Ag Virtual-reality-brille und verfahren zum betreiben einer virtual-reality-brille
JP2018088102A (ja) * 2016-11-28 2018-06-07 株式会社スクウェア・エニックス プログラム、コンピュータ装置、及び、判定方法
US10235809B2 (en) 2016-06-30 2019-03-19 Microsoft Technology Licensing, Llc Reality to virtual reality portal for dual presence of devices
WO2019150781A1 (ja) * 2018-01-30 2019-08-08 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2019213231A (ja) * 2014-11-07 2019-12-12 ソニー株式会社 情報処理システム、制御方法、および記憶媒体
US20200053501A1 (en) * 2016-11-16 2020-02-13 Sony Corporation Information processing apparatus, information processing method, and program
JP2020511048A (ja) * 2017-07-18 2020-04-09 テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド バーチャルプロップ割り当て方法、サーバー、クライアント及び記憶媒体
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US10350763B2 (en) * 2014-07-01 2019-07-16 Sharp Kabushiki Kaisha Posture control device, robot, and posture control method
EP2990085B1 (en) * 2014-08-29 2022-08-10 Nintendo Co., Ltd. Method and apparatus for estimating the value of an input in presence of a perturbing factor
US9715865B1 (en) * 2014-09-26 2017-07-25 Amazon Technologies, Inc. Forming a representation of an item with light
CN107111314B (zh) * 2014-11-07 2021-10-08 索尼公司 控制系统、控制方法以及存储介质
JP6561996B2 (ja) * 2014-11-07 2019-08-21 ソニー株式会社 情報処理装置、制御方法、および記憶媒体
US10664975B2 (en) * 2014-11-18 2020-05-26 Seiko Epson Corporation Image processing apparatus, control method for image processing apparatus, and computer program for generating a virtual image corresponding to a moving target
US9536560B2 (en) 2015-05-19 2017-01-03 Spotify Ab Cadence determination and media content selection
US9568994B2 (en) 2015-05-19 2017-02-14 Spotify Ab Cadence and media content phase alignment
CN106412469B (zh) * 2015-08-03 2019-05-24 中强光电股份有限公司 投影系统、投影装置与投影系统的投影方法
US20170038829A1 (en) * 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Social interaction for remote communication
JP6367166B2 (ja) 2015-09-01 2018-08-01 株式会社東芝 電子機器及び方法
US10583361B2 (en) * 2016-02-04 2020-03-10 Disney Enterprises, Inc. Incorporating and coordinating multiple home systems into a play experience
US10163198B2 (en) * 2016-02-26 2018-12-25 Samsung Electronics Co., Ltd. Portable image device for simulating interaction with electronic device
WO2017213218A1 (ja) * 2016-06-10 2017-12-14 株式会社コロプラ 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム
CN106293876A (zh) * 2016-08-04 2017-01-04 腾讯科技(深圳)有限公司 基于虚拟现实场景的信息认证方法和装置
CN107835288A (zh) * 2016-09-16 2018-03-23 天津思博科科技发展有限公司 应用智能终端实现的互动娱乐装置
GB2554914B (en) * 2016-10-14 2022-07-20 Vr Chitect Ltd Virtual reality system and method
KR102369905B1 (ko) * 2016-10-31 2022-03-03 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
CN107357416A (zh) * 2016-12-30 2017-11-17 长春市睿鑫博冠科技发展有限公司 一种人机交互装置及交互方法
JP6908053B2 (ja) * 2016-12-19 2021-07-21 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN109863471A (zh) * 2016-12-20 2019-06-07 三星电子株式会社 显示装置及其显示方法
JP6866646B2 (ja) * 2017-01-16 2021-04-28 オムロン株式会社 センサ支援システム、端末、センサおよびセンサ支援方法
CN106843532A (zh) * 2017-02-08 2017-06-13 北京小鸟看看科技有限公司 一种虚拟现实场景的实现方法和装置
US10627895B2 (en) * 2017-03-21 2020-04-21 Lenovo (Singapore) Pte Ltd Providing a virtual control
US10251011B2 (en) * 2017-04-24 2019-04-02 Intel Corporation Augmented reality virtual reality ray tracing sensory enhancement system, apparatus and method
US20190038978A1 (en) * 2017-08-01 2019-02-07 Intel Corporation Extendable platforms for transfer of data between physical objects and a virtual environment
US20210197393A1 (en) * 2017-12-22 2021-07-01 Sony Corporation Information processing device, information processing method, and program
CN108334192A (zh) * 2018-01-02 2018-07-27 联想(北京)有限公司 一种信息处理方法、穿戴式装置及存储介质
JP7259838B2 (ja) * 2018-03-13 2023-04-18 ソニーグループ株式会社 情報処理装置、情報処理方法、および記録媒体
GB2571956B (en) * 2018-03-14 2022-04-27 Sony Interactive Entertainment Inc Head-mountable apparatus and methods
CN108509043B (zh) * 2018-03-29 2021-01-15 联想(北京)有限公司 一种交互控制方法及系统
US10679393B2 (en) 2018-07-24 2020-06-09 Snap Inc. Conditional modification of augmented reality object
CN111083391A (zh) * 2018-10-19 2020-04-28 舜宇光学(浙江)研究院有限公司 虚实融合系统及其方法
CN111103967A (zh) * 2018-10-25 2020-05-05 北京微播视界科技有限公司 虚拟对象的控制方法和装置
WO2020195292A1 (ja) * 2019-03-26 2020-10-01 ソニー株式会社 感覚器オブジェクトを表示する情報処理装置
CN110766788B (zh) * 2019-10-15 2023-03-24 三星电子(中国)研发中心 将虚拟物体映射到现实世界的方法及装置
CN214384648U (zh) * 2019-11-11 2021-10-12 斯平玛斯特有限公司 增强现实系统
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
CN114820835A (zh) * 2021-01-28 2022-07-29 索尼半导体解决方案公司 信息处理方法、信息处理装置和非易失性存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184398A (ja) * 1998-10-09 2000-06-30 Sony Corp 仮想画像立体合成装置、仮想画像立体合成方法、ゲ―ム装置及び記録媒体
JP2002112286A (ja) * 2000-09-27 2002-04-12 Mixed Reality Systems Laboratory Inc 複合現実感提示装置及びその方法並びに記憶媒体
JP2002304246A (ja) * 2001-04-04 2002-10-18 Nippon Telegr & Teleph Corp <Ntt> 力覚提示装置及び仮想空間システム
JP2005012385A (ja) 2003-06-18 2005-01-13 Nippon Telegr & Teleph Corp <Ntt> オブジェクト表示方法およびオブジェクト表示装置
JP2005165776A (ja) 2003-12-03 2005-06-23 Canon Inc 画像処理方法、画像処理装置
JP2006072667A (ja) * 2004-09-01 2006-03-16 Sony Computer Entertainment Inc 画像処理装置、ゲーム装置および画像処理方法
JP2006262980A (ja) 2005-03-22 2006-10-05 Olympus Corp 情報端末装置及び仮想ペット表示方法
JP2008304268A (ja) 2007-06-06 2008-12-18 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2009069918A (ja) * 2007-09-10 2009-04-02 Canon Inc 情報処理装置、情報処理方法
JP2010049690A (ja) 2008-08-19 2010-03-04 Sony Computer Entertainment Europe Ltd エンタテイメント装置、システム、及び方法
JP2011521318A (ja) * 2008-04-16 2011-07-21 バーチュアル プロテインズ ベー.フェー. インタラクティブな仮想現実画像生成システム
JP2012155655A (ja) 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP2012248930A (ja) 2011-05-25 2012-12-13 Kyocera Corp 携帯端末、表示制御プログラムおよび表示制御方法
JP2014010838A (ja) * 2012-06-29 2014-01-20 Disney Enterprises Inc 拡張現実感シミュレーション連続体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002184398A (ja) 2000-12-13 2002-06-28 Shin Etsu Chem Co Ltd ニッケル水素電池の正極作成用スラリー、ニッケル水素電池の正極及びその製造方法
WO2011119118A1 (en) 2010-03-26 2011-09-29 Agency For Science, Technology And Research A haptic system, a method of forming a haptic system and a method of controlling a haptic system
KR101194957B1 (ko) * 2010-09-13 2012-10-25 한양대학교 산학협력단 마커 기반 증강 현실에서 촉감을 제공하는 시스템 및 방법
US8493353B2 (en) * 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
US8894462B2 (en) * 2011-12-22 2014-11-25 Activision Publishing, Inc. Interactive video game with visual lighting effects
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
TWI501109B (zh) * 2012-11-05 2015-09-21 Univ Nat Taiwan 擬真觸覺力回饋裝置及其方法
US9286725B2 (en) * 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184398A (ja) * 1998-10-09 2000-06-30 Sony Corp 仮想画像立体合成装置、仮想画像立体合成方法、ゲ―ム装置及び記録媒体
JP2002112286A (ja) * 2000-09-27 2002-04-12 Mixed Reality Systems Laboratory Inc 複合現実感提示装置及びその方法並びに記憶媒体
JP2002304246A (ja) * 2001-04-04 2002-10-18 Nippon Telegr & Teleph Corp <Ntt> 力覚提示装置及び仮想空間システム
JP2005012385A (ja) 2003-06-18 2005-01-13 Nippon Telegr & Teleph Corp <Ntt> オブジェクト表示方法およびオブジェクト表示装置
JP2005165776A (ja) 2003-12-03 2005-06-23 Canon Inc 画像処理方法、画像処理装置
JP2006072667A (ja) * 2004-09-01 2006-03-16 Sony Computer Entertainment Inc 画像処理装置、ゲーム装置および画像処理方法
JP2006262980A (ja) 2005-03-22 2006-10-05 Olympus Corp 情報端末装置及び仮想ペット表示方法
JP2008304268A (ja) 2007-06-06 2008-12-18 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2009069918A (ja) * 2007-09-10 2009-04-02 Canon Inc 情報処理装置、情報処理方法
JP2011521318A (ja) * 2008-04-16 2011-07-21 バーチュアル プロテインズ ベー.フェー. インタラクティブな仮想現実画像生成システム
JP2010049690A (ja) 2008-08-19 2010-03-04 Sony Computer Entertainment Europe Ltd エンタテイメント装置、システム、及び方法
JP2012155655A (ja) 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP2012248930A (ja) 2011-05-25 2012-12-13 Kyocera Corp 携帯端末、表示制御プログラムおよび表示制御方法
JP2014010838A (ja) * 2012-06-29 2014-01-20 Disney Enterprises Inc 拡張現実感シミュレーション連続体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2988275A4

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019213231A (ja) * 2014-11-07 2019-12-12 ソニー株式会社 情報処理システム、制御方法、および記憶媒体
JP2016126772A (ja) * 2014-12-31 2016-07-11 イマージョン コーポレーションImmersion Corporation 拡張及び仮想現実アプリケーションのための触覚的に向上されたオブジェクトを生成するシステム及び方法
JP2017033334A (ja) * 2015-08-03 2017-02-09 株式会社オプティム ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。
WO2017076785A1 (de) * 2015-11-07 2017-05-11 Audi Ag Virtual-reality-brille und verfahren zum betreiben einer virtual-reality-brille
US10235809B2 (en) 2016-06-30 2019-03-19 Microsoft Technology Licensing, Llc Reality to virtual reality portal for dual presence of devices
US10986458B2 (en) * 2016-11-16 2021-04-20 Sony Corporation Information processing apparatus and information processing method
US20200053501A1 (en) * 2016-11-16 2020-02-13 Sony Corporation Information processing apparatus, information processing method, and program
JP2018088102A (ja) * 2016-11-28 2018-06-07 株式会社スクウェア・エニックス プログラム、コンピュータ装置、及び、判定方法
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
JP2020511048A (ja) * 2017-07-18 2020-04-09 テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド バーチャルプロップ割り当て方法、サーバー、クライアント及び記憶媒体
US11228811B2 (en) 2017-07-18 2022-01-18 Tencent Technology (Shenzhen) Company Limited Virtual prop allocation method, server, client, and storage medium
WO2019150781A1 (ja) * 2018-01-30 2019-08-08 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US11262838B2 (en) 2018-01-30 2022-03-01 Sony Corporation Information processing device and information processing method

Also Published As

Publication number Publication date
BR112015025869A2 (pt) 2017-07-25
JPWO2014171200A1 (ja) 2017-02-16
US20160093107A1 (en) 2016-03-31
JP6217747B2 (ja) 2017-10-25
EP2988275A4 (en) 2016-11-30
US10269180B2 (en) 2019-04-23
EP2988275A1 (en) 2016-02-24
CN105144248B (zh) 2019-08-06
CN105144248A (zh) 2015-12-09

Similar Documents

Publication Publication Date Title
JP6217747B2 (ja) 情報処理装置及び情報処理方法
US10262461B2 (en) Information processing method and apparatus, and program for executing the information processing method on computer
US10453248B2 (en) Method of providing virtual space and system for executing the same
JP6263252B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US10438394B2 (en) Information processing method, virtual space delivering system and apparatus therefor
US10313481B2 (en) Information processing method and system for executing the information method
US10546407B2 (en) Information processing method and system for executing the information processing method
US20180357817A1 (en) Information processing method, program, and computer
US20190018479A1 (en) Program for providing virtual space, information processing apparatus for executing the program, and method for providing virtual space
JP6290467B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
US10410395B2 (en) Method for communicating via virtual space and system for executing the method
US10459599B2 (en) Method for moving in virtual space and information processing apparatus for executing the method
US20180196506A1 (en) Information processing method and apparatus, information processing system, and program for executing the information processing method on computer
JPWO2016013269A1 (ja) 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US20180348987A1 (en) Method executed on computer for providing virtual space, program and information processing apparatus therefor
US20180348986A1 (en) Method executed on computer for providing virtual space, program and information processing apparatus therefor
US20180299948A1 (en) Method for communicating via virtual space and system for executing the method
US20180374275A1 (en) Information processing method and apparatus, and program for executing the information processing method on computer
US10564801B2 (en) Method for communicating via virtual space and information processing apparatus for executing the method
JP2018089228A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018125003A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP2018124981A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6368404B1 (ja) 情報処理方法、プログラム及びコンピュータ
US10319346B2 (en) Method for communicating via virtual space and system for executing the method
JP2018092635A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480020555.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14785048

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015512346

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14782638

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2014785048

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112015025869

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112015025869

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20151009