WO2020188721A1 - ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム - Google Patents

ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム Download PDF

Info

Publication number
WO2020188721A1
WO2020188721A1 PCT/JP2019/011283 JP2019011283W WO2020188721A1 WO 2020188721 A1 WO2020188721 A1 WO 2020188721A1 JP 2019011283 W JP2019011283 W JP 2019011283W WO 2020188721 A1 WO2020188721 A1 WO 2020188721A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
display
information processing
head
real space
Prior art date
Application number
PCT/JP2019/011283
Other languages
English (en)
French (fr)
Inventor
尚久 高見澤
眞弓 中出
義憲 岡田
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to JP2021506869A priority Critical patent/JP7236529B2/ja
Priority to CN201980094378.3A priority patent/CN113614675A/zh
Priority to PCT/JP2019/011283 priority patent/WO2020188721A1/ja
Priority to US17/439,647 priority patent/US11972037B2/en
Publication of WO2020188721A1 publication Critical patent/WO2020188721A1/ja
Priority to JP2023028328A priority patent/JP2023065528A/ja
Priority to US18/619,058 priority patent/US20240264662A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present invention relates to a head-mounted information processing device and a head-mounted display system, and more particularly to a technique effective for grasping a position in a virtual object.
  • VR virtual reality
  • AR augmented reality
  • MR mixed reality
  • Virtual reality is a technology that allows you to create a virtual world that resembles reality and experience the feeling of being there.
  • Augmented reality is a technology that adds digital information to the real world and reflects and expands the virtual space (virtual object) created by CG (Computer Graphics) or the like in the real space.
  • Mixed reality is a technology that combines and fuses information in the real world with a virtual world artificially created by CG or the like.
  • a head-mounted information processing device that is mounted on the head and has a display, a camera, etc. is widely used.
  • the head-mounted information processing device in order to increase the reality of the virtual object, a display method is put into practical use in which the virtual object is associated with the spatial coordinates of the real space and it is as if the real object is there. ing.
  • the target virtual object can be visually recognized by going to the real space where the target virtual object is linked and arranged, which enables an intuitive operation system.
  • the target virtual object is linked. There is a problem that the target virtual object cannot be viewed or operated without going to the attached real space.
  • a technique for solving this problem is that even if the wearer moves around in the real world space, at least a part of the augmented reality object can be kept in the real world space and easily accessed (for example, patent documents). 1).
  • Patent Document 1 describes that the virtual object is kept in the field of view and displayed even when the user's field of view moves, the display of the virtual object in another real space is considered. Not. Therefore, there is a problem that it is difficult to conveniently browse and operate a virtual object in another real space.
  • An object of the present invention is to provide a technique capable of easily grasping the existence position of a virtual object in a real space different from the real space.
  • a typical head-mounted information processing device includes an operation input interface, a camera unit, a display unit, and a control unit.
  • the operation input interface inputs information.
  • the camera unit captures the real space.
  • the display unit displays a live-action image captured by the camera unit.
  • the control unit controls the display unit.
  • control unit has a virtual object generation processing unit that generates a virtual object displayed by the display unit.
  • the virtual object generation processing unit is arranged in association with the first virtual object in which the user exists in the first real space and in the second real space different from the first real space. Create 2 virtual objects.
  • control unit causes the display unit to display the first virtual object and the second virtual object according to the virtual object display instruction information for instructing the display of the first virtual object and the second virtual object input from the operation input interface. Display a virtual object.
  • FIG. 1 is a block diagram showing an example of a configuration in the head-mounted information processing apparatus according to the first embodiment.
  • the head mount information processing apparatus 100 includes a camera unit 111, a right visual line detection unit 112, a left visual line detection unit 113, a vibration generation unit 117, an outer peripheral sound microphone 118, a vocal sound microphone 119, a headphone 120, and an operation. It is composed of an input interface 121, a display 122, a control unit 125, a memory 124, a depth sensor 142, an acceleration sensor 143, a gyro sensor 144, a geomagnetic sensor 145, and a stimulus generation unit 146. These functional blocks are connected to each other via a bus 140.
  • the camera unit 111 captures the scenery in front of the user.
  • the display 122 which is a display unit, displays a live-action image of the real space taken by the camera unit 111.
  • the camera unit 111 may be composed of a plurality of cameras, or may be a 360-degree spherical camera capable of capturing an image of the whole celestial sphere by combining one or a plurality of cameras.
  • the control unit 125 controls each functional block by executing a program 126 which will be described later and is stored in the memory 124, and controls the operation of the entire head mount information processing apparatus 100.
  • the control unit 125 includes a display control unit 151, a data management unit 152, a video processing unit 153, a virtual object posture operation processing unit 154, a virtual object generation processing unit 155, and a virtual object deformation operation processing unit 156.
  • the virtual object generation processing unit 155 generates a virtual object group consisting of at least one virtual object in a virtual space different from the real space. Further, the virtual object generation processing unit 155 arranges the generated virtual object group in association with the real space.
  • the virtual object group arranged in association with the first real space that is visually recognized or displayed on the display 122 is defined as the first virtual object group.
  • a virtual object group arranged in association with a second real space, which is a real space different from the first real space is referred to as a second virtual object group.
  • the virtual object group arranged in association with the third real space which is a real space different from the first and second real spaces
  • the virtual object group arranged in association with the fourth real space which is a real space different from the first to third real spaces, is defined as the fourth virtual object group.
  • the virtual object generation processing unit 155 generates a virtual object based on the template data of the virtual object read from the memory 124 in response to the user operation input from the operation input interface 121.
  • the virtual object template data is not always necessary, and the virtual object data may be directly generated without a template by user operation.
  • the virtual object data may be directly generated without a template by user operation.
  • eight points that are the vertices of each virtual object are specified in the real space by a user operation using the operation input interface 121.
  • the virtual object posture operation processing unit 154 rotates, enlarges, and reduces the virtual object displayed on the display 122 so that the posture has a shape that is easy to see. This is called posture operation.
  • the result of the pose operation is not reflected in the pose, shape, orientation, etc. of the original virtual object.
  • the virtual object transformation operation processing unit 156 performs a transformation operation of the virtual object displayed on the display 122.
  • the transformation operation is, for example, changing the orientation of the virtual object, changing the size, changing the shape, deleting a part, or deleting the whole.
  • the result of the transformation operation by the virtual object transformation operation processing unit 156 is also reflected in the posture, shape, orientation, and the like of the original virtual object.
  • the image processing unit 153 processes the image data captured by the camera unit 111, and stores the processed image data as information data 127 in the memory 124.
  • the image processing unit 153 simplifies the image data captured by the camera unit 111, mainly for the purpose of reducing the amount of display data and improving the visibility. For example, when the video data has a square bookshelf, the video data is simplified by simplifying the shape such as a rectangular parallelepiped having the same outer shape.
  • the image processing unit 153 performs image processing to facilitate recognition of each space. For example, based on the video data taken by the camera unit 111 from the user's line of sight, video data or the like that looks down on the space in which the user existed at the time of shooting is generated.
  • the display control unit 151 generates display data by appropriately combining the information data 127 stored in the memory 124, and displays the data on the display 122.
  • the information data 127 is virtual object data, video data captured by the camera unit 111, processed display data generated by the video processing unit 153, and the like.
  • the data management unit 152 manages live-action video data taken by the camera unit 111, virtual object data, and processed display data generated by the video processing unit 153.
  • the control unit 125 is composed of a CPU (Central Processing Unit) including a processor dedicated to each arithmetic processing such as a GPU (Graphics Processing Unit), and is configured by executing a program 126 stored and stored in the memory 124.
  • the functional block is controlled to control the operation of the entire head mount information processing unit 100.
  • the program 126 is a program such as an OS (Operating System) of the head-mounted information processing apparatus 100 and an operation control application.
  • the control unit 125 is a virtual object group arranged in association with a real space different from the first real space according to the virtual object display instruction information input from the operation input interface 121, for example, a second real space.
  • the display control unit 151 controls the display control unit 151 so that the second virtual object group and the like arranged in association with the above are arranged and displayed in the first real space. This makes it possible to visually recognize and operate a group of virtual objects that are associated with and arranged in a real space different from the first real space.
  • a spherical image showing the entire surrounding scenery from the head-mounted information processing device 100 is displayed on the display 122. Project and reflect, and place a virtual object group at a predetermined position on the reflected spherical image.
  • control unit 125 controls the display control unit 151 to arrange the first virtual object group and the virtual object group arranged in association with the real space different from the first real space, for example, the first virtual object group.
  • a second virtual object group arranged in association with the second real space or the like is arranged and displayed in the first real space.
  • control unit 125 sequentially switches between the first virtual object group and the second virtual object group associated with and arranged in the second real space, and displays them on the display screen of the display 122. You may.
  • control unit 125 displays a first virtual object group, a virtual object group arranged in association with a real space different from the first real space, and the like from the visual field position of the first real space. It may be arranged and displayed together in the display screen.
  • control unit 125 reduces each display screen showing the virtual objects group arranged in association with each real space, arranges them side by side, and multi-displays them, and displays the display screen of the virtual objects group in the selected real space. It may be restored to its normal size and displayed so that the desired virtual object placed in the selected real space can be visually recognized and operated.
  • control unit 125 enlarges / reduces or orients the virtual object so that the overall shape of the virtual object can be easily visually recognized by the virtual object posture operation processing unit 154 with respect to the difficult-to-see virtual object arranged in the display field of view. May be controlled to operate, and the display control unit 151 may be used to display the virtual object after the posture operation.
  • the memory 124 is a non-volatile memory exemplified by a flash memory or the like, and stores various programs 126 and information data 127 used by the control unit 125.
  • the information data 127 is data such as virtual object group data, coordinate position information of the virtual object group, and a live-action image.
  • the display 122 is composed of a liquid crystal panel or the like, and displays a virtual object, a live-action image of a real space, or the like. In addition, the display 122 displays the display contents such as the presentation notification information to the user and the operating state on the screen.
  • the virtual object when displaying a live-action image or a virtual object captured by the camera unit 111, the virtual object is arranged and displayed at a predetermined position on a spherical image showing the entire surrounding landscape of the head mount information processing device 100. Further, the display 122 multi-displays each virtual object group associated with the plurality of real spaces in the display screen.
  • the right visual line detection unit 112 detects the line of sight of the user's right eye.
  • the left visual line detection unit 113 detects the line of sight of the user's left eye.
  • a well-known technique generally used as an eye tracking process may be used.
  • the face is irradiated with an infrared LED (LightEmittingDiode) and photographed with an infrared camera, and the position of the reflected light generated by the infrared LED irradiation on the cornea (corneal reflex) is used as a reference point.
  • infrared LED LightEmittingDiode
  • cornea corneal reflex
  • a technique for detecting the line of sight based on the position of the pupil with respect to the position of the corneal reflex is known.
  • the acceleration sensor 143 is a sensor that detects acceleration, which is a change in speed per unit time, and can capture movement, vibration, impact, and the like.
  • the gyro sensor 144 is a sensor that detects the angular velocity in the rotation direction, and can capture the state of the vertical, horizontal, and diagonal postures. Therefore, the acceleration sensor 143 and the gyro sensor 144 can be used to detect the movement of the head of the user equipped with the head-mounted information processing apparatus main body 100.
  • the geomagnetic sensor 145 is a sensor that detects the magnetic force of the earth, and detects the direction in which the head-mounted information processing apparatus main body 100 is facing.
  • the geomagnetic sensor 145 uses a 3-axis type that detects geomagnetism in the vertical direction in addition to the front-back direction and the horizontal direction, and can detect the movement of the head by capturing the geomagnetic change with respect to the movement of the head. ..
  • the depth sensor 142 measures the distance to an object on a surface.
  • the depth sensor 142 uses, for example, reflection of infrared rays or a laser, but may be realized by another method such as obtaining distance information from the parallax of images taken by a plurality of cameras having different mounting positions. ..
  • the control unit 125 can detect the movement of the hand and the movement of the body by analyzing the distance information acquired by the depth sensor 142. For the analysis of the movement of the hand and the movement of the body, the information obtained from the image taken by the camera unit 111 may be used together.
  • the stimulus generating unit 146 generates a stimulus that can be perceived by the skin under the control of the control unit 125.
  • the stimulus generation unit 146 converts the notification information sent by the head-mounted information processing device 100 to the user into a stimulus that can be perceived by the skin.
  • the stimuli that can be perceived by the skin include pressure, warmth, coldness, and electrical stimulation.
  • the stimulus generator 146 can reliably convey a notification to the user by generating a stimulus that can be perceived by the skin on the head of the user who is closely attached.
  • the vibration generating unit 117 generates vibration under the control of the control unit 125, and includes, for example, a vibrator, haptics, force feedback, or the like.
  • the vibration generating unit 117 converts the notification information to the user into vibration.
  • the vibration generating unit 117 can reliably convey a notification to the user by generating vibration at the user's head that is closely attached.
  • the outer peripheral sound microphone 118 and the vocalization sound microphone 119 collect external voices and user's own vocalizations.
  • the vocal sound microphone 119 may be a voice input device such as a bone conduction microphone.
  • the headphone 120 is worn on the user's ear and listens to the user's voice, and can notify the user of the notification information by voice.
  • the headphone 120 may be an audio output device such as a speaker or a bone conduction earphone.
  • the operation input interface 121 includes, for example, a keyboard, key buttons, a touch pad, etc., and sets and inputs information that the user wants to input.
  • the operation input interface 121 may be provided at a position where the user can easily perform an input operation.
  • the operation input interface 121 may be separated from the main body of the head mount information processing device 100 and connected by wire or wirelessly. Examples of the input operation device separated from the head mount information processing device 100 include a spatial mouse or a controller device.
  • the spatial mouse is a three-dimensional spatial position input device that uses a gyro sensor, an acceleration sensor, or the like.
  • the controller device detects and inputs the spatial position of the controller itself attached to the body from the camera image showing the body and various sensor information built in the controller device.
  • the operation input interface 121 displays the input operation screen on the display screen of the display 122, and inputs the input operation information according to the position on the input operation screen to which the line of sight detected by the right line-of-sight detection unit 112 and the left line-of-sight detection unit 113 is facing. You may try to capture it.
  • the operation input interface 121 may display the pointer on the input operation screen and operate the pointer by the operation input interface 121 to capture the input operation information. Further, the operation input interface 121 may utter a voice indicating an input operation by the user, collect the sound with the utterance sound microphone 119, and capture the input operation information.
  • a virtual object group arranged in association with a real space different from the first real space for example, in response to a virtual object display request instruction for instructing the virtual object display input by the operation input interface 121, for example.
  • the second virtual object group arranged in association with the second real space can be displayed superimposed on the first real space, or can be displayed by switching.
  • This example is a transformation operation for a calendar which is a virtual object, and is processed by the virtual object transformation operation processing unit 156. Since the result of the transformation operation by the virtual object transformation operation processing unit 156 is reflected in the original object, for example, when the schedule Z is written as a transformation operation from the real space B to the calendar on the wall of the real space A, the actual real space Even if you look at the calendar on the wall with A, you can see the written schedule Z.
  • FIG. 2 is an explanatory diagram showing an example of a panoramic view of the surroundings of the usage state of the head-mounted information processing device 100 of FIG.
  • FIG. 3 is an explanatory diagram showing an example of a list display of a virtual object group by the head-mounted information processing device 100 of FIG.
  • FIG. 3 shows a display example when the group of virtual objects displayed in a list is housed in the display screen of the display 122 and arranged in the surrounding panoramic view of the usage situation shown in FIG.
  • the user 200 wearing the head-mounted information processing device 100 is located in the center of the first room 201 and is looking at the rear door / exit door 202 in the opposite direction 203.
  • a desk 204 and a personal computer 205 are placed on the front front side of the user 200, and a bookshelf 206 is placed on the back side of the user 200.
  • the virtual objects 211 to 213 are the first virtual object group, and are generated by the virtual object generation processing unit 155.
  • the virtual object 211 is arranged in front of the user 200.
  • the virtual object 212 is located on the right side of the desk 204.
  • the virtual object 213 is arranged on the right side of the bookshelf 206 behind the user.
  • the user 200 directly visually observes the first real space projected in the direction 203 of the first room 201, or photographs the image with the camera unit 111.
  • the real image is displayed on the display 122 and visually recognized.
  • each virtual object 211 to 213 is displayed in a list.
  • the spherical image captured by the camera unit 111 is projected and reflected on the display screen of the display 122, and all the virtual objects are displayed on the projected and reflected spherical image.
  • the virtual objects 211 to 213 are arranged at predetermined positions, respectively.
  • the display control unit 151 displays the virtual objects 211 to 213 on the display 122 based on the data read by the data management unit 152.
  • the data management unit 152 reads out the shape data and the arrangement coordinate data of the virtual objects 211 to 213 recorded as the information data 127 in the memory 124 and outputs them to the display control unit 151.
  • the virtual object posture operation processing unit 154 performs the posture operation of the virtual object as necessary.
  • the part shown by the dotted line in FIG. 3 is a live-action object, and is for showing the positional relationship between the live-action object and the virtual object in an easy-to-understand manner. Therefore, it is not necessary to display the live-action object shown by the dotted line.
  • FIG. 4 is an explanatory diagram showing another example of the list display of the virtual object group of FIG.
  • FIG. 4 shows an example in which only the virtual objects 211 to 213 are displayed without displaying the live-action object shown by the dotted line.
  • FIG. 5 is an explanatory diagram showing another example of the list display of the virtual object group of FIG.
  • FIG. 5 is an explanatory diagram showing another example of the list display of the virtual object group of FIG.
  • the live-action objects such as the desk 204, the personal computer 205, and the bookshelf 206 shown by the dotted lines in FIG. 3 are displayed as background images.
  • Good This makes it easier to recognize the positional relationship between the desk 204, the personal computer 205, and the bookshelf 206 in the real space and the virtual objects 211 to 213.
  • the virtual object 213 is on the upper right side of the bookshelf 206 on the back side as shown in FIG. 2, if the bookshelf 206 is displayed on the lower left side of the virtual object 213 as a background image, it is easy to recognize the position of the virtual object. it can.
  • the display control unit 151 generates display data such as virtual objects and displays them on the display 122.
  • the display control unit 151 reads data such as the shape and display position of the object included in the information data 127 from the memory 124, the background image taken by the camera unit 111, the data generated by the image processing unit 153, and the read data. Generate display data from.
  • the virtual object posture operation processing unit 154 performs a posture operation of the virtual object as necessary, and adjusts the display position, size, shape, and the like so that the virtual object is displayed at the corresponding position on the screen. .. This adjustment is executed by the virtual object posture operation processing unit 154 based on the instruction of the program 126 recorded in the memory 124.
  • the spherical image showing the entire surrounding landscape may be acquired by using a spherical camera that can capture an image of the spherical image at one time.
  • a plurality of images taken by a camera having a normal angle of view may be joined by the image processing unit 153 to be generated.
  • an image of only a part of the acquired range may be used.
  • the existence of almost all virtual objects can be visually recognized not in the whole celestial sphere but in a part of the image such as the hemispherical image of the upper half of the full solid angle.
  • FIG. 6 is an explanatory diagram showing an example of a usage situation in the head-mounted information processing apparatus 100 of FIG.
  • FIG. 7 is an explanatory diagram showing an example of a display screen of a virtual object group displayed in a list in the surrounding panoramic view example of FIG.
  • FIG. 6 shows a state in which the user 200 equipped with the head-mounted information processing device 100 is located near the entrance / exit door 402 of the second room 401 and is looking at the indoor direction 403 of the second room 401. ing. Further, a TV stand 404 and a TV 405 are installed on the front front side of the user 200. A shelf 406 is installed on the wall on the right side when viewed from the user 200.
  • the second virtual object group generated by the virtual object generation processing unit 155 is composed of virtual objects 411 to 413.
  • the virtual object 411 is located on the rear upper side of the television 405.
  • the virtual object 412 is located on the rear right side of the television 405.
  • the virtual object 413 is located near the left wall of the doorway 402.
  • the user 200 directly visually observes the second real space projected in the indoor direction 403, or obtains an image of the real space taken by the camera unit 111. It is displayed on the display 122 and visually recognized.
  • a spherical image showing the entire surrounding landscape is projected and reflected on the display screen of the display 122, and the projected and reflected spherical image is used.
  • Each virtual object 411 to 413 is arranged at a predetermined position and displayed in a list.
  • the existence of all virtual objects existing in the entire surrounding view can be visually recognized together with the existence position. Further, when displaying all the virtual objects existing in the entire surrounding view, the live-action objects such as the TV stand 404, the TV 405, and the shelf 406 shown by the dotted lines in FIG. 7 may be displayed as the background image.
  • FIG. 8 is an explanatory diagram showing another example of the usage situation of FIG.
  • FIG. 9 is an explanatory diagram showing an example of a display screen of a virtual object group displayed in a list in the surrounding panoramic view example of FIG.
  • a user 200 wearing the head-mounted information processing device 100 is located in the center of the third room 601 and is looking at the doorway 602 behind the door in the left lateral direction 603. Shown.
  • the board 604 is located in front of the user 200, and the window 605 is located on the right side of the user 200.
  • a clock 606 is arranged on the right side of the window 605.
  • the third virtual object group generated by the virtual object generation processing unit 155 is composed of virtual objects 611 to 613.
  • the virtual object 611 is located on the left side of the board 604 and the virtual object 612 is located above the window 605.
  • the virtual object 613 is located behind the user 200.
  • the user 200 directly visually observes the third real space projected in the direction 603, or an image of the real space taken by the camera unit 111. Is displayed on the display 122 and visually recognized.
  • the spherical image showing the entire surrounding landscape is projected and reflected on the display screen of the display 122, and the projected and reflected spherical image is displayed.
  • Each virtual object 611 to 613 is arranged at the existing position, and all virtual objects 611 to 613 are displayed in a list.
  • the existence of all virtual objects existing in the entire surrounding view can be visually recognized together with the existence position, as in the cases of FIGS. 3 and 7. Further, when displaying all the virtual objects existing in the entire surrounding view, the live-action objects such as the board 604, the window 605, and the clock 606 shown by the dotted line in FIG. 9 may be displayed as the background image.
  • FIG. 10 is an explanatory diagram showing an example of display of a virtual object group by the head-mounted information processing device of FIG.
  • virtual objects group arranged in association with each real space are visually recognized in each real space.
  • FIG. 10 describes a display example in which each virtual object group arranged in association with each real space is arranged on the display screen of the display 122 while keeping the visual field position of each real space.
  • FIG. 10 the portions shown in FIGS. 3, 7, and 9 and having the same reference numerals have the same operations as those already described in FIGS. 3, 7, and 9, and thus the detailed description thereof will be described. Is omitted.
  • FIG. 10 shows, in the first real space currently being projected, in addition to the first virtual object group associated with the first real space, the first virtual object group is associated with the second real space.
  • a state in which the second virtual object group and the third virtual object group arranged in association with the third real space are superimposed and displayed on the display screen of the display 122 is shown.
  • the first virtual object group consists of virtual objects 211,212,213.
  • the second virtual object group consists of virtual objects 411, 421, 413.
  • the third virtual object group consists of virtual objects 611, 612, 613.
  • virtual objects 411 to 413 and 611 to 613 arranged in another real space are arranged in the current real space and displayed in an overlapping manner, so that they are linked to and arranged in another real space. All of the virtual objects can be visually recognized without switching the real space.
  • the desired virtual object can be easily visually recognized from the display screen on which all the virtual objects are displayed. Further, it becomes possible to easily perform a desired operation such as modification of the selected virtual object. As a result, usability can be improved.
  • the above operation is to be displayed on the display 122 by the display control unit 151. Further, the virtual object posture operation processing unit 154 performs a posture operation of the virtual object as needed.
  • the virtual object posture operation processing unit 154 adjusts the display position, size, shape, etc. so that the virtual object is displayed at the corresponding position on the screen according to the instruction of the program 126 stored in the memory 124.
  • the display control unit 151 generates display data from the data adjusted by the virtual object posture operation processing unit 154 and displays it on the display 122.
  • FIG. 11 is an explanatory diagram showing another example of displaying the virtual object group of FIG. 10.
  • FIG. 11 shows an example in which virtual objects displayed on the display screen of the display 122 are arranged at substantially the same coordinate positions, and the virtual objects are displayed in duplicate.
  • FIG. 11 the portions shown in FIGS. 2, 3, 6, 6, 7, 8, 9, and 10 and having the same reference numerals are shown in FIGS. 2, 3, 6, 7, and 7. Since it has the same operations as those already described in 8, 9, and 10, detailed description thereof will be omitted.
  • the virtual objects 212 and 412 shown in FIG. 10 are virtual objects that are overlapped and arranged at substantially the same coordinate position, and the overlap reduces the visibility. Therefore, the virtual objects 212 and 412 that are displayed in duplicate are displayed by shifting the virtual objects 901 and 902 to coordinate positions that do not overlap as shown in FIG.
  • a mark 903 is displayed at the coordinate position where the original virtual objects 212 and 412 are arranged, and a virtual line is displayed between the virtual objects 901 and 902 arranged and displayed with the coordinate positions shifted. Display by connecting at 904 and 905.
  • the virtual objects can be displayed without duplication. Further, by displaying the mark 903, the originally arranged position of the virtual object can be easily recognized. Further, by displaying the virtual lines 904 and 905, the visibility of the virtual object can be further improved.
  • the virtual object that is duplicated and displayed at the same position may be displayed as a semi-transparent, that is, a transparent image.
  • the above operation is to be displayed on the display 122 by the display control unit 151. Further, the virtual object posture operation processing unit 154 performs a posture operation of the virtual object as needed.
  • the posture operation by the virtual object posture operation processing unit 154 adjusts the display position, size, shape, etc. based on the program 126 stored in the memory 124 so that the virtual object is displayed at the corresponding position.
  • the display of the virtual object on the display 122 shall be processed in the same manner.
  • the display of the virtual object group is performed by selecting a desired virtual object from the virtual objects 212 and 412 (FIG. 10) superimposed and displayed by the user, and in a real space in which the virtual object is associated with the selected virtual object and arranged.
  • a desired virtual object from the virtual objects 212 and 412 (FIG. 10) superimposed and displayed by the user, and in a real space in which the virtual object is associated with the selected virtual object and arranged.
  • only the linked virtual objects may be displayed. In that case, the virtual objects that are linked to and placed in another virtual space are hidden.
  • FIG. 12 is an explanatory diagram showing an example of switching display of a virtual object group by the head-mounted information processing device 100 of FIG.
  • the portions shown in FIGS. 2, 3, 6, 6, 7, 8, 9, and 10 and having the same reference numerals are shown in FIGS. 2, 3, 6, 7, and 7. Since the operation is the same as the operation already described with reference to FIGS. 8, 9, and 10, detailed description thereof will be omitted.
  • FIG. 12 shows an example in which all virtual objects are not displayed in an overlapping manner as shown in FIG. 11, but a group of virtual objects arranged in association with each real space are sequentially switched and displayed.
  • the display screen 1001 is a display screen that first displays a first virtual object group that is associated with and arranged in the first real space.
  • the display screen 1002 is a display screen that displays a second group of virtual objects that are associated with and arranged in the second real space.
  • the display screen 1003 is a display screen that displays a third virtual object group that is associated with and arranged in the third real space.
  • the display screen 1004 is a display screen displayed when there is a group of virtual objects associated with and arranged in another real space different from the first to third real spaces. These display screens 1001 to 1004 are sequentially switched and displayed on the display 122.
  • the switching display of the virtual object group may be switched and displayed at regular intervals that are easy to see by an input operation such as swiping from the operation input interface 121. As a result, the visibility of the virtual object can be further improved.
  • the live-action background may be photographed by the camera unit 111 of FIG. 1 and stored in the memory 124.
  • the images taken individually may be stitched together for use.
  • FIG. 13 is an explanatory diagram showing an example of scaling and posture operation of a virtual object by the head-mounted information processing device of FIG.
  • FIG. 14 is an explanatory diagram showing another example of FIG.
  • FIGS. 13 and 14 the portions shown in FIGS. 2, 3, 6, 7, 8, 9, and 10 and having the same reference numerals are shown in FIGS. 2, 3, 6, and 6. Since the operation is the same as the operation already described with reference to 7, FIG. 8, FIG. 9, and FIG. 10, detailed description thereof will be omitted.
  • FIG. 13 shows an example in which a small and hard-to-see virtual object 612 is selected from the listed virtual objects 211 to 213, 411 to 413, 611 to 613 to improve the visibility of the selected virtual object 612. There is.
  • the virtual object posture operation processing unit 154 performs an operation to enlarge the shape of the virtual object 612, moves the enlarged virtual object to a predetermined position in front, arranges it, and displays it as the virtual object 1101. At that time, the list display of all the virtual objects 211 to 213, 411 to 413, 611 to 613 is left in the background portion in the display screen.
  • the virtual object posture operation processing unit 154 may move the virtual object 612 to the front without leaving it and perform the enlargement operation.
  • a position that is easy to see is set as an initial value. This initial value is stored in advance in, for example, the memory 124.
  • the initial value may be set by the control unit 125 writing the setting information input by the user through the operation input interface 121 to the memory 124.
  • the control unit 125 writing the setting information input by the user through the operation input interface 121 to the memory 124.
  • the virtual object can be easily visually recognized, and the posture operation and the deformation operation can be easily performed.
  • the operation of moving the virtual object to a predetermined position may be automatically moved and arranged by the user selecting an arbitrary virtual object using the operation input interface 121. Alternatively, it may be manually placed by a natural operation such as pulling the selected object. Further, at the time of arrangement, the user may perform an operation of determining the enlargement ratio using the operation input interface 121 to change the enlargement ratio.
  • control unit 125 controls the virtual object posture operation processing unit 154 and the like according to the user operation input from the operation input interface 121.
  • the virtual object posture operation processing unit 154 changes the information on the shape and display position of the selected object.
  • the display control unit 151 reads information data 127 such as the shape and display position of the object stored in the memory 124 and displays it on the display 122.
  • the selected virtual object is returned to the original position before the arrangement operation of the background portion in the display screen after visually confirming. This operation is automatically performed after the visual confirmation end operation.
  • the virtual object posture operation processing unit 154 operates the posture of the virtual object so that the entire shape of the virtual object can be easily seen. indicate.
  • the virtual object 411 shown in FIG. 14 is originally in the shape of a cube, but the display shape of the spherical image has a display shape that cannot be visually identified as a cube.
  • the virtual object posture operation processing unit 154 first moves the virtual object 411 while enlarging it to a display position in front of which it is easy to operate the posture.
  • the virtual object posture operation processing unit 154 rotates the moved virtual object 411 including a three-dimensional rotation operation, and performs a posture operation so that the overall shape is easy to see, thereby indicating the virtual object 1201. It is converted to the display shape and displayed.
  • the virtual object 1201 may be returned to the original position before the placement operation as the virtual object 411.
  • the virtual object posture operation processing unit 154 controls the posture of the virtual object whose overall shape is difficult to see, and converts the virtual object into a virtual object having a display shape whose overall shape can be visually identified. And it becomes possible to accurately visually grasp the whole picture.
  • the operation of displaying the entire shape in an easily visible display shape may be displayed by, for example, a display shape stored in advance in a memory 124 or the like without performing a posture operation by the user.
  • a display shape stored in advance in a memory 124 or the like without performing a posture operation by the user.
  • information such as the easy-to-see orientation, size, and color of the object is recorded in the memory 124 as posture information in advance in the shape data which becomes a template when the virtual object is generated.
  • the posture information may be inherited and used by the generated virtual object. Further, the user may specify the posture information for each virtual object, store it in the memory 124, and use it at the time of display.
  • the virtual object transformation operation processing unit 156 can perform a transformation operation of the virtual object.
  • the virtual object transformation operation processing unit 156 reads the shape and display position of the virtual object stored in the memory 124, changes the shape and display position information of the selected virtual object, and writes the changed information to the memory 124. ..
  • the shape of the virtual object includes orientation, size, angle, and so on.
  • the display control unit 151 reads the information written in the memory 124, and displays the virtual object that has been transformed based on the information on the display 122.
  • the result of the transformation operation by the virtual object transformation operation processing unit 156 is also reflected in the display state of the original virtual object.
  • the orientation of the object is changed by the transformation operation, so the orientation of the virtual object itself changes, so the virtual object is displayed overlaid on the landscape in the real space. For example, even in the normal display state shown in FIGS. 2, 6, and 8, the virtual object is displayed in the orientation after the transformation operation.
  • the shape including the orientation and size of the original virtual object before transformation is displayed semi-transparently, or the original virtual object before transformation is displayed in a place not used for the transformation operation in the field of view.
  • the difference between the object and the shape including the orientation and size of the transformed virtual object may be displayed in an easy-to-understand manner.
  • Whether to perform the posture operation or the deformation operation on the virtual object is specified before the operation by, for example, an operation mode switching button (not shown) provided in the head mount information processing apparatus 100.
  • the posture operation and the transformation operation may be combined, and the transformation operation may be performed after the virtual object is enlarged by the posture operation to make it easier to see. Further, operations such as rotation, enlargement, and reduction applied to the virtual object by the posture operation may be applied to the transformation operation.
  • FIGS. 15 to 18 the portions shown in FIGS. 2, 3, 6, 7, 8, 9, and 10 and having the same reference numerals are shown in FIGS. 2, 3, 6, and 6. Since the operation is the same as the operation already described with reference to 7, FIG. 8, FIG. 9, and FIG. 10, detailed description thereof will be omitted.
  • FIG. 15 is an explanatory diagram showing an example of a panoramic view of the surroundings when viewing all virtual objects in a plurality of real spaces.
  • the user 200 equipped with the head-mounted information processing device 100 is located in the center of the first room 201 as in the case of FIG. 2, and looks at the direction 203 opposite to the doorway 202. It is in a state of being.
  • a desk 204, a personal computer 205, and a bookshelf 206 are placed in the first room 201.
  • virtual objects 211, 212, and 213 are arranged as the first virtual object group generated by the virtual object generation processing unit 155, respectively, as in FIG. 2.
  • a second room 401 is arranged to the left of the first room 201, and a third room 601 is arranged to the right of the first room 201.
  • a TV stand 404, a TV 405, and a shelf 406 are placed in the second room 401.
  • virtual objects 411, 412, and 413 are arranged as the second virtual object group generated by the virtual object generation processing unit 155, respectively, as in FIG.
  • a board 604, a window 605, and a clock 606 are arranged in the third room 601, respectively, and as a third virtual object group generated by the virtual object generation processing unit 155 as in FIG. 8, a virtual object 611, 612, and 613 are arranged, respectively.
  • FIG. 16 is an explanatory diagram showing an example of display of a virtual object in a state viewed from the direction 203 opposite to the doorway 202 at the rear of FIG.
  • virtual objects 411 to 413 and 611 to 613 which are arranged in association with another real space, are displayed on the display screen through an object that partitions the real space such as a room wall.
  • the virtual object is displayed so that the real space in which the virtual object is associated and arranged can be easily recognized according to the display position.
  • virtual objects 611 to 613 are displayed located on the right side of the display screen, and are a group of virtual objects associated with and arranged in the third room 601 of FIG. Can be easily recognized.
  • the virtual objects 411 to 413 are displayed located on the left side of the display screen, so that they are a group of virtual objects associated with and arranged in the second room 401 of FIG. It can be easily recognized.
  • FIG. 17 is an explanatory diagram showing another example of displaying the virtual object of FIG.
  • a group of virtual objects associated with the real space is displayed small and can be visually recognized. It may be difficult.
  • the virtual objects 411 to 413 are enlarged and displayed as virtual objects 1514 to 1516.
  • the virtual objects 611 to 613 are enlarged and displayed as virtual objects 1511 to 1513.
  • the virtual object posture operation processing unit 154 performs a shape enlargement operation on the virtual objects 411 to 413 and 611 to 613, respectively, and generates the enlarged virtual objects 1511 to 1516.
  • the virtual object posture operation processing unit 154 operates to enlarge the shape of the virtual object, it may be enlarged to a size that is easy to handle and easy to see.
  • the virtual object 411 of FIG. 16 is displayed in a display shape in which the overall shape is easy to see, based on the above-mentioned posture information specified in advance.
  • some virtual objects or all virtual objects may be displayed in a display shape whose overall shape is easy to see.
  • FIG. 18 is an explanatory diagram showing another example of the list display of the virtual object group of FIG.
  • FIG. 18 shows a display example when the display of FIG. 10 is changed to the display of FIG.
  • the virtual objects 611a, 612a, and 613a are the virtual objects shown in FIG.
  • the virtual objects 611b, 612b, and 613b are virtual objects when the display example of FIG. 10 is shifted to the display example of FIG.
  • the virtual objects 611a, 612a, and 613a move as virtual objects 611b, 612b, and 613b so as to gather on the right side of the display screen.
  • FIG. 18 an example of moving an arbitrary virtual object group has been described, but all virtual objects may be moved at the same time. Further, only one or a plurality of selected virtual objects may be moved and displayed, and other virtual objects that have not been selected may be hidden.
  • FIG. 19 is an explanatory diagram showing an example of a multi-display screen by the head-mounted information processing device of FIG.
  • FIG. 19 shows an example in which the display screens shown in FIGS. 3, 7, and 9 are reduced and multi-displayed on the display screen of the display 122.
  • FIG. 17 the portions shown in FIGS. 2, 3, 6, 6, 7, 8, 9, and 10 and having the same reference numerals are shown in FIGS. 2, 3, 6, 7, and 7. Since it has the same operations as those already described in 8, 9, and 10, detailed description thereof will be omitted.
  • the display screen 1701, the display screen 1702, the display screen 1703, and the display screen 1704 are displayed in this order from the upper left.
  • the first virtual object group arranged in association with the first real space is displayed.
  • a second group of virtual objects associated with and arranged in the second real space is displayed.
  • a third virtual object group arranged in association with the third real space is displayed.
  • a fourth virtual object group arranged in association with the fourth real space is displayed.
  • the virtual objects 1705 and 1706 are arranged in association with the fourth real space composed of landscapes such as buildings, cars, and humans.
  • the user searches the display screens 1701 to 1704 in which the virtual objects group arranged in association with each real space shown in FIG. 19 are reduced and arranged side by side in a multi-display manner. After that, the display screen in which the selected virtual object exists is changed to a normal full display screen so that the desired virtual object can be easily seen.
  • the real space in which the desired virtual object is arranged can be easily selected from the multi-display screen that displays the virtual objects group arranged in association with each real space. Further, only the virtual object group to which the selected virtual object is associated and arranged is displayed, and the desired virtual object can be visually recognized in an easy-to-see state.
  • the multi-display method may have various variations such as 9-multi display and 16-multi display.
  • a plurality of spaces may be displayed side by side in a bird's-eye view.
  • the image processing unit 153 generates an image having a bird's-eye view
  • the display control unit 151 displays the image generated by the image processing unit 153 on the display 122. This makes it easier to image the space and facilitates the selection of the space containing the desired virtual object.
  • the coordinate information in the space in which the other user exists is acquired by wireless communication or the like, and the corresponding coordinate position in the bird's-eye view is obtained. It may be displayed in.
  • the existence of the user himself or another user may be displayed on the multi-display image by an avatar, a mark, or the like. As a result, the positional relationship between the space and each user can be easily grasped.
  • the position in the space of the user himself / herself can be specified by using various sensor information, for example, the distance to the wall obtained by the depth sensor, the captured image of the camera unit 111, and the like.
  • the image of the avatar to be displayed is recorded in the memory 124 in advance as information data 127.
  • the image processing unit 153 synthesizes the image in space using the information data 127 stored in the memory 124.
  • the coordinate information of another user is acquired from various sensors and cameras of the information terminal worn by the other user, and transmitted from the communication interface of the information terminal.
  • the head-mounted information processing device 100 directly receives coordinate information through the communication interface 1804.
  • the head mount information processing apparatus 100 may receive the coordinate information via a server (not shown).
  • FIGS. 2 to 19 a state in which a virtual object is arranged in a real space in which a user exists has been described as an example, but the space handled by the user such as VR itself is a virtual space, and the virtual space is defined. The same operation can be performed even when a virtual object is placed.
  • the virtual object can be used as a reminder.
  • the virtual object generation processing unit 155 can generate a virtual object in a space other than the current space.
  • this function By using this function, it can be used as a reminder. For example, by generating and arranging a virtual object of an umbrella at the entrance while staying in the living room by the virtual object generation processing unit 155, it becomes a reminder for not forgetting the umbrella when going out.
  • Information indicating a request instruction by the operation input interface 121 by the user, an operation operation operation by the head-mounted information processing device 100, a display operation, and the like may be displayed on the display 122.
  • the above-mentioned information may be uttered to the user by voice from the headphones 120, vibration may be generated by the vibration generating unit 117 in close contact with the user, or stimulation may be generated by the stimulation generating unit 146. The user may be notified.
  • the user can be surely notified and recognized the operating state of the head-mounted information processing device.
  • the input operation of the operation and the display operation performed by the head mount information processing apparatus 100 is not limited to the input operation by the operation input interface 121, but the movement of, for example, the user's hand is detected by the camera unit 111 or the like, and the movement is detected. You may import the input operation from.
  • the virtual object can be easily browsed and operated.
  • FIG. 21 is a block diagram showing an example of the configuration in the head-mounted display system 1801 according to the second embodiment.
  • the head-mounted display system 1801 is composed of a head-mounted information processing device 100 and a virtual object generation server device 1802.
  • the head-mounted information processing device 100 and the virtual object generation server device 1802 are connected to the network 1803, respectively.
  • the head-mounted information processing apparatus 100 shown in FIG. 21 is newly provided with a communication interface 1804 and a transmission / reception antenna 1805 in addition to the configuration of each functional block having the same reference numerals as shown in FIG.
  • the head-mounted information processing device 100 of FIG. 21 is not provided with the virtual object generation processing unit 155.
  • the virtual object generation server device 1802 is composed of a virtual object generation processing unit 1811, a memory 1812, a control unit 1813, a communication interface 1814, a transmission / reception antenna 1815, and the like.
  • the functional blocks in the virtual object generation server device 1802 are connected to each other via the bus 1820.
  • the same processing portions as those in the embodiment of FIG. 1 are designated by the same reference numerals, and their description will be omitted.
  • the virtual object generation processing unit 1811 included in the virtual object generation server device 1802 generates a virtual object.
  • the memory 1812 stores the virtual object generated by the virtual object generation processing unit 1811.
  • the communication interface 1814 transmits the virtual object stored in the memory 1812 from the transmission / reception antenna 1815 to the head mount information processing apparatus 100 via the network 1803 which is a communication network.
  • the head-mounted information processing device 100 receives a virtual object transmitted via the network 1803.
  • the display processing itself of the virtual object in the head-mounted information processing device 100 is the same as that in the first embodiment, but the generation of the virtual object is a virtual device different from the head-mounted information processing device 100. What is performed by the object generation server device 1802 is different from the first embodiment.
  • the memory 1812 is a non-volatile semiconductor memory such as a flash memory, like the memory 124 of the head mount information processing device 100.
  • the memory 1812 stores various programs and generated virtual objects used by the control unit 1813 of the virtual object generation server device 1802.
  • the communication interface 1814 is a communication interface that communicates with the head-mounted information processing device 100 via the network 1803, and transmits / receives information to / from the head-mounted information processing device 100.
  • the control unit 1813 controls each functional block by executing a program such as an OS or an operation control application stored and stored in the memory 1812, and controls the entire virtual object generation server device 1802. To do.
  • the control unit 1813 controls the generation of virtual objects by the virtual object generation processing unit 1811 and the storage of the generated virtual objects in the memory 1812. Further, the control unit 1813 controls to transmit the generated virtual object to the head-mounted information processing device 100 in response to the transmission output request of the virtual object from the head-mounted information processing device 100.
  • the virtual object can be generated not by the head-mounted information processing device 100 but by the virtual object generation server device 1802 separated from the head-mounted information processing device 100.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations.
  • each of the above configurations, functions, processing units, processing functions, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations and functions may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • SSD Solid State Drive
  • control lines and information lines indicate what is considered necessary for explanation, and not all control lines and information lines are necessarily shown on the product. In practice, it can be considered that almost all configurations are interconnected.
  • Head mount information processing device 111 Camera unit 112 Right visual line detection unit 113 Left visual line detection unit 117 Vibration generation unit 118 External sound microphone 119 Voice sound microphone 120 Headphones 121 Operation input interface 122 Display 124 Memory 125 Control unit 140 Bus 142 Depth sensor 143 Acceleration sensor 144 Gyro sensor 145 Geomagnetic sensor 146 Stimulation generation unit 151 Display control unit 152 Data management unit 153 Video processing unit 154 Virtual object posture operation processing unit 155 Virtual object generation processing unit 156 Virtual object deformation operation processing unit 1801 Head mount display system 1802 Virtual object generation server device 1803 Network 1804 Communication interface 1805 Transmission / reception antenna 1811 Virtual object generation processing unit 1812 Memory 1813 Control unit 1814 Communication interface 1815 Transmission / reception interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

現実空間とは異なる現実空間にある仮想オブジェクトの存在位置などを容易に把握する。ヘッドマウント情報処理装置１００において、制御部１２５は、表示部が表示する仮想オブジェクトを生成する仮想オブジェクト生成処理部１５５を有する。仮想オブジェクト生成処理部１５５は、ユーザが存在する第１の現実空間に紐付けされて配置される第１の仮想オブジェクトおよび第１の現実空間と異なる第２の現実空間に紐付けて配置される第２の仮想オブジェクトを生成する。そして、制御部１２５は、操作入力インタフェース１５１から入力される第１の仮想オブジェクトおよび第２の仮想オブジェクトの表示を指示する仮想オブジェクト表示指示情報に応じて、ディスプレイ１２２に第１の仮想オブジェクトおよび第２の仮想オブジェクトを表示させる。

Description

ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
　本発明は、ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステムに関し、特に、仮想オブジェクトにおける位置の把握に有効な技術に関する。
　近年、仮想現実（Virtual Reality：ＶＲ）技術、拡張現実（Augmented Reality：ＡＲ）技術、あるいは複合現実（Mixed Reality：ＭＲ）技術が広く利用されている。
　仮想現実は、現実に似せた仮想世界を作り出しあたかもそこにいるような感覚を体験できる技術である。拡張現実は、現実世界にデジタル情報を付与しＣＧ（Computer Graphics）などで作った仮想空間（仮想オブジェクト）を現実空間に反映し拡張していく技術である。複合現実は、ＣＧなどで人工的に作られた仮想世界と現実世界の情報を組み合わせ融合させる技術である。
　これらの技術を具現化するツールとしては、頭部に装着されディスプレイやカメラなどを有するヘッドマウント情報処理装置が広く用いられている。ヘッドマウント情報処理装置においては、仮想オブジェクトの現実感を増すために、仮想オブジェクトを現実空間の空間座標に紐付けてあらわし、あたかもそこに現実のオブジェクトがあるかのような表示方法が実用化されている。
　このような表示方法は、目的の仮想オブジェクトが紐付けされ配置されている現実空間に行けば目的の仮想オブジェクトを視認でき、直感的な操作体系を可能にしているが、目的の仮想オブジェクトが紐付けされている現実空間に行かなければ目的の仮想オブジェクトの閲覧や操作を行うことができないという課題があった。
　この問題を解決する技術としては、装着者が実世界空間を動き回っていても、拡張現実オブジェクトの少なくとも一部を実世界空間内にとどめて容易にアクセスすることができるものがある(例えば特許文献１参照）。
特表２０１８－５０５４７２号公報
　前述した特許文献１の技術は、ユーザの視野移動に対しても仮想オブジェクトを視野内にとどめて表示する旨については記載されているものの、別の現実空間にある仮想オブジェクトに対する表示については考慮されていない。よって、別の現実空間にある仮想オブジェクトの閲覧や操作を使い勝手よく行うことができにくいという問題がある。
　本発明の目的は、現実空間とは異なる現実空間にある仮想オブジェクトの存在位置などを容易に把握することができる技術を提供することにある。
　本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。
　本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
　すなわち、代表的なヘッドマウント情報処理装置は、操作入力インタフェース、カメラ部、表示部、および制御部を備える。操作入力インタフェースは、情報を入力する。カメラ部は、現実空間を撮像する。表示部はカメラ部が撮像する実写画像を表示する。制御部は、表示部を制御する。
　また、制御部は、表示部が表示する仮想オブジェクトを生成する仮想オブジェクト生成処理部を有する。仮想オブジェクト生成処理部は、ユーザが存在する第１の現実空間に紐付けされて配置される第１の仮想オブジェクトおよび第１の現実空間と異なる第２の現実空間に紐付けて配置される第２の仮想オブジェクトを生成する。
　そして、制御部は、操作入力インタフェースから入力される第１の仮想オブジェクトおよび第２の仮想オブジェクトの表示を指示する仮想オブジェクト表示指示情報に応じて、表示部に第１の仮想オブジェクトおよび第２の仮想オブジェクトを表示させる。
　本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
　異なる現実空間に配置される仮想オブジェクトの配置場所などを的確に視認することができるので、利便性を向上させることができる。
実施形態１によるヘッドマウント情報処理装置における構成の一例を示すブロック図である。 図１のヘッドマウント情報処理装置における使用状況の周囲全景の一例を示す説明図である。 図１のヘッドマウント情報処理装置による仮想オブジェクト群の一覧表示の一例を示す説明図である。 図３の仮想オブジェクト群の一覧表示の他の例を示す説明図である。 図４の仮想オブジェクト群の一覧表示の他の例を示す説明図である。 図１のヘッドマウント情報処理装置における使用状況の一例を示す説明図である。 図６の周囲全景例における一覧表示させた仮想オブジェクト群の表示画面の一例を示す説明図である。 図６の使用状況の他の例を示した説明図である。 図８の周囲全景例における一覧表示させた仮想オブジェクト群の表示画面の一例を示す説明図である。 図１のヘッドマウント情報処理装置による仮想オブジェクト群の表示の一例を示す説明図である。 図１０の仮想オブジェクト群の表示の他の例を示す説明図である。 図１のヘッドマウント情報処理装置による仮想オブジェクト群の切り替え表示の一例を示す説明図である。 図１のヘッドマウント情報処理装置による仮想オブジェクトの拡大縮小および姿勢操作の一例を示す説明図である。 図１３の他の例を示す説明図である。 複数の現実空間における全ての仮想オブジェクトを見る場合の周囲全景の一例を示す説明図である。 図１５の後方の出入口と逆の方向から見た状態における仮想オブジェクトの表示の一例を示す説明図である。 図１６の仮想オブジェクトの表示の他の例を示す説明図である。 図１６の仮想オブジェクト群の一覧表示の他の例を示す説明図である。 図１のヘッドマウント情報処理装置によるマルチ表示画面の一例を示す説明図である。 図１９の他の表示例を示す説明図である。 実施形態２によるヘッドマウントディスプレイシステムにおける構成の一例を示すブロック図である。
　実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
　（実施の形態１）
　以下、実施の形態を詳細に説明する。
　〈ヘッドマウント情報処理装置の構成例〉
　図１は、本実施の形態１によるヘッドマウント情報処理装置における構成の一例を示すブロック図である。
　ヘッドマウント情報処理装置１００は、図１に示すように、カメラ部１１１、右目視線検出部１１２、左目視線検出部１１３、振動発生部１１７、外周音マイク１１８、発声音マイク１１９、ヘッドフォン１２０、操作入力インタフェース１２１、ディスプレイ１２２、制御部１２５、メモリ１２４、深度センサ１４２、加速度センサ１４３、ジャイロセンサ１４４、地磁気センサ１４５、および刺激発生部１４６から構成されている。これらの機能ブロックは、バス１４０を介して相互に接続されている。
　カメラ部１１１は、ユーザ前方の風景を撮影する。表示部であるディスプレイ１２２は、カメラ部１１１が撮影した現実空間の実写画像を表示する。カメラ部１１１は、複数のカメラによって構成してもよいし、あるいは１台または複数のカメラを組み合わせて全天球の画像を撮影できる３６０度全天球カメラであってもよい。
　制御部１２５は、メモリ１２４に格納される後述するプログラム１２６を実行することによって、各機能ブロックを制御し、ヘッドマウント情報処理装置１００全体の動作を制御する。
　制御部１２５は、表示制御部１５１、データ管理部１５２、映像加工部１５３、仮想オブジェクト姿勢操作処理部１５４、仮想オブジェクト生成処理部１５５、および仮想オブジェクト変形操作処理部１５６を有する。
　仮想オブジェクト生成処理部１５５は、現実空間とは異なる仮想空間にある少なくとも１つの仮想オブジェクトからなる仮想オブジェクト群を生成する。また、仮想オブジェクト生成処理部１５５は、生成した仮想オブジェクト群を現実空間に紐付けて配置する。
　ここで、視認あるいはディスプレイ１２２に表示される第１の現実空間に紐付けされて配置される仮想オブジェクト群を第１の仮想オブジェクト群とする。また、第１の現実空間とは別の現実空間である第２の現実空間に紐付けされて配置される仮想オブジェクト群を第２の仮想オブジェクト群とする。
　同様に、第１および第２の現実空間とは別の現実空間である第３の現実空間に紐付けされて配置される仮想オブジェクト群を第３の仮想オブジェクト群とする。第１～第３の現実空間とは別の現実空間である第４の現実空間に紐付けされて配置される仮想オブジェクト群を第４の仮想オブジェクト群とする。
　仮想オブジェクト生成処理部１５５は、操作入力インタフェース１２１から入力されるユーザ操作に応じて、メモリ１２４から読み出した仮想オブジェクトの雛形データに基づいて、仮想オブジェクトを生成する。
　なお、仮想オブジェクトの雛形データは必ずしも必要ではなく、ユーザ操作により雛形なしで直接仮想オブジェクトデータを生成してもよい。例えば、直方体の仮想オブジェクトを生成するには、操作入力インタフェース１２１を用いたユーザ操作により、実空間上に仮想オブジェクトの各頂点となる８点を指定する。
　仮想オブジェクト姿勢操作処理部１５４は、ディスプレイ１２２に表示された仮想オブジェクトを回転、拡大、および縮小して、視認しやすい形状の姿勢になるように操作する。これを姿勢操作と呼ぶ。姿勢操作の結果は、元の仮想オブジェクトの姿勢、形状、および向きなどには反映されない。
　仮想オブジェクト変形操作処理部１５６は、ディスプレイ１２２に表示される仮想オブジェクトの変形操作を行う。変形操作は、例えば仮想オブジェクトの向きを変える、大きさを変える、形状を変える、一部分を削除する、あるいは全部を削除するなどである。仮想オブジェクト変形操作処理部１５６による変形操作の結果は、元の仮想オブジェクトの姿勢、形状、および向きなどにも反映される。
　映像加工部１５３は、カメラ部１１１が撮影した映像データを加工し、加工した映像データを情報データ１２７としてメモリ１２４に格納する。映像加工部１５３は、主に表示データ量の軽減、視認性の向上を目的として、カメラ部１１１が撮影した映像データを簡素化する。例えば、映像データに四角形状の本棚がある場合には、外形が同じ寸法の直方体などの形状に簡素化して映像データを簡素化する。
　また、映像加工部１５３は、各空間の認知を容易にするための映像加工を行う。例えば、カメラ部１１１が撮影したユーザの目線からの映像データに基づいて、撮影時にユーザが存在した空間を見下ろすように俯瞰した映像データなどを生成する。
　表示制御部１５１は、メモリ１２４に格納されている情報データ１２７を適宜組み合わせて表示用データを生成し、ディスプレイ１２２に表示させる。この場合、情報データ１２７は、仮想オブジェクトデータ、カメラ部１１１が撮影する映像データ、および映像加工部１５３が生成する加工後の表示用データなどである。
　データ管理部１５２は、カメラ部１１１が撮影する実写映像データ、仮想オブジェクトのデータ、および映像加工部１５３が生成する加工後の表示用データなどを管理する。
　制御部１２５は、ＧＰＵ（Graphics Processing Unit）などの各演算処理専用プロセッサを含むＣＰＵ（Central Processing Unit）などから構成されており、メモリ１２４に記憶格納されているプログラム１２６を実行することによって、各機能ブロックを制御してヘッドマウント情報処理装置１００全体の動作を制御する。プログラム１２６は、ヘッドマウント情報処理装置１００のＯＳ（Operating System）や動作制御用アプリケーションなどのプログラムである。
　制御部１２５は、操作入力インタフェース１２１から入力される仮想オブジェクト表示指示情報に応じて、第１の現実空間とは別の現実空間に紐付けて配置される仮想オブジェクト群、例えば第２の現実空間などに紐付けて配置される第２の仮想オブジェクト群などを第１の現実空間内に配置して表示するように表示制御部１５１を制御する。これによって、第１の現実空間とは別の現実空間に紐付けられて配置されている仮想オブジェクト群の視認や操作が可能となる。
　なお、仮想オブジェクト生成処理部１５５が生成する仮想オブジェクト群をディスプレイ１２２の表示視野内に表示する際には、例えばヘッドマウント情報処理装置１００からの全周囲風景を示す全天球画像をディスプレイ１２２に投影して反映し、反映した全天球画像の所定の位置に仮想オブジェクト郡を配置する。
　この場合、制御部１２５は、表示制御部１５１を制御することにより、第１の仮想オブジェクト群と、第１の現実空間とは別の現実空間に紐付けて配置される仮想オブジェクト群、例えば第２の現実空間などに紐付けて配置される第２の仮想オブジェクト群とを第１の現実空間内に配置して表示させる。
　また、制御部１２５は、第１の仮想オブジェクト群と第２の現実空間に紐付けられ配置されている第２の仮想オブジェクト群などとを順次切り替えて、ディスプレイ１２２の表示画面に表示するようにしてもよい。
　さらに、制御部１２５は、第１の現実空間の視野位置から、第１の仮想オブジェクト群や第１の現実空間とは別の現実空間に紐付けられて配置される仮想オブジェクト群などをディスプレイの表示画面内に併せて配置して表示するようにしてもよい。
　また、制御部１２５は、各現実空間に紐付けられて配置されている仮想オブジェクト群を示す各々の表示画面を縮小して並べてマルチ表示し、選択された現実空間の仮想オブジェクト群の表示画面を通常の大きさに戻して表示し、選択された現実空間内に配置された所望の仮想オブジェクトの視認や操作を可能にするようにしてもよい。
　あるいは、制御部１２５は、表示視野内に配置された視認しにくい仮想オブジェクトに対して、仮想オブジェクト姿勢操作処理部１５４にて仮想オブジェクトの全体形状が視認しやすいように仮想オブジェクトの拡大縮小や姿勢を操作するように制御し、表示制御部１５１を用いて姿勢操作後の仮想オブジェクトを表示するようにしてもよい。
　メモリ１２４は、フラッシュメモリなどに例示される不揮発性メモリであり、制御部１２５が使用する各種のプログラム１２６および情報データ１２７などを記憶する。情報データ１２７は、仮想オブジェクト群のデータ、仮想オブジェクト群の座標位置情報、および実写画像などのデータである。
　ディスプレイ１２２は、液晶パネルなどからなり、仮想オブジェクトや現実空間の実写画像などを表示する。また、ディスプレイ１２２は、ユーザへの呈示通知情報や動作状態などの表示内容を画面表示する。
　例えば、カメラ部１１１が撮影する実写画像や仮想オブジェクトの表示に際しては、ヘッドマウント情報処理装置１００の全周囲風景を示す全天球画像上の所定の位置に仮想オブジェクトを配置して表示する。また、ディスプレイ１２２は、複数の現実空間に紐付けられた各々の仮想オブジェクト群を表示画面内にマルチ表示する。
　右目視線検出部１１２は、ユーザの右目の視線を検出する。左目視線検出部１１３は、ユーザの左目の視線を検出する。なお、視線を検出する処理には、アイトラッキング処理として一般的に用いられている周知技術を利用すればよい。
　例えば、角膜反射を利用した方法では、赤外線ＬＥＤ（Light Emitting Diode）を顔に照射して赤外線カメラで撮影し、赤外線ＬＥＤ照射でできた反射光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて視線を検出する技術が知られている。
　加速度センサ１４３は、単位時間当たりの速度の変化である加速度を検出するセンサであり、動き、振動、および衝撃などを捉えることができる。ジャイロセンサ１４４は、回転方向の角速度を検出するセンサであり、縦、横、斜めの姿勢の状態を捉えることができる。よって、加速度センサ１４３およびジャイロセンサ１４４を用いて、ヘッドマウント情報処理装置本体１００を装備しているユーザの頭部の動きを検出することができる。
　地磁気センサ１４５は、地球の磁力を検出するセンサであり、ヘッドマウント情報処理装置本体１００の向いている方向を検出する。地磁気センサ１４５は、前後方向と左右方向に加え上下方向の地磁気も検出する３軸タイプを用い、頭部の動きに対する地磁気変化を捉まえることにより、頭部の動きを検出することも可能である。
　これらのセンサにより、ユーザが装着しているヘッドマウント情報処理装置１００の動きや変動を詳しく検出することができる。
　深度センサ１４２は、物体までの距離を面で測定する。深度センサ１４２は、例えば、赤外線やレーザなどの反射を利用したものがあるが、取り付け位置の異なる複数のカメラで撮影した画像の視差から距離情報を得るなど、他の方式で実現してもよい。
　制御部１２５は、深度センサ１４２で取得した距離情報を解析することにより、手の動き、および身体の動きを検出することが可能である。手の動き、および身体の動きの解析には、カメラ部１１１で撮影された画像から得られる情報を合わせて使用してもよい。
　刺激発生部１４６は、制御部１２５の制御によって皮膚で知覚できる刺激を発生させる。刺激発生部１４６は、ヘッドマウント情報処理装置１００で発信されたユーザへの通知情報を皮膚で知覚できる刺激に変換する。
　皮膚で知覚できる刺激には、圧力、温感、冷感、あるいは電気刺激などがある。刺激発生部１４６は、密接装着されているユーザの頭部における皮膚で知覚できる刺激を発生させることにより、ユーザへの通知を確実に伝えることができる。
　振動発生部１１７は、制御部１２５の制御によって振動を発生させるものであり、例えばバイブレータ、ハプティクス、あるいはフォースフィードバックなどからなる。振動発生部１１７は、ユーザへの通知情報を振動に変換する。振動発生部１１７は密接装着されているユーザ頭部で振動を発生させることにより、ユーザへの通知を確実に伝えることができる。
　外周音マイク１１８および発声音マイク１１９は、外部からの音声やユーザ自身の発声を集音する。発声音マイク１１９は、骨伝導マイクなどの音声入力デバイスであってもよい。
　ヘッドフォン１２０は、ユーザの耳部に装着され、ユーザへの音声を聞き取るものであり、ユーザに通知情報を音声で知らしめることができる。ヘッドフォン１２０は、スピーカあるいは骨伝導イヤホンなどの音声出力デバイスであってもよい。
　操作入力インタフェース１２１は、例えばキーボードやキーボタン、あるいはタッチパッドなどからなり、ユーザが入力したい情報を設定入力する。操作入力インタフェース１２１は、ユーザが入力操作を行いやすい位置に設ければよい。
　操作入力インタフェース１２１は、ヘッドマウント情報処理装置１００の本体から分離し有線または無線などで接続する形態であってもよい。ヘッドマウント情報処理装置１００から分離した入力操作装置の例としては、空間マウスあるいはコントローラ装置などがある。
　空間マウスは、ジャイロセンサや加速度センサなどを用いた３次元空間位置入力装置である。コントローラ装置は、身体を映したカメラ映像や、コントローラ装置に内蔵した各種センサ情報などから身体に装着したコントローラ自身の空間位置を検出して入力する。
　操作入力インタフェース１２１は、ディスプレイ１２２の表示画面に入力操作画面を表示させて、右目視線検出部１１２および左目視線検出部１１３により検出した視線が向いている入力操作画面上の位置により入力操作情報を取り込むようにしてもよい。
　操作入力インタフェース１２１は、ポインタを入力操作画面上に表示させ操作入力インタフェース１２１によりポインタを操作して入力操作情報を取り込んでもよい。また、操作入力インタフェース１２１は、ユーザが入力操作を示す音声を発声し、発声音マイク１１９で集音して入力操作情報を取り込んでもよい。
　このように入力操作に発声や表示を用いることにより、頭部に装着されているヘッドマウント情報処理装置の使い勝手を一層向上させることが可能である。
　以上の構成により、操作入力インタフェース１２１にて入力された仮想オブジェクト表示を指示する仮想オブジェクト表示要求指示に応じて、第１の現実空間と異なる現実空間に紐付けて配置される仮想オブジェクト群、例えば第２の現実空間に紐付けて配置される第２の仮想オブジェクト群を第１の現実空間に重ねて表示したり、あるいは切り替えて表示することができる。
　また、第１の現実空間の視野位置において、他の現実空間にある仮想オブジェクト群を含めた全ての仮想オブジェクト群を表示することにより、他の現実空間にある仮想オブジェクトの閲覧や操作を容易にすることができる。さらに、仮想オブジェクト群が多数ある場合には、目的の仮想オブジェクトがどの現実空間にあったかが分からなくなるようなことを解消することができる。
　また、見ている現実空間を移動することなく、別の現実空間に配置された仮想オブジェクトを操作することが可能となる。例えば、現実空間Ａの壁に仮想オブジェクトとしてカレンダーを配置している状態で、別の現実空間Ｂで予定を確認あるいは予定を書き込む場合、ユーザは、現実空間Ａまで移動することなく、仮想オブジェクトのカレンダーを閲覧、操作することができる。
　この例は、仮想オブジェクトであるカレンダーに対する変形操作であり、仮想オブジェクト変形操作処理部１５６によって処理される。仮想オブジェクト変形操作処理部１５６による変形操作の結果は、元のオブジェクトに反映されるため、例えば、現実空間Ｂから現実空間Ａの壁のカレンダーに変形操作として予定Ｚを書き込むと、実際の現実空間Ａで壁のカレンダーを見ても書き込んだ予定Ｚを視認することができる。
　〈ヘッドマウント情報処理装置の動作例〉
　続いて、ヘッドマウント情報処理装置１００の動作について説明する。
　図２は、図１のヘッドマウント情報処理装置１００における使用状況の周囲全景の一例を示す説明図である。図３は、図１のヘッドマウント情報処理装置１００による仮想オブジェクト群の一覧表示の一例を示す説明図である。図３は、図２に示す使用状況の周囲全景において、一覧表示した仮想オブジェクト群をディスプレイ１２２の表示画面内に収めて配置させた際の表示例を示したものである。
　図２において、ヘッドマウント情報処理装置１００を装着しているユーザ２００は、第１の部屋２０１の中央に位置しており、後方の出入口ドア２０２と逆の方向２０３を見ている状態である。
　ユーザ２００の前方正面側には、机２０４およびパソコン２０５が置かれており、ユーザ２００の背面側には、本棚２０６が置かれている。仮想オブジェクト２１１～２１３は、第１の仮想オブジェクト群であり、仮想オブジェクト生成処理部１５５により生成される。
　仮想オブジェクト２１１は、ユーザ２００の前方正面に配置されている。仮想オブジェクト２１２は、机２０４の右側に配置されている。仮想オブジェクト２１３は、ユーザ後方の本棚２０６の右側に配置されている。
　図２に示す第１の部屋２０１の周囲全景状態において、ユーザ２００は、第１の部屋２０１の方向２０３に映される第１の現実空間を直接目視して、あるいはカメラ部１１１にて撮影した現実画像をディスプレイ１２２にて表示して視認する。
　第１の仮想オブジェクト群の視認については、図３に示すように、各々の仮想オブジェクト２１１～２１３を一覧表示する。この一覧表示は、カメラ部１１１が撮影する全天球画像をディスプレイ１２２の表示画面上に投影して反映し、投影反映した全天球画像に全ての仮想オブジェクトを表示する。このとき、仮想オブジェクト２１１～２１３は、それぞれ所定の位置に配置される。
　表示制御部１５１は、データ管理部１５２が読み出したデータに基づいて、仮想オブジェクト２１１～２１３をディスプレイ１２２に表示する。データ管理部１５２は、メモリ１２４に情報データ１２７として記録されている仮想オブジェクト２１１～２１３の形状データおよび配置座標データを読み出して表示制御部１５１に出力する。その際、仮想オブジェクト姿勢操作処理部１５４は、必要に応じて仮想オブジェクトの姿勢操作を行う。
　これにより、周囲全景に存在する全ての仮想オブジェクトを存在位置とともに、視認することができる。
　なお、図３の点線にて示した部分は、実写物体であり、実写物体と仮想オブジェクトとの位置関係を分かりやすく示すためのものである。よって、この点線にて示す実写物体については、表示を行わなくてもよい。
　図４は、図３の仮想オブジェクト群の一覧表示の他の例を示す説明図である。図４は、点線にて示す実写物体を表示せずに仮想オブジェクト２１１～２１３のみを表示している例を示している。
　図５は、図４の仮想オブジェクト群の一覧表示の他の例を示す説明図である。周囲全景に存在する全ての仮想オブジェクトを表示させる際には、図５に示すように、図３の点線で示した机２０４、パソコン２０５、および本棚２０６という実写物体を背景画像として表示してもよい。これにより、現実空間の机２０４、パソコン２０５、および本棚２０６と、仮想オブジェクト２１１～２１３との位置関係をより認識しやすくすることができる。
　例えば、図２に示したように仮想オブジェクト２１３が背面の本棚２０６の右側上方にある場合、仮想オブジェクト２１３の左側下方に背景画像として本棚２０６が表示されていれば、仮想オブジェクト位置を認識しやすくできる。
　以上は、表示制御部１５１が仮想オブジェクトなどの表示用データを生成し、ディスプレイ１２２に表示させる。表示制御部１５１は、メモリ１２４から情報データ１２７に含まれるオブジェクトの形状や表示位置などのデータ、およびカメラ部１１１が撮影した背景映像や映像加工部１５３が生成したデータなどを読み込み、読み込んだデータから表示データを生成する。
　また、仮想オブジェクト姿勢操作処理部１５４は、必要に応じて仮想オブジェクトの姿勢操作を行い、画面上の対応した位置に仮想オブジェクトが表示されるように表示位置、大きさ、および形状などを調整する。この調整は、仮想オブジェクト姿勢操作処理部１５４がメモリ１２４に記録されているプログラム１２６の命令に基づいて実行される。
　なお、全周囲風景を示す全天球画像は、一度に全天球の画像を撮影できる全立体角全天球カメラを使用して取得してもよい。あるいは、通常画角のカメラで撮影した複数の画像を映像加工部１５３でつなぎ合わせて生成してもよい。
　また、風景画像の表示は、取得できた一部の範囲だけの画像を用いてもよい。例えば、全立体角の上半分の半球画像など、全天球でなく一部の範囲の画像でほぼ全ての仮想オブジェクトの存在を視認可能な場合である。
　図６は、図１のヘッドマウント情報処理装置１００における使用状況の一例を示す説明図である。図７は、図６の周囲全景例における一覧表示させた仮想オブジェクト群の表示画面の一例を示す説明図である。
　図６は、ヘッドマウント情報処理装置１００を装着しているユーザ２００が第２の部屋４０１の出入口ドア４０２付近に位置しており、第２の部屋４０１の室内方向４０３を見ている状態を示している。また、ユーザ２００の前方正面側には、テレビ台４０４およびテレビ４０５が設置されている。ユーザ２００から見て右側の壁には、棚４０６が設置されている。
　仮想オブジェクト生成処理部１５５が生成する第２の仮想オブジェクト群は、仮想オブジェクト４１１～４１３からなる。図７において、仮想オブジェクト４１１は、テレビ４０５の後方上側に位置している。仮想オブジェクト４１２は、テレビ４０５の後方右側に位置している。仮想オブジェクト４１３は、出入口ドア４０２の左側壁近傍に位置している。
　図６に示した第２の部屋４０１の周囲全景において、ユーザ２００は、室内方向４０３に映される第２の現実空間を直接目視して、あるいはカメラ部１１１にて撮影した現実空間の画像をディスプレイ１２２で表示して視認する。
　第２の仮想オブジェクト群の視認については、図７に示すように、全周囲風景を示す全天球画像をディスプレイ１２２の表示画面上に投影して反映し、投影反映された全天球画像にて所定の位置に各仮想オブジェクト４１１～４１３を配置して一覧表示する。
　これにより、図３の場合と同様に、周囲全景に存在する全ての仮想オブジェクトの存在を、存在位置とともに視認することができる。また、全周囲全景に存在する全ての仮想オブジェクトを表示させる際には、図７の点線で示したテレビ台４０４、テレビ４０５、棚４０６という実写物体を背景画像として表示してもよい。
　これにより、現実空間と仮想オブジェクトとの位置関係を認識しやすくすることができる。なお、ディスプレイ１２２に表示処理については、図３と同様であるので、説明は省略する。
　図８は、図６の使用状況の他の例を示した説明図である。図９は、図８の周囲全景例における一覧表示させた仮想オブジェクト群の表示画面の一例を示す説明図である。図８においては、ヘッドマウント情報処理装置１００を装着しているユーザ２００が第３の部屋６０１内の中央に位置しており、出入口ドア６０２を背後に左横の方向６０３に見ている状態を示している。
ユーザ２００の前方正面には、ボード６０４が位置しており、ユーザ２００の右側には、窓６０５が位置している。また、窓６０５の右横には、時計６０６が配置されている。
　仮想オブジェクト生成処理部１５５が生成する第３の仮想オブジェクト群は、仮想オブジェクト６１１～６１３からなる。図８において、仮想オブジェクト６１１は、ボード６０４の左側に位置しており、仮想オブジェクト６１２は、窓６０５の上方に位置している。仮想オブジェクト６１３は、ユーザ２００の後方に位置している。
　図８に示した第３の部屋６０１内の周囲全景状態において、ユーザ２００は、方向６０３に映される第３の現実空間を直接目視して、あるいはカメラ部１１１にて撮影した現実空間の画像をディスプレイ１２２で表示して視認する。
　第３の仮想オブジェクト群の視認については、図９に示すように、全周囲風景を示す全天球画像をディスプレイ１２２の表示画面上に投影して反映し、投影反映された全天球画像にて存在する位置に各仮想オブジェクト６１１～６１３を配置して、全ての仮想オブジェクト６１１～６１３を一覧表示する。
　これにより、図３、図７の場合と同様に、周囲全景に存在する全ての仮想オブジェクトの存在を、存在位置とともに視認することができる。また、全周囲全景に存在する全ての仮想オブジェクトを表示させる際には、図９の点線で示したボード６０４、窓６０５、および時計６０６などの実写物体を背景画像として表示してもよい。
　これにより、現実空間と仮想オブジェクトとの位置関係を認識しやすくすることができる。なお、ディスプレイ１２２に表示処理については、図３と同様であるので、説明は省略する。
　図１０は、図１のヘッドマウント情報処理装置による仮想オブジェクト群の表示の一例を示す説明図である。図３、図７、および図９に示した例では、各々の現実空間に紐付けられて配置された仮想オブジェクト群を各々の現実空間で視認するものであった。しかし、これらの例では、今映している現実空間とは別の現実空間に紐付けられて配置された仮想オブジェクト群を今映している現実空間で視認することができない。
　図１０では、各々の現実空間の視野位置のまま、各々の現実空間に紐付けられて配置された各々の仮想オブジェクト群をディスプレイ１２２の表示画面に重ねて配置した表示例について説明する。
　図１０において、図３、図７、図９に示され同一の符号を付された部分は、図３、図７、図９で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。
　図１０は、現在映している第１の現実空間において、第１の現実空間に紐付けられて配置されている第１の仮想オブジェクト群に加え、第２の現実空間に紐付けられて配置される第２の仮想オブジェクト群と、第３の現実空間に紐付けられて配置される第３の仮想オブジェクト群とをディスプレイ１２２の表示画面内に重ねて表示した状態を示している。
　第１の仮想オブジェクト群は、仮想オブジェクト２１１，２１２，２１３からなる。第２の仮想オブジェクト群は、仮想オブジェクト４１１，４１２，４１３からなる。第３の仮想オブジェクト群は仮想オブジェクト６１１，６１２，６１３からなる。
　図１０に示すように、別の現実空間に配置された仮想オブジェクト４１１～４１３，６１１～６１３を現在いる現実空間に配置して重ねて表示することにより、別の現実空間に紐付けられ配置された仮想オブジェクトをも全て、現実空間を切り替えることなく視認することができる。
　これにより、現実空間および仮想オブジェクト群が多数あっても、全ての仮想オブジェクトが表示されている表示画面の中から所望の仮想オブジェクトを簡単に視認することができる。さらに、選択した仮想オブジェクトの修正などの所望の操作を容易に行うことが可能となる。その結果、使い勝手を向上することができる。
　以上の動作は、表示制御部１５１がディスプレイ１２２に表示するものである。また、仮想オブジェクト姿勢操作処理部１５４は、必要に応じて仮想オブジェクトの姿勢操作を行う。
　仮想オブジェクト姿勢操作処理部１５４は、メモリ１２４に格納されるプログラム１２６の命令に従い、画面上の対応した位置に仮想オブジェクトが表示されるように表示位置および大きさ、形状などを調整する。表示制御部１５１は、仮想オブジェクト姿勢操作処理部１５４が調整したデータから表示データを生成してディスプレイ１２２に表示させる。
　図１１は、図１０の仮想オブジェクト群の表示の他の例を示す説明図である。図１１では、ディスプレイ１２２の表示画面内に表示された仮想オブジェクトがほぼ同じ座標位置に配置され、仮想オブジェクトが重複して表示される例を示している。
　図１１において、図２、図３、図６、図７、図８、図９、図１０に示され同一の符号を付された部分は、図２、図３、図６、図７、図８、図９、図１０で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。
　図１０に示す仮想オブジェクト２１２，４１２は、ほぼ同じ座標位置に重複して配置された仮想オブジェクトであり、重複することによって視認性が低下する。そこで、重複して表示される仮想オブジェクト２１２，４１２を、図１１に示すように仮想オブジェクト９０１、９０２を重複しない座標位置にずらして表示する。
　また、元々の仮想オブジェクト２１２、４１２が配置されていた座標位置には、印９０３を表示するとともに、座標位置をずらして配置表示された仮想オブジェクト９０１，９０２と印９０３との間は、仮想ライン９０４，９０５にて繋いで表示する。
　このように、ほぼ同じ位置に重複して配置表示された仮想オブジェクトをずらして表示することにより、仮想オブジェクトが重複することなく表示することができる。また、印９０３を表示させることにより、仮想オブジェクトの元々の配置されていた位置を容易に認識することができる。さらに、仮想ライン９０４，９０５を表示することによって、仮想オブジェクトの視認性を一層向上させることができる。
　また、仮想オブジェクトは、表示位置をずらすのではなく、同じ位置に重複して配置表示される仮想オブジェクトを半透明、すなわち透過画像として表示するようにしてもよい。
　以上の動作は、表示制御部１５１がディスプレイ１２２に表示するものである。また、仮想オブジェクト姿勢操作処理部１５４は、必要に応じて仮想オブジェクトの姿勢操作を行う。
　仮想オブジェクト姿勢操作処理部１５４による姿勢操作は、対応した位置に仮想オブジェクトが表示されるように表示位置、大きさ、および形状などをメモリ１２４に格納されているプログラム１２６に基づいて調整する。
　以降、特別に記載のない場合、ディスプレイ１２２への仮想オブジェクトの表示は同様の処理を行うものとする。
　また、仮想オブジェクト群の表示は、ユーザが重畳表示される仮想オブジェクト２１２，４１２(図１０）から所望の仮想オブジェクトを選択し、選択した仮想オブジェクトに紐付けられて配置されている現実空間に、同様に紐付けられている仮想オブジェクト群のみを表示するようにしてもよい。その場合、別の仮想空間に紐付けられて配置されている仮想オブジェクト群は非表示にする。
　これにより、所望の仮想オブジェクトと同じ現実空間に紐付けられて配置された仮想オブジェクト群の中から、さらに次の所望の仮想オブジェクトを選択する場合に容易に選択を可能にすることができる。
　〈仮想オブジェクト群の切り替え表示例〉
　図１２は、図１のヘッドマウント情報処理装置１００による仮想オブジェクト群の切り替え表示の一例を示す説明図である。図１２において、図２、図３、図６、図７、図８、図９、および図１０に示され同一の符号を付された部分は、図２、図３、図６、図７、図８、図９、および図１０で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。
　図１２では、図１１に示したように全ての仮想オブジェクトを重ねて表示するのでなく、各々の現実空間に紐付けられて配置された仮想オブジェクト群を順次切り替えて表示する例を示している。
　表示画面１００１は、最初に第１の現実空間に紐付けられて配置される第１の仮想オブジェクト群を表示する表示画面である。表示画面１００２は、第２の現実空間に紐付けられて配置される第２の仮想オブジェクト群を表示する表示画面である。
　表示画面１００３は、第３の現実空間に紐付けられて配置される第３の仮想オブジェクト群を表示する表示画面である。表示画面１００４は、第１～第３の現実空間と異なる他の現実空間に紐付けられ配置された仮想オブジェクト群がある場合に表示される表示画面である。これら表示画面１００１～１００４は、順次切り替えてディスプレイ１２２に表示される。
　これにより、全ての仮想オブジェクト群を一度に視認するのでなく、各々の現実空間に紐付けられて配置される仮想オブジェクト群のみを順次順番に視認することができる。その結果、各々の仮想オブジェクト群の中から所望の仮想オブジェクトを効率よく視認することができ、視認性をより一層向上させることが可能となる。
　また、仮想オブジェクト群の切り替え表示は、例えば操作入力インタフェース１２１からスワイプなどの入力操作により、視認しやすい一定の時間ごとに切り替えて表示するようにしてもよい。これにより、仮想オブジェクトの視認性をさらに高めることができる。
　一定時間ごとの仮想オブジェクトの切り替え表示において、より時間をかけて詳しく視認したい場合あるいは逆に短時間で次の画面に切り替えたい場合には、操作入力インタフェース１２１の操作入力により、見ている仮想オブジェクト群の視認時間の増減を変化させるようにすればよい。
　表示画面１００１，１００２，１００３の表示に際しては、仮想オブジェクト群だけでなく、仮想オブジェクト群に対応する現実空間の実写画像を背景として表示するようにしてもよい。
　この場合、実写画像の背景を表示することにより、仮想オブジェクトの認識を容易にすることが可能になる。なお、実写背景は、図１のカメラ部１１１にて撮影して、メモリ１２４に保存しておけばよい。カメラ部１１１の画角が狭い場合は、個々に撮影した画像をつなぎ合わせて使用してもよい。
　〈仮想オブジェクトの拡大縮小および姿勢操作〉
　続いて、ヘッドマウント情報処理装置１００による仮想オブジェクトの拡大縮小および姿勢操作の動作について説明する。図１３は、図１のヘッドマウント情報処理装置による仮想オブジェクトの拡大縮小および姿勢操作の一例を示す説明図である。図１４は、図１３の他の例を示す説明図である。
　図１３および図１４において、図２、図３、図６、図７、図８、図９、図１０に示され同一の符号を付された部分は、図２、図３、図６、図７、図８、図９、図１０で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。
　図１３は、一覧表示された仮想オブジェクト２１１～２１３，４１１～４１３，６１１～６１３の中から、小さくて見づらい仮想オブジェクト６１２を選択して、選択した仮想オブジェクト６１２の視認性を高める例を示している。
　この場合、仮想オブジェクト姿勢操作処理部１５４は、仮想オブジェクト６１２の形状を拡大させる操作を行い、拡大させた仮想オブジェクトを手前の予め定められる位置に移動させて配置し、仮想オブジェクト１１０１として表示させる。その際、表示画面内の背景部分には、全ての仮想オブジェクト２１１～２１３，４１１～４１３，６１１～６１３の一覧表示を残したままとする。
　あるいは、仮想オブジェクト姿勢操作処理部１５４は、仮想オブジェクト６１２を残さずに手前に移動させて拡大操作を行うようにしてもよい。予め定めた位置は、視認しやすい位置を初期値として設定する。この初期値は、予め例えばメモリ１２４に格納される。
　また、初期値は、ユーザが操作入力インタフェース１２１によって入力した設定情報を制御部１２５がメモリ１２４に書き込むことによって設定するようにしてもよい。例えば、身体の正面の手の稼動範囲部分を予め定めた位置である初期値として設定することによって、仮想オブジェクトを視認しやすく、姿勢操作および変形操作もしやくなる。
　予め定めた位置に仮想オブジェクトを移動させる操作は、ユーザが操作入力インタフェース１２１を用いて任意の仮想オブジェクトを選択することにより、自動で移動配置するようにしてもよい。あるいは、選んだオブジェクトを引き寄せるような自然な操作により手動で配置してもよい。また、配置する際に、ユーザが操作入力インタフェース１２１を用いて拡大率を決定する操作を行い、拡大率を変更してもよい。
　以上の動作は、操作入力インタフェース１２１から入力したユーザ操作に従って、制御部１２５が仮想オブジェクト姿勢操作処理部１５４などを制御する。仮想オブジェクト姿勢操作処理部１５４は、選択されたオブジェクトの形状や表示位置の情報を変更する。
　表示制御部１５１は、メモリ１２４に記憶されているオブジェクトの形状、表示位置などの情報データ１２７を読み込んでディスプレイ１２２に表示する。
　これにより、一覧表示では小さくて見にくかった仮想オブジェクトをよりはっきりと視認することができる。選択した仮想オブジェクトは、制御部１２５の制御により、視認確認した後に表示画面内の背景部分の配置操作前の元の位置に戻される。この動作は、視認確認終了操作後に自動で行われる。
　引き続き、別の仮想オブジェクトを選択して手前に移動させて配置する操作を行う場合には、前に選択された仮想オブジェクトが元の位置に戻り、元々の仮想オブジェクトの一覧表示画像が背景として残る。これによって、次の仮想オブジェクトの配置操作、視認確認を容易にすることができる。
　全天球画像に仮想オブジェクトを配置する表示では、全ての仮想オブジェクト群の存在を視認することができるが、仮想オブジェクトの全体の形状を視認しにくい場合がある。
　そこで、ディスプレイ１２２の表示画面内に配置された視認しにくい仮想オブジェクトに対しては、仮想オブジェクト姿勢操作処理部１５４にて仮想オブジェクトの全体形状が視認しやすいように仮想オブジェクトの姿勢を操作して表示する。
　例えば、図１４に示す仮想オブジェクト４１１は、本来立方体の形状であるが、全天球画像の表示形状では立方体と視認特定できない表示形状となる。仮想オブジェクト姿勢操作処理部１５４は、仮想オブジェクト４１１をまずは姿勢操作しやすい手前の表示位置に拡大させながら移動させる。
　その後、仮想オブジェクト姿勢操作処理部１５４は、移動後の仮想オブジェクト４１１を３次元的回転動作含めて回転させて、全体形状が視認しやすい表示形状に姿勢操作することにより、仮想オブジェクト１２０１にて示した表示形状に変換して表示する。
　仮想オブジェクト１２０１を視認確認した後は、仮想オブジェクト１２０１を仮想オブジェクト４１１として配置操作前の元の位置に戻してもよい。
　このように、仮想オブジェクト姿勢操作処理部１５４が、全体形状が視認しにくい仮想オブジェクトを姿勢操作して、全体形状が視認特定可能な表示形状の仮想オブジェクトに変換することにより、仮想オブジェクトの全体形状および全容を的確に視認把握することが可能となる。
　全体形状を視認しやすい表示形状で表示する動作は、ユーザによる姿勢操作を行うことなく、例えば予めメモリ１２４などに記憶された表示形状によって表示してもよい。全体形状が視認しやすい表示形状は、予め仮想オブジェクト生成時の雛形となる形状データに、そのオブジェクトの視認しやすい向き、大きさ、および色などの情報を姿勢情報としてメモリ１２４に記録しておき、その姿勢情報を生成された仮想オブジェクトに引き継いで使用してもよい。また、ユーザが仮想オブジェクト毎に姿勢情報を指定してメモリ１２４に記憶して、表示時に使用してもよい。
　〈仮想オブジェクトの変形操作〉
　さらに、仮想オブジェクト変形操作処理部１５６は、仮想オブジェクトの変形操作を行うことができる。仮想オブジェクト変形操作処理部１５６は、メモリ１２４に記憶されている仮想オブジェクトの形状および表示位置を読み込んで、選択した仮想オブジェクトの形状および表示位置の情報を変更し、変更した情報をメモリ１２４に書き込む。仮想オブジェクトの形状は、向き、大きさ、角度などを含む。
　表示制御部１５１は、メモリ１２４に書き込まれた情報を読み込み、その情報に基づいて変形操作された仮想オブジェクトをディスプレイ１２２に表示する。
　仮想オブジェクト変形操作処理部１５６による変形操作の結果は、元の仮想オブジェクトの表示状態にも反映される。変形操作によりオブジェクトの向きを変えた場合は、仮想オブジェクト自身の向きが変わるため、現実空間の風景に重ねて仮想オブジェクトを表示する。例えば図２、図６、および図８に示す通常表示状態においても、仮想オブジェクトは変形操作後の向きで表示される。
　変形操作時には、変形前の元の仮想オブジェクトの向きや大きさなどを含む形状を半透過で表示する、あるいは視野内の変形操作に用いない場所に表示するなどにより、変形前の元の仮想オブジェクトと変形後の仮想オブジェクトの向き、大きさなどを含む形状との差分を分かりやすく表示してもよい。
　仮想オブジェクトに対して、姿勢操作と変形操作のいずれを行うかについては、例えばヘッドマウント情報処理装置１００に設けられる図示しない操作モード切り替えボタンなどによって操作前に指定する。
　姿勢操作と変形操作とを組み合わせて、仮想オブジェクトを姿勢操作により拡大して見やすくした後に、変形操作を行ってもよい。また、姿勢操作により仮想オブジェクトに適用した回転、拡大、および縮小などの操作を変形操作に適用してもよい。
　〈他の現実空間の仮想オブジェクト群の表示例〉
　続いて、今いる現実空間から他の現実空間に紐付けられて配置されている全ての仮想オブジェクト群を表示する場合の動作を図１５～図１８を用いて説明する。
　図１５～図１８において、図２、図３、図６、図７、図８、図９、図１０に示され同一の符号を付された部分は、図２、図３、図６、図７、図８、図９、図１０で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。
　図１５は、複数の現実空間における全ての仮想オブジェクトを見る場合の周囲全景の一例を示す説明図である。
　図１５において、ヘッドマウント情報処理装置１００を装着しているユーザ２００は、図２の場合と同様、第１の部屋２０１の中央に位置しており、出入口ドア２０２と逆の方向２０３を見ている状態となっている。
　また、第１の部屋２０１には、机２０４、パソコン２０５、および本棚２０６が置かれている。第１の部屋２０１には、仮想オブジェクト生成処理部１５５にて生成された第１の仮想オブジェクト群として、図２と同様に、仮想オブジェクト２１１、２１２、２１３がそれぞれ配置されている。
　第１の部屋２０１の左隣には、第２の部屋４０１が配置されており、第１の部屋２０１の右隣には、第３の部屋６０１が配置されている。第２の部屋４０１には、テレビ台４０４、テレビ４０５、および棚４０６が置かれている。
　第２の部屋４０１には、仮想オブジェクト生成処理部１５５にて生成された第２の仮想オブジェクト群として、図６と同様に仮想オブジェクト４１１、４１２、４１３がそれぞれ配置されている。
　第３の部屋６０１には、ボード６０４、窓６０５、および時計６０６がそれぞれ配置されており、図８と同様に仮想オブジェクト生成処理部１５５にて生成された第３の仮想オブジェクト群として、仮想オブジェクト６１１、６１２、６１３がそれぞれ配置されている。
　図１６は、図１５の後方の出入口ドア２０２と逆の方向２０３から見た状態における仮想オブジェクトの表示の一例を示す説明図である。図１６に示すように、部屋壁など現実空間を仕切るものを透かして、別の現実空間に紐付けられて配置されている仮想オブジェクト４１１～４１３，６１１～６１３を表示画面内に表示する。
　これにより、現実空間に拘らず全ての仮想オブジェクト２１１～２１３，４１１～４１３，６１１～６１３を容易に視認することが可能となり、所望の仮想オブジェクトの選択に当たり使い勝手の向上を実現することができる。
　仮想オブジェクトは、その表示位置によって、仮想オブジェクトが紐付けられて配置されている現実空間を容易に認識することができるように表示されている。
　例えば図１６において、仮想オブジェクト６１１～６１３は、表示画面の右側に位置して表示されており、これにより、図１５の第３の部屋６０１に紐付けられて配置されている仮想オブジェクト群であることを容易に認識することができる。
　同様に、仮想オブジェクト４１１～４１３は、表示画面の左側に位置して表示されており、これにより、図１５の第２の部屋４０１に紐付けられて配置されている仮想オブジェクト群であることを容易に認識することができる。
　図１７は、図１６の仮想オブジェクトの表示の他の例を示す説明図である。ここで、図１６に示した表示例では、別の部屋すなわち別の現実空間が遠くにあると、その現実空間に紐付けられて配置される仮想オブジェクト群が小さく表示されてしまい、視認がしにくくなる恐れがある。
　そのような場合には、仮想オブジェクト４１１～４１３を拡大して、仮想オブジェクト１５１４～１５１６として表示する。同様に、仮想オブジェクト６１１～６１３を拡大して、仮想オブジェクト１５１１～１５１３として表示する。
　仮想オブジェクト姿勢操作処理部１５４は、仮想オブジェクト４１１～４１３，６１１～６１３に対して形状拡大の操作をそれぞれ行い、拡大した仮想オブジェクト１５１１～１５１６を生成する。
　これにより、小さくて見にくい仮想オブジェクトをよりはっきりと視認することができる。なお、仮想オブジェクト姿勢操作処理部１５４による仮想オブジェクトの形状拡大操作に際しては、扱いやすく見やすい大きさに拡大すればよい。
　また、仮想オブジェクト１５１１については、前述の予め指定された姿勢情報に基づき、図１６の仮想オブジェクト４１１を全体形状が視認しやすい表示形状に表示を行っている。ユーザの指定により、一部の仮想オブジェクト、もしくは仮想オブジェクト全数を、全体形状が視認しやすい表示形状で表示してもよい。
　図１６に示したように、今いる現実空間から別の現実空間をさえぎり仕切る部屋壁などを透かして全ての仮想オブジェクトを表示することにより、選択した仮想オブジェクトが紐付けられて配置されている現実空間の特定を容易にすることができる。
　図１８は、図１６の仮想オブジェクト群の一覧表示の他の例を示す説明図である。図１８は、図１０の表示から図１６の表示に移行した際の表示例を示している。仮想オブジェクト６１１ａ、６１２ａ、６１３ａは、図１０に示す仮想オブジェクトである。仮想オブジェクト６１１ｂ，６１２ｂ，６１３ｂは、図１０の表示例から図１６の表示例に移行した際の仮想オブジェクトである。
　すなわち図１０の表示から図１６の表示に移行すると、図１８に示すように、仮想オブジェクト６１１ａ、６１２ａ、６１３ａが、仮想オブジェクト６１１ｂ，６１２ｂ，６１３ｂとして表示画面右側部分に集まるように移動する。
　これによって、これら仮想オブジェクト６１１ｂ，６１２ｂ，６１３ｂが、第１の部屋２０１の画面右側に位置する第３の部屋６０１の第３の現実空間に紐付けられて配置された仮想オブジェクトであることを容易に認識することができる。
　この表示移行に際しては、ユーザが目で追える速度などゆっくりと少しずつ移行させることにより、移動する仮想オブジェクト群がどの現実空間に紐付けられて配置された仮想オブジェクトであるかを確実に視認できる。
　図１８では、任意の仮想オブジェクト群を移動させる例を説明したが、全ての仮想オブジェクトを一斉に移動させるようにしてもよい。また、選択した１つあるいは複数の仮想オブジェクトのみを動かして表示し、選択していない他の仮想オブジェクトについては非表示にしてもよい。
　続いて、各々の現実空間に紐付けられて配置されている仮想オブジェクト群をマルチ表示する場合について説明する。
　図１９は、図１のヘッドマウント情報処理装置によるマルチ表示画面の一例を示す説明図である。図１９は、図３、図７、および図９に示した表示画面を縮小して、ディスプレイ１２２の表示画面にマルチ表示する例を示したものである。
　図１７において、図２、図３、図６、図７、図８、図９、図１０に示され同一の符号を付された部分は、図２、図３、図６、図７、図８、図９、図１０で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。
　図１９において、ディスプレイ１２２の表示画面には、左上方から順に表示画面１７０１、表示画面１７０２、表示画面１７０３、および表示画面１７０４がそれぞれ表示されている。
　表示画面１７０１には、第１の現実空間に紐付けられて配置される第１の仮想オブジェクト群が表示されている。表示画面１７０２には、第２の現実空間に紐付けられて配置される第２の仮想オブジェクト群が表示されている。表示画面１７０３には、第３の現実空間に紐付けられて配置される第３の仮想オブジェクト群が表示されている。表示画面１７０４には、第４の現実空間に紐付けられて配置される第４の仮想オブジェクト群が表示されている。
　第４の仮想オブジェクト群を表示する表示画面１７０４では、ビル群、車、人間などの風景からなる第４の現実空間に対し、仮想オブジェクト１７０５，１７０６が紐付けられ配置されている。
　所望の仮想オブジェクトを選択する場合、ユーザは、図１９に示した各現実空間に紐付けられて配置された仮想オブジェクト群を縮小して並べてマルチ表示した表示画面１７０１～１７０４を検索する。その後、選択した仮想オブジェクトが存在する表示画面を通常のフル表示画面に変えて、所望の仮想オブジェクトを視認しやすい状態にする。
　これにより、各々の現実空間に紐付けられ配置された仮想オブジェクト群を表示するマルチ表示画面から、容易に所望の仮想オブジェクトが配置されている現実空間を選ぶことができる。さらに、選択した仮想オブジェクトが紐付けられ配置された仮想オブジェクト群のみを表示して、所望の仮想オブジェクトを見やすい状態で視認することが可能となる。
　なお、図１９では、４つの表示画面を表示する４マルチ表示としたが、マルチ表示方法としては、例えば９マルチ表示、１６マルチ表示など、種々のバリエーションがあってもよい。
　また、図２０に示すように、複数の空間を俯瞰した形状にて並べて表示するようにしてもよい。この場合、映像加工部１５３が俯瞰した形状の画像の生成を行い、映像加工部１５３が生成した画像を表示制御部１５１がディスプレイ１２２に表示する。これにより、空間をイメージしやすくして所望の仮想オブジェクトが含まれる空間の選択を容易にすることができる。
　空間の俯瞰の映像を生成する際には、ユーザ自身のアバターを映像内のユーザが現在いる位置に表示することにより、ユーザ自身が存在している空間を把握しやすくすることができる。
　また、表示している複数の空間に他のユーザが存在する場合には、他のユーザが存在している空間上の座標情報を無線通信などにより取得し、俯瞰した空間上の該当する座標位置に表示してもよい。
　同様にマルチ表示の画像上にユーザ自身、または他のユーザの存在をアバターや印などによって表示することようにしてもよい。これにより、空間と各ユーザとの位置関係を容易に把握することができる。
　ユーザ自身の空間上の位置は、各種センサ情報、例えば深度センサで得られる壁までの距離やカメラ部１１１の撮影画像などを用いて特定することができる。表示するアバターの画像は、予め情報データ１２７としてメモリ１２４に記録する。そして、映像加工部１５３が、メモリ１２４に格納された情報データ１２７を用いて空間の映像に合成する。
　他のユーザの座標情報は、他のユーザが身に付けている情報端末の各種センサやカメラなどから取得し、情報端末が有する通信インタフェースから送信する。ヘッドマウント情報処理装置１００は、通信インタフェース１８０４によって直接座標情報を受信する。あるいは、図示しないサーバを経由してヘッドマウント情報処理装置１００が座標情報を受信してもよい。
　図２～図１９では、ユーザが存在する現実空間に対して仮想オブジェクトが配置されている状態を例に説明したが、ＶＲなどのユーザが扱う空間自体が仮想空間であり、仮想空間に対して仮想オブジェクトが配置されている場合においても同様の操作が可能である。
　また、仮想オブジェクトは、リマインダなどとして活用することができる。仮想オブジェクト生成処理部１５５は、現在いる空間以外の空間に仮想オブジェクトを生成することができる。
　この機能を利用することによって、リマインダとして使用することができる。例えば、リビングに居ながら玄関に傘の仮想オブジェクトを仮想オブジェクト生成処理部１５５が生成して配置しておくことで、出かける際に傘を忘れないためのリマインダとなる。
　なお、ユーザによる操作入力インタフェース１２１による要求指示、ヘッドマウント情報処理装置１００による操作操作動作、および表示動作などを示す情報などは、ディスプレイ１２２にて表示するようにしてもよい。
　あるいは、前述した情報は、ヘッドフォン１２０から音声でユーザに発声したり、ユーザに密着している振動発生部１１７にて振動を発生したり、刺激発生部１４６にて刺激を発生したりして、ユーザに通知するようにしてもよい。
　それにより、ユーザにヘッドマウント情報処理装置の稼動状態を確実に知らしめ認識させることができる。
　また、ヘッドマウント情報処理装置１００で行われる操作や表示の動作の入力操作は、操作入力インタフェース１２１による入力操作だけではなく、例えばユーザの手などの動きをカメラ部１１１などで検出し、その動きから入力操作を取り込んでもよい。
　以上により、仮想オブジェクトが別の現実空間にあっても、仮想オブジェクトの閲覧や操作を容易に行うことができる。
　（実施の形態２）
　〈ヘッドマウントディスプレイシステムの構成例〉
　図２１は、本実施形態２によるヘッドマウントディスプレイシステム１８０１における構成の一例を示すブロック図である。
　ヘッドマウントディスプレイシステム１８０１は、図２１に示すようにヘッドマウント情報処理装置１００および仮想オブジェクト生成サーバ装置１８０２から構成されている。ヘッドマウント情報処理装置１００および仮想オブジェクト生成サーバ装置１８０２は、ネットワーク１８０３にそれぞれ接続されている。
　図２１に示すヘッドマウント情報処理装置１００は、図１に示した同一符号を付された各機能ブロックの構成に加えて、通信インタフェース１８０４および送受信アンテナ１８０５が新たに設けられている。その一方、図２１のヘッドマウント情報処理装置１００には、仮想オブジェクト生成処理部１５５が設けられていない。
　仮想オブジェクト生成サーバ装置１８０２は、仮想オブジェクト生成処理部１８１１、メモリ１８１２、制御部１８１３、通信インタフェース１８１４、および送受信アンテナ１８１５などから構成されている。仮想オブジェクト生成サーバ装置１８０２における各機能ブロックは、バス１８２０を介して相互に接続されている。なお、図２１において、図１の実施例と同一処理部分には同じ符号を付しており、それらの説明は省略する。
　ヘッドマウントディスプレイシステム１８０１において、仮想オブジェクト生成サーバ装置１８０２が有する仮想オブジェクト生成処理部１８１１は、仮想オブジェクトを生成する。
　メモリ１８１２は、仮想オブジェクト生成処理部１８１１が生成した仮想オブジェクトを保存する。通信インタフェース１８１４は、メモリ１８１２が保存した仮想オブジェクトを送受信アンテナ１８１５から通信ネットワークであるネットワーク１８０３を経由してヘッドマウント情報処理装置１００に送信する。ヘッドマウント情報処理装置１００は、ネットワーク１８０３を経由して送信された仮想オブジェクトを受信する。
　また、図２１において、ヘッドマウント情報処理装置１００での仮想オブジェクトの表示処理自体は、実施の形態１と同様であるが、仮想オブジェクトの生成をヘッドマウント情報処理装置１００とは別装置である仮想オブジェクト生成サーバ装置１８０２で行うことが前記実施の形態１と異なる。
　仮想オブジェクト生成サーバ装置１８０２において、メモリ１８１２は、ヘッドマウント情報処理装置１００のメモリ１２４と同様、フラッシュメモリなどの不揮発性半導体メモリである。
　メモリ１８１２は、仮想オブジェクト生成サーバ装置１８０２の制御部１８１３が使用する各種プログラムや生成された仮想オブジェクトなど記憶する。通信インタフェース１８１４は、ネットワーク１８０３を介してヘッドマウント情報処理装置１００と通信を行う通信インタフェースであり、ヘッドマウント情報処理装置１００と情報の送受信を行う。
　制御部１８１３は、例えばＣＰＵなどからなり、メモリ１８１２に記憶格納されているＯＳや動作制御用アプリケーションなどのプログラムを実行することによって、各機能ブロックを制御し、仮想オブジェクト生成サーバ装置１８０２全体を制御する。
　制御部１８１３は、仮想オブジェクト生成処理部１８１１による仮想オブジェクトの生成や、生成された仮想オブジェクトのメモリ１８１２への保存などを制御する。また、制御部１８１３は、ヘッドマウント情報処理装置１００からの仮想オブジェクトの送信出力要求に応じて、生成された仮想オブジェクトをヘッドマウント情報処理装置１００に送信するように制御する。
　これにより、仮想オブジェクトをヘッドマウント情報処理装置１００でなく、ヘッドマウント情報処理装置１００と分離された仮想オブジェクト生成サーバ装置１８０２が生成することができる。
　その結果、取り扱える仮想オブジェクト情報量の大規模化を可能にすることができる。同時に複数の場所で複数のヘッドマウント情報処理装置１００に対してそれぞれ要求された仮想オブジェクトを生成して配信することが可能となる。
　以上により、同時に複数のヘッドマウント情報処理装置１００にて別の現実空間に配置される仮想オブジェクトを容易に視認および操作することができる。
　以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
　なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
　また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理機能などは、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１００　ヘッドマウント情報処理装置
１１１　カメラ部
１１２　右目視線検出部
１１３　左目視線検出部
１１７　振動発生部
１１８　外周音マイク
１１９　発声音マイク
１２０　ヘッドフォン
１２１　操作入力インタフェース
１２２　ディスプレイ
１２４　メモリ
１２５　制御部
１４０　バス
１４２　深度センサ
１４３　加速度センサ
１４４　ジャイロセンサ
１４５　地磁気センサ
１４６　刺激発生部
１５１　表示制御部
１５２　データ管理部
１５３　映像加工部
１５４　仮想オブジェクト姿勢操作処理部
１５５　仮想オブジェクト生成処理部
１５６　仮想オブジェクト変形操作処理部
１８０１　ヘッドマウントディスプレイシステム
１８０２　仮想オブジェクト生成サーバ装置
１８０３　ネットワーク
１８０４　通信インタフェース
１８０５　送受信アンテナ
１８１１　仮想オブジェクト生成処理部
１８１２　メモリ
１８１３　制御部
１８１４　通信インタフェース
１８１５　送受信アンテナ

Claims (13)

  1. 　情報を入力する操作入力インタフェースと、
    　現実空間を撮像するカメラ部と、
    　前記カメラ部が撮像する実写画像を表示する表示部と、
    　前記表示部を制御する制御部と、
    　を備え、
    　前記制御部は、前記表示部が表示する仮想オブジェクトを生成する仮想オブジェクト生成処理部を有し、
    　前記仮想オブジェクト生成処理部は、ユーザが存在する第１の現実空間に紐付けされて配置される第１の仮想オブジェクトおよび前記第１の現実空間と異なる第２の現実空間に紐付けて配置される第２の仮想オブジェクトを生成し、
    　前記制御部は、前記操作入力インタフェースから入力される前記第１の仮想オブジェクトおよび前記第２の仮想オブジェクトの表示を指示する仮想オブジェクト表示指示情報に応じて、前記表示部に前記第１の仮想オブジェクトおよび前記第２の仮想オブジェクトを表示させる、ヘッドマウント情報処理装置。
  2. 　請求項１記載のヘッドマウント情報処理装置において、
    　前記制御部は、前記第２の仮想オブジェクトを前記第２の現実空間に表示する場合と同じ位置座標に表示させる、ヘッドマウント情報処理装置。
  3. 　請求項２記載のヘッドマウント情報処理装置において、
    　前記制御部は、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとが重複して表示される場合、前記第１の仮想オブジェクトまたは前記第２の仮想オブジェクトを透過画像として前記表示部に表示させる、ヘッドマウント情報処理装置。
  4. 　請求項２記載のヘッドマウント情報処理装置において、
    　前記制御部は、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとが重複して表示される場合、前記第１の仮想オブジェクトおよび前記第２の仮想オブジェクトをずらして前記表示部に表示させる、ヘッドマウント情報処理装置。
  5. 　請求項４記載のヘッドマウント情報処理装置において、
    　前記制御部は、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとが重複する表示位置を示す表示マーク、および前記表示マークと前記第１の仮想オブジェクトおよび前記第２の仮想オブジェクトとを繋ぐ仮想ラインを生成して前記表示部に表示させる、ヘッドマウント情報処理装置。
  6. 　請求項１記載のヘッドマウント情報処理装置において、
    　前記制御部は、前記操作入力インタフェースから入力される前記仮想オブジェクト表示指示情報に応じて、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとを切り替えて前記表示部に表示させる、ヘッドマウント情報処理装置。
  7. 　請求項１記載のヘッドマウント情報処理装置において、
    　前記制御部は、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとを一定時間毎に切り替えて前記表示部に表示させる、ヘッドマウント情報処理装置。
  8. 　請求項１記載のヘッドマウント情報処理装置にあって、
    　前記制御部は、前記第１の仮想オブジェクトおよび前記第２の仮想オブジェクトを表示する際に前記カメラ部が撮像する前記第１の現実空間の実写画像を前記表示部に表示させる、ヘッドマウント情報処理装置。
  9. 　請求項１記載のヘッドマウント情報処理装置において、
    　前記制御部は、前記操作入力インタフェースによって選択される前記第１の仮想オブジェクトまたは前記第２の仮想オブジェクトの姿勢を操作する仮想オブジェクト姿勢操作処理部を有し、
    　前記仮想オブジェクト姿勢操作処理部は、前記仮想オブジェクト姿勢操作処理部が選択した前記第１の仮想オブジェクトまたは第２の仮想オブジェクトの姿勢を操作する、ヘッドマウント情報処理装置。
  10. 　請求項１記載のヘッドマウント情報処理装置において、
    　前記制御部は、前記操作入力インタフェースによって選択される前記第１の仮想オブジェクトまたは前記第２の仮想オブジェクトを変形させる変形操作を行う仮想オブジェクト変形操作処理部を有し、
    　前記仮想オブジェクト変形操作処理部は、前記仮想オブジェクト変形操作処理部が選択した前記第１の仮想オブジェクトまたは第２の仮想オブジェクトの変形操作する、ヘッドマウント情報処理装置。
  11. 　請求項１記載のヘッドマウント情報処理装置において、
    　前記制御部は、前記第１の現実空間に紐付けされて配置される第１の仮想オブジェクトを表示する第１の表示画面、および前記第２の現実空間に紐付けて配置される第２の仮想オブジェクトを表示する第２の表示画面をそれぞれ生成し、生成した前記第１の表示画面および前記第２の表示画面を並べて前記表示部に表示させる、ヘッドマウント情報処理装置。
  12. 　請求項１１記載のヘッドマウント情報処理装置において、
    　前記制御部は、前記操作入力インタフェースによって前記第１の表示画面または前記第２の表示画面のいずれかが選択された際に選択された画面を拡大して前記表示部に表示させる、ヘッドマウント情報処理装置。
  13. 　通信ネットワークに接続され、現実空間物体や仮想オブジェクトを表示するヘッドマウント情報処理装置と、
    　前記通信ネットワークに接続される仮想オブジェクト生成サーバ装置と、
    　を有し、
    　前記ヘッドマウント情報処理装置は、
    　情報を入力する操作入力インタフェースと、
    　前記仮想オブジェクトを表示する表示部と、
    　前記表示部を制御する制御部と、
    　を備え、
    　前記仮想オブジェクト生成サーバ装置は、
    　前記仮想オブジェクトを生成する仮想オブジェクト生成処理部と、
    　情報を前記通信ネットワークに送受信する通信インタフェースと、
    　を備え、
    　前記仮想オブジェクト生成処理部は、前記操作入力インタフェースから入力される仮想オブジェクト表示を指示する仮想オブジェクト表示指示情報に応じて、ユーザが存在する第１の現実空間に紐付けされて配置される第１の仮想オブジェクトおよび前記第１の現実空間と異なる第２の現実空間に紐付けて配置される第２の仮想オブジェクトを生成し、
    　前記通信インタフェースは、前記仮想オブジェクト生成処理部が生成する前記第１の仮想オブジェクトおよび前記第２の仮想オブジェクトを前記通信ネットワークに送信し、
    　前記制御部は、前記通信ネットワークを経由して送信された前記第１の仮想オブジェクトおよび前記第２の仮想オブジェクトを前記表示部に表示させる、ヘッドマウントディスプレイシステム。
PCT/JP2019/011283 2019-03-18 2019-03-18 ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム WO2020188721A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2021506869A JP7236529B2 (ja) 2019-03-18 2019-03-18 ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
CN201980094378.3A CN113614675A (zh) 2019-03-18 2019-03-18 头戴式信息处理装置和头戴式显示系统
PCT/JP2019/011283 WO2020188721A1 (ja) 2019-03-18 2019-03-18 ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
US17/439,647 US11972037B2 (en) 2019-03-18 2019-03-18 Head mounted information processing apparatus and head mounted display system
JP2023028328A JP2023065528A (ja) 2019-03-18 2023-02-27 ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
US18/619,058 US20240264662A1 (en) 2019-03-18 2024-03-27 Head mounted information processing apparatus and head mounted display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/011283 WO2020188721A1 (ja) 2019-03-18 2019-03-18 ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/439,647 A-371-Of-International US11972037B2 (en) 2019-03-18 2019-03-18 Head mounted information processing apparatus and head mounted display system
US18/619,058 Continuation US20240264662A1 (en) 2019-03-18 2024-03-27 Head mounted information processing apparatus and head mounted display system

Publications (1)

Publication Number Publication Date
WO2020188721A1 true WO2020188721A1 (ja) 2020-09-24

Family

ID=72519720

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/011283 WO2020188721A1 (ja) 2019-03-18 2019-03-18 ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム

Country Status (4)

Country Link
US (2) US11972037B2 (ja)
JP (2) JP7236529B2 (ja)
CN (1) CN113614675A (ja)
WO (1) WO2020188721A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3759711B1 (en) * 2019-05-22 2023-01-04 Google LLC Methods, systems, and media for object grouping and manipulation in immersive environments

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011160409A (ja) * 2010-11-22 2011-08-18 Taiyo Kaihatsu Kk 無線移動式リアルタイム情報通信システム
JP2011191767A (ja) * 2011-04-04 2011-09-29 Konica Minolta Holdings Inc ヘッドマウントディスプレイ
JP2011242934A (ja) * 2010-05-17 2011-12-01 Ntt Docomo Inc オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
JP2015072607A (ja) * 2013-10-03 2015-04-16 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2017104272A1 (ja) * 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018174003A (ja) * 2018-08-16 2018-11-08 セイコーエプソン株式会社 表示装置、表示システム、表示装置の制御方法、及び、プログラム
JP2018195319A (ja) * 2015-09-30 2018-12-06 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
WO2019013016A1 (ja) * 2017-07-13 2019-01-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5621421B2 (ja) 2010-09-06 2014-11-12 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
JP5755915B2 (ja) 2011-03-18 2015-07-29 新日鉄住金ソリューションズ株式会社 情報処理装置、拡張現実感提供方法、及びプログラム
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
WO2016031358A1 (ja) * 2014-08-27 2016-03-03 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP6387825B2 (ja) * 2014-12-26 2018-09-12 セイコーエプソン株式会社 表示システム、及び、情報表示方法
US10740971B2 (en) 2015-01-20 2020-08-11 Microsoft Technology Licensing, Llc Augmented reality field of view object follower
JP6920057B2 (ja) * 2016-12-22 2021-08-18 キヤノンマーケティングジャパン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
US11145096B2 (en) * 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
US10732725B2 (en) * 2018-09-25 2020-08-04 XRSpace CO., LTD. Method and apparatus of interactive display based on gesture recognition

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011242934A (ja) * 2010-05-17 2011-12-01 Ntt Docomo Inc オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
JP2011160409A (ja) * 2010-11-22 2011-08-18 Taiyo Kaihatsu Kk 無線移動式リアルタイム情報通信システム
JP2011191767A (ja) * 2011-04-04 2011-09-29 Konica Minolta Holdings Inc ヘッドマウントディスプレイ
JP2015072607A (ja) * 2013-10-03 2015-04-16 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018195319A (ja) * 2015-09-30 2018-12-06 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
WO2017104272A1 (ja) * 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019013016A1 (ja) * 2017-07-13 2019-01-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018174003A (ja) * 2018-08-16 2018-11-08 セイコーエプソン株式会社 表示装置、表示システム、表示装置の制御方法、及び、プログラム

Also Published As

Publication number Publication date
JP2023065528A (ja) 2023-05-12
CN113614675A (zh) 2021-11-05
JP7236529B2 (ja) 2023-03-09
US20220197370A1 (en) 2022-06-23
JPWO2020188721A1 (ja) 2020-09-24
US11972037B2 (en) 2024-04-30
US20240264662A1 (en) 2024-08-08

Similar Documents

Publication Publication Date Title
JP7095602B2 (ja) 情報処理装置、情報処理方法及び記録媒体
JP2023542847A (ja) 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
US10539797B2 (en) Method of providing virtual space, program therefor, and recording medium
JP7480388B2 (ja) ヘッドマウント情報処理装置
JP5914739B1 (ja) ヘッドマウントディスプレイシステムを制御するプログラム
US20240264662A1 (en) Head mounted information processing apparatus and head mounted display system
JP7496403B2 (ja) 表示端末
JP6126272B1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
WO2023101881A1 (en) Devices, methods, and graphical user interfaces for capturing and displaying media
JP6121496B2 (ja) ヘッドマウントディスプレイシステムを制御するプログラム
JP6306083B2 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP6262283B2 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP2017208809A (ja) 仮想空間を提供する方法、プログラム及び記録媒体
JP2017228322A (ja) 仮想空間を提供する方法、プログラム、および記録媒体
WO2017199848A1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
WO2024162216A1 (ja) プログラム
JP7544071B2 (ja) 情報処理装置、情報処理システム及び情報処理方法
JP7462097B1 (ja) 仮想体験システムおよびプログラム
JP2017201524A (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP2024129923A (ja) 情報処理システム及びプログラム
JP2023125711A (ja) 情報処理装置および床面高さ調整方法
JP2024047587A (ja) 情報処理システムおよびプログラム
WO2024220888A1 (en) Devices, methods, and graphical user interfaces for user enrollment and authentication

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19919820

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021506869

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19919820

Country of ref document: EP

Kind code of ref document: A1