WO2020121483A1 - 表示端末、表示制御システムおよび表示制御方法 - Google Patents

表示端末、表示制御システムおよび表示制御方法 Download PDF

Info

Publication number
WO2020121483A1
WO2020121483A1 PCT/JP2018/045883 JP2018045883W WO2020121483A1 WO 2020121483 A1 WO2020121483 A1 WO 2020121483A1 JP 2018045883 W JP2018045883 W JP 2018045883W WO 2020121483 A1 WO2020121483 A1 WO 2020121483A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
virtual object
data
display terminal
color image
Prior art date
Application number
PCT/JP2018/045883
Other languages
English (en)
French (fr)
Inventor
塩川　淳司
橋本　康宣
光信 渡辺
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to CN201880100103.1A priority Critical patent/CN113168820A/zh
Priority to PCT/JP2018/045883 priority patent/WO2020121483A1/ja
Priority to US17/413,257 priority patent/US11651567B2/en
Priority to JP2020559642A priority patent/JP7194752B2/ja
Publication of WO2020121483A1 publication Critical patent/WO2020121483A1/ja
Priority to JP2022197561A priority patent/JP7496403B2/ja
Priority to US18/299,113 priority patent/US11972532B2/en
Priority to US18/595,254 priority patent/US20240203073A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Definitions

  • the virtual object displayed in the AR image performs operations such as movement, rotation, and deformation by giving instructions to operation points set in advance around the virtual object.
  • operations such as movement, rotation, and deformation by giving instructions to operation points set in advance around the virtual object.
  • a part of the virtual object may be behind the surrounding structure and the hidden surface may be erased, so that the necessary operation points may not be displayed. Therefore, high operability cannot always be obtained.
  • the virtual object is displayed as it is, regardless of the arrangement position of the virtual object after the operation, a sense of reality cannot be obtained.
  • the present invention is a display terminal including a display, wherein a color image camera that acquires a color image in a predetermined shooting range, a range image camera that acquires a range image in the shooting range, and a virtual object are displayed on the display. And a display control unit for controlling the display unit, wherein the display control unit uses the color image and the distance image to generate a three-dimensional map of a structure within the photographing range, and the three-dimensional map.
  • (A)-(c) is explanatory drawing for demonstrating the other example of the aspect of virtual object display of embodiment of this invention.
  • (A) And (b) is explanatory drawing for demonstrating the modification 1 of the aspect of virtual object display of embodiment of this invention. It is an explanatory view for explaining the modification 2 of the mode of the virtual object display of the embodiment of the present invention. It is an explanatory view for explaining modification 3 of a mode of a virtual object display of an embodiment of the present invention. It is an explanatory view for explaining modification 4 of a mode of a virtual object display of an embodiment of the present invention. It is an explanatory view for explaining modification 5 of a mode of a virtual object display of an embodiment of the present invention. It is an explanatory view for explaining modification 6 of a mode of a virtual object display of an embodiment of the present invention.
  • the user 201 wears the HMD 200 indoors, displays the virtual object 100 on the display of the HMD 200, and operates it.
  • the HMD 200 has distance information (depth information) of the real space and the virtual object 100. Conventionally, on the display of the HMD 200, as shown in FIG. 1B, the portion of the virtual object 100 arranged behind the structure 300 such as a wall in the real space is not displayed. Therefore, in such a case, the user 201 cannot grasp the whole picture of the virtual object 100.
  • the virtual object 100 performs operations such as movement, rotation, and deformation by operating an operation point (transform controller) 110 set on or near the virtual object 100. Therefore, when the display is as shown in FIG. 1B, the operation point 110 behind the structure 300 is not displayed, and the operation cannot be performed.
  • the virtual object 100 displays all the operation points 110 even if there is the structure 300. Further, the entire virtual object 100 itself may be displayed. In addition, at this time, the additional object 400 may be displayed so that it can be seen that the part that is not originally displayed is displayed.
  • FIG. 2A is a hardware configuration diagram of the HMD 200.
  • 2B is an external view of the HMD 200 of this embodiment.
  • the HMD 200 of this embodiment basically has the same configuration as a general-purpose computer (information processing device). That is, the HMD 200 electrically connects the controller 210, the camera 214, the display 215, the voice interface (I/F) 216, the communication I/F 217, the sensor 218, and each unit as shown in the figure. A bus 219 that operates and a line-of-sight detection device 214c. Further, the HMD 200 of the present embodiment includes a frame 241 that supports the respective parts and is worn by the user 201.
  • the controller 210 performs various processes according to a predetermined program.
  • the controller 210 displays the virtual object 100 at a predetermined position on the display 215, for example.
  • the controller 210 of this embodiment includes a CPU 211, a RAM 212, and a ROM 213.
  • the CPU 211 realizes various functions by loading a program stored in the ROM 213 in advance into the RAM 212 and executing the program.
  • the RAM 212 and the ROM 213 are collectively referred to as a storage device 230 (see FIG. 3) unless it is necessary to distinguish them.
  • the controller 210 is arranged, for example, on the frame 241.
  • the camera 214 includes a color image camera 214a and a range image camera 214b.
  • the color image camera 214a captures a color image by capturing an image capturing range including the visual field range of the user 201.
  • the range image camera 214b acquires a range image in a shooting range substantially the same as that of the color image camera 214a.
  • the camera 214 (color image camera 214a and range image camera 214b) is arranged, for example, at the frontmost part of the frame 241 (closest to the display 215 side) at a position where it is possible to shoot the shooting range.
  • the display 215 is a device that displays the image acquired by the camera 214 and the display data generated in the HMD 200.
  • the display 215 is composed of, for example, a transmissive liquid crystal device or an organic EL device, or an optical scanning device using a MEMS (micro electro mechanical systems).
  • MEMS micro electro mechanical systems
  • the device is not limited to this, and may be any device that can realize a transmissive display structure in which an image is displayed on the display 215 and the other side of the display 215 can be seen through.
  • the transmissive display 215 is supported in front of one or both eyes of the user 201.
  • the display 215 can take an arbitrary shape.
  • the display 215 may include right and left display panels, and the display 215 may display one or more UI objects of the graphical user I/F.
  • the voice I/F 216 is, for example, a voice output device such as a microphone, a speaker, and a buzzer.
  • the voice I/F 216 inputs an external sound and outputs a sound created in the HMD 200 and a sound such as voice and music sent via the communication I/F 217.
  • the audio I/F 216 may not be provided.
  • the communication I/F 217 includes an encoding circuit, a decoding circuit, an antenna, etc., and transmits/receives data (data communication) to/from other devices via a network.
  • the communication I/F 217 is an I/F connected to a network via an access point or the like (not shown) or a base station of a mobile telephone communication network (not shown). ..
  • the HMD 200 transmits/receives data to/from each server connected to the network via the communication I/F 217.
  • the connection between the HMD 200 and the access point is performed by a wireless communication system such as Wi-Fi (registered trademark) or another communication system.
  • the connection between the HMD 200 and the base station of the mobile telephone communication network is, for example, a W-CDMA (registered trademark) (Wideband Code Division Multiple Access) method, a GSM (registered trademark) (Global System for Mobile communications) method, or an LTE method. Long Term Evolution) method or other communication method.
  • the HMD 200 of this embodiment may not include the communication I/F 217.
  • the line-of-sight detection device 214c detects the line-of-sight direction of the user 201.
  • the visual line detection device 214c is realized by, for example, a visual line detection camera that detects the visual line direction of the user 201.
  • the line-of-sight detection camera is attached so that the iris of the eye of the user 201, the pupil, and the like are included in the imaging range.
  • the frame 241 supports the components of the HMD 200, such as the display 215, the camera 214, the controller 210, etc.
  • FIG. 3 is a functional block diagram of functions related to virtual object display processing of the HMD 200 of this embodiment.
  • the controller 210 of the present embodiment realizes the functions of the image acquisition unit 228, the display control unit 220, and the audio output control unit 229.
  • the display control unit 220 includes a space recognition unit 221, an instruction reception unit 222, a display data generation unit 223, and a display correction unit 224.
  • color image data 231, distance image data 232, space recognition data 233, virtual object data (virtual OJT data) 234, additional object data (additional OJT data) 235, and audio data. 236 are stored.
  • the color image data 231 is an image acquired by the color image camera 214a.
  • the range image data 232 is an image acquired by the range image camera 214b.
  • the space recognition unit 221 recognizes the surrounding real space and stores the result as the space recognition data 233 in the storage device 230.
  • the recognition is performed by using the color image data 231 and the distance image data 232 that are acquired almost at the same time.
  • the space recognition data 233 is created, for example, in the world coordinate system that defines the entire three-dimensional space.
  • the origin and each axial direction of the world coordinate system the origin and each of the local coordinate system of the HMD 200 specified by the position and the orientation (initial posture) of the HMD 200 main body when the instruction to start the spatial recognition is accepted.
  • a predetermined position on the display 215 of the HMD 200 is set as an origin
  • the inside of the display 215 is defined as an xy plane
  • the z-axis direction is a direction perpendicular to the xy plane (display 215 surface).
  • the amount of displacement and the amount of rotation of the local coordinate system of the HMD 200 with respect to the world coordinate system by the scan operation of the user 201 are calculated using the data obtained by the various sensors 218.
  • the spatial recognition is performed by using an existing technology such as Spatial Mapping. That is, the HMD 200 of the present embodiment scans the surroundings with the color image camera 214a and the range image camera 214b. Then, using the result, the spatial recognition unit 221 generates three-dimensional data using an application such as Spatial Mapping.
  • the space recognition data 233 is held as mesh data, for example.
  • the instruction receiving unit 222 receives a display instruction and an operation instruction for the virtual object 100 displayed on the display 215 from the user 201.
  • the display instruction and the operation instruction include, for example, a line of sight (gaze) and a finger movement (gesture).
  • the information on the line-of-sight direction used for gaze is detected using, for example, the line-of-sight detection device 214c.
  • the gesture includes, for example, a click event (air tap) for the operation point 110 of the virtual object 100, tap and hold, bloom, and the like.
  • the instruction receiving unit 222 detects movement of fingers in a gesture frame provided within the shooting range of the color image camera 214a and the distance image camera 214b, and detects a display instruction, an operation instruction, and the like.
  • the instruction receiving unit 222 when receiving the display instruction, extracts the data of the virtual object 100 instructed from the virtual object data 234, and causes the display data generating unit 223 described below to generate the display data.
  • the display data generation unit 223 generates display data for displaying the instructed virtual object 100 at a predetermined position on the display 215 in a predetermined shape from the virtual object data 234 according to the instruction of the user 201 via the instruction reception unit 222. To do. By displaying the display data generated according to the instruction of the instruction receiving unit 222 on the display 215, the virtual object 100 is displayed to move, rotate, and deform according to the instruction of the user 201.
  • the display data generation unit 223 is behind the structure 300 in the line-of-sight direction of the user 201 (calculated from the coordinate position in the space of the HMD 200 worn by the user 201 and the information of the vertical and horizontal directions).
  • Display data specifying the area of the object 100 as the back area 101 is generated.
  • the back surface area 101 (FIG. 4) is specified based on the three-dimensional map (space recognition data 233) generated by the space recognition unit 221 and the arrangement position data in the real space of the virtual object 100 to be displayed.
  • the arrangement position data in the real space is registered in the same coordinate system as the coordinate system used by the space recognition unit 221 for space recognition.
  • the arrangement position data of the virtual object 100 in the real space is obtained from the virtual object data 234 of the virtual object 100 to be displayed.
  • the virtual object data 234 includes size, shape, and initial placement position information of each virtual object 100.
  • the initial arrangement position information is registered, for example, regarding arrangement position points, operation points 110, and the like set in advance for each virtual object 100.
  • the arrangement position point is, for example, a three-dimensional barycentric position of the virtual object 100.
  • the operation point 110 is a point that receives an instruction to deform the display shape of the virtual object 100, as described above.
  • the display data generation unit 223 obtains the latest arrangement position information of the virtual object data 234 corresponding to the virtual object 100 to be displayed by reflecting the instruction of the instruction reception unit 222 on the current arrangement position information. Then, the display data generation unit 223 obtains the arrangement position data of the virtual object 100 in the real space by using the latest arrangement position information of the arrangement position point and the information such as the size and the shape.
  • the display data generation unit 223 further specifies the rear surface area 101 of the virtual object 100 to be displayed using the latest arrangement position data in the real space. For example, the display data generation unit 223, based on the arrangement position data of the virtual object 100 in the real space, information on the coordinate position of the virtual object 100 in the space of the HMD 200 worn by the user 201 and the vertical and horizontal directions. To the virtual object, the shape data of the virtual object 100, and the coordinate position of the structure 300 are specified as depth information.
  • the area (portion) of the virtual object 100 and the operation point 110 that are located relatively deeper than the depth information of the structure 300 are set as the back area 101.
  • the back surface area 101 is an area where the hidden surface processing is performed in the normal processing.
  • the display data generation unit 223 has a configuration in which the display data generation unit 223 uses the back surface of the virtual object 100.
  • the hidden surface processing is performed on the area 101, and display data is generated so as not to be displayed.
  • the display correction unit 224 shows the entire virtual object 100 and accompanying operations.
  • the display is corrected to display the point 110.
  • the display correction unit 224 performs such processing.
  • the display correction unit 224 corrects the display data of the virtual object data 234 when the virtual object data 234 to be displayed has the back area 101.
  • the display correction unit 224 displays the additional object 400 to indicate that the virtual object 100 is not in the original display mode.
  • the additional object 400 displays the virtual object 100 more naturally and realistically, for example, showing the virtual object 100 breaking through the structure 300 and showing a hole in the structure 300. It is an object to show.
  • the data of the additional object 400 to be displayed is prepared in advance as the additional object data 235 of the storage device 230.
  • information such as the display mode of the additional object 400, the initial size, and the initial display position with respect to the display position of the virtual object 100 is registered in association with each other.
  • the display correction unit 224 may follow the change and change the display shape of the additional object 400. Further, even when the display direction of the virtual object 100 changes due to the movement of the user 201 in the line-of-sight direction, the display shape of the additional object 400 may be similarly modified.
  • the additional object 400 is deformed, for example, according to the same program as the program used for the process of deforming the display of the virtual object 100 according to the change of the line-of-sight direction.
  • FIG. 5 is a processing flow of the virtual object display processing of this embodiment. It should be noted that the space recognition process is already performed as an initial process. Further, it is assumed that the virtual object 100 is displayed at the position where the entire virtual object is displayed.
  • the display data generation unit 223 and the display correction unit 224 repeat the following processing until the end instruction is received from the user 201 via the instruction reception unit 222 (step S1101).
  • step S1103 When a move operation for the virtual object 100 is received from the user 201 via the instruction receiving unit 222 (step S1102), the display data generating unit 223 generates display data (step S1103).
  • step S1103 the display data generation unit 223 first calculates the display position of the virtual object 100 on the display 215. Then, the display data generation unit 223 identifies the line-of-sight direction and calculates the depth information according to the corresponding virtual object data 234 of the virtual object 100. Further, the depth information of the structure 300 is also calculated. Then, the display data generation unit 223 identifies the back area 101 on the display data.
  • the display data generation unit 223 determines whether or not the virtual object 100 to be displayed has the back area 101 (step S1104).
  • the display data generation unit 223 notifies the display correction unit 224 to that effect. Then, the display correction unit 224 displays the display data of the virtual object 100 on the display 215 at the position calculated in step S1103 as it is (step S1112). Then, the controller 210 waits for the next operation instruction.
  • the display data generation unit 223 determines whether or not the entire virtual object 100 is the back area 101 (step S1105).
  • the display data generation unit 223 notifies the display correction unit 224 of that fact. Then, the display correction unit 224 directly erases the display of the virtual object 100 (step S1111), and ends the process.
  • the display data generation unit 223 notifies the display correction unit 224 to that effect. Then, the display correction unit 224 corrects the display data of the virtual object 100 by the above method (step S1106).
  • the display correction unit 224 corrects the display data so as to display all the operation points 110 of the virtual object 100 and the part of the virtual object 100 operated by the operation points 110. Then, the display correction unit 224 displays the corrected display data at the position calculated in step S1103 on the display 215 (step S1107).
  • the display correction unit 224 acquires the additional object data 235 from the storage device 230, and superimposes it on the back surface area 101 of the virtual object 100 and displays it (step S1108). Then, the controller 210 waits for the next operation instruction.
  • the virtual object 100 and the additional object 400 are displayed on the display 215 in a frame 215 a defined by the display 215.
  • the structure 300 is a real object in the real space.
  • the frame of the display 215 is omitted, and as shown in FIG. 6B, only the real object visible through the display 215 and the display data of the virtual object 100 and the like are described and described. ..
  • the virtual object 100 is displayed at the position shown in FIG.
  • the user 201 gives an operation instruction (gesture) to push in the direction of the arrow 203 with the finger 202 in the real space.
  • the display position of the virtual object 100 with respect to the structure 300 that is the real object in the real space moves.
  • the virtual object 100 and the operation point 110 thereof are displayed together. , The whole is displayed. Further, at this time, the additional object 400 is displayed as if a hole was formed in the wall which is the structure 300.
  • the audio output control unit 229 may be configured to output audio.
  • the display correction unit 224 notifies the audio output control unit 229 of that fact.
  • the voice output control unit 229 extracts a voice from the voice data 236 and outputs it from the voice I/F 216.
  • the voice data 236 may have different data registered in association with the material of the structure 300.
  • the material of the structure 300 is recognized by, for example, the Spatial Understanding by the space recognition unit 221 described above.
  • an onomatopoeia expressing the output voice data 236 by a character string may be displayed.
  • it is “bari” or the like shown in FIG.
  • onomatopoeia word data 237 representing the voice data 236 in a character string is registered in advance in the storage device 230 in association with the voice data 236.
  • the display correction unit 224 generates display data so that the onomatopoeia data 237 registered in association with the output voice data 236 is displayed near the additional object 400.
  • a balloon may be further displayed and the onomatopoeia data 237 may be displayed in the balloon. Further, only the onomatopoeia data 237 may be displayed without outputting the voice data 236.
  • the display correction unit 224 changes the shape of the additional object 400 so as to follow the virtual object 100 as the virtual object 100 sinks into the structure 300.
  • FIG. 8A a case where the virtual object 100 has a shape in which two rectangular parallelepipeds having different horizontal widths are combined will be described as an example.
  • the virtual object 100 is pushed into the structure 300 in the direction of the arrow 203 from a rectangular parallelepiped having a small horizontal width.
  • the display correction unit 224 processes and displays the size of the additional object 400 according to the horizontal width of the virtual object 100, as shown in FIG. 8B.
  • the additional object 400 is displayed in a small size.
  • FIG. 8(a) when a rectangular parallelepiped region having a small horizontal width is virtually embedded in the structure 300, the additional object 400 is displayed in a small size.
  • FIG. 8(b) when a region having a horizontal width larger than that in FIG. 8(a) is virtually embedded in the structure 300, as shown in FIG. 8(b), as compared with FIG. 8(a). A large size additional object 400 is displayed.
  • the line-of-sight direction changes according to the change in the standing position of the user 201.
  • the user 201 faces the wall which is the structure 300, even if the display position of the virtual object 100 in the world coordinate system is the same, the user 201 and the virtual object 100 shown in FIG.
  • the display mode of the virtual object 100 changes from the case of FIG. 8B.
  • the display shape of the virtual object 100 also changes.
  • the display correction unit 224 may follow the change in the display shape of the virtual object 100 and change the display shape of the additional object 400 to display it, as shown in FIG. 8C.
  • the HMD 200 of the present embodiment includes the color image camera 214a that acquires a color image in a predetermined shooting range, the range image camera 214b that acquires a range image in a substantially same shooting range, and the display 215.
  • a display data generation unit 223 that generates display data that specifies the area of the virtual object 100 behind the structure 300 in the direction of the line of sight as the rear area 101 based on the arrangement position data of the display data, and a display that corrects the display data.
  • a display correction unit 224 for displaying on 215.
  • the display correction unit 224 corrects the display data so that the operation point 110 in the back area 101 is displayed.
  • the operation point 110 is a point that receives an operation instruction for the virtual object 100 via the operation point 110.
  • the operation point 110 of the rear surface area 101 of the virtual object 100 which is not normally displayed but is behind the structure 300, is also displayed. Therefore, even if the virtual object 100 is moved by the operation of the user 201, the operation can be performed on the moved virtual object 100.
  • the display correction unit 224 when displaying the operation point 110 of the back area 101, the display correction unit 224 also displays the back area 101 and the additional object 400 around the virtual object 100. Therefore, according to the present embodiment, it is possible to realize high operability while maintaining a sense of reality without sacrificing the natural appearance regardless of the display position of the virtual object 100 on the display 215.
  • the display of the virtual object 100 that partially has the back area 101 is not limited to the above.
  • the display correction unit 224 may display the virtual object 100 so that the back area 101 and the other area (hereinafter referred to as the front area) 102 can be distinguished from each other.
  • the display correction unit 224 corrects the display data so that the line 121 is displayed between the back area 101 and the front area 102. Further, as shown in FIG. 9B, the display correction unit 224 corrects the display data so that the back surface area 101 is displayed in a surface mode 122 different from the surface of the virtual object 100 originally.
  • the correction modes of FIGS. 9A and 9B may be combined.
  • the additional object 400 may be highlighted.
  • An example of the highlighted additional object 400 is shown in FIG.
  • the highlighting mode of the additional object 400 may be registered in the additional object data 235 in advance.
  • various types of image processing software may be used to process and display the additional object 400 registered in the display correction unit 224 in a highlighted manner.
  • the user 201 can easily understand that the virtual object 100 is different from the original display mode. That is, the user 201 can more intuitively understand that the area where the user 201 should not normally be displayed is displayed.
  • the display correction unit 224 identifies the material and/or type of the structure 300 by referring to the space recognition data 233 by the space recognition unit 221. Then, the display correction unit 224 extracts the additional object data 235 of the texture according to the specified material and/or type and displays it as the additional object 400.
  • the additional object 400 representing the state in which the wall is cracked as shown in FIG. 10 is prepared as the additional object data 235.
  • the structure 300 is a soft material such as a cushion, as shown in FIG. 11, an additional object 402 representing a state in which the virtual object 100 sinks into the structure 300 is prepared and displayed.
  • the mode of highlighting may be changed according to the material and/or type of the structure 300 or the texture of the additional object 400.
  • the display correction unit 224 may cut out a part of the color image data 231 and use it as the additional object 400.
  • an image of the structure 300 into which the virtual object 100 is pushed may have the same texture as the structure 301 behind the structure 300.
  • the display correction unit 224 processes the additional object data 235 using the space recognition data 233 according to the arrangement position of the additional object 400. Then, the display correction unit 224 arranges the processed additional object data 235.
  • the user 201 can more naturally accept the display mode of the virtual object 100 of this embodiment.
  • the display correction unit 224 corrects the display data so that the virtual object 100 is displayed at the calculated position. Further, the display correction unit 224 may display the operation miniature virtual object 401 as an additional object in the front. In this case, the display correction unit 224 generates the miniature virtual object 401 from the virtual object 100 and displays it.
  • the user 201 can perform operations while maintaining a sense of reality.
  • the display 215 may be non-transmissive.
  • the display correction unit 224 causes the virtual object 100 and the additional object 400 to be superimposed and displayed on the color image (through image 500) acquired by the color image camera 214a.
  • the display terminal is not limited to the HMD 200 equipped with a transmissive display.
  • it may be a portable or portable information processing device such as an HMD having a non-transmissive display, a mobile terminal or the like.
  • the input of the operation instruction is not limited to the line of sight and the gesture.
  • a voice, a motion controller or the like may be used.
  • the display correction unit 224 corrects the display of the virtual object 100 so that all the operation points 110 of the virtual object 100 are displayed, but the present invention is not limited to this.
  • the operation points 110 to be displayed may be a part of the operation points 110 in the back area 101. That is, at least one operation point 110 in the back area 101 may be displayed.
  • the present invention is not limited to the above-described embodiments and modifications, and includes various modifications.
  • the above-described embodiments and modified examples have been described in detail for the purpose of explaining the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described.
  • each of the above-mentioned configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • the above-described respective configurations, functions and the like may be realized by software by a processor interpreting and executing a program for realizing each function.
  • Information such as programs, tables, and files that implement each function can be placed in a memory unit, a hard disk, a recording device such as SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD.
  • control lines and information lines are shown to be necessary for explanation, and not all control lines and information lines are shown on the product. In practice, it may be considered that almost all configurations are connected to each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

ディスプレイ２１５を備える表示端末であって、予め定めた撮影範囲のカラー画像および距離画像をそれぞれ取得するカラー画像カメラ２１４ａおよび距離画像カメラ２１５ｂと、仮想オブジェクト１００をディスプレイ２１５に表示させる表示制御部２２０と、を備え、表示制御部２２０は、カラー画像と距離画像とを用いて構造物３００の３次元マップを生成する空間認識部２２１と、３次元マップと仮想オブジェクト１００の実空間上の配置位置データとに基づいて、視線方向の構造物３００の背後になる仮想オブジェクト１００の背面領域１０１を特定した表示データを生成する表示データ生成部２２３と、表示データを補正してディスプレイ２１５に表示させる表示補正部と２２４と、を備え、表示補正部２２４は、背面領域１０１の、仮想オブジェクト１００に対する操作指示を受け付ける操作ポイント１１０を表示させるよう表示データを補正する。

Description

表示端末、表示制御システムおよび表示制御方法
　本発明は、表示端末における仮想オブジェクトの表示技術に関する。
　ＨＭＤ（ヘッドマウントディスプレイ；Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）等の表示端末に表示する、現実空間の物体に対してコンピュータによる情報を付加する拡張現実（ＡＲ、Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像の視認性を向上させる技術がある。例えば、特許文献１には、「表示部に、透過して視認される外界に重ね合わせて所定の画像を表示させる重畳画像表示制御部と、前記透過して視認される外界のうちの所定範囲を少なくとも撮像する撮像部と、撮像部によって得られた撮像画像から、前記所定の画像と位置が対応する所定範囲の部分画像を特定する部分画像特定部と、前記特定された部分画像についての色情報に応じて、重畳画像表示制御部によって表示される所定の画像の見え方を補正する視認性補正部と、を備える（要約抜粋）」外界を透過視認可能な表示部を備えた頭部装着型表示装置が開示されている。
特開２０１６－１４２８８７号公報
　ＡＲ画像で表示される仮想オブジェクト等は、当該仮想オブジェクトの周囲に予め設定された操作ポイントに対して指示を行うことにより、移動、回転、変形等の操作を行う。しかしながら、仮想オブジェクトの表示位置によっては、当該仮想オブジェクトの一部が周囲の構造物の背後となり、陰面消去され、それに伴い、必要な操作ポイントが表示されないことがある。このため、必ずしも高い操作性が得られない。一方、仮想オブジェクトの操作後の配置位置によらず、そのまま仮想オブジェクトを表示させると、現実感が得られない。
　本発明は、上記事情に鑑みてなされたもので、仮想オブジェクトの表示位置によらず、現実感を保ちつつ、高い操作性を実現する仮想オブジェクト表示技術を提供することを目的とする。
　本発明は、ディスプレイを備える表示端末であって、予め定めた撮影範囲のカラー画像を取得するカラー画像カメラと、前記撮影範囲の距離画像を取得する距離画像カメラと、仮想オブジェクトを前記ディスプレイに表示させる表示制御部と、を備え、前記表示制御部は、前記カラー画像と前記距離画像とを用いて前記撮影範囲内の構造物の３次元マップを生成する空間認識部と、前記３次元マップと表示させる前記仮想オブジェクトの実空間上の配置位置データとに基づいて、視線方向に関して前記構造物の背後になる当該仮想オブジェクトの領域を背面領域として特定した表示データを生成する表示データ生成部と、前記表示データを補正して前記ディスプレイに表示させる表示補正部と、を備え、前記表示補正部は、前記背面領域の操作ポイントを表示させるよう前記表示データを補正し、前記操作ポイントは、当該操作ポイントを介して前記仮想オブジェクトに対する操作指示を受け付けるポイントであることを特徴とする。
　本発明によれば、仮想オブジェクトの表示位置によらず、現実感を保ちつつ、高い操作性を実現する仮想オブジェクト表示技術を提供できる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
（ａ）～（ｃ）は、本発明の実施形態の仮想オブジェクト表示処理の概要を説明するための説明図である。 （ａ）は、本発明の実施形態のＨＭＤのハードウェア構成図であり、（ｂ）は、本発明の実施形態のＨＭＤの外観図である。 本発明の実施形態のＨＭＤのコントローラの機能ブロック図である。 （ａ）および（ｂ）は、本発明の実施形態の仮想オブジェクト表示処理の概要を説明するための説明図である。 本発明の実施形態の仮想オブジェクト表示処理のフローチャートである。 （ａ）および（ｂ）は、本発明の実施形態のディスプレイ表示を説明するための説明図である。 （ａ）～（ｃ）は、本発明の実施形態の仮想オブジェクト表示の態様の一例を説明するための説明図である。 （ａ）～（ｃ）は、本発明の実施形態の仮想オブジェクト表示の態様の他の例を説明するための説明図である。 （ａ）および（ｂ）は、本発明の実施形態の仮想オブジェクト表示の態様の変形例１を説明するための説明図である。 本発明の実施形態の仮想オブジェクト表示の態様の変形例２を説明するための説明図である。 本発明の実施形態の仮想オブジェクト表示の態様の変形例３を説明するための説明図である。 本発明の実施形態の仮想オブジェクト表示の態様の変形例４を説明するための説明図である。 本発明の実施形態の仮想オブジェクト表示の態様の変形例５を説明するための説明図である。 本発明の実施形態の仮想オブジェクト表示の態様の変形例６を説明するための説明図である。
　以下、本発明の実施の形態について、図面を用いて説明する。以下、本明細書において、同一機能を有するものは、特に断らない限り同一の符号を付し、繰り返しの説明は省略する。なお、本発明はここで説明する実施形態に限定されるものではない。
　本実施形態では、表示端末として、ユーザ（装着者）が頭部に装着して用いるＨＭＤ（ヘッドマウントディスプレイ；Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）であって、透過型ディスプレイを備え、外界と表示画像との両方を視認可能な透過型（シースルー型）のＨＭＤを例にあげて説明する。
　まず、本実施形態の概要を、図１（ａ）から図１（ｃ）を用いて説明する。本実施形態では、図１（ａ）に示すように、ユーザ２０１が、室内でＨＭＤ２００を装着し、仮想オブジェクト１００をＨＭＤ２００のディスプレイに表示させて、操作する。
　ＨＭＤ２００は、実空間および仮想オブジェクト１００の、距離情報（奥行情報）を持つ。従来は、ＨＭＤ２００のディスプレイには、図１（ｂ）に示すように、実空間の壁等の構造物３００より奥に配置される仮想オブジェクト１００の部分は、表示されない。従って、このような場合、ユーザ２０１は、仮想オブジェクト１００の全容を把握することができない。
　また、一般に、仮想オブジェクト１００は、仮想オブジェクト１００上または周囲近傍に設定される操作ポイント（トランスフォームコントローラ）１１０を操作することにより、移動、回転、変形等の操作を行う。従って、図１（ｂ）のように表示された場合、構造物３００の背後の部分の操作ポイント１１０は表示されないため、操作ができない。
　本実施形態では、これを解決するため、図１（ｃ）に示すように、構造物３００があったとしても、仮想オブジェクト１００は、全ての操作ポイント１１０を表示させる。また、仮想オブジェクト１００自体もその全体を表示させてもよい。また、このとき、本来は、表示されない部分まで表示されていることがわかるよう、付加オブジェクト４００を表示してもよい。
　以下、このような表示制御を実現する本実施形態のＨＭＤ２００について説明する。
　［ハードウェア構成図］
　図２（ａ）は、ＨＭＤ２００のハードウェア構成図である。また、図２（ｂ）は、本実施形態のＨＭＤ２００の外観図である。
　本実施形態のＨＭＤ２００は、基本的に汎用のコンピュータ（情報処理装置）と同様の構成を有する。すなわち、ＨＭＤ２００は、本図に示すように、コントローラ２１０と、カメラ２１４と、ディスプレイ２１５と、音声インタフェース（Ｉ／Ｆ）２１６と、通信Ｉ／Ｆ２１７と、センサ２１８と、各部を電気的に接続するバス２１９と、視線検出装置２１４ｃと、を備える。さらに、本実施形態のＨＭＤ２００は、各部を支え、ユーザ２０１が装着するためのフレーム２４１を備える。
　コントローラ２１０は、予め定めたプログラムに従って、各種の処理を行う。本実施形態では、コントローラ２１０は、例えば、ディスプレイ２１５の所定の位置に、仮想オブジェクト１００を表示させる。
　本実施形態のコントローラ２１０は、ＣＰＵ２１１と、ＲＡＭ２１２と、ＲＯＭ２１３と、を備える。ＣＰＵ２１１は、予めＲＯＭ２１３に格納されたプログラムを、ＲＡＭ２１２にロードして実行することにより、各種の機能を実現する。なお、ＲＡＭ２１２およびＲＯＭ２１３は、特に区別する必要がない場合は、両者を合わせて記憶装置２３０（図３参照）と呼ぶ。なお、コントローラ２１０は、例えば、フレーム２４１上に配置される。
　カメラ２１４は、カラー画像カメラ２１４ａと、距離画像カメラ２１４ｂと、を備える。カラー画像カメラ２１４ａは、ユーザ２０１の視野範囲を含む撮影範囲を撮影し、カラー画像を取得する。また、距離画像カメラ２１４ｂは、カラー画像カメラ２１４ａと略同範囲の撮影範囲の距離画像を取得する。カメラ２１４（カラー画像カメラ２１４ａおよび距離画像カメラ２１４ｂ）は、例えば、フレーム２４１の最前部（最もディスプレイ２１５側）の、上記撮影範囲を撮影可能な位置に配置される。
　ディスプレイ２１５は、カメラ２１４で取得した画像、ＨＭＤ２００内で生成された表示データが表示されるデバイスである。ディスプレイ２１５は、例えば、透過型の液晶デバイスや有機ＥＬデバイス、あるいはＭＥＭＳ（ｍｉｃｒｏ　ｅｌｅｃｔｒｏ　ｍｅｃｈａｎｉｃａｌ　ｓｙｓｔｅｍｓ）を用いた光走査型のデバイス等で構成される。しかしながら、デバイスはこれに限定されず、ディスプレイ２１５上に映像を表示しつつ、ディスプレイ２１５の向こう側が透けて見える透過型ディスプレイ構造を実現可能なデバイスであればよい。
　本実施形態のＨＭＤ２００では、透過型のディスプレイ２１５が、ユーザ２０１の片眼または両眼の前で支持される。なお、ディスプレイ２１５は、任意の形状を撮ることができる。ディスプレイ２１５は、右および左の表示パネルを備えてもよい、また、ディスプレイ２１５には、グラフィカルユーザＩ／Ｆの１つまたは複数のＵＩオブジェクトが表示されてもよい。
　音声Ｉ／Ｆ２１６は、例えば、マイク、スピーカ、ブザー等の音声出力装置である。音声Ｉ／Ｆ２１６は、外界の音の入力と、ＨＭＤ２００内で作成した音や通信Ｉ／Ｆ２１７を介して送られてくる音声や音楽等の音の出力とを行う。本実施形態では、音声Ｉ／Ｆ２１６は、備えなくてもよい。
　通信Ｉ／Ｆ２１７は、符号回路や復号回路、アンテナ等を備え、ネットワークを介して、他装置とのデータの送受信（データ通信）を行う。本実施形態では、通信Ｉ／Ｆ２１７は、図示を省略したアクセスポイント等を介して、または、図示を省略した移動体電話通信網の基地局等を介して、ネットワークと接続するＩ／Ｆである。通信Ｉ／Ｆ２１７を介して、ＨＭＤ２００は、ネットワークに接続された各サーバとのデータ送受信を行う。
　ＨＭＤ２００と前記アクセスポイントとの接続は、例えば、Ｗｉ－Ｆｉ（登録商標）等の無線通信方式やその他の通信方式により行われる。ＨＭＤ２００と前記移動体電話通信網の基地局との接続は、例えば、Ｗ－ＣＤＭＡ（登録商標）（Ｗｉｄｅｂａｎｄ　Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式やＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）方式、或いはその他の通信方式によって行われる。なお、本実施形態のＨＭＤ２００は、通信Ｉ／Ｆ２１７を備えなくてもよい。
　センサ２１８は、ＨＭＤ２００の現在位置、傾き、速度、ユーザ２０１による操作等を検出する。ＨＭＤ２００は、センサ２１８として、例えば、ＧＰＳ受信機２１８ａ等の位置情報取得センサ、ジャイロセンサ２１８ｂ、加速度センサ２１８ｃ、地磁気センサ２１８ｄ、タッチセンサ２１８ｅ等を備える。なお、センサ２１８は、全てを備えなくてもよい。
　視線検出装置２１４ｃは、ユーザ２０１の視線方向を検出する。視線検出装置２１４ｃは、例えば、ユーザ２０１の視線方向を検出する視線検出カメラ等で実現される。視線検出カメラは、ユーザ２０１の眼の虹彩、瞳孔等を撮影範囲に含むよう取り付けられる。
　フレーム２４１は、ディスプレイ２１５、カメラ２１４、コントローラ２１０等のＨＭＤ２００の構成品を支持する。
　［機能ブロック］
　次に、本実施形態のコントローラ２１０が実現する、仮想オブジェクト表示に関連する機能を説明する。図３は、本実施形態のＨＭＤ２００の、仮想オブジェクト表示処理に関連する機能の機能ブロック図である。本図に示すように、本実施形態のコントローラ２１０は、画像取得部２２８と、表示制御部２２０と、音声出力制御部２２９と、の機能を実現する。また、表示制御部２２０は、空間認識部２２１と、指示受付部２２２と、表示データ生成部２２３と、表示補正部２２４と、を備える。
　各機能は、ＣＰＵ２１１がＲＯＭ２１３に格納されたプログラムを、ＲＡＭ２１２にロードして実行することにより実現される。
　また、記憶装置２３０には、カラー画像データ２３１と、距離画像データ２３２と、空間認識データ２３３と、仮想オブジェクトデータ（仮想ＯＪＴデータ）２３４と、付加オブジェクトデータ（付加ＯＪＴデータ）２３５と、音声データ２３６と、が記憶される。
　カラー画像データ２３１は、カラー画像カメラ２１４ａで取得した画像である。距離画像データ２３２は、距離画像カメラ２１４ｂで取得した画像である。
　画像取得部２２８は、カラー画像カメラ２１４ａおよび距離画像カメラ２１４ｂでそれぞれ取得したカラー画像および距離画像を、カラー画像データ２３１および距離画像データ２３２として、記憶装置２３０に記憶する。本実施形態では、カラー画像および距離画像は、略同期して取得される。
　空間認識部２２１は、周囲の実空間を認識し、その結果を、空間認識データ２３３として、記憶装置２３０に記憶する。認識は、略同時に取得したカラー画像データ２３１および距離画像データ２３２を用いて行う。
　空間認識部２２１は、ユーザ２０１のスキャン動作に従って、所定の時間間隔で、各画像データから、撮影範囲にある構造物３００の３次元データ（３次元マップ）である空間認識データ２３３を生成し、記憶装置２３０に記憶する。周囲のスキャンは、例えば、起動直後に、初期設定として、ユーザ２０１が行う。
　空間認識データ２３３は、例えば、３次元空間全体を定義するワールド座標系で作成される。一例として、このワールド座標系の原点および各軸方向として、空間認識開始の指示を受け付けた際の、ＨＭＤ２００本体の位置および向き（初期姿勢）で特定される、ＨＭＤ２００のローカル座標系の原点および各軸方向を用いる。この座標系では、例えば、ＨＭＤ２００本体の初期姿勢において、ＨＭＤ２００のディスプレイ２１５上の所定位置を原点として、ディスプレイ２１５内をｘｙ平面として、ｚ軸方向は、ｘｙ平面（ディスプレイ２１５面）に垂直な方向とする。
　なお、ユーザ２０１のスキャン動作によるＨＭＤ２００のローカル座標系の、ワールド座標系に対する変位量および回転量は、各種センサ２１８により得られるデータを用いて算出される。
　なお、空間認識は、例えば、既存のＳｐａｔｉａｌ　Ｍａｐｐｉｎｇ等の技術を用いて行う。すなわち、本実施形態のＨＭＤ２００は、カラー画像カメラ２１４ａおよび距離画像カメラ２１４ｂにより周囲をスキャンする。そして、その結果を用いて、空間認識部２２１が、Ｓｐａｔｉａｌ　Ｍａｐｐｉｎｇ等のアプリケーションを用いて３次元データを生成する。空間認識データ２３３は、例えば、メッシュデータとして保持される。
　また、このとき、３次元データだけでなく、構造物３００の種類を認識するＳｐａｔｉａｌ　Ｕｎｄｅｒｓｔａｎｄｉｎｇも同時に行うよう構成してもよい。空間認識部２２１は、Ｓｐａｔｉａｌ　Ｕｎｄｅｒｓｔａｎｄｉｎｇにより、撮影範囲内の構成物の材質、種類を認識できる。すなわち、構造物３００が、例えば、「壁」、「床」、「天井」のいずれであるか等を認識することができる。本実施形態の空間認識部２２１は、空間認識データ２３３の属性データとして、これらの認識結果を記憶装置２３０に格納する。
　指示受付部２２２は、ユーザ２０１から、ディスプレイ２１５に表示される仮想オブジェクト１００に対する表示指示および操作指示を受け付ける。表示指示および操作指示は、例えば、視線（ゲイズ）によるもの、手指の動き（ジェスチャ）によるものなどがある。
　ゲイズに用いられる視線方向の情報は、例えば、視線検出装置２１４ｃを用いて検出される。
　ジェスチャには、例えば、仮想オブジェクト１００の操作ポイント１１０に対するクリックイベント（エアタップ）、タップアンドホールド、ブルーム等がある。指示受付部２２２は、カラー画像カメラ２１４ａおよび距離画像カメラ２１４ｂの撮影範囲内に設けられたジェスチャフレーム内での手指の動きを検出し、表示指示、操作指示等を検出する。
　例えば、表示指示を受け付けた場合、指示受付部２２２は、仮想オブジェクトデータ２３４から指示された仮想オブジェクト１００のデータを抽出し、後述の表示データ生成部２２３に表示データを生成させる。
　また、操作指示を受け付けた場合、指示受付部２２２は、当該操作を検出し、後述の表示データ生成部２２３に通知する。
　表示データ生成部２２３は、指示受付部２２２を介したユーザ２０１の指示に従って、仮想オブジェクトデータ２３４から、指示された仮想オブジェクト１００をディスプレイ２１５の所定の位置に所定の形状で表示させる表示データを生成する。指示受付部２２２の指示に従って生成された表示データをディスプレイ２１５に表示することにより、仮想オブジェクト１００は、ユーザ２０１の指示に従って、移動し、回転し、変形するよう表示される。
　このとき、表示データ生成部２２３は、ユーザ２０１の視線方向（ユーザ２０１が装着しているＨＭＤ２００の空間上の座標位置、上下左右の向きの情報から算出）で、構造物３００の背後になる仮想オブジェクト１００の領域を背面領域１０１として特定した表示データを生成する。背面領域１０１（図４）は、空間認識部２２１が生成した３次元マップ（空間認識データ２３３）と表示させる仮想オブジェクト１００の実空間上の配置位置データとに基づいて特定される。なお、実空間上の配置位置データは、上記空間認識部２２１が空間認識に用いる座標系と同じ座標系で登録される。
　なお、仮想オブジェクト１００の実空間上の配置位置データは、表示させる仮想オブジェクト１００の、仮想オブジェクトデータ２３４から得る。仮想オブジェクトデータ２３４は、各仮想オブジェクト１００の、サイズ、形状、初期の配置位置情報を含む。初期の配置位置情報は、例えば、各仮想オブジェクト１００に予め設定された配置位置ポイント、操作ポイント１１０等について、登録される。配置位置ポイントは、例えば、仮想オブジェクト１００の３次元の重心位置等である。また、操作ポイント１１０は、上述のように、仮想オブジェクト１００の表示形状変形の指示を受け付けるポイントである。
　表示データ生成部２２３は、指示受付部２２２の指示を現在の配置位置情報に反映することにより、表示させる仮想オブジェクト１００に対応した仮想オブジェクトデータ２３４の、最新の配置位置情報を得る。そして、表示データ生成部２２３は、配置位置ポイントの最新の配置位置情報と、サイズ、形状等の情報を用いて、仮想オブジェクト１００の実空間上の配置位置データを得る。
　表示データ生成部２２３は、さらに、その最新の実空間上の配置位置データを用いて、表示させる仮想オブジェクト１００の背面領域１０１を特定する。例えば、表示データ生成部２２３は、仮想オブジェクト１００の実空間上の配置位置データに基づいて、仮想オブジェクト１００の、ユーザ２０１が装着しているＨＭＤ２００の空間上の座標位置、上下左右の向きの情報から算出される仮想オブジェクトまでの距離、仮想オブジェクト１００の形状データ、構造物３００の座標位置から奥行情報として特定する。
　そして、奥行情報のうち、構造物３００の奥行情報より相対的に奥に位置する仮想オブジェクト１００の領域（部分）および操作ポイント１１０を、背面領域１０１とする。
　なお、背面領域１０１は、通常の処理では、陰面処理を行う領域である。例えば、図４（ａ）に示すように、仮想オブジェクト１００の一部が壁、家具等の構造物３００の奥に配置される場合、従来、表示データ生成部２２３は、仮想オブジェクト１００のこの背面領域１０１に対し、陰面処理を施し、表示させないよう表示データを生成する。
　しかしながら、本実施形態では、よりユーザフレンドリな表示を目指すため、表示補正部２２４が、このような場合であっても、図４（ｂ）に示すように、仮想オブジェクト１００の全体および付随する操作ポイント１１０を表示させるよう表示を補正する。このような処理を、表示補正部２２４が行う。
　表示補正部２２４は、表示する仮想オブジェクトデータ２３４に背面領域１０１がある場合、当該仮想オブジェクトデータ２３４の表示データを補正する。
　具体的には、表示補正部２２４は、背面領域１０１に対する陰面処理をキャンセルする。そして、背面領域１０１も、構造物３００が存在しないかのように表示されるよう表示データを補正する。すなわち、表示補正部２２４は、仮想オブジェクトデータ２３４の一部の領域が、構造物３００よりも奥の場合であっても、当該領域も表示されるよう、表示データを補正する。
　さらに、表示補正部２２４は、このとき、仮想オブジェクト１００が本来の表示態様ではないことを示すため、付加オブジェクト４００を表示させる。付加オブジェクト４００は、例えば、仮想オブジェクト１００が、構造物３００を突き破っている様子、構造物３００に穴をあけた様子を表す等、仮想オブジェクト１００の表示を、より自然に、現実感があるよう見せるためのオブジェクトである。
　表示させる付加オブジェクト４００のデータは、記憶装置２３０の付加オブジェクトデータ２３５として予め用意される。付加オブジェクトデータ２３５は、付加オブジェクト４００の表示態様、初期サイズ、仮想オブジェクト１００の表示位置に対する初期表示位置等の情報が対応づけて登録される。
　なお、表示補正部２２４は、ユーザ２０１の操作により仮想オブジェクト１００の、ユーザ２０１の視線方向に対する表示方向が変化した場合、それに追随して、付加オブジェクト４００の表示形状を変形してもよい。さらに、ユーザ２０１の視線方向の移動により仮想オブジェクト１００の表示方向が変化した場合も、同様に、付加オブジェクト４００の表示形状を変形してもよい。付加オブジェクト４００の変形は、例えば、視線方向の変化に伴う仮想オブジェクト１００の表示を変形する処理に用いるプログラムと同じプログラムに従って行う。
　次に、本実施形態のコントローラ２１０による、仮想オブジェクト１００の表示処理の流れを説明する。図５は、本実施形態の仮想オブジェクト表示処理の処理フローである。なお、空間認識処理は、初期処理として既に行われているものとする。また、仮想オブジェクト１００は、全体が表示される位置に表示されているものとする。
　ユーザ２０１から指示受付部２２２を介して、終了指示を受け付けるまで、表示データ生成部２２３および表示補正部２２４は、以下の処理を繰り返す（ステップＳ１１０１）。
　ユーザ２０１から指示受付部２２２を介して、仮想オブジェクト１００に対する移動操作を受け付けると（ステップＳ１１０２）、表示データ生成部２２３は、表示データを生成する（ステップＳ１１０３）。
　ステップＳ１１０３では、表示データ生成部２２３は、まず、当該仮想オブジェクト１００のディスプレイ２１５上の表示位置を算出する。そして、表示データ生成部２２３は、視線方向を特定し、仮想オブジェクト１００の対応する仮想オブジェクトデータ２３４に従って、奥行情報を算出する。また、構造物３００の奥行情報も算出する。そして、表示データ生成部２２３は、表示データ上の背面領域１０１を特定する。
　次に、表示データ生成部２２３は、表示する仮想オブジェクト１００に背面領域１０１があるか否かを判別する（ステップＳ１１０４）。
　背面領域１０１が無い場合（Ｓ１１０４；Ｎｏ）、表示データ生成部２２３は、その旨、表示補正部２２４に通知する。そして、表示補正部２２４は、そのまま、ディスプレイ２１５の、ステップＳ１１０３で算出した位置に、当該仮想オブジェクト１００の表示データを表示する（ステップＳ１１１２）。そしてコントローラ２１０は、次の操作指示を待つ。
　背面領域１０１が有る場合（Ｓ１１０４；Ｙｅｓ）、表示データ生成部２２３は、仮想オブジェクト１００の全体が背面領域１０１であるか否かを判別する（ステップＳ１１０５）。
　全体が背面領域１０１であれば（Ｓ１１０５；Ｙｅｓ）、表示データ生成部２２３は、その旨、表示補正部２２４に通知する。そして、表示補正部２２４は、そのまま、当該仮想オブジェクト１００の表示を消去し（ステップＳ１１１１）、処理を終了する。
　一方、全体が背面領域１０１でない場合（Ｓ１１０５；Ｎｏ）、すなわち、仮想オブジェクト１００の一部に背面領域１０１が有る場合、表示データ生成部２２３は、その旨、表示補正部２２４に通知する。そして、表示補正部２２４は、上述の手法で仮想オブジェクト１００の表示データを補正する（ステップＳ１１０６）。ここでは、表示補正部２２４は、仮想オブジェクト１００の全ての操作ポイント１１０および当該操作ポイント１１０により操作する仮想オブジェクト１００の部分を表示させるよう表示データを補正する。そして、表示補正部２２４は、補正後の表示データを、ディスプレイ２１５のステップＳ１１０３で算出した位置に表示する（ステップＳ１１０７）。
　その後、表示補正部２２４は、記憶装置２３０から付加オブジェクトデータ２３５を取得し、仮想オブジェクト１００の背面領域１０１に重畳して表示する（ステップＳ１１０８）。そして、コントローラ２１０は、次の操作指示を待つ。
　以上の処理を、具体例で説明する。なお、ディスプレイ２１５には、図６（ａ）に示すように、ディスプレイ２１５で規定される枠内２１５ａに、仮想オブジェクト１００および付加オブジェクト４００が表示される。ここで、構造物３００は、実空間の実オブジェクトである。以下の表示態様の説明では、ディスプレイ２１５の枠は省略し、図６（ｂ）に示すように、ディスプレイ２１５を通して見える実オブジェクトと、仮想オブジェクト１００等の表示データと、のみを記載し、説明する。
　例えば、図７（ａ）に示す位置に、仮想オブジェクト１００が表示されているものとする。これに対し、ユーザ２０１が、実空間で、その手指２０２により、矢印２０３の方向に、押すように操作指示（ジェスチャ）を行う。これを続けることにより、仮想オブジェクト１００の、実空間の実オブジェクトである構造物３００に対する表示位置は移動する。
　本実施形態によれば、図７（ｂ）に示すように、仮想オブジェクト１００の一部の領域の表示位置が、構造物３００より奥になっても、仮想オブジェクト１００は、その操作ポイント１１０とともに、全体が表示される。また、このとき、あたかも構造物３００である壁に、穴があいたかのように、付加オブジェクト４００が表示される。
　さらに、このとき、図７（ｃ）に示すように、音声出力制御部２２９が、音声出力を行うよう構成してもよい。表示補正部２２４は、付加オブジェクト４００を表示させる場合、音声出力制御部２２９にその旨通知する。音声出力制御部２２９は、表示補正部２２４より通知を受けると、音声データ２３６から音声を抽出し、音声Ｉ／Ｆ２１６から出力する。
　なお、音声データ２３６は、構造物３００の材質に対応づけて、異なるデータを登録しておいてもよい。構造物３００の材質は、例えば、上述の空間認識部２２１によるＳｐａｔｉａｌ　Ｕｎｄｅｒｓｔａｎｄｉｎｇにより認識する。
　さらに、このとき、出力される音声データ２３６を文字列で表す擬音語を表示させてもよい。例えば、図７（ｃ）に示す「バリッ」等である。この場合、記憶装置２３０に、音声データ２３６に対応づけて、当該音声データ２３６を文字列で表す擬音語データ２３７を予め登録しておく。そして、表示補正部２２４は、出力される音声データ２３６に対応づけて登録される擬音語データ２３７を、付加オブジェクト４００近傍に表示させるよう表示データを生成する。
　なお、吹き出しをさらに表示し、擬音語データ２３７を、その吹き出しの中に表示させてもよい。また、音声データ２３６の出力無しに、擬音語データ２３７のみを表示させてもよい。
　また、表示補正部２２４は、仮想オブジェクト１００が、構造物３００にめり込むほどに、付加オブジェクト４００の形状を、追随させて変化させる。例えば、図８（ａ）に示すように、仮想オブジェクト１００が、水平方向の幅の大きさが異なる２つの直方体を組み合わせた形状を有する場合を例にあげて説明する。ここでは、仮想オブジェクト１００は、矢印２０３の方向に、水平方向の幅が小さい直方体の方から構造物３００に押し込まれるものとする。
　この場合、表示補正部２２４は、図８（ｂ）に示すように、仮想オブジェクト１００の、水平方向の幅に応じて付加オブジェクト４００の大きさを加工して表示させる。具体的には、図８（ａ）のように、水平方向の幅が小さい直方体の領域が構造物３００に仮想的にめり込んでいる場合は、小さいサイズで付加オブジェクト４００を表示させる。一方、水平方向の幅が、図８（ａ）の場合より大きい領域が構造物３００に仮想的にめりこんでいる場合は、図８（ｂ）に示すように、図８（ａ）よりも大きいサイズの付加オブジェクト４００を表示させる。
　また、ユーザ２０１の立ち位置の変化により、視線方向が変化する。例えば、図８（ｃ）に示すように、ユーザ２０１が、構造物３００である壁に対向した場合、仮想オブジェクト１００のワールド座標系における表示位置が同じであっても、図８（ａ）や図８（ｂ）の場合とは、仮想オブジェクト１００の表示態様が変化する。これに伴い、仮想オブジェクト１００の表示形状も変化する。
　この場合も、表示補正部２２４は、図８（ｃ）に示すように、仮想オブジェクト１００の表示形状の変化に追随し、付加オブジェクト４００の表示形状を変化させて表示させてもよい。
　以上説明したように、本実施形態のＨＭＤ２００は、予め定めた撮影範囲のカラー画像を取得するカラー画像カメラ２１４ａと、略同じ撮影範囲の距離画像を取得する距離画像カメラ２１４ｂと、ディスプレイ２１５と、仮想オブジェクト１００をディスプレイ２１５に表示させる表示制御部２２０と、を備える。そして、表示制御部２２０は、カラー画像と距離画像とを用いて撮影範囲内の構造物３００の３次元マップを生成する空間認識部２２１と、３次元マップと表示させる仮想オブジェクト１００の実空間上の配置位置データとに基づいて、視線方向に関して構造物３００の背後になる仮想オブジェクト１００の領域を背面領域１０１として特定した表示データを生成する表示データ生成部２２３と、表示データを補正してディスプレイ２１５に表示させる表示補正部２２４と、を備える。また、表示補正部２２４は、背面領域１０１の操作ポイント１１０を表示させるよう表示データを補正する。そして、操作ポイント１１０は、当該操作ポイント１１０を介して仮想オブジェクト１００に対する操作指示を受け付けるポイントである。
　このように、本実施形態によれば、本来ならば表示されない、構造物３００の背後になる、仮想オブジェクト１００の背面領域１０１の操作ポイント１１０も表示される。従って、ユーザ２０１の操作により、仮想オブジェクト１００が移動したとしても、移動後の仮想オブジェクト１００に対して操作を行うことができる。
　また、表示補正部２２４は、背面領域１０１の操作ポイント１１０を表示させる際、当該背面領域１０１も表示させるとともに、仮想オブジェクト１００の周囲に付加オブジェクト４００を表示させる。このため、本実施形態によれば、仮想オブジェクト１００のディスプレイ２１５上の表示位置によらず、自然な見え方を犠牲にせず、現実感を保ちながら、高い操作性を実現できる。
　［変形例１］
　なお、一部に背面領域１０１のある仮想オブジェクト１００の表示は、上記に限定されない。例えば、表示補正部２２４は、仮想オブジェクト１００を、背面領域１０１と、それ以外の領域（以下、前面領域と呼ぶ。）１０２と、を区別可能なように表示してもよい。
　例えば、図９（ａ）に示すように、表示補正部２２４は、背面領域１０１と前面領域１０２との間にライン１２１が表示されるよう表示データを補正する。また、図９（ｂ）に示すように、表示補正部２２４は、背面領域１０１が、本来の仮想オブジェクト１００の表面とは異なる表面態様１２２で表示されるよう、表示データを補正する。図９（ａ）および図９（ｂ）の補正態様は、組み合わせてもよい。
　［変形例２］
　また、付加オブジェクト４００は、強調表示されてもよい。強調表示される付加オブジェクト４００の一例を図１０に示す。付加オブジェクト４００の強調表示態様は、予め付加オブジェクトデータ２３５に登録しておいてもよい。また、各種の画像加工ソフトウェアを用いて、表示補正部２２４が登録されている付加オブジェクト４００を強調表示態様に加工し、表示させてもよい。
　付加オブジェクト４００を、強調表示することにより、仮想オブジェクト１００が、本来の表示態様とは異なることを、ユーザ２０１は、把握し易い。すなわち、ユーザ２０１は、本来であれば、見えない領域まで表示されていることを、ユーザ２０１は、より直感的に把握することができる。
　［変形例３］
　また、付加オブジェクトデータ２３５として、仮想オブジェクト１００が押し込まれる構造物３００の材質および／または種類に応じて異なるテクスチャのものが用意されていてもよい。この場合、表示補正部２２４は、空間認識部２２１による空間認識データ２３３を参照し、構造物３００の材質および／または種類を特定する。そして、表示補正部２２４は、特定した材質および／または種類に応じたテクスチャの付加オブジェクトデータ２３５を抽出し、付加オブジェクト４００として表示させる。
　例えば、構造物３００が、壁等の硬い材質である場合、図１０に示すような、壁が割れたような状態を表す付加オブジェクト４００が、付加オブジェクトデータ２３５として用意される。一方、構造物３００が、クッション等の柔らかい素材である場合、図１１に示すように、仮想オブジェクト１００が構造物３００に沈み込むような状態を表す付加オブジェクト４０２が用意され、表示される。
　さらに、このとき、強調表示の態様も、構造物３００の材質および／または種類、あるいは、付加オブジェクト４００のテクスチャに応じて変更するよう構成してもよい。
　［変形例４］
　また、表示補正部２２４は、付加オブジェクト４００として、カラー画像データ２３１の一部を切り取って用いてもよい。特に、図１２に示すように、仮想オブジェクト１００が押し込まれる構造物３００の、さらに背後の構造物３０１と同じテクスチャの画像を用いてもよい。この場合、表示補正部２２４は、付加オブジェクト４００の配置位置に応じて、空間認識データ２３３を用いて、付加オブジェクトデータ２３５を加工する。そして、表示補正部２２４は、加工後の付加オブジェクトデータ２３５を配置する。
　このように、付加オブジェクト４００として、背景画像と同じテクスチャのデータを用いることにより、ユーザ２０１は、本実施形態の仮想オブジェクト１００の表示態様を、より自然に受け止めることができる。
　［変形例５］
　なお、上記実施形態では、仮想オブジェクト１００が、全てが背面領域１０１になるような位置に移動操作された場合、仮想オブジェクト１００の表示を消去するよう構成しているが、これに限定されない。全体が背面領域１０１となる場合であっても、仮想オブジェクト１００および／または操作ポイント１１０を表示させてもよい。
　例えば、図１３に示すように、表示補正部２２４は、算出された位置に仮想オブジェクト１００が表示されるよう表示データを補正する。さらに、表示補正部２２４は、手前に、付加オブジェクトとして、操作用のミニチュア仮想オブジェクト４０１を表示させてもよい。この場合、表示補正部２２４は、仮想オブジェクト１００からミニチュア仮想オブジェクト４０１を生成し、表示させる。
　これにより、たとえ仮想オブジェクト１００の全体が、構造物３００よりも奥行方向奥に配置された場合であっても、ユーザ２０１は、現実感を保ちつつ、操作を行うことができる。
　［変形例６］
　また、ディスプレイ２１５は、非透過型であってもよい。この場合、図１４に示すように、表示補正部２２４は、カラー画像カメラ２１４ａで取得したカラー画像（スルー画像５００）に、仮想オブジェクト１００および付加オブジェクト４００を重畳表示させる。
　この場合、例えば、表示端末は、透過型ディスプレイを備えるＨＭＤ２００に限定されない。例えは、非透過型ディスプレイを備えるＨＭＤ、携帯端末等の可搬型または携帯型情報処理装置であってもよい。
　［変形例７］
　また、操作指示の入力は、視線、ジェスチャだけに限定されない。音声、モーションコントローラ等を用いてもよい。
　［変形例８］
　なお、上記実施形態では、仮想オブジェクト１００の全ての操作ポイント１１０が表示されるよう、表示補正部２２４は、仮想オブジェクト１００の表示を補正しているが、これに限定されない。表示する操作ポイント１１０は、背面領域１０１の一部の操作ポイント１１０であってもよい。すなわち、背面領域１０１の、少なくとも１つの操作ポイント１１０が表示されてもよい。
　また、仮想オブジェクト１００の形状についても同様で、必ずしも全体を表示させる必要はない。背面領域１０１の一部の領域を表示させてもよい。
　なお、本発明は上記した実施形態および変形例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態および変形例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態または変形例の構成の一部を他の実施形態や変形例の構成に置き換えることが可能である。また、ある実施形態または変形例の構成に他の実施形態または変形例の構成を加えることも可能である。さらに、各実施形態または変形例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ部や、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　１００：仮想オブジェクト、１０１：背面領域、１０２：前面領域、１１０：操作ポイント、１２１：ライン、１２２：表面態様、
　２００：ＨＭＤ、２０１：ユーザ、２０２：手指、２０３：矢印、２１０：コントローラ、２１１：ＣＰＵ、２１２：ＲＡＭ、２１３：ＲＯＭ、２１４：カメラ、２１４ａ：カラー画像カメラ、２１４ｂ：距離画像カメラ、２１４ｃ：視線検出装置、２１５：ディスプレイ、２１５ａ：枠内、２１６：音声Ｉ／Ｆ、２１７：通信Ｉ／Ｆ、２１８：センサ、２１８ａ：ＧＰＳ受信機、２１８ｂ：ジャイロセンサ、２１８ｃ：加速度センサ、２１８ｄ：地磁気センサ、２１８ｅ：タッチセンサ、２１９：バス、
　２２０：表示制御部、２２１：空間認識部、２２２：指示受付部、２２３：表示データ生成部、２２４：表示補正部、２２８：画像取得部、２２９：音声出力制御部、
　２３０：記憶装置、２３１：カラー画像データ、２３２：距離画像データ、２３３：空間認識データ、２３４：仮想オブジェクトデータ、２３５：付加オブジェクトデータ、２３６：音声データ、２３７：擬音語データ、
　２４１：フレーム、
　３００：構造物、３０１：構造物、４００：付加オブジェクト、４０１：ミニチュア仮想オブジェクト、４０２：付加オブジェクト、５００：スルー画像

Claims (15)

  1. 　ディスプレイを備える表示端末であって、
    　予め定めた撮影範囲のカラー画像を取得するカラー画像カメラと、
    　前記撮影範囲の距離画像を取得する距離画像カメラと、
    　仮想オブジェクトを前記ディスプレイに表示させる表示制御部と、を備え、
    　前記表示制御部は、
    　前記カラー画像と前記距離画像とを用いて前記撮影範囲内の構造物の３次元マップを生成する空間認識部と、
    　前記３次元マップと表示させる前記仮想オブジェクトの実空間上の配置位置データとに基づいて、視線方向に関して前記構造物の背後になる当該仮想オブジェクトの領域を背面領域として特定した表示データを生成する表示データ生成部と、
    　前記表示データを補正して前記ディスプレイに表示させる表示補正部と、を備え、
    　前記表示補正部は、前記背面領域の操作ポイントを表示させるよう前記表示データを補正し、
    　前記操作ポイントは、当該操作ポイントを介して前記仮想オブジェクトに対する操作指示を受け付けるポイントであること
    　を特徴とする表示端末。
  2. 　請求項１に記載の表示端末であって、
    　前記表示補正部は、前記背面領域の前記操作ポイントを表示させる際、当該背面領域も表示させるとともに、前記仮想オブジェクトの周囲に付加オブジェクトを表示させること
    　を特徴とする表示端末。
  3. 　請求項１に記載の表示端末であって、
    　前記表示補正部は、前記背面領域の全ての前記操作ポイントを表示させること
    　を特徴とする表示端末。
  4. 　請求項１に記載の表示端末であって、
    　前記表示補正部は、前記仮想オブジェクトの前記背面領域の全ての形状を表示させること
    　を特徴とする表示端末。
  5. 　請求項２に記載の表示端末であって、
    　前記表示補正部は、前記付加オブジェクトとして、前記カラー画像の一部を表示させること
    　を特徴とする表示端末。
  6. 　請求項２に記載の表示端末であって、
    　前記表示補正部は、前記付加オブジェクトとして、前記視線方向の前記構造物の背後の構造物の前記カラー画像を表示させること
    　を特徴とする表示端末。
  7. 　請求項２に記載の表示端末であって、
    　前記表示補正部は、前記仮想オブジェクトの表示方向の変化に追随して前記付加オブジェクトを変形して表示させること
    　を特徴とする表示端末。
  8. 　請求項２に記載の表示端末であって、
    　前記表示補正部は、前記付加オブジェクトとして、前記構造物とは異なる、予め用意した画像を強調表示すること
    　を特徴とする表示端末。
  9. 　請求項２に記載の表示端末であって、
    　音声出力装置と、当該音声出力装置から音声を出力させる音声出力制御部と、をさらに備え、
    　前記音声出力制御部は、前記表示制御部が前記付加オブジェクトを表示させる際、予め定めた音声を、前記音声出力装置から出力させること
    　を特徴とする表示端末。
  10. 　請求項９に記載の表示端末であって、
    　前記表示補正部は、前記音声を表す文字列をさらに表示させること
    　を特徴とする表示端末。
  11. 　請求項１に記載の表示端末であって、
    　前記表示制御部は、前記カラー画像カメラで取得した前記撮影範囲の前記カラー画像に前記仮想オブジェクトを重畳して表示させること
    　を特徴とする表示端末。
  12. 　請求項１から１１いずれか１項に記載の表示端末であって、
    　当該表示端末は、ヘッドマウントディスプレイであること
    　を特徴とする表示端末。
  13. 　請求項１１に記載の表示端末であって、
    　当該表示端末は、携帯型情報処理装置であること
    　を特徴とする表示端末。
  14. 　ディスプレイと、予め定めた撮影範囲のカラー画像を取得するカラー画像カメラと、前記撮影範囲の距離画像を取得する距離画像カメラと、を備える表示端末の前記ディスプレイに仮想オブジェクトを表示させる表示制御システムであって、
    　前記カラー画像と前記距離画像とを用いて前記撮影範囲内の構造物の３次元マップを生成する空間認識部と、
    　前記３次元マップと表示させる前記仮想オブジェクトの実空間上の配置位置データとに基づいて、視線方向に関して前記構造物の背後になる当該仮想オブジェクトの領域を背面領域として特定した表示データを生成する表示データ生成部と、
    　前記表示データを補正して前記ディスプレイに表示させる表示補正部と、を備え、
    　前記表示補正部は、前記背面領域の操作ポイントを表示させるよう前記表示データを補正し、
    　前記操作ポイントは、当該操作ポイントを介して前記仮想オブジェクトに対する操作指示を受け付けるポイントであること
    　を特徴とする表示制御システム。
  15. 　ディスプレイと、予め定めた撮影範囲のカラー画像を取得するカラー画像カメラと、前記撮影範囲の距離画像を取得する距離画像カメラと、を備える表示端末の前記ディスプレイに仮想オブジェクトを表示させる表示制御方法であって、
    　前記カラー画像と前記距離画像とを用いて予め作成された前記撮影範囲内の構造物の３次元マップと、表示させる前記仮想オブジェクトの実空間上の配置位置データとに基づいて、視線方向に関して前記構造物の背後になる当該仮想オブジェクトの領域を背面領域として特定した表示データを生成し、
    　前記表示データを、前記背面領域の操作ポイントが表示されるよう補正して前記ディスプレイに表示させ、
    　前記操作ポイントは、当該操作ポイントを介して前記仮想オブジェクトに対する操作指示を受け付けるポイントであること
    　を特徴とする表示制御方法。
PCT/JP2018/045883 2018-12-13 2018-12-13 表示端末、表示制御システムおよび表示制御方法 WO2020121483A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201880100103.1A CN113168820A (zh) 2018-12-13 2018-12-13 显示终端、显示控制系统以及显示控制方法
PCT/JP2018/045883 WO2020121483A1 (ja) 2018-12-13 2018-12-13 表示端末、表示制御システムおよび表示制御方法
US17/413,257 US11651567B2 (en) 2018-12-13 2018-12-13 Display terminal, display control system and display control method
JP2020559642A JP7194752B2 (ja) 2018-12-13 2018-12-13 表示端末、表示制御システムおよび表示制御方法
JP2022197561A JP7496403B2 (ja) 2018-12-13 2022-12-12 表示端末
US18/299,113 US11972532B2 (en) 2018-12-13 2023-04-12 Display terminal, display control system and display control method
US18/595,254 US20240203073A1 (en) 2018-12-13 2024-03-04 Display terminal, display control system and display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/045883 WO2020121483A1 (ja) 2018-12-13 2018-12-13 表示端末、表示制御システムおよび表示制御方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/413,257 A-371-Of-International US11651567B2 (en) 2018-12-13 2018-12-13 Display terminal, display control system and display control method
US18/299,113 Continuation US11972532B2 (en) 2018-12-13 2023-04-12 Display terminal, display control system and display control method

Publications (1)

Publication Number Publication Date
WO2020121483A1 true WO2020121483A1 (ja) 2020-06-18

Family

ID=71077159

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/045883 WO2020121483A1 (ja) 2018-12-13 2018-12-13 表示端末、表示制御システムおよび表示制御方法

Country Status (4)

Country Link
US (3) US11651567B2 (ja)
JP (2) JP7194752B2 (ja)
CN (1) CN113168820A (ja)
WO (1) WO2020121483A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023286321A1 (ja) * 2021-07-12 2023-01-19 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及びプログラム
EP4207084A1 (en) * 2020-08-25 2023-07-05 Maxell, Ltd. 3d virtual-reality display device, head-mounted display, and 3d virtual-reality display method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013196492A (ja) * 2012-03-21 2013-09-30 Toyota Central R&D Labs Inc 画像重畳処理装置、方法およびプログラム
WO2014141504A1 (ja) * 2013-03-11 2014-09-18 Ｎｅｃソリューションイノベータ株式会社 ３次元ユーザインタフェース装置及び３次元操作処理方法
US20180046245A1 (en) * 2016-08-11 2018-02-15 Microsoft Technology Licensing, Llc Mediation of interaction methodologies in immersive environments
JP2018132847A (ja) * 2017-02-14 2018-08-23 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9514574B2 (en) 2013-08-30 2016-12-06 Qualcomm Incorporated System and method for determining the extent of a plane in an augmented reality environment
JP2016142887A (ja) 2015-02-02 2016-08-08 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US10559130B2 (en) * 2015-08-31 2020-02-11 Microsoft Technology Licensing, Llc Displaying image data behind surfaces
EP3496045A4 (en) 2016-08-05 2019-07-31 Sony Corporation INFORMATION PROCESSING DEVICE, METHOD AND COMPUTER PROGRAM
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
EP3650984B1 (en) 2017-06-06 2022-10-26 Maxell, Ltd. Mixed reality display system
WO2019163129A1 (ja) * 2018-02-26 2019-08-29 三菱電機株式会社 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム
JP6698971B2 (ja) * 2018-02-26 2020-05-27 三菱電機株式会社 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム
US11120632B2 (en) * 2018-10-16 2021-09-14 Sony Interactive Entertainment Inc. Image generating apparatus, image generating system, image generating method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013196492A (ja) * 2012-03-21 2013-09-30 Toyota Central R&D Labs Inc 画像重畳処理装置、方法およびプログラム
WO2014141504A1 (ja) * 2013-03-11 2014-09-18 Ｎｅｃソリューションイノベータ株式会社 ３次元ユーザインタフェース装置及び３次元操作処理方法
US20180046245A1 (en) * 2016-08-11 2018-02-15 Microsoft Technology Licensing, Llc Mediation of interaction methodologies in immersive environments
JP2018132847A (ja) * 2017-02-14 2018-08-23 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4207084A1 (en) * 2020-08-25 2023-07-05 Maxell, Ltd. 3d virtual-reality display device, head-mounted display, and 3d virtual-reality display method
EP4207084A4 (en) * 2020-08-25 2024-05-01 Maxell, Ltd. 3D VIRTUAL REALITY DISPLAY DEVICE, HEAD-MOUNTED DISPLAY AND 3D VIRTUAL REALITY DISPLAY METHOD
WO2023286321A1 (ja) * 2021-07-12 2023-01-19 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP7194752B2 (ja) 2022-12-22
JP7496403B2 (ja) 2024-06-06
US11972532B2 (en) 2024-04-30
US20230245407A1 (en) 2023-08-03
US11651567B2 (en) 2023-05-16
US20220044483A1 (en) 2022-02-10
US20240203073A1 (en) 2024-06-20
JPWO2020121483A1 (ja) 2021-10-28
JP2023024540A (ja) 2023-02-16
CN113168820A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
US11386626B2 (en) Information processing apparatus, information processing method, and program
US10452128B2 (en) Information processing apparatus and information processing method
JP7496403B2 (ja) 表示端末
US11036053B2 (en) Program, information processing method, information processing system, head-mounted display device, and information processing device
CN110554770A (zh) 静态遮挡物
JP7078234B2 (ja) 拡張現実空間に配置される３ｄオブジェクトを生成する方法
JP7480388B2 (ja) ヘッドマウント情報処理装置
JP6262283B2 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP2017201477A (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP2023065528A (ja) ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
CN115543138A (zh) 显示控制方法和装置、增强现实头戴设备及介质
JP2017228322A (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP6999822B2 (ja) 端末装置および端末装置の制御方法
WO2020071144A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2017201524A (ja) 仮想空間を提供する方法、プログラム、および記録媒体
US20230065077A1 (en) Displaying a Rendered Volumetric Representation According to Different Display Modes
WO2023037547A1 (ja) 携帯情報端末及びオブジェクト表示方法
JP6332658B1 (ja) 表示制御装置、及びプログラム
CN117707332A (zh) 信息处理设备、控制方法和非暂态计算机存储介质
CN112578983A (zh) 手指取向触摸检测

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18943277

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020559642

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18943277

Country of ref document: EP

Kind code of ref document: A1