WO2022202205A1 - 表示装置、表示装置の制御方法及びプログラム - Google Patents

表示装置、表示装置の制御方法及びプログラム Download PDF

Info

Publication number
WO2022202205A1
WO2022202205A1 PCT/JP2022/009251 JP2022009251W WO2022202205A1 WO 2022202205 A1 WO2022202205 A1 WO 2022202205A1 JP 2022009251 W JP2022009251 W JP 2022009251W WO 2022202205 A1 WO2022202205 A1 WO 2022202205A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
space
virtual space
user
real
Prior art date
Application number
PCT/JP2022/009251
Other languages
English (en)
French (fr)
Inventor
浩史 野口
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2022202205A1 publication Critical patent/WO2022202205A1/ja
Priority to US18/465,200 priority Critical patent/US20230418375A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present invention relates to a display device, a display device control method, and a program.
  • Patent Literature 1 describes that coordinate data from a three-dimensional sensor is held as reference coordinates in a real three-dimensional space, and is matched with a reference position in a virtual three-dimensional space, thereby correcting the viewpoint position of the user. It is
  • Such display devices are required to appropriately provide the user with a virtual space.
  • the present embodiment aims to provide a display device, a control method for the display device, and a program capable of appropriately associating the coordinates of the real space with the coordinates of the virtual space.
  • a display device is a display device that is worn by a user and provides the user with a virtual space, and is a display device that acquires information on a virtual movement area in which the user can move in the virtual space.
  • a space information acquisition unit a real space information acquisition unit for acquiring information of a real movement area in which the user can move in a real space in which the user actually exists, and the virtual movement when the virtual space and the real space are superimposed.
  • a correspondence acquisition unit configured to acquire a correspondence relationship between the virtual space and the real space, which is set based on an overlapping area of the area and the real movement area; the correspondence relationship and the real space.
  • a display control unit that causes a display unit to display an image for the virtual space based on the position of the display device in the virtual space.
  • a method of controlling a display device is a method of controlling a display device that is worn by a user and provides the user with a virtual space, and includes a virtual movement area in which the user can move in the virtual space. obtaining information of a real movement area in which the user can move in a real space in which the user actually exists; and when the virtual space and the real space are superimposed, the virtual movement area and the a step of acquiring a correspondence relationship between the virtual space and the real space, which is set based on an overlapping area that is an area where the real movement region overlaps; and causing a display unit to display an image for the virtual space based on the position.
  • a program is a program that causes a computer to execute a control method of a display device that is worn by a user and provides the user with a virtual space. a step of acquiring information on a movement area; a step of acquiring information on a real movement area in which the user can move in a real space in which the user actually exists; a step of obtaining a correspondence relationship between the virtual space and the real space, which is set based on an overlapping area of the area and the real movement area, and the correspondence relationship and the display in the real space. causing a computer to display an image for the virtual space on the display unit based on the position of the device.
  • the virtual space can be appropriately provided to the user.
  • FIG. 1 is a schematic diagram illustrating an example of real space and virtual space.
  • FIG. 2 is a schematic block diagram of the display device according to this embodiment.
  • FIG. 3 is a schematic diagram showing an example of the virtual space.
  • FIG. 4 is a schematic diagram showing an example of real space.
  • FIG. 5 is a schematic diagram showing an example of superimposition of virtual space and real space.
  • FIG. 6 is a schematic diagram showing another example of superimposition of virtual space and real space.
  • FIG. 7 is a flowchart for explaining the display flow of images in virtual space.
  • FIG. 8 is a schematic diagram illustrating an example of a priority area.
  • FIG. 9 is a schematic diagram showing another example of superimposition of virtual space and real space.
  • FIG. 10 is a schematic diagram showing an example in which the user is visually recognizing the virtual space.
  • FIG. 11 is a schematic diagram showing another example of superimposition of virtual space and real space.
  • FIG. 1 is a schematic diagram illustrating an example of real space and virtual space.
  • the display device 10 according to this embodiment is a display device that displays an image. As shown in FIG. 1, the display device 10 is a so-called HMD (Head Mount Display) worn on the user's U head.
  • the display device 10 provides the user U with a virtual space by displaying an image.
  • the physical space in which the user U actually exists is defined as a real space SR
  • the virtual space provided to the user U by the display device 10 is defined as a virtual space SV.
  • the display device 10 displays the image for the virtual space SV in accordance with the motion (line of sight) of the user U in the real space SR.
  • the virtual space SV here is MR (Mixed Reality), and is a space that reproduces a real place away from the place where the user U exists. That is, it may be VR (Vertial Reality).
  • MR Mated Reality
  • a horizontal direction orthogonal to the direction XR is defined as a direction YR
  • a vertical direction is defined as a direction ZR.
  • one horizontal direction is defined as a direction XV
  • a horizontal direction orthogonal to the direction XV is defined as a direction YV
  • a vertical direction is defined as a direction ZV.
  • FIG. 2 is a schematic block diagram of the display device according to this embodiment.
  • the display device 10 can be said to be a computer, and as shown in FIG. Prepare.
  • the input unit 20 is a mechanism that receives an operation by the user U, and may be, for example, a controller or a microphone provided in an HMD.
  • the display unit 22 is a display that displays images.
  • the display unit 22 provides the user U with the virtual space SV by outputting an image.
  • the display device 10 may include, in addition to the display unit 22, a device that outputs information, such as a speaker that outputs sound.
  • the storage unit 24 is a memory that stores various kinds of information such as calculation contents and programs of the control unit 30.
  • the storage unit 24 includes a main storage device such as a RAM (Random Access Memory), a ROM (Read Only Memory), an HDD ( At least one of external storage devices such as Hard Disk Drive).
  • the program for the control unit 30 stored in the storage unit 24 may be stored in a recording medium readable by the display device 10 .
  • the communication unit 26 is a communication module that communicates with an external device, such as an antenna.
  • an external device such as an antenna.
  • the display device 10 communicates with an external device by wireless communication, wired communication may be used, and any communication method may be used.
  • the real space detection unit 28 is a sensor that detects the surroundings of the display device 10 (user U) in the real space SR.
  • the real space detection unit 28 detects an object existing around the display device 10 (user U) in the real space SR, and is a camera in this embodiment.
  • the real space detection unit 28 is not limited to being a camera as long as it can detect an object existing in the real space SR around the display device 10 (user U). may be
  • the control unit 30 is an arithmetic device and includes an arithmetic circuit such as a CPU (Central Processing Unit).
  • Control unit 30 includes virtual space information acquisition unit 40 , real space information acquisition unit 42 , correspondence acquisition unit 44 , display control unit 46 , and avatar information transmission unit 48 .
  • the control unit 30 controls a virtual space information acquisition unit 40, a real space information acquisition unit 42, a correspondence acquisition unit 44, a display control unit 46, and an avatar information transmission unit. 48 and perform those processes.
  • the control unit 30 may execute these processes by one CPU, or may be provided with a plurality of CPUs and may execute the processes by the plurality of CPUs.
  • at least part of the processing of the virtual space information acquisition unit 40, the real space information acquisition unit 42, the correspondence acquisition unit 44, the display control unit 46, and the avatar information transmission unit 48 may be realized by hardware circuits. .
  • the virtual space information acquisition unit 40 acquires information on the virtual space SV.
  • the virtual space information acquisition unit 40 acquires information on the virtual space SV from an external device (server) via the communication unit 26, for example.
  • the information of the virtual space SV includes image data of the virtual space SV in the coordinate system of the virtual space SV.
  • the image data of the virtual space SV indicates the coordinates, shape, etc. of the object displayed as the image for the virtual space SV.
  • the virtual space SV is not constructed according to the environment around the user U in the real space SR, but is set in advance regardless of the environment around the user U in the real space SR. It is what is done.
  • FIG. 3 is a schematic diagram showing an example of the virtual space.
  • FIG. 3 is an example of a plan view when the virtual space SV is viewed from the ZV direction.
  • the virtual space information acquisition unit 40 also acquires information on the movable area AV2 (virtual movement area) in the virtual space SV as information on the virtual space SV. That is, the virtual space information acquisition unit 40 also acquires information indicating the position occupied by the movable area AV2 in the coordinate system of the virtual space SV.
  • the movable area AV2 is an area in which the avatar UV of the user U can move (or a space in which the avatar UV can move) in the virtual space SV.
  • the movable area AV2 may be, for example, the floor of a room where avatars gather in the virtual space SV. It may be an attention area (for example, a desk, a screen, etc.) in a meeting at SV.
  • the movable area AV2 may be set in advance, for example, when setting the virtual space SV. may be set.
  • the virtual space SV and the non-movable area AV1 when viewed from the ZV direction are rectangular, but this is only an example, and the shapes and sizes of the virtual space SV, the non-movable area AV1, and the movable area AV2 are shown.
  • the height is not limited to the example in FIG. 3 and may be arbitrary.
  • the real space information acquisition unit 42 acquires information on the real space SR.
  • the information of the real space SR refers to position information indicating the coordinates and shape of an object existing around the display device 10 (the user U) in the coordinate system of the real space SR.
  • the real space information acquisition unit 42 controls the real space detection unit 28 to detect objects around the display device 10 (user U), and the detection result is Acquired as information of space SR.
  • the method of obtaining information on the real space SR is not limited to detection by the real space detection unit 28 .
  • information of the real space SR such as layout information of the room of the user U, is set in advance, and the real space information acquisition unit 42 may acquire the set information of the real space SR.
  • FIG. 4 is a schematic diagram showing an example of real space.
  • FIG. 4 is an example of a plan view when the real space SR is viewed from the ZR direction.
  • the real space information acquisition unit 42 acquires information on the movable area AR2 (actual movement area) in the real space SR. That is, the real space information acquisition unit 42 acquires information indicating the position occupied by the movable area AR2 in the coordinate system of the real space SR.
  • the movable area AR2 is an area in which the user U can move (or a space in which the user U can move) in the real space SR, and an area in which the user U cannot move (or a space in which the user U cannot move). ) except for the immovable area AR1.
  • the movable area AR2 may be, for example, the floor of the room where the user U is present, and the non-movable area AR1 may be, for example, an area in the virtual space SV where there are obstacles (for example, desks, beds, etc.) that the user U cannot pass through. and so on.
  • the real space information acquisition unit 42 sets the movable area AR2 and the immovable area AR1 based on the information of the real space SR.
  • the real space information acquisition unit 42 identifies the position of the object that the user U cannot move based on the information of the real space SR, and defines the area (or space) occupied by the object that the user U cannot move as a movement-impossible area AR1.
  • An area (or space) where there is no object that cannot move may be set as the movable area AR2.
  • the movable area AR2 and the immovable area AR1 are not limited to being set based on the information of the real space SR.
  • information on the movable area AR2 and the non-movable area AR1 is set in advance, such as layout information of the user U's room, and the real space information acquisition unit 42 acquires information on the set movable area AR2 and the non-movable area AR1. may be obtained.
  • FIG. 4 is merely an example, and the shapes and sizes of the real space SR, the immovable area AR1, and the movable area AR2 are not limited to the example in FIG. 4, and may be arbitrary.
  • the correspondence acquiring unit 44 determines the coordinate system of the virtual space SV and A correspondence relationship with the coordinate system of the real space SR is set.
  • the correspondence relationship between the coordinate system of the virtual space SV and the coordinate system of the real space SR can be said to be information indicating the position and orientation of the real space SR in the coordinate system of the virtual space SV.
  • the display device 10 displays the following when the user U's viewpoint (avatar UV) exists at a position in the virtual space SV corresponding to the reference position in the real space SV. An image of the virtual space SV is displayed.
  • the processing of the correspondence acquisition unit 44 will be specifically described below.
  • FIG. 5 is a schematic diagram showing an example of superimposition of virtual space and real space.
  • the correspondence acquisition unit 44 superimposes the virtual space SV acquired by the virtual space information acquisition unit 40 and the real space SR acquired by the real space information acquisition unit 42 in a common coordinate system.
  • the correspondence acquisition unit 44 converts the coordinates of the immovable area AV1 and the movable area AV2 in the virtual space SV and the coordinates of the immovable area AR1 and the movable area AR2 in the virtual space SR into a common coordinate system.
  • the immovable area AV1 and movable area AV2 and the immovable area AR1 and movable area AR2 are superimposed in a common coordinate system.
  • the common coordinate system may be any coordinate system, and in the example of FIG. 5, one direction along the horizontal direction in the common coordinate system is defined as the direction X, and A direction Y is the direction in which the vertical direction is set, and Z is the vertical direction.
  • the correspondence acquisition unit 44 obtains the area of the overlapping area (or the volume of the overlapping space) of the movable area AV2 and the movable area AR2 when the virtual space SV and the real space SR are overlapped in a common coordinate system. is calculated as the overlapping area.
  • the correspondence acquisition unit 44 calculates the correspondence between the coordinate system of the virtual space SV and the coordinate system of the real space SR based on the calculated superimposed area.
  • the correspondence acquisition unit 44 moves at least one of the relative positions and relative orientations of the virtual space SV and the real space SR in a common coordinate system while superimposing Calculate area.
  • the correspondence acquisition unit 44 obtains an overlap between the movable area AV2 and the movable area AR2 for each of the virtual space SV and the real space SR that differ in at least one of the relative position and the relative orientation in the common coordinate system. Calculate area.
  • FIG. 5 shows an example of moving the position and orientation of the virtual space SR while fixing the position and orientation of the real space SV in a common coordinate system. While fixing the position and orientation of , the position and orientation of the real space SV may be moved to calculate the superimposed area.
  • the correspondence acquisition unit 44 determines the relationship between the coordinate system of the virtual space SV and the real space SR based on the superimposed area for each combination of the virtual space SV and the real space SR that differ in at least one of the relative positions and relative orientations in the common coordinate system. Set the correspondence with the coordinate system. More specifically, the correspondence acquisition unit 44 selects the virtual space SV and the real space SR that have the largest overlapping area among combinations of the virtual space SV and the real space SR that differ in at least one of the relative position and the relative orientation. Extract the combination.
  • the correspondence acquisition unit 44 determines the correspondence between the extracted coordinate system of the virtual space SV and the coordinate system of the real space SR (for converting the extracted coordinate system of the real space SR into the extracted coordinate system of the virtual space SV). ) is calculated and set as a correspondence relationship between the coordinate system of the virtual space SV and the coordinate system of the real space SR. In other words, the correspondence acquisition unit 44 extracts the virtual space SV at the position and orientation where the superimposed area is maximized, and associates the extracted coordinate system of the virtual space SV with the coordinate system of the real space SR.
  • FIG. 6 is a schematic diagram showing another example of superimposition of virtual space and real space.
  • the correspondence acquisition unit 44 superimposes the virtual space SV on the real space SR while changing the position and orientation of the virtual space SV while fixing the size of the virtual space SV.
  • the correspondence acquisition unit 44 calculates the superimposed area while changing the relative sizes of the virtual space SV and the real space SR in the common coordinate system, as shown in the example of FIG.
  • the correspondence acquisition unit 44 calculates the overlapping area of the movable area AV2 and the movable area AR2 for each combination of the virtual space SV and the real space SR that have different relative sizes in the common coordinate system. do. Even when the relative sizes are changed, the area ratio of the non-movable area AV1 and the movable area AV2 to the virtual space SV and the area ratio of the non-movable area AR1 and the movable area AR2 to the real space SR remain fixed. It is preferable to In other words, it is preferable to uniformly scale the entirety of the virtual space SV and the real space SR without scaling only a part of the virtual space SV and the real space SR. In the example of FIG. 6, the size of the virtual space SR is changed while fixing the size of the real space SV in a common coordinate system. may be fixed while the size of the real space SV is changed to calculate the superimposed area.
  • the correspondence acquisition unit 44 calculates the coordinate system of the virtual space SV and the real space SR based on the superimposed area for each combination of the virtual space SV and the real space SR having different relative sizes in the common coordinate system.
  • the correspondence acquisition unit 44 extracts the combination of the virtual space SV and the real space SR that maximizes the overlapping area among the combinations of the virtual space SV and the real space SR that have different relative sizes.
  • the correspondence acquisition unit 44 sets the extracted correspondence between the coordinate system of the virtual space SV and the coordinate system of the real space SR as the correspondence between the coordinate system of the virtual space SV and the coordinate system of the real space SR.
  • the correspondence acquisition unit 44 extracts the virtual space SV with the scaled scale that maximizes the superimposed area, and associates the coordinate system of the extracted virtual space SV with the size of the scaled scale with the coordinate system of the real space SR. .
  • the correspondence acquisition unit 44 calculates the superimposed area while changing the relative positions, relative orientations, and relative sizes of the virtual space SV and the real space SR in the common coordinate system. Then, the correspondence acquisition unit 44 selects the virtual space having the largest overlapping area among the combinations of the virtual space SV and the real space SR that differ in at least one of relative position, relative orientation, and relative size in the common coordinate system. A combination of SV and real space SR is extracted. Then, the correspondence acquisition unit 44 sets the extracted correspondence between the coordinate system of the virtual space SV and the coordinate system of the real space SR as the correspondence between the coordinate system of the virtual space SV and the coordinate system of the real space SR. .
  • the correspondence acquisition unit 44 has a movable area AV2 indicating a two-dimensional movable area in the virtual space SV and a movable area AV2 indicating a two-dimensional movable area in the real space SR.
  • the virtual space SV and the real space SR are associated so that the overlapping area with the area AR2 is maximized, it is not limited to maximizing the two-dimensional overlapping area.
  • the correspondence acquisition unit 44 indicates a movable area AV2 (virtual movement space) indicating a three-dimensional movable space in the virtual space SV and a three-dimensional movable space in the real space SR.
  • the virtual space SV and the real space SR may be associated so that the superimposed volume with the movable area AR2 (real movement space) is maximized.
  • the correspondence acquiring unit 44 superimposes the virtual space SV and the real space SR on the common coordinate system to calculate the superimposed area, and based on the superimposed area, the coordinate system of the virtual space SV and the real space are calculated. A coordinate system of the space SR and a corresponding relationship are set.
  • the calculation of the superimposed area and the setting of the correspondence relationship are not limited to being performed by the correspondence acquisition unit 44 .
  • an external device may calculate the superimposed area, and the correspondence acquisition unit 44 may acquire information on the superimposed area from the external device and set the correspondence based on that information.
  • an external device may calculate the superimposed area and set the correspondence based on the superimposed area, and the correspondence acquiring unit 44 may acquire information on the correspondence from the external device.
  • Display control unit Based on the correspondence relationship between the coordinate system of the virtual space SV and the coordinate system of the real space SR set by the correspondence acquisition unit 44, and the position of the user U (display device 10) in the real space SR, An image for the virtual space SR is displayed on the display unit 22 .
  • the display control unit 46 acquires information on the position and orientation of the user U in the real space SR, and based on the correspondence relationship, converts the position and orientation of the user U in the real space SR into the coordinate system of the virtual space SV. to the position and orientation of the user U's viewpoint (avatar UV) in .
  • the display control unit 46 causes the display unit 22 to display an image of the virtual space SV when the virtual space SV is viewed from the calculated position and direction of the viewpoint of the user U as an image for the virtual space SV.
  • Information on the position and orientation of the user U (display device 10) in the real space SR may be obtained by any method. ).
  • the position and orientation of the user U in the real space SR are reflected in the position and orientation of the viewpoint of the user U in the virtual space SV. Therefore, when the user U moves in the real space SR, the position and orientation of the viewpoint of the user U (that is, the position and orientation of the avatar UV) in the virtual space SV also move.
  • the amount of movement of the user U in the real space SR and the amount of movement of the viewpoint of the user U in the virtual space SV are preferably associated with each other. More specifically, if the size of the virtual space SV is changed in the common coordinate system when setting the correspondence, it is preferable to reflect the degree of change in the size of the virtual space SV in the amount of movement. .
  • the display control unit 46 determines the amount of movement of the user U in the real space SR.
  • the image for the virtual space SV is displayed on the display unit 22 assuming that the viewpoint of the user U has moved in the virtual space SV by the reciprocal of the change rate. That is, the display control unit 46 displays, on the display unit 22, an image of the virtual space SV from the point of view in which the user U has moved in the real space SR by an amount of movement equal to the reciprocal of the change rate.
  • the display control unit 46 sets the amount of movement of the user U in the real space SR by half.
  • the image of the virtual space SV from the viewpoint moved by the amount of movement is displayed on the display unit 22 .
  • the display control unit 46 may superimpose an object in the real space SR on the image of the virtual space SV.
  • the display unit 22 may provide an AR (Augmented Reality) that displays an image of the virtual space SV while transmitting the image of the real space SR.
  • An image showing the object may be superimposed and displayed.
  • the space portion that does not overlap with the movable area AR2 in the real space SR is deleted from the image of the virtual space SV, or information is presented as a non-movable area. Also good.
  • the display device 10 displays an image for the virtual space SV based on the correspondence relationship between the coordinate system of the virtual space SV and the coordinate system of the real space SR set in this way, so that the user U can A virtual space SV can be appropriately provided.
  • the user U moves in the real space SR while viewing the virtual space SV. That is, the user U tries to move within the movable area AV2 in the virtual space SV, but the area in which the user U can actually move is the movable area AR2 in the real space SR. In this way, the movable area recognized by the user U is different from the actual movable area.
  • the virtual space SV and the real space SR are associated so that the overlapping area between the movable area AV2 in the virtual space SV and the movable area AR2 in the real space SR is large. , the gap between the movable area recognized by the user U and the actual movable area is reduced, and the maximum possible movable area for the user U can be secured. Therefore, the display device 10 can appropriately provide the virtual space SV even when the user U moves.
  • the avatar information transmission unit 48 transmits information on the avatar UV of the user U in the virtual space SV to external information via the communication unit 26 .
  • the avatar information transmission unit 48 acquires information on the position and orientation of the user U in the real space SR, and based on the correspondence relationship between the coordinate system of the real space SR and the coordinate system of the virtual space SV, the position of the user U in the real space SR.
  • the position and orientation are converted into the position and orientation of the avatar UV in the coordinate system of the virtual space SV.
  • the avatar information transmission unit 48 transmits information on the position and orientation of the avatar UV in the coordinate system of the virtual space SV and image data (data indicating the shape etc.) of the avatar UV to an external device.
  • the external device transmits information on the position and orientation of the avatar UV in the coordinate system of the virtual space SV and image data of the avatar UV as image data of the virtual space SV to a display device used by another user. .
  • the display device displays image data of the virtual space SVG including the image of the avatar UV to the user wearing the display device.
  • FIG. 7 is a flowchart for explaining the display flow of images in virtual space.
  • the display device 10 acquires information of the virtual space SV by the virtual space information acquisition unit 40 (step S10), and acquires information of the real space SR by the real space information acquisition unit 42 (step S12). Then, the display device 10 changes at least one of the relative positions, the relative orientations, and the relative sizes of the virtual space SV and the real space SR by the correspondence acquisition unit 44, and changes the virtual space SV and the real space SR.
  • a superimposed area is calculated by superimposing them in a common coordinate system (step S14).
  • the correspondence acquisition unit 44 extracts a combination of the virtual space SV and the real space SR that maximizes the superimposed area from among the combinations of the virtual space SV and the real space SR (step S16). and the coordinate system of the real space SR are set (step S18).
  • the display device 10 causes the display control unit 46 to display an image of the virtual space SV on the display unit 22 based on the set correspondence relationship and the position of the display device 10 (user U) in the real space SR (step S20 ).
  • the display device 10 is worn by the user U to provide the user U with the virtual space SV.
  • a correspondence acquisition unit 44 acquires information on a movable area AV2 (virtual movement area) in which the user U (avatar UV) can move in the virtual space SV.
  • the real space information acquisition unit 42 acquires information on a movable area AR2 (actual movement area) in which the user U can move in the real space SR where the user U actually exists.
  • the correspondence acquisition unit 44 acquires the correspondence between the coordinate system of the virtual space SV and the coordinate system of the real space SR, which is set based on the superimposed area.
  • the overlapping area is the area where the movable area AV2 (virtual movement area) and the movable area AR2 (actual movement area) overlap when the virtual space SV and the real space SR are overlapped in a common coordinate system.
  • the display control unit 46 causes the display unit 22 to display an image for the virtual space SV based on the correspondence relationship and the position of the display device 10 in the real space SR.
  • the display device 10 When the virtual space SV is provided to the user U from the display device 10, the movable area in the virtual space SV recognized by the user U is different from the actually movable area in the real space SR. Become.
  • the display device 10 associates the virtual space SV with the real space SR based on the overlapping area of the movable area AV2 in the virtual space SV and the movable area AR2 in the real space SR. Therefore, the gap between the area where the user U can move and the area where the user U can actually move is reduced, and the area where the user U can move can be secured as wide as possible. Therefore, the display device 10 can appropriately provide the virtual space SV even when the user U moves.
  • the correspondence relationship is defined as superimposition
  • the coordinate system of the virtual space SV having the maximum area is associated with the coordinate system of the real space SR.
  • the correspondence relationship is such that the superimposed area is the largest among the combinations of the virtual space SV and the real space SR in which the relative sizes of the virtual space SV and the real space SR are changed in the common coordinate system.
  • the coordinate system of the virtual space SV and the coordinate system of the real space SR are associated with each other. In this way, by changing the size of the virtual space SV with respect to the real space SR and associating the virtual space SV with the real space SR so that the superimposed area is maximized, the area in which the user U can move is maximized. can be secured.
  • the display control unit 46 changes the amount of movement of the display device 10 (user U) in the real space SR by the reciprocal of the rate of change in which the size of the virtual space SV is changed in the common coordinate system. , the image for the virtual space SV is displayed on the display unit 22 assuming that the user U has moved in the virtual space SV. Since the display device 10 according to the present embodiment sets the movement amount in the virtual space SV in consideration of the reduction scale when superimposing on the actual movement amount of the user U, the virtual space SV can be properly provided.
  • a non-movable area AR1 (for example, an actual obstacle) in the real space SR is located around the non-movable area AV1 (for example, an attention area) in the virtual space SV, and is an obstacle when approaching the attention area in the virtual space SV. It is assumed that there is a possibility that In preparation for such a case, the correspondence acquisition unit 44 sets a priority area in the movable area AV2 in the virtual space SV so that the priority area does not overlap with the immovable area AR1 in the real space SR.
  • the space SV and the real space SR may be superimposed. More specific description will be given below.
  • FIG. 8 is a schematic diagram explaining an example of the priority area
  • FIG. 9 is a schematic diagram showing another example of superimposing the virtual space and the real space.
  • the correspondence acquisition unit 44 sets a priority area within the movable area AV2 of the virtual space SV.
  • the priority area is an area in which, when the virtual space SV and the real space SR are superimposed, it is prioritized not to overlap the immovable area AR1 but to overlap the movable area AR2.
  • the correspondence acquisition unit 44 may set the priority area by any method. , may be set as priority areas. Also, the correspondence acquisition unit 44 may set a plurality of priority areas with different degrees of priority. In the example of FIG.
  • the correspondence acquisition unit 44 sets a priority area AV2a around the immovable area AV1, and sets a priority area AV2b around the priority area AV2a.
  • the priority area AV2a which is closer to the non-movable area AV1 is set to have a higher priority than the priority area AV2b.
  • the area other than the priority area in the movable area AV2 will be appropriately referred to as the non-priority area. That is, in the example of FIG. 9, the area outside the priority area AV2b becomes the non-priority area AV2c.
  • the correspondence acquisition unit 44 superimposes the virtual space SV in which the priority area is set and the real space SR in a common coordinate system.
  • the correspondence acquisition unit 44 obtains at least one of the relative position, relative orientation, and relative size between the virtual space SV and the real space SR in the common coordinate system. While changing, the superimposed area is calculated, and the correspondence relationship between the coordinate system of the virtual space SV and the coordinate system of the real space SR is set from the combination of the virtual space SV and the real space SR that maximizes the superimposed area.
  • the size of the priority overlapping area which is the area where the priority area and the movable area AR2 overlap
  • the size of the non-prioritized overlapping area which is the area where the non-prioritized area and the movable area AR2 overlap.
  • the superimposed area is calculated so as to greatly affect the calculated superimposed area. That is, the superimposed area is calculated so as to increase as the priority superimposed area and the non-prioritized superimposed area increase. It is larger than the degree to which the superimposed area increases when the priority superimposed area increases by a unit amount.
  • the correspondence acquisition unit 44 of this example assigns a weight to the priority superimposed area, and calculates the sum of the value obtained by multiplying the priority superimposed area by the weight and the non-prioritized superimposed area as the superimposed area.
  • the degree of influence of the priority overlapping area (priority area) on the overlapping area becomes greater than the degree of influence of the non-prioritizing overlapping area (non-priority area) on the overlapping area.
  • the priority area is set to have a greater degree of influence on the size of the overlapping area than the non-priority area (the area within the movable area AV2 other than the priority area).
  • the non-priority area the area within the movable area AV2 other than the priority area.
  • a different weight value may be set for each priority area. In this case, in the example of FIG. 8, the weight of the priority area AV2a closer to the non-movable area AV1 is set higher than the weight of the priority area AV2b.
  • FIG. 10 is a schematic diagram showing an example in which the user is visually recognizing the virtual space.
  • a non-movable area AV1a which is an area of interest in the virtual space SV, is positioned at a position in the height direction (ZR direction in real space coordinates) relative to the non-movable area AR1, which is an obstacle in the real space SV. It is conceivable that the regions of interest in the virtual space SV may be hidden due to overlap.
  • the correspondence acquisition unit 44 adjusts the position in the height direction of the real space SR and the virtual space SV so that the positions in the height direction of the immovable area AV1 and the immovable area AR1 do not overlap. may be set to correspond to the position in the height direction.
  • the position of the movement-impossible area can be set at a position that does not overlap with the movement-impossible area AR1.
  • the setting of the correspondence between the position in the height direction of the real space SR and the position in the height direction of the virtual space SV may be automatically performed by the correspondence obtaining unit 44, or may be performed by the user U's input.
  • FIG. 11 is a schematic diagram showing another example of superimposition of virtual space and real space.
  • the correspondence acquisition unit 44 compares the shapes of the real space SR and the virtual space SV, and determines, in the real space SR, a region whose shape is similar to that of the virtual space SV. Extract as SRS. Then, as shown in the example of FIG.
  • the correspondence acquisition unit 44 transforms the virtual space SV into the real space SR while changing at least one of the relative position, relative orientation, and relative size between the virtual space SV and the real space SR. , the virtual space SV and the similar region are superimposed.
  • the correspondence acquisition unit 44 calculates the correspondence between the coordinate system of the virtual space SV superimposed on the similar region SRS and the coordinate system of the real space SR. In this way, by superimposing the virtual space SV on an area with a high degree of similarity, the difference between the area where the user U can move and the area where the user U can actually move is reduced, and the area where the user U can move is reduced. can be secured as wide as possible.
  • the superimposed area need not be considered when superimposing, but the present invention is not limited to this, and the superimposed area may also be taken into consideration. That is, for example, the correspondence acquisition unit 44 may superimpose the virtual space SV and the real space SR so that the degree of similarity increases and the superimposed area increases.
  • the embodiment is not limited by the contents of these embodiments.
  • the components described above include those that can be easily assumed by those skilled in the art, those that are substantially the same, and those within the so-called equivalent range.
  • the components described above can be combined as appropriate, and it is also possible to combine the configurations of the respective embodiments.
  • various omissions, replacements, or modifications of components can be made without departing from the gist of the above-described embodiments.
  • the display device, display device control method, and program of the present embodiment can be used, for example, for image display.
  • REFERENCE SIGNS LIST 10 display device 22 display unit 40 virtual space information acquisition unit 42 real space information acquisition unit 44 correspondence acquisition unit 46 display control unit AR2 movable area (actual movement area) AV2 movable area (virtual movement area) SR Real space SV Virtual space U User

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

ユーザに仮想空間を適切に提供する。表示装置は、ユーザに装着されてユーザに仮想空間（ＳＶ）を提供するものであって、仮想空間（ＳＶ）においてユーザが移動可能な移動可能領域（ＡＶ２）の情報を取得する仮想空間情報取得部と、ユーザが実在する実空間（ＳＲ）においてユーザが移動可能な移動可能領域（ＡＲ２）の情報を取得する実空間情報取得部と、仮想空間（ＳＶ）と実空間（ＳＲ）とを重畳した場合に移動可能領域（ＡＶ２）と移動可能領域（ＡＲ２）とが重畳する面積である重畳面積に基づいて設定された、仮想空間（ＳＶ）と実空間（ＳＲ）との対応関係を取得する対応関係取得部と、対応関係と、実空間（ＳＲ）における表示装置の位置とに基づき、仮想空間（ＳＶ）用の画像を表示部に表示させる表示制御部と、を含む。

Description

表示装置、表示装置の制御方法及びプログラム
　本発明は、表示装置、表示装置の制御方法及びプログラムに関する。
　昨今、情報機器が大きな進化をしている。そしてその代表例であるスマートフォンだけでなく、所謂ウエラブル機器も普及してきた。ウエラブル機器としては、直接視覚を刺激する眼鏡タイプのＨＭＤ（ヘッドマウントディスプレイ）が知られている。このようなＨＭＤを用いると、ユーザの視線方向に合わせて映像を表示することで、ユーザＵに仮想空間を提供することができる。例えば特許文献１には、３次元センサからの座標データを実３次元空間における基準座標として保持し、仮想３次元空間における基準位置に一致させることで、使用者の視点位置補正を行う旨が記載されている。
特開平９－３１１６１８号公報
　このような表示装置においては、ユーザに仮想空間を適切に提供することが求められている。
　本実施形態は、上記課題に鑑み、現実空間の座標と仮想空間の座標とを適切に対応付け可能な表示装置、表示装置の制御方法及びプログラムを提供することを目的とする。
　本実施形態の一態様にかかる表示装置は、ユーザに装着されて前記ユーザに仮想空間を提供する表示装置であって、前記仮想空間において前記ユーザが移動可能な仮想移動領域の情報を取得する仮想空間情報取得部と、ユーザが実在する実空間において前記ユーザが移動可能な実移動領域の情報を取得する実空間情報取得部と、前記仮想空間と前記実空間とを重畳した場合に前記仮想移動領域と前記実移動領域とが重畳する面積である重畳面積に基づいて設定された、前記仮想空間と前記実空間との対応関係を取得する対応関係取得部と、前記対応関係と、前記実空間における前記表示装置の位置とに基づき、前記仮想空間用の画像を表示部に表示させる表示制御部と、を含む。
　本実施形態の一態様にかかる表示装置の制御方法は、ユーザに装着されて前記ユーザに仮想空間を提供する表示装置の制御方法であって、前記仮想空間において前記ユーザが移動可能な仮想移動領域の情報を取得するステップと、ユーザが実在する実空間において前記ユーザが移動可能な実移動領域の情報を取得するステップと、前記仮想空間と前記実空間とを重畳した場合に前記仮想移動領域と前記実移動領域とが重畳する面積である重畳面積に基づいて設定された、前記仮想空間と前記実空間との対応関係を取得するステップと、前記対応関係と、前記実空間における前記表示装置の位置とに基づき、前記仮想空間用の画像を表示部に表示させるステップと、を含む。
　本実施形態の一態様にかかるプログラムは、ユーザに装着されて前記ユーザに仮想空間を提供する表示装置の制御方法をコンピュータに実行させるプログラムであって、前記仮想空間において前記ユーザが移動可能な仮想移動領域の情報を取得するステップと、ユーザが実在する実空間において前記ユーザが移動可能な実移動領域の情報を取得するステップと、前記仮想空間と前記実空間とを重畳した場合に前記仮想移動領域と前記実移動領域とが重畳する面積である重畳面積に基づいて設定された、前記仮想空間と前記実空間との対応関係を取得するステップと、前記対応関係と、前記実空間における前記表示装置の位置とに基づき、前記仮想空間用の画像を表示部に表示させるステップと、をコンピュータに実行させる。
　本実施形態によれば、ユーザに仮想空間を適切に提供することができる。
図１は、実空間と仮想空間の一例を説明する模式図である。 図２は、本実施形態に係る表示装置の模式的なブロック図である。 図３は、仮想空間の一例を示す模式図である。 図４は、実空間の一例を示す模式図である。 図５は、仮想空間と実空間との重畳の一例を示す模式図である。 図６は、仮想空間と実空間との重畳の他の一例を示す模式図である。 図７は、仮想空間の画像の表示フローを説明するフローチャートである。 図８は、優先領域の一例を説明する模式図である。 図９は、仮想空間と実空間との重畳の他の一例を示す模式図である。 図１０は、ユーザが仮想空間を視認している場合の例を示す模式図である。 図１１は、仮想空間と実空間との重畳の他の一例を示す模式図である。
　以下に、本実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本実施形態が限定されるものではない。
　（実空間と仮想空間）
　図１は、実空間と仮想空間の一例を説明する模式図である。本実施形態に係る表示装置１０は、画像を表示する表示装置である。図１に示すように、表示装置１０は、ユーザＵの頭部に装着される、いわゆるＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）である。表示装置１０は、画像を表示することで、ユーザＵに仮想空間を提供する。図１に示すように、ユーザＵが実際に存在する現実空間を実空間ＳＲとし、表示装置１０がユーザＵに提供する仮想の空間を仮想空間ＳＶとする。この場合、表示装置１０は、実空間ＳＲでのユーザＵの動作（視線）に応じて、仮想空間ＳＶ用の画像を表示する。すなわち、ユーザＵがアバターＵＶとして仮想空間ＳＶで動作していることを模擬して、仮想空間ＳＶ用の画像を表示する。そのため、ユーザＵは、自身が仮想空間ＳＶ内に存在していると認識することができる。なお、ここでの仮想空間ＳＶは、ＭＲ（Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）であり、ユーザＵが存在する場所から離れた実在の場所を再現した空間であるが、それに限られず、実際に存在しない仮想の空間、すなわちＶＲ（Ｖｅｒｔｉａｌ　Ｒｅａｌｉｔｙ）であってもよい。以下、実空間ＳＲの座標系における、水平方向に沿った一方向を方向ＸＲとし、水平方向に沿って方向ＸＲに直交する方向を方向ＹＲとし、鉛直方向を方向ＺＲとする。また、仮想空間ＳＶの座標系における、水平方向に沿った一方向を方向ＸＶとし、水平方向に沿って方向ＸＶに直交する方向を方向ＹＶとし、鉛直方向を方向ＺＶとする。
　（表示装置）
　図２は、本実施形態に係る表示装置の模式的なブロック図である。表示装置１０は、コンピュータであるともいえ、図２に示すように、入力部２０と、表示部２２と、記憶部２４と、通信部２６と、実空間検出部２８と、制御部３０とを備える。入力部２０は、ユーザＵによる操作を受け付ける機構であり、例えばＨＭＤに設けられるコントローラやマイクなどであってよい。表示部２２は、画像を表示するディスプレイである。表示部２２は、画像を出力することで、ユーザＵに仮想空間ＳＶを提供する。表示装置１０は、表示部２２以外にも、例えば音声を出力するスピーカなど、情報を出力する装置を備えていてよい。
　記憶部２４は、制御部３０の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）のような主記憶装置と、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。記憶部２４が記憶する制御部３０用のプログラムは、表示装置１０が読み取り可能な記録媒体に記憶されていてもよい。
　通信部２６は、外部の装置と通信を行う通信モジュールであり、例えばアンテナなどである。表示装置１０は、無線通信で外部の装置と通信を行うが、有線通信でもよく、通信方式は任意であってよい。
　実空間検出部２８は、実空間ＳＲにおける表示装置１０（ユーザＵ）の周囲を検出するセンサである。実空間検出部２８は、実空間ＳＲにおいて表示装置１０（ユーザＵ）の周囲に存在する物体を検出するものであり、本実施形態ではカメラである。ただし、実空間検出部２８は、表示装置１０（ユーザＵ）の周囲の実空間ＳＲに存在する物体を検出可能であれば、カメラであることに限られず、例えばＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　Ａｎｄ　Ｒａｎｇｉｎｇ）などであってもよい。
　制御部３０は、演算装置であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などの演算回路を含む。制御部３０は、仮想空間情報取得部４０と、実空間情報取得部４２と、対応関係取得部４４と、表示制御部４６と、アバター情報送信部４８とを含む。制御部３０は、記憶部２４からプログラム（ソフトウェア）を読み出して実行することで、仮想空間情報取得部４０と実空間情報取得部４２と対応関係取得部４４と表示制御部４６とアバター情報送信部４８とを実現して、それらの処理を実行する。なお、制御部３０は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、処理を実行してもよい。また、仮想空間情報取得部４０と実空間情報取得部４２と対応関係取得部４４と表示制御部４６とアバター情報送信部４８との処理の少なくとも一部を、ハードウェア回路で実現してもよい。
　（仮想空間情報取得部）
　仮想空間情報取得部４０は、仮想空間ＳＶの情報を取得する。仮想空間情報取得部４０は、例えば、通信部２６を介して、外部の装置（サーバ）から、仮想空間ＳＶの情報を取得する。仮想空間ＳＶの情報は、仮想空間ＳＶの座標系における仮想空間ＳＶの画像データを含む。仮想空間ＳＶの画像データとは、仮想空間ＳＶ用の画像として表示する対象物の座標や形状などを示す。なお、本実施形態では、仮想空間ＳＶは、実空間ＳＲにおけるユーザＵの周囲の環境に応じて構築されるものではなく、実空間ＳＲにおけるユーザＵの周囲の環境に関係することなく、予め設定されるものである。
　図３は、仮想空間の一例を示す模式図である。図３は、仮想空間ＳＶをＺＶ方向から見た場合の平面図の一例である。仮想空間情報取得部４０は、仮想空間ＳＶの情報として、仮想空間ＳＶにおける移動可能領域ＡＶ２（仮想移動領域）の情報も、取得する。すなわち、仮想空間情報取得部４０は、仮想空間ＳＶの座標系において移動可能領域ＡＶ２が占める位置を示す情報も、取得する。移動可能領域ＡＶ２とは、仮想空間ＳＶにおいて、ユーザＵのアバターＵＶが移動可能な領域（又はアバターＵＶが移動可能な空間）であり、仮想空間ＳＶのうちで、ユーザＵのアバターＵＶが移動不可能な領域（又はアバターＵＶが移動不可能な空間）である移動不可領域ＡＶ１を除いた領域であってよい。移動可能領域ＡＶ２は、例えば仮想空間ＳＶにおいてアバターが集まる部屋の床などであってよく、移動不可領域ＡＶ１は、例えば、仮想空間ＳＶにおいてアバターＵＶが通れない障害物が存在する領域や、仮想空間ＳＶでの会議における注目領域（例えば机やスクリーン等)などであってよい。本実施形態では、移動可能領域ＡＶ２は、例えば仮想空間ＳＶを設定する際に、予め設定されてよいし、例えばアバターＵＶのサイズと移動不可領域ＡＶ１のサイズとに基づき、仮想空間情報取得部４０が設定してもよい。
　なお、図３においては、ＺＶ方向から見た場合の仮想空間ＳＶ及び移動不可領域ＡＶ１が矩形であるが、あくまで一例であり、仮想空間ＳＶ、移動不可領域ＡＶ１、移動可能領域ＡＶ２の形状や大きさは、図３の例に限られず任意であってよい。
　（実空間情報取得部）
　実空間情報取得部４２は、実空間ＳＲの情報を取得する。実空間ＳＲの情報は、実空間ＳＲの座標系において表示装置１０（ユーザＵ）の周囲に存在する物体の、座標や形状を示す位置情報を指す。本実施形態では、実空間情報取得部４２は、実空間検出部２８を制御して、実空間検出部２８に表示装置１０（ユーザＵ）の周囲の物体を検出させ、その検出結果を、実空間ＳＲの情報として取得する。ただし、実空間ＳＲの情報の取得方法は、実空間検出部２８に検出されることに限られない。例えばユーザＵの部屋のレイアウト情報など、実空間ＳＲの情報が予め設定されており、実空間情報取得部４２は、設定された実空間ＳＲの情報を取得してもよい。
　図４は、実空間の一例を示す模式図である。図４は、実空間ＳＲをＺＲ方向から見た場合の平面図の一例である。実空間情報取得部４２は、実空間ＳＲにおける移動可能領域ＡＲ２（実移動領域）の情報を取得する。すなわち、実空間情報取得部４２は、実空間ＳＲの座標系において移動可能領域ＡＲ２が占める位置を示す情報を、取得する。移動可能領域ＡＲ２とは、実空間ＳＲにおいて、ユーザＵが移動可能な領域（又はユーザＵが移動可能な空間）であり、ユーザＵが移動不可能な領域（又はユーザＵが移動不可能な空間）である移動不可領域ＡＲ１を除いた領域であってよい。移動可能領域ＡＲ２は、例えばユーザＵがいる部屋の床などであってよく、移動不可領域ＡＲ１は、例えば、仮想空間ＳＶにおいてユーザＵが通れない障害物（例えば机やベッドなど）が存在する領域などであってよい。本実施形態では、実空間情報取得部４２は、実空間ＳＲの情報に基づき、移動可能領域ＡＲ２と移動不可領域ＡＲ１とを設定する。実空間情報取得部４２は、実空間ＳＲの情報に基づきユーザＵが移動できない物体の位置を特定して、ユーザＵが移動できない物体が占める領域（又は空間）を移動不可領域ＡＲ１とし、ユーザＵが移動できない物体が存在しない領域（又は空間）を移動可能領域ＡＲ２として設定してよい。ただし、移動可能領域ＡＲ２と移動不可領域ＡＲ１は、実空間ＳＲの情報に基づき設定されることに限られない。例えばユーザＵの部屋のレイアウト情報など、移動可能領域ＡＲ２と移動不可領域ＡＲ１の情報が予め設定されており、実空間情報取得部４２は、設定された移動可能領域ＡＲ２と移動不可領域ＡＲ１の情報を取得してもよい。
　なお、図４は、あくまで一例であり、実空間ＳＲ、移動不可領域ＡＲ１、移動可能領域ＡＲ２の形状や大きさは、図４の例に限られず任意であってよい。
　（対応関係取得部）
　対応関係取得部４４は、仮想空間情報取得部４０が取得した移動可能領域ＡＶ２の情報と、実空間情報取得部４２が取得した移動可能領域ＡＲ２の情報とに基づき、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を設定する。仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係とは、仮想空間ＳＶの座標系における実空間ＳＲの位置及び姿勢を示す情報といえ、実空間ＳＲの座標系を仮想空間ＳＶの座標系に変換するための値ともいえる。例えば、ユーザＵが実空間ＳＶにおいて基準位置にいる場合、表示装置１０は、実空間ＳＶの基準位置に対応する仮想空間ＳＶでの位置にユーザＵの視点（アバターＵＶ）が存在した場合の、仮想空間ＳＶの画像を表示する。以下、対応関係取得部４４の処理について具体的に説明する。
　図５は、仮想空間と実空間との重畳の一例を示す模式図である。対応関係取得部４４は、仮想空間情報取得部４０が取得した仮想空間ＳＶと、実空間情報取得部４２が取得した実空間ＳＲとを、共通の座標系で重畳する。言い換えれば、対応関係取得部４４は、仮想空間ＳＶにおける移動不可領域ＡＶ１及び移動可能領域ＡＶ２の座標と、実想空間ＳＲにおける移動不可領域ＡＲ１及び移動可能領域ＡＲ２の座標とを、共通の座標系に座標変換することで、移動不可領域ＡＶ１及び移動可能領域ＡＶ２と、移動不可領域ＡＲ１及び移動可能領域ＡＲ２とを、共通の座標系で重畳する。なお、共通の座標系は、任意の座標系であってよく、図５の例では、共通の座標系における、水平方向に沿った一方向を方向Ｘとし、水平方向に沿って方向Ｘに直交する方向を方向Ｙとし、鉛直方向を方向Ｚとしている。
　対応関係取得部４４は、共通の座標系で仮想空間ＳＶと実空間ＳＲとを重畳した際の、移動可能領域ＡＶ２と移動可能領域ＡＲ２とが重畳する領域の面積（又は重畳する空間の体積）を、重畳面積として算出する。対応関係取得部４４は、算出した重畳面積に基づき、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を算出する。
　本実施形態では、対応関係取得部４４は、図５の例に示すように、共通の座標系において、仮想空間ＳＶと実空間ＳＲとの相対位置及び相対向きの少なくとも一方を移動させつつ、重畳面積を算出する。言い換えれば、対応関係取得部４４は、共通の座標系において相対位置及び相対向きの少なくとも一方が異なるそれぞれの仮想空間ＳＶと実空間ＳＲについて、移動可能領域ＡＶ２と移動可能領域ＡＲ２とが重畳する重畳面積を算出する。なお、図５の例では、共通の座標系において、実空間ＳＶの位置及び向きを固定させつつ、仮想空間ＳＲの位置及び向きを移動させる例を示しているが、それに限られず、仮想空間ＳＲの位置及び向きを固定させつつ、実空間ＳＶの位置及び向きを移動させて、重畳面積を算出してもよい。
　対応関係取得部４４は、共通の座標系において相対位置及び相対向きの少なくとも一方が異なる仮想空間ＳＶと実空間ＳＲとの組み合わせ毎の重畳面積に基づき、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を設定する。より詳しくは、対応関係取得部４４は、相対位置及び相対向きの少なくとも一方が異なる仮想空間ＳＶと実空間ＳＲとの組み合わせのうちで、重畳面積が最大となる仮想空間ＳＶと実空間ＳＲとの組み合わせを、抽出する。そして、対応関係取得部４４は、抽出した仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係（抽出した実空間ＳＲの座標系を抽出した仮想空間ＳＶの座標系に変換するための値）を算出して、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係として設定する。言い換えれば、対応関係取得部４４は、重畳面積が最大となる位置及び向きとなる仮想空間ＳＶを抽出し、抽出した仮想空間ＳＶの座標系を、実空間ＳＲの座標系に対応付ける。
　図６は、仮想空間と実空間との重畳の他の一例を示す模式図である。図５の説明では、対応関係取得部４４は、仮想空間ＳＶの大きさは固定したまま、仮想空間ＳＶの位置及び向きを変えながら、実空間ＳＲと重畳していたが、図６に示すように、仮想空間ＳＶの大きさを変えながら、実空間ＳＲと重畳してよい。この場合、対応関係取得部４４は、図６の例に示すように、共通の座標系において、仮想空間ＳＶと実空間ＳＲとの相対大きさを変化させつつ、重畳面積を算出する。言い換えれば、対応関係取得部４４は、共通の座標系において相対大きさが異なる仮想空間ＳＶと実空間ＳＲとの組み合わせ毎に、移動可能領域ＡＶ２と移動可能領域ＡＲ２とが重畳する重畳面積を算出する。なお、相対大きさを変える場合においても、仮想空間ＳＶに対する移動不可領域ＡＶ１及び移動可能領域ＡＶ２の面積比率や、実空間ＳＲに対する移動不可領域ＡＲ１及び移動可能領域ＡＲ２の面積比率は、固定したままとすることが好ましい。言い換えれば、仮想空間ＳＶや実空間ＳＲの一部のみを拡大縮小することなく、仮想空間ＳＶや実空間ＳＲの全域を一律で拡大縮小ことが好ましい。また、図６の例では、共通の座標系において、実空間ＳＶの大きさを固定させつつ、仮想空間ＳＲの大きさを変える例を示しているが、それに限られず、仮想空間ＳＲの大きさを固定させつつ、実空間ＳＶの大きさを変化させて、重畳面積を算出してもよい。
　図６の例では、対応関係取得部４４は、共通の座標系において相対大きさが異なる仮想空間ＳＶと実空間ＳＲとの組み合わせ毎の重畳面積に基づき、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を設定する。より詳しくは、対応関係取得部４４は、相対大きさが異なる仮想空間ＳＶと実空間ＳＲとの組み合わせのうちで、重畳面積が最大となる仮想空間ＳＶと実空間ＳＲとの組み合わせを、抽出する。そして、対応関係取得部４４は、抽出した仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係として設定する。言い換えれば、対応関係取得部４４は、重畳面積が最大となる縮尺度合いの仮想空間ＳＶを抽出し、抽出した縮尺度合いの大きさとした仮想空間ＳＶの座標系を、実空間ＳＲの座標系に対応付ける。
　なお、図５の例と図６の例とを組み合わせてもよい。すなわち、対応関係取得部４４は、共通の座標系において、仮想空間ＳＶと実空間ＳＲとの相対位置、相対向き及び相対大きさを変えながら、重畳面積を算出する。そして、対応関係取得部４４は、共通の座標系において相対位置、相対向き及び相対大きさの少なくとも１つが異なる仮想空間ＳＶと実空間ＳＲとの組み合わせのうちで、重畳面積が最大となる仮想空間ＳＶと実空間ＳＲとの組み合わせを、抽出する。そして、対応関係取得部４４は、抽出した仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係として設定する。
　以上の説明では、対応関係取得部４４は、仮想空間ＳＶでの二次元での移動可能な領域を示す移動可能領域ＡＶ２と、実空間ＳＲでの二次元での移動可能な領域を示す移動可能領域ＡＲ２との重畳面積が最大となるように、仮想空間ＳＶと実空間ＳＲとを対応付けていたが、２次元での重畳面積を最大化することに限られない。例えば、対応関係取得部４４は、仮想空間ＳＶでの３次元での移動可能な空間を示す移動可能領域ＡＶ２（仮想移動空間）と、実空間ＳＲでの３次元での移動可能な空間を示す移動可能領域ＡＲ２（実移動空間）との重畳体積が最大となるように、仮想空間ＳＶと実空間ＳＲとを対応付けてよい。
　また、以上の説明では、対応関係取得部４４が、共通座標系において仮想空間ＳＶと実空間ＳＲとを重畳して重畳面積を算出し、重畳面積に基づいて、仮想空間ＳＶの座標系と実空間ＳＲの座標系と対応関係を設定する。ただし、重畳面積の算出や対応関係の設定は、対応関係取得部４４によって行われることに限られない。例えば、外部の装置が重畳面積の算出を行い、対応関係取得部４４は、その外部の装置から重畳面積の情報を取得して、それに基づき対応関係を設定してよい。また例えば、外部の装置が、重畳面積を算出して重畳面積に基づき対応関係を設定し、対応関係取得部４４は、その外部の装置から対応関係の情報を取得してもよい。
　（表示制御部）
　表示制御部４６は、対応関係取得部４４が設定した仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係と、実空間ＳＲにおけるユーザＵ（表示装置１０）の位置とに基づき、仮想空間ＳＲ用の画像を表示部２２に表示させる。具体的には、表示制御部４６は、実空間ＳＲにおけるユーザＵの位置及び向きの情報を取得し、対応関係に基づき、実空間ＳＲにおけるユーザＵの位置及び向きを、仮想空間ＳＶの座標系におけるユーザＵの視点（アバターＵＶ）の位置及び向きに換算する。表示制御部４６は、算出したユーザＵの視点の位置及び向きから仮想空間ＳＶを視認した場合の仮想空間ＳＶの画像を、仮想空間ＳＶ用の画像として表示部２２に表示させる。なお、実空間ＳＲにおけるユーザＵ（表示装置１０）の位置及び姿勢の情報は、任意の方法で取得してよいが、例えば実空間検出部２８の検出結果（すなわちここでは実空間ＳＲの撮像画像）を用いて算出してよい。
　このように、実空間ＳＲにおけるユーザＵの位置姿勢は、仮想空間ＳＶにおけるユーザＵの視点の位置姿勢に反映される。従って、実空間ＳＲでユーザＵが移動した場合、仮想空間ＳＶにおけるユーザＵの視点の位置姿勢（すなわちアバターＵＶの位置姿勢）も移動する。この場合、実空間ＳＲにおけるユーザＵの移動量と、仮想空間ＳＶにおけるユーザＵの視点の移動量とは、対応付けられることが好ましい。より詳しくは、対応関係を設定する際に、共通の座標系において仮想空間ＳＶの大きさを変化させていた場合、その仮想空間ＳＶの大きさの変化度合いを、移動量に反映させることが好ましい。具体的には、共通の座標系において仮想空間ＳＶの大きさを変化させた割合（縮尺率）を、変化割合とすると、表示制御部４６は、ユーザＵが実空間ＳＲで移動した移動量に対して、変化割合の逆数倍だけの移動量を、ユーザＵの視点が仮想空間ＳＶで移動したとして、仮想空間ＳＶ用の画像を表示部２２に表示させる。すなわち、表示制御部４６は、ユーザＵが実空間ＳＲで移動した移動量に対して変化割合の逆数倍だけの移動量だけ移動した視点からの仮想空間ＳＶの画像を、表示部２２に表示させる。例えば、対応関係を設定する際に仮想空間ＳＶの大きさを２倍にした場合には、表示制御部４６は、ユーザＵが実空間ＳＲで移動した移動量に対して１／２倍だけの移動量だけ移動した視点からの仮想空間ＳＶの画像を、表示部２２に表示させる。
　また、表示制御部４６は、仮想空間ＳＶの画像に実空間ＳＲにおける物体を重畳表示させてもよい。この場合、表示部２２は、実空間ＳＲを透過しつつ仮想空間ＳＶの画像を表示するＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）を提供するものであってもよいし、仮想空間ＳＶの画像と、実空間ＳＲの物体を示す画像とを、重畳して表示させてもよい。また、仮想空間ＳＶ上の移動可能領域ＡＶ２のうち、実空間ＳＲの移動可能領域ＡＲ２と重なっていない空間部分は、仮想空間ＳＶの画像から削除したり、移動不可領域として情報提示したりしても良い。この場合、移動可能な領域として残った領域だったとしても、ユーザＵが（自身の体形を再現したアバターＵＶが）通過できる空間的広さが確保されていないエリアは、仮想空間ＳＶの画像上から削除しても良い。
　本実施形態に係る表示装置１０は、このようにして設定した仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係に基づき仮想空間ＳＶ用の画像を表示することで、ユーザＵに仮想空間ＳＶを適切に提供することができる。例えば、ユーザＵは、仮想空間ＳＶを視認しながら、実空間ＳＲを移動することになる。すなわち、ユーザＵは、仮想空間ＳＶにおける移動可能領域ＡＶ２内を移動しようとするが、実際にユーザＵが移動可能な領域は、実空間ＳＲにおける移動可能領域ＡＲ２である。このように、ユーザＵが認識する移動可能な領域と、実際に移動可能な領域とは、異なることになる。それに対して、本実施形態では、仮想空間ＳＶにおける移動可能領域ＡＶ２と実空間ＳＲにおける移動可能領域ＡＲ２との重畳面積が大きくなるように、仮想空間ＳＶと実空間ＳＲとを対応付けているため、ユーザＵが認識する移動可能な領域と、実際に移動可能な領域とのずれが少なくなり、ユーザＵが移動可能な領域を最大限広く確保できる。そのため、表示装置１０によると、ユーザＵが移動する場合でも、仮想空間ＳＶを適切に提供することができる。
　（アバター情報送信部）
　アバター情報送信部４８は、仮想空間ＳＶにおけるユーザＵのアバターＵＶの情報を、通信部２６を介して外部の情報に送信する。アバター情報送信部４８は、実空間ＳＲにおけるユーザＵの位置及び向きの情報を取得し、実空間ＳＲの座標系と仮想空間ＳＶの座標系との対応関係に基づき、実空間ＳＲにおけるユーザＵの位置及び向きを、仮想空間ＳＶの座標系におけるアバターＵＶの位置及び向きに換算する。アバター情報送信部４８は、仮想空間ＳＶの座標系におけるアバターＵＶの位置及び向きの情報と、アバターＵＶの画像データ（形状などを示すデータ）とを、外部の装置に送信する。外部の装置は、仮想空間ＳＶの座標系におけるアバターＵＶの位置及び向きの情報と、アバターＵＶの画像データとを、仮想空間ＳＶの画像データとして、他のユーザに使用される表示装置に送信する。その表示装置は、その表示装置を装着したユーザに向けて、アバターＵＶの画像を含む仮想空間ＳＶＧの画像データを表示する。このようにアバターの画像データを外部の装置に送信することで、複数のユーザで仮想空間ＳＶを共有できる。
　（処理フロー）
　以上説明した仮想空間ＳＶの画像の表示フローを説明する。図７は、仮想空間の画像の表示フローを説明するフローチャートである。図７に示すように、表示装置１０は、仮想空間情報取得部４０により、仮想空間ＳＶの情報を取得し（ステップＳ１０）、実空間情報取得部４２により、実空間ＳＲの情報を取得する（ステップＳ１２）。そして、表示装置１０は、対応関係取得部４４により、仮想空間ＳＶと実空間ＳＲの相対位置、相対向き、及び相対大きさの少なくとも１つを変化させつつ、仮想空間ＳＶと実空間ＳＲとを共通の座標系で重畳させて、重畳面積を算出する（ステップＳ１４）。対応関係取得部４４は、仮想空間ＳＶと実空間ＳＲとの組み合わせのうちで、重畳面積が最大となる仮想空間ＳＶと実空間ＳＲとの組み合わせを抽出し（ステップＳ１６）、抽出した仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を設定する（ステップＳ１８）。表示装置１０は、表示制御部４６により、設定した対応関係と、実空間ＳＲでの表示装置１０（ユーザＵ）の位置とに基づき、表示部２２に仮想空間ＳＶの画像を表示させる（ステップＳ２０）。
　（効果）
　以上説明したように、本実施形態に係る表示装置１０は、ユーザＵに装着されてユーザＵに仮想空間ＳＶを提供するものであって、仮想空間情報取得部４０と、実空間情報取得部４２と、対応関係取得部４４と、表示制御部４６とを含む。仮想空間情報取得部４０は、仮想空間ＳＶにおいてユーザＵ（アバターＵＶ）が移動可能な移動可能領域ＡＶ２（仮想移動領域）の情報を取得する。実空間情報取得部４２は、ユーザＵが実在する実空間ＳＲにおいてユーザＵが移動可能な移動可能領域ＡＲ２（実移動領域）の情報を取得する。対応関係取得部４４は、重畳面積に基づいて設定された、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を取得する。重畳面積とは、仮想空間ＳＶと実空間ＳＲとを共通の座標系で重畳した場合に、移動可能領域ＡＶ２（仮想移動領域）と移動可能領域ＡＲ２（実移動領域）とが重畳する面積である。表示制御部４６は、対応関係と、実空間ＳＲにおける表示装置１０の位置とに基づき、仮想空間ＳＶ用の画像を表示部２２に表示させる。
　表示装置１０からユーザＵに仮想空間ＳＶが提供されている場合、ユーザＵが認識する仮想空間ＳＶでの移動可能な領域と、実空間ＳＲでの実際に移動可能な領域とは、異なることになる。それに対して、本実施形態に係る表示装置１０は、仮想空間ＳＶにおける移動可能領域ＡＶ２と実空間ＳＲにおける移動可能領域ＡＲ２との重畳面積に基づき、仮想空間ＳＶと実空間ＳＲとを対応付けているため、ユーザＵが認識する移動可能な領域と、実際に移動可能な領域とのずれが少なくなり、ユーザＵが移動可能な領域を最大限広く確保できる。そのため、表示装置１０によると、ユーザＵが移動する場合でも、仮想空間ＳＶを適切に提供することができる。
　また、対応関係は、共通の座標系において仮想空間ＳＶと実空間ＳＲとの相対位置及び相対向きの少なくとも一方を移動させた、それぞれの仮想空間ＳＶと実空間ＳＲとの組み合わせのうちで、重畳面積が最大となる仮想空間ＳＶの座標系と、実空間ＳＲの座標系とを対応付けたものである。このように仮想空間ＳＶを実空間ＳＲに対して動かして、重畳面積が最大となるように、仮想空間ＳＶと実空間ＳＲとを対応付けることで、ユーザＵが移動可能な領域を最大限広く確保できる。
　また、対応関係は、共通の座標系において仮想空間ＳＶと実空間ＳＲとの相対大きさを変化させた、それぞれの仮想空間ＳＶと実空間ＳＲとの組み合わせのうちで、重畳面積が最大となる仮想空間ＳＶの座標系と、実空間ＳＲの座標系とを対応付けたものである。このように仮想空間ＳＶの実空間ＳＲに対する大きさを変えて、重畳面積が最大となるように、仮想空間ＳＶと実空間ＳＲとを対応付けることで、ユーザＵが移動可能な領域を最大限広く確保できる。
　また、表示制御部４６は、表示装置１０（ユーザＵ）が実空間ＳＲで移動した移動量に対して、共通の座標系で仮想空間ＳＶの大きさを変化させた変化割合の逆数倍だけの移動量を、ユーザＵが仮想空間ＳＶで移動したとして、仮想空間ＳＶ用の画像を表示部２２に表示させる。本実施形態に係る表示装置１０は、ユーザＵの実際の移動量に重畳する際の縮尺度合いを加味して、仮想空間ＳＶにおける移動量を設定するため、ユーザＵの動きに合わせて、仮想空間ＳＶを適切に提供できる。
　（対応関係の設定方法の他の例）
　本実施形態で説明した、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係の設定方法の他の例を説明する。
　例えば図５や図６で説明したように、仮想空間ＳＶの位置、向き、大きさを変えつつ、重畳面積が最大となるように、仮想空間ＳＶと実空間ＳＲとを重畳した場合には、仮想空間ＳＶの移動不可領域ＡＶ１（例えば注目領域）の周囲に、実空間ＳＲでの移動不可領域ＡＲ１（例えば実際の障害物）が位置して、仮想空間ＳＶでの注目領域に近づく際に邪魔となる可能性が想定される。そのような場合に備えて、対応関係取得部４４は、仮想空間ＳＶの移動可能領域ＡＶ２に優先領域を設定して、優先領域が実空間ＳＲでの移動不可領域ＡＲ１と重畳しないように、仮想空間ＳＶと実空間ＳＲとを重畳させてよい。以下、より具体的に説明する。
　図８は、優先領域の一例を説明する模式図であり、図９は、仮想空間と実空間との重畳の他の一例を示す模式図である。対応関係取得部４４は、仮想空間ＳＶの移動可能領域ＡＶ２内に、優先領域を設定する。優先領域とは、仮想空間ＳＶと実空間ＳＲとを重畳させる際に、移動不可領域ＡＲ１と重畳せずに移動可能領域ＡＲ２と重畳することが優先される領域である。対応関係取得部４４は、任意の方法で優先領域を設定してよいが、例えば、移動可能領域ＡＶ２の全域のうちで、注目領域である移動不可領域ＡＶ１の周囲の所定の大きさの領域を、優先領域として設定してよい。また、対応関係取得部４４は、優先度合いが異なる複数の優先領域を設定してよい。図８の例では、対応関係取得部４４は、移動不可領域ＡＶ１の周囲に優先領域ＡＶ２ａを設定し、優先領域ＡＶ２ａの周囲に優先領域ＡＶ２ｂを設定している。この場合、移動不可領域ＡＶ１により近い優先領域ＡＶ２ａの方が、優先領域ＡＶ２ｂよりも優先度合いが高く設定される。なお、以下、移動可能領域ＡＶ２のうちで優先領域以外の領域を、適宜、非優先領域と記載する。すなわち、図９の例では、優先領域ＡＶ２ｂの外側の領域が、非優先領域ＡＶ２ｃとなる。
　対応関係取得部４４は、優先領域が設定された仮想空間ＳＶと、実空間ＳＲとを、共通の座標系で重畳する。この場合、対応関係取得部４４は、図５や図６で説明したように、共通の座標系において、仮想空間ＳＶと実空間ＳＲとの相対位置、相対向き及び相対大きさの少なくとも１つを変えながら、重畳面積を算出し、重畳面積が最大となる仮想空間ＳＶと実空間ＳＲとの組み合わせから、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を設定する。ただし、本例では、優先領域と移動可能領域ＡＲ２とが重畳する面積である優先重畳面積の大きさが、非優先領域と移動可能領域ＡＲ２とが重畳する面積である非優先重畳面積の大きさよりも、算出される重畳面積に大きく影響するように、重畳面積が算出される。すなわち、重畳面積は、優先重畳面積や非優先重畳面積が大きいほど、大きくなるように算出されるものであるが、優先重畳面積が単位量大きくなった際に重畳面積が大きくなる度合いが、非優先重畳面積が単位量大きくなった際に重畳面積が大きくなる度合いよりも、大きい。
　例えば、本例の対応関係取得部４４は、優先重畳面積に対して重みを付与し、優先重畳面積に重みを乗じた値と、非優先重畳面積との合計値を、重畳面積として算出する。このように優先重畳面積に重みを付与することで、優先重畳面積（優先領域）が重畳面積に与える影響度合いが、非優先重畳面積（非優先領域）が重畳面積に与える影響度合いよりも、大きくなる。そのため、例えば図９に示すように、注目領域（移動不可領域ＡＶ１）の周囲の優先領域が移動不可領域ＡＲ１に重ならないことが重要視され、重畳面積が最大となる仮想空間ＳＶと実空間ＳＲとの組み合わせは、優先重畳面積が移動不可領域ＡＲ１に重なり難くなる。そのため例えば、仮想空間ＳＶでの注目領域に近づく際に、移動不可領域ＡＲ１が邪魔となる可能性を抑制できる。
　このように、本例では、移動可能領域ＡＶ２内で設定された優先領域と移動可能領域ＡＶ２とが重畳する優先重畳面積が大きいほど、重畳面積が大きくなるように算出される。優先領域は、非優先領域（優先領域以外の移動可能領域ＡＶ２内の領域）よりも、重畳面積の大きさへの影響度合いが大きく設定される。これにより、仮想空間ＳＶでの注目領域に近づく際に、移動不可領域ＡＲ１が邪魔となる可能性を抑制できる。なお、複数の優先領域を設定する際には、優先領域ごとに重みの値を異ならせてよい。この場合、図８の例では、移動不可領域ＡＶ１に近い優先領域ＡＶ２ａの重みが、優先領域ＡＶ２ｂの重みよりも大きく設定される。
　次に、対応関係の設定方法の他の例として、実空間ＳＲの高さ方向の位置と仮想空間ＳＶの高さ方向の位置との対応関係を設定する方法について説明する。図１０は、ユーザが仮想空間を視認している場合の例を示す模式図である。図１０に示すように、仮想空間ＳＶにおける注目領域である移動不可領域ＡＶ１ａは、実空間ＳＶの障害物である移動不可領域ＡＲ１と、高さ方向（実空間座標でのＺＲ方向）の位置が重なり、仮想空間ＳＶにおける注目領域が隠れてしまう場合も想定される。このような状態を避けるため、対応関係取得部４４は、移動不可領域ＡＶ１と移動不可領域ＡＲ１との高さ方向の位置が重ならないように、実空間ＳＲの高さ方向の位置と仮想空間ＳＶの高さ方向の位置との対応関係を設定してよい。これにより、例えば図１０の移動不可領域ＡＶ１ｂに示すように、移動不可領域ＡＲ１と重ならない位置に移動不可領域の位置を設定できる。なお、実空間ＳＲの高さ方向の位置と仮想空間ＳＶの高さ方向の位置との対応関係の設定は、対応関係取得部４４が自動で行ってもよいし、ユーザＵの入力により行われてもよい。
　次に、対応関係の設定方法の他の例として、仮想空間ＳＶと実空間ＳＲとの相似度合いが大きくなるように、仮想空間ＳＶと実空間ＳＲとを重畳する例について説明する。図１１は、仮想空間と実空間との重畳の他の一例を示す模式図である。本例においては、対応関係取得部４４は、実空間ＳＲと仮想空間ＳＶとの形状を比較して、実空間ＳＲのうちで、仮想空間ＳＶと形状が近い領域を、相似度合いが高い相似領域ＳＲＳとして抽出する。そして、対応関係取得部４４は、図１１の例に示すように、仮想空間ＳＶと実空間ＳＲとの相対位置、相対向き及び相対大きさの少なくとも１つを変えつつ仮想空間ＳＶを実空間ＳＲに重畳させることで、仮想空間ＳＶと相似領域とを重畳させる。対応関係取得部４４は、相似領域ＳＲＳに重畳された仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を、算出する。このように、相似度合いが高い領域に仮想空間ＳＶを重畳させることでも、ユーザＵが認識する移動可能な領域と、実際に移動可能な領域とのずれが少なくなり、ユーザＵが移動可能な領域を最大限広く確保できる。なお、本例では、重畳させる際に重畳面積を考慮しなくてよいが、それに限られず、重畳面積も考慮してよい。すなわち例えば、対応関係取得部４４は、相似度合いが大きくなり、かつ、重畳面積が大きくなるように、仮想空間ＳＶと実空間ＳＲとを重畳してもよい。
　以上、本実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
　本実施形態の表示装置、表示装置の制御方法及びプログラムは、例えば画像表示に利用することができる。
　１０　表示装置
　２２　表示部
　４０　仮想空間情報取得部
　４２　実空間情報取得部
　４４　対応関係取得部
　４６　表示制御部
　ＡＲ２　移動可能領域（実移動領域）
　ＡＶ２　移動可能領域(仮想移動領域)
　ＳＲ　実空間
　ＳＶ　仮想空間
　Ｕ　ユーザ

Claims (6)

  1. 　ユーザに装着されて前記ユーザに仮想空間を提供する表示装置であって、
    　前記仮想空間において前記ユーザが移動可能な仮想移動領域の情報を取得する仮想空間情報取得部と、
    　ユーザが実在する実空間において前記ユーザが移動可能な実移動領域の情報を取得する実空間情報取得部と、
    　前記仮想空間と前記実空間とを重畳した場合に前記仮想移動領域と前記実移動領域とが重畳する面積である重畳面積に基づいて設定された、前記仮想空間と前記実空間との対応関係を取得する対応関係取得部と、
    　前記対応関係と、前記実空間における前記表示装置の位置とに基づき、前記仮想空間用の画像を表示部に表示させる表示制御部と、
    　を含む、
    　表示装置。
  2. 　前記対応関係取得部は、前記仮想空間と前記実空間との相対位置及び相対向きの少なくとも一方を移動させた、それぞれの前記仮想空間と前記実空間との組み合わせのうちで、前記重畳面積が最大となる対応関係を取得する請求項１に記載の表示装置。
  3. 　前記対応関係取得部は、前記仮想空間と前記実空間との相対大きさを変化させた、それぞれの前記仮想空間と前記実空間との組み合わせのうちで、前記重畳面積が最大となる対応関係を取得する請求項１に記載の表示装置。
  4. 　前記重畳面積は、前記仮想移動領域内で設定された優先領域と前記実移動領域とが重畳する面積が大きいほど、大きく算出されるものであり、前記優先領域は、前記優先領域以外の前記仮想移動領域内の領域よりも、前記重畳面積の大きさへの影響度合いが大きく設定される、請求項１から請求項３のいずれか１項に記載の表示装置。
  5. 　ユーザに装着されて前記ユーザに仮想空間を提供する表示装置の制御方法であって、
    　前記仮想空間において前記ユーザが移動可能な仮想移動領域の情報を取得するステップと、
    　ユーザが実在する実空間において前記ユーザが移動可能な実移動領域の情報を取得するステップと、
    　前記仮想空間と前記実空間とを重畳した場合に前記仮想移動領域と前記実移動領域とが重畳する面積である重畳面積に基づいて設定された、前記仮想空間と前記実空間との対応関係を取得するステップと、
    　前記対応関係と、前記実空間における前記表示装置の位置とに基づき、前記仮想空間用の画像を表示部に表示させるステップと、
    　を含む、
    　表示装置の制御方法。
  6. 　ユーザに装着されて前記ユーザに仮想空間を提供する表示装置の制御方法をコンピュータに実行させるプログラムであって、
    　前記仮想空間において前記ユーザが移動可能な仮想移動領域の情報を取得するステップと、
    　ユーザが実在する実空間において前記ユーザが移動可能な実移動領域の情報を取得するステップと、
    　前記仮想空間と前記実空間とを重畳した場合に前記仮想移動領域と前記実移動領域とが重畳する面積である重畳面積に基づいて設定された、前記仮想空間と前記実空間との対応関係を取得するステップと、
    　前記対応関係と、前記実空間における前記表示装置の位置とに基づき、前記仮想空間用の画像を表示部に表示させるステップと、
    　をコンピュータに実行させる、
    　プログラム。
PCT/JP2022/009251 2021-03-23 2022-03-03 表示装置、表示装置の制御方法及びプログラム WO2022202205A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/465,200 US20230418375A1 (en) 2021-03-23 2023-09-12 Display apparatus, method of controlling display apparatus, and non-transitory computer readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-049286 2021-03-23
JP2021049286A JP2022147845A (ja) 2021-03-23 2021-03-23 表示装置、表示装置の制御方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/465,200 Continuation US20230418375A1 (en) 2021-03-23 2023-09-12 Display apparatus, method of controlling display apparatus, and non-transitory computer readable recording medium

Publications (1)

Publication Number Publication Date
WO2022202205A1 true WO2022202205A1 (ja) 2022-09-29

Family

ID=83396922

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/009251 WO2022202205A1 (ja) 2021-03-23 2022-03-03 表示装置、表示装置の制御方法及びプログラム

Country Status (3)

Country Link
US (1) US20230418375A1 (ja)
JP (1) JP2022147845A (ja)
WO (1) WO2022202205A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018013901A (ja) * 2016-07-20 2018-01-25 株式会社Ａｂａｌ 仮想空間体感システム
JP2019535054A (ja) * 2016-08-23 2019-12-05 グーグル エルエルシー 拡張／仮想現実環境において仮想キャラクタを配置するための方法およびコンピュータプログラム
JP2020523672A (ja) * 2017-06-06 2020-08-06 ノキア テクノロジーズ オーユー 媒介現実コンテンツのレンダリング

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018013901A (ja) * 2016-07-20 2018-01-25 株式会社Ａｂａｌ 仮想空間体感システム
JP2019535054A (ja) * 2016-08-23 2019-12-05 グーグル エルエルシー 拡張／仮想現実環境において仮想キャラクタを配置するための方法およびコンピュータプログラム
JP2020523672A (ja) * 2017-06-06 2020-08-06 ノキア テクノロジーズ オーユー 媒介現実コンテンツのレンダリング

Also Published As

Publication number Publication date
JP2022147845A (ja) 2022-10-06
US20230418375A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
CA2888943C (en) Augmented reality system and method for positioning and mapping
US9858643B2 (en) Image generating device, image generating method, and program
CN113711109A (zh) 具有直通成像的头戴式显示器
US10607398B2 (en) Display control method and system for executing the display control method
WO2018101227A1 (ja) 表示制御装置、ヘッドマウントディスプレイ、表示制御装置の制御方法、および制御プログラム
US11087545B2 (en) Augmented reality method for displaying virtual object and terminal device therefor
US20160292923A1 (en) System and method for incorporating a physical image stream in a head mounted display
CN110915211A (zh) 虚拟现实中的物理输入设备
JPWO2018155233A1 (ja) 画像処理装置、画像処理方法、および画像システム
US20220146828A1 (en) Image generation device, head-mounted display, and image generation method
JP2017134716A (ja) 仮想現実空間提供方法および仮想現実空間提供プログラム
US20230215079A1 (en) Method and Device for Tailoring a Synthesized Reality Experience to a Physical Setting
WO2021124920A1 (ja) 情報処理装置、情報処理方法、および記録媒体
US10957106B2 (en) Image display system, image display device, control method therefor, and program
JP2022144864A (ja) 画像処理装置、画像処理方法及びプログラム
JP6963399B2 (ja) プログラム、記録媒体、画像生成装置、画像生成方法
US12099649B2 (en) Display device and image display method
WO2022202205A1 (ja) 表示装置、表示装置の制御方法及びプログラム
JP2022073651A (ja) 情報処理装置、情報処理方法およびプログラム
WO2023048018A1 (ja) 表示装置、表示装置の制御方法およびプログラム
WO2024071208A1 (ja) 表示装置、表示方法及びプログラム
JP6356928B1 (ja) 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
KR101315398B1 (ko) 3차원 증강 현실 표시 장치 및 방법
Suzuki et al. Omnidirectional Flick View
JP2018129786A (ja) 決定装置、画像処理装置、決定方法及び決定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22775001

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22775001

Country of ref document: EP

Kind code of ref document: A1