WO2023238264A1 - 情報表示装置およびその表示方法 - Google Patents

情報表示装置およびその表示方法 Download PDF

Info

Publication number
WO2023238264A1
WO2023238264A1 PCT/JP2022/023034 JP2022023034W WO2023238264A1 WO 2023238264 A1 WO2023238264 A1 WO 2023238264A1 JP 2022023034 W JP2022023034 W JP 2022023034W WO 2023238264 A1 WO2023238264 A1 WO 2023238264A1
Authority
WO
WIPO (PCT)
Prior art keywords
display device
information display
information
predetermined value
tilt
Prior art date
Application number
PCT/JP2022/023034
Other languages
English (en)
French (fr)
Inventor
和彦 吉澤
仁 秋山
康宣 橋本
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to PCT/JP2022/023034 priority Critical patent/WO2023238264A1/ja
Publication of WO2023238264A1 publication Critical patent/WO2023238264A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information

Definitions

  • the present invention relates to an information display device and a display method thereof.
  • HMD head mounted display device
  • AR objects Argument Reality Objects
  • the virtual space that the user views by wearing the HMD needs to change in accordance with the movement of the user's head in order to create a state of being immersed in the virtual world.
  • Patent Document 1 discloses an image processing device that presents a three-dimensional image using an HMD, which acquires a reference image consisting of a pair of a left-eye image and a right-eye image representing an object viewed from two horizontally spaced viewpoints.
  • a reference image acquisition unit a tilt angle acquisition unit that acquires the tilt angle of the vertical axis of the head of the user wearing the HMD from the vertical direction in a plane parallel to the screen; and a tilt angle acquisition unit that acquires the left eye image and the right eye image based on the tilt angle.
  • an image conversion unit that performs a conversion process to rotate an image for use around a common axis in a virtual space including the object, and an output unit that outputs data of the left-eye image and right-eye image that have been subjected to the conversion process to the HMD.
  • Patent Document 1 display image control is performed in which an image on a similarly tilted display section is rotated according to the tilt angle of the user's head. Therefore, when the user tilts his head, all the displayed images viewed from the user on the display section are displayed tilted. Therefore, if there is a menu display, for example, the menu display is also tilted, making it difficult to see, which is not taken into consideration.
  • an object of the present invention to provide an information display device and a display method thereof that are easy to use and can make menu display etc. easy to see even when the display unit is tilted.
  • the present invention is an information display device having a display unit, which includes an object data acquisition unit that acquires information regarding an AR object and generates an AR object, and an additional object that generates an additional object related to the AR object. an additional object generation unit; a posture detection unit that detects the inclination of the information display device with respect to the direction of gravity in real space; Regarding objects, if the tilt of the information display device is less than a predetermined value, the object will be displayed in a tilted state on the display section according to the tilt of the information display device, and if the tilt of the information display device is greater than the predetermined value, it will be displayed in a tilted state depending on the tilt of the information display device.
  • the configuration includes a display control section that displays images without tilting the display section, with the same vertical reference as the display section.
  • an information display device and a display method thereof that are easy to use and can make menu display etc. easy to see even when the display unit is tilted.
  • FIG. 2 is a block diagram showing the hardware configuration of the HMD in Example 1.
  • FIG. 3 is an external appearance and an installation diagram of an HMD in Example 1.
  • FIG. 2 is a functional configuration diagram of an HMD in Example 1.
  • FIG. 2 is a conceptual diagram illustrating a visual recognition situation of a virtual space by an HMD in Example 1.
  • FIG. 4B is a diagram illustrating an image displayed on the display unit of the HMD in the state of FIG. 4A.
  • FIG. 2 is a conceptual diagram illustrating a visual recognition situation of a virtual space using an HMD when a user tilts his head 30 degrees in Example 1.
  • FIG. 5A is a diagram illustrating an image displayed on the display unit of the HMD based on the AR object in the state of FIG. 5A.
  • FIG. 5A is a diagram illustrating an image displayed on the display unit of the HMD based on the AR object in the state of FIG. 5A.
  • FIG. 5A is a diagram illustrating an image displayed on a display unit with reference to the display unit of the HMD in the state of FIG. 5A.
  • FIG. FIG. 2 is a conceptual diagram illustrating a visual recognition situation of a virtual space using an HMD when a user tilts his or her head 45 degrees in Example 1.
  • FIG. 6A is a diagram illustrating an image displayed on the display unit of the HMD based on the AR object in the state of FIG. 6A.
  • FIG. 6A is a diagram illustrating an image displayed on a display unit based on the display unit of the HMD in the state of FIG. 6A.
  • FIG. FIG. 3 is an explanatory diagram showing the relationship between the tilt angle of the user's head and the image displayed on the display unit in Example 1.
  • FIG. 7 is a flowchart of object display control processing in the first embodiment.
  • FIG. 3 is an explanatory diagram of additional object display control in the first embodiment.
  • 9A is a table summarizing the display control of AR objects and additional objects according to the tilt ⁇ of the user's head in the state of FIG. 9A.
  • FIG. 7 is an explanatory diagram of display control of an AR object and an additional object according to the tilt ⁇ of the user's head in Example 2;
  • FIG. 7 is a diagram illustrating an image displayed on the display section of the HMD in a state where the user wearing the HMD in Example 3 tilts his head to the right.
  • FIG. 11A is a diagram illustrating an image displayed on the display unit when the user further tilts his head to the right from the state of FIG. 11A and the tilt of the user's head exceeds a predetermined value.
  • FIG. 7 is an explanatory diagram of additional object display control in Example 3;
  • an HMD will be described as an example of an information display device.
  • FIG. 1 is a block diagram showing the hardware configuration of the HMD 100 in this embodiment.
  • 101 is a main control unit (CPU/MCU, etc.)
  • 102 is a bus that is a transmission/reception path for commands and data
  • 103 is a work area when executing basic operating programs and other operating programs.
  • RAM 110 is a storage unit that is a nonvolatile storage medium such as FlashROM/EEPROM/SSD/HDD.
  • An operation input unit 120 is a user operation interface, and includes operation keys 121 such as SWs, a power key, and a volume key, and a touch sensor 122 such as a touch pad.
  • Reference numeral 130 denotes an image processing section such as an image (video) processor, which includes a display section (display) 131, an image signal processing section (image (video) signal processor) 132, and a first image input section that is an external camera for forward photography. 133, it has a second image input unit 134 which is an internal camera for line of sight detection.
  • an image processing section such as an image (video) processor, which includes a display section (display) 131, an image signal processing section (image (video) signal processor) 132, and a first image input section that is an external camera for forward photography.
  • 133 it has a second image input unit 134 which is an internal camera for line of sight detection.
  • audio processor 140 is an audio processing unit (audio processor), which includes an audio output unit (speaker) 141, an audio signal processing unit (audio signal processor) 142, and an audio input unit (microphone) 143.
  • 150 is a location information acquisition unit (for receiving location information signals such as GPS signals). Further, 160 is a sensor section, which includes a gyro sensor 161, a geomagnetic sensor 162, and an acceleration sensor 163.
  • 170 is a communication unit (communication interface) consisting of a LAN (Wi-Fi (registered trademark)) communication unit, a mobile communication unit, a Bluetooth (registered trademark) communication unit, etc., and 180 is an expansion interface unit, such as a USB interface. Yes, it is used for data transmission and reception, charging, etc.
  • FIG. 2 shows the appearance and installation diagram of the HMD in this example.
  • the upper figure is a top view of the state in which the HMD 100 is attached to the head of the user U1
  • the middle figure is a front view
  • the lower figure is a side view.
  • the HMD 100 in this embodiment is a goggle-type, non-transparent HMD.
  • the display unit 131 is of a non-transmissive type and is placed at a position where the user U1 can see inside the housing of the HMD 100, and the user's visual range image obtained by the first image input unit 133, which is an external camera. is displayed on the display section 131.
  • the display section 131 may be of a transmissive type, in which case the outside world can be directly viewed through the display section 131 .
  • 133L is a first image input unit (L) which is an external camera on the left side
  • 133R is a first image input unit (R) which is an external camera on the right side. Note that there may be only one first image input section, and for example, one first image input section 133 may be provided in the center.
  • 122L is a touch sensor (L)
  • 122R is a touch sensor (R) (not shown)
  • only one touch sensor on either the left or right side may be used.
  • 141L is an audio output section (L) (stereo speaker L)
  • 141R is an audio output section (R) (stereo speaker R) (not shown).
  • the audio input section 143 may include a monaural microphone.
  • FIG. 3 is a functional configuration diagram of the HMD in this embodiment.
  • the storage unit 110 includes a basic operation program 1001, which is a basic program such as an OS, and an application 1002, which includes an application (hereinafter abbreviated as an application) that executes the functions of this embodiment and other applications. , and various data storage areas 1009, which are areas for storing various operation setting values and various information (videos/still images/audio, etc.).
  • the programs/applications stored in the storage unit 110 are expanded (loaded) into the RAM 103, and the main control unit 101 executes the developed programs/applications through software processing to control the functional units and other functions of this embodiment. part is executed.
  • the RAM 103 lists execution programs to be expanded by function. That is, the RAM 103 acquires information regarding the basic operation function unit 1101 that executes the basic operation program of the HMD 100 and an AR object (hereinafter, the object may be referred to as OBJ), and displays the HMD 100 based on the acquired information.
  • the object hereinafter, the object may be referred to as OBJ
  • the object data acquisition unit 1111 generates an AR object to be displayed in the section 131, the posture detection unit 1112 detects the inclination of the HMD 100 (the inclination of the head of the user U1) with respect to the direction of gravity in real space, and the object data acquisition unit 1111
  • An additional object generation unit 1113 generates additional information (additional object) related to the generated AR object, the direction of gravity set in the virtual space where the AR object is placed, and the direction of gravity detected in the real space by the orientation detection unit 1112.
  • a display control unit that controls the display mode of the AR object generated by the object data acquisition unit 1111 and the additional object generated by the additional object generation unit 1113 on the display unit 131 based on the inclination of the HMD 100 with respect to the direction of gravity and the operation mode of the HMD 100. It has 1114.
  • the RAM 103 has a temporary storage area 1199 that is a temporary storage area for various information created/obtained by the application.
  • FIGS. 4A and 4B are conceptual diagrams illustrating how the virtual space is viewed by the HMD in this embodiment.
  • FIG. 4A shows a case where the user U1 is wearing the HMD 100 while standing upright without tilting his head with respect to the vertical direction, which is the direction of gravity G in real space.
  • S1 is a virtual space that the user U1 views by wearing the HMD 100.
  • the virtual space S1 is a space in which OBJs 1 to 3 and other objects are arranged, and is not limited to an ellipse.
  • OBJ1 is an AR object of a person
  • OBJ2 is an AR object of a cup
  • OBJ3 is an AR object of a table, each of which is arranged based on the world coordinate system.
  • 131V is a visible range in the virtual space S1 that the user U1 views by wearing the HMD 100, and moves in conjunction with the movement of the HMD 100 worn by the user U1.
  • g is the direction of gravity set in the virtual space S1 where the AR objects OBJ1 to OBJ3 are placed.
  • the user U1 By displaying the AR objects OBJ1 to OBJ3 on the display unit 131 of the HMD 100, the user U1 becomes in a state in which a predetermined range of the virtual space S1 including the AR objects OBJ1 to 3 is visually recognized via the viewing range 131V.
  • FIG. 4B is a diagram illustrating an image displayed on the display section of the HMD in the state of FIG. 4A.
  • the display unit 131 displays a video 131V1 displayed in the state of FIG. 4A.
  • OBJM is an additional object mainly composed of characters, such as a menu or a pop-up for explaining an object.
  • FIGS. 5A, 5B, and 5C are conceptual diagrams illustrating how the virtual space is viewed by the HMD when the user tilts his head 30 degrees in this embodiment.
  • FIG. 5A shows a case where the user U1 tilts his head 30 degrees to the right from the state of FIG. 4A, that is, the HMD 100 rotates 30 degrees clockwise within the XY plane of real space.
  • the angle of the vertical axis of the head with respect to the vertical direction in a plane parallel to the display section 131 is 30 degrees.
  • the HMD 100 also tilts, and the visibility range 131V also tilts 30 degrees to the right. That is, the visible range 131V is rotated 30 degrees clockwise within the xy plane of the virtual space S1.
  • Each AR object OBJ1 to OBJ3 and additional object OBJM arranged based on the world coordinate system are positioned in the virtual space S1 even if the user U1 or the visible range 131V moves, in order to create a state of being immersed in the virtual world. is fixed. That is, each of the AR objects OBJ1 to OBJ3 and the additional object OBJM maintain a state in which they are displayed with the gravitational direction g of the virtual space as a vertical reference.
  • FIG. 5B shows a state in which the video 131V3 displayed in the display unit 131 is drawn based on each of the AR objects OBJ1 to OBJ3 in the state of FIG. 5A.
  • FIG. 5C shows a state in which the video 131V3 displayed in the display section 131 is drawn with the display section 131 as a reference in the state of FIG. 5A. That is, the image displayed on the display unit 131 is shown as seen by the user U1 who has tilted his head.
  • each AR object OBJ1 to OBJ3 placed in the virtual space S1 is In order to create a state of being immersed in the world, the user maintains a posture based on the direction of gravity g in the virtual space S1. Therefore, as shown in FIG. 5C, each AR object OBJ1 to OBJ3 and additional object OBJM displayed on the display unit 131 are displayed tilted to the left, which is opposite to the right direction in which the user U1 tilts his head. be done. As a result, even if the user U1 tilts his head, the object itself appears fixed, making it possible to give a feeling as if the object actually exists in the virtual world.
  • FIGS. 6A, 6B, and 6C are conceptual diagrams illustrating how the virtual space is viewed by the HMD when the user tilts his head 45 degrees in this embodiment.
  • FIGS. 6A, 6B, and 6C the same components as in FIGS. 5A, 5B, and 5C are denoted by the same reference numerals, and the description thereof will be omitted.
  • FIG. 6A shows a case where the user U1 further tilts his head to the right by 45 degrees from the state of FIG. 5A. That is, a case is shown in which the HMD 100 is rotated 45 degrees clockwise within the XY plane of real space.
  • FIGS. 5B and 5C show the display inside the display unit 131 similar to that shown in FIGS. 5B and 5C. 6B and 6C, the difference from FIGS. 5B and 5C is that, unlike AR objects OBJ1 to 3, the additional object OBJM has the same inclination as the user's head, and the additional object OBJM faces the user directly. will be displayed.
  • the predetermined value of the tilt angle of the user's head is set to 40 degrees, and if it is less than 40 degrees, both the AR objects OBJ1 to 3 and the additional object OBJM tilt the head as shown in FIG. 5C. It is displayed on the display unit 131 in a tilted state according to the tilt. On the other hand, if it is 40 degrees or more, as shown in FIG. 6C, the additional object OBJM has the same inclination as the user's head, unlike the AR objects OBJ1 to OBJ3, and is viewed from the user U1 who has tilted his head. Displayed facing directly.
  • the predetermined value of the tilt angle is set to 40 degrees, and In this case, the tilt of the additional object is the same as the tilt of the user's head. This has the effect of making it easier to read when the additional object is a character or the like.
  • the predetermined value of the inclination angle is preferably about 30 to 40 degrees at most. Further, the predetermined value of the tilt angle may be 0 degrees.
  • the additional object OBJM may be displayed so that the inclination of the additional object OBJM is always the same as the inclination of the user's head, and is directly facing the user U1 who has tilted his head. Further, the predetermined value of the tilt angle may be changeable by user settings.
  • FIG. 7 is an explanatory diagram showing the relationship between the tilt angle of the user's head and the image displayed on the display unit in this embodiment.
  • FIG. 7 shows the display mode of the AR object and additional objects displayed on the display unit when the tilt angle of the user's head is changed in 15 degree increments, and when the predetermined value of the tilt angle is 40 degrees. It shows about.
  • AR objects OBJ1 to 3 and additional objects OBJM are similarly moved to the left side opposite to the right direction when the user tilts his head. Displayed tilted in the direction.
  • the tilt angle is from 45 degrees to 90 degrees, which is the predetermined value of 40 degrees or more
  • the AR objects OBJ1 to OBJ3 are displayed tilted to the left, which is opposite to the right direction when the head is tilted, but the additional objects OBJM is displayed with the same inclination as the user's head, that is, facing the user whose head is tilted.
  • FIG. 8 is a flowchart of object display control processing in this embodiment.
  • the display control unit 1114 checks whether the state of the HMD 100 is in the AR object display on mode. If it is the AR object display On mode, the process advances to step S102. If it is not the AR object display On mode, the process ends.
  • the posture detection unit 1112 detects the position and pointing direction of the HMD 100 in real space, and the tilt of the HMD 100.
  • the inclination of the HMD 100 is the angle of the vertical direction of the display section 131 with respect to the vertical direction in a plane parallel to the display section 131. It is the angle of the vertical axis and is 0° when the head is upright.
  • step S103 the object data acquisition unit 1111 acquires information regarding the AR object placed in the virtual space S1 from the server device on the network. Then, in step S104, the object data acquisition unit 1111 generates an AR object to be displayed on the display unit 131.
  • step S105 the display control unit 1114 displays the AR object generated in the process of S104 on the display unit 131.
  • the AR object displayed here is displayed with the gravitational direction g of the virtual space as a vertical reference, regardless of the inclination of the HMD 100 detected in the process of S102.
  • the display is performed so as to maintain the posture based on the direction of gravity g in the virtual space S1. That is, the rotation process is performed so that the HMD 100 is tilted in the opposite direction by the same amount as the tilt detected in the process of S102, and the AR object is displayed.
  • step S106 the additional object generation unit 1113 checks whether the state of the HMD 100 is in the additional object display On mode. If the additional object display ON mode is selected, the process advances to step S107. If it is not the additional object display On mode, the process returns to step S101.
  • step S107 the additional object generation unit 1113 generates an additional object related to the AR object generated in the process of S104.
  • step S108 it is determined whether the inclination of the HMD 100 with respect to the vertical direction detected in the process of S102 is less than a predetermined value. If the inclination with respect to the vertical direction is less than the predetermined value, the process advances to step S109. If the inclination with respect to the vertical direction is not less than the predetermined value, the process proceeds to step S110.
  • step S109 the display control unit 1114 displays the additional object generated in S107 using the gravitational direction g of the virtual space as a vertical reference, regardless of the inclination of the HMD 100 detected in the process of S102. That is, similar to the AR object displayed in the process of S105, the additional object is displayed tilted in the opposite direction by the same amount as the tilt of the HMD 100 detected in the process of S102.
  • step S110 the display control unit 1114 displays the additional object generated in S107 using the same vertical reference as the display unit 113. That is, the additional object is displayed in the display unit 131 so as to have an orientation with no inclination.
  • FIGS. 9A and 9B are explanatory diagrams of additional object display control in this embodiment.
  • FIG. 9A is a diagram showing a state in which the user U1 tilts his head to the right (clockwise direction) by ⁇ degrees. That is, ⁇ is the inclination angle of the user U1's head with respect to the vertical direction, which is the gravitational direction G in the real space, and indicates a case where the HMD 100 is rotated by ⁇ degrees clockwise within the XY plane in the real space.
  • FIG. 9B is a table summarizing the display control of AR objects and additional objects according to the tilt ⁇ of the user's head in this embodiment in the state of FIG. 9A.
  • the AR object is displayed based on the gravitational direction g of the virtual space S1, regardless of the tilt of the HMD 100.
  • the additional objects are similarly displayed with respect to the gravitational direction g of the virtual space S1, regardless of the inclination of the HMD 100.
  • the AR object is similarly displayed based on the gravitational direction g of the virtual space S1 regardless of the inclination of the HMD 100, but the additional object is , the relative inclination difference with the HMD 100 is displayed to be 0.
  • the AR object that is the main image is tilted according to the tilt angle of the user's head, that is, the tilt angle of the display unit.
  • additional objects such as a menu display so that they are not tilted
  • FIG. 10 is an explanatory diagram of display control of AR objects and additional objects according to the user's head tilt ⁇ in this embodiment.
  • FIG. 10 similar to the state in FIG. 9A, it is assumed that the user U1 tilts his head ⁇ degree to the right (clockwise direction), and predetermined value 1 ⁇ predetermined value 2 ⁇ predetermined value 3 ⁇ ... ⁇ predetermined value n
  • the AR object is similarly displayed based on the gravitational direction g of the virtual space S1 regardless of the inclination of the HMD 100, but the additional object is , is displayed with an inclination of [predetermined value 1 + ⁇ (predetermined value 2 - predetermined value 1) ⁇ 2 ⁇ ] with respect to the vertical direction.
  • the AR object is similarly displayed based on the gravitational direction g of the virtual space S1 regardless of the inclination of the HMD 100;
  • the AR object is similarly displayed based on the gravitational direction g of the virtual space S1 regardless of the inclination of the HMD 100, but the additional object is , is displayed with a slope of [predetermined value n+ ⁇ (180-predetermined value n)/2 ⁇ ] with respect to the vertical direction.
  • the additional object is displayed with a stepwise angle of inclination depending on the inclination ⁇ of the user's head, that is, the inclination ⁇ of the display section of the HMD.
  • the difference between the tilt of the user's head and the tilt of the additional object can be minimized without increasing the difference in tilt between the AR object and the additional object.
  • FIGS. 11A, 11B, and 11C are diagrams illustrating images displayed on the display section of the HMD when the user wearing the HMD in this embodiment tilts his head to the right (clockwise).
  • FIG. 11A a video 131V5 is displayed on the display unit 131 of the HMD.
  • Video 131V5 displays AR objects OBJ1 to OBJ3, similar to FIG. 4A, and additional object OBJP1, which is an explanatory pop-up regarding the AR object (for example, a diagram, table, or comment explaining AR object OBJ2), etc. .
  • FIG. 11A shows a case where the tilt of the user's head is less than a predetermined value, and the additional object OBJP1 also maintains its arrangement based on the direction of gravity in the virtual space S1.
  • FIG. 11B shows a case where the user further tilts his head to the right from the state shown in FIG. 11A, and the tilt of the user's head reaches a predetermined value or more.
  • the display control described in the first embodiment causes the additional object OBJP1 to be displayed with the same vertical reference as the HMD.
  • the AR objects OBJ1 to OBJ3 maintain their arrangement based on the direction of gravity in the virtual space S1, the display of the additional object OBJP1 and the display of the AR object may overlap, as shown in FIG. 11B.
  • the additional object OBJP1 in order to eliminate the overlap between the display of the additional object OBJP1 and the display of each AR object in the state of FIG. 11B, the additional object OBJP1 does not overlap with the display of each AR object. Move to position and display. That is, for the additional object, not only the rotation process in the first embodiment but also the movement process may be performed at the same time. This makes it possible to make the menu display easier to see even when the user tilts his or her head.
  • the movement destination of the additional object OBJP1 during the above process may be a position a predetermined distance away in a predetermined direction.
  • the display control unit 1114 can grasp the area occupied by each AR object in the display unit 131 based on the shape of each AR object, the display control unit 1114 can determine the area occupied by each AR object in the display unit 131. It is sufficient to move the additional object OBJP1 to the avoided position.
  • the AR object changes depending on the inclination angle of the user's head, that is, the inclination angle of the display unit.
  • an HMD is used as an example of an information display device, but the present invention is not limited to an HMD, and can also be applied to an information display device such as a smartphone that can change the angle of the display screen with respect to the vertical direction. Applicable.
  • the user may be able to select fixing the tilt of the object using the operation input unit. For example, if the user selects to fix the display while displaying an AR object and an additional object tilted according to the tilt of the display, the tilt of the selected object will change regardless of the subsequent tilt of the display. Continue displaying. Some users may not like the object to be rotated in accordance with the tilt of the display unit. Therefore, by allowing the user to select fixation of the display, usability for the user can be improved.
  • the functions of the present invention explained in the embodiments have been explained as being realized by software by the CPU etc. interpreting and executing the operating programs that realize the respective functions.
  • it may be realized in hardware by designing an integrated circuit, a general-purpose processor, a special-purpose processor, or the like.
  • a processor includes transistors and other circuits and is considered a circuit or processing circuit.
  • hardware and software may be used together.
  • a part or all of each function may be realized by a server.
  • the server only needs to be able to execute functions in cooperation with other components via communication, and may be, for example, a local server, a cloud server, an edge server, a network service, etc., and its form does not matter.
  • Information such as programs, tables, files, etc.
  • each function may be stored in a memory, a recording device such as a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD. However, it may also be stored in a device on a communication network.
  • a recording device such as a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD.
  • a recording medium such as an IC card, SD card, or DVD.
  • it may also be stored in a device on a communication network.
  • each processing example may be independent programs, or a plurality of programs may constitute one application program. Furthermore, the order in which each process is performed may be changed.
  • 100 HMD (head mounted display device), 101: Main control unit, 103: RAM, 110: Storage unit, 120: Operation input unit, 130: Image processing unit, 131: Display unit, 131V: Visible range, 140: Audio Processing unit, 150: Position information acquisition unit, 160: Sensor unit, 170: Communication unit, 180: Extension interface unit, 1001: Basic operation program, 1002: Application, 1009: Various data storage areas, 1101: Basic operation function unit, 1111: Object data acquisition unit, 1112: Posture detection unit, 1113: Additional object generation unit, 1114: Display control unit, 1199: Temporary storage area, U1: User, S1: Virtual space, OBJ1 to 3: AR object, OBJM, OBJP1: Additional object

Abstract

表示部を傾けた場合でもメニュー表示などを見やすくすることが可能で使い勝手のよい情報表示装置およびその表示方法を提供することを目的とする。　そのために、表示部を有する情報表示装置であって、ＡＲオブジェクトに関する情報を取得しＡＲオブジェクトを生成するオブジェクトデータ取得部と、ＡＲオブジェクトに関連する付加オブジェクトを生成する付加オブジェクト生成部と、実空間の重力方向に対する情報表示装置の傾きを検出する姿勢検出部と、ＡＲオブジェクトについて情報表示装置の傾きに応じて表示部に傾いた状態となるように表示し、付加オブジェクトについては、情報表示装置の傾きが所定値未満の場合は情報表示装置の傾きに応じて表示部に傾いた状態となるように表示し、所定値以上の場合は情報表示装置の傾きに関係なく表示部と垂直基準を同一として表示部に傾けないように表示する表示制御部を有する構成とする。

Description

情報表示装置およびその表示方法
　本発明は、情報表示装置およびその表示方法に関する。
　情報表示装置の１つとして、頭部に装着して情報を視聴する装置であるヘッドマウントディスプレイ装置（以下、ＨＭＤ:Head Mounted Display、と称す）がある。ＨＭＤは、現実空間に映像や文字などの仮想物体（ＡＲオブジェクト:Argument Reality Object）の映像を重ね合わせて表示させ視認させることが可能であり、近年、ゲーム用途や作業支援の分野等での利用が広がりつつある。
　ここで、ユーザが、ＨＭＤを装着することにより視認する仮想空間は、仮想世界に没入した状態を演出するために、ユーザの頭部の動きに応じて視認する仮想空間を変化させる必要がある。
　本技術分野の背景技術として特許文献１がある。特許文献１には、ＨＭＤにより立体画像を提示する画像処理装置であって、水平方向に離間した２視点から見たオブジェクトを表す、左目用画像および右目用画像の対からなる基準画像を取得する基準画像取得部と、ＨＭＤを装着したユーザの頭部の垂直軸の、画面に平行な平面における鉛直方向からの傾斜角を取得する傾斜角取得部と、傾斜角に基づき、左目用画像および右目用画像を、オブジェクトを含む仮想空間における共通の軸周りに回転させる変換処理を行う画像変換部と、変換処理が施された左目用画像および右目用画像のデータを、ＨＭＤに出力する出力部を備えた構成が開示されている。
国際公開第２０１９／１６３０３１号
　特許文献１では、ユーザの頭部の傾斜角に応じて、同様に傾く表示部における画像を回転させる表示画像制御を行っている。よって、ユーザが頭部を傾けた場合は、表示部におけるユーザから見た表示画像はすべて傾いた表示となる。そのため、例えばメニュー表示などがある場合は、メニュー表示も傾いた表示となり、メニュー表示が見づらくなるという点について考慮されていない。
　本発明は、上記課題に鑑み、表示部を傾けた場合でもメニュー表示などを見やすくすることが可能で使い勝手のよい情報表示装置およびその表示方法を提供することを目的とする。
　本発明は、その一例を挙げるならば、表示部を有する情報表示装置であって、ＡＲオブジェクトに関する情報を取得しＡＲオブジェクトを生成するオブジェクトデータ取得部と、ＡＲオブジェクトに関連する付加オブジェクトを生成する付加オブジェクト生成部と、実空間の重力方向に対する情報表示装置の傾きを検出する姿勢検出部と、ＡＲオブジェクトについて情報表示装置の傾きに応じて表示部に傾いた状態となるように表示し、付加オブジェクトについては、情報表示装置の傾きが所定値未満の場合は情報表示装置の傾きに応じて表示部に傾いた状態となるように表示し、所定値以上の場合は情報表示装置の傾きに関係なく表示部と垂直基準を同一として表示部に傾けないように表示する表示制御部を有する構成とする。
　本発明によれば、表示部を傾けた場合でもメニュー表示などを見やすくすることが可能で使い勝手のよい情報表示装置およびその表示方法を提供できる。
実施例１におけるＨＭＤのハードウェア構成を示すブロック図である。 実施例１におけるＨＭＤの外観および装着図である。 実施例１におけるＨＭＤの機能構成図である。 実施例１におけるＨＭＤによる仮想空間の視認状況を説明する概念図である。 図４Ａの状態においてＨＭＤの表示部に表示される映像を説明する図である。 実施例１におけるユーザが頭を３０度傾けた場合のＨＭＤによる仮想空間の視認状況を説明する概念図である。 図５Ａの状態においてＡＲオブジェクトを基準にしたＨＭＤの表示部に表示される映像を説明する図である。 図５Ａの状態においてＨＭＤの表示部を基準とした表示部に表示される映像を説明する図である 実施例１におけるユーザが頭を４５度傾けた場合のＨＭＤによる仮想空間の視認状況を説明する概念図である。 図６Ａの状態においてＡＲオブジェクトを基準にしたＨＭＤの表示部に表示される映像を説明する図である。 図６Ａの状態においてＨＭＤの表示部を基準とした表示部に表示される映像を説明する図である 実施例１におけるユーザの頭の傾き角度と表示部に表示される映像との関係を示した説明図である。 実施例１におけるオブジェクト表示制御処理のフローチャートである。 実施例１における付加オブジェクト表示制御の説明図である。 図９Ａの状態においてユーザの頭の傾きαに応じたＡＲオブジェクト及び付加オブジェクトの表示制御をまとめた表である。 実施例２におけるユーザの頭の傾きαに応じたＡＲオブジェクト及び付加オブジェクトの表示制御の説明図である。 実施例３におけるＨＭＤを装着したユーザが頭を右側に傾けた状態でＨＭＤの表示部に表示される映像を説明する図である。 図１１Ａの状態からユーザが頭をさらに右側に傾け、ユーザの頭の傾きが所定値以上となった場合の表示部に表示される映像を説明する図である。 実施例３における付加オブジェクト表示制御の説明図である。
　以下、図面を用いて本発明の実施例について説明する。なお、以下の実施例では、情報表示装置としてＨＭＤを例にして説明する。
　図１は、本実施例におけるＨＭＤ１００のハードウェア構成を示すブロック図である。図１において、１０１は主制御部（ＣＰＵ／ＭＣＵ等）であって、１０２は、コマンドやデータの送受信経路であるバス、１０３は、基本動作プログラムやその他の動作プログラム実行時のワークエリアとなるＲＡＭ、１１０は、ＦｌａｓｈＲＯＭ／ＥＥＰＲＯＭ／ＳＳＤ／ＨＤＤ等の不揮発性記憶媒体であるストレージ部である。
　１２０は、ユーザ操作インタフェースである操作入力部であり、ＳＷ類や電源キーや音量キー等の操作キー１２１と、タッチパッドなどのタッチセンサ１２２を有する。
　１３０は、イメージ（ビデオ）プロセッサ等の画像処理部であり、表示部（ディスプレイ）１３１、画像信号処理部（イメージ（ビデオ）シグナルプロセッサ）１３２、前方撮影用の外部カメラである第一画像入力部１３３、視線検出用の内部カメラである第二画像入力部１３４を有する。
　１４０は音声処理部（オーディオプロセッサ）であって、音声出力部（スピーカ）１４１、音声信号処理部（オーディオシグナルプロセッサ）１４２、音声入力部（マイク）１４３を有する。
　１５０は位置情報取得部（ＧＰＳ信号等の位置情報信号受信用）である。また、１６０はセンサ部であって、ジャイロセンサ１６１、地磁気センサ１６２、加速度センサ１６３を有する。
　１７０は、ＬＡＮ（Ｗｉ－Ｆｉ（登録商標））通信部やモバイル通信部、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信部等からなる通信部（通信インタフェース）、１８０は拡張インタフェース部であり、例えばＵＳＢインタフェース等であり、データ送受信や充電等に使用される。
　図２は、本実施例におけるＨＭＤの外観および装着図である。図２において、上図は、ユーザＵ１の頭部にＨＭＤ１００を装着した状態の上面図であり、中段の図は正面図、下図は側面図である。本実施例におけるＨＭＤ１００は、図２に示すように、ゴーグル型であり、非透過型のＨＭＤである。
　図２において、表示部１３１は非透過型であり、ＨＭＤ１００の筐体の内側のユーザＵ１が視認可能な位置に配置され、外部カメラである第一画像入力部１３３が取得したユーザの視野範囲画像を表示部１３１に表示する。なお、表示部１３１は透過型でもよく、その場合は、表示部１３１を介して、透過して外界を直接視認可能である。
　１３３Ｌは左側の外部カメラである第一画像入力部（Ｌ）、１３３Ｒは右側の外部カメラである第一画像入力部（Ｒ）である。なお、第一画像入力部は一つのみでもよく、例えば、中央部に一つの第一画像入力部１３３を設ける構成でもよい。
　また、１２２Ｌはタッチセンサ（Ｌ）、１２２Ｒはタッチセンサ（Ｒ）（図示省略）であり、タッチセンサは左右何れか一つのみでもよい。また、１４１Ｌは音声出力部（Ｌ）（ステレオスピーカＬ）、１４１Ｒは音声出力部（Ｒ）（ステレオスピーカＲ）（図示省略）である。なお、図示は省略するが、音声入力部１４３としてモノラルマイクを有してもよい。
　図３は、本実施例におけるＨＭＤの機能構成図である。図３において、ストレージ部１１０は、ＯＳ等の基本的なプログラムである基本動作プログラム１００１と、本実施例の機能を実行するアプリケーション（以降アプリと省略する）や、その他のアプリを含むアプリケーション１００２と、各種動作設定値や各種情報（動画／静止画／音声等）を記憶しておく領域である各種データ記憶領域１００９で構成されている。
　ストレージ部１１０に記憶されているプログラム／アプリは、ＲＡＭ１０３に展開（ロード）され、主制御部１０１が、展開されたプログラム／アプリを実行するソフトウェア処理により、本実施例の機能部やその他の機能部が実行される。
　図３において、ＲＡＭ１０３には、展開される実行プログラムを機能別に記載している。すなわち、ＲＡＭ１０３は、ＨＭＤ１００の基本動作プログラムを実行する基本動作機能部１１０１と、ＡＲオブジェクト（以降、オブジェクトをＯＢＪと記載する場合がある）に関する情報を取得し、取得した情報に基づいてＨＭＤ１００の表示部１３１に表示するＡＲオブジェクトを生成するオブジェクトデータ取得部１１１１と、実空間の重力方向に対するＨＭＤ１００の傾き（ユーザＵ１の頭部の傾き）を検出する姿勢検出部１１１２と、オブジェクトデータ取得部１１１１で生成したＡＲオブジェクトに関連する付加情報（付加オブジェクト）を生成する付加オブジェクト生成部１１１３と、ＡＲオブジェクトが配置される仮想空間内に設定された重力方向と、姿勢検出部１１１２で検出した実空間の重力方向に対するＨＭＤ１００の傾きと、ＨＭＤ１００の動作モードに基づいて、オブジェクトデータ取得部１１１１で生成したＡＲオブジェクト及び付加オブジェクト生成部１１１３で生成した付加オブジェクトの表示部１３１における表示態様を制御する表示制御部１１１４を有する。
　また、ＲＡＭ１０３は、アプリにより作成／取得された各種情報の一時的な記憶領域である一時記憶領域１１９９を有している。
　図４Ａ、図４Ｂは、本実施例におけるＨＭＤによる仮想空間の視認状況を説明する概念図である。
　図４Ａにおいては、ユーザＵ１は、実空間における重力方向Ｇである鉛直方向に対して頭部が傾くことなく直立してＨＭＤ１００を装着している場合を示している。Ｓ１は、ユーザＵ１がＨＭＤ１００を装着することにより視認する仮想空間である。図４Ａにおいて、仮想空間Ｓ１は、ＯＢＪ１～３及びその他のオブジェクトが配置される空間であり、楕円内のみに限るものではない。
　ＯＢＪ１は人物のＡＲオブジェクト、ＯＢＪ２はコップのＡＲオブジェクト、ＯＢＪ３はテーブルのＡＲオブジェクトであり、それぞれが世界座標系に基づき配置されている。１３１Ｖは、ユーザＵ１がＨＭＤ１００を装着することにより視認する仮想空間Ｓ１における視認範囲であり、ユーザＵ１が装着したＨＭＤ１００の動きに連動して移動する。なお、ｇはＡＲオブジェクトＯＢＪ１～３が配置された仮想空間Ｓ１に設定された重力方向である。
　ＨＭＤ１００の表示部１３１にＡＲオブジェクトＯＢＪ１～３を表示することにより、ユーザＵ１は、ＡＲオブジェクトＯＢＪ１～３を含む仮想空間Ｓ１の所定範囲を、視認範囲１３１Ｖを介して視認した状態となる。
　図４Ｂは図４Ａの状態においてＨＭＤの表示部に表示される映像を説明する図である。図４Ｂにおいて、表示部１３１には、図４Ａの状態で表示される映像１３１Ｖ１が表示される。なお、ＯＢＪＭは、メニューやオブジェクト説明用ポップアップ等の主として文字で構成される付加オブジェクトである。
　図５Ａ、図５Ｂ、図５Ｃは、本実施例におけるユーザが頭を３０度傾けた場合のＨＭＤによる仮想空間の視認状況を説明する概念図である。
　図５Ａ、図５Ｂ、図５Ｃにおいて、図４Ａ、図４Ｂと同じ構成は同じ符号を付し、その説明を省略する。図５Ａにおいては、図４Ａの状態から、ユーザＵ１が頭を右側に３０度傾ける、すなわち、ＨＭＤ１００が実空間のＸＹ平面内で時計回りに３０度回転した場合を示している。言い換えれば、表示部１３１と平行な面における、鉛直方向に対する頭部の垂直軸の角度が３０度の場合を示している。
　ユーザＵ１が頭を右側に３０度傾けたことにより、ＨＭＤ１００も傾き、視認範囲１３１Ｖも右側に３０度傾く。すなわち、視認範囲１３１Ｖが仮想空間Ｓ１のｘｙ平面内で時計回りに３０度回転する。世界座標系に基づいて配置された各ＡＲオブジェクトＯＢＪ１～３、付加オブジェクトＯＢＪＭは、仮想世界に没入した状態を演出するために、ユーザＵ１や視認範囲１３１Ｖが移動しても仮想空間Ｓ１内における位置が固定される。すなわち、各ＡＲオブジェクトＯＢＪ１～３や付加オブジェクトＯＢＪＭは、仮想空間の重力方向ｇを垂直基準として表示される状態を保つ。
　図５Ｂは、図５Ａの状態において、表示部１３１内に表示される映像１３１Ｖ３を、各ＡＲオブジェクトＯＢＪ１～３を基準にして描画した状態である。
　図５Ｃは、図５Ａの状態において、表示部１３１内に表示される映像１３１Ｖ３を、表示部１３１を基準として描画した状態である。すなわち頭を傾けたユーザＵ１から見た表示部１３１に表示される映像を示している。
　ユーザＵ１が頭を右側に傾けることによりユーザＵ１の頭部に装着されたＨＭＤ１００の表示部１３１及び視認範囲１３１Ｖも右側に傾くが、仮想空間Ｓ１に配置された各ＡＲオブジェクトＯＢＪ１～３は、仮想世界に没入した状態を演出するために、仮想空間Ｓ１の重力方向ｇに基づいた姿勢を保つ。このため、図５Ｃに示すように、表示部１３１に表示される各ＡＲオブジェクトＯＢＪ１～３、付加オブジェクトＯＢＪＭは、ユーザＵ１が頭を傾けた右側方向とは逆の左側方向に傾いた状態で表示される。これにより、ユーザＵ１が頭を傾けてもオブジェクト自体は固定されて見えるため、仮想世界に実在するかのような感覚を与えることができる。
　図６Ａ、図６Ｂ、図６Ｃは、本実施例におけるユーザが頭を４５度傾けた場合のＨＭＤによる仮想空間の視認状況を説明する概念図である。
　図６Ａ、図６Ｂ、図６Ｃにおいて、図５Ａ、図５Ｂ、図５Ｃと同じ構成は同じ符号を付し、その説明を省略する。図６Ａにおいては、図５Ａの状態からユーザＵ１が頭をさらに右側に傾け、４５度傾けた場合を示している。すなわち、ＨＭＤ１００が実空間のＸＹ平面内で時計回りに４５度回転した場合を示している。
　図６Ｂ、図６Ｃは、図５Ｂ、図５Ｃと同様の表示部１３１内の表示を示している。図６Ｂ、図６Ｃにおいて、図５Ｂ、図５Ｃと異なる点は、付加オブジェクトＯＢＪＭは、ＡＲオブジェクトＯＢＪ１～３と異なり、ユーザの頭の傾きと傾きが同じとなり、付加オブジェクトＯＢＪＭはユーザに正対するように表示される。
　本実施例では、ユーザの頭の傾き角度の所定値を４０度と設定し、４０度未満であれば、図５Ｃに示したように、ＡＲオブジェクトＯＢＪ１～３と付加オブジェクトＯＢＪＭはともに、頭を傾きに応じて傾いた状態で表示部１３１に表示される。一方、４０度以上であれば、図６Ｃに示したように、付加オブジェクトＯＢＪＭは、ＡＲオブジェクトＯＢＪ１～３と異なり、ユーザの頭の傾きと傾きが同じとなり、頭を傾けたユーザＵ１から見て正対するように表示される。
　これは、ユーザの頭の傾きと付加オブジェクトの傾きの差が大きいと付加オブジェクトが読みにくくなるため、本実施例では傾き角度の所定値を４０度と設定し、頭の傾き角度が４０度以上の場合、付加オブジェクトの傾きをユーザの頭の傾きと同じとするものである。これにより、付加オブジェクトが文字等である場合には読みやすくなるという効果がある。なお、傾き角度の所定値は、最大３０～４０度程度がよい。また、傾き角度の所定値は０度であってもよい。即ち、付加オブジェクトＯＢＪＭは、常にユーザの頭の傾きと傾きが同じとなり、頭を傾けたユーザＵ１から見て正対するように表示されてもよい。また、傾き角度の所定値はユーザ設定により変更可能であってよい。
　図７は、本実施例におけるユーザの頭の傾き角度と表示部に表示される映像との関係を示した説明図である。図７においては、ユーザの頭の傾き角度を１５度単位で変えた場合の表示部に表示されるＡＲオブジェクトと付加オブジェクトの表示態様を示しており、傾き角度の所定値を４０度とした場合について示している。
　図７に示すように、所定値の４０度未満である傾き角度１５度及び３０度では、ＡＲオブジェクトＯＢＪ１～３と付加オブジェクトＯＢＪＭは同じようにユーザが頭を傾けた右側方向とは逆の左側方向に傾いた状態で表示される。一方、所定値の４０度以上である傾き角度４５度から９０度では、ＡＲオブジェクトＯＢＪ１～３は頭を傾けた右側方向とは逆の左側方向に傾いた状態で表示されるが、付加オブジェクトＯＢＪＭは頭の傾きと同じ傾きの状態、即ち、頭を傾けたユーザから見て正対するように表示される。
　図８は、本実施例におけるオブジェクト表示制御処理のフローチャートである。図８において、まずステップＳ１０１で、表示制御部１１１４が、ＨＭＤ１００の状態がＡＲオブジェクト表示Ｏｎモードか否かを確認する。ＡＲオブジェクト表示Ｏｎモードである場合はステップＳ１０２の処理に進む。ＡＲオブジェクト表示Ｏｎモードでない場合は処理を終了する。
　ステップＳ１０２では、姿勢検出部１１１２が、実空間におけるＨＭＤ１００の位置及び指向方向、ＨＭＤ１００の傾きを検出する。ここでＨＭＤ１００の傾きとは、表示部１３１と平行な面における、鉛直方向に対する表示部１３１の縦方向のなす角度であり、言い換えれば、表示部１３１と平行な面における、鉛直方向に対する頭部の垂直軸の角度であり、頭部が直立した状態では０°である。
　そして、ステップＳ１０３で、オブジェクトデータ取得部１１１１が、ネットワーク上のサーバ装置から仮想空間Ｓ１に配置されるＡＲオブジェクトに関する情報を取得する。そして、ステップＳ１０４で、オブジェクトデータ取得部１１１１が、表示部１３１に表示するＡＲオブジェクトを生成する。
　そして、ステップＳ１０５では、表示制御部１１１４が、Ｓ１０４の処理で生成したＡＲオブジェクトを表示部１３１に表示する。なお、ここで表示するＡＲオブジェクトは、Ｓ１０２の処理で検出したＨＭＤ１００の傾きによらず、仮想空間の重力方向ｇを垂直基準として表示される。言い換えれば、仮想空間Ｓ１の重力方向ｇに基づいた姿勢を保つように表示する。即ち、Ｓ１０２の処理で検出したＨＭＤ１００の傾きと同量で反対方向に傾いた状態となるよう回転処理を行ない、ＡＲオブジェクトを表示する。
　次に、ステップＳ１０６で、付加オブジェクト生成部１１１３が、ＨＭＤ１００の状態が付加オブジェクト表示Ｏｎモードか否かを確認する。付加オブジェクト表示Ｏｎモードである場合は、ステップＳ１０７の処理に進む。付加オブジェクト表示Ｏｎモードでない場合は、ステップＳ１０１の処理に戻る。
　ステップＳ１０７では、付加オブジェクト生成部１１１３が、Ｓ１０４の処理で生成したＡＲオブジェクトに関連する付加オブジェクトを生成する。
　そして、ステップＳ１０８で、Ｓ１０２の処理で検出した鉛直方向に対するＨＭＤ１００の傾きが所定値未満か否かを確認する。鉛直方向に対する傾きが所定値未満である場合は、ステップＳ１０９の処理に進む。鉛直方向に対する傾きが所定値未満でない場合は、ステップＳ１１０の処理に進む。
　ステップＳ１０９では、表示制御部１１１４が、Ｓ１０２の処理で検出したＨＭＤ１００の傾きによらず、仮想空間の重力方向ｇを垂直基準としてＳ１０７で生成した付加オブジェクトを表示する。即ち、Ｓ１０５の処理で表示したＡＲオブジェクトと同様に、Ｓ１０２の処理で検出したＨＭＤ１００の傾きと同量で反対方向に傾いた状態で付加オブジェクトを表示する。
　ステップＳ１１０では、表示制御部１１１４が、表示部１１３と垂直基準を同一としてＳ１０７で生成した付加オブジェクトを表示する。即ち、表示部１３１内で傾きを有しない姿勢となるように付加オブジェクトを表示する。
　図９Ａ、図９Ｂは、本実施例における付加オブジェクト表示制御の説明図である。図９Ａは、ユーザＵ１が頭を右側（時計回り方向）にα度傾けた状態の図である。すなわち、αは実空間の重力方向Ｇである鉛直方向に対するユーザＵ１の頭の傾き角であり、ＨＭＤ１００が実空間のＸＹ平面内で時計回りにα度回転した場合を示している。
　図９Ｂは、図９Ａの状態において、本実施例におけるユーザの頭の傾きαに応じたＡＲオブジェクト及び付加オブジェクトの表示制御をまとめた表である。
　図９Ｂにおいて、ユーザの頭の傾きα、すなわちＨＭＤの傾きαが、０≦α＜所定値の場合、ＡＲオブジェクトは、ＨＭＤ１００の傾きによらず、仮想空間Ｓ１の重力方向ｇを基準として表示する。また、付加オブジェクトも同様にＨＭＤ１００の傾きによらず、仮想空間Ｓ１の重力方向ｇを基準として表示する。
　一方、ＨＭＤの傾きαが、所定値≦αの場合、ＡＲオブジェクトは、同様に、ＨＭＤ１００の傾きによらず、仮想空間Ｓ１の重力方向ｇを基準として表示するが、付加オブジェクトは、ＨＭＤ１００の傾きに合わせて、ＨＭＤ１００との相対的傾斜差が０となるように表示する。
　以上のように、本実施例によれば、仮想世界に没入した状態を演出するために、主画像であるＡＲオブジェクトは、ユーザの頭部の傾斜角、すなわち表示部の傾斜角に応じて傾けるが、メニュー表示などの付加オブジェクトは傾けない処理とすることで、表示部を傾けた場合でもメニュー表示などを見やすくすることが可能で使い勝手のよい情報表示装置およびその表示方法を提供できる。
　本実施例では、ユーザが頭部を傾けた場合の付加オブジェクトの表示制御の変形例について説明する。
　図１０は、本実施例におけるユーザの頭の傾きαに応じたＡＲオブジェクト及び付加オブジェクトの表示制御の説明図である。
　図１０において、図９Ａの状態と同様に、ユーザＵ１が頭を右側（時計回り方向）にα度傾けた状態を想定し、所定値１＜所定値２＜所定値３＜…＜所定値ｎ、の関係となる複数の所定値を設定したとき、ＨＭＤの傾きαが、０≦α＜所定値１の場合、ＡＲオブジェクトは、ＨＭＤ１００の傾きによらず、仮想空間Ｓ１の重力方向ｇを基準として表示する。また、付加オブジェクトは、鉛直方向に対して、（所定値１÷２）の傾きを持たせて表示する。例えば、所定値１が３０度であった場合、αが０≦α＜３０の場合、（３０÷２）＝１５度の傾きを持たせて表示する。
　また、ＨＭＤの傾きαが、所定値１≦α＜所定値２の場合、ＡＲオブジェクトは、同様にＨＭＤ１００の傾きによらず、仮想空間Ｓ１の重力方向ｇを基準として表示するが、付加オブジェクトは、鉛直方向に対して、［所定値１＋｛（所定値２－所定値１）÷２｝］の傾きを持たせて表示する。例えば、所定値１が３０度、所定値２が６０度であった場合、αが３０≦α＜６０の場合、［３０＋｛（６０－３０）÷２｝］＝４５度の傾きを持たせて表示する。
　同様にして、ＨＭＤの傾きαが、所定値２≦α＜所定値３の場合、ＡＲオブジェクトは、同様にＨＭＤ１００の傾きによらず、仮想空間Ｓ１の重力方向ｇを基準として表示するが、付加オブジェクトは、鉛直方向に対して、［［所定値２＋｛（所定値３－所定値２）÷２｝］の傾きを持たせて表示する。例えば、所定値２が６０度、所定値３が９０度であった場合、αが６０≦α＜９０の場合、［６０＋｛（９０－６０）÷２｝］＝７５度の傾きを持たせて表示する。
　最終的に、ＨＭＤの傾きαが、所定値ｎ≦α≦１８０の場合、ＡＲオブジェクトは、同様にＨＭＤ１００の傾きによらず、仮想空間Ｓ１の重力方向ｇを基準として表示するが、付加オブジェクトは、鉛直方向に対して、［所定値ｎ＋｛（１８０－所定値ｎ）÷２｝］の傾きを持たせて表示する。
　このように、本実施例では、ユーザの頭の傾きα、すなわちＨＭＤの表示部の傾きαに応じて、付加オブジェクトは段階的な角度の傾きを持たせて表示する。
　これにより、本実施例によれば、ＡＲオブジェクトと付加オブジェクトとの傾きの差を大きくすることなく、ユーザの頭の傾きと付加オブジェクトの傾きの差を必要最小限とすることができる。また、ユーザの頭の傾きの小さな変化に連動して付加オブジェクトの表示態様が細かく変動することを防ぐことができ、仮想世界に没入した状態を演出するとともに、付加オブジェクトが文字等である場合には読みやすくなるという効果がある。
　本実施例では、ユーザが頭部を傾けた場合の付加オブジェクトの表示制御のさらなる変形例について説明する。
　図１１Ａ、図１１Ｂ、図１１Ｃは、本実施例におけるＨＭＤを装着したユーザが頭を右側（時計回り方向）に傾けた状態でＨＭＤの表示部に表示される映像を説明する図である。
　図１１Ａにおいて、ＨＭＤの表示部１３１には、映像１３１Ｖ５が表示される。映像１３１Ｖ５には、図４Ａと同様の、ＡＲオブジェクトＯＢＪ１～３と、ＡＲオブジェクトに関する説明用ポップアップ（例えば、ＡＲオブジェクトＯＢＪ２を説明する図や表やコメント）等である付加オブジェクトＯＢＪＰ１が表示されている。図１１Ａにおいては、ユーザの頭の傾きが所定値未満の場合を示しており、付加オブジェクトＯＢＪＰ１も仮想空間Ｓ１の重力方向に基づいた配置を保っている。
　図１１Ｂは、図１１Ａの状態からユーザが頭をさらに右側に傾け、ユーザの頭の傾きが所定値以上となった場合を示している。図１１Ｂにおいては、ユーザの頭の傾きが所定値以上となったため、実施例１で説明した表示制御により、付加オブジェクトＯＢＪＰ１はＨＭＤと垂直基準を同一とした表示となる。しかしながら、ＡＲオブジェクトＯＢＪ１～３は仮想空間Ｓ１の重力方向に基づいた配置を保つため、図１１Ｂに示すように、付加オブジェクトＯＢＪＰ１の表示とＡＲオブジェクトの表示が重なってしまう場合がある。
　そこで本実施例では、図１１Ｃに示すように、図１１Ｂの状態における付加オブジェクトＯＢＪＰ１の表示と各ＡＲオブジェクトの表示との重なりを解消するため、付加オブジェクトＯＢＪＰ１は、各ＡＲオブジェクトの表示と重ならない位置に移動して表示する。すなわち、付加オブジェクトについて、実施例１における回転処理のみでなく、移動処理も同時に行なえばよい。これにより、ユーザが頭部を傾けた場合でも、よりメニュー表示などを見やすくすることが可能となる。
　なお、上記処理の際の付加オブジェクトＯＢＪＰ１の移動先は、予め定めた所定の方向に所定の距離だけ離れた位置とすれば良い。或いは、表示制御部１１１４は、各ＡＲオブジェクトの形状に基づいた、表示部１３１内における各ＡＲオブジェクトが占有する領域を把握可能であるので、上記表示部１３１内における各ＡＲオブジェクトが占有する領域を避けた位置に、付加オブジェクトＯＢＪＰ１を移動すれば良い。
　また、上記の付加オブジェクトＯＢＪＰ１を移動する処理を行った際、ユーザの頭の傾きの小さな変化に連動して付加オブジェクト移動先の位置が細かく変動することを防ぐため、ユーザの頭の傾きの変化が微小である場合には付加オブジェクト移動先の位置とＡＲオブジェクトとの相対的位置関係を固定するように制御してもよい。これにより、ユーザの頭部が微小細動した場合でも、付加オブジェクトの見やすさが損なわれることを防ぐことが可能となる。
　以上のように、本実施例によれば、ユーザが頭部を傾けた場合、すなわち表示部を傾けた場合に、ＡＲオブジェクトはユーザの頭部の傾斜角、すなわち表示部の傾斜角に応じて傾け、メニュー表示などの付加オブジェクトは傾けない処理を行うと共に、ＡＲオブジェクトと重ならない位置に移動して表示することで、よりメニュー表示などを見やすくすることが可能で、より使い勝手のよい情報表示装置およびその表示方法を提供できる。
　以上実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、実施例では、情報表示装置としてＨＭＤを例にして説明したが、本発明はＨＭＤに限定されるものではなく、表示画面の鉛直方向に対する角度が変更可能なスマートフォン等の情報表示装置にも適用可能である。
　また、ユーザの頭部の傾斜角あるいは表示部の傾斜角に応じてオブジェクトを傾ける処理に加え、オブジェクトの傾きを固定することを、ユーザが操作入力部を用いて選択できるようにしても良い。例えば、表示部の傾きに応じてＡＲオブジェクトと付加オブジェクトを傾けて表示している際にユーザが表示の固定を選択したとき、その後の表示部の傾きにかかわらず、選択された際の傾きのままで表示を継続する。ユーザによっては、表示部の傾きに追随してオブジェクトの回転処理が行われることを好まない場合がある。そのため、ユーザが表示の固定を選択できるようにすることで、ユーザの使い勝手を向上することができる。
　また、実施例で説明した本発明の機能は、ＣＰＵ等がそれぞれの機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実現するとして説明したが、それらの一部または全部を、例えば集積回路や汎用プロセッサ、特定用途プロセッサで設計する等によりハードウェアで実現してもよい。プロセッサは、トランジスタやその他の回路を含み、circuitry又はprocessing circuitryとみなされる。また、ハードウェアとソフトウェアを併用してもよい。また、各機能の一部または全部をサーバで実現してもよい。なお、サーバは、通信を介して他の構成部分と連携し機能の実行が出来ればよく、例えば、ローカルサーバ、クラウドサーバ、エッジサーバ、ネットサービス等であり、その形態は問わない。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納されてもよいし、通信網上の装置に格納されてもよい。
　また、各処理例で説明したプログラムは、それぞれ独立したプログラムでもよく、複数のプログラムが一つのアプリケーションプログラムを構成していてもよい。また、各処理を行う順番を入れ替えて実行するようにしてもよい。
　また、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、置換をすることが可能である。
　１００：ＨＭＤ（ヘッドマウントディスプレイ装置）、１０１：主制御部、１０３：ＲＡＭ、１１０：ストレージ部、１２０：操作入力部、１３０：画像処理部、１３１：表示部、１３１Ｖ：視認範囲、１４０：音声処理部、１５０：位置情報取得部、１６０：センサ部、１７０：通信部、１８０：拡張インタフェース部、１００１：基本動作プログラム、１００２：アプリケーション、１００９：各種データ記憶領域、１１０１：基本動作機能部、１１１１：オブジェクトデータ取得部、１１１２：姿勢検出部、１１１３：付加オブジェクト生成部、１１１４：表示制御部、１１９９：一時記憶領域、Ｕ１：ユーザ、Ｓ１：仮想空間、ＯＢＪ１～３：ＡＲオブジェクト、ＯＢＪＭ、ＯＢＪＰ１：付加オブジェクト

Claims (14)

  1. 　表示部を有する情報表示装置であって、
    　ＡＲオブジェクトに関する情報を取得し、取得した情報に基づいて前記表示部に表示するＡＲオブジェクトを生成するオブジェクトデータ取得部と、
    　前記オブジェクトデータ取得部で生成した前記ＡＲオブジェクトに関連する付加情報である付加オブジェクトを生成する付加オブジェクト生成部と、
    　実空間の重力方向に対する前記情報表示装置の傾きを検出する姿勢検出部と、
    　前記ＡＲオブジェクトが配置される仮想空間内に設定された重力方向と前記情報表示装置の傾きに基づいて、前記ＡＲオブジェクト及び前記付加オブジェクトの前記表示部における表示を制御する表示制御部を有し、
    　前記表示制御部は、前記ＡＲオブジェクトについて前記情報表示装置の傾きに応じて前記表示部に傾いた状態となるように表示し、前記付加オブジェクトについては、前記情報表示装置の傾きが所定値未満の場合は前記情報表示装置の傾きに応じて前記表示部に傾いた状態となるように表示し、前記情報表示装置の傾きが所定値以上の場合は前記情報表示装置の傾きに関係なく前記表示部と垂直基準を同一として前記表示部に傾けないように表示することを特徴とする情報表示装置。
  2. 　請求項１に記載の情報表示装置において、
    　前記表示制御部は、前記付加オブジェクトについて、前記情報表示装置の傾きに応じて段階的な角度の傾きを持たせて前記表示部に表示することを特徴とする情報表示装置。
  3. 　請求項２に記載の情報表示装置において、
    　前記表示制御部は、所定値１＜所定値２の関係のとき、前記付加オブジェクトについて、前記情報表示装置の傾きαが、０≦α＜所定値１の場合は(所定値１÷２)の傾きを持たせて前記表示部に表示し、所定値１≦α＜所定値２の場合は[所定値１＋{(所定値２－所定値１)÷２}]の傾きを持たせて前記表示部に表示することを特徴とする情報表示装置。
  4. 　請求項１に記載の情報表示装置において、
    　前記表示制御部は、前記付加オブジェクトについて、前記ＡＲオブジェクトと重ならない位置に移動して表示することを特徴とする情報表示装置。
  5. 　請求項１に記載の情報表示装置において、
    　前記情報表示装置はヘッドマウントディスプレイ装置であって、
    　前記情報表示装置の傾きは、前記ヘッドマウントディスプレイ装置を装着したユーザの頭部の傾斜角であって、
    　前記情報表示装置の傾きに応じて前記表示部に傾いた状態となるように表示する制御は、前記頭部の傾斜角と同量で反対方向に傾いた状態で前記表示部に表示する制御であり、
    　前記付加オブジェクトについて前記情報表示装置の傾きに関係なく前記表示部に傾けないように表示する制御は、前記付加オブジェクトが前記頭部の傾きと同じ傾きでありユーザから見て正対するように表示される制御であることを特徴とする情報表示装置。
    ここまで
  6. 　表示部を有する情報表示装置の表示方法であって、
    　ＡＲオブジェクトに関する情報を取得し、取得した情報に基づいてＡＲオブジェクトを生成し、
    　生成した前記ＡＲオブジェクトに関連する付加情報である付加オブジェクトを生成し、
    　実空間の重力方向に対する前記情報表示装置の傾きを検出し、
    　前記ＡＲオブジェクトについて前記情報表示装置の傾きに応じて前記表示部に傾いた状態となるように表示し、
    　前記付加オブジェクトについて、前記情報表示装置の傾きが所定値未満の場合は前記情報表示装置の傾きに応じて前記表示部に傾いた状態となるように表示し、前記情報表示装置の傾きが所定値以上の場合は前記情報表示装置の傾きに関係なく前記表示部と垂直基準を同一として前記表示部に傾けないように表示することを特徴とする表示方法。
  7. 　請求項６に記載の表示方法において、
    　前記付加オブジェクトについて、前記情報表示装置の傾きに応じて段階的な角度の傾きを持たせて前記表示部に表示することを特徴とする表示方法。
  8. 　請求項７に記載の表示方法において、
    　所定値１＜所定値２の関係のとき、前記付加オブジェクトについて、前記情報表示装置の傾きαが、０≦α＜所定値１の場合は(所定値１÷２)の傾きを持たせて前記表示部に表示し、所定値１≦α＜所定値２の場合は[所定値１＋{(所定値２－所定値１）÷２}]の傾きを持たせて前記表示部に表示することを特徴とする表示方法。
  9. 　請求項６に記載の表示方法において、
    　前記付加オブジェクトについて、前記ＡＲオブジェクトと重ならない位置に移動して表示することを特徴とする表示方法。
  10. 　請求項６に記載の表示方法において、
    　前記情報表示装置はヘッドマウントディスプレイ装置であって、
    　前記情報表示装置の傾きは、前記ヘッドマウントディスプレイ装置を装着したユーザの頭部の傾斜角であって、
    　前記情報表示装置の傾きに応じて前記表示部に傾いた状態となるように表示する制御は、前記頭部の傾斜角と同量で反対方向に傾いた状態で前記表示部に表示する制御であり、
    　前記付加オブジェクトについて前記情報表示装置の傾きに関係なく前記表示部に傾けないように表示する制御は、前記付加オブジェクトが前記頭部の傾きと同じ傾きでありユーザから見て正対するように表示される制御であることを特徴とする表示方法。
  11. 　情報表示装置であって、
    　ディスプレイと、前記情報表示装置の傾きを検出するセンサと、プロセッサと、を有し、
    　前記プロセッサは、
    　ＡＲオブジェクトと前記ＡＲオブジェクトに関連する付加情報である付加オブジェクトを生成し、
    　前記センサにより検出した前記情報表示装置の傾きが所定値未満のとき、前記情報表示装置の傾きに応じて前記ＡＲオブジェクトと前記付加オブジェクトを傾いた状態となるように前記ディスプレイに表示するように制御し、
    　前記センサにより検出した前記情報表示装置の傾きが所定値以上のとき、前記情報表示装置の傾きに応じて前記ＡＲオブジェクトを傾いた状態となるように前記ディスプレイに表示するとともに、前記付加オブジェクトを前記情報表示装置の傾きに関係なく前記ディスプレイに傾けずに表示するように制御することを特徴とする情報表示装置。
  12. 　請求項１１に記載の情報表示装置において、
    　前記付加オブジェクトは、文字で構成されることを特徴とする情報表示装置。
  13. 　請求項１１に記載の情報表示装置において、
    　前記ＡＲオブジェクトは、人物または物体を表すオブジェクトであり、
    　前記付加オブジェクトは、文字を含むメニューを表すオブジェクトであることを特徴とする情報表示装置。
  14. 　請求項１１に記載の情報表示装置において、
    　ユーザが前記所定値を設定する操作に用いるインタフェースを備えていることを特徴とする情報表示装置。
PCT/JP2022/023034 2022-06-08 2022-06-08 情報表示装置およびその表示方法 WO2023238264A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/023034 WO2023238264A1 (ja) 2022-06-08 2022-06-08 情報表示装置およびその表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/023034 WO2023238264A1 (ja) 2022-06-08 2022-06-08 情報表示装置およびその表示方法

Publications (1)

Publication Number Publication Date
WO2023238264A1 true WO2023238264A1 (ja) 2023-12-14

Family

ID=89118082

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/023034 WO2023238264A1 (ja) 2022-06-08 2022-06-08 情報表示装置およびその表示方法

Country Status (1)

Country Link
WO (1) WO2023238264A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014129204A1 (ja) * 2013-02-22 2014-08-28 ソニー株式会社 ヘッドマウントディスプレイ
JP2016110319A (ja) * 2014-12-04 2016-06-20 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP2018005517A (ja) * 2016-06-30 2018-01-11 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014129204A1 (ja) * 2013-02-22 2014-08-28 ソニー株式会社 ヘッドマウントディスプレイ
JP2016110319A (ja) * 2014-12-04 2016-06-20 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP2018005517A (ja) * 2016-06-30 2018-01-11 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム

Similar Documents

Publication Publication Date Title
JP6342038B1 (ja) 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法
JP7005161B2 (ja) 電子機器及びその制御方法
JP6087453B1 (ja) 仮想空間の提供方法、およびプログラム
EP3542248B1 (en) Location globe in virtual reality
JP6276434B1 (ja) 仮想空間における移動を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP4799261B2 (ja) 画像表示装置、その制御方法及びプログラム
JP2017138973A (ja) 仮想空間の提供方法、およびプログラム
US10656705B2 (en) Assisted item selection for see through glasses
JP6262283B2 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP6306083B2 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
TW201830205A (zh) 顯示裝置及其控制方法
WO2023238264A1 (ja) 情報表示装置およびその表示方法
JP7005160B2 (ja) 電子機器及びその制御方法
KR102278229B1 (ko) 전자기기 및 그 제어 방법
JP2017228322A (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JPWO2020121483A1 (ja) 表示端末、表示制御システムおよび表示制御方法
JP6159455B1 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
KR102132406B1 (ko) 디스플레이 장치 및 그의 제어 방법
KR20180063581A (ko) 가상 현실 표시 장치 및 그 제어 방법
WO2020188721A1 (ja) ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
JP6776155B2 (ja) 仮想現実を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2017201524A (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP6332658B1 (ja) 表示制御装置、及びプログラム
JP7300569B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2018124989A (ja) 仮想空間における移動を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22945771

Country of ref document: EP

Kind code of ref document: A1