WO2023119528A1 - ヘッドマウントディスプレイ装置 - Google Patents

ヘッドマウントディスプレイ装置 Download PDF

Info

Publication number
WO2023119528A1
WO2023119528A1 PCT/JP2021/047720 JP2021047720W WO2023119528A1 WO 2023119528 A1 WO2023119528 A1 WO 2023119528A1 JP 2021047720 W JP2021047720 W JP 2021047720W WO 2023119528 A1 WO2023119528 A1 WO 2023119528A1
Authority
WO
WIPO (PCT)
Prior art keywords
additional information
information terminal
image
information
user
Prior art date
Application number
PCT/JP2021/047720
Other languages
English (en)
French (fr)
Inventor
和彦 吉澤
康宣 橋本
仁 秋山
信夫 益岡
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to PCT/JP2021/047720 priority Critical patent/WO2023119528A1/ja
Publication of WO2023119528A1 publication Critical patent/WO2023119528A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information

Definitions

  • the present invention relates to a head mounted display device (hereafter referred to as HMD: Head Mounted Display), and more particularly to the display of additional video information.
  • HMD Head Mounted Display
  • HMDs which have a display and are worn on the head to view information, are becoming increasingly used in the fields of games and work support.
  • the user views an information terminal (TV, smart phone, etc.) that displays additional information superimposed on the main image via the transmissive display unit of the HMD
  • the additional information may be superimposed on the main image. may make it difficult to see the main image.
  • Patent Document 1 discloses a video additional information display control device and an operation method thereof, which displays a video on a display device, displays additional information on an HMD, and prevents the additional information from overlapping a display object in the video.
  • a video additional information display control device controls the display position of additional information so that the additional information does not overlap a display object in the video displayed on the HMD, and the HMD is the video additional information display control device.
  • the additional information is simply displayed based on the control of . Therefore, the subject of control is the image additional information display control device, and there is a problem that the image additional information display control device is required separately from the HMD.
  • the present invention provides display control of additional information of an information terminal on the display section of the HMD when viewing the information terminal displaying additional information superimposed on the main image through the display section of the HMD.
  • An object of the present invention is to provide an HMD capable of
  • An example of the present invention is a head-mounted display device having a transmissive display section, comprising: an image acquiring section for acquiring a viewing range image, which is an image corresponding to the viewing range of a user; Analyzing the image, confirming whether or not the information terminal is included in the user's visual field, and checking whether the display image of the information terminal included in the user's visual field is the main image superimposed with additional information.
  • an additional information acquisition unit for requesting transmission of additional information to the information terminal or content server and receiving the additional information; and an area for visually recognizing the information terminal in the transmissive display unit.
  • a display control unit that detects the information terminal visible area and displays the received additional information at a position that does not overlap the information terminal visible area of the transmissive display unit.
  • an HMD capable of controlling display of additional information can be provided.
  • FIG. 2 is a block diagram showing the hardware configuration of the HMD in Example 1;
  • FIG. 1A and 1B are an appearance and a mounting diagram of an HMD in Example 1.
  • FIG. 3 is a functional configuration diagram of the HMD in Example 1.
  • FIG. 1 is a system configuration diagram in Example 1.
  • FIG. 8 is a flowchart of additional information display control processing of the HMD in Embodiment 1.
  • FIG. 6 is a detailed flowchart of additional information presence/absence analysis processing in FIG. 5 ;
  • FIG. 6 is a detailed flowchart of another additional information presence/absence analysis process in FIG. 5;
  • FIG. 6 is an explanatory diagram of detection processing of an information terminal visual recognition area in FIG. 5 ;
  • FIG. 10 is an explanatory diagram of additional information display control processing of the HMD according to the first embodiment;
  • FIG. 10 is a diagram illustrating display control of additional information on the HMD when the user faces the information terminal in the second embodiment;
  • FIG. 10 is a diagram illustrating display control of additional information on the HMD when the user shakes his or her head to the left and the position of the information terminal in the transmissive display section relatively moves to the right in Example 2;
  • FIG. 10 is a diagram illustrating another display control of additional information on the HMD when the user shakes his/her head to the left and the position of the information terminal in the transmissive display section relatively moves to the right in Example 2;
  • 14 is a flowchart of additional information display control processing of the HMD in Example 3.
  • FIG. 12 is a diagram illustrating display control of additional information on the HMD when a user issues a selection instruction while looking at additional information 1 according to the third embodiment
  • FIG. 11 is a diagram illustrating display control of additional information on the HMD when a user issues a selection instruction while looking at additional information 2 in Example 3
  • FIG. 16 is a diagram illustrating another display control of additional information of the HMD when a user issues a selection instruction while looking at additional information 1 in Example 3
  • FIG. 11 is a diagram for explaining a first process of display control of additional information according to the fourth embodiment
  • FIG. 16 is a diagram for explaining a second process of display control of additional information in the fourth embodiment
  • FIG. 14 is a diagram for explaining a third process of display control of additional information according to the fourth embodiment; 14 is a flowchart of additional information display control processing of the HMD in Example 5.
  • FIG. FIG. 21 is a diagram for explaining a first state of display control of additional information in Example 5;
  • FIG. 21 is a diagram illustrating a second state of display control of additional information in Example 5;
  • FIG. 21 is a diagram for explaining a third state of display control of additional information in Example 5;
  • 14 is a flowchart of additional information display control processing of the HMD in Example 6.
  • FIG. FIG. 21 is a diagram for explaining a first state of display control of additional information in Example 6;
  • FIG. 21 is a diagram for explaining a second state of display control of additional information in Example 6;
  • FIG. 21 is a diagram for explaining a third state of display control of additional information in Example 6;
  • FIG. 21 is an explanatory diagram of additional information display control processing of the HMD in Embodiment 7;
  • FIG. 21 is an explanatory diagram of additional information display control processing of the HMD in the eighth embodiment;
  • FIG. 1 is a block diagram showing the hardware configuration of the HMD 100 in this embodiment.
  • 101 is a main control unit (CPU/MCU, etc.)
  • 102 is a bus which is a transmission/reception path for commands and data
  • 103 is a RAM which serves as a work area when executing basic operation programs and other operation programs.
  • 110 is a storage unit which is a non-volatile storage medium such as FlashROM/EEPROM/SSD/HDD.
  • Reference numeral 120 denotes an operation input unit, which is a user operation interface, and has operation keys 121 such as switches, a power key, and a volume key, and a touch sensor 122 such as a touch pad.
  • Reference numeral 130 denotes an image processing unit such as an image (video) processor, including a transmissive display unit (display) 131, an image signal processing unit (image (video) signal processor) 132, and a first image which is an external camera for forward photography. It has an input unit 133 and a second image input unit 134 which is an internal camera for line-of-sight detection.
  • an image processing unit such as an image (video) processor, including a transmissive display unit (display) 131, an image signal processing unit (image (video) signal processor) 132, and a first image which is an external camera for forward photography. It has an input unit 133 and a second image input unit 134 which is an internal camera for line-of-sight detection.
  • Reference numeral 140 denotes an audio processing unit (audio processor), which includes an audio output unit (speaker) 141 , an audio signal processing unit (audio signal processor) 142 and an audio input unit (microphone) 143 .
  • audio processing unit audio processor
  • speaker audio output unit
  • audio signal processing unit audio signal processor
  • microphone audio input unit
  • a sensor unit 160 includes a gyro sensor 161 , a geomagnetic sensor 162 and an acceleration sensor 163 .
  • Reference numeral 170 denotes a communication unit (communication interface) including a LAN (Wi-Fi (registered trademark)) communication unit, mobile communication unit, Bluetooth (registered trademark) communication unit, etc.
  • Reference numeral 180 denotes an extended interface unit such as a USB interface. It is used for data transmission/reception and charging.
  • FIG. 2 is an appearance and mounting diagram of the HMD in this embodiment.
  • the upper figure is a top view of the state where the HMD 100 is worn on the head of the user U1
  • the middle figure is a front view
  • the lower figure is a side view.
  • the HMD 100 in this embodiment is a goggle-type optically transmissive HMD with a window on the front surface.
  • 131 is a transmissive display section, through which the external world can be directly viewed (transmitted).
  • 133L is the first image input section (L), which is the left external camera
  • 133R is the first image input section (R), which is the right external camera.
  • the distance may be measured by stereo shooting with 133L and 133R.
  • the distance measuring section 152 may be omitted.
  • the camera may be provided with one image input device having the functions of the first image input section 133 and the distance measurement section 152, and the image input device may acquire image information and distance information at the same time.
  • 122L is a touch sensor (L)
  • 122R is a touch sensor (R) (not shown)
  • either one of the left and right touch sensors may be used.
  • 141L is an audio output section (L) (stereo speaker L)
  • 141R is an audio output section (R) (stereo speaker R) (not shown).
  • the audio input unit 143 may have a monaural microphone.
  • FIG. 3 is a functional configuration diagram of the HMD in this embodiment.
  • the storage unit 110 includes a basic operation program 1001, which is a basic program such as an OS, and an application 1002 including applications (hereinafter abbreviated as apps) that execute the functions of this embodiment and other apps. , and various data storage areas 1009, which are areas for storing various operation set values and various information (moving images/still images/sounds, etc.).
  • a basic operation program 1001 is a basic program such as an OS
  • apps applications
  • various data storage areas 1009 which are areas for storing various operation set values and various information (moving images/still images/sounds, etc.).
  • the programs/applications stored in the storage unit 110 are developed (loaded) in the RAM 103, and the main control unit 101 executes the expanded programs/applications to control the functional units of the present embodiment and other functional units. is executed.
  • the RAM 103 describes the expanded execution programs by function. That is, a basic operation function unit 1101 that executes a basic operation program of the HMD 100, an image acquisition unit 1111 that acquires an image (visual field range image) corresponding to the visual field range of the user U1 wearing the HMD 100, and an image acquired by the image acquisition unit 1111. Additional information presence/absence analysis unit 1112 that analyzes whether or not the display image of information terminal 200 included in the visual field range image is the one in which additional information is superimposed on the main image.
  • Additional information acquisition unit 1113 for acquiring data related to additional information to be superimposed on the display image of the information terminal 200 , and the area occupied in the transmissive display unit 131 of the information terminal 200 included in the visual field range image acquired by the image acquisition unit 1111 . It has a display control unit 1114 that detects the (information terminal visual recognition area) and controls the display position and display presence/absence of additional information based on the detection result.
  • the RAM 103 also has a temporary storage area 1199, which is a temporary storage area for various types of information created/acquired by the application.
  • FIG. 4 is a system configuration diagram in this embodiment.
  • the HMD 100 is connected via a network 300 such as the Internet to an information terminal 200s such as a smartphone or a tablet terminal, an information terminal 200t such as a TV or other display device, and a server device 310 such as a content server.
  • a network 300 such as the Internet
  • an information terminal 200s such as a smartphone or a tablet terminal
  • an information terminal 200t such as a TV or other display device
  • a server device 310 such as a content server.
  • FIG. 5 is a flowchart of additional information display control processing of the HMD in this embodiment.
  • the image acquisition unit 1111 acquires a visual field range image, which is an image corresponding to the visual field range of the user U1, from the first image input unit 133.
  • the additional information presence/absence analysis unit 1112 analyzes the visual field range image of the user U1 acquired in the process of S101, and confirms whether or not the information terminal 200 is included in the visual field range of the user U1. If the information terminal 200 is included in the visual range of the user U1, the process proceeds to S103. If the information terminal 200 is not included in the field of view of the user U1, the process ends.
  • the additional information presence/absence analysis unit 1112 analyzes the visual field range image of the user U1 acquired in the process of S101, and the display image of the information terminal 200 included in the visual field range of the user U1 is displayed with the additional information in the main image. Check whether it is superimposed. If the additional information is superimposed on the main image, the process proceeds to S104. If the additional information is not superimposed on the main image (the main image only), the process ends.
  • the additional information acquisition unit 1113 requests the information terminal 200 or the server device 310, which is the content server, to transmit additional information. Then, in S ⁇ b>105 , additional information acquisition unit 1113 receives additional information from information terminal 200 or server device 310 . Note that if the additional information cannot be received within the predetermined time, the process may be terminated. Then, in S ⁇ b>106 , the additional information acquisition unit 1113 transmits a display stop request of the additional information to the information terminal 200 .
  • the image acquisition unit 1111 acquires a visual field range image, which is an image corresponding to the visual field range of the user U ⁇ b>1 , from the first image input unit 133 .
  • the visual field range image acquired in the process of S101 may be used in subsequent processes without performing the process of S107.
  • the display control unit 1114 analyzes the visual field range image of the user U1 acquired in the process of S107, and detects the information terminal visible area, which is the area where the information terminal 200 is visually recognized in the transmissive display unit 131. . Then, in S109, the display control unit 1114 causes the additional information received from the information terminal 200 or the server device 310 in the process of S105 to be displayed at a predetermined position of the transmissive display unit 131 that does not overlap the information terminal visual recognition area detected in the process of S108. to display. Note that if the additional information is still displayed on the information terminal 200 after the processing of S106, the processing of S107 to S109 may not be performed.
  • FIG. 6 is a detailed flowchart of the additional information presence/absence analysis processing of S103 in FIG.
  • the additional information presence/absence analysis unit 1112 asks the information terminal 200 connected on the same network 300 via the communication unit 170 that the display image of the information terminal 200 is the main image.
  • a confirmation request is sent as to whether or not the additional information is superimposed.
  • the information terminal 200 cooperates with the HMD 100 within a narrow area network such as LAN or Bluetooth.
  • the additional information presence/absence analysis unit 1112 checks whether or not it has received from the information terminal 200 a reply to the confirmation request sent in the process of S121. If a reply from the information terminal 200 is received within the predetermined time, the process proceeds to S123. If no reply from the information terminal 200 is received within the predetermined time, the process proceeds to S125.
  • the additional information presence/absence analysis unit 1112 confirms, based on the reply from the information terminal 200, whether or not the display image of the information terminal 200 is the main image superimposed with the additional information. If the displayed image is the main image superimposed with the additional information, the process proceeds to S124. If the displayed image is not the one in which additional information is superimposed on the main image, the process proceeds to S125.
  • the additional information presence/absence analysis unit 1112 sets the additional information superimposition flag to "1", and branches to "Yes" in the process of S103.
  • the additional information presence/absence analysis unit 1112 sets the additional information superimposition flag to "0", and branches to "No" in the process of S103.
  • FIG. 7 is a detailed flowchart of another additional information presence/absence analysis process of S103 in FIG. In FIG. 7, it is not the information terminal 200 but the content server via the network 300 that determines whether or not the display image of the information terminal 200 included in the visual field range is the main image superimposed with additional information. It is confirmed based on the information from the server device 310 .
  • the additional information presence/absence analysis unit 1112 extracts the display image portion of the information terminal 200 from the visual field range image of the user U1 acquired in the process of S101, and based on the extracted display image, the additional information presence/absence analysis unit 1112 extracts the display image on the network 300. to acquire information about the server device 310 that supplies the main image (and/or additional information) to the information terminal 200 . Then, in S132, the additional information presence/absence analysis unit 1112 confirms whether or not information regarding the server device 310 that supplies the main image (and/or additional information) to the information terminal 200 has been acquired by the processing of S131. If the information on the server apparatus 310 can be acquired, the process proceeds to S133. If the information about the server apparatus 310 cannot be obtained, the process proceeds to S136.
  • the additional information presence analysis unit 1112 transmits the display image portion of the information terminal 200 extracted in the process of S131 to the server device 310, and the server device 310 supplies the main image (and/or additional information).
  • the additional information presence/absence analysis unit 1112 extracts the image of the display image portion of the information terminal 200 extracted in the process of S131 and the main image (and and/or additional information), it is checked whether or not the display image of the information terminal 200 is the main image superimposed with the additional information. Then, if the displayed image is the main image superimposed with the additional information, the process proceeds to S135. If the displayed image is not the one in which the additional information is superimposed on the main image, the process proceeds to S136.
  • the additional information presence/absence analysis unit 1112 sets the additional information superimposition flag to "1", and branches to "Yes" in the process of S103.
  • the additional information presence/absence analysis unit 1112 sets the additional information superimposition flag to "0", and branches to "No" in the process of S103.
  • FIG. 8 is an explanatory diagram of the detection processing of the information terminal visual recognition area in S108 in FIG.
  • the upper diagram in FIG. 8 shows the field of view of the user U1 through the transmissive display unit 131, and shows the information terminal 200 in the real world that the user U1 sees through the transmissive display unit 131.
  • FIG. The lower diagram in FIG. 8 is a diagram for explaining the information terminal visual recognition area in the transmissive display unit 131.
  • the real world information terminal 200 viewed by the user U1 through the transmissive display unit 131 is shown in FIG.
  • the information terminal visual recognition area 131R detected in the process of S108 is shown.
  • the information terminal visual recognition area 131R does not need to have a shape similar to the housing as shown in the figure, and may be, for example, a simple rectangle. Further, the information terminal visual recognition area 131R may have a shape surrounding only the display image portion of the information terminal 200. FIG. Further, the additional information received from the information terminal 200 may be displayed anywhere outside the information terminal visual recognition area 131R without being displayed inside the information terminal visual recognition area 131R.
  • FIG. 9 is an explanatory diagram of additional information display control processing of the HMD in this embodiment.
  • the display image of the information terminal 200 is the main image (program content, etc.).
  • the HMD 100 requests the information terminal 200 to stop transmitting and displaying the additional information.
  • HMD 100 receives additional information from information terminal 200 .
  • the information terminal visible area in the transmissive display section 131 of the HMD 100 is detected.
  • the additional information received by the HMD 100 in (2) is detected by the information terminal visible area 131R of the transmissive display unit 131 of the HMD 100 in (3). Display in a non-overlapping position. If it is determined that only the main image is displayed and the additional information is not superimposed, the processes (1) to (4) are not performed.
  • the HMD 100 inquires of the information terminal 200 whether or not the display image is the main image superimposed with additional information. Alternatively, the HMD 100 inquires about the main image and additional information to the content server that supplies the main image to the information terminal 200 . In addition, you may judge by another method.
  • the display unit of the HMD 100 may be of a non-transmissive type.
  • the user's field of view range image acquired by the camera of the HMD 100 is displayed on the non-transmissive display unit, and is displayed in (2) at a position that does not overlap the area where the information terminal is displayed.
  • the received additional information may be superimposed and displayed.
  • the HMD 100 may be of a goggle type as shown, or may be of a spectacle type or the like.
  • the information terminal 200 may be a TV set in a room, a smart phone in hand, or other information equipment.
  • the additional information of the information terminal is displayed on the display unit of the HMD. It is possible to provide an HMD capable of controlling the display of additional information on the display section of the HMD, which is displayed at a position not overlapping the main image of the information terminal.
  • FIG. 10A, 10B, and 10C are diagrams for explaining display control of additional information in this embodiment.
  • the user U1 is facing the information terminal 200, and the additional information is displayed at a position that does not overlap the information terminal visible area in the transmissive display section 131 by the control in the first embodiment.
  • U1S indicates the visual field range of the user U1.
  • FIG. 10B shows a first state in which user U1 shakes his head leftward from the state of FIG. 10A and the position of information terminal 200 in transmissive display section 131 moves relatively rightward.
  • the display position of the additional information in the transmissive display section 131 is the same position as in FIG. 10A. That is, the display position of the additional information is fixed at a predetermined position within the transmissive display section 131 .
  • FIG. 10C shows a second state in which user U1 shakes his head leftward from the state of FIG. 10A and the position of information terminal 200 in transmissive display section 131 moves relatively rightward, as in FIG. 10B. showing.
  • the display position of the additional information within the transmissive display section 131 may be moved rightward in line with the information terminal 200 . That is, the display position of the additional information may be fixed relative to the information terminal 200 .
  • the display position of the additional information may be outside the visible area of the information terminal and displayed in the background where the additional information is most visible.
  • the background portion is composed of a patterned curtain and a white wall
  • control is performed such that the additional information is displayed so as to overlap the white wall.
  • the additional information of the information terminal is displayed on the main image of the information terminal on the display unit of the HMD. It is possible to provide an HMD capable of controlling the display of additional information in the display section of the HMD, which displays the additional information at a position that does not overlap with the image and at a position that is easy to see.
  • FIG. 11 is a flowchart of additional information display control processing of the HMD in this embodiment. Note that the flowchart shown in FIG. 11 is a modification of the additional information display control process described in the first embodiment.
  • step S201 the image acquisition unit 1111 acquires an image (visual field range image) corresponding to the visual field range of the user U1 from the first image input unit 133.
  • step S202 the additional information presence/absence analysis unit 1112 receives an instruction from the user U1 to select an arbitrary object on the display image of the information terminal 200 based on the visual field range image of the user U1 acquired in the process of S201.
  • step S203 the additional information presence/absence analysis unit 1112 confirms the position in the display image of the information terminal 200 of the object (selected object) selected by the user U1 in the process of S202.
  • the additional information presence/absence analysis unit 1112 confirms whether or not the selected object whose position in the display image of the information terminal 200 was confirmed in the process of S203 is additional information superimposed on the main image. If the selected object is additional information superimposed on the main image, the process proceeds to S205. If the selected object is not additional information superimposed on the main image, that is, if it is part of the main image, the process ends.
  • the additional information acquisition unit 1113 requests the information terminal 200 or the server device 310, which is the content server, to transmit the selected object, which is additional information. Then, in S ⁇ b>206 , the additional information acquisition unit 1113 receives the selected object (additional information) from the information terminal 200 or the server device 310 .
  • the additional information acquisition unit 1113 transmits a request to stop displaying the selected object (additional information) to the information terminal 200. Then, in S ⁇ b>208 , the image acquisition unit 1111 acquires an image (view range image) corresponding to the view range of the user U ⁇ b>1 from the first image input unit 133 .
  • the display control unit 1114 analyzes the visual field range image of the user U1 acquired in the process of S208, and detects an area (information terminal visible area) where the information terminal 200 is visually recognized within the transmissive display unit 131. Then, in S210, the display control unit 1114 causes the selected object (additional information) received from the information terminal 200 or the server device 310 in the processing of S206 to be displayed in a transmissive display unit that does not overlap the information terminal visual recognition area detected in the processing of S209. 131 is displayed at a predetermined position.
  • user U1's selection instruction for an arbitrary object in S202 are as follows. While the user U1 is gazing at an arbitrary object on the display image displayed on the information terminal 200 via the transmissive display unit 131, (1) the touch sensor 122 detects a tap operation by the user U1, or (2) The second image input unit 134 detects the blinking action of the user U1.
  • a specific example of the position confirmation processing of the selected object in S203 is as follows. (1) The second image input unit 134 acquires the eye part image of the user U1 when the user U1 has given a selection instruction. (2) Analyze the acquired eye image, and detect the coordinates on the transmissive display unit 131 where the line of sight of the user U1 intersects. (3) Calculate which position in the visual field range image of the user U1 acquired in the process of S201 corresponds to the detected coordinate position. (4) Based on the calculated positional information within the visual field range image, the position within the display image of the information terminal 200 of the selected object at the line-of-sight position of the user U1 is calculated.
  • FIGS. 12A, 12B, and 12C are diagrams for explaining display control of additional information in this embodiment.
  • the diagrams on the left and the diagrams on the right show the field of view of the user through the transmissive display section of the HMD before and after the additional information display control, respectively.
  • FIG. 12A shows a case where additional information 1 and additional information 2 exist and user U1 issues a selection instruction while looking at additional information 1.
  • FIG. That is, as a UI (User Interface) that can select additional information or a UI that serves as a trigger for selecting additional information, a crosshair cursor is displayed at the position where the line of sight is aligned, and the crosshair cursor is displayed on the additional information to be selected.
  • a selection instruction is given by detecting a tap operation or a blinking action of the above-described touch sensor while the cursor is displayed.
  • FIG. 12A only additional information 1 is displayed at a position that does not overlap the information terminal visible area in transmissive display section 131 and is deleted from information terminal 200 by the additional information display control described with reference to FIG. It is displayed as it is displayed on the information terminal 200, that is, as it is superimposed on the main image.
  • FIG. 12B shows a case where the user U1 issues a selection instruction while looking at the additional information 2.
  • FIG. 12B only the additional information 2 is displayed at a position that does not overlap the information terminal visible area in the transmissive display section 131 and is deleted from the information terminal 200 by the additional information display control described in FIG. It is displayed as superimposed on the main image.
  • FIG. 12C shows a case of other display control in which additional information 1 and additional information 2 exist and user U1 performs a selection instruction while looking at additional information 1.
  • FIG. 12C by selecting one piece of additional information, all of the additional information superimposed on the main image of the information terminal 200 is displayed at a position that does not overlap the information terminal visible area in the transmissive display section 131 . has been removed from In this manner, the selection of one piece of additional information may be used as a trigger to display all pieces of additional information at positions that do not overlap the information terminal visual recognition area.
  • the additional information displayed at a position that does not overlap the information terminal visible area in the transmissive display section 131 by the additional information display control depends on the shape of the transmissive display section 131 and the position and size of the information terminal visible area. The shape may be changed for display.
  • the additional information display control process may be started with a selection instruction by the user U1 as a trigger.
  • the UI is provided for selecting the additional information, and the selected additional information is displayed.
  • the display of the additional information can be controlled on the display of the HMD.
  • FIGS. 13A, 13B, and 13C are diagrams for explaining display control of additional information in this embodiment.
  • the left and right diagrams show the field of view of the user through the transmissive display section of the HMD before and after the additional information display control, respectively. ing.
  • FIG. 13A shows the first processing of additional information on the information terminal side after additional information display control. That is, as shown in FIG. 13A, after the additional information is displayed at a position not overlapping the information terminal visual recognition area in the transmissive display section 131 by the additional information display processing control, the information terminal 200 stops displaying the additional information. You may
  • FIG. 13B shows the second processing of the additional information on the information terminal side after the additional information display control. That is, as shown in FIG. 13B, after the additional information is displayed at a position not overlapping the information terminal visible area in the transmissive display section 131 by the additional information display processing control, the information terminal 200 side displays the additional information in the main image.
  • the display may be reduced to a size that does not interfere with visual recognition. In this case, in the processing of S106 in FIG. 5, a reduced additional information display request is transmitted instead of the additional information display stop request.
  • FIG. 13C shows the third processing of the additional information on the information terminal side after the additional information display control. That is, as shown in FIG. 13C, after the additional information is displayed at a position not overlapping the information terminal visual recognition area in the transmissive display section 131 by the additional information display processing control, the information terminal 200 side displays the additional information in the main image. You may move and display to the position which does not interfere with visual recognition. In this case, in the process of S106 in FIG. 5, an additional information movement request is transmitted instead of the additional information display stop request. Note that the movement position of the additional information on the information terminal 200 may be a position where part of the additional information protrudes from the display section of the information terminal 200, as shown in FIG. 13C.
  • the additional information of the information terminal is displayed on the main image of the information terminal on the display unit of the HMD. It is possible to provide an HMD capable of displaying additional information at a position that does not overlap the image and controlling the display of additional information so as not to interfere with the viewing of the main image on the information terminal.
  • FIG. 14 is a flowchart of HMD additional information display control processing in this embodiment. Note that the flowchart shown in FIG. 14 is a modification of the additional information display control process described in the first and third embodiments.
  • step S301 the additional information presence/absence analysis unit 1112 confirms whether or not there is an information terminal 200 that has already cooperated on the same network 300. Then, if there is an information terminal 200 that has already been linked, the process proceeds to S302. If there is no linked information terminal 200, the process ends.
  • the additional information acquisition unit 1113 transmits an additional information transmission reservation to the linked information terminal 200.
  • the additional information transmission reservation may be transmitted to the information terminal in advance regardless of whether or not the additional information is displayed on the information terminal side.
  • the image acquisition unit 1111 acquires an image (view range image) corresponding to the view range of the user U ⁇ b>1 from the first image input unit 133 .
  • the additional information presence/absence analysis unit 1112 analyzes the visual field range image of the user U1 acquired in the process of S303, and determines whether or not the linked information terminal 200 is included in the visual field range of the user U1. confirm. Then, if the linked information terminal 200 is included within the field of view of the user U1, the process proceeds to S305. If the coordinated information terminal 200 is not included within the field of view of the user U1, the process returns to S303.
  • the additional information presence/absence analysis unit 1112 transmits to the linked information terminal 200 that the linked information terminal 200 is included in the visual range of the user U1 (information terminal visible state). Then, in S306, the additional information acquisition unit 1113 receives the additional information transmitted from the linked information terminal 200 corresponding to the information terminal visual recognition state transmitted in the process of S305. If the display image of the linked information terminal 200 does not have additional information superimposed on the main image, information to that effect may be received and the process may be terminated. That is, when the information terminal 200 receives from the HMD 100 that the information terminal is in the visible state, if the display image of the information terminal 200 has additional information superimposed on the main image, the additional information is sent to the HMD 100. When the display image of the information terminal 200 does not have the additional information superimposed on the main image, information to that effect is transmitted to the HMD 100 .
  • the additional information acquisition unit 1113 transmits a request to stop displaying additional information to the linked information terminal 200.
  • the image acquisition unit 1111 acquires an image (view range image) corresponding to the view range of the user U ⁇ b>1 from the first image input unit 133 .
  • the visual field range image acquired in the process of S303 may be used in subsequent processes without performing the process of S308.
  • the display control unit 1114 analyzes the field-of-view range image of the user U1 acquired in the process of S308, and displays an area (information terminal visible area) in which the linked information terminal 200 is visually recognized in the transmissive display unit 131. ). Then, in S310, the display control unit 1114 places the additional information received from the linked information terminal 200 in the process of S306 in a predetermined position of the transmissive display unit 131 that does not overlap the information terminal visible area detected in the process of S309. indicate.
  • FIG. 15A, 15B, and 15C are diagrams for explaining display control of additional information in this embodiment.
  • FIG. 15A is a diagram for explaining the first state, in which user U1 faces left with respect to information terminal 200 and the entire information terminal 200 does not fall within visual field range U1S of user U1. A state in which the entire information terminal 200 does not enter the transmissive display section 131 is shown. Then, in the process of S304 in FIG. 14, the linked information terminal 200 is not in the field of view of the user U1, the information terminal visual recognition state is not transmitted to the linked information terminal 200, and the linked information terminal 200 This is a state in which additional information has not been received from the information terminal 200 .
  • the display image of the information terminal 200 is in a state in which additional information is superimposed on the main image.
  • FIG. 15B is a diagram for explaining a second state, in which user U1 shakes his head to the right from the state of FIG. showing. In this case, it is the state immediately after detecting that the linked information terminal 200 has entered the field of view of the user U1 in the process of S304 in FIG. There is no state. Note that the display image of the information terminal 200 is still in a state where the additional information is superimposed on the main image.
  • FIG. 15C is a diagram for explaining the third state, and shows the state after performing the processing from S305 onward in FIG. 14 from the state in FIG. 15B. That is, in FIG. 15C, in the process of S305 in FIG. 14, the information terminal visibility state is transmitted to the linked information terminal 200, in the process of S306, additional information is received from the linked information terminal 200, and in the process of S310, The additional information received from the linked information terminal 200 in the process of S306 is displayed at a predetermined position of the transmissive display unit 131 that does not overlap the information terminal visible area detected in the process of S309.
  • the additional information of the information terminal is acquired through the network. It is possible to provide an HMD capable of controlling the display of the additional information on the HMD display section by displaying the additional information at a position not overlapping the main image of the information terminal on the display section of the HMD.
  • the state in which the entire information terminal 200 is not within the visual field range U1S of the user U1 is the state in which the information terminal 200 that has already been linked in the process of S304 in FIG. 14 is not within the visual field range of the user U1.
  • the state in which the entire information terminal 200 is within the visual field range U1S of the user U1 is determined to be the state in which the linked information terminal 200 is within the visual field range of the user U1 in the process of S304 of FIG. there is However, the state in which even a part of the information terminal 200 does not enter the visual field range U1S of the user U1 is determined by the processing in S304 of FIG.
  • FIG. 16 is a flowchart of HMD additional information display control processing in this embodiment.
  • FIG. 16 may be implemented in parallel with FIG. 14 of Example 5, or may be implemented independently.
  • step S321 the image acquisition unit 1111 acquires an image (view range image) corresponding to the view range of the user U1 from the first image input unit 133, as in S303 of FIG.
  • the additional information presence/absence analysis unit 1112 analyzes the visual field range image of the user U1 acquired in the process of S321, and determines whether or not there is an information terminal 200 already linked on the network within the visual field range of the user U1. Check whether Then, if the linked information terminal 200 is included within the field of view of the user U1, the process returns to S321. If the linked information terminal 200 is not included within the field of view of the user U1, the process proceeds to S323.
  • the additional information acquisition unit 1113 requests the linked information terminal 200 to transmit the main image. At the same time, a redisplay request for additional information may be transmitted.
  • the additional information acquisition unit 1113 receives the main image from the linked information terminal 200.
  • FIG. the display control unit 1114 displays the main image received from the linked information terminal 200 in the process of S ⁇ b>324 at a predetermined position on the transmissive display unit 131 .
  • FIG. 17A, 17B, and 17C are diagrams for explaining display control of additional information in this embodiment.
  • FIG. 17A is the same as FIG. 15C and is a diagram for explaining the first state in this embodiment, showing a state in which the entire information terminal 200 is within the visual range U1S of the user U1.
  • the additional information is displayed at a predetermined position that does not overlap the information terminal viewing area of the transmissive display section 131 .
  • FIG. 17B is a diagram for explaining the second state, in which user U1 shakes his head leftward from the state of FIG. It shows the state of That is, in the process of S322, the information terminal 200 detects that a part of the visual field range U1S of the user U1 is missing, but the additional information is fixed at a predetermined position on the transmissive display unit 131 and displayed. showing.
  • FIG. 17C is a diagram for explaining a third state, and shows a state in which user U1 shakes his head further leftward from the state in FIG. 17B and information terminal 200 is no longer included in user U1's visual field range U1S.
  • there is That is, in the process of S322, it is detected that the information terminal 200 is out of the visual field range U1S of the user U1, and the main image of the information terminal 200 received in the process of S324 is viewed through the transmissive display unit 131. It shows a state displayed on a transmissive display unit 131 as a substitute for the information terminal 200 .
  • the additional information is fixed and displayed at a predetermined position on the transmissive display section. Further, even when the information terminal is no longer included in the visual range, the main image of the information terminal can be displayed on the transmissive display section.
  • FIG. 18 is an explanatory diagram of additional information display control processing of the HMD in this embodiment.
  • 18 shows the field of view of the user U1 through the transmissive display unit 131, and the upper diagram shows a state in which the information terminal 200 displaying the additional information is viewed through the transmissive display unit 131.
  • FIG. there is The lower diagram in FIG. 18 shows a state in which additional information is displayed on the transmissive display section 131 by the additional information display control.
  • the additional information is superimposed on the main image and displayed, and as shown in the upper diagram of FIG. may be displayed as
  • the additional information display control requests the information terminal 200 to transmit the additional information and at the same time request the enlarged display of the main image. , the main image is enlarged and displayed, and the additional information is displayed at a position that does not overlap the information terminal visual recognition area of the transmissive display section 131 .
  • the additional information when viewing an information terminal displaying additional information superimposed on a main image through the display unit of the HMD, the additional information is superimposed in an L-shape. Also, it is possible to provide an HMD having additional information display control that can display the additional information of the information terminal at a position not overlapping the main image of the information terminal on the display section of the HMD.
  • FIG. 19 is an explanatory diagram of additional information display control processing of the HMD in this embodiment.
  • the distance between the user U1 and the information terminal 200 is short, and the information terminal 200 occupies most of the field of view of the user U1 via the transmissive display unit 131 . That is, the information terminal visual recognition area 131R occupies most of the transmissive display section 131, and in the additional information display control process of the HMD, a position that does not overlap the information terminal visual recognition area 131R within the display area of the transmissive display section 131 is displayed.
  • This is an example of additional information display control processing when it is difficult to display additional information on the .
  • the upper diagram of FIG. 19 shows a state in which the information terminal 200 displaying the additional information is viewed through the transmissive display unit 131, and shows the state before the additional information display control process is performed.
  • additional information 200s is superimposed on a main image 200m and displayed.
  • the information terminal 200 occupies most of the field of view of the user U1 through the transmissive display section 131 .
  • the diagram on the lower side of FIG. 19 shows a state in which additional information is displayed on the transmissive display unit 131 by the additional information display control, and shows a state after the additional information display control processing is performed.
  • the information terminal 200 occupies most of the field of view of the user U1 through the transmissive display unit 131, before displaying the additional information 131s on the transmissive display unit 131, the information terminal 200 to transmit a main image reduction display request.
  • the information terminal 200 reduces the size of the main image 200m in response to the main image reduction display request, and displays the non-image 200b (single-color fixed image) in the empty portion.
  • the additional information 131s overlaps the image portion of the information terminal 200.
  • the overlapped portion is the non-image 200b (single-color fixed image)
  • the additional information 131s cannot be seen. Ease is not compromised.
  • the additional information when viewing an information terminal displaying additional information superimposed on a main image through the display unit of the HMD, the additional information is displayed only at a position overlapping the information terminal. It is possible to provide an HMD having additional information display control that can display additional information without impairing visibility even when the additional information cannot be displayed.
  • the viewing target may be a PC screen or the like in addition to a TV or smartphone
  • the additional information may be subtitles, sub-screens, or other superimposed data.
  • the functions and the like of the present invention described above may be realized by hardware, for example, by designing a part or all of them using an integrated circuit.
  • the functions may be realized by software, such as a microprocessor unit, a CPU, etc. interpreting and executing an operation program for realizing each function.
  • the implementation range of software is not limited, and hardware and software may be used together.
  • a part or all of each function may be realized by a server.
  • the server may be any form as long as it can cooperate with other components via communication to execute functions, and may be, for example, a local server, a cloud server, an edge server, a network service, or the like.
  • Information such as programs, tables, and files that implement each function may be stored in recording devices such as memory, hard disks, SSDs (Solid State Drives), or recording media such as IC cards, SD cards, and DVDs. and may be stored in a device on a communication network.
  • recording devices such as memory, hard disks, SSDs (Solid State Drives), or recording media such as IC cards, SD cards, and DVDs. and may be stored in a device on a communication network.
  • each processing example may be independent programs, or a plurality of programs may constitute one application program. Also, the order of performing each process may be changed.
  • control lines and information lines shown in the diagram show what is considered necessary for explanation, and do not necessarily show all the control lines and information lines on the product. In practice, it may be considered that almost all configurations are interconnected.
  • 100 HMD (head mounted display device), 101: main control unit, 103: RAM, 110: storage unit, 120: operation input unit, 130: image processing unit, 131: transmissive display unit, 131R: information terminal visible area , 140: voice processing unit, 151: position information acquisition unit, 160: sensor unit, 170: communication unit, 180: extended interface unit, 200: information terminal, 300: network, 310: server device, 1001: basic operation program, 1002: Application 1009: Various data storage area 1101: Basic operation function unit 1111: Image acquisition unit 1112: Additional information presence/absence analysis unit 1113: Additional information acquisition unit 1114: Display control unit 1199: Temporary storage area , U1: user, U1S: visual field range

Abstract

主画像に付加情報を重畳して表示している情報端末をＨＭＤの表示部を介して視聴する際に、ＨＭＤの表示部において情報端末の付加情報の表示制御が可能なＨＭＤを提供することを目的とする。　そのために、透過型表示部を有するヘッドマウントディスプレイ装置であって、ユーザの視野範囲に対応する画像である視野範囲画像を取得する画像取得部と、取得した視野範囲画像を解析し、ユーザの視野範囲内に情報端末が含まれるか否かを確認し、ユーザの視野範囲内に含まれる情報端末の表示画像が主画像に付加情報が重畳されたものであるか否かを確認する付加情報有無解析部と、情報端末またはコンテンツサーバに付加情報の送信を要求し、付加情報を受信する付加情報取得部と、透過型表示部において情報端末を視認する領域である情報端末視認領域を検出し、受信した付加情報を透過型表示部の情報端末視認領域と重ならない位置に表示する表示制御部とを有する構成とする。

Description

ヘッドマウントディスプレイ装置
　本発明は、ヘッドマウントディスプレイ装置（以下、ＨＭＤ:Head Mounted Display、と称す）に係り、特に映像付加情報の表示に関する。
　ディスプレイを搭載し、頭部に装着して情報を視聴するＨＭＤは、近年、ゲーム用途や作業支援の分野等での利用が広がりつつある。
　ここで、ユーザが、ＨＭＤの透過型表示部を介して主画像に付加情報を重畳して表示している情報端末（ＴＶ、スマートフォン等）を視聴する際に、主画像に付加情報が重なることにより主画像を見づらく感じる場合がある。
　本技術分野の背景技術として特許文献１がある。特許文献１には、映像を表示装置に表示させ且つ付加情報をＨＭＤに表示させ且つ映像内の表示物に付加情報が重ならないようにした映像付加情報表示制御装置およびその動作方法が開示されている。
特開２０１２－２０５１９１号公報
　特許文献１では、映像付加情報表示制御装置が、ＨＭＤに表示される映像内の表示物に付加情報が重ならないように付加情報の表示位置を制御しており、ＨＭＤは映像付加情報表示制御装置の制御に基づき付加情報を単に表示しているだけである。よって、制御の主体は映像付加情報表示制御装置であり、ＨＭＤとは別に映像付加情報表示制御装置が必要となるという課題がある。
　本発明は、上記課題に鑑み、主画像に付加情報を重畳して表示している情報端末をＨＭＤの表示部を介して視聴する際に、ＨＭＤの表示部において情報端末の付加情報の表示制御が可能なＨＭＤを提供することを目的とする。
　本発明は、その一例を挙げるならば、透過型表示部を有するヘッドマウントディスプレイ装置であって、ユーザの視野範囲に対応する画像である視野範囲画像を取得する画像取得部と、取得した視野範囲画像を解析し、ユーザの視野範囲内に情報端末が含まれるか否かを確認し、ユーザの視野範囲内に含まれる情報端末の表示画像が主画像に付加情報が重畳されたものであるか否かを確認する付加情報有無解析部と、情報端末またはコンテンツサーバに付加情報の送信を要求し、付加情報を受信する付加情報取得部と、透過型表示部において情報端末を視認する領域である情報端末視認領域を検出し、受信した付加情報を透過型表示部の情報端末視認領域と重ならない位置に表示する表示制御部とを有する構成とする。
　本発明によれば、付加情報の表示制御が可能なＨＭＤを提供できる。
実施例１におけるＨＭＤのハードウェア構成を示すブロック図である。 実施例１におけるＨＭＤの外観および装着図である。 実施例１におけるＨＭＤの機能構成図である。 実施例１におけるシステム構成図である。 実施例１におけるＨＭＤの付加情報表示制御処理のフローチャートである。 図５における付加情報有無解析処理の詳細フローチャートである。 図５における他の付加情報有無解析処理の詳細フローチャートである。 図５における情報端末視認領域の検出処理の説明図である。 実施例１におけるＨＭＤの付加情報表示制御処理の説明図である。 実施例２における、ユーザが情報端末に対して正対している場合のＨＭＤの付加情報の表示制御を説明する図である。 実施例２における、ユーザが頭を左方向に振り、透過型表示部内における情報端末の位置が相対的に右方向に移動した場合のＨＭＤの付加情報の表示制御を説明する図である。 実施例２における、ユーザが頭を左方向に振り、透過型表示部内における情報端末の位置が相対的に右方向に移動した場合のＨＭＤの付加情報の他の表示制御を説明する図である。 実施例３におけるＨＭＤの付加情報表示制御処理のフローチャートである。 実施例３における、付加情報１に視線を合わせた状態でユーザが選択指示を行った場合のＨＭＤの付加情報の表示制御を説明する図である。 実施例３における、付加情報２に視線を合わせた状態でユーザが選択指示を行った場合のＨＭＤの付加情報の表示制御を説明する図である。 実施例３における、付加情報１に視線を合わせた状態でユーザが選択指示を行った場合のＨＭＤの付加情報の他の表示制御を説明する図である。 実施例４における付加情報の表示制御の第１の処理を説明する図である。 実施例４における付加情報の表示制御の第２の処理を説明する図である。 実施例４における付加情報の表示制御の第３の処理を説明する図である。 実施例５におけるＨＭＤの付加情報表示制御処理のフローチャートである。 実施例５における付加情報の表示制御の第１の状態を説明する図である。 実施例５における付加情報の表示制御の第２の状態を説明する図である。 実施例５における付加情報の表示制御の第３の状態を説明する図である。 実施例６におけるＨＭＤの付加情報表示制御処理のフローチャートである。 実施例６における付加情報の表示制御の第１の状態を説明する図である。 実施例６における付加情報の表示制御の第２の状態を説明する図である。 実施例６における付加情報の表示制御の第３の状態を説明する図である。 実施例７におけるＨＭＤの付加情報表示制御処理の説明図である。 実施例８におけるＨＭＤの付加情報表示制御処理の説明図である。
　以下、図面を用いて本発明の実施例について説明する。
　図１は、本実施例におけるＨＭＤ１００のハードウェア構成を示すブロック図である。図１において、１０１は主制御部（ＣＰＵ／ＭＣＵ等）であって、１０２はコマンドやデータの送受信経路であるバス、１０３は、基本動作プログラムやその他の動作プログラム実行時のワークエリアとなるＲＡＭ、１１０は、ＦｌａｓｈＲＯＭ／ＥＥＰＲＯＭ／ＳＳＤ／ＨＤＤ等の不揮発性記憶媒体であるストレージ部である。
　１２０は、ユーザ操作インタフェースである操作入力部であり、ＳＷ類や電源キーや音量キー等の操作キー１２１と、タッチパッドなどのタッチセンサ１２２を有する。
　１３０は、イメージ（ビデオ）プロセッサ等の画像処理部であり、透過型表示部（ディスプレイ）１３１、画像信号処理部（イメージ（ビデオ）シグナルプロセッサ）１３２、前方撮影用の外部カメラである第一画像入力部１３３、視線検出用の内部カメラである第二画像入力部１３４を有する。
　１４０は音声処理部（オーディオプロセッサ）であって、音声出力部（スピーカ）１４１、音声信号処理部（オーディオシグナルプロセッサ）１４２、音声入力部（マイク）１４３を有する。
　１５１は位置情報取得部（ＧＰＳ信号等の位置情報信号受信用）である。また、１５２は測距部であり、距離センサや深度センサを有する。また、１６０はセンサ部であって、ジャイロセンサ１６１、地磁気センサ１６２、加速度センサ１６３を有する。
　１７０は、ＬＡＮ（Ｗｉ－Ｆｉ（登録商標））通信部やモバイル通信部、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信部等からなる通信部（通信インタフェース）、１８０は拡張インタフェース部であり、例えばＵＳＢインタフェース等であり、データ送受信や充電等に使用される。
　図２は、本実施例におけるＨＭＤの外観および装着図である。図２において、上図は、ユーザＵ１の頭部にＨＭＤ１００を装着した状態の上面図であり、中段の図は正面図、下図は側面図である。本実施例におけるＨＭＤ１００は、図２に示すように、ゴーグル型であり、前面に窓がある光学透過型のＨＭＤである。
　図２において、１３１は透過型表示部であり、透過型表示部１３１を介して（透過して）外界を直接視認可能である。
　１３３Ｌは左側の外部カメラである第一画像入力部（Ｌ）、１３３Ｒは右側の外部カメラである第一画像入力部（Ｒ）である。なお、第一画像入力部は一つ（例えば、中央部に一つの第一画像入力部１３３）のみでもよい。また、１３３Ｌと１３３Ｒでステレオ撮影することにより測距しても良い。この場合は、測距部１５２はなくてもよい。また、第一画像入力部１３３と測距部１５２の機能を備えた一つの画像入力デバイスを備え、画像入力デバイスで画像情報と距離情報を同時に取得できるカメラとしてもよい。
　また、１２２Ｌはタッチセンサ（Ｌ）、１２２Ｒはタッチセンサ（Ｒ）（図示省略）であり、タッチセンサは左右何れか一つのみでもよい。また、１４１Ｌは音声出力部（Ｌ）（ステレオスピーカＬ）、１４１Ｒは音声出力部（Ｒ）（ステレオスピーカＲ）（図示省略）である。なお、図示は省略するが、音声入力部１４３としてモノラルマイクを有してもよい。
　図３は、本実施例におけるＨＭＤの機能構成図である。図３において、ストレージ部１１０は、ＯＳ等の基本的なプログラムである基本動作プログラム１００１と、本実施例の機能を実行するアプリケーション（以降アプリと省略する）や、その他のアプリを含むアプリケーション１００２と、各種動作設定値や各種情報（動画／静止画／音声等）を記憶しておく領域である各種データ記憶領域１００９で構成されている。
　ストレージ部１１０に記憶されているプログラム／アプリは、ＲＡＭ１０３に展開（ロード）され、主制御部１０１が、展開されたプログラム／アプリを実行することにより、本実施例の機能部やその他の機能部が実行される。
　図３において、ＲＡＭ１０３には、展開される実行プログラムを機能別に記載している。すなわち、ＨＭＤ１００の基本動作プログラムを実行する基本動作機能部１１０１と、ＨＭＤ１００を装着したユーザＵ１の視野範囲に対応する画像（視野範囲画像）を取得する画像取得部１１１１、画像取得部１１１１が取得した視野範囲画像に含まれる情報端末２００の表示画像が主画像に付加情報が重畳されたものであるか否かを解析する付加情報有無解析部１１１２、画像取得部１１１１が取得した視野範囲画像に含まれる情報端末２００の表示画像に重畳される付加情報に関するデータを取得する付加情報取得部１１１３、画像取得部１１１１が取得した視野範囲画像に含まれる情報端末２００の透過型表示部１３１内に占める領域（情報端末視認領域）を検出し、その検出結果に基づいて付加情報の表示位置及び表示有無を制御する表示制御部１１１４を有する。また、ＲＡＭ１０３は、アプリにより作成／取得された各種情報の一時的な記憶領域である一時記憶領域１１９９を有している。
　図４は、本実施例におけるシステム構成図である。図４において、ＨＭＤ１００は、インターネット等のネットワーク３００を介して、スマートフォンやタブレット端末等の情報端末２００ｓや、ＴＶやその他の表示装置である情報端末２００ｔ、コンテンツサーバ等のサーバ装置３１０と接続されている。
　図５は、本実施例におけるＨＭＤの付加情報表示制御処理のフローチャートである。図５において、まずステップＳ１０１で、画像取得部１１１１が、第一画像入力部１３３からユーザＵ１の視野範囲に対応する画像である視野範囲画像を取得する。次に、Ｓ１０２で、付加情報有無解析部１１１２が、Ｓ１０１の処理で取得したユーザＵ１の視野範囲画像を解析し、ユーザＵ１の視野範囲内に情報端末２００が含まれるか否かを確認する。ユーザＵ１の視野範囲内に情報端末２００が含まれる場合、Ｓ１０３に進む。ユーザＵ１の視野範囲内に情報端末２００が含まれない場合は、処理を終了する。
　Ｓ１０３では、付加情報有無解析部１１１２が、Ｓ１０１の処理で取得したユーザＵ１の視野範囲画像を解析し、ユーザＵ１の視野範囲内に含まれる情報端末２００の表示画像が、主画像に付加情報が重畳されたものであるか否かを確認する。主画像に付加情報が重畳されたものである場合は、Ｓ１０４の処理に進む。主画像に付加情報が重畳されたものでない（主画像のみである）場合は、処理を終了する。
　Ｓ１０４では、付加情報取得部１１１３が、情報端末２００またはコンテンツサーバであるサーバ装置３１０に対して付加情報の送信を要求する。そして、Ｓ１０５で、付加情報取得部１１１３が、情報端末２００またはサーバ装置３１０から付加情報を受信する。なお、所定時間内に付加情報の受信ができない場合には、処理を終了してもよい。そして、Ｓ１０６で、付加情報取得部１１１３が、情報端末２００に対して付加情報の表示停止要求を送信する。
　そして、Ｓ１０７で、画像取得部１１１１が、第一画像入力部１３３からユーザＵ１の視野範囲に対応する画像である視野範囲画像を取得する。なお、Ｓ１０７の処理を行わず、以後の処理でＳ１０１の処理で取得した視野範囲画像を使用してもよい。
　そして、Ｓ１０８で、表示制御部１１１４が、Ｓ１０７の処理で取得したユーザＵ１の視野範囲画像を解析し、透過型表示部１３１内において情報端末２００を視認する領域である情報端末視認領域を検出する。そして、Ｓ１０９で、表示制御部１１１４が、Ｓ１０５の処理で情報端末２００またはサーバ装置３１０から受信した付加情報を、Ｓ１０８の処理で検出した情報端末視認領域と重ならない透過型表示部１３１の所定位置に表示する。なお、Ｓ１０６の処理の後、情報端末２００に付加情報が表示されたままの場合、Ｓ１０７～Ｓ１０９の処理を行わなくてもよい。
　図６は、図５におけるＳ１０３の付加情報有無解析処理の詳細フローチャートである。図６において、まずステップＳ１２１で、付加情報有無解析部１１１２が、通信部１７０を介して、同一のネットワーク３００上で接続される情報端末２００に対して、情報端末２００の表示画像は主画像に付加情報が重畳されたものであるか否かの確認要求を送信する。なお、情報端末２００は、ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ等の狭域ネットワーク内でＨＭＤ１００と連携する。
　そして、Ｓ１２２で、付加情報有無解析部１１１２が、Ｓ１２１の処理で送信した確認要求に対する返信を、情報端末２００から受信したか否かを確認する。情報端末２００からの返信を所定時間内に受信した場合は、Ｓ１２３の処理に進む。情報端末２００からの返信を所定時間内に受信しなかった場合は、Ｓ１２５の処理に進む。
　Ｓ１２３では、付加情報有無解析部１１１２が、情報端末２００からの返信に基づいて、情報端末２００の表示画像は主画像に付加情報が重畳されたものであるか否かを確認する。そして、表示画像が主画像に付加情報が重畳されたものである場合は、Ｓ１２４の処理に進む。表示画像が主画像に付加情報が重畳されたものでない場合は、Ｓ１２５の処理に進む。
　Ｓ１２４では、付加情報有無解析部１１１２が、付加情報重畳フラグを“１”に設定し、Ｓ１０３の処理において“Ｙｅｓ”に分岐する。
　Ｓ１２５では、付加情報有無解析部１１１２が、付加情報重畳フラグを“０”に設定し、Ｓ１０３の処理において“Ｎｏ”に分岐する。
　図７は、図５におけるＳ１０３の他の付加情報有無解析処理の詳細フローチャートである。図７は、視野範囲内に含まれる情報端末２００の表示画像が、主画像に付加情報が重畳されたものであるか否かを、情報端末２００ではなく、ネットワーク３００を介したコンテンツサーバであるサーバ装置３１０からの情報をもとに確認する。
　図７において、まずステップＳ１３１で、付加情報有無解析部１１１２が、Ｓ１０１の処理で取得したユーザＵ１の視野範囲画像から情報端末２００の表示画像部分を抽出し、抽出表示画像に基づいてネットワーク３００上で検索処理を行い、情報端末２００に主画像（及び／または付加情報）を供給するサーバ装置３１０に関する情報を取得する。そして、Ｓ１３２で、付加情報有無解析部１１１２が、Ｓ１３１の処理により、情報端末２００に主画像（及び／または付加情報）を供給するサーバ装置３１０に関する情報を取得できたか否かを確認する。サーバ装置３１０に関する情報を取得できた場合は、Ｓ１３３の処理に進む。サーバ装置３１０に関する情報を取得できなかった場合は、Ｓ１３６の処理に進む。
　Ｓ１３３では、付加情報有無解析部１１１２が、サーバ装置３１０に対してＳ１３１の処理で抽出した情報端末２００の表示画像部分を送信し、サーバ装置３１０が情報端末２００に供給する主画像（及び／または付加情報）に関する情報を取得する。
　そして、Ｓ１３４で、付加情報有無解析部１１１２が、Ｓ１３１の処理で抽出した情報端末２００の表示画像部分の画像と、Ｓ１３３の処理で取得したサーバ装置３１０が情報端末２００に供給する主画像（及び／または付加情報）に関する情報とに基づいて、情報端末２００の表示画像が主画像に付加情報が重畳されたものであるか否かを確認する。そして、表示画像が主画像に付加情報が重畳されたものである場合は、Ｓ１３５の処理に進む。また、表示画像が主画像に付加情報が重畳されたものでない場合は、Ｓ１３６の処理に進む。
　Ｓ１３５では、図６のＳ１２４と同様に、付加情報有無解析部１１１２が、付加情報重畳フラグを“１”に設定し、Ｓ１０３の処理において“Ｙｅｓ”に分岐する。
　Ｓ１３６では、図６のＳ１２５と同様に、付加情報有無解析部１１１２が、付加情報重畳フラグを“０”に設定し、Ｓ１０３の処理において“Ｎｏ”に分岐する。
　図８は、図５におけるＳ１０８の情報端末視認領域の検出処理の説明図である。図８における上側の図は、透過型表示部１３１を介したユーザＵ１の視野であり、透過型表示部１３１を透過してユーザＵ１が視認している現実世界の情報端末２００を示している。図８における下側の図は、透過型表示部１３１内における情報端末視認領域を説明する図であり、透過型表示部１３１を透過してユーザＵ１が視認している現実世界の情報端末２００に対して、Ｓ１０８の処理で検出した情報端末視認領域１３１Ｒを示している。
　なお、情報端末視認領域１３１Ｒは、図示のような筐体に相似する形状である必要はなく、例えば、単純な矩形であってもよい。また、情報端末視認領域１３１Ｒは情報端末２００の表示画像部分のみを囲い込む形状であってもよい。また、情報端末２００から受信した付加情報は、情報端末視認領域１３１Ｒの内側には表示せず、情報端末視認領域１３１Ｒの外側のどこに表示してもよい。
　図９は、本実施例におけるＨＭＤの付加情報表示制御処理の説明図である。図９における上側の図のように、情報端末２００の表示画像を、ＨＭＤ１００の透過型表示部１３１を介して視聴している際に、情報端末２００の表示画像が、主画像（番組コンテンツ等）に付加情報（字幕情報等）が重畳されているものであると判断した場合には、（１）ＨＭＤ１００が、情報端末２００に付加情報の送信及び付加情報の表示停止を要求する。（２）ＨＭＤ１００が、情報端末２００から付加情報を受信する。（３）ＨＭＤ１００のカメラが取得したユーザの視野範囲画像に基づいて、ＨＭＤ１００の透過型表示部１３１における情報端末視認領域を検出する。そして、図９における下側の図のように、（４）ＨＭＤ１００が、（２）で受信した付加情報を、ＨＭＤ１００の透過型表示部１３１の（３）で検出した情報端末視認領域１３１Ｒとは重ならない位置に表示する。なお、主画像のみが表示されており、付加情報が重畳されていないと判断した場合には、上記（１）～（４）の処理を行なわない。
　また、主画像に付加情報が重畳されているか否かの判断は、ＨＭＤ１００が情報端末２００に、表示画像は主画像に付加情報を重畳したものであるか否かを問い合わせる。または、ＨＭＤ１００が、情報端末２００に主画像を供給しているコンテンツサーバに、主画像及び付加情報に関して問い合わせる。なお、その他の方法で判断してもよい。
　また、ＨＭＤ１００の表示部は非透過型であってもよい。この場合、上記（４）の表示制御において、ＨＭＤ１００のカメラが取得したユーザの視野範囲画像を非透過型表示部に表示し、情報端末が表示される領域とは重ならない位置に（２）で受信した付加情報を重畳して表示すればよい。
　また、ＨＭＤ１００は図示したゴーグル型の他、眼鏡型等であってもよい。また、情報端末２００は、部屋に据え置かれたＴＶや手に持ったスマートフォン、その他の情報機器等であってもよい。
　以上のように本実施例によれば、主画像に付加情報を重畳して表示している情報端末をＨＭＤの表示部を介して視聴する際に、情報端末の付加情報をＨＭＤの表示部における情報端末の主画像と重ならない位置に表示する、ＨＭＤの表示部において付加情報の表示制御が可能なＨＭＤを提供できる。
　本実施例では、付加情報表示制御処理における付加情報の表示位置の詳細について説明する。
　図１０Ａ、図１０Ｂ、図１０Ｃは、本実施例における付加情報の表示制御を説明する図である。図１０Ａにおいては、ユーザＵ１が情報端末２００に対して正対している場合であり、実施例１での制御により透過型表示部１３１内における情報端末視認領域と重ならない位置に付加情報を表示している状態を示している。なお、Ｕ１Ｓは、ユーザＵ１の視野範囲を示している。
　図１０Ｂは、図１０Ａの状態からユーザＵ１が頭を左方向に振り、透過型表示部１３１内における情報端末２００の位置が相対的に右方向に移動した第１の状態を示している。この場合、透過型表示部１３１内における付加情報の表示位置は図１０Ａと同一位置としている。即ち、付加情報の表示位置は透過型表示部１３１内の所定位置に固定されている。
　図１０Ｃは、図１０Ｂと同様に図１０Ａの状態からユーザＵ１が頭を左方向に振り、透過型表示部１３１内における情報端末２００の位置が相対的に右方向に移動した第２の状態を示している。この場合、透過型表示部１３１内における付加情報の表示位置は情報端末２００に合わせて右方向に移動してもよい。即ち、付加情報の表示位置は情報端末２００に対して相対的な位置に固定されていてもよい。
　なお、付加情報の表示位置は、情報端末視認領域の外側であって、付加情報が最も見やすくなる背景部分に表示するようにしてもよい。例えば、背景部分が柄物のカーテンと白い壁で構成されている場合、付加情報が白い壁に重なるように表示する等の制御を行う。
　本実施例によれば、主画像に付加情報を重畳して表示している情報端末をＨＭＤの表示部を介して視聴する際に、情報端末の付加情報をＨＭＤの表示部における情報端末の主画像と重ならない位置で、かつ付加情報を見やすい位置に表示する、ＨＭＤの表示部において付加情報の表示制御が可能なＨＭＤを提供できる。
　本実施例では、ユーザが選択した付加情報の表示制御処理について説明する。
　図１１は、本実施例におけるＨＭＤの付加情報表示制御処理のフローチャートである。なお、図１１に示したフローチャートは、実施例１で説明した付加情報表示制御処理の変形例である。
　図１１において、まずステップＳ２０１で、画像取得部１１１１が、第一画像入力部１３３からユーザＵ１の視野範囲に対応する画像（視野範囲画像）を取得する。そして、Ｓ２０２で、付加情報有無解析部１１１２が、Ｓ２０１の処理で取得したユーザＵ１の視野範囲画像に基づいて、情報端末２００の表示画像上の任意のオブジェクトに対するユーザＵ１の選択指示を受け付ける。そして、Ｓ２０３で、付加情報有無解析部１１１２が、Ｓ２０２の処理でユーザＵ１が選択したオブジェクト（選択オブジェクト）の、情報端末２００の表示画像内における位置を確認する。
　次に、Ｓ２０４では、付加情報有無解析部１１１２が、Ｓ２０３の処理で情報端末２００の表示画像内における位置を確認した選択オブジェクトが主画像に重畳された付加情報であるか否かを確認する。選択オブジェクトが主画像に重畳された付加情報である場合は、Ｓ２０５の処理に進む。選択オブジェクトが主画像に重畳された付加情報でない、すなわち、主画像の一部である場合には、処理を終了する。
　Ｓ２０５では、付加情報取得部１１１３が、情報端末２００またはコンテンツサーバであるサーバ装置３１０に対して付加情報である選択オブジェクトの送信を要求する。そして、Ｓ２０６で、付加情報取得部１１１３が、情報端末２００またはサーバ装置３１０から選択オブジェクト（付加情報）を受信する。
　Ｓ２０７では、付加情報取得部１１１３が、情報端末２００に対して選択オブジェクト（付加情報）の表示停止要求を送信する。そして、Ｓ２０８で、画像取得部１１１１が、第一画像入力部１３３からユーザＵ１の視野範囲に対応する画像（視野範囲画像）を取得する。
　Ｓ２０９では、表示制御部１１１４が、Ｓ２０８の処理で取得したユーザＵ１の視野範囲画像を解析し、透過型表示部１３１内において情報端末２００を視認する領域（情報端末視認領域）を検出する。そして、Ｓ２１０で、表示制御部１１１４が、Ｓ２０６の処理で情報端末２００またはサーバ装置３１０から受信した選択オブジェクト（付加情報）を、Ｓ２０９の処理で検出した情報端末視認領域と重ならない透過型表示部１３１の所定位置に表示する。
　なお、Ｓ２０２の任意のオブジェクトに対するユーザＵ１の選択指示の具体的な例としては以下がある。ユーザＵ１が透過型表示部１３１を介して情報端末２００に表示される表示画像上の任意のオブジェクトを注視した状態で、（１）タッチセンサ１２２が、ユーザＵ１によるタップ操作を検出する、もしくは、（２）第二画像入力部１３４が、ユーザＵ１の瞬き動作を検出する。
　また、Ｓ２０３の選択オブジェクトの位置確認処理の具体的な例としては以下がある。（１）第二画像入力部１３４が、ユーザＵ１による選択指示があった際のユーザＵ１の眼部画像を取得する。（２）取得した眼部画像を解析し、ユーザＵ１の視線が交差する透過型表示部１３１上の座標を検出する。（３）検出した座標位置がＳ２０１の処理で取得したユーザＵ１の視野範囲画像のどの位置に対応するか算出する。（４）算出した視野範囲画像内の位置情報に基づいて、ユーザＵ１の視線位置にある選択オブジェクトが情報端末２００の表示画像内においてどの位置となるかを算出する。
　図１２Ａ、図１２Ｂ、図１２Ｃは、本実施例における付加情報の表示制御を説明する図である。図１２Ａ、図１２Ｂ、図１２Ｃにおいて、左側の図と右側の図が、それぞれ付加情報表示制御の前と後のＨＭＤの透過型表示部を介したユーザの視野を示している。
　図１２Ａは、付加情報１と付加情報２が存在しており、付加情報１に視線を合わせた状態でユーザＵ１が選択指示を行った場合を示している。すなわち、付加情報を選択可能なＵＩ（User Interface）もしくは付加情報を選択するためのトリガとなるＵＩとして、視線を合わせた位置に十字のカーソルを表示し、選択したい付加情報上に視線を合わせ十字のカーソルを表示した状態で、上記したタッチセンサのタップ操作や瞬き動作を検出することで選択指示を行なう。図１２Ａでは、図１１で説明した付加情報表示制御により、付加情報１のみが透過型表示部１３１内における情報端末視認領域と重ならない位置に表示され情報端末２００からは削除され、付加情報２は情報端末２００に表示されたまま、すなわち主画像に重畳されたままで表示される。
　図１２Ｂは、図１２Ａとは異なり、付加情報２に視線を合わせた状態でユーザＵ１が選択指示を行った場合を示している。図１２Ｂでは、図１１で説明した付加情報表示制御により、付加情報２のみが透過型表示部１３１内における情報端末視認領域と重ならない位置に表示され情報端末２００からは削除され、付加情報１は主画像に重畳されたままで表示される。
　図１２Ｃは、付加情報１と付加情報２が存在しており、付加情報１に視線を合わせた状態でユーザＵ１が選択指示を行った他の表示制御の場合を示している。図１２Ｃでは、１つの付加情報を選択することで、情報端末２００の主画像に重畳された全ての付加情報が透過型表示部１３１内における情報端末視認領域と重ならない位置に表示され情報端末２００からは削除されている。このように、１つの付加情報を選択することをトリガとして、全ての付加情報が情報端末視認領域と重ならない位置に表示されるようにしてもよい。
　また、付加情報表示制御により、透過型表示部１３１内における情報端末視認領域と重ならない位置に表示される付加情報は、透過型表示部１３１の形状と情報端末視認領域の位置や大きさに応じて、形状を変更して表示してもよい。
　また、情報端末２００の主画像に重畳された付加情報が一つの場合であっても、ユーザＵ１による選択指示をトリガとして、付加情報表示制御処理を開始してもよい。
　本実施例によれば、主画像に付加情報を重畳して表示している情報端末をＨＭＤの表示部を介して視聴する際に、付加情報を選択可能なＵＩを有し、選択した付加情報をＨＭＤの表示部における情報端末の主画像と重ならない位置に表示する、ＨＭＤの表示部において付加情報の表示制御が可能なＨＭＤを提供できる。
　本実施例では、付加情報の表示処理の他の例について説明する。
　図１３Ａ、図１３Ｂ、図１３Ｃは、本実施例における付加情報の表示制御を説明する図である。図１３Ａ、図１３Ｂ、図１３Ｃにおいては、図１２Ａと同様に、左側の図と右側の図が、それぞれ付加情報表示制御の前と後のＨＭＤの透過型表示部を介したユーザの視野を示している。
　図１３Ａは、付加情報表示制御後の情報端末側における付加情報の第１の処理を示している。すなわち、図１３Ａに示すように、付加情報表示処理制御により付加情報を透過型表示部１３１内における情報端末視認領域と重ならない位置に表示した後、情報端末２００側では、付加情報の表示を停止してもよい。
　図１３Ｂは、付加情報表示制御後の情報端末側における付加情報の第２の処理を示している。すなわち、図１３Ｂに示すように、付加情報表示処理制御により付加情報を透過型表示部１３１内における情報端末視認領域と重ならない位置に表示した後、情報端末２００側では、付加情報を主画像の視認の邪魔にならないサイズに縮小表示してもよい。なお、この場合は、図５のＳ１０６の処理で付加情報表示停止要求ではなく、付加情報縮小表示要求を送信する。
　図１３Ｃは、付加情報表示制御後の情報端末側における付加情報の第３の処理を示している。すなわち、図１３Ｃに示すように、付加情報表示処理制御により付加情報を透過型表示部１３１内における情報端末視認領域と重ならない位置に表示した後、情報端末２００側では、付加情報を主画像の視認の邪魔にならない位置に移動して表示してもよい。この場合は、図５のＳ１０６の処理で付加情報表示停止要求ではなく、付加情報移動要求を送信する。なお、情報端末２００における付加情報の移動位置は、図１３Ｃに示すように、付加情報の一部が情報端末２００の表示部からはみ出す位置であってもよい。
　本実施例によれば、主画像に付加情報を重畳して表示している情報端末をＨＭＤの表示部を介して視聴する際に、情報端末の付加情報をＨＭＤの表示部における情報端末の主画像と重ならない位置に表示し、情報端末では主画像の視認の邪魔にならないように付加情報の表示を制御することが可能なＨＭＤを提供できる。
　本実施例では、情報端末の付加情報をネットワークを介して取得し、その付加情報を表示制御する例について説明する。
　図１４は、本実施例におけるＨＭＤの付加情報表示制御処理のフローチャートである。なお、図１４に示したフローチャートは、実施例１や実施例３で説明した付加情報表示制御処理の変形例である。
　図１４において、まずステップＳ３０１で、付加情報有無解析部１１１２が、同一ネットワーク３００上で連携済みの情報端末２００があるか否かを確認する。そして、連携済みの情報端末２００がある場合は、Ｓ３０２の処理に進む。連携済みの情報端末２００がない場合は、処理を終了する。
　次に、Ｓ３０２で、付加情報取得部１１１３が、連携済みの情報端末２００に付加情報送信予約を送信する。なお、情報端末側で付加情報が表示されているか否かにかかわらず、予め情報端末に付加情報送信予約を送信してよい。そして、Ｓ３０３で、画像取得部１１１１が、第一画像入力部１３３からユーザＵ１の視野範囲に対応する画像（視野範囲画像）を取得する。
　次に、Ｓ３０４で、付加情報有無解析部１１１２が、Ｓ３０３の処理で取得したユーザＵ１の視野範囲画像を解析し、ユーザＵ１の視野範囲内に連携済みの情報端末２００が含まれるか否かを確認する。そして、ユーザＵ１の視野範囲内に連携済みの情報端末２００が含まれる場合は、Ｓ３０５の処理に進む。ユーザＵ１の視野範囲内に連携済みの情報端末２００が含まれない場合は、Ｓ３０３の処理に戻る。
　Ｓ３０５では、付加情報有無解析部１１１２が、ユーザＵ１の視野範囲内に連携済みの情報端末２００が含まれる状態（情報端末視認状態）である旨を連携済みの情報端末２００に送信する。そして、Ｓ３０６で、付加情報取得部１１１３が、Ｓ３０５の処理で送信した情報端末視認状態に対応して連携済みの情報端末２００から送信された付加情報を受信する。なお、連携済みの情報端末２００の表示画像が主画像に重畳された付加情報を有しないものである場合、その旨の情報を受信して処理を終了してもよい。即ち、情報端末２００においては、ＨＭＤ１００から情報端末視認状態である旨を受信すると、情報端末２００の表示画像が主画像に重畳された付加情報を有するものである場合には前記付加情報をＨＭＤ１００に送信し、情報端末２００の表示画像が主画像に重畳された付加情報を有しないものである場合にはその旨の情報をＨＭＤ１００に送信する。
　次に、Ｓ３０７で、付加情報取得部１１１３が、連携済みの情報端末２００に対して付加情報の表示停止要求を送信する。そして、Ｓ３０８で、画像取得部１１１１が、第一画像入力部１３３からユーザＵ１の視野範囲に対応する画像（視野範囲画像）を取得する。なお、Ｓ３０８の処理を行わず、以後の処理でＳ３０３の処理で取得した視野範囲画像を使用してもよい。
　次に、Ｓ３０９で、表示制御部１１１４が、Ｓ３０８の処理で取得したユーザＵ１の視野範囲画像を解析し、透過型表示部１３１内において連携済みの情報端末２００を視認する領域（情報端末視認領域）を検出する。そして、Ｓ３１０で、表示制御部１１１４が、Ｓ３０６の処理で連携済みの情報端末２００から受信した付加情報を、Ｓ３０９の処理で検出した情報端末視認領域と重ならない透過型表示部１３１の所定位置に表示する。
　図１５Ａ、図１５Ｂ、図１５Ｃは、本実施例における付加情報の表示制御を説明する図である。図１５Ａは、第１の状態を説明する図であり、ユーザＵ１が情報端末２００に対して左方向を向いており、ユーザＵ１の視野範囲Ｕ１Ｓに情報端末２００の全体が入らない場合であり、透過型表示部１３１内に情報端末２００の全体が入らない状態を示している。そして、図１４のＳ３０４の処理でユーザＵ１の視野範囲に連携済みの情報端末２００が入っていない状態であり、連携済みの情報端末２００に情報端末視認状態を送信しておらず、連携済みの情報端末２００から付加情報を受信していない状態である。なお、図示していないが、情報端末２００の表示画像は主画像に付加情報が重畳された状態である。
　図１５Ｂは、第２の状態を説明する図であり、図１５Ａの状態からユーザＵ１が頭を右方向に振り、ユーザＵ１の視野範囲Ｕ１Ｓに情報端末２００の全体が入った第１の状態を示している。この場合、図１４のＳ３０４の処理でユーザＵ１の視野範囲に連携済みの情報端末２００が入ったことを検出した直後の状態であって、連携済みの情報端末２００から未だ付加情報を受信していない状態である。なお、依然として情報端末２００の表示画像は主画像に付加情報が重畳された状態である。
　図１５Ｃは、第３の状態を説明する図であり、図１５Ｂの状態から、図１４のＳ３０５以降の処理を行った状態を示している。すなわち、図１５Ｃは、図１４のＳ３０５の処理で連携済みの情報端末２００に情報端末視認状態を送信し、Ｓ３０６の処理で連携済みの情報端末２００から付加情報を受信し、Ｓ３１０の処理で、Ｓ３０６の処理で連携済みの情報端末２００から受信した付加情報を、Ｓ３０９の処理で検出した情報端末視認領域と重ならない透過型表示部１３１の所定位置に表示した状態を示している。
　以上のように本実施例によれば、主画像に付加情報を重畳して表示している情報端末をＨＭＤの表示部を介して視聴する際に、情報端末の付加情報をネットワークを介して取得し、その付加情報をＨＭＤの表示部における情報端末の主画像と重ならない位置に表示する、ＨＭＤの表示部において付加情報の表示制御が可能なＨＭＤを提供できる。
　なお、前述の説明では、ユーザＵ１の視野範囲Ｕ１Ｓに情報端末２００の全体が入らない状態を図１４のＳ３０４の処理でユーザＵ１の視野範囲に連携済みの情報端末２００が入っていない状態であると判別し、ユーザＵ１の視野範囲Ｕ１Ｓに情報端末２００の全体が入った状態を図１４のＳ３０４の処理でユーザＵ１の視野範囲に連携済みの情報端末２００が入った状態であると判別している。しかしながら、ユーザＵ１の視野範囲Ｕ１Ｓに情報端末２００の一部も入らない状態を図１４のＳ３０４の処理でユーザＵ１の視野範囲に連携済みの情報端末２００が入っていない状態であると判別し、ユーザＵ１の視野範囲Ｕ１Ｓに情報端末２００の一部でも入った状態を図１４のＳ３０４の処理でユーザＵ１の視野範囲に連携済みの情報端末２００が入った状態であると判別するようにしてもよい。
　本実施例では、実施例５での付加情報の表示制御の他の例について説明する。
　図１６は、本実施例におけるＨＭＤの付加情報表示制御処理のフローチャートである。図１６は、実施例５の図１４と並行して実施してもよいし、独立に実施してもよい。
　図１６において、まずステップＳ３２１で、図１４のＳ３０３と同様に、画像取得部１１１１が、第一画像入力部１３３からユーザＵ１の視野範囲に対応する画像（視野範囲画像）を取得する。
　次に、Ｓ３２２で、付加情報有無解析部１１１２が、Ｓ３２１の処理で取得したユーザＵ１の視野範囲画像を解析し、ユーザＵ１の視野範囲内にネットワーク上で連携済みの情報端末２００があるか否かを確認する。そして、ユーザＵ１の視野範囲内に連携済みの情報端末２００が含まれる場合はＳ３２１の処理に戻る。ユーザＵ１の視野範囲内に連携済みの情報端末２００が含まれない場合はＳ３２３の処理に進む。
　Ｓ３２３では、付加情報取得部１１１３が、連携済みの情報端末２００に対して主画像の送信を要求する。なお、併せて、付加情報の再表示要求を送信してもよい。次に、Ｓ３２４で、付加情報取得部１１１３が、連携済みの情報端末２００から主画像を受信する。そして、Ｓ３２５で、表示制御部１１１４が、Ｓ３２４の処理で連携済みの情報端末２００から受信した主画像を、透過型表示部１３１の所定位置に表示する。
　図１７Ａ、図１７Ｂ、図１７Ｃは、本実施例における付加情報の表示制御を説明する図である。図１７Ａは、図１５Ｃと同じで、本実施例における第１の状態を説明する図であり、ユーザＵ１の視野範囲Ｕ１Ｓに情報端末２００の全体が入った状態を示している。この場合、付加情報を透過型表示部１３１の情報端末視認領域と重ならない所定位置に表示した状態を示している。
　図１７Ｂは、第２の状態を説明する図であり、図１７Ａの状態からユーザＵ１が頭を左方向に振り、透過型表示部１３１内における情報端末２００の位置が相対的に右方向に移動した状態を示している。すなわち、Ｓ３２２の処理で、情報端末２００がユーザＵ１の視野範囲Ｕ１Ｓから一部が欠けたことを検出するが、付加情報は透過型表示部１３１の所定位置に固定して表示されている状態を示している。
　図１７Ｃは、第３の状態を説明する図であり、図１７Ｂの状態からユーザＵ１が頭を更に左方向に振り、ユーザＵ１の視野範囲Ｕ１Ｓに情報端末２００が含まれなくなった状態を示している。すなわち、Ｓ３２２の処理で、情報端末２００がユーザＵ１の視野範囲Ｕ１Ｓからはずれたことを検出し、Ｓ３２４の処理で受信した情報端末２００の主画像を、透過型表示部１３１を介して視認していた情報端末２００の代替として、透過型表示部１３１に表示した状態を示している。
　このように、本実施例では、視野範囲において情報端末の位置が相対的に移動しても、付加情報は透過型表示部の所定位置に固定して表示される。また、視野範囲において情報端末が含まれなくなった場合でも、透過型表示部に情報端末の主画像を表示できる。
　本実施例では、付加情報の表示制御の他の例について説明する。
　図１８は、本実施例におけるＨＭＤの付加情報表示制御処理の説明図である。図１８は、透過型表示部１３１を介したユーザＵ１の視野であり、上側の図は、透過型表示部１３１を介して付加情報の表示された情報端末２００を視認している状態を示している。図１８における下側の図は、付加情報表示制御により透過型表示部１３１に付加情報を表示した状態を示している。
　付加情報は、主画像に重畳されて表示される状態の他、図１８の上図に示すように、主画像を縮小して空いた領域に、例えばＬ字状にデータ放送のような表示形状で表示されていてもよい。
　上図のような付加情報の表示形状の場合、本実施例では、付加情報表示制御により、情報端末２００に付加情報の送信を要求すると同時に、主画像の拡大表示を要求し、図１８の下図に示すように、主画像の拡大表示を行うとともに、透過型表示部１３１の情報端末視認領域と重ならない位置に付加情報を表示する。
　以上のように本実施例によれば、主画像に付加情報を重畳して表示している情報端末をＨＭＤの表示部を介して視聴する際に、付加情報がＬ字状に重畳していても、情報端末の付加情報をＨＭＤの表示部における情報端末の主画像と重ならない位置に表示することが可能な、付加情報の表示制御を有するＨＭＤを提供できる。
　本実施例では、付加情報の表示制御の他の例について説明する。
　図１９は、本実施例におけるＨＭＤの付加情報表示制御処理の説明図である。なお、本実施例では、ユーザＵ１と情報端末２００との距離が近く、透過型表示部１３１を介したユーザＵ１の視野の大部分を情報端末２００が占めている状態であるものとする。即ち、情報端末視認領域１３１Ｒが透過型表示部１３１の大部分を占めており、ＨＭＤの付加情報表示制御処理において、透過型表示部１３１の表示領域内における情報端末視認領域１３１Ｒとは重複しない位置に付加情報を表示することが困難な場合の付加情報表示制御処理の例である。
　図１９の上側の図は、透過型表示部１３１を介して付加情報の表示された情報端末２００を視認している状態であり、付加情報表示制御処理を行う前の状態を示している。情報端末２００には主映像２００ｍに付加情報２００ｓが重畳されて表示されている。また、前述のように、透過型表示部１３１を介したユーザＵ１の視野の大部分を情報端末２００が占めている。
　図１９の下側の図は、付加情報表示制御により透過型表示部１３１に付加情報を表示した状態であり、付加情報表示制御処理を行った後の状態を示している。前述のように、透過型表示部１３１を介したユーザＵ１の視野の大部分を情報端末２００が占めている場合、透過型表示部１３１に付加情報１３１ｓを表示する前に、情報端末２００に対して主映像縮小表示要求を送信するようにする。情報端末２００は、前記主映像縮小表示要求に応じて、主映像２００ｍのサイズを縮小し、空いた部分に無映像２００ｂ（単色固定画像）を表示するようにする。
　このような制御を行うことにより、付加情報１３１ｓはその一部領域が情報端末２００の映像部分と重複するが、該重複部分は無映像２００ｂ（単色固定画像）であるため、付加情報１３１ｓの見易さは損なわれない。
　以上のように本実施例によれば、主画像に付加情報を重畳して表示している情報端末をＨＭＤの表示部を介して視聴する際に、付加情報が情報端末と重複する位置にしか表示できない場合でも、付加情報の見易さを損なわずに表示することが可能な、付加情報の表示制御を有するＨＭＤを提供できる。
　以上実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、視聴対象は、ＴＶ、スマートフォン以外にＰＣ画面等でもよく、また、付加情報は、字幕やサブ画面、その他重畳されているデータでもよい。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。
　また、前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、マイクロプロセッサユニット、ＣＰＵ等がそれぞれの機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実現してもよい。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用してもよい。また、各機能の一部または全部をサーバで実現してもよい。なお、サーバは、通信を介して他の構成部分と連携し機能の実行が出来ればよく、例えば、ローカルサーバ、クラウドサーバ、エッジサーバ、ネットサービス等であり、その形態は問わない。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納されてもよいし、通信網上の装置に格納されてもよい。
　また、各処理例で説明したプログラムは、それぞれ独立したプログラムでもよく、複数のプログラムが一つのアプリケーションプログラムを構成していてもよい。また、各処理を行う順番を入れ替えて実行するようにしてもよい。
　また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　また、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、置換をすることが可能である。
　１００：ＨＭＤ（ヘッドマウントディスプレイ装置）、１０１：主制御部、１０３：ＲＡＭ、１１０：ストレージ部、１２０：操作入力部、１３０：画像処理部、１３１：透過型表示部、１３１Ｒ：情報端末視認領域、１４０：音声処理部、１５１：位置情報取得部、１６０：センサ部、１７０：通信部、１８０：拡張インタフェース部、２００：情報端末、３００：ネットワーク、３１０：サーバ装置、１００１：基本動作プログラム、１００２：アプリケーション、１００９：各種データ記憶領域、１１０１：基本動作機能部、１１１１：画像取得部、１１１２：付加情報有無解析部、１１１３：付加情報取得部、１１１４：表示制御部、１１９９：一時記憶領域、Ｕ１：ユーザ、Ｕ１Ｓ：視野範囲

Claims (15)

  1. 　透過型表示部を有するヘッドマウントディスプレイ装置であって、
    　ユーザの視野範囲に対応する画像である視野範囲画像を取得する画像取得部と、
    　前記取得した視野範囲画像を解析し、ユーザの視野範囲内に情報端末が含まれるか否かを確認し、ユーザの視野範囲内に含まれる情報端末の表示画像が主画像に付加情報が重畳されたものであるか否かを確認する付加情報有無解析部と、
    　前記情報端末またはコンテンツサーバに前記付加情報の送信を要求し、前記付加情報を受信する付加情報取得部と、
    　前記透過型表示部において前記情報端末を視認する領域である情報端末視認領域を検出し、前記受信した付加情報を前記透過型表示部の前記情報端末視認領域と重ならない位置に表示する表示制御部と
    　を有することを特徴とするヘッドマウントディスプレイ装置。
  2. 　請求項１に記載のヘッドマウントディスプレイ装置であって、
    　前記付加情報取得部は、前記情報端末に対して前記付加情報の表示停止要求を送信することを特徴とするヘッドマウントディスプレイ装置。
  3. 　請求項１に記載のヘッドマウントディスプレイ装置であって、
    　前記付加情報有無解析部は、前記情報端末の表示画像は主画像に付加情報が重畳されたものであるか否かの確認要求を前記情報端末に送信し、前記情報端末からの返信に基づいて、前記情報端末の表示画像は主画像に付加情報が重畳されたものであるか否かを確認することを特徴とするヘッドマウントディスプレイ装置。
  4. 　請求項１に記載のヘッドマウントディスプレイ装置であって、
    　前記付加情報有無解析部は、前記ユーザの視野範囲画像から前記情報端末の表示画像部分を抽出し、抽出した表示画像に基づいてネットワーク上で検索処理を行い、前記情報端末に主画像を供給するコンテンツサーバに関する情報を取得し、前記コンテンツサーバに対して前記情報端末の表示画像部分を送信し、前記コンテンツサーバから該コンテンツサーバが前記情報端末に供給する主画像に関する情報を受信し、前記情報端末の表示画像部分の画像と前記コンテンツサーバが前記情報端末に供給する主画像に関する情報とに基づいて、前記情報端末の表示画像は主画像に付加情報が重畳されたものであるか否かを確認することを特徴とするヘッドマウントディスプレイ装置。
  5. 　請求項１に記載のヘッドマウントディスプレイ装置であって、
    　前記表示制御部は、前記透過型表示部における前記情報端末の位置が相対的に移動した状態でも前記付加情報の表示位置は固定して表示することを特徴とするヘッドマウントディスプレイ装置。
  6. 　請求項１に記載のヘッドマウントディスプレイ装置であって、
    　前記表示制御部は、前記透過型表示部における前記情報端末の位置が相対的に移動した場合、前記付加情報の表示位置は前記情報端末に対して相対的に位置を固定されて表示することを特徴とするヘッドマウントディスプレイ装置。
  7. 　請求項１に記載のヘッドマウントディスプレイ装置であって、
    　前記付加情報有無解析部は、前記取得した視野範囲画像に基づいて、前記情報端末の表示画像上の任意のオブジェクトに対するユーザの選択指示を受け付け、選択した選択オブジェクトの前記情報端末の表示画像内における位置を確認し、前記選択オブジェクトが前記主画像に重畳された前記付加情報であるか否かを確認することを特徴とするヘッドマウントディスプレイ装置。
  8. 　請求項７に記載のヘッドマウントディスプレイ装置であって、
    　前記ユーザの選択指示は、選択したいオブジェクト上に視線を合わせた状態で、タッチセンサのタップ操作や瞬き動作を検出することで行なうことを特徴とするヘッドマウントディスプレイ装置。
  9. 　請求項７に記載のヘッドマウントディスプレイ装置であって、
    　前記表示制御部は、前記ユーザの選択指示により１つの付加情報を選択することをトリガとして、全ての付加情報が前記情報端末視認領域と重ならない位置に表示することを特徴とするヘッドマウントディスプレイ装置。
  10. 　請求項１に記載のヘッドマウントディスプレイ装置であって、
    　前記付加情報取得部は、前記情報端末に対して前記付加情報の縮小表示要求を送信することを特徴とするヘッドマウントディスプレイ装置。
  11. 　請求項１に記載のヘッドマウントディスプレイ装置であって、
    　前記付加情報取得部は、前記情報端末に対して前記付加情報の移動要求を送信することを特徴とするヘッドマウントディスプレイ装置。
  12. 　請求項１に記載のヘッドマウントディスプレイ装置であって、
    　前記付加情報有無解析部が、ネットワーク上で連携済みの前記情報端末があるか否かを確認し、前記連携済みの情報端末がある場合は、前記付加情報取得部が、前記連携済みの情報端末に付加情報送信予約を送信し、前記付加情報有無解析部が、ユーザの視野範囲内に前記連携済みの情報端末が含まれる状態である旨を前記連携済みの情報端末に送信し、前記付加情報取得部が、ネットワークを介して前記連携済みの情報端末から送信された付加情報を受信することを特徴とするヘッドマウントディスプレイ装置。
  13. 　請求項１に記載のヘッドマウントディスプレイ装置であって、
    　前記付加情報有無解析部が、ネットワーク上で連携済みの前記情報端末があるか否かを確認し、ユーザの前記視野範囲画像を解析し、ユーザの視野範囲内に前記連携済みの情報端末が含まれるか否かを確認し、
    　前記付加情報取得部が、前記連携済みの情報端末に対して前記主画像の送信を要求し該主画像を受信し、
    　前記表示制御部が、前記連携済みの情報端末から受信した前記主画像を、前記透過型表示部の所定位置に表示することを特徴とするヘッドマウントディスプレイ装置。
  14. 　請求項１に記載のヘッドマウントディスプレイ装置であって、
    　ユーザの視野範囲内に含まれる前記情報端末の表示画像は、主画像を縮小して空いた領域にＬ字状に表示された付加情報を有するものであり、
    　前記付加情報有無解析部は、ユーザの視野範囲内に含まれる前記情報端末の表示画像が、前記Ｌ字状の付加情報を有するものであるか否かを確認し、
    　前記付加情報取得部は、前記付加情報の送信を要求すると同時に、前記主画像の拡大表示を要求し、
    　前記表示制御部は、前記透過型表示部の前記情報端末視認領域と重ならない位置に前記付加情報を表示することを特徴とするヘッドマウントディスプレイ装置。
  15. 　透過型表示部を有するヘッドマウントディスプレイ装置であって、
    　外界画像を取得する第一画像入力部と、
    　通信部と、
    　制御部を有し、
    　前記制御部は、
    　前記第一画像入力部で取得した画像からユーザの視野範囲に対応する画像である視野範囲画像を取得し、
    　前記取得した視野範囲画像を解析し、ユーザの視野範囲内に情報端末が含まれるか否かを確認し、ユーザの視野範囲内に含まれる情報端末の表示画像が、主画像に付加情報が重畳されたものであるか否かを確認し、
    　前記通信部を介して前記情報端末またはコンテンツサーバに前記付加情報の送信を要求し、前記付加情報を受信し、
    　前記透過型表示部において前記情報端末を視認する領域である情報端末視認領域を検出し、前記受信した付加情報を前記透過型表示部の前記情報端末視認領域と重ならない位置に表示することを特徴とするヘッドマウントディスプレイ装置。
PCT/JP2021/047720 2021-12-22 2021-12-22 ヘッドマウントディスプレイ装置 WO2023119528A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/047720 WO2023119528A1 (ja) 2021-12-22 2021-12-22 ヘッドマウントディスプレイ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/047720 WO2023119528A1 (ja) 2021-12-22 2021-12-22 ヘッドマウントディスプレイ装置

Publications (1)

Publication Number Publication Date
WO2023119528A1 true WO2023119528A1 (ja) 2023-06-29

Family

ID=86901591

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/047720 WO2023119528A1 (ja) 2021-12-22 2021-12-22 ヘッドマウントディスプレイ装置

Country Status (1)

Country Link
WO (1) WO2023119528A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11196345A (ja) * 1997-10-07 1999-07-21 Masanobu Kujirada 表示システム
JP2012163666A (ja) * 2011-02-04 2012-08-30 Dainippon Printing Co Ltd 情報表示装置、情報表示システム
JP2012205191A (ja) * 2011-03-28 2012-10-22 Nippon Telegr & Teleph Corp <Ntt> 映像付加情報表示制御装置およびその動作方法
JP2016024208A (ja) * 2014-07-16 2016-02-08 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
WO2021181604A1 (ja) * 2020-03-12 2021-09-16 マクセル株式会社 情報端末装置、及びそのアプリケーション動作モード制御方法
WO2021245773A1 (ja) * 2020-06-02 2021-12-09 マクセル株式会社 情報処理システム、情報処理方法および情報処理端末

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11196345A (ja) * 1997-10-07 1999-07-21 Masanobu Kujirada 表示システム
JP2012163666A (ja) * 2011-02-04 2012-08-30 Dainippon Printing Co Ltd 情報表示装置、情報表示システム
JP2012205191A (ja) * 2011-03-28 2012-10-22 Nippon Telegr & Teleph Corp <Ntt> 映像付加情報表示制御装置およびその動作方法
JP2016024208A (ja) * 2014-07-16 2016-02-08 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
WO2021181604A1 (ja) * 2020-03-12 2021-09-16 マクセル株式会社 情報端末装置、及びそのアプリケーション動作モード制御方法
WO2021245773A1 (ja) * 2020-06-02 2021-12-09 マクセル株式会社 情報処理システム、情報処理方法および情報処理端末

Similar Documents

Publication Publication Date Title
KR102638956B1 (ko) 전자 장치 및 증강 현실 서비스를 제공하는 증강 현실 장치와 그 동작 방법
EP2895911B1 (en) Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US10757335B2 (en) Mobile terminal
US9955080B2 (en) Image annotation
KR102479052B1 (ko) 복수의 컨트롤러를 이용한 전자 장치의 디스플레이 제어 방법 및 그 장치
KR102499354B1 (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
JP2018180051A (ja) 電子機器及びその制御方法
WO2019130991A1 (ja) 情報処理装置
US20220366874A1 (en) Eye gaze control of magnification user interface
KR20180004112A (ko) 안경형 단말기 및 이의 제어방법
CN105511620A (zh) 中文三维输入装置、头戴式装置及中文三维输入方法
US20240077722A1 (en) Linked display system and head-mounted display
CN106462251B (zh) 显示控制设备、显示控制方法以及程序
US11240466B2 (en) Display device, mobile device, video calling method performed by the display device, and video calling method performed by the mobile device
CN104077784A (zh) 提取目标对象的方法和电子设备
WO2023119528A1 (ja) ヘッドマウントディスプレイ装置
CN110799932A (zh) 便携终端
KR20160001229A (ko) 이동단말기 및 그 제어방법
WO2018186004A1 (ja) 電子機器及びその制御方法
KR20150105131A (ko) 증강현실 제어 시스템 및 제어 방법
KR20180052501A (ko) 디스플레이 장치 및 그 동작 방법
JP2018180050A (ja) 電子機器及びその制御方法
CN115131547A (zh) Vr/ar设备截取图像的方法、装置及系统
WO2019138682A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21968965

Country of ref document: EP

Kind code of ref document: A1