WO2017104089A1 - ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置 - Google Patents
ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置 Download PDFInfo
- Publication number
- WO2017104089A1 WO2017104089A1 PCT/JP2015/085595 JP2015085595W WO2017104089A1 WO 2017104089 A1 WO2017104089 A1 WO 2017104089A1 JP 2015085595 W JP2015085595 W JP 2015085595W WO 2017104089 A1 WO2017104089 A1 WO 2017104089A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display
- information
- mounted display
- unit
- wearer
- Prior art date
Links
- 238000004891 communication Methods 0.000 claims description 45
- 238000004364 calculation method Methods 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000002834 transmittance Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 13
- 230000009466 transformation Effects 0.000 description 11
- 239000003550 marker Substances 0.000 description 8
- 230000000153 supplemental effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Definitions
- the present invention relates to a display system and a display device using a head mounted display.
- Second information (hereinafter referred to as secondary information) related to the first information (hereinafter referred to as primary information) displayed on the main display device is converted into a head-mounted display device (head mounted display, Head).
- head mounted display head mounted display
- HMD Mounted Display
- Patent Document 1 JP-A-2001-215920
- Patent Document 1 when the wearer of the HMD browses primary information displayed on the screen of the main display device, the primary that exists in that direction depends on the direction of the head of the wearer and the line-of-sight direction detected by the HMD.
- a technique for displaying secondary information related to information on the HMD is described. With this technology, the information (primary information) displayed on the main display device can be reduced and the size of the device can be avoided, and the wearer can confirm necessary information (secondary information) simply by moving the head or line of sight. Therefore, the operability of the apparatus can be improved.
- Patent Document 2 when the wearer of the HMD browses the primary information projected on the large screen, the secondary information is displayed at an appropriate position adjacent to the primary information based on the positional relationship between the wearer's seat and the screen. Discusses technology. With this technology, it is possible to display subtitles (secondary information) in the native language so that only the wearer of the HMD can be seen when watching a movie (primary information).
- Patent Document 1 describes that secondary information of information existing at the gaze point of the wearer detected by the HMD is displayed.
- the gazing point detected by the HMD indicates a position in the wearer's field of view. That is, this field of view includes the surrounding information in addition to the primary information displayed by the main display device, and the wearer is not always in front of the main display device. Information takes different shapes. Therefore, in order to know where in the primary information the wearer is gazing, it is necessary to convert the gazing point detected by the HMD into coordinates in the primary information by some means. No means are disclosed about the means.
- Patent Document 2 performs coordinate conversion based on the positional relationship between the seat of the wearer and the screen, and calculates the display position of the secondary information on the HMD. It is not possible to view primary information from a location.
- both Patent Documents 1 and 2 display the secondary information only while browsing the primary information, the secondary information cannot be browsed if the wearer keeps an eye on the primary information.
- the present invention has been made in view of the above problems, and even when the wearer of the HMD moves or keeps an eye on the main display device, the secondary information of the primary information displayed on the main display device is suitable for the HMD. Means for displaying the information is disclosed.
- the present invention is a system including a display device and a head mounted display, as an example.
- the display device projects a first display unit or an image capable of displaying an image.
- a first communication unit that can communicate with the head mounted display, the head mounted display including a second display unit that displays an image that can be viewed by a wearer of the head mounted display, and the head mount.
- a line-of-sight detection unit for detecting the line-of-sight direction of the wearer of the display a second communication unit capable of communicating with the display device, and based on information transmitted / received via the first communication unit and the second communication unit Gaze of the line of sight of the wearer of the head mounted display on the image displayed on the first display unit of the display device or the image projected by the projection unit
- the gazing point detection unit for detecting the position of the gazing point is provided in either the display device or the head-mounted display, and the gazing point detection unit includes position information in the image corresponding to the position of the gazing point when the gazing point is on the image.
- the head-mounted display acquires related data related to the target data displayed at the calculated position in the image through communication with the display device or other communication, and displays it on the second display unit. Configure as follows.
- the degree of freedom of action of the wearer of the HMD is increased and the secondary information can be displayed in a more natural manner. There is an effect that information can be browsed.
- FIG. 1 is an overall configuration diagram of an HMD cooperative display system in Embodiment 1.
- FIG. It is a block diagram of the primary information database in Example 1. It is a block diagram of the secondary information database in Example 1. It is a figure explaining selection operation of primary information in Example 1.
- FIG. 6 is a flowchart of primary information selection processing according to the first embodiment. It is a figure explaining the camera image in Example 1, and a gaze point in a camera image. 6 is a flowchart of secondary information selection processing based on a gazing point in the first embodiment. 6 is a flowchart of primary information internal point of sight calculation processing in the first embodiment.
- FIG. 6 is a flowchart of secondary information erasing processing according to the first exemplary embodiment. It is a figure explaining the operation
- FIG. 4 is a flowchart of secondary information selection processing by voice in the first embodiment. It is a figure explaining the operation
- FIG. It is a figure which shows the whole image of the HMD cooperation type display system in Example 2.
- FIG. 10 is a flowchart of secondary information selection processing based on a gazing point in the second embodiment.
- supplementary information related to educational content (primary information) projected on a screen by a projector is displayed on an HMD worn by a teacher in an educational setting.
- the teacher can browse the supplementary information related to the educational content while teaching the student in a natural manner.
- FIG. 1 is a diagram for explaining the outline of the operation of the HMD cooperative display system in this embodiment.
- the projection device 100 projects educational content (a world map in the example) on a screen 930.
- the teacher 910 conducts classes while watching the content projected via the HMD 300 and the students 920 alternately.
- the sight seen by the teacher 910 via the HMD 300 is, first, as shown on the screen 351, educational content (world map) and buttons for operating the content display (in the example, “Previous” “Next”). ) Only.
- supplemental information in the example, country name, main city, official language
- the button for operating the display of the content is deleted, but the supplementary information continues to be displayed even when the world map is not viewed. Thereafter, when a certain time elapses, the supplementary information is also deleted as shown in a screen 354.
- an operation for example, in order to obtain supplementary information, it is possible to conduct a class without performing an unnatural operation such as reviewing the direction of the educational content one by one and gazing at the corresponding part.
- FIG. 2 is an overall configuration diagram of the HMD cooperative display system in the present embodiment.
- the system includes a projection device 100, a display device 200, and an HMD 300.
- the projection device 100 and the display device 200, and the display device 200 and the HMD 300 are connected by communication.
- the projection apparatus 100 includes a signal input unit 110 for inputting primary information to be displayed, a control unit 120 for controlling display, and a display unit 130 for projecting primary information on a screen.
- the display device 200 includes a recording unit 210 that stores the primary information database 510 and the secondary information database 520, a control unit 220 that performs various processes such as output of primary information and secondary information, and a signal that outputs primary information to the projection device 100.
- the gaze point detection unit Based on the information acquired from the output unit 230, the communication unit 240 that communicates with the HMD 300, and the information acquired from the HMD 300, the gaze point detection unit that detects the position of the gaze point in the primary information.
- a gazing point calculation unit 250 for calculating and calculating, a speech recognition unit 260 for recognizing speech of an HMD wearer, an operation unit 270 for operating the display device 200, and a display unit 280 are included.
- the gazing point calculation unit 250 and the speech recognition unit 260 may be configured as dedicated hardware, or may be configured as software modules executed by the control unit 220. Further, the gazing point calculation unit 250 may be provided in the HMD 300.
- the HMD 300 is an imaging unit 310 that captures a landscape in a direction that the wearer is looking at, and a gaze detection unit that detects a gaze direction of the wearer in the captured camera image.
- Detection unit 320 audio acquisition unit 330 that acquires audio from an HMD wearer, etc.
- control unit that performs various control processes such as transmitting the acquired camera image 540, camera image internal gazing point 550, and audio data 560 to the display device 200 340, a communication unit 350 that communicates with the display device 200, and a display unit 360 that displays secondary information 570 acquired from the display device as an image that can be viewed or viewed by the wearer.
- the projection apparatus 100 corresponds to a projector
- the display apparatus 200 corresponds to a PC (Personal Computer) connected to the projector, but is not limited to a form using a projector.
- the present invention can be applied to a general display device or a dedicated device in which the projection device 100 and the display device 200 are integrated.
- the HMD 300 may be divided into a device that is mounted on the head and mainly displays, and a device that is mounted on the waist and mainly controls the HMD.
- FIG. 3 is a structural diagram of the primary information database 510 in the present embodiment.
- the primary information database 510 includes a primary information identifier 511, a primary information name 512, a file name 513 storing primary information, and a display flag 514 indicating whether the primary information is being displayed. Is done.
- the display flag 514 will be described below as “1” during display and “0” during non-display.
- the secondary information database 520 includes a primary information identifier 521 for identifying related primary information, a gaze point range 522 for selecting secondary information based on the gaze point of the HMD wearer, It comprises a keyword 523 for selecting next information, secondary information 524, and secondary information attribute 525.
- the coordinate system of the primary information is defined by (0, 0) in the upper left and (1920, 1080) in the lower right.
- the gazing point range (1680, 70) to (1880, 250) on the first line of the information database is near Greenland, and the gazing point range (700, 720) to (1000, 870) on the second line is coordinates indicating the vicinity of Australia. Means.
- the gazing point ranges (0, 0) to (1920, 1080) in the third and fourth lines of the secondary information database are always secondary information (in the example, “ "Previous” and "next” buttons).
- FIG. 5 is a diagram illustrating an operation of selecting educational content (primary information) projected on the screen 930 displayed on the display unit 280 of the display device according to the present embodiment.
- a screen 281 is a selection screen for educational content, and displays a plurality of icons including an icon 282 for displaying a world map.
- a world map 283 is displayed as shown in the lower part of FIG.
- markers 284 indicated by diagonal lines are displayed at the four corners. This is identification information for specifying the display area of the primary information, and details will be described later.
- FIG. 6 is a flowchart of the process of the control unit 220 when primary information is selected in the present embodiment.
- the control unit 220 reads a list of primary information from the primary information database 510 and displays it on the selection screen 281 including icons representing each content (step S ⁇ b> 2201).
- step S2202 the process waits until the user selects content.
- the file 513 corresponding to the primary information selected by the user is read and projected onto the screen 930 via the signal output unit 230 and the projection device 100 (step S2203).
- the display flag 514 of the selected primary information is set to 1 and the process ends (step S2204).
- FIG. 7 shows that when the teacher 910 browses the screen 930 on which the educational content is projected in step S2203 of FIG. 6 via the HMD 300, the imaging unit 310 and the camera image internal gazing point detection unit 320 of the HMD 300 acquire.
- a camera image 540 and a camera image internal point of view 550 are shown.
- the figure shows a state where the teacher 910 is viewing primary information from a position slightly on the right side toward the screen 930 and is watching the vicinity of Greenland.
- FIG. 8 is a process for selecting secondary information that is executed by the control unit 220 of the display device 200 when the camera image 540 and the in-camera point of interest 550 shown in FIG. 7 are received from the HMD 300 in this embodiment. It is a flowchart of.
- the control unit 220 first refers to the primary information database 510 and determines whether there is primary information whose display flag is set to 1 (step S2211). Note that the display flag in the first line (world map) of the primary information database 510 is set to 1 by the operation shown in FIG.
- step S2212 it is determined whether or not the in-camera gazing point 550 is the same for a certain period of time, that is, whether or not the gazing point of the teacher 910 is staying in a specific place.
- This determination can be realized, for example, by processing such as determining whether or not a state in which the distance difference from the previously received camera image gaze point is less than a predetermined threshold has continued for a certain period of time.
- a gaze point in primary information is calculated using the gaze point calculation unit 250 (step S2213). Details of this processing will be described later.
- step S2214 it is determined whether or not the calculation of the primary information internal gazing point has succeeded (step S2214).
- the primary information internal gaze point is successfully calculated, that is, when the teacher 910 is in the primary information direction (that is, the screen 930 direction)
- the primary information internal gaze point calculated in step S2213 is stored ( Step S2215).
- the primary information internal gazing point stored in step S2213 is the range of the gazing point range 522 of the secondary information database 520.
- the secondary information existing in is displayed (step S2216).
- step S2214 when the calculation of the primary information internal gazing point fails in step S2214, that is, when gazing outside the marker range of the primary information, the secondary information corresponding to the primary information internal gazing point stored in step S2215.
- an erasure timer is set according to the attribute 525 of the secondary information (step S2217).
- the deletion timer is a time until the secondary information displayed on the HMD 300 is deleted.
- the secondary information attribute 525 is text
- the secondary information is deleted after 60 seconds
- the secondary information attribute 525 is a button. Is set to erase after 0 seconds (ie immediately).
- the button is immediately deleted, but the text is continuously displayed for a certain period of time. If the calculation of the primary information internal gaze point fails at the very beginning of the secondary information selection flow, there is no stored primary information internal gaze point, so the erasure timer is not set. In this way, the display method of whether the secondary information is to be continuously displayed or immediately erased when it is determined that the position information of the gaze point of the wearer is in the primary information and when it is determined not to be in the primary information. change. In other words, the display layout or the display menu may be changed.
- FIG. 9 is a flowchart showing a process of calculating the gaze point in the primary information using the gaze point calculation unit 250, which is executed in step S2213 described above.
- the gaze point calculation unit 250 first detects the markers 284 given to the four corners of the primary information (step S2501). Next, it is determined whether the marker has been detected (step S2502). If the marker cannot be detected, the calculation is terminated as being unsuccessful. If the marker is detected, the coordinates of the gazing point in the primary information are calculated by projective transformation described later (step S2503), and the process ends.
- FIG. 10 is a diagram for explaining the outline of the projective transformation executed in step S2503 described above. Through the calculation described below, the coordinates of the gazing point in the coordinate system 251 in the camera image can be converted into the coordinates in the coordinate system 252 in the primary information.
- the coordinate system 251 in the camera image is a plane in which the upper left is (0, 0) and the lower right is (100, 100).
- the coordinate system 252 in the primary information is a plane in which the upper left is (0, 0) and the lower right is (1920, 1080).
- the primary information area 253 in the camera image specified by the four corner markers detected in step S2501 is converted into an area in the coordinate system in the primary information.
- a general projective conversion formula 254 is used.
- (x, y) are coordinates before conversion (the coordinate system 251 in the camera image)
- (u, v) are coordinates after conversion (the coordinate system 252 in the primary information).
- the projection transformation formula 254 has eight unknowns (a1, b1, c1, a2, b2, c2, a0, b0). Therefore, an unknown can be derived by substituting four points whose corresponding coordinates are known in both coordinate systems to obtain eight equations.
- the coordinate correspondence table 255 shows the correspondence between the coordinates (x, y) of the four markers detected in step S2501 in FIG. 9 and the coordinates (u, v) after conversion.
- Upper left coordinates (10, 20) are (0, 0)
- upper right coordinates (70, 18) are (1920, 0)
- lower left coordinates (12, 80) are (0, 1080)
- lower right coordinates Coordinates (65, 82) correspond to (1920, 1080), respectively.
- the gaze point coordinate conversion result 257 indicates that (60, 28) is converted to (1635, 148) when calculated by the projective conversion formula 254 using the unknown calculation result 256 (note that , Where the result is rounded to an integer).
- the gazing point in the coordinate system in the camera image is converted into the coordinate in the coordinate system in the primary information.
- the hatched markers are displayed at the four corners of the primary information and the primary information area is detected by recognizing the images.
- various other techniques can be used as such a marker. For example, a pattern other than a diagonal line may be used, or instead of displaying a marker in the first place, a method of embedding a physical device for area detection on the screen 930 side may be used. Further, an invisible marker using an infrared camera or the like may be used instead of a visible pattern that is visible to humans.
- FIG. 10 an example in which the projective transformation is performed using the coordinates of the four corners of the primary information area is described, but the projective transformation method is not limited to this.
- FIG. 11 is a conceptual diagram showing another method of projective transformation.
- the markers at the four corners may not enter the camera image as in the camera image 541 shown in FIG.
- the coordinate system 258 in the camera image and the coordinate system 259 in the primary information do not use the correspondence of the coordinates of the four corners of the primary information area, but based on the coordinates of the four corners of one marker.
- the gaze point coordinate transformation can be performed.
- image recognition is performed on both the camera image and primary information, and four characteristic points (feature points) are dynamically extracted.
- the unknown of the projective transformation can be derived on the basis of these four points.
- Such a technique is widely used, for example, in processing for recognizing a human face from various angles.
- FIG. 12 is a flowchart showing processing for erasing secondary information that is started when the erasure timer set in step S2217 of FIG. 8 reaches a predetermined time.
- the control unit 220 erases the secondary information displayed on the HMD (step S2221).
- the value of the deletion timer according to the attribute of the secondary information, when the student 920 is viewed from the screen 930, the button is immediately deleted, but the text (supplemental information) ) Can continue to be displayed.
- the operation shown in FIG. 1 is possible. That is, the scene when the teacher 910 views the direction of the screen 930 via the HMD 300 is initially the screen 351 in FIG. Next, when attention is paid to the vicinity of Greenland on the world map, the screen up to step S2216 in FIG. Next, when viewing the direction of the student 920, the screen (353) of FIG. 1 is displayed and the text (supplemental information) continues to be displayed until the time of the erasure timer set in step S2217 of FIG. When the time of the erase timer last set for the text has elapsed, the screen 354 of FIG. 1 is displayed.
- the transmittance of the secondary information displayed on the HMD may be changed according to the attribute 525 of the secondary information.
- the supplemental information is displayed with a transmittance of 0%, that is, non-transparent, but the teacher 910 is in the direction of the student 920.
- the supplemental information may be displayed with a transmittance of 50%, that is, semi-transparent. Accordingly, it is possible to avoid the situation where the student 920 cannot be seen by displaying the supplementary information.
- FIG. 13 is a diagram for explaining the outline of the operation for displaying the secondary information by voice in this embodiment.
- the teacher 910 is looking at the direction of the student 920, the student 920 asks “how many people live”, and the teacher 910 says “the population is... ”Is shown.
- the sight seen by the teacher 910 via the HMD 300 is initially visible only to the students as shown on the screen 355, and then speaks “Population is ...”, then supplemental information (in the example, the country name) , Population, population density).
- the utterance may be displayed in response to the voice from the student.
- FIG. 14 shows the selection of secondary information executed when the speech of the teacher 910 is acquired by the voice acquisition unit of the HMD 300 and the control unit 220 of the display device 200 receives the voice data 560 in this embodiment. It is a flowchart of the process to perform.
- the control unit 220 first refers to the primary information database 510 and determines whether there is primary information whose display flag is set to 1 (step S ⁇ b> 2311).
- voice recognition processing is executed on the received voice data 560 (step S2313).
- the voice recognition process is not limited to a method executed inside the display device 200, and may be executed by communicating with a server that performs voice recognition via the Internet or the like.
- the voice recognition processing may be triggered constantly at a predetermined cycle, or may be performed when a predetermined button is pressed.
- it is determined whether or not the conversion process from the voice data 560 to the text by the voice recognition is successful (step S2314). This determination may be made simply based on whether speech recognition can be performed or based on the reliability of the conversion result output by a general speech recognition technique. Further, by identifying a speaker by using a technique such as voiceprint analysis together, the utterance of the student 920 may be ignored, and only the utterance of the teacher 910 may be determined as successful.
- the secondary information database 520 is referred to, and the secondary information related to the primary information currently displayed is stored in the primary information stored in step S2215 of FIG.
- Secondary information in which the gazing point exists within the range of the gazing point range 522 in the secondary information database and the converted text includes the words shown in the keyword 523 of the secondary information database 520 is displayed ( Step S2315).
- the secondary information in the fifth row in which “population” is set as the keyword is displayed.
- secondary information is displayed immediately when a specific keyword is included in the utterance content, but instead of displaying the voice immediately after recognizing the voice, a button displaying the recognized keyword is displayed in the HMD. It is good also as what displays secondary information by selecting it and selecting the button. Even if the utterance content does not completely match the keyword, the secondary information may be displayed when the utterance content is similar to the keyword by determining the similarity of the character strings.
- the operation shown in FIG. 13 becomes possible. That is, the scene when the teacher 910 views the direction of the student 920 via the HMD 300 is initially a screen 355 of FIG. Next, when the teacher 910 speaks “Population is ...”, the screen up to step S2315 in FIG.
- the present embodiment calculates the position information of the wearer's point of interest with respect to the primary information from the camera image acquired from the HMD and the point of interest of the wearer of the HMD with respect to the camera image, and relates to this position information.
- the secondary information is selected and displayed, and the display method of the secondary information displayed on the HMD is changed depending on whether the wearer of the HMD is viewing the primary information or not viewing the primary information.
- the teacher can obtain supplementary information of the educational content projected on the screen while teaching the student in a natural manner.
- the present embodiment is a system including a display device and a head-mounted display
- the display device includes a first display unit that can display an image or a projection unit that can project an image, and a head-mounted display.
- a head-mounted display that detects an image that can be viewed by a wearer of the head-mounted display, and detects a line-of-sight direction of the wearer of the head-mounted display.
- a first display unit of the display device based on information transmitted / received via the first communication unit and the second communication unit.
- a gazing point detection unit that detects the position of the gazing point of the line of sight of the wearer of the head mounted display with respect to the image displayed on the screen or the image projected by the projection unit
- the gaze point detection unit calculates the position information in the image corresponding to the position of the gaze point when the gaze point is on the image, and the head mount display
- the related data related to the target data displayed at the calculated position is obtained through communication with the display device or other communication, and is displayed on the second display unit.
- a head mounted display cooperation display system including a display device and a head mounted display, and the display device outputs a first display unit that displays primary information, a projection unit that projects primary information, or a signal that outputs an image signal.
- a second display unit that displays secondary information that can be viewed, a second communication unit that can communicate with the display device, an imaging unit that captures a camera image in a direction in which the wearer is facing, and a camera image
- a camera image gazing point detection unit that detects a gazing point of the wearer is provided, and the display device transmits and receives via the first communication unit and the second communication unit. Based on the detected gazing point, the gazing point calculation unit calculates the position information of the wearer's gazing point for the primary information, selects secondary information related to the position information, and determines that the position information is in the primary information. The display method of the secondary information on the second display unit is changed between the case and the case where it is determined that there is no case.
- supplementary information (secondary information) related to broadcast contents (primary information) displayed on a TV is displayed on an HMD worn by a TV viewer in a general home or the like.
- secondary information related to broadcast contents displayed on a TV
- FIG. 15 is a diagram for explaining the outline of the operation of the HMD cooperative display system in this embodiment.
- the display device 400 displays the contents of TV broadcast on the screen.
- the screen shown in FIG. 15 shows a state in which a program that provides information on four products, product A, product B, product C, and product D, is broadcast as the contents of the TV broadcast.
- the viewer 911 is browsing the displayed screen via the HMD 300.
- the sight seen by the viewer 911 via the HMD 300 is as follows. First, as shown on a screen 357, a TV screen and a button for operating the TV (for example, a button “volume +” for adjusting the volume of the TV) Only “volume” is visible.
- supplementary information in the example, a store selling the product A, a price, a telephone number
- the buttons for operating the TV are deleted, while supplementary information continues to be displayed even when the TV screen is not being viewed.
- supplementary information can be confirmed when, for example, the user leaves the TV to make a call to the store displayed in the supplemental information.
- FIG. 16 is a diagram for explaining the overall image of the HMD cooperative display system in this embodiment.
- this system includes a broadcasting facility 940 that transmits a broadcast signal via a transmission antenna 950, a display device 400 that receives and displays the broadcast signal, and an HMD 300.
- the display device 400 can receive communication data via a communication network 960 such as the Internet in addition to a normal broadcast signal.
- a communication network 960 such as the Internet
- a communication network 960 such as the Internet
- Hybridcast registered trademark
- a secondary information database related to TV broadcast (primary information) received by a broadcast signal is acquired by communication via the Internet.
- FIG. 17 is an overall configuration diagram of the HMD cooperative display system in the present embodiment.
- the display device 400 according to the present embodiment is obtained by adding several modules included in a device such as a TV that can view both broadcast signals and communication data to the display device 200 described in the first embodiment.
- the display device 400 includes a tuner unit 420 that receives a broadcast signal, a separation unit 430 that separates and outputs the received broadcast signal into various signals such as video, audio, and data, and a display that performs processing such as demodulation of the received video signal. It includes a control unit 440, a display unit 450 that displays video, an audio control unit 460 that performs processing such as demodulation of received audio signals, and a speaker 470 that outputs audio.
- the display device 400 includes an IP (Internet Protocol) communication unit 410 that receives communication data via a communication network such as the Internet, program identification information 580 that stores a channel number currently being viewed, and a secondary In the primary information based on the information acquired from the recording unit 210 that stores the information database 590, the control unit 220 that performs various processes such as output of primary information and secondary information, the communication unit 240 that communicates with the HMD 300, and the HMD 300
- a gazing point calculation unit 250 that calculates the coordinates of the gazing point and a voice recognition unit 260 that recognizes the voice of the HMD wearer and the like are included.
- the gazing point calculation unit 250 and the speech recognition unit 260 may be configured as dedicated hardware, or may be configured as software modules executed by the control unit 220.
- the configuration of the HMD 300 is the same as that of the first embodiment.
- FIG. 18 is a diagram for explaining the configuration of the secondary information database 590 in the present embodiment.
- the secondary information database 590 includes program identification information 591, a time zone 592 indicating a period in which the secondary information is valid, a gazing point range 593 for selecting secondary information based on the gazing point of the HMD wearer, It consists of secondary information 594 and secondary information attributes 595.
- the coordinate system of the primary information is defined as (0, 0) in the upper left and (1920, 1080) in the lower right, and the first line of the secondary information database.
- the gazing point range (300, 50) to (900, 450) is a rectangular range including the image of the product A, and the gazing point range (1000, 50) to (1600, 450) in the second row includes the image of the product B. It is a coordinate indicating the range of the rectangle.
- FIG. 19 shows the camera image 540 and the camera image internal gazing point 550 acquired by the imaging unit 310 and the camera image internal gazing point detection unit 320 of the HMD 300 when the viewer 911 views the direction of the display device 400 via the HMD 300. Is shown.
- the viewer 911 is viewing the primary information from a slightly right position toward the display device 400, and shows a state in which the product A is being watched.
- FIG. 20 is a flowchart of processing for selecting secondary information, which is executed by the control unit 220 of the display device 400 when the camera image 540 and the in-camera image gazing point 550 are received from the HMD 300 in the present embodiment.
- the control unit 220 first determines whether or not the program identification information 580 is recorded in the recording unit 210 (step S2411). Since channel 1 is currently being viewed, program identification information 580 exists, and channel 1 is described as the program being viewed. Next, it is determined whether or not the in-camera gazing point 550 is the same for a certain period of time, that is, whether or not the gazing point of the viewer 911 stays at a specific place (step S2412). Next, a gaze point in primary information is calculated using the gaze point calculation unit 250 (step S2413). Details of this processing are the same as the contents described with reference to FIGS. 9 to 11 of the first embodiment.
- step S2414 it is determined whether or not the calculation of the primary information internal gazing point has succeeded.
- the primary information internal gaze point calculated in step S2413 is stored.
- Step S2415 Next, referring to the secondary information database 590, among the secondary information related to the currently viewed program, the stored primary information internal gazing point exists within the range of the gazing point range 593 in the secondary information database. Secondary information whose current time is within the time zone 592 of the secondary information database is displayed (step S2416).
- step S2414 the secondary information corresponding to the primary information internal gaze point stored in step S2415 (that is, the currently displayed secondary information) is obtained. Then, an erasure timer is set according to the attribute 595 of the secondary information (step S2417). For example, when the secondary information attribute 595 is a text, it is deleted after 60 seconds, and when the secondary information attribute 595 is a button, it is set so that it is deleted after 0 seconds (that is, immediately). As a result, when the viewer 911 keeps an eye on the display device 400, the button is immediately deleted, but the text is continuously displayed for a certain period of time. The subsequent processing is the same as in the first embodiment.
- the operation shown in FIG. 15 becomes possible. That is, the scene that the viewer 911 sees via the HMD 300 is initially a screen 357 in FIG. Next, if the product A is watched, the process up to step S2416 in FIG. 20 will result in a screen 358 in FIG. Next, when the user moves away from the display device 400 and moves to another place, the screen 359 shown in FIG. 15 is displayed.
- the present embodiment is a display device connected to a head-mounted display, and includes a display unit that displays primary information, a projection unit that projects primary information, a signal output unit that outputs primary information, a head-mounted display, A communicable communication unit and a gaze point calculation unit that calculates position information of the gaze point of the head-mounted display wearer with respect to the primary information, and the primary information with respect to the primary information by a predetermined procedure based on the information received via the communication unit Calculates the position information of the wearer's gazing point, selects secondary information related to the position information, and determines that the position information is in the primary information direction, and determines that the position information is not in the primary information direction In such a case, the secondary information displayed on the head mounted display is changed.
- the present invention is not limited to the above-described embodiments, and includes various modifications.
- the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described. It is also possible to add the configuration of another embodiment to the configuration of one embodiment. Further, it is possible to add, delete, and replace other configurations for a part of each embodiment.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Business, Economics & Management (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
装着者が移動する場合や主たる表示装置から目を離す場合でも、主たる表示装置に表示される一次情報の二次情報をヘッドマウントディスプレイに適切に表示することを目的とする。 上記目的を達成するために、ヘッドマウントディスプレイから取得するカメラ画像と、カメラ画像に対するヘッドマウントディスプレイの装着者の注視点とから、一次情報に対する装着者の注視点の位置情報を算出して、この位置情報に関連する二次情報を選択して表示するとともに、装着者が一次情報を見ている場合と、一次情報を見ていない場合とで、表示する二次情報の表示方法を変更する。
Description
本発明は、ヘッドマウントディスプレイを利用した表示システム及び表示装置に関するものである。
主たる表示装置に表示された第一の情報(以降、一次情報と称する)に関連する第二の情報(以降、二次情報と称する)を、頭部装着型の表示装置(ヘッドマウントディスプレイ、Head Mounted Display、以降HMD)に表示する技術が考案されている。
本技術分野の背景技術として、特開2001-215920号公報(特許文献1)がある。特許文献1では、HMDの装着者が主たる表示装置の画面に表示された一次情報を閲覧する際、HMDによって検出した装着者の頭部の方向や視線方向に応じて、当該方向に存在する一次情報に関連する二次情報をHMDに表示する技術について述べている。この技術により、主たる表示装置に表示する情報(一次情報)が削減されて装置の大型化を回避できるとともに、装着者は頭部あるいは視線を動かすだけで必要な情報(二次情報)を確認できるため、装置の操作性を向上することができる。
また、特開2010-237522号公報(特許文献2)がある。特許文献2では、HMDの装着者が大型スクリーンに投射された一次情報を閲覧する際、装着者の座席とスクリーンの位置関係に基づいて一次情報に隣接する適切な位置に二次情報を表示する技術について述べている。この技術により、映画(一次情報)の視聴時等においてHMDの装着者のみが見えるように母国語による字幕(二次情報)を表示する等を実現できる。
特許文献1は、HMDによって検出した装着者の注視点に存在する情報の二次情報を表示する旨を記載している。しかしながら、HMDが検出する注視点は、装着者の視界での位置を示すものである。すなわち、この視界は、主たる表示装置が表示する一次情報の他に周囲の風景も含み、また、装着者が主たる表示装置の正面にいるとは限らないため、装着者の立ち位置に応じて一次情報は異なった形状になる。そのため、装着者が一次情報の内部のどこを注視しているかを知るためには、HMDによって検出した注視点を何らかの手段によって一次情報内の座標に変換する必要があるが、特許文献1ではその手段について何ら開示されていない。
また、特許文献2は、装着者の座席とスクリーンの位置関係をもとに座標変換を行い、HMDでの二次情報の表示位置を計算するものであるが、装着者が座席を離れ別の位置から一次情報を閲覧する場合には対応できない。
また、特許文献1および2のいずれも、一次情報を閲覧中にのみ二次情報を表示するものであるため、装着者が一次情報から目を離すと二次情報を閲覧することができない。
本発明は上記課題に鑑みてなされたものであり、HMDの装着者が移動する場合や主たる表示装置から目を離す場合でも、主たる表示装置に表示される一次情報の二次情報をHMDに適切に表示する手段を開示するものである。
上記課題を解決するため、本発明は、その一例を挙げるならば、表示装置とヘッドマウントディスプレイとを含むシステムであって、表示装置は、画像を表示可能な第1の表示部または画像を投射可能な投射部を備え、ヘッドマウントディスプレイと通信可能な第1の通信部を備え、ヘッドマウントディスプレイは、ヘッドマウントディスプレイの装着者が観賞可能な画像を表示する第2の表示部と、ヘッドマウントディスプレイの装着者の視線方向を検出する視線検出部とを備え、表示装置と通信可能な第2の通信部を備え、第1の通信部および第2の通信部を介して送受信した情報にもとづいて、表示装置の第1の表示部に表示された画像または投射部により投射された画像に対するヘッドマウントディスプレイの装着者の視線の注視点の位置を検出する注視点検出部を、表示装置またはヘッドマウントディスプレイのいずれかに備え、注視点検出部は、注視点が画像上にある場合に注視点の位置に対応する画像内の位置情報を算出し、ヘッドマウントディスプレイは、画像において算出された位置に表示されている対象データに関する関連データを、表示装置との通信またはその他の通信を介して取得し、第2の表示部に表示するように構成する。
本発明によれば、HMDの装着者の位置や視線の方向に関わらず適切な二次情報を選択し表示できるため、HMDの装着者の行動の自由度を高め、より自然な態様で二次情報を閲覧できるという効果がある。
以下、図面を用いて本発明の実施例について説明する。
本実施例は、教育現場において、プロジェクタでスクリーンに投影した教育用コンテンツ(一次情報)に関連する補足情報(二次情報)を、教師が装着したHMDに表示する例について説明する。本実施例により、教師は生徒に対して自然な態様で授業を行いつつ、教育用コンテンツに関連した補足情報を閲覧することが可能となる。
図1は、本実施例におけるHMD連携型表示システムの動作の概要を説明する図である。図1において、投射装置100は、教育用コンテンツ(例では世界地図)をスクリーン930に投射している。教師910は、HMD300を介して投射されたコンテンツと生徒920を交互に見つつ授業を行っている。この時、HMD300を介して教師910が見る光景は、最初は画面351に示すように、教育用コンテンツ(世界地図)と、コンテンツの表示を操作するためのボタン(例では「前」「次」)のみである。次に教師910が世界地図上のグリーンランド付近を注視すると、画面352に示すように、補足情報(例では国名、主都、公用語)が表示される。次に教師910が生徒920の方向を見ると、画面353に示すように、コンテンツの表示を操作するボタンは消去される一方、世界地図を見ていなくても補足情報は表示され続ける。その後、一定時間が経過すると、画面354に示すように、補足情報も消去される。このような動作により、例えば補足情報を得るために逐一教育用コンテンツの方向を見直して該当箇所を注視するといった不自然な動作を行わずに授業を行うことができる。
図2は、本実施例におけるHMD連携型表示システムの全体構成図である。図2において、本システムは、投射装置100、表示装置200、およびHMD300から構成される。投射装置100と表示装置200、および表示装置200とHMD300は、通信により接続されている。
投射装置100は、表示する一次情報を入力するための信号入力部110、表示を制御する制御部120、およびスクリーンに一次情報を投射する表示部130から構成される。
表示装置200は、一次情報データベース510および二次情報データベース520を格納する記録部210、一次情報や二次情報の出力等の各種処理を行う制御部220、投射装置100に一次情報を出力する信号出力部230、HMD300と通信を行う通信部240、HMD300から取得した情報をもとに、一次情報内における注視点の位置を検出する注視点検出部であり、注視点の位置情報である座標を計算し算出する注視点計算部250、HMD装着者等の音声を認識する音声認識部260、表示装置200の操作を行うための操作部270、および表示部280から構成される。なお、注視点計算部250、および音声認識部260は、専用のハードウェアとして実現する構成としても良いし、制御部220が実行するソフトウェアモジュールとして実現する構成としても良い。また、注視点計算部250は、HMD300に設けても良い。
HMD300は、装着者が見ている方向の風景を撮像する撮像部310、撮像したカメラ画像内における、装着者の視線方向を検出する視線検出部である、注視点を検出するカメラ画像内注視点検出部320、HMD装着者等の音声を取得する音声取得部330、取得したカメラ画像540やカメラ画像内注視点550や音声データ560を表示装置200に送信する等の各種制御処理を行う制御部340、表示装置200と通信を行う通信部350、および表示装置から取得した二次情報570を装着者が閲覧または観賞可能な画像として表示する表示部360から構成される。
なお、本実施例においては、投射装置100はプロジェクタに相当し、表示装置200はプロジェクタに接続するPC(Personal Computer)に相当するが、プロジェクタを用いた形態に限るものではなく、投射装置100が一般的なディスプレイ装置である場合や、投射装置100と表示装置200を一体化した専用の装置を用いる場合にも応用可能である。また、HMD300は、頭部に装着して主に表示を行う装置と、腰などに装着して主にHMDのコントロールを行う装置に分かれた構成としても良い。
図3は、本実施例における一次情報データベース510の構造図である。図3において、一次情報データベース510は、一次情報識別子511、一次情報の名称512、一次情報を格納しているファイルの名称513、および一次情報が表示中か否かを示す表示中フラグ514から構成される。なお、表示中フラグ514は、表示中は‘1’、非表示の場合は‘0’として以降説明する。
図4の上図は、本実施例における二次情報データベース520の構造図である。図4上図において、二次情報データベース520は、関連する一次情報を識別する一次情報識別子521、HMD装着者の注視点に基づき二次情報を選択するための注視点範囲522、音声に基づき二次情報を選択するためのキーワード523、二次情報524、および二次情報の属性525から構成される。なお、図4下に例示した地図が示すとおり、本実施例において一次情報の座標系は左上が(0、0)、右下が(1920、1080)で定義され、図4上図の二次情報データベースの1行目の注視点範囲(1680、70)~(1880、250)はグリーンランド付近、2行目の注視点範囲(700、720)~(1000,870)はオーストラリア付近を示す座標を意味している。二次情報データベースの3行目、および4行目での注視点範囲(0、0)~(1920、1080)は、注視点が一次情報の範囲内にあれば常に二次情報(例では「前」ボタンおよび「次」ボタン)を表示することを意味している。
以上が、本実施例のHMD連携型表示システムの構成である。以下、本システムの動作の流れに沿って本実施例を説明する。
図5は、本実施例における表示装置の表示部280に表示される、スクリーン930に投射する教育用コンテンツ(一次情報)の選択操作を説明する図である。図5において、画面281は教育用コンテンツの選択画面であり、世界地図を表示するためのアイコン282を含む、複数のアイコンを表示している。ここでアイコン282を選択すると、図5下に示すように、世界地図283が表示される。なお、世界地図283において、四隅に、斜線で示したマーカー284が表示されている。これは、一次情報の表示領域を特定するための識別情報であり、詳細は後述する。
図6は、本実施例における、一次情報の選択時における制御部220の処理のフローチャートである。図6において、制御部220は、一次情報データベース510から一次情報の一覧を読み込み、各コンテンツを意味するアイコンからなる選択画面281に表示する(ステップS2201)。次に、ステップS2202で、ユーザがコンテンツを選択するまで待つ。次に、ユーザが選択した一次情報に対応するファイル513を読み込み、信号出力部230および投射装置100を介してスクリーン930に投射する(ステップS2203)。最後に、選択した一次情報の表示中フラグ514を1にセットし、終了する(ステップS2204)。
図7は、図6のステップS2203において教育用コンテンツが投射されたスクリーン930を、教師910がHMD300を介して閲覧した際に、HMD300の撮像部310およびカメラ画像内注視点検出部320が取得するカメラ画像540およびカメラ画像内注視点550を示したものである。図は、教師910がスクリーン930に向かって少し右側の位置から一次情報を閲覧しており、グリーンランド付近を注視している様子を示している。
図8は、本実施例における、図7に示したカメラ画像540およびカメラ画像内注視点550をHMD300から受信した際に表示装置200の制御部220において実行される、二次情報を選択する処理のフローチャートである。図8において、制御部220は、まず、一次情報データベース510を参照し、表示中フラグが1にセットされている一次情報があるかを判断する(ステップS2211)。なお、図5で示した操作により、一次情報データベース510の1行目(世界地図)の表示中フラグが1にセットされている。次に、カメラ画像内注視点550が一定時間同一であったか否か、すなわち、教師910の注視点がある特定の場所に滞留しているか否かを判断する(ステップS2212)。この判断は、例えば、前回受信したカメラ画像内注視点との距離差が所定の閾値未満である状態が一定時間続いたか否かを判定する等の処理によって実現できる。次に、注視点計算部250を用いて一次情報内注視点を計算する(ステップS2213)。この処理の詳細は後述する。
次に、一次情報内注視点の計算に成功したか否かを判定する(ステップS2214)。一次情報内注視点の計算に成功した場合、すなわち、教師910の注視点が一次情報の方向(すなわち、スクリーン930の方向)にある場合、ステップS2213で計算した一次情報内注視点を記憶する(ステップS2215)。次に、二次情報データベース520を参照し、表示中の一次情報に関係する二次情報のうち、ステップS2213で記憶した一次情報内注視点が、二次情報データベース520の注視点範囲522の範囲内に存在する二次情報を表示する(ステップS2216)。一方、ステップS2214において一次情報内注視点の計算に失敗した場合、すなわち、1次情報のマーカー範囲外を注視している場合は、ステップS2215において記憶した一次情報内注視点に対応する二次情報(すなわち、現在表示している二次情報)に対して、二次情報の属性525に応じて消去タイマーをセットする(ステップS2217)。消去タイマーとは、HMD300に表示した二次情報を消去するまでの時間であり、例えば、二次情報の属性525がテキストの場合は60秒後に消去し、二次情報の属性525がボタンの場合は0秒後(すなわちすぐに)消去するようにセットする。これによって、教師910が生徒920の方向を見た場合、ボタンは即座に消去されるが、テキストは一定時間表示され続ける、といった動作になる。なお、本二次情報選択フローの1番最初に一次情報内注視点の計算に失敗した場合は、記憶している一次情報内注視点はないので、消去タイマーをセットしない。このように、装着者の注視点の位置情報が一次情報にあると判断した場合と、一次情報にないと判断した場合とで、二次情報を継続表示するか即消去するかといった表示方法を変更する。言い換えれば、表示レイアウトまたは表示メニューを変更するようにしても良い。
図9は、前述したステップS2213で実行される、注視点計算部250を用いて一次情報内注視点を計算する処理を示したフローチャートである。注視点計算部250は、まず、一次情報の四隅に付与されたマーカー284を検出する(ステップS2501)。次に、マーカーを検出できたか判定する(ステップS2502)。マーカーを検出できなかった場合は計算に失敗したとして終了し、検出できた場合は、後述する射影変換により一次情報内での注視点の座標を算出し(ステップS2503)、終了する。
図10は、前述のステップS2503で実行される、射影変換の概要を説明する図である。以降で説明する計算により、カメラ画像での座標系251における注視点の座標が、一次情報内での座標系252における座標に変換することができる。
図10において、カメラ画像での座標系251を、左上が(0、0)、右下が(100、100)となる平面とする。一方、一次情報内での座標系252を、左上が(0、0)、右下が(1920、1080)となる平面とする。ここで、ステップS2501で検出した4隅のマーカーによって特定されるカメラ画像内での一次情報の領域253を、一次情報内での座標系での領域に変換する。この変換の計算式としては様々なものがあるが、本実施例では、一般的な射影変換の式254を使用する。ここで、(x、y)は変換前(カメラ画像での座標系251)の座標、(u、v)は変換後(一次情報内での座標系252)の座標である。射影変換の式254は、未知数が8つ(a1、b1、c1、a2、b2、c2、a0、b0)存在する。よって、双方の座標系において対応する座標がわかっている4つの点を代入して8つの式を得ることにより、未知数を導出することができる。座標の対応表255は、図9のステップS2501で検出した4つのマーカーの座標(x、y)と、変換後の座標(u、v)の対応を示したものである。左上の座標(10、20)は(0、0)に、右上の座標(70、18)は(1920、0)に、左下の座標(12、80)は(0、1080)に、右下の座標(65、82)は(1920、1080)に、それぞれ対応する。これらの値を射影変換の式254に代入すると8つの式からなる連立方程式が得られ、これを解くことにより、未知数の計算結果256が得られる。注視点の座標変換結果257は、未知数の計算結果256を用いて射影変換の式254により計算を行うと、(60、28)は(1635、148)に変換されることを示している(なお、ここで計算結果は整数で丸めている)。以上の計算により、カメラ画像での座標系における注視点は、一次情報内での座標系における座標に変換される。
なお、本実施例では、図5、図7に記載した例のように斜線模様のマーカーを一次情報の四隅に表示し、これを画像認識することにより一次情報の領域を検出することを想定して記載しているが、このようなマーカーとしては、他にも様々な技術を利用可能である。例えば、斜線以外の模様を用いるとしても良いし、そもそもマーカーを表示するのではなく、スクリーン930側に領域検出用の物理的なデバイスを埋め込む方式を用いるとしても良い。また、人間に見える可視の模様ではなく、赤外線カメラ等を用いた不可視のマーカーを用いることとしても良い。
また、図10では、一次情報の領域の4隅の座標を用いて射影変換を行う例について記載したが、射影変換の方式はこれに限るものではない。例えば、図11は、射影変換の別の方法を示す概念図である。HMD装着者が一次情報を閲覧する際、スクリーン930に近接する位置に立つと、図11に示したカメラ画像541のように、4隅のマーカーがカメラ画像に入らない場合がある。このような場合、カメラ画像での座標系258と一次情報内での座標系259において一次情報の領域の4隅の座標の対応を用いるのではなく、1つのマーカーでの四隅の座標をもとに射影変換の式254の未知数を求めることにより、注視点の座標変換を行うことができる。他にも、あらかじめ定めた4点の座標を用いるのではなく、カメラ画像と一次情報の双方に対して画像認識を行い、特徴のある点(特徴点)を動的に4つ抽出した上で、この4点をもとに射影変換の未知数を導出することもできる。このような手法は、例えば人間の顔を様々な角度から認識する場合の処理などで広く利用されている。
最後に、図12は、図8のステップS2217においてセットした消去タイマーが所定の時刻に達した場合に起動される、二次情報を消去する処理を示したフローチャートである。図12において、消去タイマーが所定の時刻に達した場合、制御部220は、HMDに表示している二次情報を消去する(ステップS2221)。前述したように二次情報の属性に応じて消去タイマーの値を変更することにより、スクリーン930から目を離して生徒920を見た場合に、ボタンはすぐに消去されるが、テキスト(補足情報)は表示され続ける、といった動作が可能である。
以上説明した内容により、図1に示した動作が可能となる。すなわち、HMD300を介して教師910がスクリーン930の方向を見た際の光景は、最初は図1の画面351である。次に、世界地図上のグリーンランド付近を注視すると、図8のステップS2216までの処理により、図1の画面352になる。次に生徒920の方向を見た場合、図8のステップS2217でセットした消去タイマーの時間が経過するまでは図1の画面353になりテキスト(補足情報)が表示され続ける。最後にテキストに設定した消去タイマーの時間が経過すると、図1の画面354になる。
なお、図8のステップS2217において、消去タイマーをセットすることに加えて、二次情報の属性525に応じてHMDに表示する二次情報の透過率を変更するとしても良い。例えば、教師910がスクリーン930の方向を見ている場合は、図1の画面352に示すように、補足情報の透過率は0%、すなわち非透過で表示するが、教師910が生徒920の方向を見ている場合は、図1の画面353に例示するように、補足情報の透過率を50%、すなわち半透明にして表示するとしても良い。これによって、補足情報を表示することによって生徒920の様子が見えなくなることを回避することができる。
次に、本実施例の別の動作として、一次情報を閲覧していない場合でも音声によって二次情報を表示する動作の例を説明する。
図13は、本実施例における、音声により二次情報の表示を行う動作の概要を説明する図である。図13は、これまでに説明した動作に続いて、教師910が生徒920の方向を見ており、生徒920が「何人くらい住んでいるの」との質問を行い、教師910が「人口は…」と発話した様子を示している。この時、HMD300を介して教師910が見る光景は、最初は画面355に示すように生徒のみが見え、次に「人口は…」と発話すると、画面356に示すように補足情報(例では国名、人口、人口密度)を表示する。なお、発話は生徒からの音声に反応して補足情報を表示するようにしても良い。また、その際、発話をとらえて、キーワードを表示し、そのキーワードを注視することで補足情報を表示するようにしても良い。
図14は、本実施例における、HMD300の音声取得部によってこの教師910の発話を取得し、その音声データ560を表示装置200の制御部220が受信した際に実行される、二次情報を選択する処理のフローチャートである。図14において、図8と同様に、制御部220は、まず、一次情報データベース510を参照し、表示中フラグが1にセットされている一次情報があるかを判断する(ステップS2311)。次に、受信した音声データ560に対して音声認識処理を実行する(ステップS2313)。なお、この音声認識処理は、表示装置200内部で実行する方式に限るものではなく、インターネット等を介して音声認識を行うサーバーと通信を行い実行するとしても良い。また、音声認識処理のトリガは、所定周期で常に行うようにしても良いし、または所定のボタンが押された場合に行うようにしても良い。次に、音声認識による音声データ560からテキストへの変換処理が成功したかを判断する(ステップS2314)。なお、この判断は単純に音声認識の実行可否によって判断しても良いし、一般的な音声認識技術が出力する変換結果の信頼度をもとに判断しても良い。また、声紋分析等の技術を併用することによって発話者を識別することにより、生徒920の発話は無視し、教師910の発話のみに限って成功と判断しても良い。次に、音声からテキストへの変換に成功した場合は、二次情報データベース520を参照し、現在表示中の一次情報に関係する二次情報のうち、図8のステップS2215で記憶した一次情報内注視点が、二次情報データベース内の注視点範囲522の範囲内に存在し、かつ、変換後のテキストに二次情報データベース520のキーワード523に示した言葉が含まれる二次情報を表示する(ステップS2315)。図4に示した二次情報データベースの例では、キーワードに「人口」が設定されている5行目の二次情報が表示されることになる。
また、ここでは発話内容に特定のキーワードが含まれる場合はすぐに二次情報を表示する例を示したが、音声を認識後にすぐに表示するのではなく、認識したキーワードを表示したボタンをHMDに表示して、そのボタンを選択することにより二次情報を表示するものとしても良い。また、発話内容がキーワードと完全に一致しなくても、文字列の類似度を判定することにより、発話内容がキーワードに類似する場合には二次情報を表示するとしても良い。
以上の処理により、図13に示した動作が可能となる。すなわち、HMD300を介して教師910が生徒920の方向を見た際の光景は、最初は図1の画面355である。次に教師910が「人口は…」と発話すると、図14のステップS2315までの処理により、図1の画面356になる。
以上、本実施例は、HMDから取得するカメラ画像と、カメラ画像に対するHMDの装着者の注視点とから、一次情報に対する装着者の注視点の位置情報を算出して、この位置情報に関連する二次情報を選択して表示するとともに、HMDの装着者が一次情報を見ている場合と、一次情報を見ていない場合とで、HMDに表示する二次情報の表示方法を変更する。これにより、教師は生徒に対して自然な態様で授業を行いつつ、スクリーンに投影した教育用コンテンツの補足情報を得ることが可能となる。
言い換えると、本実施例は、表示装置とヘッドマウントディスプレイとを含むシステムであって、表示装置は、画像を表示可能な第1の表示部または画像を投射可能な投射部を備え、ヘッドマウントディスプレイと通信可能な第1の通信部を備え、ヘッドマウントディスプレイは、ヘッドマウントディスプレイの装着者が観賞可能な画像を表示する第2の表示部と、ヘッドマウントディスプレイの装着者の視線方向を検出する視線検出部とを備え、表示装置と通信可能な第2の通信部を備え、第1の通信部および第2の通信部を介して送受信した情報にもとづいて、表示装置の第1の表示部に表示された画像または投射部により投射された画像に対するヘッドマウントディスプレイの装着者の視線の注視点の位置を検出する注視点検出部を、表示装置またはヘッドマウントディスプレイのいずれかに備え、注視点検出部は、注視点が画像上にある場合に注視点の位置に対応する画像内の位置情報を算出し、ヘッドマウントディスプレイは、画像において算出された位置に表示されている対象データに関する関連データを、表示装置との通信またはその他の通信を介して取得し、第2の表示部に表示するように構成する。
また、表示装置とヘッドマウントディスプレイとを含むヘッドマウントディスプレイ連携表示システムであって、表示装置は、一次情報を表示する第1の表示部または一次情報を投射する投射部または画像信号を出力する信号出力部と、ヘッドマウントディスプレイと通信可能な第1の通信部と、一次情報に対するヘッドマウントディスプレイの装着者の注視点の位置情報を算出する注視点計算部を備え、ヘッドマウントディスプレイは、装着者が閲覧可能な二次情報を表示する第2の表示部と、表示装置と通信可能な第2の通信部と、装着者が向いている方向のカメラ画像を撮像する撮像部と、カメラ画像に対する装着者の注視点を検出するカメラ画像内注視点検出部を備え、表示装置は、第1の通信部および第2の通信部を介して送受信した検出した注視点にもとづいて注視点計算部により一次情報に対する装着者の注視点の位置情報を算出し、位置情報に関連する二次情報を選択し、位置情報が一次情報にあると判断した場合と、ないと判断した場合とで、第2の表示部における二次情報の表示方法を変更するように構成する。
これにより、HMDの装着者の位置や視線の方向に関わらず適切な二次情報を選択し表示できるため、HMDの装着者の行動の自由度を高め、より自然な態様で二次情報を閲覧できるという効果がある。
本実施例は、一般の家庭等において、TVに表示された放送内容(一次情報)に関連する補足情報(二次情報)を、TVの視聴者が装着したHMDに表示する例について説明する。本実施例により、TV視聴時に、放送内容だけでは得られない補足情報を得ることが可能となるとともに、TVから目を離しても二次情報を閲覧することが可能となる。
図15は、本実施例における、HMD連携型表示システムの動作の概要を説明する図である。図15において、表示装置400は、TV放送の内容を画面に表示している。なお、図15で示した画面は、TV放送の内容として商品A、商品B、商品C、商品Dの4つの商品の情報を提供する番組を放送している様子を示している。視聴者911は、この表示された画面を、HMD300を介して閲覧している。この時にHMD300を介して視聴者911が見る光景は、最初は画面357に示すように、TV画面と、TVを操作するためのボタン(例としてTVの音量を調節するためのボタン「音量+」「音量―」を示している)のみが見える。次に視聴者911がTV画面に表示された商品Aを注視すると、画面358に示すように、補足情報(例では商品Aを販売している店舗、価格、電話番号)が表示される。次にTV画面から目を離すと、画面359に示すように、TVを操作するためのボタンは消去される一方、TV画面を見ていなくても補足情報は表示され続ける。このように動作することで、例えば補足情報に表示された店舗に電話をかけるためTVの近くを離れる場合において、補足情報を確認することができる。
図16は、本実施例における、HMD連携型表示システムの全体像を説明する図である。図16において、本システムは、送信アンテナ950を介して放送信号を送信する放送設備940と、その放送信号を受信し表示する表示装置400、およびHMD300から構成される。表示装置400は、通常の放送信号の他、インターネット等の通信網960経由で通信データを受信することも可能である。なお、このような、放送信号と通信データの双方を受信して表示する装置としては、例えばハイブリッドキャスト(Hybridcast:登録商標)に対応したTV等が存在する。本実施例では、このような装置を用いることにより、放送信号により受信するTV放送(一次情報)に関連する二次情報データベースを、インターネット経由で通信により取得する。
図17は、本実施例における、HMD連携型表示システムの全体構成図である。図17において、本実施例の表示装置400は、実施例1で記載した表示装置200に対して、放送信号と通信データの双方を視聴可能なTV等の装置が含むいくつかのモジュールを加えたものである。表示装置400は、放送信号を受信するチューナ部420、受信した放送信号を映像、音声、データといった各種の信号に分離して出力する分離部430、受信した映像信号の復調等の処理を行う表示制御部440、映像を表示する表示部450、受信した音声信号の復調等の処理を行う音声制御部460、音声を出力するスピーカ470を含む。これらのモジュールは、放送信号を視聴するために一般的なTVで必要とされるモジュールである。これらのモジュールに加え、表示装置400は、インターネット等の通信網を介して通信データを受信するIP(Internet Protocol)通信部410、現在視聴中のチャンネル番号等を格納する番組識別情報580および二次情報データベース590を格納する記録部210、一次情報や二次情報の出力等の各種処理を行う制御部220、HMD300と通信を行う通信部240、HMD300から取得した情報をもとに一次情報内における注視点の座標を計算する注視点計算部250、HMD装着者等の音声を認識する音声認識部260を含む。なお、注視点計算部250、および音声認識部260は、専用のハードウェアとして実現する構成としても良いし、制御部220が実行するソフトウェアモジュールとして実現する構成としても良い。HMD300の構成は、実施例1と同様である。
図18は、本実施例における、二次情報データベース590の構成を説明する図である。図18において、二次情報データベース590は、番組識別情報591、二次情報が有効な期間を示す時間帯592、HMD装着者の注視点に基づき二次情報を選択するための注視点範囲593、二次情報594、および二次情報の属性595から構成される。なお、図18下の画面が示すとおり、本実施例において一次情報の座標系は左上が(0、0)、右下が(1920、1080)で定義され、二次情報データベースの1行目の注視点範囲(300、50)~(900、450)は商品Aの画像を含む矩形の範囲、2行目の注視点範囲(1000、50)~(1600、450)は商品Bの画像を含む矩形の範囲を示す座標である。
以上が、本実施例のHMD連携型表示システムの構成である。以下、本システムの動作の流れに沿って本実施例を説明する。なお、表示装置400を操作してTV放送を視聴する操作は、一般的に用いられるTVの操作方法と同様であるので割愛する。また、以降、チャンネル1を視聴している想定で説明する。
図19は、視聴者911がHMD300を介して表示装置400の方向を見た際に、HMD300の撮像部310およびカメラ画像内注視点検出部320が取得するカメラ画像540およびカメラ画像内注視点550を示したものである。図19においては、視聴者911が表示装置400に向かって少し右側の位置から一次情報を閲覧しており、商品Aを注視している様子を示している。
図20は、本実施例における、カメラ画像540およびカメラ画像内注視点550をHMD300から受信した際に表示装置400の制御部220において実行される、二次情報を選択する処理のフローチャートである。図20において、制御部220は、まず、記録部210に番組識別情報580が記録されているかを判断する(ステップS2411)。現在チャンネル1を視聴中のため、番組識別情報580は存在し、視聴中の番組としてチャンネル1が記載されている。次に、カメラ画像内注視点550が一定時間同一であったか否か、すなわち、視聴者911の注視点がある特定の場所に滞留しているか否かを判断する(ステップS2412)。次に、注視点計算部250を用いて一次情報内注視点を計算する(ステップS2413)。この処理の詳細は、実施例1の図9から図11を用いて説明した内容と同様である。
次に、一次情報内注視点の計算に成功したか否かを判定する(ステップS2414)。一次情報内注視点の計算に成功した場合、すなわち、視聴者911の注視点が一次情報の方向(すなわち、表示装置400の方向)にある場合、ステップS2413で計算した一次情報内注視点を記憶する(ステップS2415)。次に、二次情報データベース590を参照し、現在視聴中の番組に関係する二次情報のうち、記憶した一次情報内注視点が二次情報データベース内の注視点範囲593の範囲内に存在し、かつ現在時刻が二次情報データベースの時間帯592の範囲内である二次情報を表示する(ステップS2416)。
一方、ステップS2414において一次情報内注視点の計算に失敗した場合は、ステップS2415において記憶された一次情報内注視点に対応する二次情報(すなわち、現在表示している二次情報)に対して、二次情報の属性595に応じて消去タイマーをセットする(ステップS2417)。例えば、二次情報の属性595がテキストの場合は60秒後に消去し、二次情報の属性595がボタンの場合は0秒後(すなわちすぐに)消去するようにセットする。これによって、視聴者911が表示装置400から目を離した場合、ボタンは即座に消去されるが、テキストは一定時間表示され続ける、といった動作になる。 以降の処理は、実施例1と同様である。
以上の処理により、図15に示した動作が可能となる。すなわち、HMD300を介して視聴者911が見る光景は、最初は図15の画面357である。次に商品Aを注視すると、図20のステップS2416までの処理により、図15の画面358になる。次に表示装置400から目を離して別の場所へ移動した場合は、図15の画面359になる。
以上、本実施例は、ヘッドマウントディスプレイと接続された表示装置であって、一次情報を表示する表示部または一次情報を投射する投射部または一次情報を出力する信号出力部と、ヘッドマウントディスプレイと通信可能な通信部と、一次情報に対するヘッドマウントディスプレイの装着者の注視点の位置情報を算出する注視点計算部を備え、通信部を介して受信した情報にもとづいて所定の手順により一次情報に対する装着者の注視点の位置情報を算出し、位置情報に関連する二次情報を選択し、位置情報が一次情報の方向にあると判断した場合と、位置情報が一次情報の方向にないと判断した場合とで、ヘッドマウントディスプレイに表示する二次情報を変更するように構成する。
これにより、TV視聴時に放送内容だけでは得られない補足情報を得ることが可能となるとともに、TVから目を離しても二次情報を閲覧することが可能となり、視聴者の行動の自由度を高めることができる。
本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであって、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の一部について、他の構成の追加・削除・置換をすることが可能である。
100:投射装置、110:信号入力部、120:制御部(投射装置)、130:表示部(投射装置)、200:表示装置、210:記録部、220:制御部(表示装置)、230:信号出力部、240:通信部(表示装置)、250:注視点計算部、260:音声認識部、270:操作部、280:表示部(表示装置)、300:ヘッドマウントディスプレイ、310:撮像部、320:カメラ画像内注視点検出部、330:音声取得部、340:制御部(ヘッドマウントディスプレイ)、350:通信部(ヘッドマウントディスプレイ)、 360:表示部(ヘッドマウントディスプレイ)、400:表示装置、410:IP通信部、420:チューナ部、430:分離部、440:表示制御部、450:表示部(表示装置)、460:音声制御部、470:スピーカ、510:一次情報データベース、520:二次情報データベース、530:一次情報、540:カメラ画像、550:カメラ画像内注視点、560:音声データ、 570:二次情報、580:番組識別情報、590:二次情報データベース、910:教師、911:視聴者、920:生徒、930:スクリーン、940:放送設備、950:送信アンテナ、960:インターネット
Claims (11)
- 表示装置とヘッドマウントディスプレイとを含むシステムであって、
前記表示装置は、
画像を表示可能な第1の表示部または画像を投射可能な投射部を備え、
前記ヘッドマウントディスプレイと通信可能な第1の通信部を備え、
前記ヘッドマウントディスプレイは、
前記ヘッドマウントディスプレイの装着者が観賞可能な画像を表示する第2の表示部と、
前記ヘッドマウントディスプレイの装着者の視線方向を検出する視線検出部とを備え、
前記表示装置と通信可能な第2の通信部を備え、
前記第1の通信部および前記第2の通信部を介して送受信した情報にもとづいて、前記表示装置の第1の表示部に表示された画像または投射部により投射された画像に対する前記ヘッドマウントディスプレイの装着者の視線の注視点の位置を検出する注視点検出部を、前記表示装置または前記ヘッドマウントディスプレイのいずれかに備え、
前記注視点検出部は、前記注視点が前記画像上にある場合に前記注視点の位置に対応する前記画像内の位置情報を算出し、
前記ヘッドマウントディスプレイは、前記画像において前記算出された位置に表示されている対象データに関する関連データを、前記表示装置との通信またはその他の通信を介して取得し、前記第2の表示部に表示する
ことを特徴とするシステム。 - 請求項1に記載のシステムであって、
前記ヘッドマウントディスプレイは、前記注視点検出部が前記注視点が前記画像上にあると判断した場合と、前記注視点検出部が前記注視点が前記画像上にないと判断した場合とで、前記第2の表示部における表示レイアウトまたは表示メニューを変更することを特徴とするシステム。 - 表示装置とヘッドマウントディスプレイとを含むヘッドマウントディスプレイ連携表示システムであって、
前記表示装置は、
一次情報を表示する第1の表示部または一次情報を投射する投射部または画像信号を出力する信号出力部と、
前記ヘッドマウントディスプレイと通信可能な第1の通信部と、
前記一次情報に対する前記ヘッドマウントディスプレイの装着者の注視点の位置情報を算出する注視点計算部を備え、
前記ヘッドマウントディスプレイは、
前記装着者が閲覧可能な二次情報を表示する第2の表示部と、
前記表示装置と通信可能な第2の通信部と、
前記装着者が向いている方向のカメラ画像を撮像する撮像部と、
前記カメラ画像に対する前記装着者の注視点を検出するカメラ画像内注視点検出部を備え、
前記表示装置は、前記第1の通信部および前記第2の通信部を介して送受信した前記検出した注視点にもとづいて前記注視点計算部により前記一次情報に対する装着者の注視点の位置情報を算出し、該位置情報に関連する二次情報を選択し、前記位置情報が前記一次情報にあると判断した場合と、ないと判断した場合とで、前記第2の表示部における前記二次情報の表示方法を変更する
ことを特徴とするヘッドマウントディスプレイ連携表示システム。 - 請求項3に記載のヘッドマウントディスプレイ連携表示システムであって、
前記注視点計算部は、前記カメラ画像における前記一次情報の表示領域を特定し、前記一次情報固有の座標に対応する前記特定した表示領域上の座標をもとに変換式を導出し、前記変換式を用いて前記カメラ画像に対する前記ヘッドマウントディスプレイの装着者の前記注視点を座標変換することにより、前記一次情報に対する前記ヘッドマウントディスプレイの装着者の注視点の位置情報を算出する
ことを特徴とするヘッドマウントディスプレイ連携表示システム。 - 請求項4に記載のヘッドマウントディスプレイ連携表示システムであって、
前記一次情報固有の座標上に配置された識別画像を検出することにより、前記一次情報の表示領域を特定し、前記変換式を導出する
ことを特徴とするヘッドマウントディスプレイ連携表示システム。 - 請求項3に記載のヘッドマウントディスプレイ連携表示システムであって、
前記注視点計算部は、前記カメラ画像に対する前記ヘッドマウントディスプレイの装着者の注視点が一定の場所に滞留している場合に、前記一次情報に対する前記ヘッドマウントディスプレイの装着者の注視点の位置情報を算出する
ことを特徴とするヘッドマウントディスプレイ連携表示システム。 - 請求項3に記載のヘッドマウントディスプレイ連携表示システムであって、
前記位置情報が前記一次情報の方向にないと判断した場合に、前記二次情報の各々の属性に応じて、前記二次情報を消去するまでの時間を変更する
ことを特徴とするヘッドマウントディスプレイ連携表示システム。 - 請求項3に記載のヘッドマウントディスプレイ連携表示システムであって、
前記位置情報が前記一次情報の方向にないと判断した場合に、前記二次情報の各々の属性に応じて、前記二次情報を表示する際の透過率を変更する
ことを特徴とするヘッドマウントディスプレイ連携表示システム。 - 請求項3に記載のヘッドマウントディスプレイ連携表示システムであって、
前記表示装置は、
音声データをテキストに変換する音声認識部を備え、
前記ヘッドマウントディスプレイは、
前記ヘッドマウントディスプレイの装着者の周囲の音を取得する音声取得部を備え、
前記表示装置は、
前記テキストにおいて特定のキーワードを検出した場合に、前記キーワードに関連する二次情報を表示する
ことを特徴とするヘッドマウントディスプレイ連携表示システム。 - ヘッドマウントディスプレイと接続された表示装置であって、
一次情報を表示する表示部または一次情報を投射する投射部または一次情報を出力する信号出力部と、
前記ヘッドマウントディスプレイと通信可能な通信部と、
前記一次情報に対する前記ヘッドマウントディスプレイの装着者の注視点の位置情報を算出する注視点計算部を備え、
前記通信部を介して受信した情報にもとづいて所定の手順により前記一次情報に対する前記装着者の注視点の位置情報を算出し、
前記位置情報に関連する二次情報を選択し、
前記位置情報が前記一次情報の方向にあると判断した場合と、前記位置情報が前記一次情報の方向にないと判断した場合とで、前記ヘッドマウントディスプレイに表示する二次情報を変更する
ことを特徴とする表示装置。 - 請求項10に記載の表示装置であって、
一次情報を受信するチューナ部と、
前記一次情報に含まれる各種の信号を分離し、一次情報を識別する情報を取得する分離部と、
通信網を介して前記一次情報に関連する二次情報を記載したデータベースを受信するIP通信部と
を備えることを特徴とする表示装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201580085326.1A CN108475492B (zh) | 2015-12-18 | 2015-12-18 | 头戴式显示器协作显示系统、包括显示装置和头戴式显示器的系统及其显示装置 |
US16/063,208 US20180366089A1 (en) | 2015-12-18 | 2015-12-18 | Head mounted display cooperative display system, system including dispay apparatus and head mounted display, and display apparatus thereof |
JP2017556311A JP6641386B2 (ja) | 2015-12-18 | 2015-12-18 | ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置 |
PCT/JP2015/085595 WO2017104089A1 (ja) | 2015-12-18 | 2015-12-18 | ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置 |
CN202110016919.XA CN112667190A (zh) | 2015-12-18 | 2015-12-18 | 头戴式显示器装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/085595 WO2017104089A1 (ja) | 2015-12-18 | 2015-12-18 | ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017104089A1 true WO2017104089A1 (ja) | 2017-06-22 |
Family
ID=59056172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/085595 WO2017104089A1 (ja) | 2015-12-18 | 2015-12-18 | ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20180366089A1 (ja) |
JP (1) | JP6641386B2 (ja) |
CN (2) | CN108475492B (ja) |
WO (1) | WO2017104089A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019153952A (ja) * | 2018-03-05 | 2019-09-12 | 日本テレビ放送網株式会社 | ヘッドマウントディスプレイ、ヘッドマウントディスプレイシステム及びプログラム |
US11378805B2 (en) | 2018-06-25 | 2022-07-05 | Maxell, Ltd. | Head-mounted display, head-mounted display linking system, and method for same |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200005791A1 (en) * | 2018-06-29 | 2020-01-02 | International Business Machines Corporation | Audio content visualized by pico projection of text for interaction |
US10581940B1 (en) * | 2018-08-20 | 2020-03-03 | Dell Products, L.P. | Head-mounted devices (HMDs) discovery in co-located virtual, augmented, and mixed reality (xR) applications |
TWI726252B (zh) * | 2018-10-31 | 2021-05-01 | 宏碁股份有限公司 | 多螢幕操作方法與使用此方法的電子系統 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09128138A (ja) * | 1995-10-31 | 1997-05-16 | Sony Corp | 画像表示装置および方法 |
JP2000134640A (ja) * | 1998-10-27 | 2000-05-12 | Sony Corp | 受像機、その位置認識装置、その位置認識方法及び仮想画像立体合成装置 |
JP2001215920A (ja) * | 2000-02-03 | 2001-08-10 | Shimadzu Corp | 表示システム |
JP2010151997A (ja) * | 2008-12-24 | 2010-07-08 | Brother Ind Ltd | プレゼンテーションシステム及びそのプログラム |
JP2010237522A (ja) * | 2009-03-31 | 2010-10-21 | Brother Ind Ltd | 画像提示システム及びこの画像提示システムに用いられるヘッドマウントディスプレイ |
JP2011186856A (ja) * | 2010-03-09 | 2011-09-22 | Nec Corp | ヘッドマウントディスプレイを外部表示装置として使用する携帯端末 |
JP2012203128A (ja) * | 2011-03-24 | 2012-10-22 | Seiko Epson Corp | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
JP2012205191A (ja) * | 2011-03-28 | 2012-10-22 | Nippon Telegr & Teleph Corp <Ntt> | 映像付加情報表示制御装置およびその動作方法 |
JP2012233962A (ja) * | 2011-04-28 | 2012-11-29 | Konica Minolta Holdings Inc | 投影システム、投影装置、投影方法、および制御プログラム |
WO2015189987A1 (ja) * | 2014-06-13 | 2015-12-17 | 日立マクセル株式会社 | ウェアラブル型情報表示入力システム及びそれに用いる携帯型情報入出力装置および情報入力方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5689619A (en) * | 1996-08-09 | 1997-11-18 | The United States Of America As Represented By The Secretary Of The Army | Eyetracker control of heads-up displays |
US20010010514A1 (en) * | 1999-09-07 | 2001-08-02 | Yukinobu Ishino | Position detector and attitude detector |
US20060209013A1 (en) * | 2005-03-17 | 2006-09-21 | Mr. Dirk Fengels | Method of controlling a machine connected to a display by line of vision |
US8884984B2 (en) * | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
US8576276B2 (en) * | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
US9213405B2 (en) * | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
US8885877B2 (en) * | 2011-05-20 | 2014-11-11 | Eyefluence, Inc. | Systems and methods for identifying gaze tracking scene reference locations |
US8990682B1 (en) * | 2011-10-05 | 2015-03-24 | Google Inc. | Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display |
US20130147686A1 (en) * | 2011-12-12 | 2013-06-13 | John Clavin | Connecting Head Mounted Displays To External Displays And Other Communication Networks |
JP6003903B2 (ja) * | 2012-01-24 | 2016-10-05 | ソニー株式会社 | 表示装置 |
US9024844B2 (en) * | 2012-01-25 | 2015-05-05 | Microsoft Technology Licensing, Llc | Recognition of image on external display |
US9965062B2 (en) * | 2013-06-06 | 2018-05-08 | Microsoft Technology Licensing, Llc | Visual enhancements based on eye tracking |
JP2015087399A (ja) * | 2013-10-28 | 2015-05-07 | プラス株式会社 | プレゼンテーションシステム |
CN103760973B (zh) * | 2013-12-18 | 2017-01-11 | 微软技术许可有限责任公司 | 增强现实的信息细节 |
JP6148170B2 (ja) * | 2013-12-27 | 2017-06-14 | 日立マクセル株式会社 | 携帯情報端末 |
US9489739B2 (en) * | 2014-08-13 | 2016-11-08 | Empire Technology Development Llc | Scene analysis for improved eye tracking |
KR102277259B1 (ko) * | 2014-11-26 | 2021-07-14 | 엘지전자 주식회사 | 디바이스 제어 시스템, 디지털 디바이스 및 디지털 디바이스 제어 방법 |
KR20160128119A (ko) * | 2015-04-28 | 2016-11-07 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
EP3109733B1 (en) * | 2015-06-22 | 2020-07-22 | Nokia Technologies Oy | Content delivery |
-
2015
- 2015-12-18 JP JP2017556311A patent/JP6641386B2/ja active Active
- 2015-12-18 US US16/063,208 patent/US20180366089A1/en not_active Abandoned
- 2015-12-18 CN CN201580085326.1A patent/CN108475492B/zh active Active
- 2015-12-18 WO PCT/JP2015/085595 patent/WO2017104089A1/ja active Application Filing
- 2015-12-18 CN CN202110016919.XA patent/CN112667190A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09128138A (ja) * | 1995-10-31 | 1997-05-16 | Sony Corp | 画像表示装置および方法 |
JP2000134640A (ja) * | 1998-10-27 | 2000-05-12 | Sony Corp | 受像機、その位置認識装置、その位置認識方法及び仮想画像立体合成装置 |
JP2001215920A (ja) * | 2000-02-03 | 2001-08-10 | Shimadzu Corp | 表示システム |
JP2010151997A (ja) * | 2008-12-24 | 2010-07-08 | Brother Ind Ltd | プレゼンテーションシステム及びそのプログラム |
JP2010237522A (ja) * | 2009-03-31 | 2010-10-21 | Brother Ind Ltd | 画像提示システム及びこの画像提示システムに用いられるヘッドマウントディスプレイ |
JP2011186856A (ja) * | 2010-03-09 | 2011-09-22 | Nec Corp | ヘッドマウントディスプレイを外部表示装置として使用する携帯端末 |
JP2012203128A (ja) * | 2011-03-24 | 2012-10-22 | Seiko Epson Corp | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
JP2012205191A (ja) * | 2011-03-28 | 2012-10-22 | Nippon Telegr & Teleph Corp <Ntt> | 映像付加情報表示制御装置およびその動作方法 |
JP2012233962A (ja) * | 2011-04-28 | 2012-11-29 | Konica Minolta Holdings Inc | 投影システム、投影装置、投影方法、および制御プログラム |
WO2015189987A1 (ja) * | 2014-06-13 | 2015-12-17 | 日立マクセル株式会社 | ウェアラブル型情報表示入力システム及びそれに用いる携帯型情報入出力装置および情報入力方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019153952A (ja) * | 2018-03-05 | 2019-09-12 | 日本テレビ放送網株式会社 | ヘッドマウントディスプレイ、ヘッドマウントディスプレイシステム及びプログラム |
US11378805B2 (en) | 2018-06-25 | 2022-07-05 | Maxell, Ltd. | Head-mounted display, head-mounted display linking system, and method for same |
US11567333B2 (en) | 2018-06-25 | 2023-01-31 | Maxell, Ltd. | Head-mounted display, head-mounted display linking system, and method for same |
US11921293B2 (en) | 2018-06-25 | 2024-03-05 | Maxell, Ltd. | Head-mounted display, head-mounted display linking system, and method for same |
Also Published As
Publication number | Publication date |
---|---|
JPWO2017104089A1 (ja) | 2018-10-04 |
CN112667190A (zh) | 2021-04-16 |
JP6641386B2 (ja) | 2020-02-05 |
US20180366089A1 (en) | 2018-12-20 |
CN108475492A (zh) | 2018-08-31 |
CN108475492B (zh) | 2021-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105306084B (zh) | 眼镜型终端及其控制方法 | |
WO2017104089A1 (ja) | ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置 | |
EP2924539B1 (en) | Display device and operating method thereof using gestures | |
KR102191177B1 (ko) | 디스플레이 장치 및 그의 동작 방법 | |
TWI544336B (zh) | 眼鏡、電子裝置與其配對的方法以及順暢內容播放的方法 | |
US20180196503A1 (en) | Information processing device, information processing method, and program | |
CN113064684B (zh) | 一种虚拟现实设备及vr场景截屏方法 | |
US20130300934A1 (en) | Display apparatus, server, and controlling method thereof | |
CN111970456A (zh) | 拍摄控制方法、装置、设备及存储介质 | |
KR20110102427A (ko) | 몰입 효과들을 제공하기 위한 방법 및 시스템 | |
US20230405435A1 (en) | Home training service providing method and display device performing same | |
WO2021238733A1 (zh) | 显示设备及图像识别结果显示方法 | |
CN114119171A (zh) | 一种mr/ar/vr购物和检索场景控制方法、移动终端与可读存储介质 | |
CN114363705A (zh) | 一种增强现实设备及交互增强方法 | |
CN114302221A (zh) | 一种虚拟现实设备及投屏媒资播放方法 | |
JP7372401B2 (ja) | ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置 | |
WO2022111005A1 (zh) | 虚拟现实设备及vr场景图像识别方法 | |
CN115129280A (zh) | 一种虚拟现实设备及投屏媒资播放方法 | |
CN108600797B (zh) | 一种信息处理法方法和电子设备 | |
EP2733954A1 (en) | Display apparatus and method for delivering message thereof | |
US20130127841A1 (en) | Three-dimensional (3d) image display method and apparatus for 3d imaging and displaying contents according to start or end of operation | |
KR20160004739A (ko) | 디스플레이 장치 및 그의 동작 방법 | |
KR20180043139A (ko) | 디스플레이 장치 및 그의 동작 방법 | |
KR102574730B1 (ko) | Ar 글라스를 이용한 증강 현실 화면 및 리모컨 제공 방법 및 그를 위한 장치 및 시스템 | |
KR102208077B1 (ko) | 디스플레이 장치 및 그의 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15910778 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017556311 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15910778 Country of ref document: EP Kind code of ref document: A1 |