WO2020100422A1 - 表示装置、および表示制御方法、並びにプログラム - Google Patents

表示装置、および表示制御方法、並びにプログラム Download PDF

Info

Publication number
WO2020100422A1
WO2020100422A1 PCT/JP2019/036738 JP2019036738W WO2020100422A1 WO 2020100422 A1 WO2020100422 A1 WO 2020100422A1 JP 2019036738 W JP2019036738 W JP 2019036738W WO 2020100422 A1 WO2020100422 A1 WO 2020100422A1
Authority
WO
WIPO (PCT)
Prior art keywords
display area
user
viewpoint
display
display device
Prior art date
Application number
PCT/JP2019/036738
Other languages
English (en)
French (fr)
Inventor
安田 亮平
真一 河野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2020556657A priority Critical patent/JPWO2020100422A1/ja
Priority to US17/283,557 priority patent/US11402646B2/en
Priority to EP19885636.1A priority patent/EP3882743A4/en
Publication of WO2020100422A1 publication Critical patent/WO2020100422A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895Guidance during keyboard input operation, e.g. prompting
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Definitions

  • the present disclosure relates to a display device, a display control method, and a program. More specifically, the present invention relates to a display device, a display control method, and a program for performing display control of a viewpoint tracking type display area.
  • the three-dimensional display device displays an image with a feeling of depth by observing different images for the left and right eyes, that is, parallax images according to so-called distances.
  • Patent Document 1 Japanese Patent No. 6081839
  • operation buttons are displayed on the front image plane
  • a configuration has also been proposed in which one display area is moved and displayed so as to follow the viewpoint movement of the user. For example, an image is displayed on the first image plane with a long depth distance, a different image is displayed on the second image plane with a closer depth distance, and the second image plane in front is made to follow the movement of the user viewpoint.
  • Move and display For example, the viewpoint tracking display screen is displayed on the left side of the user viewpoint, and when the user viewpoint moves to the right side, the viewpoint tracking type display surface also moves to the right side, and when it moves to the left side, it moves to the left side. ..
  • the viewpoint tracking type display screen escapes as the user's viewpoint moves.
  • the user cannot see the contents of the viewpoint tracking type display screen. That is, when the user tries to view the viewpoint following display screen displayed on the left side of the user's viewpoint, the viewpoint is moved to the left. With this viewpoint movement, the viewpoint following display screen is also moved to the left. Therefore, the user cannot see the contents of the viewpoint following display screen.
  • An object of the present invention is to provide a display device, a display control method, and a program that are enabled.
  • the first aspect of the present disclosure is It has a control unit that executes movement control of the viewpoint tracking display area that moves with the movement of the user's gaze point,
  • the control unit is The display device determines whether to follow the user's gazing point or stop the following according to the staying time of the user's gazing point.
  • the second aspect of the present disclosure is A display control method executed in a display device,
  • the display device has a control unit that executes movement control of a viewpoint tracking display area that moves with the movement of the user's gaze point,
  • the control unit There is a display control method for determining whether to follow the viewpoint tracking display area with respect to the user gazing point or to stop the tracking according to the staying time of the user gazing point.
  • the third aspect of the present disclosure is Is a program for executing display control in a display device
  • the display device includes a control unit that executes movement control of a viewpoint tracking display area that moves with the movement of the user's gazing point
  • the program in the control unit, A program for executing a process of determining whether to follow the viewpoint tracking display area with respect to the user gazing point or to stop the tracking according to the staying time of the user gazing point.
  • the program of the present disclosure is, for example, a program that can be provided by a storage medium or a communication medium provided in a computer-readable format to an information processing device or a computer system that can execute various program codes.
  • a program that can be provided by a storage medium or a communication medium provided in a computer-readable format to an information processing device or a computer system that can execute various program codes.
  • system is a logical set configuration of a plurality of devices, and is not limited to one in which each configuration device is in the same housing.
  • the control unit that executes the movement control of the viewpoint tracking display area that moves in accordance with the movement of the user gazing point determines whether the viewpoint tracking display area follows the user gazing point or stops the tracking. It is decided according to the staying time of the gazing point.
  • the display device is configured as a three-dimensional display device or a HUD capable of observing the viewpoint tracking display region in front of the fixed display region.
  • the control unit fixes and displays the viewpoint tracking display area without following the user gazing point.
  • the specified time t is changed according to a user input to the display device or a steering wheel operation of the vehicle.
  • FIG. 1 is a diagram illustrating an example of display processing of a three-dimensional image.
  • the configuration shown in FIG. 1 corresponds to the configuration described in the above-mentioned Patent Document 1 (Japanese Patent No. 6081839).
  • FIG. 1 is a diagram showing a conceptual diagram of an image displayed on a three-dimensional display device.
  • FIG. 1 shows a plurality of image planes with different depths displayed on the three-dimensional display device.
  • the user 20 who is a viewer visually recognizes that the data display screen A11 is located in front of the data display screen B12. This can be realized by setting the screens A and B as images having different parallax amounts.
  • the system detects that the user 20 has gazed at the operation button (OK), and is displayed on the data display screen A11. The same processing as when the operation button (OK) is pressed is executed. As described above, by performing the line-of-sight input using the three-dimensional image display device, various processes can be performed.
  • FIG. 2 shows an example of a three-dimensional image display device having a viewpoint tracking display area.
  • the display device 30 shown in FIG. 2 is an on-screen keyboard (OSK: On Screen Keyboard).
  • the display device 30 has a fixed display area 31 and a viewpoint following display area 32.
  • the user 20 has a controller 21, and uses the controller 21 to move a character selection cursor 34 on the fixed display area 31 to select a specific character from the character string displayed on the fixed display area 31.
  • the input determination button of the controller 21 is pressed to input characters.
  • the input character string is displayed in the viewpoint tracking display area 32.
  • the control unit of the display device 30 executes three-dimensional display control of each display area so that the user 20 can observe the viewpoint following display area 32 at a position before the fixed display area 31, that is, at a position close to the user 20.
  • the display device 30 observes the eyes of the user using, for example, the camera 33 or the like, and calculates the gazing point of the user.
  • the control unit of the display device 30 performs control to move the viewpoint following display area 32 so as to follow the user gazing point 41.
  • the viewpoint tracking display area 32 when the viewpoint tracking display area 32 is displayed on the left side of the user gazing point 41 and the user gazing point 41 moves to the right side, the viewpoint tracking display area 32 also moves to the right side and moves to the left side. For example, processing such as moving to the left is performed.
  • FIG. 3 is a front view of the display device 30 shown in FIG.
  • a fixed display area 31 is displayed on the display device 30, and a viewpoint following display area 32 as a text input box for displaying the input text is displayed on the near side.
  • the viewpoint tracking display area 32 is displayed at a position adjacent to the user's gazing point 41. The example shown in the figure is displayed on the left side of the user gazing point 41.
  • a problem in viewpoint tracking of the viewpoint tracking display area 32 will be described with reference to FIG.
  • the user 20 is confirming the display information B of the fixed display area 31, and the user gazing point 41 is on the fixed display area 31.
  • the viewpoint tracking display area 32 is displayed on the left side of the user's gazing point 41. There is nothing wrong with this state.
  • FIG. 4B shows a state in which the user 20 moves the user gazing point 41 to the left side in order to see the information A which is the data displayed in the viewpoint tracking display area 32 on the left side of the user gazing point 41. ing.
  • the viewpoint tracking display area 32 also moves to the left side following the movement of the user gazing point 41.
  • the viewpoint tracking display area 32 also escapes as the user gazing point 41 moves. As a result, the user 20 cannot see the contents of the viewpoint following display area 32, that is, the information A.
  • the problem described with reference to FIG. 4 that is, the viewpoint tracking display area escapes as the user's gazing point moves, and the user cannot see the contents of the viewpoint tracking display area. The problem is solved.
  • FIG. 5 shows a display example of a three-dimensional display device having a fixed display area 31 and a viewpoint tracking display area 32, as described with reference to FIG.
  • the user 20 is confirming the display information B of the fixed display area 31, and the user gazing point 41 is on the fixed display area 31.
  • the viewpoint tracking display area 32 is displayed on the left side of the user's gazing point 41.
  • the user 20 is moving the user gazing point 41 to the right while continuously checking the display information B in the fixed display area 31, and the user gazing point 41 is fixedly displayed. It is on the area 31.
  • the viewpoint tracking display area 32 follows the movement of the user gazing point 41 to the right, moves to the right, and moves to the position adjacent to the left side of the user gazing point 41 to be displayed.
  • the user is continuously checking the display information B in the fixed display area 31, and there is no problem.
  • FIG. 6 also shows a display example of a three-dimensional display device having a fixed display area 31 and a viewpoint tracking display area 32.
  • the user 20 is confirming the display information B of the fixed display area 31, and the user gazing point 41 is on the fixed display area 31.
  • the viewpoint tracking display area 32 is displayed on the left side of the user's gazing point 41.
  • the user 20 is moving the user gazing point 41 to the left and is confirming the information A in the viewpoint following display area 32.
  • the display device of the present disclosure executes control such that the viewpoint tracking display area 32 does not follow the user gazing point 41 under certain conditions.
  • the tracking process of the viewpoint tracking display area 32 is stopped under a predetermined condition.
  • the user can smoothly move the user gazing point 41 to the viewpoint following display area 32 and confirm the information A of the viewpoint following display area 32.
  • the display device of the present disclosure executes control using the three-dimensional position of the user's point of gaze and the convergence distance of the user's line of sight in order to execute the follow-up processing and stop control of the viewpoint-following display area 32.
  • FIG. 7 shows two diagrams in which the distance between the user 20 and the user gazing point 41 is different. 7A, the distance between the user 20 and the user gazing point 41 is long, and in FIG. 7B, the distance between the user 20 and the user gazing point 41 is short.
  • the user 20 is looking at the gazing point 41 with two left and right eyes. At this time, An angle formed by a straight line connecting the left eye and the user gazing point 41 and a straight line connecting the right eye and the user gazing point 41 is called a convergence angle. Further, the distance from the eyes of the user 20 to the user's gazing point 41 is called the convergence distance.
  • the convergence angle becomes smaller as the user's point of regard moves away from the user, and becomes larger as it gets closer.
  • the vergence distance increases as the user's gazing point moves away from the user, and decreases as the gazing point approaches the user.
  • the relationship between the convergence angle ⁇ a and the convergence distance La when the user gazing point is far from the user (a) and the relationship between the convergence angle ⁇ b and the convergence distance Lb when the user gazing point is close to the user (b) are It becomes as follows. ⁇ a ⁇ b La> Lb
  • the vergence angle and vergence distance can be calculated, for example, from the line-of-sight directions of the eyes of the user 20, which are analyzed from the images captured by the left and right eyes of the user 20.
  • the display device of the present disclosure analyzes the line-of-sight directions of the user's eyes using a camera included in the display device, and calculates the three-dimensional position of the user's gazing point and the convergence distance. The movement control of the line-of-sight tracking display area is executed using this calculation result.
  • FIG. 8 is a diagram showing an appearance of an example of the display device 100 of the present disclosure.
  • the display device 100 illustrated in FIG. 8 is an on-screen keyboard (OSK: On Screen Keyboard) similar to that described above with reference to FIG. 2.
  • OSK On Screen Keyboard
  • the display device 100 has a fixed display area 101 and a viewpoint following display area 102.
  • the user 120 has a controller 121 and uses the controller 121 to move a character selection cursor 104 on the fixed display area 101 to select a specific character from the character string displayed in the fixed display area 101.
  • the input determination button of the controller 121 is pressed to input characters.
  • the input character string is displayed in the viewpoint following display area 102.
  • the control unit of the display device 100 executes three-dimensional display control of each display area so that the user 120 can observe the viewpoint following display area 102 at a position in front of the fixed display area 101, that is, at a position close to the user 120.
  • the display device 100 observes the eyes of the user using, for example, the camera 103, and calculates the three-dimensional position of the user gazing point 121, specifically, the three-dimensional position of the user gazing point 121 including the convergence distance.
  • the horizontal right direction parallel to the display surface of the display area is the X axis
  • the vertical upward direction parallel to the display surface is the Y axis
  • the direction vertical to the display surface of the display area (displayed by the user 120).
  • the direction toward the surface) is the Z axis.
  • the figure shows two gazing points, a user gazing point 121a at time (ta) and a user gazing point 121b at time (t2). These are shown as reference for the user's point of view at different times.
  • the user 120 can observe both the display information of the fixed display area 101 and the display information of the viewpoint following display area 102 without any inconvenience.
  • the control unit of the display device 100 performs control to move the viewpoint following display area 102 so as to follow the user gazing point 121.
  • the viewpoint tracking display area 102 is displayed on the left side of the user's gazing point 121. If the user gazing point 121 moves to the right, the control unit of the display device 100 also moves the viewpoint following display area 102 to the right. If it moves to the left, it is moved to the left.
  • the control unit of the display device 100 of the present disclosure performs processing of fixing the viewpoint following display area 102 without following the user gazing point 121.
  • the user can move the gazing point onto the viewpoint following display area 102 and check the data on the viewpoint following display area 102.
  • the display device 100 shown in FIG. 8 as the present embodiment displays a character string that the user 120 can input in the fixed display area 101, as in the configuration described above with reference to FIG.
  • the user 120 operates the controller 121 on hand to move the character selection cursor 104, selects a specific character from the character string displayed in the fixed display area 101, and presses the input determination button of the controller 121. Enter the character.
  • the input character string is displayed in the viewpoint following display area 102.
  • the display device 100 of the present disclosure includes a line-of-sight detection unit 151, a gazing point three-dimensional position (convergence distance or the like) calculation unit 152, a viewpoint tracking display area movement control unit 153, a controller operation information input unit 154, It has a user operation handling process execution unit 155, a viewpoint tracking display area information generation unit 156, a fixed display area display information generation unit 157, and a display unit 158.
  • the line-of-sight detection unit 151 detects the line of sight of the user 120.
  • a camera captures the eyes of the left and right eyes of the user, and captures an image in which the line-of-sight direction of each eye can be detected.
  • the line-of-sight detection unit 151 is not limited to a camera, and various other line-of-sight detection methods can be used.
  • a line-of-sight detection may be performed using a sensor such as an EOG (Electro-Oculogram) that measures the electric potential of the eyeball.
  • EOG Electro-Oculogram
  • the detection information of the line-of-sight detection unit 151 is input to the gazing point three-dimensional position (convergence distance etc.) calculation unit 152.
  • the gazing point three-dimensional position (convergence distance etc.) calculation unit 152 determines the three-dimensional position of the gazing point (user gazing point) viewed by the user based on the gaze direction information of both eyes of the user input from the gaze detection unit 151. calculate.
  • the user's gaze point can be calculated as the intersection of the user's left eye gaze direction and the right eye gaze direction.
  • the gazing point three-dimensional position (convergence distance etc.) calculation unit 152 calculates the three-dimensional position (x, y, z) of the gazing point.
  • the horizontal right direction parallel to the display surface of the display device is the x axis
  • the upward direction parallel to the display surface of the display device is the z-axis.
  • z in the three-dimensional position (x, y, z) of the gazing point corresponds to the vergence distance.
  • the three-dimensional position (x, y, z) information of the gazing point calculated by the gazing point three-dimensional position (convergence distance etc.) calculation unit 152 is input to the viewpoint tracking display area movement control unit 153.
  • the viewpoint tracking display area movement control unit 153 uses the three-dimensional position (x, y, z) information of the gazing point calculated by the gazing point three-dimensional position (convergence distance, etc.) calculating unit 152 to use the viewpoint tracking display area 102. Movement control. Specifically, the control for moving the user gazing point 121 and the control for fixing the gazing point 121 are switched and executed. The viewpoint tracking display area movement control unit 153 changes the control mode according to the user operation information input by the controller operation information input unit 154. A specific sequence of this processing will be described later with reference to a flowchart.
  • the controller operation information input unit 154 inputs operation information of the controller 121 of the user 120. Specifically, it is operation information such as cursor movement and input character determination information. The input information is input to the user operation corresponding process execution unit 155. Further, it is also input to the viewpoint tracking display area movement control unit 153.
  • the user operation corresponding process execution unit 155 executes a process according to the user operation information input from the controller operation information input unit 154. Specifically, for example, the display position of the cursor position on the fixed display area display information generation unit 157 is determined according to operation information such as cursor movement or input character determination information, and the viewpoint is determined according to the input character determination information. A process of determining a character string to be displayed on the follow-up display area information generation unit 156 is performed. The execution result of the user operation handling process execution unit 155 is input to the viewpoint tracking display area information generation unit 156 and the fixed display area display information generation unit 157.
  • the viewpoint tracking display area information generation unit 156 and the fixed display area display information generation unit 157 generate display information corresponding to each display area. That is, the display information that reflects the execution result of the user operation corresponding process execution unit 155 is generated.
  • the display unit 158 displays the display information corresponding to each display area generated by the viewpoint tracking display area information generation unit 156 and the fixed display area display information generation unit 157 in each display area.
  • FIG. 10 is a basic sequence of movement control of the viewpoint tracking display area 102.
  • FIG. 11 is a detailed sequence of the processing for adjusting the staying time of the user's gazing point in step S101 shown in FIG.
  • the processing according to the flow shown in FIGS. 10 to 11 can be executed according to a program stored in the storage unit of the display device 100, and is executed as a program execution processing by a processor such as a CPU having a program execution function. be able to.
  • a processor such as a CPU having a program execution function.
  • Step S101 tracking condition adjustment processing of the viewpoint tracking display area 102 is executed. This processing is executed by the viewpoint tracking display area movement control unit 153. The processing of the following steps S102 to S105 is executed according to the following conditions set in this step S101.
  • step S101 A detailed sequence of the tracking condition adjustment processing in step S101, that is, the tracking condition adjustment processing of the viewpoint tracking display area 102 will be described with reference to the flowchart shown in FIG.
  • Step S201 First, the viewpoint tracking display area movement control unit 153 determines in step S201 whether new user operation information is input to the controller operation information input unit 154. If it has not been input, the process proceeds to step S202, and if it has been input, the process proceeds to step S204.
  • Step S202 When it is determined in step S201 that new user operation information has not been input to the controller operation information input unit 154, in step S202, the elapsed time from the user's last input operation to the controller is a predetermined threshold value. It is determined whether the time, for example, 3 seconds or more is reached.
  • step S203 If it is determined that the elapsed time has reached a predetermined threshold time, for example, 3 seconds or more, the process proceeds to step S203.
  • a predetermined threshold time for example, 3 seconds or more
  • the processing is ended as it is. In this case, the current setting is continued.
  • Step S203 If it is determined in step S202 that the elapsed time from the user's last input operation to the controller has reached a predetermined threshold time, for example, 3 seconds or more, the process of step S203 is executed.
  • a predetermined threshold time for example, 3 seconds or more
  • Step S204 On the other hand, when it is determined in step S201 that new user operation information is input to the controller operation information input unit 154, the process of step S204 is executed.
  • step S101 of the flow shown in FIG. 10 the process according to the flow shown in FIG. 11 is executed.
  • the process executed by the flow shown in FIG. 11 is a process of changing the setting of the viewpoint staying time t, which is the tracking stop determination time of the viewpoint tracking display area. Specifically, the following processing is performed.
  • the viewpoint retention time t which is the tracking stop determination time of the viewpoint tracking display area 102
  • the viewpoint staying time t which is the tracking stop determination time of the viewpoint tracking display area 102
  • the staying state of the user's gaze point is not limited to the case where the user point of view is completely fixed, but also includes the case where the user gaze point remains within a certain narrow range. For example, when the user gazing point is near the center of one character displayed in the fixed display area shown in FIG. 8, the user gazing point is determined to be in a staying state unless the user moves to the center of the adjacent character.
  • the processing after step S102 will be described.
  • step S102 the gazing point of the user is detected. This process is executed by the gazing point three-dimensional position (convergence distance etc.) calculation unit 152 shown in FIG. 9.
  • the gazing point three-dimensional position (convergence distance etc.) calculation unit 152 determines the three-dimensional position of the gazing point (user gazing point) viewed by the user based on the gaze direction information of both eyes of the user input from the gaze detection unit 151. calculate.
  • the user's gaze point can be obtained as the intersection of the user's left eye gaze direction and the right eye gaze direction.
  • step S103 the residence time of the user's gazing point, that is, the residence time in which the user gazing point remains stationary on the fixed display area 101 or the viewpoint following display area 102, is the residence time set in step S101. It is determined whether or not t or more.
  • step S104 If the staying time of the user's point of gaze is equal to or longer than the staying time t set in step S101, the process proceeds to step S104. On the other hand, if the staying time of the user gaze point is not longer than the staying time t set in step S101, that is, if the user gaze point moves within the time less than the time t, the process proceeds to step S105.
  • Step S104 In step S103, if the staying time of the user's gazing point is equal to or longer than the staying time t set in step S101, the process proceeds to step S104.
  • the viewpoint following display area movement control unit 153 fixes the viewpoint following display area 102 in step S104. That is, the process of fixing and displaying the current display area is performed without following the movement of the user's gaze point.
  • the user can confirm the display information of the viewpoint following display area 102 by moving the gazing point from the fixed display area 101 to the viewpoint following display area 102.
  • Step S105 On the other hand, in step S103, if the staying time of the user gazing point is less than the staying time t set in step S101, the process proceeds to step S105.
  • the viewpoint tracking display area movement control unit 153 executes control to move the viewpoint tracking display area 102 so as to follow the movement of the user's gazing point.
  • the user 120 can surely confirm the information in the fixed display area 101 and the viewpoint following display area 102 according to the intention of the user. Is possible.
  • FIG. 12 is a processing example similar to the processing example described above with reference to FIG. 6 and the like.
  • the user 120 is confirming the display information B of the fixed display area 101, and the user gazing point 121 is on the fixed display area 101.
  • the viewpoint tracking display area 102 is displayed on the left side of the user's gazing point 121.
  • the user 120 stops the user gazing point 121 without moving for a prescribed residence time t, for example, 0.5 seconds.
  • t a prescribed residence time
  • the point follow-up display area 102 stops the follow-up movement delayed to the user point of gaze 121 and is fixed.
  • the user 120 moves the user gazing point 121 to the left side, that is, to the information display area of the viewpoint following display area 102.
  • This state is the state shown in FIG.
  • the user 120 can confirm the information in the viewpoint following display area 102.
  • the prescribed residence time t is changed according to the operation input state of the controller 121 by the user 120. As described above with reference to the flow of FIG. 11, one of the following settings is changed depending on the operation input state of the controller 121 by the user 120.
  • the viewpoint staying time t which is the tracking stop determination time of the viewpoint tracking display area 102
  • the viewpoint tracking display area 102 is fixed.
  • the user 120 is inputting text while selecting a character on the fixed display area 101, the user often moves the viewpoint to the viewpoint following display area 102 to check the input character.
  • the viewpoint staying time t is set to be short, it is possible to frequently switch between fixed and moving, and to smoothly perform text input and confirmation alternately.
  • the viewpoint stay time t which is the tracking stop determination time of the viewpoint tracking display area 102
  • a standard time for example, 0.5 seconds. Is set to. This is a process corresponding to, for example, a case where it takes time to select an input character from the fixed display area 101 or a case where an input sentence is considered. In such a case, the viewpoint following display area is displayed. As a setting that does not frequently perform switching between follow-up and stop of 102, it is configured to reduce useless switching processing.
  • the display device 100 of the present disclosure executes the processing described with reference to the flows illustrated in FIGS. 10 and 11. That is, since the tracking movement of the viewpoint tracking display area 102 to the user's gazing point 121 and the stop processing are switched and executed, the user 120 sets the information of the fixed display area 101 and the viewpoint tracking display area 102 to the user's information. It is possible to confirm surely according to the intention.
  • a viewpoint tracking display area 201 is displayed as a HUD (head-up display) in a window portion in front of the driver's seat.
  • map data is displayed in the viewpoint tracking display area 201.
  • the viewpoint follow-up display area 201 is basically controlled so as to follow the user gazing point 211 of the user who is the driver. This basic configuration is similar to the example of the on-screen keyboard (OSK) described above with reference to FIG. 8 and subsequent figures.
  • OSK on-screen keyboard
  • the user's gazing point 211 in FIG. 13A can be moved to the right as shown in FIG. 13B to check the map displayed in the viewpoint following display area 201.
  • the viewpoint following display area 201 when the viewpoint following display area 201 is on the right side of the user's gazing point 211 as shown in the figure, when the driver tries to turn the vehicle to the right, the viewpoint following display area 201 causes the right front view field to be displayed. There is a problem that is blocked.
  • the steering wheel operation information of the user is input to change the display area of the viewpoint following display area 201 or change display / non-display.
  • FIG. 14 is a block diagram showing a configuration example of the display device 200 in this embodiment.
  • the configuration of the display device 200 shown in FIG. 14 will be described.
  • the display device 200 includes a line-of-sight detection unit 251, a gazing point three-dimensional position (convergence distance, etc.) calculation unit 252, a viewpoint tracking display region movement control unit 253, a viewpoint tracking display region information generation unit 256, a display unit (HUD) 258, and a handle. It has an operation information input unit 261.
  • the line-of-sight detection unit 251 detects the line of sight of the driver (user). For example, a camera captures the eyes of the left and right eyes of the user, and captures an image in which the line-of-sight direction of each eye can be detected.
  • the line-of-sight detection unit 251 is not limited to a camera, and various other line-of-sight detection methods can be used.
  • a line-of-sight detection may be performed using a sensor such as an EOG (Electro-Oculogram) that measures the electric potential of the eyeball.
  • EOG Electro-Oculogram
  • the detection information of the line-of-sight detection unit 251 is input to the gazing point three-dimensional position (convergence distance etc.) calculation unit 252.
  • the gazing point three-dimensional position (convergence distance or the like) calculation unit 252 calculates the three-dimensional position of the gazing point (user gazing point) viewed by the user based on the line-of-sight direction information of the user's eyes input from the line-of-sight detection unit 251. calculate.
  • the user's gazing point can be obtained as the intersection of the user's left eye gaze direction and the right eye gaze direction.
  • the gazing point three-dimensional position (convergence distance etc.) calculating unit 252 calculates the three-dimensional position (x, y, z) of the gazing point.
  • z corresponds to the vergence distance.
  • the three-dimensional position (x, y, z) information of the gazing point calculated by the gazing point three-dimensional position (convergence distance etc.) calculation unit 252 is input to the viewpoint tracking display area movement control unit 253.
  • the viewpoint tracking display area movement control unit 253 uses the three-dimensional position (x, y, z) information of the gazing point calculated by the gazing point three-dimensional position (convergence distance etc.) calculating unit 252 to display the display unit (HUD).
  • HUD display unit
  • the viewpoint tracking display area 201 displayed on the right side of the user gazing point 211 is moved to the upper side or the lower side of the user gazing point 211 as shown in FIG.
  • the display of the viewpoint following display area 201 is stopped. That is, processing such as hiding is performed. By this processing, the user (driver) can see the state in the traveling direction without being disturbed by the viewpoint following display area 201.
  • the steering wheel operation information input unit 261 inputs the steering wheel operation information of the user (driver) to the viewpoint tracking display area movement control unit 253.
  • FIG. 15 is a basic sequence of movement control of the viewpoint tracking display area 201.
  • FIG. 16 is a detailed sequence of the processing for adjusting the staying time of the user's gazing point in step S201 shown in FIG.
  • the process according to the flow shown in FIGS. 15 to 16 can be executed according to a program stored in the storage unit of the display device 200, and is executed as a program execution process by a processor such as a CPU having a program execution function. be able to.
  • a processor such as a CPU having a program execution function.
  • Step S301 First, in step S301, a tracking condition adjustment process for the viewpoint tracking display area 201 is executed. This processing is executed by the viewpoint tracking display area movement control unit 253. The processing of the following steps S302 to S305 is executed according to the following conditions set in this step S301.
  • step S301 A detailed sequence of the tracking condition adjustment processing in step S301, that is, the tracking condition adjustment processing of the viewpoint tracking display area 201 will be described with reference to the flowchart shown in FIG.
  • Step S401 the viewpoint tracking display area movement control unit 253 determines whether or not the steering wheel operation information input unit 261 has input, as steering wheel operation information by the user, steering wheel operation information of a predetermined rotation angle or more. If it is input, the process proceeds to step S402, and if it is not input, the process proceeds to step S404.
  • Step S402 When it is determined in step S401 that the steering wheel operation information input unit 261 has input steering wheel operation information equal to or larger than the predetermined rotation angle, the viewpoint tracking display area movement control unit 253 determines in step S402 that the viewpoint tracking display area 201 is the vehicle. Is displayed in the same direction as the traveling direction of.
  • step S403. When the viewpoint following display area 201 is not being displayed in the same direction as the traveling direction of the vehicle, the processing is ended as it is. In this case, the current setting is continued.
  • Step S403 When it is determined in step S402 that the viewpoint following display area 201 is being displayed in the same direction as the traveling direction of the vehicle, step S403 is executed.
  • t the tracking stop determination time of the viewpoint tracking display area
  • changing the display position of the viewpoint following display area 201 and stopping the display means that the viewpoint following display area 201 displayed in the handle direction turned by the user is set to the user gazing point 211. Is a process of moving the display to the upper side or the lower side of the display and a process of stopping the display of the viewpoint tracking display area 201. By this processing, the user (driver) can see the state in the traveling direction without being disturbed by the viewpoint following display area 201.
  • Step S404 On the other hand, if it is determined in step S401 that the steering wheel operation information input unit 261 has not input steering wheel operation information equal to or larger than the predetermined rotation angle, the viewpoint tracking display area movement control unit 253 executes the process of step S404. ..
  • step S404 the viewpoint tracking display area movement control unit 253 determines whether or not the elapsed time after the user returns the steering wheel to the neutral state is a predetermined threshold time, for example, 3 seconds or more.
  • the processing is ended as it is. In this case, the current setting is continued.
  • Step S405 When it is determined in step S404 that the elapsed time after the user returns the steering wheel to the neutral state has reached a predetermined threshold time, for example, 3 seconds or more, the process of step S405 is executed.
  • a predetermined threshold time for example, 3 seconds or more
  • step S201 of the flow shown in FIG. 15 the process according to the flow shown in FIG. 16 is executed.
  • the process executed by the flow shown in FIG. 15 is a process of changing the setting of the viewpoint staying time t, which is the tracking stop determination time of the viewpoint tracking display area. Specifically, the following processing is performed.
  • the viewpoint is the tracking stop determination time of the viewpoint tracking display area 201.
  • the processing after step S302 will be described.
  • Step S302 the gazing point of the user is detected. This process is executed by the gazing point three-dimensional position (convergence distance etc.) calculating unit 252 shown in FIG.
  • the gazing point three-dimensional position (convergence distance or the like) calculation unit 252 calculates the three-dimensional position of the gazing point (user gazing point) viewed by the user based on the gaze direction information of the user's eyes input from the gaze detection unit 21. calculate.
  • the user's gaze point can be obtained as the intersection of the user's left eye gaze direction and the right eye gaze direction.
  • z corresponds to the vergence distance.
  • step S303 it is determined whether or not the residence time of the user's gazing point, that is, the residence time in which the user's gazing point remains stationary is equal to or longer than the residence time t set in step S301.
  • step S301 If the staying time of the user's point of gaze is equal to or longer than the staying time t set in step S301, the process proceeds to step S304. On the other hand, if the staying time of the user gaze point is not longer than the staying time t set in step S301, that is, if the user gaze point moves within the time less than the time t, the process proceeds to step S305.
  • step S303 if the staying time of the user's gazing point is equal to or longer than the staying time t set in step S301, the process proceeds to step S304.
  • the viewpoint tracking display area movement control unit 253 fixes the viewpoint tracking display area 201 in step S304. That is, the process of fixing and displaying the current display area is performed without following the movement of the user's gaze point.
  • the user can confirm the display information in the viewpoint tracking display area 201, for example, the map by moving the gazing point to the viewpoint tracking display area 201.
  • Step S305 On the other hand, in step S303, if the staying time of the user gazing point is less than the staying time t set in step S301, the process proceeds to step S305.
  • the viewpoint tracking display area movement control unit 253 executes control to move the viewpoint tracking display area 201 so as to follow the movement of the user's gazing point. Further, the display position of the viewpoint following display area 201 is changed and the display is stopped as needed.
  • the user 120 can surely confirm the information in the viewpoint following display area 201 according to the intention of the user.
  • the viewpoint tracking display area 201 exists in the direction in which the handle is turned to curve, the staying time of the viewpoint is shortened and the process of step S304 is executed.
  • the viewpoint tracking display area 201 also moves so as to escape in the traveling direction of the vehicle in accordance with the movement of the gazing point of the user. Further, the display position of the viewpoint following display area 201 is changed and the display is stopped as necessary.
  • “as needed” is, for example, a case where it is determined that the user's gazing point moves quickly and catches up with the viewpoint tracking display area 201.
  • the viewpoint tracking display area movement control unit 253 changes the display position of the viewpoint tracking display area 201 and performs display stop processing.
  • the viewpoint tracking display area 201 displayed in the handle direction rotated by the user is displayed by being moved to the upper side or the lower side of the user gazing point 211.
  • the user driver
  • the viewpoint following display area 201 can see the state in the traveling direction without being disturbed by the viewpoint following display area 201.
  • the movement control of the viewpoint tracking display area is performed based on the staying state of the user's gazing point.
  • the fixed display area and the viewpoint tracking display area are controlled by the gesture or voice of the user. It may be configured to specify which information is viewed.
  • the embodiment using the OSK (on-screen keyboard) and the HUD (head-up display) has been described, but the configuration and processing of the present disclosure can be used in other various display devices.
  • OSK on-screen keyboard
  • HUD head-up display
  • the configuration and processing of the present disclosure can be used in other various display devices.
  • a menu selection weapon selection, etc.
  • the user's gazing point may be displayed on the screen, and the distance of the display screen may be displayed for each of the fixed display area and the viewpoint tracking display area.
  • the distance of the display screen may be displayed for each of the fixed display area and the viewpoint tracking display area. For example, it is possible to set such that display can be performed by switching m and inch.
  • it may be configured such that whether to view the fixed display area or the follow-up display area is performed by displaying information that allows the user to select a selectable information area, and having a congestion distance from the user's point of view when selecting.
  • control may be performed using the convergence angle. Further, when the vergence distance or vergence angle cannot be measured from the user's line of sight, control may be performed using the line of sight position.
  • the viewpoint tracking display area described in the above embodiment is set to be displayed in front of the fixed display area, but the distance (display depth) of the display area can be changed to various settings.
  • the test and adjustment may be performed in advance, or a method of automatically adjusting when the state where the line of sight keeps tracking the window is detected may be applied.
  • a CPU (Central Processing Unit) 301 functions as a control unit or a data processing unit that executes various processes according to a program stored in a ROM (Read Only Memory) 302 or a storage unit 308. For example, the processing according to the sequence described in the above embodiment is executed.
  • a RAM (Random Access Memory) 303 stores programs and data executed by the CPU 301.
  • the CPU 301, the ROM 302, and the RAM 303 are connected to each other by a bus 304.
  • the CPU 301 is connected to an input / output interface 305 via a bus 304.
  • the input / output interface 305 includes an input unit 306 including various switches, a keyboard, a mouse, a microphone, a camera, a sensor, and an output unit 307 including a display and a speaker. Are connected.
  • the CPU 301 executes various kinds of processing in response to a command input from the input unit 306, and outputs the processing result to the output unit 307, for example.
  • the storage unit 308 connected to the input / output interface 305 includes, for example, a hard disk, and stores programs executed by the CPU 301 and various data.
  • the communication unit 309 functions as a transmission / reception unit for Wi-Fi communication, Bluetooth (registered trademark) (BT) communication, and other data communication via a network such as the Internet or a local area network, and communicates with an external device.
  • a drive 310 connected to the input / output interface 305 drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and records or reads data.
  • a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
  • the technique disclosed in this specification can have the following configurations. (1) Having a control unit that executes movement control of a viewpoint tracking display area that moves in accordance with movement of a user's gaze point,
  • the control unit is A display device that determines whether to follow the viewpoint tracking display area with respect to the user gazing point or to stop the tracking according to the staying time of the user gazing point.
  • the display device is The display device according to (1), which is a three-dimensional display device capable of observing the viewpoint tracking display region in front of a fixed display region.
  • the control unit is When the staying time of the user gazing point is equal to or longer than a specified time t that is defined in advance, the viewpoint tracking display area is fixedly displayed without following the user gazing point (1) or (2). Display device.
  • the control unit is The display device according to (3), wherein the specified time t is changed according to a user's input process on the display device.
  • the control unit is The display device according to (3) or (4), wherein when the user's input process to the display device is detected, the specified time t is changed to a time shorter than a normal setting.
  • the display device is A three-dimensional display device capable of observing the viewpoint following display area as a text box for displaying an input selectable character string in a fixed display area and displaying an input character string in front of the fixed display area (1 ) -The display device according to any one of (5).
  • the display device is The display device according to any one of (1) to (6), which is a device in which the viewpoint tracking display region is set in a display region of a head-up display.
  • the control unit is When the staying time of the user gazing point of the driver of the vehicle looking forward through the windshield of the vehicle is equal to or longer than a predetermined time t, the viewpoint tracking display area is set as the user gazing point.
  • the control unit is The display device according to (10), wherein when the driver's steering wheel operation is detected and the viewpoint following display area is displayed in the steering wheel operating direction, the specified time t is changed to a time longer than a normal setting.
  • a display control method executed in a display device includes a control unit that executes movement control of a viewpoint tracking display area that moves with the movement of the user's gazing point, The control unit, A display control method for determining, according to the staying time of the user gazing point, whether to follow the viewpoint tracking display area with respect to the user gazing point or stop the tracking.
  • a program for executing display control in a display device includes a control unit that executes movement control of a viewpoint tracking display area that moves with the movement of the user's gazing point,
  • the program in the control unit, A program for executing a process of determining whether to follow the viewpoint tracking display area with respect to the user gazing point or to stop the tracking according to the staying time of the user gazing point.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • the program recording the processing sequence is installed in the memory in the computer incorporated in the dedicated hardware and executed, or the program is stored in a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in a recording medium in advance.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed in a recording medium such as a built-in hard disk.
  • the various processes described in the specification may be executed not only in time series according to the description, but also in parallel or individually according to the processing capability of the device that executes the process or the need.
  • the system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of the respective configurations are in the same housing.
  • the control unit that executes the movement control of the viewpoint tracking display area that moves in accordance with the movement of the user gazing point determines whether the viewpoint tracking display area follows the user gazing point or stops the tracking. It is decided according to the staying time of the gazing point.
  • the display device is configured as a three-dimensional display device or a HUD capable of observing the viewpoint tracking display region in front of the fixed display region.
  • the control unit fixes and displays the viewpoint tracking display area without following the user gazing point.
  • the specified time t is changed according to a user input to the display device or a steering wheel operation of the vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)
  • Position Input By Displaying (AREA)

Abstract

視点追従表示領域の移動制御を実行して、視点追従表示領域の表示情報を容易に確認可能とした構成を実現する。ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部は、視点追従表示領域をユーザ注視点に追従させるか、追従を停止させるかをユーザ注視点の滞留時間に応じて決定する。表示装置は固定表示領域前方に視点追従表示領域を観察可能とした三次元表示装置や、HUDとして構成される。制御部はユーザ注視点の滞留時間が予め規定した規定時間t以上となった場合、視点追従表示領域をユーザ注視点に追従させず固定して表示する。規定時間tは表示装置に対するユーザ入力や車両のハンドル操作に応じて変更される。

Description

表示装置、および表示制御方法、並びにプログラム
 本開示は、表示装置、および表示制御方法、並びにプログラムに関する。さらに詳細には、視点追従型の表示領域の表示制御を行う表示装置、および表示制御方法、並びにプログラムに関する。
 昨今、3次元表示装置(3D表示装置)の利用が進んでいる。3次元表示装置は、左右の目に異なる画像、いわゆる距離に応じた視差画像を観察させることで奥行感のある画像を表示するものである。
 さらに、ユーザの注視点を検出して検出注視点に応じた処理、例えば画面に表示された操作ボタンをユーザが注視した場合、そのボタンを押下した処理を実行させるといったユーザ視線による処理を可能とした構成についても提案されている。
 例えば特許文献1(特許6081839号公報)には、3次元表示装置に奥行の異なる複数の画像面を表示し、前方の画像面に操作ボタンを表示して、ユーザがその操作ボタンを注視したことを検出した場合に、操作ボタンを押下したと判定する構成について開示している。
 さらに、1つの表示領域をユーザの視点移動に追従するように移動させて表示する制御を行う構成についても提案されている。
 例えば、奥行距離の遠い第1の画像面に画像を表示し、さらに奥行距離の近い第2の画像面にも異なる画像を表示し、手前の第2の画像面をユーザ視点の移動に追従させた移動して表示する。
 例えば、この視点追従型表示画面をユーザ視点の左側に表示し、ユーザ視点が右側に移動すれば、視点追従型表示面も右側に移動し、左に移動すれば左に移動させるといった構成である。
 しかし、このような視点追従型の表示領域を持つ構成における問題点として、ユーザが視点追従型表示画面の表示情報を見たいときに、視点追従型表示画面がユーザ視点の移動に伴い逃げてしまい、ユーザが視点追従型表示画面の内容を見ることができないという問題がある。
 すなわち、ユーザ視点の左側に表示した視点追従型表示画面を、ユーザが見ようとすると、視点を左に移動させることになるが、この視点移動に伴い、視点追従型表示画面も左に移動してしまうため、ユーザは視点追従型表示画面の内容を見ることができなくなってしまう。
特許6081839号公報
 本開示は、例えば、上記問題点に鑑みてなされたものであり、ユーザ視点に追従して移動する表示領域を持つ表示装置において、視点追従型の表示領域の表示情報を容易に確認することを可能とした表示装置、表示制御方法、並びにプログラムを提供することを目的とする。
 本開示の第1の側面は、
 ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
 前記制御部は、
 前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示装置にある。
 さらに、本開示の第2の側面は、
 表示装置において実行する表示制御方法であり、
 前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
 前記制御部が、
 前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示制御方法にある。
 さらに、本開示の第3の側面は、
 表示装置において表示制御を実行させるプログラムであり、
 前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
 前記プログラムは、前記制御部に、
 前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する処理を実行させるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、視点追従表示領域の移動制御を実行して、視点追従表示領域の表示情報を容易に確認可能とした構成が実現される。
 具体的には、例えば、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部は、視点追従表示領域をユーザ注視点に追従させるか、追従を停止させるかをユーザ注視点の滞留時間に応じて決定する。表示装置は固定表示領域前方に視点追従表示領域を観察可能とした三次元表示装置や、HUDとして構成される。制御部はユーザ注視点の滞留時間が予め規定した規定時間t以上となった場合、視点追従表示領域をユーザ注視点に追従させず固定して表示する。規定時間tは表示装置に対するユーザ入力や車両のハンドル操作に応じて変更される。
 本構成により、視点追従表示領域の移動制御を実行して、視点追従表示領域の表示情報を容易に確認可能とした構成が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
三次元画像の表示処理と、視点追従表示処理の概要について説明する図である。 視点追従表示領域を有する三次元画像表示装置の例を示す図である。 視点追従表示領域を有する三次元画像表示装置の例を示す図である。 視点追従表示領域の視点追従時の問題点について説明する図である。 本開示の表示装置の実行する処理の概要について説明する図である。 本開示の表示装置の実行する処理の概要について説明する図である。 ユーザ視線の輻輳距離について説明する図である。 本開示の表示装置一例について説明する図である。 表示装置の構成と処理例について説明する図である。 表示装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 表示装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の表示装置の実行する処理の概要について説明する図である。 本開示の表示装置の実行する処理の概要について説明する図である。 表示装置の構成と処理例について説明する図である。 表示装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 表示装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 表示装置のハードウェア構成例について説明する図である。
 以下、図面を参照しながら本開示の表示装置、および表示制御方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
 1.三次元画像の表示処理と、視点追従表示処理の概要について
 2.本開示の表示装置の実行する処理の概要について
 3.本開示の表示装置の構成と処理の詳細について
 4.車両のHUD(ヘッドアップディスプレイ)の表示部に視点追従表示領域を設定した実施例について
 5.その他の実施例について
 6.表示装置のハードウェア構成例について
 7.本開示の構成のまとめ
  [1.三次元画像の表示処理と、視点追従表示処理の概要について]
 まず、三次元画像の表示処理と、視点追従表示処理の概要について説明する。
 図1は、三次元画像の表示処理の一例を説明する図である。
 この図1に示す構成は、先に説明した特許文献1(特許6081839号公報)に記載された構成に相当する。
 図1は、3次元表示装置に表示される画像の概念図を示した図である。図1には、3次元表示装置に表示される奥行の異なる複数の画像面を示している。
 データ表示画面A11と、データ表示画面B12である。
 視聴者であるユーザ20は、データ表示画面A11がデータ表示画面B12の手前に位置すると視覚的に認識する。
 これは、各画面A,Bをそれぞれ異なる視差量を持つ画像として設定することで実現できる。
 ユーザ20は、前方にあるデータ表示画面A11に表示された操作ボタン(OK)を注視すると、システムがユーザ20が操作ボタン(OK)を注視したことを検出し、データ表示画面A11に表示された操作ボタン(OK)を押下したと同様の処理を実行する。
 このように、三次元画像表示装置を利用して視線入力を行うことで、様々な処理を行うことが可能となる。
 さらに、1つの表示領域をユーザの視点移動に追従するように移動させて表示する制御を行う構成がある。
 図2に、視点追従表示領域を有する三次元画像表示装置の例を示す。
 図2に示す表示装置30は、オンスクリーンキーボード(OSK:On Screen Keyboard)である。
 表示装置30は、固定表示領域31と視点追従表示領域32を有する。ユーザ20は、コントローラ21を有しており、コントローラ21を用いて、固定表示領域31上の文字選択カーソル34を移動させて、固定表示領域31に表示された文字列から特定の文字を選択し、コントローラ21の入力決定ボタンを押下して文字を入力する。
 入力された文字列は、視点追従表示領域32に表示される。
 表示装置30の制御部は、ユーザ20が、視点追従表示領域32を固定表示領域31の手前の位置、すなわちユーザ20に近い位置において観察できるように各表示領域の三次元表示制御を実行する。
 表示装置30は、例えばカメラ33等を用いてユーザの目を観察し、ユーザの注視点を算出する。図に示すユーザ注視点41である。
 表示装置30の制御部は、視点追従表示領域32をユーザ注視点41に追従させて移動させる制御を行う。
 例えば、図に示すように、視点追従表示領域32をユーザ注視点41の左側に表示し、ユーザ注視点41が右側に移動すれば、視点追従表示領域32も右側に移動し、左に移動すれば左に移動させるといった処理を行う。
 図3は、図2に示す表示装置30を正面から見た図である。表示装置30には固定表示領域31が表示され、その手前側に入力したテキストを表示するテキスト入力ボックスとしての視点追従表示領域32が表示される。
 視点追従表示領域32は、ユーザ注視点41の隣接位置に表示される。図に示す例はユーザ注視点41の左側に表示されている。
 図4を参照して視点追従表示領域32の視点追従時の問題点について説明する。
 図4(1)に示す例は、ユーザ20が固定表示領域31の表示情報Bを確認中の状態であり、ユーザ注視点41が固定表示領域31上にある。この状態で、視点追従表示領域32はユーザ注視点41の左側に表示されている。
 この状態は、何も問題がない。
 図4(2)は、ユーザ20が、ユーザ注視点41の左側にある視点追従表示領域32に表示されたデータである情報Aを見ようとして、ユーザ注視点41を左側に移動させた状態を示している。ユーザ注視点41を左側に移動させると、視点追従表示領域32もユーザ注視点41の移動に追従して左側に移動してしまう。
 すなわち、ユーザ20が視点追従型表示画面自体を見たいときにユーザ注視点41を視点追従表示領域32側に移動させると、視点追従表示領域32もユーザ注視点41の移動に伴い逃げてしまう。結果として、ユーザ20が視点追従表示領域32の内容、すなわち情報Aを見ることができなくなる。
  [2.本開示の表示装置の実行する処理の概要について]
 次に、本開示の表示装置の実行する処理の概要について説明する。
 本開示の表示装置は、図4を参照して説明した問題点、すなわち、視点追従表示領域がユーザ注視点の移動に伴い逃げてしまい、ユーザが視点追従表示領域の内容を見ることができなくなるという問題を解決するものである。
 図5、図6を参照して、本開示の表示装置の実行する処理の概要について説明する。
 図5は、図4を参照して説明したと同様、固定表示領域31と視点追従表示領域32を有する三次元表示装置の表示例を示している。
 図5(1)に示す例は、ユーザ20が固定表示領域31の表示情報Bを確認中の状態であり、ユーザ注視点41が固定表示領域31上にある。この状態で、視点追従表示領域32はユーザ注視点41の左側に表示されている。
 図5(2)に示す例は、ユーザ20がユーザ注視点41を右側に移動させながら、固定表示領域31の表示情報Bを継続して確認中の状態であり、ユーザ注視点41が固定表示領域31上にある。この状態で、視点追従表示領域32はユーザ注視点41の右方向への移動に追従して右方向に移動し、ユーザ注視点41の左隣接位置に移動して表示される。
 図5に示す例は、ユーザは、継続して固定表示領域31の表示情報Bを確認中であり、何の問題もない。
 次に、図6を参照して、ユーザが視点追従表示領域32に表示された情報Aを確認しようとした場合の処理について説明する。
 図6も、図5と同様、固定表示領域31と視点追従表示領域32を有する三次元表示装置の表示例を示している。
 図6(1)に示す例は、ユーザ20が固定表示領域31の表示情報Bを確認中の状態であり、ユーザ注視点41が固定表示領域31上にある。この状態で、視点追従表示領域32はユーザ注視点41の左側に表示されている。
 図6(2)に示す例は、ユーザ20がユーザ注視点41を左に移動させて視点追従表示領域32の情報Aを確認している状態である。
 本開示の表示装置は、ある条件の下で視点追従表示領域32をユーザ注視点41に追従させない制御を実行する。
 すなわち、視点追従表示領域32の追従処理を所定条件の下で停止させる。この制御により、ユーザは、視点追従表示領域32にユーザ注視点41をスムーズに移動させて視点追従表示領域32の情報Aを確認することができる。
 本開示の表示装置は、この視点追従表示領域32の追従処理の実行と停止制御を行うため、ユーザ注視点の3次元位置やユーザ視線の輻輳距離を利用した制御を実行する。
 ユーザ視線の輻輳距離について図7を参照して説明する。
 図7には、ユーザ20とユーザ注視点41との距離の異なる2つの図を示している。
 図7(a)は、ユーザ20とユーザ注視点41との距離が遠く、図7(b)は、ユーザ20とユーザ注視点41との距離が近い。
 ユーザ20は注視点41を左右2つの目で見ている。この時、
 左目とユーザ注視点41とを結ぶ直線と、右目とユーザ注視点41とを結ぶ直線とのなす角を輻輳角と呼ぶ。
 また、ユーザ20の目からユーザ注視点41までの距離を輻輳距離と呼ぶ。
 輻輳角は、ユーザ注視点がユーザから離れるほど小さくなり、近づくほど大きくなる。輻輳距離は、ユーザ注視点がユーザから離れるほど大きくなり、近づくほど小さくなる。
 図7に示す例では、ユーザ注視点がユーザから遠い(a)における輻輳角θaと輻輳距離La、およびユーザ注視点がユーザに近いい(b)における輻輳角θbと輻輳距離Lbとの関係は以下の通りとなる。
 θa<θb
 La>Lb
 輻輳角や輻輳距離は、例えば、ユーザ20の左目と右目のカメラ撮影画像から解析される両目の視線方向から算出することができる。
 本開示の表示装置は、表示装置に備えられたカメラを用いてユーザの両目の視線方向を解析し、ユーザ注視点の3次元位置や輻輳距離を算出する。
 この算出結果を利用して、視線追従表示領域の移動制御を実行する。
  [3.本開示の表示装置の構成と処理の詳細について]
 次に、本開示の表示装置の構成と処理の詳細について説明する。
 図8は、本開示の表示装置100の一例の外観を示す図である。
 図8に示す表示装置100は、先に図2を参照して説明したと同様のオンスクリーンキーボード(OSK:On Screen Keyboard)である。
 表示装置100は、固定表示領域101と視点追従表示領域102を有する。ユーザ120は、コントローラ121を有しており、コントローラ121を用いて、固定表示領域101上の文字選択カーソル104を移動させて、固定表示領域101に表示された文字列から特定の文字を選択し、コントローラ121の入力決定ボタンを押下して文字を入力する。
 入力された文字列は、視点追従表示領域102に表示される。
 表示装置100の制御部は、ユーザ120が、視点追従表示領域102を固定表示領域101の手前の位置、すなわちユーザ120に近い位置において観察できるように各表示領域の三次元表示制御を実行する。
 表示装置100は、例えばカメラ103等を用いてユーザの目を観察し、ユーザ注視点121の3次元位置、具体的には輻輳距離を含むユーザ注視点121の3次元位置を算出する。
 なお、図8左に示すように表示領域の表示面に平行な水平右方向をX軸、表示面に平行な垂直上方向をY軸、表示領域の表示面に垂直な方向(ユーザ120から表示面へ向かう方向)をZ軸とする。
 図には、時間(ta)におけるユーザ注視点121aと時間(t2)におけるユーザ注視点121bの2つの注視点を示している。これらは異なる時間のユーザ注視点を参考として示しているものである。
 ユーザ120は、固定表示領域101の表示情報と、視点追従表示領域102の表示情報の双方を、不自由なく観察することが可能となる。
 表示装置100の制御部は、視点追従表示領域102をユーザ注視点121に追従させて移動させる制御を行う。
 図8に示す例では、視点追従表示領域102をユーザ注視点121の左側に表示している。表示装置100の制御部は、ユーザ注視点121が右側に移動すれば、視点追従表示領域102も右側に移動させる。左に移動すれば左に移動させるといった処理を行う。
 ただし、本開示の表示装置100の制御部は、予め規定した条件を満たす場合には、視点追従表示領域102をユーザ注視点121に追従させず、固定させる処理を行う。
 この制御により、ユーザは注視点を視点追従表示領域102の上に移動させて、視点追従表示領域102上のデータを確認することができる。
 なお、本実施例として図8に示している表示装置100は、先に図2を参照して説明した構成と同様、固定表示領域101には、ユーザ120が入力可能な文字列を表示する。ユーザ120は、手持ちのコントローラ121を操作して、文字選択カーソル104を移動させて、固定表示領域101に表示された文字列から特定の文字を選択し、コントローラ121の入力決定ボタンを押下して文字を入力する。入力された文字列は、視点追従表示領域102に表示される。
 次に、図9を参照して、表示装置100の構成について説明する。
 図9に示すように、本開示の表示装置100は、視線検出部151、注視点3次元位置(輻輳距離等)算出部152、視点追従表示領域移動制御部153、コントローラ操作情報入力部154、ユーザ操作対応処理実行部155、視点追従表示領域情報生成部156、固定表示領域表示情報生成部157、表示部158を有する。
 視線検出部151はユーザ120の視線を検出する。例えばカメラであり、ユーザの左目と右目の眼球を撮影し、その眼球方向から各目の視線方向を検出可能な画像を撮影する。
 なお、視線検出部151はカメラに限らず、その他の様々な視線検出手法が利用可能である。例えば眼球の電位計測を行うEOG(Electro-Oculogram)等のセンサーを用いて視線検出を行う構成としてもよい。
 視線検出部151の検出情報は、注視点3次元位置(輻輳距離等)算出部152に入力される。
 注視点3次元位置(輻輳距離等)算出部152は、視線検出部151から入力するユーザの両目の視線方向情報に基づいて、ユーザが見ている注視点(ユーザ注視点)の3次元位置を算出する。
 ユーザ注視点は、ユーザの左目の視線方向と右目の視線方向との交点として求めることができる。注視点3次元位置(輻輳距離等)算出部152は、注視点の3次元位置(x,y,z)を算出する。
 例えばユーザの顔の位置を原点(x,y,z)=(0,0,0)として、表示装置の表示面に平行な水平右方向をx軸、表示装置の表示面に平行な上方向をy軸、ユーザから表示装置の表示面に向かう方向z軸とする。
 この設定において、注視点の3次元位置(x,y,z)中のzは輻輳距離に相当する。
 注視点3次元位置(輻輳距離等)算出部152の算出した注視点の3次元位置(x,y,z)情報は、視点追従表示領域移動制御部153に入力される。
 視点追従表示領域移動制御部153は、注視点3次元位置(輻輳距離等)算出部152の算出した注視点の3次元位置(x,y,z)情報を利用して、視点追従表示領域102の移動制御を行う。具体的にはユーザ注視点121に追従させて移動させる制御と、追従させずに固定する制御を切り替えて実行する。
 なお、視点追従表示領域移動制御部153は、コントローラ操作情報入力部154が入力するユーザ操作情報に応じて制御態様を変更する。
 この処理の具体的シーケンスについては、後段でフローチャートを参照して説明する。
 コントローラ操作情報入力部154は、ユーザ120の有するコントローラ121の操作情報を入力する。具体的には、例えばカーソルの移動や入力文字の決定情報等の操作情報である。
 入力情報はユーザ操作対応処理実行部155に入力される。さらに、視点追従表示領域移動制御部153にも入力される。
 ユーザ操作対応処理実行部155は、コントローラ操作情報入力部154から入力したユーザ操作情報に従った処理を実行する。具体的には、例えばカーソルの移動や入力文字の決定情報等の操作情報に従い、固定表示領域表示情報生成部157上のカーソル位置の表示位置を決定し、また、入力文字の決定情報に従い、視点追従表示領域情報生成部156に表示する文字列を決定する処理などを行う。
 このユーザ操作対応処理実行部155の実行結果は、視点追従表示領域情報生成部156と、固定表示領域表示情報生成部157に入力される。
 視点追従表示領域情報生成部156と、固定表示領域表示情報生成部157は、それぞれ各表示領域に対応する表示情報を生成する。すなわち、ユーザ操作対応処理実行部155の実行結果を反映した表示情報を生成する。
 表示部158は、視点追従表示領域情報生成部156と、固定表示領域表示情報生成部157が生成した各表示領域に対応する表示情報を各表示領域に表示する。
 次に、視点追従表示領域移動制御部153が実行する視点追従表示領域102の制御シーケンスについて説明する。
 図10~図11は、視点追従表示領域102の制御シーケンスについて説明するフローチャートである。
 図10は、視点追従表示領域102の移動制御の基本シーケンスである。
 図11は、図10に示すステップS101のユーザ注視点の滞留時間の調整処理の詳細シーケンスである。
 図10~図11に示すフローに従った処理は、表示装置100の記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するCPU等のプロセッサによるプログラム実行処理として行うことができる。
 以下、図10に示すフローの各ステップの処理について説明する。
  (ステップS101)
 まず、ステップS101において、視点追従表示領域102の追従条件調整処理を実行する。
 この処理は、視点追従表示領域移動制御部153が実行する。
 以下のステップS102~S105の処理は、このステップS101で設定した追従条件に従って実行される。
 このステップS101における追従条件調整処理、すなわち視点追従表示領域102の追従条件調整処理の詳細シーケンスについて図11に示すフローチャートを参照して説明する。
  (ステップS201)
 まず、視点追従表示領域移動制御部153は、ステップS201において、コントローラ操作情報入力部154に新たなユーザ操作情報が入力されたか否かを判定する。
 入力されていない場合は、ステップS202に進み、入力された場合は、ステップS204に進む。
  (ステップS202)
 ステップS201において、コントローラ操作情報入力部154に新たなユーザ操作情報が入力されていないと判定した場合、ステップS202において、ユーザの最後のコントローラに対する入力操作からの経過時間が、予め規定したしきい値時間、例えば3秒以上となったか否かを判定する。
 経過時間が予め規定したしきい値時間、例えば3秒以上となったと判定した場合はステップS203に進む。
 経過時間が予め規定したしきい値時間、例えば3秒以上になっていないと判定した場合は、そのまま処理を終了する。この場合は現在の設定がそのまま継続される。
  (ステップS203)
 ステップS202において、ユーザの最後のコントローラに対する入力操作からの経過時間が、予め規定したしきい値時間、例えば3秒以上となったと判定した場合は、ステップS203の処理を実行する。
 視点追従表示領域移動制御部153は、ステップS203において、視点追従表示領域の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.5秒)に設定する。
  (ステップS204)
 一方、ステップS201において、コントローラ操作情報入力部154に新たなユーザ操作情報が入力されたと判定した場合、ステップS204の処理を実行する。
 視点追従表示領域移動制御部153は、ステップS204において、視点追従表示領域の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.5秒)より短い時間(例えばt=0.2秒)に設定する。
 図10に示すフローのステップS101では、この図11に示すフローに従った処理が実行される。
 図11に示すフローによって実行される処理は、視点追従表示領域の追従停止判定時間である視点滞留時間tの設定変更処理である。具体的には、以下の処理が行われる。
 (a)新たなユーザ操作が検出された場合、視点追従表示領域102の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.5秒)より短い時間(例えばt=0.2秒)に設定する。
 (b)新たなユーザ操作が検出されず、操作なしの状態が規定時間(例えば3秒)以上、継続した場合、視点追従表示領域102の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.5秒)に設定する。
 これら(a),(b)の処理が実行されることになる。
 なお、ユーザ注視点の滞留状態とは、ユーザ視点が完全に固定されている場合に限らず、ある程度の狭い範囲でとどまっている場合も含む。
 例えば、図8に示す固定表示領域に表示された1つの文字の中心附近にユーザ注視点がある場合、その隣接文字の中心まで移動しない限り、ユーザ注視点は滞留状態にあると判定する。
 図10に示すフローのステップS102以下では、上記(a),(b)いずれかの設定、すなわち、視点追従表示領域の追従停止判定時間である視点滞留時間tが、
 視点滞留時間t=標準時間(例えばt=0.5秒)、または
 視点滞留時間t=標準時間より短い時間(例えばt=0.2秒)、
 これらいずれかの設定の下で処理が実行される。
 ステップS102以下の処理について説明する。
  (ステップS102)
 ステップS102ではユーザの注視点を検出する。
 この処理は、図9に示す注視点3次元位置(輻輳距離等)算出部152が実行する。
 注視点3次元位置(輻輳距離等)算出部152は、視線検出部151から入力するユーザの両目の視線方向情報に基づいて、ユーザが見ている注視点(ユーザ注視点)の3次元位置を算出する。
 前述したように、ユーザ注視点は、ユーザの左目の視線方向と右目の視線方向との交点として求めることができる。注視点3次元位置(輻輳距離等)算出部152は、例えばユーザの顔の位置を原点(x,y,z)=(0,0,0)として、注視点の3次元位置(x,y,z)を算出する。zは輻輳距離に相当する。
  (ステップS103)
 次に、ステップS103において、ユーザの注視点の滞留時間、すなわちユーザ注視点が固定表示領域101、または視点追従表示領域102上で動かずに留まっている滞留時間が、ステップS101で設定した滞留時間t以上であるか否かを判定する。
 ユーザ注視点の滞留時間が、ステップS101で設定した滞留時間t以上である場合は、ステップS104に進む。
 一方、ユーザ注視点の滞留時間が、ステップS101で設定した滞留時間t以上でない場合、すなわち、時間t未満の時間でユーザ注視点が移動している場合は、ステップS105に進む。
  (ステップS104)
 ステップS103において、ユーザ注視点の滞留時間が、ステップS101で設定した滞留時間t以上である場合は、ステップS104に進む。
 視点追従表示領域移動制御部153は、ステップS104において、視点追従表示領域102を固定する。すなわち、ユーザ注視点の移動に追従させず、現在の表示領域に固定して表示する処理を行う。
 このタイミングでユーザは注視点を固定表示領域101から視点追従表示領域102に移動させることで、視点追従表示領域102の表示情報を確認することができる。
  (ステップS105)
 一方、ステップS103において、ユーザ注視点の滞留時間が、ステップS101で設定した滞留時間t未満である場合は、ステップS105に進む。
 視点追従表示領域移動制御部153は、ステップS105において、視点追従表示領域102をユーザ注視点の移動に追従させて移動する制御を実行する。
 この図10、図11に示すフローを参照して説明した処理を実行することで、ユーザ120は、固定表示領域101、および視点追従表示領域102の情報を、ユーザの意思に従って確実に確認することが可能となる。
 固定表示領域101から視点追従表示領域102へ注視点を移動させる際の処理例について図12を参照して説明する。
 図12は、先に図6等を参照して説明した処理例と同様の処理例である。
 図12(1)に示す例は、ユーザ120が固定表示領域101の表示情報Bを確認中の状態であり、ユーザ注視点121が固定表示領域101上にある。この状態で、視点追従表示領域102はユーザ注視点121の左側に表示されている。
 この状態で、ユーザ120はユーザ注視点121を、規定の滞留時間t、例えば0.5秒間、移動させることなく停止させる。この注視点の滞留処理により、視点追従表示領域102はユーザ注視点121に遅滞する追従移動が停止され、固定される。
 その後、ユーザ120はユーザ注視点121を左側、すなわち、視点追従表示領域102の情報表示領域に移動させる。
 この状態が、図12(2)に示す状態である。
 この処理により、ユーザ120は、視点追従表示領域102の情報を確認することができる。
 なお、規定の滞留時間tは、ユーザ120によるコントローラ121の操作入力状態によって変更される。
 先に図11のフローを参照して説明したように、ユーザ120によるコントローラ121の操作入力状態によって以下のいずれかの設定に変更される。
 (a)新たなユーザ操作が検出された場合、視点追従表示領域102の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.5秒)より短い時間(例えばt=0.2秒)に設定する。
 (b)新たなユーザ操作が検出されず、操作なしの状態が規定時間(例えば3秒)以上、継続した場合、視点追従表示領域102の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.5秒)に設定する。
 これら(a),(b)の処理が実行されることになる。
 この変更処理によって、ユーザがコントローラを介した入力操作を実行している間は、視点追従表示領域102の追従停止判定時間である視点滞留時間tは短く設定される。例えば、入力操作中は0.2秒の滞留時間が検出されると、視点追従表示領域102を固定する。
 ユーザ120は、固定表示領域101上の文字を選択しながらテキストを入力している間は、視点追従表示領域102に視点を移動して入力文字を、確認することが多く、この場合には、視点滞留時間tを短く設定することで、固定、移動を頻繁に切り替えて、テキスト入力と確認を交互にスムーズに行うことが可能となる。
 一方、所定時間、例えば3秒以上、ユーザ120によるコントローラ121を介した操作入力がない場合は、視点追従表示領域102の追従停止判定時間である視点滞留時間tは標準時間、例えば0.5秒に設定される。
 これは、例えば、固定表示領域101から入力文字を選択するのに時間がかかっている場合や、入力文を考えている場合等に対応した処理であり、このような場合は、視点追従表示領域102の追従と停止の切り替えを頻繁に実行させない設定として、無駄な切り替え処理を低減する構成としている。
 このように、本開示の表示装置100は、図10、図11に示すフローを参照して説明した処理を実行する。すなわち、視点追従表示領域102のユーザ注視点121への追従移動と停止処理を切り替えて実行する構成としたので、ユーザ120は、固定表示領域101、および視点追従表示領域102の情報を、ユーザの意思に従って確実に確認することが可能となる。
  [4.車両のHUD(ヘッドアップディスプレイ)の表示部に視点追従表示領域を設定した実施例について]
 次に4.車両のHUD(ヘッドアップディスプレイ)の表示部に視点追従表示領域を設定した実施例について説明する。
 図13に示すように運転席の前方のウィンドウ部分にHUD(ヘッドアップディスプレイ)として視点追従表示領域201を表示する。
 視点追従表示領域201には例えば地図データが表示される。
 視点追従表示領域201は、基本的には運転者であるユーザのユーザ注視点211に追従するように移動制御がなされる。
 この基本構成は、先に図8以下を参照して説明したオンスクリーンキーボード(OSK)の例と同様である。
 本実施例においても、ユーザ注視点211を所定時間以上、すなわち予め規定した滞留時間t以上、特定個所に滞留させることで視点追従表示領域201の視点追従を停止させて、固定領域に表示する制御を行う。
 この結果、図13(a)のユーザ注視点211を図13(b)のように右に移動させて視点追従表示領域201に表示された地図を確認することができる。
 ただし、例えば、図に示すように視点追従表示領域201がユーザ注視点211の右側にある場合、運転者が車両を右方向にカーブさせようとすると、視点追従表示領域201によって右方向の前方視界が遮られてしまうという問題が発生する。
 本実施例では、この問題を解決するため、ユーザ(運転者)のハンドル操作情報を入力して、視点追従表示領域201の表示領域の変更や表示/非表示の変更を実行する。
 図14は、本実施例における表示装置200の構成例を示すブロック図である。
 図14に示す表示装置200の構成について説明する。
 表示装置200は、視線検出部251、注視点3次元位置(輻輳距離等)算出部252、視点追従表示領域移動制御部253、視点追従表示領域情報生成部256、表示部(HUD)258、ハンドル操作情報入力部261を有する。
 視線検出部251は運転者(ユーザ)の視線を検出する。例えばカメラであり、ユーザの左目と右目の眼球を撮影し、その眼球方向から各目の視線方向を検出可能な画像を撮影する。
 なお、視線検出部251はカメラに限らず、その他の様々な視線検出手法が利用可能である。例えば眼球の電位計測を行うEOG(Electro-Oculogram)等のセンサーを用いて視線検出を行う構成としてもよい。
 視線検出部251の検出情報は、注視点3次元位置(輻輳距離等)算出部252に入力される。
 注視点3次元位置(輻輳距離等)算出部252は、視線検出部251から入力するユーザの両目の視線方向情報に基づいて、ユーザが見ている注視点(ユーザ注視点)の3次元位置を算出する。
 前述したようにユーザ注視点は、ユーザの左目の視線方向と右目の視線方向との交点として求めることができる。注視点3次元位置(輻輳距離等)算出部252は、注視点の3次元位置(x,y,z)を算出する。ユーザの顔の位置を原点(x,y,z)=(0,0,0)として注視点の3次元位置(x,y,z)を求める。zは輻輳距離に相当する。
 注視点3次元位置(輻輳距離等)算出部252の算出した注視点の3次元位置(x,y,z)情報は、視点追従表示領域移動制御部253に入力される。
 視点追従表示領域移動制御部253は、注視点3次元位置(輻輳距離等)算出部252の算出した注視点の3次元位置(x,y,z)情報を利用して、表示部(HUD)258(=視点追従表示領域201)の移動制御を行う。具体的にはユーザ注視点121に追従させて移動させる制御と、追従させずに固定する制御を切り替えて実行する。
 さらに、視点追従表示領域移動制御部253は、ハンドル操作情報入力部261から入力するユーザのハンドル操作情報に応じて表示部(HUD)258(=視点追従表示領域201)の移動制御や表示制御を行う。
 例えば、ユーザがハンドルを右に回したときは、図13に示すようにユーザ注視点211の右側に表示されている視点追従表示領域201をユーザ注視点211の上側や下側に移動させて表示する。あるいは、視点追従表示領域201の表示を停止する。すなわち非表示とする等の処理を行う。
 この処理によって、ユーザ(運転者)は、進行方向の様子を視点追従表示領域201に邪魔されることなく見ることが可能となる。
 ハンドル操作情報入力部261は、ユーザ(運転者)のハンドル操作情報を視点追従表示領域移動制御部253に入力する。
 視点追従表示領域情報生成部256は、表示部(HUD)258(=視点追従表示領域201)に表示する表示情報を生成する。
 表示部(HUD)258(=視点追従表示領域201)は、視点追従表示領域情報生成部256が生成した表示情報、例えば地図情報を表示する。
 次に、視点追従表示領域移動制御部253が実行する表示部(HUD)258(=視点追従表示領域201)の制御シーケンスについて説明する。
 図15~図16は、視点追従表示領域201の制御シーケンスについて説明するフローチャートである。
 図15は、視点追従表示領域201の移動制御の基本シーケンスである。
 図16は、図15に示すステップS201のユーザ注視点の滞留時間の調整処理の詳細シーケンスである。
 図15~図16に示すフローに従った処理は、表示装置200の記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するCPU等のプロセッサによるプログラム実行処理として行うことができる。
 以下、図15に示すフローの各ステップの処理について説明する。
  (ステップS301)
 まず、ステップS301において、視点追従表示領域201の追従条件調整処理を実行する。
 この処理は、視点追従表示領域移動制御部253が実行する。
 以下のステップS302~S305の処理は、このステップS301で設定した追従条件に従って実行される。
 このステップS301における追従条件調整処理、すなわち視点追従表示領域201の追従条件調整処理の詳細シーケンスについて図16に示すフローチャートを参照して説明する。
  (ステップS401)
 まず、視点追従表示領域移動制御部253は、ステップS401において、ハンドル操作情報入力部261からユーザによるハンドル操作情報として、予め規定した回転角度以上のハンドル操作情報が入力されたか否かを判定する。
 入力された場合は、ステップS402に進み、入力されない場合は、ステップS404に進む。
  (ステップS402)
 ステップS401において、ハンドル操作情報入力部261から予め規定した回転角度以上のハンドル操作情報が入力されたと判定した場合、視点追従表示領域移動制御部253は、ステップS402において、視点追従表示領域201が車両の進行方向と同じ方向に表示中か否かを判定する。
 視点追従表示領域201が車両の進行方向と同じ方向に表示中である場合はステップS403に進む。
 視点追従表示領域201が車両の進行方向と同じ方向に表示中でない場合は、そのまま処理を終了する。この場合は現在の設定がそのまま継続される。
  (ステップS403)
 ステップS402において、視点追従表示領域201が車両の進行方向と同じ方向に表示中であると判定した場合、ステップS403を実行する。
 視点追従表示領域移動制御部253は、ステップS403において、視点追従表示領域の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.2秒)より長い時間(例えばt=1.0秒)に設定する。さらに、必要に応じて視点追従表示領域201の表示位置の変更、表示停止を実行する。
 視点追従表示領域201の表示位置の変更、表示停止とは、先に図13を参照して説明したように、ユーザが回したハンドル方向に表示されている視点追従表示領域201をユーザ注視点211の上側や下側に移動させて表示する処理や視点追従表示領域201の表示を停止する処理である。
 この処理によって、ユーザ(運転者)は、進行方向の様子を視点追従表示領域201に邪魔されることなく見ることが可能となる。
  (ステップS404)
 一方、ステップS401において、ハンドル操作情報入力部261から予め規定した回転角度以上のハンドル操作情報が入力されていないと判定した場合、視点追従表示領域移動制御部253は、ステップS404の処理を実行する。
 視点追従表示領域移動制御部253は、ステップS404において、ユーザがハンドルを中立状態に戻した後の経過時間が、予め規定したしきい値時間、例えば3秒以上となったか否かを判定する。
 経過時間が予め規定したしきい値時間、例えば3秒以上となったと判定した場合はステップS405に進む。
 経過時間が予め規定したしきい値時間、例えば3秒以上になっていないと判定した場合は、そのまま処理を終了する。この場合は現在の設定がそのまま継続される。
  (ステップS405)
 ステップS404において、ユーザがハンドルを中立状態に戻した後の経過時間が、予め規定したしきい値時間、例えば3秒以上となったと判定した場合、ステップS405の処理を実行する。
 視点追従表示領域移動制御部253は、ステップS405において、視点追従表示領域の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.2秒)に設定する。
 図15に示すフローのステップS201では、この図16に示すフローに従った処理が実行される。
 図15に示すフローによって実行される処理は、視点追従表示領域の追従停止判定時間である視点滞留時間tの設定変更処理である。具体的には、以下の処理が行われる。
 (a)ユーザ(運転手)がハンドルを中立位置から所定角度以上、回転し、その回転方向に視点追従表示領域201が表示されている場合、視点追従表示領域201の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.2秒)より長い時間(例えばt=1.0秒)に設定する。
 さらに、必要に応じて視点追従表示領域201の表示位置の変更、表示停止を実行する。
 (b)ユーザ(運転手)がハンドルを中立位置から所定角度以上、回転させず、かつハンドルを中立位置に戻してから規定時間(例えば3秒)以上、経過した場合、視点追従表示領域201の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.2秒)に設定する。
 これら(a),(b)の処理が実行されることになる。
 図15に示すフローのステップS302以下では、上記(a),(b)いずれかの設定、すなわち、視点追従表示領域の追従停止判定時間である視点滞留時間tが、
 視点滞留時間t=標準時間(例えばt=0.2秒)、または
 視点滞留時間t=標準時間より長い時間(例えばt=1.0秒)、
 これらいずれかの設定の下で処理が実行される。
 ステップS302以下の処理について説明する。
  (ステップS302)
 ステップS302ではユーザの注視点を検出する。
 この処理は、図14に示す注視点3次元位置(輻輳距離等)算出部252が実行する。
 注視点3次元位置(輻輳距離等)算出部252は、視線検出部21から入力するユーザの両目の視線方向情報に基づいて、ユーザが見ている注視点(ユーザ注視点)の3次元位置を算出する。
 前述したように、ユーザ注視点は、ユーザの左目の視線方向と右目の視線方向との交点として求めることができる。注視点3次元位置(輻輳距離等)算出部252は、例えばユーザの顔の位置を原点(x,y,z)=(0,0,0)として、注視点の3次元位置(x,y,z)を算出する。zは輻輳距離に相当する。
  (ステップS303)
 次に、ステップS303において、ユーザの注視点の滞留時間、すなわちユーザ注視点が動かずに留まっている滞留時間が、ステップS301で設定した滞留時間t以上であるか否かを判定する。
 ユーザ注視点の滞留時間が、ステップS301で設定した滞留時間t以上である場合は、ステップS304に進む。
 一方、ユーザ注視点の滞留時間が、ステップS301で設定した滞留時間t以上でない場合、すなわち、時間t未満の時間でユーザ注視点が移動している場合は、ステップS305に進む。
  (ステップ3204)
 ステップS303において、ユーザ注視点の滞留時間が、ステップS301で設定した滞留時間t以上である場合は、ステップS304に進む。
 視点追従表示領域移動制御部253は、ステップS304において、視点追従表示領域201を固定する。すなわち、ユーザ注視点の移動に追従させず、現在の表示領域に固定して表示する処理を行う。
 このタイミングでユーザは注視点を視点追従表示領域201に移動させることで、視点追従表示領域201の表示情報、例えば地図を確認することができる。
  (ステップS305)
 一方、ステップS303において、ユーザ注視点の滞留時間が、ステップS301で設定した滞留時間t未満である場合は、ステップS305に進む。
 視点追従表示領域移動制御部253は、ステップS305において、視点追従表示領域201をユーザ注視点の移動に追従させて移動する制御を実行する。
 さらに、必要に応じて視点追従表示領域201の表示位置の変更、表示停止を実行する。
 この図15、図16に示すフローを参照して説明した処理を実行することで、ユーザ120は、視点追従表示領域201の情報を、ユーザの意思に従って確実に確認することが可能となる。
 また、ハンドルを回してカーブしようとする方向に視点追従表示領域201が存在する場合は、視点の滞留時間は短くなり、ステップS304の処理が実行される。ここでは、ユーザの注視点の動きに応じて視点追従表示領域201も車両の進行方向に逃げるように移動する。さらに、必要に応じて視点追従表示領域201の表示位置の変更、表示停止も実行される。
 ここで、「必要に応じて」とは、例えば、ユーザ注視点の移動が速く視点追従表示領域201に追いついてしまうと判定された場合等である。このような場合、視点追従表示領域移動制御部253は、視点追従表示領域201の表示位置の変更、表示停止処理を行う。
 具体的には、先に図13を参照して説明したように、ユーザが回したハンドル方向に表示されている視点追従表示領域201をユーザ注視点211の上側や下側に移動させて表示する処理や視点追従表示領域201の表示を停止する処理である。
 この処理によって、ユーザ(運転者)は、進行方向の様子を視点追従表示領域201に邪魔されることなく見ることが可能となる。
  [5.その他の実施例について]
 次に、その他の実施例について説明する。
 上述した実施例では、ユーザ注視点の滞留状態に基づいて、視点追従表示領域の移動制御を行う構成としたが、この他、例えば、ユーザのジェスチャや声により、固定表示領域と視点追従表示領域のどちらの情報を見るかを指定する構成としてもよい。
 上述した実施例では、OSK(オンスクリーンキーボード)とHUD(ヘッドアップディスプレイ)を用いた実施例について説明したが、本開示の構成や処理は、その他、様々な表示装置において利用可能である。
 例えば、ゲーム機などにおいて、メニュー選択(武器選択など)画面を視点追従領域に設定といった利用も可能である。
 また、ユーザ注視点を画面に表示する構成とし、その表示画面の距離を固定表示領域、視点追従表示領域各々について表示する構成としてもよい。例えば、mやinchを切り替えて表示可能とする等の設定が可能である。
 また、固定表示領域と、追従表示領域のどちらを見るかについて、選択可能な情報領域を選択可能な情報表示を実行して、選ぶ際にユーザ視点の輻輳距離を持ついる構成としてもよい。
 なお、上述した実施例では、ユーザ注視点の3次元情報中のz、すなわち輻輳距離を利用する構成として説明したが、輻輳角を利用して制御を行う構成としてもよい。
 また、ユーザ視線から輻輳距離や輻輳角が計測できない場合には、視線位置を利用して制御を行う構成としてもよい。
 上述した実施例において説明した視点追従表示領域は、固定表示領域の手前に表示する設定としているが、表示領域の距離(表示深度)は様々な設定に変更可能である。
 予めテストと調整を行っておいてもよいし、視線がウィンドウを追跡し続ける状態を検出したら自動調整するといった方法を適用してもよい。
 なお、視点追従表示領域を表示するための奥行きが取れない場合には、異なる提示方法を利用してもよい、例えば周辺視野の固定位置に表示するなどである。
  [6.表示装置のハードウェア構成例について]
 次に、図17を参照して、表示装置のハードウェア構成の一構成例について説明する。
 CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
 CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種スイッチ、キーボード、マウス、マイクロフォン、カメラ、センサーなどよりなる入力部306、ディスプレイ、スピーカーなどよりなる出力部307が接続されている。CPU301は、入力部306から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部307に出力する。
 入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、Wi-Fi通信、ブルートゥース(登録商標)(BT)通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
 入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
  [7.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
 前記制御部は、
 前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示装置。
 (2) 前記表示装置は、
 固定表示領域の前方に前記視点追従表示領域を観察可能とした三次元表示装置である(1)に記載の表示装置。
 (3) 前記制御部は、
 前記ユーザ注視点の滞留時間が、予め規定した規定時間t以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する(1)または(2)に記載の表示装置。
 (4) 前記制御部は、
 前記表示装置に対するユーザの入力処理に応じて、前記規定時間tを変更する(3)に記載の表示装置。
 (5) 前記制御部は、
 前記表示装置に対するユーザの入力処理を検出した場合、前記規定時間tを、通常設定より短い時間に変更する(3)または(4)に記載の表示装置。
 (6) 前記表示装置は、
 固定表示領域に入力選択可能な文字列を表示し、前記固定表示領域の前方に入力済み文字列を表示するテキストボックスとして、前記視点追従表示領域を観察可能とした三次元表示装置である(1)~(5)いずれかに記載の表示装置。
 (7) 前記表示装置は、
 ヘッドアップディスプレイの表示領域に前記視点追従表示領域を設定した装置である(1)~(6)いずれかに記載の表示装置。
 (8) 前記視点追従表示領域は、車両のフロントガラスに表示される構成である(7)に記載の表示装置。
 (9) 前記制御部は、
 前記車両のフロントガラス越しに前方を見ている前記車両の運転手のユーザ注視点の滞留時間が、予め規定した規定時間t以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する(8)に記載の表示装置。
 (10) 前記制御部は、
 前記運転手のハンドル操作情報に応じて、前記規定時間tを変更する(9)に記載の表示装置。
 (11) 前記制御部は、
 前記運転手のハンドル操作を検出し、ハンドル操作方向に前記視点追従表示領域が表示されている場合、前記規定時間tを、通常設定より長い時間に変更する(10)に記載の表示装置。
 (12) 前記制御部は、
 前記運転手のハンドル操作を検出し、ハンドル操作方向に前記視点追従表示領域が表示されている場合、前記視点追従表示領域の表示位置の変更処理、または表示停止処理を実行する(10)または(11)に記載の表示装置。
 (13) 表示装置において実行する表示制御方法であり、
 前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
 前記制御部が、
 前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示制御方法。
 (14) 表示装置において表示制御を実行させるプログラムであり、
 前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
 前記プログラムは、前記制御部に、
 前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する処理を実行させるプログラム。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、視点追従表示領域の移動制御を実行して、視点追従表示領域の表示情報を容易に確認可能とした構成が実現される。
 具体的には、例えば、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部は、視点追従表示領域をユーザ注視点に追従させるか、追従を停止させるかをユーザ注視点の滞留時間に応じて決定する。表示装置は固定表示領域前方に視点追従表示領域を観察可能とした三次元表示装置や、HUDとして構成される。制御部はユーザ注視点の滞留時間が予め規定した規定時間t以上となった場合、視点追従表示領域をユーザ注視点に追従させず固定して表示する。規定時間tは表示装置に対するユーザ入力や車両のハンドル操作に応じて変更される。
 本構成により、視点追従表示領域の移動制御を実行して、視点追従表示領域の表示情報を容易に確認可能とした構成が実現される。
  11,12 データ表示画面
  20 ユーザ
  21 コントローラ
  30 表示装置
  31 固定表示領域
  32 視点追従表示領域
  33 カメラ
  34 文字選択カーソル
  41 ユーザ注視点
 100 表示装置
 101 固定表示領域
 102 視点追従表示領域
 103 カメラ
 104 文字選択カーソル
 121 ユーザ注視点
 151 視線検出部
 152 注視点3次元位置(輻輳距離等)算出部
 153 視点追従表示領域移動制御部
 154 コントローラ操作情報入力部
 155 ユーザ操作対応処理実行部
 156 視点追従表示領域情報生成部
 157 固定表示領域表示情報生成部
 158 表示部
 200 表示装置
 201 始点追従表示領域
 211 ユーザ注視点
 251 視線検出部
 252 注視点3次元位置(輻輳距離等)算出部
 253 視点追従表示領域移動制御部
 256 視点追従表示領域情報生成部
 258 表示部
 261 ハンドル操作情報入力部
 301 CPU
 302 ROM
 303 RAM
 304 バス
 305 入出力インタフェース
 306 入力部
 307 出力部
 308 記憶部
 309 通信部
 310 ドライブ
 311 リムーバブルメディア

Claims (14)

  1.  ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
     前記制御部は、
     前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示装置。
  2.  前記表示装置は、
     固定表示領域の前方に前記視点追従表示領域を観察可能とした三次元表示装置である請求項1に記載の表示装置。
  3.  前記制御部は、
     前記ユーザ注視点の滞留時間が、予め規定した規定時間t以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する請求項1に記載の表示装置。
  4.  前記制御部は、
     前記表示装置に対するユーザの入力処理に応じて、前記規定時間tを変更する請求項3に記載の表示装置。
  5.  前記制御部は、
     前記表示装置に対するユーザの入力処理を検出した場合、前記規定時間tを、通常設定より短い時間に変更する請求項3に記載の表示装置。
  6.  前記表示装置は、
     固定表示領域に入力選択可能な文字列を表示し、前記固定表示領域の前方に入力済み文字列を表示するテキストボックスとして、前記視点追従表示領域を観察可能とした三次元表示装置である請求項1に記載の表示装置。
  7.  前記表示装置は、
     ヘッドアップディスプレイの表示領域に前記視点追従表示領域を設定した装置である請求項1に記載の表示装置。
  8.  前記視点追従表示領域は、車両のフロントガラスに表示される構成である請求項7に記載の表示装置。
  9.  前記制御部は、
     前記車両のフロントガラス越しに前方を見ている前記車両の運転手のユーザ注視点の滞留時間が、予め規定した規定時間t以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する請求項8に記載の表示装置。
  10.  前記制御部は、
     前記運転手のハンドル操作情報に応じて、前記規定時間tを変更する請求項9に記載の表示装置。
  11.  前記制御部は、
     前記運転手のハンドル操作を検出し、ハンドル操作方向に前記視点追従表示領域が表示されている場合、前記規定時間tを、通常設定より長い時間に変更する請求項10に記載の表示装置。
  12.  前記制御部は、
     前記運転手のハンドル操作を検出し、ハンドル操作方向に前記視点追従表示領域が表示されている場合、前記視点追従表示領域の表示位置の変更処理、または表示停止処理を実行する請求項10に記載の表示装置。
  13.  表示装置において実行する表示制御方法であり、
     前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
     前記制御部が、
     前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示制御方法。
  14.  表示装置において表示制御を実行させるプログラムであり、
     前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
     前記プログラムは、前記制御部に、
     前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する処理を実行させるプログラム。
PCT/JP2019/036738 2018-11-12 2019-09-19 表示装置、および表示制御方法、並びにプログラム WO2020100422A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020556657A JPWO2020100422A1 (ja) 2018-11-12 2019-09-19 表示装置、および表示制御方法、並びにプログラム
US17/283,557 US11402646B2 (en) 2018-11-12 2019-09-19 Display apparatus, display control method, and program
EP19885636.1A EP3882743A4 (en) 2018-11-12 2019-09-19 Display device, display control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018211959 2018-11-12
JP2018-211959 2018-11-12

Publications (1)

Publication Number Publication Date
WO2020100422A1 true WO2020100422A1 (ja) 2020-05-22

Family

ID=70731786

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036738 WO2020100422A1 (ja) 2018-11-12 2019-09-19 表示装置、および表示制御方法、並びにプログラム

Country Status (4)

Country Link
US (1) US11402646B2 (ja)
EP (1) EP3882743A4 (ja)
JP (1) JPWO2020100422A1 (ja)
WO (1) WO2020100422A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022163283A1 (ja) * 2021-01-29 2022-08-04 キヤノン株式会社 視線検出装置
WO2023278138A1 (en) * 2021-06-28 2023-01-05 Dathomir Laboratories Llc Methods and systems for changing a display based on user input and gaze

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4220356A1 (en) * 2022-01-27 2023-08-02 Volkswagen Ag Vehicle, apparatus, method and computer program for obtaining user input information

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009514090A (ja) * 2005-10-28 2009-04-02 トビイ テクノロジー アーベー 視覚的フィードバックを有するアイトラッカー
US20130326364A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
JP6081839B2 (ja) 2013-03-27 2017-02-15 京セラ株式会社 表示装置および同装置における画面制御方法
WO2017069176A1 (ja) * 2015-10-19 2017-04-27 株式会社オリィ研究所 視線入力装置、視線入力方法、および、視線入力プログラム
JP2018045459A (ja) * 2016-09-14 2018-03-22 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8120577B2 (en) * 2005-10-28 2012-02-21 Tobii Technology Ab Eye tracker with visual feedback
JP4757091B2 (ja) * 2006-04-28 2011-08-24 本田技研工業株式会社 車両搭載機器の操作装置
US9977496B2 (en) * 2010-07-23 2018-05-22 Telepatheye Inc. Eye-wearable device user interface and augmented reality method
JP2017215623A (ja) 2016-05-30 2017-12-07 エクレボ リミテッドEcrebo Limited 入力装置、記憶媒体、posシステムおよび入力方法
KR101737737B1 (ko) * 2016-09-06 2017-05-18 덴소코리아일렉트로닉스 주식회사 차량용 카메라 hud 통합 클러스터 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009514090A (ja) * 2005-10-28 2009-04-02 トビイ テクノロジー アーベー 視覚的フィードバックを有するアイトラッカー
US20130326364A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
JP6081839B2 (ja) 2013-03-27 2017-02-15 京セラ株式会社 表示装置および同装置における画面制御方法
WO2017069176A1 (ja) * 2015-10-19 2017-04-27 株式会社オリィ研究所 視線入力装置、視線入力方法、および、視線入力プログラム
JP2018045459A (ja) * 2016-09-14 2018-03-22 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3882743A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022163283A1 (ja) * 2021-01-29 2022-08-04 キヤノン株式会社 視線検出装置
WO2023278138A1 (en) * 2021-06-28 2023-01-05 Dathomir Laboratories Llc Methods and systems for changing a display based on user input and gaze

Also Published As

Publication number Publication date
EP3882743A4 (en) 2021-12-29
US20210389595A1 (en) 2021-12-16
US11402646B2 (en) 2022-08-02
JPWO2020100422A1 (ja) 2021-10-14
EP3882743A1 (en) 2021-09-22

Similar Documents

Publication Publication Date Title
WO2020100422A1 (ja) 表示装置、および表示制御方法、並びにプログラム
JP6479199B2 (ja) 情報処理装置
KR20230106727A (ko) 시선-기반 사용자 상호작용
US8923686B2 (en) Dynamically configurable 3D display
US20150234569A1 (en) Vehicle user interface unit for a vehicle electronic device
EP2976881B1 (en) 3d display device and method for controlling the same
US20150116206A1 (en) Screen operation apparatus and screen operation method
JP5228074B2 (ja) 情報処理装置、表示制御方法
US20160110078A1 (en) Information processing device, information processing method and program
US10643579B2 (en) HMD device and method for controlling same
US9544556B2 (en) Projection control apparatus and projection control method
WO2018019256A1 (zh) 一种虚拟现实系统及其视角调节方法和装置
KR20160109443A (ko) 시선 추적을 이용한 디스플레이 장치 및 방법
JPWO2018003859A1 (ja) 表示装置、プログラム、表示方法および制御装置
EP2432236B1 (en) Information Processing Apparatus, Program and Information Processing Method
US20220291744A1 (en) Display processing device, display processing method, and recording medium
WO2018061413A1 (ja) ジェスチャ検出装置
JP4789885B2 (ja) インタフェース装置、インタフェース方法及びインタフェースプログラム
KR20170089228A (ko) 스마트 폰을 이용한 가상현실 헤드 마운트 디스플레이의 제어 방법
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
JP6964142B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2021132013A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2019197478A (ja) プログラム、及び情報処理装置
WO2020012997A1 (ja) 情報処理装置、プログラム及び情報処理方法
US11233982B2 (en) Display control device, display control method, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19885636

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020556657

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019885636

Country of ref document: EP

Effective date: 20210614