WO2012111272A1 - 表示制御装置および表示制御方法 - Google Patents

表示制御装置および表示制御方法 Download PDF

Info

Publication number
WO2012111272A1
WO2012111272A1 PCT/JP2012/000738 JP2012000738W WO2012111272A1 WO 2012111272 A1 WO2012111272 A1 WO 2012111272A1 JP 2012000738 W JP2012000738 W JP 2012000738W WO 2012111272 A1 WO2012111272 A1 WO 2012111272A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
viewer
unit
display control
attention state
Prior art date
Application number
PCT/JP2012/000738
Other languages
English (en)
French (fr)
Inventor
博和 関
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/982,189 priority Critical patent/US9164582B2/en
Publication of WO2012111272A1 publication Critical patent/WO2012111272A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/34—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4821—End-user interface for program selection using a grid, e.g. sorted out by channel and broadcast time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user

Definitions

  • the present invention relates to a display control device and a display control method, and more particularly to display control based on a viewer's gaze position and attention state.
  • a conventional scroll control device detects a viewer's line-of-sight position on a display image, and provides scroll processing when the viewer's line-of-sight position reaches the end of the display image (for example, a patent) Reference 1).
  • FIG. 19 is a block diagram showing a configuration of a conventional scroll control device described in Patent Document 1.
  • FIG. 19 is a block diagram showing a configuration of a conventional scroll control device described in Patent Document 1.
  • the display unit 116 is for displaying a predetermined document, and includes a monitor such as a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display).
  • the document memory 112 stores document information to be displayed on the display unit 116.
  • the movement amount detection unit 114 detects the amount of movement of the line of sight on the display image, and the time measurement processing unit 115 measures the time of movement of the line of sight on the display image.
  • the scroll processing unit 113 scrolls the display image, and has a function of scrolling the display image in accordance with scroll control information from the document editing processing unit 117.
  • the line-of-sight detection processing unit 111 detects the viewer's line of sight based on an image captured by a camera that captures the viewer.
  • Document information of a document to be read is stored in the document memory 112, and the contents of the document are specifically as shown in FIG.
  • an image of the viewer's face is input to the line-of-sight detection processing unit 111, and after detecting the viewer's face, the viewer's line-of-sight direction is detected.
  • the spatial position of the visual line is detected from the detected visual line direction and the spatial coordinate position of the viewer's eyes, and the position of the viewer's visual line on the display unit 116 is detected.
  • this line-of-sight detection it is determined that the line of sight has been detected when the line of sight is stationary for a certain period of time, and if the line of sight does not remain for a certain period of time even if the line of sight is directed toward the display unit 116.
  • the display image is not viewed.
  • the movement amount and movement time of the line of sight are measured together with the position of the line of sight on the display image, and the movement speed of the coordinate position of the line of sight on the display image is calculated.
  • the line-of-sight position reaches the end of the display image as shown in FIG. 20, the display image is scrolled as shown in FIG. 21 according to the movement speed of the line of sight at that time.
  • a scroll control device capable of performing the above is provided.
  • the line of sight remains on the display image for a certain period of time, it is determined that the display image is being viewed, and the position of the line of sight is at the end of the display image.
  • the method of scrolling the display image when it arrives has a problem that it is scrolled even when the display image is not consciously noticed. For example, when the viewer unconsciously looks at the end of the display image, the display image is scrolled regardless of whether the viewer has grasped the content.
  • the present invention solves the above-mentioned conventional problem, determines the attention state of the viewer's display content based on the viewer's eyeball position, specifies the gaze position, the viewer pays attention to the display content, and In the case where attention is paid to undisplayed information indicating that there is a non-displayed portion in the display content, it is an object to provide comfortable display control to the viewer by displaying the non-displayed portion.
  • the display control apparatus includes a display unit that displays display content and non-display information indicating that there is a non-display location in the display content, a viewer image, and a viewer image captured.
  • An imaging unit that detects the viewer's eyeball position from the viewer, an attention state determination unit that determines a state of attention with respect to the display content on the display screen based on the movement of the detected viewer's eyeball position, and the detected viewer's eyeball position
  • the attention state for the display content on the display screen is determined by the gaze position specifying unit for specifying the gaze position in the display content based on the display content on the display screen, and the attention state determination unit, and the gaze position specifying unit
  • a display control unit configured to display a non-displayed portion on the display unit when it is determined that the non-displayed information is being watched based on the specified gaze position.
  • the display control method includes a display step of displaying on the display screen display information and non-display information indicating that there is a non-display location in the display content, and capturing the viewer and capturing the viewer Eyeball position detecting step for detecting the eyeball position of the viewer from the image of the viewer, an attention state determining step for determining the attention state for the display content on the display screen based on the detected movement of the eyeball position of the viewer, and the detected viewing
  • the attention state for the display content on the display screen is determined in the gaze position specifying step for specifying the gaze position in the display content and the attention state determination step based on the eyeball position of the person and the display content on the display screen; and Based on the gaze position specified in the gaze position specifying step, when it is determined that the non-display information is being watched, a display control step for displaying a non-displayed part is displayed. Tsu and a flop.
  • the attention state of the viewer's display content is determined based on the viewer's eyeball position, the gaze position is specified, and the viewer pays attention to the display content, and When attention is paid to the non-display information in the display content, the non-display portion is displayed.
  • the undisplayed portion is not displayed, and comfortable display control can be provided to the viewer.
  • FIG. 1 is a block diagram showing a configuration of a display control apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram showing an example of program information displayed on the display unit of the display control apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a diagram showing an example of detailed program information displayed on the display unit of the display control apparatus according to Embodiment 1 of the present invention.
  • FIG. 4 is a diagram illustrating the center coordinates of the pupils of the viewer in the camera detected by the camera included in the imaging unit of the display control apparatus according to Embodiment 1 of the present invention.
  • FIG. 5 is a diagram illustrating how the attention state determination unit of the display control apparatus according to Embodiment 1 of the present invention determines the attention state of the viewer.
  • FIG. 5 is a diagram illustrating how the attention state determination unit of the display control apparatus according to Embodiment 1 of the present invention determines the attention state of the viewer.
  • FIG. 6 is a diagram showing the coordinates of the gazing point on the display unit of the display control apparatus according to Embodiment 1 of the present invention.
  • FIG. 7 is a diagram showing a state in which an undisplayed portion of the program summary of the program information is displayed in the display control apparatus according to Embodiment 1 of the present invention.
  • FIG. 8 is a flowchart showing the display control process of the display control apparatus according to Embodiment 1 of the present invention.
  • FIG. 9 is a block diagram showing the configuration of the display control apparatus according to Embodiment 2 of the present invention.
  • FIG. 10 is a flowchart showing the display control processing of the display control apparatus in Embodiment 2 of the present invention.
  • FIG. 11 is a block diagram showing the configuration of the display control apparatus according to Embodiment 3 of the present invention.
  • FIG. 12 is a flowchart showing the display control processing of the display control apparatus according to Embodiment 3 of the present invention.
  • FIG. 13 is a flowchart showing details of the matching ratio calculation process shown in FIG.
  • FIG. 14 is a diagram illustrating a display example of program information.
  • FIG. 15 is a block diagram showing a configuration of the display control apparatus according to Embodiment 4 of the present invention.
  • FIG. 16 is a flowchart showing the display control processing of the display control apparatus in Embodiment 4 of the present invention.
  • FIG. 17A is a diagram illustrating a state in which the scroll bar is operated based on the position of the viewer's gazing point.
  • FIG. 17A is a diagram illustrating a state in which the scroll bar is operated based on the position of the viewer's gazing point.
  • FIG. 17B is a diagram illustrating a state in which the scroll bar is operated based on the position of the viewer's gazing point.
  • FIG. 18A is a diagram for explaining a method of displaying undisplayed display content.
  • FIG. 18B is a diagram for explaining a method of displaying display contents that are not displayed.
  • FIG. 19 is a block diagram showing a configuration of a conventional scroll control device.
  • FIG. 20 is a diagram showing document contents displayed on a display unit of a conventional scroll control device.
  • FIG. 21 is a diagram illustrating a scroll control operation of the conventional scroll control device.
  • FIG. 1 is a block diagram showing a configuration of display control apparatus 1 according to Embodiment 1 of the present invention.
  • the display control device 1 includes an imaging unit 11, an attention state determination unit 12, a reception unit 13, a gaze position specifying unit 14, a display control unit 15, and a display unit 16.
  • the imaging unit 11 includes a camera such as a CCD that captures the viewer's image, and detects the viewer's eyeball position (center coordinates of the pupil) from the viewer's image captured by the camera.
  • the center coordinates of the viewer's pupil detected by the imaging unit 11 are output to the attention state determination unit 12 and the gaze position specifying unit 14.
  • the attention state determination unit 12 is a state in which the viewer is paying attention to something based on the center coordinates of the viewer's pupil input from the imaging unit 11 (in this embodiment, the viewer pays attention to the program information. From now on, it is sometimes referred to simply as the attention state), and the determination result of the attention state is passed to the display control unit 15. Details of the attention state determination method will be described later.
  • the receiving unit 13 receives a broadcast signal and extracts data such as a video signal, an audio signal, and SI (Service Information) from the broadcast signal. Further, the receiving unit 13 receives the program information from the SI (for example, the program name of the broadcast program, the broadcast date, the broadcast start / end time, the program overview, the detailed program content, the program configuration information when displaying the program information on the display unit 16, etc. ). The receiving unit 13 passes the extracted program information to the gaze position specifying unit 14.
  • SI Service Information
  • Program information is multiplexed on broadcast waves as SI, and is a guide that allows viewers to easily select programs that they want to watch, and is provided to viewers in the form of a newspaper program guide.
  • the information provided (or displayed) to the viewer by the program information is, for example, the program name of the broadcast program, the broadcast date, the broadcast start / end time, the program overview, the program details, and the like.
  • FIG. 2 is a diagram showing an example of program information displayed on the display unit 16 of the display control device 1 according to Embodiment 1 of the present invention.
  • the program information 20 includes a program guide display area 21 and a selected program information display area 22.
  • the vertical axis 201 of the program guide display area 21 indicates the broadcast start time and end time of each program, and the horizontal axis 202 indicates the broadcast channel of each program. Channels 061, 081, and 101 broadcast from 14:00 to 17:00
  • the program name and program summary of the program are displayed.
  • the selected program information display area 22 the broadcast date / time, program name, and program outline of the program selected by the cursor 203 in the program guide display area 21 are displayed.
  • the program guide display area 21 includes a scroll bar 204. When the viewer operates the scroll bar 204 using a remote controller or the like, each time is different from the time currently displayed in the program guide display area 21. It is possible to display the program name and program summary of the program broadcast on the channel.
  • the display control apparatus 1 normally has restrictions such as the number of characters and the number of lines to be displayed in the program guide display area 21 and the selected program information display area 22, a program with a large amount of information (number of characters) In some cases, all program summary information (characters) may not be displayed. In this case, if there is information (characters) that cannot be displayed as program information, for example, "" (undisplayed information 205) at the end of the final sentence of the program summary displayed in the corresponding program frame. In this way, the existence of information (characters) that cannot be displayed is explicitly indicated.
  • FIG. 3 is a diagram showing an example of the detailed program information 30 displayed on the display unit 16 of the display control device 1 according to Embodiment 1 of the present invention.
  • the gaze position specifying unit 14 receives the center coordinates of the viewer's pupil from the imaging unit 11 and also receives program information from the receiving unit 13.
  • the gaze position specifying unit 14 calculates the coordinates ( gaze point) of the viewer's gaze position on the display unit 16 from the received center coordinates of the pupil.
  • the gaze position identification unit 14 identifies the gaze position in the display content based on the calculated gaze point and the program information received from the reception unit 13, and passes the gaze position identification result to the display control unit 15.
  • the display control unit 15 displays the program information displayed on the display unit 16 based on the attention state determination result received from the attention state determination unit 12 and the gaze position specification result received from the gaze position specification unit 14. Display control.
  • the imaging unit 11 detects the center coordinates (x (t), y (t)) of the viewer's pupil at time t from the viewer's image input to the camera.
  • the camera is provided in the imaging unit 11 so as to photograph the viewer's face.
  • the pupil center coordinates (x (t), y (t)) are coordinates determined based on the camera position.
  • the imaging unit 11 performs binarization processing of the eyeball image obtained from the viewer's face, removal of wrinkles, and the like, and the center coordinate of the viewer's pupil is highly accurate. Can be detected.
  • FIG. 4 is a diagram showing the center coordinates 41 of the viewer's pupil detected by the camera included in the imaging unit 11 of the display control device 1 according to Embodiment 1 of the present invention.
  • Cx and Cy are the horizontal and vertical resolution values of the camera, respectively.
  • the horizontal direction is represented by the x axis
  • the vertical direction is represented by the y axis
  • the intersection of the x axis and the y axis is the origin.
  • the center coordinates (x (t), y (t)) of the viewer's pupil detected by the imaging unit 11 are output to the attention state determination unit 12 and the gaze position specifying unit 14.
  • the attention state determination unit 12 determines the attention state of the viewer based on the center coordinates (x (t), y (t)) of the viewer's pupil input from the imaging unit 11, and determines the determination result of the attention state. It passes to the display control unit 15.
  • the attention state determination unit 12 determines whether or not the above-described fixation state and jumping motion are continuously generated from the movement distance of the center coordinates of the viewer's pupil in the camera input from the imaging unit 11. When detecting a state in which the above-described fixation state and jumping motion are continuously generated a predetermined number of times or more, the attention state determination unit 12 determines the state as the attention state.
  • the attention state determination unit 12 determines that the moving distance of the pupil center coordinates for 300 milliseconds (0.3 seconds) is equal to or less than a threshold value i, and the pupil center coordinates for 30 milliseconds (0.03 seconds) immediately thereafter.
  • a threshold value i When the movement distance is equal to or greater than a certain threshold value j, it is determined that the fixation state and the jumping movement have occurred once.
  • the frame speed of the image input from the camera of the imaging unit 11 is assumed to be f (frame / second).
  • the attention state determination unit 12 determines that a fixation state has occurred when the total moving distance dsum1 of d (t) between f ⁇ 0.3 frames satisfies the following (Equation 2).
  • dsum1 ⁇ i (Formula 2)
  • the attention state determination unit 12 determines that a jumping motion has occurred when the total moving distance dsum2 of d (t) during f ⁇ 0.03 frame satisfies the following (Equation 3). dsum2 ⁇ j (Formula 3)
  • the attention state determination unit 12 detects that the fixation state and the jumping motion are continuously generated, and when the combination of the fixation state and the jumping motion is continuously generated a certain number of times or more, the viewer Is in a state of paying attention to the program information, that is, the state of attention, and the determination result is passed to the display control unit 15.
  • FIG. 5 is a diagram illustrating a state in which the attention state determination unit 12 of the display control device 1 according to Embodiment 1 of the present invention determines a viewer's attention state.
  • the attention state determination unit 12 determines the fixation state when the total movement distance of the center coordinate 51 of the viewer's pupil is equal to or less than the threshold value i for f ⁇ 0.3 frames (300 milliseconds), and immediately after that.
  • the frame speed of the image input from the camera of the imaging unit 11 changes depending on the resolution and performance of the camera and the processing capability of the display control device 1, and therefore the number of frames for determining the fixation state / jumping motion depending on the frame speed. Will cause a decimal point. In that case, an appropriate number of frames is set by appropriately rounding off. In that case, considering the number of frames, the threshold values i and j are calculated in advance. Further, depending on the frame speed, it may exceed 30 milliseconds, which is the time for a jumping motion to occur between two frames. For example, when the frame rate is 10 frames / second, one frame is 100 milliseconds, which exceeds 30 milliseconds.
  • the movement distance d (t) of the center of the pupil between the frame in which the fixation state is detected and the immediately following frame is obtained, and if d (t) is j or more, the jumping motion has occurred. to decide.
  • a fixation state of 300 milliseconds occurs again immediately after the fixation state / the jumping movement. Therefore, even if it exceeds 30 milliseconds between two frames, the jumping motion can be detected.
  • the fixation state is detected in 1, 2, 3 frames (300 milliseconds), and the moving distance d (t) of the pupil center between the 3 frames and 4 frames is When j or more, it is determined that a jumping movement has occurred. However, if 300 ms is exceeded between two frames, the fixation state cannot be detected accurately. Therefore, if the frame rate is slower than 6 frames per second (1 frame ⁇ 167 ms), the attention state cannot be detected. .
  • the gaze position specifying unit 14 receives the center coordinates of the viewer's pupil from the imaging unit 11 and receives program information from the receiving unit 13.
  • the program information output from the receiving unit 13 to the gaze position specifying unit 14 includes program configuration information.
  • the program configuration information includes, for example, undisplayed information indicating that there are characters constituting the program information and undisplayed portions in the program guide display area 21 and the selected program information display area 22 of the display unit 16 (displayed). ) Or a position where a scroll bar or arrow is arranged (displayed).
  • the gaze position specifying unit 14 calculates the coordinates (gaze point) of the viewer's line of sight on the display unit 16 from the received center coordinates of the viewer's pupil.
  • the gaze position specifying unit 14 calculates the gaze point based on the following formula, with the coordinates of the gaze point at time t as (u (t), v (t)).
  • u (t) Tu / 2 ⁇ (x (t) ⁇ Cx / 2) ⁇ A
  • v (t) Tv / 2 ⁇ (y (t) ⁇ Cy / 2) ⁇ B (Formula 5)
  • x (t) and y (t) are the center coordinates of the viewer's pupil at time t.
  • FIG. 6 is a diagram showing coordinates 61 of the gazing point on the display unit 16 of the display control device 1 according to Embodiment 1 of the present invention.
  • Tu and Tv are horizontal and vertical resolution values of the display unit 16, respectively.
  • the horizontal direction is represented by the u axis
  • the vertical direction is represented by the v axis
  • the intersection of the u axis and the v axis is the origin.
  • the terms A and B used in (Expression 4) and (Expression 5) are on the display unit 16 with respect to the moving distance (horizontal and vertical directions) of the center coordinates of the viewer's pupil detected by the camera. This is the ratio of the moving distance of the gazing point, and is calculated by performing calibration (adjustment) in advance.
  • Equation 4 and (Equation 5) are based on the premise that the viewer's gazing point is positioned at the center of the display unit 16 when the viewer's pupil is positioned directly in front of the camera (the center of the captured image). Although determined below, this is merely an example, and other calculation methods may be used. Note that the gazing point is a portion where the viewer is gazing on the display unit 16, and it does not matter whether or not the portion is paying attention.
  • the gaze position specifying unit 14 is based on the calculated gaze point on the display unit 16 and the program configuration information received from the receiving unit 13, and the gaze position, that is, where the viewer looks at the program information. Identify whether or not The identification of the gaze position means identifying where the gaze point on the display unit 16 is located on the program information, on which character, etc., for example, a program frame with program information This is a concept including specifying that the point of interest is located on undisplayed information that is the last character of the last line in the program outline.
  • the gaze position specifying unit 14 passes the gaze position specifying result to the display control unit 15.
  • FIG. 7 is a diagram showing a state in which an undisplayed portion of the program summary of the program information is displayed in the display control apparatus 1 of the present invention, and the “natural Megumi” broadcast from 14:00 on channel 081 in FIG. In the program overview, the display contents omitted by “...” Of the undisplayed information 205 are displayed by display control.
  • the display control may be, for example, one line shift display or next page display.
  • One-line shift is a display method in which an undisplayed sentence is displayed by shifting the entire displayed sentence one line up.
  • the next page display is a display method for erasing all the currently displayed contents and displaying the subsequent text.
  • the program name is displayed even after the display control, but the display control may be performed including the program name.
  • FIG. 8 is a flowchart showing the display control process of the display control device 1 according to the first embodiment of the present invention.
  • the imaging unit 11 detects the center coordinates of the viewer's pupil in the camera from the viewer's image input to the camera. (Step S82).
  • the attention state determination unit 12 detects the attention state of the viewer from the center coordinates of the viewer's pupil received from the imaging unit 11.
  • the viewer's attention state is detected by using the characteristic of the human eyeball that frequently repeats a fixation state of about 300 milliseconds and a jumping movement that occurs in about 30 milliseconds.
  • the attention state determination unit 12 is in a fixation state when the total moving distance of the central coordinates of the pupil for 300 milliseconds is equal to or smaller than a threshold and is equal to or larger than the threshold for the total moving distance of the central coordinates of the pupil for 30 milliseconds immediately thereafter. It is determined that the jumping motion has occurred once, and when the fixation state and the jumping motion are continuously generated for a certain number of times or more, it is determined as the attention state and the determination result is passed to the display control unit 15 (step S83). .
  • the gaze position specifying unit 14 calculates the viewer's gaze point on the display unit 16 from the center coordinates of the viewer's pupil received from the imaging unit 11, and the program information input from the calculated gaze point and the receiving unit 13. Based on the above, the gaze position is specified.
  • the gaze position specifying unit 14 transmits the gaze position specifying result to the display control unit 15 (step S83).
  • the display control unit 15 Based on the attention state determination result received from the attention state determination unit 12 and the gaze position specification result received from the gaze position specification unit 14, the display control unit 15 allows the viewer to check whether the program information on the display unit 16 has been stored. When it is determined that attention is paid to the display information (step S84), display control of undisplayed information is performed, and information (characters) not displayed is displayed (step S85).
  • the attention state of the viewer is determined from the movement of the viewer's eyeball position and the program information, the gaze position is specified, and the determination result of the attention state
  • the viewer is paying attention to the non-display information of the program information based on the result of specifying the gaze position, it is possible to provide the viewer with comfortable display control by displaying the non-display portion.
  • the display control apparatus 1 determines the attention state of the viewer from the movement of the viewer's eyeball position and the program information, specifies the gaze position, and determines the attention state determination result and the gaze position specification result. Based on the above, when the viewer is paying attention to the non-display information of the program information, display control for displaying the non-display portion is performed.
  • the display control device 1 for example, even when the viewer accidentally first matches the line of sight with the undisplayed information, it is determined that the state of interest and the gaze position is specified. Since the display is controlled, it is inconvenient for a viewer who has not yet read the program information.
  • the display control apparatus determines the attention state of the viewer's program information from the movement of the viewer's eyeball position and the program information, and specifies the gaze position.
  • the display control apparatus uses the viewer's attention to the sentence information of the program information based on the determination result of the state of attention to the sentence information included in the program information and the result of specifying the gaze position, and the program information is not
  • a display control device and a display control method that are more comfortable for the viewer are provided by displaying an undisplayed portion.
  • FIG. 9 is a block diagram showing a configuration of the display control device 9 according to Embodiment 2 of the present invention.
  • the display control device 9 includes an imaging unit 11, a text information attention state determination unit 92, a reception unit 13, a gaze position specifying unit 14, a display control unit 15, and a display unit 16. 9, the same components as those in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted.
  • the sentence information attention state determination unit 92 determines the attention state of the program information of the viewer on the sentence information based on the center coordinates (x (t), y (t)) of the viewer's pupil input from the imaging unit 11. The determination is made and the determination result of the state of interest in the text information of the program information of the viewer is passed to the display control unit 15.
  • the viewer's eyeball is generated from the left to the right along the sentence for about 300 milliseconds and for about 30 milliseconds.
  • Move the line of sight while repeating the jumping movement move the line of sight to the right edge of the sentence, then move the line of sight to the next line at once, and repeat the fixation state and the jumping movement from left to right along the sentence.
  • the text information attention state determination unit 92 maintains the attention state described in the first embodiment based on the movement distance of the center coordinates of the viewer's pupil input from the imaging unit 11, while maintaining the attention state of the viewer's pupil in the camera. When the center coordinate moves a predetermined distance, it is determined that the state is a state of interest for the text information.
  • the text information attention state determination unit 92 performs one or more large jumping movements in the x-axis direction (horizontal direction) of the viewer's pupil center coordinates while the attention state described in the first embodiment is continued. If there is no large jumping motion in the y-axis direction (vertical direction), the state is determined as the state of interest for horizontally written text information.
  • the state of interest in horizontally written text information is detected based on the following formula. ⁇ ⁇
  • the sentence information attention state determination unit 92 determines whether (Expression 6) is satisfied at least once and (Expression 7) is satisfied.
  • the state in which the viewer is paying attention to the horizontally written text information that is, the state of interest to the horizontally written text information is determined, and the determination result of the state of attention to the horizontally written text information is passed to the display control unit 15.
  • ⁇ is a threshold value for discriminating a large jumping motion in the x-axis direction (new line when attention is given to horizontal writing)
  • ⁇ is a discriminating that there is no large jumping motion in the y-axis direction. Is the threshold value.
  • the display control unit 15 Based on the determination result of the attention state to the horizontally written text information received from the text information attention state determination unit 92 and the gaze position specifying result received from the gaze position specifying unit 14, the display control unit 15 When it is determined that the program information on the program information 16 is focused on and the program information is not displayed, program information display control is performed to display information (characters) that are not displayed.
  • FIG. 10 is a flowchart showing the display control processing of the display control device 9 in Embodiment 2 of the present invention.
  • the flowchart shown in FIG. 10 is obtained by replacing step S83 in the flowchart shown in FIG. 8 with step S103.
  • the same steps as those in FIG. 8 are denoted by the same reference numerals and description thereof is omitted.
  • the text information attention state determination unit 92 determines the attention state of the viewer's horizontally written program information from the center coordinates of the viewer's pupil received from the imaging unit 11. Specifically, while the viewer's attention to the program information continues, the center coordinate of the viewer's pupil in the camera is one or more large jumps in the x-axis direction (horizontal direction), and y When there is no large jumping motion in the axial direction (vertical direction), the sentence information attention state determination unit 92 determines that the viewer is interested in the horizontally written sentence information, and passes the determination result to the display control unit 15 (Step S1). S103).
  • the viewer pays attention to the horizontally-written text information of the program information based on the determination result of the state of attention to the horizontally-written text information included in the program information and the result of specifying the gaze position.
  • the non-display information of the program information the non-display portion is displayed. If such control is performed, for example, even if a viewer accidentally first matches the line of sight with the undisplayed information, and further, there is a case where determination of the state of attention and identification of the gaze position occur, Displaying is reduced. Therefore, according to the second embodiment, it is possible to determine a viewer's attention state with respect to program information with high accuracy, and to provide a more comfortable display control device and display control method for the viewer.
  • the display control device 9 regularly maintains the attention state of the text information included in the program information while the center coordinates of the viewer's eyeballs are regularly arranged along the character string constituting the program information.
  • the detection accuracy of the viewer's attention state is improved by detecting the movement.
  • the display control device 9 in the second embodiment when the viewer obliquely reads the text information included in the program information, that is, the horizontal movement amount of the center coordinates of the eyeball is predetermined per unit time. When the value falls below the threshold and does not satisfy (Equation 6), the detection accuracy of the attention state may be insufficient.
  • matching is performed between each character constituting the text information displayed on the display screen and the gaze point on the display screen obtained by calibration. Then, a matching ratio that is a ratio of the number of characters matched with the gazing point is obtained with respect to the number of characters constituting the text information being displayed. By taking into consideration whether or not the obtained matching ratio exceeds a predetermined threshold value, the detection accuracy of the attention state for the viewer's text information is improved.
  • FIG. 11 is a block diagram showing the configuration of the display control apparatus 10 according to Embodiment 3 of the present invention.
  • the display control device 10 includes an imaging unit 11, an attention state determination unit 12, a reception unit 13, a gaze position specifying unit 14, a display control unit 15, a display unit 16, and a matching detection unit 93.
  • FIG. 11 the same components as those in FIG.
  • the matching detection unit 93 receives the coordinates (u (t), v (t)) of the gazing point on the display screen specified by the gazing position specifying unit 14 and the program information from the receiving unit 13.
  • the matching detection unit 93 specifies the display area of each character constituting the program information, and determines whether or not the coordinates of the gazing point are within the display area of each character. Detects matching with.
  • the matching detection unit 93 obtains, as a matching rate, the ratio of the number of characters matched by the viewer's gaze point to the number of characters included in the character string constituting the program information, and passes the obtained matching ratio to the display control unit 15. .
  • the display control unit 15 uses the attention state determination result received from the attention state determination unit 12, the gaze position specification result received from the gaze position specification unit 14, and the matching ratio received from the matching detection unit 93. If the person pays attention to the program information on the display unit 16, pays attention to the undisplayed information of the program information, and further determines that the matching ratio exceeds a predetermined threshold, the display control of the program information is performed and displayed. Information (characters) that is not displayed is displayed.
  • FIG. 12 is a flowchart showing the display control processing of the display control apparatus 10 according to Embodiment 3 of the present invention
  • FIG. 13 is a flowchart showing details of the matching ratio calculation processing shown in FIG.
  • FIG. 14 is a diagram illustrating a display example of program information.
  • the flowchart shown in FIG. 12 is obtained by adding steps S121 and S122 to the flowchart shown in FIG.
  • the same steps as those in FIG. 8 are denoted by the same reference numerals and description thereof is omitted.
  • step S121 the matching detection unit 93 detects matching between the gaze position specified by the gaze position specifying unit 14 and the characters included in the program information received from the receiving unit 13, and determines the number of characters included in the program information. To find the ratio of the number of characters matched with the gaze point.
  • the matching detection unit 93 first displays the coordinates on the display screen including the coordinates (u (t), v (t)) of the gazing point specified by the gazing position specifying unit 14. A rectangular area is selected (step S131).
  • the display content on the display screen is program information
  • a box of the program being watched is detected as shown by a thick frame in FIG.
  • a rectangular area including a point of interest and including a piece of character information may be selected.
  • the matching detection unit 93 specifies the number of characters included in the detected rectangular area based on the program information received from the reception unit 13 (step S132). For example, in the example of FIG. 14, the number of characters is counted as 30 characters from the character information of “interesting variety popular entertainers and entertainers quiz confrontation.
  • the matching detection unit 93 detects whether or not the coordinates (u (t), v (t)) of the gazing point specified by the gazing position specifying unit 14 overlap each character display area. If an overlap between the coordinates of the gazing point and the display area of each character is detected (Yes in step S133), it is determined that the gazing point matches each character, and the control process proceeds to step S134. If the overlap between the coordinates of the gazing point and the display area of each character is not detected, the detection of matching is continued (No in step S133).
  • the display area of each character may be an area of the character itself or an arbitrary rectangular area surrounding the character as appropriate.
  • the matching detection unit 93 counts up the number of characters in which matching with the gazing point is detected (step S134). If the coordinates of the gazing point overlap the display area of the same character a plurality of times, it may be appropriately determined whether to count up each time or only once.
  • the matching detection unit 93 obtains a matching ratio by dividing the number of matched characters obtained in step S134 by the number of characters in the rectangular area obtained in step S132 (step S135).
  • the matching detection unit 93 passes the obtained matching ratio to the display control unit 15.
  • the display control unit 15 determines that the viewer is paying attention to the text information of the program information on the display unit 16 and is paying attention to the undisplayed information of the program information (in step S84). Yes), the display control unit 15 further determines whether or not the matching ratio received from the matching detection unit 93 exceeds a predetermined threshold (step S122). When the matching ratio received from the matching detection unit 93 exceeds a predetermined threshold (Yes in Step S122), program information display control is performed to display information (characters) that are not displayed (Step S85). On the other hand, when the matching ratio received from the matching detection unit 93 is equal to or smaller than the predetermined threshold (No in step S122), the control process returns to step S83.
  • an undisplayed portion can be displayed in a state where a matching ratio equal to or higher than a threshold is satisfied even when the viewer's gazing point does not move faithfully along the character string.
  • a matching ratio equal to or higher than a threshold is satisfied even when the viewer's gazing point does not move faithfully along the character string.
  • FIG. 14 as a result of skipping and reading program information surrounded by a thick frame, for example, a case where a gaze point matching for three words “variety”, “popular entertainer”, and “quick press” is detected is detected.
  • the matching ratio obtained from the total number of characters of these words exceeds a predetermined threshold, a certain percentage of the character information is actually watched and the contents of the displayed program information are read to some extent.
  • an undisplayed location can be displayed.
  • the viewer recognizes the case where the viewer performs a scanning or oblique reading while gazing at the character information and the case where only the line of sight is moved without gazing at the character information. Therefore, the accuracy of display control based on the movement of the viewer's eyeball position can be further improved.
  • the display control according to the present embodiment is more preferably used in combination with the display control according to the second embodiment.
  • the viewer reads the character information faithfully along the character string, and reads the character information by scanning or oblique reading while paying attention to the character information. Both can be recognized and display control can be performed with higher accuracy.
  • FIG. 15 is a block diagram showing a configuration of the display control device 17 according to Embodiment 4 of the present invention.
  • the display control device 17 includes an imaging unit 11, an attention state determination unit 12, a reception unit 13, a gaze position specifying unit 14, a display control unit 94, and a display unit 16.
  • the non-display information 205 (“...” In FIG. 2) shown in FIG. 2 is used as information indicating that there is display content not displayed on the display screen.
  • it is indicated by the scroll bar that there is display content that is not displayed on the display screen. Therefore, when the viewer pays attention to the scroll bar and the viewer is gazing, the display control unit 94 operates the scroll bar based on the position of the gazing point to display the undisplayed display content.
  • FIG. 16 is a flowchart showing the display control processing of the display control apparatus according to Embodiment 4 of the present invention.
  • FIGS. 17A and 17B show how the scroll bar is operated based on the position of the viewer's point of interest.
  • FIG. The flowchart shown in FIG. 16 is obtained by inserting steps S161 to S165 in place of steps S83 and S84 in the flowchart shown in FIG.
  • the same steps as those in FIG. 8 are denoted by the same reference numerals and description thereof is omitted.
  • step S161 the attention state determination unit 12 determines the attention state with respect to the scroll bar, and the gaze position specifying unit 14 specifies the viewer's attention point.
  • the display control unit 94 determines whether or not the scroll bar 300 is being watched based on the gaze position specified by the gaze position specifying unit 14 (step S162). If the scroll bar 300 is being watched (Yes in step S162), icons 304 and 305 indicating the scroll direction are displayed (step S163, FIG. 17A), otherwise (No in step S162), The control process returns to step S161. These icons 304 and 305 are displayed for the purpose of preventing erroneous operations such as unintentional scroll control due to accidental movement of the viewer's gaze position.
  • the display control unit 94 determines whether or not the displayed icon 304 or 305 is noticed and watched based on the determination result of the attention state determination unit 12 and the gaze position specified by the gaze position specifying unit 14. Is determined (step S164). If the icon 304 or 305 is being watched and watched (Yes in step S164), the control process proceeds to step S85, and otherwise (No in step S164), the control process proceeds to step S165.
  • step S164 the display control unit 94 uses the scroll bar based on the determination result of the attention state determination unit 12 and the gaze position specified by the gaze position specifying unit 14. It is determined whether or not the arrow 302 or 303 on 300 is noticed and watched (step S165). If the arrow 302 or 303 is noticed and watched (Yes in step S165), the control process proceeds to step S85; otherwise (No in step S165), the control process returns to step S161.
  • step S163 If it is determined in step S163 that the icon 304 or 305 is noticed and watched, or if it is determined in step S164 that the arrow 302 or 303 is noticed and watched, the display control unit 94 scrolls the screen.
  • the display contents not displayed are displayed (step S85, FIG. 17B).
  • FIG. 17B shows the screen after scrolling when the icon 305 is selected.
  • the scroll bar 300 can be operated by the movement of the line of sight.
  • the display positions of the icons 304 and 305 are preferably in the vicinity of the viewer's gaze point. In this case, since the amount of movement of the gazing point necessary for the scroll operation, that is, the amount of movement of the line of sight is small, the operability is excellent. Further, instead of the icons 304 and 305, other display contents such as lighting a small area may be used.
  • the example in which the scroll bar 300 in the vertical direction is operated using the display control method of the present invention has been described.
  • the display control method of the present invention is the same for the scroll bar in the horizontal direction. It is applicable to.
  • control is performed so as to operate the scroll bar 300 when attention / gaze is detected with respect to an icon or arrow after detecting attention / gaze with respect to the scroll bar 300.
  • the scroll bar 300 may be operated based on the relative position change of the viewpoint. Specifically, after detecting the attention / gaze on the knob 301 of the scroll bar 300, when the attention / gaze on the upper or lower position is detected with respect to the knob 301, the knob 301 first detects the gaze position detected.
  • the scroll may be controlled to slide to the gaze position detected later. By controlling in this way, the screen can be scrolled by a desired amount in a desired direction by moving the line of sight after the viewer pays attention to the knob 301 of the scroll bar 300.
  • the icons 304 and 305 may be omitted, and scrolling may be controlled by detecting attention and gaze on the arrows 302 and 303.
  • the display control method of the present embodiment can be applied not only to the operation method of the scroll bar 300 but also to operate various GUI objects such as a slider, a spin button, and a button.
  • the present embodiment can also be applied to operations on a GUI remote controller or the like displayed on the screen, or operations on a remote controller with a camera / display, a smartphone, a tablet, or the like.
  • FIGS. 18A and 18B are diagrams for explaining a method of displaying display contents that are not displayed.
  • the display example of FIG. 7 described above at least a part of the display content already displayed in FIG. 2 is erased, and the display content not displayed is displayed.
  • the display content that has not been displayed is displayed within a certain display area, so that the entire display content can be displayed in a compact manner.
  • the display area (thick frame) is expanded downward to display the display contents that are not displayed at the same time as the display contents that are already displayed.
  • the display method of FIG. 18B is adopted, the entire display content is displayed at the same time, so that the entire display content can be displayed in an easily viewable manner.
  • the display area is expanded downward to display the entire display content, but another display area larger than the display area already displayed is popped up to display the entire display content. It may be displayed.
  • the display control devices 1, 9, 10, and 17 in the above embodiment are configured to include the display unit 16, the display unit may be a separate body from the display control device.
  • the display control device and the display control method according to the present invention can be used to control display contents of IPTV (Internet Protocol TV), SNS (Social Network Service), etc., starting with the display content of the EPG of the television.
  • IPTV Internet Protocol TV
  • SNS Social Network Service
  • the present invention can be applied to various electronic devices including a camera such as a tablet computer, a smartphone, a mobile phone, and a personal computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

視聴者が表示内容に意識的に注目していない場合に表示内容がスクロールされてしまうことを低減できる表示制御装置１を提供する。表示制御装置(１)は、表示部(１６)と、撮像した視聴者の画像から視聴者の眼球位置を検出する撮像部(１１)と、検出した視聴者の眼球位置の移動に基づき、表示内容に対する注目状態を判定する注目状態判定部(１２)と、検出した視聴者の眼球位置と表示内容とに基づき、表示内容における注視位置を特定する注視位置特定部(１４)と、注目状態の判定結果と注視位置の特定結果とに基づき、視聴者が表示した番組情報の未表示箇所に注目している場合、未表示箇所を表示部(１６)に表示させる表示制御部(１５)とを備える。

Description

表示制御装置および表示制御方法
　本発明は、表示制御装置および表示制御方法に関し、特に、視聴者の注視位置と注目状態に基づいた表示制御に関するものである。
　従来のスクロール制御装置は、ある表示画像上での視聴者の視線位置を検出し、視聴者の視線位置が表示画像の端部に到達した場合に、スクロール処理を提供している（例えば、特許文献１参照）。
　以下図面を参照しながら従来のスクロール制御装置について説明を行う。
　図１９は、特許文献１に記載された従来のスクロール制御装置の構成を示すブロック図である。
　従来のスクロール制御装置１１０において、表示部１１６は、所定の文書を表示するためのもので、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等のモニタにより構成される。文書メモリ１１２は、表示部１１６に表示する文書情報を格納するものである。移動量検出部１１４は表示画像上を視線が移動する量を検出し、時間測定処理部１１５は表示画像上を視線が移動する時間を測定するものである。スクロール処理部１１３は表示画像をスクロールさせるものであり、文書編集処理部１１７からのスクロール制御情報に従い表示画像をスクロールする機能を有する。また、視線検知処理部１１１は、視聴者を撮影するカメラにより撮影された画像に基づき視聴者の視線検出を行うものである。
　以上のように構成された従来のスクロール制御装置１１０について、図１９から図２１を用いてその動作を説明する。
　文書メモリ１１２に読むべき文書の文書情報が格納されており、文書の内容は具体的には図２０に示すような内容であるとする。視聴者がこの文書を画面上で読んでいる際、視聴者の顔の画像が視線検知処理部１１１に入力され、視聴者の顔を検出した後、視聴者の視線方向を検出する。次に検出された視線方向と視聴者の目の空間座標位置から視線の空間位置を検出し、視聴者の視線が表示部１１６のどの位置にあるかを検出する。この視線の検出においては、視線が一定時間停留している場合に視線が検出されたと判断しており、視線が表示部１１６の方向を向いていたとしても、視線が一定時間停留しない場合には、表示画像を見ている状態とはしない。視線が検出されたら、表示画像上での視線の位置と共に視線の移動量と移動時間が測定され、視線の表示画像上の座標位置の移動速度が算出される。そして図２０のように視線の位置が表示画像の最端部に到達した場合、そのときの視線の移動速度に応じて図２１に示すように表示画像をスクロールさせることで視聴者にとって適切なスクロールを行うことができるスクロール制御装置を提供している。
特開平１１－８５４５２号公報
　しかしながら、前記従来のスクロール制御装置のように、表示画像上で視線が一定時間停留している場合に表示画像を見ている状態であると判別し、視線の位置が表示画像の最端部に到達した場合に表示画像をスクロールさせる方法は、表示画像を意識的に注目していない場合にもスクロールされてしまうという課題を有している。例えば、無意識的に表示画像の最端部を見ている場合、視聴者はその内容を把握していないのに関わらず表示画像がスクロールされてしまう。
　本発明は、前記従来の課題を解決するもので、視聴者の眼球位置に基づき視聴者の表示内容への注目状態を判定するとともに注視位置を特定し、視聴者が表示内容に注目し、かつ、表示内容に未表示箇所があることを示す未表示情報に注目している場合、未表示箇所を表示させることにより、視聴者へ快適な表示制御を提供することを目的とする。
　本発明に係る表示制御装置は、表示内容と表示内容に未表示箇所があることを示す未表示情報とを表示画面上に表示する表示部と、視聴者を撮像し、撮像した視聴者の画像から視聴者の眼球位置を検出する撮像部と、検出した視聴者の眼球位置の移動に基づき、表示画面上の表示内容に対する注目状態を判定する注目状態判定部と、検出した視聴者の眼球位置と表示画面上の表示内容とに基づき、表示内容における注視位置を特定する注視位置特定部と、注目状態判定部によって表示画面上の表示内容に対する注目状態が判定され、かつ、注視位置特定部によって特定された注視位置に基づいて、未表示情報が注視されていると判定した場合に、未表示箇所を表示部に表示させる表示制御部とを備える。
　また、本発明に係る表示制御方法は、表示内容と表示内容に未表示箇所があることを示す未表示情報とを表示画面上に表示する表示ステップと、視聴者を撮像し、撮像した視聴者の画像から視聴者の眼球位置を検出する眼球位置検出ステップと、検出した視聴者の眼球位置の移動に基づき、表示画面上の表示内容に対する注目状態を判定する注目状態判定ステップと、検出した視聴者の眼球位置と表示画面上の表示内容とに基づき、表示内容における注視位置を特定する注視位置特定ステップと、注目状態判定ステップにおいて、表示画面上の表示内容に対する注目状態が判定され、かつ、注視位置特定ステップにおいて特定された注視位置に基づいて、未表示情報が注視されていると判定した場合に、未表示箇所を表示させる表示制御ステップとを備える。
　本発明の表示制御装置および表示制御方法によれば、視聴者の眼球位置に基づき視聴者の表示内容への注目状態を判定するとともに注視位置を特定し、視聴者が表示内容に注目し、かつ、表示内容中の未表示情報に注目している場合に、未表示箇所を表示させる。これにより、例えば、視聴者が偶然最初に未表示情報に視線を合わせた場合には未表示箇所が表示されてしまうことがなく、視聴者へ快適な表示制御を提供することが可能となる。
図１は、本発明の実施の形態１における表示制御装置の構成を示すブロック図である。 図２は、本発明の実施の形態１における表示制御装置の表示部に表示される番組情報の一例を示す図である。 図３は、本発明の実施の形態１における表示制御装置の表示部に表示される番組詳細情報の一例を示す図である。 図４は、本発明の実施の形態１における表示制御装置の撮像部が有するカメラで検出されたカメラにおける視聴者の瞳孔の中心座標を示す図である。 図５は、本発明の実施の形態１における表示制御装置の注目状態判定部が視聴者の注目状態を判定する様子を示す図である。 図６は、本発明の実施の形態１における表示制御装置の表示部における注視点の座標を示す図である。 図７は、本発明の実施の形態１における表示制御装置における番組情報の番組概要の未表示箇所が表示された状態を示す図である。 図８は、本発明の実施の形態１における表示制御装置の表示制御処理を示すフローチャートである。 図９は、本発明の実施の形態２における表示制御装置の構成を示すブロック図である。 図１０は、本発明の実施の形態２における表示制御装置の表示制御処理を示すフローチャートである。 図１１は、本発明の実施の形態３における表示制御装置の構成を示すブロック図である。 図１２は、本発明の実施の形態３における表示制御装置の表示制御処理を示すフローチャートである。 図１３は、図１２に示すマッチング割合算出処理の詳細を示すフローチャートである。 図１４は、番組情報の表示例を示す図である。 図１５は、本発明の実施の形態４における表示制御装置の構成を示すブロック図である。 図１６は、本発明の実施の形態４における表示制御装置の表示制御処理を示すフローチャートである。 図１７Ａは、視聴者の注視点の位置に基づいて、スクロールバーを操作する様子を示す図である。 図１７Ｂは、視聴者の注視点の位置に基づいて、スクロールバーを操作する様子を示す図である。 図１８Ａは、未表示の表示内容を表示する方法を説明するための図である。 図１８Ｂは、未表示の表示内容を表示する方法を説明するための図である。 図１９は、従来のスクロール制御装置の構成を示すブロック図である。 図２０は、従来のスクロール制御装置の表示部に表示される文書内容を示す図である。 図２１は、従来のスクロール制御装置のスクロール制御動作を示す図である。
　以下、本発明を実施するための実施の形態について、図面を参照しながら説明する。以下の説明においては、表示画面上に表示される表示内容が、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ　Ｐｒｏｇｒａｍ　Ｇｕｉｄｅ）の番組情報である場合を例として説明する。
　（実施の形態１）
　図１は、本発明の実施の形態１における表示制御装置１の構成を示すブロック図である。
　表示制御装置１は、撮像部１１と、注目状態判定部１２と、受信部１３と、注視位置特定部１４と、表示制御部１５と、表示部１６とを備える。
　撮像部１１は、視聴者の画像を撮像する例えばＣＣＤ等のカメラを有しており、カメラにより撮像された視聴者の画像から、視聴者の眼球位置（瞳孔の中心座標）を検出する。撮像部１１により検出された視聴者の瞳孔の中心座標は、注目状態判定部１２と注視位置特定部１４に出力される。
　注目状態判定部１２は、撮像部１１から入力された視聴者の瞳孔の中心座標に基づき、視聴者が何かに注目している状態（本実施の形態では、視聴者が番組情報に注目している状態をいう。以降、単に注目状態と称することもある）であるか否かを判定し、注目状態の判定結果を表示制御部１５へ渡す。なお、注目状態の判定方法の詳細については後述する。
　受信部１３は、放送信号を受信し、放送信号の中から映像信号、音声信号、ＳＩ（Ｓｅｒｖｉｃｅ　Ｉｎｆｏｒｍａｔｉｏｎ）等のデータを抽出する。さらに受信部１３は、ＳＩから番組情報（例えば、放送番組の番組名、放送日、放送開始・終了時間、番組概要、番組詳細内容、表示部１６に番組情報を表示する際の番組構成情報等）を抽出する。受信部１３は、抽出した番組情報を注視位置特定部１４へ渡す。
　番組情報は、ＳＩとして放送波に多重されており、視聴者が見たい番組を簡単に選択できるためのガイドであり、視聴者には新聞の番組表のような形で提供される。番組情報により視聴者に提供（または表示）される情報は、例えば、放送番組の番組名、放送日、放送開始・終了時間、番組概要、番組詳細内容等である。
　図２は、本発明の実施の形態１における表示制御装置１の表示部１６に表示される番組情報の一例を示す図である。
　番組情報２０は、番組表表示領域２１と選択番組情報表示領域２２とから構成される。番組表表示領域２１の縦軸２０１は各番組の放送開始時間および終了時間、横軸２０２は各番組の放送チャンネルを示しており、１４時から１７時までに放送される０６１、０８１、１０１チャンネルの番組の番組名および番組概要が表示されている。選択番組情報表示領域２２には、番組表表示領域２１においてカーソル２０３により選択されている番組の放送日時、番組名および番組概要が表示されている。また番組表表示領域２１は、スクロールバー２０４を含み、視聴者がリモコン等を用いてスクロールバー２０４を操作することにより、現在、番組表表示領域２１に表示されている時間とは異なる時間に各チャンネルで放送される番組の番組名および番組概要を表示することが可能である。
　また、通常、表示制御装置１は、番組表表示領域２１および選択番組情報表示領域２２に表示する文字数、行数等の制約を設けているため、情報量（文字数）が多い番組は番組名や番組概要の情報（文字）が全て表示されない場合がある。この場合、番組情報として表示しきれない情報（文字）がある場合は、例えば、該当する番組枠内に表示している番組概要の最終文の文末に「・・・」（未表示情報２０５）のような表示を行い、表示できない情報（文字）の存在を明示的に示す。視聴者はリモコン等によるカーソル２０３操作により、該当する番組を選択し決定することで、表示されていない情報（文字）やその他番組詳細内容や出演者等を含む番組詳細情報を閲覧することが可能である。図３は、本発明の実施の形態１における表示制御装置１の表示部１６に表示される番組詳細情報３０の一例を示す図である。
　注視位置特定部１４は、撮像部１１から視聴者の瞳孔の中心座標を受け取るとともに、受信部１３から番組情報を受け取る。注視位置特定部１４は、受け取った瞳孔の中心座標から表示部１６上における視聴者の視線位置の座標（注視点）を算出する。注視位置特定部１４は、算出した注視点と受信部１３から受け取った番組情報とに基づき、表示内容における注視位置の特定を行い、注視位置の特定結果を表示制御部１５へ渡す。
　表示制御部１５は、注目状態判定部１２から受け取った注目状態の判定結果と、注視位置特定部１４から受け取った注視位置の特定結果に基づき、表示部１６に表示された番組情報の未表示箇所の表示制御を行う。
　以下、表示制御装置１における注目状態の判定方法、注視位置の特定方法、表示制御方法および表示制御の全体の流れについて説明する。
　＜注目状態の判定方法＞
　初めに、表示制御装置１における注目状態の判定方法について説明する。
　撮像部１１は、カメラに入力された視聴者の画像から時刻ｔにおける視聴者の瞳孔の中心座標（ｘ（ｔ）、ｙ（ｔ））を検出する。カメラは視聴者の顔を撮影できるように撮像部１１に設けられている。この瞳孔の中心座標（ｘ（ｔ）、ｙ（ｔ））は、カメラ位置を基準として定まる座標である。撮像部１１は、視聴者の瞳孔の中心座標を検出する際、視聴者の顔から得られた眼球画像の二値化処理、瞼の除去等を行い、視聴者の瞳孔の中心座標を高い精度で検出することが可能である。
　図４は、本発明の実施の形態１における表示制御装置１の撮像部１１が有するカメラで検出された、視聴者の瞳孔の中心座標４１を示す図である。Ｃｘ、Ｃｙはそれぞれ、カメラの水平、垂直解像度の値である。図４において、水平方向をｘ軸で表し、垂直方向をｙ軸で表し、ｘ軸およびｙ軸の交点を原点としている。撮像部１１により検出された視聴者の瞳孔の中心座標（ｘ（ｔ）、ｙ（ｔ））は、注目状態判定部１２と注視位置特定部１４とに出力される。
　注目状態判定部１２は、撮像部１１から入力された視聴者の瞳孔の中心座標（ｘ（ｔ）、ｙ（ｔ））に基づき、視聴者の注目状態を判定し、注目状態の判定結果を表示制御部１５へ渡す。
　ここで、人間は静止物体に注目しているとき、人間の眼球は約３００ミリ秒間の固視状態と約３０ミリ秒間に発生する跳躍運動とを頻繁に繰り返すことが知られている。
　注目状態判定部１２は、撮像部１１から入力されたカメラにおける視聴者の瞳孔の中心座標の移動距離から、前述の固視状態と跳躍運動とが連続して発生しているかどうかを判断する。前述の固視状態と跳躍運動とが一定回数以上連続して発生している状態を検出した場合、注目状態判定部１２は、その状態を注目状態として判定する。
　例えば、注目状態判定部１２は、３００ミリ秒間（０．３秒間）の瞳孔の中心座標の移動距離がある閾値ｉ以下で、その直後の３０ミリ秒間（０．０３秒間）の瞳孔の中心座標の移動距離がある閾値ｊ以上の場合に固視状態と跳躍運動が１回発生したと判断する。時間ｔ（時刻、フレーム）ごとの瞳孔の中心座標の移動距離ｄ（ｔ）は、以下の式に基づいて算出される。
ｄ（ｔ）＝√（ｘ（ｔ）－ｘ（ｔ－１））２＋（ｙ（ｔ）－ｙ（ｔ－１））２　（式１）
　ここで、撮像部１１のカメラから入力される画像のフレーム速度をｆ（フレーム／秒）とする。注目状態判定部１２は、ｆ×０．３フレームの間におけるｄ（ｔ）の合計移動距離ｄｓｕｍ１が、以下の（式２）を満たしたときに、固視状態が発生したと判定する。
ｄｓｕｍ１≦ｉ　（式２）
　また、注目状態判定部１２は、ｆ×０．０３フレームの間におけるｄ（ｔ）の合計移動距離ｄｓｕｍ２が、以下の（式３）を満たしたときに、跳躍運動が発生したと判断する。
ｄｓｕｍ２≧ｊ　（式３）
　そして、注目状態判定部１２は、固視状態と跳躍運動とが続けて発生したことを検出し、この固視状態と跳躍運動との組み合わせが連続してある一定回数以上発生した場合、視聴者が番組情報に注目している状態、つまり注目状態であると判定し、判定結果を表示制御部１５に渡す。
　図５は、本発明の実施の形態１における表示制御装置１の注目状態判定部１２が視聴者の注目状態を判定する様子を示す図である。注目状態判定部１２は、ｆ×０．３フレームの間（３００ミリ秒間）、視聴者の瞳孔の中心座標５１の合計移動距離が閾値ｉ以下の場合に固視状態と判定し、その直後のｆ×０．０３フレームの間（３０ミリ秒間）、視聴者の瞳孔の中心座標５１の合計移動距離が閾値ｊ以上の場合に跳躍運動と判定し、この固視状態と跳躍状態が連続してある一定回数以上発生した場合、視聴者が注目状態であると判定する。
　なお、撮像部１１のカメラから入力される画像のフレーム速度は、カメラの解像度や性能、表示制御装置１の処理能力によって変化するため、フレーム速度によっては固視状態・跳躍運動を判別するフレーム数に小数点が発生してしまう。そのときは、適宜四捨五入等を行って適当なフレーム数を設定する。その場合、フレーム数を考慮し、閾値ｉ、ｊは適切な値を予め算出しておく。また、フレーム速度によっては、２フレーム間で跳躍運動が発生する時間である３０ミリ秒を超えてしてしまう場合がある。例えば、フレーム速度が１０フレーム／秒のときは、１フレームが１００ミリ秒となり、３０ミリ秒を超えてしまう。このような場合は、固視状態を検出したフレームとその直後のフレーム間での瞳孔の中心の移動距離ｄ（ｔ）をもとめ、ｄ（ｔ）がｊ以上の場合、跳躍運動が発生したと判断する。視聴者が番組情報に注目している場合（固視状態と跳躍運動が連続して発生している状態）は、固視状態・跳躍運動の直後に、再び３００ミリ秒間の固視状態が発生するため、２フレーム間で３０ミリ秒を超えていても、跳躍運動が検出できる。例えば、フレーム速度が１０フレーム／秒のときは、１、２、３フレーム（３００ミリ秒）で固視状態を検出し、３フレームと４フレーム間の瞳孔の中心の移動距離ｄ（ｔ）がｊ以上のとき、跳躍運動が発生していると判断する。ただし、２フレーム間で３００ミリ秒を超える場合は固視状態を正確に検出することができないため、フレーム速度が６フレーム毎秒（１フレーム≒１６７ミリ秒）より遅い場合は注目状態の検出ができない。
　＜注視位置の特定方法＞
　次に、表示制御装置１における注視位置の特定方法について説明する。
　前述の通り、注視位置特定部１４は、撮像部１１から視聴者の瞳孔の中心座標を受け取り、受信部１３から番組情報を受け取る。受信部１３から注視位置特定部１４に出力される番組情報には、番組構成情報が含まれている。ここで番組構成情報とは、例えば、表示部１６の番組表表示領域２１および選択番組情報表示領域２２において、番組情報を構成する文字や未表示箇所があることを示す未表示情報が配置（表示）されている位置またはスクロールバーや矢印が配置（表示）されている位置を示す情報である。注視位置特定部１４は、受け取った視聴者の瞳孔の中心座標から表示部１６上における視聴者の視線の座標（注視点）を算出する。具体的には、注視位置特定部１４は、時刻ｔにおける注視点の座標を（ｕ（ｔ）、ｖ（ｔ））とし、以下の式に基づいて注視点を算出する。
ｕ（ｔ）＝Ｔｕ／２－（ｘ（ｔ）－Ｃｘ／２）×Ａ　（式４）
ｖ（ｔ）＝Ｔｖ／２－（ｙ（ｔ）－Ｃｙ／２）×Ｂ　（式５）
ここで、ｘ（ｔ）、ｙ（ｔ）は、時刻ｔにおける視聴者の瞳孔の中心座標である。
　図６は、本発明の実施の形態１における表示制御装置１の表示部１６における注視点の座標６１を示す図である。図６において、Ｔｕ、Ｔｖは、それぞれ表示部１６の水平、垂直解像度の値である。水平方向をｕ軸で表し、垂直方向をｖ軸で表し、ｕ軸およびｖ軸の交点を原点としている。また、（式４）および（式５）で用いられている項ＡとＢは、カメラで検出された視聴者の瞳孔の中心座標の移動距離（水平、垂直方向）に対する、表示部１６上における注視点の移動距離の比であり、予めキャリブレーション（調整）を行うことで算出しておく。なお、（式４）および（式５）は、視聴者の瞳孔がカメラの真正面（撮影画像の中心）に位置するときに、視聴者の注視点が表示部１６の中心に位置するという前提の下で決定したが、あくまで一例であり、他の算出方法でも構わない。なお、注視点は、視聴者が表示部１６上で注視している箇所であり、その箇所に注目しているか否かは問わない。
　次に、注視位置特定部１４は、算出された表示部１６上の注視点と、受信部１３から受け取った番組構成情報とに基づき、注視位置、すなわち、視聴者が番組情報のどこを見ているかを特定する。注視位置の特定とは、表示部１６上の注視点が番組情報上のどこに位置しているか、どの文字上に位置しているか等を特定することを意味し、例えば、番組情報のある番組枠内の番組概要における最終行の最終文字である未表示情報上に注視点が位置していることを特定することも含む概念である。注視位置特定部１４は、注視位置の特定結果を表示制御部１５へ渡す。
　＜表示制御方法＞
　表示制御部１５は、注目状態判定部１２から受け取った注目状態の判定結果と、注視位置特定部１４から受け取った注視位置の特定結果とに基づき、視聴者が表示部１６上の番組情報の未表示情報に注目している場合、番組情報の表示制御を行い、表示されてない情報（文字）を表示させる。図７は、本発明の表示制御装置１における番組情報の番組概要の未表示箇所が表示された状態を示す図であり、図２のチャンネル０８１の１４時から放送される「自然のめぐみ」の番組概要において、未表示情報２０５の「・・・」で省略されていた表示内容が表示制御により表示されている。なお、表示制御は例えば、１行シフト表示でも、次頁表示でも構わない。１行シフトは、表示している文章全体を１行上にシフトすることで未表示文章を表示させる表示手法である。次頁表示は、現在表示している内容を全て消去し、続く文章を表示させる表示手法である。なお、図７に示す例では、表示制御後も番組名を表示しているが、番組名も含めて表示制御しても構わない。
　＜表示制御の全体の流れ＞
　最後に、表示制御装置１の表示制御の全体の流れについて、図１および図８を用いて説明する。
　図８は、本発明の実施の形態１における表示制御装置１の表示制御処理を示すフローチャートである。
　撮像部１１は、視聴者によるリモコン等の操作に基づき番組情報が表示されると（ステップＳ８１でＹｅｓ）、カメラに入力された視聴者の画像からカメラにおける視聴者の瞳孔の中心座標を検出する（ステップＳ８２）。
　注目状態判定部１２は、撮像部１１から受け取った視聴者の瞳孔の中心座標から視聴者の注目状態を検出する。視聴者の注目状態は、約３００ミリ秒間の固視状態と約３０ミリ秒間に発生する跳躍運動を頻繁に繰り返すという人間の眼球の特性を用いて検出する。注目状態判定部１２は、瞳孔の中心座標の３００ミリ秒間の合計移動距離がある閾値以下で、その直後の３０ミリ秒間の瞳孔の中心座標の合計移動距離がある閾値以上の場合に固視状態と跳躍運動が１回発生したと判断し、この固視状態と跳躍運動が連続してある一定回数以上発生した場合に注目状態と判定し、表示制御部１５に判定結果を渡す（ステップＳ８３）。
　また、注視位置特定部１４は、撮像部１１から受け取った視聴者の瞳孔の中心座標から表示部１６における視聴者の注視点を算出し、算出した注視点と受信部１３から入力される番組情報に基づき、注視位置の特定を行う。注視位置特定部１４は、注視位置の特定結果を表示制御部１５に伝える（ステップＳ８３）。
　表示制御部１５は、注目状態判定部１２から受け取った注目状態の判定結果と、注視位置特定部１４から受け取った注視位置の特定結果とに基づき、視聴者が表示部１６上の番組情報の未表示情報に注目していると判定した場合（ステップＳ８４）、未表示情報の表示制御を行い、表示されてない情報（文字）を表示させる（ステップＳ８５）。
　本発明の実施の形態１における表示制御装置および表示制御方法によれば、視聴者の眼球位置の移動および番組情報から視聴者の注目状態を判定するとともに注視位置を特定し、注目状態の判定結果と注視位置の特定結果に基づき、視聴者が番組情報の未表示情報に注目している場合、未表示箇所を表示させることにより、視聴者へ快適な表示制御を提供することが可能となる。
　（実施の形態２）
　上記の実施の形態１における表示制御装置１は、視聴者の眼球位置の移動および番組情報から視聴者の注目状態を判定するとともに注視位置を特定し、注目状態の判定結果と注視位置の特定結果とに基づき、視聴者が番組情報の未表示情報に注目している場合、未表示箇所を表示させる表示制御を行う。
　ただし、実施の形態１における表示制御装置１では、例えば、視聴者が偶然最初に未表示情報に視線を合わせた場合であっても、注目状態と判定され、かつ、注視位置が特定されると表示制御されてしまうので、未だ番組情報を読んでいない視聴者にとって不都合である。
　そこで、実施の形態２における表示制御装置は、視聴者の眼球位置の移動および番組情報から、視聴者の番組情報の文章情報への注目状態を判定するとともに注視位置を特定する。実施の形態２における表示制御装置は、番組情報に含まれる文章情報への注目状態の判定結果と注視位置の特定結果とに基づき、視聴者が番組情報の文章情報に注目しかつ番組情報の未表示情報に注目していると判定した場合、未表示箇所を表示させることにより、視聴者へより快適な表示制御装置および表示制御方法を提供する。
　図９は、本発明の実施の形態２における表示制御装置９の構成を示すブロック図である。表示制御装置９は、撮像部１１と、文章情報注目状態判定部９２と、受信部１３と、注視位置特定部１４と、表示制御部１５と、表示部１６とを備える。図９において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
　＜文章情報への注目状態の判定方法＞
　文章情報注目状態判定部９２は、撮像部１１から入力された視聴者の瞳孔の中心座標（ｘ（ｔ）、ｙ（ｔ））に基づき、視聴者の番組情報の文章情報への注目状態を判定し、視聴者の番組情報の文章情報への注目状態の判定結果を表示制御部１５へ渡す。
　ここで、人間が通常、横書きの文章に注目しているとき、視聴者の眼球は文章に沿うような形で左から右へ、約３００ミリ秒間の固視状態と約３０ミリ秒間に発生する跳躍運動を繰り返しながら視線を移動させ、文章の右端まで視線が移動した後、一気に視線を次の行に移し、また文章に沿うような形で左から右へ固視状態と跳躍運動を繰り返す。
　文章情報注目状態判定部９２は、撮像部１１から入力された視聴者の瞳孔の中心座標の移動距離に基づき、実施の形態１に記載した注目状態が継続されながら、カメラにおける視聴者の瞳孔の中心座標が所定の移動を行った場合に、その状態を文章情報への注目状態であると判定する。
　例えば、文章情報注目状態判定部９２は、実施の形態１に記載した注目状態が継続されながら、視聴者の瞳孔の中心座標がｘ軸方向（水平方向）への大きな跳躍運動が１回以上であり、かつ、ｙ軸方向（垂直方向）に大きな跳躍運動がない場合、その状態を横書きの文章情報への注目状態として判定する。横書きの文章情報への注目状態は、以下の式に基づいて検出する。
α≦｜ｘ（ｔ）－ｘ（ｔ－１）｜　（式６）
｜ｙ（ｔ）－ｙ（ｔ－１）｜≦β　（式７）
　具体的には、実施の形態１に記載した注目状態の継続中において、（式６）を１回以上満たし、かつ、（式７）を満たしているときに、文章情報注目状態判定部９２は、視聴者が横書きの文章情報に注目している状態、つまり横書きの文章情報への注目状態として判定し、横書きの文章情報への注目状態の判定結果を表示制御部１５に渡す。ここで、αは、ｘ軸方向への大きな跳躍運動（横書き文章への注目時の改行）を判別するための閾値であり、βは、ｙ軸方向に大きな跳躍運動がないことを判別するための閾値である。α、βの値は、撮像部１１のカメラから入力される画像のフレーム速度に応じてフレームごとの移動距離が変化するため、適宜適切な値を予め算出しておく。また、フレーム速度に応じて、ｘ軸方向、ｙ軸方向への跳躍運動の距離を測定する際、１フレーム間ではなく、例えば、適宜、２フレーム間、３フレーム間等での距離を測定しても構わない。
　表示制御部１５は、文章情報注目状態判定部９２から受け取った横書きの文章情報への注目状態の判定結果と、注視位置特定部１４から受け取った注視位置の特定結果に基づき、視聴者が表示部１６上の番組情報の文章情報に注目し、かつ番組情報の未表示情報に注目していると判定した場合、番組情報の表示制御を行い、表示されてない情報（文字）を表示させる。
　＜表示制御の全体の流れ＞
　表示制御装置９の表示制御の全体の流れについて、図９および図１０を用いて説明する。
　図１０は、本発明の実施の形態２における表示制御装置９の表示制御処理を示すフローチャートである。図１０に示すフローチャートは、図８に示すフローチャートのステップＳ８３をステップＳ１０３に置き換えたものである。図８と同じステップについては同じ符号を用い、説明を省略する。
　文章情報注目状態判定部９２は、撮像部１１から受け取った視聴者の瞳孔の中心座標から視聴者の横書きの番組情報への注目状態を判定する。具体的には、視聴者の番組情報への注目状態が継続されながらカメラにおける視聴者の瞳孔の中心座標がｘ軸方向（水平方向）への大きな跳躍運動が１回以上であり、かつ、ｙ軸方向（垂直方向）に大きな跳躍運動がない場合に、文章情報注目状態判定部９２は、視聴者の横書きの文章情報への注目状態と判定し、表示制御部１５に判定結果を渡す（ステップＳ１０３）。
　本発明の実施の形態２における表示制御装置は、番組情報に含まれる横書きの文章情報への注目状態の判定結果と注視位置の特定結果に基づき、視聴者が番組情報の横書きの文章情報に注目しかつ番組情報の未表示情報に注目している場合に、未表示箇所を表示させる。このような制御を行えば、例えば、視聴者が偶然最初に未表示情報に視線を合わせ、更に、注目状態の判定と注視位置の特定とがなされるケースが生じたとしても、未表示箇所が表示されてしまうことが低減される。したがって、実施の形態２によれば、視聴者の番組情報への注目状態を精度高く判定することができ、視聴者へより快適な表示制御装置および表示制御方法を提供することが可能となる。
　（実施の形態３）
　上記の実施の形態２における表示制御装置９は、番組情報に含まれる文章情報への注目状態が継続されながら、視聴者の眼球の中心座標が番組情報を構成する文字列に沿って規則的に移動していることを検出することにより、視聴者の注目状態の検出精度を向上させるものである。ただし、実施の形態２における表示制御装置９では、視聴者が番組情報に含まれる文章情報を斜め読みしたような場合、すなわち、眼球の中心座標の水平方向の移動量が単位時間当たりに所定の閾値を下回り、（式６）を満たさないような場合には、注目状態の検出精度が不十分となる可能性がある。
　そこで、本実施の形態では、表示画面上に表示される文章情報を構成する各文字と、キャリブレーションによって求められた表示画面上の注視点とのマッチングを行う。そして、表示中の文章情報を構成する文字数に対し、注視点とマッチングした文字数の割合であるマッチング割合を求める。求められたマッチング割合が所定の閾値を超えているかどうかの判定を加味することによって、視聴者の文章情報に対する注目状態の検出精度の向上を図る。
　図１１は、本発明の実施の形態３における表示制御装置１０の構成を示すブロック図である。表示制御装置１０は、撮像部１１と、注目状態判定部１２と、受信部１３と、注視位置特定部１４と、表示制御部１５と、表示部１６と、マッチング検出部９３とを備える。図１１において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
　マッチング検出部９３は、注視位置特定部１４によって特定された表示画面上の注視点の座標（ｕ（ｔ）、ｖ（ｔ））を受け取るとともに、受信部１３から番組情報を受け取る。マッチング検出部９３は、番組情報を構成する各文字の表示領域を特定し、注視点の座標が各文字の表示領域内にあるか否かを判定することによって、視聴者の注視点と各文字とのマッチングを検出する。マッチング検出部９３は、番組情報を構成する文字列に含まれる文字数に対して、視聴者の注視点がマッチングした文字数が占める割合をマッチング割合として求め、求めたマッチング割合を表示制御部１５に渡す。
　表示制御部１５は、注目状態判定部１２から受け取った注目状態の判定結果と、注視位置特定部１４から受け取った注視位置の特定結果と、マッチング検出部９３から受け取ったマッチング割合とに基づき、視聴者が表示部１６上の番組情報に注目し、番組情報の未表示情報に注目し、更に、マッチング割合が所定の閾値を越えていると判定した場合に、番組情報の表示制御を行い、表示されてない情報（文字）を表示させる。
　＜表示制御の全体の流れ＞
　表示制御装置１０の表示制御の全体の流れについて、図１２～図１４を用いて説明する。
　図１２は、本発明の実施の形態３における表示制御装置１０の表示制御処理を示すフローチャートであり、図１３は、図１２に示すマッチング割合算出処理の詳細を示すフローチャートである。図１４は、番組情報の表示例を示す図である。なお、図１２に示すフローチャートは、図８に示すフローチャートにステップＳ１２１およびＳ１２２を付加したものである。図８と同じステップについては同じ符号を用い、説明を省略する。
　ステップＳ１２１において、マッチング検出部９３は、注視位置特定部１４によって特定された注視位置と、受信部１３から受け取った番組情報に含まれる文字とのマッチングを検出し、番組情報に含まれる文字数に対して注視点とマッチングした文字数の割合を求める。
　より詳細には、図１３に示すように、マッチング検出部９３はまず、注視位置特定部１４によって特定された注視点の座標（ｕ（ｔ）、ｖ（ｔ））を包含する表示画面上の矩形領域を選択する（ステップＳ１３１）。表示画面上の表示内容が番組情報の場合は、図１４において太枠で示すように、注視されている番組のボックスを検出する。なお、表示内容が番組情報以外の場合は、注視点を包含し、あるひとかたまりの文字情報を含む矩形領域を選択しても良い。
　次に、マッチング検出部９３は、受信部１３から受け取った番組情報に基づいて、検出した矩形領域に含まれる文字数を特定する（ステップＳ１３２）。例えば、図１４の例では、「おもしろバラエティ人気芸人と芸能人がクイズ対決。早押し、推・・・」の文字情報から文字数を３０文字とカウントする。
　次に、マッチング検出部９３は、注視位置特定部１４によって特定された注視点の座標（ｕ（ｔ）、ｖ（ｔ））が各文字の表示領域に重なったか否かを検出する。注視点の座標と各文字の表示領域との重なりが検出された場合は（ステップＳ１３３でＹｅｓ）、注視点が各文字とマッチングしたと判定して、制御処理はステップＳ１３４へ進む。注視点の座標と各文字の表示領域との重なりが検出されない場合は、引き続きマッチングの検出を継続する（ステップＳ１３３でＮｏ）。各文字の表示領域は文字自体の領域、あるいは、適宜文字を囲む任意の矩形領域としても良い。
　注視点の座標と各文字の表示領域との重なりが検出された場合（ステップＳ１３３でＹｅｓ）、マッチング検出部９３は、注視点とのマッチングが検出された文字数をカウントアップする（ステップＳ１３４）。同一文字の表示領域に注視点の座標が複数回重なった場合はその都度カウントアップするか、１回のみとするか適宜決めて良い。
　次に、マッチング検出部９３は、ステップＳ１３４で求めたマッチングした文字数を、ステップＳ１３２で求めた矩形領域内の文字数で除して、マッチング割合を求める（ステップＳ１３５）。マッチング検出部９３は、求めたマッチング割合を表示制御部１５に渡す。
　図１２に戻って、表示制御部１５は、視聴者が表示部１６上の番組情報の文章情報に注目し、かつ、番組情報の未表示情報に注目していると判定した場合（ステップＳ８４でＹｅｓ）、表示制御部１５は更に、マッチング検出部９３から受け取ったマッチング割合が所定の閾値を超えているか否かを判定する（ステップＳ１２２）。マッチング検出部９３から受け取ったマッチング割合が所定の閾値を超えている場合は（ステップＳ１２２でＹｅｓ）、番組情報の表示制御を行って表示されてない情報（文字）を表示させる（ステップＳ８５）。一方、マッチング検出部９３から受け取ったマッチング割合が所定の閾値以下の場合は（ステップＳ１２２でＮｏ）、制御処理はステップＳ８３に戻る。
　このような表示制御を行えば、視聴者の注視点が忠実に文字列に沿って移動しない場合でも、閾値以上のマッチング割合を満たした状態で未表示箇所を表示することができる。図１４の例において、太枠で囲まれた番組情報を飛ばし読みした結果、例えば、「バラエティ」、「人気芸人」、「早押し」の３つの単語に対する注視点のマッチングが検出された場合を想定する。この場合、これらの単語の文字数合計から求められたマッチング割合が所定の閾値を超えていれば、文字情報の一定割合の部分が現に注視され、表示されている番組情報の内容がある程度読まれたものとして、未表示箇所を表示することができる。したがって、本実施の形態によれば、視聴者が文字情報に注視しつつ流し読みや斜め読みしたような場合と、文字情報に注視することなく視線のみを移動させた場合とを区別して認識することができるので、視聴者の眼球位置の移動に基づく表示制御の精度を一層向上させることができる。
　なお、本実施の形態に係る表示制御は、実施の形態２に係る表示制御と組み合わせて用いることがより好ましい。実施の形態２および３の表示制御を組み合わせた場合、視聴者が忠実に文字列に沿って文字情報を読んでいる場合と、文字情報に注視しつつ流し読みまたは斜め読みで文字情報を読んでいる場合との両方を認識することができ、更に精度の高い表示制御が可能となる。
　（実施の形態４）
　上記の各実施の形態においては、番組情報の未表示箇所を表示制御する例をとって説明したが、これに限定されるものではなく、本発明の未表示箇所への表示制御をスクロールバー等に適用することも可能である。以下、スクロールバーに本発明の表示制御を適用した例を説明する。
　図１５は、本発明の実施の形態４における表示制御装置１７の構成を示すブロック図である。表示制御装置１７は、撮像部１１と、注目状態判定部１２と、受信部１３と、注視位置特定部１４と、表示制御部９４と、表示部１６とを備える。図１５において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
　上記の各実施の形態では、表示画面に未表示の表示内容があることを示す情報として、図２に示される未表示情報２０５（図２における「・・・」）が用いられている。これに対して、本実施の形態では、スクロールバーによって表示画面に未表示の表示内容があることが示される。そこで、表示制御部９４は、視聴者がスクロールバーに注目かつ注視している場合に、注視点の位置に基づいてスクロールバーを操作することによって、未表示の表示内容を表示する。
　図１６は、本発明の実施の形態４における表示制御装置の表示制御処理を示すフローチャートであり、図１７Ａおよび図１７Ｂは、視聴者の注視点の位置に基づいて、スクロールバーを操作する様子を示す図である。図１６に示すフローチャートは、図８に示すフローチャートのステップＳ８３およびＳ８４に代えて、ステップＳ１６１～Ｓ１６５を挿入したものである。図８と同じステップについては同じ符号を用い、説明を省略する。
　ステップＳ１６１において、注目状態判定部１２がスクロールバーに対する注目状態を判定するとともに、注視位置特定部１４が視聴者の注視点を特定する。表示制御部９４は、注視位置特定部１４によって特定された注視位置に基づき、スクロールバー３００が注視されているか否かを判定する（ステップＳ１６２）。スクロールバー３００が注視されている場合には（ステップＳ１６２でＹｅｓ）、スクロール方向を示すアイコン３０４および３０５を表示し（ステップＳ１６３、図１７Ａ）、それ以外の場合には（ステップＳ１６２でＮｏ）、制御処理はステップＳ１６１に戻る。これらのアイコン３０４および３０５は、視聴者の注視位置の偶然の移動等によって意図せずにスクロール制御がなされてしまう等の誤操作を防止する目的で表示されている。
　次に、表示制御部９４は、注目状態判定部１２の判定結果と、注視位置特定部１４によって特定された注視位置とに基づき、表示されたアイコン３０４または３０５が注目かつ注視されているか否かを判定する（ステップＳ１６４）。アイコン３０４または３０５が注目かつ注視されている場合には（ステップＳ１６４でＹｅｓ）、制御処理はステップＳ８５に進み、それ以外の場合には（ステップＳ１６４でＮｏ）、制御処理はステップＳ１６５に進む。
　アイコン３０４または３０５が注視されていない場合（ステップＳ１６４でＮｏ）、表示制御部９４は、注目状態判定部１２の判定結果と、注視位置特定部１４によって特定された注視位置とに基づき、スクロールバー３００上のアロー３０２または３０３が注目かつ注視されているか否かを判定する（ステップＳ１６５）。アロー３０２または３０３が注目かつ注視されている場合には（ステップＳ１６５でＹｅｓ）、制御処理はステップＳ８５に進み、それ以外の場合には（ステップＳ１６５でＮｏ）、制御処理はステップＳ１６１に戻る。
　ステップＳ１６３においてアイコン３０４または３０５が注目かつ注視されていると判定された場合、あるいは、ステップＳ１６４においてアロー３０２または３０３が注目かつ注視されたと判定された場合、表示制御部９４は、画面をスクロールさせて未表示の表示内容を表示する（ステップＳ８５、図１７Ｂ）。なお、図１７Ｂでは、アイコン３０５が選択された場合のスクロール後の画面が示されている。
　このように、固視状態・跳躍運動の組み合わせに基づいて判定した注目状態と、視聴者の注視点とを利用することによって、偶然の視線の動きに起因する誤動作を低減しつつ、視聴者の視線の動きによってスクロールバー３００を操作することが可能となる。
　なお、アイコン３０４および３０５の表示位置は、視聴者の注視点の近傍であることが好ましい。この場合、スクロール操作のために必要な注視点の移動量、すなわち、視線の移動量が小さて済むので、操作性に優れる。また、アイコン３０４および３０５に代えて、小さな領域を光らせる等の他の表示内容を用いても良い。
　また、本実施の形態では、本発明の表示制御方法を用いて上下方向のスクロールバー３００を操作する例を説明したが、本発明の表示制御方法は、左右方向のスクロールバーに対しても同様に適用可能である。
　更に、本実施の形態では、スクロールバー３００に対する注目・注視を検出した後、アイコンやアロー等に対する注目・注視を検出した場合に、スクロールバー３００を操作するように制御を行っているが、注視点の相対的な位置変化に基づいてスクロールバー３００を操作しても良い。具体的には、スクロールバー３００のノブ３０１に対する注目・注視を検出した後、ノブ３０１に対して上または下の位置に対する注目・注視を検出した場合に、ノブ３０１が最初に検出した注視位置から後に検出した注視位置までスライドするようにスクロールを制御しても良い。このように制御すれば、視聴者がスクロールバー３００のノブ３０１に注目・注視した後、視線を移動させることによって、画面を所望の方向に所望の量だけスクロールさせることができる。
　更に、本実施の形態において、アイコン３０４および３０５の表示を省略し、アロー３０２および３０３に対する注目かつ注視の検出によってスクロールを制御しても良い。
　更に、本実施の形態の表示制御方法は、スクロールバー３００の操作方法のみならず、スライダーやスピンボタン、ボタン等の種々のＧＵＩオブジェクトを操作するために適用できる。また、画面上に表示されたＧＵＩリモコン等の操作やカメラ・ディスプレイ付きリモコンやスマートフォン、タブレット等上での操作にも、本実施の形態を適用可能である。
　（その他の変形例）
　図１８Ａおよび図１８Ｂは、未表示の表示内容を表示する方法を説明するための図である。
　図１８Ａに示す状態では、未表示の表示内容があることを示す未表示情報２０５（「・・・」）が表示されている。表示内容に対する注目状態が検出されている場合に、未表示情報２０５が注視されると、図１８Ｂに示すように、未表示の表示内容を表示しても良い。
　上述した図７の表示例では、図２において既に表示されていた表示内容の少なくとも一部を消去して、未表示の表示内容が表示されていた。図７の表示方法を採用した場合には、一定の表示領域内で未表示の表示内容を表示するので、表示内容の全体をコンパクトに表示することができる。これに対して、図１８Ｂの表示例では、表示領域（太枠）を下方向に拡張することによって、既に表示されている表示内容と同時に未表示の表示内容を表示している。図１８Ｂの表示方法を採用した場合には、表示内容の全体が同時に表示されるので、表示内容全体の見やすく表示できる。
　なお、図１８Ｂにおいては、表示領域を下方向に拡張して表示内容の全体を表示しているが、既に表示されている表示領域より大きな別の表示領域をポップアップさせて、表示内容の全体を表示させても良い。
　また、上記実施の形態における表示制御装置１、９、１０、１７は表示部１６を備える構成としたが、表示部は表示制御装置と別体であっても良い。
　本発明にかかる表示制御装置および表示制御方法は、テレビのＥＰＧの表示内容を初めとして、ＩＰＴＶ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ ＴＶ）やＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）等の表示内容を制御するために利用でき、テレビ、タブレットコンピュータ、スマートフォン、携帯電話機、パーソナルコンピュータ等のカメラを備えた種々の電子機器に適用可能である。
　１、９、１０、１７　　表示制御装置
　１１　　撮像部
　１２　　注目状態判定部
　１３　　受信部
　１４　　注視位置特定部
　１５、９４　　表示制御部
　１６　　表示部
　２０　　番組情報
　２１　　番組表表示領域
　２２　　選択番組情報表示領域
　３０　　番組詳細情報
　４１、５１　　瞳孔の中心座標
　６１　　注視点の座標
　９２　　文章情報注目状態判定部
　９３　　マッチング検出部
　１１０　　スクロール制御装置
　１１１　　視線検知処理部
　１１２　　文書メモリ
　１１３　　スクロール処理部
　１１４　　移動量検出部
　１１５　　時間測定処理部
　１１６　　表示部
　１１７　　文書編集処理部
　２０１　　縦軸
　２０２　　横軸
　２０３　　カーソル
　２０４　　スクロールバー
　２０５　　未表示情報
　３００　　スクロールバー
　３０１　　ノブ
　３０２、３０３　アロー
　３０４、３０５　アイコン

Claims (11)

  1. 　表示制御装置であって、
    　表示内容と前記表示内容に未表示箇所があることを示す未表示情報とを表示画面上に表示する表示部と、
    　視聴者を撮像し、前記撮像した視聴者の画像から視聴者の眼球位置を検出する撮像部と、
    　前記検出した視聴者の眼球位置の移動に基づき、前記表示画面上の表示内容に対する注目状態を判定する注目状態判定部と、
    　前記検出した視聴者の眼球位置と前記表示画面上の表示内容とに基づき、前記表示内容における注視位置を特定する注視位置特定部と、
    　前記注目状態判定部によって前記表示画面上の表示内容に対する注目状態が判定され、かつ、前記注視位置特定部によって特定された注視位置に基づいて、前記未表示情報が注視されていると判定した場合に、前記未表示箇所を前記表示部に表示させる表示制御部とを備える、表示制御装置。
  2. 　前記表示内容は、文字列を含んでおり、
    　前記注目状態判定部は、さらに、前記検出した視聴者の眼球位置の移動に基づき、前記表示画面上の文字列に対する注目状態を判定し、
    　前記表示制御部は、前記注目状態判定部によって前記表示画面上の表示内容に対する注目状態と前記表示画面上の文字列に対する注目状態との両方が判定され、かつ、前記注視位置特定部によって特定された注視位置に基づいて、前記未表示情報が注視されていると判定した場合に、前記未表示箇所を前記表示部に表示させることを特徴とする、請求項１に記載の表示制御装置。
  3. 　前記表示内容の文字列が横書きである場合、
    　前記注目状態判定部は、前記表示内容に対する注目状態が継続され、かつ、水平方向における前記検出した視聴者の眼球位置の所定時間内の移動量が第一閾値以上であり、垂直方向における前記検出した視聴者の眼球位置の前記所定時間内の移動量が第二閾値以下である場合、前記表示画面上の文字列に対する注目状態を判定することを特徴とする、請求項２に記載の表示制御装置。
  4. 　前記表示内容は、文字列を含んでおり、
    　前記注視位置特定部によって特定された注視位置と、前記文字列に含まれる各文字の位置とのマッチングを検出し、前記文字列に含まれる文字数に対してマッチングが検出された文字数の割合であるマッチング割合を求めるマッチング検出部をさらに備え、
    　前記注目状態判定部によって前記表示画面上の表示内容に対する注目状態が判定され、かつ、前記注視位置特定部によって特定された注視位置に基づいて、前記未表示情報が注視されていると判定された場合、前記表示制御部は、さらに、前記マッチング検出部によって求められたマッチング割合が第三閾値を超えていると判定した場合に、前記未表示箇所を前記表示部に表示させることを特徴とする、請求項１に記載の表示制御装置。
  5. 　前記表示内容に未表示箇所があることを示す未表示情報は、表示内容をスクロールさせるＧＵＩオブジェクトであり、
    　前記表示制御部は、前記注目状態判定部によって前記ＧＵＩオブジェクトに対する注目状態が判定され、かつ、前記注視位置特定部によって特定された注視位置に基づいて、前記ＧＵＩオブジェクトが注視されていると判定した場合に、前記注視位置特定部によって特定された注視位置の移動に基づき前記ＧＵＩオブジェクトを操作し、前記未表示箇所を前記表示部に表示させる、請求項１に記載の表示制御装置。
  6. 　前記表示制御部は、前記表示画面上に既に表示されている表示内容と共に、前記未表示箇所を表示する、請求項１に記載の表示制御装置。
  7. 　前記表示内容として番組情報を受信する受信部を更に備える、請求項１に記載の表示制御装置。
  8. 　表示制御方法であって、
    　表示内容と前記表示内容に未表示箇所があることを示す未表示情報とを表示画面上に表示する表示ステップと、
    　視聴者を撮像し、前記撮像した視聴者の画像から視聴者の眼球位置を検出する眼球位置検出ステップと、
    　前記検出した視聴者の眼球位置の移動に基づき、前記表示画面上の表示内容に対する注目状態を判定する注目状態判定ステップと、
    　前記検出した視聴者の眼球位置と前記表示画面上の表示内容とに基づき、前記表示内容における注視位置を特定する注視位置特定ステップと、
    　前記注目状態判定ステップにおいて、前記表示画面上の表示内容に対する注目状態が判定され、かつ、前記注視位置特定ステップにおいて特定された注視位置に基づいて、前記未表示情報が注視されていると判定した場合に、前記未表示箇所を表示させる表示制御ステップとを備える、表示制御方法。
  9. 　前記表示内容は文字列を含んでおり、
    　前記注目状態判定ステップにおいて、さらに、前記検出した視聴者の眼球位置の移動に基づき、前記表示画面上の文字列に対する注目状態を判定し、
    　前記表示制御ステップにおいては、前記注目状態判定ステップで前記表示画面上の表示内容に対する注目状態と前記表示画面上の文字列に対する注目状態との両方が判定され、かつ、前記中止位置特定ステップで特定された注視位置に基づいて、前記未表示情報が注視されていると判定した場合に、前記未表示箇所を表示させることを特徴とする、請求項８に記載の表示制御方法。
  10. 　前記表示内容の文字列が横書きである場合、
    　前記注目状態判定ステップでは、前記表示内容に対する注目状態が継続され、かつ、水平方向における前記検出した視聴者の眼球位置の所定時間内の移動量が第一閾値以上であり、垂直方向における前記検出した視聴者の前記所定時間内の眼球位置の移動量が垂直方向に第二閾値以下である場合、前記表示画面上の文字列に対する注目状態が判定されることを特徴とする、請求項９に記載の表示制御方法。
  11. 　前記表示内容は、文字列を含んでおり、
    　前記注視位置特定ステップで特定された注視位置と、前記文字列に含まれる各文字の表示位置とのマッチングを検出し、前記文字列に含まれる文字数に対してマッチングが検出された文字数の割合であるマッチング割合を求めるマッチング検出ステップをさらに備え、
    　前記表示制御ステップでは、前記注目状態判定ステップで前記表示画面上の表示内容に対する注目状態が判定され、かつ、前記注視位置特定ステップで特定された注視位置に基づいて、前記未表示情報が注視されていると判定された場合、さらに、前記マッチング検出ステップで求められたマッチング割合が第三閾値を超えていると判定した場合に、前記未表示箇所を表示させることを特徴とする、請求項８に記載の表示制御方法。
PCT/JP2012/000738 2011-02-14 2012-02-03 表示制御装置および表示制御方法 WO2012111272A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/982,189 US9164582B2 (en) 2011-02-14 2012-02-03 Display control device and method detecting eye position of a user

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-028203 2011-02-14
JP2011028203A JP2014077814A (ja) 2011-02-14 2011-02-14 表示制御装置および表示制御方法

Publications (1)

Publication Number Publication Date
WO2012111272A1 true WO2012111272A1 (ja) 2012-08-23

Family

ID=46672219

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/000738 WO2012111272A1 (ja) 2011-02-14 2012-02-03 表示制御装置および表示制御方法

Country Status (3)

Country Link
US (1) US9164582B2 (ja)
JP (1) JP2014077814A (ja)
WO (1) WO2012111272A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140049462A1 (en) * 2012-08-20 2014-02-20 Google Inc. User interface element focus based on user's gaze
EP2793102A3 (en) * 2013-03-18 2015-01-21 Fujitsu Limited Information processing device
JP2015032180A (ja) * 2013-08-05 2015-02-16 富士通株式会社 情報処理装置、判定方法及びプログラム
JP2015032273A (ja) * 2013-08-06 2015-02-16 富士通株式会社 精読判断装置、精読判断方法及び精読判断プログラム
JP2015032181A (ja) * 2013-08-05 2015-02-16 富士通株式会社 情報処理装置、判定方法及びプログラム
JP2015056173A (ja) * 2013-09-13 2015-03-23 富士通株式会社 情報処理装置、方法及びプログラム
JP2019536118A (ja) * 2017-08-16 2019-12-12 歌爾科技有限公司ＧｏｅｒＴｅｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． バーチャルリアリティデバイス及びそのコンテンツの調整方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9189064B2 (en) * 2012-09-05 2015-11-17 Apple Inc. Delay of display event based on user gaze
US9575960B1 (en) * 2012-09-17 2017-02-21 Amazon Technologies, Inc. Auditory enhancement using word analysis
US20140176425A1 (en) * 2012-12-20 2014-06-26 Sl Corporation System and method for identifying position of head-up display area
US20140247232A1 (en) 2013-03-01 2014-09-04 Tobii Technology Ab Two step gaze interaction
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
US11714487B2 (en) * 2013-03-04 2023-08-01 Tobii Ab Gaze and smooth pursuit based continuous foveal adjustment
US9881058B1 (en) 2013-03-14 2018-01-30 Google Inc. Methods, systems, and media for displaying information related to displayed content upon detection of user attention
US11317861B2 (en) 2013-08-13 2022-05-03 Sync-Think, Inc. Vestibular-ocular reflex test and training system
TWI489320B (zh) * 2013-10-25 2015-06-21 Utechzone Co Ltd 電子文件標記方法及裝置
US9958939B2 (en) 2013-10-31 2018-05-01 Sync-Think, Inc. System and method for dynamic content delivery based on gaze analytics
EP3065040A4 (en) * 2013-11-01 2017-06-21 Sony Corporation Information processing device, information processing method, and program
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US9325938B2 (en) * 2014-03-13 2016-04-26 Google Inc. Video chat picture-in-picture
JP6323138B2 (ja) 2014-04-17 2018-05-16 富士通株式会社 既読判断装置、既読判断方法、および既読判断プログラム
US9766702B2 (en) 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
US10460239B2 (en) * 2014-09-16 2019-10-29 International Business Machines Corporation Generation of inferred questions for a question answering system
JP6696119B2 (ja) * 2015-05-01 2020-05-20 富士通株式会社 変換装置、変換方法、及び変換プログラム
CN104965338A (zh) * 2015-07-20 2015-10-07 京东方科技集团股份有限公司 一种显示面板和显示装置
JP6613865B2 (ja) * 2015-12-15 2019-12-04 富士通株式会社 読書範囲検出装置、読書範囲検出方法及び読書範囲検出用コンピュータプログラム
JP2017027607A (ja) * 2016-08-30 2017-02-02 大日本印刷株式会社 表示形態変更システムおよび電子書籍端末
JP6770488B2 (ja) * 2017-06-13 2020-10-14 株式会社デンソーアイティーラボラトリ 注視対象物推定装置、注視対象物推定方法、およびプログラム
JP2019035903A (ja) * 2017-08-18 2019-03-07 富士ゼロックス株式会社 情報処理装置及びプログラム
JP6962079B2 (ja) * 2017-09-04 2021-11-05 株式会社Ｊｖｃケンウッド 画像音声出力装置、画像音声出力方法、及び画像音声出力プログラム
US11029834B2 (en) * 2017-12-20 2021-06-08 International Business Machines Corporation Utilizing biometric feedback to allow users to scroll content into a viewable display area
JP7139704B2 (ja) * 2018-06-13 2022-09-21 富士通株式会社 集中度評価プログラム、装置、及び方法
CN111083299A (zh) * 2018-10-18 2020-04-28 富士施乐株式会社 信息处理装置及存储介质
WO2022067302A1 (en) 2020-09-25 2022-03-31 Apple Inc. Methods for navigating user interfaces
US11720172B2 (en) * 2021-12-21 2023-08-08 Lenovo (Singapore) Pte. Ltd. Indication of key information apprisal
CN116225209A (zh) * 2022-11-03 2023-06-06 溥畅(杭州)智能科技有限公司 一种基于眼动追踪的人机交互方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02173696A (ja) * 1988-12-26 1990-07-05 Canon Inc 画像表示装置
JPH10124035A (ja) * 1996-06-26 1998-05-15 Sun Microsyst Inc アイトラッカ駆動のスクロール操作
JP2000020196A (ja) * 1998-07-01 2000-01-21 Shimadzu Corp 視線入力装置
JP2007121489A (ja) * 2005-10-26 2007-05-17 Nec Corp 携帯表示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185452A (ja) 1997-09-02 1999-03-30 Sanyo Electric Co Ltd スクロール制御装置
US7365738B2 (en) * 2003-12-02 2008-04-29 International Business Machines Corporation Guides and indicators for eye movement monitoring systems
KR100763900B1 (ko) * 2004-08-28 2007-10-05 삼성전자주식회사 사용자 시선정보에 기반한 텔레비전 프로그램 녹화/재생방법 및 그 장치
JP2007271848A (ja) 2006-03-31 2007-10-18 Casio Comput Co Ltd 映像出力装置、及び映像出力方法
EP2441383B1 (en) * 2009-06-08 2015-10-07 Panasonic Intellectual Property Corporation of America Gaze target determination device and gaze target determination method
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02173696A (ja) * 1988-12-26 1990-07-05 Canon Inc 画像表示装置
JPH10124035A (ja) * 1996-06-26 1998-05-15 Sun Microsyst Inc アイトラッカ駆動のスクロール操作
JP2000020196A (ja) * 1998-07-01 2000-01-21 Shimadzu Corp 視線入力装置
JP2007121489A (ja) * 2005-10-26 2007-05-17 Nec Corp 携帯表示装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140049462A1 (en) * 2012-08-20 2014-02-20 Google Inc. User interface element focus based on user's gaze
EP2793102A3 (en) * 2013-03-18 2015-01-21 Fujitsu Limited Information processing device
JP2015032180A (ja) * 2013-08-05 2015-02-16 富士通株式会社 情報処理装置、判定方法及びプログラム
JP2015032181A (ja) * 2013-08-05 2015-02-16 富士通株式会社 情報処理装置、判定方法及びプログラム
JP2015032273A (ja) * 2013-08-06 2015-02-16 富士通株式会社 精読判断装置、精読判断方法及び精読判断プログラム
JP2015056173A (ja) * 2013-09-13 2015-03-23 富士通株式会社 情報処理装置、方法及びプログラム
JP2019536118A (ja) * 2017-08-16 2019-12-12 歌爾科技有限公司ＧｏｅｒＴｅｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． バーチャルリアリティデバイス及びそのコンテンツの調整方法

Also Published As

Publication number Publication date
JP2014077814A (ja) 2014-05-01
US9164582B2 (en) 2015-10-20
US20130300654A1 (en) 2013-11-14

Similar Documents

Publication Publication Date Title
WO2012111272A1 (ja) 表示制御装置および表示制御方法
US8532346B2 (en) Device, method and computer program product
JP5423183B2 (ja) 表示制御装置および表示制御方法
CN110543271B (zh) 信息处理装置、信息处理方法和非瞬时性计算机可读介质
US20170102776A1 (en) Information processing apparatus, method and program
US8421823B2 (en) Overlaying camera-derived viewer emotion indication on video display
KR101079598B1 (ko) 디스플레이장치 및 그 제어방법
CN110266977B (zh) 半导体集成电路和图像显示的控制方法
EP2613243A2 (en) Display apparatus and controlling method thereof
US20140189566A1 (en) Method and an apparatus for processing at least two screens
US20100251171A1 (en) Graphical user interface which adapts to viewing distance
US20110035707A1 (en) Stereoscopic display device and display method
CN113051432B (zh) 显示设备及媒资播放方法
EP2595045A2 (en) Display apparatus and control method thereof
EP2521353A1 (en) Image processing device, image processing method, and image processing program
KR20130088493A (ko) Ｕｉ 제공 방법 및 이를 적용한 영상 수신 장치
US20230405435A1 (en) Home training service providing method and display device performing same
US20180366089A1 (en) Head mounted display cooperative display system, system including dispay apparatus and head mounted display, and display apparatus thereof
JP2012173683A (ja) 表示制御装置、情報表示装置、及び表示制御方法
EP2445206A1 (en) Television and signal source displaying method thereof
JP2010258940A (ja) 表示文字自動調整機能付き表示装置
KR101314685B1 (ko) 촬영부를 구비한 디스플레이 장치 및 이를 제어하는 리모콘, 그 디스플레이 제어 방법
JP2009010849A (ja) 電子機器の制御装置
US20130127841A1 (en) Three-dimensional (3d) image display method and apparatus for 3d imaging and displaying contents according to start or end of operation
CN112399235A (zh) 一种智能电视的摄像头拍照效果增强方法及显示设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12747549

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13982189

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12747549

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP