WO2011074198A1 - ユーザインタフェース装置および入力方法 - Google Patents

ユーザインタフェース装置および入力方法 Download PDF

Info

Publication number
WO2011074198A1
WO2011074198A1 PCT/JP2010/007026 JP2010007026W WO2011074198A1 WO 2011074198 A1 WO2011074198 A1 WO 2011074198A1 JP 2010007026 W JP2010007026 W JP 2010007026W WO 2011074198 A1 WO2011074198 A1 WO 2011074198A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
interest
degree
user interface
strength
Prior art date
Application number
PCT/JP2010/007026
Other languages
English (en)
French (fr)
Inventor
幸太郎 坂田
前田　茂則
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2011545938A priority Critical patent/JP5602155B2/ja
Priority to CN201080006051.5A priority patent/CN102301316B/zh
Priority to EP10837235.0A priority patent/EP2515206B1/en
Priority to US13/147,246 priority patent/US8830164B2/en
Publication of WO2011074198A1 publication Critical patent/WO2011074198A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a user interface device and an input method for estimating a user's interest level in order to perform input processing based on the user's interest level for a plurality of objects displayed on a screen.
  • the current general information system reacts according to the user's "explicit instructions” (for example, the user inputs characters with a keyboard, presses buttons on a remote control, or specifies an object with a pointing device).
  • an interaction form for presenting information is adopted.
  • smooth communication between a person and a system may be difficult due to troublesome operation, difficulty, and troublesome intention expression.
  • Non-Patent Document 1 a user who views video content is photographed, and a tag of “Neutral”, “Positive”, or “Negative” is attached to the video content by estimating the degree of interest from the facial expression, and the program Systems that provide useful information when making recommendations have been proposed.
  • Patent Document 1 in an image reproduction system that sequentially switches and reproduces a plurality of target images, peripheral sounds (viewer cheers etc.) or viewer movements (changes in facial expressions, etc.) during playback display. Based on this, a system for dynamically determining the display time of a target image is shown. In these techniques, basically, the degree of interest in a single content displayed on the screen is determined.
  • a gaze can be given as a representative physical reaction for estimating a user's interest, interest, or intention for each of a plurality of contents displayed on the screen.
  • Vision is dominant for humans to acquire information, while the central vision and effective visual field are limited in size. Therefore, in order to acquire information from the target, it is necessary to move the gazing point to the target, and as a result, the line of sight concentrates on the target with interest. Therefore, it can be said that the line of sight easily reflects the interest, interest, or intention of a person.
  • Patent Document 2 discloses an apparatus that determines an object having a long gaze residence time as a user's desired object.
  • This device displays a plurality of images as options on the screen, the user detects the line of sight toward the image with a line-of-sight angle detector, measures the dwell time of the line of sight in each image, and The images intended by the user are selected.
  • the present invention solves the above-described conventional problems, and estimates the user's interest level with high accuracy in order to perform input processing based on the user's interest level for a plurality of objects displayed on the screen. It is an object of the present invention to provide a user interface device and an input method that can be used.
  • a user interface device determines an interest level of a user in order to perform input processing based on the interest level of the user with respect to a plurality of objects displayed on a screen.
  • a user interface device that estimates, a gaze direction detection unit that detects a gaze direction of the user, and a gaze dwell time calculation unit that calculates a dwell time in the gaze direction for each of the plurality of objects as a gaze dwell time;
  • An attracting strength calculation unit that calculates an attracting strength for each object, and the degree of interest increases as the eye gaze residence time increases, and the degree of interest increases as the attracting strength decreases.
  • An interest level estimation unit that estimates the interest level of the user for each.
  • the degree of interest of the user it is possible to estimate the degree of interest of the user based on the eye-catching strength of each object in addition to the gaze dwell time of each object. If the attracting strength of the object is high, the user turns his gaze even if he is not interested in the object. That is, the line-of-sight residence time varies according to not only the degree of interest of the user with respect to the object but also the attractiveness intensity of the object. Therefore, by estimating the degree of interest based on the attractiveness intensity, it is possible to suppress the influence of the time that is not related to the user's degree of interest in the gaze dwelling time on the estimation of the degree of interest. That is, it is possible to estimate the degree of interest of the user with respect to the object with high accuracy. For example, power consumption can be reduced by performing display control such as displaying only objects having a high degree of interest of the user based on the degree of interest estimated in this way.
  • the attraction strength calculation unit calculates the attraction strength for each object based on physical characteristics of the image of the object.
  • the attraction strength calculation unit may calculate the attraction strength so that the attraction strength increases as the complexity increases, based on the complexity of the image of the object.
  • the attraction strength calculation unit calculates the attraction strength so that the higher the degree of heterogeneity, the greater the degree of attraction, based on the degree of heterogeneity of the image of the object with respect to images around the object. May be.
  • the attractive strength can be calculated based on the physical characteristics of the object.
  • the attraction strength depends on the physical characteristics of the object (for example, the complexity or heterogeneity of the object). For example, if the complexity of the image of the object is high, it takes a long time to turn the line of sight toward the object in order to understand the contents of the object. Therefore, by calculating the attracting strength based on the physical characteristics of the object, the attracting strength can be accurately calculated, and the degree of interest of the user can be estimated with high accuracy.
  • the attraction strength calculating unit calculates the attraction strength so that the attraction strength increases for each object as the psychological distance between the object and the user is shorter.
  • the attraction strength calculation unit may calculate the psychological distance for each object so that the psychological distance becomes shorter as the number of times the user has viewed the object in the past increases.
  • the attraction strength calculating unit determines whether the user is the object when the user is the creator of the object based on whether the user is the creator of the object.
  • the psychological distance may be calculated so that the psychological distance is shorter than when the person is not the creator of the above.
  • the psychological distance may be calculated so that the psychological distance becomes shorter.
  • the attractiveness intensity can be calculated based on the psychological distance between the object and the user.
  • the attraction strength is the psychological distance between the object and the user (for example, the number of times the user has viewed the object, whether the user is the creator of the object, and whether the user is displayed on the object) Etc.). Therefore, by calculating the attracting strength based on the psychological distance between the object and the user, the attracting strength can be accurately calculated, and the degree of interest of the user can be estimated with high accuracy.
  • the attraction strength calculation unit calculates the attraction strength for each object based on a physical positional relationship between the object and the user. In this case, for example, for each object, the attracting strength calculation unit calculates the attracting strength so that the attracting strength increases as the physical distance decreases based on the physical distance between the object and the user. It may be calculated. In addition, for example, for each object, the attraction strength calculation unit is configured to increase the attraction strength as the angle is smaller based on an angle between a line connecting the object and the user and a normal line of the screen. The intensity may be calculated.
  • the attractiveness intensity can be calculated based on the physical positional relationship between the object and the user.
  • the attractive strength depends on the physical positional relationship between the object and the user (for example, the physical distance between the object and the user, or the direction of the object with respect to the user). For example, if the physical distance between the object and the user is short, the time for directing the line of sight to the object becomes long. Therefore, by calculating the attracting strength based on the physical positional relationship between the object and the user, the attracting strength can be accurately calculated, and the degree of interest of the user can be estimated with high accuracy.
  • the interest level estimation unit calculates a corrected gaze dwell time by correcting the gaze dwell time so as to be shorter as the attracting strength is larger, and the interest level is higher as the calculated corrected gaze dwell time is longer.
  • the degree of interest is estimated as follows.
  • the degree-of-interest estimation unit may calculate the corrected gaze dwell time by subtracting a time corresponding to the attraction intensity from the gaze dwell time.
  • the interest level estimation unit may calculate the corrected gaze dwell time by dividing the gaze dwell time using a value corresponding to the attracting strength.
  • a screen control unit that performs display control of the screen according to the estimated degree of interest.
  • the screen control unit may display information on the object having the highest estimated interest level among the plurality of objects on the screen. Further, for example, the screen control unit may display an object excluding an object having the highest estimated interest level among the plurality of objects or an object having the highest estimated interest level among the plurality of objects. You may change an aspect.
  • display control of the screen can be performed according to the estimated interest level. For example, among the plurality of objects, the display brightness of the objects other than the object having the highest estimated degree of interest can be reduced, and the power consumption for displaying the plurality of objects can be reduced.
  • the user interface device may be configured as an integrated circuit.
  • the present invention can be realized not only as such a user interface device, but also as an input method in which the operation of the characteristic components included in such a user interface device is a step.
  • the present invention can also be realized as a program that causes a computer to execute each step included in the input method.
  • Such a program can be distributed via a computer-readable non-transitory recording medium such as a CD-ROM (Compact Disc Only Memory) or a transmission medium such as the Internet.
  • the user's interest level can be estimated with high accuracy in order to perform input processing based on the user's interest level for a plurality of objects displayed on the screen.
  • FIG. 1 is a block diagram showing a functional configuration of a user interface system according to an embodiment of the present invention.
  • FIG. 2A is a diagram for explaining an arrangement example of cameras in the embodiment of the present invention.
  • FIG. 2B is a diagram for explaining an installation example of the camera according to the embodiment of the present invention.
  • FIG. 2C is a diagram for explaining an installation example of the camera according to the embodiment of the present invention.
  • FIG. 3 is a flowchart showing an input method according to the embodiment of the present invention.
  • FIG. 4 is a diagram for explaining the gaze direction detection processing in the embodiment of the present invention.
  • FIG. 5 is a flowchart showing the flow of gaze direction detection processing in the embodiment of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of a user interface system according to an embodiment of the present invention.
  • FIG. 2A is a diagram for explaining an arrangement example of cameras in the embodiment of the present invention.
  • FIG. 2B is a diagram for explaining an installation example of the
  • FIG. 6 is a diagram for explaining the process of detecting the face orientation according to the embodiment of the present invention.
  • FIG. 7 is a diagram for explaining the calculation of the line-of-sight direction reference plane in the embodiment of the present invention.
  • FIG. 8 is a diagram for explaining detection of the center of the black eye in the embodiment of the present invention.
  • FIG. 9 is a diagram for explaining the detection of the center of the black eye in the embodiment of the present invention.
  • FIG. 10 is a diagram showing a display example of an object in the embodiment of the present invention.
  • FIG. 11A is a diagram for describing an example of a method of correcting the line-of-sight dwell time according to the embodiment of the present invention.
  • FIG. 11B is a diagram for describing an example of a method of correcting the line-of-sight dwell time according to the embodiment of the present invention.
  • the user can easily turn his gaze toward an object with a high attracting strength. For example, when a user sees an object, the user looks at the main part of the object to understand what is drawn. At this time, if the main part of the object includes information that takes time to understand what is drawn, the gaze dwell time becomes long.
  • the gaze dwell time includes not only the time when the user is gazing because the degree of interest in the object is high, but also the time when the gaze is directed because the attracting strength of the object is high. Therefore, the user interface device 10 according to the present embodiment estimates the degree of interest of the user using not only the line-of-sight dwell time but also the attracting strength of each object.
  • FIG. 1 is a block diagram showing a functional configuration of a user interface system 100 according to the embodiment of the present invention.
  • the user interface system 100 includes a user interface device 10, a display device 20, and a camera 30.
  • the user interface device 10 estimates the degree of interest of the user in order to perform input processing based on the degree of interest of the user with respect to the plurality of objects displayed on the screen 26.
  • the object is information displayed on a part or all of the screen 26.
  • the object includes content such as a photograph, video, or text.
  • the object includes an icon, a menu, a button, or the like that is used as a GUI (Graphical User Interface).
  • the interest level is a value indicating the degree of interest of the user with respect to the contents of the object displayed on the screen 26. That is, the degree of interest is a value indicating how much the user is interested in the content of the object.
  • the user interface device 10 includes a gaze direction detection unit 11, a gaze dwell time calculation unit 12, an attractiveness calculation unit 13, and an interest level estimation unit 14.
  • the gaze direction detection unit 11 detects the gaze direction of the user. In the present embodiment, the gaze direction detection unit 11 detects the user's gaze direction from the image information generated by the camera 30.
  • the line-of-sight direction is the direction of a straight line connecting the point that the user is gazing with the user's eyes. That is, the line-of-sight direction is a direction of a straight line connecting the gazing point on the user's screen 26 and the user's eyes.
  • the line-of-sight residence time calculation unit 12 calculates the line-of-sight residence time for each of the plurality of objects displayed on the screen 26 as the line-of-sight residence time.
  • the residence time is the time during which the line-of-sight direction stays within a certain range.
  • the dwell time is the length of time that the gazing point on the screen 26 obtained from the line-of-sight direction is continuously present in the display area of the object, for example.
  • the attraction strength calculator 13 calculates the attraction strength for each object.
  • the attractive strength is a value indicating the strength of attractiveness. That is, the attracting strength is a value indicating the degree of ease of visual attention.
  • the interest level estimation unit 14 estimates the user's interest level for each of the plurality of objects so that the interest level increases as the gaze residence time increases and the interest level increases as the attracting strength decreases.
  • the degree-of-interest estimation unit 14 calculates a corrected line-of-sight dwell time in which the line-of-sight dwell time is corrected so as to decrease as the attracting strength increases. Then, the degree-of-interest estimation unit 14 estimates the degree of interest so that the degree of interest increases as the calculated corrected gaze residence time increases. Further, the interest level estimation unit 14 outputs the estimated interest level of the user to the display device 20.
  • the display device 20 displays a plurality of objects on the screen 26.
  • the display device 20 includes a screen control unit 25 and a screen 26.
  • the screen control unit 25 performs display control of the screen 26 according to the estimated interest level. Specifically, the screen control unit 25 displays, for example, information on an object having the highest estimated interest level on the screen 26 among a plurality of objects. For example, when the object is movie content, the screen control unit 25 displays the story, director, or cast of the movie content as information about the object.
  • the screen control unit 25 may change the display mode of the object having the highest estimated degree of interest among the plurality of objects. Specifically, the screen control unit 25 may change the display mode of the object, for example, by increasing the display area of the object, increasing the display brightness, or increasing the sharpness.
  • the screen control unit 25 may change the display mode of the objects excluding the object having the highest estimated degree of interest among the plurality of objects. For example, the screen control unit 25 may reduce the display brightness of objects other than the object having the highest estimated degree of interest among the plurality of objects.
  • the display device 20 displays information suitable for the user on the screen 26 without an explicit instruction from the user. It is possible to do. Therefore, the user interface system 100 can improve user convenience. Further, the display device 20 can reduce the display brightness of the object according to the degree of interest of the user, and can also reduce power consumption for displaying a plurality of objects.
  • the screen 26 is, for example, a liquid crystal display panel or a plasma display panel. A plurality of objects are displayed on the screen 26 by the screen control unit 25.
  • the camera 30 shoots the user and generates image information.
  • the camera 30 includes an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the camera 30 captures an image of a user existing in front of the screen 26 of the display device 20.
  • the camera 30 is installed around the display device 20. Specifically, the camera 30 is installed at a position where the user existing in front of the screen 26 can be photographed. More specifically, the camera 30 is installed at a position shown in FIGS. 2A to 2C, for example.
  • FIGS. 2A to 2C are diagrams for explaining an installation example of the camera 30 according to the embodiment of the present invention.
  • the camera 30 is attached to the upper end portion of the screen 26 of the display device 20.
  • the camera 30 may be installed in the vicinity of the screen 26 without being attached to the display device 20.
  • the camera 30 may be installed on the wall surface or ceiling of a room in which the display device 20 is installed. That is, the camera 30 may be installed at an appropriate position in the space where the display device 20 is installed.
  • FIG. 3 is a flowchart showing an input method according to the embodiment of the present invention.
  • the gaze direction detection unit 11 detects the gaze direction of the user (S101). Thereafter, the line-of-sight residence time calculation unit 12 calculates the line-of-sight residence time for each of the plurality of objects displayed on the screen (S102).
  • the attracting strength calculation unit 13 calculates the attracting strength for each object (S103).
  • the degree-of-interest estimation unit 14 estimates the degree of interest of the user with respect to each of the plurality of objects so that the degree of interest increases as the gaze residence time increases and the degree of interest increases as the attracting strength decreases. (S104).
  • FIG. 4 is a diagram for explaining the gaze direction detection processing in the embodiment of the present invention.
  • the line-of-sight direction is calculated based on a combination of the orientation of the user's face (hereinafter simply referred to as “face orientation”) and the direction of the black eye portion in the user's eyes (hereinafter simply referred to as “black-eye direction”). .
  • FIG. 5 is a flowchart showing a flow of gaze direction detection processing in the embodiment of the present invention.
  • the line-of-sight direction detection unit 11 acquires an image in which the camera 30 captures a user existing in front of the screen 26 (S501). Subsequently, the line-of-sight direction detection unit 11 detects a face area from the acquired image (S502). Next, the line-of-sight direction detection unit 11 applies the area of the face part feature point corresponding to each reference face direction to the detected face area, and cuts out the area image of each face part feature point (S503).
  • the line-of-sight direction detection unit 11 calculates the degree of correlation between the clipped region image and the template image stored in advance (S504). Subsequently, the line-of-sight direction detection unit 11 obtains a weighted sum obtained by weighting and adding the angle indicated by each reference face direction in accordance with the calculated ratio of correlation degrees, and the user corresponding to the detected face area. The face orientation is detected (S505).
  • FIG. 6 is a diagram for explaining the process of detecting the face orientation according to the embodiment of the present invention.
  • the line-of-sight direction detection unit 11 reads the facial part feature point area from the facial part area DB that stores the facial part feature point areas corresponding to each reference face direction. . Subsequently, as shown in FIG. 6B, the line-of-sight direction detection unit 11 applies the face part feature point area to the face area of the photographed image for each reference face direction, and the face part feature point area. Cut out images for each reference face.
  • the line-of-sight direction detection unit 11 calculates the degree of correlation between the clipped region image and the template image held in the face part region template DB for each reference face direction. .
  • the line-of-sight direction detection unit 11 calculates a weight for each reference face direction in accordance with the high degree of correlation indicated by the calculated degree of correlation. For example, the line-of-sight direction detection unit 11 calculates, as a weight, the ratio of the correlation degree of each reference face direction to the sum of the correlation degrees of the reference face direction.
  • the line-of-sight direction detection unit 11 calculates the sum of values obtained by multiplying the angle indicated by the reference face direction by the calculated weight, as shown in FIG. Detect as.
  • the weight for the reference face direction +20 degrees is “0.85”
  • the weight for the front direction is “0.14”
  • the line-of-sight direction detection unit 11 calculates the correlation degree for the facial part feature point area image, but is not limited to this, for example, calculates the correlation degree for the entire face area image. Also good.
  • As another method of detecting the face orientation there is a method of detecting facial part feature points such as eyes, nose and mouth from the face image and calculating the face orientation from the positional relationship of the facial part feature points.
  • the facial part feature point As a method of calculating the face orientation from the positional relationship of the facial part feature points, rotate and enlarge the 3D model of the facial part feature points prepared in advance so as to best match the facial part feature points obtained from one camera. There is a method of calculating the face orientation from the rotation amount of the obtained three-dimensional model by reducing and matching. Further, as another method for calculating the face orientation from the positional relationship between the facial part feature points, the facial part feature point positions in the left and right cameras using the principle of stereo vision based on images taken by two cameras. There is a method of calculating the three-dimensional position of each facial part feature point from the deviation on the image and calculating the face direction from the positional relationship of the obtained facial part feature points. For example, there is a method of detecting the normal direction of the plane stretched by the three-dimensional coordinate points of both eyes and mouth as the face direction.
  • the gaze direction detection unit 11 detects the three-dimensional positions of the left and right eyes of the user using the stereo image captured by the camera 30, and calculates the gaze direction reference plane using the detected three-dimensional positions of the left and right eyes. (S506). Subsequently, the line-of-sight direction detection unit 11 detects the three-dimensional position of the center of the left and right eyes of the user using the stereo image captured by the camera 30 (S507). The line-of-sight direction detection unit 11 detects the black-eye direction using the line-of-sight direction reference plane and the three-dimensional position of the left and right black-eye centers (S508).
  • the line-of-sight direction detection unit 11 detects the user's line-of-sight direction using the detected face direction and black-eye direction of the user (S509).
  • the gaze direction detection unit 11 first calculates a gaze direction reference plane. Subsequently, the line-of-sight direction detection unit 11 detects the three-dimensional position of the center of the black eye. Finally, the gaze direction detection unit 11 detects the black eye direction.
  • FIG. 7 is a diagram for explaining the calculation of the line-of-sight direction reference plane in the embodiment of the present invention.
  • the line-of-sight direction reference plane is a plane that serves as a reference when detecting the direction of the black eye, and is the same as the left-right symmetric plane of the face as shown in FIG.
  • the position of the eye is less affected by facial expressions and less erroneously detected than other facial parts such as the corner of the eye, the corner of the mouth, or the eyebrows. Therefore, the line-of-sight direction detection unit 11 calculates the line-of-sight direction reference plane, which is a symmetrical plane of the face, using the three-dimensional position of the eye.
  • the line-of-sight direction detection unit 11 uses a face detection module and a face component detection module in each of two images (stereo images) taken by a stereo camera, which is the camera 30, to detect the right and left eye regions. Is detected. Then, the line-of-sight direction detection unit 11 measures the three-dimensional position of each of the right and left eyes using the detected positional shift (parallax) between the images of the eye areas. Further, as shown in FIG. 7, the line-of-sight direction detection unit 11 calculates, as the line-of-sight direction reference plane, a vertical bisector with a line segment whose end point is the detected three-dimensional position of the left and right eye eyes.
  • FIG 8 and 9 are diagrams for explaining detection of the center of the black eye in the embodiment of the present invention.
  • the line-of-sight direction detection unit 11 detects the center of the black eye when detecting the black eye direction. Perform detection.
  • the gaze direction detection unit 11 first detects the position of the corner of the eye and the position of the eye from the captured image. Then, the line-of-sight direction detection unit 11 detects, as a black eye region, a region having a low luminance from a region including the corners of the eyes and the eyes as shown in FIG. Specifically, the line-of-sight direction detection unit 11 detects, for example, an area where the luminance is equal to or less than a predetermined threshold and is larger than a predetermined size as a black eye area.
  • the line-of-sight detection unit 11 sets a black-eye detection filter including the first region 1 and the second region as shown in FIG. 8 at an arbitrary position in the black-eye region. Then, the line-of-sight direction detection unit 11 searches for the position of the black-eye detection filter that maximizes the inter-region variance between the luminance of the pixels in the first region 1 and the luminance of the pixels in the second region. The indicated position is detected as the center of the black eye. Finally, the line-of-sight direction detection unit 11 detects the three-dimensional position of the center of the black eye using the shift of the position of the center of the black eye in the stereo image, as described above.
  • the gaze direction detecting unit 11 detects the black eye direction using the calculated gaze direction reference plane and the detected three-dimensional position of the center of the black eye. It is known that there is almost no individual difference in the diameter of an eyeball of an adult. For example, in the case of a Japanese, it is about 24 mm. Accordingly, if the position of the center of the black eye when the reference direction (for example, the front) is known is known, it can be converted and calculated in the direction of the black eye by obtaining the displacement from there to the current center position of the black eye.
  • the reference direction for example, the front
  • the gaze direction detection unit 11 uses the fact that the midpoint of the center of the left and right black eyes exists on the center of the face, that is, the gaze direction reference plane.
  • the black eye direction is detected by calculating the distance between the reference line and the reference direction.
  • the line-of-sight direction detection unit 11 uses the eyeball radius R and the distance d of the midpoint of the line segment connecting the centers of the left and right black eyes with respect to the line-of-sight direction reference plane (hereinafter referred to as “black-eye midpoint”).
  • black-eye midpoint the line-of-sight direction reference plane
  • the gaze direction detection unit 11 detects the black eye direction using the gaze direction reference plane and the three-dimensional position of the black eye center.
  • the gaze direction detection unit 11 detects the gaze direction of the user in the real space using the detected face direction and the black eye direction.
  • the line-of-sight dwell time calculation unit 12 calculates the dwell time in the line-of-sight direction for each object on the screen 26 based on the line-of-sight direction detected by the line-of-sight direction detection unit 11. That is, the line-of-sight dwell time calculation unit 12 calculates the time during which the line-of-sight direction dwells in order to see the object on the screen 26 for each object.
  • the gaze residence time calculation unit 12 acquires, for example, the three-dimensional position of the user's eyes. Then, the line-of-sight residence time calculation unit 12 calculates an intersection point between the screen 26 and a straight line extending in the line-of-sight direction from the three-dimensional position of the user's eyes. Further, the line-of-sight residence time calculation unit 12 calculates, as the line-of-sight residence time, for each object, the time during which the gazing point is continuously present in the display area of the object.
  • the line-of-sight residence time calculation unit 12 does not necessarily calculate the line-of-sight residence time as described above.
  • the line-of-sight dwell time calculation unit 12 may calculate, as the line-of-sight dwell time, for each object, the time during which the gazing point is continuously present within a certain range centered on the display area of the object.
  • the gaze residence time calculation unit 12 may detect that the gaze point stays within the area when the gaze point moves outside the display area of the object and returns to the display area within a predetermined time.
  • the gaze dwell time may be calculated by regarding that the gazing point is continuously present.
  • the attracting strength indicates the degree of ease of visual attention.
  • the attractiveness intensity is a value indicating how easily the image of each object displayed on the screen draws the user's line of sight.
  • the attractiveness intensity depends on the physical characteristics of the image. For example, the higher the color or texture of an image is, the more likely it is to catch the user's line of sight as the lightness or saturation increases. In addition, the more dissimilar the surrounding image and physical features are, the easier the image is to draw the user's line of sight.
  • the attractiveness intensity also depends on the psychological distance between the user and the object. For example, an image that has a deeper relationship with the user or an image that has a higher number of times of visual recognition tends to draw the user's line of sight.
  • the psychological distance indicates a psychological relationship between the user and the object.
  • the psychological distance becomes shorter as the psychological relationship between the user and the object is higher.
  • the attractiveness strength depends on the physical positional relationship between the user and the object. That is, the attractiveness intensity is also affected by the positional relationship between the position where the user exists and the position where the object is displayed. For example, an image displayed in front of the user tends to draw the user's line of sight.
  • the attracting strength calculation unit 13 calculates the attracting strength A (i) of the object i as shown in Equation 2.
  • Image (i) represents the attractiveness intensity based on the physical characteristics of the image of the object i. That is, the attraction strength calculation unit 13 calculates the attraction strength for each object based on the physical characteristics of the image of the object.
  • Apsy (i) represents the attractiveness intensity based on the psychological distance between the user and the object i. That is, for each object, the attracting strength calculation unit 13 calculates the attracting strength so that the attracting strength increases as the psychological distance between the object and the user decreases.
  • Aphy (i) represents the attractiveness intensity based on the physical positional relationship between the user and the object i. That is, the attraction strength calculator 13 calculates the attraction strength for each object based on the physical positional relationship between the object and the user.
  • a1, a2, and a3 are adjustment parameters for adjusting the influence of each term on the attractive strength.
  • a predetermined numerical value of 0 or more is set in a1, a2, and a3.
  • 0 may be set to a2 and a3, and a numerical value greater than 0 may be set to a1. That is, a numerical value larger than 0 may be set in at least one of a1, a2, and a3.
  • the attraction intensity calculation unit 13 is based on at least one of the physical characteristics of the image of the object, the psychological distance between the object and the user, and the physical positional relationship between the object and the user.
  • the attractive strength may be calculated.
  • i1, i2, s1, s2, s3, h1, and h2 are adjustment parameters for adjusting the influence of each term on the attractive strength.
  • predetermined numerical values of 0 or more are set.
  • complex (i) represents the complexity of the image of the object i. Therefore, for each object, the attracting strength calculation unit 13 calculates the attracting strength so that the attracting strength increases as the complexity increases, based on the complexity of the image of the object.
  • hetero (i) represents the degree of heterogeneity of the image of the object i with respect to the image around the object i. Therefore, for each object, the attracting strength calculation unit 13 calculates the attracting strength so that the attracting strength increases as the degree of heterogeneity increases, based on the dissimilarity of the image of the object with respect to the surrounding image of the object.
  • e_st (i) is “1” if the user is the creator of the object i, and “0” otherwise. That is, when the user is the creator of the object and the user is not the creator of the object based on whether or not the user is the creator of the object for each object.
  • the psychological distance is calculated so that the psychological distance becomes shorter.
  • the user interface device 10 receives in advance input of identification information for identifying the user from the user, and determines whether or not the user is the creator of the object based on the identification information. do it.
  • information for identifying the creator of an object may be stored in advance in a storage unit (not shown) in association with the object, for example.
  • E_sb (i) is “1” if the user is a subject displayed in the object i, and “0” otherwise. That is, for each object, the attracting strength calculation unit 13 determines, based on whether or not the user is a subject displayed in the object, a psychological distance when the user is a subject than when the user is not a subject. The psychological distance is calculated so that becomes short.
  • the user interface device 10 receives, for example, input of identification information for identifying the user from the user in advance, and based on the identification information, the user is a subject displayed in the object. What is necessary is just to determine whether there exists.
  • information for identifying a subject displayed in an object may be stored in advance in a storage unit (not shown) in association with the object, for example.
  • E_w (i) represents the number of times the user visually recognized the object i (hereinafter simply referred to as “visual number”). Therefore, the attracting strength calculation unit 13 calculates the psychological distance for each object so that the psychological distance becomes shorter as the number of times the user has viewed the object in the past increases.
  • dist (i) represents a physical distance between the user and the object i. Therefore, for each object, the attracting strength calculation unit 13 calculates the attracting strength so that the attracting strength increases as the physical distance decreases, based on the physical distance between the object and the user.
  • Ang (i) represents an angle formed by a line connecting the object i and the user and a normal line of the screen 26. Therefore, for each object, the attracting strength calculation unit 13 calculates the attracting strength so that the attracting strength increases as the angle decreases, based on the angle between the line connecting the object and the user and the normal line of the screen 26. .
  • the attracting strength calculation unit 13 divides the image of the object i into regions using a known image processing technique. Then, the attracting strength calculation unit 13 calculates complex (i) so that the complexity increases as the number of regions increases, according to the number of regions obtained by region division.
  • the attracting strength calculation unit 13 may calculate the complexity using, for example, a method disclosed in Patent Document 3 (Japanese Patent Laid-Open No. 2007-18025).
  • Patent Document 3 Japanese Patent Laid-Open No. 2007-18025
  • the method disclosed in Patent Document 3 is merely an example of a method for calculating the complexity of an image, and the present invention is not limited to this.
  • the attracting strength calculation unit 13 calculates the degree of difference between the color and texture in the image around the object i and the color and texture in the image of the object i as the degree of heterogeneity.
  • the color and texture in each image are, for example, the color and texture that occupy the largest area in the image.
  • Non-Patent Document 2 (“Shoji Tanaka, Seiji Iguchi, Yuichi Iwabuchi, Ryohei Nakatsu: Attracting degree evaluation model based on physical characteristics of image area, IEICE paper) Journal A, Vol. J83-A, No. 5, pp. 576-588, 2000 ”) may be used to calculate the degree of heterogeneity.
  • the method disclosed in Non-Patent Document 2 is merely an example of a method for calculating the degree of heterogeneity, and the present invention is not limited to this.
  • Non-Patent Document 2 a method for calculating the degree of heterogeneity disclosed in Non-Patent Document 2 will be described.
  • the heterogeneity of the physical feature amount is calculated by the following equation 7 where d is the difference between the feature amount and the average feature amount of the entire region, dm is the average value of d, and std is the standard deviation of d.
  • the attractiveness calculation unit 13 calculates the color difference between the average color of the image area of the object i and the average color of the entire screen including the image of the surrounding objects, the color difference average, and the standard deviation of the color difference. Then, the attraction intensity calculation unit 13 substitutes the calculation result into Equation 7 to calculate the color heterogeneity HC (i) of the image of the object i.
  • the color difference may be calculated by using a color difference formula in the CIE L * a * b * (Elster, Aster, Biester) color space established by the CIE (International Lighting Commission), for example.
  • the attractive strength calculation unit 13 may use Non-Patent Document 3 (B. S. Manjunath, W. Y. Ma: Texture features for browsing and retri- val of image data, IEEE Trans. Pattern. Mach.Intel., Vol.18, No.8, pp.837-842, 1996) may be calculated.
  • the attractiveness calculation unit 13 calculates the Euclidean distance between the texture feature vectors as the difference between the texture feature amounts. Then, the attracting strength calculation unit 13 substitutes the distance between the vector of the image of the object i and the average vector of the entire screen including the images of the objects around the object i, the average of the distance, and the standard deviation of the distance into Equation 7. Then, the texture heterogeneity HT (i) of the image of the object i is calculated.
  • the interest level estimation unit 14 interests the user with respect to each of the plurality of objects displayed on the screen 26 so that the interest level increases as the gaze residence time increases and the interest level increases as the attracting strength decreases. Estimate the degree.
  • the degree-of-interest estimation unit 14 first calculates the corrected gaze dwell time by correcting the gaze dwell time so that the greater the attractiveness strength is, the shorter the gaze dwell time is. Then, the degree-of-interest estimation unit 14 estimates the degree of interest so that the degree of interest increases as the calculated corrected gaze residence time increases.
  • FIG. 10 is a diagram showing a display example of objects in the embodiment of the present invention.
  • FIG. 11A and FIG. 11B are diagrams for explaining an example of a method of correcting the line-of-sight dwell time according to the embodiment of the present invention.
  • FIG. 11A is a diagram for explaining a method of calculating a corrected gaze dwell time by subtracting a time corresponding to the attractive strength from the gaze dwell time.
  • the degree-of-interest estimation unit 14 calculates the corrected gaze dwell time according to the following formula 8. That is, the degree-of-interest estimation unit 14 calculates the corrected gaze dwell time by subtracting the time corresponding to the attractiveness intensity from the gaze dwell time.
  • Tc (i) T (i) ⁇ A (i) ⁇ ga (ga> 0) (Formula 8)
  • T (i) represents the gaze dwell time for the object i.
  • Tc (i) represents the corrected gaze dwell time for the object i.
  • ga is an adjustment parameter for adjusting the correction amount.
  • the degree-of-interest estimation unit 14 does not necessarily need to calculate the corrected gaze dwell time by subtracting the time corresponding to the attracting intensity from the gaze dwell time.
  • the degree-of-interest estimation unit 14 may calculate the corrected line-of-sight dwell time by dividing the line-of-sight dwell time by using a value corresponding to the attractiveness intensity.
  • FIG. 11B is a diagram for explaining a method of calculating the corrected gaze dwell time by dividing the gaze dwell time by a value according to the attractive strength.
  • the degree-of-interest estimation unit 14 calculates the corrected gaze dwell time according to the following formula 9. That is, the degree-of-interest estimation unit 14 calculates the corrected gaze dwell time by dividing the gaze dwell time by using a value corresponding to the attractive strength. That is, the degree-of-interest estimation unit 14 corrects the gaze residence time by contracting the gaze residence time according to the attractiveness intensity.
  • Tc (i) T (i) / A (i) ⁇ gb (gb> 0) (Formula 9)
  • gb is an adjustment parameter for adjusting the correction amount.
  • the degree-of-interest estimation unit 14 calculates the corrected gaze dwell time by correcting the gaze dwell time so that the greater the attractiveness strength is, the shorter the gaze dwell time is.
  • the degree-of-interest estimation unit 14 estimates the degree of interest using the corrected gaze dwell time calculated above as shown in the following equation 10. That is, the degree-of-interest estimation unit 14 estimates the degree of interest so that the degree of interest increases as the corrected gaze dwell time increases.
  • I (i) represents the degree of interest.
  • K is an adjustment parameter for adjusting the magnitude of the value of interest.
  • the gaze dwell time is corrected using the eye-catching strength of the object instead of using the gaze dwell time as it is.
  • the corrected gaze dwell time is used.
  • the time included in the gaze dwell time is irrelevant to the degree of interest (for example, the contents are complicated and the contents can be understood only at a glance. Because of the difficulty, it is possible to suppress the influence of the time when the object is being watched or the time when the object is being watched because the stimulus intensity is strong.
  • the user interface device 10 can estimate the degree of interest of the user based on the attracting strength of each object. If the attracting strength of the object is high, the user turns his gaze even if he is not interested in the object. That is, the line-of-sight residence time varies according to not only the degree of interest of the user with respect to the object but also the attractiveness intensity of the object. Therefore, the user interface apparatus 10 can suppress the influence which the time which is not related to a user's interest level among eyes
  • the user interface device 10 can calculate the attracting strength based on the physical characteristics of the object.
  • the attraction strength depends on the physical characteristics of the object (for example, the complexity or heterogeneity of the object). For example, if the complexity of the image of the object is high, it takes a long time to turn the line of sight toward the object in order to understand the contents of the object. Therefore, the user interface device 10 can accurately calculate the attracting strength by calculating the attracting strength based on the physical characteristics of the object, and can estimate the degree of interest of the user with high accuracy. Become.
  • the user interface device 10 can calculate the attractiveness intensity based on the psychological distance between the object and the user.
  • the attraction strength is the psychological distance between the object and the user (for example, the number of times the user has viewed the object, whether the user is the creator of the object, and whether the user is displayed on the object) Etc.). Therefore, the user interface device 10 can accurately calculate the attracting strength by calculating the attracting strength based on the psychological distance between the object and the user, and can estimate the degree of interest of the user with high accuracy. It becomes possible.
  • the user interface device 10 can calculate the attractiveness intensity based on the physical positional relationship between the object and the user.
  • the attractive strength depends on the physical positional relationship between the object and the user (for example, the physical distance between the object and the user, or the direction of the object with respect to the user). For example, if the physical distance between the object and the user is short, the time for directing the line of sight to the object becomes long. Therefore, the user interface device 10 can accurately calculate the attracting strength by calculating the attracting strength based on the physical positional relationship between the object and the user, and can estimate the degree of interest of the user with high accuracy. It becomes possible.
  • the user interface device 10 can estimate the degree of interest based on the gaze dwell time corrected according to the attractiveness intensity. Therefore, the user interface device 10 can remove the time not related to the user's interest level from the line-of-sight residence time, and thus can estimate the user's interest level with high accuracy.
  • the user interface system 100 has been described based on the embodiments.
  • the present invention is not limited to these embodiments. Unless it deviates from the meaning of this invention, what made the various deformation
  • the line-of-sight direction detection unit 11 detects the line-of-sight direction based on the image information generated by the camera 30, but it is of course not limited to the method of detecting the line-of-sight direction based on the image information. .
  • a method for detecting the line-of-sight direction for example, a method for detecting the line-of-sight direction using a measurement device attached to the user (first method), or a line-of-sight direction using a non-contact device such as an infrared light source. And the like (second method).
  • the first method includes an EOG (Electro-oculography) method for detecting eye movement from a change in the cornea-retinal potential obtained from an electrode attached to the head, or an induced current generated in a contact lens incorporating a coil.
  • EOG Electro-oculography
  • search coil method for detecting eye movement from the eye.
  • a wearable eye camera such as a helmet or glasses.
  • a corneal reflection method in which a near-infrared point light source is irradiated to the eye, and the direction of the line of sight is estimated from the Purkinje image reflected from the cornea and the position of the pupil.
  • the degree-of-interest estimation unit 14 calculates the corrected gaze dwell time. However, it is not always necessary to calculate the corrected gaze dwell time. For example, the degree-of-interest estimation unit 14 may correct the estimated degree of interest using the attracting strength after estimating the degree of interest based on the gaze residence time.
  • the display device 20 includes the screen control unit 25.
  • the user interface device 10 may include the screen control unit 25.
  • the user interface device 10 may be called a screen control device.
  • the user interface device 10 may include a screen 26.
  • the user interface device 10 may be called a display device.
  • the display device 20 controls the display of the screen according to the estimated degree of interest, but it is not always necessary to perform the display control of the screen.
  • the display device 20 may output a sound according to the degree of interest.
  • the display device 20 may output a sound (for example, a machine sound) indicating information on an object having the highest degree of interest among a plurality of objects.
  • the user interface device 10 is arranged outside the display device 20, but may be built in the display device 20.
  • the above user interface device is specifically a computer system including a microprocessor, a ROM (Read Only Memory), a RAM (Random Access Memory), a hard disk unit, a display unit, a keyboard, a mouse, and the like.
  • a computer program is stored in the RAM or the hard disk unit.
  • Each device achieves its function by the microprocessor operating according to the computer program.
  • the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
  • Each device is not limited to a computer system including all of a microprocessor, a ROM, a RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like, and may be a computer system including a part of them.
  • a part or all of the components constituting the user interface device may be configured by one system LSI (Large Scale Integration).
  • the system LSI is a super multifunctional LSI manufactured by integrating a plurality of components on one chip, and specifically, a computer system including a microprocessor, a ROM, a RAM, and the like. .
  • a computer program is stored in the RAM.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • system LSI may be called IC, LSI, super LSI, or ultra LSI depending on the degree of integration.
  • method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • a part or all of the components constituting the user interface device may be configured by an IC card that can be attached to and detached from the user interface device or a single module.
  • the IC card or the module is a computer system including a microprocessor, a ROM, a RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present invention may be the input method shown above. Moreover, it may be a computer program that realizes these input methods by a computer, or may be a digital signal composed of the computer program.
  • the present invention also provides a computer program-readable non-transitory recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD ( It may be recorded on a Blu-ray Disc (registered trademark), a semiconductor memory, or the like. Further, the present invention may be the computer program or the digital signal recorded on these recording media.
  • a computer program-readable non-transitory recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD ( It may be recorded on a Blu-ray Disc (registered trademark), a semiconductor memory, or the like.
  • the present invention may be the computer program or the digital signal recorded on these recording media.
  • the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
  • the present invention may also be a computer system including a microprocessor and a memory.
  • the memory may store the computer program, and the microprocessor may operate according to the computer program.
  • the program or the digital signal is recorded on the recording medium and transferred, or the program or the digital signal is transferred via the network or the like, and executed by another independent computer system. It is good.
  • the user interface device is useful as a user interface device that performs input processing based on the degree of interest of the user with respect to a plurality of objects displayed on the screen. It can also be applied to applications such as measuring advertising effects in digital signage.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

　画面（２６）上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにユーザの関心度を推定するユーザインタフェース装置（１０）であって、ユーザの視線方向を検出する視線方向検出部（１１）と、複数のオブジェクトの各々に対する視線方向の滞留時間を視線滞留時間として算出する視線滞留時間算出部（１２）と、オブジェクトごとに誘目強度を算出する誘目強度算出部（１３）と、視線滞留時間が長いほど関心度が高くなるように、かつ誘目強度が小さいほど関心度が高くなるように、複数のオブジェクトの各々に対するユーザの関心度を推定する関心度推定部（１４）とを備える。

Description

ユーザインタフェース装置および入力方法
　本発明は、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにユーザの関心度を推定するユーザインタフェース装置および入力方法に関するものである。
　現在の一般的な情報システムは、ユーザの「明示的指示」（例えば、ユーザがキーボードによって文字を入力する、リモコンのボタンを押す、またはポインティングデバイスで対象を指定するなど）に応じてシステムが反応し、情報を提示するインタラクション形態を採っている。しかし、こういった従来のインタラクション形態だけでは、操作の手間、難しさ、あるいは意図表現の面倒さのために、人とシステムとの間の円滑なコミュニケーションが困難となる場合があった。
　そこで、近年、ユーザの「非明示的な指示」（例えば、ユーザの興味、関心の有無、または関心度など）を、カメラあるいはマイクなどのマルチモーダルなセンサ群を利用して推定するシステムが提案されている。例えば、非特許文献１では、映像コンテンツを視聴するユーザを撮影し、その表情から関心度を推定することで映像コンテンツに「Ｎｅｕｔｒａｌ」、「Ｐｏｓｉｔｉｖｅ」、あるいは「Ｎｅｇａｔｉｖｅ」というタグを付与し、番組推薦を行う際に有用な情報を提供するシステムが提案されている。また、特許文献１では、複数の対象画像を順次切り替えて再生表示する画像再生システムにおいて、再生表示時における周辺音（視聴者の歓声など）または視聴者の動き（顔の表情の変化など）に基づいて、対象画像の表示時間を動的に決定するシステムが示されている。これらの技術では、基本的に画面上に表示された単一のコンテンツに対する関心度を判定する。
　一方で、画面上に表示された複数のコンテンツの各々に対するユーザの興味、関心、または意図を推定するための身体的反応の代表としては、視線を挙げることができる。視覚は人間が情報を取得する上で支配的である一方で中心視や有効視野は大きさが限られている。そのため、対象から情報を取得するためには注視点を対象に移動させる必要があり、その結果、興味、関心を持つ対象に対して視線が集中する。したがって、視線は人の興味、関心、または意図を反映しやすいといえる。
　ところで、従来、特許文献２では、視線の滞留時間が長い対象をユーザの所望の対象と判断する装置が開示されている。この装置は、画面上に、選択肢である複数の画像を表示し、利用者が画像に向けた視線を、視線角度検出器で検出し、各々の画像における視線の滞留時間を計測し、その長さを比較し、利用者の意図する画像を選択する。
特開２００８－１４１４８４号公報 特開平９－１９０３２５号公報
宮原正典、青木政樹、滝口哲也、青木康雄：顔表情からの関心度推定に基づく映像コンテンツへのタギング、情報処理学会論文誌、Ｖｏｌ．４９、Ｎｏ．１０、ｐｐ．３６９４－３７０２、２００８
　特許文献２に記載の技術では、視線滞留時間が長い対象に対する関心度が高いと推定され、視線滞留時間が長い対象に関連付けられたコマンドが実行される。しかしながら、視線滞留時間の長さにのみ基づいて、その人の関心度を推定した場合、関心度の推定精度が低いという課題がある。すなわち、人は、見ているものに必ずしも関心があるとは限らないので、視線滞留時間の長さが、その人の関心度と一致するとは限らない。
　そこで、本発明は、上記従来の課題を解決するものであって、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにユーザの関心度を高精度に推定することができるユーザインタフェース装置および入力方法を提供することを目的とする。
　上記目的を達成するために、本発明の一形態に係るユーザインタフェース装置は、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うために、前記ユーザの関心度を推定するユーザインタフェース装置であって、前記ユーザの視線方向を検出する視線方向検出部と、前記複数のオブジェクトの各々に対する前記視線方向の滞留時間を視線滞留時間として算出する視線滞留時間算出部と、前記オブジェクトごとに誘目強度を算出する誘目強度算出部と、前記視線滞留時間が長いほど関心度が高くなるように、かつ前記誘目強度が小さいほど関心度が高くなるように、前記複数のオブジェクトの各々に対する前記ユーザの関心度を推定する関心度推定部とを備える。
　この構成によれば、各オブジェクトの視線滞留時間に加えて、各オブジェクトの誘目強度に基づいて、ユーザの関心度を推定することができる。オブジェクトの誘目強度が大きければ、ユーザは、そのオブジェクトに関心がなくても視線を向けてしまう。つまり、視線滞留時間は、そのオブジェクトに対するユーザの関心度だけではなく、そのオブジェクトの誘目強度に応じて変動する。したがって、誘目強度に基づいて関心度を推定することにより、視線滞留時間のうちユーザの関心度に関係しない時間が関心度の推定に与える影響を抑制することができる。つまり、オブジェクトに対するユーザの関心度を高精度に推定することが可能となる。そして、例えば、このように推定された関心度に基づいて、ユーザの関心度が高いオブジェクトのみを表示するなどの表示制御を行えば、消費電力を削減することも可能となる。
　また、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトの画像の物理的な特徴に基づいて前記誘目強度を算出することが好ましい。この場合に例えば、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトの画像の複雑度に基づいて、複雑度が高いほど誘目強度が大きくなるように前記誘目強度を算出してもよい。また例えば、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトの周囲の画像に対する当該オブジェクトの画像の異質度に基づいて、異質度が高いほど誘目強度が大きくなるように前記誘目強度を算出してもよい。
　これらの構成によれば、オブジェクトの物理的な特徴に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトの物理的な特徴（例えば、オブジェクトの複雑度または異質度など）に依存する。例えば、オブジェクトの画像の複雑度が高ければ、そのオブジェクトの内容を理解するために視線をそのオブジェクトに向ける時間が長くなる。したがって、オブジェクトの物理的な特徴に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
　また、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトと前記ユーザとの間の心理的距離が短いほど誘目強度が大きくなるように前記誘目強度を算出することが好ましい。この場合に例えば、前記誘目強度算出部は、前記オブジェクトごとに、前記ユーザが当該オブジェクトを過去に視覚した回数が多いほど心理的距離が短くなるように前記心理的距離を算出してもよい。また例えば、前記誘目強度算出部は、前記オブジェクトごとに、前記ユーザが当該オブジェクトの作成者であるか否かに基づいて、前記ユーザが当該オブジェクトの作成者である場合に、前記ユーザが当該オブジェクトの作成者でない場合よりも心理的距離が短くなるように、前記心理的距離を算出してもよい。また例えば、前記誘目強度算出部は、前記オブジェクトごとに、前記ユーザが当該オブジェクト内に表示されている被写体であるか否かに基づいて、前記ユーザが被写体である場合に前記ユーザが被写体でない場合よりも心理的距離が短くなるように、前記心理的距離を算出してもよい。
　これらの構成によれば、オブジェクトとユーザとの間の心理的距離に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトとユーザとの間の心理的距離（例えば、そのオブジェクトをユーザが視覚した回数、ユーザがそのオブジェクトの作成者であるか否か、そのオブジェクトにユーザが表示されているか否かなど）に依存する。したがって、オブジェクトとユーザとの間の心理的距離に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
　また、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトと前記ユーザとの物理的な位置関係に基づいて前記誘目強度を算出することが好ましい。この場合に例えば、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトと前記ユーザとの間の物理的距離に基づいて、物理的距離が短いほど誘目強度が大きくなるように前記誘目強度を算出してもよい。また例えば、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトおよび前記ユーザを結ぶ線と前記画面の法線とのなす角度に基づいて、角度が小さいほど誘目強度が大きくなるように前記誘目強度を算出してもよい。
　これらの構成によれば、オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトとユーザとの物理的な位置関係（例えば、オブジェクトとユーザとの物理的距離、またはユーザに対するオブジェクトの方向など）に依存する。例えば、オブジェクトとユーザとの物理的距離が短ければ、そのオブジェクトに視線を向ける時間が長くなる。したがって、オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
　また、前記関心度推定部は、前記誘目強度が大きいほど短くなるように前記視線滞留時間を補正することにより補正視線滞留時間を算出し、算出した前記補正視線滞留時間が長いほど関心度が高くなるように前記関心度を推定することが好ましい。この場合に例えば、前記関心度推定部は、前記視線滞留時間から前記誘目強度に応じた時間を減算することにより前記補正視線滞留時間を算出してもよい。また例えば、前記関心度推定部は、前記誘目強度に応じた値を用いて前記視線滞留時間を除算することにより前記補正視線滞留時間を算出してもよい。
　これらの構成によれば、誘目強度に応じて補正した視線滞留時間に基づいて関心度を推定することができる。したがって、視線滞留時間からユーザの関心度に関係しない時間を取り除くことができるので、ユーザの関心度を高精度に推定することが可能となる。
　また、さらに、推定された前記関心度に応じて、前記画面の表示制御を行う画面制御部を備えることが好ましい。この場合に例えば、画面制御部は、前記複数のオブジェクトのうち、推定された前記関心度が最も高いオブジェクトに関する情報を、前記画面に表示させてもよい。また例えば、画面制御部は、前記複数のオブジェクトのうち、推定された前記関心度が最も高いオブジェクト、または、前記複数のオブジェクトのうち、推定された前記関心度が最も高いオブジェクトを除くオブジェクトの表示態様を変化させてもよい。
　これらの構成によれば、推定された関心度に応じて、画面の表示制御を行うことができる。例えば、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトを除くオブジェクトの表示輝度を低下させることができ、複数のオブジェクトを表示するための消費電力を削減することも可能となる。
　また、前記ユーザインタフェース装置は、集積回路として構成されてもよい。
　なお、本発明は、このようなユーザインタフェース装置として実現することができるだけでなく、このようなユーザインタフェース装置が備える特徴的な構成部の動作をステップとする入力方法として実現することができる。また、本発明は、入力方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等のコンピュータ読み取り可能な非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
　本発明によれば、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにユーザの関心度を高精度に推定することができる。
図１は、本発明の実施の形態におけるユーザインタフェースシステムの機能構成を示すブロック図である。 図２Ａは、本発明の実施の形態におけるカメラの配置例を説明するための図である。 図２Ｂは、本発明の実施の形態におけるカメラの設置例を説明するための図である。 図２Ｃは、本発明の実施の形態におけるカメラの設置例を説明するための図である。 図３は、本発明の実施の形態における入力方法を示すフローチャートである。 図４は、本発明の実施の形態における視線方向検出処理を説明するための図である。 図５は、本発明の実施の形態における視線方向検出処理の流れを示すフローチャートである。 図６は、本発明の実施の形態における顔向きを検出する処理を説明するための図である。 図７は、本発明の実施の形態における視線方向基準面の算出について説明するための図である。 図８、本発明の実施の形態における黒目中心の検出について説明するための図である。 図９は、本発明の実施の形態における黒目中心の検出について説明するための図である。 図１０は、本発明の実施の形態におけるオブジェクトの表示例を示す図である。 図１１Ａは、本発明の実施の形態における視線滞留時間の補正方法の一例を説明するための図である。 図１１Ｂは、本発明の実施の形態における視線滞留時間の補正方法の一例を説明するための図である。
　ユーザは、誘目強度が大きいオブジェクトに視線を向けやすい。例えば、ユーザがあるオブジェクトを目にしたときに、ユーザは、何が描かれているかを理解するために当該オブジェクトの主要な部分を注視する。このとき、オブジェクトの主要な部分に、何が描かれているかを理解するために時間を要する情報が含まれていれば、視線滞留時間は長くなる。
　つまり、視線滞留時間には、オブジェクトに対する関心度が高いから注視している時間に加えて、オブジェクトの誘目強度が大きいから視線を向けた時間が含まれる。そこで、本実施の形態におけるユーザインタフェース装置１０は、視線滞留時間だけではなく、各オブジェクトの誘目強度を利用して、ユーザの関心度を推定する。
　以下、本発明の実施の形態について、図面を参照しながら説明する。
　図１は、本発明の実施の形態におけるユーザインタフェースシステム１００の機能構成を示すブロック図である。本実施の形態において、ユーザインタフェースシステム１００は、ユーザインタフェース装置１０と、表示装置２０と、カメラ３０とを備える。
　以下、図１の各ブロックの機能を説明する。
　ユーザインタフェース装置１０は、画面２６上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにユーザの関心度を推定する。
　なお、オブジェクトとは、画面２６上の一部または全部に表示される情報である。具体的には、オブジェクトには、写真、映像またはテキストなどのコンテンツが含まれる。また、オブジェクトには、ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）として利用される、アイコン、メニューまたはボタンなどが含まれる。
　また、関心度とは、画面２６に表示されているオブジェクトの内容に対するユーザの関心度合いを示す値である。つまり、関心度とは、ユーザがオブジェクトの内容に対してどれだけ興味があるかを示す値である。
　図１に示すように、ユーザインタフェース装置１０は、視線方向検出部１１と、視線滞留時間算出部１２と、誘目強度算出部１３と、関心度推定部１４とを備える。
　視線方向検出部１１は、ユーザの視線方向を検出する。本実施の形態では、視線方向検出部１１は、カメラ３０によって生成された画像情報からユーザの視線方向を検出する。
　視線方向とは、ユーザが注視している点とユーザの目とを結ぶ直線の方向である。つまり、視線方向とは、ユーザの画面２６上の注視点とユーザの目とを結ぶ直線の方向である。
　視線滞留時間算出部１２は、画面２６上に表示された複数のオブジェクトの各々に対する視線方向の滞留時間を視線滞留時間として算出する。滞留時間とは、視線方向が一定の範囲内に滞留している時間である。具体的には、滞留時間とは、視線方向から得られる画面２６上の注視点が、例えばオブジェクトの表示領域内に連続して存在している時間の長さである。
　誘目強度算出部１３は、オブジェクトごとに誘目強度を算出する。誘目強度とは、誘目性の強さを示す値である。つまり、誘目強度とは、視覚的な注意の引きやすさの程度を示す値である。
　関心度推定部１４は、視線滞留時間が長いほど関心度が高くなるように、かつ誘目強度が小さいほど関心度が高くなるように、複数のオブジェクトの各々に対するユーザの関心度を推定する。
　本実施の形態では、関心度推定部１４は、誘目強度が大きいほど短くなるように視線滞留時間が補正された補正視線滞留時間を算出する。そして、関心度推定部１４は、算出した補正視線滞留時間が長いほど関心度が高くなるように関心度を推定する。さらに、関心度推定部１４は、推定したユーザの関心度を表示装置２０に出力する。
　表示装置２０は、複数のオブジェクトを画面２６に表示する。表示装置２０は、画面制御部２５と、画面２６とを備える。
　画面制御部２５は、推定された関心度に応じて、画面２６の表示制御を行う。具体的には、画面制御部２５は、例えば、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトに関する情報を、画面２６に表示させる。画面制御部２５は、例えば、オブジェクトが映画コンテンツである場合、その映画コンテンツのストーリー、監督、あるいはキャストなどをオブジェクトに関する情報として表示する。
　また例えば、画面制御部２５は、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトの表示態様を変化させてもよい。具体的には、画面制御部２５は、例えば、オブジェクトの表示面積を増大させる、表示輝度を増加させる、または鮮明度を増大させるなどにより、オブジェクトの表示態様を変化させればよい。
　逆に、画面制御部２５は、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトを除くオブジェクトの表示態様を変化させてもよい。例えば、画面制御部２５は、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトを除くオブジェクトの表示輝度を低下させてもよい。
　このように、画面制御部２５が関心度に応じて画面２６の表示制御を行うことにより、表示装置２０は、ユーザの明示的な指示がなくても、ユーザに適した情報を画面２６に表示することなどが可能となる。したがって、ユーザインタフェースシステム１００は、ユーザの利便性を向上させることが可能となる。また、表示装置２０は、ユーザの関心度に応じてオブジェクトの表示輝度を低下させることもでき、複数のオブジェクトを表示するための消費電力を削減することも可能となる。
　画面２６は、例えば液晶ディスプレイパネルまたはプラズマディスプレイパネルなどである。画面２６には、画面制御部２５によって複数のオブジェクトが表示される。
　カメラ３０は、ユーザを撮影して画像情報を生成する。具体的には、カメラ３０は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサを有する。そして、カメラ３０は、表示装置２０の画面２６の前方に存在するユーザを撮影する。
　また、カメラ３０は、表示装置２０の周囲に設置される。具体的には、カメラ３０は、画面２６の前方に存在するユーザを撮影可能な位置に設置される。より具体的には、カメラ３０は、例えば図２Ａ～図２Ｃに示す位置に設置される。
　図２Ａ～図２Ｃは、本発明の実施の形態におけるカメラ３０の設置例を説明するための図である。
　例えば、図２Ａに示すように、カメラ３０は、表示装置２０の画面２６の上端部に取り付けられる。また例えば、図２Ｂに示すように、カメラ３０は、表示装置２０には取り付けられず、画面２６の近傍に設置されてもよい。また例えば、図２Ｃに示すように、カメラ３０は、表示装置２０が設置されている部屋の壁面または天井などに設置されてもよい。つまり、カメラ３０は、表示装置２０が設置されている空間内の適切な位置に設置されてもよい。
　次に、以上のように構成されたユーザインタフェース装置１０の各種動作について説明する。
　図３は、本発明の実施の形態における入力方法を示すフローチャートである。
　まず、視線方向検出部１１は、ユーザの視線方向を検出する（Ｓ１０１）。その後、視線滞留時間算出部１２は、画面上に表示された複数のオブジェクトの各々に対する視線滞留時間を算出する（Ｓ１０２）。
　また、誘目強度算出部１３は、オブジェクトごとに誘目強度を算出する（Ｓ１０３）。最後に、関心度推定部１４は、視線滞留時間が長いほど関心度が高くなるように、かつ誘目強度が小さいほど関心度が高くなるように、複数のオブジェクトの各々に対するユーザの関心度を推定する（Ｓ１０４）。
　以下に、このような入力方法に含まれる各ステップの詳細を説明する。
　１．視線方向の検出
　まず、視線方向検出処理（Ｓ１０１）の詳細について、図４～図９を用いて説明する。
　図４は、本発明の実施の形態における視線方向検出処理を説明するための図である。
　以下では、図４に示すように、表示装置２０の近傍に設置されたカメラ３０によって撮影された画像からユーザの視線方向を検出する処理について説明する。視線方向は、ユーザの顔の向き（以下、単に「顔向き」という）と、ユーザの目の中の黒目部分の方向（以下、単に「黒目方向」という）との組み合わせを基に計算される。
　図５は、本発明の実施の形態における視線方向検出処理の流れを示すフローチャートである。
　まず、視線方向検出部１１は、カメラ３０が画面２６の前方に存在するユーザを撮影した画像を取得する（Ｓ５０１）。続いて、視線方向検出部１１は、取得された画像から顔領域の検出を行う（Ｓ５０２）。次に、視線方向検出部１１は、検出された顔領域に対し、各基準顔向きに対応した顔部品特徴点の領域を当てはめ、各顔部品特徴点の領域画像を切り出す（Ｓ５０３）。
　そして、視線方向検出部１１は、切り出された領域画像と、あらかじめ保持されたテンプレート画像との相関度を計算する（Ｓ５０４）。続いて、視線方向検出部１１は、各基準顔向きが示す角度を、計算された相関度の比に応じて重み付けして加算した重み付け和を求め、これを検出した顔領域に対応するユーザの顔向きとして検出する（Ｓ５０５）。
　図６は、本発明の実施の形態における顔向きを検出する処理を説明するための図である。
　視線方向検出部１１は、図６の（ａ）に示すように、各基準顔向きに対応した顔部品特徴点の領域を記憶している顔部品領域ＤＢから、顔部品特徴点の領域を読み出す。続いて、視線方向検出部１１は、図６の（ｂ）に示すように、撮影された画像の顔領域に対し顔部品特徴点の領域を基準顔向きごとに当てはめ、顔部品特徴点の領域画像を基準顔向きごとに切り出す。
　そして、視線方向検出部１１は、図６の（ｃ）に示すように、切り出された領域画像と、顔部品領域テンプレートＤＢに保持されたテンプレート画像との相関度を基準顔向きごとに計算する。また、視線方向検出部１１は、このように計算された相関度が示す相関度合いの高さに応じて、基準顔向きごとの重みを算出する。例えば、視線方向検出部１１は、基準顔向きの相関度の総和に対する各基準顔向きの相関度の比を重みとして算出する。
　続いて、視線方向検出部１１は、図６の（ｄ）に示すように、基準顔向きが示す角度に、算出された重みを乗算した値の総和を計算し、計算結果をユーザの顔向きとして検出する。
　図６の（ｄ）の例では、基準顔向き＋２０度に対する重みが「０．８５」、正面向きに対する重みが「０．１４」、－２０度に対する重みが「０．０１」である。そこで、視線方向検出部１１は、顔向きを１６．８度（＝２０×０．８５＋０×０．１４＋（－２０）×０．０１）と検出する。
　なお、図６では、視線方向検出部１１は、顔部品特徴点の領域画像を対象として相関度を計算したが、これに限らず例えば、顔領域全体の画像を対象として相関度を計算してもよい。また、顔向きを検出するその他の方法としては、顔画像から目・鼻・口などの顔部品特徴点を検出し、顔部品特徴点の位置関係から顔向きを計算する方法がある。
　顔部品特徴点の位置関係から顔向きを計算する方法としては、１つのカメラから得られた顔部品特徴点に最も一致するように、あらかじめ用意した顔部品特徴点の３次元モデルを回転・拡大縮小してマッチングし、得られた３次元モデルの回転量から顔向きを計算する方法がある。また、顔部品特徴点の位置関係から顔向きを計算する他の方法としては、２台のカメラにより撮影された画像を基にステレオ視の原理を用いて、左右のカメラにおける顔部品特徴点位置の画像上のずれから各顔部品特徴点の３次元位置を計算し、得られた顔部品特徴点の位置関係から顔向きを計算する方法がある。例えば、両目および口の３次元座標点で張られる平面の法線方向を顔向きとして検出する方法などがある。
　図５のフローチャートの説明に戻る。
　視線方向検出部１１は、カメラ３０によって撮像されたステレオ画像を用いて、ユーザの左右の目頭の３次元位置を検出し、検出した左右の目頭の３次元位置を用いて視線方向基準面を算出する（Ｓ５０６）。続いて、視線方向検出部１１は、カメラ３０によって撮像されたステレオ画像を用いて、ユーザの左右の黒目中心の３次元位置を検出する（Ｓ５０７）。そして、視線方向検出部１１は、視線方向基準面と左右の黒目中心の３次元位置とを用いて、黒目方向を検出する（Ｓ５０８）。
　そして、視線方向検出部１１は、検出されたユーザの顔向きと黒目方向とを用いて、ユーザの視線方向を検出する（Ｓ５０９）。
　次に、黒目方向を検出する方法の詳細について、図７～図９を用いて説明する。
　本実施の形態では、視線方向検出部１１は、まず、視線方向基準面を算出する。続いて、視線方向検出部１１は、黒目中心の３次元位置を検出する。そして最後に、視線方向検出部１１は、黒目方向を検出する。
　まず、視線方向基準面の算出について、説明する。
　図７は、本発明の実施の形態における視線方向基準面の算出について説明するための図である。視線方向基準面とは、黒目方向を検出する際に基準となる面のことであり、図７に示すように顔の左右対称面と同一である。目頭の位置は、目尻、口角、または眉など他の顔部品に比べて、表情による変動が少なく、また誤検出が少ない。そこで、視線方向検出部１１は、顔の左右対称面である視線方向基準面を目頭の３次元位置を用いて算出する。
　具体的には、視線方向検出部１１は、カメラ３０であるステレオカメラで撮影した２枚の画像（ステレオ画像）の各々において、顔検出モジュールと顔部品検出モジュールとを用いて、左右の目頭領域を検出する。そして、視線方向検出部１１は、検出した目頭領域の画像間の位置のずれ（視差）を利用して、左右の目頭それぞれの３次元位置を計測する。さらに、視線方向検出部１１は、図７に示すように、検出した左右の目頭の３次元位置を端点とする線分の垂直二等分面を視線方向基準面として算出する。
　次に、黒目中心の検出に関して説明する。
　図８および図９は、本発明の実施の形態における黒目中心の検出について説明するための図である。
　対象物からの光が瞳孔を通って網膜に届き電気信号に変換され、その電気信号が脳に伝達されることにより、人は対象を視覚的に認識する。したがって、瞳孔の位置を用いれば、視線方向を検出することができる。しかし、日本人の虹彩は、黒または茶色であるので、画像処理によって瞳孔と虹彩とを判別することが難しい。そこで、本実施の形態では、瞳孔の中心と黒目（瞳孔および虹彩の両方を含む）の中心とがほぼ一致することから、視線方向検出部１１は、黒目方向を検出する際に、黒目中心の検出を行う。
　視線方向検出部１１は、まず、撮影された画像から目尻の位置と目頭の位置とを検出する。そして、視線方向検出部１１は、図８のような、目尻と目頭とを含む領域から輝度が小さい領域を、黒目領域として検出する。具体的には、視線方向検出部１１は、例えば、輝度が所定閾値以下なる領域であって、所定の大きさよりも大きい領域を黒目領域として検出する。
　次に視線方向検出部１１は、図８のような、第１領域１と第２領域とからなる黒目検出フィルタを黒目領域の任意の位置に設定する。そして、視線方向検出部１１は、第１領域１内の画素の輝度と第２領域内の画素の輝度との領域間分散が最大となるような黒目検出フィルタの位置を探索し、探索結果が示す位置を黒目中心として検出する。最後に、視線方向検出部１１は、上記と同様に、ステレオ画像における黒目中心の位置のずれを利用して、黒目中心の３次元位置を検出する。
　さらに、黒目方向の検出について説明する。
　視線方向検出部１１は、算出した視線方向基準面と、検出した黒目中心の３次元位置とを用いて、黒目方向を検出する。成人の眼球直径は、ほとんど個人差がないことが知られており、例えば日本人の場合約２４ｍｍである。したがって、基準となる方向（例えば正面）を向いたときの黒目中心の位置が分かっていれば、そこから現在の黒目中心の位置までの変位を求めることで黒目方向に変換算出することができる。
　ユーザが正面を向いたときは、左右の黒目中心の中点が顔の中心、すなわち視線方向基準面上に存在することを利用して、視線方向検出部１１は、左右の黒目中心の中点と視線方向基準面との距離を算出することにより、黒目方向を検出する。
　具体的には、視線方向検出部１１は、眼球半径Ｒと、視線方向基準面に対する左右の黒目中心を結んだ線分の中点（以下、「黒目中点」という）の距離ｄとを用いて、式１に示すように、顔向きに対する左右方向の回転角θを黒目方向として検出する。
　θ＝ｓｉｎ－１（ｄ／Ｒ）　　　　（式１）
　Ｒ：眼球半径（１２ｍｍ）
　ｄ：視線方向基準面と黒目中点との距離
　以上のように、視線方向検出部１１は、視線方向基準面と黒目中心の三次元位置とを用いて、黒目方向を検出する。そして、視線方向検出部１１は、検出された顔向きと黒目方向とを用いて、実空間におけるユーザの視線方向を検出する。
　２．視線滞留時間の算出
　次に、視線滞留時間算出処理（Ｓ１０２）の詳細について説明する。
　視線滞留時間算出部１２は、視線方向検出部１１によって検出された視線方向に基づき、画面２６上の各オブジェクトに対する視線方向の滞留時間を算出する。つまり、視線滞留時間算出部１２は、画面２６上のオブジェクトを見るために視線方向が滞留した時間をオブジェクトごとに算出する。
　より具体的には、視線滞留時間算出部１２は、例えば、ユーザの目の３次元位置を取得する。そして、視線滞留時間算出部１２は、ユーザの目の３次元位置から視線方向に延びる直線と画面２６との交点を注視点として算出する。さらに、視線滞留時間算出部１２は、オブジェクトごとに、当該オブジェクトの表示領域内に注視点が連続して存在している時間を視線滞留時間として算出する。
　なお、視線滞留時間算出部１２は、必ずしも上記のように視線滞留時間を算出する必要はない。例えば、視線滞留時間算出部１２は、オブジェクトごとに、当該オブジェクトの表示領域を中心とした一定範囲の領域内に注視点が連続して存在している時間を視線滞留時間として算出してもよい。また例えば、視線滞留時間算出部１２は、注視点がオブジェクトの表示領域外に移動した場合であっても、予め定められた時間以内に当該表示領域内に戻ってきた場合には、当該領域内に注視点が連続して存在しているとみなして、視線滞留時間を算出してもよい。
　３．誘目強度の算出
　次に、誘目強度算出処理（Ｓ１０３）の詳細について説明する。
　上述したように、誘目強度とは、視覚的な注意の引きやすさの程度を示す。具体的には、誘目強度とは、画面に表示された各オブジェクトの画像がどれだけユーザの視線をひきやすいかを示す値である。
　一般的に、誘目強度は、画像の物理的な特徴に依存する。例えば、画像の色あるいはテクスチャが高明度あるいは高彩度であるほど、その画像は、潜在的にユーザの視線をひきやすい。また、周囲の画像と物理的特徴が異質であればあるほど、その画像は、ユーザの視線をひきやすい。
　さらには、誘目強度は、ユーザとオブジェクトとの間の心理的距離にも依存する。例えば、ユーザと関係性の深い画像ほど、または、視覚回数が多い画像ほど、その画像は、ユーザの視線をひきやすい。
　なお、心理的距離とは、ユーザとオブジェクトとの間の心理的な関係性を示す。心理的距離は、ユーザとオブジェクトとの間の心理的な関係性が高いほど短くなる。
　また、誘目強度は、ユーザとオブジェクトとの物理的な位置関係にも依存する。つまり、誘目強度は、ユーザが存在している位置と、オブジェクトが表示されている位置との位置関係にも影響される。例えば、ユーザの正面に表示された画像は、ユーザの視線をひきやすい。
　そこで、誘目強度算出部１３は、オブジェクトｉの誘目強度Ａ（ｉ）を、式２のように算出する。
　Ａ（ｉ）＝ａ１×Ａｉｍａｇｅ（ｉ）＋ａ２×Ａｐｓｙ（ｉ）＋ａ３×Ａｐｈｙ（ｉ）　　　　（式２）
　ここで、Ａｉｍａｇｅ（ｉ）は、オブジェクトｉの画像の物理的特徴に基づく誘目強度を表す。つまり、誘目強度算出部１３は、オブジェクトごとに、当該オブジェクトの画像の物理的な特徴に基づいて誘目強度を算出する。
　また、Ａｐｓｙ（ｉ）は、ユーザとオブジェクトｉと間の心理的距離に基づく誘目強度を表す。つまり、誘目強度算出部１３は、オブジェクトごとに、当該オブジェクトとユーザとの間の心理的距離が短いほど誘目強度が大きくなるように誘目強度を算出する。
　また、Ａｐｈｙ（ｉ）は、ユーザとオブジェクトｉとの物理的な位置関係に基づく誘目強度を表す。つまり、誘目強度算出部１３は、オブジェクトごとに、当該オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出する。
　なお、ａ１、ａ２、およびａ３は、各項が誘目強度に与える影響を調整するための調整パラメータである。ａ１、ａ２、およびａ３には、予め定められた０以上の数値が設定される。例えば、次式３のように、ａ２およびａ３に０が設定され、ａ１に０より大きい数値が設定されてもよい。つまり、ａ１、ａ２、およびａ３の少なくとも１つに、０よりも大きな数値が設定されればよい。
　ａ２＝０、ａ３＝０　　　　（式３）
　つまり、誘目強度算出部１３は、オブジェクトの画像の物理的な特徴、オブジェクトとユーザとの間の心理的距離、およびオブジェクトとユーザとの間の物理的な位置関係の少なくとも１つに基づいて、誘目強度を算出すればよい。
　ここで、Ａｉｍａｇｅ（ｉ）、Ａｐｓｙ（ｉ）、およびＡｐｈｙ（ｉ）の各々は、次式４～６で定義される。
　Ａｉｍａｇｅ（ｉ）＝ｉ１×ｃｏｍｐｌｅｘ（ｉ）＋ｉ２×ｈｅｔｅｒｏ（ｉ）　　　　　　　（式４）
　Ａｐｓｙ（ｉ）＝ｓ１×ｅ＿ｓｔ（ｉ）＋ｓ２×ｅ＿ｓｂ（ｉ）＋ｓ３×ｅ＿ｗ（ｉ）　　　　（式５）
　Ａｐｈｙ（ｉ）＝ｈ１／ｄｉｓｔ（ｉ）＋ｈ２／ａｎｇ（ｉ）　　　　（式６）
　なお、ｉ１、ｉ２、ｓ１、ｓ２、ｓ３、ｈ１、およびｈ２は、各項が誘目強度に与える影響を調整するための調整パラメータである。ｉ１、ｉ２、ｓ１、ｓ２、ｓ３、ｈ１、およびｈ２には、予め定められた０以上の数値が設定される。
　ここで、式４において、ｃｏｍｐｌｅｘ（ｉ）は、オブジェクトｉの画像の複雑度を表す。したがって、誘目強度算出部１３は、オブジェクトごとに、当該オブジェクトの画像の複雑度に基づいて、複雑度が高いほど誘目強度が大きくなるように誘目強度を算出する。
　また、ｈｅｔｅｒｏ（ｉ）は、オブジェクトｉの周囲の画像に対するオブジェクトｉの画像の異質度を表す。したがって、誘目強度算出部１３は、オブジェクトごとに、当該オブジェクトの周囲の画像に対する当該オブジェクトの画像の異質度に基づいて、異質度が高いほど誘目強度が大きくなるように誘目強度を算出する。
　また、式５において、ｅ＿ｓｔ（ｉ）は、ユーザがオブジェクトｉの作成者であれば「１」となり、そうでなければ「０」となる。つまり、誘目強度算出部１３は、オブジェクトごとに、ユーザが当該オブジェクトの作成者であるか否かに基づいて、ユーザが当該オブジェクトの作成者である場合に、ユーザが当該オブジェクトの作成者でない場合よりも心理的距離が短くなるように、心理的距離を算出する。
　この場合、ユーザインタフェース装置１０は、例えば、ユーザから当該ユーザを識別するための識別情報の入力を予め受け付けておき、その識別情報に基づいて、ユーザがオブジェクトの作成者であるか否かを判定すればよい。なお、オブジェクトの作成者を識別するための情報は、例えば、そのオブジェクトに対応付けて予め記憶部（図示せず）に記憶されていればよい。
　また、ｅ＿ｓｂ（ｉ）は、ユーザがオブジェクトｉ内に表示されている被写体であれば「１」となり、そうでなければ「０」となる。つまり、誘目強度算出部１３は、オブジェクトごとに、ユーザが当該オブジェクト内に表示されている被写体であるか否かに基づいて、ユーザが被写体である場合にユーザが被写体でない場合よりも心理的距離が短くなるように、心理的距離を算出する。
　この場合も、ユーザインタフェース装置１０は、例えば、ユーザから当該ユーザを識別するための識別情報の入力を予め受け付けておき、その識別情報に基づいて、ユーザが当該オブジェクト内に表示されている被写体であるか否かを判定すればよい。なお、オブジェクト内に表示されている被写体を識別するための情報は、例えば、そのオブジェクトに対応付けて予め記憶部（図示せず）に記憶されていればよい。
　また、ｅ＿ｗ（ｉ）はユーザがオブジェクトｉを視覚した回数（以下、単に「視覚回数」という）を表す。したがって、誘目強度算出部１３は、オブジェクトごとに、ユーザが当該オブジェクトを過去に視覚した回数が多いほど心理的距離が短くなるように心理的距離を算出する。
　また、式６において、ｄｉｓｔ（ｉ）は、ユーザとオブジェクトｉとの物理的な距離を表す。したがって、誘目強度算出部１３は、オブジェクトごとに、当該オブジェクトと前記ユーザとの間の物理的距離に基づいて、物理的距離が短いほど誘目強度が大きくなるように誘目強度を算出する。
　また、ａｎｇ（ｉ）は、オブジェクトｉおよびユーザを結ぶ線と、画面２６の法線とのなす角度を表す。したがって、誘目強度算出部１３は、オブジェクトごとに、当該オブジェクトおよびユーザを結ぶ線と画面２６の法線とのなす角度に基づいて、角度が小さいほど誘目強度が大きくなるように誘目強度を算出する。
　ここで、オブジェクトｉの画像の複雑度であるｃｏｍｐｌｅｘ（ｉ）の算出方法について説明する。
　まず、誘目強度算出部１３は、オブジェクトｉの画像を既知の画像処理手法により領域分割する。そして、誘目強度算出部１３は、領域分割によって得られる領域の数に応じて、領域の数が多いほど複雑度が高くなるように、ｃｏｍｐｌｅｘ（ｉ）を算出する。
　具体的には、誘目強度算出部１３は、例えば、特許文献３（特開２００７－１８０２５）に開示されている方法を用いて、複雑度を算出すればよい。もちろん、この特許文献３に示されている方法は、画像の複雑度の算出方法の一例にすぎず、本発明はこれに限られるものではない。
　次に、オブジェクトｉの周囲の画像に対するオブジェクトｉの画像の異質度であるｈｅｔｅｒｏ（ｉ）の算出方法について説明する。
　誘目強度算出部１３は、オブジェクトｉの周囲の画像における色およびテクスチャと、オブジェクトｉの画像における色およびテクスチャとの間の相違度を異質度として算出する。各画像における色およびテクスチャは、例えば、当該画像中における最大の領域を占有する色およびテクスチャである。
　具体的には、誘目強度算出部１３は、例えば、非特許文献２（「田中昭二、井口征司、岩舘祐一、中津良平：画像領域の物理的特徴に基づく誘目度評価モデル、電子情報通信学会論文誌Ａ、Ｖｏｌ．Ｊ８３－Ａ、Ｎｏ．５、ｐｐ．５７６－５８８、２０００」）に開示されている方法を用いて、異質度を算出すればよい。もちろん、この非特許文献２に示されている方法は、異質度の算出方法の一例にすぎず、本発明はこれに限られるものではない。
　以下に、非特許文献２に開示されている異質度の算出方法について説明する。
　物理特徴量の異質度は、特徴量と全領域の平均特徴量との差をｄ、ｄの平均値をｄｍ、ｄの標準偏差をｓｔｄとしたとき、次式７で算出される。
　Ｈ（ｄ，ｄｍ，ｓｔｄ）＝｜（ｄ－ｄｍ）／ｓｔｄ｜　　　　（式７）
　例えば、誘目強度算出部１３は、オブジェクトｉの画像の領域の平均色と周囲のオブジェクトの画像も含めた画面全体の平均色との色差と、色差平均と、色差の標準偏差とを算出する。そして、誘目強度算出部１３は、算出結果を式７に代入して、オブジェクトｉの画像の色の異質度ＨＣ（ｉ）を算出する。
　なお、色差は、例えば、ＣＩＥ（国際照明委員会）が策定したＣＩＥ　Ｌ＊ａ＊ｂ＊（エルスター、エースター、ビースター）色空間における色差式を用いて算出されればよい。
　また例えば、誘目強度算出部１３は、テクスチャの特徴量として、非特許文献３（Ｂ．Ｓ．Ｍａｎｊｕｎａｔｈ、Ｗ．Ｙ．Ｍａ：Ｔｅｘｔｕｒｅ　ｆｅａｔｕｒｅｓ　ｆｏｒ　ｂｒｏｗｓｉｎｇ　ａｎｄ　ｒｅｔｒｉｖａｌ　ｏｆ　ｉｍａｇｅ　ｄａｔａ、ＩＥＥＥ　Ｔｒａｎｓ．Ｐａｔｔｅｒｎ　Ａｎａｌ．ａｎｄ　Ｍａｃｈ．Ｉｎｔｅｌｌ．、Ｖｏｌ．１８、Ｎｏ．８、ｐｐ．８３７－８４２、１９９６）に記載のテクスチャ特徴ベクトルを算出してもよい。この場合、誘目強度算出部１３は、テクスチャの特徴量間の差として、テクスチャ特徴ベクトル間のユークリッド距離を算出する。そして、誘目強度算出部１３は、オブジェクトｉの画像のベクトルとオブジェクトｉの周囲のオブジェクトの画像も含めた画面全体の平均ベクトルとの距離、距離の平均、および距離の標準偏差を式７に代入して、オブジェクトｉの画像のテクスチャの異質度ＨＴ（ｉ）を算出する。
　４．関心度の推定
　次に、関心度推定処理（Ｓ１０４）の詳細について説明する。
　関心度推定部１４は、視線滞留時間が長いほど関心度が高くなるように、かつ誘目強度が小さいほど関心度が高くなるように、画面２６に表示された複数のオブジェクトの各々に対するユーザの関心度を推定する。本実施の形態では、関心度推定部１４は、まず、誘目強度が大きいほど短くなるように視線滞留時間を補正することにより、補正視線滞留時間を算出する。そして、関心度推定部１４は、算出した補正視線滞留時間が長いほど関心度が高くなるように関心度を推定する。
　４－１．視線滞留時間の補正
　まず、視線滞留時間の補正について、図１０～図１１Ｂを用いて説明する。
　図１０は、本発明の実施の形態におけるオブジェクトの表示例を示す図である。
　以下では、図１０に示すように、１５個のオブジェクトが画面２６に表示されている場合について説明する。なお、図１０において、画面２６に表示されている数字は、各オブジェクトの識別子（ｉ）と一致している。
　図１１Ａおよび図１１Ｂは、本発明の実施の形態における視線滞留時間の補正方法の一例を説明するための図である。具体的には、図１１Ａは、視線滞留時間から誘目強度に応じた時間を減算することで、補正視線滞留時間を算出する方法を説明するための図である。
　図１１Ａでは、関心度推定部１４は、以下の式８に従って補正視線滞留時間を算出する。すなわち、関心度推定部１４は、視線滞留時間から誘目強度に応じた時間を減算することにより、補正視線滞留時間を算出する。
　Ｔｃ（ｉ）＝Ｔ（ｉ）－Ａ（ｉ）×ｇａ　　（ｇａ＞０）　　　　（式８）
　ここで、Ｔ（ｉ）は、オブジェクトｉに対する視線滞留時間を表す。また、Ｔｃ（ｉ）は、オブジェクトｉに対する補正視線滞留時間を表す。また、ｇａは、補正量を調整するための調整パラメータである。
　なお、関心度推定部１４は、必ずしも視線滞留時間から誘目強度に応じた時間を減算することにより、補正視線滞留時間を算出する必要はない。例えば、関心度推定部１４は、誘目強度に応じた値を用いて視線滞留時間を除算することにより、補正視線滞留時間を算出してもよい。
　図１１Ｂは、視線滞留時間を誘目強度に応じた値で除算することで、補正視線滞留時間を算出する方法を説明するための図である。図１１Ｂでは、関心度推定部１４は、以下の式９に従って補正視線滞留時間を算出する。すなわち、関心度推定部１４は、誘目強度に応じた値を用いて視線滞留時間を除算することにより、補正視線滞留時間を算出する。つまり、関心度推定部１４は、誘目強度に応じて視線滞留時間を収縮させることで、視線滞留時間を補正する。
　Ｔｃ（ｉ）＝Ｔ（ｉ）／Ａ（ｉ）×ｇｂ　　（ｇｂ＞０）　　　　（式９）
　ここで、ｇｂは、補正量を調整するための調整パラメータである。
　このように、関心度推定部１４は、誘目強度が大きいほど短くなるように視線滞留時間を補正することにより、補正視線滞留時間を算出する。
　４－２．関心度の推定
　次に、関心度推定部１４は、上記により算出された補正視線滞留時間を用いて、次式１０のように関心度を推定する。すなわち、関心度推定部１４は、補正視線滞留時間が長いほど関心度が高くなるように関心度を推定する。
　Ｉ（ｉ）＝Ｔｃ（ｉ）×ｋ　　（ｋ＞０）　　　　（式１０）
　ここで、Ｉ（ｉ）は関心度を表す。また、ｋは、関心度の値の大きさを調整するための調整パラメータである。
　以上のように、本実施の形態におけるユーザインタフェース装置１０によれば、ユーザの関心度を推定する際に、視線滞留時間をそのまま用いるのでなく、オブジェクトの誘目強度を用いて視線滞留時間を補正した補正視線滞留時間を用いる。これにより、視線滞留時間を用いてユーザの関心度を推定するときに、視線滞留時間に含まれる、関心度に関係がない時間（例えば、画像が複雑で一見しただけでは内容を理解することが難しいためにオブジェクトを注視している時間、あるいは刺激強度が強いからオブジェクトを注視している時間など）の影響を抑制することができる。
　すなわち、ユーザインタフェース装置１０は、各オブジェクトの誘目強度に基づいて、ユーザの関心度を推定することができる。オブジェクトの誘目強度が大きければ、ユーザは、そのオブジェクトに関心がなくても視線を向けてしまう。つまり、視線滞留時間は、そのオブジェクトに対するユーザの関心度だけではなく、そのオブジェクトの誘目強度に応じて変動する。したがって、ユーザインタフェース装置１０は、誘目強度に基づいて関心度を推定することにより、視線滞留時間のうちユーザの関心度に関係しない時間が、関心度の推定に与える影響を抑制することができる。つまり、ユーザインタフェース装置１０は、オブジェクトに対するユーザの関心度を高精度に推定することが可能となる。
　また、ユーザインタフェース装置１０は、オブジェクトの物理的な特徴に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトの物理的な特徴（例えば、オブジェクトの複雑度または異質度など）に依存する。例えば、オブジェクトの画像の複雑度が高ければ、そのオブジェクトの内容を理解するために視線をそのオブジェクトに向ける時間が長くなる。したがって、ユーザインタフェース装置１０は、オブジェクトの物理的な特徴に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
　また、ユーザインタフェース装置１０は、オブジェクトとユーザとの間の心理的距離に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトとユーザとの間の心理的距離（例えば、そのオブジェクトをユーザが視覚した回数、ユーザがそのオブジェクトの作成者であるか否か、そのオブジェクトにユーザが表示されているか否かなど）に依存する。したがって、ユーザインタフェース装置１０は、オブジェクトとユーザとの間の心理的距離に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
　また、ユーザインタフェース装置１０は、オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトとユーザとの物理的な位置関係（例えば、オブジェクトとユーザとの物理的距離、またはユーザに対するオブジェクトの方向など）に依存する。例えば、オブジェクトとユーザとの物理的距離が短ければ、そのオブジェクトに視線を向ける時間が長くなる。したがって、ユーザインタフェース装置１０は、オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
　また、ユーザインタフェース装置１０は、誘目強度に応じて補正した視線滞留時間に基づいて関心度を推定することができる。したがって、ユーザインタフェース装置１０は、視線滞留時間からユーザの関心度に関係しない時間を取り除くことができるので、ユーザの関心度を高精度に推定することが可能となる。
　以上、本発明の一態様に係るユーザインタフェースシステム１００について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも、本発明の範囲内に含まれる。
　例えば、上記実施の形態において、視線方向検出部１１は、カメラ３０によって生成された画像情報に基づいて、視線方向を検出したが、もちろん画像情報に基づいて視線方向を検出する方法に限られない。他の視線方向を検出する方法としては、例えば、ユーザに装着された計測機器を用いて視線方向を検出する方法（第１の方法）、または赤外光源など非接触な機器を用いて視線方向を検出する方法（第２の方法）などがある。
　第１の方法には、頭部に取り付けられた電極から取得された角膜－網膜の電位変化から眼球運動を検出するＥＯＧ（Ｅｌｅｃｔｒｏ－ｏｃｕｌｏｇｒａｐｈｙ）法、あるいはコイルを組み込んだコンタクトレンズに生じた誘導電流から眼球運動を検出するサーチコイル法などが存在する。また、第１の方法には、ヘルメットあるいは眼鏡のような装着型のアイカメラを用いて、視線方向を検出する方法もある。
　第２の方法には、近赤外の点光源を目に照射し、角膜で反射されたプルキニエ像と瞳孔の位置から視線方向を推定する角膜反射法などがある。
　また、上記実施の形態において、関心度推定部１４は、補正視線滞留時間を算出していたが、必ずしも補正視線滞留時間を算出する必要はない。例えば、関心度推定部１４は、視線滞留時間に基づいて関心度を推定した後に、誘目強度を用いて、推定された関心度を補正してもよい。
　また、上記実施の形態において、表示装置２０が画面制御部２５を備えていたが、ユーザインタフェース装置１０が画面制御部２５を備えてもよい。この場合、ユーザインタフェース装置１０は、画面制御装置と呼ばれてもよい。また、ユーザインタフェース装置１０は、画面制御部２５に加えて、画面２６を備えてもよい。この場合、ユーザインタフェース装置１０は、表示装置と呼ばれてもよい。
　また、上記実施の形態において、表示装置２０は、推定された関心度に応じて、画面の表示制御を行っていたが、必ずしも画面の表示制御を行う必要はない。例えば、表示装置２０は、関心度に応じて音を出力してもよい。具体的には、表示装置２０は、例えば、複数のオブジェクトのうち関心度が最も高いオブジェクトに関する情報を示す音（例えば機械音声）を出力してもよい。
　また、図２Ａ～図２Ｃにおいて、ユーザインタフェース装置１０は、表示装置２０の外部に配置されていたが、表示装置２０に内蔵されてもよい。
　なお、本発明の一態様に係るユーザインタフェース装置は、以下のように変形することもできる。
　（１）上記のユーザインタフェース装置は、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたは前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。なお、各装置は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどの全てを含むコンピュータシステムに限らず、これらの一部から構成されているコンピュータシステムであってもよい。
　（２）上記のユーザインタフェース装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　（３）上記のユーザインタフェース装置を構成する構成要素の一部または全部は、ユーザインタフェース装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
　（４）本発明は、上記に示す入力方法であるとしてもよい。また、これらの入力方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
　また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ（登録商標））、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラムまたは前記デジタル信号であるとしてもよい。
　また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
　また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
　また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
　（５）上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
　本発明の一態様に係るユーザインタフェース装置は、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うユーザインタフェース装置として有用である。また、デジタルサイネージにおける広告効果の測定等の用途にも応用できる。
　　１０　　ユーザインタフェース装置
　　１１　　視線方向検出部
　　１２　　視線滞留時間算出部
　　１３　　誘目強度算出部
　　１４　　関心度推定部
　　２０　　表示装置
　　２５　　画面制御部
　　２６　　画面
　　３０　　カメラ
　１００　　ユーザインタフェースシステム

Claims (20)

  1. 　画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うために前記ユーザの関心度を推定するユーザインタフェース装置であって、
    　前記ユーザの視線方向を検出する視線方向検出部と、
    　前記複数のオブジェクトの各々に対する前記視線方向の滞留時間を視線滞留時間として算出する視線滞留時間算出部と、
    　前記オブジェクトごとに誘目強度を算出する誘目強度算出部と、
    　前記視線滞留時間が長いほど関心度が高くなるように、かつ前記誘目強度が小さいほど関心度が高くなるように、前記複数のオブジェクトの各々に対する前記ユーザの関心度を推定する関心度推定部とを備える
    　ユーザインタフェース装置。
  2. 　前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトの画像の物理的な特徴に基づいて前記誘目強度を算出する
    　請求項１に記載のユーザインタフェース装置。
  3. 　前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトの画像の複雑度に基づいて、複雑度が高いほど誘目強度が大きくなるように前記誘目強度を算出する
    　請求項２に記載のユーザインタフェース装置。
  4. 　前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトの周囲の画像に対する当該オブジェクトの画像の異質度に基づいて、異質度が高いほど誘目強度が大きくなるように前記誘目強度を算出する
    　請求項２または３に記載のユーザインタフェース装置。
  5. 　前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトと前記ユーザとの間の心理的距離が短いほど誘目強度が大きくなるように前記誘目強度を算出する
    　請求項１～４のいずれか１項に記載のユーザインタフェース装置。
  6. 　前記誘目強度算出部は、前記オブジェクトごとに、前記ユーザが当該オブジェクトを過去に視覚した回数が多いほど心理的距離が短くなるように前記心理的距離を算出する
    　請求項５に記載のユーザインタフェース装置。
  7. 　前記誘目強度算出部は、前記オブジェクトごとに、前記ユーザが当該オブジェクトの作成者であるか否かに基づいて、前記ユーザが当該オブジェクトの作成者である場合に、前記ユーザが当該オブジェクトの作成者でない場合よりも心理的距離が短くなるように、前記心理的距離を算出する
    　請求項５または６に記載のユーザインタフェース装置。
  8. 　前記誘目強度算出部は、前記オブジェクトごとに、前記ユーザが当該オブジェクト内に表示されている被写体であるか否かに基づいて、前記ユーザが被写体である場合に前記ユーザが被写体でない場合よりも心理的距離が短くなるように、前記心理的距離を算出する
    　請求項５～７のいずれか１項に記載のユーザインタフェース装置。
  9. 　前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトと前記ユーザとの物理的な位置関係に基づいて前記誘目強度を算出する
    　請求項１～８のいずれか１項に記載のユーザインタフェース装置。
  10. 　前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトと前記ユーザとの間の物理的距離に基づいて、物理的距離が短いほど誘目強度が大きくなるように前記誘目強度を算出する
    　請求項９に記載のユーザインタフェース装置。
  11. 　前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトおよび前記ユーザを結ぶ線と前記画面の法線とのなす角度に基づいて、角度が小さいほど誘目強度が大きくなるように前記誘目強度を算出する
    　請求項９または１０に記載のユーザインタフェース装置。
  12. 　前記関心度推定部は、前記誘目強度が大きいほど短くなるように前記視線滞留時間を補正することにより補正視線滞留時間を算出し、算出した前記補正視線滞留時間が長いほど関心度が高くなるように前記関心度を推定する
    　請求項１～１１のいずれか１項に記載のユーザインタフェース装置。
  13. 　前記関心度推定部は、前記視線滞留時間から前記誘目強度に応じた時間を減算することにより前記補正視線滞留時間を算出する
    　請求項１２に記載のユーザインタフェース装置。
  14. 　前記関心度推定部は、前記誘目強度に応じた値を用いて前記視線滞留時間を除算することにより前記補正視線滞留時間を算出する
    　請求項１２に記載のユーザインタフェース装置。
  15. 　さらに、
    　推定された前記関心度に応じて、前記画面の表示制御を行う画面制御部を備える
    　請求項１～１４のいずれか１項に記載のユーザインタフェース装置。
  16. 　画面制御部は、前記複数のオブジェクトのうち、推定された前記関心度が最も高いオブジェクトに関する情報を、前記画面に表示させる
    　請求項１５に記載のユーザインタフェース装置。
  17. 　画面制御部は、前記複数のオブジェクトのうち、推定された前記関心度が最も高いオブジェクト、または、前記複数のオブジェクトのうち、推定された前記関心度が最も高いオブジェクトを除くオブジェクトの表示態様を変化させる
    　請求項１５に記載のユーザインタフェース装置。
  18. 　前記ユーザインタフェース装置は、集積回路として構成されている
    　請求項１～１７のいずれか１項に記載のユーザインタフェース装置。
  19. 　画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにコンピュータが前記ユーザの関心度を推定する入力方法であって、
    　前記ユーザの視線方向を検出する視線方向検出ステップと、
    　前記複数のオブジェクトの各々に対する、検出された前記視線方向の滞留時間を、視線滞留時間として算出する視線滞留時間算出ステップと、
    　前記オブジェクトごとに誘目強度を算出する誘目強度算出ステップと、
    　前記視線滞留時間が長いほど関心度が高くなるように、かつ前記誘目強度が小さいほど関心度が高くなるように、前記複数のオブジェクトの各々に対する前記ユーザの関心度を推定する関心度推定ステップとを含む
    　入力方法。
  20. 　請求項１９に記載の入力方法をコンピュータに実行させるためのプログラム。
PCT/JP2010/007026 2009-12-14 2010-12-02 ユーザインタフェース装置および入力方法 WO2011074198A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011545938A JP5602155B2 (ja) 2009-12-14 2010-12-02 ユーザインタフェース装置および入力方法
CN201080006051.5A CN102301316B (zh) 2009-12-14 2010-12-02 用户界面装置以及输入方法
EP10837235.0A EP2515206B1 (en) 2009-12-14 2010-12-02 User interface apparatus and input method
US13/147,246 US8830164B2 (en) 2009-12-14 2010-12-02 User interface device and input method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-282491 2009-12-14
JP2009282491 2009-12-14

Publications (1)

Publication Number Publication Date
WO2011074198A1 true WO2011074198A1 (ja) 2011-06-23

Family

ID=44166973

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/007026 WO2011074198A1 (ja) 2009-12-14 2010-12-02 ユーザインタフェース装置および入力方法

Country Status (5)

Country Link
US (1) US8830164B2 (ja)
EP (1) EP2515206B1 (ja)
JP (1) JP5602155B2 (ja)
CN (1) CN102301316B (ja)
WO (1) WO2011074198A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2494235A (en) * 2011-08-30 2013-03-06 Gen Electric Gaze- and/or pose-dependent interactive advertising
KR101490505B1 (ko) * 2014-07-08 2015-02-10 주식회사 테라클 관심도 생성 방법 및 장치
JP2015039487A (ja) * 2013-08-21 2015-03-02 大日本印刷株式会社 生理指標を用いる視線分析システムおよび方法
JP2015052879A (ja) * 2013-09-06 2015-03-19 カシオ計算機株式会社 情報処理装置及びプログラム
JP2015127897A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 表示制御装置、表示制御システム、表示制御方法、およびプログラム
JP2016046730A (ja) * 2014-08-25 2016-04-04 学校法人早稲田大学 視聴者注目情報提供システム、時空間マーカ設定装置及びそのプログラム、並びに、情報提供装置及びそのプログラム
JP5961736B1 (ja) * 2015-08-17 2016-08-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御する方法、および、プログラム
JP2017041229A (ja) * 2016-06-08 2017-02-23 株式会社コロプラ ヘッドマウントディスプレイシステムを制御する方法、および、プログラム
JP2017182628A (ja) * 2016-03-31 2017-10-05 株式会社エヌ・ティ・ティ・データ 拡張現実ユーザインタフェース適用装置および制御方法
CN108489507A (zh) * 2018-03-20 2018-09-04 京东方科技集团股份有限公司 导航装置及其工作方法、计算机可读存储介质
JP2020038336A (ja) * 2019-02-19 2020-03-12 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP2020038562A (ja) * 2018-09-05 2020-03-12 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US10642353B2 (en) 2017-07-19 2020-05-05 Fujitsu Limited Non-transitory computer-readable storage medium, information processing apparatus, and information processing method
WO2024047990A1 (ja) * 2022-09-02 2024-03-07 キヤノン株式会社 情報処理装置
US11972619B2 (en) 2019-02-20 2024-04-30 Evident Corporation Information processing device, information processing system, information processing method and computer-readable recording medium

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011114567A1 (ja) * 2010-03-18 2011-09-22 富士フイルム株式会社 立体表示装置及び立体撮影装置、並びに利き目判定方法及びこれに用いる利き目判定プログラム並びに記録媒体
WO2012105196A1 (ja) * 2011-02-04 2012-08-09 パナソニック株式会社 関心度推定装置および関心度推定方法
WO2012175785A1 (en) * 2011-06-20 2012-12-27 Nokia Corporation Methods, apparatuses and computer program products for performing accurate pose estimation of objects
US20130138499A1 (en) * 2011-11-30 2013-05-30 General Electric Company Usage measurent techniques and systems for interactive advertising
WO2013085193A1 (ko) * 2011-12-06 2013-06-13 경북대학교 산학협력단 사용자 인지 향상 장치 및 그 인지 향상 방법
EP2795425A4 (en) * 2011-12-23 2015-08-26 Thomson Licensing COMPUTER DEVICE WITH POWER CONSUMPTION MANAGEMENT AND METHOD FOR MANAGING THE POWER CONSUMPTION OF A COMPUTER DEVICE
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
KR101922589B1 (ko) * 2012-02-15 2018-11-27 삼성전자주식회사 디스플레이장치 및 그 시선추적방법
KR101408591B1 (ko) * 2012-04-27 2014-06-17 삼성전기주식회사 무안경 3차원 영상 디스플레이 장치 및 방법
US9030505B2 (en) * 2012-05-17 2015-05-12 Nokia Technologies Oy Method and apparatus for attracting a user's gaze to information in a non-intrusive manner
JP6007600B2 (ja) * 2012-06-07 2016-10-12 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8965624B2 (en) 2012-08-14 2015-02-24 Ebay Inc. Method and system of vehicle tracking portal
CN103870146B (zh) * 2012-12-17 2020-06-23 联想(北京)有限公司 一种信息处理方法及电子设备
JP2014157466A (ja) * 2013-02-15 2014-08-28 Sony Corp 情報処理装置及び記憶媒体
US11228805B2 (en) * 2013-03-15 2022-01-18 Dish Technologies Llc Customized commercial metrics and presentation via integrated virtual environment devices
KR102098277B1 (ko) 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
JP5420793B1 (ja) * 2013-09-10 2014-02-19 テレパシー インク 画像の視認距離を調整できるヘッドマウントディスプレイ
US20150113454A1 (en) * 2013-10-21 2015-04-23 Motorola Mobility Llc Delivery of Contextual Data to a Computing Device Using Eye Tracking Technology
US9804753B2 (en) * 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time
US10424103B2 (en) * 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
US10416759B2 (en) * 2014-05-13 2019-09-17 Lenovo (Singapore) Pte. Ltd. Eye tracking laser pointer
KR102240632B1 (ko) * 2014-06-10 2021-04-16 삼성디스플레이 주식회사 생체 효과 영상을 제공하는 전자 기기의 구동 방법
KR102253444B1 (ko) 2014-07-08 2021-05-20 삼성디스플레이 주식회사 사용자의 눈 깜빡임을 유도하는 유도 영상 표시 방법, 장치, 및 컴퓨터 판독 가능한 기록매체
CN104199544B (zh) * 2014-08-28 2018-06-22 华南理工大学 基于视线跟踪的广告定向投放方法
EP3009918A1 (en) * 2014-10-13 2016-04-20 Thomson Licensing Method for controlling the displaying of text for aiding reading on a display device, and apparatus adapted for carrying out the method and computer readable storage medium
WO2016058847A1 (en) 2014-10-13 2016-04-21 Thomson Licensing Method for controlling the displaying of text for aiding reading on a display device, and apparatus adapted for carrying out the method, computer program, and computer readable storage medium
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
US11194398B2 (en) 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
JP6282769B2 (ja) * 2016-06-23 2018-02-21 株式会社ガイア・システム・ソリューション エンゲージメント値処理システム及びエンゲージメント値処理装置
US9875398B1 (en) * 2016-06-30 2018-01-23 The United States Of America As Represented By The Secretary Of The Army System and method for face recognition with two-dimensional sensing modality
US20180007328A1 (en) * 2016-07-01 2018-01-04 Intel Corporation Viewpoint adaptive image projection system
JP6799063B2 (ja) * 2016-07-20 2020-12-09 富士フイルム株式会社 注目位置認識装置、撮像装置、表示装置、注目位置認識方法及びプログラム
EP3501014A1 (en) 2016-08-17 2019-06-26 VID SCALE, Inc. Secondary content insertion in 360-degree video
TWI642030B (zh) * 2017-08-09 2018-11-21 宏碁股份有限公司 視覺效用分析方法及相關眼球追蹤裝置與系統
CN107577959A (zh) * 2017-10-11 2018-01-12 厦门美图移动科技有限公司 一种隐私保护方法及移动终端
US11151600B2 (en) * 2018-04-23 2021-10-19 International Business Machines Corporation Cognitive analysis of user engagement with visual displays
USD914021S1 (en) 2018-12-18 2021-03-23 Intel Corporation Touchpad display screen for computing device
US11949934B2 (en) * 2018-12-28 2024-04-02 Gree, Inc. Video distribution system, video distribution method, video distribution program, information processing terminal, and video viewing program
EP3948492A4 (en) * 2019-03-27 2022-11-09 INTEL Corporation SMART BILLBOARD APPARATUS AND RELATED METHODS
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
JP7327370B2 (ja) * 2020-12-07 2023-08-16 横河電機株式会社 装置、方法およびプログラム
CN118140169A (zh) 2021-09-27 2024-06-04 三星电子株式会社 用于显示内容的电子装置和方法
US20240115933A1 (en) * 2022-10-09 2024-04-11 Sony Interactive Entertainment Inc. Group control of computer game using aggregated area of gaze

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09190325A (ja) 1996-01-09 1997-07-22 Canon Inc 表示装置
JP2004199695A (ja) * 2002-12-18 2004-07-15 Xerox Corp 視覚的特性を自動的に選択して背景に対して目標を強調表示する方法
WO2006082979A1 (ja) * 2005-02-07 2006-08-10 Matsushita Electric Industrial Co., Ltd. 画像処理装置および画像処理方法
JP2007018025A (ja) 2004-06-30 2007-01-25 Sharp Corp 複雑度測定方法、処理選択方法、画像処理方法、そのプログラムおよび記録媒体、画像処理装置、並びに、画像処理システム
JP2007286995A (ja) * 2006-04-19 2007-11-01 Hitachi Ltd 注目度計測装置及び注目度計測システム
JP2008502990A (ja) * 2004-06-18 2008-01-31 トビイ テクノロジー アーベー 視線追跡に基づいてコンピュータ装置を制御するための装置、方法及びコンピュータプログラム
JP2008112401A (ja) * 2006-10-31 2008-05-15 Mitsubishi Electric Corp 広告効果測定装置
JP2008141484A (ja) 2006-12-01 2008-06-19 Sanyo Electric Co Ltd 画像再生システム及び映像信号供給装置
JP2009193499A (ja) * 2008-02-18 2009-08-27 Hitachi Ltd 注視商品データ取得方法および商品販売管理システム
JP2009535683A (ja) * 2006-04-28 2009-10-01 トムソン ライセンシング オブジェクト・ベース視覚的注意モデルの顕著性推定
JP2009245364A (ja) * 2008-03-31 2009-10-22 Nec Corp 広告管理システム、広告管理装置、広告管理方法、及びプログラム
WO2010070882A1 (ja) * 2008-12-16 2010-06-24 パナソニック株式会社 情報表示装置及び情報表示方法
WO2010143377A1 (ja) * 2009-06-08 2010-12-16 パナソニック株式会社 注視対象判定装置及び注視対象判定方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3482923B2 (ja) * 1999-10-28 2004-01-06 セイコーエプソン株式会社 自動構図決定装置
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
JP4207883B2 (ja) * 2004-03-24 2009-01-14 セイコーエプソン株式会社 視線誘導度算出システム
US7260276B2 (en) 2004-06-30 2007-08-21 Sharp Laboratories Of America, Inc. Methods and systems for complexity estimation and complexity-based selection
JP4046121B2 (ja) * 2005-03-24 2008-02-13 セイコーエプソン株式会社 立体画像表示装置及び方法
EP2002322B1 (en) * 2006-03-23 2009-07-15 Koninklijke Philips Electronics N.V. Hotspots for eye track control of image manipulation
CN101432775B (zh) * 2006-04-28 2012-10-03 汤姆逊许可公司 基于对象的视觉注意力模型的显著性评估方法
JP4775123B2 (ja) * 2006-06-09 2011-09-21 日産自動車株式会社 車両用監視装置
US7542210B2 (en) * 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
JP4991440B2 (ja) * 2007-08-08 2012-08-01 株式会社日立製作所 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム
EP2107787A1 (en) * 2008-03-31 2009-10-07 FUJIFILM Corporation Image trimming device
JP4282091B1 (ja) * 2008-09-04 2009-06-17 株式会社モバイルビジネスプロモート 端末装置、情報処理方法及びプログラム
US8581838B2 (en) * 2008-12-19 2013-11-12 Samsung Electronics Co., Ltd. Eye gaze control during avatar-based communication

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09190325A (ja) 1996-01-09 1997-07-22 Canon Inc 表示装置
JP2004199695A (ja) * 2002-12-18 2004-07-15 Xerox Corp 視覚的特性を自動的に選択して背景に対して目標を強調表示する方法
JP2008502990A (ja) * 2004-06-18 2008-01-31 トビイ テクノロジー アーベー 視線追跡に基づいてコンピュータ装置を制御するための装置、方法及びコンピュータプログラム
JP2007018025A (ja) 2004-06-30 2007-01-25 Sharp Corp 複雑度測定方法、処理選択方法、画像処理方法、そのプログラムおよび記録媒体、画像処理装置、並びに、画像処理システム
WO2006082979A1 (ja) * 2005-02-07 2006-08-10 Matsushita Electric Industrial Co., Ltd. 画像処理装置および画像処理方法
JP2007286995A (ja) * 2006-04-19 2007-11-01 Hitachi Ltd 注目度計測装置及び注目度計測システム
JP2009535683A (ja) * 2006-04-28 2009-10-01 トムソン ライセンシング オブジェクト・ベース視覚的注意モデルの顕著性推定
JP2008112401A (ja) * 2006-10-31 2008-05-15 Mitsubishi Electric Corp 広告効果測定装置
JP2008141484A (ja) 2006-12-01 2008-06-19 Sanyo Electric Co Ltd 画像再生システム及び映像信号供給装置
JP2009193499A (ja) * 2008-02-18 2009-08-27 Hitachi Ltd 注視商品データ取得方法および商品販売管理システム
JP2009245364A (ja) * 2008-03-31 2009-10-22 Nec Corp 広告管理システム、広告管理装置、広告管理方法、及びプログラム
WO2010070882A1 (ja) * 2008-12-16 2010-06-24 パナソニック株式会社 情報表示装置及び情報表示方法
WO2010143377A1 (ja) * 2009-06-08 2010-12-16 パナソニック株式会社 注視対象判定装置及び注視対象判定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
B. S. MANJUNATH, W. Y. MA: "Texture features for browsing and retrieval of image data", IEEE TRANS. PATTERN ANAL. AND MACH. INTELL., vol. 18, no. 8, 1996, pages 837 - 842
MASANORI MIYAHARA, MASAKI AOKI, TETSUYA TAKIGUCHI, YASUO ARIKI: "Tagging Video Contents Based on Interest Estimation from Facial Expression", IPSJ JOURNAL, vol. 49, no. 10, 2008, pages 3694 - 3702
SHOJI TANAKA, SEIJI IGUCHI, YUICHI IWADATE, RYOHEI NAKATSU: "Attractiveness Evaluation Model based on the Physical Features of Image Regions", IEICE JOURNAL A, vol. J83-A, no. 5, 2000, pages 576 - 588

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2494235B (en) * 2011-08-30 2017-08-30 Gen Electric Person tracking and interactive advertising
GB2494235A (en) * 2011-08-30 2013-03-06 Gen Electric Gaze- and/or pose-dependent interactive advertising
JP2015039487A (ja) * 2013-08-21 2015-03-02 大日本印刷株式会社 生理指標を用いる視線分析システムおよび方法
JP2015052879A (ja) * 2013-09-06 2015-03-19 カシオ計算機株式会社 情報処理装置及びプログラム
JP2015127897A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 表示制御装置、表示制御システム、表示制御方法、およびプログラム
KR101490505B1 (ko) * 2014-07-08 2015-02-10 주식회사 테라클 관심도 생성 방법 및 장치
JP2016046730A (ja) * 2014-08-25 2016-04-04 学校法人早稲田大学 視聴者注目情報提供システム、時空間マーカ設定装置及びそのプログラム、並びに、情報提供装置及びそのプログラム
US10311640B2 (en) 2015-08-17 2019-06-04 Colopl, Inc. Method and apparatus for providing virtual space, and non-transitory computer readable data storage medium storing program causing computer to perform method
WO2017030037A1 (ja) * 2015-08-17 2017-02-23 株式会社コロプラ 仮想空間を提供するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、仮想空間を提供するための装置
JP5961736B1 (ja) * 2015-08-17 2016-08-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御する方法、および、プログラム
JP2017040970A (ja) * 2015-08-17 2017-02-23 株式会社コロプラ ヘッドマウントディスプレイシステムを制御する方法、および、プログラム
JP2017182628A (ja) * 2016-03-31 2017-10-05 株式会社エヌ・ティ・ティ・データ 拡張現実ユーザインタフェース適用装置および制御方法
JP2017041229A (ja) * 2016-06-08 2017-02-23 株式会社コロプラ ヘッドマウントディスプレイシステムを制御する方法、および、プログラム
US10642353B2 (en) 2017-07-19 2020-05-05 Fujitsu Limited Non-transitory computer-readable storage medium, information processing apparatus, and information processing method
CN108489507A (zh) * 2018-03-20 2018-09-04 京东方科技集团股份有限公司 导航装置及其工作方法、计算机可读存储介质
JP2020038562A (ja) * 2018-09-05 2020-03-12 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP2020038336A (ja) * 2019-02-19 2020-03-12 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP7263825B2 (ja) 2019-02-19 2023-04-25 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US11972619B2 (en) 2019-02-20 2024-04-30 Evident Corporation Information processing device, information processing system, information processing method and computer-readable recording medium
WO2024047990A1 (ja) * 2022-09-02 2024-03-07 キヤノン株式会社 情報処理装置

Also Published As

Publication number Publication date
CN102301316A (zh) 2011-12-28
EP2515206A1 (en) 2012-10-24
CN102301316B (zh) 2015-07-22
EP2515206A4 (en) 2015-01-21
JP5602155B2 (ja) 2014-10-08
US8830164B2 (en) 2014-09-09
JPWO2011074198A1 (ja) 2013-04-25
EP2515206B1 (en) 2019-08-14
US20110298702A1 (en) 2011-12-08

Similar Documents

Publication Publication Date Title
JP5602155B2 (ja) ユーザインタフェース装置および入力方法
JP5286371B2 (ja) 情報表示装置及び情報表示方法
US9538219B2 (en) Degree of interest estimating device and degree of interest estimating method
WO2013018267A1 (ja) 提示制御装置、及び提示制御方法
CN111886564B (zh) 信息处理装置、信息处理方法和程序
US20170255260A1 (en) Information processing apparatus, information processing method, and program
JP6123694B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2021095277A1 (ja) 視線検出方法、視線検出装置、及び制御プログラム
JP6745518B1 (ja) 視線検出方法、視線検出装置、及び制御プログラム
KR20200144196A (ko) 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법
CN112585673B (zh) 信息处理设备、信息处理方法及程序
US20210400234A1 (en) Information processing apparatus, information processing method, and program
US12001746B2 (en) Electronic apparatus, and method for displaying image on display device
US20230185371A1 (en) Electronic device
US20230188828A1 (en) Electronic device
EP4374242A1 (en) Screen interaction using eog coordinates
CN117730298A (zh) 使用eog坐标的屏幕交互

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080006051.5

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2011545938

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2010837235

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10837235

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13147246

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10837235

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE