WO2017047212A1 - 視線操作装置及び方法、並びに医療機器 - Google Patents

視線操作装置及び方法、並びに医療機器 Download PDF

Info

Publication number
WO2017047212A1
WO2017047212A1 PCT/JP2016/070632 JP2016070632W WO2017047212A1 WO 2017047212 A1 WO2017047212 A1 WO 2017047212A1 JP 2016070632 W JP2016070632 W JP 2016070632W WO 2017047212 A1 WO2017047212 A1 WO 2017047212A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
sight
movement
icon
user
Prior art date
Application number
PCT/JP2016/070632
Other languages
English (en)
French (fr)
Inventor
岡部　雄生
繭子 生田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2017539732A priority Critical patent/JP6456003B2/ja
Priority to EP16846085.5A priority patent/EP3352052A4/en
Publication of WO2017047212A1 publication Critical patent/WO2017047212A1/ja
Priority to US15/896,628 priority patent/US10747308B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Definitions

  • the present invention relates to a line-of-sight operating device and method, and a medical device, and in particular, it is possible to appropriately determine whether or not the line-of-sight movement intended by the user is possible and to prevent the burden on the user from being burdened. It relates to operation technology.
  • Patent Document 1 in a state in which the user keeps gazing at an icon (for example, a “light reduction” icon) displayed on the display unit for a predetermined time or more, the user further steps on the foot switch to name the icon (for example, “light intensity”). It is disclosed that when the user inputs a “decrease”) voice, the user's operation is confirmed and an action corresponding to the icon is executed.
  • An operation icon having a rectangular frame is generally called a “switch” or a “button”.
  • Patent Document 2 when a user designates a position of an image using a line of sight and further inputs an action (for example, “enlarge” or “reduce”), an action corresponding to the sound is executed with the designated position as a starting point. Is disclosed.
  • Patent Document 3 discloses that a user is identified as an operator when the blinking frequency of the user is greater than a threshold and the period when the line of sight is directed to a predetermined input unit is greater than the threshold.
  • Patent Document 4 calculates the current line-of-sight position and displays it with a pointer on the display unit, and determines whether or not an icon has been selected after a predetermined time has elapsed since the user moved the line-of-sight position and moved the pointer. Is disclosed.
  • JP 2001-299691 A Japanese Patent Laying-Open No. 2015-93147 JP 2012-128523 A JP 2007-195892 A
  • the cancel instruction 91 is displayed on the display screen 90, and the user issues a cancel instruction with an OK icon 92 for starting execution of a predetermined action. For this reason, it is assumed that the line of sight is directed to the cancel icon 91. However, before a predetermined time elapses, the user unconsciously removes his / her line of sight from the cancel icon 91 and directs his / her line of sight to the OK icon 92. Suppose that time has passed. Then, it is determined on the device side that the OK icon 92, not the cancel icon 91, is selected by the user, and execution of a predetermined action is started. In other words, there is a risk of malfunction if the user moves his eyes unconsciously and keeps his eyes on a certain area instead of the line of sight movement intended by the user.
  • Patent Document 1 the user needs to further step on the foot switch and input the name of the icon by voice while keeping an eye on the icon for a predetermined time.
  • the burden on the user side is heavy.
  • the operation is an intentional operation based on the number of blinks of the eyes, but it is actually difficult to determine whether the blink is made unconsciously. It is.
  • the number of blinks of a person may be about ten times that of a normal time when nervous, and even the same user may vary depending on the scene. That is, since it is actually difficult to determine whether the operation is an intentional operation, it may lead to a malfunction.
  • Patent Document 4 cannot be expected to have an effect of appropriately determining whether or not the line of sight is intended by the user.
  • the present invention has been made in view of such circumstances, and a line-of-sight operation that can appropriately determine whether or not the movement of the line of sight intended by the user can be made and does not impose a burden on the user.
  • An object is to provide an apparatus and method, and a medical device.
  • a line-of-sight operating device includes a display screen, a display control unit that displays an icon having an animation image on the display screen, and a line-of-sight detection unit that detects a user's line of sight.
  • a tracking determination unit that determines whether or not the movement of the user's line of sight is following the movement of the animation image based on the detection result of the line of sight detection unit;
  • An output unit that outputs information indicating that the icon has been selected when it is determined that the movement is followed.
  • the display control unit restricts at least one of the motion, color, shape, and pattern of the animation image.
  • peripheral characteristics for acquiring at least one of movement, color, shape, and pattern in the display of the peripheral area of the icon or the peripheral area of the animation image as the display characteristics of the peripheral area An acquisition unit, and an animation image determination unit that determines a display characteristic of the animation image by obtaining a display characteristic within a certain limited range based on the display characteristic of the peripheral region acquired by the peripheral characteristic acquisition unit;
  • the display control unit performs restriction by performing display control of the animation image based on the display characteristic of the animation image determined by the animation image determination unit.
  • the display control unit changes the motion of the animation image according to the icon selection timing or the display content of the display screen.
  • the movement of the animation image is varied according to the use of the icon.
  • the display control unit displays a plurality of icons on the display screen, and varies the motion of the animation image among the plurality of icons.
  • the difference in the motion of the animation image is at least one of the difference in the trajectory of the motion and the difference in the speed of the motion.
  • the line-of-sight operating device includes: a user characteristic measurement unit that measures a user's line-of-sight movement characteristic for each user; and an animation image based on a measurement result for each user by the user characteristic measurement unit.
  • a movement setting unit for setting movement.
  • the display control unit displays a plurality of icons on the display screen
  • the tracking determination unit sets the length of the detection time of the movement of the line of sight in the tracking determination to the plurality of icons. Different between.
  • the display control unit displays a plurality of icons on the display screen and displays the plurality of icons separated from each other by a certain distance or more on the display screen.
  • the display control unit lowers the visibility of the peripheral image, which is an image displayed around the icon, lower than the visibility of the icon.
  • the display control unit stops the movement of the peripheral image that is an image displayed around the icon.
  • the movement of the animation image may be any rotation on the display screen, movement on a line connecting two opposite sides of the display screen, or on a line connecting two opposite corners of the display screen.
  • Motion arbitrary vibration along the display screen, zigzag motion along the display screen, and irregular trajectory motion.
  • a medical device includes the above-described line-of-sight operating device, and executes medical processing according to information output by the output unit.
  • a line-of-sight operation method includes a step of displaying an icon having an animation image on a display screen, a step of detecting a user's line of sight, and a user's line-of-sight detection result.
  • the present invention it is possible to appropriately determine whether or not the line of sight is intended by the user, and it is possible to prevent the user from being burdened.
  • FIG. 1 is a block diagram illustrating a configuration example of a line-of-sight operating device 10 according to the first embodiment of the present invention.
  • the line-of-sight operating device 10 of the present embodiment includes a display unit 12 having a display screen 12A, a camera 14 that images the user and outputs a user image (hereinafter referred to as “user image”), and an information input unit 16A (hereinafter referred to as “user image”).
  • a CPU (central processing unit) 20 that controls each unit of the line-of-sight operating device 10 according to a program stored in the storage unit 18 is provided.
  • the CPU 20 of the present embodiment is a display control unit 22 that performs display control of the display unit 12 and displays a display control unit 22 that displays an icon having an animation image on the display screen 12A, and a gaze detection unit 24 that detects a user's gaze. And a follow-up determination unit 26 that determines whether or not the movement of the user's line of sight follows the movement of the animation image based on the detection result of the line-of-sight detection unit 24, and the information input and output unit 16B of the input unit 16A.
  • An input / output control unit 28 for controlling the information output.
  • the icon is selected by the output unit 16B under the control of the input / output control unit 28. (Hereinafter also referred to as “operation information”) is output.
  • an “icon” is an operation target by line-of-sight input, and is represented by a shape, a pattern, a color, or a combination thereof.
  • the “icon” is not limited to an icon having a rectangular frame (an icon generally called “button” or “switch”). It may be an icon consisting only of a font of characters. That is, the “icon” may be only a picture constituting a font.
  • FIG. 2 shows an example in which the display controller 22 displays the first icon 51 and the second icon 52 on the display screen 12A.
  • Each of the first icon 51 and the second icon 52 includes fonts 51A and 52A indicating icon names, and animation images 51B and 52B having movements that rotate in the plane of the display screen 12A.
  • the first icon 51 is an icon displayed for inputting a cancel instruction (hereinafter referred to as “cancel icon”).
  • the second icon 52 is an icon (hereinafter referred to as “OK icon”) that is displayed for inputting a predetermined action execution start instruction or for confirming the display content of the display screen 12A.
  • the first icon 51 has an animation image 51B having a movement that rotates counterclockwise.
  • the second icon 52 has an animation image 52B that moves in a clockwise direction. That is, the display control unit 22 performs display control such that the plurality of icons 51 and 52 are displayed on the display screen 12A, and the movements of the animation images 51B and 52B are different between the plurality of icons 51 and 52
  • FIG. 2 shows a case where a plurality of icons 51 and 52 are displayed on the display screen 12A
  • the present invention can also be applied to a case where one icon is displayed on the display screen 12A.
  • the display control unit 22 displays the first icon 51 and the second icon 52 on the display screen 12A apart from each other by a certain distance or more.
  • the distance DI also referred to as “icon interval”
  • the size is such that the line-of-sight position deviates from.
  • the icon interval DI in this example is larger than the interval between both eyes of a general person.
  • a distance DA also referred to as “animation image interval” from the animation image 51B of the first icon 51 to the animation image 52B of the second icon 52 may be a certain distance or more.
  • FIG. 3 shows an example in which the first icon 51 and the second icon 52 are arranged on the left side and the right side of the display screen 12A, respectively.
  • the display screen It is preferable to display icons in the upper left corner, lower left corner, upper right corner and lower right corner of 12A.
  • “upper”, “lower”, “left”, and “right” are based on the direction (left-right direction) connecting both eyes of a person. In the direction connecting both eyes of a person who faces his face to the display screen 12A, the left eye side is the left side and the right eye side is the right side.
  • the first icon 51 and the second icon 52 may be arranged on the upper side and the lower side of the display screen 12A, respectively.
  • the first icon 51 and the second icon 52 may be displayed in the upper left corner and lower right corner (or upper right corner and lower left corner) of the display screen 12A, respectively.
  • the line-of-sight detection unit 24 of this example extracts a portion where the eyes do not move and a portion where the eyes move from a user image obtained by imaging the user with the camera 14, and uses the position of the portion where the eyes do not move as a reference.
  • the position of the moving part is detected, and the line-of-sight position on the display screen 12A is calculated based on the detected position of the moving part of the eyes.
  • the line-of-sight detection unit 24 may detect the locus of movement of the line-of-sight position.
  • the gaze detection unit 24 calculates the reference point coordinates by extracting the eye head portion 62 and / or the eye corner portion 64 from the user image 60 as the reference point, and extracts the iris portion 66 from the user image 60 as the moving point.
  • the coordinates are calculated, and the line-of-sight position of the user is calculated from the positional relationship of the moving point coordinates with respect to the reference point coordinates.
  • An imaging device that emits infrared rays to shoot as the camera 14 may be used to detect the line of sight from the relationship between the reflection position on the cornea of the user's eyes and the position of the pupil.
  • the line-of-sight detection unit 24 calculates a reference point coordinate by extracting a corneal reflection image from the user image 60 as a reference point, and extracts a pupil part (68 in FIG. 4) from the user image 60 as a moving point. And the line-of-sight position of the user is calculated from the positional relationship of the moving point coordinates with respect to the reference point coordinates.
  • a device capable of emitting and photographing infrared rays is required.
  • the line-of-sight detection in the present invention is not particularly limited when described with reference to FIG. As long as the method can detect the user's line of sight, the line-of-sight detection may be performed using another known technique. However, a gaze detection technique that guarantees the accuracy of the gaze position to the extent that it can be determined whether or not the gaze is directed to the animation image is used.
  • the tracking determination unit 26 in this example determines whether or not the movement of the user's line of sight follows the movement of the animation image by comparing the motion vector of the line of sight position on the display screen 12A and the motion vector of the animation image. To do.
  • the “motion vector” indicates the direction of movement and the amount of movement.
  • the follow-up determination unit 26 in this example calculates the reciprocal of the difference between the evaluation value of the direction of movement and the amount of movement of the line-of-sight position and the evaluation value of the direction of movement and the amount of movement of the animation image as the follow-up degree. Is less than the threshold, it is determined that “not following”, and when it is equal to or greater than the threshold, it is determined that “following”.
  • the input / output unit 16 controlled by the input / output control unit 28 is not limited to a special hardware device such as a communication unit. It may be a simple output port.
  • the operation information is written in a storage device such as a memory.
  • information indicating that the icon has been selected may be output by inverting the display of the icon on the display screen 12A by the display control unit 22 (for example, inverting white / black in the case of monochrome display). Further, information indicating that the icon has been selected may be output by displaying characters around the icon on the display screen 12A by the display control unit 22 (for example, displaying “selection”). That is, the display unit 12 may be used as an “output unit”. Further, the display is not limited to the above “inverted icon display” and “character display around the icon”, and may be any display indicating that the icon is operated or selected. In this specification, the “selected” icon is a concept including a case where the icon is expressed by a term such as “instructed”, “designated”, or “operated”.
  • FIG. 5 is a flowchart showing the flow of processing for an example of a gaze operating method using the gaze operating device of the first embodiment. This process is executed by the CPU 20 according to a program stored in advance in the storage unit 18.
  • the display control unit 22 displays an icon having an animation image on the display screen 12A of the display unit 12 (step S2). For example, as shown in FIG. 2, icons 51 and 52 having animation images 51B and 52B are displayed.
  • the line-of-sight detection unit 24 detects the user's line of sight, thereby calculating the position (the line-of-sight position) where the user's line of sight is directed on the display screen 12A of the display unit 12 (step S4).
  • the line-of-sight position is calculated based on the user image captured by the camera 14 using the line-of-sight detection technique described with reference to FIG.
  • a follow-up degree which is an evaluation value indicating the follow-up performance of the movement, is calculated (step S6).
  • the reciprocal of the difference between the evaluation value corresponding to the motion vector of the animation images 51B and 52B and the evaluation value corresponding to the motion vector of the line-of-sight position is calculated as the tracking degree. In this case, it can be said that the higher the calculated degree of tracking, the higher the tracking performance.
  • the follow-up determination unit 26 determines whether the movement of the user's line of sight follows the movement of the animation image by comparing the calculated degree of follow-up with a threshold value (step S8).
  • a threshold value In this example, the higher the calculated follow-up degree, the higher the follow-up performance. Therefore, if the follow-up degree is equal to or greater than the threshold value, it is determined that “follow-up” is performed.
  • step S8 When it is determined that the user is following (YES in step S8), the input / output control unit 28 outputs operation information indicating that the icon has been operated by the output unit 16B (step S10). It is determined whether or not to continue the line-of-sight detection (step S12). If it continues (if YES in step S12), the process returns to step S4. If not (NO in step S12), this process ends. .
  • step S8 it is determined whether or not to continue gaze detection (step S14). If it continues (YES in step S14), the process returns to step S4. When not continuing (in the case of NO at step S14), this process is terminated.
  • the user can perform the line-of-sight input operation by following the movement of the animation image 51B in the icon 51, so that the burden is small. That is, it is easier to follow a moving object as compared with manual input, foot input, voice input, or gesture operation. Further, observation of the display on the display screen 12A is not interrupted. In addition, it can be said that there is less stress compared with a line-of-sight operation method in which it is necessary to keep staring at the same position until a predetermined time elapses, and there is no feeling that the reaction is bad or a delay occurs.
  • Animation Variation 1 As shown in FIG. 7A, the animation image 50B in the icon moves in the upward direction U, downward direction D, left direction L, or right direction R within the plane of the display screen 12A. Can be given. That is, a movement (animation) on a line connecting two opposite sides of the display screen 12A is used.
  • the animation image 50B in the icon is displayed on the display screen 12A in the upper right direction RU, the lower right direction RD, the upper left direction LU, Alternatively, it can have a movement in the left diagonally downward direction LD. That is, a movement (animation) on a line connecting two opposite corners of the display screen 12A is used.
  • the “line connecting two opposite corners” is not limited to the case where two diagonals are located on the line, but includes the case where two diagonals are located in the vicinity of the line.
  • Animation Variation 3 As shown in FIG. 7C, the animation image 50B in the icon vibrates in the vertical direction UD, the horizontal direction LR, or the diagonal direction SL1 or SL2 within the plane of the display screen 12A. Can be given. That is, an arbitrary vibration along the display screen 12A is used as an animation.
  • the animation image 50B in the icon can have the motion of the zigzag ZG in the plane of the display screen 12A.
  • the animation variations in the present invention are not particularly limited to the above variations 1 to 4.
  • An irregular trajectory movement may be used as an animation.
  • the animation may be a movement that triggers the user to move the line-of-sight position in the plane of the display screen 12 ⁇ / b> A, that is, a movement in the plane of the display screen 12.
  • the visibility of the peripheral image that is an image displayed in the peripheral region of the icon may be made lower than the visibility of the icon by the display control unit 22.
  • the brightness of the surrounding image is made lower (that is, darkened) than the icon or animation image.
  • visibility is not limited to brightness in this specification.
  • the visibility may be lowered by using a halftone.
  • operation timing when the icon is selected (hereinafter also referred to as “operation timing”), the user is more conspicuous than the surrounding image so that the user can easily turn his / her line of sight toward the animation image or the icon.
  • the display control unit 22 may stop the movement of the peripheral image that is an image displayed around the icon.
  • Second Embodiment in the second embodiment, by limiting the display characteristics (for example, movement, color, shape, pattern, etc.) of an animation image against the habit that a person follows a moving object with his eyes, the line of sight unintended by the user Prevent movement.
  • display characteristics for example, movement, color, shape, pattern, etc.
  • FIG. 8 is a block diagram illustrating a configuration example of the line-of-sight operating device 10 according to the second embodiment of the present invention.
  • symbol is attached
  • the line-of-sight operating device 10 displays at least one of movement, color, shape, and pattern in the display of the peripheral area of the icon (or the peripheral area of the animation image) on the display screen 12A.
  • Peripheral characteristic acquisition unit 32 acquired as a region display characteristic (hereinafter referred to as “peripheral region display characteristic”), and display within a certain limited range based on the peripheral region display characteristic acquired by the peripheral characteristic acquisition unit 32
  • An animation image determination unit 34 that determines the characteristics of displaying an animation image (hereinafter referred to as “animation image display characteristics”) by obtaining the characteristics is provided.
  • the display control unit 22 according to the present embodiment performs display control of the animation image based on the animation image display characteristic determined by the animation image determination unit 34, so that the animation image display characteristic (of movement, color, shape, and pattern) At least one).
  • first acquisition mode and second acquisition mode are given as specific examples of the mode of acquiring the peripheral region display characteristics by the peripheral characteristic acquisition unit 32.
  • An image of a peripheral area is extracted from information indicating an image displayed on the entire display screen 12A (hereinafter referred to as “screen information”), and the display characteristics of the peripheral area are determined based on the image of the peripheral area. By calculating, the peripheral area display characteristic is acquired.
  • Display characteristic information indicating the correspondence between icons (or animation images) and peripheral area display characteristics is stored in the storage unit 18 in advance, and the display characteristic information is read from the storage unit 18. The peripheral area display characteristics are acquired.
  • “Restriction” of the animation image display characteristic performed by the display control unit 22 means that the display characteristic of the animation image is within a certain restriction range in this specification.
  • the evaluation value of the animation image display characteristic is set to be smaller than normal, and the evaluation value of the animation image display characteristic is set to be larger than normal.
  • the characteristics of the animation image are deteriorated as compared with a normal time so as to avoid a color or flashing movement that attracts the user's eyes.
  • the characteristics of the animation image are There is a case to raise dare than.
  • a variable limit range may be used depending on the operation scene.
  • fixed limit range information is stored in the storage unit 18 and the fixed limit range information stored in the storage unit 18 is read and used.
  • the limit range may be switched according to an operation scene (for example, an operation time of an icon or the content of the display screen 12A).
  • FIG. 9 is a flowchart showing the flow of processing for an example of a gaze operating method using the gaze operating device 10 of the second embodiment. This process is executed by the CPU 20 according to a program stored in advance in the storage unit 18. The same steps as those of the first embodiment shown in FIG. 5 are denoted by the same reference numerals, and only different items will be described below.
  • the peripheral characteristic acquisition unit 32 displays at least one of peripheral area display characteristics (for example, movement, color, shape, and pattern) indicating the display characteristics of the peripheral area of the icon (or the peripheral area of the animation image) on the display screen 12A. Is obtained (step S22).
  • peripheral area display characteristics for example, movement, color, shape, and pattern
  • the image of the peripheral area is extracted from the screen information of the display screen 12A, and the evaluation value of the color of the peripheral area image (for example, the average value of the colors of the peripheral area) is acquired as the peripheral area display characteristics.
  • an animation image display characteristic indicating the display characteristic of the animation image is obtained by obtaining a display characteristic within a certain limited range based on the peripheral area display characteristic acquired in step S22 by the animation image determination unit 34. Is determined (step S24).
  • the distance is larger than the first threshold and smaller than the second threshold (> first threshold) in the color system coordinate space.
  • the animation image display characteristics in this example, the color of the animation image are determined.
  • step S26 display control of the animation image is performed by the display control unit 22 based on the animation image display characteristics determined in step S24, so that the display characteristics of the animation image (for example, among movement, color, shape, and pattern) (At least one of them) is limited within a certain limit range (step S26).
  • step S24 display control for displaying an animation image in a color selected from the color system coordinate space in step S24 is performed.
  • Steps S4 to S14 are the same as the steps with the same reference numerals in the first embodiment shown in FIG. 5, and a description thereof will be omitted here.
  • the restriction target of the icon image display characteristic is a color
  • the restriction target of the present embodiment is not limited to the color.
  • the shape, pattern, or movement of the animation image may be limited, or other display characteristics may be limited.
  • combinations of a plurality of display characteristics selected from among colors, shapes, patterns, and movements may be restricted, and other combinations may be restricted.
  • the case where the acquisition target of the peripheral area display characteristics and the restriction target of the icon image display characteristics are colors is described as an example.
  • the acquisition target of the peripheral area display characteristics and the icon image display are displayed. It may be a case where the target of the characteristic is different. For example, acquiring a pattern in the peripheral area and restricting the animation to a certain pattern trajectory (for example, excluding oblique movement) based on the pattern in the peripheral area (for example, a diagonal pattern) is also an effective restriction mode. As an example.
  • the movement of the animation image is controlled from two viewpoints of prevention of erroneous operation and smooth operation.
  • the display control unit 22 according to the present embodiment achieves both the prevention of the erroneous operation and the smooth operation by making the animation different depending on whether the prevention of the erroneous operation is important and the case where the smooth operation is required than the prevention of the erroneous operation. .
  • FIG. 10 is a block diagram showing a first configuration example of the line-of-sight operating device 10 according to the third embodiment of the present invention.
  • symbol is attached
  • the storage unit 18 of the line-of-sight operating device 10 stores importance level information 40 ⁇ / b> A indicating the importance level of the operation.
  • the motion setting unit 42 sets the motion of the animation image on the display screen 12A based on the importance level information 40A stored in the storage unit 18.
  • the display control unit 22 changes the motion of the animation image in the icon according to the importance based on the setting content of the motion setting unit 42.
  • Importance 1 Importance according to the time of icon selection (operation time). For example, the instruction input at the time of final determination is made more important than the instruction input at the normal time before final determination.
  • the storage unit 18 stores the correspondence between the operation timing of the icons 51 and 52 and the importance.
  • the display control unit 22 acquires the importance corresponding to the operation timing of the icons 51 and 52 based on the importance information 40A. For example, the higher the importance according to the operation timing, the slower the animation image is moved. In other words, the higher the importance according to the timing of operation, the lower the speed of animation. The higher the importance according to the timing of operation, the more complicated the movement trajectory of the animation image may be.
  • (Importance 2) Importance according to the displayed content For example, when a warning message is displayed on the display screen 12A for the user, the importance is set higher than when a normal message other than a warning is displayed.
  • the storage unit 18 stores the correspondence between the display content of the display screen 12A and the importance.
  • the display control unit 22 acquires the importance corresponding to the display content of the display screen 12A based on the importance information 40A, and moves the animation image more slowly as the importance according to the display content is higher, for example. That is, the higher the importance according to the display content, the lower the animation speed. The higher the importance according to the display content, the more complicated the movement trajectory of the animation image may be.
  • the storage unit 18 stores a correspondence relationship between the usage (or identification information) of the icons 51 and 52 and the importance.
  • the display control unit 22 acquires the importance corresponding to the use (or identification information) of the icons 51 and 52 based on the importance information 40A. For example, the higher the importance, the slower the animation image is moved. In other words, the higher the importance according to the use of the icon, the lower the animation speed. The higher the importance according to the use of the icon, the more complicated the movement trajectory of the animation image may be.
  • the “use of icon” means an action that is executed when the icon is operated by a line-of-sight input. The “use of icon” may be displayed on the display screen 12A as the name of the icon.
  • Importance information is, for example, a larger value as the importance is higher. Conversely, the higher the importance, the smaller the numerical value. That is, the “importance information” of the present embodiment may mean a normality (non-importance). Further, “smoothness” indicating how much smooth line-of-sight input is required may be employed. Regardless of the name of the index, the design can be changed within a range that does not depart from the gist of the present embodiment.
  • an operation indicating a direct correspondence between an operation scene (specifically, an operation timing of an icon and / or display content of the display screen 12A) and a motion of an animation image is stored in the storage unit 18.
  • the scene information 40B may be stored, and the display control unit 22 may control the movement of the animation image based on the operation scene information 40B.
  • the storage unit 18 stores use information 40C indicating a direct correspondence between the use (or identification information) of the icon and the motion of the animation image, and the use information 40C stores the use information 40C.
  • the display control unit 22 may be configured to control the movement of the animation image.
  • the display control unit 22 controls the movement of the animation image according to the icon selection time (operation time), the display content of the display screen, or the use of the icon.
  • the present invention is a combination of these. May be implemented. For example, when displaying the display content with a high importance level and two icons having different uses on the display screen 12A, the animation images of the two icons move more slowly than when the normal display content is displayed, In addition, there is a difference in the complexity of the motion of the animation image between the two icons depending on the use of the icon.
  • the length of time for detecting the movement of the line of sight in the tracking determination by the tracking determination unit 26 may be made different among a plurality of icons. For example, when two icons are displayed on the display screen 18A, the detection time of the movement of the line of sight with respect to an icon having a relatively high importance among the two icons is made relatively long.
  • the movement of the animation image is controlled according to the characteristic of the movement of the line of sight for each individual user (hereinafter referred to as “user characteristic”).
  • FIG. 13 is a block diagram illustrating a configuration example of the line-of-sight operating device 10 according to the fourth embodiment of the present invention.
  • symbol is attached
  • the storage unit 18 of the line-of-sight operating device 10 stores user characteristic information 44 indicating the characteristic of the user's line-of-sight movement (hereinafter referred to as “user characteristic”).
  • the line-of-sight operating device 10 also includes a user characteristic measurement unit 46 that measures user characteristics for each user, and an animation image on the display screen 12A based on the measurement results for each user by the user characteristic measurement unit 46.
  • a movement setting unit 48 for setting movement is provided.
  • the display control unit 22 changes the motion of the animation image in the icon according to the user characteristics based on the setting content of the motion setting unit 48.
  • the present invention is applicable to medical devices for human or animal medical treatment (diagnosis, treatment, treatment, etc.).
  • a medical device for example, an endoscope apparatus
  • it is considered effective in medical treatment for emergency patients.
  • the present invention is applicable to a device that performs page switching (so-called page turning) of a score for a performer (for example, a pianist) who plays an instrument using both hands.
  • a page switching device is provided that allows a player to instruct page switching by line-of-sight input without using both hands, even when the performer is using both hands when the page of the score is switched.
  • FIG. 14 is a block diagram used for explaining a schematic configuration example when the present invention is applied to a medical device.
  • the same reference numerals are given to the components of the visual line operating device 10 of the first embodiment shown in FIG. 1.
  • illustrations of portions unique to the medical device 100 are omitted.
  • FIG. 14 shows a case where the line-of-sight operating device 10 is incorporated in the medical device 100 and shares the CPU 20.
  • the action unit 120 executes an action corresponding to the information output from the output unit 16B.
  • the result of the executed action is input to the input / output control unit 28 via the input unit 16A.
  • the input unit 16A and the output unit 16B may be input ports and output ports instead of special hardware.
  • Information may be input and output via a memory.
  • the medical device may be configured as a device different from the line-of-sight operating device 10. The same applies to devices other than medical devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本発明は、ユーザが意図した視線移動であるか否かを適切に判断することができ、且つユーザに負担を強いないようにすることができる視線操作装置及び方法、並びに医療機器を提供する。表示画面（１２Ａ）と、表示画面にアニメーション画像を有するアイコンを表示させる表示制御部（２２）と、ユーザの視線を検知する視線検知部（２４）と、視線検知部の検知の結果に基づいて、ユーザの視線の動きがアニメーション画像の動きに追従しているか否かを判定する追従判定部（２６）と、追従判定部によりユーザの視線の動きがアニメーション画像の動きに追従していると判定された場合、アイコンが選択されたことを示す情報を出力する出力部（１６Ｂ）を備える。

Description

視線操作装置及び方法、並びに医療機器
　本発明は視線操作装置及び方法、並びに医療機器に係り、特にユーザが意図した視線移動であるか否かを適切に判断することができ、且つユーザに負担を強いないようにすることができる視線操作技術に関する。
　従来より、視線を用いた操作技術が知られている。また、単に視線が向けられた位置（視線位置）を検知するだけでなく、それ以外の他の種類の検知の形態を組み合わせることにより、ユーザの意図を適切に把握するようにした技術も知られている。
　例えば、特許文献１は、表示部に表示されたアイコン（例えば「光量減少」アイコン）をユーザが所定時間以上注視し続けた状態で、更にユーザがフットスイッチを踏んでアイコンの名称（例えば「光量減少」）を音声入力した場合、ユーザの操作を確定してアイコンに対応したアクションを実行することを開示している。尚、四角形の枠を持つ操作用のアイコンは、一般に「スイッチ」あるいは「ボタン」と呼ばれる。
　特許文献２は、ユーザが視線を用いて画像の位置を指定し、更にアクション（例えば「拡大」又は「縮小」）を音声入力した場合、指定された位置を起点として音声に対応したアクションを実行することを開示している。
　特許文献３は、ユーザの瞬きの頻度が閾値より大きく、且つ所定の入力部に視線が向けられた期間が閾値より大きい場合に、ユーザを操作者として特定することを開示している。
　特許文献４は、現在の視線位置を算出して表示部にポインタで表示し、ユーザが視線位置を移動してポインタを移動させてから、所定の時間経過でアイコンが選択されたか否かを判定することを開示している。
特開２００１－２９９６９１号公報 特開２０１５－９３１４７号公報 特開２０１２－１２８５２３号公報 特開２００７－１９５８９２号公報
　単に視線位置を検知するだけによってユーザがアイコンを操作したか否かを判断する操作技術では、ユーザが操作を意図して行った視線移動であるのか、それともユーザが無意識のうちに目を動かしたのかを、装置側で正しく判断することは、困難である。
　例えば、図１５に示すように、表示画面９０に取り消し指示のためのキャンセルアイコン９１と所定のアクションの実行開始指示のためのＯＫ（オーケー）アイコン９２とが表示された状態で、ユーザが取り消し指示のためにキャンセルアイコン９１に視線を向けたとする。しかし、予め決められた所定の時間経過の前に、ユーザが無意識のうちにキャンセルアイコン９１から視線を外してＯＫアイコン９２に視線を向けてしまい、ＯＫアイコン９２に視線が向けられてから所定の時間が経過したとする。そうすると、キャンセルアイコン９１ではなく、ＯＫアイコン９２がユーザにより選択されたと装置側で判断されてしまい、所定のアクションの実行が開始される。つまり、ユーザが意図して行った視線移動ではなく、ユーザが無意識のうちに目を動かして一定の領域に視線を向け続けた場合、誤動作する危険性がある。
　また、同じ場所に視線を向け続ける必要がある場合、ユーザは、もたつき感を抱く。つまり、ユーザに負担を強いることになる。
　単に視線位置を検知するだけでなく、それ以外の他の種類の検知の形態を組み合わせた技術を採用することにより、適切な判断を行えるようにすることも考えられる。
　例えば、操作対象のアイコンを注視した後に片目を瞑った場合のみ意図的な操作であると認識する方法、瞬きの回数で意図的な操作を認識する方法、あるいは音声入力を併用して意図的な操作を認識する方法が挙げられる。
　特許文献１に開示された技術では、ユーザは、アイコンを所定時間注視し続けた状態において、更にフットスイッチを踏み且つアイコンの名称を音声入力する必要があるので、装置側の誤動作は解消するけれどもユーザ側の負担が大きい。
　特許文献２に開示された技術でも、ユーザは音声入力する必要がある。
　特許文献３に開示された技術では、要するに目の瞬きの回数により意図的な操作であるか否かを判断するが、無意識のうちにした瞬きであるかどうかを切り分けることは、実際には困難である。例えば、人の瞬きの回数は緊張時には通常時に比べて１０倍ほどになることがあり、また同一ユーザであってもシーンに依って違いが出てくる。つまり、意図的な操作であるか否かを判断することが実際には難しいため、誤動作につながる可能性があるといえる。
　また、片目を瞑った場合のみ意図的な操作であると判断する方法の場合、片目を瞑ることが苦手な人が存在することから、実際には採用が難しい。
　特許文献４に開示された技術では、ユーザが意図した視線移動であるか否かを適切に判断することができる効果を期待できない。
　本発明はこのような事情に鑑みてなされたもので、ユーザが意図した視線移動であるか否かを適切に判断することができ、且つユーザに負担を強いないようにすることができる視線操作装置及び方法、並びに医療機器を提供することを目的とする。
　上記目的を達成するために本発明の一の態様に係る視線操作装置は、表示画面と、表示画面にアニメーション画像を有するアイコンを表示させる表示制御部と、ユーザの視線を検知する視線検知部と、視線検知部の検知の結果に基づいて、ユーザの視線の動きがアニメーション画像の動きに追従しているか否かを判定する追従判定部と、追従判定部によりユーザの視線の動きがアニメーション画像の動きに追従していると判定された場合、アイコンが選択されたことを示す情報を出力する出力部と、を備える。
　本態様によれば、ユーザが操作を意図した視線移動であるのか否かを適切に判断することができ、且つユーザに負担を強いないようにすることができる。
　本発明の他の態様に係る視線操作装置では、表示制御部は、アニメーション画像の動き、色、形状及び模様のうち少なくともいずれかを制限する。
　本発明の他の態様に係る視線操作装置では、アイコンの周辺領域又はアニメーション画像の周辺領域の表示における動き、色、形状及び模様のうち少なくともいずれかを周辺領域の表示の特性として取得する周辺特性取得部と、周辺特性取得部により取得された周辺領域の表示の特性を基準とした一定の制限範囲内の表示の特性を求めることにより、アニメーション画像の表示の特性を決定するアニメーション画像決定部と、を備え、表示制御部は、アニメーション画像決定部により決定されたアニメーション画像の表示の特性に基づいてアニメーション画像の表示制御を行うことにより、制限を行う。
　本発明の他の態様に係る視線操作装置では、表示制御部は、アイコンの選択時機又は表示画面の表示内容に応じて、アニメーション画像の動きを異ならせる。
　本発明の他の態様に係る視線操作装置では、アニメーション画像の動きをアイコンの用途に応じて異ならせる。
　本発明の他の態様に係る視線操作装置では、表示制御部は、表示画面に複数のアイコンを表示させ、且つアニメーション画像の動きを複数のアイコンの間で異ならせる。
　本発明の他の態様に係る視線操作装置では、アニメーション画像の動きの差異は、動きの軌跡の差異、及び動きの速さの差異のうち少なくとも一つである。
　本発明の他の態様に係る視線操作装置は、ユーザの視線の動きの特性をユーザごとに測定するユーザ特性測定部と、ユーザ特性測定部によるユーザごとの測定の結果に基づいて、アニメーション画像の動きを設定する動き設定部と、を備える。
　本発明の他の態様に係る視線操作装置では、表示制御部は、表示画面に複数のアイコンを表示させ、追従判定部は、追従の判定における視線の動きの検出時間の長さを複数のアイコンの間で異ならせる。
　本発明の他の態様に係る視線操作装置では、表示制御部は、表示画面に複数のアイコンを表示させ、且つ表示画面で複数のアイコンを互いに一定距離以上離して表示させる。
　本発明の他の態様に係る視線操作装置では、表示制御部は、アイコンの周辺に表示される画像である周辺画像の視認性をアイコンの視認性よりも低くする。
　本発明の他の態様に係る視線操作装置では、表示制御部は、アイコンの周辺に表示される画像である周辺画像の動きを停止させる。
　本発明の他の態様に係る視線操作装置では、アニメーション画像の動きは、表示画面における任意の回動、表示画面の対向した二辺を結ぶ線上の動き、表示画面の対向した二角を結ぶ線上の動き、表示画面に沿った任意の振動、表示画面に沿ったジグザグの動き、及び不規則な軌跡の動きのうち少なくとも一つである。
　本発明の一の態様に係る医療機器は、上記の視線操作装置を含んで構成され、出力部により出力される情報に応じて医療用の処理を実行する。
　本発明の一の態様に係る視線操作方法は、表示画面にアニメーション画像を有するアイコンを表示させるステップと、ユーザの視線を検知するステップと、ユーザの視線検知の結果に基づいて、ユーザの視線の動きがアニメーション画像の動きに追従しているか否かを判定するステップと、ユーザの視線の動きがアニメーション画像の動きに追従していると判定された場合、アイコンが選択されたことを示す情報を出力するステップと、を含む。
　本発明よれば、ユーザが意図した視線移動であるか否かを適切に判断することができ、且つユーザに負担を強いないようにすることができる。
本発明に係る第１実施形態の視線操作装置の構成例を示すブロック図である。 表示画面にアニメーション画像を有する複数のアイコンが表示された例を示す説明図である。 表示画面におけるアイコン及びアニメーション画像の配置の説明に用いる説明図である。 視線検知の一例の説明に用いる説明図である。 第１実施形態の視線操作装置を用いた視線操作方法の一例について処理の流れを示すフローチャートである。 アニメーション画像の動きに対するユーザの視線位置の動きの追従性の説明に用いる説明図である。 アニメーション画像の動きのバリエーションの説明に用いる説明図である。 本発明に係る第２実施形態の視線操作装置の構成例を示すブロック図である。 第２実施形態の視線操作装置を用いた視線操作方法の一例について処理の流れを示すフローチャートである。 本発明に係る第３実施形態の視線操作装置の第１の構成例を示すブロック図である。 本発明に係る第３実施形態の視線操作装置の第２の構成例を示すブロック図である。 本発明に係る第３実施形態の視線操作装置の第３の構成例を示すブロック図である。 本発明に係る第４実施形態の視線操作装置の構成例を示すブロック図である。 本発明を医療機器又はページ切替装置に適用する場合の概略構成例の説明に用いるブロック図である。 本発明の課題の説明に用いる説明図である。
　以下、添付図面に従って本発明に係る視線操作装置及び視線操作方法の実施の形態について説明する。
　＜第１実施形態＞
　図１は、本発明に係る第１実施形態の視線操作装置１０の構成例を示すブロック図である。
　本実施形態の視線操作装置１０は、表示画面１２Ａを有する表示部１２と、ユーザを撮像してユーザの画像（以下「ユーザ画像」という）を出力するカメラ１４と、情報の入力部１６Ａ（以下「情報入力部」ともいう）及び出力部１６Ｂ（以下「情報出力部」ともいう）を有する入出力部１６と、視線操作のプログラム及びそのプログラムの実行に必要な情報を記憶する記憶部１８と、記憶部１８に記憶されたプログラムに従って視線操作装置１０の各部を制御するＣＰＵ（central processing unit）２０を備える。
　本実施形態のＣＰＵ２０は、表示部１２の表示制御を行う表示制御部２２であって表示画面１２Ａにアニメーション画像を有するアイコンを表示させる表示制御部２２と、ユーザの視線を検知する視線検知部２４と、視線検知部２４の検知の結果に基づいて、ユーザの視線の動きがアニメーション画像の動きに追従しているか否かを判定する追従判定部２６と、入力部１６Ａの情報入力及び出力部１６Ｂの情報出力を制御する入出力制御部２８を備える。本例では、追従判定部２６によりユーザの視線の動きがアニメーション画像の動きに追従していると判定された場合、入出力制御部２８の制御により、出力部１６Ｂにより、アイコンが選択されたことを示す情報（以下「操作情報」ともいう）が出力される。
　本明細書において「アイコン」は、視線入力による操作対象であって、形状、模様、または色、あるいはこれらの組み合わせで表される。本明細書において「アイコン」は、四角形の枠を持つアイコン（一般に「ボタン」あるいは「スイッチ」と呼ばれるアイコンである）に限定さない。文字のフォントのみからなるアイコンでもよい。つまり「アイコン」は、フォントを構成する絵柄のみでもよい。
　次に、表示制御部２２によるアニメーション画像の表示制御の具体例について説明する。
　図２は、表示制御部２２により表示画面１２Ａに第１のアイコン５１及び第２のアイコン５２が表示された例を示す。第１のアイコン５１及び第２のアイコン５２は、それぞれ、アイコン名を示すフォント５１Ａ、５２Ａと、表示画面１２Ａの面内で回動する動きを持つアニメーション画像５１Ｂ、５２Ｂを含んで構成されている。第１のアイコン５１は、取り消し指示の入力のために表示されたアイコン（以下「キャンセルアイコン」という）である。第２のアイコン５２は、予め決められたアクションの実行開始指示の入力、あるいは表示画面１２Ａの表示内容確認の入力のために表示されたアイコン（以下「ＯＫアイコン」という）である。第１のアイコン５１は、反時計回りに回動する動きを持つアニメーション画像５１Ｂを有している。第２のアイコン５２は、時計回りに回動する動きを持つアニメーション画像５２Ｂを有している。つまり、表示制御部２２は、表示画面１２Ａに複数のアイコン５１、５２を表示させ、且つアニメーション画像５１Ｂ、５２Ｂの動きを複数のアイコン５１、５２間で異ならせるという表示制御を行っている。
　尚、図２では、複数のアイコン５１、５２を表示画面１２Ａに表示した場合を示すが、ひとつのアイコンを表示画面１２Ａに表示する場合にも本発明を適用可能である。
　また、図２を用いて、複数のアイコン５１、５２間で、アニメーション画像の動きの軌跡に差異を設けた場合を説明したが、このような場合に本発明は限定されない。複数のアイコン間において、アニメーション画像の動きの速さに差異を設けてもよい。複数のアイコン間において、動きの軌跡及び動きの速さの両方に差異を設けてもよい。
　また、図３に示すように、表示制御部２２は、表示画面１２Ａで第１のアイコン５１及び第２のアイコン５２を互いに一定距離以上離して表示させている。図３において、第１のアイコン５１から第２のアイコン５２までの距離ＤＩ（「アイコン間隔」ともいう）は、一方のアイコン５１（又は５２）を注視した場合に、他方のアイコン５２（又は５１）から視線位置が外れる程度の大きさであることが、好ましい。本例のアイコン間隔ＤＩは、一般的な人の両眼の間隔よりも大きい。第１のアイコン５１のアニメーション画像５１Ｂから第２のアイコン５２のアニメーション画像５２Ｂまでの距離ＤＡ（「アニメーション画像間隔」ともいう）を一定距離以上としてよい。
　尚、図３では、表示画面１２Ａの左サイド及び右サイドにそれぞれ第１のアイコン５１及び第２のアイコン５２を配置した例を示しているが、アイコンを４つ表示する場合には、表示画面１２Ａの左上隅、左下隅、右上隅及び右下隅にそれぞれアイコンを表示することが、好ましい。ここで、「上」、「下」、「左」、「右」とは、人の両目を結ぶ方向（左右方向）を基準としている。表示画面１２Ａに顔を向けた人の両目を結ぶ方向において、左目側が左サイドであり、右目側が右サイドである。
　表示画面１２Ａの上サイド及び下サイドにそれぞれ第１のアイコン５１及び第２のアイコン５２を配置してもよい。表示画面１２Ａの左上隅及び右下隅（あるいは右上隅及び左下隅）にそれぞれ第１のアイコン５１及び第２のアイコン５２を表示してもよい。
　次に、視線検知部２４の視線検知の具体例について、説明する。
　本例の視線検知部２４は、カメラ１４によりユーザを撮像して得られたユーザ画像から、目の動かない部分と目の動く部分とを抽出し、目の動かない部分の位置を基準として目の動く部分の位置を検出し、その検出された目の動く部分の位置に基づいて表示画面１２Ａ上の視線位置を算出する。視線検知部２４により、視線位置の移動の軌跡を検知するようにしてもよい。
　図４を用いて、カメラ１４として可視光を撮影する撮像装置を用い、目の虹彩の動きを検知することにより視線検知を行う例について説明する。視線検知部２４は、基準点としてユーザ画像６０から目頭部分６２及び／又は目尻部分６４を抽出して基準点座標を算出し、かつ動点としてユーザ画像６０から虹彩部分６６を抽出して動点座標を算出し、基準点座標に対する動点座標の位置関係から、ユーザの視線位置を算出する。
　カメラ１４として赤外線を発光して撮影する撮像装置を用い、ユーザの目の角膜上の反射位置と瞳孔の位置との関係から視線検知を行ってもよい。視線検知部２４は、基準点としてユーザ画像６０から角膜反射像を抽出して基準点座標を算出し、かつ動点としてユーザ画像６０から瞳孔部分（図４の６８）を抽出して動点座標を算出し、基準点座標に対する動点座標の位置関係から、ユーザの視線位置を算出する。この赤外線を用いる視線検知では、赤外線の発光及び撮影が可能なデバイスが必要であるが、一般に視線位置の検知精度を上げやすい。
　尚、本発明における視線検知は、図４を用いて説明した場合には特に限定されない。ユーザの視線を検知可能な方法であれば、他の公知技術を用いて視線検知を行ってよい。もっとも、アニメーション画像に視線を向けているか否かを判別可能である程度に、視線位置の精度が保証される視線検知技術を用いる。
　次に、追従判定部２６の追従の判定について、説明する。
　本例の追従判定部２６は、表示画面１２Ａにおける視線位置の動きベクトルとアニメーション画像の動きベクトルとを比較することで、ユーザの視線の動きがアニメーション画像の動きに追従しているか否かを判定する。「動きベクトル」は、動きの方向と移動量とを示す。本例の追従判定部２６は、視線位置の動きの方向及び移動量の評価値と、アニメーション画像の動きの方向及び移動量の評価値との差分の逆数を追従度として算出し、その追従度が閾値未満である場合に「追従していない」と判定し、閾値以上である場合に「追従している」と判定する。
　入出力制御部２８により制御される入出力部１６は、通信部などの特別なハードウェアデバイスには限定されない。単なる出力ポートであってもよい。また、操作情報をメモリなどの記憶デバイスに書き込む場合を含む。
　また、情報の出力態様として、出力部１６Ｂにより情報を出力する場合を例に説明しているが、他の出力態様を用いてよい。例えば、表示制御部２２により表示画面１２Ａにおけるアイコンの表示を反転させる（例えば白黒表示の場合に白／黒を反転させる）ことにより、アイコンが選択されたことを示す情報を出力してよい。また、表示制御部２２により表示画面１２Ａにおけるアイコンの周辺に文字表示を行う（例えば「選択」を表示する）ことにより、アイコンが選択されたことを示す情報を出力してもよい。つまり、表示部１２を「出力部」として用いてよい。また、上記の「アイコンの表示を反転」及び「アイコンの周辺に文字表示」に限定されるものではなく、アイコンが操作または選択されたことを示す表示であればよい。尚、本明細書においてアイコンが「選択された」とは、アイコンが「指示された」、「指定された」、「操作された」といった用語で表現される場合を含む概念である。
　図５は、第１実施形態の視線操作装置を用いた視線操作方法の一例について処理の流れを示すフローチャートである。本処理は、ＣＰＵ２０により、記憶部１８に予め記憶されたプログラムに従って、実行される。
　まず、表示制御部２２により、表示部１２の表示画面１２Ａにアニメーション画像を有するアイコンを表示させる（ステップＳ２）。例えば、図２に示したように、アニメーション画像５１Ｂ、５２Ｂを有するアイコン５１、５２が表示される。
　次に、視線検知部２４により、ユーザの視線を検知することにより、表示部１２の表示画面１２Ａのうちのユーザの視線が向けられた位置（視線位置である）を算出する（ステップＳ４）。例えば、図４を用いて説明した視線検知技術を用いて、カメラ１４で撮像されたユーザ画像に基づいて視線位置が算出される。
　次に、追従判定部２６により、視線検知部２４の視線検知の結果に基づいて、表示部１２の表示画面１２Ａに表示されたアイコン５１、５２内のアニメーション画像５１Ｂ、５２Ｂの動きに対するユーザの視線の動きの追従性を示す評価値である追従度を算出する（ステップＳ６）。例えば、アニメーション画像５１Ｂ、５２Ｂの動きベクトルに対応する評価値と、視線位置の動きベクトルに対応する評価値との差分の逆数を追従度として算出する。この場合、算出された追従度が高いほど追従性が高いといえる。
　次に、追従判定部２６により、算出された追従度と閾値とを比較することにより、ユーザの視線の動きがアニメーション画像の動きに追従しているか否かを判定する（ステップＳ８）。本例では、算出された追従度が高いほど追従性が高いので、追従度が閾値以上であれば、「追従している」と判定される。
　追従していると判定された場合（ステップＳ８でＹＥＳの場合）、入出力制御部２８は、アイコンが操作されたことを示す操作情報を出力部１６Ｂにより出力する（ステップＳ１０）。視線検知を続けるか否かを判断し（ステップＳ１２）、続ける場合（ステップＳ１２でＹＥＳの場合）にはステップＳ４に戻り、続けない場合（ステップＳ１２でＮＯの場合）には本処理を終了する。
　追従していないと判定された場合（ステップＳ８でＮＯの場合）、視線検知を続けるか否かを判断し（ステップＳ１４）、続ける場合（ステップＳ１４でＹＥＳの場合）にはステップＳ４に戻り、続けない場合（ステップＳ１４でＮＯの場合）には本処理を終了する。
　本実施形態の視線操作装置１０によれば、図６に示すように、ユーザはアイコン５１内のアニメーション画像５１Ｂの動きを目で追うことにより視線入力操作を行うことができるので、負担が少ない。つまり、動くものを目で追うことは、マニュアル入力、フット入力、音声入力、あるいはジェスチャなどの操作と比較して楽である。また、表示画面１２Ａの表示の観察を中断させられることもない。また、所定時間が経過するまで同じ位置を凝視し続ける必要がある視線操作方法と比較して、反応が悪い、遅延が起こっている等と感じることがなく、ストレスが少ないといえる。
　≪アニメーションのバリエーション≫
　図２を用いて回動するアニメーションを例に説明したが、このような場合に本発明は限定されない。例えば、次のバリエーション１～４を用いてもよい。
　［アニメーションのバリエーション１］　図７（Ａ）に示すように、アイコン内のアニメーション画像５０Ｂに、表示画面１２Ａの面内で、上方向Ｕ、下方向Ｄ、左方向Ｌ、又は右方向Ｒの動きを持たせることができる。つまり、表示画面１２Ａの対向した二辺を結ぶ線上の動き（アニメーション）を用いる。
　［アニメーションのバリエーション２］　図７（Ｂ）に示すように、アイコン内のアニメーション画像５０Ｂに、表示画面１２Ａの面内で、右斜め上方向ＲＵ、右斜め下方向ＲＤ、左斜め上方向ＬＵ、又は左斜め下方向ＬＤの動きを持たせることができる。つまり、表示画面１２Ａの対向した二角を結ぶ線上の動き（アニメーション）を用いる。尚、「対向した二角を結ぶ線」とは、線上に二つの対角が位置する場合に限定されず、線の近傍に二つの対角が位置する場合が含まれる。
　［アニメーションのバリエーション３］　図７（Ｃ）に示すように、アイコン内のアニメーション画像５０Ｂに、表示画面１２Ａの面内で、上下方向ＵＤ、左右方向ＬＲ、又は斜め方向ＳＬ１又はＳＬ２において振動する動きを持たせることができる。つまり、表示画面１２Ａに沿った任意の振動をアニメーションとして用いる。
　［アニメーションのバリエーション４］　図７（Ｄ）に示すように、アイコン内のアニメーション画像５０Ｂに、表示画面１２Ａの面内で、ジグザグＺＧの動きを、アニメーション画像に持たせることができる。
　尚、本発明におけるアニメーションのバリエーションは、上述のバリエーション１～４には特に限定されない。不規則な軌跡の動きをアニメーションとして用いてもよい。また、各種のバリエーションを組み合わせることにより、視線操作検出の精度を向上させてよい。アニメーションは、ユーザに表示画面１２Ａの面内で視線位置を移動させる契機となる動き、つまり表示画面１２の面内の動きであればよい。
　≪アイコンの視認性向上≫
　表示制御部２２により、アイコンの周辺領域に表示される画像である周辺画像の視認性をアイコンの視認性よりも低くしてよい。例えば、周辺画像の明るさをアイコンあるいはアニメーション画像よりも低くする（つまり暗くする）。
　尚、「視認性」とは、本明細書において明るさのみに限定されない。例えば、ハーフトーンにすることで視認性を低くしてよい。要するに、アイコンの選択時機（以下「操作時機」ともいう）に、ユーザが周辺画像よりもアニメーション画像あるいはアイコンに視線を向けやすいように、周辺画像よりも目立つようにする。
　また、表示制御部２２により、アイコンの表示中は、アイコンの周辺に表示される画像である周辺画像の動きを停止させてよい。
　＜第２実施形態＞
　第２実施形態では、人は動くものを目で追ってしまうという習性に対して、アニメーション画像の表示の特性（例えば、動き、色、形状、模様など）を制限することにより、ユーザの意図しない視線移動を防止する。
　図８は、本発明に係る第２実施形態の視線操作装置１０の構成例を示すブロック図である。尚、図１に示した第１実施形態の視線操作装置１０と同じ構成要素には同じ符号を付してあり、既に説明した内容については以下では説明を省略する。
　図８に示すように、本実施形態の視線操作装置１０は、表示画面１２Ａにおけるアイコンの周辺領域（又はアニメーション画像の周辺領域）の表示における動き、色、形状及び模様のうち少なくともいずれかを周辺領域の表示の特性（以下「周辺領域表示特性」という）として取得する周辺特性取得部３２と、周辺特性取得部３２により取得された周辺領域表示特性を基準とした一定の制限範囲内の表示の特性を求めることにより、アニメーション画像の表示の特性（以下「アニメーション画像表示特性」という）を決定するアニメーション画像決定部３４を備える。本実施形態の表示制御部２２は、アニメーション画像決定部３４により決定されたアニメーション画像表示特性に基づいてアニメーション画像の表示制御を行うことにより、アニメーション画像表示特性（動き、色、形状及び模様のうち少なくともいずれかである）を制限する。
　周辺特性取得部３２により周辺領域表示特性を取得する態様の具体例として、次の第１の取得態様及び第２の取得態様が挙げられる。
　［第１の取得態様］　表示画面１２Ａの全体に表示される画像を示す情報（以下「画面情報」という）から周辺領域の画像を抽出し、その周辺領域の画像に基づいて周辺領域表示特性を算出することにより、周辺領域表示特性を取得する。
　［第２の取得態様］　アイコン（又はアニメーション画像）と周辺領域表示特性との対応関係を示す表示特性情報を予め記憶部１８に記憶させておき、その表示特性情報を記憶部１８から読み出すことにより、周辺領域表示特性を取得する。
　表示制御部２２により行うアニメーション画像表示特性の「制限」とは、本明細書において、アニメーション画像の表示の特性を一定の制限範囲内に収めることを意味する。
　「一定の制限範囲」には、アニメーション画像の表示の特性の評価値を通常時よりも小さく設定して制限する場合と、アニメーション画像の表示の特性の評価値を通常時よりも大きく設定して制限する場合がある。例えば、ユーザの目を引くような色や派手な動きを避けるように、アニメーション画像の特性を通常時よりも低下させる場合がある。また、例えば、ユーザの目がアニメーション画像の動きのみに追従し易いように、アニメーション画像に対して、ジグザグの動き、あるいは不規則な軌跡の動きを敢えて与える場合、つまりアニメーション画像の特性を通常時よりも敢えて高める場合がある。
　また、「一定の制限範囲」には、固定の制限範囲を用いると、操作シーンに応じて可変の制限範囲を用いる場合がある。例えば、記憶部１８に固定の制限範囲情報を記憶させておき、その記憶部１８に記憶された固定の制限範囲情報を読み出して用いる。また、例えば、操作シーン（例えばアイコンの操作時機や表示画面１２Ａの内容など）に応じて制限範囲を切替えてよい。
　図９は、第２実施形態の視線操作装置１０を用いた視線操作方法の一例について処理の流れを示すフローチャートである。本処理は、ＣＰＵ２０により、記憶部１８に予め記憶されたプログラムに従って、実行される。尚、図５に示した第１実施形態の処理と同じステップには同じ符号を付してあり、以下では異なる事項のみ説明する。
　まず、周辺特性取得部３２により、表示画面１２Ａにおけるアイコンの周辺領域（又はアニメーション画像の周辺領域）の表示の特性を示す周辺領域表示特性（例えば、動き、色、形状及び模様のうち少なくともいずれかである）を取得する（ステップＳ２２）。
　例えば、表示画面１２Ａの画面情報から周辺領域の画像を抽出し、その周辺領域の画像の色の評価値（例えば周辺領域の色の平均値）を周辺領域表示特性として取得する。
　次に、アニメーション画像決定部３４により、ステップＳ２２で取得された周辺領域表示特性を基準とした一定の制限範囲内の表示の特性を求めることにより、アニメーション画像の表示の特性を示すアニメーション画像表示特性を決定する（ステップＳ２４）。
　例えば、ステップＳ２２で取得された周辺領域の色の評価値を中心として、表色系座標空間において第１の閾値よりも大きく且つ第２の閾値（＞第１の閾値）よりも小さい距離に存在する色を選択することにより、アニメーション画像表示特性（本例ではアニメーション画像の色）を決定する。
　次に、表示制御部２２により、ステップＳ２４で決定されたアニメーション画像表示特性に基づいてアニメーション画像の表示制御を行うことにより、アニメーション画像の表示の特性（例えば、動き、色、形状及び模様のうち少なくともいずれかである）を一定の制限範囲内に制限する（ステップＳ２６）。
　例えば、ステップＳ２４で表色系座標空間から選択された色でアニメーション画像を表示する表示制御が行われる。
　ステップＳ４～Ｓ１４は、図５に示した第１実施形態の同符号のステップと同様であり、ここでは説明を省略する。
　尚、上述の図９を用いた説明では、アイコン画像表示特性の制限対象が色である場合を例として説明したが、本実施形態の制限対象は、色に限定されない。アニメーション画像の形状、模様、又は動きを制限してもよいし、他の表示特性を制限してもよい。また、色、形状、模様、及び動きのうちから選択された複数の表示特性の組み合わせを制限してもよいし、それ以外の組み合わせを制限してもよい。
　また、上述の図９を用いた説明では、周辺領域表示特性の取得対象及びアイコン画像表示特性の制限対象が色である場合を例として説明したが、周辺領域表示特性の取得対象とアイコン画像表示特性の制限対象とが異なる場合でもよい。例えば、周辺領域の模様を取得し、その周辺領域の模様（例えば斜線模様）を基準として一定のパターンの軌跡にアニメーションを制限（例えば斜め方向の動きを排除）することも、有効な制限態様の一例として挙げられる。
　＜第３実施形態＞
　第３実施形態では、誤操作防止とスムーズな操作という二つの観点から、アニメーション画像の動きを制御する。つまり、本実施形態の表示制御部２２は、誤操作防止が重要な場合と誤操作防止よりもスムーズな操作が求められる場合とによって、アニメーションを異ならせることにより、誤操作防止及びスムーズな操作の両立を図る。
　図１０は、本発明に係る第３実施形態の視線操作装置１０の第１の構成例を示すブロック図である。尚、図１に示した第１実施形態の視線操作装置１０と同じ構成要素には同じ符号を付してあり、既に説明した内容については以下では説明を省略する。
　図１０に示すように、本実施形態の視線操作装置１０の記憶部１８は、操作の重要度を示す重要度情報４０Ａを記憶する。動き設定部４２は、記憶部１８に記憶された重要度情報４０Ａに基づいて、表示画面１２Ａにおけるアニメーション画像の動きを設定する。表示制御部２２は、動き設定部４２の設定内容に基づいて、アイコン内のアニメーション画像の動きを重要度に応じて異ならせる。
　上述の「操作の重要度」の具体例として、次の重要度１～３が挙げられる。
　（重要度１）アイコンの選択時機（操作時機）に応じた重要度。例えば、最終決定時の指示入力は、最終決定前の通常時の指示入力よりも、重要度を高くする。図２に示した取り消しアイコン５１とＯＫアイコン５２が表示画面１２Ａに表示される場合、記憶部１８は、アイコン５１、５２の操作時機と重要度との対応関係を記憶する。表示制御部２２は、重要度情報４０Ａに基づいて、アイコン５１、５２の操作時機に対応する重要度を取得し、例えば操作時機に応じた重要度が高いほど、アニメーション画像をゆっくり動かす。つまり操作時機に応じた重要度が高いほど、アニメーションのスピードが小さくなる。操作時機に応じた重要度が高いほど、アニメーション画像の動きの軌跡を複雑にしてもよい。
　（重要度２）表示内容に応じた重要度。例えば、ユーザに対して警報のメッセージが表示画面１２Ａに表示される場合、警報以外の通常のメッセージが表示される場合よりも、重要度を高くする。記憶部１８は、表示画面１２Ａの表示内容と重要度との対応関係を記憶する。表示制御部２２は、重要度情報４０Ａに基づいて、表示画面１２Ａの表示内容に対応する重要度を取得し、例えば表示内容に応じた重要度が高いほどアニメーション画像をゆっくり動かす。つまり表示内容に応じた重要度が高いほど、アニメーションのスピードが小さくなる。表示内容に応じた重要度が高いほど、アニメーション画像の動きの軌跡を複雑にしてもよい。
　（重要度３）アイコンの用途に応じた重要度。例えば、情報の「削除」を指示入力するための削除アイコンは、情報の「コピー」を指示入力するためのコピーアイコンよりも、重要度を高くする。記憶部１８は、アイコン５１、５２の用途（又は識別情報）と、重要度との対応関係を記憶する。表示制御部２２は、重要度情報４０Ａに基づいて、アイコン５１、５２の用途（又は識別情報）に対応する重要度を取得し、例えば重要度が高いほど、アニメーション画像をゆっくり動かす。つまり、アイコンの用途に応じた重要度が高いほどアニメーションのスピードが小さくなる。アイコンの用途に応じた重要度が高いほど、アニメーション画像の動きの軌跡を複雑にしてもよい。ここで、「アイコンの用途」とは、アイコンが視線入力により操作された場合に実行されるアクションを意味している。「アイコンの用途」は、アイコンの名称として、表示画面１２Ａに表示される場合がある。
　「重要度情報」は、例えば、重要度が高いほど大きな数値とする。逆に、重要度が高いほど小さな数値としてもよい。つまり、本実施形態の「重要度情報」は、平常度（非重要度）を意味する場合であってもよい。また、どの程度のスムーズな視線入力が求められるのかを示す「スムーズ度」を採用してもよい。どのような名称の指標を用いても、本実施形態の要旨を逸脱しない範囲内の設計変更をすることができる。
　図１０を用いて、重要度情報４０Ａに基づいてアニメーションを異ならせる制御を行う場合を説明したが、このような場合に本発明は限定されない。
　例えば、図１１に示すように、記憶部１８に、操作シーン（具体的にはアイコンの操作時機及び／又は表示画面１２Ａの表示内容）とアニメーション画像の動きとの直接的な対応関係を示す操作シーン情報４０Ｂを記憶させておき、その操作シーン情報４０Ｂに基づいて表示制御部２２がアニメーション画像の動きを制御する構成としてもよい。
　また、図１２に示すように、記憶部１８に、アイコンの用途（又は識別情報）とアニメーション画像の動きとの直接的な対応関係を示す用途情報４０Ｃを記憶させておき、その用途情報４０Ｃに基づいて、表示制御部２２がアニメーション画像の動きを制御する構成としてもよい。
　以上、アイコンの選択時機（操作時機）、表示画面の表示内容、又はアイコンの用途に応じて、表示制御部２２がアニメーション画像の動きを制御することについて説明したが、本発明は、これらの組み合わせを実施してもよい。例えば、表示画面１２Ａに、重要度が高い表示内容と互いに用途が異なる二つのアイコンとを表示する場合、通常の表示内容が表示される場合よりも二つのアイコンのアニメーション画像の動きをゆっくりとし、且つアイコンの用途に応じて二つのアイコン間でアニメーション画像の動きの複雑さに差異を与える。
　また、追従判定部２６の追従の判定における視線の動きの検出時間の長さを、複数のアイコンの間で異ならせてもよい。例えば、二つのアイコンが表示画面１８Ａに表示される場合、二つのアイコンのうちで重要度が相対的に高いアイコンに対する視線の動きの検出時間を相対的に長くする。
　また、図２を用いて、表示画面１２Ａに複数のアイコンを表示した場合について説明したが、本実施形態は、表示画面１２Ａにアイコンを一つだけ表示する場合にも有効である。
　＜第４実施形態＞
　第４実施形態では、ユーザの個人ごとの視線の動きの特性（以下「ユーザ特性」という）に応じて、アニメーション画像の動きを制御する。
　図１３は、本発明に係る第４実施形態の視線操作装置１０の構成例を示すブロック図である。尚、図１に示した第１実施形態の視線操作装置１０と同じ構成要素には同じ符号を付してあり、既に説明した内容については以下では説明を省略する。
　図１３に示すように、本実施形態の視線操作装置１０の記憶部１８は、ユーザの視線の動きの特性（以下「ユーザ特性」という）を示すユーザ特性情報４４を記憶する。また、本実施形態の視線操作装置１０は、ユーザ特性をユーザごとに測定するユーザ特性測定部４６と、ユーザ特性測定部４６によるユーザごとの測定の結果に基づいて、表示画面１２Ａにおけるアニメーション画像の動きを設定する動き設定部４８を備える。表示制御部２２は、動き設定部４８の設定内容に基づいて、アイコン内のアニメーション画像の動きをユーザ特性に応じて異ならせる。
　＜本発明の適用例＞
　≪医療機器への適用例≫
　本発明は、人あるいは動物の医療（診断、治療、処置など）のための医療機器に適用可能である。医療現場では、両手が塞がっている状況でも操作可能な医療機器（例えば内視鏡装置）が求められている。特に、救急患者に対する医療で有効と考えられる。
　≪ページ切替装置への適用例≫
　本発明は、両手を用いて楽器を演奏する演奏者（例えばピアニスト）のために楽譜のページ切替（所謂ページめくり）を行う装置に適用可能である。つまり、楽譜のページが切り替わる際、演奏者が両手を使用中である時でも、演奏者が両手を使わずに視線入力によりページの切替を指示させることができるページ切替装置を提供する。
　≪視線操作装置を適用した機器の概略構成例≫
　図１４は、本発明を医療機器に適用する場合の概略構成例の説明に用いるブロック図である。図１４において、図１に示した第１実施形態の視線操作装置１０の構成要素には同じ符号を付してある。尚、図１４では、医療機器１００に特有の部分については図示を省略している。また、図１４では、視線操作装置１０を医療機器１００に組み込んだ場合を示しており、ＣＰＵ２０を共有している。
　図１４において、アクション部１２０は、出力部１６Ｂから出力された情報に応じたアクションを実行する。また、実行したアクションの結果等を入力部１６Ａを介して入出力制御部２８に入力する。
　また、図１４において、入力部１６Ａ及び出力部１６Ｂは、特別なハードウェアではなく入力ポート及び出力ポートでもよい。また、メモリを介して情報の入力及び出力を行ってもよい。
　医療機器以外の装置に本発明の視線操作装置１０を組み込む場合にも、図１４に示した場合と同じように構成することが可能である。
　また、医療機器を視線操作装置１０とは別の装置として構成してもよい。医療機器以外の装置でも同様である。
　本発明は、上述した実施形態には限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
　１０…視線操作装置、１２…表示部、１２Ａ…表示画面、１４…カメラ、１６…入出力部（情報入出力部）、１６Ａ…入力部（情報入力部）、１６Ｂ…出力部（情報出力部）、１８…記憶部、２０…ＣＰＵ、２２…表示制御部、２４…視線検知部、２６…追従判定部、２８…入出力制御部、３２…周辺特性取得部、３４…アニメーション画像決定部、４０Ａ…重要度情報、４０Ｂ…操作シーン情報、４０Ｃ…用途情報、４２…動き設定部、４４…ユーザ特性情報、４６…ユーザ特性測定部、４８…動き設定部

Claims (15)

  1. 　表示画面と、
    　前記表示画面にアニメーション画像を有するアイコンを表示させる表示制御部と、
    　ユーザの視線を検知する視線検知部と、
    　前記視線検知部の検知の結果に基づいて、前記ユーザの視線の動きが前記アニメーション画像の動きに追従しているか否かを判定する追従判定部と、
    　前記追従判定部により前記ユーザの視線の動きが前記アニメーション画像の動きに追従していると判定された場合、前記アイコンが選択されたことを示す情報を出力する出力部と、
    　を備える視線操作装置。
  2. 　前記表示制御部は、前記アニメーション画像の動き、色、形状及び模様のうち少なくともいずれかを制限する、
    　請求項１に記載の視線操作装置。
  3. 　前記アイコンの周辺領域又は前記アニメーション画像の周辺領域の表示における動き、色、形状及び模様のうち少なくともいずれかを周辺領域の表示の特性として取得する周辺特性取得部と、
    　前記周辺特性取得部により取得された前記周辺領域の表示の特性を基準とした一定の制限範囲内の表示の特性を求めることにより、前記アニメーション画像の表示の特性を決定するアニメーション画像決定部と、
    　を備え、
    　前記表示制御部は、前記アニメーション画像決定部により決定された前記アニメーション画像の表示の特性に基づいて前記アニメーション画像の表示制御を行うことにより、前記制限を行う、
    　請求項２に記載の視線操作装置。
  4. 　前記表示制御部は、前記アイコンの選択時機又は前記表示画面の表示内容に応じて、前記アニメーション画像の動きを異ならせる、
    　請求項１から３のうちいずれか一項に記載の視線操作装置。
  5. 　前記表示制御部は、前記アイコンの用途に応じて、前記アニメーション画像の動きを異ならせる、
    　請求項１から４のうちいずれか一項に記載の視線操作装置。
  6. 　前記表示制御部は、前記表示画面に複数のアイコンを表示させ、且つ前記アニメーション画像の動きを前記複数のアイコンの間で異ならせる、
    　請求項１から５のうちいずれか一項に記載の視線操作装置。
  7. 　前記アニメーション画像の動きの差異は、前記動きの軌跡の差異、及び前記動きの速さの差異のうち少なくとも一つである、
    　請求項６に記載の視線操作装置。
  8. 　前記ユーザの視線の動きの特性をユーザごとに測定するユーザ特性測定部と、
    　前記ユーザ特性測定部によるユーザごとの測定の結果に基づいて、前記アニメーション画像の動きを設定する動き設定部と、
    　を備える、
    　請求項１から７のうちいずれか一項に記載の視線操作装置。
  9. 　前記表示制御部は、前記表示画面に複数のアイコンを表示させ、
    　前記追従判定部は、前記追従の判定における前記視線の動きの検出時間の長さを前記複数のアイコンの間で異ならせる、
    　請求項１から８のうちいずれか一項に記載の視線操作装置。
  10. 　前記表示制御部は、前記表示画面に複数のアイコンを表示させ、且つ前記表示画面で前記複数のアイコンを互いに一定距離以上離して表示させる、
    　請求項１から９のうちいずれか一項に記載の視線操作装置。
  11. 　前記表示制御部は、前記アイコンの周辺に表示される画像である周辺画像の視認性を前記アイコンの視認性よりも低くする、
    　請求項１から１０のうちいずれか一項に記載の視線操作装置。
  12. 　前記表示制御部は、前記アイコンの周辺に表示される画像である周辺画像の動きを停止させる、
    　請求項１から１１のうちいずれか一項に記載の視線操作装置。
  13. 　前記アニメーション画像の動きは、前記表示画面における任意の回動、前記表示画面の対向した二辺を結ぶ線上の動き、前記表示画面の対向した二角を結ぶ線上の動き、前記表示画面に沿った任意の振動、前記表示画面に沿ったジグザグの動き、及び不規則な軌跡の動きのうち少なくとも一つである、
    　請求項１から１２のうちいずれか一項に記載の視線操作装置。
  14. 　請求項１から１３のうちいずれか一項に記載の視線操作装置を含んで構成され、
    　前記出力部により出力される情報に応じて医療用の処理を実行する医療機器。
  15. 　表示画面にアニメーション画像を有するアイコンを表示させるステップと、
    　ユーザの視線を検知するステップと、
    　前記ユーザの視線検知の結果に基づいて、前記ユーザの視線の動きが前記アニメーション画像の動きに追従しているか否かを判定するステップと、
    　前記ユーザの視線の動きが前記アニメーション画像の動きに追従していると判定された場合、前記アイコンが選択されたことを示す情報を出力するステップと、
    　を含む視線操作方法。
PCT/JP2016/070632 2015-09-16 2016-07-13 視線操作装置及び方法、並びに医療機器 WO2017047212A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017539732A JP6456003B2 (ja) 2015-09-16 2016-07-13 視線操作装置及び方法、並びに医療機器
EP16846085.5A EP3352052A4 (en) 2015-09-16 2016-07-13 Line-of-sight-based control device and medical device
US15/896,628 US10747308B2 (en) 2015-09-16 2018-02-14 Line-of-sight operation apparatus, method, and medical device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015182790 2015-09-16
JP2015-182790 2015-09-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/896,628 Continuation US10747308B2 (en) 2015-09-16 2018-02-14 Line-of-sight operation apparatus, method, and medical device

Publications (1)

Publication Number Publication Date
WO2017047212A1 true WO2017047212A1 (ja) 2017-03-23

Family

ID=58288626

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/070632 WO2017047212A1 (ja) 2015-09-16 2016-07-13 視線操作装置及び方法、並びに医療機器

Country Status (4)

Country Link
US (1) US10747308B2 (ja)
EP (1) EP3352052A4 (ja)
JP (1) JP6456003B2 (ja)
WO (1) WO2017047212A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7346135B2 (ja) * 2019-07-30 2023-09-19 キヤノン株式会社 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
WO2021029117A1 (ja) * 2019-08-09 2021-02-18 富士フイルム株式会社 内視鏡装置、制御方法、制御プログラム、及び内視鏡システム
JP7490372B2 (ja) * 2020-01-21 2024-05-27 キヤノン株式会社 撮像制御装置及びその制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2001299691A (ja) * 2000-04-25 2001-10-30 Olympus Optical Co Ltd 内視鏡装置の操作システム
JP2004301869A (ja) * 2003-03-28 2004-10-28 Takuya Shinkawa 音声出力装置およびポインティングデバイス
JP2005135439A (ja) * 2004-12-28 2005-05-26 Toshiba Corp 操作入力装置
JP2014215815A (ja) * 2013-04-25 2014-11-17 富士通株式会社 入力装置および入力制御プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5159041B2 (ja) 2006-01-30 2013-03-06 株式会社東芝 超音波診断装置およびその画像処理プログラム
JP2012128523A (ja) 2010-12-13 2012-07-05 Canon Inc 情報処理装置およびその動作方法
WO2014111924A1 (en) * 2013-01-15 2014-07-24 Poow Innovation Ltd. Dynamic icons
US9693684B2 (en) * 2013-02-14 2017-07-04 Facebook, Inc. Systems and methods of eye tracking calibration
US9671926B2 (en) * 2013-02-22 2017-06-06 Xiaomi Inc. Method and terminal device for displaying dynamic icon
GB2514603B (en) * 2013-05-30 2020-09-23 Tobii Ab Gaze-controlled user interface with multimodal input
JP6165033B2 (ja) 2013-11-14 2017-07-19 オリンパス株式会社 医療システム
DE102013226244A1 (de) * 2013-12-17 2015-06-18 Siemens Aktiengesellschaft Medizintechnische Steuerung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2001299691A (ja) * 2000-04-25 2001-10-30 Olympus Optical Co Ltd 内視鏡装置の操作システム
JP2004301869A (ja) * 2003-03-28 2004-10-28 Takuya Shinkawa 音声出力装置およびポインティングデバイス
JP2005135439A (ja) * 2004-12-28 2005-05-26 Toshiba Corp 操作入力装置
JP2014215815A (ja) * 2013-04-25 2014-11-17 富士通株式会社 入力装置および入力制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3352052A4 *

Also Published As

Publication number Publication date
EP3352052A1 (en) 2018-07-25
JP6456003B2 (ja) 2019-01-23
JPWO2017047212A1 (ja) 2018-07-12
US10747308B2 (en) 2020-08-18
US20180173305A1 (en) 2018-06-21
EP3352052A4 (en) 2018-08-01

Similar Documents

Publication Publication Date Title
JP5767386B1 (ja) ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
KR101663452B1 (ko) 화면 조작장치 및 화면 조작방법
JP6340503B2 (ja) 目追跡システム及び利き目を検出する方法
US10429941B2 (en) Control device of head mounted display, operation method and operation program thereof, and image display system
ES2736966T3 (es) Manejo -sin contacto táctil- de dispositivos usando sensores de profundidad
US10456072B2 (en) Image interpretation support apparatus and method
JP5539945B2 (ja) ゲーム装置、及びプログラム
US12118139B2 (en) Optical system providing accurate eye-tracking and related method
CN107233732B (zh) 模拟控制装置
KR20180053402A (ko) 시선입력장치, 시선입력방법 및 시선입력 프로그램이 기록되어 있는 기록매체
JP2016151798A (ja) 情報処理装置および方法、並びにプログラム
JP6456003B2 (ja) 視線操作装置及び方法、並びに医療機器
KR101965393B1 (ko) 시지각 트레이닝을 제공하는 컴퓨팅 장치, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법 및 프로그램
WO2016052510A1 (ja) 電子機器
TW201403385A (zh) 動作引導提示方法、其系統及動作引導提示裝置
CN113544626A (zh) 信息处理装置、信息处理方法和计算机可读记录介质
WO2016121883A1 (ja) 電子機器
JPWO2020016970A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2016207042A (ja) プログラム及び記録媒体
JP2014166564A (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP7029722B2 (ja) Ａｒ装置、方法及びプログラム
JP2016115329A (ja) ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
WO2021241110A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6813640B2 (ja) ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
US20240370084A1 (en) Eye tracking system and methods of using an eye tracking system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16846085

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017539732

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE