WO2014084224A1 - 電子機器および視線入力方法 - Google Patents

電子機器および視線入力方法 Download PDF

Info

Publication number
WO2014084224A1
WO2014084224A1 PCT/JP2013/081837 JP2013081837W WO2014084224A1 WO 2014084224 A1 WO2014084224 A1 WO 2014084224A1 JP 2013081837 W JP2013081837 W JP 2013081837W WO 2014084224 A1 WO2014084224 A1 WO 2014084224A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
sight
user
input
processor
Prior art date
Application number
PCT/JP2013/081837
Other languages
English (en)
French (fr)
Inventor
三木　康弘
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US14/647,798 priority Critical patent/US20150309568A1/en
Priority to JP2014550205A priority patent/JPWO2014084224A1/ja
Publication of WO2014084224A1 publication Critical patent/WO2014084224A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Definitions

  • the present invention relates to an electronic apparatus and a line-of-sight input method, and more particularly, to an electronic apparatus and a line-of-sight input method for detecting line-of-sight input, for example.
  • a data input device which is an example of background art displays a group of input data such as a menu or a keyboard on a display device, images the eye portion of the user of the device with a camera, and the user's line-of-sight direction from the captured image Is determined, input data located in the line-of-sight direction is determined, and the determined input data is output to an external device or the like.
  • a gaze detection apparatus detects the gaze of the subject by detecting the center of the pupil and the corneal reflection point from the captured image.
  • gaze input devices tend to be larger in proportion to the distance between the sensor and the eyeball. Accordingly, in consideration of mounting on a relatively small electronic device such as a portable terminal, for example, the above-described two background technologies are large and unsuitable.
  • a main object of the present invention is to provide a novel electronic device and line-of-sight input method.
  • Another object of the present invention is to provide an electronic device and a line-of-sight input method capable of suppressing power consumption when detecting the line of sight of a user.
  • 1st aspect of this invention is an electronic device which detects the gaze input which is an input based on a user's gaze point, and performs the operation
  • the detection process for detecting a gaze input is performed
  • a display unit that displays a screen including an object display area for displaying a processor, a specific region and an operation object, a detection unit that detects a gaze point, and a gaze input of a user when the gaze point of a user is included in the specific region
  • a first setting unit that sets the detection accuracy to the first accuracy mode, and a second accuracy that is higher in detection accuracy than the first accuracy mode when the gaze input of the user is included in the object display area. It is an electronic device provided with the 2nd setting part set to a mode.
  • a processor and a specific region that detect a line-of-sight input that is an input based on a gaze point of a user, execute an operation based on the line-of-sight input,
  • the first setting step for setting the detection accuracy of the line-of-sight input to the first accuracy mode, and when the user's gazing point is included in the object display area, the detection accuracy of the line-of-sight input is higher than that of the first accuracy mode.
  • FIG. 1 is an external view showing a mobile phone according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an electrical configuration of the mobile phone shown in FIG.
  • FIG. 3 is an illustrative view showing one example of a gazing point detected on the display surface of the display shown in FIG. 4 is an illustrative view showing one example of a pupil and a Purkinje image photographed by the infrared camera shown in FIG.
  • FIG. 5 is an illustrative view showing an example of a line-of-sight vector calculated by the processor shown in FIG. 2, FIG. 5 (A) shows an example of the first center position and the second center position, and FIG. 5 (B) shows the line of sight. An example of a vector is shown.
  • FIG. 5 (A) shows an example of the first center position and the second center position
  • FIG. 5 (B) shows the line of sight.
  • An example of a vector is shown.
  • FIG. 6 is an illustrative view showing a display example of objects displayed on the display shown in FIG.
  • FIG. 7 is an illustrative view showing one example of a memory map of the RAM shown in FIG.
  • FIG. 8 is a flowchart showing an example of part of the line-of-sight input process of the processor shown in FIG.
  • FIG. 9 is an example of another part of the line-of-sight input process of the processor shown in FIG. 2, and is a flowchart subsequent to FIG.
  • FIG. 10 is an illustrative view showing one example of an operation state when the high accuracy mode shown in FIG. 9 is set.
  • FIG. 11 is an illustrative view showing one example of an operation state when the low accuracy mode of the specific example 1 shown in FIG. 9 is set.
  • FIG. 12 is an illustrative view showing one example of an operation state when the low accuracy mode of the specific example 2 shown in FIG. 9 is set.
  • FIG. 13 is an illustrative view showing one example of an operation state when the low accuracy mode of the specific example 3 shown in FIG. 9 is set.
  • FIG. 14 is a flowchart showing another example of the line-of-sight input process of the processor shown in FIG.
  • FIG. 15 is an illustrative view showing a display example of an object of another embodiment displayed on the display shown in FIG.
  • a mobile phone 10 is a so-called smartphone, and includes a vertically long flat rectangular housing 12.
  • the main surface (front surface) of the housing 12 is provided with a display 14 that functions as a display unit and is formed of, for example, liquid crystal or organic EL.
  • a touch panel 16 is provided on the display 14.
  • a speaker 18 is built in the surface side of one end in the vertical direction of the housing 12, and a microphone 20 is built in the surface side of the other end in the vertical direction.
  • a call key 22, an end call key 24, and a menu key 26 are provided as hardware keys.
  • an infrared LED 30 and an infrared camera 32 are provided on the left side of the microphone 20, and a proximity sensor 34 is provided on the right side of the speaker 18.
  • the light emitting surface of the infrared LED 30, the imaging surface of the infrared camera 32, and the detection surface of the proximity sensor 34 are provided so as to be exposed from the housing 12, and other portions are built in the housing 12.
  • the user can input a telephone number by touching the dial key displayed on the display 14 with the touch panel 16 and can start a voice call by operating the call key 22. If the end call key 24 is operated, the voice call can be terminated. Further, by holding down the end call key 24, the power of the mobile phone 10 can be turned on / off.
  • a menu screen is displayed on the display 14.
  • the user can perform a selection operation on the software keys and icons by performing a touch operation on the touch panel 16 with respect to the software keys and menu icons displayed on the display 14 in that state.
  • a mobile phone such as a smartphone will be described as an example of the electronic device.
  • the present invention can be applied to various electronic devices including a display device.
  • examples of other electronic devices include a feature phone, an electronic book terminal, a tablet terminal, a PDA, an arbitrary electronic device such as a notebook PC and a display device.
  • the mobile phone 10 shown in FIG. 1 includes a processor 40.
  • the processor 40 includes an infrared camera 32, a proximity sensor 34, a wireless communication circuit 42, an A / D converter 46, and a D / A conversion. 48, the input device 50, the display driver 52, the flash memory 54, the RAM 56, the touch panel control circuit 58, the LED driver 60, the captured image processing circuit 62, and the like are connected.
  • the processor 40 is called a computer or CPU and controls the entire mobile phone 10.
  • the processor 40 includes an RTC 40a, and the RTC 40a measures the date and time.
  • the RAM 56 all or a part of the program stored in advance in the flash memory 54 is expanded (loaded) when used, and the processor 40 executes various processes according to the program expanded in the RAM 56. At this time, the RAM 56 is used as a working area or a buffer area of the processor 40.
  • the input device 50 includes the hardware keys (22, 24, 26) shown in FIG. 1, and functions as an operation unit or an input unit together with the touch panel 16 and the touch panel control circuit 58.
  • Information on the hardware key operated by the user is input to the processor 40.
  • key operation the operation by the hardware key is referred to as “key operation”.
  • the wireless communication circuit 42 is a circuit for transmitting and receiving radio waves for voice calls and mails through the antenna 44.
  • the wireless communication circuit 42 is a circuit for performing wireless communication by the CDMA method. For example, when the user operates the input device 50 to instruct a telephone call (calling), the wireless communication circuit 42 executes a telephone call processing under the instruction of the processor 40 and outputs a telephone call signal via the antenna 44. Output.
  • the telephone call signal is transmitted to the other party's telephone through the base station and the communication network.
  • the processor 40 executes the call process.
  • the microphone 20 shown in FIG. 1 is connected to the A / D converter 46, and the audio signal from the microphone 20 is input to the processor 40 as digital audio data through the A / D converter 46.
  • the speaker 18 is connected to the D / A converter 48.
  • the D / A converter 48 converts digital audio data into an audio signal and supplies the audio signal to the speaker 18 through an amplifier. Therefore, the sound data is output from the speaker 18.
  • the sound collected by the microphone 20 is transmitted to the other party's telephone, and the sound collected by the other party's telephone is output from the speaker 18.
  • the processor 40 controls the amplification factor of the amplifier connected to the D / A converter 48 in response to, for example, an operation for adjusting the volume by the user, and thereby the volume of the sound output from the speaker 18. Can be adjusted.
  • the display driver 52 controls the display on the display 14 connected to the display driver 52 under the instruction of the processor 40.
  • the display driver 52 includes a video memory that temporarily stores image data to be displayed.
  • the display 14 is provided with a backlight using, for example, an LED as a light source, and the display driver 52 controls the brightness of the backlight and lighting / extinguishing in accordance with instructions from the processor 40.
  • the touch panel 16 shown in FIG. 1 is connected to the touch panel control circuit 58.
  • the touch panel control circuit 58 applies necessary voltage and the like to the touch panel 16 and also provides the processor 40 with a touch start signal indicating the start of touch by the user, an end signal indicating the end of touch by the user, and coordinate data indicating the touch position. input. Therefore, the processor 40 can determine which icon or key the user has touched based on the coordinate data.
  • the touch panel 16 is a capacitance type touch panel that detects a change in capacitance generated between the surface and an object such as a finger approaching the surface.
  • the touch panel 16 detects that one or more fingers touched the touch panel 16, for example.
  • the touch panel control circuit 58 functions as a detection unit, detects a touch operation within the effective touch range of the touch panel 16, and outputs coordinate data (touch coordinate data) indicating the position of the touch operation to the processor 40.
  • the processor 40 can determine which icon or key the user has touched based on the touch coordinate data input from the touch panel control circuit 58.
  • touch operation the operation using the touch panel 16 is referred to as “touch operation”.
  • the touch operation of this embodiment includes a tap operation, a long tap operation, a flick operation, a slide operation, and the like.
  • the touch panel 16 may employ a surface capacitive method, a resistive film method, an ultrasonic method, an infrared method, an electromagnetic induction method, or the like.
  • the touch operation is not limited to the user's finger, and may be performed with a stylus pen or the like.
  • the proximity sensor 34 includes a light emitting element (for example, an infrared LED) and a light receiving element (for example, a photodiode).
  • the processor 40 calculates the distance of an object (for example, a user's face) close to the proximity sensor 34 (mobile phone 10) from the change in the output of the photodiode.
  • the light emitting element emits infrared rays
  • the light receiving element receives infrared rays reflected by a face or the like. For example, when the light receiving element is far from the user's face, the infrared light emitted from the light emitting element is hardly received by the light receiving element.
  • the processor 40 determines whether the proximity sensor 34 is based on the received light amount. The distance to the object can be calculated.
  • the infrared LED 30 shown in FIG. 1 is connected to the LED driver 60.
  • the LED driver 60 switches on / off (lights on / off) the infrared LED 30 based on a control signal from the processor 40.
  • An infrared camera 32 (see FIG. 1) that functions as a photographing unit is connected to the photographed image processing circuit 62.
  • the captured image processing circuit 62 performs image processing on the captured image data from the infrared camera 32 and inputs monochrome image data to the processor 40.
  • the infrared camera 32 executes photographing processing under the instruction of the processor 40 and inputs photographed image data to the photographed image processing circuit 62.
  • the infrared camera 32 includes, for example, a color camera using an imaging element such as a CCD or CMOS, and an infrared transmission filter that attenuates (cuts) light of R, G, and B wavelengths and transmits light of infrared wavelengths. Composed. Therefore, if the infrared transmission filter is configured to be detachable, a color image can be obtained by removing the infrared transmission filter.
  • wireless communication circuit 42 the A / D converter 46, and the D / A converter 48 described above may be included in the processor 40.
  • an input operation using a line of sight (hereinafter sometimes referred to as a “line of sight operation”) is possible instead of a key operation or a touch operation.
  • a line of sight operation a predetermined process set in association with a predetermined area (hereinafter referred to as a determination area) indicated by a point (gaze point) where the line of sight and the display surface of the display 14 intersect is executed.
  • a point gaze point
  • the user sets his / her dominant eye among the left and right eyes.
  • the dominant eye here, the left eye
  • the infrared camera 32 captures the face of the user (subject) irradiated with the infrared light emitted by the infrared LED 30.
  • An eyeball peripheral image is acquired using a feature point extraction technique for the photographed image.
  • a pupil is detected by a labeling process on the acquired image around the eyeball, and reflected light (Purkinje image) by infrared rays (infrared light) is detected by a differential filter process.
  • the method for detecting the pupil and the Purkinje image from the photographed image has been outlined, these methods are already well known and are not essential contents of this embodiment, and thus detailed description thereof is omitted.
  • the eyelid is relatively wide open.
  • a Purkinje image can be detected in either the state or the state where the eyelids are slightly closed.
  • the distance between the infrared LED 30 and the infrared camera 32 is the distance between the user's face and the mobile phone 10 (the surface of the housing or the display surface of the display 14) when the user uses the mobile phone 10. It is determined by the size of.
  • the processor 40 detects the pupil and the Purkinje image from the captured image, it detects the direction of the dominant eye line of sight (line-of-sight vector V). Specifically, a vector directed from the position of the Purkinje image to the position of the pupil in the two-dimensional captured image captured by the infrared camera 32 is detected. That is, as shown in FIGS. 5A and 5B, the vector from the first center position A toward the second center position center B is the line-of-sight vector V.
  • the coordinate system in the infrared camera 32 is determined in advance, and the line-of-sight vector V is calculated using the coordinate system.
  • the line-of-sight vector V calculated in this way, calibration is performed as an initial setting for the line-of-sight operation.
  • the line-of-sight vectors V when the four corners of the display 14 are respectively watched are acquired, and each line-of-sight vector V is stored as calibration data.
  • a gaze point is detected by obtaining a line-of-sight vector V each time an image is captured by the infrared camera 32 and comparing it with calibration data.
  • the processor 40 detects that the line of sight is input to the gazing point.
  • the distance L between the eyes of the user is calculated from the center position of the Purkinje image of the left and right eyes.
  • the distance L between the eyes of the user is stored together with the calibration data.
  • the process of detecting the gazing point is executed and the line-of-sight vector V is calculated, the distance L between both eyes recorded when the gazing point is detected is compared with the current distance L between both eyes, and the display 14 and the user's face are compared. It is determined whether or not the distance to If it is determined that the distance between the display 14 and the user's face has changed, the amount of change is calculated from the recorded distance L between both eyes and the current distance L between both eyes, and the magnitude of the line-of-sight vector V is corrected. Is done.
  • the line-of-sight vector V is corrected to be large.
  • the line-of-sight vector V is corrected to be small.
  • FIG. 6 is an illustrative view showing a display example of the display 14 when the electronic book application is executed.
  • the display 14 includes a status display area 70 and a function display area 72.
  • an icon (pict) indicating a radio wave reception status by the antenna 44, an icon indicating the remaining battery capacity of the secondary battery, and a time are displayed.
  • the function display area 72 includes a standard key display area 80 in which a HOME key 90 and a BACK key 92 as standard keys are displayed, and a first application key display area 82 in which a return key 94 for returning to the previous page is displayed. And a second application key display area 84 in which a forward key 96 for proceeding to the next page is displayed, and a headquarter display area 86 in which the text of the electronic book is displayed.
  • the HOME key 90 is a key for terminating a running application and displaying a standby screen.
  • the BACK key 92 is a key for terminating a running application and displaying a screen before the application is executed.
  • the HOME key 90 and the BACK key 92 are displayed if an application is being executed regardless of the type of application to be executed.
  • a notification icon is displayed in the status display area 70.
  • a new mail icon is displayed in the status display area 70 as a notification icon.
  • the notification icon is not displayed.
  • keys, GUIs, widgets (gadgets), and the like displayed on the display 14 are collectively referred to as objects.
  • the standard key display area 80, the first application key display area 82, and the second application key display area 84 may be collectively referred to as an object display area.
  • the user can arbitrarily operate the application being executed by performing line-of-sight input on these objects. For example, when a line of sight is input to the return key 94 or the forward key 96, the displayed page of the electronic book is changed.
  • the detection accuracy of the gaze input is changed based on the gaze point of the user.
  • first accuracy mode first accuracy mode
  • second accuracy mode high accuracy mode
  • processing for detecting the user's line of sight is simplified, so that power consumption when the user's line of sight is detected can be suppressed.
  • the detection accuracy of the gaze input is set to the low accuracy mode.
  • the detection accuracy of the line-of-sight input is set to the high accuracy mode.
  • the text display area 86 is set as the specific area. This is because detection of the user's line-of-sight input is not so important in the area where the text of the electronic book is displayed. For this reason, when the user's line of sight is directed to the text of the electronic book, the detection accuracy of the line-of-sight input is set to the low-accuracy mode. On the other hand, when the user's line of sight is directed toward the object display area, the line of sight may be input to the object. Therefore, the detection accuracy of the line-of-sight input is set to the high accuracy mode.
  • the high accuracy mode is set in the normal state and the low accuracy mode is set to detect the line-of-sight input with low power consumption
  • the high accuracy mode is called the “normal mode” and the low accuracy mode is set to “saving”.
  • the high-accuracy mode or the low-accuracy mode may be set in the same manner as the above-described electronic book application during execution of a mail application or a browser application that displays text.
  • the specific area when another application is executed may be set for each application, and is determined as the specific area when the number of characters displayed in the area exceeds a predetermined value. May be.
  • program storage area 502 and data storage area 504 are formed in RAM 56 shown in FIG. 2.
  • the program storage area 502 is an area for reading and storing (developing) part or all of the program data set in advance in the flash memory 54 (FIG. 2).
  • the program storage area 502 stores a gaze input program 510 for detecting a gaze input and executing an operation based on the gaze input.
  • the program storage area 502 includes a program for executing a telephone function, a mail function, an alarm function, and the like.
  • a proximity buffer 530 In the data storage area 504, a proximity buffer 530, a gaze point buffer 532, a line-of-sight buffer 534, and the like are provided.
  • the data storage area 504 stores an area coordinate table 536, object data 538, an object table 540, and the like.
  • the proximity buffer 530 temporarily stores the distance information to the object obtained from the proximity sensor 34.
  • the gaze point buffer 532 temporarily stores the detected gaze point.
  • the line-of-sight buffer 534 temporarily stores the position when a line-of-sight input is detected.
  • the area coordinate table 536 is a table including information on the coordinate ranges of the state display area 70, the function display area 72, the standard key display area 80, the first application key display area 82, and the second application key display area 84, for example.
  • the object data 538 is data including an image of an object displayed on the display 14 and character string data.
  • the object table 540 is a table including information such as the display position (coordinate range) of the object displayed on the display 14.
  • the processor 40 parallelizes a plurality of tasks including the line-of-sight input processing shown in FIGS. 8 and 9 under the control of a Linux (registered trademark) -based OS such as Android (registered trademark) or REX, and other OSs. Process.
  • Linux registered trademark
  • OS registered trademark
  • REX Registered trademark
  • gaze input processing is executed.
  • the processor 40 turns on the proximity sensor 34 in step S1. That is, the distance from the mobile phone 10 to the user is measured by the proximity sensor 34. Subsequently, in step S3, the processor 40 determines whether or not the output of the proximity sensor 34 is less than a threshold value. That is, it is determined whether the user's face exists in a range where the infrared rays output from the infrared LED 30 affect the user's eyes. If “NO” in the step S3, that is, if the output of the proximity sensor 34 is equal to or larger than the threshold value, the processor 40 turns off the proximity sensor 34 in a step S5 and ends the line-of-sight input process.
  • step S5 a notification (for example, pop-up or voice) that prompts the user's face to be separated from the mobile phone 10 may be given.
  • a notification for example, pop-up or voice
  • the processor 40 turns on the infrared LED 30 in a step S7, and turns on the infrared camera 32 in a step S9. . That is, the infrared LED 30 and the infrared camera 32 are turned on to detect the user's line-of-sight input.
  • step S11 the processor 40 executes face recognition processing. That is, the image data captured by the user's infrared camera 32 is read from the RAM 56, and a process of detecting the user's face is performed on the read image data.
  • step S13 the processor 40 determines whether or not it has been recognized. That is, it is determined whether the user's face is recognized by the face recognition process. If “NO” in the step S13, that is, if the user's face is not recognized, the processor 40 returns to the process of the step S11.
  • step S13 if “YES” in the step S13, that is, if the user's face is recognized, the processor 40 detects the gazing point in a step S15. That is, the position on the display 14 where the user is gazing is detected. Note that the coordinates of the detected gazing point are recorded in the gazing point buffer 532. Further, the processor 40 that executes the process of step S15 functions as a detection unit.
  • step S17 the processor 40 determines whether or not a gaze point is detected. That is, the processor 40 determines whether or not the user's gaze point has been detected from the recognized face image. If “NO” in the step S17, that is, if the gazing point is not detected, the processor 40 returns to the process of the step S11.
  • the processor 40 determines whether or not the gazing point is included in the specific area in a step S19. For example, it is determined whether the gazing point recorded in the gazing point buffer 532 is included in the coordinate range of the text display area 86 included in the area coordinate table 536. If “YES” in the step S19, for example, if the user's gaze point is included in the text display area 86 shown in FIG. 6, the processor 40 sets the low accuracy mode in a step S21.
  • step S19 if “NO” in the step S19, that is, if the specific area does not include the gazing point, the processor 40 sets the high accuracy mode in a step S23. Then, when the process of step S21 or step S23 ends, the processor 40 proceeds to the process of step S25.
  • the processor 40 that executes the process of step S21 functions as a first setting unit
  • the processor 40 that executes the process of step S23 functions as a second setting unit.
  • step S25 the processor 40 executes a line-of-sight detection process. That is, the user's line-of-sight input is detected based on the set detection accuracy.
  • step S27 the processor 40 performs an operation based on the position where the line-of-sight input is performed. For example, when a line-of-sight input is performed on an object, an application and processing related to the object are executed. However, when a line-of-sight input is detected for a character in the text display area 86, the processor 40 does not perform any operation unless processing or operation is associated with the character.
  • step S29 the processor 40 determines whether or not the line-of-sight input is completed. For example, the processor 40 determines whether an operation for invalidating the line-of-sight input has been performed. If “NO” in the step S29, that is, if the line-of-sight input is not ended, the processor 40 returns to the process of the step S11. On the other hand, if “YES” in the step S29, that is, if the line-of-sight input has been completed, the processor 40 turns off the infrared LED 30, the infrared camera 32, and the proximity sensor 34 in a step S31. That is, the power consumption of the mobile phone 10 can be suppressed by turning off these power supplies. And if the process of step S31 is complete
  • the frame rate of the infrared camera 32 is set lower than that of the high accuracy mode.
  • the operation states of the high accuracy mode and the first low accuracy mode will be compared and described.
  • FIG. 10 is an illustrative view showing operation states of the infrared camera 32, the processor 40, and the infrared LED 30 when the high-accuracy mode is set.
  • the infrared LED 30 is always on, and the infrared camera 32 outputs a captured image at a frame rate of 20 fps (Frames Per Second).
  • the processor 40 stores the captured image in the buffer of the RAM 56. Once stored, processing necessary for eye-gaze detection is performed on the captured image.
  • the processor 40 performs image reading processing for reading a photographed image input from the photographed image processing circuit 62 from the buffer of the RAM 56, and face recognition processing for recognizing a face from the read photographed image, as necessary processing for line-of-sight detection. And a line-of-sight detection process for detecting the line of sight of the user.
  • the processor 40 performs these processes on each captured image output from the infrared camera 32 while the line-of-sight detection is enabled.
  • the processor 40 executes processing necessary for line-of-sight detection after the captured image is input from the captured image processing circuit 62. Therefore, the timing at which the captured image is output from the infrared camera 32 and the processing required by the processor 40 for line-of-sight detection. There is a deviation from the timing of executing.
  • FIG. 11 is an illustrative view showing operation states of the infrared camera 32, the processor 40, and the infrared LED 30 when the first low-accuracy mode is set.
  • the infrared camera 32 in the first low-accuracy mode outputs captured images at a half frame rate relative to the frame rate of the high-accuracy mode, that is, a frame rate of 10 fps.
  • the infrared LED 32 is turned on immediately before shooting, and then turned off until the next frame is output. That is, the infrared LED 32 blinks in accordance with the output of the captured image.
  • the processor 40 shifts to a sleep state until the next captured image is input. Therefore, in the first low-accuracy mode, the time until the eye-gaze input is detected, that is, the responsiveness when the user performs the eye-gaze input is lower than that in the high-accuracy mode. It seems that the detection accuracy is lower than the high accuracy mode.
  • the frame rate of the infrared camera 32 the power consumption of the infrared camera 32 during line-of-sight detection can be suppressed. As a result, power consumption when detecting the user's line of sight can be suppressed. Further, by reducing the frame rate of the infrared camera 32, the power consumption of the infrared LED 30 and the processor 40 can also be reduced.
  • FIG. 12 is an illustrative view showing operation states of the infrared camera 32, the processor 40, and the infrared LED 30 when the second low-accuracy mode is set.
  • the frequency of the processor 40 in the second low accuracy mode is lowered relative to the high accuracy mode.
  • the processor 40 shifts to a sleep state after completing the processing necessary for eye gaze detection, and does not execute the processing necessary for eye gaze detection even if the next frame is output. Then, when the next frame is further output, the process returns from the sleep state and executes processing necessary for eye-gaze detection. At this time, the frame rate of the infrared camera 32 is not changed, and the infrared LED 30 blinks at the same frequency as in the first specific example.
  • the time until the line-of-sight input is detected that is, the responsiveness when the user performs the line-of-sight input is lower than the high-precision mode.
  • the power consumption of the processor 40 during the line-of-sight detection can be suppressed without changing the frame rate of the infrared camera 32, the power consumption when the user's line of sight is detected can be reduced. It can be suppressed.
  • processor 40 may skip a process necessary for eye gaze detection without shifting to the sleep state.
  • FIG. 13 is an illustrative view showing operation states of the infrared camera 32, the processor 40, and the infrared LED 30 when the third low-accuracy mode is set.
  • the first line-of-sight detection process and the second line-of-sight detection process are executed alternately. For example, when the first visual line detection process is performed on the captured image of the first frame, the second visual line detection process is performed on the captured image of the next second frame. Then, the first visual line detection process is performed again on the captured image of the next third frame.
  • the operations of the infrared LED 30 and the infrared camera 32 are substantially the same as in the high accuracy mode. However, the power consumption of the processor 40 that executes the second line-of-sight detection process is lower than when the first line-of-sight detection process is executed.
  • the position of the line-of-sight input is detected with an accuracy of “one pixel”, but in the second line-of-sight detection process, the position of the line-of-sight input is detected with an accuracy of “1 area” including a plurality of pixels.
  • the accuracy of the position of the detected gaze point is lower than that in the first gaze detection process. Therefore, the user feels that the detection accuracy of the third low accuracy mode is lower than that of the high accuracy mode.
  • the power consumption when detecting the line of sight of the user can be suppressed without changing the operation of the hardware (such as the infrared LED 30 and the infrared camera 32). I can do it.
  • the proximity sensor 34 may be provided adjacent to the infrared LED 30 and the infrared camera 32 in order to improve the accuracy of detecting the distance from the mobile phone 10 to the user.
  • the infrared LED 30 and the infrared camera 32 may be provided adjacent to the proximity sensor 34.
  • the proximity of the user's face to the mobile phone 10 may be detected using the infrared LED 30 and the infrared camera 32 instead of the proximity sensor 34.
  • the infrared LED 30 emits light weakly, and the light reception level of the infrared camera 32 is measured.
  • the received light level exceeds the threshold value, it is determined that the user's face exists in a range where the infrared rays output from the infrared LED 30 affect the user's eyes, and the processor 40 ends the line-of-sight input detection process. .
  • the infrared LED 30 is in a normal light emission state, and the user's line-of-sight input is detected as described above.
  • the light reception level of the infrared camera 32 is calculated based on the shutter speed and the amplifier gain value. For example, when the illuminance is high, the shutter speed increases and the amplifier gain value decreases. On the other hand, when the illuminance is low, the shutter speed becomes slow and the amplifier gain value becomes high.
  • step S55 the processor 40 measures the light reception level of the infrared camera 32. That is, the light reception level of the infrared camera 32 is calculated based on the shutter speed of the infrared camera 32 and the amplifier gain value.
  • step S57 the processor 40 determines whether or not the light reception level is less than a threshold value. That is, as in step S3, it is determined whether the user's face exists in a range in which the infrared rays output from the infrared LED 30 affect the user's eyes. If “NO” in the step S57, that is, if the light reception level exceeds the threshold value, the processor 40 proceeds to a process of step S61. Then, the processor 40 turns off the infrared LED 30 and the infrared camera 32 in step S61, and ends the line-of-sight input process.
  • step S57 that is, if the light reception level is less than the threshold value, the processor 40 causes the infrared LED 30 to be in a normal light emitting state in a step S59. Subsequently, after the processes of steps S11 to S29 are executed and the user's line-of-sight input is detected, the processor 40 proceeds to the process of step S61.
  • step S61 as described above, the infrared LED 30 and the infrared camera 32 are turned off. That is, since the line-of-sight input is detected, the infrared LED 30 and the infrared camera 32 are turned off. Then, when the process of step S61 ends, the processor 40 ends the line-of-sight input process.
  • the case where the line-of-sight operation is possible has been described, but actually, the case where the line-of-sight operation (line-of-sight input) is possible may or may not be possible.
  • the case where the line-of-sight operation is possible is, for example, when an application set in advance so that the line-of-sight operation can be performed is being executed.
  • the target application there are an electronic book application, a mail application, and the like.
  • the case where the line-of-sight operation is not possible is, for example, when an application set in advance that the line-of-sight operation cannot be performed is being executed.
  • the target application there is a call function.
  • a message or an image (icon) to that effect may be displayed.
  • a message or an image indicating that a line-of-sight input is being received may be displayed. In this way, the user can recognize that the line-of-sight operation is possible and that the line-of-sight input is accepted.
  • the validity / invalidity of the line-of-sight operation may be switched according to the orientation of the mobile phone 10.
  • the infrared camera 32 of another embodiment may have a higher sensitivity to infrared rays than a normal color camera.
  • the color camera constituting the infrared camera 32 of the other embodiments has an infrared cut filter (low-pass filter) for attenuating (cutting) infrared wavelength light and better receiving light of R, G, B wavelengths. A filter) may be provided.
  • the infrared camera 32 provided with an infrared cut filter the sensitivity of light having an infrared wavelength may be increased.
  • the infrared cut filter may be detachable from the infrared camera 32.
  • a mode icon indicating the currently set mode may be shown to the user.
  • the first mode icon 100 including the character string “Lo” in the state display area 70. Is displayed.
  • the second mode icon 102 including the character string “Hi” is displayed in the state display area 70.
  • the first mode icon 100 or the second mode icon 102 may be displayed only when one of the modes is set.
  • the first mode icon 100 may not be displayed when the low accuracy mode is set, and the second mode icon 102 may be displayed only when the high accuracy mode is set.
  • the program used in this embodiment may be stored in the HDD of the data distribution server and distributed to the mobile phone 10 via the network.
  • the storage medium may be sold or distributed in a state where a plurality of programs are stored in a storage medium such as an optical disk such as a CD, DVD, or BD, a USB memory, or a memory card.
  • the present embodiment is an electronic device that detects an eye-gaze input that is an input based on a user's gaze point, and performs an operation based on the eye-gaze input, and a processor that performs a detection process for detecting the eye-gaze input,
  • the display unit that displays the screen including the region and the object display area that displays the object for operation, the detection unit that detects the gaze point, and the gaze input detection accuracy when the gaze point of the user is included in the specific region
  • the detection accuracy of the line-of-sight input is set to the second accuracy mode that is higher in detection accuracy than the first accuracy mode.
  • An electronic device includes a second setting unit.
  • the processor (40) of the electronic device detects an input by a line of sight (hereinafter referred to as a line-of-sight input).
  • a line-of-sight input detects an input by a line of sight (hereinafter referred to as a line-of-sight input).
  • the line-of-sight input is detected when the number of times that the gazing point is detected at the same position reaches the number of determinations.
  • an operation is executed based on the input position.
  • a display part (14) displays the screen containing the specific area
  • a detection part (40, S15) detects a user's gaze point.
  • the first setting unit (40, S21) sets the detection accuracy of the line-of-sight input in the first accuracy mode (low accuracy mode), for example, when the user's gazing point is included in a specific area where the text by the electronic book application is displayed. Set to.
  • the second setting unit (40, S23) has a higher detection accuracy than the first accuracy mode.
  • a high second accuracy mode (high accuracy mode) is set.
  • the power consumption when detecting the user's line of sight can be suppressed by changing the detection accuracy of the line-of-sight input based on the position of the user's line of sight.
  • Another embodiment further includes a camera for detecting line-of-sight input, and lowers the frame rate of the camera when the first accuracy mode is set.
  • the camera (32) is provided in an electronic device to detect a line-of-sight input.
  • the frame rate of the camera is set low.
  • the power consumption of the camera during the detection of the line of sight can be suppressed by lowering the frame rate of the camera. As a result, power consumption when detecting the user's line of sight can be suppressed.
  • the processor when the first accuracy mode is set, the processor reduces the frequency of executing the process for detecting the line-of-sight input.
  • the power consumption of the processor during the detection of the line of sight can be suppressed, the power consumption when the user's line of sight is detected can be suppressed.
  • the detection processing algorithm by the processor is simplified.
  • the accuracy of the input position of the detected line-of-sight is lower than that in the state where the second accuracy mode is set.
  • Another embodiment detects a line-of-sight input that is an input based on a user's gaze point, performs an operation based on the line-of-sight input, and performs a detection process for detecting the line-of-sight input.
  • a first setting step for setting the detection accuracy of the image to the first accuracy mode (low accuracy mode), and when the user's gaze point is included in the object display area, the detection accuracy of the gaze input is detected from the first accuracy mode.
  • the power consumption when detecting the user's line of sight can be suppressed by changing the detection accuracy of the line-of-sight input based on the position of the user's line of sight.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

携帯電話機はディスプレイなどを有し、ユーザの注視点に基づいて視線入力を検出する。また、携帯電話機は、ディスプレイに表示されるオブジェクトに対する視線入力が検出されると、オブジェクトに関連する所定の処理を実行する。たとえば、電子書籍アプリケーションが実行されているときに、ユーザの注視点が電子書籍の本文を表示する領域に含まれている場合、視線入力の検出精度が低精度モードに設定される。一方、ユーザの注視点が本文を表示していない他の領域に含まれている場合、視線入力の検出精度が高精度モードに設定される。そして、このように視線入力の検出精度が設定された後に、ユーザの視線が検出される。

Description

電子機器および視線入力方法
　この発明は、電子機器および視線入力方法に関し、特にたとえば、視線入力を検出する、電子機器および視線入力方法に関する。
　背景技術の一例であるデータ入力装置は、メニュー又はキーボード等の入力データ群を表示装置で表示し、該装置使用者の眼の部分をカメラで撮影し、該撮影画像から該使用者の視線方向を決定し、該視線方向に位置する入力データを決定し、決定された入力データを外部機器等に出力する。
　背景技術の他の例である視線検出装置は、撮影した画像から被験者の瞳孔の中心および角膜反射点を検出することで、被験者の視線を検出する。
　しかし、視線入力デバイスは、センサと眼球との距離に比例して機器が大きくなる傾向がある。したがって、たとえば携帯端末のような比較的小型の電子機器に搭載することを考慮すると、上述の２つの背景技術では、装置が大きく、適切でない。
　また、視線を検出するときには、カメラ等の電源をオンにしたままにしなければならず、装置の消費電力が高くなる。据え置き型の装置であれば、消費電力はさほど問題にはならないが、可搬型の装置の場合、高い消費電力は大きな問題となる。
　それゆえに、この発明の主たる目的は、新規な、電子機器および視線入力方法を提供することである。
　この発明の他の目的は、ユーザの視線を検出しているときの消費電力を抑えることが出来る、電子機器および視線入力方法を提供することである。
　この発明の第１の局面は、ユーザの注視点に基づく入力である視線入力を検出し、視線入力に基づく動作を実行する、電子機器であって、視線入力を検出するための検出処理を実行するプロセッサ、特定領域および操作用のオブジェクトを表示するオブジェクト表示領域を含む画面を表示する表示部、注視点を検出する検出部、ユーザの注視点が特定領域に含まれているとき、視線入力の検出精度を第１精度モードに設定する第１設定部、およびユーザの注視点がオブジェクト表示領域に含まれているとき、視線入力の検出精度を、第１精度モードより検出精度が高い第２精度モードに設定する第２設定部を備える、電子機器である。
　この発明の第２の局面は、ユーザの注視点に基づく入力である視線入力を検出し、視線入力に基づく動作を実行し、視線入力を検出するための検出処理を実行するプロセッサおよび特定領域および操作用のオブジェクトを表示するオブジェクト表示領域を含む画面を表示する表示部を有する、電子機器における視線入力方法であって、電子機器のプロセッサが、ユーザの注視点が特定領域に含まれているとき、視線入力の検出精度を第１精度モードに設定する第１設定ステップ、およびユーザの注視点がオブジェクト表示領域に含まれているとき、視線入力の検出精度を、第１精度モードより検出精度が高い第２精度モードに設定する第２設定ステップを実行する、視線入力方法である。
　この発明の一態様によれば、ユーザの視線を検出しているときの消費電力を抑えることが出来る。
　この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
図１はこの発明の一実施例の携帯電話機を示す外観図である。 図２は図１に示す携帯電話機の電気的な構成を示すブロック図である。 図３は図１に示すディスプレイの表示面で検出される注視点の一例を示す図解図である。 図４は図１に示す赤外線カメラによって撮影される瞳孔とプルキニエ像との一例を示す図解図である。 図５は図２に示すプロセッサによって算出される視線ベクトルの一例を示す図解図であり、図５（Ａ）は第１中心位置および第２中心位置の一例を示し、図５（Ｂ）は視線ベクトルの一例を示す。 図６は図１に示すディスプレイに表示されるオブジェクトの表示例を示す図解図である。 図７は図２に示すＲＡＭのメモリマップの一例を示す図解図である。 図８は図２に示すプロセッサの視線入力処理の一部の一例を示すフロー図である。 図９は図２に示すプロセッサの視線入力処理の他の一部の一例であって、図８に後続するフロー図である。 図１０は図９に示す高精度モードが設定されたときの動作状態の一例を示す図解図である。 図１１は図９に示す具体例１の低精度モードが設定されたときの動作状態の一例を示す図解図である。 図１２は図９に示す具体例２の低精度モードが設定されたときの動作状態の一例を示す図解図である。 図１３は図９に示す具体例３の低精度モードが設定されたときの動作状態の一例を示す図解図である。 図１４は図２に示すプロセッサの視線入力処理のその他の一例を示すフロー図である。 図１５は図１に示すディスプレイに表示される他の実施例のオブジェクトの表示例を示す図解図である。
　図１を参照して、この発明の一実施例の携帯電話機１０は、いわゆるスマートフォンであり、縦長の扁平矩形のハウジング１２を含む。ハウジング１２の主面（表面）には、表示部として機能する、たとえば液晶や有機ＥＬなどで構成されるディスプレイ１４が設けられる。このディスプレイ１４の上には、タッチパネル１６が設けられる。また、ハウジング１２の縦方向一端の表面側にスピーカ１８が内蔵され、縦方向他端の表面側にマイク２０が内蔵される。さらに、タッチパネル１６とともに、ハードウェアキーとして、通話キー２２、終話キー２４およびメニューキー２６が設けられる。さらにまた、マイク２０の左側に赤外線ＬＥＤ３０および赤外線カメラ３２が設けられ、スピーカ１８の右側に近接センサ３４が設けられる。ただし、赤外線ＬＥＤ３０の発光面と、赤外線カメラ３２の撮影面と、近接センサ３４の検出面とはハウジング１２から露出するように設けられ、その他の部分はハウジング１２に内蔵される。
　たとえば、ユーザは、ディスプレイ１４に表示されたダイヤルキーに対して、タッチパネル１６によってタッチ操作を行うことで電話番号を入力でき、通話キー２２を操作して音声通話を開始することが出来る。終話キー２４を操作すれば、音声通話を終了することが出来る。また、この終話キー２４を長押しすることによって、携帯電話機１０の電源をオン／オフすることが出来る。
　また、メニューキー２６が操作されると、ディスプレイ１４にメニュー画面が表示される。ユーザは、その状態でディスプレイ１４に表示されているソフトウェアキーやメニューアイコンなどに対して、タッチパネル１６によるタッチ操作を行うことによって、ソフトウェアキーやアイコンに対して選択操作を行うことが出来る。
　なお、この実施例では、電子機器の一例としてスマートフォン（smartphone）のような携帯電話機について説明するが、表示装置を備える様々な電子機器に、この発明を適用可能であることを予め指摘しておく。たとえば、他の電子機器の例としては、フィーチャーフォン(featurephone)、電子書籍端末、タブレット端末、ＰＤＡ、ノート型ＰＣやディスプレイ装置などの任意の電子機器などが該当する。
　図２を参照して、図１に示す携帯電話機１０はプロセッサ４０を含み、このプロセッサ４０には、赤外線カメラ３２、近接センサ３４、無線通信回路４２、Ａ／Ｄ変換器４６、Ｄ／Ａ変換器４８、入力装置５０、表示ドライバ５２、フラッシュメモリ５４、ＲＡＭ５６、タッチパネル制御回路５８、ＬＥＤドライバ６０および撮影画像処理回路６２などが接続される。
　プロセッサ４０は、コンピュータまたはＣＰＵと呼ばれ、携帯電話機１０の全体制御を司る。プロセッサ４０には、ＲＴＣ４０ａが内蔵されており、このＲＴＣ４０ａによって日時が計時される。ＲＡＭ５６には、フラッシュメモリ５４に予め記憶されているプログラムの全部または一部が使用に際して展開（ロード）され、プロセッサ４０はこのＲＡＭ５６に展開されたプログラムに従って各種の処理を実行する。このとき、ＲＡＭ５６は、プロセッサ４０のワーキング領域ないしバッファ領域として用いられる。
　入力装置５０は、図１に示すハードウェアキー（２２、２４、２６）を含み、タッチパネル１６およびタッチパネル制御回路５８とともに操作部ないし入力部として機能する。ユーザが操作したハードウェアキーの情報（キーデータ）はプロセッサ４０に入力される。以下、ハードウェアキーによる操作を「キー操作」ということにする。
　無線通信回路４２は、アンテナ４４を通して、音声通話やメールなどのための電波を送受信するための回路である。実施例では、無線通信回路４２は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、ユーザが入力装置５０を操作して電話発信（発呼）を指示すると、無線通信回路４２は、プロセッサ４０の指示の下、電話発信処理を実行し、アンテナ４４を介して電話発信信号を出力する。電話発信信号は、基地局および通信網を経て相手の電話機に送信される。そして、相手の電話機において着信処理が行われると、通信可能状態が確立され、プロセッサ４０は通話処理を実行する。
　Ａ／Ｄ変換器４６には図１に示すマイク２０が接続され、マイク２０からの音声信号はこのＡ／Ｄ変換器４６を通してディジタルの音声データとしてプロセッサ４０に入力される。Ｄ／Ａ変換器４８にはスピーカ１８が接続される。Ｄ／Ａ変換器４８は、ディジタルの音声データを音声信号に変換して、アンプを介してスピーカ１８に与える。したがって、音声データの音声がスピーカ１８から出力される。そして、通話処理が実行されている状態では、マイク２０によって集音された音声が相手の電話機に送信され、相手の電話機で集音された音声が、スピーカ１８から出力される。
　なお、プロセッサ４０は、たとえばユーザによるボリュームを調整するための操作に応答して、Ｄ／Ａ変換器４８に接続されるアンプの増幅率を制御することによって、スピーカ１８から出力される音声の音量を調整することが出来る。
　また、表示ドライバ５２は、プロセッサ４０の指示の下、当該表示ドライバ５２に接続されたディスプレイ１４の表示を制御する。また、表示ドライバ５２は表示する画像データを一時的に記憶するビデオメモリを含む。ディスプレイ１４には、たとえばＬＥＤなどを光源とするバックライトが設けられており、表示ドライバ５２はプロセッサ４０の指示に従って、そのバックライトの明るさや、点灯／消灯を制御する。
　タッチパネル制御回路５８には、図１に示すタッチパネル１６が接続される。タッチパネル制御回路５８は、タッチパネル１６に必要な電圧などを付与するとともに、ユーザによるタッチの開始を示すタッチ開始信号、ユーザによるタッチの終了を示す終了信号、およびタッチ位置を示す座標データをプロセッサ４０に入力する。したがって、プロセッサ４０はこの座標データに基づいて、ユーザが、どのアイコンやキーにタッチしたかを判断することが出来る。
　タッチパネル１６は、その表面と表面に接近した指などの物体との間に生じる静電容量の変化を検出する静電容量方式のタッチパネルである。タッチパネル１６は、たとえば１本または複数本の指がタッチパネル１６に触れたことを検出する。
　タッチパネル制御回路５８は検出部として機能し、タッチパネル１６のタッチ有効範囲内でのタッチ操作を検出して、そのタッチ操作の位置を示す座標データ（タッチ座標データ）をプロセッサ４０に出力する。プロセッサ４０は、タッチパネル制御回路５８より入力されたタッチ座標データに基づいて、ユーザがどのアイコンやキーにタッチしたかを判断することが出来る。以下、タッチパネル１６による操作を「タッチ操作」ということにする。
　なお、本実施例のタッチ操作には、タップ操作、ロングタップ操作、フリック操作、スライド操作などが含まれる。また、タッチパネル１６は、表面型の静電容量方式が採用されてもよいし、抵抗膜方式、超音波方式、赤外線方式および電磁誘導方式などが採用されてもよい。また、タッチ操作はユーザの指に限らず、スタイラスペンなどによって行われてもよい。
　近接センサ３４は、図示は省略するが、発光素子（たとえば、赤外線ＬＥＤ）と受光素子（たとえば、フォトダイオード）とを含む。プロセッサ４０は、フォトダイオードの出力の変化から、近接センサ３４（携帯電話機１０）に近接する物体（たとえば、ユーザの顔など）の距離を算出する。具体的には、発光素子は赤外線を発光し、受光素子は、顔などで反射した赤外線を受光する。たとえば、受光素子がユーザの顔から遠い場合は、発光素子から発せられた赤外線は受光素子によってほとんど受光されない。一方、近接センサ３４にユーザの顔が近接すると、発光素子が発光した赤外線は顔に反射して受光素子によって受光される。このように、受光素子は近接センサ３４がユーザの顔に近接している場合とそうでない場合とで赤外線の受光量が変化するため、プロセッサ４０は、その受光量に基づいて、近接センサ３４から物体までの距離を算出することができる。
　ＬＥＤドライバ６０には、図１に示す赤外線ＬＥＤ３０が接続される。ＬＥＤドライバ６０は、プロセッサ４０からの制御信号に基づいて、赤外線ＬＥＤ３０のオン／オフ（点灯／消灯）を切り換える。
　撮影画像処理回路６２には、撮影部として機能する赤外線カメラ３２（図１参照）が接続される。撮影画像処理回路６２は、赤外線カメラ３２からの撮影画像データに画像処理を施し、モノクロの画像データをプロセッサ４０に入力する。赤外線カメラ３２は、プロセッサ４０の指示の下、撮影処理を実行し、撮影画像データを撮影画像処理回路６２に入力する。赤外線カメラ３２は、たとえば、ＣＣＤやＣＭＯＳのような撮影素子を用いたカラーカメラと、Ｒ、Ｇ、Ｂの波長の光を減衰(カット)し、赤外線波長の光を透過する赤外線透過フィルタとによって構成される。したがって、赤外線透過フィルタを着脱可能な構成にすれば、赤外線透過フィルタを外すことにより、カラー画像を取得することも可能である。
　なお、上で説明した無線通信回路４２、Ａ／Ｄ変換器４６およびＤ／Ａ変換器４８はプロセッサ４０に含まれていてもよい。
　このような構成の携帯電話機１０では、キー操作やタッチ操作に代えて、視線による入力操作（以下、「視線操作」ということがある。）が可能である。視線操作では、視線とディスプレイ１４の表示面とが交差する点（注視点）によって指示される所定の領域（以下、判定エリア）に対応づけて設定された所定の処理が実行される。以下、図面を用いて、注視点の検出方法について説明する。
　図３を参照して、ユーザは、左右の目の内、自身の利き目を設定する。利き目（ここでは左目）が設定されると、赤外線ＬＥＤ３０が発光した赤外線が照射されたユーザ（被写体）の顔を、赤外線カメラ３２によって撮影する。撮影された画像に対して特徴点抽出の技術を用いて、眼球周辺画像を取得する。次に、取得された眼球周辺画像に対してラベリング処理によって瞳孔が検出され、微分フィルタ処理によって赤外線（赤外光）による反射光（プルキニエ像）が検出される。なお、撮影画像から瞳孔やプルキニエ像を検出する方法を概説したが、これらの方法は既に周知であり、この実施例の本質的な内容ではないため、詳細な説明は省略する。
　図１に示したように、赤外線ＬＥＤ３０と赤外線カメラ３２とがディスプレイ１４の下側に並べて配置（接近して配置）されているため、図４に示すように、瞼が比較的大きく開いている状態および瞼が少し閉じている状態のいずれであっても、プルキニエ像を検出することが出来る。なお、赤外線ＬＥＤ３０と赤外線カメラ３２との距離は、ユーザが携帯電話機１０を使用する際における、ユーザの顔と携帯電話機１０（筐体の表面ないしディスプレイ１４の表示面）との距離や携帯電話機１０の大きさなどによって決定される。
　プロセッサ４０は、撮影画像から瞳孔およびプルキニエ像を検出すると、利き目の視線の方向（視線ベクトルＶ）を検出する。具体的には、赤外線カメラ３２で撮影された２次元の撮影画像におけるプルキニエ像の位置から瞳孔の位置に向けたベクトルが検出される。つまり、図５（Ａ），（Ｂ）に示すように、第１中心位置Ａから第２中心位置中心Ｂに向けたベクトルが視線ベクトルＶである。赤外線カメラ３２における座標系は予め決定されており、その座標系を用いて視線ベクトルＶが算出される。
　そして、このようにして算出された視線ベクトルＶを用いて、視線操作の初期設定としてキャリブレーションが行われる。本実施例では、ディスプレイ１４の四隅をそれぞれ注視したときの視線ベクトルＶを取得し、各視線ベクトルＶをキャリブレーションデータとして保存する。
　視線操作が行われる際には、赤外線カメラ３２によって画像が撮影される度に、視線ベクトルＶを求め、キャリブレーションデータと比較することによって、注視点が検出される。そして、注視点が、判定エリア内で検出された回数が判定回数と一致したときに、プロセッサ４０は、その注視点に対して視線入力がされたものとして検出する。
　また、本実施例では、ユーザの両目の距離Ｌ（図３参照）が、左右の目のプルキニエ像の中心位置から算出される。そして、ユーザの両目の距離Ｌはキャリブレーションデータと共に保存される。注視点を検出する処理が実行され視線ベクトルＶが算出されると、注視点を検出するときに記録された両目の距離Ｌと現在の両目の距離Ｌとが比較され、ディスプレイ１４とユーザの顔との距離が変化しているかが判断される。ディスプレイ１４とユーザの顔との距離が変化していると判断されると、記録された両目の距離Ｌと現在の両目の距離Ｌとから変化量が算出され、視線ベクトルＶの大きさが補正される。たとえば、変化量に基づいて、ユーザの顔の位置がキャリブレーションを行ったときに対して離れた状態であると判断されると、視線ベクトルＶは大きくなるよう補正される。また、変化量に基づいて、ユーザの顔の位置がキャリブレーションを行ったときに対して近づいた状態であると判断されると、視線ベクトルＶは小さくなるように補正される。
　また、詳細な説明は省略するが、本実施例の注視点検出処理では、眼球の形状によって生じる誤差、キャリブレーション時の測定誤差および撮影時の量子化誤差なども補正されている。
　したがって、本実施例では、携帯電話機１０のような小型の電子機器であっても、高精度な視線入力を実現することが可能となる。
　図６は、電子書籍アプリケーションが実行されているときのディスプレイ１４の表示例を示す図解図である。ディスプレイ１４は状態表示領域７０および機能表示領域７２を含む。状態表示領域７０には、アンテナ４４による電波受信状態を示すアイコン（ピクト）、二次電池の残電池容量を示すアイコンおよび時刻が表示される。
　機能表示領域７２には、標準キーであるＨＯＭＥキー９０およびＢＡＣＫキー９２が表示される標準キー表示領域８０と、前のページに戻るための戻るキー９４が表示される第１アプリケーションキー表示領域８２と、次のページに進むための進むキー９６が表示される第２アプリケーションキー表示領域８４と、電子書籍の本文が表示される本部表示領域８６とが含まれる。
　ＨＯＭＥキー９０は、実行中のアプリケーションを終了させて、待機画面を表示させるためのキーである。ＢＡＣＫキー９２は、実行中のアプリケーションを終了させて、アプリケーションが実行される前の画面を表示するためのキーである。そして、ＨＯＭＥキー９０およびＢＡＣＫキー９２は、実行されるアプリケーションの種類に関係なく、アプリケーションが実行されていれば表示される。
　また、未読の新着メールや不在着信などがある場合、状態表示領域７０には、通知アイコンが表示される。たとえば、新着メールを受信した場合、状態表示領域７０には、通知アイコンとして、新着メールアイコンが表示される。未読の新着メールや不在着信が無い場合は、通知アイコンは表示されない。
　なお、ディスプレイ１４に表示されるキー、ＧＵＩ、ウィジェット（ガジェット）などは、まとめてオブジェクトと呼ばれる。また、標準キー表示領域８０、第１アプリケーションキー表示領域８２および第２アプリケーションキー表示領域８４は、まとめてオブジェクト表示領域と呼ばれることもある。
　そして、ユーザは、これらのオブジェクトに対して視線入力を行うことで、実行されているアプリケーションを任意に操作することが出来る。たとえば、戻るキー９４または進むキー９６に対して視線入力が行われると、表示されている電子書籍のページが変更される。
　ここで、本実施例では、視線入力の検出が開始されると、ユーザの注視点に基づいて視線入力の検出精度を変更する。ここで、本実施例では、低精度モード（第１精度モード）と、その低精度モードに対して視線入力の検出精度が高い高精度モード（第２精度モード）を設定することが出来る。また、低精度モードでは、ユーザの視線を検出するための処理が簡略化されるため、ユーザの視線が検出されているときの消費電力が抑えられる。
　そして、視線入力の検出が開始されたときに、ユーザの注視点が特定領域に含まれる場合は、視線入力の検出精度が低精度モードに設定される。一方、ユーザの注視点が特定領域に含まれない場合は、視線入力の検出精度が高精度モードに設定される。
　たとえば、図６を参照して、電子書籍アプリケーションが実行されている場合、本文表示領域８６が特定領域とされる。これは、電子書籍の本文が表示されている領域では、ユーザの視線入力の検出がさほど重要ではないからである。そのため、ユーザの視線が電子書籍の本文に向けられている場合は、視線入力の検出精度が低精度モードに設定される。一方、オブジェクト表示領域に対してユーザの視線が向けられている場合は、オブジェクトに対して視線入力がされる可能性がある。そのため、視線入力の検出精度が高精度モードに設定される。
　このように、ユーザの注視点の位置に基づいて視線入力の検出精度を変化させることで、ユーザの視線を検出しているときの消費電力を抑えることが出来る。
　なお、通常状態では高精度モードが設定され、低消費電力で視線入力を検出するために低精度モードが設定されるため、高精度モードは「通常モード」と呼ばれ、低精度モードは「省電力モード」と呼ばれることもある。
　また、他の実施例では、文章が表示される、メールアプリケーションや、ブラウザアプリケーションの実行中に、上述の電子書籍アプリケーションと同様、高精度モードまたは低精度モードが設定されてもよい。また、他のプリケーションが実行されている場合の特定領域は、アプリケーション毎に設定されていてもよいし、領域内に表示される文字数が所定値を超えている場合に、特定領域と判定されてもよい。
　以下、図７に示すメモリマップ５００および図８－図９に示すフロー図を用いて、本実施例の概要を説明する。
　図７を参照して、図２に示すＲＡＭ５６には、プログラム記憶領域５０２とデータ記憶領域５０４とが形成される。プログラム記憶領域５０２は、先に説明したように、フラッシュメモリ５４（図２）に予め設定しているプログラムデータの一部または全部を読み出して記憶（展開）しておくための領域である。
　プログラム記憶領域５０２には、視線入力を検出し、その視線入力に基づく動作を実行するための視線入力プログラム５１０などが記憶される。なお、プログラム記憶領域５０２には、電話機能、メール機能およびアラーム機能などを実行するためのプログラムなども含まれる。
　データ記憶領域５０４には、近接バッファ５３０、注視点バッファ５３２および視線バッファ５３４などが設けられる。また、データ記憶領域５０４には、領域座標テーブル５３６、オブジェクトデータ５３８およびオブジェクトテーブル５４０などが記憶される。
　近接バッファ５３０は、近接センサ３４から得られた物体までの距離情報が一時的に記憶される。注視点バッファ５３２は、検出された注視点が一時的に記憶される。視線バッファ５３４は、視線入力が検出されたときにその位置が一時的に記憶される。
　領域座標テーブル５３６は、たとえば、状態表示領域７０、機能表示領域７２、標準キー表示領域８０、第１アプリケーションキー表示領域８２および第２アプリケーションキー表示領域８４の座標範囲の情報を含むテーブルである。オブジェクトデータ５３８は、ディスプレイ１４に表示されるオブジェクトの画像および文字列データなどを含むデータである。オブジェクトテーブル５４０は、ディスプレイ１４に表示されているオブジェクトの表示位置（座標範囲）などの情報を含むテーブルである。
　図示は省略するが、データ記憶領域５０４には、プログラム記憶領域５０２に記憶された各プログラムの実行に必要な、他のデータが記憶されたり、タイマ（カウンタ）や、フラグが設けられたりする。
　プロセッサ４０は、Ａｎｄｒｏｉｄ（登録商標）またはＲＥＸなどのＬｉｎｕｘ（登録商標）ベースのＯＳや、その他のＯＳの制御下で、図８および図９に示す視線入力処理などを含む、複数のタスクを並列的に処理する。
　視線入力による操作が有効とされると、視線入力処理が実行される。プロセッサ４０は、ステップＳ１で近接センサ３４をオンにする。つまり、近接センサ３４によって携帯電話機１０からユーザまでの距離が測定される。続いて、ステップＳ３でプロセッサ４０は、近接センサ３４の出力が閾値未満であるか否かを判断する。つまり、赤外線ＬＥＤ３０から出力される赤外線がユーザの眼に影響を与える範囲にユーザの顔が存在しているかが判断される。ステップＳ３で“ＮＯ”であれば、つまり近接センサ３４の出力が閾値以上でれば、プロセッサ４０は、ステップＳ５で近接センサ３４をオフにして、視線入力処理を終了する。つまり、赤外線ＬＥＤ３０から出力される赤外線がユーザの眼に影響を与える可能性があるため、視線入力処理が終了される。なお、他の実施例では、ステップＳ５の後に、ユーザの顔を携帯電話機１０から離すように促す通知（たとえば、ポップアップや、音声）がされてもよい。
　ステップＳ３で“ＹＥＳ”であれば、たとえば携帯電話機１０とユーザの顔とが適切な距離であれば、プロセッサ４０は、ステップＳ７で赤外線ＬＥＤ３０をオンにし、ステップＳ９で赤外線カメラ３２をオンにする。つまり、ユーザの視線入力を検出するために、赤外線ＬＥＤ３０および赤外線カメラ３２がオンにされる。
　続いて、ステップＳ１１でプロセッサ４０は、顔認識処理を実行する。つまり、ユーザの赤外線カメラ３２によって撮影された画像データをＲＡＭ５６から読み出し、読み出した画像データに対してユーザの顔を検出する処理が施される。続いて、ステップＳ１３でプロセッサ４０は、認識されたか否かを判断する。つまり、顔認識処理によって、ユーザの顔が認識されたかが判断される。ステップＳ１３で“ＮＯ”であれば、つまりユーザの顔が認識されていなければ、プロセッサ４０はステップＳ１１の処理に戻る。
　一方、ステップＳ１３で“ＹＥＳ”であれば、つまりユーザの顔が認識されると、ステップＳ１５でプロセッサ４０は、注視点を検出する。つまり、ユーザが注視しているディスプレイ１４上の位置が検出される。なお、検出された注視点の座標は注視点バッファ５３２に記録される。また、ステップＳ１５の処理を実行するプロセッサ４０は検出部として機能する。
　続いて、ステップＳ１７でプロセッサ４０は、注視点を検出したか否かを判断する。つまり、プロセッサ４０は、認識された顔の画像からユーザの注視点を検出できたかを判断する。ステップＳ１７で“ＮＯ”であれば、つまり注視点が検出されていなければ、プロセッサ４０はステップＳ１１の処理に戻る。
　一方、ステップＳ１７で“ＹＥＳ”であれば、つまり注視点が検出されていれば、ステップＳ１９でプロセッサ４０は、注視点が特定領域に含まれているか否かを判断する。たとえば、注視点バッファ５３２に記録されている注視点が、領域座標デーブル５３６に含まれる本文表示領域８６の座標範囲に含まれているかが判断される。ステップＳ１９で“ＹＥＳ”であれば、たとえば図６に示す本文表示領域８６にユーザの注視点が含まれていれば、ステップＳ２１でプロセッサ４０は、低精度モードを設定する。一方、ステップＳ１９で“ＮＯ”であれば、つまり特定領域に注視点が含まれていなければ、ステップＳ２３でプロセッサ４０は、高精度モードを設定する。そして、ステップＳ２１またはステップＳ２３の処理が終了すれば、プロセッサ４０はステップＳ２５の処理に進む。なお、ステップＳ２１の処理を実行するプロセッサ４０は第１設定部として機能し、ステップＳ２３の処理を実行するプロセッサ４０は第２設定部として機能する。
　続いて、ステップＳ２５でプロセッサ４０は、視線検出処理を実行する。つまり、設定された検出精度に基づいて、ユーザの視線入力が検出される。
　続いて、ステップＳ２７でプロセッサ４０は、視線入力が行われた位置に基づいて動作を実行する。たとえば、オブジェクトに対して視線入力が行われた場合、そのオブジェクトに関連するアプリケーションや、処理が実行される。ただし、本文表示領域８６の文字に対して視線入力が検出された場合、その文字に処理や動作が対応付けられていなければ、プロセッサ４０は特に動作を実行しない。
　続いて、ステップＳ２９でプロセッサ４０は、視線入力が終了か否かを判断する。たとえば、プロセッサ４０は、視線入力を無効にする操作がされたかを判断する。ステップＳ２９で“ＮＯ”であれば、つまり視線入力が終了していなければ、プロセッサ４０はステップＳ１１の処理に戻る。一方、ステップＳ２９で“ＹＥＳ”であれば、つまり視線入力が終了していれば、ステップＳ３１でプロセッサ４０は、赤外線ＬＥＤ３０、赤外線カメラ３２および近接センサ３４をオフにする。つまり、これらの電源をオフにすることで、携帯電話機１０の消費電力が抑えられる。そして、ステップＳ３１の処理が終了すれば、プロセッサ４０は、視線入力処理を終了する。
　以上で、本実施例の概要を説明したが、以下には図１０－図１３に示す図解図を用いて、低精度モードの具体例を説明する。
　＜具体例１＞
　具体例１の第１低精度モードでは、赤外線カメラ３２のフレームレートが、高精度モードに対して低くされる。以下、高精度モードと第１低精度モードとの動作状態を比較して説明する。
　図１０は、高精度モードが設定されているときの赤外線カメラ３２、プロセッサ４０、赤外線ＬＥＤ３０の動作状態を示す図解図である。高精度モードでは、赤外線ＬＥＤ３０は常に点灯しており、赤外線カメラ３２は２０ｆｐｓ(Frames Per Second)のフレームレートで撮影画像を出力している。また、撮影画像が赤外線カメラ３２から撮影画像処理回路６２に出力され、撮影画像処理回路６２で所定の処理が施された後にプロセッサ４０に入力されると、プロセッサ４０は撮影画像をＲＡＭ５６のバッファに一旦格納した後、視線検出に必要な処理を、撮影画像に施す。たとえば、プロセッサ４０は、視線検出に必要な処理として、撮影画像処理回路６２から入力された撮影画像をＲＡＭ５６のバッファから撮影画像を読み出す画像読出処理、読み出した撮影画像から顔を認識する顔認識処理およびユーザの視線を検出する視線検出処理などを実行する。そして、プロセッサ４０は、視線検出が有効にされている間は、赤外線カメラ３２から出力される各撮影画像に対して、これらの処理を施す。なお、プロセッサ４０は撮影画像処理回路６２から撮影画像が入力されてから視線検出に必要な処理が実行するため、赤外線カメラ３２から撮影画像が出力されるタイミングとプロセッサ４０が視線検出に必要な処理を実行するタイミングとにはズレが生じる。
　図１１は、第１低精度モードが設定されているときの赤外線カメラ３２、プロセッサ４０、赤外線ＬＥＤ３０の動作状態を示す図解図である。第１低精度モードでは、たとえば第１低精度モードの赤外線カメラ３２は、高精度モードのフレームレートに対する半分のフレームレート、つまり１０ｆｐｓのフレームレートで撮影画像を出力している。そのため、赤外線ＬＥＤ３２は、撮影される直前にオンにされたあと、次のフレームが出力されるまでオフにされる。つまり、赤外線ＬＥＤ３２は、撮影画像の出力に合わせて点滅する。そして、プロセッサ４０は、入力された撮影画像に対して視線検出に必要な処理が施されると、次の撮影画像が入力されるまで、スリープ状態に移行する。そのため、第１低精度モードでは、視線入力が検出されるまでの時間、つまりユーザが視線入力を行ったときの応答性が、高精度モードに対して低くなるため、ユーザは第１低精度モードの検出精度が高精度モードに対して低くなったように感じる。
　このように、赤外線カメラ３２のフレームレートを下げることで、視線検出中の赤外線カメラ３２の消費電力を抑えることが出来る。その結果、ユーザの視線を検出しているときの消費電力を抑えることが出来る。また、赤外線カメラ３２のフレームレートを下げることで、赤外線ＬＥＤ３０およびプロセッサ４０の消費電力も下げることも出来る。
　＜具体例２＞
　具体例２の第２低精度モードでは、プロセッサ４０が視線を検出する頻度が、高精度モードに対して低くされる。以下、高精度モードと第２低精度モードとの動作状態を比較して説明する。ただし、高精度モードについては説明済みであるため、ここでの詳細な説明は省略する。
　図１２は、第２低精度モードが設定されているときの赤外線カメラ３２、プロセッサ４０、赤外線ＬＥＤ３０の動作状態を示す図解図である。第２低精度モードのプロセッサ４０の頻度が高精度モードに対して低くされる。たとえば、プロセッサ４０は、視線検出に必要な処理の実行を終えるとスリープ状態に移行し、次のフレームが出力されてもプロセッサ４０は視線検出に必要な処理を実行しない。そして、さらに次のフレームが出力されたときにスリープ状態から復帰して、視線検出に必要な処理を実行する。このとき、赤外線カメラ３２のフレームレートは変化させず、赤外線ＬＥＤ３０は具体例１と同じ頻度で点滅する。そのため、第２低精度モードでも、第１低精度モードと同様、視線入力が検出されるまでの時間、つまりユーザが視線入力を行ったときの応答性が、高精度モードに対して低くなるため、ユーザは第２低精度モードの検出精度が高精度モードに対して低くなったように感じる。
　このように、具体例２では、赤外線カメラ３２のフレームレートを変更することなく、視線検出中のプロセッサ４０の消費電力を抑えることが出来るため、ユーザの視線を検出しているときの消費電力を抑えることが出来る。
　なお、他の実施例のプロセッサ４０は、スリープ状態に移行せずに、視線検出に必要な処理をスキップするようにしてもよい。
　＜具体例３＞
　具体例３の第３低精度モードでは、高精度モードで実行される視線検出処理と同じ第１視線検出処理と、第１視線検出処理よりも簡易化されたアルゴリズムの第２視線検出処理とが実行される。以下、高精度モードと第３低精度モードとの動作状態を比較して説明する。ただし、高精度モードについては説明済みであるため、ここでの詳細な説明は省略する。
　図１３は、第３低精度モードが設定されているときの赤外線カメラ３２、プロセッサ４０、赤外線ＬＥＤ３０の動作状態を示す図解図である。第３低精度モードでは、第１視線検出処理と第２視線検出処理とが交互に実行される。たとえば、第１フレームの撮影画像に対して第１視線検出処理が施されると、次の第２フレームの撮影画像に対しては第２視線検出処理が施される。そして、さらに次の第３フレームの撮影画像に対しては、再び第１視線検出処理が施される。また、赤外線ＬＥＤ３０および赤外線カメラ３２の動作については、高精度モードと略同じである。ただし、第２視線検出処理を実行するプロセッサ４０の消費電力は、第１視線検出処理を実行しているときよりも低くなる。
　たとえば、第１視線検出処理では視線入力の位置が「１画素」の精度で検出されるが、第２視線検出処理では視線入力の位置が複数の画素を含む「１エリア」の精度で検出される。つまり、第２視線検出処理では、検出される注視点の位置の精度が、第１視線検出処理に比べて低くなる。したがって、ユーザは第３低精度モードの検出精度が高精度モードに対して低くなったように感じる。
　このように、視線検出処理のアルゴリズムを簡易化することで、ハードウェア（赤外線ＬＥＤ３０および赤外線カメラ３２など）の動作を変更することなく、ユーザの視線を検出しているときの消費電力を抑えることが出来る。
　なお、具体例１－具体例３は、それぞれが任意に組み合わせられてもよい。たとえば、具体例１および具体例２で、第３実施例と同じように、第１視線検出処理と第２視線検出処理とが交互に実行されてもよい。また、全ての具体例で、低精度モードが設定されれば、第２視線検出処理が常に実行されるようにしてもよい。また、その他の組み合わせについては容易に想像できるため、ここでの詳細な説明は省略する。
　また、他の実施例では、携帯電話機１０からユーザまでの距離の検出精度を高めるために、近接センサ３４が、赤外線ＬＥＤ３０および赤外線カメラ３２と隣接するように設けられてもよい。また、その他の実施例では、赤外線ＬＥＤ３０および赤外線カメラ３２が、近接センサ３４と隣接するように設けられてもよい。
　さらにその他の実施例では、近接センサ３４に代えて、赤外線ＬＥＤ３０および赤外線カメラ３２を利用して、携帯電話機１０に対するユーザの顔の近接が検出されてもよい。具体的には、視線入力処理が開始されると、赤外線ＬＥＤ３０を弱発光させ、赤外線カメラ３２の受光レベルを測定する。受光レベルが閾値を超えている場合、赤外線ＬＥＤ３０から出力される赤外線がユーザの眼に影響を与える範囲にユーザの顔が存在していると判断して、プロセッサ４０は視線入力検出処理を終了する。一方、受光レベルが閾値未満であれば、赤外線ＬＥＤ３０が通常発光の状態にされ、上述したようにユーザの視線入力が検出される。なお、赤外線カメラ３２の受光レベルは、シャッター速度およびアンプゲイン値に基づいて算出される。たとえば、照度が高い場合、シャッター速度が速くなり、アンプゲイン値が低くなる。一方、照度が低い場合、シャッター速度が遅くなり、アンプゲイン値が高くなる。
　以下、さらにその他の実施例の視線入力処理のフロー図を用いて、詳細に説明する。図１４を参照して、さらにその他の実施例の視線入力処理が実行されると、プロセッサ４０は、ステップＳ５１で赤外線ＬＥＤ３０を弱発光させ、ステップＳ５３で赤外線カメラ２３３の電源をオンにする。続いて、ステップＳ５５でプロセッサ４０は、赤外線カメラ３２の受光レベルを測定する。つまり、赤外線カメラ３２のシャッター速度およびアンプゲイン値に基づいて、赤外線カメラ３２の受光レベルが算出される。
　続いて、ステップＳ５７でプロセッサ４０は、受光レベルが閾値未満であるか否かを判断する。つまり、ステップＳ３と同様、赤外線ＬＥＤ３０から出力される赤外線がユーザの眼に影響を与える範囲にユーザの顔が存在しているかが判断される。ステップＳ５７で“ＮＯ”であれば、つまり受光レベルが閾値を超えていれば、プロセッサ４０はステップＳ６１の処理に進む。そして、プロセッサ４０は、ステップＳ６１で赤外線ＬＥＤ３０および赤外線カメラ３２をオフにして、視線入力処理を終了する。
　一方、ステップＳ５７で“ＹＥＳ”であれば、つまり受光レベルが閾値未満であれば、ステップＳ５９でプロセッサ４０は、赤外線ＬＥＤ３０を通常発光の状態にする。続いて、ステップＳ１１－Ｓ２９の処理が実行され、ユーザの視線入力が検出された後、プロセッサ４０はステップＳ６１の処理に進む。ステップＳ６１では、上述したように、赤外線ＬＥＤ３０および赤外線カメラ３２がオフにされる。つまり、視線入力が検出されたため、赤外線ＬＥＤ３０および赤外線カメラ３２の電源がオフにされる。そして、ステップＳ６１の処理が終了すれば、プロセッサ４０は視線入力処理を終了する。
　また、本実施例では、プロセッサの処理が視線操作によって実行される場合について説明したが、キー操作、タッチ操作および視線操作が組み合わせられてもよいことは、言うまでもない。ただし、他の実施例では、視線操作による処理が実行されている場合には、キー操作やタッチ操作を受け付けないようにしてもよい。
　また、本実施例では、視線操作が可能である場合について説明したが、実際には、視線操作（視線入力）が可能な場合と可能でない場合とがある。視線操作が可能な場合とは、たとえば予め視線操作を行うことが可能であると設定されたアプリケーションが実行されているときである。その対象となるアプリケーションの一例としては、電子書籍アプリケーションや、メールアプリケーションなどがあげられる。一方、視線操作が可能でない場合とは、たとえば予め視線操作を行うことが不可能であると設定されたアプリケーションが実行されているときである。その対象となるアプリケーションの一例としては、通話機能があげられる。また、視線操作が可能である場合には、その旨のメッセージないし画像（アイコン）を表示するようにしてもよい。さらに、視線操作を実行している場合には、視線入力を受け付けている（視線操作の実行中である）旨のメッセージないし画像を表示するようにしてもよい。このようにすれば、使用者は、視線操作が可能であること、視線入力が受け付けられていることを認識することが出来る。
　また、携帯電話機１０が加速度センサまたはジャイロセンサを有する場合、視線操作の有効／無効は、携帯電話機１０の向きに応じて切り替えられてもよい。
　また、他の実施例の赤外線カメラ３２は、通常のカラーカメラに比べて赤外線に対する感度が高いものであってもよい。また、その他の実施例の赤外線カメラ３２を構成するカラーカメラには、赤外線波長の光を減衰(カット)し、Ｒ,Ｇ,Ｂの波長の光をよりよく受光させるための赤外線カットフィルタ(ローパスフィルタ)が設けられていてもよい。赤外線カットフィルタが設けられた赤外線カメラ３２の場合、赤外線波長の光の感度を高めておくとしてもよい。また、この赤外線カットフィルタを赤外線カメラ３２から着脱自在としてもよい。
　また、その他の実施例では、現在設定されているモードを示すモードアイコンがユーザに示されてもよい。たとえば、図１５（Ａ），（Ｂ）を参照して、低精度モード（省電力モード）が設定されている場合、状態表示領域７０には「Ｌｏ」の文字列を含む第１モードアイコン１００が表示される。一方、高精度モードが設定されている場合、状態表示領域７０には、「Ｈｉ」の文字列を含む第２モードアイコン１０２が表示される。このように第１モードアイコン１００または第２モードアイコン１０２を表示することで、ユーザは、第１モードアイコン１００または第２モードアイコン１０２によって、現在のモードを適切に把握することが出来る。
　ただし、どちらか一方のモードが設定されたときだけ、第１モードアイコン１００または第２モードアイコン１０２が表示されるようにしてもよい。たとえば、低精度モードが設定されているときには、第１モードアイコン１００が表示されないようにし、高精度モードが設定されたときだけ、第２モードアイコン１０２が表示されるようにしてもよい。
　また、本実施例で用いられたプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤなどの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、プログラムが本実施例と同等の構成の電子機器にインストールされた場合、本実施例と同等の効果が得られる。
　そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。
　ここで、以下の説明における括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述した実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
　本実施例は、ユーザの注視点に基づく入力である視線入力を検出し、視線入力に基づく動作を実行する、電子機器であって、視線入力を検出するための検出処理を実行するプロセッサ、特定領域および操作用のオブジェクトを表示するオブジェクト表示領域を含む画面を表示する表示部、注視点を検出する検出部、ユーザの注視点が特定領域に含まれているとき、視線入力の検出精度を第１精度モードに設定する第１設定部、およびユーザの注視点がオブジェクト表示領域に含まれているとき、視線入力の検出精度を、第１精度モードより検出精度が高い第２精度モードに設定する第２設定部を備える、電子機器である。
　本実施例では、電子機器（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）のプロセッサ（４０）は視線による入力（以下、視線入力と言う。）を検出するための検出処理を実行する。たとえば、検出処理が実行されている状態では、注視点が同じ位置で検出された回数が判定回数に達したときに、視線入力が検出される。また、視線入力が検出されると、その入力位置に基づいて動作が実行される。表示部（１４）は、たとえば、電子書籍アプリケーションによる文章が表示される特定領域と、その電子書籍アプリケーションを操作するためのオブジェクトを表示するオブジェクト表示領域を含む画面を表示する。検出部（４０，Ｓ１５）は、ユーザの注視点を検出する。第１設定部（４０，Ｓ２１）は、たとえばユーザの注視点が電子書籍アプリケーションによる本文が表示される特定領域に含まれているとき、視線入力の検出精度を第１精度モード（低精度モード）に設定する。一方、第２設定部（４０，Ｓ２３）は、たとえばユーザの注視点が電子書籍アプリケーションを操作するオブジェクト表示部に含まれているとき、視線入力の検出精度を、第１精度モードより検出精度が高い第２精度モード（高精度モード）に設定する。
　本実施例によれば、ユーザの視線の位置に基づいて視線入力の検出精度を変化させることで、ユーザの視線を検出しているときの消費電力を抑えることが出来る。
　他の実施例は、視線入力を検出するためのカメラをさらに備え、第１精度モードが設定されたとき、カメラのフレームレートを低くする。
　他の実施例では、カメラ（３２）は、視線入力を検出するために電子機器に設けられる。そして、第１精度モードが設定されたとき、カメラのフレームレートが低く設定される。
　他の実施例によれば、カメラのフレームレートを下げることで、視線検出中のカメラの消費電力を抑えることが出来る。その結果、ユーザの視線を検出しているときの消費電力を抑えることが出来る。
　その他の実施例は、第１精度モードが設定されたとき、プロセッサの処理頻度を低くする。
　その他の実施例では、第１精度モードが設定されると、プロセッサは、視線入力を検出するための処理を実行する頻度を下げる。
　その他の実施例によれば、視線検出中のプロセッサの消費電力を抑えることが出来るため、ユーザの視線を検出しているときの消費電力を抑えることが出来る。
　さらにその他の実施例は、第１精度モードが設定されたとき、プロセッサによる検出処理のアルゴリズムが簡易化される。
　さらにその他の実施例では、たとえば、視線入力処理のアルゴリズムが簡易化されると、検出された視線の入力位置の精度が、第２精度モードが設定された状態に比べて低くなる。
　さらにその他の実施例によれば、視線検出処理のアルゴリズムを簡易化することで、ハードウェアの動作を変更することなく、ユーザの視線を検出しているときの消費電力を抑えることが出来る。
　他の実施例は、ユーザの注視点に基づく入力である視線入力を検出し、視線入力に基づく動作を実行し、視線入力を検出するための検出処理を実行するプロセッサおよび特定領域および操作用のオブジェクトを表示するオブジェクト表示領域を含む画面を表示する表示部を有する、電子機器における視線入力方法であって、電子機器のプロセッサが、ユーザの注視点が特定領域に含まれているとき、視線入力の検出精度を第１精度モード（低精度モード）に設定する第１設定ステップ、およびユーザの注視点がオブジェクト表示領域に含まれているとき、視線入力の検出精度を、第１精度モードより検出精度が高い第２精度モードに設定する第２設定ステップを実行する、視線入力方法である。
　他の実施例でも、ユーザの視線の位置に基づいて視線入力の検出精度を変化させることで、ユーザの視線を検出しているときの消費電力を抑えることが出来る。
　この発明が詳細に説明され図示されたが、それは単なる図解および一例として用いたものであり、限定であると解されるべきではないことは明らかであり、この発明の精神および範囲は添付されたクレームの文言によってのみ限定される。
　１０　…携帯電話機
　１４　…ディスプレイ
　１６　…タッチパネル
　３０　…赤外線ＬＥＤ
　３２　…赤外線カメラ
　３４　…近接センサ
　４０　…プロセッサ
　５０　…入力装置
　５４　…フラッシュメモリ
　５６　…ＲＡＭ
　６０　…ＬＥＤドライバ
　６２　…撮影画像処理回路

Claims (5)

  1. 　ユーザの注視点に基づく入力である視線入力を検出し、前記視線入力に基づく動作を実行する、電子機器であって、
    　前記視線入力を検出するための検出処理を実行するプロセッサ、
    　特定領域および操作用のオブジェクトを表示するオブジェクト表示領域を含む画面を表示する表示部、
    　前記注視点を検出する検出部、
    　ユーザの注視点が前記特定領域に含まれているとき、前記視線入力の検出精度を第１精度モードに設定する第１設定部、および
    　ユーザの注視点が前記オブジェクト表示領域に含まれているとき、前記視線入力の検出精度を、前記第１精度モードより検出精度が高い第２精度モードに設定する第２設定部を備える、電子機器。
  2. 　前記視線入力を検出するためのカメラをさらに備え、
    　前記第１精度モードが設定されたとき、前記カメラのフレームレートを低くする、請求項１記載の電子機器。
  3. 　前記第１精度モードが設定されたとき、前記プロセッサの処理頻度を低くする、請求項１記載の電子機器。
  4. 　前記第１精度モードが設定されたとき、前記プロセッサが実行する検出処理のアルゴリズムが簡易化される、請求項１記載の電子機器。
  5. 　ユーザの注視点に基づく入力である視線入力を検出し、前記視線入力に基づく動作を実行し、前記視線入力を検出するための検出処理を実行するプロセッサおよび特定領域および操作用のオブジェクトを表示するオブジェクト表示領域を含む画面を表示する表示部を有する、電子機器における視線入力方法であって、前記電子機器の前記プロセッサが次のステップを実行する：
    　ユーザの注視点が前記特定領域に含まれているとき、前記視線入力の検出精度を第１精度モードに設定する第１設定ステップ、および
    　ユーザの注視点が前記オブジェクト表示領域に含まれているとき、前記視線入力の検出精度を、前記第１精度モードより検出精度が高い第２精度モードに設定する第２設定ステップ。
PCT/JP2013/081837 2012-11-27 2013-11-27 電子機器および視線入力方法 WO2014084224A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/647,798 US20150309568A1 (en) 2012-11-27 2013-11-27 Electronic apparatus and eye-gaze input method
JP2014550205A JPWO2014084224A1 (ja) 2012-11-27 2013-11-27 電子機器および視線入力方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-258413 2012-11-27
JP2012258413 2012-11-27

Publications (1)

Publication Number Publication Date
WO2014084224A1 true WO2014084224A1 (ja) 2014-06-05

Family

ID=50827860

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/081837 WO2014084224A1 (ja) 2012-11-27 2013-11-27 電子機器および視線入力方法

Country Status (3)

Country Link
US (1) US20150309568A1 (ja)
JP (1) JPWO2014084224A1 (ja)
WO (1) WO2014084224A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020517012A (ja) * 2017-04-14 2020-06-11 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． マルチモーダル眼追跡

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633186B2 (en) * 2012-04-23 2017-04-25 Apple Inc. Systems and methods for controlling output of content based on human recognition data detection
JP2015090569A (ja) * 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置及び情報処理方法
US11567566B2 (en) * 2015-04-08 2023-01-31 Controlrad Systems, Inc. Devices and methods for monitoring gaze
CN106843709B (zh) 2015-12-04 2020-04-14 阿里巴巴集团控股有限公司 根据实时信息显示展现对象的方法和装置
TW201740250A (zh) * 2016-05-04 2017-11-16 原相科技股份有限公司 觸控偵測方法以及觸控偵測系統
EP3555850B1 (en) * 2016-12-15 2021-10-27 General Electric Company System and method for image segmentation using a joint deep learning model
US10757328B2 (en) * 2016-12-23 2020-08-25 Microsoft Technology Licensing, Llc Eye tracking using video information and electrooculography information
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
KR102495359B1 (ko) * 2017-10-27 2023-02-02 삼성전자주식회사 객체 트래킹 방법 및 장치
US10855979B2 (en) 2018-10-23 2020-12-01 Microsoft Technology Licensing, Llc Interpreting eye gaze direction as user input to near-eye-display (NED) devices for enabling hands free positioning of virtual items
US10718942B2 (en) 2018-10-23 2020-07-21 Microsoft Technology Licensing, Llc Eye tracking systems and methods for near-eye-display (NED) devices
US10838490B2 (en) * 2018-10-23 2020-11-17 Microsoft Technology Licensing, Llc Translating combinations of user gaze direction and predetermined facial gestures into user input instructions for near-eye-display (NED) devices
US10996746B2 (en) 2018-10-23 2021-05-04 Microsoft Technology Licensing, Llc Real-time computational solutions to a three-dimensional eye tracking framework
US10852823B2 (en) 2018-10-23 2020-12-01 Microsoft Technology Licensing, Llc User-specific eye tracking calibration for near-eye-display (NED) devices
US11740071B2 (en) 2018-12-21 2023-08-29 Apple Inc. Optical interferometry proximity sensor with temperature variation compensation
US11156456B2 (en) 2019-05-21 2021-10-26 Apple Inc. Optical proximity sensor integrated into a camera module for an electronic device
US11473898B2 (en) 2019-05-24 2022-10-18 Apple Inc. Wearable voice-induced vibration or silent gesture sensor
US11695758B2 (en) * 2020-02-24 2023-07-04 International Business Machines Corporation Second factor authentication of electronic devices
US11460293B2 (en) 2020-09-25 2022-10-04 Apple Inc. Surface quality sensing using self-mixing interferometry
US11874110B2 (en) 2020-09-25 2024-01-16 Apple Inc. Self-mixing interferometry device configured for non-reciprocal sensing
US11629948B2 (en) 2021-02-04 2023-04-18 Apple Inc. Optical interferometry proximity sensor with optical path extender
WO2023215112A1 (en) * 2022-05-04 2023-11-09 Apple Inc. Retinal reflection tracking for gaze alignment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091325A (ja) * 1996-09-13 1998-04-10 Toshiba Corp 視線検出システム
JP2009301166A (ja) * 2008-06-11 2009-12-24 Panasonic Corp 電子機器制御装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
JP2012048358A (ja) * 2010-08-25 2012-03-08 Sony Corp 閲覧機器、情報処理方法およびプログラム
US20120229391A1 (en) * 2011-01-10 2012-09-13 Andrew Skinner System and methods for generating interactive digital books
US9519423B2 (en) * 2011-04-22 2016-12-13 Sony Corporation Information processing apparatus
US8976110B2 (en) * 2011-10-27 2015-03-10 Tobii Technology Ab Power management in an eye-tracking system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091325A (ja) * 1996-09-13 1998-04-10 Toshiba Corp 視線検出システム
JP2009301166A (ja) * 2008-06-11 2009-12-24 Panasonic Corp 電子機器制御装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020517012A (ja) * 2017-04-14 2020-06-11 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． マルチモーダル眼追跡
JP2022132349A (ja) * 2017-04-14 2022-09-08 マジック リープ， インコーポレイテッド マルチモーダル眼追跡
US11449140B2 (en) 2017-04-14 2022-09-20 Magic Leap, Inc. Multimodal eye tracking
US11561615B2 (en) 2017-04-14 2023-01-24 Magic Leap, Inc. Multimodal eye tracking
JP7211966B2 (ja) 2017-04-14 2023-01-24 マジック リープ， インコーポレイテッド マルチモーダル眼追跡
JP2023014151A (ja) * 2017-04-14 2023-01-26 マジック リープ， インコーポレイテッド マルチモーダル眼追跡
JP7291841B2 (ja) 2017-04-14 2023-06-15 マジック リープ， インコーポレイテッド マルチモーダル眼追跡
JP7455905B2 (ja) 2017-04-14 2024-03-26 マジック リープ， インコーポレイテッド マルチモーダル眼追跡

Also Published As

Publication number Publication date
JPWO2014084224A1 (ja) 2017-01-05
US20150309568A1 (en) 2015-10-29

Similar Documents

Publication Publication Date Title
WO2014084224A1 (ja) 電子機器および視線入力方法
JP6043586B2 (ja) 電子機器、視線入力プログラムおよび視線入力方法
US20220206741A1 (en) Volume adjustment method and electronic device
US20220066725A1 (en) Message processing method, related apparatus, and system
JP6105953B2 (ja) 電子機器、視線入力プログラムおよび視線入力方法
EP2990852B1 (en) Head-mounted display hosting a smartphone for providing virtual reality environment
US11243657B2 (en) Icon display method, and apparatus
KR102534354B1 (ko) 시스템 탐색 바 표시 제어 방법, 그래픽 사용자 인터페이스 및 전자 디바이스
US11258893B2 (en) Method for prompting notification message and mobile terminal
JP6062175B2 (ja) 携帯端末、省電力制御プログラムおよび省電力制御方法
US11843715B2 (en) Photographing method and terminal
US11625164B2 (en) Display method and terminal device
KR20190013339A (ko) 전자 장치 및 이의 제어 방법
EP3232301B1 (en) Mobile terminal and virtual key processing method
WO2022134632A1 (zh) 作品处理方法及装置
CN112764654B (zh) 组件的吸附操作方法、装置、终端及存储介质
KR102553558B1 (ko) 전자 장치 및 전자 장치의 터치 이벤트 처리 방법
CN111897465A (zh) 弹窗显示方法、装置、设备及存储介质
CN111708479A (zh) 触控操作的响应方法、装置、终端及存储介质
CN109104573B (zh) 一种确定对焦点的方法及终端设备
CN111158575B (zh) 终端执行处理的方法、装置、设备以及存储介质
US20220021763A1 (en) Touch Operation Locking Method and Electronic Device
CN109725820B (zh) 获取列表条目的方法和装置
CN112486371B (zh) 应用图标的拖动方法、装置及存储介质
CN109246345B (zh) 美瞳拍摄方法、装置、存储介质及移动终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13858859

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014550205

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14647798

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 13858859

Country of ref document: EP

Kind code of ref document: A1