WO2014029245A1 - 一种终端输入控制方法及装置 - Google Patents

一种终端输入控制方法及装置 Download PDF

Info

Publication number
WO2014029245A1
WO2014029245A1 PCT/CN2013/079567 CN2013079567W WO2014029245A1 WO 2014029245 A1 WO2014029245 A1 WO 2014029245A1 CN 2013079567 W CN2013079567 W CN 2013079567W WO 2014029245 A1 WO2014029245 A1 WO 2014029245A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
area
kernel
white area
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2013/079567
Other languages
English (en)
French (fr)
Inventor
柳阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Corp filed Critical China Mobile Communications Corp
Publication of WO2014029245A1 publication Critical patent/WO2014029245A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Definitions

  • Terminal input control method and device The present application claims to be Chinese patent application filed on August 22, 201, Chinese Patent Application No. 20121 0301 032. 6.
  • the invention title is "a terminal input control method and device" Priority is hereby incorporated by reference in its entirety.
  • the present invention relates to the field of terminal operation control technologies, and in particular, to a terminal input control method and apparatus. Background technique
  • terminal functions are becoming more and more powerful, and terminal input control methods are more and more convenient, natural and friendly.
  • terminal input control methods are more and more convenient, natural and friendly.
  • terminals support the following three types of input:
  • keyboard is the most commonly used and most important input device. Through the keyboard, control signals, English letters, numbers, punctuation marks, etc. in the up, down, left and right direction can be input into the terminal, thereby issuing commands, inputting data, etc. to the terminal. .
  • voice input provides a more convenient and intelligent human-computer interaction path for mobile terminals.
  • the embodiment of the invention provides a terminal input control method and device, which is used to enrich the terminal input control mode, and provides a more natural and intuitive interaction operation for the user.
  • An embodiment of the present invention provides a terminal input control method, including:
  • the terminal input operation is determined in accordance with the blink operation or based on the blink operation and the position information.
  • the image obtained by the camera is used to identify an eyeball region in the real-time image, which includes:
  • the method further includes:
  • the white area of the eye includes a still area, an upper area, a lower area, a left area, a right area, an upper left area, a lower left area, an upper right area, and a lower right area;
  • Determining the position information of the eye area relative to the white area of the eye includes:
  • the position information of the eye area relative to the white area is determined to be upper;
  • the position information of the eye area relative to the white area is determined as follows;
  • the position information of the eye area relative to the white area is determined to be left;
  • the position information of the eye area relative to the white area is determined to be right;
  • the position information of the eye area relative to the white area is determined to be upper left;
  • the position information of the eye area relative to the white area is determined to be lower left;
  • the position information of the eye area relative to the white area is determined to be upper right;
  • the terminal input operation is determined according to the blinking operation of the eye and the location area information, and specifically includes:
  • the terminal input operation is a downward sliding operation
  • the terminal input operation is a leftward sliding operation
  • the method further includes:
  • the time at which the blink operation is first recognized is recorded; and when the blink operation is recognized again within the preset time interval, the time of the closed eye again for the blink operation is recorded;
  • the terminal input operation is determined according to the blinking operation of the eye and the location area information, and specifically includes:
  • the time when the blink operation is first recognized and the first closed eye duration of the first blink operation are recorded separately;
  • the first parameter value of the white area size is recorded
  • the second parameter value of the white area is recorded
  • the terminal input operation is determined according to the blinking operation of the eye and the location area information, and specifically includes:
  • the time when the blink operation is first recognized and the first closed eye duration of the first blink operation are recorded separately;
  • the first closed eye length is greater than or equal to the preset time threshold, the first long axis value of the white area is recorded; when the blink operation is recognized again within the preset time interval, the time of the closed eye again for the blink operation is recorded;
  • the closed eye length is greater than or equal to the preset duration threshold, the second long axis value of the white area is recorded;
  • determining the terminal input operation according to the blinking operation of the eye comprises:
  • the time when the blink operation is first recognized and the first closed eye duration of the first blink operation are recorded separately;
  • the blink operation is recognized again within the preset time interval, and the time of closing the eye again for the blink operation is recorded;
  • the terminal input operation is a click operation.
  • An embodiment of the present invention provides a terminal input control apparatus, including:
  • a first identifying unit configured to identify an eyeball region in the real-time image by using a real-time image obtained by a camera, where the eyeball region includes an eye white region and an eye region;
  • a second identifying unit configured to identify a blinking operation in the real-time image
  • a first determining unit configured to determine position information of the eye region relative to the white area
  • a second determining unit configured to determine a terminal input operation according to the blink operation or according to the blink operation and the position information.
  • the first identifying unit includes:
  • a first determining subunit configured to determine, according to the stored eye white color information and the eye color information, an area matching the stored eye white color information as a quasi-eye area, and determine an area matching the stored eye color information as a target a kernel region; and determining, respectively, a circumscribed rectangle defining each quasi-eye region and a center point of each quasi-eye region;
  • a pairing subunit for each quasi-eye region if the center point of the quasi-eye region is located inside the circumscribed rectangle of any quasi-eye region, forming a quasi-eye region and a quasi-eye region pairing;
  • the second determining subunit is configured to determine that the paired quasi-ey white area and the eye area are the eye area of the recognized eye.
  • the second determining subunit is further configured to determine a pairing with the quasi-eye region before determining that the paired quasi-eye area and the target colic area are the target eye area of the recognized eye. a center point of the white area of the eye; and determining the center point of the quasi-eye area and the center of the stored white area The distance between the points is less than or equal to the preset distance threshold.
  • the white area of the eye includes a still area, an upper area, a lower area, a left area, a right area, an upper left area, a lower left area, an upper right area, and a lower right area;
  • the first determining unit includes:
  • a third determining subunit configured to determine a center point of the eye region
  • a fourth determining subunit configured to determine that the position information of the eye area relative to the white area is stationary when the center point of the eye area is located in the still area of the white area; when the center point of the eye area is located on the white area In the region, the position information of the eye region relative to the white region is determined to be upper; when the center point of the eye region is located in the lower region of the white region, the position information of the eye region relative to the white region is determined to be lower; When the center point of the region is located in the left region of the white region of the eye, the position information of the eye region relative to the white region of the eye is determined to be left; when the center point of the eye region is located in the right region of the white region, the eye region is determined relative to the white region of the eye.
  • the position information is right; when the center point of the eyelid region is located in the upper left area of the white area, the position information of the eye area relative to the white area is determined to be upper left; when the center point of the eye area is located in the lower left area of the white area, Determine the position information of the eye area relative to the white area of the eye is the lower left; when the center point of the eye area is the white of the eye In the upper right area of the area, the position information of the eye area relative to the white area is determined as the upper right; when the center point of the eye area is located in the lower right area of the white area, the position information of the eye area relative to the white area is determined to be right under.
  • the second determining unit includes:
  • a first recording subunit for recording the first closed eye length of the first blink operation
  • a fifth determining subunit configured to: if the first closed eye duration is greater than or equal to a preset duration threshold, and if the position information of the target kernel region relative to the white region is upper, determine that the terminal input operation is an upward sliding operation; Relative to the position information of the white area, the terminal input operation is determined to be a downward sliding operation; if the position information of the eye area relative to the white area is left, it is determined that the terminal input operation is a leftward sliding operation; if the eye area is relative to The position information of the white area is right, and it is determined that the terminal input operation is a rightward sliding operation.
  • the second determining unit includes:
  • a second recording sub-unit for recording the time when the blink operation is first recognized when the blink operation is first recognized; and blinking again when the blink operation is recognized again within the preset time interval The time of closing the eye again;
  • the ending subunit is configured to end the current terminal input operation if the eye closing time is greater than or equal to the preset duration threshold.
  • the second determining unit includes:
  • the third recording sub-unit is configured to separately record the time when the blinking operation is first recognized and the first closed eye duration of the first blinking operation when the first blinking operation is recognized; if the first closed eye length is greater than or equal to the preset duration threshold, the white of the eye is recorded The first parameter value of the area size; and the re-closing time length of the blinking operation again when the blinking operation is recognized again within the preset time interval; if the closed eye length is greater than or equal to the preset time length threshold, the size of the white area is recorded Second parameter value;
  • a first comparison subunit configured to compare the first parameter value with the second parameter value, and if the first parameter value is greater than the second parameter value, determining that the terminal input operation is an amplification operation, and if the first parameter value is smaller than the second parameter value, determining The terminal input operation is a reduction operation.
  • the second determining unit includes:
  • the fourth recording sub-unit is configured to record the time when the blinking operation is first recognized and the first closed eye duration of the first blinking operation when the blinking operation is first recognized; if the first closed eye length is greater than or equal to the preset duration threshold, the white of the eye is recorded The first long axis value of the area; and when the blink operation is recognized again within the preset time interval, the time of reclosing the eye of the blinking operation is recorded again; if the eye length of the closed eye is greater than or equal to the preset time threshold, the white area of the eye is recorded Two long axis values;
  • a second comparison subunit configured to compare the first long axis value with the second long axis value, and if the rotation angle of the first long axis value relative to the second long axis value is greater than 0, determining that the terminal input operation is a clockwise rotation operation; If the rotation angle of the first long axis value with respect to the second long axis value is less than 0, it is determined that the terminal input operation is a counterclockwise rotation operation.
  • the second determining unit includes:
  • a fifth recording sub-unit configured to record, for the first time, the blinking operation, the time when the blinking operation is first recognized and the first closed eye duration of the first blinking operation; if the first closed eye length is greater than or equal to the preset duration threshold, and The blink operation is recognized again within the preset time interval, and the eye-closing time of the blinking operation is recorded again;
  • a sixth determining subunit configured to determine that the terminal input operation is a click operation if the closed eye duration is greater than or equal to the preset duration threshold.
  • the terminal input control method and device provided by the embodiment of the present invention recognizes an eyeball region by using a camera, and the eyeball region includes an eye white region and a eyelid region, and according to the recognized blink operation, combined with the position of the eye region relative to the white region of the eye Information to determine the terminal input operation.
  • the traditional computer vision-based target ball recognition technology is applied to the terminal, and the terminal input is controlled based on the eye movement recognition, and a new terminal input control method is provided, which enriches the terminal input control mode. , providing users with a more natural and intuitive interaction.
  • FIG. 1 is a schematic flowchart of an implementation process of a terminal input control method according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of eye white color information and eye color information collection according to an embodiment of the present invention
  • FIG. 3 is a schematic diagram of eye white region division in an embodiment of the present invention
  • FIG. 4 is a schematic diagram of position information of a target region relative to an eye white region in an embodiment of the present invention
  • FIG. 5 is a schematic structural diagram of a terminal input control device according to an embodiment of the present invention.
  • the embodiment of the invention provides a terminal input control method and device.
  • S101 Identify a target ball area in the real-time image by using a real-time image obtained by the camera; wherein the eyeball area includes an eye white area and an eye area.
  • the eyeball area includes an eye white area and an eye area.
  • the eye color information and the eye color information are collected. Specifically, first, the mobile terminal camera is activated, and the face is facing the camera of the mobile terminal, and then the eye white and the eye are respectively placed on the mobile.
  • the mobile terminal In the small box of the terminal display interface, to collect the color of the white of the eye and the eye, after alignment, the mobile terminal records the color of the eye white and the color of the eye.
  • the color information of the eye and the color of the eye are respectively represented by Crl and Cr2. information.
  • the image obtained in real time by the camera is used to identify possible eye white areas and eye area according to the recorded eye color information and eye color information, when the detection and recording are performed.
  • the area of the eye white color information matches the area is determined to be the quasi-eye area
  • the area matching the recorded color information of the target is detected the area is determined to be the quasi-eye area. Since the person has two eyes, it is generally possible to recognize two white areas and two eye areas, but since the color recognition is greatly affected by the light, the recognition error is likely to occur, and therefore, the actually recognized eye white and the eye There may be more than 2 areas.
  • RTw t (RTwx ⁇ RTwy ⁇ , LBw i (LBwx ⁇ LBwy ⁇ , RBw t (RBwx ⁇ RBwy ⁇ , where LTw t , RTw t ,
  • LBw ⁇ , ⁇ are the coordinates of the upper left, upper right, lower left, and lower right vertices of the circumscribed rectangle of the quasi-eye area respectively.
  • LTwx i LBwx i
  • RTwXi RBwx i
  • LTwy i RTwy i
  • LBwy i RBwy i .
  • the area of the eyelids should be located inside the white area of the eye, according to this, for each identified area of the target, the positional relationship between the area of the target and the area of each white is calculated, if the center point of the area of the eye is located When the eccentric rectangle of a certain white region is inside, the quasi-eye bark region and the quasi-eye region are paired to form a paired quasi-eye white region and a target coix seed region as the eyeball region of the recognized eye.
  • the quasi-eye region is located inside the quasi-eye region: LBwx i ⁇ Ekx i ⁇ RBwx i and LBwy i ⁇ Eky i ⁇ LTwy i .
  • the area in which the shape is elliptical is identified and the stored target ball (visual white) area is compared - the distance between the center point S Pi of Si and the center point of the white area is calculated,
  • the shaped area is the eyeball area.
  • One blinking is a closed eye and blinking.
  • the process can be determined as follows. Blink operation.
  • the blink operation is used as a trigger condition. That is, each time after the blink operation is recognized, the terminal input operation is judged in conjunction with the eye movement.
  • the white area of the eye is divided into the following nine areas, namely: a still area, an upper area, The lower area, the left area, the right area, the upper left area, the lower left area, the upper right area, and the lower right area can determine the position information of the target area relative to the white area by determining which area the center point of the eye area is located in.
  • the position information of the eye area relative to the white area is determined to be stationary; when the center point of the eye area is located in the upper area of the white area, The position information of the eye area relative to the white area of the eye is upper; when the center point of the eye area is located in the lower area of the white area, the position information of the eye area relative to the white area is determined as follows; When located in the left region of the white area, determine the position of the eye area relative to the white area When the center point of the target area is located in the right area of the white area, the position information of the eye area relative to the white area is determined to be right; when the center point of the eye area is located in the upper left area of the white area, it is determined The position information of the eye area relative to the white area of the eye is the upper left; when the center point of the eye area is located in the lower left area of the white area, the position information of the eye area relative to the white area is determined as the lower left;
  • the preset duration threshold can be determined according to actual needs.
  • the main principle is that the normal blink time is greater than the human eye. For example, it can be set to ls.
  • the following two terminal input operations can be implemented according to the blink operation: Operation 1.
  • the blink operation is first recognized, determining that the terminal input operation is to trigger a touch event similar to the touch screen, and when the blink operation is recognized again within the preset time interval, determining that the terminal input operation is a non-contact event that triggers a similar touch screen;
  • the preset time interval in operation 2 may be set to be smaller than the preset time interval in operation one. For example, when the blink operation is recognized twice within less than 4 seconds, it is determined that the terminal input operation is a click operation, and When the blink operation is recognized again for more than 4 seconds after the blink operation is recognized for the first time, it can be determined that the terminal input operation is a non-contact event that triggers a similar touch screen.
  • Step 1 When the blink operation is first recognized, the time when the blink operation is first recognized and the first closed eye duration of the first blink operation are separately recorded;
  • Step 2 If the first closed eye duration is greater than or equal to the preset duration threshold, and the blink operation is recognized again within the preset time interval, record the blinking time of the blinking operation again;
  • Step 3 If the length of the closed eye is greater than or equal to the preset duration threshold, determine that the terminal input operation is a click operation.
  • the following three terminal input operations can be implemented according to the blink operation and the position information of the eye region relative to the white area of the eye:
  • a touch event similar to the touch screen is triggered, and at the same time, according to the position information of the eye region relative to the white area of the eye, four upper, lower, left, and right touch screens similar to the touch screen are started.
  • the sliding operation of the direction when the blinking operation is recognized again, triggering a non-contact event like a touch screen, ending the up, down, left, and right sliding operations, wherein the time interval in the operation three can be set slightly longer, because the short Inadvertent blinking is difficult to control during the time.
  • Set the interval to be slightly longer which can filter out some inadvertent blinks.
  • the time interval can be set to 4 seconds.
  • Step 1 Record the first closed eye length of the first blink operation
  • Step 2 If the first closed eye length is greater than or equal to the preset duration threshold, and if the eye area is relative The position information of the white area is upper, and the terminal input operation is determined to be an upward sliding operation; if the position information of the eye area relative to the white area is lower, it is determined that the terminal input operation is a downward sliding operation; if the target area is opposite to the white of the eye The location information of the area is left, and the terminal input operation is determined to be a left sliding operation; if the position information of the eye area relative to the white area is right, it is determined that the terminal input operation is a rightward sliding operation.
  • Step 4 When the blink operation is first recognized, the time when the blink operation is first recognized is recorded; Step 5: When the blink operation is recognized again within the preset time interval, the length of the closed eye of the blink operation is recorded;
  • Step 6 If the length of the closed eye is greater than or equal to the preset duration threshold, the current terminal input operation is ended.
  • the zoom-like operation can be realized. , zoom out.
  • a touch event similar to the touch screen is triggered, and the size Awl of the white area is started to be recorded.
  • the size Aw2 of the white area is recorded, and Awl and Aw2, if Awl>Aw2, perform an enlargement operation, and if Awl ⁇ Aw2, perform a zoom-out operation.
  • the setting of the time interval is similar to that in the above operation 3, and details are not described herein again.
  • Step 1 When the blink operation is first recognized, the time when the blink operation is first recognized and the first closed eye duration of the first blink operation are separately recorded;
  • Step 2 If the first closed eye length is greater than or equal to the preset duration threshold, the first parameter value of the white area is recorded;
  • Step 3 When the blink operation is recognized again within the preset time interval, the time of closing the eye again for the blinking operation is recorded;
  • Step 4 If the closed eye length is greater than or equal to the preset duration threshold, the second parameter value of the white area is recorded;
  • Step 5 Comparing the first parameter value with the second parameter value, if the first parameter value is greater than the second parameter value, Determining that the terminal input operation is an amplification operation, and if the first parameter value is smaller than the second parameter value, determining that the terminal input operation is a reduction operation.
  • the long axis of the white area of the image obtained by the camera when the user's head turns left or right, the long axis of the white area of the image obtained by the camera also rotates at a certain angle. Therefore, by detecting the change of the rotation angle of the long axis of the white area of the eye, it can be realized. A rotation operation similar to a touch screen.
  • a touch event similar to the touch screen is triggered, and the long axis Linel of the white area is recorded, and when the blink operation is recognized again, the long axis Line2 of the white area is recorded, if Line2 is relative to When the rotation angle of linel is greater than 0, a clockwise rotation operation is performed, and if the rotation angle of Line2 with respect to linel is less than 0, a counterclockwise rotation operation is performed.
  • the jitter is that the moving distance is relatively small, that is, The distance between the two positions is relatively small and the moving speed is relatively fast, that is, the time between moving from one position to another is relatively short.
  • the following method can be used to detect Jitter, and filter out these jitters during the input operation using the eye movement control terminal.
  • jitter when the following conditions are met, it can be recognized as jitter: - ⁇ (Ewx 1 - Ewx 2 ) 2 + (Ewy, - Ewy 2 fx
  • the blinking operation in the real-time image obtained by the camera and the position of the eye region relative to the white region of the eye are controlled to control the terminal to perform different input operations, thereby liberating the user's hands and providing a terminal input.
  • New input control methods enable a more natural and intuitive interaction.
  • a terminal input control device is further provided in the embodiment of the present invention. Since the principle of solving the problem is similar to the terminal input control method, the device is The implementation can refer to the implementation of the terminal input control method, and the repetition will not be described again.
  • a schematic structural diagram of a terminal input control apparatus includes:
  • a first identifying unit 501 configured to identify a target ball area in the real-time image by using a real-time image obtained by the camera, where the eyeball area includes an eye white area and a target kernel area;
  • a second identifying unit 502 configured to identify a blinking operation in the real-time image
  • the first determining unit 503 is configured to determine position information of the eye region relative to the white area; the second determining unit 504 is configured to determine a terminal input operation according to the blink operation or according to the blink operation and the position information.
  • the first identifying unit 501 may include:
  • a first determining subunit configured to determine, according to the stored eye white color information and the eye color information, an area matching the stored eye white color information as a quasi-eye area, and determine an area matching the stored eye color information as a target a kernel region; and a circumscribed rectangle for each quasi-eye region and a center point of each quasi-palm region;
  • a pairing subunit for each quasi-eye region if the center point of the quasi-eye region is located inside the circumscribed rectangle of any quasi-eye region, forming a quasi-eye region and a quasi-eye region pairing;
  • the second determining subunit is configured to determine that the paired quasi-ey white area and the eye area are the eye area of the recognized eye.
  • the second determining subunit may further be configured to determine a collimated white area that is paired with the quasi-mite area before determining the paired quasi-eye area and the eye area as the identified eye area of the eye. a center point; and determining that a distance between the center point of the quasi-eye area and the center point of the stored white area is less than or equal to a preset distance threshold.
  • the white area includes a still area, an upper area, a lower area, a left area, a right area, an upper left area, a lower left area, an upper right area, and a lower right area.
  • the first determining unit 502 may include:
  • a third determining subunit configured to determine a center point of the eye region
  • a fourth determining subunit configured to determine that the position information of the eye area relative to the white area is stationary when the center point of the eye area is located in the still area of the white area; when the center point of the eye area is located on the white area In the area, determine the position information of the eye area relative to the white area of the eye;
  • the position information of the eye region relative to the white region of the eye is determined as follows; when the center point of the eye region is located in the left region of the white region, the eye region is determined relative to the white of the eye The position information of the area is left; when the center point of the eye area is located in the right area of the white area, the position information of the eye area relative to the white area is determined to be right; when the center point of the eye area is located in the upper left area of the white area When determining the position information of the eye area relative to the white area of the eye is the upper left; when the center point of the eye area is located in the lower left
  • the second determining unit 504 may include:
  • a first recording subunit for recording the first closed eye length of the first blink operation
  • a fifth determining subunit configured to: if the first closed eye duration is greater than or equal to a preset duration threshold, and if the position information of the target kernel region relative to the white region is upper, determine that the terminal input operation is an upward sliding operation; Relative to the position information of the white area, the terminal input operation is determined to be a downward sliding operation; if the position information of the eye area relative to the white area is left, it is determined that the terminal input operation is a leftward sliding operation; if the eye area is relative to The position information of the white area is right, and it is determined that the terminal input operation is a rightward sliding operation.
  • the second determining unit 504 may include:
  • a second recording subunit configured to record the time when the blinking operation is first recognized when the blinking operation is first recognized; and to record the reclosing eye length of the blinking operation again when the blinking operation is recognized again within the preset time interval;
  • the ending subunit is configured to end the current terminal input operation if the eye closing time is greater than or equal to the preset duration threshold.
  • the second determining unit 504 may include:
  • the third recording sub-unit is configured to separately record the time when the blinking operation is first recognized and the first closed eye duration of the first blinking operation when the first blinking operation is recognized; if the first closed eye length is greater than or equal to the preset duration threshold, the white of the eye is recorded The first parameter value of the area size; and when the blink operation is recognized again within the preset time interval, the eye-closing operation time of the blinking operation is recorded again; if the eye-closing time is closed again And greater than or equal to the preset duration threshold, the second parameter value of the white area size is recorded; the first comparison subunit is configured to compare the first parameter value with the second parameter value, and if the first parameter value is greater than the second parameter value, determining The terminal input operation is an amplification operation, and if the first parameter value is smaller than the second parameter value, it is determined that the terminal input operation is a reduction operation.
  • the second determining unit 504 may include:
  • the fourth recording sub-unit is configured to record the time when the blinking operation is first recognized and the first closed eye duration of the first blinking operation when the blinking operation is first recognized; if the first closed eye length is greater than or equal to the preset duration threshold, the white of the eye is recorded The first long axis value of the area; and when the blink operation is recognized again within the preset time interval, the time of reclosing the eye of the blinking operation is recorded again; if the eye length of the closed eye is greater than or equal to the preset time threshold, the white area of the eye is recorded Two long axis values;
  • a second comparison subunit configured to compare the first long axis value with the second long axis value, and if the rotation angle of the first long axis value relative to the second long axis value is greater than 0, determining that the terminal input operation is a clockwise rotation operation; If the rotation angle of the first long axis value with respect to the second long axis value is less than 0, it is determined that the terminal input operation is a counterclockwise rotation operation.
  • the second determining unit 504 may include:
  • a fifth recording sub-unit configured to record, for the first time, the blinking operation, the time when the blinking operation is first recognized and the first closed eye duration of the first blinking operation; if the first closed eye length is greater than or equal to the preset duration threshold, and The blink operation is recognized again within the preset time interval, and the eye-closing time of the blinking operation is recorded again;
  • a sixth determining subunit configured to determine that the terminal input operation is a click operation if the closed eye duration is greater than or equal to the preset duration threshold.
  • the terminal input control method and device provided by the embodiment of the present invention recognizes an eyeball region by using a camera, and the eyeball region includes an eye white region and a eyelid region, and according to the recognized blink operation, combined with the position of the eye region relative to the white region of the eye Information to determine the terminal input operation.
  • the traditional computer vision-based target ball recognition technology is applied to the terminal, and the terminal input is controlled based on the eye movement recognition, and a new terminal input control method is provided, which enriches the terminal input control mode. , providing users with a more natural and intuitive interaction.
  • embodiments of the present application can be provided as a method, system, or computer program product. Therefore, the present application can employ an entirely hardware embodiment, an entirely software embodiment, Or in the form of an embodiment of the software and hardware aspects. Moreover, the application can take the form of a computer program product embodied on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) in which computer usable program code is embodied.
  • computer-usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.
  • the computer program instructions can also be stored in a computer readable memory that can direct a computer or other programmable data processing device to operate in a particular manner, such that the instructions stored in the computer readable memory produce an article of manufacture comprising the instruction device.
  • the apparatus implements the functions specified in one or more blocks of a flow or a flow and/or block diagram of the flowchart.
  • These computer program instructions can also be loaded onto a computer or other programmable data processing device such that a series of operational steps are performed on a computer or other programmable device to produce computer-implemented processing for execution on a computer or other programmable device.
  • the instructions provide steps for implementing the functions specified in one or more of the flow or in a block or blocks of a flow diagram.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Description

一种终端输入控制方法及装置 本申请要求于 201 2 年 08 月 22 日提交中国专利局、 申请号为 20121 0301 032. 6、 发明名称为 "一种终端输入控制方法及装置" 的中国专 利申请的优先权， 其全部内容通过引用结合在本申请中。 技术领域
本发明涉及终端操作控制技术领域， 尤其涉及一种终端输入控制方法及 装置。 背景技术
随着终端技术， 尤其是移动终端技术的不断发展， 终端功能越来越强大, 终端输入控制方式也越来越方便、 自然、 友好。 目前， 大部分终端都支持以 下三类输入方式：
1)键盘输入： 键盘是最常用也是最主要的输入设备， 通过键盘， 可以将 上下左右方向的控制信号、 英文字母、 数字、 标点符号等输入到终端中， 从 而向终端发出命令、 输入数据等。
2)触摸屏输入
随着大屏幕的移动终端技术的不断发展， 现在的触摸屏技术已经比较成 熟， 支持单点和多点触摸输入， 使用起来简单方便， 并能为使用者带来良好 的用户体验。
3)语音输入
随着语音识别技术的不断发展与成熟， 语音输入为移动终端提供了一种 更加方便、 智能的人机交互途径。
通过上述多种输入方式， 用户可以实现点击、 上下左右滑动、 放大、 缩 小、 旋转等各种信息输入操作。 为了更加方便用户与终端之间的交互操作， 丰富终端输入控制方式， 提供一种新的终端输入控制方式成为现有技术亟待 解决的技术问题之一。 发明内容
本发明实施例提供一种终端输入控制方法及装置， 用以丰富终端输入控 制方式， 为用户提供更加自然、 直观的交互操作。
本发明实施例提供一种终端输入控制方法， 包括：
利用摄像头获得的实时图像， 识别所述实时图像中的眼球区域， 所述眼 球区域包括眼白区域和眼仁区域；
识别所述实时图像中的眨眼操作； 以及
确定眼仁区域相对于眼白区域的位置信息；
根据眨眼操作或者根据所述眨眼操作和所述位置信息确定终端输入操 作。
优选的， 利用摄像头获得的图像， 识别所述实时图像中的眼球区域， 具 体包括：
根据存储的眼白颜色信息和眼仁颜色信息， 确定与存储的眼白颜色信息 匹配的区域为准眼白区域， 确定与存储的目艮仁颜色信息匹配的区域为准目艮仁 区域；
确定每一准眼白区域的外接矩形； 以及
确定每一准眼仁区域的中心点；
针对每一准眼仁区域， 若该准眼仁区域的中心点位于任一准眼白区域的 外接矩形内部， 形成准目艮仁区域和准眼白区域配对；
确定形成配对的准眼白区域和眼仁区域为识别出的眼睛的目艮球区域。 优选的， 确定形成配对的准眼白区域和眼仁区域为识别出的眼睛的眼球 区域之前， 还包括：
确定与该准眼仁区域形成配对的准眼白区域的中心点； 并
确定所述准眼白区域中心点与存储的眼白区域中心点之间的距离小于等 于预设距离阈值。
优选的， 所述眼白区域包括静止区域、 上区域、 下区域、 左区域、 右区 域、 左上区域、 左下区域、 右上区域和右下区域； 以及
确定眼仁区域相对于眼白区域的位置信息， 具体包括：
确定眼仁区域的中心点； 当眼仁区域的中心点位于眼白区域的静止区域时， 确定眼仁区域相对于 眼白区域的位置信息为静止；
当眼仁区域的中心点位于眼白区域的上区域时， 确定眼仁区域相对于眼 白区域的位置信息为上；
当眼仁区域的中心点位于眼白区域的下区域时， 确定眼仁区域相对于眼 白区域的位置信息为下；
当眼仁区域的中心点位于眼白区域的左区域时， 确定眼仁区域相对于眼 白区域的位置信息为左；
当眼仁区域的中心点位于眼白区域的右区域时， 确定眼仁区域相对于眼 白区域的位置信息为右；
当眼仁区域的中心点位于眼白区域的左上区域时， 确定眼仁区域相对于 眼白区域的位置信息为左上；
当眼仁区域的中心点位于眼白区域的左下区域时， 确定眼仁区域相对于 眼白区域的位置信息为左下；
当眼仁区域的中心点位于眼白区域的右上区域时， 确定眼仁区域相对于 眼白区域的位置信息为右上；
当眼仁区域的中心点位于眼白区域的右下区域时， 确定眼仁区域相对于 眼白区域的位置信息为右下。
优选的， 根据眼睛眨眼操作和所述位置区域信息确定终端输入操作， 具 体包括：
记录首次眨眼操作的首次闭眼时长；
若首次闭眼时长大于或等于预设时长阈值， 且
若眼仁区域相对于眼白区域的位置信息为上， 确定终端输入操作为向上 滑动操作；
若眼仁区域相对于眼白区域的位置信息为下， 确定终端输入操作为向下 滑动操作；
若眼仁区域相对于眼白区域的位置信息为左， 确定终端输入操作为向左 滑动操作；
若眼仁区域相对于眼白区域的位置信息为右， 确定终端输入操作为向右 滑动操作。
优选的， 所述方法还还包括：
在首次识别出眨眼操作时， 记录首次识别出眨眼操作的时间； 以及 在预设时间间隔内再次识别出眨眼操作时， 记录再次眨眼操作的再次闭 眼时长；
若再次闭眼时长大于或等于预设时长阈值， 结束当前终端输入操作。 优选的， 根据眼睛眨眼操作和所述位置区域信息确定终端输入操作， 具 体包括：
在首次识别出眨眼操作时， 分别记录首次识别出眨眼操作的时间和首次 眨眼操作的首次闭眼时长；
若首次闭眼时长大于或等于预设时长阈值， 记录眼白区域大小第一参数 值；
在预设时间间隔内再次识别出眨眼操作时， 记录再次眨眼操作的再次闭 眼时长；
若再次闭眼时长大于或等于所述预设时长阈值， 记录眼白区域大小第二 参数值；
比较第一参数值与第二参数值， 若第一参数值大于第二参数值， 确定终 端输入操作为放大操作， 若第一参数值小于第二参数值， 确定终端输入操作 为缩小操作。
优选的， 根据眼睛眨眼操作和所述位置区域信息确定终端输入操作， 具 体包括：
在首次识别出眨眼操作时， 分别记录首次识别出眨眼操作的时间和首次 眨眼操作的首次闭眼时长；
若首次闭眼时长大于或等于预设时长阈值， 记录眼白区域第一长轴值； 在预设时间间隔内再次识别出眨眼操作时， 记录再次眨眼操作的再次闭 眼时长；
若再次闭眼时长大于或等于所述预设时长阈值， 记录眼白区域第二长轴 值；
比较第一长轴值与第二长轴值， 若第一长轴值相对于第二长轴值的旋转 角度大于 0, 确定终端输入操作为顺时针旋转操作； 若第一长轴值相对于第 二长轴值的旋转角度小于 0, 确定终端输入操作为逆时针旋转操作。
优选的， 根据眼睛眨眼操作确定终端输入操作， 具体包括：
在首次识别出眨眼操作时， 分别记录首次识别出眨眼操作的时间和首次 眨眼操作的首次闭眼时长；
若首次闭眼时长大于或等于预设时长阈值， 且
在预设时间间隔内再次识别到眨眼操作， 记录再次眨眼操作的再次闭眼 时长；
若再次闭眼时长大于或等于所述预设时长阈值， 确定终端输入操作为点 击操作。
本发明实施例提供一种终端输入控制装置， 包括：
第一识别单元， 用于利用摄像头获得的实时图像， 识别所述实时图像中 的眼球区域， 所述眼球区域包括眼白区域和眼仁区域；
第二识别单元， 用于识别所述实时图像中的眨眼操作；
第一确定单元， 用于确定眼仁区域相对于眼白区域的位置信息； 第二确定单元， 用于根据眨眼操作或者根据所述眨眼操作和所述位置信 息确定终端输入操作。
优选的， 所述第一识别单元， 包括：
第一确定子单元， 用于根据存储的眼白颜色信息和眼仁颜色信息， 确定 与存储的眼白颜色信息匹配的区域为准眼白区域， 确定与存储的眼仁颜色信 息匹配的区域为准目艮仁区域； 以及分别确定确定每一准眼白区域的外接矩形 和每一准眼仁区域的中心点；
配对子单元， 用于针对每一准眼仁区域， 若该准目艮仁区域的中心点位于 任一准眼白区域的外接矩形内部， 形成准眼仁区域和准眼白区域配对；
第二确定子单元， 用于确定形成配对的准眼白区域和眼仁区域为识别出 的眼睛的眼球区域。
优选的， 所述第二确定子单元， 还用于在确定形成配对的准眼白区域和 目艮仁区域为识别出的眼睛的目艮球区域之前， 确定与该准眼仁区域形成配对的 准眼白区域的中心点； 并确定所述准眼白区域中心点与存储的眼白区域中心 点之间的距离小于等于预设距离阈值。
优选的， 所述眼白区域包括静止区域、 上区域、 下区域、 左区域、 右区 域、 左上区域、 左下区域、 右上区域和右下区域； 以及
所述第一确定单元， 包括：
第三确定子单元， 用于确定眼仁区域的中心点；
第四确定子单元，用于当眼仁区域的中心点位于眼白区域的静止区域时， 确定眼仁区域相对于眼白区域的位置信息为静止； 当目艮仁区域的中心点位于 眼白区域的上区域时， 确定眼仁区域相对于眼白区域的位置信息为上； 当眼 仁区域的中心点位于眼白区域的下区域时， 确定眼仁区域相对于眼白区域的 位置信息为下； 当目艮仁区域的中心点位于眼白区域的左区域时， 确定眼仁区 域相对于眼白区域的位置信息为左； 当眼仁区域的中心点位于眼白区域的右 区域时， 确定眼仁区域相对于眼白区域的位置信息为右； 当目艮仁区域的中心 点位于眼白区域的左上区域时， 确定眼仁区域相对于眼白区域的位置信息为 左上； 当眼仁区域的中心点位于眼白区域的左下区域时， 确定眼仁区域相对 于眼白区域的位置信息为左下； 当眼仁区域的中心点位于眼白区域的右上区 域时， 确定眼仁区域相对于眼白区域的位置信息为右上； 当目艮仁区域的中心 点位于眼白区域的右下区域时， 确定眼仁区域相对于眼白区域的位置信息为 右下。
优选的， 所述第二确定单元， 包括：
第一记录子单元， 用于记录首次眨眼操作的首次闭眼时长；
第五确定子单元， 用于若首次闭眼时长大于或等于预设时长阈值， 且若 目艮仁区域相对于眼白区域的位置信息为上， 确定终端输入操作为向上滑动操 作； 若眼仁区域相对于眼白区域的位置信息为下， 确定终端输入操作为向下 滑动操作； 若眼仁区域相对于眼白区域的位置信息为左， 确定终端输入操作 为向左滑动操作； 若眼仁区域相对于眼白区域的位置信息为右， 确定终端输 入操作为向右滑动操作。
优选的， 所述第二确定单元， 包括：
第二记录子单元， 用于在首次识别出眨眼操作时， 记录首次识别出眨眼 操作的时间； 以及在预设时间间隔内再次识别出眨眼操作时， 记录再次眨眼 操作的再次闭眼时长；
结束子单元， 用于若再次闭眼时长大于或等于预设时长阈值， 结束当前 终端输入操作。
优选的， 所述第二确定单元， 包括：
第三记录子单元， 用于在首次识别出眨眼操作时， 分别记录首次识别出 眨眼操作的时间和首次眨眼操作的首次闭眼时长； 若首次闭眼时长大于或等 于预设时长阈值， 记录眼白区域大小第一参数值； 以及在预设时间间隔内再 次识别出眨眼操作时， 记录再次眨眼操作的再次闭眼时长； 若再次闭眼时长 大于或等于所述预设时长阈值， 记录眼白区域大小第二参数值；
第一比较子单元， 用于比较第一参数值与第二参数值， 若第一参数值大 于第二参数值， 确定终端输入操作为放大操作， 若第一参数值小于第二参数 值， 确定终端输入操作为缩小操作。
优选的， 所述第二确定单元， 包括：
第四记录子单元， 用于在首次识别出眨眼操作时， 分别记录首次识别出 眨眼操作的时间和首次眨眼操作的首次闭眼时长； 若首次闭眼时长大于或等 于预设时长阈值， 记录眼白区域第一长轴值； 以及在预设时间间隔内再次识 别出眨眼操作时， 记录再次眨眼操作的再次闭眼时长； 若再次闭眼时长大于 或等于所述预设时长阈值， 记录眼白区域第二长轴值；
第二比较子单元， 用于比较第一长轴值与第二长轴值， 若第一长轴值相 对于第二长轴值的旋转角度大于 0, 确定终端输入操作为顺时针旋转操作； 若第一长轴值相对于第二长轴值的旋转角度小于 0, 确定终端输入操作为逆 时针旋转操作。
优选的， 所述第二确定单元， 包括：
第五记录子单元， 用于在首次识别出眨眼操作时， 分别记录首次识别出 眨眼操作的时间和首次眨眼操作的首次闭眼时长； 若首次闭眼时长大于或等 于预设时长阈值， 且在预设时间间隔内再次识别到眨眼操作， 记录再次眨眼 操作的再次闭眼时长；
第六确定子单元， 用于若再次闭眼时长大于或等于所述预设时长阈值， 确定终端输入操作为点击操作。 本发明实施例提供的终端输入控制方法及装置， 通过摄像头识别出眼球 区域， 该眼球区域包括眼白区域和目艮仁区域， 根据识别出的眨眼操作， 并结 合眼仁区域相对于眼白区域的位置信息， 来确定终端输入操作。 本发明实施 例中， 将基于传统的计算机视觉的目艮球识别技术应用于终端， 并基于眼球动 作识别对终端输入进行控制， 提供了一种新的终端输入控制方法， 丰富了终 端输入控制方式， 为用户提供了更加自然、 直观的交互操作。
本发明的其它特征和优点将在随后的说明书中阐述， 并且， 部分地从说 明书中变得显而易见， 或者通过实施本发明而了解。 本发明的目的和其他优 点可通过在所写的说明书、 权利要求书、 以及附图中所特别指出的结构来实 现和获得。 附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面 描述中的附图仅仅是本发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。
图 1为本发明实施例中， 终端输入控制方法的实施流程示意图； 图 2为本发明实施例中， 眼白颜色信息和眼仁颜色信息采集示意图； 图 3本发明实施例中， 眼白区域划分示意图；
图 4为本发明实施例中， 目艮仁区域相对于眼白区域的位置信息示意图； 图 5为本发明实施例中， 终端输入控制装置的结构示意图。 具体实施方式
为了丰富终端输入控制方式， 为用户提供更加自然、 直观的交互操作， 本发明实施例提供了一种终端输入控制方法及装置。
以下结合说明书附图对本发明的优选实施例进行说明， 应当理解， 此处 所描述的优选实施例仅用于说明和解释本发明， 并不用于限定本发明， 并且 如图 1所示， 为本发明实施例提供的终端输入控制方法的实施流程示意 图， 包括以下步骤：
S101、 利用摄像头获得的实时图像， 识别该实时图像中的目艮球区域； 其中， 眼球区域包括眼白区域和眼仁区域。 具体实施时， 由于人的眼白 和眼仁的颜色各不相同， 为了提高目艮球区域识别准确度， 在用户首次使用通 过眼球运动控制终端输入方式时， 需要采集眼白和眼仁的颜色并存储相应的 眼白颜色信息和眼球颜色信息。 如图 2所示， 为眼白颜色信息和眼仁颜色信 息采集示意图， 具体的， 首先， 启动移动终端摄像头， 并使人脸正对移动终 端的摄像头， 然后， 分别将眼白和眼仁放置在移动终端显示界面的小方框内， 以采集眼白和眼仁的颜色， 对准后， 移动终端记录眼白颜色和目艮仁颜色， 为 了便于描述， 分别以 Crl和 Cr2表示眼白颜色信息和眼仁颜色信息。
这样， 当用户使用眼 ί 动控制终端输入时， 利用摄像头实时获得的图 像， 根据记录的眼白颜色信息和眼仁颜色信息， 在图像中识别可能的眼白区 域和眼仁区域， 当检测到与记录的眼白颜色信息匹配的区域时， 确定该区域 为准眼白区域， 当检测到与记录的目艮仁颜色信息匹配的区域时， 确定该区域 为准眼仁区域。 由于人有两只眼睛， 因此， 一般可以识别出 2个眼白区域和 2个眼仁区域， 但是， 由于颜色识别受光线影响比较大， 容易出现识别错误， 因此， 实际识别出的眼白及眼仁区域可能超过 2个。 较佳地， 为了解决上述 问题， 本发明实施例中， 可以按照以下方式进一步确定识别出的准眼白区域 和准眼仁区域是否为真正的眼白区域和眼仁区域：
定义识别出的每一准眼白区域的外接矩形为 Ww,. ( i=l,2,3... ... ), 任一准 目艮白 区域的夕卜接矩形的四个顶点坐标分另' J为 LTWi (LTwx^LTwy ,
RTwt (RTwx^RTwy^ , LBwi (LBwx^LBwy^ , RBwt (RBwx^RBwy^ ,其中， LTwt , RTwt ,
LBw{ , ^ ,.分别为该准眼白区域外接矩形的左上、 右上、 左下、 右下顶点的 坐标， 通常来说， LTwxi = LBwxi， RTwXi = RBwxi， LTwyi = RTwyi， LBwyi = RBwyi。 基于此， 可以确定眼白区域中心点坐标 ( Ewx, , Ewy, )分别为：
I LTwXj + RTwXj I I LBwXj + RBwxt |
I LTwyt + RTwy, | , | LBwy, + RBwyi | 定义识别出的每一准目艮仁区域的外接矩形为 Μ,. ( i=l ,2,3 ... ... ),任一准眼 仁区域的外接矩形的四个顶点坐标分别为 LTki (LT^LTky^ , RTk{ (RTh^ RTky ,
LBkt (LB^ LBky^ , RBkt (RB^RBky^ , 其中， LTkt , RTkt , LBkt , 分另' J为该 准眼仁区域外接矩形的左上、 右上、 左下、 右下顶点的坐标， 通常来说， LTkXi = LBkXi， RT^ = RB^， LTkyt = RTkyt， LBkyt = RBkyt。 基于 J¾ , 可以确定目艮 仁区域中心点坐标 Eki ( , Ek i )分别为：
I LTkXi + RTkXi | | | L kxi + RBkxi |
EkXi = 2 2 ；
' 2
I LTkyt + RTkyt | | LBkyi + RBkyt |
由于目艮仁区域应当位于眼白区域内部， 据此， 针对识别出的每一准目艮仁 区域， 计算该目艮仁区域与每一眼白区域的位置关系， 若该眼仁区域的中心点 位于某一眼白区域的外接矩形内部时， 则将该准目艮仁区域和该准眼白区域形 成配对， 形成配对的准眼白区域和目艮仁区域为识别出的眼睛的眼球区域。 例 如， 当该准眼仁区域的中心点坐标与某一准眼白区域的外接矩形四个顶点坐 标满足以下条件时， 可以确定该准眼仁区域位于该准眼白区域内部： LBwxi < Ekxi < RBwxi且 LBwyi < Ekyi < LTwyi。
较佳地， 具体实施时， 为了进一步提高识别准确度， 还可以结合眼球形 状特征进行判断。 由于眼球形状为椭圓形， 而人脸上有多个椭圓形状特征， 例如， 嘴唇等， 因此， 摄像头获得的图像中可能包含多个符合椭圓形状的区 域 ( i=l , 2,3... ... )。 具体的， 可以将识别出形状为椭圓形的区域 与存储 的目艮球（目艮白）区域进行——比对， 计算 Si的中心点 SPi与眼白区域中心点 之间的距离， 假设 SPi坐标为 (SpXi 'Spy^ , 则两点之间的距离 ί 为： d = ^(SpXi - Ewx + (Spy, - Ewy,)1 , 若 t小于等于预设阈值， 确定该椭圓形的区 域为眼球区域。
S 102、 识别实时图像中的眼睛眨眼操作；
一次眨眼即一次闭眼和睁眼， 根据摄像头获得的图像， 当在图像中检测 不到眼仁区域时， 可以确定为闭眼操作， 后续在检测到眼仁区域时， 可以确 定这一过程为眨眼操作。 本发明实施例中， 将眨眼操作作为一种触发条件， 即每次在识别出眨眼操作之后， 结合眼球运动来判断终端输入操作。
5103、 确定眼仁区域相对于眼白区域的位置信息；
为了实现通过识别眼球运动来控制终端输入操作的目的， 如图 3所示的 眼白区域划分示意图， 本发明实施例中， 将眼白区域划分为以下九个区域， 分别为： 静止区域、 上区域、 下区域、 左区域、 右区域、 左上区域、 左下区 域、 右上区域和右下区域， 通过判断眼仁区域的中心点位于哪一区域内， 可 以确定出目艮仁区域相对于眼白区域的位置信息， 具体的， 当目艮仁区域的中心 点位于眼白区域的静止区域时， 确定眼仁区域相对于眼白区域的位置信息为 静止； 当眼仁区域的中心点位于眼白区域的上区域时， 确定眼仁区域相对于 眼白区域的位置信息为上； 当眼仁区域的中心点位于眼白区域的下区域时， 确定眼仁区域相对于眼白区域的位置信息为下； 当目艮仁区域的中心点位于眼 白区域的左区域时， 确定眼仁区域相对于眼白区域的位置信息为左； 当目艮仁 区域的中心点位于眼白区域的右区域时， 确定眼仁区域相对于眼白区域的位 置信息为右； 当眼仁区域的中心点位于眼白区域的左上区域时， 确定眼仁区 域相对于眼白区域的位置信息为左上； 当眼仁区域的中心点位于眼白区域的 左下区域时， 确定眼仁区域相对于眼白区域的位置信息为左下； 当眼仁区域 的中心点位于眼白区域的右上区域时， 确定眼仁区域相对于眼白区域的位置 信息为右上； 当目艮仁区域的中心点位于眼白区域的右下区域时， 确定眼仁区 域相对于眼白区域的位置信息为右下， 如图 4所示， 为眼仁区域相对于眼白 区域的位置信息示意图。
5104、 根据眨眼操作或者根据眨眼操作和确定出的位置信息确定终端输 入操作。
具体实施时， 为了保证终端输入控制的可靠性， 本发明实施例中， 对于 眨眼操作中的闭眼时长大于或等于预设时长阈值时， 才判断为识别出一次眨 目艮操作， 若闭眼时长小于预设时长阈值时， 将判断为误操作而忽略， 其中预 设时长阈值可以根据实际需要确定， 主要原则为大于人眼的正常眨眼时长， 例如， 可以设置为 ls。
较佳地， 本发明实施例中， 根据眨眼操作可以实现以下两种终端输入操 作： 操作一、 在首次识别出眨眼操作时， 确定终端输入操作为触发类似触摸 屏的接触事件， 当在预设时间间隔内再次识别出眨眼操作时， 确定终端输入 操作为触发类似触摸屏的非接触事件；
操作二、 在预设时间间隔内， 连续识别出两次眨眼事件时， 确定终端输 入操作为点击操作。
需要说明的是， 操作二中的预设时间间隔可以设置为小于操作一中的预 设时间间隔， 例如， 在小于 4s内两次识别出眨眼操作时， 确定终端输入操作 为点击操作， 而在首次识别出眨眼操作后超过 4s的时间内， 再次识别出眨眼 操作时， 可以确定终端输入操作为触发类似触摸屏的非接触事件。
对于操作二， 本发明实施例中， 可以按照以下步骤执行：
步骤一、 在首次识别出眨眼操作时， 分别记录首次识别出眨眼操作的时 间和首次眨眼操作的首次闭眼时长；
步骤二、 若首次闭眼时长大于或等于预设时长阈值， 且在预设时间间隔 内再次识别到眨眼操作， 记录再次眨眼操作的再次闭眼时长；
步骤三、 若再次闭眼时长大于或等于预设时长阈值， 确定终端输入操作 为点击操作。
具体实施时， 根据眨眼操作和眼仁区域相对于眼白区域的位置信息可以 实现以下三种终端输入操作：
操作三 滑动操作
在一定的时间间隔内， 当首次识别出眨眼操作时， 触发类似触摸屏的接 触事件， 同时， 根据眼仁区域相对于眼白区域的位置信息， 开始执行类似触 摸屏的上、 下、 左、 右 4个方向的滑动操作， 当再次识别出眨眼操作时， 触 发类似触摸屏的非接触事件， 结束上、 下、 左、 右滑动操作， 其中， 操作三 中的时间间隔可以设置的稍长， 这是因为短时间内不经意的眨眼是很难控制 的， 设置的时间间隔稍长， 可以过滤掉一些不经意的眨眼， 例如， 时间间隔 可以设置为 4秒。
基于此， 本发明实施例中， 可以按照以下步骤执行：
步骤一、 记录首次眨眼操作的首次闭眼时长；
步骤二、 若首次闭眼时长大于或等于预设时长阈值， 且若眼仁区域相对 于眼白区域的位置信息为上， 确定终端输入操作为向上滑动操作； 若眼仁区 域相对于眼白区域的位置信息为下， 确定终端输入操作为向下滑动操作； 若 目艮仁区域相对于眼白区域的位置信息为左， 确定终端输入操作为向左滑动操 作； 若眼仁区域相对于眼白区域的位置信息为右， 确定终端输入操作为向右 滑动操作。
更佳地， 还可以包括以下步骤：
步骤四、 在首次识别出眨眼操作时， 记录首次识别出眨眼操作的时间； 步骤五、 在预设时间间隔内再次识别出眨眼操作时， 记录在此眨眼操作 的再次闭眼时长；
步骤六、 若再次闭眼时长大于或等于预设时长阈值， 结束当前终端输入 操作。
操作四 放大操作和缩小操作
具体实施时， 当用户将移动终端靠近脸部时， 利用摄像头获得的图像中 的眼白区域比移动终端远离脸部时要大， 因此， 通过检测眼白区域的大小变 化， 可以实现类似触摸屏操作的放大、 缩小操作。 例如， 在一定的时间间隔 内， 当首次识别出眨眼操作时， 触发类似触摸屏的接触事件， 开始记录眼白 区域的大小 Awl , 当再次识别出眨眼操作时， 记录眼白区域的大小 Aw2, 比 较 Awl和 Aw2,若 Awl>Aw2,执行放大操作， 若 Awl<Aw2,执行缩小操作。 其中， 时间间隔的设置方式与上述操作三中类似， 这里不再贅述。
基于此， 本发明实施例中， 可以按照以下步骤执行：
步骤一、 在首次识别出眨眼操作时， 分别记录首次识别出眨眼操作的时 间和首次眨眼操作的首次闭眼时长；
步骤二、 若首次闭眼时长大于或等于预设时长阈值， 记录眼白区域大小 第一参数值；
步骤三、 在预设时间间隔内再次识别出眨眼操作时， 记录再次眨眼操作 的再次闭眼时长；
步骤四、 若再次闭眼时长大于或等于所述预设时长阈值， 记录眼白区域 大小第二参数值；
步骤五、 比较第一参数值与第二参数值， 若第一参数值大于第二参数值， 确定终端输入操作为放大操作， 若第一参数值小于第二参数值， 确定终端输 入操作为缩小操作。
操作五 旋转操作
具体实施时， 当用户头部左转或者右转时， 利用摄像头获得的图像中的 眼白区域的长轴也会发生一定角度的旋转， 因此， 通过检测眼白区域长轴的 旋转角度变化， 可以实现类似触摸屏的旋转操作。 例如， 在预设时间间隔内， 当首次识别出眨眼操作时， 触发类似触摸屏的接触事件， 记录眼白区域长轴 Linel , 当再次识别出眨眼操作时， 记录眼白区域长轴 Line2, 如果 Line2相 对于 linel的旋转角度大于 0时，执行顺时针旋转操作，如果 Line2相对于 linel 的旋转角度小于 0时， 执行逆时针旋转操作。
具体实施时， 由于两只眼球运动趋势和方向都是一致的， 因此， 只需要 通过识别一个眼球的运动来确定终端输入操作。 另外， 由于用户通常会在移 动的过程中使用移动终端， 这就不可避免地带来抖动， 影响通过眼球运动控 制终端输入的可靠性， 容易引起误操作， 抖动的主要特点是移动距离比较小， 即两个位置之间的距离比较小和移动速度比较快， 即从一个位置移动到另一 个位置之间的时间比较短， 针对抖动的以上两个特点， 本发明实施例中， 可 以采用以下方法检测抖动， 并在采用眼球运动控制终端输入操作过程中， 过 滤掉这些抖动。 例如， 当满足以下条件时， 可以识别为抖动： -^(Ewx1 - Ewx2)2 + (Ewy, - Ewy2f x | Pi\ - Pi2 \< Ts , 其中， （E jq , Ewyl )为移动前目艮白 区域外接矩形中心点坐标， （Evvx2 ,Evv_y2)为移动后眼白区域外接矩形中心点坐 标， ¾、 Λ·2分别代表移动前后的时间值， 7¾为预设抖动阈值， 即当同时满足 移动距离较小和移动速度较快这两个条件时， 识别为抖动， 并忽略此操作， 以避免一些误操作。
本发明实施例中， 通过识别摄像头获得的实时图像中的眨眼操作以及眼 仁区域相对于眼白区域的位置， 来控制终端执行不同的输入操作， 从而能够 解放用户双手， 为终端输入提供了一种新的输入控制方式， 实现了更加自然、 直观的交互操作。
基于同一发明构思， 本发明实施例中还提供了一种终端输入控制装置， 由于该装置解决问题的原理与上述终端输入控制方法相似， 因此该装置的实 施可以参见终端输入控制方法的实施， 重复之处不再贅述。
如图 5所示， 为本发明实施例提供的终端输入控制装置的结构示意图， 包括：
第一识别单元 501 , 用于利用摄像头获得的实时图像， 识别该实时图像 中的目艮球区域， 其中， 眼球区域包括眼白区域和目艮仁区域；
第二识别单元 502, 用于识别实时图像中的眨眼操作；
第一确定单元 503 , 用于确定眼仁区域相对于眼白区域的位置信息； 第二确定单元 504, 用于根据眨眼操作或者根据眨眼操作和所述位置信 息确定终端输入操作。
具体实施时， 第一识别单元 501 , 可以包括：
第一确定子单元， 用于根据存储的眼白颜色信息和眼仁颜色信息， 确定 与存储的眼白颜色信息匹配的区域为准眼白区域， 确定与存储的眼仁颜色信 息匹配的区域为准目艮仁区域； 以及分别确定每一准眼白区域的外接矩形和每 一准目艮仁区域的中心点；
配对子单元， 用于针对每一准眼仁区域， 若该准目艮仁区域的中心点位于 任一准眼白区域的外接矩形内部， 形成准眼仁区域和准眼白区域配对；
第二确定子单元， 用于确定形成配对的准眼白区域和眼仁区域为识别出 的眼睛的眼球区域。
其中， 第二确定子单元， 还可以用于在确定形成配对的准眼白区域和眼 仁区域为识别出的眼睛的眼球区域之前， 确定与该准目艮仁区域形成配对的准 目艮白区域的中心点； 并确定所述准眼白区域中心点与存储的眼白区域中心点 之间的距离小于等于预设距离阈值。
具体实施时， 眼白区域包括静止区域、 上区域、 下区域、 左区域、 右区 域、左上区域、左下区域、右上区域和右下区域，基于此， 第一确定单元 502, 可以包括：
第三确定子单元， 用于确定眼仁区域的中心点；
第四确定子单元，用于当眼仁区域的中心点位于眼白区域的静止区域时， 确定眼仁区域相对于眼白区域的位置信息为静止； 当目艮仁区域的中心点位于 眼白区域的上区域时， 确定眼仁区域相对于眼白区域的位置信息为上； 当眼 仁区域的中心点位于眼白区域的下区域时， 确定眼仁区域相对于眼白区域的 位置信息为下； 当目艮仁区域的中心点位于眼白区域的左区域时， 确定眼仁区 域相对于眼白区域的位置信息为左； 当眼仁区域的中心点位于眼白区域的右 区域时， 确定眼仁区域相对于眼白区域的位置信息为右； 当目艮仁区域的中心 点位于眼白区域的左上区域时， 确定眼仁区域相对于眼白区域的位置信息为 左上； 当眼仁区域的中心点位于眼白区域的左下区域时， 确定眼仁区域相对 于眼白区域的位置信息为左下； 当眼仁区域的中心点位于眼白区域的右上区 域时， 确定眼仁区域相对于眼白区域的位置信息为右上； 当目艮仁区域的中心 点位于眼白区域的右下区域时， 确定眼仁区域相对于眼白区域的位置信息为 右下。
具体实施时， 第二确定单元 504, 可以包括：
第一记录子单元， 用于记录首次眨眼操作的首次闭眼时长；
第五确定子单元， 用于若首次闭眼时长大于或等于预设时长阈值， 且若 目艮仁区域相对于眼白区域的位置信息为上， 确定终端输入操作为向上滑动操 作； 若眼仁区域相对于眼白区域的位置信息为下， 确定终端输入操作为向下 滑动操作； 若眼仁区域相对于眼白区域的位置信息为左， 确定终端输入操作 为向左滑动操作； 若眼仁区域相对于眼白区域的位置信息为右， 确定终端输 入操作为向右滑动操作。
或者， 具体实施时， 第二确定单元 504, 可以包括：
第二记录子单元， 用于在首次识别出眨眼操作时， 记录首次识别出眨眼 操作的时间； 以及在预设时间间隔内再次识别出眨眼操作时， 记录再次眨眼 操作的再次闭眼时长；
结束子单元， 用于若再次闭眼时长大于或等于预设时长阈值， 结束当前 终端输入操作。
或者， 第二确定单元 504, 可以包括：
第三记录子单元， 用于在首次识别出眨眼操作时， 分别记录首次识别出 眨眼操作的时间和首次眨眼操作的首次闭眼时长； 若首次闭眼时长大于或等 于预设时长阈值， 记录眼白区域大小第一参数值； 以及在预设时间间隔内再 次识别出眨眼操作时， 记录再次眨眼操作的再次闭眼时长； 若再次闭眼时长 大于或等于所述预设时长阈值， 记录眼白区域大小第二参数值； 第一比较子单元， 用于比较第一参数值与第二参数值， 若第一参数值大 于第二参数值， 确定终端输入操作为放大操作， 若第一参数值小于第二参数 值， 确定终端输入操作为缩小操作。
或者， 第二确定单元 504, 可以包括：
第四记录子单元， 用于在首次识别出眨眼操作时， 分别记录首次识别出 眨眼操作的时间和首次眨眼操作的首次闭眼时长； 若首次闭眼时长大于或等 于预设时长阈值， 记录眼白区域第一长轴值； 以及在预设时间间隔内再次识 别出眨眼操作时， 记录再次眨眼操作的再次闭眼时长； 若再次闭眼时长大于 或等于所述预设时长阈值， 记录眼白区域第二长轴值；
第二比较子单元， 用于比较第一长轴值与第二长轴值， 若第一长轴值相 对于第二长轴值的旋转角度大于 0, 确定终端输入操作为顺时针旋转操作； 若第一长轴值相对于第二长轴值的旋转角度小于 0, 确定终端输入操作为逆 时针旋转操作。
或者， 第二确定单元 504可以包括：
第五记录子单元， 用于在首次识别出眨眼操作时， 分别记录首次识别出 眨眼操作的时间和首次眨眼操作的首次闭眼时长； 若首次闭眼时长大于或等 于预设时长阈值， 且在预设时间间隔内再次识别到眨眼操作， 记录再次眨眼 操作的再次闭眼时长；
第六确定子单元， 用于若再次闭眼时长大于或等于所述预设时长阈值， 确定终端输入操作为点击操作。
本发明实施例提供的终端输入控制方法及装置， 通过摄像头识别出眼球 区域， 该眼球区域包括眼白区域和目艮仁区域， 根据识别出的眨眼操作， 并结 合眼仁区域相对于眼白区域的位置信息， 来确定终端输入操作。 本发明实施 例中， 将基于传统的计算机视觉的目艮球识别技术应用于终端， 并基于眼球动 作识别对终端输入进行控制， 提供了一种新的终端输入控制方法， 丰富了终 端输入控制方式， 为用户提供了更加自然、 直观的交互操作。
本领域内的技术人员应明白， 本申请的实施例可提供为方法、 系统、 或 计算机程序产品。 因此， 本申请可采用完全硬件实施例、 完全软件实施例、 或结合软件和硬件方面的实施例的形式。 而且， 本申请可采用在一个或多个 其中包含有计算机可用程序代码的计算机可用存储介质 (包括但不限于磁盘 存储器、 CD-ROM、 光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、 设备（系统）、 和计算机程序产 品的流程图和 /或方框图来描述的。 应理解可由计算机程序指令实现流程图 和 /或方框图中的每一流程和 /或方框、 以及流程图和 /或方框图中的流程 和 /或方框的结合。 可提供这些计算机程序指令到通用计算机、 专用计算机、 嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器， 使得通 过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流 程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能的 装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设 备以特定方式工作的计算机可读存储器中， 使得存储在该计算机可读存储器 中的指令产生包括指令装置的制造品， 该指令装置实现在流程图一个流程或 多个流程和 /或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上， 使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的 处理， 从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图 一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能的步 骤。
尽管已描述了本申请的优选实施例， 但本领域内的技术人员一旦得知了 基本创造性概念， 则可对这些实施例做出另外的变更和修改。 所以， 所附权 利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。 发明的精神和范围。 这样， 倘若本发明的这些修改和变型属于本发明权利要 求及其等同技术的范围之内， 则本发明也意图包含这些改动和变型在内。

Claims

权 利 要 求
1、 一种终端输入控制方法， 其特征在于， 包括：
利用摄像头获得的实时图像， 识别所述实时图像中的眼球区域， 所述眼 球区域包括眼白区域和眼仁区域；
识别所述实时图像中的眨眼操作； 以及
确定眼仁区域相对于眼白区域的位置信息；
根据眨眼操作或者根据所述眨眼操作和所述位置信息确定终端输入操 作。
2、 如权利要求 1所述的方法， 其特征在于， 利用摄像头获得的图像， 识 别所述实时图像中的目艮球区域， 具体包括：
根据存储的眼白颜色信息和眼仁颜色信息， 确定与存储的眼白颜色信息 匹配的区域为准眼白区域， 确定与存储的目艮仁颜色信息匹配的区域为准目艮仁 区域；
确定每一准眼白区域的外接矩形； 以及
确定每一准目艮仁区域的中心点；
针对每一准眼仁区域， 若该准眼仁区域的中心点位于任一准眼白区域的 外接矩形内部， 形成准目艮仁区域和准眼白区域配对；
确定形成配对的准眼白区域和眼仁区域为识别出的眼睛的目艮球区域。
3、 如权利要求 2所述的方法， 其特征在于， 确定形成配对的准眼白区域 和眼仁区域为识别出的眼睛的眼球区域之前， 还包括：
确定与该准眼仁区域形成配对的准眼白区域的中心点； 并
确定所述准眼白区域中心点与存储的眼白区域中心点之间的距离小于等 于预设距离阈值。
4、如权利要求 1所述的方法，其特征在于，所述眼白区域包括静止区域、 上区域、 下区域、 左区域、 右区域、 左上区域、 左下区域、 右上区域和右下 区域； 以及
确定眼仁区域相对于眼白区域的位置信息， 具体包括：
确定眼仁区域的中心点；
当眼仁区域的中心点位于眼白区域的静止区域时， 确定眼仁区域相对于 眼白区域的位置信息为静止；
当眼仁区域的中心点位于眼白区域的上区域时， 确定眼仁区域相对于眼 白区域的位置信息为上；
当眼仁区域的中心点位于眼白区域的下区域时， 确定眼仁区域相对于眼 白区域的位置信息为下；
当眼仁区域的中心点位于眼白区域的左区域时， 确定眼仁区域相对于眼 白区域的位置信息为左；
当眼仁区域的中心点位于眼白区域的右区域时， 确定眼仁区域相对于眼 白区域的位置信息为右；
当眼仁区域的中心点位于眼白区域的左上区域时， 确定眼仁区域相对于 眼白区域的位置信息为左上；
当眼仁区域的中心点位于眼白区域的左下区域时， 确定眼仁区域相对于 眼白区域的位置信息为左下；
当眼仁区域的中心点位于眼白区域的右上区域时， 确定眼仁区域相对于 眼白区域的位置信息为右上；
当眼仁区域的中心点位于眼白区域的右下区域时， 确定眼仁区域相对于 眼白区域的位置信息为右下。
5、 如权利要求 4所述的方法， 其特征在于， 根据眼睛眨眼操作和所述位 置区域信息确定终端输入操作， 具体包括：
记录首次眨眼操作的首次闭眼时长；
若首次闭眼时长大于或等于预设时长阈值， 且
若眼仁区域相对于眼白区域的位置信息为上， 确定终端输入操作为向上 滑动操作；
若眼仁区域相对于眼白区域的位置信息为下， 确定终端输入操作为向下 滑动操作；
若眼仁区域相对于眼白区域的位置信息为左， 确定终端输入操作为向左 滑动操作；
若眼仁区域相对于眼白区域的位置信息为右， 确定终端输入操作为向右 滑动操作。
6、 如权利要求 5所述的方法， 其特征在于， 还包括：
在首次识别出眨眼操作时， 记录首次识别出眨眼操作的时间； 以及 在预设时间间隔内再次识别出眨眼操作时， 记录再次眨眼操作的再次闭 眼时长；
若再次闭眼时长大于或等于预设时长阈值， 结束当前终端输入操作。
7、 如权利要求 1所述的方法， 其特征在于， 根据眼睛眨眼操作和所述位 置区域信息确定终端输入操作， 具体包括：
在首次识别出眨眼操作时， 分别记录首次识别出眨眼操作的时间和首次 眨眼操作的首次闭眼时长；
若首次闭眼时长大于或等于预设时长阈值， 记录眼白区域大小第一参数 值；
在预设时间间隔内再次识别出眨眼操作时， 记录再次眨眼操作的再次闭 眼时长；
若再次闭眼时长大于或等于所述预设时长阈值， 记录眼白区域大小第二 参数值；
比较第一参数值与第二参数值， 若第一参数值大于第二参数值， 确定终 端输入操作为放大操作， 若第一参数值小于第二参数值， 确定终端输入操作 为缩小操作。
8、 如权利要求 1所述的方法， 其特征在于， 根据眼睛眨眼操作和所述位 置区域信息确定终端输入操作， 具体包括：
在首次识别出眨眼操作时， 分别记录首次识别出眨眼操作的时间和首次 眨眼操作的首次闭眼时长；
若首次闭眼时长大于或等于预设时长阈值， 记录眼白区域第一长轴值； 在预设时间间隔内再次识别出眨眼操作时， 记录再次眨眼操作的再次闭 眼时长；
若再次闭眼时长大于或等于所述预设时长阈值， 记录眼白区域第二长轴 值；
比较第一长轴值与第二长轴值， 若第一长轴值相对于第二长轴值的旋转 角度大于 0, 确定终端输入操作为顺时针旋转操作； 若第一长轴值相对于第 二长轴值的旋转角度小于 0, 确定终端输入操作为逆时针旋转操作。
9、 如权利要求 1所述的方法， 其特征在于， 根据眼睛眨眼操作确定终端 输入操作， 具体包括：
在首次识别出眨眼操作时， 分别记录首次识别出眨眼操作的时间和首次 眨眼操作的首次闭眼时长；
若首次闭眼时长大于或等于预设时长阈值， 且
在预设时间间隔内再次识别到眨眼操作， 记录再次眨眼操作的再次闭眼 时长；
若再次闭眼时长大于或等于所述预设时长阈值， 确定终端输入操作为点 击操作。
10、 一种终端输入控制装置， 其特征在于， 包括：
第一识别单元， 用于利用摄像头获得的实时图像， 识别所述实时图像中 的眼球区域， 所述眼球区域包括眼白区域和眼仁区域；
第二识别单元， 用于识别所述实时图像中的眨眼操作；
第一确定单元， 用于确定眼仁区域相对于眼白区域的位置信息； 第二确定单元， 用于根据眨眼操作或者根据所述眨眼操作和所述位置信 息确定终端输入操作。
11、如权利要求 10所述的装置， 其特征在于， 所述第一识别单元， 包括： 第一确定子单元， 用于根据存储的眼白颜色信息和眼仁颜色信息， 确定 与存储的眼白颜色信息匹配的区域为准眼白区域， 确定与存储的眼仁颜色信 息匹配的区域为准目艮仁区域； 以及分别确定确定每一准眼白区域的外接矩形 和每一准眼仁区域的中心点；
配对子单元， 用于针对每一准眼仁区域， 若该准目艮仁区域的中心点位于 任一准眼白区域的外接矩形内部， 形成准眼仁区域和准眼白区域配对；
第二确定子单元， 用于确定形成配对的准眼白区域和眼仁区域为识别出 的眼睛的眼球区域。
12、 如权利要求 11所述的装置， 其特征在于，
所述第二确定子单元， 还用于在确定形成配对的准眼白区域和眼仁区域 为识别出的眼睛的目艮球区域之前， 确定与该准目艮仁区域形成配对的准眼白区 域的中心点； 并确定所述准眼白区域中心点与存储的眼白区域中心点之间的 距离小于等于预设距离阈值。
13、 如权利要求 10所述的装置， 其特征在于， 所述眼白区域包括静止区 域、 上区域、 下区域、 左区域、 右区域、 左上区域、 左下区域、 右上区域和 右下区域； 以及
所述第一确定单元， 包括：
第三确定子单元， 用于确定眼仁区域的中心点；
第四确定子单元，用于当眼仁区域的中心点位于眼白区域的静止区域时， 确定眼仁区域相对于眼白区域的位置信息为静止； 当目艮仁区域的中心点位于 眼白区域的上区域时， 确定眼仁区域相对于眼白区域的位置信息为上； 当眼 仁区域的中心点位于眼白区域的下区域时， 确定眼仁区域相对于眼白区域的 位置信息为下； 当目艮仁区域的中心点位于眼白区域的左区域时， 确定眼仁区 域相对于眼白区域的位置信息为左； 当眼仁区域的中心点位于眼白区域的右 区域时， 确定眼仁区域相对于眼白区域的位置信息为右； 当目艮仁区域的中心 点位于眼白区域的左上区域时， 确定眼仁区域相对于眼白区域的位置信息为 左上； 当眼仁区域的中心点位于眼白区域的左下区域时， 确定眼仁区域相对 于眼白区域的位置信息为左下； 当眼仁区域的中心点位于眼白区域的右上区 域时， 确定眼仁区域相对于眼白区域的位置信息为右上； 当目艮仁区域的中心 点位于眼白区域的右下区域时， 确定眼仁区域相对于眼白区域的位置信息为 右下。
14、如权利要求 13所述的装置，其特征在于， 所述第二确定单元， 包括： 第一记录子单元， 用于记录首次眨眼操作的首次闭眼时长；
第五确定子单元， 用于若首次闭眼时长大于或等于预设时长阈值， 且若 目艮仁区域相对于眼白区域的位置信息为上， 确定终端输入操作为向上滑动操 作； 若眼仁区域相对于眼白区域的位置信息为下， 确定终端输入操作为向下 滑动操作； 若眼仁区域相对于眼白区域的位置信息为左， 确定终端输入操作 为向左滑动操作； 若眼仁区域相对于眼白区域的位置信息为右， 确定终端输 入操作为向右滑动操作。
15、如权利要求 14所述的装置，其特征在于， 所述第二确定单元， 包括： 第二记录子单元， 用于在首次识别出眨眼操作时， 记录首次识别出眨眼 操作的时间； 以及在预设时间间隔内再次识别出眨眼操作时， 记录再次眨眼 操作的再次闭眼时长；
结束子单元， 用于若再次闭眼时长大于或等于预设时长阈值， 结束当前 终端输入操作。
16、如权利要求 10所述的装置，其特征在于， 所述第二确定单元， 包括： 第三记录子单元， 用于在首次识别出眨眼操作时， 分别记录首次识别出 眨眼操作的时间和首次眨眼操作的首次闭眼时长； 若首次闭眼时长大于或等 于预设时长阈值， 记录眼白区域大小第一参数值； 以及在预设时间间隔内再 次识别出眨眼操作时， 记录再次眨眼操作的再次闭眼时长； 若再次闭眼时长 大于或等于所述预设时长阈值， 记录眼白区域大小第二参数值；
第一比较子单元， 用于比较第一参数值与第二参数值， 若第一参数值大 于第二参数值， 确定终端输入操作为放大操作， 若第一参数值小于第二参数 值， 确定终端输入操作为缩小操作。
17、如权利要求 10所述的装置，其特征在于， 所述第二确定单元， 包括： 第四记录子单元， 用于在首次识别出眨眼操作时， 分别记录首次识别出 眨眼操作的时间和首次眨眼操作的首次闭眼时长； 若首次闭眼时长大于或等 于预设时长阈值， 记录眼白区域第一长轴值； 以及在预设时间间隔内再次识 别出眨眼操作时， 记录再次眨眼操作的再次闭眼时长； 若再次闭眼时长大于 或等于所述预设时长阈值， 记录眼白区域第二长轴值；
第二比较子单元， 用于比较第一长轴值与第二长轴值， 若第一长轴值相 对于第二长轴值的旋转角度大于 0, 确定终端输入操作为顺时针旋转操作； 若第一长轴值相对于第二长轴值的旋转角度小于 0, 确定终端输入操作为逆 时针旋转操作。
18、如权利要求 10所述的装置，其特征在于， 所述第二确定单元， 包括： 第五记录子单元， 用于在首次识别出眨眼操作时， 分别记录首次识别出 眨眼操作的时间和首次眨眼操作的首次闭眼时长； 若首次闭眼时长大于或等 于预设时长阈值， 且在预设时间间隔内再次识别到眨眼操作， 记录再次眨眼 操作的再次闭眼时长； 第六确定子单元， 用于若再次闭眼时长大于或等于所述预设时长阈值, 确定终端输入操作为点击操作。
PCT/CN2013/079567 2012-08-22 2013-07-18 一种终端输入控制方法及装置 Ceased WO2014029245A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210301032.6A CN103631365B (zh) 2012-08-22 2012-08-22 一种终端输入控制方法及装置
CN201210301032.6 2012-08-22

Publications (1)

Publication Number Publication Date
WO2014029245A1 true WO2014029245A1 (zh) 2014-02-27

Family

ID=50149399

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/079567 Ceased WO2014029245A1 (zh) 2012-08-22 2013-07-18 一种终端输入控制方法及装置

Country Status (2)

Country Link
CN (1) CN103631365B (zh)
WO (1) WO2014029245A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105242888B (zh) * 2014-07-10 2018-10-12 联想(北京)有限公司 一种系统控制方法及电子设备
CN106033253A (zh) * 2015-03-12 2016-10-19 中国移动通信集团公司 一种终端控制方法及装置
CN104951070A (zh) * 2015-06-02 2015-09-30 无锡天脉聚源传媒科技有限公司 一种基于眼睛操控设备的方法及装置
WO2017031089A1 (en) * 2015-08-15 2017-02-23 Eyefluence, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
CN105425971B (zh) * 2016-01-15 2018-10-26 中意工业设计（湖南）有限责任公司 一种眼动界面的交互方法、装置和近眼显示器
CN106527705A (zh) * 2016-10-28 2017-03-22 努比亚技术有限公司 一种实现操作的方法和装置
CN106648175A (zh) * 2016-12-30 2017-05-10 宇龙计算机通信科技(深圳)有限公司 一种便捷式指纹操作方法及终端
CN110297539A (zh) * 2019-06-19 2019-10-01 重庆工商职业学院 一种基于人工智能的眼动识别方法及装置
CN110162187A (zh) * 2019-06-19 2019-08-23 重庆工商职业学院 基于人工智能的眼球移动识别方法及装置
CN115167678B (zh) * 2022-07-14 2025-10-03 北京理工大学 一种无校准少刺激的脑眼异步虚拟机械臂控制系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101639939A (zh) * 2008-07-29 2010-02-03 株式会社日立制作所 图像信息处理方法及装置
CN101813976A (zh) * 2010-03-09 2010-08-25 华南理工大学 基于soc的视线跟踪人机交互方法及装置
EP2275020A1 (en) * 2009-07-16 2011-01-19 Tobil Technology AB Eye detection unit using sequential data flow

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7736000B2 (en) * 2008-08-27 2010-06-15 Locarna Systems, Inc. Method and apparatus for tracking eye movement
KR101038323B1 (ko) * 2009-09-24 2011-06-01 주식회사 팬택 영상인식기법을 이용한 화면 프레임 제어장치
CN102193621A (zh) * 2010-03-17 2011-09-21 三星电子（中国）研发中心 基于视觉的交互式电子设备控制系统及其控制方法
CN101950200B (zh) * 2010-09-21 2011-12-21 浙江大学 基于摄像头的眼球控制游戏地图和角色移动的方法和装置
US9910490B2 (en) * 2011-12-29 2018-03-06 Eyeguide, Inc. System and method of cursor position control based on the vestibulo-ocular reflex

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101639939A (zh) * 2008-07-29 2010-02-03 株式会社日立制作所 图像信息处理方法及装置
EP2275020A1 (en) * 2009-07-16 2011-01-19 Tobil Technology AB Eye detection unit using sequential data flow
CN101813976A (zh) * 2010-03-09 2010-08-25 华南理工大学 基于soc的视线跟踪人机交互方法及装置

Also Published As

Publication number Publication date
CN103631365B (zh) 2016-12-21
CN103631365A (zh) 2014-03-12

Similar Documents

Publication Publication Date Title
WO2014029245A1 (zh) 一种终端输入控制方法及装置
CN111736691B (zh) 头戴显示设备的交互方法、装置、终端设备及存储介质
US20150134572A1 (en) Systems and methods for providing response to user input information about state changes and predicting future user input
US8737693B2 (en) Enhanced detection of gesture
US8146020B2 (en) Enhanced detection of circular engagement gesture
US10198081B2 (en) Method and device for executing command on basis of context awareness
US9317171B2 (en) Systems and methods for implementing and using gesture based user interface widgets with camera input
WO2010147600A2 (en) Qualified command
CN104360738A (zh) 图形用户界面的空间手势控制方法
CN102819398A (zh) 一种在触摸屏设备上滑动控制摄像机的方法
CN103970328B (zh) 触摸式或非触摸式的多输入点控制指令检测方法和装置
CN103079115B (zh) 一种多媒体数据的控制方法及装置
TWI553543B (zh) 虛擬滑鼠控制系統及其控制方法
JP2014082605A (ja) 情報処理装置、その制御方法及びプログラム
US9958946B2 (en) Switching input rails without a release command in a natural user interface
KR102705094B1 (ko) 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법
WO2016145827A1 (zh) 终端的控制方法及装置
CN113885699B (zh) 一种眼标控制方法
CN110456974A (zh) 一种基于多点触控面板的三维产品展示交互方法及系统
CN105022263A (zh) 一种控制智能手表的方法及智能手表
CN105760092B (zh) 一种用于触摸屏设备的应用控制方法、装置及电子设备
TWI447619B (zh) 提供引導軌跡以輔助手勢輸入之系統及其方法
KR101474873B1 (ko) 비동작 신호 및 동작 신호에 기반한 제어 장치 및 그 장치 제어 방법
KR102855067B1 (ko) 사용자 맞춤 시선추적과 음성인식을 이용한 마우스 장치
TWI594175B (zh) 以單點操作顯示螢幕介面方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13831200

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13831200

Country of ref document: EP

Kind code of ref document: A1