WO2014082472A1 - 一种终端操作方法及终端 - Google Patents

一种终端操作方法及终端 Download PDF

Info

Publication number
WO2014082472A1
WO2014082472A1 PCT/CN2013/081619 CN2013081619W WO2014082472A1 WO 2014082472 A1 WO2014082472 A1 WO 2014082472A1 CN 2013081619 W CN2013081619 W CN 2013081619W WO 2014082472 A1 WO2014082472 A1 WO 2014082472A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinate point
human eye
terminal
module
change
Prior art date
Application number
PCT/CN2013/081619
Other languages
English (en)
French (fr)
Inventor
宁海燕
刘瑞萍
刘长山
宁正容
左孝飞
李乃蓉
严稳芬
石川
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2014082472A1 publication Critical patent/WO2014082472A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Definitions

  • the present invention relates to the field of electronic devices, and in particular, to a terminal operating method and a terminal.
  • BACKGROUND With the pursuit of quality of life, the user experience of the terminal is getting higher and higher, and the design of the terminal operation scheme is getting more and more attention.
  • the existing terminal operation scheme there are touch technology, voice control technology, camera gestures, etc., although the effects of usability, ease of use, interest, security, etc. are achieved to some extent, but they are all simple functions. Alternative technology has failed to achieve human-computer interaction in visual effects.
  • Embodiments of the present invention provide a terminal operation method and a terminal, which solve an operation problem of a human eye to a terminal.
  • a terminal operation method includes: collecting a human eye picture of an operator in front of a display screen of the terminal; and operating the terminal according to the collected human eye picture.
  • the method for collecting the human eye image of the operator in front of the display screen of the terminal is specifically: imaging the current interface displayed by the display screen of the terminal on the retina of at least one eye of the operator.
  • the method for operating the terminal according to the collected human eye image is: calculating a coordinate point on the current interface that the human eye is watching according to the collected human eye image; calculating a duration in which the human eye is watching the same coordinate point, according to The human eye looks at the duration of the same coordinate point to operate the terminal; and/or, calculates the change trajectory and the change rate of the coordinate point that the human eye is watching in the preset time, according to the change trajectory and change of the coordinate point that the human eye is watching.
  • the rate operates on the terminal.
  • the method for operating the terminal according to the duration of the same coordinate point of the human eye is specifically: comparing the duration of the human eye to the same coordinate point and comparing with a preset threshold, if the duration is greater than the preset threshold, executing The operation corresponding to the coordinate point.
  • the process of performing the operation corresponding to the coordinate point is specifically: querying the preset operation instruction associated with the coordinate point according to the coordinate point, and performing an operation according to the queried operation instruction.
  • the operations corresponding to the coordinate points include: enlarging the display ratio, reducing the display ratio, returning to the previous page, and/or going to the next page.
  • the method for operating the terminal according to the change trajectory and the change rate of the coordinate point that the human eye is watching is specifically: taking the same change trajectory and the same change rate as the coordinate point that the human eye is watching, on the terminal display screen The current interface of the display is adjusted; or the preset operation instruction associated with the coordinate point of the coordinate point that the human eye is watching is searched according to the operation instruction of the query.
  • a terminal includes an acquisition module and an operation module, wherein the acquisition module is configured to collect a human eye image of an operator in front of the display screen of the terminal; and the operation module is configured to operate the terminal according to the human eye image collected by the collection module.
  • the acquisition module is configured to collect imaging of the current interface displayed by the terminal display screen on the retina of at least one eye of the operator.
  • the operation module includes a coordinate point calculation module, a coordinate point analysis module, and an operation sub-module, wherein the coordinate point calculation module is configured to calculate a coordinate point that the human eye is looking at on the current interface according to the collected human eye image;
  • the point analysis module is configured to calculate a duration in which the human eye looks at the same coordinate point, and/or calculate a change trajectory and a change rate of the coordinate point that the human eye is watching within the preset time; the operation submodule is set to gaze at the same coordinate point according to the human eye.
  • the operation submodule comprises a comparison module and a first execution module, wherein the comparison module is configured to compare the duration of the human eye to the same coordinate point with a preset threshold; the first execution module is set to be compared in the comparison module When the result is that the duration is greater than the preset threshold, the operation corresponding to the coordinate point is performed.
  • the first execution module is configured to query the preset operation instruction associated with the coordinate point according to the coordinate point, and perform an operation according to the queried operation instruction.
  • the operation sub-module includes a second execution module, and the second execution module is configured to adjust the current interface displayed by the terminal display screen by taking the same change trajectory and the same rate of change as the coordinate point that the human eye is watching; or
  • the preset operation instruction associated with the coordinate point of the coordinate point that the human eye is looking at and the change rate are queried according to the queried operation instruction.
  • the terminal operation method and the terminal provided by the embodiment of the present invention collect the human eye picture of the operator in front of the display screen of the terminal, and operate the terminal according to the collected human eye picture, thereby realizing human-computer interaction on the visual effect, so that the terminal displays
  • the display page of the screen is adjusted following the changes of the human eye, which greatly improves the user experience.
  • FIG. 1 is a flowchart of a method for operating a terminal according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of a terminal according to an embodiment of the present invention.
  • BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be further described in detail by way of specific embodiments with reference to the accompanying drawings.
  • FIG. 1 is a flowchart of a method for operating a terminal according to an embodiment of the present invention. Referring to FIG. 1: a human eye picture of an operator in front of a display screen of an S10K acquisition terminal. The human eye image can reflect changes in the gaze area of the human eye on the current interface of the display screen and the gaze area of the human eye.
  • the gaze area includes points and faces. Specifically, after the user starts the dynamic tracking human eye function on the terminal, the front camera starts to run, and the front eye of the operator in front of the display screen is collected by the front camera. Normal people blink at 15 times per minute, which is 0.25HZ, while ordinary cameras, such as the Casio EX-H35, can achieve high-speed autofocus shooting of 0.13 seconds, which can take more than 7 high-definition photos of 16 million pixels per second.
  • the photographing frequency is 7HZ, which is much larger than the normal blinking frequency.
  • the high-speed camera can generally achieve an image recording of 1000 to 10000 frames per second. Therefore, the embodiment of the present invention only needs to use an ordinary camera to complete the collection of the human eye image.
  • the method for collecting the human eye image of the operator in front of the display screen of the terminal may be: imaging the current interface displayed by the display screen of the terminal on the retina of at least one eye of the operator.
  • the current display interface will be inverted and reduced in the human eye retina.
  • the method for operating the terminal according to the collected human eye image may be: Step A1: Calculate a coordinate point that the human eye is looking at on the current interface according to the collected human eye image. Step B1, calculating the duration in which the human eye looks at the same coordinate point. Step C1, operating the terminal according to the duration of the same coordinate point that the human eye is gazing at.
  • the method for operating the terminal according to the duration of the same coordinate point of the human eye may be: comparing the duration of the human eye to the same coordinate point and comparing with a preset threshold, if the duration is greater than the preset threshold, executing and The operation corresponding to the coordinate point, such as: enlarge the display scale, reduce the display scale, return to the previous page and / or go to the next page.
  • performing the operation corresponding to the coordinate point may be: pre-establishing an association relationship between each coordinate point of the current interface and an operation instruction, where the association relationship may be stored in a storage space of the terminal itself, or may be stored in a communication with the terminal.
  • the external device queries the operation instruction associated with the coordinate point that the human eye continues to gaze, and then operates according to the queried operation instruction.
  • the current interface of the terminal display screen displays text information
  • the preset operation instruction associated with a coordinate point on the current interface is an enlarged display ratio. Then, when the operator's eyes look at the coordinate point for a duration longer than the preset
  • the operation instruction is executed, that is, the text on the coordinate point is enlarged, which can greatly improve the user experience.
  • the method for operating the terminal according to the collected human eye image may be: Step A2: Calculate a coordinate point that the human eye is looking at on the current interface according to the collected human eye image.
  • Step B2 Calculate the change trajectory and the change rate of the coordinate points that the human eye is watching in the preset time.
  • Step C2 The terminal is operated according to a change trajectory of the coordinate point that the human eye is watching and a rate of change.
  • the method for calculating the change trajectory and the change rate of the coordinate point that the human eye is watching in the preset time period may be: collecting the human eye picture within the preset time, and analyzing the coordinate point of the human eye in the preset time period. Change, get the change trajectory and change rate, the change rate refers to the rate of change of the coordinate point position per unit time.
  • the method for operating the terminal according to the change trajectory and the change rate of the coordinate point that the human eye is watching may be: taking the same change trajectory and the same change rate as the coordinate point that the human eye is looking at, and displaying the terminal display
  • the displayed current interface is adjusted, for example: When the operator's human eye gaze point moves from the top of the current interface at a rate of 0.2 cm/ms and moves vertically downwards, the same rate and change trajectory are used, ie 0.2 The rate of cm/ms, moving the display page vertically downwards, is equivalent to manually scrolling the scroll bar of the current interface.
  • the display page of the terminal display is adjusted according to the change of the human eye, which greatly improves the user experience.
  • the relationship between the change trajectory and the change rate of each coordinate point of the current interface and the operation instruction may be established in advance, and the association relationship may be stored in the storage space of the terminal itself or may be stored in the terminal.
  • the external device queries the operation instruction associated with the coordinate track and the change rate of the coordinate point that the human eye looks at in step B2, and operates according to the query operation command. For example: When the operator's human eye gaze point moves from the top of the current interface at a rate of 0.2 cm/ms and moves vertically downward, the parameters are queried according to the parameters of 0.2 cm/ms and vertically downward. The instruction is executed when the queried operation command is moved vertically downward at a rate of 0.5 cm/ms. FIG.
  • the terminal includes an acquisition module 21 and an operation module 22.
  • the acquisition module 21 is configured to collect a human eye picture of an operator in front of the display screen of the terminal.
  • the collecting module 21 may specifically be a camera. After the user turns on the dynamic tracking human eye function on the terminal, the front camera starts to run, and the human eye picture of the operator in front of the terminal display screen is collected by the front camera.
  • the human eye image can reflect changes in the gaze area of the human eye on the current interface of the display screen and the gaze area of the human eye.
  • the gaze area includes points and faces.
  • the acquisition module 21 can be configured to capture imaging of the current interface displayed by the terminal display on the retina of at least one eye of the operator.
  • the current display interface will be inverted and reduced in the human eye retina.
  • the operation module 22 is configured to operate the terminal according to the human eye picture collected by the collection module 21.
  • the operation module 22 may include a coordinate point calculation module 221, a coordinate point analysis module 222, and an operation sub-module 223, wherein the coordinate point calculation module 221 is configured to calculate a current interface according to the human eye image collected by the acquisition module 21. a coordinate point that the upper eye is looking at; the coordinate point analysis module 222 is configured to calculate a duration in which the human eye looks at the same coordinate point, and/or calculate a change trajectory and a change rate of the coordinate point that the human eye is looking at within the preset time; The sub-module 223 is arranged to gaze at the duration of the same coordinate point according to the human eye, and/or to operate the terminal according to the change trajectory and the rate of change of the coordinate point that the human eye is looking at.
  • the operation sub-module 223 may include a comparison module 223a and a first execution module 223b, wherein the comparison module 223a is configured to compare the duration of the human eye to the same coordinate point with a preset threshold; the first execution module 223b is set to When the comparison result of the comparison module 223a is that the duration is greater than the preset threshold, the operation corresponding to the coordinate point is performed. For example: Zoom in to scale, zoom out, return to the previous page, and/or go to the next page.
  • the first execution module 223b may be specifically configured to be compared in the comparison module 223a.
  • the preset operation instruction is queried according to the coordinate point that the human eye continues to gaze, and then the operation is performed according to the queried operation instruction.
  • the operation sub-module 223 may further include a second execution module 223c configured to take the same change trajectory and the same rate of change as the coordinate point that the human eye is looking at, and display the current display on the terminal display screen. The interface is adjusted; or the preset operation instruction associated with the coordinate point according to the change point and the change rate of the coordinate point that the human eye is looking at, and the operation is performed according to the query operation instruction.
  • the terminal operation method and the terminal provided by the embodiment of the present invention collect the human eye picture of the operator in front of the display screen of the terminal, and operate the terminal according to the collected human eye picture, thereby realizing human-computer interaction on the visual effect, so that the terminal displays
  • the display page of the screen is adjusted following the changes of the human eye, which greatly improves the user experience.

Abstract

本发明公开一种终端操作方法及终端，该方法包括采集终端显示屏前方操作者的人眼图片；根据采集到的人眼图片对终端进行操作。本发明通过以上技术方案，解决人眼对终端的操作问题。

Description

一种终端操作方法及终端 技术领域 本发明涉及电子设备领域， 尤其涉及一种终端操作方法及终端。 背景技术 随着人们对生活品质的追求， 对终端的用户体验要求越来越高， 终端操作方案的 设计也越来越受到关注。 在现有的终端操作方案中， 有触摸技术、 声控技术、 摄像头手势等， 虽然在一定 程度上达到了可用性、 易用性、 情趣性、 安全性等效果， 但是其采用的都是简单的功 能替代技术， 在视效上未能实现人机交互。 发明内容 本发明实施例提供一种终端操作方法及终端， 解决人眼对终端的操作问题。 为解决上述技术问题， 本发明实施例采用以下技术方案： 一种终端操作方法， 包括： 采集终端显示屏前方操作者的人眼图片； 根据采集到 的人眼图片对终端进行操作。 优选地， 采集终端显示屏前方操作者的人眼图片的方法具体为： 采集终端显示屏 所显示的当前界面在操作者至少一只眼睛的视网膜上的成像。 优选地， 根据采集到的人眼图片对终端进行操作的方法具体为： 根据采集到的人 眼图片计算当前界面上人眼所注视的坐标点； 计算人眼注视同一坐标点的持续时间， 根据人眼注视同一坐标点的持续时间对终端进行操作； 和 /或， 计算预设时间内人眼所 注视的坐标点的变化轨迹和变化速率， 根据人眼所注视的坐标点的变化轨迹和变化速 率对终端进行操作。 优选地， 根据人眼注视同一坐标点的持续时间对终端进行操作的方法具体为： 将 人眼注视同一坐标点的持续时间与预设阈值比较， 若持续时间大于预设阈值， 则执行 与该坐标点对应的操作。 优选地， 执行与该坐标点对应的操作的过程具体为： 根据该坐标点查询预设的与 该坐标点关联的操作指令， 根据查询出的操作指令进行操作。 优选地， 与该坐标点对应的操作包括： 放大显示比例、 缩小显示比例、 返回上一 页面和 /或进入下一页面。 优选地， 根据人眼所注视的坐标点的变化轨迹和变化速率对终端进行操作的方法 具体为： 采取与人眼所注视的坐标点同样的变化轨迹和同样的变化速率， 对终端显示 屏所显示的当前界面进行调整； 或者根据人眼所注视的坐标点的变化轨迹和变化速率 查询预设的与其关联的操作指令， 根据查询出的操作指令进行操作。 一种终端， 包括采集模块和操作模块， 其中， 采集模块设置为采集终端显示屏前 方操作者的人眼图片； 操作模块设置为根据所述采集模块采集到的人眼图片对终端进 行操作。 优选地， 所述采集模块设置为采集终端显示屏所显示的当前界面在操作者至少一 只眼睛的视网膜上的成像。 优选地， 所述操作模块包括坐标点计算模块、 坐标点分析模块和操作子模块， 其 中， 坐标点计算模块设置为根据采集到的人眼图片计算当前界面上人眼所注视的坐标 点； 坐标点分析模块设置为计算人眼注视同一坐标点的持续时间， 和 /或计算预设时间 内人眼所注视的坐标点的变化轨迹和变化速率； 操作子模块设置为根据人眼注视同一 坐标点的持续时间， 和 /或根据人眼所注视的坐标点的变化轨迹和变化速率对终端进行 操作。 优选地， 操作子模块包括比较模块和第一执行模块， 其中， 比较模块设置为将人 眼注视同一坐标点的持续时间与预设阈值比较； 第一执行模块设置为在所述比较模块 的比较结果为持续时间大于预设阈值时， 执行与该坐标点对应的操作。 优选地， 第一执行模块设置为根据该坐标点查询预设的与该坐标点关联的操作指 令， 根据查询出的操作指令进行操作。 优选地， 操作子模块包括第二执行模块， 第二执行模块设置为采取与人眼所注视 的坐标点同样的变化轨迹和同样的变化速率， 对终端显示屏所显示的当前界面进行调 整； 或者根据人眼所注视的坐标点的变化轨迹和变化速率查询预设的与其关联的操作 指令， 根据查询出的操作指令进行操作。 本发明实施例提供的终端操作方法及终端， 采集终端显示屏前方操作者的人眼图 片， 根据采集到的人眼图片对终端进行操作， 实现了在视效上的人机交互， 使终端显 示屏的显示页面跟随人眼变化而调整， 极大的提升了用户体验度。 附图说明 图 1为本发明一实施例提供的终端操作方法的流程图； 图 2为本发明一实施例提供的终端的示意图。 具体实施方式 下面通过具体实施方式结合附图对本发明作进一步详细说明。 图 1为本发明一实施例提供的终端操作方法的流程图， 请参考图 1 : S10K 采集终端显示屏前方操作者的人眼图片。 人眼图片能够反映人眼在显示屏 当前界面上的注视区域及人眼注视区域的变化。 注视区域包括点和面。 具体的， 用户在终端上开启动态跟踪人眼功能后， 前置摄像头开始运行， 通过前 置摄像头采集终端显示屏前方操作者的人眼图片。 正常人眨眼的频率是 15次每分钟， 即 0.25HZ, 而普通的摄像头，如卡西欧 EX-H35, 即可实现 0.13秒高速自动对焦拍照， 即每秒可以拍摄 7张以上 1600万像素的高清照片，拍照频率为 7HZ，远大于普通眨眼 频率， 另外高速摄像头一般都可以达到每秒 1000至 10000帧的摄像记录，所以本发明 实施例只需要采用普通的摄像头即可完成人眼图片的采集。 在一实施例中， 采集终端显示屏前方操作者的人眼图片的方法具体可以为： 采集 终端显示屏所显示的当前界面在操作者至少一只眼睛的视网膜上的成像。 通常， 当操 作者观看终端显示屏时， 当前显示界面会在人眼视网膜上成倒立缩小的实像， 在该实 施例中， 利用这一点来采集人眼图片非常便利， 无需额外的设计。 由于人眼视网膜上 所形成的是倒立缩小的成像， 因此在采集到该成像之后， 可以进行预处理， 如： 放大、 翻转等。
S102、 根据采集到的人眼图片对终端进行操作。 在一实施例中， 根据采集到的人眼图片对终端进行操作的方法具体可以为： 步骤 Al、 根据采集到的人眼图片计算当前界面上人眼所注视的坐标点。 步骤 Bl、 计算人眼注视同一坐标点的持续时间。 步骤 Cl、 根据人眼注视同一坐标点的持续时间对终端进行操作。 优选的，根据人眼注视同一坐标点的持续时间对终端进行操作的方法具体可以为： 将人眼注视同一坐标点的持续时间与预设阈值比较， 若持续时间大于预设阈值， 则执 行与该坐标点对应的操作， 比如： 放大显示比例、 缩小显示比例、 返回上一页面和 / 或进入下一页面。 优选的， 执行与该坐标点对应的操作具体可以为： 预先建立当前界面各坐标点与 操作指令的关联关系， 该关联关系可以保存在终端自身的存储空间， 也可以存储在与 终端能够通信的外部设备， 根据人眼持续注视的该坐标点查询与其关联的操作指令， 再根据查询出的操作指令进行操作。 例如： 终端显示屏当前界面显示的是文本信息， 预设的与当前界面上某一坐标点关联的操作指令是放大显示比例， 那么， 当操作者的 眼睛注视该坐标点的持续时间大于预设阈值时， 执行该操作指令， 即放大显示该坐标 点上的文字， 可极大的提升用户体验度。 在另一实施例中， 根据采集到的人眼图片对终端进行操作的方法具体可以为： 步骤 A2、 根据采集到的人眼图片计算当前界面上人眼所注视的坐标点。 步骤 B2、 计算预设时间内人眼所注视的坐标点的变化轨迹和变化速率。 步骤 C2、 根据人眼所注视的坐标点的变化轨迹和变化速率对终端进行操作。 优选的， 计算预设时间内人眼所注视的坐标点的变化轨迹和变化速率的方法可以 为： 采集预设时间内的人眼图片， 分析该预设时间内人眼所注视的坐标点的变化， 得 到变化轨迹和变化速率， 变化速率指的是单位时间内坐标点位置变化的速率。 优选的， 根据人眼所注视的坐标点的变化轨迹和变化速率对终端进行操作的方法 具体可以为： 采取与人眼所注视的坐标点同样的变化轨迹和同样的变化速率， 对终端 显示屏所显示的当前界面进行调整， 例如： 当操作者的人眼注视点从当前界面的最上 方， 以 0.2cm/ms的速率、 竖直向下移动时， 采用同样的速率和变化轨迹， 即 0.2cm/ms 的速率、 竖直向下移动显示页面， 相当于手动操作当前界面的滚动条。 使得终端显示 屏的显示页面跟随人眼变化而调整， 极大的提升了用户体验度。 或者， 还可以预先建立当前界面各坐标点的变化轨迹和变化速率与操作指令的关 联关系， 该关联关系可以保存在终端自身的存储空间， 也可以存储在与终端能够通信 的外部设备， 根据步骤 B2 中计算出的人眼所注视的坐标点的变化轨迹和变化速率查 询与其关联的操作指令， 根据查询出的操作指令进行操作。 例如： 当操作者的人眼注 视点从当前界面的最上方， 以 0.2cm/ms的速率、 竖直向下移动时， 根据 0.2cm/ms和 竖直向下这些参数， 查询与其关联的操作指令， 若查询到的操作指令是按照 0.5cm/ms 的速率、 竖直向下移动时， 执行该操作指令。 图 2为本发明一实施例提供的终端的示意图， 请参考图 2: 该终端包括采集模块 21和操作模块 22， 其中， 采集模块 21设置为采集终端显示屏前方操作者的人眼图片。 采集模块 21具体可以是摄像头，用户在终端上开启动态跟踪人眼功能后，前置摄 像头开始运行， 通过前置摄像头采集终端显示屏前方操作者的人眼图片。 人眼图片能 够反映人眼在显示屏当前界面上的注视区域及人眼注视区域的变化。 注视区域包括点 和面。 在一实施例中，采集模块 21可以设置为采集终端显示屏所显示的当前界面在操作 者至少一只眼睛的视网膜上的成像。 通常， 当操作者观看终端显示屏时， 当前显示界 面会在人眼视网膜上成倒立缩小的实像， 在该实施例中， 利用这一点来采集人眼图片 非常便利， 无需额外的设计。 由于人眼视网膜上所形成的是倒立缩小的成像， 因此在 采集模块 21采集到该成像之后， 可以对该人眼图片进行预处理， 如： 放大、 翻转等。 操作模块 22设置为根据采集模块 21采集到的人眼图片对终端进行操作。 在一实施例中， 操作模块 22可以包括坐标点计算模块 221、 坐标点分析模块 222 和操作子模块 223， 其中， 坐标点计算模块 221设置为根据采集模块 21采集到的人眼 图片计算当前界面上人眼所注视的坐标点； 坐标点分析模块 222设置为计算人眼注视 同一坐标点的持续时间， 和 /或计算预设时间内人眼所注视的坐标点的变化轨迹和变化 速率； 操作子模块 223设置为根据人眼注视同一坐标点的持续时间， 和 /或根据人眼所 注视的坐标点的变化轨迹和变化速率对终端进行操作。 优选地， 操作子模块 223可以包括比较模块 223a和第一执行模块 223b， 其中， 比较模块 223a设置为将人眼注视同一坐标点的持续时间与预设阈值比较；第一执行模 块 223b设置为在比较模块 223a的比较结果为持续时间大于预设阈值时， 执行与该坐 标点对应的操作。 比如： 放大显示比例、 缩小显示比例、 返回上一页面和 /或进入下一 页面。 优选的， 第一执行模块 223b具体可以设置为在比较模块 223a的比较结果为持 续时间大于预设阈值时， 根据人眼持续注视的该坐标点查询预设的与其关联的操作指 令， 再根据查询出的操作指令进行操作。 优选地， 操作子模块 223还可以包括第二执行模块 223c， 第二执行模块 223c设 置为采取与人眼所注视的坐标点同样的变化轨迹和同样的变化速率， 对终端显示屏所 显示的当前界面进行调整； 或者根据人眼所注视的坐标点的变化轨迹和变化速率查询 预设的与其关联的操作指令， 根据查询出的操作指令进行操作。 本发明实施例提供的终端操作方法及终端， 采集终端显示屏前方操作者的人眼图 片， 根据采集到的人眼图片对终端进行操作， 实现了在视效上的人机交互， 使终端显 示屏的显示页面跟随人眼变化而调整， 极大的提升了用户体验度。 以上内容是结合具体的实施方式对本发明所作的进一步详细说明， 不能认定本发 明的具体实施只局限于这些说明。 对于本发明所属技术领域的普通技术人员来说， 在 不脱离本发明构思的前提下， 还可以做出若干简单推演或替换， 都应当视为属于本发 明的保护范围。

Claims

权 利 要 求 书
1. 一种终端操作方法， 包括：
采集终端显示屏前方操作者的人眼图片；
根据采集到的人眼图片对终端进行操作。
2. 如权利要求 1所述的终端操作方法， 其中， 采集终端显示屏前方操作者的人眼 图片的方法具体为： 采集终端显示屏所显示的当前界面在操作者至少一只眼睛 的视网膜上的成像。
3. 如权利要求 1所述的终端操作方法， 其中， 根据采集到的人眼图片对终端进行 操作的方法具体为：
根据采集到的人眼图片计算当前界面上人眼所注视的坐标点； 计算人眼注视同一坐标点的持续时间， 根据人眼注视同一坐标点的持续时 间对终端进行操作； 和 /或， 计算预设时间内人眼所注视的坐标点的变化轨迹和 变化速率， 根据人眼所注视的坐标点的变化轨迹和变化速率对终端进行操作。
4. 如权利要求 3所述的终端操作方法， 其中， 根据人眼注视同一坐标点的持续时 间对终端进行操作的方法具体为： 将人眼注视同一坐标点的持续时间与预设阈 值比较， 若持续时间大于预设阈值， 则执行与该坐标点对应的操作。
5. 如权利要求 4所述的终端操作方法， 其中， 执行与该坐标点对应的操作的过程 具体为： 根据该坐标点查询预设的与该坐标点关联的操作指令， 根据查询出的 操作指令进行操作。
6. 如权利要求 4或 5所述的终端操作方法， 其中， 与该坐标点对应的操作包括： 放大显示比例、 缩小显示比例、 返回上一页面和 /或进入下一页面。
7. 如权利要求 3所述的终端操作方法， 其中， 根据人眼所注视的坐标点的变化轨 迹和变化速率对终端进行操作的方法具体为： 采取与人眼所注视的坐标点同样 的变化轨迹和同样的变化速率， 对终端显示屏所显示的当前界面进行调整； 或 者根据人眼所注视的坐标点的变化轨迹和变化速率查询预设的与其关联的操作 指令， 根据查询出的操作指令进行操作。
8. 一种终端， 包括采集模块和操作模块， 其中， 采集模块设置为采集终端显示屏前方操作者的人眼图片； 操作模块设置为根据所述采集模块采集到的人眼图片对终端进行操作。
9. 如权利要求 8所述的终端， 其中， 所述采集模块设置为采集终端显示屏所显示 的当前界面在操作者至少一只眼睛的视网膜上的成像。
10. 如权利要求 8所述的终端， 其中， 所述操作模块包括坐标点计算模块、 坐标点 分析模块和操作子模块， 其中，
坐标点计算模块设置为根据采集到的人眼图片计算当前界面上人眼所注视 的坐标点；
坐标点分析模块设置为计算人眼注视同一坐标点的持续时间，和 /或计算预 设时间内人眼所注视的坐标点的变化轨迹和变化速率；
操作子模块设置为根据人眼注视同一坐标点的持续时间，和 /或根据人眼所 注视的坐标点的变化轨迹和变化速率对终端进行操作。
11. 如权利要求 10所述的终端， 其中， 操作子模块包括比较模块和第一执行模块， 其中，
比较模块设置为将人眼注视同一坐标点的持续时间与预设阈值比较； 第一执行模块设置为在所述比较模块的比较结果为持续时间大于预设阈值 时， 执行与该坐标点对应的操作。
12. 如权利要求 11所述的终端，其中，第一执行模块设置为根据该坐标点查询预设 的与该坐标点关联的操作指令， 根据查询出的操作指令进行操作。
13. 如权利要求 10所述的终端， 其中， 操作子模块包括第二执行模块， 第二执行模 块设置为采取与人眼所注视的坐标点同样的变化轨迹和同样的变化速率， 对终 端显示屏所显示的当前界面进行调整； 或者根据人眼所注视的坐标点的变化轨 迹和变化速率查询预设的与其关联的操作指令， 根据查询出的操作指令进行操 作。
PCT/CN2013/081619 2012-11-27 2013-08-16 一种终端操作方法及终端 WO2014082472A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2012104907470A CN102981620A (zh) 2012-11-27 2012-11-27 一种终端操作方法及终端
CN201210490747.0 2012-11-27

Publications (1)

Publication Number Publication Date
WO2014082472A1 true WO2014082472A1 (zh) 2014-06-05

Family

ID=47855739

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/081619 WO2014082472A1 (zh) 2012-11-27 2013-08-16 一种终端操作方法及终端

Country Status (2)

Country Link
CN (1) CN102981620A (zh)
WO (1) WO2014082472A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981620A (zh) * 2012-11-27 2013-03-20 中兴通讯股份有限公司 一种终端操作方法及终端
KR102081930B1 (ko) * 2013-03-21 2020-02-26 엘지전자 주식회사 시선 위치를 디텍트하는 디스플레이 디바이스 및 제어 방법
CN104219482B (zh) * 2013-05-30 2017-10-03 鸿富锦精密工业（深圳）有限公司 视频终端设备及其判断眼神意图的方法
CN104216624B (zh) * 2013-05-30 2018-01-23 联想(北京)有限公司 一种显示方法和电子设备
CN103500061B (zh) * 2013-09-26 2017-11-07 三星电子（中国）研发中心 控制显示器的方法及设备
CN103500011B (zh) * 2013-10-08 2016-08-17 百度在线网络技术（北京）有限公司 眼动轨迹规律分析方法和装置
CN103678711B (zh) * 2013-12-30 2017-06-27 华为技术有限公司 一种页面特征表示方法、装置及设备
US9201578B2 (en) * 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
CN105807899B (zh) * 2014-12-30 2020-02-21 联想(北京)有限公司 一种电子设备及信息处理方法
CN105320261A (zh) * 2015-01-07 2016-02-10 维沃移动通信有限公司 移动终端的控制方法及移动终端
CN104866100B (zh) 2015-05-27 2018-11-23 京东方科技集团股份有限公司 眼控装置及其眼控方法和眼控系统
CN105931064A (zh) * 2015-07-10 2016-09-07 中国银联股份有限公司 信息推送方法、装置及智能眼镜
CN105824403A (zh) * 2015-09-21 2016-08-03 维沃移动通信有限公司 一种对终端进行操作的方法及终端
WO2017054196A1 (zh) * 2015-09-30 2017-04-06 华为技术有限公司 一种启动眼球追踪功能的方法及移动设备
CN107239144B (zh) 2017-06-09 2020-02-07 歌尔股份有限公司 一种设备的输入方法和装置
CN107566639A (zh) * 2017-08-31 2018-01-09 河南首弘电子科技有限公司 一种具有放大功能的手机及其屏幕放大方法
CN109324686B (zh) * 2018-08-13 2022-02-11 中国航天员科研训练中心 一种基于视线追踪的滑块操作方法
CN111601064B (zh) * 2020-05-18 2022-02-22 维沃移动通信有限公司 信息交互方法和信息交互装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101893934A (zh) * 2010-06-25 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种智能调整屏幕显示的方法和装置
US20110141010A1 (en) * 2009-06-08 2011-06-16 Kotaro Sakata Gaze target determination device and gaze target determination method
CN102662473A (zh) * 2012-04-16 2012-09-12 广东步步高电子工业有限公司 基于眼部动作识别来实现人机信息交互的装置及方法
CN102981620A (zh) * 2012-11-27 2013-03-20 中兴通讯股份有限公司 一种终端操作方法及终端

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
EP1376322A1 (de) * 2002-06-27 2004-01-02 Alcatel Verfahren und multimodale Benutzer-Schnittstelle zum Verarbeiten von Benutzereingaben
DK2202609T3 (en) * 2004-06-18 2016-04-25 Tobii Ab Eye control of computer equipment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110141010A1 (en) * 2009-06-08 2011-06-16 Kotaro Sakata Gaze target determination device and gaze target determination method
CN101893934A (zh) * 2010-06-25 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种智能调整屏幕显示的方法和装置
CN102662473A (zh) * 2012-04-16 2012-09-12 广东步步高电子工业有限公司 基于眼部动作识别来实现人机信息交互的装置及方法
CN102981620A (zh) * 2012-11-27 2013-03-20 中兴通讯股份有限公司 一种终端操作方法及终端

Also Published As

Publication number Publication date
CN102981620A (zh) 2013-03-20

Similar Documents

Publication Publication Date Title
WO2014082472A1 (zh) 一种终端操作方法及终端
RU2638004C2 (ru) Устройство обработки информации, способ управления отображением и программа
KR102337682B1 (ko) 디스플레이 장치 및 그의 제어 방법
EP3293620A1 (en) Multi-screen control method and system for display screen based on eyeball tracing technology
WO2016045579A1 (zh) 一种应用程序交互控制方法、装置及终端
WO2017113668A1 (zh) 一种根据眼部动作对终端进行控制的方法及装置
US10477090B2 (en) Wearable device, control method and non-transitory storage medium
US20150149956A1 (en) Method for gesture-based operation control
US20190109981A1 (en) Guided image composition on mobile devices
US20140015778A1 (en) Tablet device, and operation receiving method
CN102298500B (zh) 一种自适应屏幕缩放调整方法
WO2012041234A1 (zh) 基于摄像头的信息输入方法及终端
JP2016507802A (ja) アイウェアでのマルチタッチ対話
WO2020082275A1 (zh) 终端设备的绘制内容处理方法、装置及终端设备
WO2011153958A1 (zh) 屏幕显示方法及装置
US20170053448A1 (en) Display apparatus and controlling method thereof
CN102915193B (zh) 一种网页浏览方法、装置及智能终端
CN111736691A (zh) 头戴显示设备的交互方法、装置、终端设备及存储介质
CN102945077B (zh) 一种图片查看方法、装置及智能终端
WO2022179331A1 (zh) 拍摄方法、装置、移动终端及存储介质
CN110162185A (zh) 一种智能显示方法及装置
WO2012149713A1 (zh) 一种人机交互的方法及装置
WO2023040288A1 (zh) 显示设备及设备控制方法
WO2023011103A1 (zh) 参数控制方法、装置、头戴式显示设备以及存储介质
JP2011243108A (ja) 電子ブック装置及び電子ブック操作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13858338

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13858338

Country of ref document: EP

Kind code of ref document: A1