WO2012109815A1 - 一种通讯终端及人机交互的方法 - Google Patents
一种通讯终端及人机交互的方法 Download PDFInfo
- Publication number
- WO2012109815A1 WO2012109815A1 PCT/CN2011/072996 CN2011072996W WO2012109815A1 WO 2012109815 A1 WO2012109815 A1 WO 2012109815A1 CN 2011072996 W CN2011072996 W CN 2011072996W WO 2012109815 A1 WO2012109815 A1 WO 2012109815A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- communication terminal
- user
- input
- mood
- camera
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/66—Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
- H04M1/667—Preventing unauthorised calls from a telephone set
- H04M1/67—Preventing unauthorised calls from a telephone set by electronic means
Definitions
- the present invention relates to the field of communications technologies, and in particular, to a communication terminal and a method for human-computer interaction. Background technique
- the main object of the present invention is to provide a communication terminal and a method for human-computer interaction, which realizes human-computer interaction and emotional communication between the communication terminal and the user.
- a method for human-computer interaction comprising:
- the camera of the communication terminal inputs the facial information of the user; and the identity of the input facial information is determined;
- the communication terminal is unlocked and enters the application.
- the identifying the identity of the input facial information is:
- the communication terminal compares the input face information with the feature data of the user stored in advance, and discriminates when the comparison passes; otherwise, the determination fails.
- the method further includes:
- the user is prompted to input the password.
- the communication terminal makes an alarm.
- the method further includes: the camera inputting facial information of the user;
- the user's mood is confirmed and the user's mood is interacted.
- the discriminating the expression of the input facial information is:
- the object recognized by the communication terminal is locked to the user, and the input face information is compared with the feature data of the pre-stored case. When the comparison is passed, the determination is successful; if the comparison fails, the determination is unsuccessful.
- the method further includes:
- the communication terminal prompts the user to perform mood selection, and according to the selection information input by the user, confirms the user's mood and interacts according to the user's mood.
- the interaction according to the mood of the user is:
- one or more of the user interface UI color body, the color of the communication terminal, the preset language and/or icon, and the preset sound are displayed.
- the time interval for determining the facial expression of the input facial information is greater than 1 hour.
- a communication terminal includes a camera, and the communication terminal further includes: a discriminating unit and an unlocking unit; wherein
- a camera configured to input facial information of the user after the communication terminal is woken up; and a discriminating unit that discriminates the identity of the facial information input by the camera;
- the unlocking unit unlocks the communication terminal to enter the application when the discrimination of the identity performed by the determining unit passes.
- the discriminating unit compares the face information input by the camera with the feature data of the user stored in advance, and discriminates when the comparison passes; otherwise, the determination fails.
- the communication terminal further includes: a prompting unit, configured to prompt the user to input a password when the identification of the identity performed by the determining unit fails, and to make an alarm prompt when the password is input incorrectly.
- a prompting unit configured to prompt the user to input a password when the identification of the identity performed by the determining unit fails, and to make an alarm prompt when the password is input incorrectly.
- the communication terminal further includes an interaction unit
- the camera is configured to input the user's face information again after the communication terminal is unlocked into the application;
- the discriminating unit further discriminates the facial expression input by the camera; the interaction unit is configured to confirm the mood of the user when the discrimination of the expression performed by the discriminating unit is successful, and perform the mood according to the user's mood Interaction.
- the discriminating unit locks the identified object as a user, and compares the facial information input by the camera with the feature data of the pre-stored emoticon. When the comparison is passed, the discriminating is successful; if the comparison fails, the The judgment was unsuccessful.
- the prompting unit is configured to prompt the user to select a mood when the determination of the expression performed by the determining unit is unsuccessful;
- the interaction unit receives the selection information input by the user according to the prompting unit, Confirm the user's mood and interact according to the user's mood.
- the front shell of the communication terminal is injection molded with a light transmissive material, and is sprayed with a translucent paint, or with a transparent vacuum plating;
- the touch panel of the communication terminal is screen printed translucent paint, or the light is vacuum plated.
- the invention discriminates the user's face information input by the camera after the communication terminal is awakened, and if the discrimination is passed, the communication terminal unlocks and enters the application, realizing the human-computer interaction and emotional communication between the communication terminal and the user, and improving the User experience.
- FIG. 1 is a flowchart of an implementation of a method for human-computer interaction provided by the present invention
- FIG. 2 is a schematic structural diagram of a communication terminal provided by the present invention. detailed description
- the basic idea of the present invention is: After the communication terminal is awakened, the camera of the communication terminal inputs the face information of the user; the identity of the input face information is determined; if the determination is passed, the communication terminal unlocks the application.
- FIG. 1 shows an implementation flow of a method for human-computer interaction of the present invention. As shown in FIG. 1, the method includes the following steps:
- Step 101 When the communication terminal detects the pressing information of the button, the communication terminal is woken up; specifically, when the user needs to use the communication terminal, the wake-up operation of the communication terminal is performed by pressing any key.
- Step 102 The camera of the communication terminal takes a picture to the user and inputs the face information of the user.
- the user can take a picture through the front camera of the communication terminal to input the face information, and at the same time, the camera can be generally performed on the user.
- the pixel of the photo is set to 300 400 pixel format, to reduce d, the burden of the communication terminal CPU.
- Step 103 the communication terminal determines the identity of the input face information. If the determination fails, step 104 is performed; if the determination is passed, step 106 is performed;
- the communication terminal compares the input facial information with the pre-stored feature data of the user. If there is more than a preset number of feature data, the comparison passes, and the identity of the user is determined to pass; otherwise
- the pre-stored user's feature data may input facial information of different angles of the user by using a camera, wherein different angles include front view, side view, top view, bottom view, etc., a set of face information input by the camera Save as user's feature data.
- Step 104 prompting the user to input a password
- the communication terminal enters the password input page, prompting the user to input the password.
- the communication terminal is unlocked and enters the application. Otherwise, step 105 is performed.
- Step 105 When the password is input incorrectly, the communication terminal makes an alarm prompt
- the communication terminal can alert by prompting music or an alarm to protect privacy and anti-theft.
- Step 106 The communication terminal is unlocked and enters an application.
- Step 107 The camera of the communication terminal takes a photo to the user and inputs the facial information of the user.
- the front camera of the communication terminal can photograph the user during the use of the user, and input the facial information.
- the pixel in which the camera takes a picture of the user can be set to a format of 300 x 400 pixels to reduce the load on the communication terminal CPU.
- Step 108 the communication terminal performs facial expression discrimination on the input facial information, if the determination is unsuccessful, step 109 is performed; if the determination is successful, step 110 is performed;
- the object recognized by the communication terminal can be locked as the user, and the influence of different looks and different skin colors can be reduced in the process of recognition to reduce the expression. Identify the difficulty; you can also set it to be happy only, The identification of three simple expressions of normality and frustration; specifically, the communication terminal compares the facial information with the feature data of the preset simple expression, and if there is more than a preset number of feature data, the comparison is passed. At this time, the judgment is successful, otherwise the judgment is unsuccessful.
- the camera may be triggered for 5 minutes or 10 minutes, and then the user is photographed again to input the user's face information;
- step 109 is performed.
- Step 109 The communication terminal prompts the user to perform mood selection.
- the communication terminal can use the pop-up dialog box to select the mood of the user, and after receiving the selection information input by the user, step 110 is performed.
- Step 110 confirm the mood of the user, and interact according to the mood of the user
- the appropriate user interface (UI) color body can be replaced according to the confirmed mood, and the color of the communication terminal (such as the shell, the touchpad, etc.) can be changed by the light control, and relevant intelligent actions can be performed.
- the content of the UI color body includes: all interfaces except the application icon, such as a background, a system icon, a toolbar, and the like.
- the UI interaction can use a UI scheme with a common hue of black and white, and a UI of a plurality of color bodies can be added at the same time, such as adding a UI of a red body and a blue body, so that the UI can be in a black and white body, a red body, and a blue body.
- Switching according to the confirmed user's mood if the user's mood is confirmed to be normal, the UI is the interface of the black and white body; when the user's mood is confirmed to be happy, happy or excited, the UI is red main body. Interface; When the user's mood is confirmed to be frustrated, sad, etc., the UI is the interface of the blue body.
- the change of the color of the communication terminal (such as the shell, the touchpad, etc.) by the light control can be realized by designing the hardware of the communication terminal.
- the touch panel communication terminal is specifically described:
- the front shell of the communication terminal can be ⁇ Injecting with a light-transmitting material and spraying Translucent paint, or light-transparent vacuum plating; touch screen (TP) screen printing translucent paint, or light-transparent vacuum plating; three-color or multi-color lamps are arranged on the main board of the communication terminal, and the light is used to change the front
- the color of the shell and TP In order to make the lights hook, you can use the breathing light, that is, arrange multiple breathing lights on the main board of the communication terminal, and at the same time, you need to take into account the light shielding factor of the light to avoid the light. Directly from the front shell, TP, resulting in uneven transparency of the front shell, TP.
- the step may further include adding a document display function in an appropriate area of the UI to perform emotional communication with the user, such as automatically displaying a preset language and/or icon according to the user mood obtained by the confirmation;
- a document display function in an appropriate area of the UI to perform emotional communication with the user, such as automatically displaying a preset language and/or icon according to the user mood obtained by the confirmation;
- the time interval for the communication terminal to perform the expression determination may be set to be greater than 1 hour, such as, for example, when the user is using the communication terminal, at nine o'clock.
- the communication terminal performs the expression discrimination if the time interval of the above setting is more than 1 hour, the communication terminal will only be used when the user uses the communication terminal at the time after ten o'clock. The user's expression discrimination is performed again.
- the communication terminal includes a camera 21, a discriminating unit 22, and an unlocking unit 23;
- the camera 21 is configured to input facial information of the user after the communication terminal is woken up; specifically, when the CPU of the communication terminal detects that the button of the communication terminal is pressed, the communication terminal is awakened, and, in the embodiment of the present invention, The pixel that the camera 21 takes to take a picture of the user is set to a format of 300 ⁇ 400 pixels, so as to reduce the burden on the CPU of the communication terminal;
- the determining unit 22 is configured to determine the identity of the face information input by the camera 21; and the unlocking unit 23 is configured to unlock the communication terminal to enter the application when the determination of the identity performed by the determining unit 22 passes.
- the determining unit 22 is specifically configured to compare the face information input by the camera 21 with the feature data of the user stored in advance, and determine the passage when the comparison passes; otherwise, the determination fails; specifically
- the discriminating unit 22 compares the input face information with the feature data of the user stored in advance, and if there is an excess of the preset number of feature data, the comparison is passed, and the identity of the user is determined to pass; otherwise, the discrimination is determined. Failing; wherein, the pre-stored user's feature data can input facial information of different angles of the user by using the camera 21, wherein different angles include front view, top view, bottom view, etc., and a set of face information input by the camera 21 is saved as a user. Characteristic data.
- the communication terminal further includes: a prompting unit 24, configured to prompt the user to input a password when the identification of the identity performed by the determining unit 22 fails, and when the password is input incorrectly, an alert prompt is generated, specifically The alert can be made by music or alarm; when the password is entered correctly, the unlocking unit 23 unlocks the communication terminal and enters the application.
- a prompting unit 24 configured to prompt the user to input a password when the identification of the identity performed by the determining unit 22 fails, and when the password is input incorrectly, an alert prompt is generated, specifically The alert can be made by music or alarm; when the password is entered correctly, the unlocking unit 23 unlocks the communication terminal and enters the application.
- the communication terminal further includes an interaction unit 25, wherein the camera 21 is further configured to input the user's face information again after the unlocking unit 23 unlocks the communication terminal into the application, in the embodiment of the present invention, the camera The pixel for taking a picture of the user is set to a format of 300 x 400 pixels to reduce the burden on the CPU of the communication terminal; the determining unit 22 is further configured to determine the expression of the face information input by the camera 21; The interaction unit 25 is configured to confirm the mood of the user when the determination of the expression performed by the determination unit 22 is successful, and perform interaction according to the mood of the user.
- the discriminating unit 22 is specifically configured to lock the identified object as a user, and compare the facial information input by the camera 21 with the pre-stored facial expression feature data. When the comparison is passed, the determination is successful; otherwise, the discrimination is successful. Unsuccessful; specifically, the process of identifying by the discriminating unit 22 In the embodiment of the present invention, the discriminating unit 22 will be described in the embodiment of the present invention, in which the three different expressions of happiness, normality, and frustration are recognized.
- the facial information is compared with the characteristic data of the preset simple expression. If there is more than a preset number of characteristic data, if the comparison is passed, the determination is successful at this time, otherwise the determination is unsuccessful.
- the determination unit 22 can also trigger the camera 21 to wait for a period of 5 minutes or 10 minutes, and then take a picture of the user again to input the user's face information.
- the prompting unit 24 is further configured to prompt the user to select a mood when the determination of the expression performed by the determining unit 22 is unsuccessful; wherein the determination of the expression performed by the determining unit 22 is unsuccessful, including the input of the camera 21
- the face information is often invalid for invalid information, or the face information is valid but cannot be determined successfully for many times.
- the interaction unit 25 confirms the mood of the user according to the selection information input by the user, and performs the interaction according to the mood of the user. Specifically, in the embodiment of the present invention, the interaction unit 25 can obtain the confirmation according to the confirmation. Different moods, replace the appropriate UI color body, change the color of the communication terminal (such as the shell, touchpad, etc.) through the light control, and interact with the relevant intelligent actions;
- the content of the UI color body includes: all interfaces except the application icon, such as a background, a system icon, a toolbar, and the like.
- the UI interaction can use a UI scheme with a common hue of black and white, and a UI of a plurality of color bodies can be added at the same time, such as adding a UI of a red body and a blue body, so that the UI can be in a black and white body, a red body, and a blue body.
- Switching according to the confirmed user's mood if the user's mood is confirmed to be normal, the UI is the interface of the black and white body; when the user's mood is confirmed to be happy, happy or excited, the UI is red main body.
- the interaction unit 25 can also control the transformation of the color of the light to change the color of the communication terminal (such as the shell, the touchpad, etc.). For example, when the confirmed user's mood is happy, the interaction unit 25 converts the light color into red, wherein
- the design of the hardware of the communication terminal is implemented in the embodiment of the present invention.
- the front cover of the communication terminal can be injection molded with a light transmissive material, and sprayed with a translucent paint, or with a transparent vacuum plating.
- the breathing lamp can be selected, that is, a plurality of breathing lamps are arranged on the main board of the communication terminal, and at the same time, the light shielding plate factor of the lamp needs to be taken into consideration during the arrangement to avoid the light directly from the front shell and the TP, resulting in the front shell.
- the light transmission effect of TP is not uniform.
- the interaction unit 25 may further add a document display function in an appropriate area of the UI for performing emotional communication with the user, such as automatically displaying a preset language and/or icon to interact with the user according to the user mood obtained by the confirmation; It is understood that, if the discrimination of the expression performed by the discriminating unit 22 is set to perform only the recognition of three simple expressions of happiness, normality, and gesture, the language and/or icon relative to the above three simple expressions can be adaptively set herein;
- the interaction unit 25 can also demonstrate that the preset sound for emotion expression cooperates with the above document display to enhance the user experience.
- the time interval for the communication terminal to perform the expression determination may be set to be greater than one hour, such that, for example, when the user is using the communication terminal.
- the time interval set by the communication is more than 1 hour, the communication terminal is only used when the user uses the communication terminal at the time after ten o'clock. The user's expression will be judged again.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
本发明提供了一种通讯终端及人机交互的方法，所述方法包括下述步骤：通讯终端被唤醒后，通讯终端的摄像头输入用户的面部信息；对输入的面部信息进行身份的判别；若判别通过，通讯终端解锁进入应用。本发明通过在通讯终端被唤醒后，对摄像头输入的用户面部信息进行身份判别，若判别通过，则通讯终端解锁进入应用，实现了通讯终端和用户之间的人机交互及情感交流，提升了用户的使用体验。
Description
一种通讯终端及人机交互的方法 技术领域
本发明涉及通讯技术领域， 尤其涉及一种通讯终端及人机交互的方法。 背景技术
计算机人脸表情识别技术是近几十年才逐渐发展起来的， 现在逐渐成 为科研的热点。 最早的人脸表情研究是 Suwa和 Sugie等人于 1978年对表 情识别所做的一个最初的尝试， 他跟踪一段脸部视频动画， 得到每帧图片 上 20个关键的运动规律， 将此运动规律与预先建立的不同表情的关键点运 动模型相比较。 到 1981年有人用仿生学方法从肌肉角度的观点为面部表情 建立模型。
起初 Ekman和 Frieman系统建立了一个由上千幅不同人脸表情的图像 库。 近来美国 CMU机器人研究所和心理学系共同建立了 Cohn-Kanade、 AU-Coded人脸表情库。现有 210个 18岁到 50岁成年人的脸部表情图像序 列。 CMU还建立有 PIE表情库， 包括 68人的 41368幅图像。 加州大学圣 克鲁兹分校知觉实验室的人脸运动表情图像是基于 FACE的主要用于神经 网络方法分类面部行为的训练图像。 然而目前越来越普及使用的通讯终端 还不能够很好地实现人机交互， 尤其是一种情感上的交互， 不能满足用户 更好地使用体验。 发明内容
有鉴于此， 本发明的主要目的在于提供一种通讯终端及人机交互的方 法， 实现了通讯终端和用户之间的人机交互及情感交流。
为达到上述目的， 本发明的技术方案是这样实现的：
一种人机交互的方法， 所述方法包括：
通讯终端被唤醒后， 通讯终端的摄像头输入用户的面部信息； 对输入的面部信息进行身份的判别；
若判别通过， 通讯终端解锁进入应用。
进一步地， 所述对输入的面部信息进行身份的识别为：
通讯终端将输入的面部信息与预先存储的用户的特征数据进行比对， 当比对通过时， 则判别通过； 否则为判别未通过。
进一步地， 在所述进行身份的判别之后， 所述方法还包括：
若判别未通过， 提示用户进行密码的输入， 当密码输入错误时， 通讯 终端做出告警提示。
进一步地， 所述通讯终端解锁进入应用之后， 所述方法还包括： 所述摄像头输入用户的面部信息；
对输入的面部信息进行表情的判别；
若判别成功， 则确认用户的心情， 并按照用户的心情进行交互。
其中， 所述对输入的面部信息进行表情的判别为：
通讯终端识别的对象锁定为用户， 将输入的面部信息与预先存储的表 情的特征数据进行比对， 当比对通过时， 则判别成功； 比对未通过， 则为 判别未成功。
进一步地， 在对输入的面部信息进行表情的判别之后， 所述方法还包 括：
若判别未成功， 通讯终端提示用户进行心情选择， 并根据用户输入的 选择信息， 确认用户的心情， 按照用户的心情进行交互。
其中， 所述按照用户的心情进行交互为：
按照用户的心情， 更换用户界面 UI颜色主体、 改变通讯终端的灯光颜 色、 显示预先设置的语言和 /或图标、 演示预设的声音的一种或几种。
其中， 所述对输入的面部信息进行表情的判别的时间间隔为大于 1 个 小时。
一种通讯终端， 包括摄像头， 所述通讯终端还包括： 判别单元、 解锁 单元； 其中，
摄像头， 设置为在通讯终端被唤醒后， 输入用户的面部信息； 判别单元， 对所述摄像头输入的面部信息进行身份的判别；
解锁单元， 当所述判别单元进行的身份的判别通过时， 解锁通讯终端 进入应用。
其中， 所述判别单元对所述摄像头输入的面部信息与预先存储的用户 的特征数据进行比对， 当比对通过时， 则判别通过； 否则为判别未通过。
进一步地， 所述通讯终端还包括： 提示单元， 设置为当所述判别单元 进行的身份的判别未通过时， 提示用户进行密码的输入， 当密码输入错误 时， 做出告警提示。
进一步地， 所述通讯终端还包括交互单元； 其中，
所述摄像头， 设置为在通讯终端解锁进入应用后， 再次输入用户的面 部信息；
所述判别单元， 还对所述摄像头输入的面部信息进行表情的判别； 所述交互单元， 设置为当所述判别单元进行的表情的判别成功时， 确 认用户的心情， 并按照用户的心情进行交互。
其中， 所述判别单元锁定识别的对象为用户， 将所述摄像头输入的面 部信息与预先存储的表情的特征数据进行比对， 当比对通过时， 则判别成 功； 比对未通过， 则为判别未成功。
其中， 所述提示单元设置为当所述判别单元进行的表情的判别未成功 时， 提示用户进行心情的选择；
相应地， 所述交互单元根据提示单元接收到的用户输入的选择信息，
确认用户的心情， 按照用户的心情进行交互。
其中， 所述通讯终端的前壳釆用透光材料注塑， 并喷有半透明油漆、 或者釆用透光真空镀；
所述通讯终端的触摸板丝印半透明油漆、 或者釆用透光真空镀。
本发明通过在通讯终端被唤醒后， 对摄像头输入的用户面部信息进行 身份判别， 若判别通过， 则通讯终端解锁进入应用， 实现了通讯终端和用 户之间的人机交互及情感交流， 提升了用户的使用体验。 附图说明
图 1为本发明提供的人机交互的方法的实现流程图；
图 2为本发明提供的通讯终端的结构示意图。 具体实施方式
本发明的基本思想为： 通讯终端被唤醒后， 通讯终端的摄像头输入用 户的面部信息； 对输入的面部信息进行身份的判别； 若判别通过， 通讯终 端解锁进入应用。
为使本发明的目的、 技术方案和优点更加清楚明白， 以下举实施例并 参照附图， 对本发明进一步详细说明。
图 1示出了本发明人机交互的方法的实现流程， 如图 1所示， 所述方 法包括下述步骤：
步骤 101 , 当通讯终端检测到按键的按压信息时， 通讯终端被唤醒； 具体地， 当用户需要使用通讯终端时， 通过按压任意键进行通讯终端 的唤醒操作。
步骤 102, 通讯终端的摄像头对用户进行拍照， 输入用户的面部信息； 本步骤中， 具体可以通过通讯终端的前置摄像头对用户拍照， 进行面 部信息的输入， 同时， 一般可以将摄像头对用户进行拍照的像素设置为 300
400像素的格式， 以减 d、通讯终端 CPU的负担。
步骤 103 ,通讯终端对输入的面部信息进行身份的判另' 若判别未通过， 执行步骤 104; 若判别通过， 执行步骤 106;
本步骤中， 通讯终端将输入的面部信息与预先存储的用户的特征数据 进行比对， 若存在多于预设个数的特征数据吻合， 则比对通过， 认为该用 户的身份判别通过； 否则为判别未通过； 其中， 预先存储的用户的特征数 据可以通过运用摄像头输入用户不同角度的面部信息， 其中不同角度包括 正视、 侧视、 俯视、 仰视等， 将所述摄像头输入的一组面部信息保存为用 户的特征数据。
步骤 104, 提示用户进行密码的输入；
通讯终端进入密码输入页面， 提示用户进行密码的输入， 当密码输入 正确， 则通讯终端解锁进入应用， 否则， 执行步骤 105。
步骤 105 , 当密码输入错误时， 通讯终端做出告警提示；
具体地， 一般可以设置当密码输入 3 次连续失败时， 通讯终端可以通 过提示音乐或警报进行告警， 以起到保护隐私以及防盗的目的。
步骤 106, 通讯终端解锁， 进入应用；
步骤 107, 通讯终端的摄像头对用户进行拍照， 输入用户的面部信息； 本步骤中， 具体可以通过通讯终端的前置摄像头在用户的使用过程中 对用户拍照， 进行面部信息的输入， 同时， 一般可以将摄像头对用户进行 拍照的像素设置为 300 x 400像素的格式， 以减小通讯终端 CPU的负担。
步骤 108 ,通讯终端对输入的面部信息进行表情的判别，若判别未成功， 则执行步骤 109; 若判别成功， 则执行步骤 110;
本步骤中， 为了提高脸部表情识别的效率和准确性， 可以将通讯终端 进行识别的对象锁定为用户， 并且在识别的过程中可以不需要考虑不同长 相、 不同肤色的影响， 来减小表情识别难度； 也可以设置为只进行快乐、
常态、 失意三种简单表情的识别； 具体为， 通讯终端将所述面部信息与预 设的简单表情的特征数据进行比对， 若存在多于预设个数的特征数据吻合， 则比对通过时， 此时为判别成功， 否则为判别未成功。
若输入的面部信息为无效信息， 可以触发摄像头间隔 5分钟或 10分钟 等时长后， 再次对用户进行拍照， 进行用户面部信息的输入；
当输入的面部信息多次为无效信息或面部信息有效但多次不能确认判 别成功时， 则执行步骤 109。
步骤 109, 通讯终端提示用户进行心情选择；
本步骤中， 通讯终端可以通过弹出对话框来供用户进行心情的选择， 接收到用户输入的选择信息后， 执行步骤 110。
步骤 110, 确认用户的心情， 并按照用户的心情进行交互；
本步骤中，可以根据确认得到的心情的不同，更换适当的用户界面（ User Interface, UI )颜色主体， 通过灯光控制改变通讯终端局部（如上壳、 触摸 板等） 的颜色， 并进行相关智能动作的交互；
具体地， UI颜色主体的内容包括： 除应用程序图标外的所有界面， 如 背景、 系统图标、 工具条等等。 UI交互可以选用主色调为黑白的普通色调 的 UI方案， 同时可以增加多个颜色主体的 UI,如增加红色主体和蓝色主体 的 UI, 使得 UI可在黑白主体、 红色主体、 蓝色主体之间根据确认的用户的 心情进行切换； 如当确认得到的用户心情为常态时， 则 UI为黑白主体的界 面； 当确认得到的用户心情为快乐、 开心或兴奋等状态时， UI为红色主体 的界面； 当确认得到的用户心情为失意、 伤心等状态时， UI为蓝色主体的 界面。
其中， 通过灯光控制改变通讯终端局部 （如上壳、 触摸板等） 的颜色 可以通过对通讯终端的硬件进行设计实现， 本发明实施例中以直板触摸屏 通讯终端进行具体说明： 通讯终端的前壳可以釆用透光材料注塑， 并喷涂
半透明油漆， 或者釆用透光真空镀； 触摸板（TP )丝印半透明油漆， 或者 釆用透光真空镀； 在通讯终端的主板上布置有三色灯或多色灯， 运用灯光 来改变前壳和 TP的颜色； 为了使灯光均勾， 可以选用呼吸灯， 即在通讯终 端主板上均勾布置多个呼吸灯， 同时在布置的同时需要将灯的遮光板因素 考虑在内， 以避免灯光直接从前壳、 TP透出， 造成前壳、 TP的透光效果不 均匀。
另外， 本步骤中还可以包括在 UI适当区域内增加文档显示功能， 用以 与用户进行情感交流， 如根据确认得到的用户心情， 自动显示预先设置的 语言和 /或图标等与用户进行互动； 应当理解， 若通讯终端所进行的表情的 判别设置为只进行快乐、 常态、 示意三种简单表情的识别时， 则此处可以 适应地设置相对于上述三种简单表情的语言和 /或图标；
同理， 也可以演示预设的用于情感表达的声音与上述文档显示配合， 增强用户的使用体验。
应当理解， 本发明实施例中， 为了减少摄像头拍照时的耗电量， 可以 设置通讯终端进行表情判别的时间间隔为大于 1 小时， 这样， 例如当用户 在使用通讯终端的过程中， 在九点整的时刻点， 通讯终端进行了表情判别， 则在前述设置的时间间隔为大于 1 个小时的情况下， 只有用户在十点之后 的时刻， 再进行通讯终端的使用时， 该通讯终端才会再次进行用户的表情 判别。
图 2示出了本发明提供的通讯终端的结构示意， 如图 2所示， 所述通 讯终端包括摄像头 21、 判别单元 22、 及解锁单元 23; 其中，
摄像头 21 , 用于在通讯终端被唤醒后， 输入用户的面部信息； 具体地， 当通讯终端的 CPU检测到通讯终端的按键被按压时， 则通讯终端被唤醒， 并且， 在本发明实施例中， 摄像头 21对用户进行拍照的像素设置为 300 X 400像素的格式， 以减小通讯终端 CPU的负担；
判别单元 22, 用于对所述摄像头 21输入的面部信息进行身份的判别； 解锁单元 23 , 用于当所述判别单元 22进行的身份的判别通过时，解锁 通讯终端进入应用。
进一步地， 所述判别单元 22具体用于对所述摄像头 21输入的面部信 息与预先存储的用户的特征数据进行比对， 当比对通过时， 则判别通过； 否则为判别未通过； 具体地， 判别单元 22将输入的面部信息与预先存储的 用户的特征数据进行比对， 若存在多余预设个数的特征数据相吻合， 则比 对通过， 认为该用户的身份判别通过； 否则为判别未通过； 其中， 预先存 储的用户的特征数据可以通过运用摄像头 21 输入用户不同角度的面部信 息， 其中不同角度包括正视、 俯视、 仰视等， 将所述摄像头 21输入的一组 面部信息保存为用户的特征数据。
进一步地， 所述通讯终端还包括： 提示单元 24, 用于当所述判别单元 22进行的身份的判别未通过时， 提示用户进行密码的输入， 当密码输入错 误时， 做出告警提示， 具体可以通过音乐或警报做出告警提示； 当密码输 入正确， 则解锁单元 23解锁通讯终端进入应用。
进一步地， 所述通讯终端还包括交互单元 25; 其中， 所述摄像头 21 , 还用于在解锁单元 23对通讯终端解锁进入应用后， 再次输入用户的面部信 息， 在本发明实施例中，摄像头 21对用户进行拍照的像素设置为 300 x 400 像素的格式， 以减小通讯终端 CPU的负担； 所述判别单元 22, 还用于对所 述摄像头 21输入的面部信息进行表情的判别； 所述交互单元 25 , 用于当所 述判别单元 22进行的表情的判别成功时， 确认用户的心情， 并按照用户的 心情进行交互。
其中， 所述判别单元 22具体用于锁定识别的对象为用户， 将所述摄像 头 21输入的面部信息与预先存储的表情特征数据进行比对，当比对通过时， 则判别成功； 否则为判别未成功； 具体地， 在判别单元 22进行识别的过程
中可以不需要考虑不同长相、 不同肤色的影响， 来减小表情识别难度； 也 可以设置为只进行快乐、 常态、 失意三种简单表情的识别； 本发明实施例 中， 判别单元 22将所述面部信息与预设的简单表情的特征数据进行比对， 若存在多于预设个数的特征数据吻合， 则比对通过时， 此时为判别成功， 否则为判别未成功。
若摄像头 21输入的面部信息为无效信息， 判别单元 22还可以触发摄 像头 21间隔 5分钟或 10分钟等时长后， 再次对用户进行拍照， 进行用户 面部信息的输入。
其中， 所述提示单元 24还用于当所述判别单元 22进行的表情的判别 未成功时， 提示用户进行心情的选择； 其中， 判别单元 22进行的表情的判 别未成功的情形包括摄像头 21输入的面部信息多次为无效信息、 或面部信 息有效但多次不能判别成功等情形。
相应地， 所述交互单元 25根据提示单元 24接收到的用户输入的选择 信息， 确认用户的心情， 按照用户的心情进行交互； 具体地， 本发明实施 例中， 交互单元 25可以根据确认得到的心情的不同， 更换适当的 UI颜色 主体， 通过灯光控制改变通讯终端局部 （如上壳、 触摸板等） 的颜色， 并 进行相关智能动作的交互；
具体地， UI颜色主体的内容包括： 除应用程序图标外的所有界面， 如 背景、 系统图标、 工具条等等。 UI交互可以选用主色调为黑白的普通色调 的 UI方案， 同时可以增加多个颜色主体的 UI,如增加红色主体和蓝色主体 的 UI, 使得 UI可在黑白主体、 红色主体、 蓝色主体之间根据确认的用户的 心情进行切换； 如当确认得到的用户心情为常态时， 则 UI为黑白主体的界 面； 当确认得到的用户心情为快乐、 开心或兴奋等状态时， UI为红色主体 的界面； 当确认得到的用户心情为失意、 伤心等状态时， UI为蓝色主体的 界面。
交互单元 25还可以控制灯光颜色的变换来改变通讯终端局部（如上壳、 触摸板等）的颜色， 如当确认的用户的心情为开心时， 交互单元 25将灯光 颜色变换为红色， 其中， 可以通过对通讯终端的硬件进行设计实现， 本发 明实施例中以直板触摸屏通讯终端进行具体说明： 通讯终端的前壳可以釆 用透光材料注塑， 并喷涂半透明油漆， 或者釆用透光真空镀； 触摸板（TP ) 丝印半透明油漆， 或者釆用透光真空镀； 在通讯终端的主板上布置有三色 灯或多色灯， 运用灯光来改变前壳和 TP的颜色； 为了使灯光均勾， 可以选 用呼吸灯， 即在通讯终端主板上均勾布置多个呼吸灯， 同时在布置的同时 需要将灯的遮光板因素考虑在内， 以避免灯光直接从前壳、 TP透出， 造成 前壳、 TP的透光效果不均匀。
另外， 交互单元 25还可以在 UI适当区域内增加文档显示功能， 用以 与用户进行情感交流， 如根据确认得到的用户心情， 自动显示预先设置的 语言和 /或图标等与用户进行互动； 应当理解， 若判别单元 22所进行的表情 的判别设置为只进行快乐、 常态、 示意三种简单表情的识别时， 则此处可 以适应地设置相对于上述三种简单表情的语言和 /或图标；
同理， 交互单元 25也可以演示预设的用于情感表达的声音与上述文档 显示配合， 增强用户的使用体验。
应当理解， 本发明实施例中， 为了减少摄像头 21拍照时的耗电量， 可 以设置通讯终端进行表情判别的时间间隔为大于 1 小时， 这样， 例如当用 户在使用通讯终端的过程中， 在九点整的时刻点， 通讯终端进行了表情判 别， 则在前述设置的时间间隔为大于 1 个小时的情况下， 只有用户在十点 之后的时刻， 再进行通讯终端的使用时， 该通讯终端才会再次进行用户的 表情判别。
以上所述， 仅为本发明的较佳实施例而已， 并非用于限定本发明的保 护范围。
Claims
1、 一种人机交互的方法， 其中， 所述方法包括：
通讯终端被唤醒后， 通讯终端的摄像头输入用户的面部信息； 对输入的面部信息进行身份的判别；
若判别通过， 通讯终端解锁进入应用。
2、 根据权利要求 1所述的方法， 其中， 所述对输入的面部信息进行身 份的识别为：
通讯终端将输入的面部信息与预先存储的用户的特征数据进行比对， 当比对通过时， 则判别通过； 否则为判别未通过。
3、 根据权利要求 1所述的方法， 其中， 在所述进行身份的判别之后， 所述方法还包括：
若判别未通过， 提示用户进行密码的输入， 当密码输入错误时， 通讯 终端做出告警提示。
4、 根据权利要求 1所述的方法， 其中， 所述通讯终端解锁进入应用之 后， 所述方法还包括：
所述摄像头输入用户的面部信息；
对输入的面部信息进行表情的判别；
若判别成功， 则确认用户的心情， 并按照用户的心情进行交互。
5、 根据权利要求 4所述的方法， 其中， 所述对输入的面部信息进行表 情的判别为：
通讯终端识别的对象锁定为用户， 将输入的面部信息与预先存储的表 情的特征数据进行比对， 当比对通过时， 则判别成功； 比对未通过， 则为 判别未成功。
6、 根据权利要求 4所述的方法， 其中， 在对输入的面部信息进行表情 的判别之后， 所述方法还包括： 若判别未成功， 通讯终端提示用户进行心情选择， 并根据用户输入的 选择信息， 确认用户的心情， 按照用户的心情进行交互。
7、 根据权利要求 4或 6所述的方法， 其中， 所述按照用户的心情进行 交互为：
按照用户的心情， 更换用户界面 UI颜色主体、 改变通讯终端的灯光颜 色、 显示预先设置的语言和 /或图标、 演示预设的声音的一种或几种。
8、 根据权利要求 4所述的方法， 其中， 所述对输入的面部信息进行表 情的判别的时间间隔为大于 1个小时。
9、 一种通讯终端， 包括摄像头， 其中， 所述通讯终端还包括： 判别单 元、 解锁单元； 其中，
摄像头， 设置为在通讯终端被唤醒后， 输入用户的面部信息； 判别单元， 对所述摄像头输入的面部信息进行身份的判别；
解锁单元， 当所述判别单元进行的身份的判别通过时， 解锁通讯终端 进入应用。
10、 根据权利要求 9所述的通讯终端， 其中， 所述判别单元对所述摄 像头输入的面部信息与预先存储的用户的特征数据进行比对， 当比对通过 时， 则判别通过； 否则为判别未通过。
11、 根据权利要求 9所述的通讯终端， 其中， 所述通讯终端还包括： 进行密码的输入， 当密码输入错误时， 做出告警提示。
12、 根据权利要求 9至 11任一项所述的通讯终端， 其中， 所述通讯终 端还包括交互单元； 其中，
所述摄像头， 设置为在通讯终端解锁进入应用后， 再次输入用户的面 部信息；
所述判别单元， 还对所述摄像头输入的面部信息进行表情的判别； 所述交互单元， 设置为当所述判别单元进行的表情的判别成功时， 确 认用户的心情， 并按照用户的心情进行交互。
13、 根据权利要求 12所述的通讯终端， 其中， 所述判别单元锁定识别 的对象为用户， 将所述摄像头输入的面部信息与预先存储的表情的特征数 据进行比对， 当比对通过时， 则判别成功； 比对未通过， 则为判别未成功。
14、 根据权利要求 12所述的通讯终端， 其中， 所述提示单元设置为当 所述判别单元进行的表情的判别未成功时， 提示用户进行心情的选择； 相应地， 所述交互单元根据提示单元接收到的用户输入的选择信息， 确认用户的心情， 按照用户的心情进行交互。
15、 根据权利要求 9所述的通讯终端， 其中， 所述通讯终端的前壳釆 用透光材料注塑， 并喷有半透明油漆、 或者釆用透光真空镀；
所述通讯终端的触摸板丝印半透明油漆、 或者釆用透光真空镀。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110039946.5A CN102645968B (zh) | 2011-02-17 | 2011-02-17 | 一种通讯终端及人机交互的方法 |
| CN201110039946.5 | 2011-02-17 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2012109815A1 true WO2012109815A1 (zh) | 2012-08-23 |
Family
ID=46658818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2011/072996 WO2012109815A1 (zh) | 2011-02-17 | 2011-04-19 | 一种通讯终端及人机交互的方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN102645968B (zh) |
| WO (1) | WO2012109815A1 (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104182669A (zh) * | 2013-05-21 | 2014-12-03 | 鸿富锦精密工业（深圳）有限公司 | 移动终端开机系统及移动终端开机方法 |
| CN103347120A (zh) * | 2013-06-20 | 2013-10-09 | 上海华勤通讯技术有限公司 | 手机的外壳色彩调节方法及手机 |
| CN103440446A (zh) * | 2013-08-23 | 2013-12-11 | 广东欧珀移动通信有限公司 | 智能终端私密内容保护解锁操作方法和装置 |
| CN103543924B (zh) * | 2013-10-16 | 2017-05-10 | 广东欧珀移动通信有限公司 | 一种移动终端的渲染方法及装置 |
| CN104023125A (zh) * | 2014-05-14 | 2014-09-03 | 上海卓悠网络科技有限公司 | 根据用户情绪自动切换系统场景的方法及终端 |
| CN104063150A (zh) * | 2014-06-30 | 2014-09-24 | 惠州Tcl移动通信有限公司 | 通过人脸识别进入对应场景模式的移动终端及其实现方法 |
| CN104202718A (zh) * | 2014-08-05 | 2014-12-10 | 百度在线网络技术（北京）有限公司 | 一种向用户提供信息的方法与装置 |
| CN104317512B (zh) * | 2014-10-16 | 2017-10-13 | 广州三星通信技术研究有限公司 | 终端解锁方法和装置 |
| CN106468988A (zh) * | 2015-08-18 | 2017-03-01 | 中兴通讯股份有限公司 | 一种终端桌面的智能管理方法及终端 |
| CN106096377A (zh) * | 2016-06-21 | 2016-11-09 | 北京奇虎科技有限公司 | 一种移动终端的应用解锁方法、装置和移动终端 |
| CN106485121A (zh) * | 2016-09-29 | 2017-03-08 | 宇龙计算机通信科技(深圳)有限公司 | 一种应用管理的方法及装置 |
| WO2019023964A1 (zh) * | 2017-08-02 | 2019-02-07 | 深圳传音通讯有限公司 | 一种智能终端的解锁系统及解锁方法 |
| CN107422678A (zh) * | 2017-09-20 | 2017-12-01 | 武汉普莱恩电气有限公司 | 一种具有模拟心情装饰功能的机器人耳朵装置 |
| CN107832597B (zh) * | 2017-10-17 | 2020-08-18 | Oppo广东移动通信有限公司 | 一种解锁方法及相关设备 |
| CN109963028A (zh) * | 2017-12-23 | 2019-07-02 | 深圳阜时科技有限公司 | 电子设备的解锁控制方法 |
| CN108648314B (zh) * | 2018-05-11 | 2020-11-06 | 广东汇泰龙科技股份有限公司 | 一种基于智能云锁的用户表情互动方法及系统 |
| CN108682296B (zh) * | 2018-06-27 | 2024-08-30 | 嘉兴市翊盛电子科技有限公司 | 一种隐形显示的电器显示面板及其加工方法 |
| CN109522059B (zh) * | 2018-11-28 | 2023-01-06 | 广东小天才科技有限公司 | 一种程序唤醒方法及系统 |
| CN109886004A (zh) * | 2019-04-03 | 2019-06-14 | 山东超越数控电子股份有限公司 | 采用多种认证方式相结合的保护磁盘数据的方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101494690A (zh) * | 2009-02-24 | 2009-07-29 | 青岛海信移动通信技术股份有限公司 | 一种移动终端及其解锁方法 |
| CN101552830A (zh) * | 2008-04-03 | 2009-10-07 | 乐金电子(中国)研究开发中心有限公司 | 基于用户耳部识别的移动终端身份认证方法及其移动终端 |
| CN101674363A (zh) * | 2009-09-23 | 2010-03-17 | 中兴通讯股份有限公司 | 移动设备及通话方法 |
| CN201639634U (zh) * | 2009-12-09 | 2010-11-17 | 杨巨成 | 具有多种生物识别功能的手机 |
| CN201742464U (zh) * | 2010-08-06 | 2011-02-09 | 华为终端有限公司 | 具有看护婴儿功能的移动终端 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2696258B1 (fr) * | 1992-09-25 | 1994-10-28 | Sextant Avionique | Dispositif de gestion d'un système d'interaction homme-machine. |
-
2011
- 2011-02-17 CN CN201110039946.5A patent/CN102645968B/zh not_active Expired - Fee Related
- 2011-04-19 WO PCT/CN2011/072996 patent/WO2012109815A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101552830A (zh) * | 2008-04-03 | 2009-10-07 | 乐金电子(中国)研究开发中心有限公司 | 基于用户耳部识别的移动终端身份认证方法及其移动终端 |
| CN101494690A (zh) * | 2009-02-24 | 2009-07-29 | 青岛海信移动通信技术股份有限公司 | 一种移动终端及其解锁方法 |
| CN101674363A (zh) * | 2009-09-23 | 2010-03-17 | 中兴通讯股份有限公司 | 移动设备及通话方法 |
| CN201639634U (zh) * | 2009-12-09 | 2010-11-17 | 杨巨成 | 具有多种生物识别功能的手机 |
| CN201742464U (zh) * | 2010-08-06 | 2011-02-09 | 华为终端有限公司 | 具有看护婴儿功能的移动终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102645968A (zh) | 2012-08-22 |
| CN102645968B (zh) | 2016-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2012109815A1 (zh) | 一种通讯终端及人机交互的方法 | |
| US10346642B2 (en) | Keyboard entry as an abbreviation to a contemporaneous gesture authentication | |
| WO2021000814A1 (zh) | 一种语音控制方法及相关装置 | |
| CN110045621B (zh) | 智能场景处理方法、系统、智能家居设备及存储介质 | |
| US9360953B2 (en) | Method and system for unlocking a device having a touch screen | |
| WO2021258656A1 (zh) | 车辆的交互方法及装置、电子设备、存储介质和车辆 | |
| WO2022068723A1 (zh) | 支付界面的显示方法、装置和电子设备 | |
| CN103186793A (zh) | 一种移动终端屏幕锁定解除方法及装置 | |
| WO2012006884A1 (zh) | 智能锁屏的方法及终端 | |
| CN106157419A (zh) | 一种门锁 | |
| CN105894267A (zh) | 移动支付服务方法和支持移动支付服务的用户终端 | |
| CN106662975A (zh) | 用于处理触摸输入的方法和装置 | |
| WO2011038601A1 (zh) | 一种通过接触面型进行识别解锁的方法及装置 | |
| CN111797249A (zh) | 一种内容推送方法、装置与设备 | |
| KR20170010403A (ko) | 지문 입력 정보의 처리 방법, 시스템 및 이동 단말기 | |
| WO2019062122A1 (zh) | 开门方法及装置、门禁装置和计算机可读存储介质 | |
| TWM574279U (zh) | 生物辨識智慧電鎖系統 | |
| TW201734772A (zh) | 資訊圖像顯示方法及裝置 | |
| CN205845134U (zh) | 一种智能锁 | |
| CN108573704B (zh) | 对永不熄屏通知使能基于场境的语音响应的方法和装置 | |
| CN107507310A (zh) | 一种交互式全自动智能锁 | |
| CN109522706A (zh) | 一种信息提示方法及终端设备 | |
| WO2018157652A1 (zh) | 一种拍照提醒方法及移动终端 | |
| CN110381212A (zh) | 终端的控制方法、终端及计算机可读存储介质 | |
| CN109410371A (zh) | 基于智能管理的指静脉身份识别门禁控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11858908 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 11858908 Country of ref document: EP Kind code of ref document: A1 |