WO2013013615A1

WO2013013615A1 - 基于眨眼特征提取的控制方法及基于该方法的拍摄眼镜

Info

Publication number: WO2013013615A1
Application number: PCT/CN2012/079130
Authority: WO
Inventors: 金宇
Original assignee: Jin Yu
Priority date: 2011-07-25
Filing date: 2012-07-25
Publication date: 2013-01-31
Also published as: CN102393796B; CN102393796A

Abstract

本发明公开了基于眨眼特征提取的控制方法及基于该方法的拍摄眼镜，属于人机交互、数字图像处理技术领域。该拍摄眼镜包括电源、前端摄像头、后端摄像头、微处理器、存储器，其中前端摄像头设置在眼镜框外部的正前方对着使用者的视野方向；后端摄像头设置在眼镜框的内侧正对使用者眼睛的方向；微处理器内置在眼镜架中，实时地接收后端摄像头的图像，对接收的图像进行处理后发出相应的控制信号控制前端摄像头进行拍摄，存储器用于存储拍摄的图像。本发明的控制方法，通过眨眼特征提取实现人机交互并进而控制外部设备，本发明相对于现有的眨眼交互技术，不需要眼睛定位、眼睛跟踪等过程，极大地简化了操作。

Description

基于眨眼特征提取的控制方法及基于该方法的拍摄眼镜技术领域

[0001] 本发明涉及一种利用眨眼特征来控制外部设备的方法及基于该方法的拍摄眼镜，属于人机交互、数字图像处理技术领域。

背景技术

[0002] 随着科学技术的发展，新型的人机交互方式层出不穷，其中语音控制、动作控制等技术已经得到了较广泛的应用。利用眨眼信息实现人机交互，也是一种新型人机交互方式。现有的与眨眼相关的交互方式都要通过眼睛定位、眼睛跟踪等过程从整个人脸的图像中提取出眨眼信息，这样的方法过程繁琐、计算量大且误判率高。

发明内容

[0003] 本发明所要解决的技术问题是通过眨眼实现人机交互并进而控制摄像头实现拍照、录像等功能。

[0004] 本发明为解决上述技术问题采用以下技术方案：

一种基于眨眼特征提取控制外部设备的方法，包括以下步骤：

步骤 A、在微处理器中预设图像采集时间阈值、眨眼次数特征阈值及其对应的控制命令、持续闭眼特征阈值及其对应的控制命令，然后控制摄像头持续拍摄眼部图像，并实时输出眼睛的灰度图像帧至微处理器；

步骤 B、微处理器实时对得到的每幅灰度图像与睁眼或闭眼图像模板经过计算求得其特征值，并将求得的每幅灰度图像的特征值保存在存储器中；

步骤 C、当达到预设的图像采集时间阈值时，微处理器从存储器读取这段时间得到 n个连续的特征值，然后清空存储器保存的特征值；

步骤 D、微处理器根据这 n个特征值中极大特征值或极小特征值出现的次数求得眨眼次数，然后通过这 n个特征值中连续出现大于或小于某一比较阈值的数量求得持续闭眼特征，进而判断是否符合步骤 A所述微处理器中预设的眨眼次数特征阈值或持续闭眼特征阈值：

D-1 , 若符合任一预设特征阈值，则微处理器发出与该特征阈值对应的控制命令控制外部设备完成相应的动作，然后返回步骤 B，直至系统停止运行；

D-2, 若不符合任一预设特征阈值，返回步骤 B，直至系统停止运行。

[0005] 进一步的，步骤 B所述特征值计算方法如下：将每幅灰度图像与睁眼或闭眼的图像模板作差得到差图像，然后采用 D= ϋι^/ΐ求得差图像所有像素点灰度值的平方和，其中 ¾J为差图像上第 i行、第 j列的像素点灰度值，该平方和即为特征值。

[0006] 进一步的，步骤 D中所述求取持续闭眼特征具体包括如下步骤：

当所述 n个特征值是以睁眼图像模板作差得到差图像计算得出时，通过将一个半开半闭的眼睛图像的特征值作为比较阈值，统计这 n个特征值中连续出现大于这个比较阈值的数量求得持续闭眼特征；

当所述 n个特征值是以闭眼图像模板作差得到差图像计算得出时，通过将一个半开半闭的眼睛图像的特征值作为比较阈值，统计这 n个特征值中连续出现小于这个比较阈值的数量求得持续闭眼特征。

[0007] 本发明还提供一种基于眨眼特征提取控制拍摄的眼镜，包括供电电源、前端摄像头、后端摄像头、微处理器、存储器；其中，所述前端摄像头、后端摄像头、存储器分别与微处理器相连接；

所述前端摄像头设置在眼镜框外部的正前方对着使用者的视野方向，用于拍摄图像；所述后端摄像头设置在眼镜框的内侧正对使用者眼睛的方向，用于提取使用者的单只眼睛图像；

所述微处理器内置在眼镜架中，用于实时地接收后端摄像头的图像，并对接收的图像进行处理后发出相应的控制信号控制前端摄像头进行拍摄；

所述存储器内置在眼镜架中，用于存储摄像头拍摄的图像。

[0008] 优选的，本发明的基于眨眼特征提取控制拍摄的眼镜还包括蓝牙装置，所述蓝牙装置分别与微处理器、存储器相连接，用于将拍摄图像发送至外部设备。

[0009] 优选的，本发明的基于眨眼特征提取控制拍摄的眼镜的后端摄像头采用 OMNIVISION公司的 OV7675摄像头。

[0010] 优选的，本发明的基于眨眼特征提取控制拍摄的眼镜的前端摄像头采用 OMNIVISION公司的 OV3640摄像头。

[0011] 优选的，本发明的基于眨眼特征提取控制拍摄的眼镜的微处理器的型号为 TMS320C6742。

[0012] 本发明采用以上技术方案与现有技术相比，具有以下技术效果：现有的眨眼交互技术，是对使用者的整个面部拍照，其缺点是需要眼睛定位和眼睛跟踪等技术来找到眼睛所在区域。本发明中，由于将摄像头嵌入使用者的眼镜中，故摄像头与使用者眼睛相对静止，并且眼睛几乎占据了摄像头的全部视野，所以不需要眼睛定位、眼睛跟踪等过程，极大地简化了操作。

附图说明

[0013] 图 1是本发明的装置模块结构图。

[0014] 图 2是本发明的拍摄眼镜正面示意图。

[0015] 图 3是本发明的拍摄眼镜背面示意图。

[0016] 图 4是本发明的眨眼特征提取控制方法的流程图。

[0017] 图中标号解释： 1-前端摄像头； 2-后端摄像头。

具体实施方式

[0018] 下面结合附图对本发明的技术方案做进一步的详细说明：

如图 1所示，本发明的拍摄眼镜包括电源、前端摄像头、后端摄像头、微处理器、存储器；其中，所述前端摄像头、后端摄像头、存储器、电源分别与微处理器相连接；前端摄像头拍摄对着使用者的视野方向的图像，后端摄像头提取使用者的单只眼睛图像；微处理器实时地接收后端摄像头的图像，并对接收的图像进行处理后发出相应的控制信号控制前端摄像头进行拍摄，然后将拍摄的图像存在存储器中。

[0019] 同时，通过蓝牙装置可以将拍摄的图像传输至外部设备，如手机或平板电脑，可以对前端摄像头拍摄的图像进行查看。

[0020] 如图 2所示，嵌在眼镜框内的前端摄像头对着使用者的视野方向，当收到控制信号时，做出相应的动作。前端摄像头对像素要求较高，可以采用 OV3640摄像头，该型号摄像头像素为 300万还带有自动对焦功能。

[0021] 如图 3所示，后端摄像头对着使用者的单只眼睛，持续监测使用者的眨眼状态，并持续输出眼睛的图像；后端摄像头对像素的要求不高，故可以采用 OMNIVISION公司的 OV7675摄像头。

[0022] 如图 4所示，本发明的眨眼特征提取控制方法的流程如下：

1 ) 系统开始后，微处理器初始化摄像头以设定其工作方式，同时设定 m个预定特征值;

2) 初始化之后，摄像头即按照设定的方式拍摄并输出图像；

3)微处理器读取每一张摄像头输出的图像，并计算出每幅图像的特征值同时保存特征值; 4)达到预定时间后，当保存的特征值数量达到 n时，微处理器分析这 n个特征值的分布情况，并清空现存的特征值；

5) 判断 n个特征值的分布是否符合预定的特征值：

如果符合任一预定特征值，则发出与该特征值对应的控制信号控制外围设备完成相应的动作，然后返回步骤 3)开始重复上述过程；若该特征值对应的是结束命令，则系统停止运行；

如果不符合任一预定特征值，则系统直接回到步骤 3) 重复上述过程。

[0023] 下面以拍摄眼镜为例，介绍其工作过程如下：

步骤 101，开启电源后，微处理器自动初始化前端摄像头和后端摄像头，使其按预定的方式工作，其中包括设定后端摄像头以 30FPS的帧率输出黑白图像。

[0024] 步骤 102，初始化完成以后，后端摄像头即开始了对使用者眼睛的监测，并持续输出图像。微处理器接收后端摄像头输出的每幅图像并实时地计算该图像的特征值，同时要将求得的特征值保存至存储器中。

[0025] 步骤 103，当持续时间为秒，微处理器保存的特征值数量应为 30 个，此时微处理器分析 30 个特征值的分布情况：

如果得出其分布情况符合预定特征 X，则认为前 s时间内用户的眨眼符合特征 X，此时处理器发出控制信号以控制外部设备完成相应动作，随后微处理器清空保存的所有特征值并重新开始上述过程；如果预定的特征中有一个对应关机的命令，并且当使用者眨眼符合此特征，则设备关机。

[0026] 如果特征值的分布不符合任一预定特征，则微处理器直接清空特征值并重新开始上述过程。

[0027] 同时上述过程中，预定特征对应的命令包括拍照或录像，则前端摄像头收到命令后完成相应的动作，并把得到的图像或视频保存。

[0028] 拍摄图像保存的方法有很多，此处仅举两个可行的例子：

其一，在眼镜架内内嵌一个 SD读卡槽，使用时在其中插入 SD卡，拍摄所得的图片或视频直接存在 SD卡内，这样使用者可以方便地将 SD卡内保存的信息转存到个人电脑上。其二，在眼镜架上安装一个蓝牙发射器，并通过蓝牙与带有蓝牙功能的智能手机建立连接，拍摄所得的图像或视频通过蓝牙信号传输给手机，这样拍摄所得可以直接在手机中保存。 [0029] 下面对本发明中涉及的特征值计算的方法举例：

特征值的选择是不唯一的，比如将每幅图像与模板图像的差图像上每个像素点灰度值的平方和作为特征值，下文简称 "方差"。同时，特征值也可以选择为差图像上每个像素点灰度的和或者三次方和；或者先对灰度图像本身进行运算，如先平方或乘以一个系数，然后再与模板图像作差，总之特征值的选择是多种多样的。

[0030] 下面以方差作为特征值，介绍计算方差的方法如下：

设 P为模板图像， Q为待求得图像，设图像的分辨率为 M X N， =Q-P为图像 Q与模板为差图像上第 i 行、第 j 列的像素点灰度值，则特征值

[0031] 眨眼特征的选择有很多，下面介绍两种可行的特征：

眨眼特征一：连续高频眨眼。根据眨眼的生理特点，正常人 2到 6秒眨一次眼，且每次眨眼时间为 0.2到 0.4秒，所以正常人一秒钟时间内最多眨一次眼。当我们以高频率连续 2-3秒眨眼时，这个特征很明显，具有可行性。

[0032] 眨眼特征二：长闭眼。根据眨眼生理特征，正常眨眼的的时间为眨眼时间 0.2到 0.4秒，由于眨眼时间包括由开到闭的时间、闭眼时间、由闭到开的时间，则保持闭眼状态的时间更短，不会超过 0.4秒。故正常眨眼状态下，每秒的 30帧图像中最多不会出现连续的 12个闭眼帧。如果我们令连续闭眼 0.5秒以上为长闭眼，那么我们将会得到至少连续 15个闭眼帧，这是个明显的特征，具有可行性。

[0033] 下面介绍特征值分布的分析：对以上两个特征，分析的方法不同。

[0034] 特征一高频连续眨眼分析：要判断是否符合特征一，我们需要计算出秒时间内眨眼的次数，并判断该次数是否明显大于正常眨眼状态下秒时间内的眨眼次数。

[0035] 如果求特征值用的是睁眼模板，那么越接近睁眼的帧，其特征值就越小，越接近闭眼的帧，其特征值就越大。反之，如果用的模板是闭眼模板，越接近闭眼的帧，其特征值就越小，则越接近睁眼的帧，其特征值就越大。而眨眼是个连续的过程，故当使用睁眼模板时，从睁眼到闭眼，图像的特征值必然逐渐增大；从闭眼到睁眼，特征值必然逐渐减小。当使用闭眼模板时，从闭眼到睁眼，图像的特征值必然逐渐增大；从睁眼到闭眼，特征值必然逐渐减小。所以我们只要求出 η个连续的帧中极大特征值或极小特征值出现的次数就可以得到眨眼的次数^1。我们设眨眼阈值为 F次 /秒，如果秒时间内眨眼次数大于 F次，则认为符合特征。

[0036] 特征二长闭眼分析：由对长闭眼特征的分析，要判断是否符合该特征只需计算出秒时间内最大的连续闭眼帧次数 N_d。_se，并设定一个阈值 N_Q，如果 N_d。_se》 N_Q，则我们认为符合特征。

[0037] 首先要将每幅图像划分为闭眼帧或非闭眼帧，由于要计算的是连续闭眼帧的次数，所以选择闭眼模板计算特征值更为方便。我们设定阈值 Do，如果图像的特征值 D 《D₀，则该图像为闭眼帧，否则为非闭眼帧；其中 D。可以选择某个眼睛半开半闭的图像的特征值。判断了所有图像是否为闭眼帧以后，就可以直接求得其中出现的最多连续闭眼帧数。

[0038] 关于模板建立的问题：因为在不同光照条件下，同样的眼睛开闭情况所得的灰度图像差别很大，所以不能只选用一个模板。最好的方法是在每次开机后的初始化阶段中立模板。我们求出刚开机后连续的几帧图像的所有像素点灰度值的平方和，即 T 为任意一张图像，当眼睛睁开状态下，其中值最小的为睁眼模板，

值最大的为闭眼模板。反之，当眼睛闭合状态下，其中值最小的为闭眼模板，值最大的为睁眼模板。

Claims

权利要求书

1. 一种基于眨眼特征提取控制外部设备的方法，其特征在于，包括以下步骤：步骤 A、在微处理器中预设图像采集时间阈值、 m个眨眼特征阈值及其对应的 m个控制命令， m 2，然后控制摄像头持续拍摄眼部图像，并实时输出眼睛的灰度图像帧至微处理器；

步骤 D、根据统计这 n个特征值的分布情况，进而判断是否符合步骤 A所述微处理器中预设的某个眨眼特征阈值：

D-1 , 若符合任一预设眨眼特征阈值，则微处理器发出与该眨眼特征阈值对应的控制命令控制外部设备完成相应的动作，然后返回步骤 B，直至系统停止运行；

D-2, 若不符合任一预设眨眼特征阈值，返回步骤 B，直至系统停止运行。

2. 根据权利要求 1 所述的一种基于眨眼特征提取控制外部设备的方法，其特征在于，步骤 B所述特征值计算方法如下：将每幅灰度图像与睁眼或闭眼的图像模板作差得到差图像，然后采用 D=

得差图像所有像素点灰度值的平方和，其中为差图像上第 i行、第 j列的像素点灰度值，该平方和即为特征值。

3. 根据权利要求 1所述的一种基于眨眼特征提取控制外部设备的方法，其特征在于：步骤 A所述眨眼特征阈值包括眨眼次数特征阈值、持续闭眼特征阈值；

步骤 D所述统计这 n个特征值的分布情况包括：根据这 n个特征值中极大特征值或极小特征值出现的次数求得眨眼次数特征，然后通过这 n 个特征值中连续出现大于或小于某一比较阈值的数量求得持续闭眼特征；进而判断是否符合步骤 A 所述眨眼次数特征阈值、持续闭眼特征阈值。

4. 根据权利要求 3 所述的一种基于眨眼特征提取控制外部设备的方法，其特征在于，步骤 D中所述求取持续闭眼特征具体包括如下步骤：

当所述 n个特征值是以睁眼图像模板作差得到差图像计算得出时，通过将一个半开半闭的眼睛图像的特征值作为比较阈值，统计这 n 个特征值中连续出现大于这个比较阈值的数量求得持续闭眼特征；

当所述 n个特征值是以闭眼图像模板作差得到差图像计算得出时，通过将一个半开半闭的眼睛图像的特征值作为比较阈值，统计这 n 个特征值中连续出现小于这个比较阈值的数量求得持续闭眼特征。

5. 一种基于眨眼特征提取控制拍摄的眼镜，其特征在于：包括供电电源、前端摄像头、后端摄像头、微处理器、存储器；其中，所述前端摄像头、后端摄像头、存储器分别与微处理器相连接；

所述存储器内置在眼镜架中，用于存储摄像头拍摄的图像。

6. 根据权利要求 5 所述的基于眨眼特征提取控制拍摄的眼镜，其特征在于：还包括蓝牙装置，所述蓝牙装置分别与微处理器、存储器相连接，用于将拍摄图像发送至外部设备。

7. 根据权利要求 5 所述的基于眨眼特征提取控制拍摄的眼镜，其特征在于：所述后端摄像头采用 OMNIVISION公司的 OV7675摄像头。

8. 根据权利要求 5 所述的基于眨眼特征提取控制拍摄的眼镜，其特征在于：所述前端摄像头采用 OMNIVISION公司的 OV3640摄像头。

9. 根据权利要求 5 所述的基于眨眼特征提取控制拍摄的眼镜，其特征在于：所述微处理器的型号为 TMS320C6742。