WO2014180291A1 - 一种用于基于运动特征信息生成运动特征码的方法和设备 - Google Patents

一种用于基于运动特征信息生成运动特征码的方法和设备 Download PDF

Info

Publication number
WO2014180291A1
WO2014180291A1 PCT/CN2014/076800 CN2014076800W WO2014180291A1 WO 2014180291 A1 WO2014180291 A1 WO 2014180291A1 CN 2014076800 W CN2014076800 W CN 2014076800W WO 2014180291 A1 WO2014180291 A1 WO 2014180291A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
information
feature information
input target
target object
Prior art date
Application number
PCT/CN2014/076800
Other languages
English (en)
French (fr)
Inventor
李东舸
Original Assignee
Li Dongge
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Li Dongge filed Critical Li Dongge
Priority to EP14794946.5A priority Critical patent/EP2996067A4/en
Priority to US14/889,332 priority patent/US20160104037A1/en
Publication of WO2014180291A1 publication Critical patent/WO2014180291A1/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47Detecting features for summarising video content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种用于基于运动特征信息生成运动特征码的方法与设备。通过检测是否满足基于运动特征信息生成运动特征码的启动触发条件;当满足所述启动触发条件,基于对所述启动触发条件所对应的运动的检测,确定对应所述运动的运动特征信息;对所述运动特征信息进行编码处理,生成对应所述运动特征信息的运动特征码。

Description

一种用于基于运动特征信息生成运动特征码的方法和设备
技术领域
本发明涉及计算机技术领域, 尤其涉及一种用于基于运动特征信 息生成运动特征码的技术。 背景技术
运动特征码为根据运动模式产生的特征码, 通过 MEMS 或摄像 装置等可捕捉运动特征并产生相应的特征码,运动特征码可用来当密 码或用来匹配以验证设备在遥感器所检测的现场等。 例如, 可以将运 动特征码作为设备解锁和开启的密码, 如门禁、 支付设备等; 可以将 运动轨迹编码作为设备的执行命令代码, 如信息的发送与接收、 功能 的执行和确认等。
因此, 如何基于运动特征信息生成运动特征码, 以提高生成运动 特征码的准确率和效率, 成为本领域技术人员亟需解决的问题之一。 发明内容
本发明的目的是提供一种用于基于运动特征信息生成运动特征码 的方法与设备。
根据本发明的一个方面, 提供了一种用于基于运动特征信息生成运 动特征码的方法, 其中, 该方法包括以下步骤:
a检测是否满足基于运动特征信息生成运动特征码的启动触发条 件;
b 当满足所述启动触发条件, 基于对所述启动触发条件所对应的运 动的检测, 确定对应所述运动的运动特征信息;
c对所述运动特征信息进行编码处理, 生成对应所述运动特征信息 的运动特征码。
根据本发明的另一方面, 还提供了一种用于基于运动特征信息生 成运动特征码的运动码生成设备, 其中, 该设备包括: 检测装置, 用于检测是否满足基于运动特征信息生成运动特征码的 启动触发条件;
确定装置, 用于当满足所述启动触发条件, 基于对所述启动触发条 件所对应的运动的检测, 确定对应所述运动的运动特征信息;
生成装置, 用于对所述运动特征信息进行编码处理, 生成对应所述 运动特征信息的运动特征码。
与现有技术相比, 本发明当检测到满足基于运动特征信息生成运 动特征码的启动触发条件, 基于对该启动触发条件所对应的运动的检 测, 确定对应该运动的运动特征信息, 进而通过对该运动特征信息进行 编码处理, 生成对应的运动特征码, 提高了生成运动特征码的准确率 和效率, 提升了用户的使用体验。 附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述, 本发明的其它特征、 目的和优点将会变得更明显:
图 1 示出根据本发明一个方面的基于运动特征信息生成运动特征 码的设备示意图;
图 2示出根据本发明一个优选实施例的基于运动特征信息生成运 动特征码的设备示意图;
图 3示出根据本发明另一个方面的基于运动特征信息生成运动特 征码的方法流程图;
图 4示出根据本发明一个优选实施例的基于运动特征信息生成运 动特征码的方法流程图。
附图中相同或相似的附图标记代表相同或相似的部件。 具体实施方式
下面结合附图对本发明作进一步详细描述。
图 1 示出根据本发明一个方面的基于运动特征信息生成运动特征 码的设备示意图。 运动码生成设备 1包括检测装置 101、 确定装置 102 和生成装置 103。
其中, 检测装置 101检测是否满足基于运动特征信息生成运动特征 码的启动触发条件; 其中, 所述启动触发条件包括以下任一项:
- 获取预定的生成运动特征信息的触发信息;
- 在所获取的初始图像中检测到预定的输入目标对象:
- 在所获取的运动图像中检测到预定运动模式。
例如, 用户通过与移动终端、 穿戴式设备等设备的交互, 在该移动 终端或穿戴式设备的特定按钮上通过点击、 长按等方式, 发送了启动信 号, 检测装置 101通过与该移动终端或穿戴式设备的交互, 例如 WIFI、 蓝牙、 红外、 互联网或其他约定的通信方式, 获取该启动信息, 并判断 满足基于运动特征信息生成运动特征码的启动触发条件。
又如, 针对装置所获取的初始图像, 检测装置 101通过图像识别等 方式, 在该所获取的初始图像中检测是否包括预定的输入目标对象, 如 在该初始图像中检测是否包括符合特定特征的区域,如皮肤区域、人脸、 一定形状的物体等, 当检测到上述输入目标对象时, 判断满足基于运动 特征信息生成运动特征码的启动触发条件。
再如, 针对摄像装置所获取的运动图像, 检测装置 101通过图像识 别等方式, 在该所获取的运动图像中检测是否包括预定运动模式, 如使 用光流分析等方法对该运动图像的不同运动区域进行分割, 或者在对该 运动图像进行运动检测取其总体运动方向和大小为整幅图的运动方式, 例如, 使用整幅图各像素的运动对总体运动大小和方向进行投票取最多 票数的大小和方向, 当多帧的运动出现合乎条件的运动模式时, 即, 当 检测到预定运动模式时, 判断满足基于运动特征信息生成运动特征码的 启动触发条件。
本领域技术人员应能理解上述启动触发条件仅为举例, 其他现有 的或今后可能出现的启动触发条件如可适用于本发明, 也应包含在本 发明保护范围以内, 并在此以引用方式包含于此。
确定装置 102当满足所述启动触发条件, 基于对所述启动触发条件 所对应的运动的检测, 确定对应所述运动的运动特征信息。 具体地, 当 检测装置 101检测到满足基于运动特征信息生成运动特征码的启动触发 条件, 则该确定装置 102通过 MEMS传感器、 二维摄像装置、 三维摄像 装置等, 对该启动触发条件所对应的运动进行检测, 确定对应该运动的 运动特征信息, 如速度、 加速度、 运动方向相对变化趋势等运动特征
Ί^- 。
优选地, 所述确定装置 102包括传感检测装置, 其中, 所述传感检 测装置包括以下任一项:
- MEMS传感器;
- 二维摄像装置;
- 三维摄像装置。
本领域技术人员应能理解上述传感检测装置仅为举例, 其他现有 的或今后可能出现的传感检测装置如可适用于本发明, 也应包含在本 发明保护范围以内, 并在此以引用方式包含于此。
生成装置 103对所述运动特征信息进行编码处理, 生成对应所述运 动特征信息的运动特征码。 具体地, 生成装置 1034艮据确定装置 102所 确定的运动特征信息, 通过一定的编码方式, 如傅立叶形状描述符法、 几何参数法、 形状不变矩法、 旋转函数法、 小波描述符法等, 生成对 应该运动特征信息的运动特征码; 如基于运动图像中运动轨迹的图形特 征点、 图形边缘特征、 图形闭合轮廓特征等运动特征信息, 生成对应 的运动特征码; 或者, 基于该运动图像中运动轨迹的速度、 加速度、 运动方向相对变化趋势等运动特征信息, 生成对应的运动特征码。
例如, 生成装置 103基于该运动图像的图形形状特征, 对该运动图 像进行描述和编码, 即, 生成对应的运动特征信息, 如采用图形形状和 轮廓的编码方法, 直接对运动在二(三)维空间的轨迹进行编码; 或者, 将时间序列顺序与图形形状特征进行结合编码, 类似于智能手机九宫格 屏幕解锁的原理, 即产生轨迹的先后顺序不同影响编码输出。 编码方法 包括傅立叶形状描述符法、 几何参数法、 形状不变矩法、 旋转函数法、 小波描述符法等。
又如, 生成装置 103利用手势识别技术可识别用户手势, 如用户竖 起大拇指, 或者用户的手掌、 拳头等手势; 该生成装置 103利用运动跟 踪可识别用户手势运动方式, 如用户在空中来回摇动、 空中画 Z字、 空 中写汉字等手势; 又或者, 用户使用穿戴式设备, 则该生成装置 103可 通过穿戴式计算, 确定该用户的手势, 如该用户先摊开手掌再握拳头, 然后摇动等手势。 生成装置 103可对手势及运动方式编码, 如书写的汉 字或英文可用相应的汉字编码和 ASCII码, 不同手势为不同的代码。 这 些不同码可以前后 ί接成为更长的码, 例如手势 2, 即伸出食指和中指, 代码为 02,画 Μ字的代码为 109,则用手势 2画 Μ的代码可为 020109。
本领域技术人员应能理解上述生成运动特征信息的方式仅为举 例, 其他现有的或今后可能出现的生成运动特征信息的方式如可适用 于本发明, 也应包含在本发明保护范围以内, 并在此以引用方式包含 于此。
在此, 所述编码处理包括以下至少任一项:
- 编码形式转换处理;
- 编码打包处理;
- 编码压缩处理;
- 编码加密处理。
本领域技术人员应能理解上述编码处理的方式仅为举例, 其他现 有的或今后可能出现的编码处理的方式如可适用于本发明, 也应包含 在本发明保护范围以内, 并在此以引用方式包含于此。
优选地, 所述启动触发条件包括在所获取的初始图像中检测到预定 的输入目标对象; 其中, 确定装置 102包括获取单元(未示出)和确定 单元 (未示出)。 该获取单元当满足所述启动触发条件, 获取所述输入 目标对象的运动图像信息; 确定单元基于所述运动图像信息, 确定所述 输入目标对象的运动特征信息。
具体地, 针对摄像装置所获取的初始图像, 检测装置 101通过图像 识别等方式, 在该所获取的初始图像中检测是否包括预定的输入目标对 象,如在该初始图像中检测是否包括符合特定特征的区域,如皮肤区域、 人脸、 一定形状的物体等, 当检测到上述输入目标对象时, 判断满足基 于运动特征信息生成运动特征码的启动触发条件。
随后, 当满足该启动触发条件,获取单元例如通过视频跟踪算法等, 跟踪该检测装置 101所检测到的输入目标对象, 获取该输入目标对象的 运动图像信息, 以作为所述启动触发条件所对应的运动图像。
接着, 确定单元基于该获取单元所获取的运动图像, 根据该运动图 像的运动轨迹信息、 运动趋势信息, 或再结合该输入目标对象的对象相 关信息, 确定所述输入目标对象的运动特征信息, 如基于该输入目标对 象的运动轨迹的图形特征点、 图形边缘特征、 图形闭合轮廓特征等信 息, 生成该输入目标对象的运动特征信息。
例如, 运动码生成设备 1可采用二维或三维摄像装置捕捉运动并产 生运动特征信息。 二维摄像装置产生的运动特征信息可等效为运动在图 像平面映射后轨迹的二维码。在此,二维或三维摄像装置获取初始图像; 检测装置 101在该初始图像中检测预定的输入目标对象; 获取单元采用 视频跟踪算法等方式, 跟踪该输入目标对象; 确定单元根据该输入目标 对象的运动图像信息, 确定该输入目标对象的运动特征信息。
在此, 检测装置 101通过图像识别可检测符合特定特征的区域作为 输入目标对象, 如皮肤区域、 人脸、 一定形状的物体等。 较佳地, 获取 单元使用视频跟踪算法可同时跟踪一个或多个目标运动, 根据运动特征 产生运动特征信息。
优选地, 所述运动特征信息还包括所述输入目标对象的运动轨迹信 息; 其中, 所述生成装置 103用于对所述运动轨迹信息进行编码处理, 生成对应所述运动轨迹信息的运动特征码。 具体地, 确定装置 102才艮据 所获取的运动图像, 确定该输入目标对象的运动轨迹信息, 如通过对该 运动图像进行图像识别与分析,确定该输入目标对象的运动轨迹的图形 特征点、 图形边缘特征、 图形闭合轮廓特征等特征信息; 生成装置 103 根据上述运动轨迹信息,通过一定的编码方式,如傅立叶形状描述符法、 几何参数法、 形状不变矩法、 旋转函数法、 小波描述符法等, 生成该 输入目标对象的运动特征码。 较佳地, 仅当检测装置 101在该初始图像 中检测到输入目标对象以特定方式运动, 生成装置 103才生成相应的运 动特征码或其生成的运动特征码为输出, 例如该输入目标对象至少来回 晃动一次才能生成有效运动特征码, 否则不予考虑。
优选地, 运动码生成设备 1 还包括降维处理装置 (未示出)。 该降 维处理装置对所述运动特征信息进行降维处理, 以获得降维后的运动特 征信息; 生成装置 103对所述降维后的运动特征信息进行编码处理, 生 成所述输入目标对象的运动特征码。 具体地, 降维处理装置根据确定装 置 102所确定的运动特征信息, 例如通过映射等方式, 对该运动特征信 息进行降维处理, 如将三维运动特征信息降维至二维运动特征信息; 进 而, 生成装置 103对该降维后的运动特征信息进行编码处理, 例如通过 编码打包处理、 编码压缩处理、 编码加密处理等编码方式, 生成该输入 目标对象的运动特征码。
优选地, 该降维处理装置将所述运动特征信息自三维空间降至二维 平面, 其中, 所述二维平面包括以下任一项:
- 图像获取平面;
- 二维拟合平面;
- 垂直方向拟合平面;
-设备朝向方向拟合平面。
在此, 由于运动是在三维空间产生, 有些遥感设备(如普通摄像装 置)只能捕捉二维空间的运动特征, 而另一些遥感设备(如三维摄像装 置或 MEMS )又能捕捉三维的运动轨迹。 因此, 对运动图像进行降维处 理, 如将三维空间内的运动投影到某一特定二维空间, 可解决不同捕捉 设备造成的差异。 降维处理或投影的方式包括但不限于:
1 )依据已知的图像平面 (例如使用前首先在系统上设定图像平面 相对于大地坐标的方向, 设定可根据摄像装置朝向以 Compass等传感器 或其他相似校对过程给出, 在摄像装置的设备上如有 Compass等对方位 感应的传感器, 摄像装置朝向可以很方便给出);
2 )计算与三维运动方向最接近的二维拟合平面, 其计算可通过对 三维运动轨迹故主轴分析, 并取最大两个轴组成的平面, 即为对三维运 动分布最小误差估计的二维拟合平面; 3 )与 2 ) 中类似, 不过此时的最小误差平面为垂直方向平面, 其一 种计算为把三维轨迹投影为二维水平方向上, 然后对其在二维水平平面 分布做主轴分析取最大轴线方向, 其决定垂直平面即为最小拟合误差的 垂直方向平面;
4 )根据设备平均朝向的垂直方向作为投影方向。
在摄像装置的设备上如有 Compass等对方位感应的传感器,摄像装 置的方位可以很方便的给出。 三维与二维图形平面的关系也就确定。 同 样, 任意两个摄像装置的相对方向也能很方便得出。 如果没有方向传感 器, 传统的图像校准方法也可以检测出不同摄像装置平面的相对关系 (相对校准)或任一摄像装置相对于大地的绝对位置关系 (绝对校准)。 相对校准具体方法包括以手动或自动方式找到在两个摄像装置所设图 中对应的一组点, 例如至少八个点或三个圆孔。 绝对校准则给出一组点 的大地坐标或者采用摄像装置标定的方法计算出摄像装置的外参数, 确 定摄像装置之间的相对位置或摄像装置在世界坐标系的绝对位置。 目前 的摄像装置标定方法可以分为传统摄像装置标定方法和摄像装置自标 定方法。 传统的摄像装置方法一般需要标定块 (三维或二维)作为空间参 照物, 方法主要有直线线性变换(DLT )方法、 Tsai的 RAC定标方法、 张正友平面定标方法、 胡占义圆标定方法等。 摄像装置自标定方法利用 多幅图像之间的对应关系进行标定。
在获得成像平面的坐标之后, 即可获得成像平面的法线方向坐标, 同时可以将三维空间点投影到成像平面上。 坐标系平移十分简单直接且 通常并不影响编码。 二维与三维坐标系起始点相同时, 设成像平面的法 线方向矢量坐标(xd, yd, zd ) , 三维空间点的绝对坐标为 (X, y, z ) , 三维空间点在成像平面上的投影坐标为 (xp, yp, 0 ), 则有:
¾ .. _ ,.. _¾ ~~ ^ Ί
*" '' ¾
获得所有三维空间点在二维平面上的投影之后, 即可以利用该投影 的二维图形进行二维图形形状编码; 进一步, 可以结合成像平面的坐标 或法线方向信息联合二维图形形状编码进行三维编码, 最终确定输入目 标对象的运动轨迹信息。
优选地, 所述运动特征信息包括以下至少任一项:
- 突出特征信息;
- 全局特征信息;
- 变化趋势信息。
在此, 运动轨迹信息的突出特征信息包括但不限于折转点 (速度、 加速度大小或其方向变化的局部峰或谷点) 的 (加)速度大小、 方向、 时间、 和相对位置; 运动轨迹信息的全局特征信息包括但不限于晃动频 率、振幅、速度方差等、及由其所引申出的特征;变化趋势信息例如(加) 速度大小、 方向等的相对变化趋势。
例如, 生成装置 103利用速度大小、 方向相对变化趋势的编码可以 排除因为不同设备检测差异对编码的影响, 如采用升 (+1 )、 平 (0 )、 降(-1 ) 等描述运动趋势信息。 生成装置 103可采用以下两种方案进行 编码, 即, 生成对应的运动特征码:
1 )通过以下公式确定运动特征码:
C = A1-A2
其中, C为差分编码, 即, 变化趋势, A1为第 1时刻的运动特征信 息, 如速度大小、 方向等, A2为第 2时刻的运动特征信息;
2 )进一步对 C二值化或三值化, 如取 +1、 0、 -1。
例如, 对于输入目标对象在 4个时刻的速度值, 生成装置 103根据 该输入目标对象的第一运动特征信息 1231与第二运动特征信息 2342, 在对这两个运动特征信息进行上述差分编码后, 其获得的运动特征码相 同, 均为 11-2。 又如, 对于输入目标对象在 4个时刻的加速度值, 生成 装置 103根据该输入目标对象的第一运动特征信息 1231 与第二运动特 征信息 1353 , 这两个运动特征信息差分编码后所获得的运动特征码不 同, 但两者的差分二值或三值化相同, 均为 11-1。
3 ) 采用速度与方向变化结合的编码, 例如, 速度(或加速度) 的 变化趋势分为三种, 即加速(+1 )、 匀速(0 )和减速(-1 ), 故相应的编 码值也有三个; 方向的变化趋势也可分为三种, 即升(+1 )、 平 (0 )和 降(-1 ), 故相应的编码值也有三个; 从而将二者组合后可获得更多的编 码值, 如可采用加速升 (4 )、 加速平 (3 )、 加速降(2 )、 勾速升 (1 )、 匀速平 (0 )、 匀速降(-1 )、 减速升 (-2)、 减速平 (-3 )、 减速降(-4 ) 等。
在另一优选实施例中, 生成装置 103根据所述运动特征信息, 并结 合所述输入目标对象的对象相关信息, 生成所述运动特征码。 具体地, 生成装置 103根据确定装置 102所确定的该输入目标对象的运动特征信 息, 如该输入目标对象的运动轨迹的图形特征点、 图形边缘特征、 图 形闭合轮廓特征等特征信息, 并结合该输入目标对象的对象相关信息, 如人手信息、 特定手势信息、 以预定发光模式进行发光的发光单元信息 等, 通过一定的编码方式, 生成该输入目标对象的运动特征码。
在此, 所述对象相关信息包括以下至少任一项:
-人手信息;
- 特定手势信息;
- 以预定发光模式进行发光的发光单元信息。
对象相关信息包括可用于标识该输入目标对象的标识信息, 如人 手、 人脸、 手机、 特定手势、 以预定发光模式进行发光的发光单元信息 等标识信息。 例如, 若对象相关信息为人手信息, 则生成装置 103所生 成的运动特征码还包括人手信息。 运动码生成设备 1采用模式识别技术 检测特定手势信息、 人手信息或人脸信息, 也可检测识别特定物体: 如 长方形的手机等物体。 识别过程包括对大量输入目标对象和非输入目标 对象进行特征提取和训练, 生成判别器, 利用判别器对候选输入目标对 象进行判别, 判别为输入目标对象或非输入目标对象。 其中提取的特征 可以采用 Harr-like, HOG, LBP等, 训练方法可以采用 LDA, SVM, Adaboost等。 对于一定形状物体的检测则可以使用首先提取边缘然后进 行模板匹配识别形状的方法。 模板匹配可采用 Haussdorff 或 Chafer distance 匹配等方法。 对于一定形状物体, 可以把以上形状检测和物体 识别方法结合使用, 如先进行形状检测, 对于合乎形状的候选再进行物 体识别。 在此, 该用户还可使用穿戴式设备, 通过该穿戴式设备生成特定手 势, 如摊手、握拳、挥动等特定手势, 该生成装置 103通过穿戴式计算, 确定该用户所采用的特定手势, 如该用户先摊开手掌再握拳头, 然后摇 动等特定手势, 进而基于该手势, 生成对应的运动特征码。
较佳地, 若输入目标对象在人脸的一定范围内检测, 如人脸下方的 一个方形区域, 当人脸正对才进行其附近的目标检测。这既可加快检测, 又可有效去除非输入目标对象的噪声影响, 如反光光点等。 当有多个输 入目标对象而系统又只接受一个输入设备时, 对人脸的检测还可以帮助 优先选择输入目标对象, 例如更靠中心位置和面积更大的脸(通常为更 近的脸) 下方的输入目标对象具有更高的优先级。
在此, 对象相关信息还包括可用于辅助判断输入目标对象的特定手 势信息, 如人手的 "V" 形手势、 人脸的皱眉或大笑等。 若对象相关信 息包括人手的 "V" 形手势, 则生成装置 103所生成的运动特征码还包 括该 "V" 形手势的特定手势信息。 例如, 检测装置 101 利用手势识别 技术可识别用户手势, 如竖起大拇指; 确定装置 102利用运动跟踪可识 别用户手势运动方式, 如用户在空中来回摇动、 空中画 Z字、 空中写汉 字等; 生成装置 103可对手势及运动方式编码, 如书写的汉字或英文可 用相应的汉字编码和 ASCII码, 不同手势为不同的代码, 这些不同码可 以前后衔接成为更长的码, 例如手势 2, 即伸出食指和中指, 代码为 02, 画 M字的代码为 109, 则用手势 2画 M的代码可为 020109。
对象相关信息还包括以预定发光模式进行发光的发光单元信息, 如 以一定频率进行闪烁发光的发光单元信息、 以交替的颜色进行发光的发 光单元信息或两者的结合等, 生成装置 103根据确定装置 102所确定的 运动特征信息, 并结合输入目标对象, 如某个发光单元, 的对象相关信 息, 如该发光单元以预定发光模式进行发光的发光单元信息, 生成运动 特征码。
在此, 若没有输入目标对象, 则生成装置 103根据所述运动特征信 息, 并结合摄像装置所拍摄的背景信息的运动情况, 生成所述运动特征 码。 在又一优选实施例中, 所述启动触发条件包括在所获取的初始图像 中检测到预定的输入目标对象, 且在所述输入目标对象所对应的运动图 像中检测到预定运动模式。 具体地, 当检测装置 101在所获取的初始图 像中检测到预定的输入目标对象, 且通过对该输入目标对象的跟踪, 检 测到该输入目标对象以预定运动模式进行运动, 则确定装置 102确定该 输入目标对象的运动特征信息; 随后, 生成装置 103通过对该运动特征 信息进行编码处理, 生成对应的运动特征码。
在此, 仅当输入目标对象的运动轨迹信息符合预定的运动模式, 生 成装置 103根据该运动轨迹信息, 也即, 运动特征信息, 通过一定的编 码方式, 生成对应的运动特征码。
例如, 假设预定的运动模式为画圏, 检测装置 101在该初始图像中 检测到预定的输入目标对象, 如人手, 进而, 通过视频跟踪算法, 获取 该输入目标对象的运动图像信息, 根据该运动图像, 通过图像分析等方 式, 确定该输入目标对象的运动轨迹信息, 如确定该输入目标对象的运 动轨迹的图形轮廓信息; 接着, 根据该运动轨迹信息, 检测该运动轨迹 信息是否包括预定的运动模式, 如根据该输入目标对象的运功轨迹为圆 圏, 判断该运动轨迹信息符合预定的运动模式, 当该运动轨迹信息符合 预定的运动模式, 判断满足基于运动特征信息生成运动特征码的启动触 发条件; 随后, 确定装置 102确定该运动的运动特征信息; 接着, 生成 装置 103才艮据该运动特征信息, 通过一定的编码方式, 生成对应的运动 特征码。
优选地, 检测装置 101根据预定的图像特征信息, 检测所获取的初 始图像是否包括预定的输入目标对象, 其中, 所述输入目标对象与所述 图像特征信息相对应。
在此, 图像特征信息包括但不限于颜色、 亮度、 形状、 大小、 发光 模式 (包括个数、 颜色、 形状、 闪烁方式等)、 运动模式、 及其相应分 布、组合、 或交替出现的方式等特征信息。 当输入目标对象为 LED等具 有图像特征信息的对象时, 该检测装置 101根据预定的图像特征信息, 检测所获取的初始图像是否包括预定的输入目标对象。 例如, 假设预定 的图像特征信息为红色闪烁发光模式, 检测装置 101在初始图像中检测 到了一个红色常亮的输入目标对象、 一个绿色闪烁发光的输入目标对象 及一个红色闪烁发光的输入目标对象, 则检测装置 101才艮据该预定的图 像特征信息, 将该红色闪烁发光的输入目标对象确定为该预定的输入目 标对象。
在此,设备 LED闪光灯晃动时,运动码生成设备 1通过检测预定的 图像特征信息来区分噪声和目标光点, 并对目标光点的运功轨迹进行检 测, 检测过程中对检测到的光点进行连续特征提取, 确定实时检测到的 光点变化模式, 然后把检测到光点变化模式生成相应的运动特征信息, 用于后续识别配对之用。 其中包括利用特定特征, 如颜色、 亮度、 形状、 大小、 发光模式、 运动模式、 及其相应分布或组合检测识别输入目标对 象; 使用显示设备显示特定的发光模式 /图像, 如颜色、 模式、 形状、 闪 烁等作为输入目标对象。 例如, 用户启动应用程序后, 移动设备屏幕显 示特定的图像或视频, 具备特定颜色亮度分布、 模式 (如形状)、 闪烁 等图像特征信息, 用户将该移动设备屏幕对准摄像装置晃动即可。
优选地, 所述初始图像中包括多个输入目标对象; 确定装置 102当 满足所述启动触发条件, 分别获取每个输入目标对象的运动图像信息, 并据此确定对应的运动特征信息; 生成装置 103对每个输入目标对象所 对应的所述运动特征信息进行编码处理, 生成所述多个输入目标对象的 运动特征码。
具体地, 当检测装置 101在所获取的初始图像中检测到预定的多个 输入目标对象时, 确定装置 102例如通过视频跟踪算法, 同时跟踪该多 个输入目标对象的运动, 例如串行或并行地跟踪该多个输入目标对象, 从而获取每个输入目标对象的运动图像信息, 并据此生成对应的运动特 征信息; 生成装置 103根据每个输入目标对象所对应的所述运动特征信 息, 通过一定的编码方式, 生成所述多个输入目标对象的运动特征码。
较佳地, 当某一输入目标对象运动产生足够多的运动特征信息, 确 定装置 102可继续跟踪其他输入目标对象, 并为其确定运动特征信息, 生成装置 103为其生成运动特征码, 即运动特征码的生成是可以相互独 立的。 这样一个摄像装置可同时作多个处理。
优选地, 所述启动触发条件包括在所获取的运动图像中检测到预定 运动模式; 其中, 所述检测装置 101检测所获取的运动图像是否包括预 定运动模式; 随后, 确定装置 102当满足所述启动触发条件, 基于对该 预定运动模式对应的运动的检测, 确定对应的运动特征信息; 生成装置 103 通过对该运动特征信息进行编码处理, 生成对应所述运动的运动特 征码。
例如, 针对摄像装置所获取的运动图像, 检测装置 101通过图像识 别等方式, 在该所获取的运动图像中检测是否包括对应于运动特征的预 定运动模式, 如使用光流分析等方法对该运动图像的不同运动区域进行 分割, 或者在对该运动图像进行运动检测取其总体运动方向和大小为整 幅图的运动方式, 例如, 使用整幅图各像素的运动对总体运动大小和方 向进行投票取最多票数的大小和方向, 当多帧的运动出现合乎条件的运 动模式时, 即, 当检测到预定运动模式时, 判断满足基于运动特征信息 生成运动特征码的启动触发条件。 随后, 确定装置 102当满足该启动触 发条件, 基于对该预定运动模式对应的运动的检测, 确定对应的运动特 征信息; 生成装置 103通过一定的编码方式, 生成对应该运动的运动特 征码。 如假设预定运动模式为水平摇动, 检测装置 101针对摄像装置所 获取的运动图像,检测到一秒内图像的运动(或其中某一足够大的区域) 不断在水平左, 水平右之间以一秒 3-5次来回反复足够多次, 则判断满 足启动触发条件; 确定装置 102基于该以一秒 3-5次来回的水平摇动运 动模式, 确定对应的运动特征信息; 生成装置 103基于此生成对应该运 动的运动特征码。
优选地, 生成装置 103根据所述运动特征信息, 并结合所述运动特 征信息的附加信息, 生成对应的运动特征码; 将所述运动特征码提供给 对应的处理应用。 其中, 所述附加信息包括以下至少任一项:
- 所述运动特征信息的标识信息;
- 所述运动特征信息的辅助信息。
在此, 运动特征信息的标识信息用于检索和 (唯一)标识产生的运 动特征信息, 其包括以下两部分中至少一个部分: 1 )设备唯一码: 用 于标识产生运动特征信息的设备或器件, 例如设备的 MAC地址、 IP地 址、 电话号码、 CPU编号、 某一器件的编号、 设备 ID、 产品序列号、 通用唯一识别码(UUID )、 国际移动设备 ID ( IMEI )、 国际移动用户 ID ( IMSI )或由其引申或编码得到的。 一个设备的不同部件可有不同的设 备唯一码,例如前置摄像装置、后置摄像装置和 MEMS可分别对应不同 设备唯一码。 此时, 可 4巴相应部件的编码和设备的编码叠加 (如设备码 +部件码或编号)得到设备唯一码; 2 )特征码序列号: 为以产生时间、 地址、 顺序编号、 或随机编号、 及以上一项或多项的混合编码。 上述两 部分可以前后叠加或以一定算法混合产生运动标识信息。
运动特征信息的辅助信息包括除运动特征信息的标识信息外的其 他信息, 如设备类型信息、 设备连接信息 (IP地址、 电话号码等)、 用 户信息、 特征码产生时间、 地点、 方式、 特征码编码方式、 及具体应用 所需信息等。 运动特征信息的辅助信息可作为一个整体或分成多段与运 动特征信息数据本身一起或穿插传输。
本领域技术人员应能理解上述运动特征信息的附加信息仅为举 例, 其他现有的或今后可能出现的运动特征信息的附加信息如可适用 于本发明, 也应包含在本发明保护范围以内, 并在此以引用方式包含 于此。
图 2示出根据本发明一个优选实施例的基于运动特征信息生成运 动特征码的设备示意图。 该运动码生成设备 1还包括停止装置 204。 以 下参照图 2对该优选实施例进行详细描述: 具体地, 检测装置 201检 测是否满足基于运动特征信息生成运动特征码的启动触发条件; 确定装 置 202当满足所述启动触发条件, 基于对所述启动触发条件所对应的运 动的检测, 确定对应所述运动的运动特征信息; 生成装置 203对所述运 动特征信息进行编码处理, 生成对应所述运动特征信息的运动特征码; 停止装置 204检测是否满足停止生成所述运动特征码的停止触发条件; 若满足所述停止触发条件, 提供停止生成所述运动特征码的提示信息。 其中, 检测装置 201、 确定装置 202和生成装置 203与图 1所示对应装 置相同或基本相同, 故此处不再赘述, 并通过引用的方式包含于此。 其中, 停止装置 204检测是否满足停止生成所述运动特征码的停止 触发条件; 若满足所述停止触发条件, 提供停止生成所述运动特征码的 提示信息; 其中, 所述停止触发条件包括以下至少任一项:
- 获取预定的停止生成运动特征码的停止触发信息;
- 在所述运动图像中检测到对应于停止生成运动特征码的预定运动 模式;
- 所生成的运动特征码满足预定的停止条件。
例如, 用户通过与移动终端等设备的交互, 在该移动终端的特定按 钮上通过点击、 长按等方式, 发送了停止信号, 停止装置 204通过与该 移动终端的交互, 例如 WIFI、 蓝牙、 红外、 互联网或其他约定的通信方 式, 获取该停止信息, 并判断满足停止生成所述运动特征码的停止触发 条件; 随后, 该停止装置 204停止生成所述运动特征码, 如通过预定的 通信方式, 通知后续装置停止工作; 接着, 该停止装置 204还提供停止 生成所述运动特征码的提示信息, 如通过震动、 响铃、 语音提示、 屏幕 显示提醒等方式, 向用户或其手机发送提示信息。
又如, 该停止触发条件包括当在所述运动图像中检测到对应于停止 生成运动特征码的预定运动模式, 如预先设置当预定运动模式为画 "V" 形图像时对应停止生成运动特征码, 则当该运动码生成设备 1在运动图 像中检测到画 "V" 形图像的预定运动模式时, 该停止装置 204判断满 足停止生成运动特征码的停止触发条件。
再如, 该停止触发条件包括当所生成的运动特征码满足预定的停止 条件, 如该运动码生成设备 1所获得的运动轨迹的长度已超过预定长度 阈值、 或者已生成的运动特征码的数量已超过预定数量阈值, 则停止装 置 204判断满足停止生成运动特征码的停止触发条件。
本领域技术人员应能理解上述停止触发条件仅为举例, 其他现有 的或今后可能出现的停止触发条件如可适用于本发明, 也应包含在本 发明保护范围以内, 并在此以引用方式包含于此。
图 3示出根据本发明另一个方面的基于运动特征信息生成运动特 征码的方法流程图。
在步骤 S301 中, 运动码生成设备 1检测是否满足基于运动特征信 息生成运动特征码的启动触发条件; 其中, 所述启动触发条件包括以下 任一项:
- 获取预定的生成运动特征信息的触发信息;
- 在所获取的初始图像中检测到预定的输入目标对象:
- 在所获取的运动图像中检测到预定运动模式。
例如, 用户通过与移动终端、 穿戴式设备等设备的交互, 在该移动 终端或穿戴式设备的特定按钮上通过点击、 长按等方式, 发送了启动信 号, 在步骤 S301 中, 运动码生成设备 1通过与该移动终端或穿戴式设 备的交互, 例如 WIFI、 蓝牙、 红外、 互联网或其他约定的通信方式, 获 取该启动信息, 并判断满足基于运动特征信息生成运动特征码的启动触 发条件。
又如, 针对摄像装置所获取的初始图像, 在步骤 S301 中, 运动码 生成设备 1通过图像识别等方式, 在该所获取的初始图像中检测是否包 括预定的输入目标对象, 如在该初始图像中检测是否包括符合特定特征 的区域, 如皮肤区域、 人脸、 一定形状的物体等, 当检测到上述输入目 标对象时, 判断满足基于运动特征信息生成运动特征码的启动触发条 件。
再如, 针对摄像装置所获取的运动图像, 在步骤 S301 中, 运动码 生成设备 1通过图像识别等方式, 在该所获取的运动图像中检测是否包 括预定运动模式, 如使用光流分析等方法对该运动图像的不同运动区域 进行分割, 或者在对该运动图像进行运动检测取其总体运动方向和大小 为整幅图的运动方式, 例如, 使用整幅图各像素的运动对总体运动大小 和方向进行投票取最多票数的大小和方向, 当多帧的运动出现合乎条件 的运动模式时, 即, 当检测到预定运动模式时, 判断满足基于运动特征 信息生成运动特征码的启动触发条件。
本领域技术人员应能理解上述启动触发条件仅为举例, 其他现有 的或今后可能出现的启动触发条件如可适用于本发明, 也应包含在本 发明保护范围以内, 并在此以引用方式包含于此。
在步骤 S302中, 运动码生成设备 1 当满足所述启动触发条件, 基 于所述启动触发条件所对应的运动的检测, 确定对应所述运动图像的运 动特征信息, 或言之, 运动特征码。 具体地, 当在步骤 S301 中, 运动 码生成设备 1检测到满足基于运动特征信息生成运动特征码的启动触发 条件, 则在步骤 S302中, 运动码生成设备 1通过 MEMS传感器、 二维 摄像装置、三维摄像装置等,对该启动触发条件所对应的运动进行检测, 确定对应该运动的运动特征信息, 如速度、 加速度、 运动方向相对变 化趋势等运动特征信息。
优选地, 所述运动码生成设备 1包括传感检测装置, 其中, 所述传 感检测装置包括以下任一项:
- MEMS传感器;
- 二维摄像装置;
- 三维摄像装置。
本领域技术人员应能理解上述传感检测装置仅为举例, 其他现有 的或今后可能出现的传感检测装置如可适用于本发明, 也应包含在本 发明保护范围以内, 并在此以引用方式包含于此。
在步骤 S302中, 运动码生成设备 1对所述运动特征信息进行编码 处理, 生成对应所述运动特征信息的运动特征码。 具体地, 在步骤 S302 中, 运动码生成设备 1根据在步骤 S302中所确定的运动特征信息, 通 过一定的编码方式, 如傅立叶形状描述符法、 几何参数法、 形状不变 矩法、 旋转函数法、 小波描述符法等, 生成对应该运动特征信息的运 动特征码; 如基于运动图像中运动轨迹的图形特征点、 图形边缘特征、 图形闭合轮廓特征等运动特征信息, 生成对应的运动特征码; 或者, 基于该运动图像中运动轨迹的速度、 加速度、 运动方向相对变化趋势 等运动特征信息, 生成对应的运动特征码。
例如, 在步骤 S303中, 运动码生成设备 1基于该运动图像的图形 形状特征, 对该运动图像进行描述和编码, 即, 生成对应的运动特征信 息, 如采用图形形状和轮廓的编码方法, 直接对运动在二(三) 维空间 的轨迹进行编码;或者,将时间序列顺序与图形形状特征进行结合编码, 类似于智能手机九宫格屏幕解锁的原理, 即产生轨迹的先后顺序不同影 响编码输出。 编码方法包括傅立叶形状描述符法、 几何参数法、 形状不 变矩法、 旋转函数法、 小波描述符法等。
又如, 在步骤 S303中, 运动码生成设备 1利用手势识别技术可识 别用户手势, 如用户竖起大拇指, 或者用户的手掌、 拳头等手势; 该运 动码生成设备 1利用运动跟踪可识别用户手势运动方式, 如用户在空中 来回摇动、 空中画 Z字、 空中写汉字等手势; 又或者, 用户使用穿戴式 设备, 则该运动码生成设备 1可通过穿戴式计算, 确定该用户的手势, 如该用户先摊开手掌再握拳头, 然后摇动等手势。 在步骤 S303 中, 运 动码生成设备 1可对手势及运动方式编码, 如书写的汉字或英文可用相 应的汉字编码和 ASCII码, 不同手势为不同的代码。 这些不同码可以前 后衔接成为更长的码, 例如手势 2, 即伸出食指和中指, 代码为 02, 画 M字的代码为 109, 则用手势 2画 M的代码可为 020109。
本领域技术人员应能理解上述生成运动特征信息的方式仅为举 例, 其他现有的或今后可能出现的生成运动特征信息的方式如可适用 于本发明, 也应包含在本发明保护范围以内, 并在此以引用方式包含 于此。
在此, 所述编码处理包括以下至少任一项:
- 编码形式转换处理;
- 编码打包处理;
- 编码压缩处理;
- 编码加密处理。
本领域技术人员应能理解上述编码处理的方式仅为举例, 其他现 有的或今后可能出现的编码处理的方式如可适用于本发明, 也应包含 在本发明保护范围以内, 并在此以引用方式包含于此。
优选地, 所述启动触发条件包括在所获取的初始图像中检测到预定 的输入目标对象; 其中, 在步骤 S302中还包括子步骤 S302a (未示出) 和子步骤 S302b (未示出)。 在子步骤 S302a中, 运动码生成设备 1当满 足所述启动触发条件, 获取所述输入目标对象的运动图像信息; 在子步 骤 S302b中, 运动码生成设备 1基于所述运动图像信息, 确定所述输入 目标对象的运动特征信息。
具体地, 针对摄像装置所获取的初始图像, 在步骤 S301 中, 运动 码生成设备 1通过图像识别等方式, 在该所获取的初始图像中检测是否 包括预定的输入目标对象, 如在该初始图像中检测是否包括符合特定特 征的区域, 如皮肤区域、 人脸、 一定形状的物体等, 当检测到上述输入 目标对象时, 判断满足基于运动特征信息生成运动特征码的启动触发条 件。
随后, 当满足该启动触发条件, 在子步骤 S302a中, 运动码生成设 备 1例如通过视频跟踪算法等, 跟踪在步骤 S301 中所检测到的输入目 标对象, 获取该输入目标对象的运动图像信息, 以作为所述启动触发条 件所对应的运动图像。
接着, 在子步骤 S302b中, 运动码生成设备 1基于在子步骤 S302a 中所获取的运动图像,根据该运动图像的运动轨迹信息、运动趋势信息, 或再结合该输入目标对象的对象相关信息, 确定所述输入目标对象的运 动特征信息, 如基于该输入目标对象的运动轨迹的图形特征点、 图形 边缘特征、 图形闭合轮廓特征等信息, 生成该输入目标对象的运动特 征信息。
例如, 运动码生成设备 1可采用二维或三维摄像装置捕捉运动并产 生运动特征信息。 二维摄像装置产生的运动特征信息可等效为运动在图 像平面映射后轨迹的二维码。在此,二维或三维摄像装置获取初始图像; 在步骤 S301 中, 运动码生成设备 1在该初始图像中检测预定的输入目 标对象; 在子步骤 S302a中, 运动码生成设备 1采用视频跟踪算法等方 式, 跟踪该输入目标对象; 在子步骤 S302b中, 运动码生成设备 1根据 该输入目标对象的运动图像信息, 确定该输入目标对象的运动特征信 自、
在此, 在步骤 S301 中, 运动码生成设备 1通过图像识别可检测符 合特定特征的区域作为输入目标对象, 如皮肤区域、 人脸、 一定形状的 物体等。 较佳地, 在子步骤 S302a中, 运动码生成设备 1使用视频跟踪 算法可同时跟踪一个或多个目标运动, 根据运动特征产生运动特征信 自、
优选地, 所述运动特征信息还包括所述输入目标对象的运动轨迹信 息; 其中, 在步骤 S303中, 运动码生成设备 1用于对所述运动轨迹信 息进行编码处理, 生成对应所述运动轨迹信息的运动特征码。 具体地, 在步骤 S302中, 运动码生成设备 1根据所获取的运动图像, 确定该输 入目标对象的运动轨迹信息, 如通过对该运动图像进行图像识别与分 析, 确定该输入目标对象的运动轨迹的图形特征点、 图形边缘特征、 图形闭合轮廓特征等特征信息; 在步骤 S303中, 运动码生成设备 1根 据上述运动轨迹信息, 通过一定的编码方式, 如傅立叶形状描述符法、 几何参数法、 形状不变矩法、 旋转函数法、 小波描述符法等, 生成该 输入目标对象的运动特征码。 较佳地, 仅当在步骤 S301 中, 运动码生 成设备 1在该初始图像中检测到输入目标对象以特定方式运动, 在步骤 S303中,运动码生成设备 1才生成相应的运动特征码或其生成的运动特 征码为输出, 例如该输入目标对象至少来回晃动一次才能生成有效运动 特征码, 否则不予考虑。
优选地, 该方法还包括步骤 S305 (未示出)。 在步骤 S305中, 运动 码生成设备 1对所述运动特征信息进行降维处理, 以获得降维后的运动 特征信息; 在步骤 S303中, 运动码生成设备 1对所述降维后的运动特 征信息进行编码处理, 生成所述输入目标对象的运动特征码。 具体地, 在步骤 S305中, 运动码生成设备 1才艮据在步骤 S302中所确定的运动特 征信息, 例如通过映射等方式, 对该运动特征信息进行降维处理, 如将 三维运动特征信息降维至二维运动特征信息; 进而, 在步骤 S303 中, 运动码生成设备 1对该降维后的运动特征信息进行编码处理, 例如通过 编码打包处理、 编码压缩处理、 编码加密处理等编码方式, 生成该输入 目标对象的运动特征码。
优选地, 在步骤 S305中, 运动码生成设备 1将所述运动特征信息 自三维空间降至二维平面, 其中, 所述二维平面包括以下任一项: - 图像获取平面;
- 二维拟合平面;
- 垂直方向拟合平面;
-设备朝向方向拟合平面。
在此, 由于运动是在三维空间产生, 有些遥感设备(如普通摄像装 置)只能捕捉二维空间的运动特征, 而另一些遥感设备(如三维摄像装 置或 MEMS )又能捕捉三维的运动轨迹。 因此, 对运动图像进行降维处 理, 如将三维空间内的运动投影到某一特定二维空间, 可解决不同捕捉 设备造成的差异。 降维处理或投影的方式包括但不限于:
1 )依据已知的图像平面 (例如使用前首先在系统上设定图像平面 相对于大地坐标的方向, 设定可根据摄像装置朝向以 Compass等传感器 或其他相似校对过程给出, 在摄像装置的设备上如有 Compass等对方位 感应的传感器, 摄像装置朝向可以很方便给出);
2 )计算与三维运动方向最接近的二维拟合平面, 其计算可通过对 三维运动轨迹故主轴分析, 并取最大两个轴组成的平面, 即为对三维运 动分布最小误差估计的二维拟合平面;
3 )与 2 ) 中类似, 不过此时的最小误差平面为垂直方向平面, 其一 种计算为把三维轨迹投影为二维水平方向上, 然后对其在二维水平平面 分布做主轴分析取最大轴线方向, 其决定垂直平面即为最小拟合误差的 垂直方向平面;
4 )根据设备平均朝向的垂直方向作为投影方向。
在摄像装置的设备上如有 Compass等对方位感应的传感器,摄像装 置的方位可以很方便的给出。 三维与二维图形平面的关系也就确定。 同 样, 任意两个摄像装置的相对方向也能很方便得出。 如果没有方向传感 器, 传统的图像校准方法也可以检测出不同摄像装置平面的相对关系 (相对校准)或任一摄像装置相对于大地的绝对位置关系 (绝对校准)。 相对校准具体方法包括以手动或自动方式找到在两个摄像装置所设图 中对应的一组点, 例如至少八个点或三个圆孔。 绝对校准则给出一组点 的大地坐标或者采用摄像装置标定的方法计算出摄像装置的外参数, 确 定摄像装置之间的相对位置或摄像装置在世界坐标系的绝对位置。 目前 的摄像装置标定方法可以分为传统摄像装置标定方法和摄像装置自标 定方法。 传统的摄像装置方法一般需要标定块 (三维或二维)作为空间参 照物, 方法主要有直线线性变换(DLT )方法、 Tsai的 RAC定标方法、 张正友平面定标方法、 胡占义圆标定方法等。 摄像装置自标定方法利用 多幅图像之间的对应关系进行标定。
在获得成像平面的坐标之后, 即可获得成像平面的法线方向坐标, 同时可以将三维空间点投影到成像平面上。 坐标系平移十分简单直接且 通常并不影响编码。 二维与三维坐标系起始点相同时, 设成像平面的法 线方向矢量坐标(xd, yd, zd ) , 三维空间点的绝对坐标为 (X, y, z ) , 三维空间点在成像平面上的投影坐标为 (xp , yp , 0 ), 则有:
获得所有三维空间点在二维平面上的投影之后, 即可以利用该投影 的二维图形进行二维图形形状编码; 进一步, 可以结合成像平面的坐标 或法线方向信息联合二维图形形状编码进行三维编码, 最终确定输入目 标对象的运动轨迹信息。
优选地, 所述运动特征信息包括以下至少任一项:
- 突出特征信息;
- 全局特征信息;
- 变化趋势信息。
在此, 运动轨迹信息的突出特征信息包括但不限于折转点 (速度、 加速度大小或其方向变化的局部峰或谷点) 的 (加)速度大小、 方向、 时间、 和相对位置; 运动轨迹信息的全局特征信息包括但不限于晃动频 率、振幅、速度方差等、及由其所引申出的特征;变化趋势信息例如(加) 速度大小、 方向等的相对变化趋势。
例如, 在步骤 S303中, 运动码生成设备 1利用速度大小、 方向相 对变化趋势的编码可以排除因为不同设备检测差异对编码的影响, 如采 用升 (+1 )、 平 (0 )、 降(-1 ) 等描述运动趋势信息。 在步骤 S303中, 运动码生成设备 1可采用以下两种方案进行编码, 即, 生成对应的运动 特征码:
1 )通过以下公式确定运动特征码:
C = A1-A2
其中, C为差分编码, 即, 变化趋势, A1为第 1时刻的运动特征信 息, 如速度大小、 方向等, A2为第 2时刻的运动特征信息;
2 )进一步对 C二值化或三值化, 如取 +1、 0、 -1。
例如, 对于输入目标对象在 4个时刻的速度值, 在步骤 S303中, 运动码生成设备 1根据该输入目标对象的第一运动特征信息 1231 与第 二运动特征信息 2342, 在对这两个运动特征信息进行上述差分编码后, 其获得的运动特征码相同, 均为 11-2。 又如, 对于输入目标对象在 4个 时刻的加速度值, 在步骤 S303中, 运动码生成设备 1根据该输入目标 对象的第一运动特征信息 1231与第二运动特征信息 1353 , 这两个运动 特征信息差分编码后所获得的运动特征码不同, 但两者的差分二值或三 值化相同, 均为 11-1。
3 ) 采用速度与方向变化结合的编码, 例如, 速度(或加速度) 的 变化趋势分为三种, 即加速(+1 )、 匀速(0 )和减速(-1 ), 故相应的编 码值也有三个; 方向的变化趋势也可分为三种, 即升(+1 )、 平 (0 )和 降(-1 ), 故相应的编码值也有三个; 从而将二者组合后可获得更多的编 码值, 如可采用加速升 (4 )、 加速平 (3 )、 加速降(2 )、 勾速升 (1 )、 匀速平 (0 )、 匀速降(-1 )、 减速升 (-2)、 减速平 (-3 )、 减速降(-4 ) 等。
在另一优选实施例中, 在步骤 S303中, 运动码生成设备 1根据所 述运动特征信息, 并结合所述输入目标对象的对象相关信息, 生成所述 运动特征码。 具体地, 在步骤 S303中, 运动码生成设备 1根据在步骤 S302中所确定的该输入目标对象的运动特征信息,如该输入目标对象的 运动轨迹的图形特征点、 图形边缘特征、 图形闭合轮廓特征等特征信 息, 并结合该输入目标对象的对象相关信息, 如人手信息、 特定手势信 息、以预定发光模式进行发光的发光单元信息等,通过一定的编码方式, 生成该输入目标对象的运动特征码。
在此, 所述对象相关信息包括以下至少任一项:
- 人手信息;
- 特定手势信息;
- 以预定发光模式进行发光的发光单元信息。
对象相关信息包括可用于标识该输入目标对象的标识信息, 如人 手、 人脸、 手机、 特定手势、 以预定发光模式进行发光的发光单元信息 等标识信息。 例如, 若对象相关信息为人手信息, 则在步骤 S303 中, 运动码生成设备 1所生成的运动特征码还包括人手信息。 运动码生成设 备 1采用模式识别技术检测特定手势信息、 人手信息或人脸信息, 也可 检测识别特定物体: 如长方形的手机等物体。 识别过程包括对大量输入 目标对象和非输入目标对象进行特征提取和训练, 生成判别器, 利用判 别器对候选输入目标对象进行判别, 判别为输入目标对象或非输入目标 对象。 其中提取的特征可以采用 Harr-like, HOG, LBP等, 训练方法可 以采用 LDA, SVM, Adaboost等。 对于一定形状物体的检测则可以使 用首先提取边缘然后进行模板匹配识别形状的方法。 模板匹配可采用 Haussdorff或 Chafer distance 匹配等方法。 对于一定形状物体, 可以把 以上形状检测和物体识别方法结合使用, 如先进行形状检测, 对于合乎 形状的候选再进行物体识别。
在此, 该用户还可使用穿戴式设备, 通过该穿戴式设备生成特定手 势, 如摊手、 握拳、 挥动等特定手势, 在步骤 S303 中, 运动码生成设 备 1通过穿戴式计算, 确定该用户所采用的特定手势, 如该用户先摊开 手掌再握拳头, 然后摇动等特定手势, 进而基于该手势, 生成对应的运 动特征码。
较佳地, 若输入目标对象在人脸的一定范围内检测, 如人脸下方的 一个方形区域, 当人脸正对才进行其附近的目标检测。这既可加快检测, 又可有效去除非输入目标对象的噪声影响, 如反光光点等。 当有多个输 入目标对象而系统又只接受一个输入设备时, 对人脸的检测还可以帮助 优先选择输入目标对象, 例如更靠中心位置和面积更大的脸(通常为更 近的脸) 下方的输入目标对象具有更高的优先级。
在此, 对象相关信息还包括可用于辅助判断输入目标对象的特定手 势信息, 如人手的 "V" 形手势、 人脸的皱眉或大笑等。 若对象相关信 息包括人手的 "V" 形手势, 则在步骤 S303中, 运动码生成设备 1所生 成的运动特征码还包括该 "V" 形手势的特定手势信息。 例如, 在步骤 S301中, 运动码生成设备 1利用手势识别技术可识别用户手势, 如竖起 大拇指; 在步骤 S302中, 运动码生成设备 1利用运动跟踪可识别用户 手势运动方式, 如用户在空中来回摇动、 空中画 Z字、 空中写汉字等; 在步骤 S303中, 运动码生成设备 1可对手势及运动方式编码, 如书写 的汉字或英文可用相应的汉字编码和 ASCII码,不同手势为不同的代码, 这些不同码可以前后衔接成为更长的码, 例如手势 2, 即伸出食指和中 指,代码为 02,画 M字的代码为 109,则用手势 2画 M的代码可为 020109。
对象相关信息还包括以预定发光模式进行发光的发光单元信息, 如 以一定频率进行闪烁发光的发光单元信息、 以交替的颜色进行发光的发 光单元信息或两者的结合等, 在步骤 S303中, 运动码生成设备 1根据 在步骤 S302 中所确定的运动特征信息, 并结合输入目标对象, 如某个 发光单元, 的对象相关信息, 如该发光单元以预定发光模式进行发光的 发光单元信息, 生成运动特征码。
在此, 若没有输入目标对象, 则在步骤 S303中, 运动码生成设备 1 根据所述运动特征信息, 并结合摄像装置所拍摄的背景信息的运动情 况, 生成所述运动特征码。
在又一优选实施例中, 所述启动触发条件包括在所获取的初始图像 中检测到预定的输入目标对象, 且在所述输入目标对象所对应的运动图 像中检测到预定运动模式。 具体地, 当在步骤 S301 中, 运动码生成设 备 1在所获取的初始图像中检测到预定的输入目标对象, 且通过对该输 入目标对象的跟踪, 检测到该输入目标对象以预定运动模式进行运动, 则在步骤 S302中, 运动码生成设备 1确定该输入目标对象的运动特征 信息; 随后, 在步骤 S303中, 运动码生成设备 1通过对该运动特征信 息进行编码处理, 生成对应的运动特征码。 在此, 仅当输入目标对象的运动轨迹信息符合预定的运动模式, 在 步骤 S303中, 运动码生成设备 1根据该运动轨迹信息, 也即, 运动特 征信息, 通过一定的编码方式, 生成对应的运动特征码。
例如, 假设预定的运动模式为画圏, 在步骤 S301 中, 运动码生成 设备 1在该初始图像中检测到预定的输入目标对象, 如人手, 进而, 通 过视频跟踪算法, 获取该输入目标对象的运动图像信息, 根据该运动图 像, 通过图像分析等方式, 确定该输入目标对象的运动轨迹信息, 如确 定该输入目标对象的运动轨迹的图形轮廓信息; 接着, 根据该运动轨迹 信息, 检测该运动轨迹信息是否包括预定的运动模式, 如根据该输入目 标对象的运功轨迹为圆圏, 判断该运动轨迹信息符合预定的运动模式, 当该运动轨迹信息符合预定的运动模式, 判断满足基于运动特征信息生 成运动特征码的启动触发条件; 随后, 在步骤 S302 中, 运动码生成设 备 1确定该运动的运动特征信息; 接着, 在步骤 S303中, 运动码生成 设备 1根据该运动特征信息, 通过一定的编码方式, 生成对应的运动特 征码。
优选地, 在步骤 S301 中, 运动码生成设备 1根据预定的图像特征 信息, 检测所获取的初始图像是否包括预定的输入目标对象, 其中, 所 述输入目标对象与所述图像特征信息相对应。
在此, 图像特征信息包括但不限于颜色、 亮度、 形状、 大小、 发光 模式 (包括个数、 颜色、 形状、 闪烁方式等)、 运动模式、 及其相应分 布、组合、 或交替出现的方式等特征信息。 当输入目标对象为 LED等具 有图像特征信息的对象时, 在步骤 S301 中, 运动码生成设备 1根据预 定的图像特征信息, 检测所获取的初始图像是否包括预定的输入目标对 象。 例如, 假设预定的图像特征信息为红色闪烁发光模式, 在步骤 S301 中, 运动码生成设备 1在初始图像中检测到了一个红色常亮的输入目标 对象、 一个绿色闪烁发光的输入目标对象及一个红色闪烁发光的输入目 标对象, 则在步骤 S301 中, 运动码生成设备 1根据该预定的图像特征 信息, 将该红色闪烁发光的输入目标对象确定为该预定的输入目标对 象。 在此,设备 LED闪光灯晃动时,运动码生成设备 1通过检测预定的 图像特征信息来区分噪声和目标光点, 并对目标光点的运功轨迹进行检 测, 检测过程中对检测到的光点进行连续特征提取, 确定实时检测到的 光点变化模式, 然后把检测到光点变化模式生成相应的运动特征信息, 用于后续识别配对之用。 其中包括利用特定特征, 如颜色、 亮度、 形状、 大小、 发光模式、 运动模式、 及其相应分布或组合检测识别输入目标对 象; 使用显示设备显示特定的发光模式 /图像, 如颜色、 模式、 形状、 闪 烁等作为输入目标对象。 例如, 用户启动应用程序后, 移动设备屏幕显 示特定的图像或视频, 具备特定颜色亮度分布、 模式 (如形状)、 闪烁 等图像特征信息, 用户将该移动设备屏幕对准摄像装置晃动即可。
优选地, 所述初始图像中包括多个输入目标对象; 在步骤 S302中, 运动码生成设备 1当满足所述启动触发条件, 分别获取每个输入目标对 象的运动图像信息, 并据此确定对应的运动特征信息; 在步骤 S303中, 运动码生成设备 1对每个输入目标对象所对应的所述运动特征信息进行 编码处理, 生成所述多个输入目标对象的运动特征码。
具体地, 当在步骤 S301 中, 运动码生成设备 1在所获取的初始图 像中检测到预定的多个输入目标对象时, 在步骤 S302 中, 运动码生成 设备 1例如通过视频跟踪算法, 同时跟踪该多个输入目标对象的运动, 例如串行或并行地跟踪该多个输入目标对象, 从而获取每个输入目标对 象的运动图像信息, 并据此生成对应的运动特征信息; 在步骤 S303中, 运动码生成设备 1根据每个输入目标对象所对应的所述运动特征信息, 通过一定的编码方式, 生成所述多个输入目标对象的运动特征码。
较佳地, 当某一输入目标对象运动产生足够多的运动特征信息, 在 步骤 S302中, 运动码生成设备 1可继续跟踪其他输入目标对象, 并为 其确定运动特征信息, 在步骤 S303中, 运动码生成设备 1为其生成运 动特征码, 即运动特征码的生成是可以相互独立的。 这样一个摄像装置 可同时作多个处理。
优选地, 所述启动触发条件包括在所获取的运动图像中检测到预定 运动模式; 其中, 在步骤 S301 中, 运动码生成设备 1检测所获取的运 动图像是否包括预定运动模式; 随后, 在步骤 S302 中, 运动码生成设 备 1当满足所述启动触发条件, 基于对该预定运动模式对应的运动的检 测, 确定对应的运动特征信息; 在步骤 S303中, 运动码生成设备 1通 过对该运动特征信息进行编码处理, 生成对应所述运动的运动特征码。
例如, 针对摄像装置所获取的运动图像, 在步骤 S301 中, 运动码 生成设备 1通过图像识别等方式, 在该所获取的运动图像中检测是否包 括对应于运动特征的预定运动模式, 如使用光流分析等方法对该运动图 像的不同运动区域进行分割, 或者在对该运动图像进行运动检测取其总 体运动方向和大小为整幅图的运动方式, 例如, 使用整幅图各像素的运 动对总体运动大小和方向进行投票取最多票数的大小和方向, 当多帧的 运动出现合乎条件的运动模式时, 即, 当检测到预定运动模式时, 判断 满足基于运动特征信息生成运动特征码的启动触发条件。 随后, 在步骤 S302中, 运动码生成设备 1当满足该启动触发条件,基于对该预定运动 模式对应的运动的检测, 确定对应的运动特征信息; 在步骤 S303 中, 运动码生成设备 1通过一定的编码方式,生成对应该运动的运动特征码。 如假设预定运动模式为水平摇动, 在步骤 S301 中, 运动码生成设备 1 针对摄像装置所获取的运动图像, 检测到一秒内图像的运动 (或其中某 一足够大的区域) 不断在水平左, 水平右之间以一秒 3-5次来回反复足 够多次, 则判断满足启动触发条件; 在步骤 S302中, 运动码生成设备 1 基于该以一秒 3-5次来回的水平摇动运动模式, 确定对应的运动特征信 息; 在步骤 S303中, 运动码生成设备 1基于此生成对应该运动的运动 特征码。
优选地, 在步骤 S303中, 运动码生成设备 1根据所述运动特征信 息, 并结合所述运动特征信息的附加信息, 生成对应的运动特征码; 将 所述运动特征码提供给对应的处理应用。 其中, 所述附加信息包括以下 至少任一项:
- 所述运动特征信息的标识信息;
- 所述运动特征信息的辅助信息。
在此, 运动特征信息的标识信息用于检索和 (唯一)标识产生的运 动特征信息, 其包括以下两部分中至少一个部分: 1 )设备唯一码: 用 于标识产生运动特征信息的设备或器件, 例如设备的 MAC地址、 IP地 址、 电话号码、 CPU编号、 某一器件的编号、 设备 ID、 产品序列号、 通用唯一识别码(UUID )、 国际移动设备 ID ( IMEI )、 国际移动用户 ID ( IMSI )或由其引申或编码得到的。 一个设备的不同部件可有不同的设 备唯一码,例如前置摄像装置、后置摄像装置和 MEMS可分别对应不同 设备唯一码。 此时, 可 4巴相应部件的编码和设备的编码叠加 (如设备码 +部件码或编号)得到设备唯一码; 2 )特征码序列号: 为以产生时间、 地址、 顺序编号、 或随机编号、 及以上一项或多项的混合编码。 上述两 部分可以前后叠加或以一定算法混合产生运动标识信息。
运动特征信息的辅助信息包括除运动特征信息的标识信息外的其 他信息, 如设备类型信息、 设备连接信息 (IP地址、 电话号码等)、 用 户信息、 特征码产生时间、 地点、 方式、 特征码编码方式、 及具体应用 所需信息等。 运动特征信息的辅助信息可作为一个整体或分成多段与运 动特征信息数据本身一起或穿插传输。
本领域技术人员应能理解上述运动特征信息的附加信息仅为举 例, 其他现有的或今后可能出现的运动特征信息的附加信息如可适用 于本发明, 也应包含在本发明保护范围以内, 并在此以引用方式包含 于此。
图 4示出根据本发明一个优选实施例的基于运动特征信息生成运 动特征码的方法流程图。 该方法还包括步骤 S404。 以下参照图 4对该 优选实施例进行详细描述: 具体地, 在步骤 S401中, 运动码生成设备 1 检测是否满足基于运动特征信息生成运动特征码的启动触发条件; 在 步骤 S402中, 运动码生成设备 1 当满足所述启动触发条件, 基于对所 述启动触发条件所对应的运动的检测, 确定对应所述运动的运动特征信 息; 在步骤 S403中, 运动码生成设备 1对所述运动特征信息进行编码 处理, 生成对应所述运动特征信息的运动特征码; 在步骤 S404 中, 运 动码生成设备 1 检测是否满足停止生成所述运动特征码的停止触发条 件; 若满足所述停止触发条件, 提供停止生成所述运动特征码的提示信 息。 其中, 步骤 S401-S403分别与图 3所示对应步骤相同或基本相同, 故此处不再赘述, 并通过引用的方式包含于此。
其中, 在步骤 S404中, 运动码生成设备 1检测是否满足停止生成 所述运动特征码的停止触发条件; 若满足所述停止触发条件, 提供停止 生成所述运动特征码的提示信息; 其中, 所述停止触发条件包括以下至 少任一项:
- 获取预定的停止生成运动特征码的停止触发信息;
- 在所述运动图像中检测到对应于停止生成运动特征码的预定运动 模式;
- 所生成的运动特征码满足预定的停止条件。
例如, 用户通过与移动终端等设备的交互, 在该移动终端的特定按 钮上通过点击、 长按等方式, 发送了停止信号, 在步骤 S404 中, 运动 码生成设备 1通过与该移动终端的交互, 例如 WIFI、 蓝牙、 红外、 互联 网或其他约定的通信方式, 获取该停止信息, 并判断满足停止生成所述 运动特征码的停止触发条件; 随后, 在步骤 S404中, 运动码生成设备 1 停止生成所述运动特征码, 如通过预定的通信方式, 通知后续装置停止 工作; 接着, 在步骤 S404中, 运动码生成设备 1还提供停止生成所述 运动特征码的提示信息, 如通过震动、 响铃、 语音提示、 屏幕显示提醒 等方式, 向用户或其手机发送提示信息。
又如, 该停止触发条件包括当在所述运动图像中检测到对应于停止 生成运动特征码的预定运动模式, 如预先设置当预定运动模式为画 "V" 形图像时对应停止生成运动特征码, 则当该运动码生成设备 1在运动图 像中检测到画 "V" 形图像的预定运动模式时, 在步骤 S404中, 运动码 生成设备 1判断满足停止生成运动特征码的停止触发条件。
再如, 该停止触发条件包括当所生成的运动特征码满足预定的停止 条件, 如该运动码生成设备 1所获得的运动轨迹的长度已超过预定长度 阈值、 或者已生成的运动特征码的数量已超过预定数量阈值, 则在步骤 S404中,运动码生成设备 1判断满足停止生成运动特征码的停止触发条 件。 本领域技术人员应能理解上述停止触发条件仅为举例, 其他现有 的或今后可能出现的停止触发条件如可适用于本发明, 也应包含在本 发明保护范围以内, 并在此以引用方式包含于此。
本发明的软件程序可以通过处理器执行以实现上文所述步骤或功 能。 同样地, 本发明的软件程序(包括相关的数据结构)可以被存储 到计算机可读记录介质中, 例如, RAM存储器, 磁或光驱动器或软 磁盘及类似设备。 另外, 本发明的一些步骤或功能可采用硬件来实 现, 例如, 作为与处理器配合从而执行各个功能或步骤的电路。
另外, 本发明的一部分可被应用为计算机程序产品, 例如计算机 程序指令, 当其被计算机执行时, 通过该计算机的操作, 可以调用 或提供根据本发明的方法和 /或技术方案。 而调用本发明的方法的程 序指令, 可能被存储在固定的或可移动的记录介质中, 和 /或通过广 播或其他信号承载媒体中的数据流而被传输, 和 /或被存储在根据所 述程序指令运行的计算机设备的工作存储器中。 在此, 根据本发明的 一个实施例包括一个装置, 该装置包括用于存储计算机程序指令的存 储器和用于执行程序指令的处理器, 其中, 当该计算机程序指令被该 处理器执行时, 触发该装置运行基于前述根据本发明的多个实施例的 方法和 /或技术方案。
对于本领域技术人员而言, 显然本发明不限于上述示范性实施例 的细节, 而且在不背离本发明的精神或基本特征的情况下, 能够以 其他的具体形式实现本发明。 因此, 无论从哪一点来看, 均应将实 施例看作是示范性的, 而且是非限制性的, 本发明的范围由所附权 利要求而不是上述说明限定, 因此旨在将落在权利要求的等同要件 的含义和范围内的所有变化涵括在本发明内。 不应将权利要求中的 任何附图标记视为限制所涉及的权利要求。 此外, 显然"包括"一词 不排除其他单元或步骤, 单数不排除复数。 装置权利要求中陈述的 多个单元或装置也可以由一个单元或装置通过软件或者硬件来实 现。 第一, 第二等词语用来表示名称, 而并不表示任何特定的顺 序。

Claims

权 利 要 求 书
1. 一种用于基于运动特征信息生成运动特征码的方法, 其中, 该方 法包括以下步骤:
a检测是否满足基于运动特征信息生成运动特征码的启动触发条 件;
b 当满足所述启动触发条件, 基于对所述启动触发条件所对应的运 动的检测, 确定对应所述运动的运动特征信息;
c对所述运动特征信息进行编码处理, 生成对应所述运动特征信息 的运动特征码。
2. 根据权利要求 1所述的方法, 其中, 所述步骤 b由传感检测装 置执行, 其中, 所述传感检测装置包括以下任一项:
- MEMS传感器;
- 二维摄像装置;
- 三维摄像装置。
3. 根据权利要求 1 所述的方法, 其中, 所述启动触发条件包括以 下任一项:
- 在所获取的初始图像中检测到预定的输入目标对象;
- 在所获取的运动图像中检测到预定运动模式。
4. 根据权利要求 1所述的方法, 其中, 所述启动触发条件包括:
- 在所获取的初始图像中检测到预定的输入目标对象, 且在所述输 入目标对象所对应的运动图像中检测到预定运动模式。
5. 根据权利要求 3或 4所述的方法, 其中, 所述初始图像包括预定 的输入目标对象, 其中, 所述步骤 b包括:
bl 当满足所述启动触发条件, 获取所述输入目标对象的运动图像 b2基于所述运动图像信息, 确定所述输入目标对象的运动特征信 自、
6. 根据权利要求 5所述的方法, 其中, 所述运动特征信息还包括所 述输入目标对象的运动轨迹信息;
其中, 所述步骤 C包括:
-对所述运动轨迹信息进行编码处理, 生成对应所述运动轨迹信息 的运动特征码。
7. 根据权利要求 5或 6所述的方法, 其中, 所述步骤 c包括:
-根据所述运动特征信息, 并结合所述输入目标对象的对象相关信 息, 生成所述运动特征码。
8. 根据权利要求 7 所述的方法, 其中, 所述对象相关信息包括以 下至少任一项:
- 人手信息;
- 特定手势信息;
- 以预定发光模式进行发光的发光单元信息。
9. 根据权利要求 5所述的方法, 其中, 所述 a步骤包括:
-根据预定的图像特征信息, 检测所获取的初始图像是否包括预定 的输入目标对象,其中,所述输入目标对象与所述图像特征信息相对应。
10. 根据权利要求 5所述的方法, 其中, 所述初始图像中包括多个 输入目标对象;
其中, 所述步骤 b包括:
- 当满足所述启动触发条件, 分别获取每个输入目标对象的运动图 像信息, 并据此确定对应的运动特征信息;
其中, 所述步骤 c包括:
-对每个输入目标对象所对应的所述运动特征信息进行编码处理, 生成所述多个输入目标对象的运动特征码。
11. 根据权利要求 1至 10中任一项所述的方法, 其中, 该方法还包 括:
X对所述运动特征信息进行降维处理, 以获得降维后的运动特征信 自、.
其中, 所述步骤 C包括:
-对所述降维后的运动特征信息进行编码处理, 生成所述输入目标 对象的运动特征码。
12. 根据权利要求 11所述的方法, 其中, 所述步骤 X包括:
- 将所述运动特征信息自三维空间降至二维平面, 其中, 所述二维 平面包括以下任一项:
- 图像获取平面;
- 二维拟合平面;
- 垂直方向拟合平面;
-设备朝向方向拟合平面。
13. 根据权利要求 1至 12中任一项所述的方法, 其中, 所述运动 特征信息包括以下至少任一项:
- 突出特征信息;
- 全局特征信息;
- 变化趋势信息。
14. 根据权利要求 1至 13中任一项所述的方法, 其中, 所述步骤 c 包括:
-根据所述运动特征信息, 并结合所述运动特征信息的附加信息, 生成对应的运动特征码;
- 将所述运动特征码提供给对应的处理应用。
15. 根据权利要求 14 所述的方法, 其中, 所述附加信息包括以下 至少任一项:
- 所述运动特征信息的标识信息;
- 所述运动特征信息的辅助信息。
16. 根据权利要求 1至 15中任一项所述的方法, 其中, 所述编码 处理包括以下至少任一项:
- 编码形式转换处理;
- 编码打包处理;
- 编码压缩处理;
- 编码加密处理。
17. 根据权利要求 1至 16中任一项所述的方法, 其中, 该方法还包 括:
-检测是否满足停止生成所述运动特征码的停止触发条件;
- 若满足所述停止触发条件, 提供停止生成所述运动特征码的提示 其中, 所述停止触发条件包括以下至少任一项:
- 获取预定的停止生成运动特征码的停止触发信息;
- 在所述运动图像中检测到对应于停止生成运动特征码的预定运动 模式;
- 所生成的运动特征码满足预定的停止条件。
18. 一种用于基于运动特征信息生成运动特征码的运动码生成设 备, 其中, 该设备包括:
检测装置, 用于检测是否满足基于运动特征信息生成运动特征码的 启动触发条件;
确定装置, 用于当满足所述启动触发条件, 基于对所述启动触发条 件所对应的运动的检测, 确定对应所述运动的运动特征信息;
生成装置, 用于对所述运动特征信息进行编码处理, 生成对应所述 运动特征信息的运动特征码。
19. 根据权利要求 18 所述的运动码生成设备, 其中, 所述确定装 置包括传感检测装置, 其中, 所述传感检测装置包括以下任一项:
- MEMS传感器;
- 二维摄像装置;
- 三维摄像装置。
20. 根据权利要求 18 所述的运动码生成设备, 其中, 所述启动触 发条件包括以下任一项:
- 在所获取的初始图像中检测到预定的输入目标对象;
- 在所获取的运动图像中检测到预定运动模式。
21. 根据权利要求 18所述的运动码生成设备, 其中, 所述启动触发 条件包括:
- 在所获取的初始图像中检测到预定的输入目标对象, 且在所述输 入目标对象所对应的运动图像中检测到预定运动模式。
22. 根据权利要求 20或 21所述的运动码生成设备, 其中, 所述初 始图像包括预定的输入目标对象, 其中, 所述确定装置包括:
获取单元, 用于当满足所述启动触发条件, 获取所述输入目标对象 的运动图像信息;
确定单元, 用于基于所述运动图像信息, 确定所述输入目标对象的 运动特征信息。
23. 根据权利要求 22所述的运动码生成设备, 其中, 所述运动特征 信息还包括所述输入目标对象的运动轨迹信息;
其中, 所述生成装置用于:
-对所述运动轨迹信息进行编码处理, 生成对应所述运动轨迹信息 的运动特征码。
24. 根据权利要求 22或 23所述的运动码生成设备, 其中, 所述生 成装置用于:
-根据所述运动特征信息, 并结合所述输入目标对象的对象相关信 息, 生成所述运动特征码。
25. 根据权利要求 24所述的运动码生成设备, 其中, 所述对象相关 信息包括以下至少任一项:
- 人手信息;
- 特定手势信息;
- 以预定发光模式进行发光的发光单元信息。
26. 根据权利要求 25所述的运动码生成设备, 其中, 所述检测装置 用于:
-根据预定的图像特征信息, 检测所获取的初始图像是否包括预定 的输入目标对象,其中,所述输入目标对象与所述图像特征信息相对应。
27. 根据权利要求 25所述的运动码生成设备, 其中, 所述初始图像 中包括多个输入目标对象;
其中, 所述确定装置用于:
- 当满足所述启动触发条件, 分别获取每个输入目标对象的运动图 像信息, 并据此确定对应的运动特征信息;
其中, 所述生成装置用于:
-对每个输入目标对象所对应的所述运动特征信息进行编码处理, 生成所述多个输入目标对象的运动特征码。
28. 根据权利要求 18至 27中任一项所述的运动码生成设备,其中, 该设备还包括:
降维处理装置, 用于对所述运动特征信息进行降维处理, 以获得降 维后的运动特征信息;
其中, 所述生成装置用于:
-对所述降维后的运动特征信息进行编码处理, 生成所述输入目标 对象的运动特征码。
29. 根据权利要求 28 所述的运动码生成设备, 其中, 所述步骤降 维处理装置用于:
- 将所述运动特征信息自三维空间降至二维平面, 其中, 所述二维 平面包括以下任一项:
- 图像获取平面;
- 二维拟合平面;
- 垂直方向拟合平面;
-设备朝向方向拟合平面。
30.根据权利要求 18至 29中任一项所述的运动码生成设备,其中, 所述运动特征信息包括以下至少任一项:
- 突出特征信息;
- 全局特征信息;
- 变化趋势信息。
31. 根据权利要求 18至 30中任一项所述的运动码生成设备,其中, 所述生成装置用于:
-根据所述运动特征信息, 并结合所述运动特征信息的附加信息, 生成对应的运动特征码;
- 将所述运动特征码提供给对应的处理应用。
32. 根据权利要求 31 所述的运动码生成设备, 其中, 所述附加信 息包括以下至少任一项:
- 所述运动特征信息的标识信息;
- 所述运动特征信息的辅助信息。
33.根据权利要求 18至 32中任一项所述的运动码生成设备,其中, 所述编码处理包括以下至少任一项:
- 编码形式转换处理;
- 编码打包处理;
- 编码压缩处理;
- 编码加密处理。
34. 根据权利要求 18至 33中任一项所述的运动码生成设备,其中, 该设备还包括停止装置, 用于:
-检测是否满足停止生成所述运动特征码的停止触发条件;
- 若满足所述停止触发条件, 提供停止生成所述运动特征码的提示 其中, 所述停止触发条件包括以下至少任一项:
- 获取预定的停止生成运动特征码的停止触发信息;
- 在所述运动图像中检测到对应于停止生成运动特征码的预定运动 模式;
- 所生成的运动特征码满足预定的停止条件。
PCT/CN2014/076800 2013-05-07 2014-05-05 一种用于基于运动特征信息生成运动特征码的方法和设备 WO2014180291A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP14794946.5A EP2996067A4 (en) 2013-05-07 2014-05-05 Method and device for generating motion signature on the basis of motion signature information
US14/889,332 US20160104037A1 (en) 2013-05-07 2014-05-05 Method and device for generating motion signature on the basis of motion signature information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310166011.2 2013-05-07
CN201310166011.2A CN104143074A (zh) 2013-05-07 2013-05-07 一种用于基于运动特征信息生成运动特征码的方法和设备

Publications (1)

Publication Number Publication Date
WO2014180291A1 true WO2014180291A1 (zh) 2014-11-13

Family

ID=51852244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/076800 WO2014180291A1 (zh) 2013-05-07 2014-05-05 一种用于基于运动特征信息生成运动特征码的方法和设备

Country Status (4)

Country Link
US (1) US20160104037A1 (zh)
EP (1) EP2996067A4 (zh)
CN (1) CN104143074A (zh)
WO (1) WO2014180291A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10390373B2 (en) 2013-05-07 2019-08-20 Hangzhou Zhileng Technology Co. Ltd. Method, apparatus and system for establishing connection between devices
US10509946B2 (en) 2013-05-07 2019-12-17 Hangzhou Zhileng Technology Co. Ltd. Method and device for matching signatures on the basis of motion signature information

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394312B (zh) * 2014-10-23 2017-08-22 小米科技有限责任公司 拍摄控制方法及装置
CN105787419A (zh) * 2014-12-23 2016-07-20 阿里巴巴集团控股有限公司 手掌图像的手掌检测方法及系统
CN109074473B (zh) * 2016-04-11 2020-04-24 北京市商汤科技开发有限公司 用于对象跟踪的方法和系统
CN108369447B (zh) * 2016-04-13 2021-06-29 华为技术有限公司 控制可穿戴电子设备运行状态的方法和装置
CN106022393B (zh) * 2016-05-25 2019-08-30 华中科技大学 一种基于笔划编码的印刷体汉字识别方法
CN109325456B (zh) * 2018-09-29 2020-05-12 佳都新太科技股份有限公司 目标识别方法、装置、目标识别设备及存储介质
CN109725327B (zh) * 2019-03-07 2020-08-04 山东大学 一种多机构建地图的方法及系统
CN112825013A (zh) * 2019-11-20 2021-05-21 百度在线网络技术(北京)有限公司 终端设备的控制方法和装置
CN113313030B (zh) * 2021-05-31 2023-02-14 华南理工大学 基于运动趋势特征的人体行为识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299812A (zh) * 2008-06-25 2008-11-05 北京中星微电子有限公司 视频分析和存储方法、系统,及视频检索方法、系统
CN102307309A (zh) * 2011-07-29 2012-01-04 杭州电子科技大学 一种基于自由视点的体感交互导播系统及方法
CN102693084A (zh) * 2012-05-08 2012-09-26 上海鼎为软件技术有限公司 移动终端及其响应操作的方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US8619048B2 (en) * 2008-08-08 2013-12-31 Moonsun Io Ltd. Method and device of stroke based user input
CN101694693A (zh) * 2009-10-16 2010-04-14 中国科学院合肥物质科学研究院 基于加速度传感器人体运动识别系统及方法
US9174123B2 (en) * 2009-11-09 2015-11-03 Invensense, Inc. Handheld computer systems and techniques for character and command recognition related to human movements
CN101976330B (zh) * 2010-09-26 2013-08-07 中国科学院深圳先进技术研究院 手势识别方法和系统
CN102567740B (zh) * 2010-12-14 2014-07-16 苏州大学 一种图像识别方法及系统
US8693726B2 (en) * 2011-06-29 2014-04-08 Amazon Technologies, Inc. User identification by gesture recognition
US8754863B2 (en) * 2011-09-23 2014-06-17 Motorola Solutions, Inc. Fixed display system interaction with a communication device
CN102420942A (zh) * 2011-11-28 2012-04-18 康佳集团股份有限公司 一种基于拍照设备的拍照控制方法及拍照设备
CN102663364A (zh) * 2012-04-10 2012-09-12 四川长虹电器股份有限公司 仿3d手势识别系统及方法
US20140071044A1 (en) * 2012-09-10 2014-03-13 Electronics And Telecommunications Research Institute Device and method for user interfacing, and terminal using the same
JP5974913B2 (ja) * 2013-01-25 2016-08-23 富士通株式会社 撮像方法、撮像装置及び撮像プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299812A (zh) * 2008-06-25 2008-11-05 北京中星微电子有限公司 视频分析和存储方法、系统,及视频检索方法、系统
CN102307309A (zh) * 2011-07-29 2012-01-04 杭州电子科技大学 一种基于自由视点的体感交互导播系统及方法
CN102693084A (zh) * 2012-05-08 2012-09-26 上海鼎为软件技术有限公司 移动终端及其响应操作的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10390373B2 (en) 2013-05-07 2019-08-20 Hangzhou Zhileng Technology Co. Ltd. Method, apparatus and system for establishing connection between devices
US10509946B2 (en) 2013-05-07 2019-12-17 Hangzhou Zhileng Technology Co. Ltd. Method and device for matching signatures on the basis of motion signature information
US10779337B2 (en) 2013-05-07 2020-09-15 Hangzhou Zhileng Technology Co. Ltd. Method, apparatus and system for establishing connection between devices

Also Published As

Publication number Publication date
EP2996067A1 (en) 2016-03-16
US20160104037A1 (en) 2016-04-14
CN104143074A (zh) 2014-11-12
EP2996067A4 (en) 2017-06-14

Similar Documents

Publication Publication Date Title
WO2014180291A1 (zh) 一种用于基于运动特征信息生成运动特征码的方法和设备
US10007349B2 (en) Multiple sensor gesture recognition
KR102036978B1 (ko) 라이브니스 검출 방법 및 디바이스, 및 아이덴티티 인증 방법 및 디바이스
US10754423B2 (en) Providing virtual reality experience service
US9628843B2 (en) Methods for controlling electronic devices using gestures
US8660362B2 (en) Combined depth filtering and super resolution
US20170372449A1 (en) Smart capturing of whiteboard contents for remote conferencing
WO2019080797A1 (zh) 一种活体检测方法、终端和存储介质
US10922536B2 (en) Age classification of humans based on image depth and human pose
EP2842075A1 (en) Three-dimensional face recognition for mobile devices
TWI489326B (zh) 操作區的決定方法與系統
CN104144520A (zh) 一种设备间建立连接的方法、装置与系统
WO2015093130A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN113330395A (zh) 一种多屏交互的方法、装置、终端设备和车辆
CN112818807A (zh) 摔倒检测方法、装置、设备和存储介质
JP5555193B2 (ja) データ処理装置、データ処理システム、及びプログラム
KR102250712B1 (ko) 전자 장치 및 제어 방법
JPWO2013145874A1 (ja) 情報処理装置、情報処理方法およびプログラム
US9761009B2 (en) Motion tracking device control systems and methods
JP2013207356A (ja) 情報処理装置、情報処理方法およびプログラム
JP5852928B2 (ja) 所作入力装置、所作入力方法及びプログラム
KR20220096242A (ko) 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공 방법과 이를 위한 컴퓨터 프로그램
WO2023015127A2 (en) Mapping networked devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14794946

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14889332

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2014794946

Country of ref document: EP