WO2018196370A1 - 一种基于模式识别的视觉投影交互系统及交互方法 - Google Patents

一种基于模式识别的视觉投影交互系统及交互方法 Download PDF

Info

Publication number
WO2018196370A1
WO2018196370A1 PCT/CN2017/113361 CN2017113361W WO2018196370A1 WO 2018196370 A1 WO2018196370 A1 WO 2018196370A1 CN 2017113361 W CN2017113361 W CN 2017113361W WO 2018196370 A1 WO2018196370 A1 WO 2018196370A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
target spot
spot
target
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/113361
Other languages
English (en)
French (fr)
Inventor
谢巍
何伶珍
张浪文
李博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Publication of WO2018196370A1 publication Critical patent/WO2018196370A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G06F18/21322—Rendering the within-class scatter matrix non-singular
    • G06F18/21324—Rendering the within-class scatter matrix non-singular involving projections, e.g. Fisherface techniques

Definitions

  • the invention relates to the field of computer vision and pattern recognition, in particular to a visual projection interaction system and an interaction method based on pattern recognition.
  • Interaction is an augmented reality technology that combines virtual objects with real-world scenarios to allow users to interact with the virtual environment. It gives users an immersive feel and creates a new dynamic interactive experience.
  • the visual projection interactive system is an important application of augmented reality. It relies on advanced computer vision technology and projection display technology to create a realistic interactive mode.
  • Another object of the present invention is to provide a visual projection interaction method based on pattern recognition.
  • a visual projection interactive system based on pattern recognition comprising a projector, a camera, an infrared tube, an infrared filter and a PC;
  • the camera is fixed on the bracket, the bracket is vertically fixed on the horizontal ground, the camera is connected to the PC, the infrared tube is installed at the bottom of the bracket, the infrared filter is installed at the rear of the camera lens, and the projector is mounted on the bracket.
  • the rear side is higher than the camera and connected to the PC, and the display screen of the PC is projected between the user and the camera to form a projection area.
  • the infrared tube is specifically a word line type infrared tube.
  • An interactive method of a visual projection interaction system includes the following steps:
  • S1 corrects the distortion of the camera, opens the infrared tube, and illuminates the projection area
  • the S2 camera collects the image of the user's foot in the projection area, and preprocesses the image to extract the highlighted connected domain of the binarized map;
  • S4 uses a two-level classifier to classify the target spot, specifically:
  • the first classifier obtains three parameters of the target spot of the foot and filters it to obtain a rough target spot.
  • the three parameters are: the circularity of the target spot, the perimeter ratio of the target spot area, and the area of the target spot;
  • the second classifier first extracts the template feature parameters of the rough target spot, and then learns to form the sample feature database. Finally, the Bayesian probability of the sample to be tested is calculated using the minimum error rate Bayesian discriminant to obtain the accurate target spot.
  • S5 calculates the geometric center of the lower half of the precise target spot as the target center point, and uses the coordinate mapping method based on linear interpolation to map the coordinates of the target spot to the mouse coordinates of the PC, and further control the mouse action.
  • the three parameters are: the target spot circularity, the target spot area perimeter ratio, and the target spot area, and the specific calculation is:
  • the calculation method of the target spot circularity is as follows:
  • R is circularity
  • B i is the perimeter of the spot area
  • a i is the area of the spot area
  • R 1 is 0.4
  • R 2 is 0.8;
  • a i represents the area of the spot
  • B i represents the perimeter of the spot
  • Rate min is the area perimeter ratio minimum.
  • the second classifier first performs template feature parameter extraction on the rough target spot, specifically:
  • R i is the characteristic value of each small area
  • S w is the number of white pixel points
  • S all is the total number of pixels of the small area.
  • Calculating the geometric center of the lower half of the precise target spot as the target center point specifically: selecting the average center of the N highlight pixels in the lower half of the spot area, and superimposing the average center on the image ordinate direction by an offset A quantity that represents the geometric center, the target center point.
  • the Bayesian probability of the sample to be tested is calculated using the minimum error rate Bayesian discriminant to obtain the accurate target spot. Specifically, the Bayesian posterior probability of the sample to be tested is calculated in the sample feature database, and the sample to be tested is compared in the sample feature database. The posterior probability of the sample, the maximum delay probability is the classification result of the sample to be tested.
  • mapping of the coordinates of the target spot to the mouse coordinates of the active area of the PC specifically using linear interpolation:
  • the quadrilateral ABCD represents the boundary point of the projection area, and four boundary equations composed of four boundary points A, B, C, and D can be obtained:
  • W and H are the width and height of the resolution of the PC display, respectively, and the converted (x 0 ', y 0 ') is the final mapping result.
  • a near-infrared auxiliary light source to highlight the target.
  • a plane covered by a near-infrared light source is formed.
  • the camera lens adds an infrared filter to reduce the complexity of the image background;
  • the morphological parameter filtering is used as the first level classifier. Forming a first-stage classifier by calculating a morphological parameter such as an area of a human body's foot highlight, an area perimeter ratio, and a circularity;
  • Figure 1 is a flow chart of the operation of the present invention
  • Figure 2 is a schematic view of the structure of the present invention.
  • Figure 5 is a flow chart of the primary classifier of the present invention.
  • Figure 6 is a schematic diagram of target center point to PC coordinate mapping.
  • Figure 7 is a data structure diagram of auxiliary sorting
  • a visual projection interactive system based on pattern recognition includes a projector 1, a camera 2, an infrared tube 3, and a PC; the camera 2 is fixed on a bracket, and the bracket is vertically fixed on a horizontal ground, and infrared
  • the tube 3 is mounted on the bottom of the bracket, and the projector 1 is mounted behind the bracket, which is higher than the camera and connected to the PC, and the display screen of the PC is projected between the user and the camera to form a projection area.
  • the user faces the system device, and the toe points to the position where the system device is located, so that an effective foot spot can be generated under the search of the active light source and imaged in the camera.
  • the infrared tube is specifically a word line type infrared tube, and an infrared filter is disposed behind the lens of the camera to reduce the background complexity and highlight the target spot.
  • an interactive method for visual projection interaction includes the following steps:
  • S1 corrects the distortion of the camera, opens the infrared tube, and illuminates the projection area
  • the S2 camera collects the image of the user's foot in the projection area, and preprocesses the image to extract the highlighted connected domain of the binarized map; specifically:
  • This system uses the API function cvFindContours provided by the OPENCV image library to achieve the function of target spot capture.
  • the cvFindContours function retrieves the outline of the highlighted connected field from the binary image and returns the number of outlines. There are 7 input parameters for this function:
  • the input image must be a single-channel image, otherwise an error will be calculated
  • a memory space must be created to save the retrieved profile information, otherwise a memory leak will occur after retrieval.
  • S4 uses a two-level classifier to classify the target spot, specifically:
  • the S4.1 primary classifier is specifically: three parameters of the target spot of the foot are obtained and filtered to obtain a rough target spot, and the three parameters are: the circularity of the target spot, the area of the target spot, and the target spot area. Perimeter ratio
  • R is the circularity
  • B i is the perimeter of the spot area
  • a i is the area of the spot area.
  • the area of the diffuse reflection spot can neither be too large nor too small, so the area bandpass filtering is introduced:
  • S 1 and S 2 are the upper and lower boundary values of the spot area, and the upper and lower boundary values are empirical values obtained through a large number of experiments.
  • the human foot spot does not have a narrow shape feature.
  • the long and narrow spot has a small area circumference, so this paper proposes high-pass filtering on the area ratio of the spot:
  • a i represents the area of the spot
  • B i represents the perimeter of the spot
  • Rate min is the area perimeter ratio minimum.
  • Item Name Number of tests (a) Area (pixels) Area perimeter ratio Circularity Human foot 100 100 ⁇ 250 3.0 to 4.5 0.4 to 0.8 box 100 150 ⁇ 300 2.0 to 4.0 0.3 to 0.7 Small paper group 100 30 ⁇ 80 2.0 to 2.5 0.8 to 1.1 pen 100 40 ⁇ 90 0.90 ⁇ 1.20 0.1 to 0.2 Knife 100 100 ⁇ 200 1.2 to 2.5 0.2 to 0.6
  • the S4.2 secondary classifier specifically includes the following steps:
  • R i is the characteristic value of each small area
  • S w is the number of white pixel points
  • S all is the total number of pixel points of the small area.
  • Template feature matrix forming a spot area
  • the BAYES inference formula is as follows:
  • X) is the posterior probability of the sample to be tested for the i-th sample library
  • P( ⁇ i ) is the prior probability of the sample library
  • ⁇ i ) is the conditional probability density. The idea is to calculate the probability that X belongs to the category according to the prior probability of a certain category and the probability density of the feature vector X in a certain type of feature space.
  • the denominator As analyzed by the above formula (10), for each class ⁇ i , the denominator The values are fixed. Then the posterior probability of discriminating the feature vector X can be:
  • the category i corresponding to the value of the largest discriminant function is obtained.
  • S5 calculates the geometric center of the lower half of the precise target spot as the target center point, and uses the coordinate mapping method based on linear interpolation to map the coordinates of the target spot to the mouse coordinates of the PC, and further control the mouse action.
  • the central center of the lower half of the precise target spot is calculated as the target center point, specifically:
  • the geometric center of the lower half of the spot area is selected as the target center point.
  • the calculation method is as follows:
  • x i and yi are the two-dimensional coordinates of each highlighted pixel in the lower half of the spot.
  • ⁇ y is set as the linear adjustment margin of the center point in the y direction.
  • a minimum binary stack of size 10 is maintained.
  • the root node of the minimum binary heap can be minimized under the logM time complexity.
  • the root node element is removed, and a new highlighted coordinate point y value is taken from the VECTOR into the root node, and then the next round of adjustment is performed.
  • the 10 points in the minimum binary stack are the 10 points with the largest y value.
  • the coordinates of the center point of the spot can be calculated using equation (15).
  • the time complexity of the whole process is:
  • the present invention designs a coordinate mapping method based on linear interpolation.
  • the quadrilateral ABCD represents the imaging of the projection area in the camera.
  • Four boundary equations consisting of four boundary points A, B, C, and D are available:
  • W and H are the width and height of the resolution of the PC display, respectively, so that the converted (x 0 ', y 0 ') is the final mapping result.
  • the system forms a plane covered by a near-infrared source within the projection area.
  • the foot will produce a diffuse reflection spot.
  • the camera lens is added with an infrared filter to reduce the background complexity and highlight the target spot.
  • the first level is formed by calculating the morphological parameters such as the area of the infrared spot of the human foot, the area perimeter ratio, and the circularity.
  • a coarse-grained classifier; then, a minimum error rate Bayesian discriminant in the pattern recognition method is used as the second-level fine-grained classifier.
  • the coordinates of the object on the image are mapped to the mouse coordinates of the PC, thereby realizing the control of the mouse to reach the user and The purpose of system interaction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

一种基于模式识别的视觉投影交互系统及交互方法，包括投影仪1、摄像头2、红外管3及PC机；首先，该系统在投影区域内，形成一个近红外光源覆盖的平面，用户在区域内运动时，其脚部将产生漫反射光斑，同时，摄像头2镜头添加红外滤光片以降低背景复杂度和突出目标光斑；其次，通过计算人体脚部红外光斑的面积、面积周长比以及圆形度等形态学参数并滤波，形成第一级粗粒度分类器；然后，使用模式识别方法中的最小错误率贝叶斯判别作为二级细粒度分类器，最后，将图像上的目标物坐标映射到PC机的鼠标坐标，进而实现对鼠标的控制。

Description

一种基于模式识别的视觉投影交互系统及交互方法 技术领域
本发明涉及计算机视觉和模式识别领域，具体涉及一种基于模式识别的视觉投影交互系统及交互方法。
背景技术
交互是增强现实技术将虚拟的物体与现实场景结合，能够让用户与虚拟环境进行交互。它让用户产生一种身临其境的感觉，并为其营造出一种全新的动感交互式体验。而视觉投影交互系统是增强现实的一个重要应用，它是依靠先进的计算机视觉技术和投影显示技术，创造出一种具有真实感的交互模式。
发明内容
为了克服现有技术存在的缺点与不足，本发明首要的目的是提供一种基于模式识别的视觉投影交互系统。
本发明的另一目的是提供一种基于模式识别的视觉投影交互方法。
本发明采用如下技术方案：
一种基于模式识别的视觉投影交互系统，包括投影仪、摄像头、红外管、红外滤光片及PC机；
所述摄像头固定在支架上，支架垂直固定在水平地面上，所述摄像头与PC机连接，红外管安装在支架的底部，红外滤光片安装在摄像头镜头后部，所述投影仪安装在支架的后侧，高于摄像头且与PC机连接，并且使PC机的显示画面投影在使用者和摄像头之间形成投影区域。
所述红外管具体为一字线型红外管。
一种视觉投影交互系统的交互方法，包括如下步骤：
S1对摄像头进行畸变校正，打开红外管，照射投影区域；
S2摄像头采集在投影区域用户的脚部图像，对图像进行预处理提取二值化图的高亮连通域；
S3在高亮连通域中捕捉使用者的脚部目标光斑；
S4采用两级分类器对目标光斑进行分类，具体为：
一级分类器求得脚部目标光斑的三个参数并滤波，得到粗略目标光斑，所 述三个参数分别为：目标光斑圆形度、目标光斑面积周长比及目标光斑的面积；
二级分类器首先提取粗略目标光斑的模板特征参数，然后对其进行学习形成样本特征数据库，最后使用最小错误率贝叶斯判别计算待测样本的贝叶斯概率，得到精确目标光斑；
S5计算精确目标光斑下半部的几何中心作为目标中心点，采用基于线性插值法的坐标映射方法，将目标光斑的坐标映射到PC机的鼠标坐标，进一步控制鼠标的动作。
所述三个参数分别为：目标光斑圆形度、目标光斑面积周长比及目标光斑的面积，具体计算为：
目标光斑圆形度的计算方法如下：
Figure PCTCN2017113361-appb-000001
R1≤R≤R2
其中，R为圆形度，Bi为光斑区域周长，Ai为光斑区域的面积，R1为0.4，R2为0.8；
目标光斑面积：
S1≤S≤S2
其中，S1和S2为光斑面积的上下边界值
面积周长比：
Figure PCTCN2017113361-appb-000002
Ai表示光斑的面积，Bi表示光斑的周长，Ratemin为面积周长比最小值。
所述二级分类器首先对粗略目标光斑进行模板特征参数提取，具体为：
求得粗略目标光斑的区域的最小外接矩形；
将该最小外接矩形的长和宽等分成N等分，构成N×N个小区域，所述N为自然数；
计算每个小区域中高亮点的占比，并将比值作为该小区域的特征值：
Figure PCTCN2017113361-appb-000003
其中，Ri为每个小区域的特征值，Sw为白像素点个数，Sall为小区域的像素 点总数。
所述计算精确目标光斑下半部的几何中心作为目标中心点，具体为：选取光斑区域下半部N个高亮像素点的平均中心，并使平均中心在图像纵坐标方向上叠加一个偏移量，以此来代表几何中心即目标中心点。
所述S4中提取粗略目标光斑的模板特征参数，具体为：
首先找到该光斑的最小外接矩形，其次将最小外接矩形的长和宽等分成N等分，构成N×N个小区域，最后计算每个小区域中高亮点的占比，并将该比值作为该小区域的特征值。
使用最小错误率贝叶斯判别计算待测样本的贝叶斯概率，得到精确目标光斑，具体为：计算待测样本在样本特征数据库的贝叶斯后验概率，比较待测样本在样本特征数据库的后验概率大小，则后延概率最大为待测样本的分类结果。
所述将目标光斑的坐标映射到PC机的活动区域的鼠标坐标，具体采用线性插值法：
四边形ABCD代表投影区域的边界点，可得A、B、C、D这4个边界点组成的4条边界方程：
Figure PCTCN2017113361-appb-000004
Figure PCTCN2017113361-appb-000005
Figure PCTCN2017113361-appb-000006
Figure PCTCN2017113361-appb-000007
(x1,y0)、(x2,y0)四个点的坐标，利用线性插值的原理，得到目标光斑在PC机上的坐标：
Figure PCTCN2017113361-appb-000008
其中，W和H分别为PC机显示器的分辨率的宽和高，转换后的(x0′,y0′)为最终的映射结果。
本发明的有益效果：
(1)使用近红外辅助光源突出目标。在投影区域内，形成一个近红外光源覆盖的平面。当用户在踩踏该区域时，其脚部对近红外光产生漫反射并形成高亮的目标光斑。同时，摄像头镜头添加了红外滤光片，降低了图像背景的复杂度；
(2)将形态学参数滤波作为第一级分类器。通过计算人体脚部高亮光斑的面积、面积周长比以及圆形度等形态学参数并滤波，形成第一级分类器；
(3)使用模式识别方法中的最小错误率贝叶斯判别作为二级分类器。首先，通过提取先验样本目标区域的模板特征参数；然后，对其进行学习，形成样本特征数据库；最后，使用最小错误率贝叶斯判别计算待测样本的贝叶斯概率，可判断出待测样本属于哪个先验样本类别；
(4)设计一种基于线性插值法的坐标映射方法。该方法用于将图像中目标的坐标准确地映射到PC机的鼠标坐标，进而控制鼠标的动作。
附图说明
图1是本发明的工作流程图；
图2是本发明的结构示意图；
图3是本发明的摄像头畸变校正工作流程图；
图4是本发明图像预处理的工作流程图；
图5是本发明一级分类器的流程图；
图6是目标中心点到PC坐标映射示意图。
图7是辅助排序的数据结构图
具体实施方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例
如图2所示，一种基于模式识别的视觉投影交互系统，包括投影仪1、摄像头2、红外管3及PC机；所述摄像头2固定在支架上，支架垂直固定在水平地面上，红外管3安装在支架的底部，支架背后安装投影仪1，高于摄像头且与PC机连接，并且使PC机的显示画面投影在使用者和摄像头之间形成投影区域， 使用者在使用本系统时，面向系统装置，脚尖指向系统装置所在的位置，便可在主动光源的探照下产生有效的脚部光斑，并在摄像头中成像。
本实施例中红外管具体为一字线型红外管，摄像头的镜头后设置红外滤片，以降低背景复杂度和突出目标光斑。
如图1、图3、图4、图5及图6所示，一种视觉投影交互的交互方法，包括如下步骤：
S1对摄像头进行畸变校正，打开红外管，照射投影区域；
使用MATLAB的标定工具箱获取摄像头的内参数矩阵以及误差矩阵，并进行相关畸变校正。
S2摄像头采集在投影区域用户的脚部图像，对图像进行预处理提取二值化图的高亮连通域；具体为：
本系统使用OPENCV图像库提供的API函数cvFindContours实现目标光斑捕捉的功能。cvFindContours函数可从二值图像中检索高亮连通域的轮廓，并返回轮廓的个数。该函数的输入参数有7个：
1、指向需要进行处理的二值化图像的指针值；
2、指向被捕捉出来的轮廓所存放的容器的指针值；
3、指向首个被捕捉出来的轮廓结构的指针；
4、轮廓结构体的大小；
5、轮廓检索的方式；
6、边缘描述的方式；
7、轮廓点坐标的偏移量。
以上的参数必须按顺序输入，使用该函数应注意以下几点：
1、输入的图像必须是单通道图像，否则将计算出错；
2、cvFindContours处理后，输入的图像内容会被修改，变成只有边缘轮廓的二值图；
3、必须创建一个内存空间保存被检索到的轮廓信息，否则检索后会出现内存泄漏。
S3在高亮连通域中捕捉使用者的脚部目标光斑
S4采用两级分类器对目标光斑进行分类，具体为：
S4.1一级分类器具体为：求得脚部目标光斑的三个参数并滤波，得到粗略目标光斑，所述三个参数分别为：目标光斑圆形度、目标光斑的面积及目标光斑面积周长比；
圆形度的计算方法如下：
Figure PCTCN2017113361-appb-000009
R1≤R≤R2      (4)
其中，R为圆形度，Bi为光斑区域周长，Ai为光斑区域的面积。通过对每个高亮光斑的圆形度进行限幅滤波，即可在形态学上区分脚部与非脚部的光斑：
考虑到人脚的大小，其漫反射光斑面积既不能过大，亦不能过小，于是引入面积带通滤波：
S1≤S≤S2      (6)
其中，S1和S2为光斑面积的上下边界值，上下边界值则是通过大量实验得到的经验值。
再考虑到人脚光斑不具有狭长的形状特征。而狭长的光斑其面积周长比较小，于是本文又提出对光斑的面积周长比进行高通滤波：
Figure PCTCN2017113361-appb-000010
Ai表示光斑的面积，Bi表示光斑的周长，Ratemin为面积周长比最小值。
通过统计不同物体的上述3个形态学参数，得出如下统计表：
物品名称 测试数量(个) 面积(像素点) 面积周长比 圆形度
人体脚部 100 100～250 3.0～4.5 0.4～0.8
箱子 100 150～300 2.0～4.0 0.3～0.7
小纸团 100 30～80 2.0～2.5 0.8～1.1
笔 100 40～90 0.90～1.20 0.1～0.2
小刀 100 100～200 1.2～2.5 0.2～0.6
由上表可看出，通过将圆形度限制在0.4到0.8之间，可基本过滤小纸团和笔等杂物。但是，该方法对于箱子和小刀的过滤性能仍然不够理想。因此，在经过一级分类之后，仍然存在某些物品在面积、面积周长比以及圆形度的度量
上混淆，无法做出精确的识别和分类。
S4.2二级分类器具体包括如下步骤：
S4.2.1首先提取粗略目标光斑的模板特征参数，具体为：
首先找到光斑区域的最小外接矩形；
将该最小外接矩形的长和宽等分成N等分，构成N×N个小区域，所述N为自然数；
计算每个小区域中高亮点的占比，并将比值作为该小区域的特征值：
Figure PCTCN2017113361-appb-000011
其中，Ri为每个小区域的特征值，Sw为白像素点个数，Sall为小区域的像素点总数。
形成光斑区域的模板特征矩阵
Figure PCTCN2017113361-appb-000012
然后对其进行学习形成样本特征数据库，最后使用最小错误率贝叶斯判别计算待测样本的贝叶斯概率，得到精确目标光斑；
BAYES推断公式如下：
Figure PCTCN2017113361-appb-000013
其中，P(ωi|X)为待测样本对于第i类样本库的后验概率，P(ωi)为样本库的先验概率，P(X|ωi)为条件概率密度。其思想是，根据某类别的先验概率以及特征向量X在某类别特征空间中的概率密度，计算出X属于该类别的概率。
由上述公式(10)分析，对于每个类别ωi而言，分母
Figure PCTCN2017113361-appb-000014
的值都是固定的。则判别特征向量X的后验概率可由：
Hi(x)＝P(X|ωi)P(ωi)       (11)
所决定。同时，容易从样本库中计算先验概率P(ωi)。因此，则只需要推导类条件概率密度P(X|ωi)即可形成有效的判别函数。P(X|ωi)可以通过正态分布来近似，如下所示：
Figure PCTCN2017113361-appb-000015
其中，X为N维特征向量，μ为N维均值向量，S＝E[(X-μ)(X-μ)T]为N维协方差矩阵。为简化计算，取Hi(x)的对数作为判别函数，由公式(11)、公式(12)可得：
Figure PCTCN2017113361-appb-000016
其中，
Figure PCTCN2017113361-appb-000017
|Si|、P(ωi)、S-1都可根据样本库数据进行计算。于是，从公式(13)可得出一个只关于未知变量X的判别函数。通过将待测样本作为X代入公式(13)中，并作以下计算：
Figure PCTCN2017113361-appb-000018
取最大的判别函数的值所对应的类别i为所求。
S5计算精确目标光斑下半部的几何中心作为目标中心点，采用基于线性插值法的坐标映射方法，将目标光斑的坐标映射到PC机的鼠标坐标，进一步控制鼠标的动作。
其中，计算精确目标光斑下半部的集中中心作为目标中心点，具体为：
选取光斑区域下半部的几何中心作为目标中心点，计算方法如下：
Figure PCTCN2017113361-appb-000019
其中，xi和yi为光斑下半区域内每个高亮像素点的二维坐标。为了使中心点有效地代表人体脚部的前端，设置Δy为中心点在y方向上的线性调整余量。
另外，考虑到每帧图像之间存在电抖动而导致光斑区域最外延波动较大，于是从连通域的最外延向内收缩，再求取其几何中心。同时，在求取光斑下半区域的几何中心时，需要对光斑区域内大量的点进行排序，为降低时间复杂度，需要设计两个数据结构进行排序辅助。
图7中，维护一个大小为10的最小二叉堆。通过最小二叉堆的调整，可在logM时间复杂度下使该最小二叉堆的根节点为最小值。每进行一次最小堆调整后，去掉根节点元素，从VECTOR里面取一个新的高亮坐标点y值放进根节点，再进行下一轮的调整。直到VECTOR中的点全部取完，此时最小二叉堆里面的10个点即为y值最大的10个点。使用公式(15)即可计算出光斑的中心点坐标。 整个过程的时间复杂度为：
O((N-M)logM)       (16)
当M远小于N时，上述方法的时间复杂度远小于直接对所有点快速排序的O(NlogN)。
所述目标中心点到PC坐标的映射
本发明设计了一种基于线性插值法的坐标映射方法，图6所示，四边形ABCD代表投影区域在摄像头中的成像。可得A、B、C、D这4个边界点组成的4条边界方程：
Figure PCTCN2017113361-appb-000020
Figure PCTCN2017113361-appb-000021
Figure PCTCN2017113361-appb-000022
Figure PCTCN2017113361-appb-000023
于是，由公式(17)、公式(18)、公式(19)、公式(20)和上一节计算得出的光斑目标中心点坐标(x0,y0)，便可依次计算出(x0,y1)、(x0,y2)、(x1,y0)、(x2,y0)。再利用线性插值的原理，可得到目标点在图像坐标下的坐标位置与PC坐标上的映射：
Figure PCTCN2017113361-appb-000024
其中，W和H分别为PC机显示器的分辨率的宽和高，于是，转换后的(x0′,y0′)为最终的映射结果。
系统在投影区域内，形成一个近红外光源覆盖的平面。用户在区域内运动时，其脚部将产生漫反射光斑。同时，摄像头镜头添加红外滤光片以降低背景复杂度和突出目标光斑；其次，通过计算人体脚部红外光斑的面积、面积周长比以及圆形度等形态学参数并滤波，形成第一级粗粒度分类器；然后，使用模式识别方法中的最小错误率贝叶斯判别作为二级细粒度分类器。最后，将图像上的目标物坐标映射到PC机的鼠标坐标，进而实现对鼠标的控制，达到用户与 系统交互的目的。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

  1. 一种基于模式识别的视觉投影交互系统，其特征在于，包括投影仪、摄像头、红外管、红外滤光片及PC机；
    所述摄像头固定在支架上，支架垂直固定在水平地面上，所述摄像头与PC机连接，红外管安装在支架的底部，红外滤光片安装在摄像头镜头后部，所述投影仪安装在支架的后侧，高于摄像头且与PC机连接，并且使PC机的显示画面投影在使用者和摄像头之间形成投影区域。
  2. 根据权利要求1所述的视觉投影交互系统，其特征在于，所述红外管具体为一字线型红外管。
  3. 一种采用权利要求1-2任一项所述的视觉投影交互系统的交互方法，其特征在于，包括如下步骤：
    S1对摄像头进行畸变校正，打开红外管，照射投影区域；
    S2摄像头采集在投影区域用户的脚部图像，对图像进行预处理提取二值化图的高亮连通域；
    S3在高亮连通域中捕捉使用者的脚部目标光斑；
    S4采用两级分类器对目标光斑进行分类，具体为：
    一级分类器求得脚部目标光斑的三个参数并滤波，得到粗略目标光斑，所述三个参数分别为：目标光斑圆形度、目标光斑面积周长比及目标光斑的面积；
    二级分类器首先提取粗略目标光斑的模板特征参数，然后对其进行学习形成样本特征数据库，最后使用最小错误率贝叶斯判别计算待测样本的贝叶斯概率，得到精确目标光斑；
    S5计算精确目标光斑下半部的几何中心作为目标中心点，采用基于线性插值法的坐标映射方法，将目标光斑的坐标映射到PC机的鼠标坐标，进一步控制鼠标的动作。
  4. 根据权利要求3所述的交互方法，其特征在于，所述三个参数分别为：目标光斑圆形度、目标光斑面积周长比及目标光斑的面积，具体计算为：
    目标光斑圆形度的计算方法如下：
    Figure PCTCN2017113361-appb-100001
    R1≤R≤R2
    其中，R为圆形度，Bi为光斑区域周长，Ai为光斑区域的面积，R1为0.4，R2 为0.8；
    目标光斑面积：
    S1≤S≤S2
    其中，S1和S2为光斑面积的上下边界值
    面积周长比：
    Figure PCTCN2017113361-appb-100002
    Ai表示光斑的面积，Bi表示光斑的周长，Ratemin为面积周长比最小值。
  5. 根据权利要求3所述的交互方法，其特征在于，所述二级分类器首先对粗略目标光斑进行模板特征参数提取，具体为：
    求得粗略目标光斑的区域的最小外接矩形；
    将该最小外接矩形的长和宽等分成N等分，构成N×N个小区域，所述N为自然数；
    计算每个小区域中高亮点的占比，并将比值作为该小区域的特征值：
    Figure PCTCN2017113361-appb-100003
    其中，Ri为每个小区域的特征值，Sw为白像素点个数，Sall为小区域的像素点总数。
  6. 根据权利要求3所述的交互方法，其特征在于，所述计算精确目标光斑下半部的几何中心作为目标中心点，具体为：选取光斑区域下半部N个高亮像素点的平均中心，并使平均中心在图像纵坐标方向上叠加一个偏移量，以此来代表几何中心即目标中心点。
  7. 根据权利要求3所述的交互方法，其特征在于，所述S4中提取粗略目标光斑的模板特征参数，具体为：
    首先找到该光斑的最小外接矩形，其次将最小外接矩形的长和宽等分成N等分，构成N×N个小区域，最后计算每个小区域中高亮点的占比，并将该比值作为该小区域的特征值。
  8. 根据权利要求3所述的交互方法，其特征在于，使用最小错误率贝叶斯判别计算待测样本的贝叶斯概率，得到精确目标光斑，具体为：计算待测样本在样本特征数据库的贝叶斯后验概率，比较待测样本在样本特征数据库的后验 概率大小，则后延概率最大为待测样本的分类结果。
  9. 根据权利要求3所述的交互方法，其特征在于，所述将目标光斑的坐标映射到PC机的活动区域的鼠标坐标，具体采用线性插值法：
    四边形ABCD代表投影区域的边界点，可得A、B、C、D这4个边界点组成的4条边界方程：
    Figure PCTCN2017113361-appb-100004
    Figure PCTCN2017113361-appb-100005
    Figure PCTCN2017113361-appb-100006
    Figure PCTCN2017113361-appb-100007
    (x1,y0)、(x2,y0)四个点的坐标，利用线性插值的原理，得到目标光斑在PC机上的坐标：
    Figure PCTCN2017113361-appb-100008
    其中，W和H分别为PC机显示器的分辨率的宽和高，转换后的(x0′,y0′)为最终的映射结果。
PCT/CN2017/113361 2017-04-25 2017-11-28 一种基于模式识别的视觉投影交互系统及交互方法 Ceased WO2018196370A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710286024.1 2017-04-25
CN201710286024.1A CN106991417A (zh) 2017-04-25 2017-04-25 一种基于模式识别的视觉投影交互系统及交互方法

Publications (1)

Publication Number Publication Date
WO2018196370A1 true WO2018196370A1 (zh) 2018-11-01

Family

ID=59417085

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/113361 Ceased WO2018196370A1 (zh) 2017-04-25 2017-11-28 一种基于模式识别的视觉投影交互系统及交互方法

Country Status (2)

Country Link
CN (1) CN106991417A (zh)
WO (1) WO2018196370A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852265A (zh) * 2019-11-11 2020-02-28 天津津航技术物理研究所 一种应用在工业流水线上的快速目标检测和定位方法
CN112837538A (zh) * 2021-03-27 2021-05-25 深圳市迅朗科技有限公司 一种车牌云识别相机、图像传感器组件及补光、保洁方法
CN112880560A (zh) * 2021-01-19 2021-06-01 广东博智林机器人有限公司 一种激光位置检测装置及设备
CN114022535A (zh) * 2021-11-01 2022-02-08 浙江可胜技术股份有限公司 一种定日镜光斑尺寸测量及装置
CN114468989A (zh) * 2021-02-11 2022-05-13 先阳科技有限公司 组织成分测量方法、装置及可穿戴设备
CN115580715A (zh) * 2022-09-01 2023-01-06 深圳市康帕斯科技发展有限公司 投影画面自动矫正的方法和系统
CN115630130A (zh) * 2022-10-25 2023-01-20 江西农业大学 一种土壤类型图更新方法、系统、存储介质及设备
CN115840231A (zh) * 2023-02-20 2023-03-24 深圳市欢创科技有限公司 测距方法及激光雷达
CN119232856A (zh) * 2024-12-03 2024-12-31 南通凯如德信息科技有限公司 一种互动投影系统降噪方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991417A (zh) * 2017-04-25 2017-07-28 华南理工大学 一种基于模式识别的视觉投影交互系统及交互方法
CN107481267A (zh) * 2017-08-14 2017-12-15 华南理工大学 一种基于双目视觉的摄像投影交互系统及方法
CN109001597A (zh) * 2017-10-30 2018-12-14 北京华开领航科技有限责任公司 一种电火花确定方法及装置
CN109117703B (zh) * 2018-06-13 2022-03-22 中山大学中山眼科中心 一种基于细粒度识别的混杂细胞种类鉴定方法
CN110879950A (zh) * 2018-09-06 2020-03-13 北京市商汤科技开发有限公司 多级目标分类及交通标志检测方法和装置、设备、介质
CN109711307A (zh) * 2018-12-19 2019-05-03 中科天网（广东）科技有限公司 一种基于人脸识别的吸烟取证方法
CN109683719B (zh) * 2019-01-30 2021-10-22 华南理工大学 一种基于YOLOv3的视觉投影交互方法
CN113805729A (zh) * 2021-09-16 2021-12-17 上海逻世智能信息科技有限公司 一种多功能多媒体交互及设备扩展工作站
CN116055696B (zh) * 2022-12-12 2025-11-28 海信视像科技股份有限公司 一种投影设备及投影方法
CN118411407B (zh) * 2024-04-07 2025-04-08 钛玛科（北京）工业科技有限公司 基于图像投影的光斑圆心定位方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561710A (zh) * 2009-05-19 2009-10-21 重庆大学 一种基于人脸姿态估计的人机交互方法
CN103677274A (zh) * 2013-12-24 2014-03-26 广东威创视讯科技股份有限公司 一种基于主动视觉的互动投影方法及系统
CN106991417A (zh) * 2017-04-25 2017-07-28 华南理工大学 一种基于模式识别的视觉投影交互系统及交互方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561710A (zh) * 2009-05-19 2009-10-21 重庆大学 一种基于人脸姿态估计的人机交互方法
CN103677274A (zh) * 2013-12-24 2014-03-26 广东威创视讯科技股份有限公司 一种基于主动视觉的互动投影方法及系统
CN106991417A (zh) * 2017-04-25 2017-07-28 华南理工大学 一种基于模式识别的视觉投影交互系统及交互方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852265A (zh) * 2019-11-11 2020-02-28 天津津航技术物理研究所 一种应用在工业流水线上的快速目标检测和定位方法
CN110852265B (zh) * 2019-11-11 2023-05-26 天津津航技术物理研究所 一种应用在工业流水线上的快速目标检测和定位方法
CN112880560A (zh) * 2021-01-19 2021-06-01 广东博智林机器人有限公司 一种激光位置检测装置及设备
CN114468989A (zh) * 2021-02-11 2022-05-13 先阳科技有限公司 组织成分测量方法、装置及可穿戴设备
CN114468989B (zh) * 2021-02-11 2022-11-25 先阳科技有限公司 组织成分测量方法、装置及可穿戴设备
CN112837538A (zh) * 2021-03-27 2021-05-25 深圳市迅朗科技有限公司 一种车牌云识别相机、图像传感器组件及补光、保洁方法
CN112837538B (zh) * 2021-03-27 2023-12-22 深圳市迅朗科技有限公司 一种车牌云识别相机及补光方法
CN114022535A (zh) * 2021-11-01 2022-02-08 浙江可胜技术股份有限公司 一种定日镜光斑尺寸测量及装置
CN115580715A (zh) * 2022-09-01 2023-01-06 深圳市康帕斯科技发展有限公司 投影画面自动矫正的方法和系统
CN115630130A (zh) * 2022-10-25 2023-01-20 江西农业大学 一种土壤类型图更新方法、系统、存储介质及设备
CN115840231A (zh) * 2023-02-20 2023-03-24 深圳市欢创科技有限公司 测距方法及激光雷达
CN119232856A (zh) * 2024-12-03 2024-12-31 南通凯如德信息科技有限公司 一种互动投影系统降噪方法

Also Published As

Publication number Publication date
CN106991417A (zh) 2017-07-28

Similar Documents

Publication Publication Date Title
CN106991417A (zh) 一种基于模式识别的视觉投影交互系统及交互方法
Sachar et al. Survey of feature extraction and classification techniques to identify plant through leaves
CN107610087B (zh) 一种基于深度学习的舌苔自动分割方法
CN106682598B (zh) 一种基于级联回归的多姿态的人脸特征点检测方法
WO2022116282A1 (zh) 基于动态手势识别的人机交互方法及系统
JP6395481B2 (ja) 画像認識装置、方法及びプログラム
JP5777582B2 (ja) 画像中の物体の検出及び追跡
CN111652317B (zh) 基于贝叶斯深度学习的超参数图像分割方法
CN103761519B (zh) 一种基于自适应校准的非接触式视线追踪方法
US9275277B2 (en) Using a combination of 2D and 3D image data to determine hand features information
CN108305260B (zh) 一种图像中角点的检测方法、装置及设备
US9558455B2 (en) Touch classification
CN112101208A (zh) 高龄老人特征串联融合手势识别方法及装置
CN110569782A (zh) 一种基于深度学习目标检测方法
CN110780739A (zh) 基于注视点估计的眼控辅助输入方法
CN107992800A (zh) 一种基于svm和随机森林的指纹图像质量判断方法
CN106651827A (zh) 一种基于sift特征的眼底图像配准方法
CN115063526B (zh) 二维图像的三维重建方法、系统、终端设备及存储介质
CN107481267A (zh) 一种基于双目视觉的摄像投影交互系统及方法
CN107832359B (zh) 一种图片检索方法及系统
CN115953824B (zh) 一种人脸皮肤图像处理方法及系统
CN120635547B (zh) 基于小样本学习的糖尿病足图像分类系统及方法
De Automatic data extraction from 2D and 3D pie chart images
CN112215285A (zh) 一种基于跨媒体特征的眼底图像自动标注方法
JP2016014954A (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17907748

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 10.02.2020)

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 10.02.20)

122 Ep: pct application non-entry in european phase

Ref document number: 17907748

Country of ref document: EP

Kind code of ref document: A1