WO2018032628A1 - 一种教育玩具套件及其涂色卡片识别方法 - Google Patents

一种教育玩具套件及其涂色卡片识别方法 Download PDF

Info

Publication number
WO2018032628A1
WO2018032628A1 PCT/CN2016/105735 CN2016105735W WO2018032628A1 WO 2018032628 A1 WO2018032628 A1 WO 2018032628A1 CN 2016105735 W CN2016105735 W CN 2016105735W WO 2018032628 A1 WO2018032628 A1 WO 2018032628A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
image
tablet
standard
card
Prior art date
Application number
PCT/CN2016/105735
Other languages
English (en)
French (fr)
Inventor
杜鹏
范旭
孙贤军
程潇
巢建树
暴满粟
Original Assignee
上海葡萄纬度科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海葡萄纬度科技有限公司 filed Critical 上海葡萄纬度科技有限公司
Publication of WO2018032628A1 publication Critical patent/WO2018032628A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/22—Games, e.g. card games

Definitions

  • the invention relates to the technical field of computer vision detection and processing, in particular to an educational toy kit and a method for recognizing a coloring card.
  • an educational toy kit has been successfully developed in the field of computer vision and image processing technology, including: a bracket, a helmet detector, a bottom plate, a game program installed in a tablet computer, and being placed on a plane through a camera of a tablet computer. The image of the bottom plate.
  • the position of the bottom plate may be deviated, resulting in the camera not being able to capture a complete image, the image is easy to collect errors, and the analysis result is inaccurate. appear.
  • the present invention provides an educational toy kit and a coloring card identification method thereof, and the technical solutions are as follows:
  • An educational toy kit comprising: a bracket, a helmet detector and a coloring card, and the helmet detector is mounted on the bracket, the coloring card is placed on the plane, the coloring card is provided with a coloring area in the middle of the coloring card; a protrusion having a first groove for the tablet and a second groove for collecting the card information; the helmet detector is installed in the second groove;
  • the helmet detector further includes a body, a third groove, two segments and a convex mirror, and the third groove is located in the body for holding different types of tablets, and holding the tablet screen in the third groove
  • the end of the convex mirror is provided with a convex mirror
  • the other end of the convex mirror is mounted on the edge of the helmet detector
  • the convex mirror is at an acute angle with the horizontal plane
  • the third groove holds the end of the tablet screen higher than the camera position of the tablet
  • the segments are located on the two edges of the convex mirror to hold the convex mirror and hold the tablet.
  • a method for identifying a coloring card in an educational toy kit comprising the following steps:
  • Step one installing a game program in the tablet, and then placing the coloring card on a plane, the bottom end of the tablet is installed in the first groove, and the helmet detector is installed on the top of the tablet through the second groove;
  • Step 2 After the fixed installation, the color image is collected in real time through the front camera of the tablet computer;
  • Step 3 extracting an image of the region of interest of the coloring card from the color image of step two;
  • step four the tablet judges the color in the image of the region of interest of the coloring card, and replaces the color of the hand in the region of interest with the color of the standard brush to form a three-dimensional image of the standard color.
  • step three are:
  • the image of the region of interest of the coloring card is extracted from the positive view image, that is, the effective recognition area where the coloring card is placed.
  • step four are:
  • XYZ color space value is converted into a Lab value, and the specific formula is as follows:
  • X, Y, and Z respectively represent three coordinate values of the XYZ color space
  • L * , a * , and b * respectively represent three coordinate values of the Lab color space
  • X n , Y n , and Z n respectively represent presets.
  • Standard white coordinate value, t X/X n or Y/Y n or Z/Z n ;
  • the calculated Lab value is compared with a standard Lab color space curve of 12 brush colors, and the nearest point of the Lab value to the 12 standard brushes is calculated according to the Euclidean distance formula, and the nearest point representative is calculated.
  • the brush color refills the region of interest to form a three-dimensional image of the standard color.
  • the Euclidean distance formula is:
  • d represents the Euclidean distance
  • x1 and y1 represent the abscissa and ordinate of the point converted to the Lab color space, respectively
  • x2 and y2 represent the abscissa and ordinate of the 12 points of the 12 standard brushes, respectively.
  • the color of the standard brush in the fourth step is 12, and the RGB values of the corresponding standard brush colors are as follows:
  • the invention intelligently combines the application of computer vision graphic recognition technology with the Lab color space, and can replace the collected colors with 12 standard colors, and the analysis result is more accurate than the RGB color space, so that the final result is more accurate. There is no deviation in the filling color on the coloring card presented in the software, which has fast calculation speed and accurate positioning.
  • the hardware and software technology are well unified, the game interaction design is ingenious; the appearance is simple, the judgment is faster, and the enhancement is enhanced. Interesting and intuitive.
  • the detection algorithm of the invention is more scientific and mature, and combines the color space conversion of the image and the color difference measurement algorithm to quickly determine the number placed.
  • the calculation speed of the invention is fast; each positioning detection takes about 30ms, which provides a smooth experience for the player.
  • the performance of the invention is stable. When different tablet computers are installed in the educational toy kit, the collection and test are performed on 3,000 pictures, and the false recognition rate and the missed detection rate are below 0.2%.
  • Figure 1 is a schematic view showing the structure of an educational toy kit of the present invention.
  • FIG. 2 is a schematic view showing the structure of a helmet detector in an educational toy kit of the present invention.
  • FIG. 3 is a flow chart of a method for identifying a coloring card in an educational toy kit of the present invention.
  • the bracket 1 The bracket 1, the first recess 102, the second recess 103, the helmet detector 2, the body 201, the third recess 202, the sector block 203, the convex mirror 204, the coloring card 3, the coloring area 301.
  • a method for identifying a coloring card in an educational toy kit includes the following steps:
  • Step one installing a game program in the tablet, and then placing the coloring card on a plane, the bottom end of the tablet is installed in the first groove, and the helmet detector is installed on the top of the tablet through the second groove;
  • Step 2 After the fixed installation, the color image is collected in real time through the front camera of the tablet computer;
  • Step 3 extracting an image of the region of interest of the coloring card from the color image of step two;
  • Step 4 The tablet judges the color in the image of the region of interest of the coloring card, and replaces the color of the hand in the region of interest with the color of the standard brush to form a three-dimensional image of the standard color;
  • XYZ color space value is converted into a Lab value, and the specific formula is as follows:
  • X, Y, and Z respectively represent three coordinate values of the XYZ color space
  • L * , a * , and b * respectively represent three coordinate values of the Lab color space
  • X n , Y n , and Z n respectively represent presets.
  • Standard white coordinate value, t X/X n or Y/Y n or Z/Z n ;
  • the calculated Lab value is compared with a standard Lab color space curve of 12 brush colors, and the nearest point of the Lab value to the 12 standard brushes is calculated according to the Euclidean distance formula, and the nearest point representative is calculated.
  • the brush color refills the region of interest to form a three-dimensional image of the standard color.
  • the Euclidean distance formula is:
  • d represents the Euclidean distance
  • x1 and y1 represent the abscissa and ordinate of the point converted to the Lab color space, respectively
  • x2 and y2 represent the abscissa and ordinate of the 12 points of the 12 standard brushes, respectively.
  • the color of the standard brush is 12, and the RGB values of the corresponding standard brush colors are as follows:
  • the invention intelligently combines the application of computer vision graphic recognition technology with the Lab color space, and can replace the collected colors with 12 standard colors, and the analysis result is more accurate than the RGB color space, so that the final software is There is no deviation in the filling color on the coloring card, which has fast calculation speed and accurate positioning.
  • the hardware and software technology are well unified, the game interaction design is ingenious; the appearance is simple, the judgment is faster, and the fun is enhanced. And intuitive.
  • Figure 1 is a schematic view showing the structure of an educational toy kit of the present invention.
  • FIG. 2 is a schematic view showing the structure of a helmet detector in an educational toy kit of the present invention.
  • a method for recognizing a coloring card in an educational toy kit includes a bracket 1, a helmet detector 2, and a coloring card 3, and the helmet detector 2 is mounted on the bracket 1; Placed on the plane, the middle position of the coloring card 3 is provided with a coloring area 301; the bracket 1 has a first groove 102 and a second groove 103 at the top, and the first groove 102 is used for placing a tablet computer, and the tablet is collected.
  • the helmet detector 2 is mounted in the second groove 103; the helmet detector 2 further includes: a body 201, a third groove 202, two sector blocks 203 and a convex mirror 204, and a third groove 202 is located in the body 201 for clamping different types of tablets, and a convex mirror 204 is disposed at an end of the third groove 202 holding the tablet screen, and the other end of the convex mirror 204 is mounted on the edge of the helmet detector 2
  • the convex mirror 204 is at an acute angle with the horizontal plane, and the third recess 202 holds the end of the tablet screen.
  • two segments 203 are located on the two edges of the convex mirror 204 for securing the convex mirror 204 and holding the tablet.
  • FIG. 3 is a flow chart of a method for identifying a coloring card in an educational toy kit of the present invention.
  • a method for identifying a coloring card in an educational toy kit includes the following steps:
  • Step one installing a game program in the tablet, and then placing the coloring card on a plane, the bottom end of the tablet is installed in the first groove, and the helmet detector is installed on the top of the tablet through the second groove;
  • Step 2 After the fixed installation, the color image is collected in real time through the front camera of the tablet computer;
  • Step 3 extracting an image of the region of interest of the coloring card from the color image of step two;
  • Step 4 The tablet judges the color in the image of the region of interest of the coloring card, and replaces the color of the hand in the region of interest with the color of the standard brush to form a three-dimensional image of the standard color;
  • XYZ color space value is converted into a Lab value, and the specific formula is as follows:
  • X, Y, and Z respectively represent three coordinate values of the XYZ color space
  • L * , a * , and b * respectively represent three coordinate values of the Lab color space
  • X n , Y n , and Z n respectively represent presets.
  • Standard white coordinate value, t X/X n or Y/Y n or Z/Z n ;
  • the calculated Lab value is compared with a standard Lab color space curve of 12 brush colors, and the nearest point of the Lab value to the 12 standard brushes is calculated according to the Euclidean distance formula, and the nearest point representative is calculated.
  • the brush color refills the region of interest to form a three-dimensional image of the standard color.
  • the Euclidean distance formula is:
  • d represents the Euclidean distance
  • x1 and y1 represent the abscissa and ordinate of the point converted to the Lab color space, respectively
  • x2 and y2 represent the abscissa and ordinate of the 12 points of the 12 standard brushes, respectively.
  • the color of the standard brush is 12, and the RGB values of the corresponding standard brush colors are as follows:
  • the invention intelligently combines the application of computer vision graphic recognition technology with the Lab color space, and can replace the collected colors with 12 standard colors, and the analysis result is more accurate than the RGB color space, so that the final software is There is no deviation in the filling color on the coloring card, which has fast calculation speed and accurate positioning.
  • the hardware and software technology are well unified, the game interaction design is ingenious; the appearance is simple, the judgment is faster, and the fun is enhanced. And intuitive.
  • the detection algorithm of the invention is more scientific and mature, and combines the color space conversion of the image and the color difference measurement algorithm, and can quickly determine the number placed.
  • the calculation speed of the invention is fast; each positioning detection takes about 30ms, which provides a smooth experience for the player.
  • the performance of the invention is stable. When different tablet computers are installed in the educational toy kit, the collection and test are performed on 3,000 pictures, and the false recognition rate and the missed detection rate are below 0.2%.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Toys (AREA)

Abstract

一种教育玩具套件及其涂色卡片（3）识别方法，包括支架（1）、头盔探测器（2）和涂色卡片（3），涂色卡片（3）放置于平面上，涂色卡片（3）的中间位置设置有涂色区域（301）；头盔探测器（2）安装于支架（1）上；头盔探测器（2）还包括本体（201）、第三凹槽（202）、2个扇形块（203）和凸面镜（204），并且第三凹槽（202）位于本体（201）内，在第三凹槽（202）夹持平板电脑屏幕的端点处设置有凸面镜（204），凸面镜（204）的另一端安装于头盔探测器（2）边缘上，凸面镜（204）与水平面夹角成锐角，2个扇形块（203）位于凸面镜（204）的2个边缘上。通过摄像头采集涂色卡片（3）信息，将采集到的颜色用标准颜色进行替代，分析结果更加准确，使最后在软件中呈现出的涂色卡片（3）上的填充颜色无偏差，运算速度快，定位准确，增强了趣味性和直观性。

Description

一种教育玩具套件及其涂色卡片识别方法 技术领域
本发明涉及计算机视觉检测处理技术领域，特别涉及一种教育玩具套件及其涂色卡片识别方法。
背景技术
现在平板电脑上有许多有趣的幼教游戏应用程序或者儿童游戏，但往往只是让小朋友在屏幕上指指画画，互动性欠缺，长时间看着屏幕容易对眼睛造成伤害；而当下一些互动性强的传统性游戏玩具已经脱离了时代的发展，形式上无法满足孩子学习、玩耍的需求，也不便于孩子和家长的互动沟通。
为了解决上述问题，计算机视觉与图像处理技术领域成功地开发了一种教育玩具套件，包括：支架、头盔探测器，底板，在平板电脑内安装游戏程序，通过平板电脑的摄像头采集放置于平面上的底板的图像。
技术问题
上述的教育玩具套件虽然解决了平板电脑中游戏的互动性欠缺的问题，但是底板的摆放位置会出现偏差，导致摄像头不能采集到完整的图像，图像容易采集出错，分析结果不准确等问题的出现。
因此，计算机视觉与图像处理技术领域急需一种教育玩具套件及其数字的识别方法，通过平板电脑的摄像头采集涂色卡片信息，能够将采集到的颜色用12种标准颜色进行替代，分析结果更加准确，使最后在软件中呈现出的涂色卡上的填充颜色没有偏差，具有运算速度快，定位准确，将硬件与软件技术很好地统一起来，游戏交互设计巧妙；美观简单，判断更加快速，同时增强了趣味性和直观性。
技术解决方案
本发明为了解决上述问题，提供了一种教育玩具套件及其涂色卡片识别方法，技术方案如下：
一种教育玩具套件，包括：支架、头盔探测器和涂色卡片，并且头盔探测器安装于支架上，涂色卡片放置于平面上，涂色卡片的中间位置设置有涂色区域；支架底部具有凸起，顶部具有第一凹槽和第二凹槽，第一凹槽用于放置平板电脑，平板电脑采集涂色卡片信息；头盔探测器安装于第二凹槽内；
头盔探测器，还包括本体、第三凹槽、2个扇形块和凸面镜，并且第三凹槽位于本体内，用于夹持不同型号的平板电脑，在第三凹槽夹持平板电脑屏幕的端点处设置有凸面镜，凸面镜的另一端安装于头盔探测器边缘上，凸面镜与水平面夹角成锐角，第三凹槽夹持平板电脑屏幕的端点高于平板电脑的摄像头位置，2个扇形块位于凸面镜的2个边缘上，用于固定凸面镜和夹持平板电脑。
一种教育玩具套件中涂色卡片的识别方法，包括如下步骤：
步骤一，在平板电脑中安装游戏程序，再将涂色卡片放置于平面上，平板电脑的底端安装于第一凹槽内，通过第二凹槽将头盔探测器安装于平板电脑的顶端；
步骤二，固定安装好后，通过平板电脑的前置摄像头实时采集彩色图像；
步骤三，从步骤二的彩色图像中提取出涂色卡片感兴趣区域图像；
步骤四，平板电脑判断涂色卡片感兴趣区域图像中的颜色，用标准画笔的颜色替代感兴趣区域内的手涂颜色，形成标准颜色的三维图像。
优选的，在上述的一种教育玩具套件中涂色卡片的识别方法中，步骤二中前置摄像头采集的彩色图像为Ixy，Ixy＝f(x,y)＝(Rxy,Gxy,Bxy)，其中，(x,y)表示彩色图像像素点的位置坐标，f(x,y)表示图像在像素点坐标位置处的像素值，Rxy表示图像像素点在红色通道的色彩值，Gxy表示图像像素点在绿色通道的色彩值，Bxy表示图像像素点在蓝色通道的色彩值。
优选的，在上述的一种教育玩具套件中涂色卡片的识别方法中，步骤三的具体步骤为：
a)采用透视变换原理，将彩色图像Ixy转换成由上而下俯视的正视角图像；
b)根据先验知识，在正视角图像中提取出涂色卡片感兴趣区域图像，即涂色卡片放置的有效识别区域。
优选的，在上述的一种教育玩具套件中涂色卡片的识别方法中，步骤四的具体步骤为：
首先，将感兴趣区域图像中的RGB值转换为XYZ颜色空间值，具体公式如下：
[X]＝[0.433953 0.376219 0.189828][R]
[Y]＝[0.212671 0.715160 0.072169][G]；
[Z]＝[0.017758 0.109477 0.872765][B]
进一步地，将XYZ颜色空间值转换为Lab值，具体公式如下：
L*＝116f(Y/Yn)-16
a*＝500[f(X/Xn)-f(Y/Yn)]
b*＝200[f(Y/Yn)-f(Z/Zn)]
其中，
Figure PCTCN2016105735-appb-000001
其中，X、Y、Z分别表示XYZ颜色空间的3个坐标值，L*、a*、b*分别表示Lab色彩空间的3个坐标值，Xn、Yn、Zn分别表示预先设定标准白色的坐标值，t＝X/Xn或Y/Yn或Z/Zn；
进一步地，将计算出的Lab值与12种画笔颜色的标准Lab颜色空间曲线图进行比较，根据欧氏距离公式计算Lab值与12种标准画笔距离最近的一点，用计算得出最近的点代表的画笔颜色重新填充感兴趣区域，形成标准颜色的三维图像，欧氏距离公式为：
Figure PCTCN2016105735-appb-000002
其中，d表示欧氏距离，x1、y1分别表示转换为Lab色彩空间的点的横坐标与纵坐标，x2、y2分别表示12种标准画笔的12个点的横坐标与纵坐标。
优选的，在上述的一种教育玩具套件中涂色卡片的识别方法中，步骤四中标准画笔的颜色为12种，对应的标准画笔颜色的RGB值具体见下表：
Figure PCTCN2016105735-appb-000003
有益效果
1、本发明巧妙的将应用计算机视觉图形识别技术与Lab色彩空间相结合使用，能够将采集到的颜色用12种标准颜色进行替代，相对于RGB颜色空间而言，分析结果更加准确，使最后在软件中呈现出的涂色卡上的填充颜色没有偏差，具有运算速度快，定位准确，将硬件与软件技术很好地统一起来，游戏交互设计巧妙；美观简单，判断更加快速，同时增强了趣味性和直观性。
2、本发明检测算法更加科学、成熟，将图像的色彩空间转换，色彩差异性度量等算法相结合使用，能够快速的判断出摆放的数字。
3、本发明计算速度快；每次定位检测耗时在30ms左右，为玩家提供流畅的使用体验。
4、本发明性能稳定，在对不同平板电脑安装于教育玩具套件内的情况下，针对3千幅图片进行了采集测试，误识别率和漏检率在0.2％以下。
附图说明
下面结合附图和具体实施方式来详细说明本发明：
图1是本发明一种教育玩具套件的结构示意图。
图2是本发明一种教育玩具套件中头盔探测器的结构示意图。
图3是本发明一种教育玩具套件中涂色卡片的识别方法的流程图。
其中，图1-3中的附图标记与部件名称之间的对应关系为：
支架1，第一凹槽102，第二凹槽103，头盔探测器2，本体201，第三凹槽202，扇形块203，凸面镜204，涂色卡片3，涂色区域301。
本发明的最佳实施方式
如图3所示，一种教育玩具套件中涂色卡片的识别方法，包括如下步骤：
步骤一，在平板电脑中安装游戏程序，再将涂色卡片放置于平面上，平板电脑的底端安装于第一凹槽内，通过第二凹槽将头盔探测器安装于平板电脑的顶端；
步骤二，固定安装好后，通过平板电脑的前置摄像头实时采集彩色图像；
前置摄像头采集的彩色图像为Ixy，Ixy＝f(x,y)＝(Rxy,Gxy,Bxy)，其中，(x,y)表示彩色图像像素点的位置坐标，f(x,y)表示图像在像素点坐标位置处的像素值，Rxy表示图像像素点在红色通道的色彩值，Gxy表示图像像素点在绿色通道的色彩值，Bxy表示图像像素点在蓝色通道的色彩值；
步骤三，从步骤二的彩色图像中提取出涂色卡片感兴趣区域图像；
a)采用透视变换原理，将彩色图像Ixy转换成由上而下俯视的正视角图像；
b)根据先验知识，在正视角图像中提取出涂色卡片感兴趣区域图像，即涂色卡片放置的有效识别区域；
步骤四，平板电脑判断涂色卡片感兴趣区域图像中的颜色，用标准画笔的颜色替代感兴趣区域内的手涂颜色，形成标准颜色的三维图像；
首先，将感兴趣区域图像中的RGB值转换为XYZ颜色空间值，具体公式如下：
[X]＝[0.433953 0.376219 0.189828][R]
[Y]＝[0.212671 0.715160 0.072169][G]；
[Z]＝[0.017758 0.109477 0.872765][B]
进一步地，将XYZ颜色空间值转换为Lab值，具体公式如下：
L*＝116f(Y/Yn)-16
a*＝500[f(X/Xn)-f(Y/Yn)]
b*＝200[f(Y/Yn)-f(Z/Zn)]
其中，
Figure PCTCN2016105735-appb-000004
其中，X、Y、Z分别表示XYZ颜色空间的3个坐标值，L*、a*、b*分别表示Lab色彩空间的3个坐标值，Xn、Yn、Zn分别表示预先设定标准白色的坐标值，t＝X/Xn或Y/Yn或Z/Zn；
进一步地，将计算出的Lab值与12种画笔颜色的标准Lab颜色空间曲线图进行比较，根据欧氏距离公式计算Lab值与12种标准画笔距离最近的一点，用计算得出最近的点代表的画笔颜色重新填充感兴趣区域，形成标准颜色的三维图像，欧氏距离公式为：
Figure PCTCN2016105735-appb-000005
其中，d表示欧氏距离，x1、y1分别表示转换为Lab色彩空间的点的横坐标与纵坐标，x2、y2分别表示12种标准画笔的12个点的横坐标与纵坐标。
标准画笔的颜色为12种，对应的标准画笔颜色的RGB值具体见下表：
Figure PCTCN2016105735-appb-000006
Figure PCTCN2016105735-appb-000007
本发明巧妙的将应用计算机视觉图形识别技术与Lab色彩空间相结合使用，能够将采集到的颜色用12种标准颜色进行替代，相对于RGB颜色空间而言，分析结果更加准确，使最后在软件中呈现出的涂色卡上的填充颜色没有偏差，具有运算速度快，定位准确，将硬件与软件技术很好地统一起来，游戏交互设计巧妙；美观简单，判断更加快速，同时增强了趣味性和直观性。
本发明的实施方式
为了使本发明技术实现的措施、创作特征、达成目的与功效易于明白了解，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
图1是本发明一种教育玩具套件的结构示意图。
图2是本发明一种教育玩具套件中头盔探测器的结构示意图。
如图1-2所示，一种教育玩具套件中涂色卡片的识别方法，包括支架1、头盔探测器2和涂色卡片3，并且头盔探测器2安装于支架1上；涂色卡片3放置于平面上，涂色卡片3的中间位置设置有涂色区域301；支架1，顶部具有第一凹槽102和第二凹槽103，第一凹槽102用于放置平板电脑，平板电脑采集涂色卡片信息；头盔探测器2，安装于第二凹槽103内；头盔探测器2还包括：本体201、第三凹槽202、2个扇形块203和凸面镜204，并且第三凹槽202位于本体201内，用于夹持不同型号的平板电脑，在第三凹槽202夹持平板电脑屏幕的端点处设置有凸面镜204，凸面镜204的另一端安装于头盔探测器2边缘上，凸面镜204与水平面夹角成锐角，第三凹槽202夹持平板电脑屏幕的端点 高于平板电脑的摄像头位置，2个扇形块203位于凸面镜204的2个边缘上，用于固定凸面镜204和夹持平板电脑。
图3是本发明一种教育玩具套件中涂色卡片的识别方法的流程图。
如图3所示，一种教育玩具套件中涂色卡片的识别方法，包括如下步骤：
步骤一，在平板电脑中安装游戏程序，再将涂色卡片放置于平面上，平板电脑的底端安装于第一凹槽内，通过第二凹槽将头盔探测器安装于平板电脑的顶端；
步骤二，固定安装好后，通过平板电脑的前置摄像头实时采集彩色图像；
前置摄像头采集的彩色图像为Ixy，Ixy＝f(x,y)＝(Rxy,Gxy,Bxy)，其中，(x,y)表示彩色图像像素点的位置坐标，f(x,y)表示图像在像素点坐标位置处的像素值，Rxy表示图像像素点在红色通道的色彩值，Gxy表示图像像素点在绿色通道的色彩值，Bxy表示图像像素点在蓝色通道的色彩值；
步骤三，从步骤二的彩色图像中提取出涂色卡片感兴趣区域图像；
b)采用透视变换原理，将彩色图像Ixy转换成由上而下俯视的正视角图像；
b)根据先验知识，在正视角图像中提取出涂色卡片感兴趣区域图像，即涂色卡片放置的有效识别区域；
步骤四，平板电脑判断涂色卡片感兴趣区域图像中的颜色，用标准画笔的颜色替代感兴趣区域内的手涂颜色，形成标准颜色的三维图像；
首先，将感兴趣区域图像中的RGB值转换为XYZ颜色空间值，具体公式如下：
[X]＝[0.433953 0.376219 0.189828][R]
[Y]＝[0.212671 0.715160 0.072169][G]；
[Z]＝[0.017758 0.109477 0.872765][B]
进一步地，将XYZ颜色空间值转换为Lab值，具体公式如下：
L*＝116f(Y/Yn)-16
a*＝500[f(X/Xn)-f(Y/Yn)]
b*＝200[f(Y/Yn)-f(Z/Zn)]
其中，
Figure PCTCN2016105735-appb-000008
其中，X、Y、Z分别表示XYZ颜色空间的3个坐标值，L*、a*、b*分别表示Lab色彩空间的3个坐标值，Xn、Yn、Zn分别表示预先设定标准白色的坐标值，t＝X/Xn或Y/Yn或Z/Zn；
进一步地，将计算出的Lab值与12种画笔颜色的标准Lab颜色空间曲线图进行比较，根据欧氏距离公式计算Lab值与12种标准画笔距离最近的一点，用计算得出最近的点代表的画笔颜色重新填充感兴趣区域，形成标准颜色的三维图像，欧氏距离公式为：
Figure PCTCN2016105735-appb-000009
其中，d表示欧氏距离，x1、y1分别表示转换为Lab色彩空间的点的横坐标与纵坐标，x2、y2分别表示12种标准画笔的12个点的横坐标与纵坐标。
标准画笔的颜色为12种，对应的标准画笔颜色的RGB值具体见下表：
Figure PCTCN2016105735-appb-000010
本发明巧妙的将应用计算机视觉图形识别技术与Lab色彩空间相结合使用，能够将采集到的颜色用12种标准颜色进行替代，相对于RGB颜色空间而言，分析结果更加准确，使最后在软件中呈现出的涂色卡上的填充颜色没有偏差，具有运算速度快，定位准确，将硬件与软件技术很好地统一起来，游戏交互设计巧妙；美观简单，判断更加快速，同时增强了趣味性和直观性。
本发明检测算法更加科学、成熟，将图像的色彩空间转换，色彩差异性度量等算法相结合使用，能够快速的判断出摆放的数字。
本发明计算速度快；每次定位检测耗时在30ms左右，为玩家提供流畅的使用体验。
本发明性能稳定，在对不同平板电脑安装于教育玩具套件内的情况下，针对3千幅图片进行了采集测试，误识别率和漏检率在0.2％以下。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。
工业实用性
所属领域技术人员根据上文的记载容易得知，本发明技术方案适合在工业中制造并在生产、生活中使用，因此本发明具备工业实用性。

Claims (6)

  1. 一种教育玩具套件，其特征在于，包括：支架、头盔探测器和涂色卡片，并且所述头盔探测器安装于支架上，所述涂色卡片放置于平面上，所述涂色卡片的中间位置设置有涂色区域；所述支架底部具有凸起，顶部具有第一凹槽和第二凹槽，所述第一凹槽用于放置平板电脑，平板电脑采集涂色卡片信息；所述头盔探测器安装于第二凹槽内；
    所述头盔探测器还包括：本体、第三凹槽、2个扇形块和凸面镜，并且所述第三凹槽位于本体内，用于夹持不同型号的平板电脑，在所述第三凹槽夹持平板电脑屏幕的端点处设置有凸面镜，所述凸面镜的另一端安装于头盔探测器边缘上，所述凸面镜与水平面夹角成锐角，所述第三凹槽夹持平板电脑屏幕的端点高于平板电脑的摄像头位置，2个所述扇形块位于凸面镜的2个边缘上，用于固定所述凸面镜和夹持平板电脑。
  2. 一种教育玩具套件中涂色卡片的识别方法，其特征在于，包括如下步骤：
    步骤一，在平板电脑中安装游戏程序，再将涂色卡片放置于平面上，平板电脑的底端安装于第一凹槽内，通过第二凹槽将头盔探测器安装于平板电脑的顶端；
    步骤二，固定安装好后，通过平板电脑的前置摄像头实时采集彩色图像；
    步骤三，从步骤二的彩色图像中提取出涂色卡片感兴趣区域图像；
    步骤四，平板电脑判断涂色卡片感兴趣区域图像中的颜色，用标准画笔的颜色替代感兴趣区域内的手涂颜色，形成标准颜色的三维图像。
  3. 根据权利要求2所述的一种教育玩具套件中涂色卡片的识别方法，其特征在于，所述步骤二中前置摄像头采集的彩色图像为Ixy，Ixy＝f(x,y)＝(Rxy,Gxy,Bxy)，其中，(x,y)表示彩色图像像素点的位置坐标，f(x,y)表示图像在像素点坐标位置处的像素值，Rxy表示图像像素点在红色通道的色彩值，Gxy表示图像像素点在绿色通道的色彩值，Bxy表示图像像素点在蓝色通道的色彩值。
  4. 根据权利要求2所述的一种教育玩具套件中涂色卡片的识别方法，其特征在于，所述步骤三的具体步骤为：
    a)采用透视变换原理，将彩色图像Ixy转换成由上而下俯视的正视角图像；
    b)根据先验知识，在正视角图像中提取出涂色卡片感兴趣区域图像，即涂色卡片放置的有效识别区域。
  5. 根据权利要求3所述的一种教育玩具套件中涂色卡片的识别方法，其特征在于，所述步骤四的具体步骤为：
    首先，将感兴趣区域图像中的RGB值转换为XYZ颜色空间值，具体公式如下：
    [X]＝[0.433953 0.376219 0.189828][R]
    [Y]＝[0.212671 0.715160 0.072169][G]；
    [Z]＝[0.017758 0.109477 0.872765][B]
    进一步地，将XYZ颜色空间值转换为Lab值，具体公式如下：
    L*＝116f(Y/Yn)-16
    a*＝500[f(X/Xn)-f(Y/Yn)]
    b*＝200[f(Y/Yn)-f(Z/Zn)]
    其中，
    Figure PCTCN2016105735-appb-100001
    其中，X、Y、Z分别表示XYZ颜色空间的3个坐标值，L*、a*、b*分别表示Lab色彩空间的3个坐标值，Xn、Yn、Zn分别表示预先设定标准白色的坐标值，t＝X/Xn或Y/Yn或Z/Zn；
    进一步地，将计算出的Lab值与12种画笔颜色的标准Lab颜色空间曲线图进行比较，根据欧氏距离公式计算Lab值与12种标准画笔距离最近的一点，用计算得出最近的点代表的画笔颜色重新填充感兴趣区域，形成标准颜色的三维图像，欧氏距离公式为：
    Figure PCTCN2016105735-appb-100002
    其中，d表示欧氏距离，x1、y1分别表示转换为Lab色彩空间的点的横坐标与纵坐标，x2、y2分别表示12种标准画笔的12个点的横坐标与纵坐标。
  6. 根据权利要求2所述的一种教育玩具套件中涂色卡片的识别方法，其特征在于，所述步骤四中标准画笔的颜色为12种，对应的标准画笔颜色的RGB值具体见下表：
    Figure PCTCN2016105735-appb-100003
    Figure PCTCN2016105735-appb-100004
PCT/CN2016/105735 2016-08-19 2016-11-14 一种教育玩具套件及其涂色卡片识别方法 WO2018032628A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610695801.3 2016-08-19
CN201610695801.3A CN106327956B (zh) 2016-08-19 2016-08-19 一种教育玩具套件及其涂色卡片识别方法

Publications (1)

Publication Number Publication Date
WO2018032628A1 true WO2018032628A1 (zh) 2018-02-22

Family

ID=57744682

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/105735 WO2018032628A1 (zh) 2016-08-19 2016-11-14 一种教育玩具套件及其涂色卡片识别方法

Country Status (2)

Country Link
CN (1) CN106327956B (zh)
WO (1) WO2018032628A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223541A (zh) * 2018-03-03 2019-09-10 哈尔滨越泰科技发展有限公司 一种基于镜面折射图像识别方法的教育套件
CN113822952B (zh) * 2021-09-22 2024-06-25 西安石大派普特科技工程有限公司 一种基于图像处理的多相流流型判别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101100807A (zh) * 2007-07-10 2008-01-09 中华人民共和国青岛出入境检验检疫局 纺织品色牢度色差评级方法
US8340420B2 (en) * 2009-10-05 2012-12-25 National Taiwan University Method for recognizing objects in images
CN105194884A (zh) * 2015-10-27 2015-12-30 上海葡萄纬度科技有限公司 教育玩具套件
CN205164140U (zh) * 2015-10-27 2016-04-20 上海葡萄纬度科技有限公司 教育玩具套件
CN105498200A (zh) * 2016-01-26 2016-04-20 上海葡萄纬度科技有限公司 一种教育玩具套件及其七巧板颜色识别方法
CN105590486A (zh) * 2014-10-21 2016-05-18 黄小曼 一种基于机器视觉的座台式点读机及相关系统装置与方法
CN106023723A (zh) * 2016-06-15 2016-10-12 上海葡萄纬度科技有限公司 一种教育玩具套件及其凸面镜成像校正方法
CN106097833A (zh) * 2016-08-19 2016-11-09 上海葡萄纬度科技有限公司 一种教育玩具套件及其数字识别方法
CN106267843A (zh) * 2016-08-19 2017-01-04 上海葡萄纬度科技有限公司 一种教育玩具套件及其海洋模具识别方法
CN106297492A (zh) * 2016-08-19 2017-01-04 上海葡萄纬度科技有限公司 一种教育玩具套件及利用颜色和轮廓识别编程模块的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719307A (zh) * 2016-01-26 2016-06-29 上海葡萄纬度科技有限公司 一种教育玩具套件及检测七巧板摆放形状、位置的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101100807A (zh) * 2007-07-10 2008-01-09 中华人民共和国青岛出入境检验检疫局 纺织品色牢度色差评级方法
US8340420B2 (en) * 2009-10-05 2012-12-25 National Taiwan University Method for recognizing objects in images
CN105590486A (zh) * 2014-10-21 2016-05-18 黄小曼 一种基于机器视觉的座台式点读机及相关系统装置与方法
CN105194884A (zh) * 2015-10-27 2015-12-30 上海葡萄纬度科技有限公司 教育玩具套件
CN205164140U (zh) * 2015-10-27 2016-04-20 上海葡萄纬度科技有限公司 教育玩具套件
CN105498200A (zh) * 2016-01-26 2016-04-20 上海葡萄纬度科技有限公司 一种教育玩具套件及其七巧板颜色识别方法
CN106023723A (zh) * 2016-06-15 2016-10-12 上海葡萄纬度科技有限公司 一种教育玩具套件及其凸面镜成像校正方法
CN106097833A (zh) * 2016-08-19 2016-11-09 上海葡萄纬度科技有限公司 一种教育玩具套件及其数字识别方法
CN106267843A (zh) * 2016-08-19 2017-01-04 上海葡萄纬度科技有限公司 一种教育玩具套件及其海洋模具识别方法
CN106297492A (zh) * 2016-08-19 2017-01-04 上海葡萄纬度科技有限公司 一种教育玩具套件及利用颜色和轮廓识别编程模块的方法

Also Published As

Publication number Publication date
CN106327956A (zh) 2017-01-11
CN106327956B (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
CN105718878B (zh) 基于级联卷积神经网络的第一视角空中手写和空中交互方法
Cai et al. RGB-D datasets using microsoft kinect or similar sensors: a survey
WO2018032626A1 (zh) 一种教育玩具套件及其数字识别方法
CN105719318B (zh) 一种教育玩具套件中基于hsv的魔方颜色识别方法
WO2017128606A1 (zh) 一种教育玩具套件及其七巧板颜色识别方法
WO2018032630A1 (zh) 一种教育玩具套件及利用颜色和轮廓识别编程模块的方法
WO2018032627A1 (zh) 一种教育玩具套件及其海洋模具识别方法
WO2017128607A1 (zh) 一种教育玩具套件及检测七巧板摆放形状、位置的方法
CN105513086B (zh) 一种教育玩具套件及其基于形状匹配的魔方检测定位方法
CN106384355B (zh) 一种投影交互系统中的自动标定方法
CN102096471B (zh) 一种基于机器视觉的人机交互方法
WO2018032631A1 (zh) 一种教育玩具套件及其电路元件和电线的识别方法
CN106325509A (zh) 三维手势识别方法及系统
WO2017128602A1 (zh) 一种教育玩具套件及其定位孔检测定位方法
WO2017128603A1 (zh) 一种教育玩具套件及其反光镜位置检测方法
CN113723264A (zh) 一种用于辅助钢琴教学的智能识别弹奏错误的方法及系统
WO2018032628A1 (zh) 一种教育玩具套件及其涂色卡片识别方法
WO2023056835A1 (zh) 视频封面生成方法、装置、电子设备及可读介质
CN107812368B (zh) 一种篮球架
CN105989602A (zh) 有噪图像中的斑点检测
WO2018032629A1 (zh) 一种教育玩具套件及其敲击动作检测方法
CN104461008A (zh) 一种多媒体教学控制系统及控制方法
CN103632380A (zh) 一种基于关键点决策树的在线游戏扑克牌识别方法
CN105488785B (zh) 一种基于视觉词典的深度图生成方法
CN101499176A (zh) 一种视频游戏接口方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16913383

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16913383

Country of ref document: EP

Kind code of ref document: A1