WO2017107559A1 - 一种虚拟现实眼镜盒系统、其提醒方法及移动终端 - Google Patents

一种虚拟现实眼镜盒系统、其提醒方法及移动终端 Download PDF

Info

Publication number
WO2017107559A1
WO2017107559A1 PCT/CN2016/098022 CN2016098022W WO2017107559A1 WO 2017107559 A1 WO2017107559 A1 WO 2017107559A1 CN 2016098022 W CN2016098022 W CN 2016098022W WO 2017107559 A1 WO2017107559 A1 WO 2017107559A1
Authority
WO
WIPO (PCT)
Prior art keywords
ground
virtual reality
mobile terminal
image
reality glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/098022
Other languages
English (en)
French (fr)
Inventor
郑瑜
金鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou TCL Mobile Communication Co Ltd
Original Assignee
Huizhou TCL Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou TCL Mobile Communication Co Ltd filed Critical Huizhou TCL Mobile Communication Co Ltd
Publication of WO2017107559A1 publication Critical patent/WO2017107559A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Definitions

  • the present invention relates to the field of virtual reality glasses, and in particular, to a virtual reality glasses case system, a reminding method thereof and a mobile terminal.
  • virtual reality glasses With the increasing number of virtual reality glasses products, more and more people are beginning to use virtual reality glasses to watch videos, play games or browse pictures, web pages and the like.
  • the use of virtual reality glasses requires the mobile terminal to be placed in the virtual reality glasses box. The user wears the glasses to view the content. If the user is walking while watching the video using the virtual reality glasses, the front obstacle cannot be seen, and the user is brought a certain amount. Security risks.
  • an object of the present invention is to provide a virtual reality glasses case system, a reminding method thereof and a mobile terminal, which aim to solve the problem that the existing virtual reality glasses case cannot recognize the front obstacle when used, and bring the user The problem of security risks.
  • a reminding method for a virtual reality glasses case system comprising the steps of:
  • a prompt message is sent to remind the user.
  • the geometrical configuration of the image is used to resolve the ground disparity value of each row in the image
  • the three-dimensional coordinates of the corresponding scene point of a certain pixel are calculated by the back projection model, thereby judging whether the pixel belongs to an obstacle or a ground point;
  • the method for reminding the virtual reality glasses case system wherein the step of determining, according to the recognition result, whether a reminder needs to be performed, specifically includes:
  • Whether or not a reminder needs to be made is determined according to whether the ground is flat and/or whether there is an obstacle in the recognition result.
  • the reminding method of the virtual reality glasses case system wherein the step is to send a prompt message to remind the user when the reminder is needed, which specifically includes:
  • the method for reminding the virtual reality glasses case system wherein the step performs ground disparity distribution analysis on the image captured by the rear camera, and further includes:
  • the rear camera is turned on every predetermined time and the image is taken once.
  • the method for reminding the virtual reality glasses case system wherein the predetermined time is 2 seconds.
  • the reminding method of the virtual reality glasses case system wherein the prompting information is sent to remind the user, including:
  • a prompt box is directly displayed on the display of the mobile terminal
  • a virtual reality glasses case system comprising: a mobile terminal and a virtual reality glasses case for placing the mobile terminal, wherein an opening is arranged at a front end of the virtual reality glasses case and a position corresponding to the rear camera of the mobile terminal;
  • the mobile terminal is provided with an image recognizer, a processing module and a reminder module;
  • the image recognizer is configured to perform ground disparity distribution analysis on the image captured by the rear camera to identify whether the ground in the image is flat and whether there is an obstacle, thereby obtaining a recognition result;
  • the processing module is configured to determine, according to the recognition result, whether a reminder needs to be performed
  • the reminding module is configured to issue a prompt message to remind the user.
  • the virtual reality glasses case system wherein the processing module determines whether a reminder needs to be performed according to whether the ground is flat and/or whether there is an obstacle in the recognition result.
  • the virtual reality glasses case system wherein the reminding module is configured to issue a prompt message when determining that the ground is uneven and/or an obstacle on the ground; and when the ground is determined to be flat and there is no obstacle, no prompt information is issued.
  • the virtual reality glasses case system wherein the ground disparity distribution analysis performed by the image recognizer comprises: parsing ground disparity of each row in the image by using a geometric configuration of the image according to a baseline length and a focal length of the photographing On the basis of the ground disparity value, the three-dimensional coordinates of the corresponding scene point of a certain pixel are calculated by the back projection model, thereby judging that the pixel belongs to an obstacle or a ground point; and the obstacle and the ground point are respectively given different colors; Post-processing the above results to remove false obstacles; and eliminating stereo errors to create a grid map.
  • the mobile terminal rear camera is turned on every other preset time interval, and the image is captured once.
  • the virtual reality glasses case system wherein the preset time interval is 2 seconds.
  • the opening is centered on the rear camera of the mobile terminal, and is set to a circle with a radius of 0.2-2 cm.
  • the virtual reality glasses case system wherein the openings are arranged in a square shape.
  • a mobile terminal is disposed in a virtual reality glasses case, and an opening is disposed at a front end of the virtual reality glasses case and a position corresponding to the rear camera of the mobile terminal; the mobile terminal includes:
  • the image recognizer is configured to perform ground disparity distribution analysis on the image taken by the rear camera to identify whether the ground in the image is flat and whether there is an obstacle, thereby obtaining a recognition result;
  • a processing module configured to determine, according to the recognition result, whether a reminder is needed
  • the reminder module is configured to issue a prompt message to remind the user when a reminder is needed.
  • the mobile terminal wherein the analysis of the ground disparity distribution specifically includes:
  • the geometrical configuration of the image is used to resolve the ground disparity value of each line in the image; on the basis of the ground disparity value, the three-dimensional coordinates of the corresponding scene point of a certain pixel are calculated by the back projection model, thereby Determine whether the pixel belongs to an obstacle or a ground point; assign different colors to the obstacle and the ground point respectively; post-process the above result to remove the false obstacle; and eliminate the stereo error and establish a grid map.
  • the mobile terminal wherein the mobile terminal rear camera is turned on every predetermined time interval, and images are captured once.
  • the present invention sets an opening in a position corresponding to a rear camera of a mobile terminal in a front portion of the virtual reality glasses case, so that the rear camera of the mobile terminal is not blocked, and the user uses the virtual reality glasses case to watch the video during walking.
  • the camera is activated to capture the front image and identify it.
  • a reminder is issued to eliminate the safety hazard.
  • FIG. 1 is a schematic structural view of a preferred embodiment of a virtual reality glasses case system according to the present invention.
  • FIG. 2 is a schematic structural diagram of a mobile terminal according to the present invention.
  • FIG. 3 is a flow chart of a preferred embodiment of a reminder method for a virtual reality glasses case system according to the present invention.
  • the present invention provides a virtual reality glasses case system, a reminding method thereof, and a mobile terminal.
  • a virtual reality glasses case system a reminding method thereof
  • a mobile terminal a mobile terminal
  • the virtual reality glasses case system comprises a mobile terminal and a virtual reality glasses case 100 for placing the mobile terminal, corresponding to the mobile terminal rear camera 110 at the front end of the virtual reality glasses case 100.
  • the position is set to an opening 120, so that when the mobile terminal is placed in the virtual reality glasses box 100, the rear camera 110 on the mobile terminal is not blocked, as shown in FIG. 2, the mobile terminal is also provided with an image.
  • the identifier S100, the processing module S110, and the reminder module S120 are used to identify the image captured by the rear camera 100.
  • the processing module S110 is configured to determine whether a reminder needs to be performed according to the setting structure, and the reminder
  • the module S120 is used to send a prompt message to remind the user.
  • the rear camera 110 is activated to capture the front image and identify it, and judges whether the user needs to be reminded according to the recognition result, thereby eliminating the security risk. Further, the processing module of the present invention specifically determines whether a reminder needs to be performed according to whether the ground is flat in the recognition result and/or whether there is an obstacle on the ground.
  • the opening 120 is a center of the rear camera, and is arranged in a circle with a radius of 0.2-2 cm.
  • the present invention preferably sets the opening 120 to a circle having a radius of 1 cm. This ensures that the rear camera 110 of the mobile terminal can capture the front image at the maximum angle and is suitable for the shape of most rear cameras.
  • the opening 120 can also be set in various shapes such as a square shape, a pentagram, etc. according to design requirements, but it must be ensured that the rear camera can capture the front image at the maximum angle.
  • the present invention further provides a reminding method for a virtual reality glasses case system, which includes the steps of:
  • the rear camera 110 of the mobile terminal in the box 100 captures the road surface ahead, recognizes the captured image, and determines whether a reminder needs to be performed according to the recognition result. When the reminder is needed, a prompt message is sent to remind the user to pay attention to the safety. .
  • step S200 the image captured by the rear camera 110 is identified, specifically, the ground image parallax distribution analysis is performed on the captured image, and the image is parsed by using the geometric shape of the known image mainly according to the baseline length and focal length of the captured image.
  • the ground disparity value of each line in the line; on the basis of the ground disparity value, the three-dimensional coordinates of the corresponding scene point of a certain pixel are calculated by the back projection model, thereby judging that the pixel belongs to the obstacle or the ground point; the obstacle and the ground Points are assigned different colors; post-processing the above results to remove false obstacles; eliminating stereo errors and creating a grid map.
  • the method is suitable for various complex environments, and can accurately identify different obstacles and has high real-time performance.
  • the reminder it is determined whether the reminder needs to be performed, specifically, whether the ground level is determined and/or whether there is an obstacle on the ground to determine whether the reminder needs to be performed, when it is determined that the ground is uneven and/or there is an obstacle on the ground.
  • a prompt message is sent to remind the user to pay attention to safety; conversely, when it is determined that the ground is flat and there is no obstacle, the prompt information is not issued, and the user can safely continue to use the virtual reality glasses to watch the video.
  • a prompt box is directly displayed on the display screen of the mobile terminal to prompt the user to pay attention to the road ahead, or directly remind the user by voice, or remind the user through a preset music reminder or a vibration reminder. be careful.
  • the rear camera 110 in order to save power of the mobile terminal and prevent the rear camera 110 of the mobile terminal from being kept open during the walking process, the rear camera 110 can be set to be turned on every other predetermined time and the image is captured once, specifically, The rear camera 110 can be set to be turned on every 1 s, 2 s, 3 s or 4 s and the image taken once. Preferably, the rear camera is turned on every 2 s and the image 110 is taken once, and the image can be ensured. It can display the current road information while saving the power of the mobile terminal as much as possible.
  • the present invention sets an opening in the position corresponding to the rear camera of the mobile terminal in the front part of the virtual reality glasses case, so that the rear camera of the mobile terminal is not blocked, and the user uses the virtual reality glasses case during walking.
  • the camera is activated to capture the front image and identify it.
  • a reminder is issued to eliminate the safety hazard.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

一种虚拟现实眼镜盒系统、其提醒方法及移动终端，其中移动终端放置在虚拟现实眼镜盒（100），在虚拟现实眼镜盒（100）的前端与移动终端后置摄像头（110）相应的位置设置开口（120）；移动终端包括：图像识别器（S100）对后置摄像头（110）拍摄的图像进行识别（S200）；处理模块（S110）根据识别结果判断是否需要进行提醒（S210）；提醒模块（S120）发出提示信息以提醒用户（S220），从而消除安全隐患。

Description

一种虚拟现实眼镜盒系统、其提醒方法及移动终端 技术领域
本发明涉及虚拟现实眼镜领域，尤其涉及一种虚拟现实眼镜盒系统、其提醒方法及移动终端。
 背景技术
随着虚拟现实眼镜产品的日益增多，越来越多的人开始使用虚拟现实眼镜观看视频、玩游戏或浏览图片、网页等。虚拟现实眼镜的使用需要将移动终端放在虚拟现实眼镜盒子里，用户佩戴眼镜观看内容，如果用户在使用虚拟现实眼镜观看视频的时候同时在走路，则无法看见前方障碍物，给用户带来一定的安全隐患。
因此，现有技术还有待于改进和发展。
 技术问题
鉴于上述现有技术的不足，本发明的目的在于提供一种虚拟现实眼镜盒系统、其提醒方法及移动终端，旨在解决现有虚拟现实眼镜盒在使用时无法识别前方障碍物，给用户带来安全隐患的问题。
 技术解决方案
本发明的技术方案如下：
一种虚拟现实眼镜盒系统的提醒方法，其包括步骤：
对后置摄像头拍摄的图像进行地面视差分布分析，辨别出图像中地面是否平整和是否有障碍物，从而得到识别结果；
根据所述识别结果判断是否需要进行提醒；以及
当需要进行提醒时，发出提示信息以提醒用户。
所述的虚拟现实眼镜盒系统的提醒方法，其中进行地面视差分布分析，具体包括：
根据拍摄的基线长度和焦距，利用图像的几何构形解析出图像中各行的地面视差值；
在地面视差值的基础上，通过反投影模型计算出某像素对应场景点的三维坐标，从而判断该像素属于障碍物或是地面点；
对障碍物和地面点分别赋予不同的颜色；
去除虚假的障碍物；以及
消除立体误差，建立栅格地图。
所述的虚拟现实眼镜盒系统的提醒方法，其中所述步骤根据所述识别结果判断是否需要进行提醒，具体包括：
根据所述识别结果中地面是否平整和/或是否有障碍物来判断是否需要进行提醒。
所述的虚拟现实眼镜盒系统的提醒方法，其中所述步骤当需要进行提醒时，发出提示信息以提醒用户，具体包括：
当判定地面不平整和/或地面上有障碍物时，发出提示信息；
当判定地面平整且没有障碍物时，不发出提示信息。
所述的虚拟现实眼镜盒系统的提醒方法，其中所述步骤对后置摄像头拍摄的图像进行地面视差分布分析，之前还包括：
每隔一预定时间开启所述后置摄像头，并拍摄图像一次。
所述的虚拟现实眼镜盒系统的提醒方法，其中所述预定时间为2秒。
所述的虚拟现实眼镜盒系统的提醒方法，其中所述发出提示信息以提醒用户，包括：
在移动终端显示屏上直接弹出提示框；
通过语音提醒用户；
通过预先设置的音乐提醒；或
通过振动提醒用户注意安全。
本发明的技术方案如下：
一种虚拟现实眼镜盒系统，其包括移动终端和用于放置移动终端的虚拟现实眼镜盒，在虚拟现实眼镜盒的前端与移动终端后置摄像头相应的位置设置一开口；
所述移动终端设置有一图像识别器、处理模块和提醒模块；
所述图像识别器用于对后置摄像头拍摄的图像进行地面视差分布分析，辨别出图像中地面是否平整和是否有障碍物，从而得到识别结果；
所述处理模块用于根据所述识别结果判断是否需要进行提醒；以及
所述提醒模块用于发出提示信息以提醒用户。
所述的虚拟现实眼镜盒系统，其中所述处理模块中，根据所述识别结果中地面是否平整和/或是否有障碍物来判断是否需要进行提醒。
所述的虚拟现实眼镜盒系统，其中所述提醒模块用于当判定地面不平整和/或地面上有障碍物时，发出提示信息；当判定地面平整且没有障碍物时，不发出提示信息。
所述的虚拟现实眼镜盒系统，其中所述所述图像识别器所进行的地面视差分布分析，包括：根据拍摄的基线长度和焦距，利用图像的几何构形解析出图像中各行的地面视差值；在地面视差值的基础上，通过反投影模型计算出某像素对应场景点的三维坐标，从而判断该像素属于障碍物或是地面点；对障碍物和地面点分别赋予不同的颜色；对上述结果进行后处理，去除虚假的障碍物；以及消除立体误差，建立栅格地图。
所述的虚拟现实眼镜盒系统，其中每隔一预设时间间隔，移动终端后置摄像头开启，并拍摄图像一次。
所述的虚拟现实眼镜盒系统，其中所述预设时间间隔为2秒。
所述的虚拟现实眼镜盒系统，其中所述开口以所述移动终端后置摄像头为圆心，以0.2-2cm为半径设置成圆形。
所述的虚拟现实眼镜盒系统，其中所述开口设置成方形。
本发明的技术方案如下：
一种移动终端，其放置于虚拟现实眼镜盒中，在虚拟现实眼镜盒的前端与移动终端后置摄像头相应的位置设置一开口；所述移动终端包括：
图像识别器，用于对后置摄像头拍摄的图像进行地面视差分布分析，辨别出图像中地面是否平整和是否有障碍物，从而得到识别结果；
处理模块，用于根据识别结果判断是否需要进行提醒；以及
提醒模块，用于当需要进行提醒时，发出提示信息以提醒用户。
所述的移动终端，其中，所述地面视差分布分析，具体包括：
根据拍摄的基线长度和焦距，利用图像的几何构形解析出图像中各行的地面视差值；在地面视差值的基础上，通过反投影模型计算出某像素对应场景点的三维坐标，从而判断该像素属于障碍物或是地面点；对障碍物和地面点分别赋予不同的颜色；对上述结果进行后处理，去除虚假的障碍物；以及消除立体误差，建立栅格地图。
所述的移动终端，其中，所述移动终端后置摄像头，每隔一预设时间间隔被开启，并拍摄图像一次。
 有益效果
有益效果：本发明通过在虚拟现实眼镜盒的前段与移动终端后置摄像头相应的位置设置一开口，使移动终端后置摄像头不被遮挡，当用户在行走过程中使用虚拟现实眼镜盒观看视频的时候，启动摄像头拍摄前方图像并进行识别，当判定前方地面不平整和/或有障碍物时则发出提醒，从而消除安全隐患。
 附图说明
图1为本发明一种虚拟现实眼镜盒系统较佳实施例的结构示意图。
图2为本发明移动终端结构示意图。
图3为本发明一种虚拟现实眼镜盒系统的提醒方法较佳实施例的流程图。
 本发明的最佳实施方式
本发明提供一种虚拟现实眼镜盒系统、其提醒方法及移动终端，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明提供的虚拟现实眼镜盒系统，包括移动终端和用于放置移动终端的虚拟现实眼镜盒100，通过在虚拟现实眼镜盒100的前端与移动终端后置摄像头110相应的位置设置一开口120，这样，当移动终端放在虚拟现实眼镜盒子100里的时候，移动终端上的后置摄像头110不会被遮挡，如图2所示，所述移动终端上还设置有图像识别器S100、处理模块S110和提醒模块S120，所述图像识别器S100用于对后置摄像头100拍摄的图像进行识别，所述处理模块S110用于根据设别结构判断是否需要进行提醒，而提醒模块S120则用于发出提示信息以提醒用户。通过本发明可使用户在行走过程中使用虚拟现实眼镜盒100观看视频的时候，启动后置摄像头110拍摄前方图像并进行识别，并根据识别结果判断是否需要进行提醒用户，从而消除安全隐患。进一步，本发明所述处理模块具体是根据识别结果中地面是否平整和/或地面上是否有障碍物来判断是否需要进行提醒。
在本发明中，如图1所示，所述开口120以后置摄像头为圆心，以0.2-2cm为半径设置成圆形，较佳地，本发明优选将开口120设置成半径为1cm的圆形，这样在保证移动终端的后置摄像头110能够以最大角度拍摄前方图像，并且适用于大多数的后置摄像头的形状。当然，所述开口120根据设计需要还可设置成方形、五角星形等各种形状，但必须保证后置摄像头能以最大角度拍摄前方图像。
如图1所示，本发明还提供一种虚拟现实眼镜盒系统的提醒方法，其中包括步骤：
S200、对后置摄像头拍摄的图像进行识别，以生成识别结果；
S210、根据识别结果判断是否需要进行提醒；
S220、当需要进行提醒时，发出提示信息以提醒用户。
具体地，当用户在行走过程的同时还在使用虚拟现实眼镜盒100观看视频的时候，为了保证用户的安全，避免因地面不平整或有障碍物而导致的危险，需要通过放置在虚拟现实眼镜盒100中的移动终端的后置摄像头110对前方路面进行拍摄，并对拍摄的图像进行识别，并根据识别结果去判断是否需要进行提醒，当需要提醒时，则发出提示信息以提醒用户注意安全。
在步骤S200中，对后置摄像头110拍摄的图像进行识别，具体地，对拍摄的图像进行地面视差分布分析，其主要根据拍摄的基线长度和焦距，利用已知图像的几何构形解析出图像中各行的地面视差值；在地面视差值的基础上，通过反投影模型计算出某像素对应场景点的三维坐标，从而初步判断该像素属于障碍物或是地面点；对障碍物和地面点分别赋予不同的颜色；对上述结果进行后处理，去除虚假的障碍物；消除立体误差，建立栅格地图。该方法适用于各种复杂环境，针对不同的障碍物，都能达到精确识别，并且具有很高的实时性。
进一步，根据识别结果判断是否需要进行提醒，具体地，根据识别结果中地面是否平整和/或地面上是否有障碍物来判断是否需要进行提醒，当判定地面不平整和/或地面上有障碍物时，则发出提示信息以提醒用户注意安全；反之，当判定地面平整且没有障碍物时，则不发出提示信息，用户可放心继续使用虚拟现实眼镜观看视频。进一步，当判定需要发出提示信息时，则在移动终端显示屏上直接弹出提示框提示用户注意前方路面，或直接通过语音提醒用户，或通过预先设置的音乐提醒，或通过振动提醒等方式提醒用户注意安全。
在本发明中，为节省移动终端电量，避免用户在行走过程中移动终端的后置摄像头110一直保持开启状态，可设置每隔一预定时间开启所述后置摄像头110并拍摄图像一次，具体地，可设置每隔1s、2s、3s或4s开启所述后置摄像头110并拍摄图像一次，较佳地，设置每隔2s开启开启所述后置摄像头并拍摄图像110一次，可以在确保拍摄的图像能够显示当前路面信息的同时，尽可能的节省移动终端的电量。
综上所述，本发明通过在虚拟现实眼镜盒的前段与移动终端后置摄像头相应的位置设置一开口，使移动终端后置摄像头不被遮挡，当用户在行走过程中使用虚拟现实眼镜盒观看视频的时候，启动摄像头拍摄前方图像并进行识别，当判定前方地面不平整和/或有障碍物时则发出提醒，从而消除安全隐患。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (20)

  1. 一种虚拟现实眼镜盒系统的提醒方法，其包括步骤：
    对后置摄像头拍摄的图像进行地面视差分布分析，辨别出图像中地面是否平整和是否有障碍物，从而得到识别结果；
    根据所述识别结果判断是否需要进行提醒；以及
    当需要进行提醒时，发出提示信息以提醒用户。
  2. 根据权利要求1所述的虚拟现实眼镜盒系统的提醒方法，其中进行地面视差分布分析，具体包括：
    根据拍摄的基线长度和焦距，利用图像的几何构形解析出图像中各行的地面视差值；
    在地面视差值的基础上，通过反投影模型计算出某像素对应场景点的三维坐标，从而判断该像素属于障碍物或是地面点；
    对障碍物和地面点分别赋予不同的颜色；
    去除虚假的障碍物；以及
    消除立体误差，建立栅格地图。
  3. 根据权利要求1所述的虚拟现实眼镜盒系统的提醒方法，其中所述步骤根据所述识别结果判断是否需要进行提醒，具体包括：
    根据所述识别结果中地面是否平整和/或是否有障碍物来判断是否需要进行提醒。
  4. 根据权利要求3所述的虚拟现实眼镜盒系统的提醒方法，其中所述步骤当需要进行提醒时，发出提示信息以提醒用户，具体包括：
    当判定地面不平整和/或地面上有障碍物时，发出提示信息；
    当判定地面平整且没有障碍物时，不发出提示信息。
  5. 根据权利要求1所述的虚拟现实眼镜盒系统的提醒方法，其中所述步骤对后置摄像头拍摄的图像进行地面视差分布分析，之前还包括：
    每隔一预定时间开启所述后置摄像头，并拍摄图像一次。
  6. 根据权利要求5所述的虚拟现实眼镜盒系统的提醒方法，其中所述预定时间为2秒。
  7. 根据权利要求1所述的虚拟现实眼镜盒系统的提醒方法，其中所述发出提示信息以提醒用户，包括：
    在移动终端显示屏上直接弹出提示框；
    通过语音提醒用户；
    通过预先设置的音乐提醒；或
    通过振动提醒用户注意安全。
  8. 一种虚拟现实眼镜盒系统，其包括移动终端和用于放置移动终端的虚拟现实眼镜盒，在虚拟现实眼镜盒的前端与移动终端后置摄像头相应的位置设置一开口；
    所述移动终端设置有一图像识别器、处理模块和提醒模块；
    所述图像识别器用于对后置摄像头拍摄的图像进行地面视差分布分析，辨别出图像中地面是否平整和是否有障碍物，从而得到识别结果；
    所述处理模块用于根据所述识别结果判断是否需要进行提醒；以及
    所述提醒模块用于发出提示信息以提醒用户。
  9. 根据权利要求8所述的虚拟现实眼镜盒系统，其中所述处理模块中，根据所述识别结果中地面是否平整和/或是否有障碍物来判断是否需要进行提醒。
  10. 根据权利要求9所述的虚拟现实眼镜盒系统，其中所述提醒模块用于当判定地面不平整和/或地面上有障碍物时，发出提示信息；当判定地面平整且没有障碍物时，不发出提示信息。
  11. 根据权利要求8所述的虚拟现实眼镜盒系统，其中所述所述图像识别器所进行的地面视差分布分析，包括：根据拍摄的基线长度和焦距，利用图像的几何构形解析出图像中各行的地面视差值；在地面视差值的基础上，通过反投影模型计算出某像素对应场景点的三维坐标，从而判断该像素属于障碍物或是地面点；对障碍物和地面点分别赋予不同的颜色；对上述结果进行后处理，去除虚假的障碍物；以及消除立体误差，建立栅格地图。
  12. 根据权利要求8所述的虚拟现实眼镜盒系统，其中每隔一预设时间间隔，移动终端后置摄像头开启，并拍摄图像一次。
  13. 根据权利要求12所述的虚拟现实眼镜盒系统，其中所述预设时间间隔为2秒。
  14. 根据权利要求8所述的虚拟现实眼镜盒系统，其中所述开口以所述移动终端后置摄像头为圆心，以0.2-2cm为半径设置成圆形。
  15. 根据权利要求8所述的虚拟现实眼镜盒系统，其中所述开口设置成方形。
  16. 根据权利要求8所述的虚拟现实眼镜盒系统，其中所述提醒模块，用于在移动终端显示屏上直接弹出提示框、通过语音提醒用户、通过预先设置的音乐提醒、或通过振动提醒用户注意安全。
  17. 一种移动终端，其放置于虚拟现实眼镜盒中，在虚拟现实眼镜盒的前端与移动终端后置摄像头相应的位置设置一开口；所述移动终端包括：
    图像识别器，用于对后置摄像头拍摄的图像进行地面视差分布分析，辨别出图像中地面是否平整和是否有障碍物，从而得到识别结果；
    处理模块，用于根据识别结果判断是否需要进行提醒；以及
    提醒模块，用于当需要进行提醒时，发出提示信息以提醒用户。
  18. 根据权利要求17所述的移动终端，其中，所述地面视差分布分析，具体包括：
    根据拍摄的基线长度和焦距，利用图像的几何构形解析出图像中各行的地面视差值；在地面视差值的基础上，通过反投影模型计算出某像素对应场景点的三维坐标，从而判断该像素属于障碍物或是地面点；对障碍物和地面点分别赋予不同的颜色；对上述结果进行后处理，去除虚假的障碍物；以及消除立体误差，建立栅格地图。
  19. 根据权利要求17所述的移动终端，其中，所述移动终端后置摄像头，每隔一预设时间间隔被开启，并拍摄图像一次。
  20. 根据权利要求17所述的移动终端，其中，所述处理模块中，根据所述识别结果中地面是否平整和/或是否有障碍物来判断是否需要进行提醒。
PCT/CN2016/098022 2015-12-24 2016-09-05 一种虚拟现实眼镜盒系统、其提醒方法及移动终端 Ceased WO2017107559A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510983811.2A CN105630164A (zh) 2015-12-24 2015-12-24 一种虚拟现实眼镜盒系统及其提醒方法
CN201510983811.2 2015-12-24

Publications (1)

Publication Number Publication Date
WO2017107559A1 true WO2017107559A1 (zh) 2017-06-29

Family

ID=56045192

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/098022 Ceased WO2017107559A1 (zh) 2015-12-24 2016-09-05 一种虚拟现实眼镜盒系统、其提醒方法及移动终端

Country Status (2)

Country Link
CN (1) CN105630164A (zh)
WO (1) WO2017107559A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105630164A (zh) * 2015-12-24 2016-06-01 惠州Tcl移动通信有限公司 一种虚拟现实眼镜盒系统及其提醒方法
CN106125927B (zh) * 2016-06-23 2019-11-29 捷开通讯(深圳)有限公司 图像处理系统及方法
CN106210869A (zh) * 2016-06-29 2016-12-07 努比亚技术有限公司 一种事件处理以及终端控制方法和装置
CN106569830B (zh) * 2016-11-10 2019-11-29 北京小鸟看看科技有限公司 虚拟现实设备及在其中实现消息提示框显示的方法和插件
CN106646876A (zh) * 2016-11-25 2017-05-10 捷开通讯(深圳)有限公司 头戴式显示系统及其安全提示方法
CN107024982A (zh) * 2016-12-09 2017-08-08 阿里巴巴集团控股有限公司 一种虚拟现实设备的安全监控方法、装置及虚拟现实设备
CN108696735A (zh) * 2017-03-01 2018-10-23 中兴通讯股份有限公司 虚拟现实眼镜、智能终端及导视实现和控制方法
CN108628442B (zh) * 2018-03-22 2021-03-26 北京奇艺世纪科技有限公司 一种信息提示方法、装置以及电子设备
CN118118775A (zh) * 2022-11-30 2024-05-31 荣耀终端有限公司 场景感知方法、设备及存储介质
CN119625324B (zh) * 2025-02-13 2025-05-09 温州市远华企业有限公司 眼镜盒图案智能检测系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101852609A (zh) * 2010-06-02 2010-10-06 北京理工大学 一种基于机器人双目立体视觉的地面障碍物检测方法
WO2015048905A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for incorporating a physical image stream in a head mounted display
CN204347355U (zh) * 2014-12-11 2015-05-20 北京暴风魔镜科技有限公司 立体眼镜
CN104750249A (zh) * 2015-03-02 2015-07-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN105183168A (zh) * 2015-09-17 2015-12-23 惠州Tcl移动通信有限公司 基于移动终端的头戴式虚拟现实装置及其启动方法
CN105630164A (zh) * 2015-12-24 2016-06-01 惠州Tcl移动通信有限公司 一种虚拟现实眼镜盒系统及其提醒方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881949B (zh) * 2015-04-24 2018-05-29 广东欧珀移动通信有限公司 一种基于移动终端的路况监测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101852609A (zh) * 2010-06-02 2010-10-06 北京理工大学 一种基于机器人双目立体视觉的地面障碍物检测方法
WO2015048905A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for incorporating a physical image stream in a head mounted display
CN204347355U (zh) * 2014-12-11 2015-05-20 北京暴风魔镜科技有限公司 立体眼镜
CN104750249A (zh) * 2015-03-02 2015-07-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN105183168A (zh) * 2015-09-17 2015-12-23 惠州Tcl移动通信有限公司 基于移动终端的头戴式虚拟现实装置及其启动方法
CN105630164A (zh) * 2015-12-24 2016-06-01 惠州Tcl移动通信有限公司 一种虚拟现实眼镜盒系统及其提醒方法

Also Published As

Publication number Publication date
CN105630164A (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
WO2017107559A1 (zh) 一种虚拟现实眼镜盒系统、其提醒方法及移动终端
WO2014104521A1 (en) Image transformation apparatus and method
WO2016099052A1 (ko) 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법
CN103955272B (zh) 一种终端设备用户姿态检测系统
WO2016072714A1 (en) Electronic device and method for providing filter in electronic device
WO2009157707A2 (en) Image processing method and apparatus
US20140247275A1 (en) Information processing method and electronic device
WO2016018067A1 (en) Method and device for mapping sensor location and event operation using monitoring device
CN107145849B (zh) 目标物体状态检测方法、移动终端及计算机可读存储介质
WO2017181686A1 (zh) 一种移动终端视频通讯中画面角度自动修正方法及系统
WO2017128853A1 (zh) 摄制视频的处理方法、装置和设备
CN106101687A (zh) Vr图像拍摄装置及其基于移动终端的vr图像拍摄系统
WO2020101094A1 (ko) 입체 스트라이크 존 표시 방법 및 장치
WO2014088125A1 (ko) 영상 촬영 장치 및 그 방법
CN112333458A (zh) 直播房间显示方法、装置、设备及存储介质
WO2018095196A1 (zh) 头戴式显示系统及其安全提示方法
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
CN111083513A (zh) 直播画面处理方法、装置、终端及计算机可读存储介质
CN103997616B (zh) 一种处理视频会议画面的方法、装置及会议终端
CN113096193A (zh) 三维体感操作的识别方法、装置和电子设备
WO2015196878A1 (zh) 一种电视虚拟触控方法及系统
WO2019098421A1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
WO2014003509A1 (ko) 증강 현실 표현 장치 및 방법
CN119068453A (zh) 车位占用检测方法、装置、系统、电子设备及存储介质
WO2012165718A1 (ko) 아이 트래킹을 이용한 컨버전스 자동 조절 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16877370

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16877370

Country of ref document: EP

Kind code of ref document: A1