WO2019179331A1 - 增强现实的实现方法、装置、系统、计算机设备及存储介质 - Google Patents

增强现实的实现方法、装置、系统、计算机设备及存储介质 Download PDF

Info

Publication number
WO2019179331A1
WO2019179331A1 PCT/CN2019/077781 CN2019077781W WO2019179331A1 WO 2019179331 A1 WO2019179331 A1 WO 2019179331A1 CN 2019077781 W CN2019077781 W CN 2019077781W WO 2019179331 A1 WO2019179331 A1 WO 2019179331A1
Authority
WO
WIPO (PCT)
Prior art keywords
real
recognition
target
augmented reality
webpage
Prior art date
Application number
PCT/CN2019/077781
Other languages
English (en)
French (fr)
Inventor
张庆吉
魏扼
庞英明
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2019179331A1 publication Critical patent/WO2019179331A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Definitions

  • the terminal displays the captured real scene image on the webpage in real time, and copies the real scene image to the local augmented reality recognition module, and the augmented reality recognition module performs target recognition on the real scene image. Get the recognition result;
  • a delivery module configured to display the collected real-life scene image on a webpage in real time, and copy the real-life scene image to the local augmented reality recognition module;
  • FIG. 7 is an architectural diagram of an implementation method of augmented reality in an embodiment
  • FIG. 10 is a structural block diagram of a browsing service kernel module in an embodiment
  • the augmented reality recognition module is configured to identify the target object in the real scene image to obtain a recognition result.
  • the recognition result includes identifying the obtained target object and the location information of the target object.
  • the terminal local is the computer device itself.
  • the content local to the terminal refers to the terminal content stored inside the terminal and can be directly accessed without the network, for example, the content stored in the terminal disk.
  • the content that the terminal can access through the network belongs to the content of the webpage.
  • the terminal After acquiring the real scene image collected by the camera device, the terminal displays the captured real scene image on the webpage in real time, and copies a real scene image to the local augmented reality recognition module.
  • the real scene picture refers to the collected video frame, the video is composed of images of one frame, and each video frame corresponds to a real scene picture.
  • Figure 12 is a diagram showing the internal structure of a computer device in one embodiment.
  • the computer device may specifically be a terminal.
  • the computer device includes a processor, a memory, a network interface, an input device, a camera, and a display screen connected by a system bus.
  • the memory comprises a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium of the computer device stores an operating system, and can also store computer readable instructions that, when executed by the processor, cause the processor to implement an augmented reality implementation.
  • the internal memory can also store computer readable instructions that, when executed by the processor, cause the processor to perform an augmented reality implementation.
  • the camera of the computer device is a camera for acquiring images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种增强现实的实现方法、装置、系统、计算机设备及存储介质，该方法包括：终端接收网页发起的现实场景采集请求，终端根据所述现实场景采集请求调用摄像装置采集现实场景画面，终端将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果，终端将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。

Description

增强现实的实现方法、装置、系统、计算机设备及存储介质
本申请要求于2018年03月22日提交中国专利局，申请号为2018102421395，申请名称为“增强现实的实现方法、装置、系统、计算机设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机处理技术领域，特别是涉及一种增强现实的实现方法、装置、系统、计算机设备及存储介质。
背景技术
目前增强现实(Augmented Reality，简称AR)方向有很多开放平台，但是这些开放平台都是针对Native(本地)场景的，在web(网页)场景下还没有很好的方法。传统的web场景下的AR是通过前端JS(JavaScript)对目标对象的识别、跟踪，再加上3D动画的渲染来实现的。但是JavaScript是一种弱对象脚本语言，运用到图像处理上的能力很差，所以传统的web场景下的增强现实的性能很差。
发明内容
根据本申请提供的各种实施例，提出了一种增强现实的实现方法、装置、系统、计算机设备及存储介质。
一种增强现实的实现方法，所述方法包括：
终端接收网页发起的现实场景采集请求，根据所述现实场景采集请求调用摄像装置采集现实场景画面；
终端将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果；
终端将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
一种增强现实的实现装置，所述装置包括：
采集模块，用于接收网页发起的现实场景采集请求，根据所述现实场景采集请求调用摄像装置采集现实场景画面；
传递模块，用于将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块；
所述增强现实识别模块用于对所述现实场景画面进行目标识别，得到识别结果；
返回模块，用于将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
一种增强现实的实现系统，所述系统包括：
终端，用于接收网页发起的现实场景采集请求，根据所述现实场景采集请求调用摄像装置采集现实场景画面，将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块，所述增强现实识别模块对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的第一目标视频帧，将所述第一目标视频帧传输至服务器；
服务器，用于识别所述第一目标视频帧中的第一目标对象，返回与所述第一目标对象对应的第一目标识别模型；
所述终端还用于根据所述第一目标识别模型对所述现实场景画面中的第一目标对象进行识别，得到识别结果，将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行以下步骤：
接收网页发起的现实场景采集请求，根据所述现实场景采集请求调用摄像 装置采集现实场景画面；
将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果；
将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
一种计算机可读存储介质，存储有计算机可读指令，所述计算机可读指令被处理器执行时，使得所述处理器执行以下步骤：
接收网页发起的现实场景采集请求，根据所述现实场景采集请求调用摄像装置采集现实场景画面；
将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果；
将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中增强现实的实现方法的应用环境图；
图2为一个实施例中增强现实的实现方法的流程图；
图3A为一个实施例中对采集到的现实场景画面进行目标识别的界面示意图；
图3B为一个实施例中增强现实显示的界面示意图；
图4为一个实施例中增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的方法流程图；
图5为另一个实施例中增强现实的实现方法流程图；
图6为一个实施例中浏览服务内核模块对现实场景画面进行识别的方法流程图；
图7为一个实施例中增强现实的实现方法的架构图；
图8为又一个实施例中增强现实的实现方法的流程图；
图9为一个实施例中增强现实的实现装置的结构框图；
图10为一个实施例中浏览服务内核模块的结构框图；
图11为一个实施例中增强现实的实现系统的框图；
图12为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中增强现实的实现方法的应用环境图。参照图1，该增强现实的实现方法应用于增强现实的实现系统。该增强现实的实现系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。具体地，终端110接收网页发起的现实场景采集请求，根据所述现实场景采集请求调用摄像装置采集现实场景画面，将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块，所述增强现实识别模块将采集到的包含有现实场景画面的视频帧上传至服务器120，服务器120对现实场景画面中的目标对象进行识别，得到识别结果，并将识别结果返回给所述增强现实识别模块。增强现实识别模块再将识别结果返回给网页，以使网页根据识别结果对网页上展示的现实场景画面进行增 强现实处理。
如图2所示，在一个实施例中，提供了一种增强现实的实现方法。本实施例主要以应用于终端110举例说明。该增强现实的实现方法具体包括如下步骤：
步骤S202，终端接收网页发起的现实场景采集请求，根据现实场景采集请求调用摄像装置采集现实场景画面。
其中，摄像装置是指用于拍摄视频的设备，比如，摄像头。为了在网页(web)场景下实现增强现实，首先需要调用终端中的摄像装置对现实场景画面进行采集。具体地，终端接收网页发起的现实场景采集请求，然后响应现实场景采集请求调用摄像装置对现实场景画面进行采集。现实场景画面是指通过摄像装置捕捉到的现实世界中的画面，现实世界指的是存在于人脑之外的客观世界，是可感知的世界。
步骤S204，将采集到的现实场景画面在网页上进行实时展示，并复制现实场景画面传递给终端本地的增强现实识别模块，增强现实识别模块对现实场景画面进行目标识别，得到识别结果。
其中，增强现实识别模块用于对现实场景画面中的目标对象进行识别得到识别结果。识别结果包括识别得到的目标对象以及目标对象的位置信息。终端本地即计算机设备本身，终端本地的内容是指存储在终端内部的，不需要网络便可以直接访问的终端内容，比如，存储在终端磁盘中的内容。终端通过网络才能访问的内容属于网页端的内容。终端获取到通过摄像装置采集到的现实场景画面后，一方面将采集到的现实场景画面在网页上进行实时展示，另一方面，复制一份现实场景画面传递给在终端本地的增强现实识别模块，其中，现实场景画面是指采集到的视频帧，视频是由一帧帧的图像组成的，每个视频帧对应一个现实场景画面。通过增强现实识别模块对现实场景画面进行目标识别，得到识别结果。增强现实识别模块是由AR-SDK(AR-Software Development kit，软件开发工具包)来实现的。由于增强现实识别模块是存在于终端本地的，所以具有了Native(本地)的识别和追踪目标对象的能力，识别能力大大得到了提升，从而有利于提高后续增强现实的显示效果。
在另一个实施例中，在同一个现实场景画面中可能包含有多个目标对象，而 不同的目标对象需要不同的目标识别模型进行识别，为了提高识别目标对象的速度，可以同时复制多份现实场景画面传递给增强现实识别模块中的多个目标识别模型，这样，多个目标识别模型可以同时对目标对象进行识别，提高了识别的速度。
在一个实施例中，是通过终端本地中的网页实时通信模块(WEBRTC模块)将采集到的包含有现实场景画面的视频流复制为两份，将其中一份传递给网页前端进行展示，将另一份传递给增强现实识别模块进行目标识别。其中，WEBRTC(Web Real-Time Communication，网页实时通信)是一个支持网页浏览器进行视频对话的技术，它主要负责现实场景实时画面的渲染。
在另一个实施例中，首先将复制的视频流传递给AR引擎模块进行预处理，预处理包括判断视频帧是否清晰，筛选出清晰度比较高的视频帧等，然后再由AR引擎模块将预处理后的视频帧传递给增强识别模块进行目标识别，得到识别结果。
步骤S206，将识别结果返回给网页，以使网页根据识别结果对网页上展示的现实场景画面进行增强现实处理。
其中，增强现实(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目的是在屏幕上把虚拟世界套在现实世界并进行互动。增强现实可将现实世界的信息与虚拟世界的信息无缝地集成在一起，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间而同时存在，两种信息相互补充叠加。识别结果中包含有识别到的目标对象的位置信息，根据目标对象的位置信息来确定虚拟对象的展示位置，然后根据虚拟对象的展示位置将虚拟对象与目标对象进行融合展示，从而在网页的场景下实现增强现实。如图3A和3B所示，为一个实施例中增加现实的界面示意图，其中，图3A为对采集到的现实场景画面进行目标识别的界面示意图，图3B为增强现实显示的界面示意图，图中为现实场景和虚拟对象(比如，图中的虚拟城堡)叠加后显示的画面。
上述增强现实的实现方法，在采集到现实场景画面后，一方面将采集到的现实场景画面在网页上进行实时展示，另一方面将复制的现实场景画面传递给终 端本地的增强现实识别模块进行目标识别得到识别结果，并将识别结果返回给网页，网页根据识别结果对网页上展示的现实场景画面进行增强现实处理。该增强现实的实现方法，通过采用终端本地的增强现实识别模块对现实场景画面进行目标识别，使得页面具有了Native(本地)的AR识别效果，大大提高了在页面场景下增强现实的性能。
在一个实施例中，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：所述增强现实识别模块获取目标识别模型，采用所述目标识别模型对所述现实场景画面中的目标对象进行识别，得到识别结果。
其中，目标识别模型是预先建立的用于对现实场景画面中的目标对象进行识别的模型。不同的目标对象所对应的目标识别模型不同。在对现实场景画面进行识别之前，首先确定要识别的目标对象，然后获取与该目标对象对应的目标识别模型，采用该目标识别模型对现实场景画面中的目标对象进行识别，得到识别结果。
在一个实施例中，在所述增强现实识别模块获取目标识别模型的步骤之前还包括：所述增强现实识别模块接收包含有目标对象的样本图像，对所述样本图像中的目标对象的特征进行提取；根据提取的所述特征建立所述目标识别模型。
其中，增强现实识别模块在利用目标识别模型对现实场景画面中的目标对象进行识别之前，需要预先建立目标识别模型。目标识别模型是通过对注册的一张或多张包含有目标对象的样本图像进行特征提取，然后根据提取到的特征进行训练学习得到的目标识别模型。比如，如果想对“手”进行识别，首先注册一张包含有“手”的图片，通过对图片中的“手”的特征进行识别得到用于识别“手”的目标识别模型。
如图4所示，在一个实施例中，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：
步骤S204A，增强现实识别模块对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的第一目标视频帧。
其中，清晰度是指现实场景画面上各细部影纹及其边界的清晰程度，用于反 映图像质量，清晰度可以采用视频画面的分辨率来度量。为了从服务器端获取到目标识别模型，需要从现实场景画面的视频流中选择清晰的视频帧上传到服务器，然后由服务器对视频帧包含的目标对象进行识别，根据识别得到的目标对象下发相应的目标识别模型到终端。具体地，对实时采集到的现实场景画面的清晰度进行识别，然后筛选出清晰度大于预设阈值的第一目标视频帧。其中，预设阈值是根据实际情况提前定义设置的，第一目标视频帧的帧数也可以自定义设置，比如，可以为一帧，也可以为多帧。
步骤S204B，将第一目标视频帧传输至服务器，以使服务器识别第一目标视频帧中的第一目标对象，返回与第一目标对象对应的第一目标识别模型。
其中，不同的目标对象所对应的目标识别模型不同，服务器中分别存储有不同目标对象对应的目标识别模型。为了能够灵活地根据现实场景画面中包含的目标对象来选择目标识别模型，通过将筛选的第一目标视频帧传输至服务器，然后由服务器识别第一目标视频帧的第一目标对象，将与该第一目标对象对应的第一目标识别模型返回给增强现实识别模块，增强现实识别模块根据接收到的第一目标识别模型对现实场景画面中的第一目标对象进行识别。
步骤S204C，根据第一目标识别模型对现实场景画面中的第一目标对象进行识别，得到识别结果。
其中，终端本地的增强现实识别模块接收到服务器返回的第一目标识别模型后，采用该第一目标识别模型对现实场景画面中的第一目标对象进行识别，识别得到第一目标对象所在的位置，便于后续根据第一目标对象所在的位置来确定虚拟对象的展示位置，继而将虚拟对象与现实场景中的第一目标对象进行结合展示。
如图5所示，在一个实施例中，上述增强现实的实现方法还包括：
步骤S208，检测现实场景画面所对应的场景是否发生场景切换，若是，则进入步骤S210，若否，则继续进行检测，直至结束。
其中，当现实场景画面的场景发生场景切换时，说明现实场景画面中包含的目标对象很可能发生了变更，比如，之前的现实场景画面中的目标对象为“人脸”而变更后的现实场景画面中的目标对象可能为“手”。所以当检测到现实场景画 面所对应的场景发生场景切换时，需要重新确定与目标对象对应的目标识别模型。其中，检测现实场景画面是否发生了场景切换是通过对比连续的几个视频帧中的画面是否发生了变化，如果发生了变化，说明场景发生了变动，需要获取切换后的更新场景所对应的视频帧，然后筛选出更新场景对应的第二目标视频帧。
步骤S210，获取场景切换后的更新场景所对应的视频帧，筛选与所述更新场景对应的第二目标视频帧。
其中，检测到场景发生切换后，获取切换后的更新场景所对应的视频帧，根据清晰度筛选出与更新场景对应的第二目标视频帧。
步骤S212，将所述第二目标视频帧传输至服务器，以使所述服务器识别所述第二目标视频帧中的第二目标对象，返回与所述第二目标对象对应的第二目标识别模型。
其中，将筛选出的第二目标视频帧上传到服务器，服务器对第二目标视频帧中的第二目标对象进行识别，然后获取与第二目标对象对应的第二目标识别模型，将该第二目标识别返回给终端本地的增强现实识别模块。
步骤S214，根据所述第二目标识别模型对所述现实场景画面中的第二目标对象进行识别，得到识别结果。
其中，终端本地的增强现实识别模块采用第二目标识别模型对现实场景画面中的第二目标对象进行识别，然后得到第二目标对象的位置信息。
在一个实施例中，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的目标视频帧；将所述目标视频帧传输至服务器，以使所述服务器识别所述现实场景画面中的目标对象，得到识别结果；接收所述服务器返回的所述识别结果。
其中，为了从服务器获取识别结果，对采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的目标视频帧，然后将目标视频帧传输至服务器，服务器对目标视频帧中包含的目标对象进行识别，得到识别结果，然后将识别结果返回给终端本地的增强现实识别模块。具体地，服务器中包含了识别目标对象的目标识别模型，采用目标识别模型对目标视频帧中的目标对象进行识别， 得到识别结果。
在一个实施例中，所述识别结果为目标对象的位置信息；所述将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理的步骤包括：将所述目标对象的位置信息返回给网页，以使所述网页根据所述目标对象的位置信息确定虚拟对象对应的展示位置，根据所述展示位置将所述虚拟对象与所述目标对象进行结合展示。
其中，识别结果为目标对象的位置信息，将识别得到的目标对象的位置信息返回给网页，网页根据目标对象的位置信息确定虚拟对象的展示位置，根据展示位置将虚拟对象与目标对象进行结合展示。在一个实施例中，增强现实的处理是使用WebGL(Web Graphics Library)技术来实现的，WebGL是web前端页面渲染3D动画的必要技术。
如图6所示，在一个实施例中，所述终端本地包括浏览服务内核模块，所述浏览服务内核模块中包括网页实时通信模块和增强现实识别模块；
所述将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤S204包括：
步骤S204a，浏览服务内核模块中的网页实时通信模块将采集到的现实场景画面在网页上进行实时展示，并复制现实场景画面传递给增强现实识别模块。
其中，浏览服务内核模块是指存储有浏览服务内核(比如，TBS内核)的模块，其中，TBS是指腾讯浏览服务，其依托于X5内核，X5内核是基于Chromium的浏览器渲染引擎，其中，Chromium是一种浏览器引擎。浏览服务内核模块包括网页实时通信模块和增强现实识别模块。网页实时通信模块获取到现实场景画面后，复制为两份，将其中一份现实场景画面在网页上进行实时展示，另一份传递给增强现实识别模块。
步骤S204b，增强现实识别模块对现实场景画面进行目标识别，得到识别结果，将识别结果返回给网页，以使网页根据识别结果对网页上展示的现实场景画面进行增强现实处理。
其中，增强现实识别模块用于对现实场景画面中的目标对象进行识别，得到 识别结果，然后将识别结果传递给前端网页，网页根据识别结果对网页上展示的现实场景画面进行增强现实处理。
如图7为一个实施例中增强现实的实现方法的架构图。参考图7，在终端中的内部存储了浏览服务内核(比如，TBS内核)模块，该浏览服务器内核模块中包括AR-SDK模块(即增强现实识别模块)，AR引擎模块、WEBRTC模块，WEBGL模块和JSAPI接口。其中，AR-SDK模块中集成了AR软件工具开发包，用于对现实场景画面中的目标对象进行识别和跟踪(即定位)。AR引擎模块用于对接收到的现实场景画面进行预处理，同时负责数据的传递、兼容性处理等。WEBRTC是H5(HTML 5)页面显示摄像头拍摄内容的一种技术方案。WEBRTC模块用于获取摄像装置采集的现实场景画面的视频流，并负责将视频流复制为两份，一份在前端页面进行展示，另一份传递给AR引擎模块，AR引擎模块对接收到的视频流进行预处理，然后将预处理后的视频流传递给AR-SDK模块。WEBGL模块用于对前端页面进行3D动画渲染，以实现对现实场景画面的增强现实处理。JSAPI(JavaScript API)接口是指为前端页面提供输出的API(Application Program Interface，应用程序接口)接口，通过JSAPI向前端页面返回识别结果。具体地，首先由WEBRTC模块获取摄像装置采集到的现实场景画面，一方面将现实场景画面在网页端实时显示，另一方面并对现实场景画面进行复制传递给AR引擎模块，AR引擎模块对现实场景画面进行预处理，并将预处理后的现实场景画面传递给AR-SDK模块，AR-SDK模块用于对现实场景画面中的目标对象进行识别，得到识别结果，然后将识别结果传递给AR引擎模块，然后AR引擎模块通过JSAPI接口将识别结果返回给WEB应用，WEB应用根据识别结果调用WEBGL模块进行3D渲染实现增强现实的处理。
在另一个实施例中，AR-SDK模块还用于与服务器进行通信连接，以便将视频帧传输给服务器，然后由服务器对现实场景画面中的目标对象进行识别，然后将识别结果返回给AR-SDK模块。
如图8所示，提出了一种增强现实的实现方法，包括网页实时通信模块和增强现实识别模块，具体包括以下步骤：
步骤S801，终端接收网页发起的现实场景采集请求，根据现实场景采集请求调用摄像装置采集现实场景画面。
步骤S802，网页实时通信模块将采集到的现实场景画面在网页上进行实时展示，并复制现实场景画面传递给终端本地的增强现实识别模块。
步骤S803，增强现实识别模块对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的第一目标视频帧。
步骤S804，将第一目标视频帧传输至服务器，以使服务器识别第一目标视频帧中的第一目标对象，返回与第一目标对象对应的第一目标识别模型。
步骤S805，根据第一目标识别模型对现实场景画面中的第一目标对象进行识别，得到第一识别结果。
步骤S806，将第一识别结果返回给网页，以使网页根据第一识别结果对网页上展示的现实场景画面进行增强现实处理。
步骤S807，判断现实场景画面所对应的场景是否发生场景切换，若是，则进入步骤S808，若否，则结束。
步骤S808，获取场景切换后的更新场景所对应的视频帧，筛选与更新场景对应的第二目标视频帧。
步骤S809，将第二目标视频帧传输至服务器，以使服务器识别第二目标视频帧中的第二目标对象，返回与第二目标对象对应的第二目标识别模型。
步骤S810，根据第二目标识别模型对现实场景画面中的第二目标对象进行识别，得到第二识别结果。
步骤S811，将第二识别结果返回给网页，以使网页根据第二识别结果对网页上展示的现实场景画面进行增强现实处理。
如图9所示，提出了一种增强现实的实现装置，该装置包括：
采集模块902，用于接收网页发起的现实场景采集请求，根据所述现实场景采集请求调用摄像装置采集现实场景画面；
传递模块904，用于将采集到的所述现实场景画面在网页上进行实时展示， 并复制所述现实场景画面传递给终端本地的增强现实识别模块906；
所述增强现实识别模块906用于对所述现实场景画面进行目标识别，得到识别结果；
返回模块908，用于将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
在一个实施例中，所述增强现实识别模块906还用于获取目标识别模型，采用所述目标识别模型对所述现实场景画面中的目标对象进行识别，得到识别结果。
在一个实施例中，所述增强现实识别模块906还用于接收包含有目标对象的样本图像，对所述样本图像中的目标对象的特征进行提取，根据提取的所述特征建立所述目标识别模型。
在一个实施例中，所述增强现实识别模块906还用于对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的第一目标视频帧，将所述第一目标视频帧传输至服务器，以使所述服务器识别所述第一目标视频帧中的第一目标对象，返回与所述第一目标对象对应的第一目标识别模型，根据所述第一目标识别模型对所述现实场景画面中的第一目标对象进行识别，得到识别结果。
在一个实施例中，所述增强现实识别模块906还用于当识别到所述现实场景画面所对应的场景发生场景切换时，则获取场景切换后的更新场景所对应的视频帧，筛选与所述更新场景对应的第二目标视频帧，将所述第二目标视频帧传输至服务器，以使所述服务器识别所述第二目标视频帧中的第二目标对象，返回与所述第二目标对象对应的第二目标识别模型，根据所述第二目标识别模型对所述现实场景画面中的第二目标对象进行识别，得到识别结果。
在一个实施例中，所述增强现实识别模块906还用于对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的目标视频帧，将所述目标视频帧传输至服务器，以使所述服务器识别所述现实场景画面中的目标对象，得到识别结果，接收所述服务器返回的所述识别结果。
在一个实施例中，所述识别结果为目标对象的位置信息；所述返回模块908 还用于将所述目标对象的位置信息返回给网页，以使所述网页根据所述目标对象的位置信息确定虚拟对象对应的展示位置，根据所述展示位置将所述虚拟对象与所述目标对象进行结合展示。
如图10所示，在一个实施例中，所述终端本地包括浏览服务内核模块100，所述浏览服务内核模块中包括网页实时通信模块1002和增强现实识别模块1004；
所述网页实时通信模块1002用于将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给所述增强现实识别模块；
所述增强现实识别模块1004用于对所述现实场景画面进行目标识别，得到识别结果，将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
如图11所示，提出了一种增强现实的实现系统，所述系统包括：
终端1102，用于接收网页发起的现实场景采集请求，根据所述现实场景采集请求调用摄像装置采集现实场景画面，将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块，所述增强现实识别模块对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的第一目标视频帧，将所述第一目标视频帧传输至服务器；
服务器1104，用于识别所述第一目标视频帧中的第一目标对象，返回与所述第一目标对象对应的第一目标识别模型；
所述终端1102还用于根据所述第一目标识别模型对所述现实场景画面中的第一目标对象进行识别，得到识别结果，将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
在一个实施例中，终端1102还用于当识别到现实场景画面所对应的场景发生场景切换时，则获取场景切换后的更新场景所对应的视频帧，筛选与更新场景对应的第二目标视频帧；将第二目标视频帧传输至服务器；服务器1104还用于识别第二目标视频帧中的第二目标对象，返回与第二目标对象对应的第二目标识别模型；终端1102还用于根据第二目标识别模型对现实场景画面中的第二目标对象进行识别，得到识别结果。
在一个实施例中，终端1102还用于对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的目标视频帧；将目标视频帧传输至服务器；服务器1104还用于识别现实场景画面中的目标对象，得到识别结果；终端1102还用于接收服务器返回的识别结果。
图12示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端。如图12所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置、摄像装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器实现增强现实的实现方法。该内存储器中也可储存有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行增强现实的实现方法。计算机设备的摄像装置为摄像头，用于采集图像。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的增强现实的实现方法可以实现为一种计算机可读指令的形式，计算机可读指令可在如图12所示的计算机设备上运行。计算机设备的存储器中可存储组成该增强现实的实现装置的各个程序模块，比如，图9的采集模块902、传递模块904、增强现实识别模块906和返回模块908。各个程序模块构成的计算机可读指令使得处理器执行本说明书中描述的本申请各个实施例的增强现实的实现装置中的步骤。例如，图12所示的计算机设备可以通过如图9所示的增强现实的实现装置的采集模块902接收网页发起的现实场景采集请求，根据所述现实场景采集请求调用摄像装置采集现实场景画面，通过传递模块904将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块，通过增强现实识别模 块906对所述现实场景画面进行目标识别，得到识别结果，通过返回模块908将识别结果返回给网页，以使网页根据识别结果对网页上展示的现实场景画面进行增强现实处理。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行以下步骤：接收网页发起的现实场景采集请求，根据所述现实场景采集请求调用摄像装置采集现实场景画面；将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给计算机设备本地的增强现实识别模块，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果；将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
在一个实施例中，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：所述增强现实识别模块获取目标识别模型，采用所述目标识别模型对所述现实场景画面中的目标对象进行识别，得到识别结果。
在一个实施例中，所述处理器还用于执行以下步骤：所述增强现实识别模块接收包含有目标对象的样本图像，对所述样本图像中的目标对象的特征进行提取；根据提取的所述特征建立所述目标识别模型。
在一个实施例中，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：所述增强现实识别模块对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的第一目标视频帧；将所述第一目标视频帧传输至服务器，以使所述服务器识别所述第一目标视频帧中的第一目标对象，返回与所述第一目标对象对应的第一目标识别模型；根据所述第一目标识别模型对所述现实场景画面中的第一目标对象进行识别，得到识别结果。
在一个实施例中，所述处理器还用于执行以下步骤：当识别到所述现实场景画面所对应的场景发生场景切换时，则获取场景切换后的更新场景所对应的视频帧，筛选与所述更新场景对应的第二目标视频帧；将所述第二目标视频帧传输至服务器，以使所述服务器识别所述第二目标视频帧中的第二目标对象，返回与 所述第二目标对象对应的第二目标识别模型；根据所述第二目标识别模型对所述现实场景画面中的第二目标对象进行识别，得到识别结果。
在一个实施例中，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的目标视频帧；将所述目标视频帧传输至服务器，以使所述服务器识别所述现实场景画面中的目标对象，得到识别结果；接收所述服务器返回的所述识别结果。
在一个实施例中，所述识别结果为目标对象的位置信息；所述将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理的步骤包括：将所述目标对象的位置信息返回给网页，以使所述网页根据所述目标对象的位置信息确定虚拟对象对应的展示位置，根据所述展示位置将所述虚拟对象与所述目标对象进行结合展示。
在一个实施例中，所述计算机设备本地包括浏览服务内核模块，所述浏览服务内核模块中包括网页实时通信模块和增强现实识别模块；所述将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：所述浏览服务内核模块中的网页实时通信模块将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给所述增强现实识别模块，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果,将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
在一个实施例中，提出了一种计算机可读存储介质，存储有计算机可读指令，所述计算机可读指令被处理器执行时，使得所述处理器执行以下步骤：接收网页发起的现实场景采集请求，根据所述现实场景采集请求调用摄像装置采集现实场景画面；将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给计算机设备本地的增强现实识别模块，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果；将所述识别结果返回给网 页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
在一个实施例中，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：所述增强现实识别模块获取目标识别模型，采用所述目标识别模型对所述现实场景画面中的目标对象进行识别，得到识别结果。
在一个实施例中，所述处理器还用于执行以下步骤：所述增强现实识别模块接收包含有目标对象的样本图像，对所述样本图像中的目标对象的特征进行提取；根据提取的所述特征建立所述目标识别模型。
在一个实施例中，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：所述增强现实识别模块对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的第一目标视频帧；将所述第一目标视频帧传输至服务器，以使所述服务器识别所述第一目标视频帧中的第一目标对象，返回与所述第一目标对象对应的第一目标识别模型；根据所述第一目标识别模型对所述现实场景画面中的第一目标对象进行识别，得到识别结果。
在一个实施例中，所述处理器还用于执行以下步骤：当识别到所述现实场景画面所对应的场景发生场景切换时，则获取场景切换后的更新场景所对应的视频帧，筛选与所述更新场景对应的第二目标视频帧；将所述第二目标视频帧传输至服务器，以使所述服务器识别所述第二目标视频帧中的第二目标对象，返回与所述第二目标对象对应的第二目标识别模型；根据所述第二目标识别模型对所述现实场景画面中的第二目标对象进行识别，得到识别结果。
在一个实施例中，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的目标视频帧；将所述目标视频帧传输至服务器，以使所述服务器识别所述现实场景画面中的目标对象，得到识别结果；接收所述服务器返回的所述识别结果。
在一个实施例中，所述识别结果为目标对象的位置信息；所述将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面 进行增强现实处理的步骤包括：将所述目标对象的位置信息返回给网页，以使所述网页根据所述目标对象的位置信息确定虚拟对象对应的展示位置，根据所述展示位置将所述虚拟对象与所述目标对象进行结合展示。
在一个实施例中，所述处理器还用于执行以下步骤：所述浏览服务内核模块中的网页实时通信模块将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给所述增强现实识别模块，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果,将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
应该理解的是，虽然本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (27)

  1. 一种增强现实的实现方法，所述方法包括：
    终端接收网页发起的现实场景采集请求，根据所述现实场景采集请求调用摄像装置采集现实场景画面；
    所述终端将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果；
    所述终端将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
  2. 根据权利要求1所述的方法，其特征在于，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：
    所述增强现实识别模块获取目标识别模型，采用所述目标识别模型对所述现实场景画面中的目标对象进行识别，得到识别结果。
  3. 根据权利要求2所述的方法，其特征在于，在所述增强现实识别模块获取目标识别模型的步骤之前还包括：
    所述增强现实识别模块接收包含有目标对象的样本图像，对所述样本图像中的目标对象的特征进行提取；
    所述增强现实识别模块根据提取的所述特征建立所述目标识别模型。
  4. 根据权利要求1所述的方法，其特征在于，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：
    所述增强现实识别模块对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的第一目标视频帧；
    所述终端将所述第一目标视频帧传输至服务器，以使所述服务器识别所述第一目标视频帧中的第一目标对象，返回与所述第一目标对象对应的第一目标识别模型；
    所述终端根据所述第一目标识别模型对所述现实场景画面中的第一目标对象进行识别，得到识别结果。
  5. 根据权利要求4所述的方法，其特征在于，所述方法还包括：
    所述终端当识别到所述现实场景画面所对应的场景发生场景切换时，获取场景切换后的更新场景所对应的视频帧，筛选与所述更新场景对应的第二目标视频帧；
    所述终端将所述第二目标视频帧传输至服务器，以使所述服务器识别所述第二目标视频帧中的第二目标对象，返回与所述第二目标对象对应的第二目标识别模型；
    所述终端根据所述第二目标识别模型对所述现实场景画面中的第二目标对象进行识别，得到识别结果。
  6. 根据权利要求1所述的方法，其特征在于，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：
    所述终端对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的目标视频帧；
    所述终端将所述目标视频帧传输至服务器，以使所述服务器识别所述现实场景画面中的目标对象，得到识别结果；
    所述终端接收所述服务器返回的所述识别结果。
  7. 根据权利要求1所述的方法，其特征在于，所述识别结果为目标对象的位置信息；
    所述将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理的步骤包括：
    所述终端将所述目标对象的位置信息返回给网页，以使所述网页根据所述目标对象的位置信息确定虚拟对象对应的展示位置，根据所述展示位置将所述虚拟对象与所述目标对象进行结合展示。
  8. 根据权利要求1所述的方法，其特征在于，所述终端本地包括浏览服务内核模块，所述浏览服务内核模块中包括网页实时通信模块和增强现实识别模块；
    所述将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块，所述增强现实识别模块对所 述现实场景画面进行目标识别，得到识别结果的步骤包括：
    所述浏览服务内核模块中的网页实时通信模块将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给所述增强现实识别模块；
    所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果,将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
  9. 一种增强现实的实现装置，所述装置包括：
    采集模块，用于接收网页发起的现实场景采集请求，根据所述现实场景采集请求调用摄像装置采集现实场景画面；
    传递模块，用于将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块；
    所述增强现实识别模块用于对所述现实场景画面进行目标识别，得到识别结果；
    返回模块，用于将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
  10. 一种增强现实的实现系统，所述系统包括：
    终端，用于接收网页发起的现实场景采集请求，根据所述现实场景采集请求调用摄像装置采集现实场景画面，将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块，所述增强现实识别模块对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的第一目标视频帧，将所述第一目标视频帧传输至服务器；
    服务器，用于识别所述第一目标视频帧中的第一目标对象，返回与所述第一目标对象对应的第一目标识别模型；
    所述终端还用于根据所述第一目标识别模型对所述现实场景画面中的第一目标对象进行识别，得到识别结果，将所述识别结果返回给网页，以使网页根据 所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
  11. 根据权利要求10所述的系统，其特征在于，所述终端还用于当识别到所述现实场景画面所对应的场景发生场景切换时，则获取场景切换后的更新场景所对应的视频帧，筛选与所述更新场景对应的第二目标视频帧，将所述第二目标视频帧传输至服务器；
    所述服务器还用于识别所述第二目标视频帧中的第二目标对象，返回与所述第二目标对象对应的第二目标识别模型；
    所述终端还用于根据所述第二目标识别模型对所述现实场景画面中的第二目标对象进行识别，得到识别结果。
  12. 一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如下步骤：
    终端接收网页发起的现实场景采集请求，根据所述现实场景采集请求调用摄像装置采集现实场景画面；
    将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果；
    将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
  13. 根据权利要求12所述的计算机设备，其特征在于，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：
    所述增强现实识别模块获取目标识别模型，采用所述目标识别模型对所述现实场景画面中的目标对象进行识别，得到识别结果。
  14. 根据权利要求13所述的计算机设备，其特征在于，在所述增强现实识别模块获取目标识别模型的步骤之前，所述计算机可读指令还使得所述处理器执行如下步骤：
    所述增强现实识别模块接收包含有目标对象的样本图像，对所述样本图像 中的目标对象的特征进行提取；
    根据提取的所述特征建立所述目标识别模型。
  15. 根据权利要求12所述的计算机设备，其特征在于，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：
    所述增强现实识别模块对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的第一目标视频帧；
    将所述第一目标视频帧传输至服务器，以使所述服务器识别所述第一目标视频帧中的第一目标对象，返回与所述第一目标对象对应的第一目标识别模型；
    根据所述第一目标识别模型对所述现实场景画面中的第一目标对象进行识别，得到识别结果。
  16. 根据权利要求15所述的计算机设备，其特征在于，所述计算机可读指令还使得所述处理器执行如下步骤：
    当识别到所述现实场景画面所对应的场景发生场景切换时，则获取场景切换后的更新场景所对应的视频帧，筛选与所述更新场景对应的第二目标视频帧；
    将所述第二目标视频帧传输至服务器，以使所述服务器识别所述第二目标视频帧中的第二目标对象，返回与所述第二目标对象对应的第二目标识别模型；
    根据所述第二目标识别模型对所述现实场景画面中的第二目标对象进行识别，得到识别结果。
  17. 根据权利要求12所述的计算机设备，其特征在于，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：
    对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的目标视频帧；
    将所述目标视频帧传输至服务器，以使所述服务器识别所述现实场景画面中的目标对象，得到识别结果；
    接收所述服务器返回的所述识别结果。
  18. 根据权利要求12所述的计算机设备，其特征在于，所述识别结果为目标对象的位置信息；
    所述将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展 示的所述现实场景画面进行增强现实处理的步骤包括：
    将所述目标对象的位置信息返回给网页，以使所述网页根据所述目标对象的位置信息确定虚拟对象对应的展示位置，根据所述展示位置将所述虚拟对象与所述目标对象进行结合展示。
  19. 根据权利要求12所述的计算机设备，其特征在于，所述终端本地包括浏览服务内核模块，所述浏览服务内核模块中包括网页实时通信模块和增强现实识别模块；
    所述将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：
    所述浏览服务内核模块中的网页实时通信模块将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给所述增强现实识别模块；
    所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果,将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
  20. 一个或多个存储有计算机可读指令的非易失性存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如下步骤：
    终端接收网页发起的现实场景采集请求，根据所述现实场景采集请求调用摄像装置采集现实场景画面；
    将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果；
    将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
  21. 根据权利要求20所述的存储介质，其特征在于，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：
    所述增强现实识别模块获取目标识别模型，采用所述目标识别模型对所述现实场景画面中的目标对象进行识别，得到识别结果。
  22. 根据权利要求21所述的存储介质，其特征在于，在所述增强现实识别模块获取目标识别模型的步骤之前，所述计算机可读指令还使得所述处理器执行如下步骤：
    所述增强现实识别模块接收包含有目标对象的样本图像，对所述样本图像中的目标对象的特征进行提取；
    根据提取的所述特征建立所述目标识别模型。
  23. 根据权利要求20所述的存储介质，其特征在于，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：
    所述增强现实识别模块对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的第一目标视频帧；
    将所述第一目标视频帧传输至服务器，以使所述服务器识别所述第一目标视频帧中的第一目标对象，返回与所述第一目标对象对应的第一目标识别模型；
    根据所述第一目标识别模型对所述现实场景画面中的第一目标对象进行识别，得到识别结果。
  24. 根据权利要求23所述的存储介质，其特征在于，所述计算机可读指令还使得所述处理器执行如下步骤：
    当识别到所述现实场景画面所对应的场景发生场景切换时，则获取场景切换后的更新场景所对应的视频帧，筛选与所述更新场景对应的第二目标视频帧；
    将所述第二目标视频帧传输至服务器，以使所述服务器识别所述第二目标视频帧中的第二目标对象，返回与所述第二目标对象对应的第二目标识别模型；
    根据所述第二目标识别模型对所述现实场景画面中的第二目标对象进行识别，得到识别结果。
  25. 根据权利要求20所述的存储介质，其特征在于，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：
    对实时采集到的现实场景画面的清晰度进行识别，筛选出清晰度大于预设阈值的目标视频帧；
    将所述目标视频帧传输至服务器，以使所述服务器识别所述现实场景画面中的目标对象，得到识别结果；
    接收所述服务器返回的所述识别结果。
  26. 根据权利要求20所述的存储介质，其特征在于，所述识别结果为目标对象的位置信息；
    所述将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理的步骤包括：
    将所述目标对象的位置信息返回给网页，以使所述网页根据所述目标对象的位置信息确定虚拟对象对应的展示位置，根据所述展示位置将所述虚拟对象与所述目标对象进行结合展示。
  27. 根据权利要求20所述的存储介质，其特征在于，所述终端本地包括浏览服务内核模块，所述浏览服务内核模块中包括网页实时通信模块和增强现实识别模块；
    所述将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给终端本地的增强现实识别模块，所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果的步骤包括：
    所述浏览服务内核模块中的网页实时通信模块将采集到的所述现实场景画面在网页上进行实时展示，并复制所述现实场景画面传递给所述增强现实识别模块；
    所述增强现实识别模块对所述现实场景画面进行目标识别，得到识别结果,将所述识别结果返回给网页，以使网页根据所述识别结果对网页上展示的所述现实场景画面进行增强现实处理。
PCT/CN2019/077781 2018-03-22 2019-03-12 增强现实的实现方法、装置、系统、计算机设备及存储介质 WO2019179331A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810242139.5 2018-03-22
CN201810242139.5A CN108492352B (zh) 2018-03-22 2018-03-22 增强现实的实现方法、装置、系统、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
WO2019179331A1 true WO2019179331A1 (zh) 2019-09-26

Family

ID=63319449

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/077781 WO2019179331A1 (zh) 2018-03-22 2019-03-12 增强现实的实现方法、装置、系统、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN108492352B (zh)
WO (1) WO2019179331A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986333A (zh) * 2020-09-01 2020-11-24 Oppo广东移动通信有限公司 基于增强现实的图像生成方法、装置、终端及存储介质
CN112577488A (zh) * 2020-11-24 2021-03-30 腾讯科技（深圳）有限公司 导航路线确定方法、装置、计算机设备和存储介质
CN112712098A (zh) * 2019-10-25 2021-04-27 北京四维图新科技股份有限公司 图像数据处理方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492352B (zh) * 2018-03-22 2021-10-22 腾讯科技（深圳）有限公司 增强现实的实现方法、装置、系统、计算机设备及存储介质
CN109561278B (zh) * 2018-09-21 2020-12-29 中建科技有限公司深圳分公司 一种增强现实的显示系统及方法
CN109889814A (zh) * 2019-03-18 2019-06-14 罗叶迪 非固定全景视频对虚拟现实头戴原生实时视频直播方法
CN110147288A (zh) * 2019-05-13 2019-08-20 浙江商汤科技开发有限公司 信息交互方法及装置、电子设备和存储介质
CN110134532A (zh) * 2019-05-13 2019-08-16 浙江商汤科技开发有限公司 一种信息交互方法及装置、电子设备和存储介质
CN110553714B (zh) * 2019-08-31 2022-01-14 深圳市广宁股份有限公司 智能振动增强现实测试方法及相关产品
WO2022057566A1 (zh) * 2020-09-21 2022-03-24 奇噢创新有限公司 现实增强内容的分发方法、系统和计算机可读存储介质
CN112330816B (zh) * 2020-10-19 2024-03-26 杭州易现先进科技有限公司 Ar识别的处理方法、装置和电子装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3037924A1 (en) * 2014-12-22 2016-06-29 Hand Held Products, Inc. Augmented display and glove with markers as us user input device
CN107085868A (zh) * 2017-04-27 2017-08-22 腾讯科技（深圳）有限公司 图像绘制方法及装置
CN107608649A (zh) * 2017-11-02 2018-01-19 泉州创景视迅数字科技有限公司 一种ar增强现实智能图像识别展示内容系统及使用方法
CN108492352A (zh) * 2018-03-22 2018-09-04 腾讯科技（深圳）有限公司 增强现实的实现方法、装置、系统、计算机设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651288B (zh) * 2014-06-14 2022-09-20 奇跃公司 用于产生虚拟和增强现实的方法和系统
EP3291531A1 (en) * 2016-09-06 2018-03-07 Thomson Licensing Methods, devices and systems for automatic zoom when playing an augmented reality scene
CN107222529B (zh) * 2017-05-22 2022-04-26 北京邮电大学 增强现实处理方法、web模块、终端和云端服务器
CN112800858B (zh) * 2017-07-06 2024-04-26 创新先进技术有限公司 一种模型配置以及图像识别的方法及装置
CN107316035A (zh) * 2017-08-07 2017-11-03 北京中星微电子有限公司 基于深度学习神经网络的对象识别方法及装置
CN107609051A (zh) * 2017-08-22 2018-01-19 阿里巴巴集团控股有限公司 一种图像渲染方法、装置以及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3037924A1 (en) * 2014-12-22 2016-06-29 Hand Held Products, Inc. Augmented display and glove with markers as us user input device
CN107085868A (zh) * 2017-04-27 2017-08-22 腾讯科技（深圳）有限公司 图像绘制方法及装置
CN107608649A (zh) * 2017-11-02 2018-01-19 泉州创景视迅数字科技有限公司 一种ar增强现实智能图像识别展示内容系统及使用方法
CN108492352A (zh) * 2018-03-22 2018-09-04 腾讯科技（深圳）有限公司 增强现实的实现方法、装置、系统、计算机设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712098A (zh) * 2019-10-25 2021-04-27 北京四维图新科技股份有限公司 图像数据处理方法及装置
CN111986333A (zh) * 2020-09-01 2020-11-24 Oppo广东移动通信有限公司 基于增强现实的图像生成方法、装置、终端及存储介质
CN111986333B (zh) * 2020-09-01 2024-05-03 Oppo广东移动通信有限公司 基于增强现实的图像生成方法、装置、终端及存储介质
CN112577488A (zh) * 2020-11-24 2021-03-30 腾讯科技（深圳）有限公司 导航路线确定方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN108492352A (zh) 2018-09-04
CN108492352B (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
WO2019179331A1 (zh) 增强现实的实现方法、装置、系统、计算机设备及存储介质
US11079841B2 (en) Enabling augmented reality using eye gaze tracking
US10896518B2 (en) Image processing method, image processing apparatus and computer readable storage medium
CN109376667B (zh) 目标检测方法、装置及电子设备
WO2019214320A1 (zh) 车辆损伤识别的处理方法、处理设备、客户端及服务器
US10832069B2 (en) Living body detection method, electronic device and computer readable medium
US11790553B2 (en) Method and apparatus for detecting target object, electronic device and storage medium
CN108235116B (zh) 特征传播方法和装置、电子设备和介质
AU2013273829A1 (en) Time constrained augmented reality
WO2021051547A1 (zh) 暴力行为检测方法及系统
US11475636B2 (en) Augmented reality and virtual reality engine for virtual desktop infrastucture
JP7419080B2 (ja) コンピュータシステムおよびプログラム
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
JP7333520B2 (ja) 学習プログラム、学習方法、及び情報処理装置
US10198842B2 (en) Method of generating a synthetic image
CN106919260B (zh) 网页操作方法和装置
WO2024041235A1 (zh) 图像处理方法、装置、设备、存储介质及程序产品
CN112435278A (zh) 一种基于动态目标检测的视觉slam方法及装置
JP6811965B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10282633B2 (en) Cross-asset media analysis and processing
CN111914850B (zh) 图片特征提取方法、装置、服务器和介质
US10901726B2 (en) Intelligent visual regression system
Kim et al. Vision-based all-in-one solution for augmented reality and its storytelling applications
CN112102145B (zh) 图像处理方法及装置
CN112927142B (zh) 一种基于时域插值的高速高分辨率视频生成方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19771432

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19771432

Country of ref document: EP

Kind code of ref document: A1