WO2014040281A1

WO2014040281A1 - 移动终端的增强现实处理方法及装置

Info

Publication number: WO2014040281A1
Application number: PCT/CN2012/081430
Authority: WO
Inventors: 许国军; 李艳丽; 刘峥
Original assignee: 华为技术有限公司
Priority date: 2012-09-14
Filing date: 2012-09-14
Publication date: 2014-03-20
Also published as: CN103814382B; CN103814382A

Abstract

本发明实施例提供一种移动终端的增强现实处理方法及装置，该方法包括：从摄像头获取釆集到的实时图像，将实时图像緩存；将实时图像进行增强现实AR处理生成第一AR图像，并将第一AR图像显示；判断是否进行定格处理，若是，则从緩存的距离当前时刻第一预设时间范围内的实时图像中确定一帧緩存的实时图像作为定格图像，将定格图像进行AR处理生成AR定格图像并显示。本发明实施例提供的移动终端的增强现实处理方法及装置，实现了对图像进行定格处理，降低了对用户的行为的约束，提高了AR处理的效果。

Description

移动终端的增强现实处理方法及装置

技术领域本发明实施例涉及通信技术领域，尤其涉及一种移动终端的增强现实处理方法及装置。背景技术

增强现实 (Augmented Reality, AR), 把原本在现实世界的一定时间空间范围内艮难体验到的实体信息例如，视觉信息、声音、味道或触觉等，通过科学技术模拟仿真后再叠加到现实世界被人类感官所感知，从而达到超越现实的感官体验，这种技术叫做增强现实技术，简称 AR技术。

三维注册，通过计算机图形学分析，获取三维空间中具体物体的三维空间坐标，然后根据获取的三维空间坐标将由计算机生成的虚拟物体绑定拼接到真实的三维空间中去，以达到真实环境和虚拟物体的准确无缝融合。

基于移动终端的 AR应用，是通过移动终端的摄像头获取现实世界的真实信息，识别真实世界的 AR目标，在真实的 AR目标上叠加一些虚拟信息，该虚拟信息也可以称为是 AR内容，帮助用户看到真实的 AR 目标之外，显示与该 AR目标相关联的 AR内容。

在这种 AR应用模式中，特别强调了 AR内容和 AR目标之间空间跟踪与注册的准确性，即当用户使用摄像头观察 AR 目标时，随着镜头的转动或者 AR目标的移动，用户可以体验到 AR内容，如虚拟 3D对象和 AR目标一体化的随动效果。同时，用户和 AR 内容之间可以进行交互，如点击、放大、缩小、旋转等。

在对现有技术进行研究后，发明人发现，现有技术中，用户通过移动终端使用 AR应用程序时，必须对准 AR目标，否则叠加的 AR内容就会随着视野中的目标物移动而不断变换位置。但是当用户查看 AR内容时，通常情况下并不想让 AR 内容随着移动，此时让用户稳定的对准目标物，就限制了用户行为，增加了用户的负担。但是如果移开了终端，则根据现有处理流程，那么叠加的 AR内容就会消失，导致用户的体验变差。发明内容本发明实施例提供一种移动终端的增强现实处理方法及装置，以实现对图像进行定格处理，降低对用户的行为的约束，提高 AR处理的效果。

第一方面，本发明实施例提供一种移动终端的增强现实处理方法，包括：从摄像头获取釆集到的实时图像，将所述实时图像緩存；

将所述实时图像进行增强现实 AR处理生成第一 AR图像，并将所述第一 AR图像显示；

判断是否进行定格处理，若是，则从緩存的距离当前时刻第一预设时间范围内的实时图像中确定一帧緩存的实时图像作为定格图像，将所述定格图像进行 AR处理生成 AR定格图像并显示。

在第一种可能的实现方式中，所述判断是否进行定格处理，具体为：检测所述移动终端在第二预设时间范围内是否保持静止状态，若是，则进行定格处理。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述检测所述移动终端在第二预设时间范围内是否保持静止状态，若是，则进行定格处理，具体为：

根据在所述第二预设时间范围内通过重力加速度计釆集到的重力加速度信息和通过数字罗盘釆集到的方位信息，判断所述移动终端在所述第二预设时间范围内是否保持静止状态，若是，则进行定格处理。

在第三种可能的实现方式中，所述从緩存的距离当前时刻第一预设时间范围内的实时图像中确定至少一帧緩存的实时图像作为定格图像，具体为：对于每一帧緩存的实时图像，根据所述緩存的实时图像中的第一 AR目标的位置生成位置权重，将所述位置权重最大的实时图像确定为所述定格图像。

在第四种可能的实现方式中，所述从緩存的距离当前时刻第一预设时间范围内的实时图像中确定至少一帧緩存的实时图像作为定格图像，具体为：对于每一帧緩存的实时图像，根据所述緩存的实时图像中的第一 AR目标的位置生成位置权重，根据所述緩存的实时图像中的第一 AR目标所占的面积比例生成面积权重，根据所述緩存的实时图像中的第一 AR目标的清晰度生成清晰度权重，根据每一帧所述緩存的实时图像的所述位置权重、所述面积权重和所述清晰度权重确定所述定格图像。

在第五种可能的实现方式中，所述将所述实时图像进行 AR处理生第一 AR图像，并将所述第一 AR图像显示，包括：

获取緩存的第一 AR目标基准位置信息，根据所述緩存的第一 AR目标基准位置信息对所述实时图像进行跟踪，根据跟踪到的第一 AR目标和所述第一 AR目标标准尺寸信息进行三维注册计算，生成第一旋转参数和第一平移参数，将所述第一旋转参数和所述第一平移参数緩存；

获取緩存的第一 AR内容，根据所述第一旋转参数和所述第一平移参数, 将所述实时图像和所述第一 AR内容进行虚实融合渲染处理，生成所述第一 AR图像并显示。

结合第一方面的第五种可能的实现方式，在第六种可能的实现方式中，所述获取緩存的第一 AR目标基准位置信息之前，所述方法还包括：

对所述实时图像进行特征检测和描述，生成第一特征检测描述数据，将所述第一特征检测描述数据发送给 AR服务器，以使所述 AR服务器根据所述第一特征检测描述数据进行 AR目标检测；

接收所述 AR服务器在检测到第一 AR目标时发送的第一检测结果，其中，所述第一检测结果中携带有第一 AR目标信息，所述第一 AR目标信息包括：用以指示所述第一 AR目标在所述实时图像中的位置的第一 AR目标基准位置信息和用以指示所述第一 AR目标在标准图像中的大小的第一 AR 目标标准尺寸信息，将所述第一 AR目标信息緩存；

根据所述第一检测结果停止向所述 AR服务器发送所述第一特征检测描述数据；

从所述 AR服务器获取所述第一 AR目标的第一 AR内容，将所述第一 AR内容緩存。

结合第一方面的第六种可能的实现方式，在第七种可能的实现方式中，所述将所述定格图像进行 AR处理生成 AR定格图像并显示，具体为：

获取緩存的所述定格图像对应的第一旋转参数、第一平移参数和所述第一 AR内容，根据所述定格图像对应的第一旋转参数和第一平移参数，将所述定格图像和所述第一 AR内容进行虚实融合渲染处理，生成所述 AR定格图像并显示。

结合第一方面的第六种可能的实现方式，在第八种可能的实现方式中，所述判断是否进行定格处理，具体为：

根据在第二预设时间范围内生成的所述第一旋转参数和所述第一平移参数，判断所述移动终端在所述第二预设时间范围内是否保持静止状态，若是，则进行定格处理。

结合第一方面的第五种可能的实现方式，在第九种可能的实现方式中，所述第一 AR目标信息还包括：用以指示所述第一 AR目标的类型的第一 AR 目标类型信息；

所述判断是否进行定格处理，具体为：

若所述第一 AR目标类型信息为浏览类型，则进行定格处理。

结合第一方面的第五种可能的实现方式，在第十种可能的实现方式中，所述判断是否进行定格处理，若是，则从緩存的距离当前时刻第一预设时间范围内的实时图像中确定至少一帧緩存的实时图像作为定格图像之后，还包括：

对所述实时获取到的实时图像进行特征检测和描述，生成第二特征检测描述数据，将所述第二特征检测描述数据发送给所述 AR服务器，以使所述 AR服务器根据所述第二特征检测描述数据进行 AR目标检测；

接收所述 AR服务器在检测到第二 AR目标时发送的第二检测结果，其中，所述第二检测结果中携带有第二 AR目标信息，所述第二 AR目标信息包括：用以指示所述第二 AR目标在所述实时图像中的位置的第二 AR目标基准位置信息和用以指示所述第二 AR目标在所述标准图像中的大小的第二 AR目标标准尺寸信息，将所述第二 AR目标信息緩存；

根据所述第二检测结果停止向所述 AR服务器发送所述第二特征检测描述数据；

将所述第二 AR目标信息緩存，根据所述第二 AR目标基准位置信息对所述实时图像中的第二 AR目标进行跟踪，若在第三预设时间范围内跟踪到所述第二 AR目标，则从所述 AR服务器获取所述第二 AR目标的第二 AR内容，将所述第二 AR内容緩存，生成解除定格指示信息并显示；

若接收到的解除定格指令，则根据緩存的所述第二 AR目标基准位置信息对所述实时图像中的第二 AR目标进行跟踪，根据跟踪到的第二 AR目标和所述第二 AR目标标准尺寸信息进行三维注册计算，生成第二旋转参数和第二平移参数 , 将所述第二旋转参数和所述第二平移参数緩存；

根据所述第二旋转参数和所述第二平移参数，将所述实时图像和所述第二 AR内容进行虚实融合渲染处理，生成所述第二 AR图像并显示。

第二方面，本发明实施例提供一种移动终端的增强现实处理装置，包括: 图像获取单元，用于从摄像头获取釆集到的实时图像，将所述实时图像緩存；

第一增强现实处理单元，与所述图像获取单元相连，用于将所述实时图像进行增强现实 AR处理生成第一 AR图像，并将所述第一 AR图像显示；定格处理单元，用于判断是否进行定格处理，若是，则从緩存的距离当前时刻第一预设时间范围内的实时图像中确定一帧緩存的实时图像作为定格图像，将所述定格图像进行 AR处理生成 AR定格图像并显示。

在第一种可能的实现方式中，所述定格处理单元具体用于检测所述移动终端在第二预设时间范围内是否保持静止状态，若是，则进行定格处理。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述定格处理单元具体用于根据在所述第二预设时间范围内通过重力加速度计釆集到的重力加速度信息和通过数字罗盘釆集到的方位信息，判断所述移动终端在所述第二预设时间范围内是否保持静止状态，若是，则进行定格处理。

在第三种可能的实现方式中，所述定格处理单元具体用于对于每一帧緩存的实时图像，根据所述緩存的实时图像中的第一 AR目标的位置生成位置权重，将所述位置权重最大的实时图像确定为所述定格图像。

在第四种可能的实现方式中，所述定格处理单元具体用于对于每一帧緩存的实时图像，根据所述緩存的实时图像中的第一 AR目标的位置生成位置权重，根据所述緩存的实时图像中的第一 AR目标所占的面积比例生成面积权重，根据所述緩存的实时图像中的第一 AR目标的清晰度生成清晰度权重, 根据每一帧所述緩存的实时图像的所述位置权重、所述面积权重和所述清晰度权重确定所述定格图像。

在第五种可能的实现方式中，所述第一增强现实处理单元，包括：第一跟踪注册子单元，与所述图像获取单元相连，用于获取緩存的第一

AR目标基准位置信息，根据所述緩存的第一 AR目标基准位置信息对所述实时图像进行跟踪，根据跟踪到的第一 AR目标和所述第一 AR目标标准尺寸信息进行三维注册计算，生成第一旋转参数和第一平移参数，将所述第一旋转参数和所述第一平移参数緩存；

第一渲染子单元，与所述第一跟踪注册子单元相连，用于获取緩存的第一 AR内容，根据所述第一旋转参数和所述第一平移参数，将所述实时图像和所述第一 AR内容进行虚实融合渲染处理，生成所述第一 AR图像并显示。

结合第二方面的第五种可能的实现方式，在第六种可能的实现方式中，所述第一增强现实处理单元还包括：

第一检测子单元，与所述图像获取单元相连，用于对所述实时图像进行特征检测和描述，生成第一特征检测描述数据，将所述第一特征检测描述数据发送给 AR服务器，以使所述 AR服务器根据所述第一特征检测描述数据进行 AR目标检测；

第一接收子单元，用于接收所述 AR服务器在检测到第一 AR目标时发送的第一检测结果，其中，所述第一检测结果中携带有第一 AR目标信息，所述第一 AR目标信息包括：用以指示所述第一 AR目标在所述实时图像中的位置的第一 AR目标基准位置信息和用以指示所述第一 AR目标在标准图像中的大小的第一 AR目标标准尺寸信息，将所述第一 AR目标信息緩存；第一控制子单元，分别与所述第一检测子单元和所述第一接收子单元相连，用于根据所述第一检测结果停止向所述 AR服务器发送所述第一特征检测描述数据；

第一获取子单元，用于从所述 AR服务器获取所述第一 AR目标的第一 AR内容，将所述第一 AR内容緩存。

结合第二方面的第六种可能的实现方式，在第七种可能的实现方式中，所述定格处理单元具体用于获取緩存的所述定格图像对应的第一旋转参数、第一平移参数和所述第一 AR内容，根据所述定格图像对应的第一旋转参数和第一平移参数，将所述定格图像和所述第一 AR内容进行虚实融合渲染处理，生成所述 AR定格图像并显示。

结合第二方面的第六种可能的实现方式，在第八种可能的实现方式中，所述定格处理单元具体用于根据在第二预设时间范围内生成的所述第一旋转参数和所述第一平移参数，判断所述移动终端在所述第二预设时间范围内是否保持静止状态，若是，则进行定格处理。

结合第二方面的第五种可能的实现方式，在第九种可能的实现方式中，所述第一 AR目标信息还包括：用以指示所述第一 AR目标的类型的第一 AR 目标类型信息；

所述定格处理单元具体用于若所述第一 AR目标类型信息为浏览类型 , 则进行定格处理。

结合第二方面的第五种可能的实现方式，在第十种可能的实现方式中，所述移动终端的增强现实处理装置，还包括第二增强现实处理单元，所述第二增强现实处理单元包括：

第二检测子单元，与所述图像获取单元相连，对所述实时图像进行特征检测和描述，生成第二特征检测描述数据，将所述第二特征检测描述数据发送给所述 AR服务器，以使所述 AR服务器根据所述第二特征检测描述数据进行 AR目标检测；

第二接收子单元，用于接收所述 AR服务器在检测到第二 AR目标时发送的第二检测结果，其中，所述第二检测结果中携带有第二 AR目标信息，所述第二 AR目标信息包括：用以指示所述第二 AR目标在所述实时图像中的位置的第二 AR目标基准位置信息和用以指示所述第二 AR目标在所述标准图像中的大小的第二 AR目标标准尺寸信息；

第二控制子单元，分别与所述第二检测子单元和所述第二接收子单元相连，根据所述第二检测结果停止向所述 AR服务器发送所述第二特征检测描述数据；

緩存处理子单元，分别与所述图像获取单元和所述第二接收子单元相连，用于将所述第二 AR目标信息緩存，根据所述第二 AR目标基准位置信息对所述实时图像中的第二 AR目标进行跟踪，若在第三预设时间范围内跟踪到所述第二 AR目标，则从所述 AR服务器获取所述第二 AR目标的第二 AR内容，将所述第二 AR内容緩存，生成解除定格指示信息并显示；

第二跟踪注册子单元，与所述图像获取单元相连，用于若接收到的解除定格指令，则根据緩存的所述第二 AR目标基准位置信息对所述实时图像中的第二 AR目标进行跟踪，根据跟踪到的第二 AR目标和所述第二 AR目标标准尺寸信息进行三维注册计算，生成第二旋转参数和第二平移参数，将所述第二旋转参数和所述第二平移参数緩存；

第二渲染子单元，与所述第二跟踪注册子单元相连，用于根据所述第二旋转参数和所述第二平移参数，将所述实时图像和所述第二 AR内容进行虚实融合渲染处理，生成所述第二 AR图像并显示。

本实施例提供的移动终端的增强现实处理方法及装置，增强现实处理装置从摄像头获取釆集到的实时图像，将实时图像緩存，将实时图像进行增强现实 AR处理生成第一 AR图像，并将第一 AR图像显示，判断是否进行定格处理，若是，则从緩存的距离当前时刻第一预设时间范围内的实时图像中确定一帧緩存的实时图像作为定格图像，将定格图像进行 AR处理生成 AR定格图像并显示。通过对定格处理的判断，当需要进行定格处理时，从緩存的实时图像中确定一帧实时图像进行 AR处理生成 AR定格图像并显示，使得用户可以方便地观看定格后的 AR图像，降低了对用户的行为的约束，大大提高了 AR处理的效果。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图 1 为本发明实施例提供的第一种移动终端的增强现实处理方法流程图；

图 2 为本发明实施例提供的第二种移动终端的增强现实处理方法流程图；

图 3 为本发明实施例提供的第三种移动终端的增强现实处理方法流程图；

图 4为本发明实施例提供的一种定格判断处理流程示意图；

图 5为本发明实施例提供的另一种定格判断处理流程示意图；

图 6为本发明实施例提供的一种定格后增强现实处理流程示意图；图 7为本发明实施例提供的另一种定格后增强现实处理流程示意图；图 8为本发明实施例提供的第一种移动终端的增强现实处理装置结构示意图；

图 9为本发明实施例提供的另一种移动终端的增强现实处理装置结构示意图；

图 10 为本发明实施例提供的第三种移动终端的增强现实处理装置结构示意图；

图 11 为本发明实施例提供的第四种移动终端的增强现实处理装置结构示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图 1 为本发明实施例提供的第一种移动终端的增强现实处理方法流程图。如图 1所示，本实施例提供的移动终端的增强现实处理方法具体可以应用于集成有增强现实 AR应用的移动终端的 AR处理过程。该移动终端具体可以为手机、数码相机、笔记本电脑和平板电脑等终端设备。本实施例提供的移动终端的增强现实处理方法可以通过增强现实处理装置来执行。该增强现实处理装置可以集成在移动终端中。

本实施例提供的移动终端的增强现实处理方法具体包括：

步骤 101、从摄像头获取釆集到的实时图像，将所述实时图像緩存；步骤 102、将所述实时图像进行增强现实 AR处理生成第一 AR图像，并将所述第一 AR图像显示；

步骤 103、判断是否进行定格处理，若是，则从緩存的距离当前时刻第一预设时间范围内的实时图像中确定一帧緩存的实时图像作为定格图像，将所述定格图像进行 AR处理生成 AR定格图像并显示。

具体地，移动终端的摄像头可以釆集实时图像，增强现实处理装置可以将从摄像头获取到的实时图像显示在移动终端的显示屏上，用户可以通过显示屏观看该实时图像。在实际应用过程中，可以在移动终端的存储单元中设置实时图像緩存区，该实时图像緩存区中緩存有一帧当前的实时图像，则后续对实时图像的处理均可以从该实时图像緩存区中获得该实时图像。例如，从该实时图像緩存区中获取实时图像通过显示屏显示。

当用户启动了 AR应用时，增强现实处理装置对摄像头釆集到的实时图像进行 AR处理，也可以从实时图像緩存区中获取实时图像，并对该获取到的实时图像进行 AR处理。 AR处理的过程具体可以为首先识别实时图像中的第一 AR目标，对第一 AR目标进行跟踪注册，再将第一 AR内容与第一 AR 目标进行融合渲染，生成第一 AR图像，并将该第一 AR图像通过显示屏显示给用户。其中， AR目标具体为需要进行 AR处理的对象， AR内容为虚拟信息，如虚拟 3D对象。例如，在试衣的 AR应用中，实时图像中的人即为 AR目标，虚拟的衣服即为 AR内容，生成的 AR图像即为人试穿虚拟衣服的图像，则用户通过显示屏看到的是人试穿衣服的效果，当人在摄像头前动作时，由于是对实时图像的处理，则显示给用户的为实时处理的 AR图像，该 AR图像中的衣服也在动作。 AR内容可以存储在移动终端本地的存储单元中 , 也可以存储在 AR服务器端，当 AR内容存储在 AR服务器端时，移动终端可以从 AR服务器端获取 AR内容。

在对实时图像的 AR处理过程中，可以生成图像信息，该图像信息包括在对该实时图像进行 AR处理的过程中生成的信息，例如 AR目标在实时图像中位置信息、实时图像的清晰度、 AR目标在实时图像中的三维注册信息和时间信息等。每帧实时图像都有对应的图像信息。

具体地，也可以将该图像信息进行緩存，可以将实时图像和图像信息均緩存入存储单元的图像队列緩存区中，该图像队列緩存区可以緩存距离当前时刻第一预设时间范围内，对实时图像的 AR处理过程生成的图像信息，即图像队列緩存区中可以緩存多个图像信息。将图像信息緩存至图像队列緩存区的实现过程具体可以为：

记录当前时间 t,根据当前时间 t与图像队列緩存区的首个图像信息的緩存时间 tl之间的差是否超过第一预设时间范围 T1来判断是否更新图像队列緩存区，即是否移除图像队列緩存区的一些图像信息；将图像队列緩存区中满足 (t - ti > T1)的前 i个图像信息从图像队列緩存区中移除，将 11设为更新后的图像队列緩存区中的第一个图像信息的緩存时间；其中，第一预设时间范围 T1可以根据摄像头釆集到的单帧实时图像的大小及用户移动终端的存储单元的容量情况来动态调整。例如，设第一预设时间范围 T1 的初始值可以设为 5s, 摄像头釆集到的单帧图像的大小可以根据实时图像緩存区中緩存的实时图像来确定，假设摄像头单帧图像的大小为 q, AR应用每秒处理的帧数为 r, 移动终端的内存为 a, 为了避免图像队列緩存区占用过多的存储单元的存储空间，设置图像队列緩存区占用存储单元的存储空间不超过存储空间容量的 5%在实际处理过程中， q和 r的大小可能实时变化，则可以实时或以预设时间间隔对图像队列緩存区所占用的存储空间进行判断，若 q^xrx21_> 5%x_a , 则说明图像队列緩存区所占的存储空间超过储空间容量的 5%, 则可以令^ ! ⁼ (5%xa)/ (qxi ，以通过调整该第一预设时间范围 T1使得图像队列緩存区所占用的存储空间不超过存储空间总容量的 5%。

当用户需要对显示器显示的图像进行定格处理时，可以将定格后的 AR 图像通过显示屏显示给用户。触发定格处理的方式可以有多种：

在一种实现方式中，用户可以手动触发该定格处理流程。可以在 AR应用界面上预设定格使能按钮，用户可以通过控制该定格使能按钮触发定格处理流程。当显示屏为触摸屏时，当用户希望使用定格功能查看 AR图像时，可以直接点触该定格使能按钮，即手动触发定格处理， AR应用获取该用户输入的定格指示信息，设置定格功能信号标志为启动，执行定格处理。

在另一种实现方式中，增强现实处理装置还可以自动判断是否需要执行定格处理。例如，当移动终端在一定时间范围内处于静止状态，则可以判断用户希望查看定格的 AR图像，则设置定格功能信号标志为启动。执行定格处理。

在又一种实现方式中，增强现实处理装置还可以根据 AR对象的类型信息来执行定格处理，如 AR对象的类型信息为浏览类型，例如 AR对象为一静物，如书本或者且他用于展示静态物品等，则说明用户希望看到静态的 AR 图像效果，则执行该定格处理。或者处理器根据 AR对象的类型信息获知该 AR对象为交互性的对象，用户需要通过触摸或点击交互信息了解更多的 AR 内容，当这种交互信息的数量达到一定阈值时，判断用户想要详细了解该 AR 内容，则执行该定格处理。

若判断需要进行定格处理，则从图像队列緩存区中确定一帧效果好的实时图像作为定格图像。在实际应用过程中，也可以从图像队列緩存区中确定多帧实时图像作为定格图像，并将确定的多帧定格图像通过显示屏显示给用户，由用户选择其中一帧定格图像，再将该选择的定格图像进行 AR处理生成 AR定格图像并通过显示屏显示。或者，确定的多帧定格图像可以将确定的多帧定格图像都进行 AR处理生成多帧 AR定格图像，并通过分屏形式显示给用户，多帧 AR定格图像可以从多个角度体现 AR处理的效果。或者，可以从图像队列緩存区中确定一帧效果最好的实时图像作为定格图像，并对该定格图像进行 AR处理。若判断不需要进行定格处理，则继续执行步骤 101，对实时图像进行 AR处理，并将生成的第一 AR图像通过显示屏显示给用户。

在定格处理过程中，虽然显示给用户的是 AR定格图像，但是，增强现实处理装置还分配有其他线程继续执行获取实时图像并对实时图像跟踪处理。

当用户不需要查看 AR定格图像时，可以解除定格，解除定格的实现方式也可以有多种，可以向用户显示用于解除定格的功能按钮，用户手动控制以实现解除定格功能，或者在 AR 目标跟丟后，检测到新的 AR 目标时，自动提示用户进行解除定格的操作。当用户解除定格时，则设置定格功能信号标志为非启动，继续后台运行的对实时图像跟踪处理的流程，再对跟踪到的 AR 目标进行三维注册计算，并根据 AR 内容进行虚实融合渲染处理，生成 AR图像并显示。

本实施例提供的移动终端的增强现实处理方法，增强现实处理装置从摄像头获取釆集到的实时图像，将实时图像緩存，将实时图像进行增强现实 AR 处理生成第一 AR图像，并将第一 AR图像显示，判断是否进行定格处理，若是，则从緩存的距离当前时刻第一预设时间范围内的实时图像中确定一帧緩存的实时图像作为定格图像，将定格图像进行 AR处理生成 AR定格图像并显示。通过对定格处理的判断，当需要进行定格处理时，从緩存的实时图像中确定一帧实时图像进行 AR处理生成 AR定格图像并显示，使得用户可以方便地观看定格后的 AR图像，降低了对用户的行为的约束，大大提高了 AR处理的效果。图 2为本发明实施例提供的第二种移动终端的增强现实处理方法流程图。如图 2所示，在本实施例中，步骤 102, 所述将所述实时图像进行 AR处理生第一 AR图像，并将所述第一 AR图像显示，具体可以包括如下步骤：步骤 205、获取緩存的第一 AR目标基准位置信息，根据所述緩存的第一 AR目标基准位置信息对所述实时图像进行跟踪，根据跟踪到的第一 AR目标和所述第一 AR目标标准尺寸信息进行三维注册计算，生成第一旋转参数和第一平移参数，将所述第一旋转参数和所述第一平移参数緩存；

步骤 206、获取緩存的第一 AR内容，根据所述第一旋转参数和所述第一平移参数，将所述实时图像和所述第一 AR内容进行虚实融合渲染处理，生成所述第一 AR图像并显示。

具体地，可以设置 AR服务器为移动终端提供 AR应用服务。增强现实处理装置可以将实时图像作为测试图像，对测试图像进行特征检测和描述，生成第一特征检测描述数据，并将该第一特征检测描述数据发送给 AR服务器， AR服务器的数据库中存储有标准图像的特征检测数据， AR服务器将接收到的第一特征检测描述数据与数据库中的标准图像的特征检测数据进行匹配，若匹配成功，则在测试图像中检测到第一 AR 目标，并生成用以指示检测到该第一 AR 目标的第一检测结果。在实际应用过程中，增强现实处理装置也可以将实时图像作为测试图像直接发送给 AR服务器，由 AR服务器对测试图像进行特征检测和描述，生成第一特征检测描述数据，将第一特征检测描述数据与数据库中的标准图像的特征检测数据进行匹配。测试图像与标准图像的匹配过程还可以釆用其他图像匹配的方式实现，并不限于利用特征检测数据的方式。

增强现实处理装置接收 AR服务器在检测到第一 AR 目标时发送的第一检测结果，其中，第一检测结果中携带有第一 AR 目标信息，第一 AR 目标信息包括：用以指示第一 AR 目标在实时图像中的位置的第一 AR 目标基准位置信息和用以指示第一 AR 目标在标准图像中的大小的第一 AR 目标标准尺寸信息，将第一 AR 目标信息进行緩存。第一 AR 目标信息还可以包括第一 AR目标的类型信息和第一 AR的特征信息等。可以在存储单元中设置 AR 目标緩存区，以对该第一 AR 目标信息进行緩存。增强现实处理装置接收到 AR服务器发送的该第一检测结果后，可以停止向 AR服务器发送实时图像，以避免 AR服务器的重复检测。

增强现实处理装置从 AR服务器中下载该第一 AR目标对应的第一 AR内容， AR服务器也可以将该第一 AR内容携带在第一检测结果中发送给移动终端。可以在存储单元中设置 AR内容緩存区，以对该第一 AR内容进行緩存。

对于之后釆集到的实时图像的处理，增强现实处理装置可以从存储单元的 AR目标緩存区中获取緩存的第一 AR目标基准位置信息，根据该第一 AR 目标基准位置信息对实时图像中的第一 AR 目标进行跟踪，可以将用于进行目标跟踪的实时图像作为跟踪图像。在对第一 AR 目标的跟踪过程中，可以生成第一跟踪信息，第一跟踪信息具体包括第一 AR 目标在跟踪图像中的位置信息和跟踪图像的清晰度等信息。还可以在存储单元中设置 AR 目标位置緩存区，将跟踪过程中生成的第一跟踪信息，以及在三维注册计算过程中生成的第一旋转参数和第一平移参数等 AR 目标在实时图像中的三维注册信息緩存至该 AR 目标位置緩存区。若在对第一 AR 目标的跟踪过程中，在跟踪图像中未跟踪到该第一 AR目标，即第一目标 AR跟丟，或者第一目标 AR离开摄像头的釆集范围，则将 AR 目标緩存区和 AR 目标位置緩存区清空。重新向 AR服务器发送实时图像，以使 AR服务器对实时图像进行 AR目标检测，后续处理流程可以参照上述描述，在此不再赘述。若重新检测到的 AR 目标仍为第一 AR目标，则可以不用重新下载第一 AR目标对应的第一 AR内容，直接从 AR内容緩存区内获取第一 AR内容即可。若重新检测到的 AR目标不是该第一 AR目标，则将 AR内容緩存区清空，并从 AR服务器下载新的 AR 目标对应的 AR内容。

增强现实处理装置根据第一旋转参数和第一平移参数，将实时图像和第一 AR内容进行虚实融合渲染处理，生成第一 AR图像并通过显示屏显示。

在本实施例中，步骤 205, 所述获取緩存的第一 AR目标基准位置信息之前，所述方法进一步还可以包括：

步骤 201、对所述实时图像进行特征检测和描述，生成第一特征检测描述数据，将所述第一特征检测描述数据发送给 AR服务器，以使所述 AR服务器根据所述第一特征检测描述数据进行 AR目标检测；

步骤 202、接收所述 AR服务器在检测到第一 AR目标时发送的第一检测结果，其中，所述第一检测结果中携带有第一 AR目标信息，所述第一 AR 目标信息包括：用以指示所述第一 AR目标在所述实时图像中的位置的第一 AR目标基准位置信息和用以指示所述第一 AR目标在标准图像中的大小的第一 AR目标标准尺寸信息，将所述第一 AR目标信息緩存；

步骤 203、根据所述第一检测结果停止向所述 AR服务器发送所述第一特征检测描述数据；

步骤 204、从所述 AR服务器获取所述第一 AR目标的第一 AR内容，将所述第一 AR内容緩存。

图 3为本发明实施例提供的第三种移动终端的增强现实处理方法流程图。如图 3所示，本发明实施例提供的移动终端的增强现实处理方法的实现过程具体如下：

步骤 31、获取摄像头釆集的实时图像，将实时图像緩存至实时图像緩存区；

步骤 32、判断 AR目标位置緩存区是否緩存有 AR目标基准位置信息，若 AR目标位置緩存区中没有緩存 AR目标基准位置信息，说明 AR应用刚启动， AR目标位置緩存区为空，或者在 AR目标跟踪过程中没有跟踪到 AR目标，将 AR目标位置緩存区清空，执行步骤 33; 若 AR目标位置緩存区中緩存有 AR目标基准位置信息，则执行步骤 39;

步骤 33、在 AR应用刚启动或者 AR目标跟丟的情况下，将实时图像作为测试图像，对测试图像进行检测和描述，进行特征检测和描述，生成特征检测描述数据，将该特征检测描述数据发送给 ARI良务器；

步骤 34、 AR服务器将该特征检测描述数据与数据库中的标准图像的特征检测描述数据进行匹配，若匹配成功，则在测试图像中检测到 AR目标，生成检测到 AR目标的检测结果，并发送给移动终端，若匹配不成功， AR服务器会生成用以指示没有检测到 AR目标的检测结果，并发送给移动终端；

步骤 35、移动终端根据检测结果获知检测到 AR目标，则停止向 AR服务器发送测试图像，并执行步骤 36; 若根据检测结果获知没有检测到 AR目标，则执行步骤 31 ;

步骤 36、移动终端从 ARI良务器下载 AR目标信息，该 AR目标信息包括用以指示该 AR目标在测试图像中的位置的 AR目标基准位置信息、用以指示该 AR 目标在标准图像中的大小的 AR目标标准尺寸信息、 AR目标的类型信息和 AR 目标的特征信息等，并将 AR目标信息緩存至 AR目标位置緩存区；步骤 37、判断 AR内容緩存区中是否存储有该 AR目标对应的 AR内容，若存在，则执行步骤 310; 若不存在，则执行步骤 38;

步骤 38、移动终端从 AR服务器下载该 AR目标对应的 AR内容，将 AR内容緩存至 AR内容緩存区内；

对于 AR应用刚启动或者在 AR目标跟踪过程中没有跟踪到 AR目标时， AR 目标位置緩存区为空，对于 AR服务器第一次跟踪到 AR目标的实时图像，不对实时图像进行 AR目标跟踪处理，直接根据 AR服务器发送的 AR目标信息中的 AR目标基准位置信息对该实时图像进行三维注册计算，即执行步骤 312; 步骤 39、从 AR目标位置緩存区获取 AR目标基准位置信息；

步骤 310、将实时图像作为跟踪图像，根据该 AR目标基准位置信息对跟踪图像中的 AR目标进行跟踪；

步骤 311、若在跟踪图像中跟踪到 AR目标，则执行步骤 312, 在对跟踪图像的跟踪过程中，可以生成跟踪信息，该跟踪信息具体可以包括 AR目标在跟踪图像中位置信息、跟踪图像的清晰度和时间信息等；若在跟踪图像中没有跟踪到 AR目标，则执行步骤 31；

步骤 312、根据跟踪信息、 AR目标位置緩存区中 AR目标基准位置信息及 AR目标标准尺寸信息和摄像头的焦距和光心等摄像机参数计算得到 AR目标发生的旋转参数、平移参数等三维注册信息，将步骤 311和步骤 312中产生的信息作为图像信息緩存至图像队列緩存区中；

具体的，可以根据 AR目标位置緩存区中 AR目标基准位置信息及 AR目标标准尺寸信息计算出摄像头的焦距和光心等参数,再根据 AR目标位置緩存区中 AR目标基准位置信息、 AR目标标准尺寸信息、摄像头的焦距和光心等参数计算得到 AR目标发生的旋转参数、平移参数等三维注册信息。

步骤 313、根据三维注册信息将 AR内容緩存区中的第一 AR内容与当前跟踪图像中的第一 AR目标进行虚实融合渲染生成 AR图像，并通过显示屏显示给用户；

步骤 314、判断是否进行定格处理，若是，则执行步骤 315; 若否，则执行步骤 31 ;

步骤 315、设置定格功能信号标志为启动，从图像队列緩存区中确定一帧效果最好的实时图像作为定格图像；

步骤 316、根据该定格图像的图像信息，从 AR目标位置緩存区中获取该定格图像的三维注册信息，从 AR内容緩存区中获取 AR内容；

步骤 317、根据三维注册信息、 AR内容对该定格图像进行虚实融合渲染处理，生成 AR定格图像并显示；

步骤 318、判断是否解除定格，若是，则执行步骤 319, 后执行步骤 31 ; 若否，则执行步骤 317;

步骤 319、设置定格功能信号标志为非启动，将图像队列緩存区清空。在本实施例中，步骤 103中，所述将所述定格图像进行 AR处理生成 AR 定格图像并显示，具体可以为：

对定格图像的 AR处理过程具体可以参照对实时图像的 AR处理过程的详细描述，在此不再赘述„

在本实施例中，步骤 103中，所述判断是否进行定格处理，具体可以为：检测所述移动终端在第二预设时间范围内是否保持静止状态，若是，则进行定格处理。

检测移动终端在第二预设时间范围内是否保持静止状态的方式可以有多种，可以通过硬件检测也可以通过软件计算。

在本实施例中，所述检测所述移动终端在第二预设时间范围内是否保持静止状态，若是，则进行定格处理，具体可以为：

在一种实现方式中，移动终端中可以设置有重力加速度计和数字罗盘，重力加速度集可以釆集重力加速度信息，数字罗盘可以釆集方位信息，则根据重力加速度信息和方位信息即可判断移动终端是否处于静止状态。

具体地，可以在存储单元中设置硬件参数队列緩存区，将重力加速度计釆集到的重力加速度信息和数字罗盘釆集到的方位信息及该次緩存的时间信息作为一个元素緩存到硬件参数队列緩存区尾部。硬件参数队列緩存区存储的第一个元素的时间信息为 tl , 当前时间为 t。

图 4为本发明实施例提供的一种定格判断处理流程示意图。如图 4所示，定格处理判断的流程步骤具体如下：

步骤 41、判断当前时间 t与硬件参数队列緩存区中存储的第一个元素的时间信息 11的时间差是否超过第二预设时间范围 Ts , 若超过第二预设时间范围 Ts, 则执行步骤 42 , 若没超过第二预设时间范围 Ts , 则执行步骤 46;

步骤 42、根据每个元素中的重力加速度信息和方位信息计算第二预设时间范围 Ts内的重力加速度计和数字罗盘的变化，具体计算过程为：

存区中緩存的元素个数，为硬件参数緩存区中緩存的第 i个重力加速度计参数，为硬件参数緩存区中緩存的第 i个緩存重力加速度计时的时间信息；数字罗盘在 (t-tl)秒内的变化为 tw-t'，其中 n为硬件参数緩存区中緩存的元素个数， Ci为硬件参数緩存区中緩存的第 i个数字罗盘参数， t为硬件参数緩存区中緩存的第 i个緩存数字罗盘时的时间信息；步骤 43、将硬件参数队列緩存区中满足 (t - ti > T)的前 i个元素从硬件参数队列緩存区中移除，将 tl设为新緩存的硬件参数队列緩存区中的第一个元素的时间信息；

步骤 44、若步骤 42中计算得到的第二预设时间范围 Ts内重力加速度计的变化 g_dlff<0.5米 /秒平方，执行步骤 45 , 否则，执行步骤 46;

步骤 45、若步骤 2中计算得到的第二预设时间范围 Ts内数字罗盘的变化 c_dlff<5度，执行步骤 47 , 否则，执行步骤 46;

步骤 46、设置定格功能信号标志为非启动；

步骤 47、设置定格功能信号标志为启动。

在本实施例中，步骤 103中，所述判断是否进行定格处理，具体可以为：根据在第二预设时间范围内生成的所述第一旋转参数和所述第一平移参数，判断所述移动终端在所述第二预设时间范围内是否保持静止状态，若是，则进行定格处理。

在另一种实现方式中，可以根据步骤 205中三维注册计算过程中生成的第一旋转参数和第一平移参数来判断移动终端是否处于静止状态。

具体地，三维注册计算得到的第一旋转参数 rx、 ry和 rz, 以及第一平移参数 tx、 ty和 tz, 其中， rx, ry和 rz分别表示移动终端在 x方向、 y方向和 z方向的旋转的角度， tx、 ty和 tz分别表示移动终端在 X方向、 y方向和 z方向平移的单位。可以在存储单元中设置三维注册参数队列緩存区，将第一旋转参数、第一平移参数及该次緩存的时间信息作为一个元素緩存到三维注册参数队列緩存区尾部。

三维注册参数队列緩存区緩存的是第二预设时间范围内连续跟踪 AR 目标时的三维注册参数信息。若没有跟踪到 AR 目标，则需要将三维注册参数队列緩存区中的内容清空。

设该三维注册参数队列緩存区存储的第一个元素的时间信息为 tl , 当前时间为 t。

图 5为本发明实施例提供的另一种定格判断处理流程示意图。如图 5所示，定格处理判断的流程步骤具体如下：

步骤 51、判断当前时间 t与三维注册参数队列緩存区中存储的第一个元素的时间信息 11的时间差是否超过第二预设时间范围 Ts , 若超过第二预设时间范围过 Ts, 则执行步骤 52, 没超过第二预设时间范围 Ts, 则执行步骤 56; 步骤 52、根据每个元素中第一旋转参数和所述第一平移参数计算第一 AR 目标在第二预设时间范围 Ts 内的旋转变化和平移变化，具体计算过程为：第一 AR目标在第二预设时间范围 Ts内的平移变化为： r_dlff =∑" (^rx_l+l - ^rx)^{+ ( r}y_l+l - ^ry) ^{+ (r}z_l+l - ^rz)) . r_dlff表示第一 AR目标在相邻两帧跟踪图像中发生旋转变化的角度差之和，其中， n为三维注册参数緩存区中緩存的元素个数， 1¾、！^和分别为分别三维注册参数緩存区中緩存的第 i个元素中的第一旋转参数；

第一 AR目标在第二预设时间范围 Ts内的平移变化为：

t_dlff =∑" ^tx_l+r^tx)⁺ ^γ_ι+ι-^)^{+ ϋ}ζ_ί+ ^{ζ) . t_dlff表示第一 AR目标相邻两帧跟踪图像中发生平移变化的平移量之和，其中， n为三维注册参数緩存区中緩存的元素个数， t_Xl、 1 和1 为三维注册参数緩存区中緩存的第 i个元素中的第一平移参数；

步骤 53、将三维注册参数队列緩存区中满足 (t - ti > T)的前 i个元素从三维注册参数队列緩存区中移除，将 tl设为新緩存的三维注册参数队列緩存区中的第一个元素的时间信息；

步骤 54、若步骤 52中计算得到的约第二预设时间范围 Ts内第一 AR目标旋转的变化 <5度，执行步骤 55, 否则，执行步骤 56;

步骤 55、步骤 52中计算得到的第二预设时间范围 Ts内第一 AR目标平移的变化 t_dlff<5度，执行步骤 57, 否则，执行步骤 56;

步骤 56、设置定格功能信号标志为非启动；

步骤 57、设置定格功能信号标志为启动。

在本实施例中，所述第一 AR目标信息还包括：用以指示所述第一 AR 目标的类型的第一 AR目标类型信息；

步骤 103中，所述判断是否进行定格处理，具体为：

若所述第一 AR目标类型信息为浏览类型，则进行定格处理。

在本实施例中，步骤 103中，所述从緩存的距离当前时刻第一预设时间范围内的实时图像中确定一帧緩存的实时图像作为定格图像，具体可以为：对于每一帧緩存的实时图像，根据所述緩存的实时图像中的第一 AR目标的位置生成位置权重，将所述位置权重最大的实时图像确定为所述定格图像。

具体地，通过计算第一 AR 目标整体出现的位置的中心坐标与该緩存的实时图像中心的坐标之间的像素距离，即获取第一 AR 目标的位置与屏幕中心的距离。根据第一 AR 目标的位置与屏幕中心的距离，设置第一 AR 目标在緩存图像的位置最靠近图像中心的緩存图像的位置权重最大，距图像中心最远的緩存图像的位置权重最小。将位置权重最大的緩存图像确定为定格图像。

本实施例中，根据位置权重确定的定格图像，第一 AR 目标的位置与屏幕中心的距离较近，以获得较好的显示效果，这使得用户观看时更加舒适和方便。在本实施例中，步骤 103中，所述从緩存的距离当前时刻第一预设时间范围内的实时图像中确定一帧緩存的实时图像作为定格图像，具体可以为：对于每一帧緩存的实时图像，根据所述緩存的实时图像中的第一 AR目标的位置生成位置权重，根据所述緩存的实时图像中的第一 AR目标所占的面积比例生成面积权重，根据所述緩存的实时图像中的第一 AR目标的清晰度生成清晰度权重，根据每一帧所述緩存的实时图像的所述位置权重、所述面积权重和所述清晰度权重确定所述定格图像。

具体地，在确定定格图像的过程中还可以考虑实时图像的面积和清晰度等参数。

可以将图像队列緩存区中的緩存图像信息通过空域参数方程、熵以及频域调制传递函数 MTF等方法计算，获取緩存的实时图像的清晰度。

将图像队列緩存区中緩存的实时图像的清晰度大小按从小到大排列，可以将排序编号作为緩存的实时图像的清晰度权重，即緩存的实时图像越清晰，则緩存的实时图像的清晰度权重越大。

通过第一 AR 目标的坐标信息计算得到第一 AR 目标在緩存的实时图像中出现的面积与第一 AR 目标整体的面积。第一 AR 目标在緩存的实时图像中出现的面积与第一 AR 目标整体的面积的比值作为面积比。将面积比由大到小排序，设置每帧緩存的实时图像的面积比权重。即若 AR 目标整体出现在緩存图片中，则面积比重最大。

若第一 AR 目标的坐标信息没有超出緩存的实时图像的坐标范围，则为第一 AR目标整体都出现在緩存图像中，则面积比重为 1 ; 若 AR目标的坐标信息超出跟踪图像的坐标范围，则 AR 目标没有完全出现在跟踪图像，可计算出现在緩存图像内的第一 AR 目标的面积与第一 AR 目标的实际面积的比值。

可以将緩存图像的位置权重、面积权重和清晰度权重的权重之和最大的緩存的实时图像确定为定格图像。

本实施例中，根据位置权重、面积权重和清晰度权重确定的定格图像，使用户可以看到一个大而清晰，且处于中心第一 AR 目标的定格图像，这得使用户观看时更加舒适和方便，提高了定格效果。

图 6为本发明实施例提供的一种定格后增强现实处理流程示意图。如图 6所示，在本实施例中，步骤 103 , 所述判断是否进行定格处理，若是，则从緩存的距离当前时刻第一预设时间范围内的实时图像中确定一帧緩存的实时图像作为定格图像之后，所述方法还可以包括：

步骤 601、对所述实时获取到的实时图像进行特征检测和描述，生成第二特征检测描述数据，将所述第二特征检测描述数据发送给所述 AR服务器，以使所述 AR服务器根据所述第二特征检测描述数据进行 AR目标检测；步骤 602、接收所述 AR服务器在检测到第二 AR目标时发送的第二检测结果，其中，所述第二检测结果中携带有第二 AR 目标信息，所述第二 AR 目标信息包括：用以指示所述第二 AR 目标在所述实时图像中的位置的第二 AR目标基准位置信息和用以指示所述第二 AR目标在所述标准图像中的大小的第二 AR目标标准尺寸信息，将所述第二 AR目标信息緩存；

步骤 603、根据所述第二检测结果停止向所述 AR服务器发送所述第二特征检测描述数据；

步骤 604、将所述第二 AR目标信息緩存，根据所述第二 AR目标基准位置信息对所述实时图像中的第二 AR 目标进行跟踪，若在第三预设时间范围内跟踪到所述第二 AR目标，则从所述 AR服务器获取所述第二 AR目标的第二 AR内容，将所述第二 AR内容緩存，生成解除定格指示信息并显示；步骤 605、若接收到的解除定格指令，则根据緩存的所述第二 AR目标基准位置信息对所述实时图像中的第二 AR 目标进行跟踪，根据跟踪到的第二 AR目标和所述第二 AR目标标准尺寸信息进行三维注册计算，生成第二旋转参数和第二平移参数，将所述第二旋转参数和所述第二平移参数緩存；

步骤 606、根据所述第二旋转参数和所述第二平移参数，将所述实时图像和所述第二 AR内容进行虚实融合渲染处理，生成所述第二 AR图像并显示。

具体地，定格后，虽然显示给用户的是 AR定格图像，但是，增强现实处理装置还分配有其他线程继续执行获取实时图像并对实时图像进行相应地处理。增强现实处理装置可以以一个预设时间间隔获取摄像头釆集的实时图像，将该实时图像作为测试图像，对测试图像进行特征检测、描述，生成特征检测描述数据，将该特征检测描述数据连同测试图像一起发送给 AR服务器。 AR服务器将特征检测描述数据与数据库中的标准图像的特征检测描述数据进行匹配。若在测试图像中检测到第二 AR 目标，生成用以指示检测到该第二 AR 目标的第二检测结果，并发送给移动终端。该第二检测结果中携带有第二 AR 目标信息。移动终端接收到该第二检测结果后，判断第二 AR 目标信息与 AR 目标緩存区中的第一 AR 目标信息是否相同，若不同，则停止向 AR服务器发送测试图像，以避免 AR服务器的重复检测。移动终端将该第二 AR 目标信息緩存到存储单元的预加载 AR 目标緩存区中，移动终端根据第二 AR 目标信息中第二 AR 目标基准位置信息对作为跟踪图像的实时图像进行跟踪，若在第三预设时间范围内持续跟踪到第二 AR 目标，则从 AR 服务器下载该第二 AR目标对应的第二 AR内容，将第二 AR内容緩存至存储单元的预加载 AR内容緩存区，并生成解除定格指示信息显示给用户，以提示用户解除定格。该解除定格指示信息实现形式可以为弹出对话框，以提示用户选择是否查看新目标，或者将手动解定格按钮高亮显示，表示已经发现新的 AR目标及下载了相对应的第二 AR内容。

若第二 AR目标信息与 AR目标緩存区中的第一 AR目标信息相同，则重复执行步骤 601和步骤 602, 直到检测到不同于第一 AR目标的新的 AR目标为止。

用户可以根据该解除定格指示信息选择继续保持定格或解除定格，若用户选择解除定格，则输入解除定格指令，增强现实处理装置则持续对跟踪图像进行第二 AR目标的跟踪、三维注册计算以及虚实渲染融合处理。其具体实现过程可以参照上述实施例的描述，在此不再赘述。

若用户选择保持定格，则输入保持定格指令，增强现实处理装置执行步骤 601和步骤 602, 若检测到的 AR目标仍为第二 AR目标，且在预设时间范围内持续跟踪到该第二 AR目标，则再次向用户显示解除定格指示信息。若检测到的 AR目标与第二 AR目标不同，则将预加载 AR目标緩存区和预加载 AR内容緩存区清空，并将该新的 AR目标信息緩存至该预加载 AR目标緩存区。移动终端根据新的 AR目标信息中新的 AR目标基准位置信息对作为跟踪图像的实时图像进行跟踪，若在预设时间范围内持续跟踪到该新的 AR目标，则从 AR 月良务器下载该新的 AR目标对应的 AR内容，将该 AR内容緩存至 AR内容緩存区，并生成解除定格指示信息显示给用户。

在实际应用中，新获取的 AR目标信息与预加载 AR目标緩存区的 AR目标信息不同有两种情况：一种为预加载目标緩存区中的 AR目标信息为空：

在每次启动定格功能时将预加载目标緩存区中的 AR 目标信息清空，若定格后一直没有发现 AR目标，或者新获取的 AR目标信息与 AR目标緩存区緩存的 AR目标信息相同，则预加载目标緩存区中的目标信息一直为空；另一种为预加载目标緩存区中的目标信息不为空，但是新获取的 AR目标信息与预加载目标緩存区中的 AR目标信息不同，即不是连续发现 AR目标。

图 7为本发明实施例提供的另一种定格后增强现实处理流程示意图。如图 7所示，定格后增强现实处理的流程步骤具体如下：

步骤 71、定格功能启动，为用户显示 AR定格图像；

步骤 72、判断是否等待了 T2秒，若是，则执行步骤 73 , 若否，则继续等待；

步骤 73、从摄像头获取实时图像；

步骤 74、将实时图像作为测试图像进行图像特征检测和描述，生成特征检测描述数据，将该特征检测描述数据发送给 AR服务器；

步骤 75、 AR服务器将该特征检测描述数据与数据库中的标准图像的特征检测描述数据进行匹配，若匹配成功，则在测试图像中检测到 AR 目标，生成检测到 AR目标的检测结果，并发送给移动终端，若匹配不成功， AR服务器会生成用以指示没有检测到 AR目标的检测结果，并发送给移动终端；步骤 76、移动终端根据检测结果获知检测到 AR目标，则停止向 AR服务器发送测试图像，并执行步骤 77; 若根据检测结果获知没有检测到 AR目标，则执行步骤 72;

步骤 77、检测出的 AR目标为 AR目标 a, 下载 AR目标 a的 AR目标信息；

步骤 78、判断 AR目标 a的 AR目标信息与 AR目标緩存区中的 AR目标信息是否相同，若相同，则执行步骤 72; 若不同，则执行步骤 79;

步骤 79、判断 AR目标 a的 AR目标信息与预加载的 AR目标緩存区中的 AR 目标信息是否相同，若相同，则执行步骤 711 ; 若不同，则执行步骤 710;

步骤 710、将 AR目标 a的 AR目标信息緩存至预加载的 AR目标緩存区；步骤 711、判断在 T3秒内是否持续跟踪到该 AR目标 a, 若是则执行步骤 712; 若否则执行步骤 72;

步骤 712、判断是否已经下载 AR目标 a的 AR内容，若是，则执行步骤 714; 若否，则执行步骤 713;

步骤 713、从 AR服务器下载 AR目标 a的 AR内容，并将 AR内容緩存至预加载的 AR内容緩存区；

步骤 714、判断距离 AR内容下载的时间是否超过 T4秒，若是，则执行步骤 715; 若否则继续等待；

步骤 715、提示用户发现新的 AR目标；

步骤 716、用户选择显示新的 AR目标，执行步骤 717; 用户选择不显示新的 AR目标，执行步骤 718;

步骤 717、设置定格功能信号标志为非启动；

步骤 718、清空预加载的 AR目标緩存区和预加载的 AR内容緩存区，执行步骤 72。

在本实施例中，通过预加载的 AR 目标位置緩存区和预加载的 AR内容緩存区的设置，可以在定格过程中緩存新检测到的 AR目标的相关信息及 AR 内容，当用户解除定格时，可以立刻根据 AR目标位置緩存区和预加载的 AR 内容緩存区的数据进行后续处理，避免了处理等待时间，实现了无缝切换。

值得注意的是，为了描述清楚，上述实施例中通过实时图像緩存区、图像队列緩存区、预加载的 AR目标位置緩存区、预加载的 AR内容緩存区 AR 目标緩存区、 AR内容緩存区、 AR目标位置緩存区、硬件参数队列緩存区和三维注册参数队列緩存区以区分緩存的不同的信息，但在实际实现过程中，上述各緩存区可以仅为逻辑上的緩存区，或不区分緩存区即通过统一緩存区域来实现。

图 8为本发明实施例提供的第一种移动终端的增强现实处理装置结构示意图。如图 8所示，本实施例提供的移动终端的增强现实处理装置 81具体可以实现本发明任意实施例提供的移动终端的增强现实处理方法的各个步骤，其具体实现过程，在此不再赘述。本实施例提供的移动终端的增强现实处理装置 81包括图像获取单元 801、第一增强现实处理单元 802和定格处理单元 803。图像获取单元 801用于从摄像头获取釆集到的实时图像，将所述实时图像緩存。第一增强现实处理单元 802与所述图像获取单元 801相连，用于将所述实时图像进行增强现实 AR处理生成第一 AR图像，并将所述第一 AR图像显示。定格处理单元 803用于判断是否进行定格处理，若是，则从緩存的距离当前时刻第一预设时间范围内的实时图像中确定一帧緩存的实时图像作为定格图像，将所述定格图像进行 AR处理生成 AR定格图像并显示。

本实施例提供的移动终端的增强现实处理装置 81 , 图像获取单元 801从摄像头获取釆集到的实时图像，将所述实时图像緩存。第一增强现实处理单元 802将所述实时图像进行增强现实 AR处理生成第一 AR图像，并将所述第一 AR图像显示。定格处理单元 803判断是否进行定格处理，若是，则从緩存的距离当前时刻第一预设时间范围内的实时图像中确定一帧緩存的实时图像作为定格图像，将所述定格图像进行 AR处理生成 AR定格图像并显示。通过对定格处理的判断，当需要进行定格处理时，从緩存的实时图像中确定一帧实时图像进行 AR处理生成 AR定格图像并显示，使得用户可以方便地观看定格后的 AR图像，降低了对用户的行为的约束，大大提高了 AR处理的效果。

图 9为本发明实施例提供的另一种移动终端的增强现实处理装置结构示意图。如图 9所示，在本实施例中，所述第一增强现实处理单元 802包括第一跟踪注册子单元 905和第一渲染子单元 906。第一跟踪注册子单元 905与所述图像获取单元 801相连，用于获取緩存的第一 AR目标基准位置信息，根据所述緩存的第一 AR目标基准位置信息对所述实时图像进行跟踪，根据跟踪到的第一 AR目标和所述第一 AR目标标准尺寸信息进行三维注册计算，生成第一旋转参数和第一平移参数，将所述第一旋转参数和所述第一平移参数緩存。第一渲染子单元 906与所述第一跟踪注册子单元 905相连，用于获取緩存的第一 AR内容，根据所述第一旋转参数和所述第一平移参数，将所述实时图像和所述第一 AR内容进行虚实融合渲染处理，生成所述第一 AR 图像并显示。

在本实施例中，所述第一增强现实处理单元 802还包括第一检测子单元 901、第一接收子单元 902、第一控制子单元 903和第一获取子单元 904。第一检测子单元 901与所述图像获取单元 801相连，用于对所述实时图像进行特征检测和描述，生成第一特征检测描述数据，将所述第一特征检测描述数据发送给 AR服务器，以使所述 AR服务器根据所述第一特征检测描述数据进行 AR目标检测。第一接收子单元 902用于接收所述 AR服务器在检测到第一 AR目标时发送的第一检测结果，其中，所述第一检测结果中携带有第一 AR目标信息，所述第一 AR目标信息包括：用以指示所述第一 AR目标在所述实时图像中的位置的第一 AR目标基准位置信息和用以指示所述第一 AR 目标在标准图像中的大小的第一 AR目标标准尺寸信息，将所述第一 AR目标信息緩存。第一控制子单元 903分别与所述第一检测子单元 901和所述第一接收子单元 902相连，用于根据所述第一检测结果停止向所述 AR服务器发送所述第一特征检测描述数据。第一获取子单元 904用于从所述 AR服务器获取所述第一 AR目标的第一 AR内容，将所述第一 AR内容緩存。

在本实施例中，所述定格处理单元 803具体可以用于获取緩存的所述定格图像对应的第一旋转参数、第一平移参数和所述第一 AR内容，根据所述定格图像对应的第一旋转参数和第一平移参数，将所述定格图像和所述第 ― AR内容进行虚实融合渲染处理，生成所述 AR定格图像并显示。

在本实施例中，所述定格处理单元 803具体可以用于检测所述移动终端在第二预设时间范围内是否保持静止状态，若是，则进行定格处理。

在本实施例中，所述定格处理单元 803具体可以用于根据在所述第二预设时间范围内通过重力加速度计釆集到的重力加速度信息和通过数字罗盘釆集到的方位信息，判断所述移动终端在所述第二预设时间范围内是否保持静止状态，若是，则进行定格处理。

在本实施例中，所述定格处理单元 803具体用于根据在第二预设时间范围内生成的所述第一旋转参数和所述第一平移参数，判断所述移动终端在所述第二预设时间范围内是否保持静止状态，若是，则进行定格处理。

在本实施例中，所述第一 AR目标信息还包括：用以指示所述第一 AR 目标的类型的第一 AR目标类型信息。所述定格处理单元 803具体用于若所述第一 AR目标类型信息为浏览类型，则进行定格处理。

当用户需要对显示器显示的图像进行定格处理时，可以将定格后的 AR 图像通过显示屏显示给用户。触发定格处理的方式可以有多种，不以本实施例为限。

在本实施例中，所述定格处理单元 803具体可以用于对于每一帧緩存的实时图像，根据所述緩存的实时图像中的第一 AR目标的位置生成位置权重，将所述位置权重最大的实时图像确定为所述定格图像。

具体地，通过计算第一 AR目标整体出现的位置的中心坐标与该緩存的实时图像中心的坐标之间的像素距离，即获取第一 AR目标的位置与屏幕中心的距离。根据第一 AR目标的位置与屏幕中心的距离，设置第一 AR目标在緩存图像的位置最靠近图像中心的緩存图像的位置权重最大，距图像中心最远的緩存图像的位置权重最小。将位置权重最大的緩存图像确定为定格图像。

在本实施例中，所述定格处理单元 803具体用于对于每一帧緩存的实时图像，根据所述緩存的实时图像中的第一 AR目标的位置生成位置权重，根据所述緩存的实时图像中的第一 AR目标所占的面积比例生成面积权重，根据所述緩存的实时图像中的第一 AR目标的清晰度生成清晰度权重，根据每一帧所述緩存的实时图像的所述位置权重、所述面积权重和所述清晰度权重确定所述定格图像。

具体地，可以将图像队列緩存区中的緩存图像信息通过空域参数方程、熵以及频域调制传递函数 MTF等方法计算，获取緩存的实时图像的清晰度。

可以将緩存图像的位置权重、面积权重和清晰度权重的权重之和最大的緩存的实时图像确定为定格图像。本实施例中，根据位置权重、面积权重和清晰度权重确定的定格图像，使用户可以看到一个大而清晰，且处于中心第一 AR 目标的定格图像，这得使用户观看时更加舒适和方便，提高了定格效果。

图 10为本发明实施例提供的第三种移动终端的增强现实处理装置结构示意图。如图 10所示，进一步地，在本实施例中，所述移动终端的增强现实处理装置 81还可以包括第二增强现实处理单元 106, 所述第二增强现实处理单元 106包括第二检测子单元 1001、第二接收子单元 1002、第二控制子单元 1003、緩存处理子单元 1004、解除定格判断子单元 1005、第二跟踪注册子单元 1006和第二渲染子单元 1007。第二检测子单元 1001与所述图像获取单元 801相连，对所述实时图像进行特征检测和描述，生成第二特征检测描述数据，将所述第二特征检测描述数据发送给所述 AR服务器，以使所述 AR服务器根据所述第二特征检测描述数据进行 AR目标检测。第二接收子单元 1002用于接收所述 AR服务器在检测到第二 AR目标时发送的第二检测结果，其中，所述第二检测结果中携带有第二 AR目标信息，所述第二 AR目标信息包括：用以指示所述第二 AR目标在所述实时图像中的位置的第二 AR目标基准位置信息和用以指示所述第二 AR目标在所述标准图像中的大小的第二 AR目标标准尺寸信息。第二控制子单元 1003分别与所述第二检测子单元 1001和所述第二接收子单元 1002相连，用于根据所述第二检测结果停止向所述 AR服务器发送所述第二特征检测描述数据。緩存处理子单元 1004分别与所述图像获取单元 801和所述第二接收子单元 1002相连，用于将所述第二 AR目标信息緩存，根据所述第二 AR目标基准位置信息对所述实时图像中的第二 AR目标进行跟踪，若在第三预设时间范围内跟踪到所述第二 AR目标，则从所述 AR服务器获取所述第二 AR目标的第二 AR内容，将所述第二 AR 内容緩存，生成解除定格指示信息并显示。第二跟踪注册子单元 1005与所述图像获取单元 801相连，用于若接收到的解除定格指令，则根据緩存的所述第二 AR目标基准位置信息对所述实时图像中的第二 AR目标进行跟踪，根据跟踪到的第二 AR目标和所述第二 AR目标标准尺寸信息进行三维注册计算，生成第二旋转参数和第二平移参数，将所述第二旋转参数和所述第二平移参数緩存。第二渲染子单元 1006与所述第二跟踪注册子单元 1005相连，用于根据所述第二旋转参数和所述第二平移参数，将所述实时图像和所述第二 AR内容进行虚实融合渲染处理，生成所述第二 AR图像并显示。

图 11 为本发明实施例提供的第四种移动终端的增强现实处理装置结构示意图。如图 11所示，本实施例提供的移动终端的增强现实处理装置包括至少一个处理器 1101 (例如 CPU ) 、存储器 1102、摄像头 1103、显示屏 1104 和至少一个通信总线 _U05 , 用于实现这些装置之间的连接通信。处理器 1101 用于执行存储器 1102 中存储的可执行模块，例如计算机程序。存储器 1102 可能包含高速随机存取存储器（RAM: Random Access Memory ) , 也可能还包括非不稳定的存储器（ non- volatile memory ) , 例如至少一个磁盘存储器。摄像头 1103用于釆集实时图像，显示屏 1104用于显示实时图像或实时处理得到的 AR图像或 AR定格图像。

在一些实施方式中，存储器 1102存储了程序指令，程序指令可以被处理器 1101执行，其中，程序指令包括图像获取单元 801、第一增强现实处理单元 802和定格处理单元 803 , 其中，各单元的具体实现参见图 8所揭示的相应单元，其具体实现过程和产生的技术效果，在此不再累述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可以用硬件实现，或固件实现，或它们的组合方式来实现。当使用软件实现时，可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于：计算机可读介质可以包括 RAM、 ROM, EEPROM、 CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外。任何连接可以适当的成为计算机可读介质。例如，如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线（DSL )或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的，那么同轴电缆、光纤光缆、双绞线、 DSL或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定影中。如本发明所使用的，盘（ Disk )和碟（ disc ) 包括压缩光碟（CD ) 、激光碟、光碟、数字通用光碟（DVD ) 、软盘和蓝光光碟，其中盘通常磁性的复制数据，而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护层级之内。

总之，以上所述仅为本发明技术方案的较佳实施例而已，并非用于限定本发明的保护层级。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护层级之内。

Claims

权利要求书

1、一种移动终端的增强现实处理方法，其特征在于，包括：

从摄像头获取釆集到的实时图像，将所述实时图像緩存；

2、根据权利要求 1所述移动终端的增强现实处理方法，其特征在于，所述判断是否进行定格处理，具体为：

检测所述移动终端在第二预设时间范围内是否保持静止状态，若是，则进行定格处理。

3、根据权利要求 2所述移动终端的增强现实处理方法，其特征在于，所述检测所述移动终端在第二预设时间范围内是否保持静止状态，若是，则进行定格处理，具体为：

4、根据权利要求 1所述移动终端的增强现实处理方法，其特征在于，所述从緩存的距离当前时刻第一预设时间范围内的实时图像中确定一帧緩存的实时图像作为定格图像，具体为：

对于每一帧緩存的实时图像，根据所述緩存的实时图像中的第一 AR目标的位置生成位置权重，将所述位置权重最大的实时图像确定为所述定格图像。

5、根据权利要求 1所述移动终端的增强现实处理方法，其特征在于，所述从緩存的距离当前时刻第一预设时间范围内的实时图像中确定一帧緩存的实时图像作为定格图像，具体为：

对于每一帧緩存的实时图像，根据所述緩存的实时图像中的第一 AR目标的位置生成位置权重，根据所述緩存的实时图像中的第一 AR目标所占的面积比例生成面积权重，根据所述緩存的实时图像中的第一 AR目标的清晰度生成清晰度权重，根据每一帧所述緩存的实时图像的所述位置权重、所述面积权重和所述清晰度权重确定所述定格图像。

6、根据权利要求 1所述移动终端的增强现实处理方法，其特征在于，所述将所述实时图像进行 AR处理生第一 AR图像，并将所述第一 AR图像显示，包括：

7、根据权利要求 6所述移动终端的增强现实处理方法，其特征在于，所述获取緩存的第一 AR目标基准位置信息之前，所述方法还包括：

从所述 AR服务器获取所述第一 AR目标的第一 AR内容，将所述第一

AR内容緩存。

8、根据权利要求 7所述移动终端的增强现实处理方法，其特征在于，所述将所述定格图像进行 AR处理生成 AR定格图像并显示，具体为：

9、根据权利要求 7所述移动终端的增强现实处理方法，其特征在于，所述判断是否进行定格处理，具体为：

10、根据权利要求 7所述移动终端的增强现实处理方法，其特征在于，所述第一 AR目标信息还包括：用以指示所述第一 AR目标的类型的第一 AR 目标类型信息；

所述判断是否进行定格处理，具体为：

若所述第一 AR目标类型信息为浏览类型，则进行定格处理。

11、根据权利要求 6所述移动终端的增强现实处理方法，其特征在于，所述判断是否进行定格处理，若是，则从緩存的距离当前时刻第一预设时间范围内的实时图像中确定一帧緩存的实时图像作为定格图像之后，还包括：对所述实时获取到的实时图像进行特征检测和描述，生成第二特征检测描述数据，将所述第二特征检测描述数据发送给所述 AR服务器，以使所述 AR服务器根据所述第二特征检测描述数据进行 AR目标检测；

12、一种移动终端的增强现实处理装置，其特征在于，包括：

图像获取单元，用于从摄像头获取釆集到的实时图像，将所述实时图像緩存；

13、根据权利要求 12所述的移动终端的增强现实处理装置，其特征在于: 所述定格处理单元具体用于检测所述移动终端在第二预设时间范围内是否保持静止状态，若是，则进行定格处理。

14、根据权利要求 13所述的移动终端的增强现实处理装置，其特征在于: 所述定格处理单元具体用于根据在所述第二预设时间范围内通过重力加速度计釆集到的重力加速度信息和通过数字罗盘釆集到的方位信息，判断所述移动终端在所述第二预设时间范围内是否保持静止状态，若是，则进行定格处理。

15、根据权利要求 12所述的移动终端的增强现实处理装置，其特征在于, 所述定格处理单元具体用于对于每一帧緩存的实时图像，根据所述緩存的实时图像中的第一 AR目标的位置生成位置权重，将所述位置权重最大的实时图像确定为所述定格图像。

16、根据权利要求 12所述的移动终端的增强现实处理装置，其特征在于: 所述定格处理单元具体用于对于每一帧緩存的实时图像，根据所述緩存的实时图像中的第一 AR目标的位置生成位置权重，根据所述緩存的实时图像中的第一 AR目标所占的面积比例生成面积权重，根据所述緩存的实时图像中的第一 AR目标的清晰度生成清晰度权重，根据每一帧所述緩存的实时图像的所述位置权重、所述面积权重和所述清晰度权重确定所述定格图像。

17、根据权利要求 12所述的移动终端的增强现实处理装置，其特征在于，所述第一增强现实处理单元，包括：

第一跟踪注册子单元，与所述图像获取单元相连，用于获取緩存的第一 AR目标基准位置信息，根据所述緩存的第一 AR目标基准位置信息对所述实时图像进行跟踪，根据跟踪到的第一 AR目标和所述第一 AR目标标准尺寸信息进行三维注册计算，生成第一旋转参数和第一平移参数，将所述第一旋转参数和所述第一平移参数緩存；

18、根据权利要求 17所述的移动终端的增强现实处理装置，其特征在于，所述第一增强现实处理单元还包括：

19、根据权利要求 18所述的移动终端的增强现实处理装置，其特征在于：所述定格处理单元具体用于获取緩存的所述定格图像对应的第一旋转参数、第一平移参数和所述第一 AR内容，根据所述定格图像对应的第一旋转参数和第一平移参数，将所述定格图像和所述第一 AR内容进行虚实融合渲染处理，生成所述 AR定格图像并显示。

20、根据权利要求 18所述的移动终端的增强现实处理装置，其特征在于：所述定格处理单元具体用于根据在第二预设时间范围内生成的所述第一旋转参数和所述第一平移参数，判断所述移动终端在所述第二预设时间范围内是否保持静止状态，若是，则进行定格处理。

21、根据权利要求 17所述的移动终端的增强现实处理装置，其特征在于，所述第一 AR目标信息还包括：用以指示所述第一 AR目标的类型的第一 AR 目标类型信息；

所述定格处理单元具体用于若所述第一 AR目标类型信息为浏览类型，则进行定格处理。

22、根据权利要求 17所述的移动终端的增强现实处理装置，其特征在于，还包括第二增强现实处理单元，所述第二增强现实处理单元包括：

第二控制子单元，分别与所述第二检测子单元和所述第二接收子单元相连，用于根据所述第二检测结果停止向所述 AR服务器发送所述第二特征检测描述数据；

緩存处理子单元，分别与所述图像获取单元和所述第二接收子单元相连，用于将所述第二 AR目标信息緩存，根据所述第二 AR目标基准位置信息对所述实时图像中的第二 AR目标进行跟踪，若在第三预设时间范围内跟踪到所述第二 AR目标，则从所述 AR服务器获取所述第二 AR目标的第二 AR内容，将所述第二 AR内容緩存，生成解除定格指示信息并显示；第二跟踪注册子单元，与所述图像获取单元相连，用于若接收到的解除定格指令，则根据緩存的所述第二 AR目标基准位置信息对所述实时图像中的第二 AR目标进行跟踪，根据跟踪到的第二 AR目标和所述第二 AR目标标准尺寸信息进行三维注册计算，生成第二旋转参数和第二平移参数，将所述第二旋转参数和所述第二平移参数緩存；