KR20210046592A - 증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체 - Google Patents

증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체 Download PDF

Info

Publication number
KR20210046592A
KR20210046592A KR1020207037547A KR20207037547A KR20210046592A KR 20210046592 A KR20210046592 A KR 20210046592A KR 1020207037547 A KR1020207037547 A KR 1020207037547A KR 20207037547 A KR20207037547 A KR 20207037547A KR 20210046592 A KR20210046592 A KR 20210046592A
Authority
KR
South Korea
Prior art keywords
virtual object
special effect
effect data
augmented reality
data
Prior art date
Application number
KR1020207037547A
Other languages
English (en)
Other versions
KR102414587B1 (ko
Inventor
신루 호우
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20210046592A publication Critical patent/KR20210046592A/ko
Application granted granted Critical
Publication of KR102414587B1 publication Critical patent/KR102414587B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06K9/00201—
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

본 발명은 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체를 제공하며, 상기 증강 현실 데이터 제시 방법은, 증강 현실(AR) 기기의 위치 정보를 획득하는 단계; 상기 위치 정보가 타깃 현실 영역의 위치 범위 내에 있음을 검출하면, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득하는 단계; 및 상기 가상 대상의 특수 효과 데이터에 기반하여, 상기 AR 기기에 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하는 단계를 포함한다.

Description

증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체
관련 출원의 상호 참조
본 발명은 출원 번호가 201910979920.5이고, 출원일이 2019년 10월 15일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하며, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.
본 발명은 증강 현실 기술 분야에 관한 것으로, 증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체에 관한 것이다.
증강 현실(Augmented Reality, AR) 기술은, 엔티티 정보(시각 정보, 소리, 촉각 등)를 시뮬레이션시킨 후, 현실 세계에 중첩시킴으로써, 실제 환경과 가상 물체를 동일한 화면 또는 공간에 제시한다. AR 기기에 제시된 증강 현실 시나리오의 효과에 대한 최적화는 점점 더 중요해지고 있다.
이를 고려하여, 본 발명은 적어도 증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체를 제공한다.
본 발명의 기술방안은 아래와 같이 구현된다.
제1 측면에 있어서, 본 발명은 증강 현실 데이터 제시 방법을 제공하며, 증강 현실(AR) 기기의 위치 정보를 획득하는 단계; 상기 위치 정보가 타깃 현실 영역의 위치 범위 내에 있음을 검출하면, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득하는 단계; 및 상기 가상 대상의 특수 효과 데이터에 기반하여, 상기 AR 기기에 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하는 단계를 포함한다. 이러한 방법을 통해, 각 타깃 현실 영역은 관련된 가상 대상을 갖고, 관련된 상기 가상 대상은 상기 타깃 현실 영역 내에 위치할 수 있으며, 타깃 현실 영역 밖에 위치할 수도 있으며, 본 발명의 실시예에서 AR 기기가 타깃 현실 영역에 위치한 후, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 표시하여, 상이한 현실 영역에서 가상 대상 표시의 개별화 요구를 만족한다.
하나의 가능한 실시형태에서, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득하는 단계는, 실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 내에 있는 가상 대상의 특수 효과 데이터를 획득하는 단계; 및, 실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 밖에 있는 가상 대상의 특수 효과 데이터를 획득하는 단계 중 적어도 하나를 포함한다. 전술한 실시형태에서, 가상 대상의 특수 효과 데이터는 타깃 현실 영역의 위치 범위 내에 위치할 수 있으며, 타깃 현실 영역의 위치 범위 밖에 위치할 수도 있으며, 따라서, 타깃 현실 영역 내에 위치한 AR 기기는 타깃 현실 영역 내의 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시할 수 있거나, 타깃 현실 영역 밖의 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시할 수도 있으므로, 가상 대상의 특수 효과 데이터 제시의 다양성을 증가시킨다.
하나의 가능한 실시형태에서, 상기 실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 밖에 있는 가상 대상의 특수 효과 데이터를 획득하는 단계는, 실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 밖에 있고, 기설정된 조건에 부합되는 가상 대상의 특수 효과 데이터를 획득하는 단계를 포함하고; 여기서, 상기 기설정된 조건은, 실제 장면에서 상기 가상 대상의 대응하는 지리적 위치로부터 상기 타깃 현실 영역까지의 거리가 설정 거리 범위 내에 있거나; 상기 AR 기기의 촬영 각도가 기설정된 각도 범위 내에 있는 것 중 적어도 하나이다. 여기서, 타깃 현실 영역 내에 위치한 AR 기기가 타깃 현실 영역 밖의 가상 대상의 특수 효과 데이터를 제시하는 경우, 타깃 현실 영역 밖의 가상 대상의 제시 조건을 제한하여, 가상 대상의 제시가 실제 장면에 더욱 접근하도록 하며, 예컨대, 실제 장면에서, 특정 위치까지의 거리가 멀거나, 시각 각도가 상기 위치를 향하지 않는 경우, 상기 위치에 있는 엔티티 대상이 관찰되지 않을 수 있다.
하나의 가능한 실시형태에서, 상기 위치 정보가 타깃 현실 영역의 위치 범위 내에 있음을 검출하는 단계는, 상기 위치 정보의 지리적 좌표가 상기 타깃 현실 영역의 지리적 좌표 범위 내에 있을 경우, 상기 위치 정보가 상기 타깃 현실 영역의 위치 범위 내에 있음을 검출하는 단계를 포함한다.
다른 가능한 실시형태에서, 상기 위치 정보가 타깃 현실 영역의 위치 범위 내에 있음을 검출하는 단계는, 상기 AR 기기의 위치 정보 및 실제 장면에서 상기 가상 대상의 대응하는 지리적 위치 정보에 기반하여, 상기 AR 기기와 실제 장면에서 상기 가상 대상의 대응하는 지리적 위치 사이의 거리를 결정하는 단계; 및 결정된 거리가 설정 거리 임계치보다 작은 경우, 상기 위치 정보가 상기 타깃 현실 영역의 위치 범위 내에 있다고 결정하는 단계를 포함한다. 전술한 두 가지 실시형태는 위치 정보가 타깃 현실 영역의 위치 범위 내에 있다는 것을 검출하는 두 가지 상이한 방법을 제공하며, 일부 실시예에서 영역을 확정하는 난이도에 따라 어느 방식을 사용할지를 결정할 수 있으며, 예컨대, 영역의 위치 좌표 범위를 미리 설정하는 것이 편리하다면, 기설정된 타깃 현실 영역의 위치 좌표 범위에 기반하여 판단하며, 그렇지 않으면, 거리에 기반하는 방식으로 판단할 수 있다.
하나의 가능한 실시형태에서, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득하는 단계는, 상기 AR 기기의 촬영 각도를 검출하는 단계; 및 상기 타깃 현실 영역 및 상기 촬영 각도와 공통으로 관련된 가상 대상의 특수 효과 데이터를 획득하는 단계를 포함한다. 위치 정보에 따라 가상 대상의 특수 효과 데이터를 획득하는 것 외에도, 또한 가상 대상의 특수 효과 데이터와 AR 기기의 촬영 각도 사이의 상관 관계를 증가하여, 가상 대상의 특수 효과 데이터와 타깃 현실 영역 사이의 관련된 밀접도를 향상시킨다.
하나의 가능한 실시형태에서, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득하는 단계는, 실제 장면에서 상기 AR 기기의 포즈 데이터를 획득하는 단계 - 상기 포즈 데이터는 위치 정보 및/또는 촬영 각도를 포함함 - ; 실제 장면에서 상기 AR 기기의 포즈 데이터, 및 실제 장면을 나타내기 위한 3차원 장면 모델에서의 상기 가상 대상의 포즈 데이터에 기반하여, 상기 타깃 현실 영역과 매칭되는 상기 가상 대상의 특수 효과 데이터를 결정하는 단계를 포함한다. 여기서, 3차원 장면 모델은 또한 실제 장면을 복원할 수 있으므로, 상기 3차원 장면 모델에 기반하여 미리 구축된 가상 대상의 포즈 데이터는, 실제 장면에서의 융합성이 더욱 우수하며, 본 발명의 실시예는 상기 3차원 장면 모델에 기반하여 미리 구축된 가상 대상의 포즈 데이터로부터, AR 기기가 실제 장면에서의 포즈 데이터와 매칭되는 가상 대상의 특수 효과 데이터를 결정함으로써, 표시되는 가상 대상의 특수 효과 데이터가 실제 장면에 더 잘 융합되도록 한다.
제2 측면에 있어서, 본 발명은 증강 현실 장면 제시 방법을 제공하며, 증강 현실(AR) 기기의 촬영 각도를 검출하는 단계; 상기 촬영 각도와 관련된 가상 대상의 특수 효과 데이터를 획득하는 단계; 상기 가상 대상의 특수 효과 데이터에 기반하여, 상기 AR 기기에 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하는 단계를 포함한다. 이러한 방법을 통해, 가상 대상은 AR 기기의 촬영 각도와 관련될 수 있으며, 가상 대상의 타입에 따라 관련된 촬영 각도를 설정할 수 있으며, 예컨대, 불꽃놀이의 특수 효과에 대해, 하늘의 별을 촬영할 때의 대응하는 각도 범위와 관련될 수 있다. 이러한 방식으로, 가상 대상을 실제 장면에 더욱 근접하도록 할 수 있으며, 인식 방식이 간단하고 효율적이다. 또한, AR 기기의 촬영 각도가 상이함에 따라, 상이한 가상 대상의 특수 효과 데이터를 획득함으로써, 동일한 AR 기기에서, 상이한 촬영 각도에서, 상이한 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하여, 증강 현실 장면 제시의 효과를 최적화한다.
제3 측면에 있어서, 본 발명은 증강 현실 데이터 제시 장치를 제공하며, 증강 현실(AR) 기기의 위치 정보를 획득하고, 제2 획득 모듈로 전송하도록 구성된 제1 획득 모듈; 상기 위치 정보가 타깃 현실 영역의 위치 범위 내에 있음을 검출하면, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득하고, 제1 표시 모듈로 전송하도록 구성된 제2 획득 모듈; 및 상기 가상 대상의 특수 효과 데이터에 기반하여, 상기 AR 기기에 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하도록 구성된 제1 표시 모듈을 포함한다.
하나의 가능한 실시형태에서, 상기 제2 획득 모듈은, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득할 경우, 실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 내에 있는 가상 대상의 특수 효과 데이터를 획득하는 것; 및, 실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 밖에 있는 가상 대상의 특수 효과 데이터를 획득하는 것 중 적어도 하나를 실행하도록 구성된다.
하나의 가능한 실시형태에서, 상기 제2 획득 모듈은, 실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 밖에 있는 가상 대상의 특수 효과 데이터를 획득할 경우, 실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 밖에 있고, 기설정된 조건에 부합되는 가상 대상의 특수 효과 데이터를 획득하도록 구성되고; 여기서, 상기 기설정된 조건은, 실제 장면에서 상기 가상 대상의 대응하는 지리적 위치로부터 상기 타깃 현실 영역까지의 거리가 설정 거리 범위 내에 있거나; 상기 AR 기기의 촬영 각도가 설정 각도 범위 내에 있는 것 중 적어도 하나를 포함한다.
하나의 가능한 실시형태에서, 상기 제2 획득 모듈은, 상기 위치 정보가 타깃 현실 영역의 위치 범위 내에 있을 경우, 상기 위치 정보의 지리적 좌표가 상기 타깃 현실 영역의 지리적 좌표 범위 내에 있을 경우, 상기 위치 정보가 상기 타깃 현실 영역의 위치 범위 내에 있음을 검출하도록 구성된다.
하나의 가능한 실시형태에서, 상기 제2 획득 모듈은, 상기 위치 정보가 타깃 현실 영역의 위치 범위 내에 있을 경우, 상기 AR 기기의 위치 정보 및 실제 장면에서 상기 가상 대상의 대응하는 지리적 위치 정보에 기반하여, 상기 AR 기기와 실제 장면에서 상기 가상 대상의 대응하는 지리적 위치 사이의 거리를 결정하며; 결정된 거리가 설정 거리 임계치보다 작은 경우, 상기 위치 정보가 상기 타깃 현실 영역의 위치 범위 내에 있다고 결정하도록 구성된다.
하나의 가능한 실시형태에서, 상기 제2 획득 모듈은, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득할 경우, 상기 AR 기기의 촬영 각도를 검출하며; 및 상기 타깃 현실 영역 및 상기 촬영 각도와 공통으로 관련된 가상 대상의 특수 효과 데이터를 획득하도록 구성된다.
하나의 가능한 실시형태에서, 상기 제2 획득 모듈은, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득할 경우, 실제 장면에서 상기 AR 기기의 포즈 데이터를 획득하고; 실제 장면에서 상기 AR 기기의 포즈 데이터, 및 실제 장면을 나타내기 위한 3차원 장면 모델에서의 상기 가상 대상의 포즈 데이터에 기반하여, 상기 타깃 현실 영역과 관련된 상기 가상 대상의 특수 효과 데이터를 결정하도록 구성된다.
제4 측면에 있어서, 본 발명은 증강 현실 데이터 제시 장치를 제공하며, 증강 현실(AR) 기기의 촬영 각도를 검출하고, 제3 획득 모듈로 전송하도록 구성된 검출 모듈; 상기 촬영 각도와 관련된 가상 대상의 특수 효과 데이터를 획득하고 제2 표시 모듈로 전송하도록 구성된 제3 획득 모듈; 및 상기 가상 대상의 특수 효과 데이터에 기반하여, 상기 AR 기기에 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하도록 구성된 제2 표시 모듈을 포함한다.
제5 측면에 있어서, 본 발명은 프로세서, 메모리 및 버스를 포함하는 전자 기기를 제공하며, 상기 메모리에는 상기 프로세서에서 실행 가능한 기계 판독 가능한 명령어가 저장되고, 전자 기기가 작동될 때, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하며, 상기 기계 판독 가능한 명령어는 상기 프로세서에 의해 실행될 때 전술한 제1 측면 또는 임의의 실시형태를 실행하거나, 전술한 제2 측면에 따른 증강 현실 데이터 제시 방법의 단계를 실행한다.
제6 측면에 있어서, 본 발명은 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 기록되어 있고, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때 전술한 제1 측면 또는 임의의 실시형태를 실행하거나, 전술한 제2 측면에 따른 증강 현실 데이터 제시 방법의 단계를 실행한다.
본 발명은 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램 제품을 제공하며, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 실행될 때, 상기 전자 기기 중의 프로세서는 전술한 하나 또는 복수 개의 실시예에 따른 방법을 구현한다.
본 발명에서 제공되는 증강 현실 데이터 제시 방법에 따르면, 각 타깃 현실 영역은 관련된 가상 대상을 갖고, 관련된 상기 가상 대상은 상기 타깃 현실 영역 내에 위치할 수 있으며, 타깃 현실 영역 밖에 위치할 수도 있으며, 본 발명의 실시예에서 AR 기기가 타깃 현실 영역에 위치한 후, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 표시하여, 상이한 현실 영역에서 가상 대상 표시의 개별화 요구를 만족한다.
전술한 증강 현실 데이터 제시 장치, 전자 기기, 및 컴퓨터 판독 가능한 저장 매체의 효과에 대한 설명은 전술한 증강 현실 데이터 제시 방법의 설명을 참조하며, 여기서 더이상 설명하지 않는다.
본 발명의 전술한 목적, 특징 및 장점을 더욱 명확하고 이해하기 쉽게 하기 위해, 아래에 바람직한 실시예를 제공하고, 첨부된 도면과 함께, 상세히 설명된다.
도 1은 본 발명의 실시예에서 제공한 증강 현실 데이터 제시 방법의 흐름 모식도를 도시한다.
도 2는 본 발명의 실시예에서 제공한 타깃 위치 영역 모식도를 도시한다.
도 3a는 본 발명의 실시예에서 제공한 타깃 현실 영역과의 거리가 설정 거리 범위 내에 있는 영역의 모식도를 도시한다.
도 3b는 본 발명의 실시예에서 제공한 타깃 현실 영역과의 거리가 설정 거리 범위 내에 있는 영역의 다른 모식도를 도시한다.
도 4는 본 발명의 실시예에서 제공한 촬영 각도의 모식도를 도시한다.
도 5는 본 발명의 실시예에서 제공한 다른 증강 현실 장면 제시 방법의 흐름 모식도를 도시한다.
도 6은 본 발명의 실시예에서 제공한 증강 현실 데이터 제시 장치의 아키텍처 모식도를 도시한다.
도 7은 본 발명의 실시예에서 제공한 다른 증강 현실 데이터 제시 장치를 도시한다.
도 8은 본 발명의 실시예에서 제공한 전자 기기의 구조 모식도를 도시한다.
도 9는 본 발명의 실시예에서 제공한 다른 전자 기기의 구조 모식도를 도시한다.
본 발명의 실시예의 목적, 기술적 해결수단 및 장점을 더욱 명확하게 하기 위해, 아래에, 본 발명의 실시예에서의 도면과 결합하여, 본 발명의 실시예에서의 기술적 해결수단에 대해 명확하고 완전하게 설명하며, 설명된 실시예는 본 발명의 전부 실시예가 아닌 일부 실시예일 뿐이라는 것은 명백하다. 일반적으로 본 명세서의 도면에서 설명되고 예시된 본 발명의 실시예의 구성 요소들은 다양한 상이한 구성들로 배열되고 설계될 수있다. 따라서, 첨부된 도면에서 제공되는 본 발명의 실시예들에 대한 다음의 상세한 설명은 청구된 본 발명의 범위를 한정하기 위한 것이 아니라 단지 본 발명의 선택된 실시예들을 나타낸다. 본 발명의 실시예에 기반하여, 창의적인 작업 없이 당업자에 의해 획득된 다른 모든 실시예는 본 발명의 보호 범위 내에 속한다.
본 발명은 AR 기술을 지원하는 전자 기기(휴대폰, 태블릿 및 AR 안경 등) 또는 서버, 또는 이들의 조합에 적용될 수 있으며, 본 발명이 서버에 적용될 경우, 상기 서버는 통신 기능을 가지고 카메라가 있는 다른 전자 기기와 연결될 수 있으며, 연결 방법은 유선 연결 또는 무선 연결 일 수 있으며, 무선 연결은 예를 들어 블루투스 연결, 무선 충실도(Wireless Fidelity, WIFI) 연결 등일 수 있다.
AR 기기에서 증강 현실 장면을 제시하는 것은, AR 기기에서 실제 장면에 융합된 가상 대상을 표시하는 것을 의미하며, 가상 대상의 제시 화면을 렌더링하여, 실제 장면과 융합되도록 하며, 예컨대 한 세트의 가상 다기 세트를 제시할 때, 디스플레이 효과는 실제 장면에서의 실제 바탕화면에 배치되는 것이며, 가상 대상의 제시 특수 효과와 실제 장면 이미지를 융합한 후, 융합된 디스플레이 화면을 표시하는 것이며; 어떤 제시 방식을 선택하냐는 AR 기기의 기기 타입 및 채택된 화면 제시 기술에 따라 결정되며, 예컨대, 일반적으로, AR 안경으로부터 실제 장면(이미징 후의 실제 장면 이미지가 아님)을 직접 볼 수 있으므로, AR 안경은 가상 대상의 제시 화면을 직접 렌더링하는 제시 방식을 사용할 수 있으며; 휴대폰, 태블릿 컴퓨터와 같은 모바일 단말 기기의 경우, 모바일 단말 기기에 실제 장면의 이미징 후의 화면이 표시되므로, 실제 장면 이미지와 가상 대상의 제시 특수 효과를 융합 처리하는 방식을 사용하여, 증강 현실 효과를 표시할 수 있다.
본 발명의 실시예에서, 각 타깃 현실 영역에 대해 상기 타깃 현실 영역에 표시될 수 있는 가상 대상의 특수 효과 데이터를 관련시켜, 타깃 현실 영역과 관련된 상기 가상 대상은 상기 타깃 현실 영역 내에 위치할 수 있으며, 타깃 현실 영역 밖에 위치할 수도 있으며, 상이한 타깃 현실 영역에 가상 대상을 표시하는 개별 요구를 만족시킬 수 있다.
이하에서는 본 발명의 일 실시예와 관련된 증강 현실 데이터 제시 방법에 대해 상세히 설명한다.
도 1을 참조하면, 본 발명의 실시예에서 제공한 증강 현실 데이터 제시 방법의 흐름 모식도이고, 하기 몇 개의 단계를 포함한다.
단계 S101에 있어서, 증강 현실(AR) 기기의 위치 정보를 획득한다.
단계 S102에 있어서, 위치 정보가 타깃 현실 영역의 위치 범위 내에 위치한 것을 검출하면, 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득한다.
단계 S103에 있어서, 가상 대상의 특수 효과 데이터에 기반하여, AR 기기에 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시한다.
AR 기기의 위치 정보가 타깃 현실 영역의 위치 범위 내에 있음을 검출하기 위해, 다음 방법 중 어느 하나를 실행할 수 있다.
방법 1에 있어서, 위치 정보의 지리적 좌표가 타깃 현실 영역의 지리적 좌표 범위 내에 있으면, 위치 정보가 타깃 현실 영역의 위치 범위 내에 있음을 검출한다.
일부 실시예에서, 타깃 현실 영역의 지리적 좌표 범위를 미리 저장하거나 미리 설정한 후, AR 기기의 위치 정보에 대응하는 지리적 좌표가 타깃 현실 영역의 지리적 좌표 범위 내에 있는지 여부를 검출할 수 있으며, 만약 있으면, AR 기기의 위치 정보가 타깃 현실 영역의 위치 범위 내에 있는 것으로 결정하며, 있지 않으면, AR 기기의 위치 정보가 타깃 현실 영역의 위치 범위 내에 있지 않는 것으로 결정한다.
여기서, 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터는, 상기 타깃 현실 영역 내의 AR 기기에 있을 수 있으며, 가상 대상이 실제로 융합되는 실제 장면 위치는 상기 타깃 현실 영역에 반드시 있어야 하는 것이 아니며, 예컨대, 어떤 건물의 지붕에서는 반대편 건물의 지붕에 있는 가상 대상의 특수 효과 화면을 볼 수 있다. AR 기기의 위치 정보가 타깃 현실 영역의 위치 범위 내에 있지 않으면, 상기 AR 기기에는 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터가 제시되지 않으며, 예컨대, AR 기기에는 원명원 유적지에 진입한 후, 복원된 원명원의 특수 효과 화면이 제시될 수 있으며, 상기 원명원 유적지 영역 내에 위치하지 않은 AR 기기인 경우, 복원된 원명원의 특수 효과 화면은 제시되지 않는다.
방법 2에 있어서, AR 기기의 위치 정보 및 가상 대상이 실제 장면에서의 대응하는 지리적 위치 정보에 기반하여, AR 기기와 가상 대상이 실제 장면에서의 대응하는 지리적 위치 사이의 거리를 결정한 다음, 결정된 거리가 설정 거리보다 작은 경우, 위치 정보가 타깃 현실 영역의 위치 범위 내에 있음을 결정한다.
전술한 방법 2는 가상 대상이 타깃 현실 영역 내에 위치한 상황에 적용될 수 있으며, 여기서, 타깃 현실 영역은 가상 대상의 실제 장면에서의 대응하는 지리적 위치를 중심으로, 설정 거리를 반경으로 하는 영역을 의미하며, AR 기기의 위치 정보가 타깃 현실 영역 내에 있는지 여부를 검출하는 것은, AR 기기의 위치와 가상 대상 사이의 거리가 설정 거리보다 작은지를 검출하는 것으로 이해할 수 있다.
상기 방법은 AR 기기와 가상 대상이 실제 장면에서의 지리적 위치 사이의 거리에 기반하여, 직접 AR 기기에 상기 가상 대상을 제시할지 여부를 판단하는 방식을 제공하며, AR 기기의 지리적 위치 좌표 정보 및 가상 대상이 실제 장면에서의 대응하는 지리적 위치 좌표 정보를 사용한다.
하나의 가능한 실시형태에서, 타깃 현실 영역과 관련된 가상 대상은 가상 물체, 소리, 및 냄새 중 하나 또는 복수 개일 수 있다.
본 발명의 일 예에서, 타깃 실제 장면과 관련된 가상 대상의 특수 효과 데이터를 획득하는 것은, 실제 장면에서 대응하는 지리적 위치 영역이 타깃 현실 영역의 위치 범위 내에 있는 가상 대상의 특수 효과 데이터(제1 가상 대상의 특수 효과 데이터라고 함)를 획득하는 것; 및 실제 장면에서 대응하는 지리적 위치가 타깃 실제 장면 영역의 위치 범위 밖에 있는 가상 대상의 특수 효과 데이터(제2 가상 대상의 특수 효과 데이터라고 함)를 획득하는 것 중 적어도 하나이다.
여기서, 획득된 타깃 실제 장면과 관련된 가상 대상의 특수 효과 데이터가 전술한 제1 가상 대상의 특수 효과 데이터 및 전술한 제2 가상 대상의 특수 효과 데이터를 동시에 포함하는 경우, 타깃 실제 장면과 관련된 가상 대상의 특수 효과 데이터는 복수 개의 가상 대상의 특수 효과 데이터를 포함할 수 있다.
또한, 상이한 타깃 현실 영역은 동일한 가상 대상의 특수 효과 데이터와 관련될 수 있다. 예시적으로, 도 2에 도시된 바와 같이, 도 2의 실제 장면에서, 영역 A, 영역 B, 및 영역 C는 3 개의 상이한 타깃 현실 영역이며, 가상 대상의 특수 효과 데이터는 도면의 가상 물체 S의 특수 효과 데이터이다. 여기서, 가상 물체 S가 실제 장면에서 대응하는 지리적 위치는 영역 A 내에 있으며, 영역 A, 영역 B, 및 영역 C가 가상 물체 S와 모두 관련되면, AR 기기가 영역 A, 영역 B, 및 영역 C의 3 개의 타깃 현실 영역에서의 임의의 하나의 영역에 있는 경우, AR 기기에 관련된 가상 물체 S의 특수 효과 데이터를 모두 제시할 수 있다.
일부 실시예에서, 실제 장면에서 대응하는 지리적 위치가 타깃 현실 영역의 위치 범위 밖에 있는 가상 대상의 특수 효과 데이터를 획득한 경우, 실제 장면에서 대응하는 지리적 위치가 타깃 현실 영역의 위치 범위 밖에 위치하고, 기설정된 조건에 부합되는 가상 대상의 특수 효과 데이터를 획득할 수 있다.
여기서, 기설정된 조건은,
가상 대상이 실제 장면에서의 대응하는 지리적 위치로부터 타깃 현실 영역의 거리가 설정 거리 범위 내에 있거나;
AR 기기의 촬영 각도가 설정 각도 범위 내에 있는 것 중 적어도 하나를 포함한다.
예시적으로, 도 3a에 도시된 바와 같이, 타깃 현실 영역이 도면에서 내부 원의 원형 영역이면, 타깃 현실 영역과의 거리가 설정 거리 범위 내에 있는 영역은 외부 원 및 내부 원 사이의 영역이며, 다른 예를 들어, 도 3b에 도시된 바와 같이, 타깃 현실 영역이 도면에서 직사각형 영역이면, 타깃 현실 영역과의 거리가 설정 거리 범위 내에 있는 영역은 도면에서의 음영 부분의 영역이다.
일부 실시예에서, 가상 대상은 실제 장면에 있는 타깃 현실 영역과 관련될 수 있거나, 관련되지 않을 수도 있으며, 실제 장면에 있는 타깃 현실 영역과 관련되면, AR 기기가 상기 타깃 현실 영역 내에 위치할 경우, 상기 가상 대상의 특수 효과 데이터를 제시할 수 있으며, 실제 장면에 있는 타깃 현실 영역과 관련되지 않으면, AR 기기가 상기 타깃 현실 영역 내에 위치할 경우, 상기 가상 대상의 특수 효과 데이터를 제시하지 않을 수 있다.
다른 가능한 실시형태에서, 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득할 때, 또한 AR 기기의 촬영 각도를 먼저 검출한 다음, 타깃 현실 영역 및 촬영 각도와 공통으로 관련된 가상 대상의 특수 효과 데이터를 획득할 수 있다.
일부 실시예에서, 각각의 가상 대상의 특수 효과 데이터는 촬영 각도 범위를 미리 바인딩할 수 있으며, 타깃 현실 영역 및 촬영 각도와 공통으로 관련된 가상 대상의 특수 효과 데이터를 획득하는 단계는, 실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 내에 있고, 미리 바인딩된 촬영 각도 범위가 AR 기기의 촬영 각도를 포함하는 가상 대상의 특수 효과 데이터를 획득하는 단계를 포함할 수 있다.
예시적인 응용 장면은 도 4에 도시된 바와 같으며, 도 4의 가상 대상이 실제 장면에서의 대응하는 지리적 위치 및 AR 기기의 위치 정보는 동일한 타깃 현실 영역 내에 있으며, AR 기기의 촬영 각도가 가상 대상의 미리 바인딩된 촬영 각도 범위 내에 있으면, 이 경우, AR 기기 표시의 증강 현실 데이터에는 가상 대상의 특수 효과 데이터가 포함된다.
여기서, AR 기기의 촬영 포즈 데이터는 다양한 방식을 통해 획득될 수 있으며, 예컨대, AR 기기에 검출 위치의 포지셔닝 부재 및 촬영 각도를 검출하는 각속도 센서가 장착된 경우, 포지셔닝 부재 및 각속도 센서를 통해 AR 기기의 촬영 포즈 데이터를 결정할 수 있으며; AR 기기에 카메라와 같은 이미지 수집 부재가 장착된 경우, 카메라에 의해 수집된 실제 장면 이미지를 통해 촬영 각도를 결정할 수 있다.
전술한 각속도 센서는, 예컨대, 자이로 스코프, 관성 측정 유닛(Inertial Measurement Unit, IMU) 등을 포함할 수 있으며; 전술한 포지셔닝 부재는, 예컨대, 위성항법 시스템(Global Positioning System, GPS), 글로벌 내비게이션 새틀라이트 시스템(Global Navigation Satellite System, GLONASS) 무선 충실도(Wireless Fidelity, WiFi) 포시셔닝 기술을 포함하는 포지셔닝 부재를 포함할 수 있다.
하나의 가능한 실시형태에서, 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득하며, AR 기기가 실제 장면에서의 포즈 데이터를 먼저 획득한 다음, AR 기기가 실제 장면에서의 포즈 데이터, 및 실제 장면을 나타내기 위한 3차원 장면 모델에서의 상기 가상 대상의 포즈 데이터에 기반하여, 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 결정할 수 있다.
여기서, AR 기기의 촬영 포즈 데이터, 및 사전 설정된 실제 장면을 나타내기 위한 3차원 장면 모델에서의 상기 가상 대상의 포즈 데이터에 기반하여, 가상 대상이 실제 장면에서의 제시 특수 효과 데이터를 결정하며, 여기서, 3차원 장면 모델이 실제 장면을 나타낼 수 있으므로, 상기 3차원 장면 모델에 의해 구축된 가상 대상의 포즈 데이터에 기반하여 실제 장면에 더 잘 융합되어, 3차원 장면 모델에서 상기 가상 대상의 포즈 데이터로부터, AR 기기의 포즈 데이터와 매칭되는 제시 특수 효과 데이터를 결정하며, 즉 AR 기기에 현실감 있는 증강 현실 장면의 효과를 표시할 수 있다.
여기서, 실제 장면을 나타내기 위한 3차원 장면 모델에서의 상기 가상 대상의 포즈 데이터는 가상 대상의 3차원 장면 모델에서의 위치 정보(예를 들어, 좌표일 수 있으며, 상기 좌표는 유일함) 및/또는 대응하는 포즈 정보를 포함할 수 있다. 가상 대상의 특수 효과 데이터는 가상 대상의 제시 상태일 수 있으며, 예를 들어, 가상 대상은 정적 또는 동적으로 표시된 가상 물체, 특정 소리 등일 수 있다. 가상 대상이 동적 대상인 경우, 가상 대상은 3차원 장면에서의 포즈 데이터는 복수 그룹의 위치 정보(예컨대, 지리적 위치 좌표 정보) 및/또는 대응하는 포즈 정보(가상 대상의 표시 포즈)를 포함할 수 있다. 하나의 장면에서, 이 복수 그룹의 위치 정보 및/또는 포즈 정보는 한 단락의 애니메이션 비디오 데이터에 대응할 수 있으며, 각 그룹의 위치 정보 및/또는 포즈 정보는 상기 단락의 애니메이션 비디오 데이터에서의 한 프레임의 화면에 대응할 수 있다.
가상 대상의 특수 효과 데이터의 렌더링을 용이하게 하고, 3차원 장면 모델에서의 가상 대상의 표시된 특수 효과를 복원하기 위해, 가상 대상의 표시 특수 효과 및 3차원 장면 모델을 포함하는 표시 화면에서의 3차원 장면 모델을 투명 처리할 수 있으며, 이러한 방식으로, 후속적인 렌더링 단계에서, 가상 대상의 표시 특수 효과 및 투명화 처리 후의 3차원 장면 모델을 포함하는 표시 화면을 렌더링할 수 있으며, 실제 장면과 3차원 장면 모델을 대응시키며, 이런 방식으로, 현실 세계에서 3차원 장면 모델에서의 가상 대상의 표시된 특수 효과를 얻을 수 있다.
일부 실시예에서, 실제 장면에서의 AR 기기의 포즈 데이터를 결정한 후, 가상 대상이 3차원 장면 모델에서의 복수 그룹의 위치 정보(예컨대, 지리적 위치 좌표 정보) 및/또는 대응하는 포즈 정보(가상 대상의 표시 포즈)에서, AR 기기의 포즈 데이터와 매칭되는 가상 대상의 한 그룹의 위치 정보 및/또는 포즈 정보를 결정할 수 있다. 예컨대, 구축된 건물 모델 장면에서 가상 대상의 복수 그룹의 위치 정보 및 포즈 정보에서, AR 기기의 포즈 데이터와 매칭되는 가상 대상의 한 그룹의 위치 및 포즈를 결정한다.
가상 대상의 특수 효과 데이터에 기반하여, 증강 현실(AR) 기기에 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하는 경우, AR 기기의 타입이 상이하고, 가상 대상의 특수 효과 데이터의 타입이 상이한데 따라, 각 특수 효과 데이터를 각각 표시하거나, 다양한 특수 효과 데이터를 결합하여 표시할 수 있다.
(1) 가상 대상에 소리가 포함된 경우, 가상 대상의 특수 효과 데이터는 고정 주파수의 소리일 수 있으며, 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하는 것은, 타깃 현실 영역과 관련된 소리를 재생하는 것일 수 있다.
예를 들어, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터가 특정 단락의 소리인 경우, AR 기기의 위치 정보가 타깃 현실 영역의 위치 범위에 있음을 검출할 경우, 상기 타깃 현실 영역과 관련된 소리를 획득하고, AR 기기에서 상기 단락의 소리를 재생할 수 있다.
(2) 가상 대상이 실제 장면의 냄새를 포함하는 경우, AR 기기의 위치 정보가 타깃 현실 영역의 위치 범위에 있음을 인식한 후, 상기 타깃 현실 영역과 관련된 냄새의 타입, 및 냄새를 방출하는 시간 길이를 결정하고, 결정된 냄새의 타입, 및 냄새를 방출하는 시간 길이를 제3자 냄새 방출 제어 기기로 송신하고, 제3자 냄새 방출 제어 기기에 지시하여 상기 시간 길이에서 대응하는 타입의 냄새를 방출한다.
(3) 가상 대상이 가상 물체의 제시 화면을 포함하는 경우, 가상 대상의 특수 효과 데이터는 가상 물체의 제시 화면일 수 있으며, 상기 제시 화면은 정적이거나 동적일 수 있으며, 증강 현실 데이터는 증강 현실 이미지를 포함할 수 있다. AR 기기 타입이 상이함에 따라, 증강 현실 이미지는 상이한 제시 방법에 대응할 수 있다.
하나의 가능한 제시 방법은, AR 안경에 적용될 수 있으며, 미리 설정된 가상 물체의 실제 장면에서의 위치 정보에 기반하여, AR 안경 렌즈의 대응하는 위치에 가상 물체를 표시할 수 있다. 사용자가 가상 물체를 표시하는 AR 안경 렌즈를 통해 실제 장면을 보는 경우, 가상 물체의 실제 장면에서의 위치에서 가상 물체를 볼 수 있다.
다른 하나의 제시 방법은, 휴대폰, 태블릿 컴퓨터와 같은 전자 장치에 적용될 수 있으며, 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하는 경우, AR 기기가 실제 장면에 기반하여 실제 장면 이미지를 생성한 후, AR 기기에 표시된 증강 현실 데이터는 실제 장면 이미지에 가상 물체의 이미지를 중첩한 후의 이미지일 수 있다.
본 발명은 또한 다른 증강 현실 장면 제시 방법을 제공하며, 도 5에 도시된 바와 같이, 본 발명에서 제공하는 다른 증강 현실 장면 제시 방법의 흐름 모식도이며, 하기 몇 개의 단계를 포함한다.
단계 S501에 있어서, 증강 현실(AR) 기기의 촬영 각도를 검출한다.
여기서, AR 기기에는 각속도 센서가 내장되어 있을 수 있고, 이 경우 AR 기기의 각속도 센서에 기반하여 촬영 각도를 획득할 수 있으며, 각속도 센서는, 예컨대, 자이로 스코프, 관성 측정 유닛(Inertial Measurement Unit, IMU) 등을 포함할 수 있다.
또는, AR 기기에 카메라와 같은 이미지 수집 부재가 장착된 경우, 카메라에 의해 수집된 실제 장면 이미지를 통해 촬영 각도를 결정할 수 있다.
단계 S502에 있어서, 촬영 각도와 관련된 가상 대상의 특수 효과 데이터를 획득한다.
일부 실시예에서, 각각의 가상 대상의 특수 효과 데이터에 촬영 범위를 미리 설정할 수 있고, 촬영 각도와 관련된 가상 대상의 특수 효과 데이터를 획득할 경우, 각각의 가상 대상의 특수 효과 데이터에 의해 미리 설정된 촬영 범위에 기반하여, 대응하는 미리 설정된 촬영 범위에서 AR 기기의 촬영 각도를 포함하는 타깃 가상 대상의 특수 효과 데이터를 결정할 수 있으며, 상기 타깃 가상 대상의 특수 효과 데이터를 AR 기기의 촬영 각도와 관련된 가상 대상의 특수 효과 데이터로 결정한다. 예시적으로, 동일한 벽의 상이한 높이의 위치에 상이한 가상 초상화를 배치할 수 있으며, 각 가상 초상화는 미리 설정된 촬영 범위를 가질 수 있으며, 예를 들어, 가상 초상화 A의 미리 설정된 촬영 범위는 30°~ 60°이며, AR 기기의 촬영 각도가 40°이면, 가상 초상화 A를 상기 촬영 각도와 관련된 가상 대상의 특수 효과 데이터로 결정할 수 있다.
단계 S503에 있어서, 가상 대상의 특수 효과 데이터에 기반하여, AR 기기에 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시한다.
이 단계에서, 가상 대상의 특수 효과 데이터에 기반하여, AR 기기에 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하는 방법은 전술한 단계 103의 방법과 동일하며, 여기서 더이상 설명하지 않는다.
본 분야의 기술자는 본 발명의 실시예의 상기 방법에서, 각 단계의 기록 순서는 엄격한 실행 순서를 의미하지 않고 실시 과정에 대한 임의의 제한을 구성하며, 각 단계의 실행 순서는 그 기능 및 가능한 내부 논리에 의해 결정된다.
동일한 구성에 기반하여, 본 발명의 실시예는 또한 증강 현실 데이터 제시 장치를 제공하며, 도 6을 참조하면, 본 발명의 실시예에서 제공된 증강 현실 데이터 제시 장치의 아키텍처 모식도이며, 제1 획득 모듈(601) 제2 획득 모듈(602) 및 제1 표시 모듈(603)을 포함하며, 여기서,
제1 획득 모듈(601)은, 증강 현실(AR) 기기의 위치 정보를 획득하고, 제2 획득 모듈(602)로 전송하도록 구성되고;
제2 획득 모듈(602)은, 상기 위치 정보가 타깃 현실 영역의 위치 범위 내에 있음을 검출하면, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득하고, 제1 표시 모듈(603)로 전송하도록 구성되며;
제1 표시 모듈(603)은, 상기 가상 대상의 특수 효과 데이터에 기반하여, 상기 AR 기기에 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하도록 구성된다.
하나의 가능한 실시형태에서, 상기 제2 획득 모듈(602)은, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득할 경우,
실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 내에 있는 가상 대상의 특수 효과 데이터를 획득하는 것; 및,
실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 밖에 있는 가상 대상의 특수 효과 데이터를 획득하는 것 중 적어도 하나로 구성된다.
하나의 가능한 실시형태에서, 상기 제2 획득 모듈(602)은, 실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 밖에 있는 가상 대상의 특수 효과 데이터를 획득할 경우,
실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 밖에 있고, 기설정된 조건에 부합되는 가상 대상의 특수 효과 데이터를 획득하도록 구성되고;
여기서, 상기 기설정된 조건은,
실제 장면에서 상기 가상 대상의 대응하는 지리적 위치로부터 상기 타깃 현실 영역까지의 거리가 설정 거리 범위 내에 있거나;
상기 AR 기기의 촬영 각도가 설정 각도 범위 내에 있는 것 중 적어도 하나를 포함한다.
하나의 가능한 실시형태에서, 상기 제2 획득 모듈(602)은, 상기 위치 정보가 타깃 현실 영역의 위치 범위 내에 있을 경우,
상기 위치 정보의 지리적 좌표가 상기 타깃 현실 영역의 지리적 좌표 범위 내에 있을 경우, 상기 위치 정보가 상기 타깃 현실 영역의 위치 범위 내에 있음을 검출하도록 구성된다.
하나의 가능한 실시형태에서, 상기 제2 획득 모듈(602)은, 상기 위치 정보가 타깃 현실 영역의 위치 범위 내에 있을 경우,
상기 AR 기기의 위치 정보 및 실제 장면에서 상기 가상 대상의 대응하는 지리적 위치 정보에 기반하여, 상기 AR 기기와 실제 장면에서 상기 가상 대상의 대응하는 지리적 위치 사이의 거리를 결정하고;
결정된 거리가 설정 거리 임계치보다 작은 경우, 상기 위치 정보가 상기 타깃 현실 영역의 위치 범위 내에 있다고 결정하도록 구성된다.
하나의 가능한 실시형태에서, 상기 제2 획득 모듈(602)은, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득할 경우,
상기 AR 기기의 촬영 각도를 검출하고;
상기 타깃 현실 영역 및 상기 촬영 각도와 공통으로 관련된 가상 대상의 특수 효과 데이터를 획득하도록 구성된다.
하나의 가능한 실시형태에서, 상기 제2 획득 모듈(602)은, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득할 경우,
실제 장면에서 상기 AR 기기의 포즈 데이터를 획득하고;
실제 장면에서 상기 AR 기기의 포즈 데이터, 및 실제 장면을 나타내기 위한 3차원 장면 모델에서의 상기 가상 대상의 포즈 데이터에 기반하여, 상기 타깃 현실 영역과 관련된 상기 가상 대상의 특수 효과 데이터를 결정하도록 구성된다.
동일한 구성에 기반하여, 본 발명의 실시예는 또한 다른 증강 현실 데이터 제시 장치를 제공하며, 도 7을 참조하면, 본 발명의 실시예에서 제공한 증강 현실 데이터 제시 장치의 아키텍처 모식도이며, 검출 모듈(701), 제3 획득 모듈(702) 및 제2 표시 모듈(703)을 포함하며, 여기서,
검출 모듈(701)은, 증강 현실(AR) 기기의 촬영 각도를 검출하고, 제3 획득 모듈(702)로 전송하도록 구성되고;
제3 획득 모듈(702)은, 상기 촬영 각도와 관련된 가상 대상의 특수 효과 데이터를 획득하고 제2 표시 모듈(703)로 전송하도록 구성되며;
제2 표시 모듈(703)은, 상기 가상 대상의 특수 효과 데이터에 기반하여, 상기 AR 기기에 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하도록 구성된다.
일부 실시예에 있어서, 본 발명의 실시예에서 제공한 장치가 갖고 있는 기능 또는 포함하는 모듈은 전술한 방법 실시예에서 설명한 방법을 실행하도록 구성될 수 있고, 그 구현은 전술한 방법 실시예의 설명을 참조할 수 있으며, 간결함을 위해, 여기서 더이상 반복하여 설명하지 않는다.
동일한 기술적 개념에 기반하여, 본 발명의 실시예는 전자 기기를 제공한다. 도 8을 참조하면, 본 발명의 실시예에서 제공한 전자 기기의 구조 모식도이며, 프로세서(801) 메모리(802) 및 버스(803)를 포함한다. 여기서, 메모리(802)는 명령어를 저장하도록 구성되고, 내부 메모리(8021) 및 외부 메모리(8022)를 포함하며; 여기서, 내부 메모리(8021)는 내부 저장소라고도 지칭하며, 프로세서(801)에 작동되는 데이터, 및 하드 디스크 등 외부 메모리(8022)와 교환되는 데이터를 임시 저장하고, 프로세서(801)는 내부 메모리(8021)와 외부 메모리(8022)를 통해 데이터를 교환하고, 전자 기기(800)가 작동될 때, 프로세서(801)와 메모리(802) 사이는 버스(803)를 통해 통신하여, 프로세서(801)가 다음 단계, 즉
증강 현실(AR) 기기의 위치 정보를 획득하는 단계;
상기 위치 정보가 타깃 현실 영역의 위치 범위 내에 있음을 검출하면, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득하는 단계; 및
상기 가상 대상의 특수 효과 데이터에 기반하여, 상기 AR 기기에 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하는 단계를 구현하게 한다.
여기서, 프로세서(801)에 의해 실행되는 처리 과정은 전술한 방법의 실시예의 설명을 참조할 수 있으며, 여기서 더이상 설명하지 않는다.
동일한 기술적 개념에 기반하여, 본 발명의 실시예는 전자 기기를 제공한다. 도 9를 참조하면, 본 발명의 실시예에서 제공한 전자 기기의 구조 모식도이며, 프로세서(901) 메모리(902) 및 버스(903)를 포함한다. 여기서, 메모리(902)는 명령어를 저장하도록 구성되고, 내부 메모리(9021) 및 외부 메모리(9022)를 포함하며; 여기서, 내부 메모리(9021)는 내부 메모리라고도 지칭하며, 프로세서(901)에 작동되는 데이터, 및 하드 디스크 등 외부 메모리(9022)와 교환되는 데이터를 임시 저장하고, 프로세서(901)는 내부 메모리(9021)와 외부 메모리(9022)를 통해 데이터를 교환하고, 전자 기기(900)가 작동될 때, 프로세서(901)와 메모리(902) 사이는 버스(903)를 통해 통신하여, 프로세서(901)가 다음 단계, 즉
증강 현실(AR) 기기의 촬영 각도를 검출하는 단계;
상기 촬영 각도와 관련된 가상 대상의 특수 효과 데이터를 획득하는 단계; 및
상기 가상 대상의 특수 효과 데이터에 기반하여, 상기 AR 기기에 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하는 단계를 구현하게 한다.
여기서, 프로세서(901)에 의해 실행되는 처리 과정은 전술한 방법의 실시예의 설명을 참조할 수 있으며, 여기서 더이상 설명하지 않는다.
또한, 본 발명의 실시예는 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 기록되어 있고, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때 전술한 방법의 실시예에 따른 증강 현실 데이터 제시 방법의 단계를 실행한다.
본 발명의 실시예에서 제공한 증강 현실 데이터 제시 방법의 컴퓨터 프로그램 제품을 제공하며, 프로그램 코드가 기록된 컴퓨터 판독 가능한 저장 매체를 포함하며, 상기 프로그램 코드에 포함된 명령어는 전술한 방법의 실시예에 따른 증강 현실 데이터 제시 방법의 단계를 실행하기 위해 사용될 수 있으며, 전술한 방법의 실시예를 참조할 수 있으며, 여기서 더이상 설명하지 않는다.
당업자는 설명의 편의와 간결함을 위해 상기에서 설명된 시스템, 및 장치의 구체적인 동작 과정은 전술한 방법 실시예에서 대응되는 과정을 참조할 수 있음을 이해할 것이며, 여기서 더 이상 설명하지 않는다. 본 발명에서 제공된 몇 개의 실시예에 있어서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 한다. 전술한 장치 실시예는 다만 개략적인 것이며, 예를 들어, 상기 유닛의 분할은, 다만 논리적 기능 분할이며, 실제 구현 시 다른 분할 방식이 있을 수 있으며, 예를 들어, 복수 개의 유닛 또는 구성 요소가 다른 시스템에 결합되거나 통합될 수 있거나, 일부 특징이 무시되거나 실행되지 않을 수 있다. 또한, 나타내거나 논의된 상호간의 결합 또는 직접 결합 또는 통신 연결은, 일부 통신 인터페이스를 통해 구현되며, 장치 또는 유닛을 통한 간접 결합 또는 통신 연결은, 전기, 기계 또는 다른 형태일 수 있다.
상기 분리된 부품으로서 설명된 유닛은 물리적으로 분리되거나 분리되지 않을수 있고, 유닛으로서 디스플레이된 구성 요소는 물리적 유닛일 수 있거나 아닐수도 있으며, 또는 한 장소에 있거나, 복수 개의 네트워크 유닛에 분포될 수 있다. 실제 필요에 따라 유닛의 일부 또는 전부를 선택하여 본 실시예 방안의 목적을 구현할 수 있다.
또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 독립적인 물리적 존재일 수도 있고, 두 개 또는 두 개 이상의 유닛이 한 유닛에 통합될 수도 있다.
상기 기능이 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로 판매되거나 사용되는 경우 하나의 프로세서에 의해 실행 가능한 비휘발성 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 발명의 기술 방안, 즉 종래 기술에 기여하는 부분 또는 상기 기술 방안의 일부는 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 발명의 각 실시예의 상기 방법의 전부 또는 일부 단계를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술한 저장 매체는 U 디스크, 모바일 디스크, 판독 전용 메모리(Read-Only Memory, ROM) 랜덤 액세스 메모리(Random Access Memory, RAM) 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
이상은, 본 발명의 실시형태에 불과하지만, 본 발명의 보호 범위는 이에 한정되지 않으며, 본 기술분야의 통상의 기술자라면 본 발명에 개시된 기술적 범위 내에서, 변경 또는 교체를 용이하게 생각할 수 있으며, 모두 본 발명의 보호범위 내에 속해야 한다. 따라서, 본 발명의 보호 범위는 특허 청구범위의 보호 범위를 기준으로 해야 한다.
본 발명은 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체에 관한 것으로, 상기 증강 현실 데이터 제시 방법은, 증강 현실(AR) 기기의 위치 정보를 획득하는 단계; 상기 위치 정보가 타깃 현실 영역의 위치 범위 내에 있음을 검출하면, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득하는 단계; 및 상기 가상 대상의 특수 효과 데이터에 기반하여, 상기 AR 기기에 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하는 단계를 포함한다. 이러한 방법을 통해, 상이한 위치 정보의 AR 기기에서, 상이한 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하여, 증강 현실 장면의 표시 효과를 향상시킬 수 있다.

Claims (19)

  1. 증강 현실 데이터 제시 방법으로서,
    증강 현실(AR) 기기의 위치 정보를 획득하는 단계;
    상기 위치 정보가 타깃 현실 영역의 위치 범위 내에 있음을 검출하면, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득하는 단계; 및
    상기 가상 대상의 특수 효과 데이터에 기반하여, 상기 AR 기기에 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하는 단계를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 방법.
  2. 제1항에 있어서,
    상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득하는 단계는,
    실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 내에 있는 가상 대상의 특수 효과 데이터를 획득하는 단계; 및,
    실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 밖에 있는 가상 대상의 특수 효과 데이터를 획득하는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 방법.
  3. 제2항에 있어서,
    상기 실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 밖에 있는 가상 대상의 특수 효과 데이터를 획득하는 단계는,
    실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 밖에 있고, 기설정된 조건에 부합되는 가상 대상의 특수 효과 데이터를 획득하는 단계를 포함하고;
    상기 기설정된 조건은,
    실제 장면에서 상기 가상 대상의 대응하는 지리적 위치로부터 상기 타깃 현실 영역까지의 거리가 설정 거리 범위 내에 있거나;
    상기 AR 기기의 촬영 각도가 설정 각도 범위 내에 있는 것 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 위치 정보가 타깃 현실 영역의 위치 범위 내에 있음을 검출하는 단계는,
    상기 위치 정보의 지리적 좌표가 상기 타깃 현실 영역의 지리적 좌표 범위 내에 있을 경우, 상기 위치 정보가 상기 타깃 현실 영역의 위치 범위 내에 있음을 검출하는 단계를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 방법.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 위치 정보가 타깃 현실 영역의 위치 범위 내에 있음을 검출하는 단계는,
    상기 AR 기기의 위치 정보 및 실제 장면에서 상기 가상 대상의 대응하는 지리적 위치 정보에 기반하여, 상기 AR 기기와 실제 장면에서 상기 가상 대상의 대응하는 지리적 위치 사이의 거리를 결정하는 단계; 및
    결정된 거리가 설정 거리 임계치보다 작은 경우, 상기 위치 정보가 상기 타깃 현실 영역의 위치 범위 내에 있다고 결정하는 단계를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 방법.
  6. 제1항에 있어서,
    상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득하는 단계는,
    상기 AR 기기의 촬영 각도를 검출하는 단계; 및
    상기 타깃 현실 영역 및 상기 촬영 각도와 공통으로 관련된 가상 대상의 특수 효과 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 방법.
  7. 제1항 또는 제6항 중 어느 한 항에 있어서,
    상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득하는 단계는,
    실제 장면에서 상기 AR 기기의 포즈 데이터를 획득하는 단계; 및
    실제 장면에서 상기 AR 기기의 포즈 데이터, 및 실제 장면을 나타내기 위한 3차원 장면 모델에서의 상기 가상 대상의 포즈 데이터에 기반하여, 상기 타깃 현실 영역과 관련된 상기 가상 대상의 특수 효과 데이터를 결정하는 단계를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 방법.
  8. 증강 현실 장면 제시 방법으로서,
    증강 현실(AR) 기기의 촬영 각도를 검출하는 단계;
    상기 촬영 각도와 관련된 가상 대상의 특수 효과 데이터를 획득하는 단계;
    상기 가상 대상의 특수 효과 데이터에 기반하여, 상기 AR 기기에 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하는 단계를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 방법.
  9. 증강 현실 데이터 제시 장치로서,
    증강 현실(AR) 기기의 위치 정보를 획득하고, 제2 획득 모듈로 전송하도록 구성된 제1 획득 모듈;
    상기 위치 정보가 타깃 현실 영역의 위치 범위 내에 있음을 검출하면, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득하고, 제1 표시 모듈로 전송하도록 구성된 제2 획득 모듈; 및
    상기 가상 대상의 특수 효과 데이터에 기반하여, 상기 AR 기기에 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하도록 구성된 제1 표시 모듈을 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 장치.
  10. 제9항에 있어서,
    상기 제2 획득 모듈은, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득할 경우,
    실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 내에 있는 가상 대상의 특수 효과 데이터를 획득하는 것; 및,
    실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 밖에 있는 가상 대상의 특수 효과 데이터를 획득하는 것 중 적어도 하나를 실행하도록 구성된 것을 특징으로 하는 증강 현실 데이터 제시 장치.
  11. 제10항에 있어서,
    상기 제2 획득 모듈은, 실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 밖에 있는 가상 대상의 특수 효과 데이터를 획득할 경우,
    실제 장면에서 대응하는 지리적 위치가 상기 타깃 현실 영역의 위치 범위 밖에 있고, 기설정된 조건에 부합되는 가상 대상의 특수 효과 데이터를 획득하는 단계를 포함하고;
    상기 기설정된 조건은,
    실제 장면에서 상기 가상 대상의 대응하는 지리적 위치로부터 상기 타깃 현실 영역까지의 거리가 설정 거리 범위 내에 있거나;
    상기 AR 기기의 촬영 각도가 설정 각도 범위 내에 있는 것 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 장치.
  12. 제10항 내지 제13항 중 어느 한 항에 있어서,
    상기 제2 획득 모듈은, 상기 위치 정보가 타깃 현실 영역의 위치 범위 내에 있을 경우,
    상기 위치 정보의 지리적 좌표가 상기 타깃 현실 영역의 지리적 좌표 범위 내에 있을 경우, 상기 위치 정보가 상기 타깃 현실 영역의 위치 범위 내에 있음을 검출하도록 구성된 것을 특징으로 하는 증강 현실 데이터 제시 장치.
  13. 제10항 내지 제12항 중 어느 한 항에 있어서,
    상기 제2 획득 모듈은, 상기 위치 정보가 타깃 현실 영역의 위치 범위 내에 있을 경우,
    상기 AR 기기의 위치 정보 및 실제 장면에서 상기 가상 대상의 대응하는 지리적 위치 정보에 기반하여, 상기 AR 기기와 실제 장면에서 상기 가상 대상의 대응하는 지리적 위치 사이의 거리를 결정하고;
    결정된 거리가 설정 거리 임계치보다 작은 경우, 상기 위치 정보가 상기 타깃 현실 영역의 위치 범위 내에 있다고 결정하도록 구성된 것을 특징으로 하는 증강 현실 데이터 제시 장치.
  14. 제9항에 있어서,
    상기 제2 획득 모듈은, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득할 경우,
    상기 AR 기기의 촬영 각도를 검출하고;
    상기 타깃 현실 영역 및 상기 촬영 각도와 공통으로 관련된 가상 대상의 특수 효과 데이터를 획득하도록 구성된 것을 특징으로 하는 증강 현실 데이터 제시 장치.
  15. 제9항 내지 제14항 중 어느 한 항에 있어서,
    상기 제2 획득 모듈은, 상기 타깃 현실 영역과 관련된 가상 대상의 특수 효과 데이터를 획득할 경우,
    실제 장면에서 상기 AR 기기의 포즈 데이터를 획득하고;
    실제 장면에서 상기 AR 기기의 포즈 데이터, 및 실제 장면을 나타내기 위한 3차원 장면 모델에서의 상기 가상 대상의 포즈 데이터에 기반하여, 상기 타깃 현실 영역과 관련된 상기 가상 대상의 특수 효과 데이터를 결정하도록 구성된 것을 특징으로 하는 증강 현실 데이터 제시 장치.
  16. 증강 현실 데이터 제시 장치로서,
    증강 현실(AR) 기기의 촬영 각도를 검출하고, 제3 획득 모듈로 전송하도록 구성된 검출 모듈;
    상기 촬영 각도와 관련된 가상 대상의 특수 효과 데이터를 획득하고 제2 표시 모듈로 전송하도록 구성된 제3 획득 모듈; 및
    상기 가상 대상의 특수 효과 데이터에 기반하여, 상기 AR 기기에 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 표시하도록 구성된 제2 표시 모듈을 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 장치.
  17. 전자 기기로서,
    프로세서, 메모리 및 버스를 포함하며, 상기 메모리에는 상기 프로세서에서 실행 가능한 기계 판독 가능한 명령어가 저장되고, 전자 기기가 작동될 때, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하며, 상기 기계 판독 가능한 명령어는 상기 프로세서에 의해 실행될 때 제1항 내지 제7항 중 어느 한 항에 따른 증강 현실 데이터 제시 방법, 또는 제8항에 따른 증강 현실 데이터 제시 방법의 단계를 구현하는 것을 특징으로 하는 전자 기기.
  18. 컴퓨터 판독 가능한 저장 매체로서,
    상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 기록되어 있고, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때 제1항 내지 제7항 중 어느 한 항에 따른 증강 현실 데이터 제시 방법, 또는 제8항에 따른 증강 현실 데이터 제시 방법의 단계를 실행하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
  19. 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 판독 가능한 코드가 전자 기기에서 실행될 때, 상기 전자 기기 중의 프로세서는 제1항 내지 제7항 중 어느 한 항에 따른 증강 현실 데이터 제시 방법, 또는 제8항에 따른 증강 현실 장면 제시 방법을 구현하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
KR1020207037547A 2019-10-15 2020-08-28 증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체 KR102414587B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910979920.5 2019-10-15
CN201910979920.5A CN110716646A (zh) 2019-10-15 2019-10-15 一种增强现实数据呈现方法、装置、设备及存储介质
PCT/CN2020/112280 WO2021073278A1 (zh) 2019-10-15 2020-08-28 一种增强现实数据呈现方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
KR20210046592A true KR20210046592A (ko) 2021-04-28
KR102414587B1 KR102414587B1 (ko) 2022-06-29

Family

ID=69212607

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207037547A KR102414587B1 (ko) 2019-10-15 2020-08-28 증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체

Country Status (5)

Country Link
KR (1) KR102414587B1 (ko)
CN (1) CN110716646A (ko)
SG (1) SG11202013125WA (ko)
TW (1) TWI782332B (ko)
WO (1) WO2021073278A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110716646A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、设备及存储介质
CN113262478B (zh) * 2020-02-17 2023-08-25 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
CN111538920A (zh) * 2020-03-24 2020-08-14 天津完美引力科技有限公司 内容的呈现方法及装置、系统、存储介质、电子装置
CN111627117B (zh) * 2020-06-01 2024-04-16 上海商汤智能科技有限公司 画像展示特效的调整方法、装置、电子设备及存储介质
CN111625102A (zh) * 2020-06-03 2020-09-04 上海商汤智能科技有限公司 一种建筑物展示方法及装置
CN111639613B (zh) * 2020-06-04 2024-04-16 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN111638797A (zh) * 2020-06-07 2020-09-08 浙江商汤科技开发有限公司 一种展示控制方法及装置
CN111569414B (zh) * 2020-06-08 2024-03-29 浙江商汤科技开发有限公司 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
CN111665945B (zh) * 2020-06-10 2023-11-24 浙江商汤科技开发有限公司 一种游览信息展示方法及装置
CN111815779A (zh) * 2020-06-29 2020-10-23 浙江商汤科技开发有限公司 对象展示方法及装置、定位方法及装置以及电子设备
CN111833457A (zh) * 2020-06-30 2020-10-27 北京市商汤科技开发有限公司 图像处理方法、设备及存储介质
CN112150318A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 增强现实信息交互方法、装置、电子设备和存储介质
CN112148188A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 增强现实场景下的交互方法、装置、电子设备及存储介质
CN112215965B (zh) * 2020-09-30 2024-02-20 杭州灵伴科技有限公司 基于ar的场景导览方法、设备以及计算机可读存储介质
CN112802097A (zh) * 2020-12-30 2021-05-14 深圳市慧鲤科技有限公司 一种定位方法、装置、电子设备及存储介质
CN112817454A (zh) * 2021-02-02 2021-05-18 深圳市慧鲤科技有限公司 一种信息展示方法、装置、相关设备及存储介质
CN113359984A (zh) * 2021-06-03 2021-09-07 北京市商汤科技开发有限公司 瓶体的特效呈现方法、装置、计算机设备及存储介质
CN113359983A (zh) * 2021-06-03 2021-09-07 北京市商汤科技开发有限公司 增强现实数据呈现方法、装置、电子设备及存储介质
CN113393516B (zh) * 2021-06-17 2022-05-24 贝壳找房(北京)科技有限公司 用于打散ar场景中的虚拟物体的方法和装置
CN114401442B (zh) * 2022-01-14 2023-10-24 北京字跳网络技术有限公司 视频直播及特效控制方法、装置、电子设备及存储介质
CN114390214B (zh) * 2022-01-20 2023-10-31 脸萌有限公司 一种视频生成方法、装置、设备以及存储介质
CN114390215B (zh) * 2022-01-20 2023-10-24 脸萌有限公司 一种视频生成方法、装置、设备以及存储介质
CN115002442A (zh) * 2022-05-24 2022-09-02 北京字节跳动网络技术有限公司 一种图像展示方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130037634A (ko) * 2011-10-06 2013-04-16 백유경 사용자에게 여행 장소와 연관된 대중 문화 컨텐트를 제공하기 위한 방법, 시스템, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
KR20180020725A (ko) * 2016-08-19 2018-02-28 한국전자통신연구원 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법
KR20190008941A (ko) * 2016-05-20 2019-01-25 매직 립, 인코포레이티드 사용자 인터페이스 메뉴의 콘텍추얼 인식

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8502835B1 (en) * 2009-09-02 2013-08-06 Groundspeak, Inc. System and method for simulating placement of a virtual object relative to real world objects
WO2013032955A1 (en) * 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
JP6056178B2 (ja) * 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US20140168264A1 (en) * 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
EP2983138A4 (en) * 2013-04-04 2017-02-22 Sony Corporation Display control device, display control method and program
CN104571532B (zh) * 2015-02-04 2018-01-30 网易有道信息技术（北京）有限公司 一种实现增强现实或虚拟现实的方法及装置
TWI572899B (zh) * 2015-04-07 2017-03-01 南臺科技大學 擴充實境成像方法及其裝置
CN106445088B (zh) * 2015-08-04 2020-05-22 上海宜维计算机科技有限公司 现实增强的方法及系统
TWI574223B (zh) * 2015-10-26 2017-03-11 行政院原子能委員會核能研究所 運用擴增實境技術之導航系統
TWM521784U (zh) * 2015-12-14 2016-05-11 Nat Taichung University Science & Technology 結合體感操作之虛實整合購物系統
US20180095635A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
CN107529091B (zh) * 2017-09-08 2020-08-04 广州华多网络科技有限公司 视频剪辑方法及装置
CN107728782A (zh) * 2017-09-21 2018-02-23 广州数娱信息科技有限公司 交互方法及交互系统、服务器
CN109840947B (zh) * 2017-11-28 2023-05-09 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
US20190251750A1 (en) * 2018-02-09 2019-08-15 Tsunami VR, Inc. Systems and methods for using a virtual reality device to emulate user experience of an augmented reality device
CN110716646A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130037634A (ko) * 2011-10-06 2013-04-16 백유경 사용자에게 여행 장소와 연관된 대중 문화 컨텐트를 제공하기 위한 방법, 시스템, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
KR20190008941A (ko) * 2016-05-20 2019-01-25 매직 립, 인코포레이티드 사용자 인터페이스 메뉴의 콘텍추얼 인식
KR20180020725A (ko) * 2016-08-19 2018-02-28 한국전자통신연구원 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법

Also Published As

Publication number Publication date
KR102414587B1 (ko) 2022-06-29
WO2021073278A1 (zh) 2021-04-22
TW202117502A (zh) 2021-05-01
TWI782332B (zh) 2022-11-01
SG11202013125WA (en) 2021-05-28
CN110716646A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
KR102414587B1 (ko) 증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체
US20220051022A1 (en) Methods and apparatus for venue based augmented reality
US20180286098A1 (en) Annotation Transfer for Panoramic Image
JP5383930B2 (ja) 端末装置の視野に含まれている客体に関する情報を提供するための方法、端末装置及びコンピュータ読み取り可能な記録媒体
US20210118236A1 (en) Method and apparatus for presenting augmented reality data, device and storage medium
US20190235622A1 (en) Augmented Reality Display Method and Head-Mounted Display Device
US20140160170A1 (en) Provision of an Image Element on a Display Worn by a User
US20160063671A1 (en) A method and apparatus for updating a field of view in a user interface
CN107771310B (zh) 头戴式显示设备及其处理方法
CN111742281B (zh) 用于针对显示在显示器上的第一内容提供根据外部对象的移动的第二内容的电子装置及其操作方法
CN111610998A (zh) Ar场景内容的生成方法、展示方法、装置及存储介质
CN110794955B (zh) 定位跟踪方法、装置、终端设备及计算机可读取存储介质
CN111651051B (zh) 一种虚拟沙盘展示方法及装置
TWI783472B (zh) Ar場景內容的生成方法、展示方法、電子設備及電腦可讀儲存介質
JP6711137B2 (ja) 表示制御プログラム、表示制御方法および表示制御装置
CN112729327A (zh) 一种导航方法、装置、计算机设备及存储介质
KR102022912B1 (ko) 혼합현실을 이용한 정보 공유 시스템
KR101155761B1 (ko) 증강 현실에서 위치 정보를 표시하는 방법 및 장치
CN112788443B (zh) 基于光通信装置的交互方法和系统
KR101914660B1 (ko) 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법 및 그 장치
KR101265554B1 (ko) 3차원 광고 시스템 및 방법
JP6393000B2 (ja) ３ｄマップに関する仮説的ラインマッピングおよび検証
KR101939530B1 (ko) 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치
US10878278B1 (en) Geo-localization based on remotely sensed visual features
JP2011022662A (ja) 携帯電話端末及び情報処理システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right