KR102194094B1 - 가상과 실제 물체의 합성 방법, 장치, 프로그램 및 기록매체 - Google Patents

가상과 실제 물체의 합성 방법, 장치, 프로그램 및 기록매체 Download PDF

Info

Publication number
KR102194094B1
KR102194094B1 KR1020197004558A KR20197004558A KR102194094B1 KR 102194094 B1 KR102194094 B1 KR 102194094B1 KR 1020197004558 A KR1020197004558 A KR 1020197004558A KR 20197004558 A KR20197004558 A KR 20197004558A KR 102194094 B1 KR102194094 B1 KR 102194094B1
Authority
KR
South Korea
Prior art keywords
depth information
virtual object
virtual
target object
image
Prior art date
Application number
KR1020197004558A
Other languages
English (en)
Other versions
KR20190086658A (ko
Inventor
싱셍 린
Original Assignee
베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 filed Critical 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드
Publication of KR20190086658A publication Critical patent/KR20190086658A/ko
Application granted granted Critical
Publication of KR102194094B1 publication Critical patent/KR102194094B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06K9/00201—
    • G06K9/00671—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

본 발명은 가상과 실제 물체의 합성 방법, 장치, 프로그램 및 기록매체에 관한 것이며, 상기 방법은 단말 기기에 의해 포착된 이미지에서 대상 물체를 획득하는 단계; 깊이 정보 융합 모드에서 단말 기기의 영상 획득 장치에 의해 대상 물체의 깊이 정보를 획득하는 단계; 가상 물체의 깊이 정보를 획득하는 단계; 대상 물체의 깊이 정보 및 가상 물체의 깊이 정보에 따라 가상 물체를 이미지에 중첩시키는 단계; 를 포함한다. 상이한 깊이 정보를 가지는 물체의 교합 관계는 서로 다르며, 대상 물체를 획득한 후 대상 물체의 깊이 정보 및 가상 물체의 깊이 정보에 따라 가상 물체를 단말 기기에 의해 포착된 이미지에 중첩시키며, 본 발명의 실시예에 따른 가상과 실제 물체의 합성 방법, 장치, 프로그램 및 기록매체에 따르면, 중첩 시의 계산량을 줄일 수 있고, 단말 기기의 AR 어플리케이션에 보다 양호하게 적용될 수 있으며, 단말 기기에 의해 포착된 이미지에 가상 물체를 실시간으로 정확하게 표시할 수 있다.

Description

가상과 실제 물체의 합성 방법, 장치, 프로그램 및 기록매체
본 발명은 이미지 처리 기술 분야에 관한 것으로서, 특히 가상 물체와 실제 물체(virtual and real objects)의 합성(synthesizing) 방법, 장치, 프로그램 및 기록매체에 관한 것이다.
본　출원은 출원번호가 201810029995.2이고, 출원일이 2018년 1월 12일자 인 중국특허출원을 기초로 우선권을 주장하고, 해당 중국특허출원의 전체 내용은 본원 발명에 원용된다.
AR(Augmented Reality, 증강 현실) 기술은 컴퓨터 시스템에 의해 제공된 정보를 통해, 현실 세계에 대한 사용자의 지각(perception)을 증가시키는 기술이며, 가상 정보를 실제 세계(real world)에 적용하고 컴퓨터에 의해 생성된 가상 물체(virtual objects)를 실제 장면(real scenes)에 중첩시켜 현실에 대한 증강을 실현할 수 있다.
관련 기술의 가상과 실제 물체의 합성 방법은 경우에 따라서는 가상과 실제 물체의 교합(occlusion) 관계를 정확하게 처리할 수 있으나, 계산량이 비교적 많으므로 휴대 전화, 태블릿 PC 등의 단말 기기에 적용되지 못하는 문제가 존재한다.
본 발명은 관련 기술에 존재하는 문제를 극복하기 위해 가상과 실제 물체의 합성 방법, 장치, 프로그램 및 기록매체를 제공하며, 단말 기기에 의해 포착된 이미지에 가상 물체를 실시간으로 정확하게 표시할 수 있다.
본 발명의 제 1 양태에 따르면, 단말 기기에 적용되는 가상과 실제 물체의 합성 방법이 제공되며, 이 방법은, 상기 단말 기기에 의해 포착된 이미지에서 대상 물체를 획득하는 단계; 깊이 정보 융합 모드에서 상기 단말 기기의 영상 획득 장치에 의해 상기 대상 물체의 깊이 정보를 획득하고, 상기 깊이 정보 융합 모드는 컴퓨터 모델링에 의해 생성된 가상 물체를 상기 이미지에 중첩시키는 데 사용되며, 상기 대상 물체의 깊이 정보는 대상 물체와 단말 기기 사이의 거리를 나타내기 위한 것인 단계; 가상 물체의 깊이 정보를 획득하는 단계; 및 상기 대상 물체의 깊이 정보 및 상기 가상 물체의 깊이 정보에 따라 상기 가상 물체를 상기 이미지에 중첩시키는 단계; 를 포함한다.
일 가능한 실현 형태에서, 상기 대상 물체의 깊이 정보 및 상기 가상 물체의 깊이 정보에 따라 상기 가상 물체를 상기 이미지에 중첩시키는 단계는, 상기 대상 물체의 깊이 정보가 상기 가상 물체의 깊이 정보보다 작은 경우, 상기 대상 물체에 의해 상기 가상 물체의 교합되지 않은 부분을 상기 이미지에 중첩시키는 단계를 포함한다.
일 가능한 실현 형태에서, 상기 대상 물체의 깊이 정보 및 상기 가상 물체의 깊이 정보에 따라 상기 가상 물체를 상기 이미지에 중첩시키는 단계는, 상기 대상 물체의 깊이 정보가 상기 가상 물체의 깊이 정보와 같거나 클 경우, 상기 가상 물체를 상기 이미지에 중첩시키는 단계를 포함한다.
일 가능한 실현 형태에서, 상기 단말 기기의 영상 획득 장치는 적어도 두 개의 카메라를 구비하고, 상기 단말 기기의 영상 획득 장치에 의해 상기 대상 물체의 깊이 정보를 획득하는 단계는, 상기 대상 물체와 상기 적어도 두 개의 카메라의 위치 관계 및 상기 적어도 두 개의 카메라 사이의 거리에 따라 상기 대상 물체의 깊이 정보를 결정하는 단계를 포함한다.
일 가능한 실현 형태에서, 가상 물체의 깊이 정보를 획득하는 단계는, 상기 가상 물체의 위치의 위치 정보를 획득하는 단계; 상기 위치 정보에 따라 상기 가상 물체의 깊이 정보를 결정하는 단계; 를 포함한다.
본 발명의 제 2 양태에 따르면, 단말 기기에 적용되는 가상과 실제 물체의 합성 장치가 제공되며, 이 장치는, 상기 단말 기기에 의해 포착된 이미지에서 대상 물체를 획득하기 위한 물체 획득 모듈; 상기 깊이 정보 융합 모드에서 상기 단말 기기의 영상 획득 장치에 의해 상기 대상 물체의 깊이 정보를 획득하기 위한 것으로, 상기 깊이 정보 융합 모드는 컴퓨터 모델링에 의해 생성된 가상 물체를 상기 이미지에 중첩 시키기 위해 사용되며, 상기 대상 물체의 깊이 정보는 대상 물체와 단말 기기 사이의 거리를 나타내기 위한 것인 제 1 정보 획득 모듈; 가상 물체의 깊이 정보를 획득하기 위한 제 2 정보 획득 모듈; 및 상기 대상 물체의 깊이 정보 및 상기 가상 물체의 깊이 정보에 따라 상기 가상 물체를 상기 이미지에 중첩시키기 위한 중첩 모듈; 을 구비한다.
일 가능한 실현 형태에서, 상기 중첩 모듈은, 상기 대상 물체의 깊이 정보가 상기 가상 물체의 깊이 정보보다 작은 경우, 상기 대상 물체에 의해 상기 가상 물체의 교합되지 않은 부분을 상기 이미지에 중첩시키기 위한 제 1 중첩 서브 모듈을 구비한다.
일 가능한 실현 형태에서, 상기 중첩 모듈은, 상기 대상 물체의 깊이 정보가 상기 가상 물체의 깊이 정보와 같거나 클 경우, 상기 가상 물체를 상기 이미지에 중첩시키기 위한 제 2 중첩 서브 모듈을 더 구비한다.
일 가능한 실현 형태에서, 상기 제 1 획득 모듈은, 상기 대상 물체와 상기 적어도 두 개의 카메라의 위치 관계 및 상기 적어도 두 개의 카메라 사이의 거리에 따라 상기 대상 물체의 깊이 정보를 결정하기 위한 제 1 결정 서브 모듈을 구비한다.
일 가능한 실현 형태에서, 상기 제 2 획득 모듈은, 상기 가상 물체의 위치의 위치 정보를 획득하기 위한 획득 서브 모듈; 상기 위치 정보에 따라 상기 가상 물체의 깊이 정보를 결정하기 위한 제 2 결정 서브 모듈; 을 구비한다.
본 발명이 제공한 기술 방안에 따르면 하기와 같은 기술 효과를 가져올 수 있다.
상이한 깊이 정보를 가지는 물체들은 서로 다른 교합 관계를 가지며, 본 발명의 실시예에서, 대상 물체를 획득한 후, 단말 기기는 대상 물체의 깊이 정보 및 가상 물체의 깊이 정보에 따라 가상 물체를 단말 기기에 의해 포착된 이미지에 중첩시키며, 대상 물체를 획득하였을 때, 비교하지 않고 직접 중첩시키거나 모든 물체의 깊이 정보를 비교한 후에 중첩하지 않고, 깊이 정보의 비교 결과에 따라 중첩 방식을 결정할 수 있으며, 중첩 시의 계산량을 줄일 수 있고, 단말 기기의 AR 어플리케이션에 보다 양호하게 적용될 수 있다. 또한, 본 발명의 실시예에서는 단말 기기의 영상 획득 장치를 사용하여 대상 물체의 깊이 정보를 획득하며 단말 기기에서의 실시예의 적용에 유리하다. 따라서, 본 발명의 각 양태의 가상과 실제 물체의 합성 방법, 장치, 프로그램 및 기록매체에 따르면, 단말 기기에 의해 포착된 이미지에 가상 물체를 실시간으로 정확하게 표시할 수 있다.
상기 일반적인 서술 및 하기 세부적인 서술은 단지 예시적인 설명이며, 본 발명을 한정하려는 것이 아님으로 이해되어야 한다.
하기의 도면은 명세서에 병합되어 본 명세서의 일부를 구성하고 본 발명에 부합하는 실시예를 표시하며 명세서와 함께 본 발명의 원리를 해석한다.
도 1은 일 예시적인 실시예에 따른 가상과 실제 물체의 합성 방법을 나타내는 흐름도이다.
도 2는 일 예시적인 실시예에 따른 가상과 실제 물체의 합성 방법을 나타내는 흐름도이다.
도 3은 일 예시적인 실시예에 따른 가상과 실제 물체의 합성 장치를 나타내는 블록도이다.
도 4는 일 예시적인 실시예에 따른 가상과 실제 물체의 합성 장치를 나타내는 블록도이다.
도 5는 일 예시적인 실시예에 따른 가상과 실제 물체의 합성 장치를 나타내는 블록도이다.
도 6은 일 예시적인 실시예에 따른 가상과 실제 물체의 합성 장치를 나타내는 블록도이다.
여기서, 예시적인 실시예에 대하여 상세하게 설명하고, 그 사례를 도면에 표시한다. 하기의 서술이 도면에 관련될 때, 달리 명시하지 않는 경우, 서로 다른 도면에서의 동일한 부호는 동일한 구성 요소 또는 유사한 구성 요소를 나타낸다. 하기의 예시적인 실시예에서 서술한 실시방식은 본 발명에 부합되는 모든 실시 방식을 대표하는 것이 아니며, 실시방식들은 다만 첨부된 특허청구의 범위에 기재한 본 발명의 일부 측면에 부합되는 장치 및 방법의 예이다.
도 1은 일 예시적인 실시예에 따른 가상과 실제 물체의 합성 방법을 나타내는 흐름도이며, 도 1에 나타낸 바와 같이, 이 가상과 실제 물체의 합성 방법은 휴대 전화, 태블릿 PC 등과 같은 단말 기기에 사용되며, 이 가상과 실제 물체의 합성 방법은 하기의 단계를 포함한다.
S11 단계에 있어서, 상기 단말 기기에 의해 포착된 이미지에서 대상 물체를 획득한다.
여기서, 단말 기기에 의해 포착된 이미지는 실제 장면에 해당하는 이미지일 수 있으며, 단말 기기는 자체의 영상 획득 장치에 의해 상기 이미지를 포착할 수 있다. 일 가능한 실현 형태에서, 단말 기기는 상기 이미지를 실시간으로 포착할 수 있으며, 또한 여러 장의 이미지를 연속으로 포착할 수 있다. 또한 단말 기기에 의해 연속적으로 포착된 여러 장의 실시간 이미지가 영상을 구성할 수 있다는 것으로 이해된다.
대상 물체는 실제 장면에서의 실제 물체일 수 있으며, 예를 들어, 실제 사람 또는 물체일 수 있다. 대상 물체는 실제 장면에서의 특정 물체일 수 있으나, 실제 장면에서의 특정 유형의 물체일 수도 있다. 예를 들어, 실제 장면에 여러 사람이 존재할 경우, 대상 물체는 여러 사람 중의 어느 한 사람일 수 있으나, 실제 장면에서의 모든 사람일 수도 있다. 일 예에 있어서, 대상 물체는 가상 물체와 교합 관계를 가지는 물체일 수 있다. 본 발명은 대상 물체에 대해 한정하지 않는다.
일 가능한 실현 형태에서, 단말 기기는 관련 기술의 이미지 인식 기술에 의해 상기 이미지에서 대상 물체를 인식하여 획득할 수 있다.
일 가능한 실현 형태에서, 대상 물체는 단말 기기에 의해 포착된 이미지에서 이동할 수 있으며, 예를 들어, 사람은 실제 장면에서 왔다 갔다 할 수 있다. 일 가능한 실현 형태에서, 대상 이미지는 이미지에 들어가거나 이미지에서 사라질 수 있으며, 예를 들어, 사람은 실제 장면에 들어가거나 실제 장면에서 떠날 수 있다.
S12 단계에 있어서, 깊이 정보 융합 모드에서 상기 단말 기기의 영상 획득 장치에 의해 상기 대상 물체의 깊이 정보를 획득하고, 상기 깊이 정보 융합 모드는 컴퓨터 모델링에 의해 생성된 가상 물체를 상기 이미지에 중첩시키기 위해 사용되며, 상기 대상 물체의 깊이 정보는 대상 물체와 단말 기기 사이의 거리를 나타내기 위한 것이다.
AR 기술에 따르면, 가상 물체를 실제 장면에 중첩시킬 수 있다. 여기서, 가상 물체는 가상의 사람, 물체 등과 같은 컴퓨터 모델링에 의해 생성된 물체를 나타내는 데 사용될 수 있다. 가상 물체는 컴퓨터에 의해 생성된 수학적 모델일 수 있으며, 이 수학적 모델은 가상 물체의 윤곽, 무늬 등의 특징을 나타내는 데이터를 포함할 수 있으며, 이러한 데이터는 실제 사람, 물체 등의 실 물체에 기초하여 추출할 수 있으나, 필요에 따라 인위적으로 만들어 낼 수도 있다. 이러한 데이터를 기반으로 이미지 렌더링(render)을 진행함으로써, 가상 물체를 실제 장면에 전시할 수 있다. 단말 기기는 가상 물체의 위치를 변경시켜 실제 장면에 해당하는 이미지에서 가상 물체가 이동하게 할 수 있다. 본 발명은 가상 물체의 생성 방식에 대해 한정하지 않는다.
일 예에 있어서, 단말 기기는 로컬(local)에서 가상 물체를 생성할 수 있으나, 기타 기기에서 가상 물체를 획득할 수도 있다. 여기서, 단말 기기는 기타 기기에서 가상 물체를 획득한 후 로컬에서 가상 물체를 조정할 수 있다.
일 예에 있어서, 단말 기기는 대상 물체가 획득되지 않았을 때, 포착된 이미지 앞 측에 직접 가상 물체를 표시할 수 있다. 예를 들어, 단말 기기는 상기 이미지가 위치한 레이어(layer) 윗 측의 레이어에 상기 가상 물체를 표시할 수 있다. 이로써 단말 기기는 가상 물체를 신속하고 쉽게 실제 장면에 중첩시킬 수 있다. 본 발명은 대상 물체가 획득되지 않았을 때의 조작에 대해 한정하지 않는다.
일 예에 있어서, 단말 기기는 대상 물체를 획득하였을 때, 깊이 정보 융합 모드를 시작할 수 있다. 여기서 깊이 정보 융합 모드는 가상 물체를 상기 이미지에 중첩시키는 데 사용될 수 있다. 예를 들어, 깊이 정보 융합 모드는 깊이 정보에 따라 가상 물체와 대상 물체의 교합 관계를 결정하고, 교합 관계에 따라 가상 물체를 이미지에 중첩시키는 방식을 결정할 수 있다. 깊이 정보 융합 모드에서, 단말 기기에서의 가상 물체의 융합이 더 실제해진다. 대상 물체를 획득하였을 때 단말 기기에 의해 포착된 이미지에 가상 물체와 교합 관계를 가지는 물체가 존재할 수 있음을 설명하고, 이 경우, 잘못된 교합은 융합 효과의 저하를 초래할 수 있고, 일부 장면이 실현될 수 없으며, 따라서 단말 기기는 깊이 정보 융합 모드를 시작하여 보다 실제된 융합을 실현할 수 있다.
일 예에 있어서, 대상 물체가 사람이고, 가상 물체가 의자(stool)이다. 사람을 획득하였을 때, 깊이 정보 융합 모드를 시작하여 사람이 의자 앞에 서 있거나 의자에 앉아 있는 장면을 실현할 수 있다.
대상 물체의 깊이 정보는 대상 물체와 단말 기기 사이의 거리를 나타내기 위한 것이다. 현실의 객관적 세계는 3 차원의 공간이며, 영상 획득 장치를 통해 촬상된 후 3 차원 깊이 정보가 분실된 2 차원 이미지로 변한다. 단말 기기는 영상 획득 장치에 의해 대상 물체의 깊이 정보를 획득할 수 있다.
일 가능한 실현 형태에서, 상기 단말 기기의 영상 획득 장치는 적어도 두 개의 카메라를 구비하며, 단말 기기는 대상 물체와 상기 적어도 두 개의 카메라의 위치 관계 및 상기 적어도 두 개의 카메라 사이의 거리에 따라 상기 대상 물체의 깊이 정보를 결정할 수 있다.
단말 기기의 영상 획득 장치가 두 개의 카메라를 구비하는 경우를 예로 들어, 단말 기기는 대상 물체와 두 개의 카메라와의 연결 라인과, 두 개의 카메라의 연결 라인이 이루어지는 각도, 및 두 개의 카메라 사이의 거리에 따라 상기 대상 물체의 깊이 정보를 결정할 수 있다. 이상은 대상 물체의 깊이 정보를 결정하기 위한 하나의 예에 불과하며, 단말 기기는 또한 관련 기술의 다른 방식에 의해 대상 물체의 깊이 정보를 결정할 수 있다.
S13 단계에 있어서, 가상 물체의 깊이 정보를 획득한다.
단말 기기는 포착된 이미지의 상이한 위치에 가상 물체에 대응되는 가상 모델(model)을 배치할 수 있으며, 또한 가상 모델의 위치를 이동시킬 수 있다. 가상 물체는 단말 기기에 의해 포착된 이미지에 실제로 존재하는 물체가 아니며 하나의 가상 모델에 대응한다. 가상 모델이 이미지에 표시되었을 때 가상 물체라 불릴 수 있다.
일 가능한 실현형태에서, 가상 물체의 깊이 정보는 고정되어 변하지 않는다. 단말 기기가 로컬에서 가상 모델을 생성하는 경우를 예로 들어, 단말 기기는 가상 모델의 생성하는 과정 중, 가상 모델과 깊이 정보의 대응 관계를 기록할 수 있다. 이 경우, 이미지에서 가상 모델을 이동시키면 가상 모델의 깊이 정보가 일정하게 유지된다. 일 가능한 실현 형태에서, 단말 기기는 가상 모델과 깊이 정보의 대응 관계에 따라 가상 물체에 대응하는 깊이 정보를 획득할 수 있다.
일 가능한 실현 형태에서, 가상 물체의 깊이 정보는 이미지에서의 가상 모델의 위치 이동에 따라 변경될 수 있다. 단말 기기가 로컬에서 가상 모델을 생성하는 경우를 예로 들어, 단말 기기는 가상 모델의 생성하는 과정 중, 깊이 정보를 가상 모델의 위치 정보 내에 기록하고 가상 모델의 위치 정보를 가상 물체의 위치 정보로 할수 있다. 이 경우, 이미지에서 가상 모델을 이동 시키면 가상 모델의 깊이 정보가 이미지에서의 가상 모델의 위치와 관련된다. 일 가능한 실현 형태에서, 단말 기기는 가상 물체의 위치의 위치 정보를 획득하고, 상기 위치 정보에 따라 상기 가상 물체의 깊이 정보를 결정할 수 있다.
S14 단계에 있어서, 상기 대상 물체의 깊이 정보 및 상기 가상 물체의 깊이 정보에 따라 상기 가상 물체를 상기 이미지에 중첩시킨다.
또한 이미지 중의 물체가 단말 기기의 영상 획득 장치로부터 멀수록 그 깊이 정보가 더 큰 것으로 이해된다. 깊이 정보가 비교적 큰 물체는 깊이 정보가 비교적 작은 물체에 의해 교합될 수 있으며, 단말 기기에 의해 포착된 이미지에 깊이 정보가 비교적 큰 물체의 일부만 표시될 수 있다.
도 2는 일 예시적인 실시예에 따른 가상과 실제 물체의 합성 방법을 나타내는 흐름도이며, 도 2에 나타낸 바와 같이, S14 단계는 하기의 단계를 포함한다.
S141 단계에 있어서, 상기 대상 물체의 깊이 정보가 상기 가상 물체의 깊이 정보보다 작은지 여부를 결정한다. 상기 대상 물체의 깊이 정보가 상기 가상 물체의 깊이 정보보다 작은 경우, S142 단계를 실행하고, 그렇지 않은 경우 S143 단계를 실행한다.
S142 단계에 있어서, 상기 대상 물체에 의해 교합되지 않은 상기 가상 물체의 부분을 상기 이미지에 중첩시킨다.
일 가능한 실현 형태에서, 상기 대상 물체의 각 화소 점의 화소 위치 및 상기 가상 물체의 각 화소 점의 화소 위치를 획득할 수 있다. 하나의 화소 위치에 대상 물체의 화소 점도 존재하고 가상 물체의 화소 점도 존재하는 경우, 이 위치에 가상 물체의 화소 점을 그리지 않을 수 있다. 하나의 화소 위치에 대상 물체의 화소 점이 존재하지 않으나 가상 물체의 화소 점이 존재하는 경우, 이 위치에 가상 물체의 화소 점을 그릴 수 있다.
일 예에 있어서, 대상 물체가 사람이고, 가상 물체가 의자(stool)이며, 사람의 깊이 정보가 의자의 깊이 정보보다 작다. 단말 기기는 사람에 의해 교합되지 않은 의자의 부분을 상기 이미지에 중첩시킬 수 있다. 이로써, 사람이 의자의 앞에 서 있거나 의자에 앉아 있는 장면을 제시할 수 있다.
S143 단계에 있어서, 상기 가상 물체를 상기 이미지에 중첩시킨다.
일 예에 있어서, 대상 물체가 사람이고 가상 물체가 의자이며, 사람의 깊이 정보가 의자의 깊이 정보 이상이다. 단말 기기는 의자를 상기 이미지에 직접 중첩시킬 수 있다. 이로써, 사람이 의자 뒤에 서 있는 장면(scene)을 나타낼 수 있다.
상이한 깊이 정보를 가지는 물체의 교합 관계는 서로 다르며, 이 실시예에서, 대상 물체를 획득하였을 때, 단말 기기는 대상 물체의 깊이 정보 및 가상 물체의 깊이 정보에 따라 가상 물체를 단말 기기에 의해 포착된 이미지에 중첩시키며, 대상 물체를 획득하였을 때, 비교하지 않고 직접 중첩시키거나 모든 물체의 깊이 정보를 비교한 후에 중첩하는 것이 아니라, 깊이 정보의 비교 결과에 따라 중첩 방식을 결정할 수 있으며, 중첩 시의 계산량을 줄일 수 있고, 단말 기기의 AR 어플리케이션(applications)에 보다 양호하게 적용될 수 있다. 또한, 본 발명의 실시예에서는 단말 기기의 영상 획득 장치를 사용하여 대상 물체의 깊이 정보를 획득하여 단말 기기에서의 실시예의 적용에 유리하다. 따라서, 이 실시예의 가상과 실제 물체의 합성 방법에 따르면, 단말 기기에 의해 포착된 이미지에 가상 물체를 실시간으로 정확하게 표시할 수 있다.
도 3은 일 예시적인 실시예에 따른 가상과 실제 물체의 합성 장치를 나타내는 블록도이다. 도 3을 참조하면, 상기 가상과 실제 물체의 합성 장치(30)는 단말 기기에 적용되며, 상기 장치(30)는 물체 획득 모듈(31), 제 1 정보 획득 모듈(32), 제 2 정보 획득 모듈(33) 및 중첩 모듈(34)을 포함한다.
상기 물체 획득 모듈(31)은 상기 단말 기기에 의해 포착된 이미지에서 대상 물체를 획득하도록 구성된다.
상기 제 1 정보 획득 모듈(32)은 상기 깊이 정보 융합 모드에서 상기 단말 기기의 영상 획득 장치에 의해 상기 대상 물체의 깊이 정보를 획득하고, 상기 깊이 정보 융합 모드는 컴퓨터 모델링에 의해 생성된 가상 물체를 상기 이미지에 중첩시키는 데 사용되며, 상기 대상 물체의 깊이 정보는 대상 물체와 단말 기기 사이의 거리를 나타내기 위한 것으로 구성된다.
상기 제 2 정보 획득 모듈(33)은 가상 물체의 깊이 정보를 획득하도록 구성된다.
상기 중첩 모듈(34)은 상기 대상 물체의 깊이 정보 및 상기 가상 물체의 깊이 정보에 따라 상기 가상 물체를 상기 이미지에 중첩시키도록 구성된다.
도 4는 일 예시적인 실시예에 따른 가상과 실제 물체의 합성 장치를 나타내는 블록도이다. 도 4를 참조하면, 일 가능한 실현 형태에서, 상기 중첩 모듈(34)은 제 1 중첩 서브 모듈(341)을 포함한다.
상기 제 1 중첩 서브 모듈(341)은 상기 대상 물체의 깊이 정보가 상기 가상 물체의 깊이 정보보다 작은 경우, 상기 대상 물체에 의해 상기 가상 물체의 교합되지 않은 부분을 상기 이미지에 중첩시키도록 구성된다.
일 가능한 실현 형태에서, 상기 중첩 모듈은 제 2 중첩 서브 모듈(342)을 더 포함한다.
상기 제 2 중첩 서브 모듈(342)은 상기 대상 물체의 깊이 정보가 상기 가상 물체의 깊이 정보와 같거나 그 이상인 경우, 상기 가상 물체를 상기 이미지에 중첩시키도록 구성된다.
일 가능한 실현 형태에서, 상기 단말 기기의 영상 획득 장치는 적어도 두 개의 카메라를 포함하며, 제 1 정보 획득 모듈(32)은 제 1 결정 서브 모듈(321)을 포함한다.
상기 제 1 결정 서브 모듈(321)은 상기 대상 물체와 상기 적어도 두 개의 카메라의 위치 관계 및 상기 적어도 두 개의 카메라 사이의 거리에 따라 상기 대상 물체의 깊이 정보를 결정하도록 구성된다.
일 가능한 실현 형태에서, 상기 제 2 정보 획득 모듈(33)은 획득 서브 모듈(331) 및 제 2 결정 서브 모듈(332)을 포함한다.
상기 획득 서브 모듈(331)은 상기 이미지의 상기 가상 물체의 위치 정보를 획득하도록 구성된다.
상기 제 2 결정 서브 모듈(332)은 상기 가상 물체의 위치 정보에 따라 상기 가상 물체의 깊이 정보를 결정하도록 구성된다.
상기 실시예의 장치에 있어서, 각각의 모듈이 조작을 실시하는 구체적인 방식은 이미 관련 방법의 실시예에서 상세히 설명하였기에 여기서 자세한 설명을 생략한다.
도5는 일 예시적인 실시예에 따른 가상과 실제 물체의 합성에 사용되는 장치(800)를 나타내는 블록도이다. 예를 들어, 장치(800)는 휴대폰, 컴퓨터, 디지털 브로드캐스팅 단말기(digital broadcast terminal)，메시지 송수신 장치, 게임 콘솔(gaming console), 태블릿(tablet), 의료 설비, 헬스 기기, PDA 등일 수 있다.
도 5를 참조하면, 장치(800)는 프로세싱 유닛(802), 메모리(804), 전원 유닛(806), 멀티미디어 유닛(808), 오디오 유닛(810), 입출력(I/O) 인터페이스(812), 센서 유닛(814) 및 통신 유닛(816) 중의 임의의 적어도 하나 이상을 포함할 수 있다.
프로세싱 유닛(802)은 일반적으로 장치(800)의 전체 조작，예를 들어, 디스플레이，전화 호출，데이터 통신，카메라 조작 및 기록 조작에 관련된 조작을 제어할 수 있다. 프로세싱 유닛(802)은 임의의 적어도 하나 이상의 프로세서(820)를 구비하여 명령어를 실행함으로써 상기 방법의 전부 또는 일부 단계를 완성할 수 있다. 또한， 프로세싱 유닛(802)은 기타 유닛과의 상호작용(interaction)을 편리하게 하도록 임의의 적어도 하나 이상의 모듈을 포함할 수 있다. 예를 들어， 프로세싱 유닛(802)은 멀티미디어 유닛(808)과의 상호작용을 편리하게 할 수 있도록 멀티미디어 모듈을 포함할 수 있다.
메모리(804)는 장치(800)의 조작을 서포트 하기 위하여 각종 유형의 데이터를 저장하도록 설치된다. 이러한 데이터는 예를 들어 장치(800)에서 임의의 애플리케이션이나 방법을 조작하기 위한 명령어, 연락처 데이터, 전화 번호부 데이터, 메시지, 사진, 동영상 등을 포함할 수 있다. 메모리(804)는 임의의 유형의 휘발성 또는 비휘발성 메모리 예를 들어 SRAM(Static Random Access Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), EPROM(Erasable Programmable Read Only Memory), PROM(Programmable ROM), ROM(Read Only Memory), 자기 메모리, 플래시 메모리, 자기 디스크 또는 콤팩트 디스크에 의해 또는 이들의 조합에 의해 실현될 수있다.
전원 유닛(806)은 장치(800)의 각 유닛에 전력을 공급하기 위한 것이며, 전원 관리 시스템, 임의의 적어도 하나 이상의 전원 및 장치(800)를 위하여 전력을 생성, 관리 및 분배하는데 관련된 기타 유닛을 포함할 수 있다.
멀티미디어 유닛(808)은 장치(800)와 사용자 사이에 출력 인터페이스를 제공하는 스크린(screen)을 포함할 수 있다. 일 실시예에 있어서, 스크린은 액정 디스플레이(LCD) 또는 터치 패널(TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 사용자의 입력 신호를 수신하도록 터치 스크린으로 실현될 수있다. 또한 터치 패널은 터치, 슬라이딩 및 터치 패널 위에서의 제스처(gesture)를 감지하도록 임의의 적어도 하나 이상의 터치 센서를 포함할 수 있다. 상기 터치 센서는 터치 또는 슬라이딩 동작의 경계 위치를 감지할 수 있을 뿐만 아니라, 터치 또는 슬라이딩 조작에 관련되는 지속시간 및 압력을 검출할 수 있다. 일 실시예에 있어서, 멀티미디어 유닛(808)은 전면 카메라 및/또는 후면 카메라를 포함할 수 있다. 장치(800)가 예를 들어 촬영 모드 또는 동영상 모드 등 조작 모드 상태에 있을 때, 전면 카메라 및/또는 후면 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 전면 카메라 및 후면 카메라 각각은 고정된 광학 렌즈 시스템 또는 가변 초점 거리 및 광학 줌 기능을 구비할 수 있다.
오디오 유닛(810)은 오디오 신호를 출력 및/또는 입력하도록 설치될 수 있다. 예를 들어, 오디오 유닛(810)은 마이크(MIC)를 포함할 수 있다. 장치(800)가 예를 들어 호출 모드, 기록 모드 또는 음성 인식 모드 등 조작 모드 상태에 있을 때, 마이크는 외부의 오디오 신호를 수신하도록 설치될 수 있다. 수신된 오디오 신호는 메모리(804)에 저장되거나 또는 통신 유닛(816)을 통해 송신될 수 있다. 일 실시예에 있어서, 오디오 유닛(810)은 오디오 신호를 출력하는 스피커를 더 포함할 수 있다.
I/O 인터페이스(812)는 프로세싱 유닛(802)과 주변 인터페이스 모듈 사이에 인터페이스를 제공하기 위한 것이다. 상기 주변 인터페이스 모듈은 키보드，클릭 휠(click wheel)，버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 작동 버튼 및 잠금 버튼 등을 포함하되 이에 한정되지 않는다.
센서 유닛(814)은 장치(800)를 위해 각 방면의 상태를 평가하는 임의의 적어도 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센서 유닛(814)은 장치(800)의 온/오프 상태, 유닛의 상대적인 포지셔닝(positioning)을 검출할 수 있다. 예를 들어, 상기 유닛은 장치(800)의 디스플레이 및 작은 키패드일 수 있다. 센서 유닛(814)은 장치(800) 또는 장치(800)의 유닛의 위치 변경, 사용자와 장치(800) 사이의 접촉여부, 장치(800)의 방위 또는 가속/감속 및 장치(800)의 온도 변화를 검출할 수 있다. 센서 유닛(814)은 어떠한 물리적 접촉도 없는 상황에서 근처의 물체를 검출하도록 구성되는 근접 센서(proximity sensor)를 포함할 수 있다. 센서 유닛(614)은 이미지 형성 응용에 이용하기 위한 광 센서 예를 들어 CMOS 또는 CCD 이미지 센서를 포함할 수 있다. 일 실시예에 있어서, 상기 센서 유닛(814)은 가속도 센서, 자이로 스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.
통신 유닛(816)은 장치(800)와 기타 기기 사이의 무선 또는 유선 통신을 편리하게 진행하게 하도록 설치될 수 있다. 장치(800)는 통신 표준을 기반으로 하는 무선 네트워크 예를 들어 WiFi, 2G, 3G 또는 이들의 조합에 액세스할 수 있다. 일 예시적인 실시예에 있어서, 통신 유닛(816)은 브로드캐스팅 채널을 통해 외부의 브로드캐스팅 관리 시스템에서의 브로드캐스팅 신호 또는 브로드캐스팅 관련 정보를 수신할 수 있다. 일 예시적인 실시예에 있어서, 상기 통신 유닛(816)은 근거리 통신을 촉진하기 위한 근거리 무선 통신(NFC) 모듈을 더 포함할 수 있다. 예를 들어, NFC 모듈은 RFID기술, IrDA기술, UWB기술, 블루투스(BT) 기술 및 기타 기술에 의해 실현될 수 있다.
일 예시적인 실시예에 있어서, 장치(800)는 상기 방법을 실행하기 위하여 임의의 적어도 하나 이상의 ASIC ( Application Specific Integrated Circuit), DSP ( Digital Signal Processor) , DSPD ( Digital Signal Processing Device), PLD (Programmable Logic Device), FPGA (Field-Programmable Gate Array), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서, 또는 기타 전자 소자에 의해 실현될 수 있다.
일 예시적인 실시예에서 명령어를 포함한 비일시적인(non-transitory) 컴퓨터 판독 가능한 기록매체, 예를 들어 명령어를 포함한 메모리(804)를 더 제공한다. 상기 명령어는 장치(800)의 프로세서(820)에 의해 실행되어 상기 방법을 완성할 수 있다. 예를 들어, 상기 비일시적인 컴퓨터 판독 가능한 기록 매체는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 및 광 데이터 메모리 등일 수 있다.
도 6은 일 예시적인 실시예에 따른 가상과 실제 물체의 합성에 사용되는 장치(1900)를 나타내는 블록도이다. 도 6을 참조하면, 장치(1900)는 하나 이상의 프로세서를 포함하는 프로세싱 유닛(1922) 및 프로세싱 유닛(1922)에 의해 실행 가능한 명령어, 예를 들어 애플리케이션 프로그램을 저장하는 메모리(1932)가 대표로 되는 메모리 리소스(memory resource)를 포함한다. 메모리(1932)에 저장되는 애플리케이션 프로그램은 하나 이상의 각각이 한 세트의 명령어에 대응하는 모듈을 포함할 수 있다. 또한 프로세싱 유닛(1922)은 상기 방법을 실행하기 위해 명령어를 실행하도록 구성된다.
장치(1900)는, 장치(1900)의 전원 관리를 실행하도록 구성되는 전원 유닛(1926)과 장치(1900)를 인터넷에 연결시키도록 구성되는 유선 또는 무선 인터넷 인터페이스(1950) 및 입출력(I/O) 인터페이스(1958)를 구비한다. 장치(1900)는 메모리(1932)에 저장된 운영 체제, 예를 들어 Windows ServerTM, MAc OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 이들에 유사한 운영 체제 등에 의해 조작될 수 있다.
일 예시적인 실시예에서 명령어를 포함한 비일시적인 컴퓨터 판독 가능한 기록매체, 예를 들어 명령어를 포함한 메모리(1932)를 더 제공한다. 상기 명령어는 장치(1900)의 프로세싱 유닛(1922)에 의해 실행되어 상기 방법을 완성할 수 있다. 예를 들어, 상기 비일시적인 컴퓨터 판독 가능한 기록 매체는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 및 광 데이터 메모리 등일 수 있다.
통상의 지식을 가진 자는 명세서에 대한 이해 및 명세서에 기재된 발명에 대한 실시를 통해 본 발명의 다른 실시방안를 용이하게 얻을 수 있다. 당해 출원의 취지는 본 발명에 대한 임의의 변형, 용도 또는 적응적인 변화를 포함하고, 이러한 변형, 용도 또는 적응적 변화는 본 발명의 일반적인 원리에 따르고, 당해 출원이 공개하지 않은 본 기술 분야의 공지기술 또는 통상의 기술수단을 포함한다. 명세서 및 실시예는 단지 예시적인 것으로서, 본 발명의 진정한 범위와 취지는 다음의 특허청구범위에 의해 결정된다.
본 발명은 상기에 서술되고 도면에 도시된 특정 구성에 한정되지 않고 그 범위를 이탈하지 않는 상황에서 다양한 수정 및 변경을 실시할 수 있음을 이해하여야 한다. 본 발명의 범위는 단지 첨부된 특허청구범위에 의해서만 한정된다.

Claims (13)

  1. 단말 기기에 적용되는 가상과 실제 물체의 합성 방법에 있어서,
    상기 방법은,
    상기 단말 기기에 의해 포착된 이미지에서 대상 물체를 획득하는 단계;
    깊이 정보 융합 모드에서, 상기 단말 기기의 영상 획득 장치에 근거하여 상기 대상 물체의 깊이 정보를 획득하고, 상기 깊이 정보 융합 모드는 컴퓨터 모델링에 의해 생성된 가상 물체를 상기 이미지에 중첩시키는데 사용되며, 상기 대상 물체의 깊이 정보는 대상 물체와 단말 기기 사이의 거리를 나타내기 위한 것인 단계;
    가상 물체의 깊이 정보를 획득하는 단계; 및
    상기 대상 물체의 깊이 정보 및 상기 가상 물체의 깊이 정보에 근거하여 상기 가상 물체를 상기 이미지에 중첩시키는 단계; 를 포함하고,
    상기 가상 물체의 깊이 정보를 획득하는 단계는,
    상기 가상 물체가 배치되는 위치의 위치 정보를 획득하는 단계;
    상기 위치 정보에 근거하여 상기 가상 물체의 깊이 정보를 결정하는 단계; 를 포함하고,
    상기 가상 물체의 깊이 정보는 상기 가상 물체의 위치 정보 내에 기록되는 것을 특징으로 하는 가상과 실제 물체의 합성 방법.
  2. 제1항에 있어서,
    상기 대상 물체의 깊이 정보 및 상기 가상 물체의 깊이 정보에 근거하여 상기 가상 물체를 상기 이미지에 중첩시키는 단계는,
    상기 대상 물체의 깊이 정보가 상기 가상 물체의 깊이 정보보다 작은 경우,
    상기 대상 물체에 의해 상기 가상 물체의 교합되지 않은 부분을 상기 이미지에 중첩시키는 단계를 포함하는 것을 특징으로 하는 가상과 실제 물체의 합성 방법.
  3. 제1항에 있어서,
    상기 대상 물체의 깊이 정보 및 상기 가상 물체의 깊이 정보에 근거하여 상기 가상 물체를 상기 이미지에 중첩시키는 단계는,
    상기 대상 물체의 깊이 정보가 상기 가상 물체의 깊이 정보와 같거나 클 경우, 상기 가상 물체를 상기 이미지에 중첩시키는 단계를 포함하는 것을 특징으로 하는 가상과 실제 물체의 합성 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 단말 기기의 영상 획득 장치는 적어도 두 개의 카메라를 구비하고, 상기 단말 기기의 영상 획득 장치에 근거하여 상기 대상 물체의 깊이 정보를 획득하는 단계는,
    상기 대상 물체와 상기 적어도 두 개의 카메라의 위치 관계 및 상기 적어도 두 개의 카메라 사이의 거리에 근거하여 상기 대상 물체의 깊이 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 가상과 실제 물체의 합성 방법.
  5. 삭제
  6. 단말 기기에 적용되는 가상과 실제 물체의 합성 장치에 있어서,
    상기 장치는,
    상기 단말 기기에 의해 포착된 이미지에서 대상 물체를 획득하기 위한 물체 획득 모듈;
    깊이 정보 융합 모드에서, 상기 단말 기기의 영상 획득 장치에 근거하여 상기 대상 물체의 깊이 정보를 획득하기 위한 것으로, 상기 깊이 정보 융합 모드는 컴퓨터 모델링에 의해 생성된 가상 물체를 상기 이미지에 중첩 시키기 위해 사용되며, 상기 대상 물체의 깊이 정보는 대상 물체와 단말 기기 사이의 거리를 나타내기 위한 것인 제 1 정보 획득 모듈;
    가상 물체의 깊이 정보를 획득하기 위한 제 2 정보 획득 모듈; 및
    상기 대상 물체의 깊이 정보 및 상기 가상 물체의 깊이 정보에 근거하여 상기 가상 물체를 상기 이미지에 중첩시키기 위한 중첩 모듈; 을 포함하고,
    상기 제 2 정보 획득 모듈은,
    상기 가상 물체가 배치되는 위치의 위치 정보를 획득하기 위한 획득 서브 모듈; 및
    상기 위치 정보에 근거하여 상기 가상 물체의 깊이 정보를 결정하기 위한 제 2 결정 서브 모듈; 을 포함하고,
    상기 가상 물체의 깊이 정보는 상기 가상 물체의 위치 정보 내에 기록되는 것을 특징으로 하는 가상과 실제 물체의 합성 장치.
  7. 제6항에 있어서,
    상기 중첩 모듈은,
    상기 대상 물체의 깊이 정보가 상기 가상 물체의 깊이 정보보다 작은 경우, 상기 대상 물체에 의해 상기 가상 물체의 교합되지 않은 부분을 상기 이미지에 중첩시키기 위한 제 1 중첩 서브 모듈을 포함하는 것을 특징으로 하는 가상과 실제 물체의 합성 장치.
  8. 제6항에 있어서,
    상기 중첩 모듈은,
    상기 대상 물체의 깊이 정보가 상기 가상 물체의 깊이 정보와 같거나 클 경우, 상기 가상 물체를 상기 이미지에 중첩시키기 위한 제 2 중첩 서브 모듈을 더 포함하는 것을 특징으로 하는 가상과 실제 물체의 합성 장치.
  9. 제6항 내지 제8항 중 어느 한 항에 있어서,
    상기 단말 기기의 영상 획득 장치는 적어도 두 개의 카메라를 구비하고, 상기 제 1 정보 획득 모듈은,
    상기 대상 물체와 상기 적어도 두 개의 카메라의 위치 관계 및 상기 적어도 두 개의 카메라 사이의 거리에 근거하여 상기 대상 물체의 깊이 정보를 결정하기 위한 제 1 결정 서브 모듈을 포함하는 것을 특징으로 하는 가상과 실제 물체의 합성 장치.
  10. 삭제
  11. 프로세서와,
    프로세서에 의해 실행 가능한 명령어를 저장하는 메모리를 포함하고,
    상기 프로세서는, 제1항 내지 제3항 중 어느 한 항에 기재된 방법을 실행하도록 구성되는 것을 특징으로 하는 가상과 실제 물체의 합성 장치.
  12. 비 일시적 컴퓨터 판독 가능한 기록 매체에 있어서,
    상기 기록 매체 내의 명령이 프로세서에 의해 실행될 때, 제1항 내지 제3항 중 어느 한 항에 기재된 방법이 실현되는 비 일시적 컴퓨터 판독 가능한 기록 매체.
  13. 프로세서에 의해 실행되는 것을 통하여 제1항 내지 제3항 중 어느 한 항에 기재된 가상과 실제 물체의 합성 방법을 실현하는 컴퓨터 판독 가능한 기록매체에 저장된 프로그램.
KR1020197004558A 2018-01-12 2018-08-20 가상과 실제 물체의 합성 방법, 장치, 프로그램 및 기록매체 KR102194094B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810029995.2A CN108182730B (zh) 2018-01-12 2018-01-12 虚实对象合成方法及装置
CN201810029995.2 2018-01-12
PCT/CN2018/101241 WO2019137006A1 (zh) 2018-01-12 2018-08-20 虚实对象合成方法及装置

Publications (2)

Publication Number Publication Date
KR20190086658A KR20190086658A (ko) 2019-07-23
KR102194094B1 true KR102194094B1 (ko) 2020-12-22

Family

ID=62550371

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197004558A KR102194094B1 (ko) 2018-01-12 2018-08-20 가상과 실제 물체의 합성 방법, 장치, 프로그램 및 기록매체

Country Status (7)

Country Link
US (1) US11636653B2 (ko)
EP (1) EP3511864A1 (ko)
JP (1) JP2020507136A (ko)
KR (1) KR102194094B1 (ko)
CN (1) CN108182730B (ko)
RU (1) RU2715797C1 (ko)
WO (1) WO2019137006A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182730B (zh) 2018-01-12 2022-08-12 北京小米移动软件有限公司 虚实对象合成方法及装置
CN108961197A (zh) * 2018-06-27 2018-12-07 联想(北京)有限公司 一种对象合成方法及装置
CN110716685B (zh) * 2018-07-11 2023-07-18 广东虚拟现实科技有限公司 图像显示方法，图像显示装置、系统及其实体对象
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
CN109474816B (zh) * 2018-12-28 2024-04-05 上海北冕信息科技有限公司 增强现实的虚实融合装置及其虚实融合方法、设备、介质
CN109922331B (zh) * 2019-01-15 2021-12-07 浙江舜宇光学有限公司 一种图像处理方法及装置
CN111651031B (zh) * 2019-03-04 2023-08-29 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及存储介质
JP2021064320A (ja) * 2019-10-17 2021-04-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN110889890B (zh) * 2019-11-29 2023-07-28 深圳市商汤科技有限公司 图像处理方法及装置、处理器、电子设备及存储介质
CN110910512A (zh) * 2019-11-29 2020-03-24 北京达佳互联信息技术有限公司 虚拟物体自适应调整方法、装置、计算机设备和存储介质
CN111223192B (zh) * 2020-01-09 2023-10-03 北京华捷艾米科技有限公司 一种图像处理方法及其应用方法、装置及设备
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
CN111416938B (zh) * 2020-03-27 2021-11-02 咪咕文化科技有限公司 一种增强现实合拍方法、设备及计算机可读存储介质
CN111638798A (zh) * 2020-06-07 2020-09-08 上海商汤智能科技有限公司 一种ar合影方法、装置、计算机设备及存储介质
CN111640203B (zh) * 2020-06-12 2024-04-12 上海商汤智能科技有限公司 一种图像处理方法及装置
CN111898640B (zh) * 2020-06-28 2023-10-31 武汉旷视金智科技有限公司 模拟抓拍机推送图片的方法、装置、测试系统及电子设备
CN112422945A (zh) * 2020-09-01 2021-02-26 华为技术有限公司 图像处理方法、移动终端及存储介质
CN112394815A (zh) * 2020-11-20 2021-02-23 歌尔科技有限公司 基于增强现实的绘画辅助方法、增强现实设备和存储介质
CN112906467A (zh) * 2021-01-15 2021-06-04 深圳市慧鲤科技有限公司 合影图像生成方法及装置、电子设备和存储介质
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
CN113269782B (zh) * 2021-04-21 2023-01-03 青岛小鸟看看科技有限公司 数据生成方法、装置及电子设备
CN113538318B (zh) * 2021-08-24 2023-12-15 北京奇艺世纪科技有限公司 图像处理方法、装置、终端设备以及可读存储介质
CN114564108A (zh) * 2022-03-03 2022-05-31 北京小米移动软件有限公司 图像展示的方法、装置和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012058968A (ja) * 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2015230695A (ja) * 2014-06-06 2015-12-21 キヤノン株式会社 情報処理装置及び情報処理方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6166744A (en) * 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP2004145448A (ja) * 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
JP4522129B2 (ja) * 2004-03-31 2010-08-11 キヤノン株式会社 画像処理方法および画像処理装置
DE102008060301B4 (de) 2008-12-03 2012-05-03 Grenzebach Maschinenbau Gmbh Verfahren und Vorrichtung zum kraftschlüssigen Verbinden von glasartigen Bauteilen mit Metallen sowie Computerprogramm und maschinenlesbarer Träger zur Durchführung des Verfahrens
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
JP5791434B2 (ja) * 2011-08-31 2015-10-07 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
CN104021590A (zh) * 2013-02-28 2014-09-03 北京三星通信技术研究有限公司 虚拟试穿试戴系统和虚拟试穿试戴方法
CN103489214A (zh) * 2013-09-10 2014-01-01 北京邮电大学 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法
US9224237B2 (en) * 2013-09-27 2015-12-29 Amazon Technologies, Inc. Simulating three-dimensional views using planes of content
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
US9761049B2 (en) * 2014-03-28 2017-09-12 Intel Corporation Determination of mobile display position and orientation using micropower impulse radar
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US20160019718A1 (en) * 2014-07-16 2016-01-21 Wipro Limited Method and system for providing visual feedback in a virtual reality environment
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
RU2606874C1 (ru) * 2015-12-02 2017-01-10 Виталий Витальевич Аверьянов Способ управления устройством формирования среды дополненной реальности
CN105931289B (zh) * 2016-04-14 2019-08-09 大连新锐天地文化科技有限公司 实现真实模型遮盖虚拟物体的系统及方法
GB2551396B (en) * 2016-06-17 2018-10-10 Imagination Tech Ltd Augmented reality occlusion
JP2018097141A (ja) * 2016-12-13 2018-06-21 富士ゼロックス株式会社 頭部装着型表示装置、仮想物体表示システム
CN108182730B (zh) 2018-01-12 2022-08-12 北京小米移动软件有限公司 虚实对象合成方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012058968A (ja) * 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2015230695A (ja) * 2014-06-06 2015-12-21 キヤノン株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
US20190221041A1 (en) 2019-07-18
CN108182730A (zh) 2018-06-19
WO2019137006A1 (zh) 2019-07-18
EP3511864A1 (en) 2019-07-17
US11636653B2 (en) 2023-04-25
CN108182730B (zh) 2022-08-12
RU2715797C1 (ru) 2020-03-03
JP2020507136A (ja) 2020-03-05
KR20190086658A (ko) 2019-07-23

Similar Documents

Publication Publication Date Title
KR102194094B1 (ko) 가상과 실제 물체의 합성 방법, 장치, 프로그램 및 기록매체
US11315336B2 (en) Method and device for editing virtual scene, and non-transitory computer-readable storage medium
KR101772177B1 (ko) 사진을 획득하기 위한 방법 및 장치
US20170304735A1 (en) Method and Apparatus for Performing Live Broadcast on Game
CN108495032B (zh) 图像处理方法、装置、存储介质及电子设备
CN109582122B (zh) 增强现实信息提供方法、装置及电子设备
EP3945490A1 (en) Method and device for processing video, and storage medium
CN114009003A (zh) 图像采集方法、装置、设备及存储介质
CN109218709B (zh) 全息内容的调整方法及装置和计算机可读存储介质
CN113286073A (zh) 拍摄方法、拍摄装置及存储介质
CN108924529B (zh) 图像显示的控制方法及装置
KR102557592B1 (ko) 이미지 표시 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체
US11252341B2 (en) Method and device for shooting image, and storage medium
US9619016B2 (en) Method and device for displaying wallpaper image on screen
CN110312117B (zh) 数据刷新方法及装置
CN114430457A (zh) 拍摄方法、装置、电子设备和存储介质
CN110955328B (zh) 电子设备的控制方法、装置及存储介质
CN110060355B (zh) 界面显示方法、装置、设备及存储介质
CN109447929B (zh) 图像合成方法及装置
CN117480772A (zh) 视频显示方法及装置、终端设备及计算机存储介质
CN115237305A (zh) 拍摄界面显示方法、装置、电子设备及存储介质
CN112099894A (zh) 内容确定方法及装置
CN114155175A (zh) 图像生成方法、装置、电子设备及存储介质
CN116661633A (zh) 截图方法、截图装置及存储介质
CN114675769A (zh) 一种图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant