KR102590102B1 - 증강 현실 기반 디스플레이 방법, 장치 및 저장 매체 - Google Patents

Abstract

증강 현실(AR) 기반 디스플레이 방법, 장치 및 저장 매체가 개시된다. 방법은, 대상 객체 이미지를 획득하기 위해 이미지 획득 유닛에 의해 획득된 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행하는 단계; 대상 객체 이미지에 따라, 대상 객체에 대응하는 가상 이미지를 생성하는 단계; 및 AR 기술을 기반으로 한 실시간 장면 이미지에서 가상 이미지를 디스플레이하는 단계를 포함한다. 대상 객체 이미지를 획득하고, 대상 객체 이미지에 기초하여 대상 객체에 대응하는 가상 이미지를 생성하고, AR 기술을 기반으로 가상 이미지를 실시간 장면 이미지에 디스플레이함으로써, 사용자의 다양한 니즈를 충족시키기 위해 사용자의 니즈에 따라 다양한 가상 이미지를 생성할 수 있으므로 AR 기술을 사용하는 동안 사용자 경험을 향상시킬 수 있다.

Description

증강 현실 기반 디스플레이 방법, 장치 및 저장 매체

본 개시의 실시예들은 증강 현실 기반(augmented reality-base) 디스플레이 방법 및 장치, 및 저장 매체(storage medium)에 관한 것이다.

본 출원은, 2020년 9월 9일에 출원된 중국 특허 출원 번호 202010937923.5의 우선권을 주장하고, 중국 특허 출원에 의해 공개된 전체 내용은 본 출원의 일부로 참조로 여기에 통합된다.

증강 현실(AR) 기술은, 텍스트, 이미지, 3 차원 모델, 음악 및 비디오와 같은 컴퓨터 생성 가상 정보를 시뮬레이션하고 컴퓨터에서 생성된 가상 정보를 실제 세계에 적용하기 위하여, 가상 정보를 현실 세계와 통합하고 멀티미디어, 3 차원 모델링, 실시간 추적 및 등록, 지능형 상호 작용 및 감지와 같은 다양한 기술적 수단을 널리 사용하는 기술이다. 두 가지 유형의 정보가 서로 보완되므로 현실 세계의 “증강(augmentation)”이 구현된다. AR 기술의 발전과 함께 다양한 산업 분야에서 광범위하게 사용되었다.

종래 기술에서 AR 기술의 적용은 가상 모델(예를 들어, 만화 캐릭터 모델, 동물 모델 등) 을 현실 세계에 중첩시키는 것이다. 그러나, 종래 기술의 가상 모델은 일반적으로 고정되어 있으며 개발자가 미리 디자인 한 가상 모델 이미지로 비교적 단일 가상 모델 이미지로 사용자의 다양한 요구를 충족시킬 수 없으므로, AR 기술을 사용하려는 사용자의 의지와 사용 경험에 영향을 미친다.

본 개시의 실시예들은, 가상 모델 이미지가 상대적으로 단일이고 사용자의 다양한 요구를 충족시킬 수 없다는 문제를 해결하기 위하여 증강 현실 기반 디스플레이 방법 및 장치, 및 저장 매체를 제공한다.

제1 측면에서, 본 개시의 실시예는 증강 현실 기반 디스플레이 방법을 제공하고, 이는: 이미지 획득 유닛(image acquisition unit)에 의해 캡쳐된 실시간 장면 이미지(real-time scene image)에서 대상 객체(target object)에 대한 객체 세그멘테이션(object segmentation)을 수행하여 대상 객체 이미지(target object image)를 획득하는 단계; 대상 객체 이미지에 기초하여 대상 객체에 대응하는 가상 이미지(virtual image)를 생성하는 단계; 증강 현실 디스플레이 기술(augmented reality display technology)에 기초하여 가상 이미지를 실시간 장면 이미지로 디스플레이하는 단계를 포함한다.

제2 측면에서, 본 개시의 실시예는 증강 현실 기반 디스플레이 장치(display device)를 제공하고, 이는: 대상 객체 이미지를 획득하기 위해 이미지 획득 유닛에 의해 캡쳐된 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행하도록 구성된, 대상 객체 결정 유닛(target object determination unit); 대상 객체 이미지에 기초하여 대상 객체에 대응하는 가상 이미지를 생성하도록 구성된, 생성 유닛(object image); 및 증강 현실 디스플레이 기술에 기초하여 실시간 장면 이미지에 가상 이미지를 디스플레이하도록 구성된, 디스플레이 유닛(display unit)을 포함한다.

제3 측면에서, 본 개시내용의 실시예는 다음을 포함하는 전자 장치(electronic device)를 제공한다: 적어도 하나의 프로세서(processor)와 메모리(memory)를 포함하고; 메모리는 컴퓨터 실행 가능 명령(computer executable instruction)을 저장하고; 적어도 하나의 프로세서는 메모리에 저장된 컴퓨터 실행 가능 명령을 실행하여 적어도 하나의 프로세서로 하여금 제1 측면에서 설명된 방법 및 상기 제1 측면의 다양한 가능한 설계를 수행하도록 한다.

제4 측면에서, 본 개시내용의 실시예는 컴퓨터 판독 가능 저장 매체를 제공하고, 컴퓨터 판독 가능 저장 매체는 컴퓨터 실행 가능 명령을 저장하고, 컴퓨터 실행 가능 명령이 프로세서에 의해 실행될 때, 컴퓨터 실행 가능 명령을 저장하고, 제1 측면에서 설명된 방법 및 제1 측면의 다양한 가능한 설계가 구현된다.

본 개시의 실시예들은 증강 현실 기반 디스플레이 방법 및 장치, 및 저장 매체를 제공한다. 방법은 이미지 획득 유닛에 의해 촬영된 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행하여 대상 객체 이미지를 획득하고, 대상 객체 이미지에 기초하여 대상 객체에 대응하는 가상 이미지를 생성하고, 증강 현실 디스플레이 기술에 기초하여 가상 이미지를 실시간 장면 이미지로 디스플레이한다. 대상 객체 이미지를 획득하고 대상 객체 이미지에 기초하여 대상 객체에 대응하는 가상 이미지를 생성함으로써, 가상 이미지가 미리 설계될 필요가 있고 이미지가 단일 및 고정되어야 하는 문제점을 회피할 수 있다. 본 개시의 실시예들에서, 사용자 요구에 따라 다양한 가상 이미지들이 생성될 수 있고, 사용자들의 다양한 요구들이 충족될 수 있다. 증강 현실 기술을 이용하여 가상 이미지를 실시간 장면 이미지에서 향상되고 디스플레이될 수 있음로, 사용자의 AR 기술 사용 의향 및 사용 경험이 개선될 수 있다.

본 개시의 실시예에서의 기술적 해결책 또는 알려진 기술의 기술적 해결책을 보다 명확하게 설명하기 위해, 다음은 실시 예 또는 알려진 기술에 대한 설명에 사용해야 하는 첨부 도면을 간략하게 소개하고, 다음 설명에서 수반되는 도면은 본 개시의 일부 실시예이고, 당업자에 대해, 창의적인 작업이 없다는 전제하에 이들 도면에 따라 다른 도면을 얻을 수도 있다는 것이 명백하다.
도 1은 본 개시의 실시예에 따른 증강 현실 기반 디스플레이 방법의 개략적 흐름도이다.
도 2a는 본 개시의 실시예에 따른 대상 객체 이미지의 윤곽(contour)을 디스플레이하는 예를 도시하는 도면이다.
도 2b는 사용자가 제1 명령을 발행하고 본 개시의 실시예에 따라 대상 객체 이미지를 결정하는 예를 도시하는 도면이다.
도 3은 본 개시의 실시예에 따른 대상 객체 이미지에 대응하는 가상 이미지의 예를 도시하는 도면이다.
도 4는 본 개시의 실시예에 따른 실시간 장면 이미지에 가상 이미지를디스플레이하는 예를 도시하는 도면이다.
도 5는 본 개시의 실시예에 따른 증강 현실 기반 디스플레이 방법의 개략적 흐름도이다.
도 6은 본 개시의 실시예에 따라 대상 객체에 대응하는 가상 이미지를 생성하는 프로세스의 예를 도시하는 도면이다.
도 7은 본 개시의 실시예에 따른 증강 현실 기반 디스플레이 방법의 개략적 흐름도이다.
도 8은 본 개시의 일 실시예에 따른 증강 현실 기반 디스플레이 장치의 구조적 블록도이다.
도 9는 본 개시의 실시예에 따른 전자 장치의 하드웨어 구조를 도시하는 개략도이다.

본 개시의 실시예의 대상, 기술적 해결책 및 이점을 보다 명백하게 하기 위해, 본 개시의 실시예의 기술적 해결책은 본 개시의 실시예에서 수반되는 도면을 참조하여 아래에 명확하고 완전하게 기술될 것이다. 명백하게, 기술된 실시예들은 단지 일부일 뿐이지, 본 개시의 모든 실시예는 아니다. 본 개시내용의 실시예에 기초하여, 당업자는, 본 개시의 보호 범위 내에 있어야 하는, 다른 실시예(들)를, 어떠한 발명의 작업도 없이 획득할 수 있다.

본 개시의 실시예는 AR 기능을 갖는 임의의 전자 장치, 예컨대 스마트폰, 태블릿 컴퓨터, 및 웨어러블 장치 등에 적용될 수 있고, 본 개시의 실시예들의 애플리케이션 시나리오는, 예를 들어, 전자 장치가 그 이미지 획득 유닛을 통해 실시간 장면 이미지를 캡처하고, 실시간 장면에서 대상 객체에 따라 대응하는 가상 이미지를 생성하고, 및 마지막으로 본 개시의 다양한 실시예들에 따른 증강 현실 기반 디스플레이 방법을 통해 생성된 가상 이미지를 실시간 장면 이미지에 디스플레이하는 것을 포함한다. 예를 들어, 실시간 장면 이미지 내의 대상 객체는 망고(mango)이고, 본 개시의 실시예에서 가상 이미지를 생성하는 방법을 이용하여 대상 객체 망고에 대응하는 가상 이미지를 생성한다. 망고에 대응하는 가상 이미지가 실시간 장면 이미지에 디스플레이될 수 있고, 본 개시의 다양한 실시예에 따른 증강 현실 기반 디스플레이 방법에 의해 가상 이미지를 처리한 후 애니메이션의 형태로 더욱 동적으로 디스플레이된다. 또한, 망고에 대응하는 가상 이미지는 팔다리 및/또는 표정을 가질 수 있고, 팔다리 및/또는 표정은 망고에 대응하는 가상 이미지가 실시간 장면에서 이동하도록 특정 움직임을 가질 수 있다.

도 1을 참조하여, 도 1은 본 개시의 실시예에 따른 증강 현실 기반 디스플레이 방법의 개략적 흐름도이다. 실시예의 방법은 AR 기능을 갖는 전자 장치 또는 서버에 적용될 수 있다. 증강 현실 기반 디스플레이 방법은 아래에 설명된 단계를 포함할 수 있다.

S101은, 대상 객체 이미지를 획득하기 위해 이미지 획득 유닛에 의해 캡처된 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행하는 단계이다.

실시예에서, 전자 장치의 카메라와 같은 이미지 획득 유닛은 실시간 장면 이미지를 캡처하고 실시간 장면 이미지를 전자 장치의 디스플레이 유닛에 디스플레이할 수 있다. 전자 장치는 실시간 장면 이미지로부터 대상 객체를 세그먼트화하여 대상 객체 이미지를 획득할 수 있다. 구체적으로, 전자 장치는 대상 객체 이미지를 획득하기 위해 실시간 장면 이미지 상의 객체 세그멘테이션을 수행하기 위해 사전 로드된(pre-loaded) 객체 세그멘테이션 알고리즘(segmentation algorithm)을 실행할 수 있다. 본 개시의 실시예에서 사용되는 객체 세그멘테이션 알고리즘은 두드러진 객체 세그멘테이션 알고리즘을 포함할 수 있고, 세그멘테이션 동안, 실시간 장면 이미지에서 두드러진 객체(salient object)가 대상 객체로 사용될 수 있고, 대상 객체 이미지를 획득하기 위해 세그멘트화될 수 있다. 두드러진 객체는 실시간 장면 이미지에서 배경색과 유의한 차이를 갖는 객체일 수 있으며, 또한 실시간 장면 이미지의 중심 영역에 있는 객체, 또는 실시간 장면 이미지에서 가장 큰 영역을 차지하는 객체 등일 수 있다. 예를 들어, 도 2a에서 볼 수 있듯이 실시간 장면 이미지의 망고는 실시간 장면 이미지의 중앙 영역에 위치하고 가장 큰 영역을 차지하므로 대상 객체로 간주될 수 있다. 또한, 한 쌍의 이어폰은 실시간 장면 이미지의 중앙 영역에 위치하지 않고 망고보다 훨씬 작은 영역을 차지하므로, 대상 객체로 간주되지 않는다.

일 실시예에서, 사용자가 실시간 장면 이미지에서 특정 대상 객체 이미지에 대응하는 가상 이미지를 획득하고자 할 때, 사용자는 전자 장치가 제1 명령에 따라 실시간 장면 이미지에서 대상 객체 이미지를 획득하도록 제1 명령을 제공할 수 있다. 일 실시예에서, 전자 장치는, 제1 명령에 따라, 이미지 획득 유닛에 의해 캡처된 실시간 장면 이미지에서 대상 객체 이미지에 기초하여 획득된 대상 객체 이미지와 동일한 대상 객체 이미지를 복제할 수 있고, 및 복제된 대상 객체 이미지에 기초하여 가상 이미지를 생성한다.

일 실시예에서, 전자 장치가 대상 객체 이미지를 획득하기 위해 대상 객체를 세그먼트화할 때, 대상 객체 이미지는 또한 태깅될 수 있고, 예를 들어, 전자 장치는 대상 객체 이미지를 하이라이트 할 수 있다. 예를 들어, 도 2a에 도시된 바와 같이, 전자 장치는 스트로크를 통해 대상 객체이미지의 윤곽을 하이라이트할 수 있고, 대안적으로 대상 객체 이미지를 하이라이트 할 수 있고, 대안적으로 대상 객체 이미지 이외의 이미지 영역을 더 낮은 휘도 등으로 디스플레이할 수 있어, 사용자가 전자 장치에 의해 현재 세그먼트화된 대상 객체가 사용자가 요구하는 대상 객체와 일치하는지 여부를 확인한다. 사용자가 대상 객체가 사용자에 의해 요구되는 대상 객체와 일치함을 확인할 때, 사용자는 제1 명령을 발행할 수 있으며, 여기서 제1 명령은 태깅된 대상 객체 이미지에 대한 클릭 동작 명령, 드래그 동작 명령 등을 포함하지만, 도 3에서 나타나듯이, 이에 제한되지 않고, 사용자는 대상 객체 이미지의 윤곽 영역 내에서 드래그함으로써 상술한 드래그 동작 명령를 줄 수 있다. 사용자가 대상 객체가 사용자에게 필요한 대상 객체와 일치하지 않음을 확인하면, 사용자는 전자 장치를 이동할 수 있으므로 전자 장치의 이미지 획득 유닛이 각도를 변경하여 실시간 장면 이미지를 다시 캡처하고, 그런 다음 객체 세그멘테이션 알고리즘을 다시 실행하여 실시간 장면 이미지의 두드러진 객체를 대상 객체로 세그먼트 하고 얻은 대상 객체 이미지에 태그를 지정한다. 따라서, 사용자는 전자 장치에 의해 결정된 현재 대상 객체가 사용자가 요구하는 대상 객체와 일치하는지 여부 및 세그멘테이션 효과가 사용자의 기대에 부합하는지 여부를 재확인할 수 있다.

S102은, 대상 객체 이미지에 기초하여 대상 객체에 대응하는 가상 이미지를 생성하는 단계이다.

실시예에서, 대상 객체 이미지(예를 들어, 원래의 대상 객체 이미지로부터 복제한 후 획득된 대상 객체 이미지)를 획득한 후, 전자 장치는 대상 객체 이미지에 기초하여 대상 객체에 대응하는 가상 이미지를 생성할 수 있고, 여기서 가상 이미지는 팔다리-몸체 움직임 및/또는 표정 움직임을 갖는다. 예를 들어, 객체 대상 이미지가 망고의 이미지인 경우 해당 가상 이미지는 도 3과 같이 망고 이미지에 팔다리와 얼굴 표정을 가질 수 있다. 또한, 팔다리 및 표정은 망고의 가상 이미지가 전자 장치의 화면 상에서 이동하도록 유도하기 위해 일정한 움직임을 가질 수 있다.

대안적으로, 대상 객체 이미지에 기초하여 대상 객체에 대응하는 가상 이미지를 생성할 때, 대상 객체 이미지는 대상 객체에 대응하는 가상 이미지를 생성하기 위해 애니메이션 재료와 합성될 수 있으며, 애니메이션 재료는 가상 이미지의 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 포함한다. 즉, 실시예에서, 대상 객체에 대응하는 가상 이미지의 팔다리-몸체 움직임 및/또는 표정 움직임은 후속 합성 프로세스에서 사용하기 위한 대응하는 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 생성하도록 미리 설정될 수 있다. 즉, 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료는 대상 객체에 대응하는 가상 이미지를 획득하기 위해 대상 객체 이미지에 부가될 수 있고, 가상 이미지의 팔다리 및/또는 표정은 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료의 재생에 따라 특정 움직임을 수행할 수 있다.

S103은, 증강 현실 디스플레이 기술에 기초하여 실시간 장면 이미지에 가상 이미지를 디스플레이하는 단계이다.

실시예에서, 대상 객체의 가상 이미지를 획득한 후, 전자 장치는 증강 현실 디스플레이 기술에 의해 대상 객체의 가상 이미지를 실시간 장면 이미지에 디스플레이할 수 있다. 즉, 증강 현실 디스플레이 기술에 의해 가상 이미지가 사실적인 실시간 장면 이미지에 중첩되어 증강 디스플레이의 효과를 얻을 수 있다. 일 실시예에서, 전자 장치는 실시간 장면 이미지에서 대상 객체의 가상 이미지를 동적으로 디스플레이할 수 있다.

일 실시예에서, 전자 장치는 사용자로부터의 제1 명령에 응답하여 실시간 장면 이미지에서 가상 이미지의 증강 디스플레이를 수행할 수 있고, 제1 명령은 대상 객체 이미지에 대한 클릭 조작 명령, 드래그 조작 명령, 음성 조작 명령, 표현 인식에 의해 획득된 조작 명령 등을 포함할 수 있으나 이에 한정되지는 않는다. 또한, 전자 장치는 가상 이미지에 대한 디스플레이 위치를 결정한 후, 실시간 장면 이미지에서 디스플레이 위치에서 대상 객체의 가상 이미지의 증강 디스플레이를 자동으로 수행할 수 있다.

대안적인 실시예에서, 사용자는 획득된 복제된 대상 객체 이미지를 원래의 대상 객체 이미지의 초기 위치로부터 실시간 장면 이미지에서의 위치로 드래그할 수 있다. 또한, 증강 현실 디스플레이 기술에 기초하여 대상 객체의 가상 이미지가 이 위치에 디스플레이된다. 대안적으로, 복제된 대상 객체 이미지에 기초하여 생성된 대상 객체의 가상 이미지가 먼저 디스플레이될 수 있고, 그 후 가상 이미지는 사용자의 드래그 동작에 기초하여 실시간 장면 이미지의 한 위치에 디스플레이될 수 있다.

선택적으로, 사용자는 또한 디스플레이된 가상 이미지를 회전, 확대 또는 축소, 등을 하거나 이동할 수 있다. 예를 들어, 사용자는 전자 장치의 디스플레이 인터페이스 상에서 가상 이미지에 대한 제어 명령(control instruction)을 제공할 수 있다. 제어 명령은 회전 제어 명령(rotation control instruction), 줌-아웃 제어 명령(zoom-out control instruction), 이동 제어 명령(move control instruction), 줌-인 제어 명령(zoom-in control instruction) 등을 포함할 수 있지만, 이에 제한되지 않고, 전자 장치는 가상 이미지에 대한 사용자의 제어 명령에 응답하여 가상 이미지에 대해 대응하는 제어를 수행할 수 있다. 실시예에서의 회전은 임의의 경우에 있어서의 가상 이미지의 각도의 변화를 포함할 수 있고, 이동은 임의의 경우에 있어서의 가상 이미지의 위치의 변화를 포함할 수 있다는 점에 유의할 필요가 있다. 줌-인 또는 줌-아웃(스케일링)은 어떠한 경우에도 가상 이미지의 크기 변화를 포함할 수 있다. 물론, 실시예에서, 사용(use)은 또한 가상 이미지와의 더 많은 다른 상호작용 프로세스(interaction process)를 수행할 수 있으며, 이는 간결성을 위해, 본 명세서에서 중복적으로 하나씩 설명되지 않을 것이다.

실시예에서 제공되는 증강 현실 기반 디스플레이 방법은 이미지 획득 유닛에 의해 캡처된 실시간 장면 이미지로부터 대상 객체를 세그먼트화하여 대상 객체 이미지를 획득하고, 대상 객체 이미지에 기초하여 대상 객체에 대응하는 가상 이미지를 생성하고, 증강 현실 디스플레이 기술을 기반으로 가상 이미지를 실시간 장면 이미지로 디스플레이할 수 있다. 대상 객체 이미지를 획득하고 대상 객체 이미지에 기초하여 대상 객체에 대응하는 가상 이미지를 생성함으로써, 가상 이미지가 미리 설계될 필요가 있고 이미지가 단일 및 고정되어야 하는 문제점을 회피할 수 있다. 실시예에서, 사용자의 요구에 따라 다양한 가상 이미지를 생성할 수 있고, 사용자의 다양한 요구가 충족될 수 있다. 증강 현실 기술을 이용하여 가상 이미지를 실시간 장면 이미지에서 대상 위치(target position)에 디스플레이할 수 있으므로, 사용자의 AR 기술 사용 의향 및 사용 경험이 향상될 수 있다.

상술한 일 실시예에 기초하여, 대상 객체 이미지에 기초하여 대상 객체에 대응하는 가상 이미지를 생성할 때, 대상 객체 이미지는 대상 객체에 대응하는 가상 이미지를 생성하기 위해 애니메이션 재료와 합성될 수 있고, 애니메이션 재료는 가상 이미지의 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 포함한다.

선택적으로, 도 5에 도시된 바와 같이, 대상 객체 이미지를 애니메이션 재료로 합성하는 단계는 구체적으로:

S201는, 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 획득하는 단계;

S202는, 대상 객체 이미지에 기초하여 대상 객체 이미지 상의 복수의 연결 포인트를 결정하는 단계; 및

S203은, 대상 객체에 대응하는 가상 이미지를 생성하기 위해 복수의 연결 포인트의 수단에 의해 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 대상 객체 이미지와 합성하는 단계를 포함할 수 있다.

실시예에서, 전자 장치는 먼저 가상 이미지의 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 획득할 수 있으며, 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료는 미리 구성되고 전자 장치에 저장될 수 있다. 합성이 요구될 때, 전자 장치는 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 추출하고, 그 후 대상 객체 이미지의 특성(예를 들어, 형상, 크기, 텍스처)에 기초하여 대상 객체 이미지 상의 복수의 연결 포인트를 결정할 수 있고, 연결 포인트는 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료가 대상 객체 이미지와 결합되는 위치이다. 예를 들어, 전자 장치는 대상 객체 이미지를 가상 이미지의 몸체의 몸통(trunk)으로 설정하고, 대상 이미지 상에서 결정된 복수의 연결 포인트를 팔다리 연결 포인트(connection point)로 설정할 수 있다. 따라서, 연결 포인트는 팔다리와 몸체의 몸통의 연결 위치들을 포함할 수 있고, 또한 그 후 전자 장치는 대상 객체 이미지가 팔다리를 갖도록 연결 포인트에 의해 대상 객체 이미지와 팔다리-몸체 애니메이션 재료를 합성할 수 있다. 또한, 전자 장치 또한, 대상 객체 이미지에 따라, 대상 객체 이미지 상의 가상 이미지의 몸체 몸통 상의 표현의 몸체의 몸통의 중심, 즉 대상 객체 이미지의 중심 위치와 같은 배치 위치를 결정할 수 있고, 표정 애니메이션 재료를 대상 객체 이미지와 합성하여, 대상 객체 이미지에 대응하는 가상 이미지도 표현을 갖도록 한다. 또한, 팔다리 및/또는 표정은 또한 특정 애니메이션 효과를 가질 수 있으며, 이에 의해 애니메이션 효과를 갖는 대상 객체에 대응하는 가상 이미지가 도 6에 상세히 도시된 바와 같이 추가로 생성된다.

상기 실시예에 기초하여, 대상 객체 이미지 상에서 복수의 연결 포인트를 획득하는 단계는 구체적으로: 대상 객체 이미지에 기초하여 애니메이션 재료를 조정하는 단계; 및 대상 객체 이미지 상에서 복수의 연결 포인트의 위치를 결정하는 단계를 포함할 수 있다.

실시예에서, 대상 객체 이미지는 크기가 변할 수 있기 때문에, 애니메이션 재료는 대상 객체 이미지의 크기에 기초하여 대응하게 조정될 필요가 있어서, 조정된 애니메이션 재료가 대상 객체 이미지와 스케일로 매칭할 수 있다. 또한, 전자 장치들은 또한 대상 객체 이미지의 형상과 같은 인자들에 기초하여 대상 객체 이미지 상의 복수의 연결 포인트의 위치들을 결정할 수 있고, 그에 따라 애니메이션 재료가 적절한 위치의 연결 포인트에서 대상 객체 이미지에 결합되어 좋은 미적 외관을 제공할 수 있다. 즉, 조정된 팔다리-몸체 애니메이션 재료는 대상 객체 이미지의 적절한 위치에 위치될 수 있고, 조정된 표현 애니메이션 재료는 또한 대상 객체 이미지의 적절한 위치에 위치될 수 있다.

본 개시의 실시예에서의 방법에 따르면, 전자 장치에 의해, 대상 객체 이미지를 획득하기 위해 이미지 획득 유닛에 의해 캡처된 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행하는 단계는: 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행하기 위해 객체 세그멘테이션 알고리즘을 실행하는 단계를 포함하고, 그에 따라 대상 객체 이미지의 마스크 및 경계 상자를 획득하고 및 마스크의 내부 영역의 텍스처를 획득한다.

실시예에서, 객체 세그멘테이션 알고리즘을 이용하여 대상 객체를 세그먼트 하는 경우, 대상 객체의 마스크 마스크(mask Mask) 및 경계 상자 박스(bounding box Box) 및 마스크의 내부 영역의 텍스처를 획득할 수 있다.

이에 따라, 전자 장치는 경계 상자의 크기에 기초하여 애니메이션 재료의 크기를 조정하고, 대칭축 및 경계 상자의 길이-폭 비율에 기초하여 대상 객체 이미지 상의 복수의 연결 포인트의 위치를 조정할 수 있다.

실시예에서, 전자 장치는 경계 상자의 크기에 기초하여 애니메이션 재료의 크기를 조절한 후, 대칭축 및 경계 상자의 길이-폭 비율에 기초하여 대상 객체 이미지 상의 복수의 연결 포인트의 위치를 조정할 수 있다. 즉, 경계 상자의 크기가 큰 경우에는 애니메이션 재료의 크기가 적응적으로 증가되고; 경계 상자의 크기가 작은 경우에는 애니메이션 재료의 크기가 적응적으로 감소한다. 전자 장치는 또한, 대상 객체 이미지 상의 복수의 연결 포인트의 위치를 결정할 수 있고, 예를 들어, 대칭의 축 및 길이 방향 하부에 기초하여 상부 팔다리의 연결 포인트의 위치들 및 하부 팔다리의 연결 포인트의 위치를 결정할 수 있고, 및 대상 이미지 등에 기초하여 대상 이미지에서 표정의 배치 위치를 결정한다. 팔다리의 연결 포인트는 대상 객체 이미지의 대칭 축의 두 측면에 대칭으로 배열될 수 있고, 연결 포인트의 특정 위치는 길이-너비 비율에 따라 결정되어야한다. 예를 들어, 엉뚱한(즉, 경계 상자의 길이-폭 비율이 더 큰) 대상 객체 이미지의 경우, 상부 팔다리의 연결 포인트을 위로 이동해야 하고, 아래 팔다리의 연결 포인트를 아래로 이동해야 한다. 덤피(dumpy)(즉, 경계 상자의 길이-너비 비율이 더 작은) 대상 객체 이미지의 경우, 상부 팔다리의 연결 포인트를 아래로 이동하고 하부의 연결 포인트를 위로 이동해야하고, 상부 조정을 통해, 얻은 최종 가상 이미지는 더 조화를 이루고합리적인 몸체 비율을 가질 수 있다.

위 실시예에 기초하여, 대상 객체에 대응하는 가상 이미지를 생성하기 위해 복수의 연결 포인트의 수단에 의해 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 대상 객체 이미지와 합성하는 단계는: 복수의 연결 포인트의 수단에 의해 팔다리-몸체 애니메이션 재료 및/또는 표현 애니메이션 재료를 마스크의 내부 영역의 텍스처와 합성하여 대상 객체에 대응하는 가상 이미지를 생성하는 단계를 포함한다.

실시예에서, 전자 장치는, 대상 객체에 대응하는 가상 이미지를 획득하기 위해, 즉 마스크 내부 영역의 텍스처에 기초하여 팔다리-몸체 애니메이션 재료 및/또는 표현 애니메이션 재료를 디스플레이하기 위해, 팔다리-몸체 애니메이션 재료 및/또는 표현 애니메이션 재료를 연결 포인트의 수단에 의해 마스크의 내부 영역의 텍스처 합성할 수 있다. 일 실시예에서, 대상 객체 이미지 상의 연결 포인트 및 애니메이션 재료의 조정된 크기를 결정한 후에, 전자 장치는 대상 객체에 대응하는 가상 이미지를 획득하기 위해 연결 포인트에 의해 팔다리-몸체 애니메이션 재료 및/또는 표현 애니메이션 재료를 마스크의 내부 영역의 텍스처와 합성할 수 있다.

또한, 전자 장치는 또한 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 재생하는 것을 포함하는 애니메이션 재료를 재생할 수 있고, 따라서 가상 이미지에 대한 움직임 및/또는 표정 제어를 수행하여, 즉, 팔다리 및/또는 가상 이미지의 표정이 대응하는 움직임을 보여줄 수 있게 한다.

구체적으로, 전자 장치는 가상 이미지에 대한 움직임 및/또는 표정 제어를 수행하기 위해 애니메이션 재료의 미리 설정된 애니메이션 프레임에 따라 애니메이션 재료를 재생할 수 있고, 및/또는 대상 객체에 대응하는 가상 이미지에 대한 움직임 및/또는 표현 제어를 수행하기 위해 사용자의 팔다리-몸체 움직임 및/또는 표정에 기초하여 애니메이션 재료의 애니메이션 프레임을 생성 및 재생할 수 있다. 즉, 상술한 애니메이션 재료는 프리셋 애니메이션 프레임(preset animation frame)을 포함할 수 있고, 팔다리 및/또는 표정에 대해 어떤 특정 애니메이션이 보여지는지 프리셋 애니메이션 프레임들에서 미리 설정될 수 있다. 일 실시예에서, 전자 장치는 또한 실시간으로 사용자의 이미지들을 캡처하고 사용자의 팔다리-몸체 움직임 및/또는 표정 움직임에 따라 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료의 애니메이션 프레임들을 생성할 수 있고, 이에 따라, 사용자는 사용자의 움직임을 통해 대상 객체에 대응하는 가상 이미지의 움직임을 제어할 수 있다. 예를 들어, 사용자가 특정 팔다리-몸체 움직임을 할 때, 가상 이미지는 그에 상응하여 동일한 팔다리-몸체 움직임을 나타내고, 및/또는 사용자가 특정 표정을 할 때, 가상 이미지는 이에 대응하여 동일한 표정을 나타낸다. 사용자의 움직임을 이용하여 대상 객체에 대응하는 가상 이미지의 움직임을 구동 및 제어함으로써, 사용자의 동작 경험 및 즐거움을 향상시킬 수 있다.

상술한 일 실시예에 기초하여, 증강 현실 디스플레이 기술에 기초하여 실시간 장면 이미지에 가상 이미지를 디스플레이하는 단계는: 실시간 장면 이미지에 가상 평면을 만드는 단계; 가상 평면에서 3차원(3D) 공간을 생성하는 단계; 및 증강 현실 디스플레이 기술에 기초하여 생성된 3D 공간에 대상 객체의 가상 이미지를 디스플레이하는 단계의 동작을 포함한다.

실시예에서, 대상 객체의 가상 이미지의 증강 디스플레이를 수행할 때, 실시간 장면 이미지에서의 가상 이미지의 움직임이 보다 현실적이고 3차원적인 것을 보장하기 위해, 실시간 장면 이미지에 가상 3D 공간이 만들어질 수 있다. 구체적으로, 전자 장치는 먼저 실시간 장면 이미지에서 가상 평면을 만든 다음, 가상 평면에 기초하여 가상 평면 상에 3D 공간을 생성하고, 나아가 증강 현실 디스플레이 기술에 기초하여 3D 공간에서 가상 이미지를 향상시키고 및 디스플레이한다.

위 실시예에 기초하여, 실시간 장면 이미지에서 가상 평면(virtual plane)을 만드는 단계는: 실시간 장면 이미지에서 대상 평면 영역이 존재하는 것을 감지한 경우, 대상 평면 영역은 제1 프리셋 거리 범위 내에서 상기 이미지 획득 유닛과의 거리를 갖는 평면 영역 및/또는 실시간 장면 이미지의 중앙 영역에 위치하는 평면 영역에서, 대상 평면 영역을 기반으로 가상 평면을 만드는 단계; 또는 실시간 장면 이미지의 특정 위치에 가상 평면을 만드는 단계를 구체적으로 포함한다.

실시예에서, 전자 장치는, 예를 들어, 동시 위치 파악 및 매핑(SLAM) 알고리즘을 통해 실시간 장면 이미지에 기초하여 실시간 장면 이미지에 포함된 평면 영역을 검출할 수 있고, 실시간 장면 이미지의 중앙 영역에 상기 제1 프리셋 범위(first preset range) 내에 상기 이미지 획득 유닛으로부터의 거리를 갖는 평면 영역 및/또는 평면 영역이 존재하는지 여부를 결정한다. 이러한 평면 영역(plane region)이 존재하는 경우, 검출된 평면 영역이 대상 평면 영역(target plane region)으로 사용될 수 있다. 또한, 가상 평면은 대상 평면 영역에 기초하여 만들어지고, 가상 평면은 대상 평면 영역에 근접하거나, 또는 대상 평면 영역에 평행하고 대상 평면 영역에 일정한 고정 거리를 유지할 수 있다. 전자 장치에 의해 대상 평면 영역이 검출되지 않는 경우, 가상 평면은 실시간 장면 이미지의 특정 위치에 만들어질 수 있다. 대안적으로, 전자 장치는 대상 평면 영역을 검출하지 않고, 가상 평면은 실시간 장면 이미지의 특정 위치에 직접 만들어진다. 실시간 장면 이미지 내의 특정 위치는 실시간 장면 이미지의 중앙 영역 또는 오른쪽 상단 모서리와 같은 영역을 포함할 수 있고, 실시간 장면 이미지에서 특정 위치가 구체적으로 위치하는 위치는 실제로 필요에 따라 설정될 수 있다.

상기 실시예에 기초하여, 생성된 3D 공간에서 대상 객체의 가상 이미지를 디스플레이할 때, 3D 공간이 상대적으로 클 수 있기 때문에, 가상 이미지가 3D 공간의 대상 위치에 특별히 디스플레이되는 것으로 결정될 필요가 있다. 즉, 먼저 3D 공간에서 대상 위치를 결정하고, 증강 현실 디스플레이 기술에 기초하여 대상 객체의 가상 이미지가 3D 공간의 대상 위치에 디스플레이될 수 있다.

위 실시예에 기초하여, 3D 공간에서의 대상 위치를 결정하는 단계는: 사용자로부터 위치 지정 명령를 수신하는 단계, 사용자로부터의 위치 지정 명령에 의해 트리거된 위치 포인트에 기초하여 3차원 공간에 3차원 앵커 포인트를 확립하는 단계; 및 3차원 앵커 포인트를 대상 위치로 사용하는 단계를 포함한다.

실시예에서, 사용자는 위치 지정 명령을 발행할 수 있고, 전자 장치는 사용자로부터 위치 지정 명령을 수신한 후에 사용자로부터 위치 지정 명령에 의해 트리거된 위치 포인트를 결정할 수 있다. 선은 위치 포인트(position point)에서 3D 공간으로 연장되어 선과 3D 공간 사이의 교차 포인트(intersection point)를 형성하고 3D 앵커 포인트는 교차 포인트를 기준으로 3D 공간에 작성된다. 3D 앵커 포인트는 3D 공간에서 가상 이미지를 디스플레이하기 위한 대상 위치이고, 전자 장치는 3D 공간 내의 3D 앵커 포인트에서 대상 객체의 가상 이미지의 증강 디스플레이를 수행할 수 있다.

선택적으로, 사용자로부터의 위치 지정 명령은 가상 이미지에 대한 사용자의 드래그 동작을 위한 종료 명령일 수 있고, 드래그 종료 명령에 의해 트리거되는 위치(즉, 사용자의 드래그가 종료되는 위치)는 사용자로부터의 위치 지정 명령에 의해 트리거되는 위치 포인트이다. 또한, 위치 지정 명령은 가상 이미지 상에서의 사용자의 드래그 동작에 대한 종료 명령으로 제한되지 않을 수 있고, 또한 사용자로부터의 클릭 동작 명령일 수 있고, 클릭 동작 명령(click operation instruction)에 의해 트리거되는 위치 포인트(즉, 사용자가 클릭하는 위치)는 사용자로부터의 위치 지정 명령에 의해 트리거되는 위치 포인트이다.

물론, 전자 장치는 또한 실시간 장면 이미지의 임의의 위치에 가상 모델을 디스플레이할 수 있으며, 예를 들어, 실시간 장면 이미지에서 전자 장치에 의해 식별된 임의의 평면 영역에서 디스플레이할 수 있다. 물론, 전자 장치는 다른 방식으로 가상 모델의 디스플레이 위치를 결정할 수 있으며, 이는 본 명세서에서 제한되지 않을 것이다.

상술한 일 실시예에 기초하여, 사전-배치 스테이지(pre-placement stage)는 대상 객체 이미지에 기초하여 대상 객체에 대응하는 가상 이미지를 생성한 후, 그리고 실시간 장면 이미지 내의 대상 위치에서 대상 객체의 가상 이미지의 증강된 디스플레이를 수행하기 전에 더 포함된다. 즉, 대상 객체에 대응하는 가상 이미지는 이미지 획득 유닛 앞의 소정 위치에 일시 중단될 수 있고, 그 후 실시간 장면 이미지에서 대상 위치가 확인된 후 가상 이미지가 대상 위치에 디스플레이될 수 있다. 상술한 임의의 실시예에 기초하여, 도 7에 도시된 바와 같이, 상기 방법은:

S301은, 사용자로부터 제1 트리거링 명령을 수신하고, 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행하기 위해 제1 트리거링 명령에 따라 사전 로드된 객체 세그멘테이션 알고리즘을 실행하는 단계; 및

S302는, 사용자로부터 제2 트리거링 명령을 수신하고, 제2 트리거링 명령에 따라 객체 세그멘테이션 알고리즘의 실행을 중지하는 단계를 더 포함한다.

일 실시예에서, 이미지 획득 유닛에 의해 캡처된 실시간 장면 이미지에서 대상 객체 이미지를 획득할 때, 객체 세그멘테이션 알고리즘에 대해, 객체 세그멘테이션 알고리즘이 장시간 실행되어 전자 장치의 컴퓨팅 자원을 점유하는 것을 방지하기 위해, 객체 세그멘테이션 알고리즘은 적시에 실행되고 실행을 중지하도록 제어될 수 있다. 객체 세그멘테이션 알고리즘이 실행되어야 할 때, 사용자는 제1 트리거링 명령(triggering instruction)을 제공할 수 있다. 제1 트리거링 명령은 이미지 획득 유닛을 턴온하는 트리거링 명령, 또는 이미지 획득 유닛이 실시간 장면 이미지를 캡처할 때 사용자가 프로세스에서 인터페이스에서 시작 버튼을 트리거할 때 사용자에 의해 발행되는 트리거링 명령일 수 있다. 전자 장치는 사용자로부터의 트리거링 명령에 응답하여 객체 세그멘테이션 알고리즘을 시작하고 실행하며, 이에 의해 실시간 장면 이미지로부터 대상 객체를 세그멘트화하기 시작한다.

또한, 전자 장치가 실시간 장면 이미지에서 대상 객체 이미지를 획득하면, 이 시점에서 객체 세그멘테이션 알고리즘의 실행이 중지될 수 있다. 대안적으로, 전자 장치는 사용자로부터의 제2 트리거링 명령에 응답하여 객체 세그멘테이션 알고리즘의 실행을 중단한다. 예를 들어, 사용자는 이미지 획득 장치를 닫거나 인터페이스에서 중지 버튼을 트리거한다. 대안적으로, 세그먼트화된 대상 객체 이미지를 선택하기 위한 사용자로부터의 제1 명령에 응답하여, 전자 장치는 제1 명령에 따라 객체 세그먼트화 알고리즘의 실행을 중단하고, 본 개시는 이에 제한되지 않을 수 있다.

예를 들어, 전자 장치는 알고리즘 모듈에서 객체 세그멘테이션 알고리즘을 실행한다. 제1 트리거링 명령(알고리즘이 실행되도록 트리거하는 명령에 대응함) 이 수신되면, 객체 세그멘테이션 알고리즘의 실행이 개시된다. 제2 트리거링 명령(알고리즘이 실행을 중지하도록 트리거하는 명령에 대응함) 이 수신되면, 객체 세그멘테이션 알고리즘의 실행이 중지된다.

일 실시예에서, 사용자가 세그먼트화된 대상 객체 이미지를 선택하기 위한 제1 명령을 내린 후, 전자 장치가 제1 명령에 따라 실시간 장면 이미지에서 대상 객체 이미지를 획득하고, 이 시점에서 객체 세그멘테이션 알고리즘의 실행이 중지될 수 있다.

일 실시예에서, 사용자는 또한 롱 프레스 동작을 통해 객체 세그멘테이션 알고리즘의 시작을 제어할 수 있다. 객체 세그멘테이션 알고리즘은 길게 누르는 동작 과정에서 계속 실행될 수 있다. 길게 누름 동작이 중지되면 객체 세그멘테이션 알고리즘의 실행이 종료될 수 있다.

객체 세그멘테이션 알고리즘은 상술한 바와 같이 상기 방법을 채택함으로써 시간 내에 실행되고 실행을 중지하도록 제어되므로, 전자 장치에서 객체 세그멘테이션 알고리즘이 장시간 실행되는 것을 피할 수 있고, 전자 장치의 컴퓨팅 자원을 절약할 수 있다.

상기 실시예에서의 증강 현실 기반 디스플레이 방법에 대응하여, 도 8은 본 개시의 실시예에 따른 증강 현실 기반 디스플레이 장치의 구조적 블록도이다. 설명의 용이성을 위해, 본 개시의 실시예들과 관련된 부분들만이 설명된다. 도 8을 참조하여, 증강 현실 기반 디스플레이 장치(display device)(80)는 대상 객체 결정 유닛(target object determination unit)(801), 생성 유닛(generation unit)(802), 및 디스플레이 유닛(display unit)(803)을 포함한다.

대상 객체 결정 유닛(801)은 대상 객체 이미지를 획득하기 위해 이미지 획득 유닛에 의해 캡쳐된 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행하도록 구성된다.

생성 유닛(802)은 대상 객체 이미지에 기초하여 대상 객체에 대응하는 가상 이미지를 생성하도록 구성된다.

디스플레이 유닛(803)은 증강 현실 디스플레이 기술에 기초하여 실시간 장면 이미지에 가상 이미지를 디스플레이하도록 구성된다.

본 개시의 하나 이상의 실시예들에 따르면, 생성 유닛(802)은, 대상 객체 이미지에 기초하여 대상 객체에 대응하는 가상 이미지를 생성할 때, 대상 객체 이미지를 애니메이션 재료로 합성하여 대상 객체에 대응하는 가상 이미지를 생성하도록 구성된다.

프리셋 애니메이션 재료(preset animation material)는 가상 이미지의 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 포함한다.

본 개시의 하나 이상의 실시예들에 따르면, 생성 유닛(802)은, 대상 객체 이미지를 애니메이션 재료와 합성할 때, 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 획득하고; 대상 객체 이미지에 기초하여 대상 객체 이미지 상의 복수의 연결 포인트를 결정하고; 및 대상 객체에 대응하는 가상 이미지를 생성하기 위해 복수의 연결 포인트의 수단에 의해 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 대상 객체 이미지와 합성하도록 구성된다.

본 개시의 하나 이상의 실시예에서에 따르면, 대상 객체 결정 유닛(801)은, 대상 객체 이미지를 획득하기 위해 이미지 획득 유닛에 의해 캡처된 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행할 때: 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행하기 위해 객체 세그멘테이션 알고리즘을 실행하도록 구성괴고, 그에 따라 대상 객체 이미지의 마스크 및 경계 상자를 획득하고 마스크의 내부 영역의 텍스처를 획득한다.

본 개시의 하나 이상의 실시예들에 따르면, 생성 유닛(802)은: 대상 객체에 대응하는 가상 이미지를 생성하기 위해 복수의 연결 포인트의 수단에 의해 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 대상 객체 이미지와 합성할 때, 복수의 연결 포인트의 수단에 의해 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 마스크의 내부 영역의 텍스처와 합성하여 대상 객체에 대응하는 가상 이미지를 생성하도록 구성된다.

본 개시의 하나 이상의 실시예에 따르면, 생성 유닛(802)는: 경계 상자의 크기에 기초하여 애니메이션 재료의 크기를 조정하고, 및 대칭축 및 경계 상자의 길이-폭 비율에 기초하여 대상 객체 이미지 상의 복수의 연결 포인트의 위치를 조정하도록 구성된다.

본 개시의 하나 이상의 실시예들에 따르면, 디스플레이 유닛(803)은: 가상 이미지에 대한 움직임 및/또는 표정 제어를 수행하기 위해 애니메이션 재료를 재생하도록 더 구성된다.

본 개시의 하나 이상의 실시예들에 따르면, 디스플레이 유닛(803)은: 가상 이미지에 대한 움직임 및/또는 표정 제어를 수행하기 위해 애니메이션 재료를 재생할 때, 가상 이미지에 대한 움직임 및/또는 표현 제어를 수행하기 위해 애니메이션 재료의 미리 설정된 애니메이션 프레임에 따라 애니메이션 재료를 재생하도록 구성되고; 및/또는 가상 이미지에 대한 움직임 및/또는 표정 제어를 수행하기 위해 팔다리-몸체 움직임 및/또는 사용자의 표정에 기초하여 애니메이션 재료의 애니메이션 프레임들을 생성 및 재생한다.

본 개시의 하나 이상의 실시예들에 따르면, 디스플레이 유닛(803)은, 증강 현실 디스플레이 기술에 기초하여 실시간 장면 이미지에 가상 이미지를 디스플레이할 때, 실시간 장면 이미지에 가상 평면을 만들고; 가상 평면에서 3D 공간을 생성하고; 증강 현실 디스플레이 기술에 기초하여 생성된 3D 공간에 대상 객체의 가상 이미지를 디스플레이하도록 구성된다.

본 개시의 하나 이상의 실시예들에 따르면,디스플레이 유닛(803)은: 실시간 장면 이미지에서 대상 평면 영역에 기초하여 가상 평면(virtual plane)을 만들 때, 실시간 장면 이미지에서 대상 평면 영역이 존재하는 것을 감지한 경우, 대상 평면 영역은 제1 프리셋 거리 범위 내에서 상기 이미지 획득 유닛과의 거리를 갖는 평면 영역 및/또는 실시간 장면 이미지의 중앙 영역에 위치하는 평면 영역에서, 대상 평면 영역에 기초하여 가상 평면을 만들고; 또는 실시간 장면 이미지의 특정 위치에 가상 평면을 만들도록 구성된다.

본 개시의 하나 이상의 실시예들에 따르면, 디스플레이 유닛(803)은 증강 현실 디스플레이 기술에 기초하여 생성된 3D 공간에서 대상 객체의 가상 이미지를 디스플레이할 때, 3D 공간에서의 대상 위치를 결정하고; 및 증강 현실 디스플레이 기술에 기초하여 3D 공간의 대상 위치에 대상 객체의 가상 이미지를 디스플레이 하도록 구성된다.

본 개시의 하나 이상의 실시예에 따르면, 디스플레이 유닛(803)은: 3D 공간에서의 대상 위치를 결정할 때, 사용자로부터 위치 지정 명령를 수신하고, 사용자로부터의 위치 지정 명령에 의해 트리거된 위치 포인트에 기초하여 3차원 공간에 3차원 앵커 포인트를 확립하고; 및 3차원 앵커 포인트를 대상 위치로 사용하도록 구성된다.

본 개시의 하나 이상의 실시예들에 따르면, 대상 객체 결정 유닛(801)은: 사용자로부터 제1 트리거링 명령을 수신하고, 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행하기 위해 제1 트리거링 명령에 따라 사전 로드된 객체 세그멘테이션 알고리즘을 실행하고; 및 사용자로부터 제2 트리거링 명령을 수신하고, 제2 트리거링 명령에 따라 객체 세그멘테이션 알고리즘의 실행을 중지하도록 더 구성된다.

본 개시의 하나 이상의 실시예들에 따르면, 디스플레이 유닛은 실시간 장면 이미지에 가상 이미지를 디스플레이할 때, 실시간 장면 이미지에 가상 이미지를 동적으로 디스플레이하도록 구성된다.

실시예에서 제공되는 증강 현실 기반 디스플레이 장치는 상술한 방법 중 증강 현실 기반 디스플레이 방법의 기술적 해법을 수행하는 데 사용될 수 있으며, 증강 현실 기반 디스플레이 장치의 구현 원리 및 기술적 효과는 방법 실시예들의 것과 유사하며, 세부 사항은 본 명세서에서 다시 설명되지 않는다.

본 개시의 실시예에 따른 전자 장치(electronic device)(900)를 구현하기에 적합한 구조를 도시하는 개략도인 도 9를 참조한다. 전자 장치(900)는 단말 장치 또는 서버일 수 있고, 전술한 방법 실시예들에서 증강 현실 기반 디스플레이 방법을 수행하는데 사용될 수 있다. 특히, 단말 장치는, 휴대 전화, 노트북 컴퓨터, 디지털 방송 수신기, 개인 휴대 기기(Personal Digital Assistant)(PDA), 휴대용 안드로이드 장치(portable Android device)(PAD), 휴대용 미디어 플레이어(PMP), 차량 탑재 단말기(예를 들어, 차량용 단말기) 등과 같은 모바일 단말기,및 디지털 TV, 데스크톱 컴퓨터 등과 같은 고정 단말기를 포함하나, 이에 제한되지 않는다. 도 9에 디스플레이된 전자 장치는 단지 예일 뿐이며, 본 개시의 실시예들의 기능 및 사용 범위에 어떠한 제한도 부과해서는 안된다.

도 9에 도시된 바와 같이, 전자 장치(900)는 처리 장치(processing device)(예를 들어, 중앙 프로세싱 유닛, 그래픽 프로세싱 유닛 등)(901)를 포함할 수 있고, 이는 읽기 전용 메모리(ROM)(902) 에 저장된 프로그램 또는 저장 장치(storage device)(908)로부터 랜덤 액세스 메모리(RAM)(903)로 로드된 프로그램에 따라 다양한 적절한 동작과 처리를 수행할 수 있다. RAM(903)은 전자 장치(900)의 동작에 필요한 다양한 프로그램 및 데이터를 더 저장한다. 처리 장치(901), ROM(902) 및 RAM(903)은 버스(bus)(904)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(nterface)(905)도 버스(904) 에 연결된다.

통상적으로, 다음의 장치들이 I/O 인터페이스(I/O interface)(905)에 연결될 수 있다: 예를 들어, 터치 스크린, 터치 패드, 키보드, 마우스, 카메라, 마이크로폰, 가속도계, 자이로스코프 등을 포함하는 입력 장치(input device)(906); 예를 들어 액정 디스플레이(LCD), 라우드 스피커, 바이브레이터 등을 포함하는 출력 장치(output device)(907); 예를 들어 자기 테이프, 하드 디스크 등을 포함하는 저장 장치(storage device)(908); 및 통신 장치(communication device)(909). 통신 유닛(communication unit)(909)은 전자 장치(900)가 무선으로 또는 다른 장치들과 유선으로 통신하여 데이터를 교환하도록 허용할 수 있다. 도 9는 다양한 장치를 갖는 전자 장치(900)를 도시하지만, 도시된 모든 장치가 반드시 구현되거나 포함되는 것은 아니라는 것을 이해해야 한다. 더 많거나 적은 장치들이 대안적으로 구현되거나 포함될 수 있다.

특히, 본 개시의 실시예들에 따르면, 플로우차트를 참조하여 상술한 프로세스는 컴퓨터 소프트웨어 프로그램으로서 구현될 수 있다. 예를 들어, 본 개시의 실시예는 컴퓨터 프로그램 제품을 포함하며, 이는 컴퓨터 판독 가능 매체 상에 운반되는 컴퓨터 프로그램을 포함한다. 컴퓨터 프로그램은 순서도에 도시된 방법을 실행하기 위한 프로그램 코드를 포함하고, 상술한 방법 실시예들에서 증강 현실 기반 디스플레이 방법을 실행하는데 사용될 수 있다. 이러한 실시예에서, 컴퓨터 프로그램은 통신 장치(909)를 통해 온라인으로 다운로드되고, 저장 장치(908)로부터 설치 또는 설치되거나, ROM(902)으로부터 설치될 수 있다. 컴퓨터 프로그램이 처리 장치(901)에 의해 실행될 때, 본 개시의 실시예들에 제공된 방법에 정의된 상술한 기능들이 실행된다.

본 개시에서 상술한 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 저장 매체 또는 이들의 임의의 조합일 수 있다는 점에 유의할 필요가 있다. 예를 들어, 컴퓨터 판독 가능 저장 매체는 전기, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 장치, 또는 이들의 임의의 조합일 수 있지만 이에 한정되지는 않는다. 컴퓨터 판독 가능 저장 매체(computer readable storage medium)의 보다 구체적인 예는: 하나 이상의 와이어를 갖는 전기 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 가능한 프로그래밍 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 장치,자기 저장 장치 또는 이들의 적절한 조합을 포함하나, 이에 제한되지 않는다. 본 개시에서, 컴퓨터 판독 가능 저장 매체는 명령 실행 시스템, 장치, 또는 장치에 의해 또는 그와 조합하여 사용될 수 있는 프로그램을 포함하거나 저장하는 임의의 유형 매체일 수 있다. 본 개시에서, 컴퓨터 판독 가능 신호 매체computer readable signal medium()는 기저대역 내에서 또는 캐리어의 일부로서 전파되고 컴퓨터 판독 가능 프로그램 코드들을 운반하는 데이터 신호를 포함할 수 있다. 이러한 방식으로 전파되는 데이터 신호는 전자기 신호, 광 신호 또는 이들의 임의의 적절한 조합을 포함하되 이에 국한되지 않는 다양한 형태를 취할 수 있다. 컴퓨터 판독 가능 신호 매체는 또한 컴퓨터 판독 가능 저장 매체가 아닌 임의의 컴퓨터 판독 가능 매체일 수 있다. 컴퓨터 판독 가능 신호 매체는 명령 실행 시스템, 장치, 또는 장치에 의해 또는 그와 조합하여 사용되는 프로그램을 송신, 전파 또는 전송할 수 있다. 컴퓨터 판독 가능 매체에 포함된 프로그램 코드는 전선, 광섬유 케이블, 무선 주파수(RF) 등, 또는 이들의 임의의 적절한 조합을 포함하되 이에 국한되지 않는 임의의 적합한 매체를 사용하여 전송될 수 있다.

상술한 컴퓨터 판독 가능 매체는 상술한 전자 장치에 포함될 수 있거나, 전자 장치에 조립되지 않고 단독으로 존재할 수 있다.

전술한 컴퓨터 판독 가능 매체는 하나 이상의 프로그램을 반송할 수 있고, 상기 하나 이상의 프로그램이 상기 전자 장치에 의해 실행될 때, 상기 전자 장치는 상기 실시예들에서 설명된 방법을 수행하도록 야기된다.

본 개시내용에서 동작들을 수행하기 위한 컴퓨터 프로그램 코드들은 하나 이상의 프로그래밍 언어 또는 이들의 조합으로 기록될 수 있다. 프로그래밍 언어에는 Java, Smalltalk 및 C++와 같은 대상 지향 프로그래밍 언어가 포함되며 “C”언어 또는 유사한 프로그래밍 언어와 같은 기존 절차 프로그래밍 언어도 포함된다. 프로그램 코드는 사용자의 컴퓨터에서 완전히 실행되거나, 사용자의 컴퓨터에서 부분적으로 실행되거나, 독립 소프트웨어 패키지로 실행되거나, 사용자의 컴퓨터에서 부분적으로 실행되고 부분적으로 원격 컴퓨터에서 실행되거나, 원격 컴퓨터 또는 서버에서 완전히 실행될 수 있다. 원격 컴퓨터와 관련된 시나리오에서, 원격 컴퓨터는 로컬 에리어 네트웍(Local Area Network)(LAN) 또는 광역 네트웍(Wide Area Network)(WAN)을 포함하는 임의의 유형의 네트워크를 통해 사용자의 컴퓨터에 연결될 수 있거나, 외부 컴퓨터(예를 들어, 인터넷 서비스 제공자로부터 인터넷을 통해 연결됨)에 연결될 수 있다.

수반되는 도면에서의 플로우차트 및 블록도는 본 개시의 다양한 실시예에 따라 시스템, 방법, 및 컴퓨터 프로그램 제품에 의해 구현될 수 있는 시스템 아키텍처, 기능 및 동작을 설명한다. 이와 관련하여, 플로우차트 또는 블록도에서의 각각의 블록은 모듈, 프로그램 세그멘트, 또는 코드의 일부를 나타낼 수 있고, 모듈, 프로그램 세그멘트 또는 코드의 일부는 지정된 논리 함수를 구현하기 위한 하나 이상의 실행 가능한 명령을 포함한다. 또한 일부 대체 구현에서는 블록에디스플레이된 기능이 함께 제공된 도면에 지정된 순서와 다른 순서로 발생할 수도 있다. 예를 들어, 두 개의 연속적인 블록은 실제로 실질적으로 병렬로 실행될 수 있고, 및 때때로 역순으로 실행될 수 있는데, 이는 관련 함수에 따라 다르다. 또한 순서도 및/또는 블록도의 각 블록과 순서도 및/또는 블록도의 블록 조합은 지정된 기능 또는 동작을 실행하기 위해 전용 하드웨어 기반 시스템에 의해 구현될 수 있고, 또는 전용 하드웨어 및 컴퓨터 지침의 조합으로 구현될 수 있다.

본 개시의 실시예들에서 설명된 관련 유닛들은 소프트웨어에 의해 구현될 수 있거나, 하드웨어에 의해 구현될 수 있다. 장치 이름은 장치 자체에 대한 제한을 구성하지 않는다. 예를 들어, 제1 획득 유닛은 또한 “적어도 2개의 인터넷 프로토콜 어드레스를 획득하기 위한 유닛”으로 설명될 수 있다.

본 개시에서 전술한 기능들은 하나 이상의 하드웨어 로직 컴포넌트들에 의해 적어도 부분적으로 실행될 수 있다. 예를 들어, 제한 없이, 사용될 수 있는 하드웨어 로직 컴포넌트의 예시적인 유형은 필드 프로그래머블 게이트 어레이(FPGA), 애플리케이션 특정 집적 회로(ASIC), 애플리케이션 특정 표준 제품(ASSP), 시스템 온 칩(SOC), 복잡한 프로그래머블 로직 장치(CPLD) 등을 포함한다.

본 개시의 맥락에서, 기계 판독 가능 매체는 명령 실행 시스템, 장치, 또는 장치에 의해 또는 그와 조합하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 유형 매체일 수 있다. 기계 판독 가능 매체(machine readable medium)는 기계 판독 가능 신호 매체 또는 기계 판독 가능 저장 매체일 수 있다. 기계 판독 가능 매체는 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치, 또는 장치, 또는 이들의 임의의 적절한 조합을 포함할 수 있으나 이에 제한되지 않는다. 기계 판독 가능 저장 매체(machine readable storage medium)의 보다 구체적인 예는, 하나 이상의 와이어 기반 전기 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능한 프로그램 가능한 판독 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 이들의 적절한 조합을 포함할 수 있다.

제1 측면에서, 본 개시의 하나 이상의 실시예들에 따르면, 증강 현실 기반 디스플레이 방법이 제공되고 및 이는: 사용자로부터의 제1 명령에 응답하여 이미지 획득 유닛에 의해 캡처된 실시간 장면 이미지에서 대상 객체 이미지를 획득하는 단계; 대상 객체 이미지에 기초하여 대상 객체에 대응하는 가상 이미지를 생성하는 단계; 및 증강 현실 디스플레이 기술에 기초하여 실시간 장면 이미지에 대상 객체의 가상 이미지를 디스플레이하는 단계를 포함한다.

본 개시의 하나 이상의 실시예들에 따르면, 대상 객체 이미지에 기초하여 대상 객체에 대응하는 가상 이미지를 생성하는 단계는: 대상 객체에 대응하는 가상 이미지를 생성하기 위해 대상 객체 이미지를 애니메이션 재료로 합성하는 단계를 포함한다. 프리셋 애니메이션 재료는 가상 이미지의 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 포함한다.

본 개시의 하나 이상의 실시예들에 따르면, 대상 객체 이미지를 애니메이션 재료로 합성하는 단계는: 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 획득하는 단계, 대상 객체에 기초하여 대상 객체 이미지 상의 복수의 연결 포인트을 결정하는 단계, 및 대상 객체에 대응하는 가상 이미지를 생성하기 위해 복수의 연결 포인트의 수단에 의해 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 대상 객체 이미지와 합성하는 단계를 포함한다.

본 개시의 하나 이상의 실시예에 따르면, 대상 객체 이미지를 획득하기 위해 이미지 획득 유닛에 의해 캡처된 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행하는 단계는: 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행하기 위해 객체 세그멘테이션 알고리즘을 실행하는 단계를 포함하고, 그에 따라 대상 객체 이미지의 마스크 및 경계 상자를 획득하고, 마스크의 내부 영역의 텍스처를 획득한다.

본 개시의 하나 이상의 실시예들에 따르면, 대상 객체에 대응하는 가상 이미지를 생성하기 위해 복수의 연결 포인트의 수단에 의해 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 대상 객체 이미지와 합성하는 단계는: 대상 객체에 대응하는 가상 이미지를 생성하기 위해 복수의 연결 포인트의 수단에 의해 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 마스크의 내부 영역의 텍스처와 합성하는 단계를 포함한다.

본 개시의 하나 이상의 실시예에 따르면, 방법은: 경계 상자의 크기에 기초하여 애니메이션 재료의 크기를 조정하는 단계, 및 대칭축 및 경계 상자의 길이-폭 비율에 기초하여 대상 객체 이미지 상의 복수의 연결 포인트의 위치를 조정하는 단계를 더 포함한다.

본 개시의 하나 이상의 실시예들에 따르면, 방법은: 가상 이미지에 대한 움직임 및/또는 표정 제어를 수행하기 위해 애니메이션 재료를 재생하는 단계를 더 포함한다.

본 개시의 하나 이상의 실시예에 따르면, 가상 이미지에 대한 움직임 및/또는 표정 제어를 수행하기 위해 애니메이션 재료를 재생하는 단계는: 가상 이미지에 대한 움직임 및/또는 표정 제어를 수행하기 위해 애니메이션 재료의 미리 설정된 애니메이션 프레임에 따라 애니메이션 재료를 재생하는 단계; 및/또는 가상 이미지에 대한 움직임 및/또는 표정 제어를 수행하기 위해 팔다리-몸체 움직임 및/또는 사용자의 표정에 기초하여 애니메이션 재료의 애니메이션 프레임을 생성하고 재생하는 단계를 포함한다.

본 개시의 하나 이상의 실시예들에 따르면, 디스플레이 유닛(803)은, 증강 현실 디스플레이 기술에 기초하여 실시간 장면 이미지에 가상 이미지를 디스플레이하는 단계는: 실시간 장면 이미지에 가상 평면을 만드는 단계; 가상 평면에서 3D 공간을 만드는 단계; 및 증강 현실 디스플레이 기술에 기초하여 생성된 3D 공간에 대상 객체의 가상 이미지를 디스플레이하는 단계를 포함한다.

본 개시의 하나 이상의 실시예들에 따르면, 실시간 장면 이미지에서 대상 평면 영역에 기초하여 가상 평면(virtual plane)을 만드는 단계는: 실시간 장면 이미지에서 대상 평면 영역이 존재하는 것을 감지한 경우, 대상 평면 영역에 기초하여 가상 평면을 만드는 단계 - 대상 평면 영역은 제1 프리셋 거리 범위 내에서 상기 이미지 획득 유닛과의 거리를 갖는 평면 영역 및/또는 실시간 장면 이미지의 중앙 영역에 위치하는 평면 영역에서 -; 또는 실시간 장면 이미지의 특정 위치에 가상 평면을 만드는 단계를 포함한다.

본 개시의 하나 이상의 실시예들에 따르면, 증강 현실 디스플레이 기술에 기초하여 생성된 3차원 공간에 대상 객체의 가상 이미지를 디스플레이하는 단계는: 3차원 공간에서의 대상 위치를 결정하는 단계; 및 증강 현실 디스플레이 기술에 기초하여 3차원 공간 내의 대상 위치에 대상 객체의 가상 이미지를 디스플레이하는 단계를 포함한다.

본 개시의 하나 이상의 실시예에 따르면, 3차원 공간에서의 대상 위치를 결정하는 단계는: 사용자로부터 위치 지정 명령를 수신하는 단계, 사용자로부터의 위치 지정 명령에 의해 트리거된 위치 포인트에 기초하여 3차원 공간에 3차원 앵커 포인트를 확립하는 단계; 및 3차원 앵커 포인트를 대상 위치로 사용하는 단계를 포함한다.

본 개시의 하나 이상의 실시예들에 따르면, 방법은: 사용자로부터 제1 트리거링 명령을 수신하는 단계, 및 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행하기 위해 제1 트리거링 명령에 따라 사전 로드된 객체 세그멘테이션 알고리즘을 실행하는 단계; 및 사용자로부터 제2 트리거링 명령을 수신하는 단계, 제2 트리거링 명령에 따라 객체 세그멘테이션 알고리즘의 실행을 중지하는 단계를 더 포함한다.

본 개시의 하나 이상의 실시예들에 따르면, 실시간 장면 이미지에 가상 이미지를 디스플레이하는 단계는: 실시간 장면 이미지에 가상 이미지를 동적으로 디스플레이하는 단계를 포함한다.

제2 측면에서, 본 개시의 하나 이상의 실시예들에 따르면, 증강 현실 기반 디스플레이 장치가 제공되고 및 이는: 대상 객체 이미지를 획득하기 위해 이미지 획득 유닛에 의해 캡처된 실시간 장면 이미지에서 대상 객체 상에 객체 세그멘테이션을 수행하도록 구성된 대상 객체 결정 유닛; 대상 객체 이미지에 기초하여 대상 객체에 대응하는 가상 이미지를 생성하도록 구성된 생성 유닛; 및 증강 현실 디스플레이 기술에 기초하여 가상 이미지를 실시간 장면 이미지에 디스플레이하도록 구성된 디스플레이 유닛을 포함한다.

본 개시의 하나 이상의 실시예들에 따르면, 생성 유닛은: 대상 객체 이미지에 기초하여 대상 객체에 대응하는 가상 이미지를 생성할 때, 대상 객체 이미지를 애니메이션 재료로 합성하여 대상 객체에 대응하는 가상 이미지를 생성하도록 구성된다.

프리셋 애니메이션 재료(preset animation material)는 가상 이미지의 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 포함한다.

본 개시의 하나 이상의 실시예들에 따르면, 생성 유닛은: 대상 객체 이미지를 애니메이션 재료와 합성할 때, 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 획득하고; 대상 객체 이미지에 기초하여 대상 객체 이미지 상의 복수의 연결 포인트를 결정하고; 및 대상 객체에 대응하는 가상 이미지를 생성하기 위해 복수의 연결 포인트의 수단에 의해 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 대상 객체 이미지와 합성하도록 구성된다.

본 개시의 하나 이상의 실시예에서에 따르면, 대상 객체 결정 유닛은: 대상 객체 이미지를 획득하기 위해 이미지 획득 유닛에 의해 캡처된 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행할 때, 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행하기 위해 객체 세그멘테이션 알고리즘을 실행하도록 구성되고, 그에 따라 대상 객체 이미지의 마스크 및 경계 상자를 획득하고 마스크의 내부 영역의 텍스처를 획득한다.

본 개시의 하나 이상의 실시예에 따르면, 생성 유닛은: 대상 객체에 대응하는 가상 이미지를 생성하기 위해 복수의 연결 포인트의 수단에 의해 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 대상 객체 이미지와 합성할 때, 대상 객체에 대응하는 가상 이미지를 생성하기 위해 복수의 연결 포인트의 수단에 의해 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 마스크의 내부 영역의 텍스처와 합성하도록 구성된다.

본 개시의 하나 이상의 실시예에 따르면, 생성 유닛은: 경계 상자의 크기에 기초하여 애니메이션 재료의 크기를 조정하고, 및 대칭축 및 경계 상자의 길이-폭 비율에 기초하여 대상 객체 이미지 상의 복수의 연결 포인트의 위치를 조정하도록 구성된다.

본 개시의 하나 이상의 실시예들에 따르면, 디스플레이 유닛은 가상 이미지에 대한 움직임 및/또는 표정 제어를 수행하기 위해 애니메이션 재료를 재생하도록 더 구성된다.

본 개시의 하나 이상의 실시예들에 따르면, 디스플레이 유닛은: 가상 이미지에 대한 움직임 및/또는 표정 제어를 수행하기 위해 애니메이션 재료를 재생할 때, 가상 이미지에 대한 움직임 및/또는 표현 제어를 수행하기 위해 애니메이션 재료의 미리 설정된 애니메이션 프레임에 따라 애니메이션 재료를 재생하도록 구성되고; 및/또는 가상 이미지에 대한 움직임 및/또는 표정 제어를 수행하기 위해 팔다리-몸체 움직임 및/또는 사용자의 표정에 기초하여 애니메이션 재료의 애니메이션 프레임들을 생성 및 재생하도록 구성된다.

본 개시의 하나 이상의 실시예들에 따르면, 디스플레이 유닛은, 증강 현실 디스플레이 기술에 기초하여 실시간 장면 이미지에 가상 이미지를 디스플레이할 때, 실시간 장면 이미지에 가상 평면을 만들고; 가상 평면에서 3D 공간을 생성하고; 증강 현실 디스플레이 기술에 기초하여 생성된 3D 공간에 대상 객체의 가상 이미지를 디스플레이하도록 구성된다.

본 개시의 하나 이상의 실시예들에 따르면,디스플레이 유닛은: 실시간 장면 이미지에서 대상 평면 영역에 기초하여 가상 평면(virtual plane)을 만들 때, 실시간 장면 이미지에서 대상 평면 영역이 존재하는 것을 감지한 경우, 대상 평면 영역은 제1 프리셋 거리 범위 내에서 상기 이미지 획득 유닛과의 거리를 갖는 평면 영역 및/또는 실시간 장면 이미지의 중앙 영역에 위치하는 평면 영역에서, 대상 평면 영역에 기초하여 가상 평면을 만들고; 또는 실시간 장면 이미지의 특정 위치에 가상 평면을 만들도록 구성된다.

본 개시의 하나 이상의 실시예들에 따르면, 디스플레이 유닛은 증강 현실 디스플레이 기술에 기초하여 생성된 3D 공간에서 대상 객체의 가상 이미지를 디스플레이할 때, 3D 공간에서의 대상 위치를 결정하고; 및 증강 현실 디스플레이 기술에 기초하여 3D 공간의 대상 위치에 대상 객체의 가상 이미지를 디스플레이 하도록 구성된다.

본 개시의 하나 이상의 실시예에 따르면, 디스플레이 유닛은: 3D 공간에서의 대상 위치를 결정할 때, 사용자로부터 위치 지정 명령를 수신하고, 사용자로부터의 위치 지정 명령에 의해 트리거된 위치 포인트에 기초하여 3차원 공간에 3차원 앵커 포인트를 확립하고; 및 3차원 앵커 포인트를 대상 위치로 사용하도록 구성된다.

본 개시의 하나 이상의 실시예들에 따르면, 대상 객체 결정 유닛은: 사용자로부터 제1 트리거링 명령을 수신하고, 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행하기 위해 제1 트리거링 명령에 따라 사전 로드된 객체 세그멘테이션 알고리즘을 실행하고; 및 사용자로부터 제2 트리거링 명령을 수신하고, 제2 트리거링 명령에 따라 객체 세그멘테이션 알고리즘의 실행을 중지하도록 더 구성된다.

본 개시의 하나 이상의 실시예들에 따르면, 디스플레이 유닛은 실시간 장면 이미지에 가상 이미지를 디스플레이할 때, 실시간 장면 이미지에 가상 이미지를 동적으로 디스플레이하도록 구성된다.

제3 측면에서, 본 개시의 하나 이상의 실시예에 따르면, 전자 장치가 제공되고 및 이는: 적어도 하나의 프로세서와 메모리를 포함하고; 메모리는 컴퓨터 실행 가능 명령을 저장하고; 적어도 하나의 프로세서는 메모리에 저장된 컴퓨터 실행 가능 명령을 실행하여 적어도 하나의 프로세서로 하여금 제1 측면에서 설명된 방법 및 상기 제1 측면의 다양한 가능한 설계를 수행하도록 한다.

제4 측면에서, 본 개시의 하나 이상의 실시예에 따르면, 컴퓨터 판독 가능 저장 매체가 제공되고, 컴퓨터 판독 가능 저장 매체는 컴퓨터 실행 가능 명령을 저장하고, 컴퓨터 실행 가능 명령이 프로세서에 의해 실행될 때, 컴퓨터 실행 가능 명령을 저장하고, 제1 측면에서 설명된 방법 및 제1 측면의 다양한 가능한 설계가 구현된다.

전술한 설명은 단지 본 개시의 대안적인 실시예들의 예시 및 관련된 기술적 원칙의 설명일 뿐이다. 당업자는 본 공개와 관련된 공개의 범위가 위에서 설명한 기술적 특징의 특정 조합에 의해 형성된 기술 솔루션에만 국한되지 않는다고, 또한 본 공개의 개념에서 벗어나지 않고 위에서 설명한 기술적 특징 또는 이와 동등한 특징의 조합으로 형성된 기타 기술 솔루션도 다룬다는 것을 이해해야 한다.. 예를 들어, 상술한 기술적 특징들은 새로운 기술적 해결책을 형성하기 위해 여기에 개시된 유사한 기능들을 갖는 기술적 특징들(그러나 이에 한정되지 않음)으로 상호 대체될 수 있다.

또한, 동작이 특정 순서로 설명되었지만 이러한 동작이 명시된 특정 순서 또는 순차적으로 수행되도록 요구하는 것으로 해석되어서는 안된다. 특정 상황에서는 멀티태스킹 및 병렬 처리가 유리할 수 있다. 마찬가지로, 일부 구체적인 구현 세부 사항은 위의 논의에 포함되어 있지만, 이는 본 공개의 범위에 대한 제한으로 해석되어서는 안된다. 별개의 실시예의 맥락에서 설명되는 일부 특징들은 또한 단일 실시예에서 결합될 수 있다. 반대로, 단일 실시예의 맥락에서 기술된 다양한 특징들은 또한 다양한 실시예들에서 개별적으로 또는 임의의 적절한 서브-조합에서 복수의 실시예들에서 구현될 수 있다.

본 주제는 구조적 특징 및/또는 논리적 방법 행위에 특정한 언어로 설명되었지만, 첨부 된 청구항에 정의 된 주제가 반드시 위에서 설명한 특정 특징 또는 행위로 제한되는 것은 아니라는 점을 알 수 있다. 오히려 위에서 설명한 특정 특징과 행위는 청구를 이행하기 위한 모범적인 형태일 뿐이다.

Claims (17)

1. 증강 현실 기반 디스플레이 방법에 있어서,
   대상 객체 이미지를 획득하기 위해 이미지 획득 유닛에 의해 캡처된 실시간 장면 이미지에서 대상 객체 상에 객체 세그멘테이션을 수행하는 단계;
   상기 대상 객체 이미지에 기초하여 상기 대상 객체에 대응하는 가상 이미지를 생성하는 단계; 및
   증강 현실 디스플레이 기술에 기초하여 상기 실시간 장면 이미지에서 상기 대상 객체의 가상 이미지를 디스플레이하는 단계를 포함하고,
   상기 증강 현실 디스플레이 기술에 기초하여 상기 실시간 장면 이미지에서 상기 대상 객체의 상기 가상 이미지를 상기 디스플레이하는 단계는:
   상기 실시간 장면 이미지에서 가상 평면을 만드는 단계;
   상기 가상 평면에서 3차원 공간을 생성하는 단계; 및
   상기 증강 현실 디스플레이 기술에 기초하여 생성된 상기 3차원 공간에 상기 대상 객체의 상기 가상 이미지를 디스플레이하는 단계를 포함하고,
   상기 증강 현실 디스플레이 기술에 기초하여 생성된 상기 3차원 공간에서 상기 대상 객체의 상기 가상 이미지를 디스플레이하는 단계는:
   상기 3차원 공간에서의 대상 위치를 결정하는 단계; 및
   상기 증강 현실 디스플레이 기술에 기초하여 상기 3차원 공간에서 상기 대상 위치에 상기 대상 객체의 상기 가상 이미지를 디스플레이하는 단계를 포함하는,
   방법.
   
2. 제1항에 있어서,
   상기 대상 객체 이미지에 기초하여 상기 대상 객체에 대응하는 가상 이미지를 생성하는 단계는:
   상기 대상 객체에 대응하는 상기 가상 이미지를 생성하기 위해 상기 대상 객체 이미지를 애니메이션 재료와 합성하는 단계를 포함하고,
   상기 애니메이션 재료는 상기 가상 이미지의 팔다리-몸체 애니메이션 재료 및/또는 표정 애니메이션 재료를 포함하는
   방법.
   
3. 제2항에 있어서,
   상기 대상 객체 이미지를 애니메이션 재료와 합성하는 단계는:
   상기 팔다리-몸체 애니메이션 재료 및/또는 상기 표정 애니메이션 재료를 획득하는 단계;
   상기 대상 객체 이미지에 기초하여 상기 대상 객체 이미지 상의 복수의 연결 포인트를 결정하는 단계; 및
   상기 대상 객체에 대응하는 상기 가상 이미지를 생성하기 위해 복수의 연결 포인트의 수단에 의해 상기 팔다리-몸체 애니메이션 재료 및/또는 상기 표정 애니메이션 재료를 상기 대상 객체 이미지와 합성하는 단계를 포함하는
   방법.
   
4. 제3항에 있어서,
   대상 객체 이미지를 획득하기 위해 이미지 획득 유닛에 의해 캡처된 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행하는 단계는:
   상기 실시간 장면 이미지에서 상기 대상 객체에 대한 객체 세그멘테이션을 수행하기 위해 객체 세그멘테이션 알고리즘을 실행하는 단계를 포함하고, 그에 따라 대상 객체 이미지의 마스크 및 경계 상자를 획득하고 및 마스크의 내부 영역의 텍스처를 획득하는
   방법.
   
5. 제4항에 있어서,
   상기 대상 객체에 대응하는 상기 가상 이미지를 생성하기 위해 복수의 연결 포인트의 수단에 의해 상기 팔다리-몸체 애니메이션 재료 및/또는 상기 표정 애니메이션 재료를 상기 대상 객체 이미지와 합성하는 단계는:
   상기 대상 객체에 대응하는 상기 가상 이미지를 생성하기 위해 복수의 연결 포인트의 수단에 의해 상기 팔다리-몸체 애니메이션 재료 및/또는 상기 표정 애니메이션 재료를 상기 마스크의 내부 영역의 텍스처와 합성하는 단계를 포함하는
   방법.
   
6. 제4항에 있어서,
   상기 경계 상자의 크기에 기초하여 상기 애니메이션 재료의 크기를 조정하는 단계; 및
   대칭축 및 경계 상자의 길이-폭 비율에 기초하여 상기 대상 객체 이미지 상의 복수의 연결 포인트의 위치를 조정하는 단계를 더 포함하는
   방법.
   
7. 제2항 내지 제6항 중 어느 한 항에 있어서,
   상기 가상 이미지에 대한 움직임 및/또는 표정 제어를 수행하기 위해 상기 애니메이션 재료를 재생하는 단계를 포함하는
   방법.
   
8. 제7항에 있어서,
   상기 가상 이미지에 대한 움직임 및/또는 표정 제어를 수행하기 위해 상기 애니메이션 재료를 재생하는 단계는:
   상기 가상 이미지에 대한 움직임 및/또는 표정 제어를 수행하기 위해 상기 애니메이션 재료의 미리 설정된 애니메이션 프레임에 따라 상기 애니메이션 재료를 재생하는 단계; 및/또는
   상기 가상 이미지에 대한 움직임 및/또는 표정 제어를 수행하기 위해, 사용자의 팔다리-몸체 움직임 및/또는 표정에 기초하여 상기 애니메이션 재료의 애니메이션 프레임을 생성하고 재생하는 단계를 포함하는
   방법.
   
9. 삭제
10. 제1항에 있어서,
    상기 실시간 장면 이미지에서 대상 평면 영역에 기초하여 가상 평면을 상기 만드는 단계는:
    상기 실시간 장면 이미지에 상기 대상 평면 영역이 존재함을 검출하는 경우, 상기 대상 평면 영역에 기초하여 상기 가상 평면을 만드는 단계 - 상기 대상 평면 영역은 제1 프리셋 거리 범위 내에서 상기 이미지 획득 유닛과의 거리를 갖는 평면 영역 및/또는 상기 실시간 장면 이미지의 중심 영역에 위치된 평면 영역임 -; 또는
    상기 실시간 장면 이미지의 특정 위치에 상기 가상 평면을 만드는 단계를 포함하는
    방법.
    
11. 삭제
12. 제1항에 있어서,
    상기 3차원 공간에서의 대상 위치를 결정하는 단계는:
    사용자로부터 위치 지정 명령를 수신하는 단계, 상기 사용자로부터의 위치 지정 명령에 의해 트리거된 위치 포인트에 기초하여 3차원 공간 내에 3차원 앵커 포인트를 확립하는 단계, 및 상기 3차원 앵커 포인트를 대상 위치로 사용하는 단계를 포함하는
    방법.
    
13. 제1항 내지 제6항 중 어느 한 항에 있어서,
    사용자로부터 제1 트리거링 명령을 수신하는 단계, 및 상기 실시간 장면 이미지에서 상기 대상 객체에 대한 객체 세그멘테이션을 수행하기 위해 상기 제1 트리거링 명령에 따라 사전 로드된 객체 세그멘테이션 알고리즘을 실행하는 단계; 및
    상기 사용자로부터 제2 트리거링 명령을 수신하는 단계, 및 상기 제2 트리거링 명령에 따라 상기 객체 세그멘테이션 알고리즘의 실행을 중지하는 단계를 포함하는
    방법.
    
14. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 실시간 장면 이미지에서 상기 가상 이미지를 상기 디스플레이하는 단계는:
    상기 실시간 장면 이미지에 상기 가상 이미지를 동적으로 디스플레이하는 단계를 포함하는
    방법.
    
15. 증강 현실 기반 디스플레이 장치에 있어서,
    대상 객체 이미지를 획득하기 위해 이미지 획득 유닛에 의해 캡처된 실시간 장면 이미지에서 대상 객체에 대한 객체 세그멘테이션을 수행하도록 구성된, 대상 객체 결정 유닛;
    상기 대상 객체 이미지에 기초하여 상기 대상 객체에 대응하는 가상 이미지를 생성하도록 구성된, 생성 유닛; 및
    증강 현실 디스플레이 기술에 기초하여 상기 실시간 장면 이미지에서 상기 대상 객체의 상기 가상 이미지를 디스플레이 하도록 구성된, 디스플레이 유닛을 포함하고,
    상기 디스플레이 유닛은, 상기 증강 현실 디스플레이 기술에 기초하여 상기 실시간 장면 이미지에서 상기 대상 객체의 상기 가상 이미지를 상기 디스플레이하는 경우:
    상기 실시간 장면 이미지에서 가상 평면을 만들고;
    상기 가상 평면에서 3차원 공간을 생성하며; 및
    상기 증강 현실 디스플레이 기술에 기초하여 생성된 상기 3차원 공간에 상기 대상 객체의 상기 가상 이미지를 디스플레이하도록 구성되고,
    상기 디스플레이 유닛은, 상기 증강 현실 디스플레이 기술에 기초하여 생성된 상기 3차원 공간에서 상기 대상 객체의 상기 가상 이미지를 디스플레이하는 경우:
    상기 3차원 공간에서의 대상 위치를 결정하고; 및
    상기 증강 현실 디스플레이 기술에 기초하여 상기 3차원 공간에서 상기 대상 위치에 상기 대상 객체의 상기 가상 이미지를 디스플레이하도록 구성되는,
    장치.
    
16. 전자 장치에 있어서,
    적어도 하나의 프로세서; 및
    메모리를 포함하고,
    상기 메모리는 컴퓨터 실행 가능 명령을 저장하고; 및
    상기 적어도 하나의 프로세서는 상기 메모리에 저장된 컴퓨터 실행 가능 명령을 실행하여 상기 적어도 하나의 프로세서가 제1항 내지 제6항 중 어느 한 항에 따른 방법을 수행하도록 하는
    전자 장치.
    
17. 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 컴퓨터 판독 가능 저장 매체는 컴퓨터 실행 가능 명령을 저장하고, 상기 컴퓨터 실행 가능 명령이 프로세서에 의해 실행되는 경우, 제1항 내지 제6항 중 어느 한 항에 따른 방법이 구현되는
    컴퓨터 판독 가능 저장 매체.