KR20240016843A

KR20240016843A - Ar 객체를 표시하기 위한 디스플레이 장치 및 그 제어 방법

Info

Publication number: KR20240016843A
Application number: KR1020220099967A
Authority: KR
Inventors: 이인환; 김광혁; 정대현; 하유민
Original assignee: 삼성전자주식회사
Priority date: 2022-07-29
Filing date: 2022-08-10
Publication date: 2024-02-06

Abstract

디스플레이 장치가 개시된다. 본 디스플레이 장치는 카메라, AR(augmented reality) 객체에 대한 정보가 저장된 메모리, 디스플레이 및 카메라, 메모리 및 디스플레이와 연결되어 디스플레이 장치를 제어하는 적어도 하나의 프로세서를 포함하며, 프로세서는 카메라를 통해 촬영된 이미지로부터 적어도 하나의 객체를 식별하고, AR 객체에 대한 정보에 기초하여 적어도 하나의 객체 중 대상 객체를 식별하고, 대상 객체의 위치에 기초하여 AR 객체를 표시하도록 디스플레이를 제어할 수 있다.

Description

AR 객체를 표시하기 위한 디스플레이 장치 및 그 제어 방법 { DISPLAY APPARATUS FOR DISPLAYING AUGMENTED REALITY OBJECT AND CONTROL METHOD THEREOF }

본 개시는 디스플레이 장치 및 그 제어 방법에 대한 것으로, 더욱 상세하게는 AR(augmented reality) 객체를 실제 환경에 따라 적응적으로 표시하는 디스플레이 장치 및 그 제어 방법에 대한 것이다.

전자 기술의 발달에 따라 다양한 기능을 제공하는 전자 장치가 개발되고 있다. 최근에는 AR(augmented reality), VR(virtual reality)과 같은 기능이 제공되는 AR 기기가 개발되고 있다.

그에 따라, AR, VR, MR(mixed reality)의 개념을 아우르는 XR(eXtended Reality)과 같은 개념이 정의되었으며, 확장된 개념에 따른 다양한 형태의 컨텐츠들이 개발되고 있다.

이때, AR, MR 등과 같이, 실제 환경과 가상 환경이 믹싱(mixing)되는 컨텐츠를 개발하는 경우, 다양한 실제 환경에 따라 적응적으로 가상 환경 컨텐츠를 제공할 필요가 있다.

또한, AR 기기는 실제 환경의 TV, 디지털 사이니지 등의 디스플레이 장치로부터 AR 컨텐츠를 수신하고, 수신된 AR 컨텐츠를 디스플레이 장치 주위에 표시할 수도 있다. 이때, AR 기기가 디스플레이 장치의 위치와 자세(배향)를 식별할 수 있는 방법이 필요하다.

이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 디스플레이 장치는 카메라, AR(augmented reality) 객체에 대한 정보가 저장된 메모리, 디스플레이 및 상기 카메라, 상기 메모리 및 상기 디스플레이와 연결되어 상기 디스플레이 장치를 제어하는 적어도 하나의 프로세서를 포함하며, 상기 프로세서는 상기 카메라를 통해 촬영된 이미지로부터 적어도 하나의 객체를 식별하고, 상기 AR 객체에 대한 정보에 기초하여 상기 적어도 하나의 객체 중 대상 객체를 식별하고, 상기 대상 객체의 위치에 기초하여 상기 AR 객체를 표시하도록 상기 디스플레이를 제어할 수 있다.

또한, 상기 AR 객체에 대한 정보는 상기 대상 객체에 대한 식별 정보 및 상기 대상 객체에 대한 상기 AR 객체의 배치 상태를 나타내는 배치 정보를 포함하고, 상기 프로세서는 상기 식별 정보에 기초하여 상기 적어도 하나의 객체 중 상기 대상 객체를 식별하고, 상기 배치 정보에 기초하여 상기 대상 객체에 대해 상기 AR 객체를 배치할 수 있다.

여기서, 상기 식별 정보는 상기 대상 객체의 형태 또는 색상 중 적어도 하나에 대한 정보를 포함하고, 상기 배치 정보는 상기 대상 객체에 대한 상기 AR 객체의 상대적인 위치 또는 상기 AR 객체 표시 방법 중 적어도 하나를 포함할 수 있다.

그리고, 상기 프로세서는 상기 적어도 하나의 객체에 대한 정보를 포함하는 공간 정보를 획득하고, 상기 대상 객체의 위치에 기초하여 상기 AR 객체를 포함하도록 상기 공간 정보를 업데이트할 수 있다.

또한, 상기 프로세서는 상기 디스플레이 장치의 배향이 변경되어 상기 촬영된 이미지에서 상기 대상 객체가 식별되지 않다가 상기 대상 객체가 재식별되면, 상기 업데이트된 공간 정보에 기초하여 상기 대상 객체의 위치에 기초하여 상기 AR 객체를 표시하도록 상기 디스플레이를 제어할 수 있다.

그리고, 통신 인터페이스를 더 포함하고, 상기 프로세서는 상기 통신 인터페이스를 통해 전자 장치로부터 제1 정보를 수신하고, 상기 적어도 하나의 객체의 화면에 기초하여 제2 정보를 획득하고, 상기 제1 정보와 상기 제2 정보가 매칭되는 경우, 상기 전자 장치를 타 디스플레이 장치로 식별하며, 상기 제1 정보는 상기 전자 장치가 디스플레이 중인 화면을 양자화한 정보 및 상기 화면이 디스플레이된 시간 정보를 포함하고, 상기 제2 정보는 상기 적어도 하나의 객체의 화면을 양자화한 정보 및 상기 화면이 촬영된 시간 정보를 포함할 수 있다.

또한, 상기 프로세서는 상기 타 디스플레이 장치가 식별되면, 상기 타 디스플레이 장치가 디스플레이 중인 컨텐츠를 식별하고, 상기 식별된 컨텐츠에 기초하여 상기 AR 객체를 식별하고, 상기 타 디스플레이 장치의 위치에 기초하여 상기 식별된 AR 객체를 표시하도록 상기 디스플레이를 제어할 수 있다.

그리고, 상기 프로세서는 상기 타 디스플레이 장치의 위치 또는 배향 중 적어도 하나를 식별하고, 상기 디스플레이 장치의 위치 또는 배향 중 적어도 하나에 기초하여 상기 AR 객체를 표시하도록 상기 디스플레이를 제어할 수 있다.

또한, 상기 AR 객체에 대한 정보는 프레임 별 상기 AR 객체에 대한 형태, 위치 또는 크기 중 적어도 하나에 대한 정보를 포함하고, 상기 프로세서는 상기 AR 객체에 대한 정보에 기초하여 프레임 별로 상기 AR 객체를 상이하게 표시하도록 상기 디스플레이를 제어할 수 있다.

그리고, 상기 AR 객체에 대한 정보는 제1 프레임에서 상기 AR 객체에 대한 제1 객체 정보 및 상기 제1 프레임과 기설정된 프레임만큼 이격된 제2 프레임에서 상기 AR 객체에 대한 제2 객체 정보를 포함하고, 상기 프로세서는 상기 제1 객체 정보 및 상기 제2 객체 정보에 기초하여 상기 제1 프레임 및 상기 제2 프레임 사이의 프레임 동안 상기 AR 객체를 보간하고, 상기 보간된 AR 객체를 표시하도록 상기 디스플레이를 제어할 수 있다.

또한, 통신 인터페이스를 더 포함하며, 상기 프로세서는 상기 통신 인터페이스를 통해 서버로부터 상기 AR 객체에 대한 정보를 수신하고, 상기 수신된 AR 객체에 대한 정보를 상기 메모리에 저장할 수 있다.

그리고, 상기 프로세서는 상기 적어도 하나의 객체에 대한 정보를 상기 서버로 전송하도록 상기 통신 인터페이스를 제어하고, 상기 통신 인터페이스를 통해 상기 서버로부터 상기 적어도 하나의 객체에 대응되는 상기 AR 객체에 대한 정보를 수신할 수 있다.

한편, 본 개시의 일 실시 예에 따르면, 디스플레이 장치의 제어 방법은 촬영된 이미지로부터 적어도 하나의 객체를 식별하는 단계 및 AR 객체에 대한 정보에 기초하여 상기 적어도 하나의 객체 중 대상 객체를 식별하고, 상기 대상 객체의 위치에 기초하여 상기 AR 객체를 표시하는 단계를 포함한다.

또한, 상기 AR 객체에 대한 정보는 상기 대상 객체에 대한 식별 정보 및 상기 대상 객체에 대한 상기 AR 객체의 배치 상태를 나타내는 배치 정보를 포함하고, 상기 표시하는 단계는 상기 식별 정보에 기초하여 상기 적어도 하나의 객체 중 상기 대상 객체를 식별하고, 상기 배치 정보에 기초하여 상기 대상 객체에 대해 상기 AR 객체를 배치할 수 있다.

그리고, 상기 적어도 하나의 객체에 대한 정보를 포함하는 공간 정보를 획득하는 단계 및 상기 대상 객체의 위치에 기초하여 상기 AR 객체를 포함하도록 상기 공간 정보를 업데이트하는 단계를 더 포함할 수 있다.

또한, 상기 디스플레이 장치의 배향이 변경되어 상기 촬영된 이미지에서 상기 대상 객체가 식별되지 않다가 상기 대상 객체가 재식별되면, 상기 업데이트된 공간 정보에 기초하여 상기 대상 객체의 위치에 기초하여 상기 AR 객체를 표시하는 단계를 더 포함할 수 있다.

그리고, 전자 장치로부터 제1 정보를 수신하는 단계 상기 적어도 하나의 객체의 화면에 기초하여 제2 정보를 획득하는 단계 및 상기 제1 정보와 상기 제2 정보가 매칭되는 경우, 상기 전자 장치를 타 디스플레이 장치로 식별하는 단계를 더 포함하며, 상기 제1 정보는 상기 전자 장치가 디스플레이 중인 화면을 양자화한 정보 및 상기 화면이 디스플레이된 시간 정보를 포함하고, 상기 제2 정보는 상기 적어도 하나의 객체의 화면을 양자화한 정보 및 상기 화면이 촬영된 시간 정보를 포함할 수 있다.

또한, 상기 타 디스플레이 장치가 식별되면, 상기 타 디스플레이 장치가 디스플레이 중인 컨텐츠를 식별하는 단계 및 상기 식별된 컨텐츠에 기초하여 상기 AR 객체를 식별하는 단계를 더 포함하며, 상기 표시하는 단계는 상기 타 디스플레이 장치의 위치에 기초하여 상기 식별된 AR 객체를 표시할 수 있다.

그리고, 상기 타 디스플레이 장치의 위치 또는 배향 중 적어도 하나를 식별하는 단계를 더 포함하며, 상기 표시하는 단계는 상기 디스플레이 장치의 위치 또는 배향 중 적어도 하나에 기초하여 상기 AR 객체를 표시할 수 있다.

또한, 상기 AR 객체에 대한 정보는 프레임 별 상기 AR 객체에 대한 형태, 위치 또는 크기 중 적어도 하나에 대한 정보를 포함하고, 상기 표시하는 단계는 상기 AR 객체에 대한 정보에 기초하여 프레임 별로 상기 AR 객체를 상이하게 표시할 수 있다.

그리고, 상기 AR 객체에 대한 정보는 제1 프레임에서 상기 AR 객체에 대한 제1 객체 정보 및 상기 제1 프레임과 기설정된 프레임만큼 이격된 제2 프레임에서 상기 AR 객체에 대한 제2 객체 정보를 포함하고, 상기 표시하는 단계는 상기 제1 객체 정보 및 상기 제2 객체 정보에 기초하여 상기 제1 프레임 및 상기 제2 프레임 사이의 프레임 동안 상기 AR 객체를 보간하고, 상기 보간된 AR 객체를 표시할 수 있다.

도 1a 및 도 1b는 AR(augmented reality) 기기의 문제를 설명하기 위한 도면들이다.
도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 3은 본 개시의 일 실시 예에 따른 디스플레이 장치의 세부 구성을 나타내는 블럭도이다.
도 4는 본 개시의 일 실시 예에 따른 각 동작을 수행하는 모듈을 설명하기 위한 도면이다.
도 5 및 도 6은 본 개시의 일 실시 예에 따른 실제 환경에 대한 명세를 설명하기 위한 도면들이다.
도 7은 본 개시의 일 실시 예에 따른 AR 객체의 명세를 설명하기 위한 도면이다.
도 8 내지 도 10은 본 개시의 일 실시 예에 따른 프레임 별 명세를 설명하기 위한 도면들이다.
도 11 및 도 12는 본 개시의 일 실시 예에 따른 프레임 별 명세 방법을 설명하기 위한 도면들이다.
도 13은 본 개시의 일 실시 예에 따른 복수의 AR 객체를 표시하는 동작을 설명하기 위한 도면이다.
도 14는 본 개시의 일 실시 예에 따른 타 디스플레이 장치의 식별 방법을 설명하기 위한 도면이다.
도 15는 본 개시의 일 실시 예에 따른 타 디스플레이 장치와의 연동 동작을 설명하기 위한 흐름도이다.
도 16은 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.

본 개시의 목적은 AR(augmented reality) 객체를 실제 환경에 따라 적응적으로 표시하고, 실제 환경의 TV 등을 사용자 불편 없이 식별하는 디스플레이 장치 및 그 제어 방법을 제공함에 있다.

이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.

본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.

본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공 지능 전자 장치)를 지칭할 수 있다.

이하 첨부된 도면들을 참조하여 본 개시의 다양한 실시 예를 보다 상세하게 설명한다.

도 1a 및 도 1b는 AR(augmented reality) 기기의 문제를 설명하기 위한 도면들이다.

애니메이션이 포함된 AR 컨텐츠는 타임라인 내에서 임의의 중심 좌표를 기준으로 일정한 좌표값을 따라서 움직이거나, 미리 정해진 수식에 따라 계산된 좌표를 통해 움직였다. 예를 들어, 도 1a 좌측에 도시된 바와 같이, 고양이 형태의 AR 객체는 (0,0,0)의 좌표에서 시간이 경과하면서 (-1,3,15)를 거쳐 (6,1,-3)으로 이동할 수 있다. 이 경우, 고양이는 거실에서 소파를 거쳐 의자로 이동하게 된다.

다만, 동일한 좌표를 이용하면서 환경이 변경되면 문제가 발생할 수 있다. 예를 들어, 고양이 형태의 AR 객체가 (0,0,0)의 좌표에서 (-1,3,15)를 거쳐 (6,1,-3)으로 이동하는 경우, 도 1a 우측과 같은 환경에서는 고양이의 위치가 실제 환경에 부합하지 않게 된다. 즉, 단순히 AR 컨텐츠가 중심 좌표를 기준으로 생성된 경우, 환경 변화에 따라 사용자의 컨텐츠의 몰입을 방해할 수 있고, 컨텐츠 제공자가 제공할 수 있는 컨텐츠에 제약이 발생할 수 있다.

또는, 미리 공간을 스캔하여 공간에 정합된 AR 컨텐츠를 재생할 수도 있으나, 이 경우 사용자의 몰입도는 향상되나 스캔된 공간에서만 AR 컨텐츠를 사용해야 하는 제약이 있다.

한편, AR 기기는 디스플레이 장치와 연동 동작이 가능하다. 예를 들어, AR 기기는 카메라를 사용하는 방법 또는 UWB(Ultra WideBand), WIFI, Bluetooth 등의 무선 신호를 사용하는 방법을 통해 디스플레이 장치를 식별하고, 디스플레이 장치와 연동 동작할 수 있다.

카메라를 사용하는 방법은 이미지 분석을 통해 물체를 인식하거나, 디스플레이 장치의 화면에 표시된 QR code 등의 특별한 패턴을 식별하여 디스플레이 장치를 식별하는 방법이다. 또는, 카메라에 인식된 디스플레이 장치의 위치와 크기를 AR 기기 사용자가 수동으로 지정할 수도 있다. 다만, 이미지 분석을 통해 물체를 인식하는 방법은 오인식률이 높은 문제가 있고, 인식용 머신러닝 하드웨어가 필요하고, 복수의 디스플레이 장치가 있을 경우 각각의 디스플레이를 구분하기 어려운 문제가 있다. QR code 등의 특별한 패턴을 이용하는 방법은 도 1b에 도시된 바와 같이, 패턴이 표시됨에 따라 사용자의 시청을 방해하는 문제가 있다. 수동 방식은 그 자체로서 사용자의 불편을 초래하며, 터치스크린과 같은 정확한 입력 장치가 없는 AR 기기의 경우 디스플레이 장치의 영역을 정확히 지정하기가 어려운 문제가 있다.

무선 신호를 사용하여 AR 기기와 디스플레이 장치를 연결하는 방법은 WIFI나 Bluetooth 등의 무선 통신 네트워크 프로토콜을 사용한 서비스 디스커버리(service discovery)가 대표적이다. 디스플레이 장치들이 각각 클라이언트가 되어 네트워크 안의 서비스 레지스트리에 등록하고, AR 기기는 서버가 되어 그 중 원하는 클라이언트를 선택하여 데이터를 요청할 수 있으며, 서버 사이드 디스커버리(server-side discovery)라고 지칭된다. AR 기기는 연결할 디스플레이 장치를 발견한 후, 디스플레이 장치의 위치(position)와 자세(orientation)를 계속 추적해야 한다. UWB는 근거리에서 상대 디바이스의 위치와 거리를 제공하며, Wi-Fi Location 기술도 UWB와 비슷한 용도로 사용될 수 있다. 또는, 카메라를 사용하여 물체를 인식하는 경우, 물체 인식 결과와 디스플레이 장치의 형태로부터 위치, 방향, 거리 등을 식별할 수도 있다.

다만, UWB의 경우 송신기와 수신기 모두 별도의 하드웨어가 필요하고, 디스플레이 장치의 방향까지는 알 수가 없다는 문제가 있다. Wi-Fi Location 기술도 기능을 지원하는 복수의 액세스 포인트 장치들이 있어야만 사용 가능한 문제가 있다. 기타 무선 통신 네트워크 프로토콜을 사용한 방법은 기기 간 연결 수단만 제공할 뿐, 디스플레이 장치의 위치와 방향을 제공하지는 않는 문제가 있다.

도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치(100)의 구성을 나타내는 블럭도이다.

디스플레이 장치(100)는 AR 객체를 표시하는 장치로서, AR 글래스, 스마트폰, 태블릿, TV, 데스크탑 PC, 모니터, 노트북, 비디오 월(video wall), LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 프로젝터 디스플레이, DVD(digital video disk) 플레이어, 스마트 워치 등일 수 있으며, AR 객체를 표시할 수 있는 장치라면 어떠한 장치라도 무방하다.

또는, 디스플레이 장치(100)는 카메라를 포함하고, 카메라를 통해 촬영된 이미지에 AR 객체를 오버레이하여 디스플레이하는 장치일 수 있다. 또는, 디스플레이 장치(100)는 투명 디스플레이를 포함하고, 투명 디스플레이에 AR 객체를 디스플레이하는 장치일 수 있다. 이 경우, 사용자는 실제 환경에 AR 객체가 오버레이된 장면을 볼 수 있다.

도 2에 따르면, 디스플레이 장치(100)는 카메라(110), 메모리(120), 디스플레이(130) 및 프로세서(140)를 포함한다.

카메라(110)는 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 카메라(110)는 특정 시점에서의 정지 영상을 촬영할 수 있으나, 연속적으로 정지 영상을 촬영할 수도 있다.

카메라(110)는 디스플레이 장치(100)의 전방을 촬영하여 디스플레이 장치(100) 전방의 실제 환경을 촬영할 수 있다. 프로세서(140)는 카메라(110)를 통해 촬영된 이미지로부터 적어도 하나의 객체를 식별할 수 있다.

카메라(110)는 렌즈, 셔터, 조리개, 고체 촬상 소자, AFE(Analog Front End), TG(Timing Generator)를 포함한다. 셔터는 피사체에 반사된 빛이 카메라(110)로 들어오는 시간을 조절하고, 조리개는 빛이 들어오는 개구부의 크기를 기계적으로 증가 또는 감소시켜 렌즈에 입사되는 광량을 조절한다. 고체 촬상 소자는 피사체에 반사된 빛이 광전하로 축적되면, 광전하에 의한 상을 전기 신호로 출력한다. TG는 고체 촬상 소자의 픽셀 데이터를 리드아웃 하기 위한 타이밍 신호를 출력하며, AFE는 고체 촬상 소자로부터 출력되는 전기 신호를 샘플링하여 디지털화한다.

메모리(120)는 프로세서(140) 등이 접근할 수 있도록 데이터 등의 정보를 전기 또는 자기 형태로 저장하는 하드웨어를 지칭할 수 있다. 이를 위해, 메모리(120)는 비휘발성 메모리, 휘발성 메모리, 플래시 메모리(Flash Memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD), RAM, ROM 등 중에서 적어도 하나의 하드웨어로 구현될 수 있다.

메모리(120)에는 디스플레이 장치(100) 또는 프로세서(140)의 동작에 필요한 적어도 하나의 인스트럭션(instruction)이 저장될 수 있다. 여기서, 인스트럭션은 디스플레이 장치(100) 또는 프로세서(140)의 동작을 지시하는 부호 단위로서, 컴퓨터가 이해할 수 있는 언어인 기계어로 작성된 것일 수 있다. 또는, 메모리(120)에는 디스플레이 장치(100) 또는 프로세서(140)의 특정 작업을 수행하는 복수의 인스트럭션이 인스트럭션 집합체(instruction set)로서 저장될 수도 있다.

메모리(120)에는 문자, 수, 영상 등을 나타낼 수 있는 비트 또는 바이트 단위의 정보인 데이터가 저장될 수 있다. 예를 들어, 메모리(120)에는 AR 객체에 대한 정보 등이 저장될 수 있다.

메모리(120)는 프로세서(140)에 의해 액세스되며, 프로세서(140)에 의해 인스트럭션, 인스트럭션 집합체 또는 데이터에 대한 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.

디스플레이(130)는 이미지를 디스플레이하는 구성으로, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(130) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(130)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.

프로세서(140)는 디스플레이 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(140)는 디스플레이 장치(100)의 각 구성과 연결되어 디스플레이 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(140)는 카메라(110), 메모리(120), 디스플레이(130), 통신 인터페이스(미도시) 등과 같은 구성과 연결되어 디스플레이 장치(100)의 동작을 제어할 수 있다.

일 실시 예에 따라 프로세서(140)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.

프로세서(140)는 하나의 프로세서로 구현되거나 복수의 프로세서로 구현될 수 있다. 다만, 이하에서는 설명의 편의를 위해, 프로세서(140)라는 표현으로 디스플레이 장치(100)의 동작을 설명한다.

프로세서(140)는 카메라(110)를 통해 촬영된 이미지로부터 적어도 하나의 객체를 식별할 수 있다. 예를 들어, 프로세서(140)는 카메라(110)를 통해 촬영된 이미지로부터 TV, 소파, 창문, 액자, 바닥 등을 식별할 수 있다. 가령, 프로세서(140)는 인공 지능 모델을 통해 촬영된 이미지로부터 적어도 하나의 객체를 식별할 수 있다. 또는, 프로세서(140)는 무선 통신을 통해 TV와 같은 기기를 식별할 수도 있다.

프로세서(140)는 적어도 하나의 객체의 위치 또는 배향 중 적어도 하나를 식별할 수 있다. 예를 들어, 카메라(110)는 뎁스 카메라를 포함하며, 프로세서(140)는 뎁스 카메라를 통해 적어도 하나의 객체와의 거리를 식별할 수 있다.

프로세서(140)는 AR 객체에 대한 정보에 기초하여 적어도 하나의 객체 중 대상 객체를 식별하고, 대상 객체의 위치에 기초하여 AR 객체를 표시하도록 디스플레이(130)를 제어할 수 있다.

AR 객체에 대한 정보는 대상 객체에 대한 식별 정보 및 대상 객체에 대한 AR 객체의 배치 상태를 나타내는 배치 정보를 포함하고, 프로세서(140)는 식별 정보에 기초하여 적어도 하나의 객체 중 대상 객체를 식별하고, 배치 정보에 기초하여 대상 객체에 대해 AR 객체를 배치할 수 있다.

예를 들어, AR 객체에 대한 정보는 대상 객체로 "소파" 및 대상 객체에 대한 AR 객체의 배치 상태로 "대상 객체의 인접한 상단"을 포함할 수 있다. 이 경우, 프로세서(140)는 소파를 대상 객체로 식별하고, 소파의 위로 인접하게 AR 객체를 표시할 수 있다. 여기서, 소파는 특정 형태 또는 특정 브랜드의 소파를 의미하는 것이 아니라, 소파라는 개념적인 의미일 수 있다. 즉, 프로세서(140)가 소파로서 식별하는 객체는 얼마든지 다양할 수 있으며, 프로세서(140)는 실제 환경이 변경되어 소파의 형태, 크기 등이 변경되더라도 소파로서 식별된다면 소파 위에 AR 객체를 표시하도록 디스플레이(130)를 제어할 수 있다. 이러한 동작을 통해, 프로세서(140)는 실제 환경에 적응적으로 AR 객체를 표시하도록 디스플레이(130)를 제어할 수 있다.

또는, 식별 정보는 대상 객체의 형태 또는 색상 중 적어도 하나에 대한 정보를 포함하고, 배치 정보는 대상 객체에 대한 AR 객체의 상대적인 위치 또는 AR 객체 표시 방법 중 적어도 하나를 포함할 수 있다.

예를 들어, 식별 정보는 평평한 평면, 곡면, 모서리 등과 같이 표현될 수 있다. 또는, 식별 정보는 흰색, 검은색 등과 같이 표현될 수도 있다. 또는, 식별 정보는 평평한 검은 평면으로 표현될 수도 있다. 배치 정보는 대상 객체의 위, 투명도 50%와 같이 표현될 수 있다. 다만, 이에 한정되는 것은 아니며, 식별 정보 및 배치 정보는 얼마든지 다양한 방법으로 표현될 수 있다. 특히, 식별 정보는 대상 객체 자체를 지칭하는 단어가 아니라 대상 객체를 묘사 또는 의미하는 의미론적 명세로서 표현될 수 있다.

프로세서(140)는 복수의 대상 객체가 식별되면, 복수의 대상 객체의 크기에 기초하여 AR 객체를 표시하도록 디스플레이(130)를 제어할 수도 있다. 예를 들어, 프로세서(140)는 2개의 소파가 식별되면 2개의 소파 중 큰 소파 위에 AR 객체를 표시하도록 디스플레이(130)를 제어할 수 있다.

다만, 이에 한정되는 것은 아니며, 프로세서(140)는 복수의 대상 객체가 식별되면, 복수의 대상 객체 각각에 AR 객체를 표시하도록 디스플레이(130)를 제어할 수도 있다. 또는, AR 객체에 대한 정보는 복수의 대상 객체가 식별된 경우의 동작을 포함할 수도 있다. 예를 들어, AR 객체에 대한 정보는 복수의 대상 객체가 식별된 경우, 디스플레이 장치(100)와 가까운 대상 객체를 AR 객체가 표시될 기준으로 하는 정보를 포함할 수도 있다.

프로세서(140)는 적어도 하나의 객체에 대한 정보를 포함하는 공간 정보를 획득하고, 대상 객체의 위치에 기초하여 AR 객체를 포함하도록 공간 정보를 업데이트할 수 있다.

예를 들어, 프로세서(140)는 (0,0,0)의 위치에 소파가 위치하는 공간 정보를 획득하고, (0,0,3)의 위치에 AR 객체가 위치하는 것으로 공간 정보를 업데이트할 수 있다.

프로세서(140)는 디스플레이 장치(100)의 배향이 변경되어 촬영된 이미지에서 대상 객체가 식별되지 않다가 대상 객체가 재식별되면, 업데이트된 공간 정보에 기초하여 대상 객체의 위치에 기초하여 AR 객체를 표시하도록 디스플레이(130)를 제어할 수 있다.

상술한 예에서, 디스플레이 장치(100)가 AR 글래스이고, 사용자가 고개를 돌려 사용자의 시선에서 소파가 보이지 않다가, 다시 사용자가 고개를 돌려 사용자의 시선에 소파가 다시 보이는 경우, 프로세서(140)는 업데이트된 공간 정보에 기초하여 소파 위에 AR 객체를 표시하도록 디스플레이(130)를 제어할 수 있다. 즉, 프로세서(140)는 대상 객체를 1회 식별한 후, AR 객체를 배치한 후에는, 다시 대상 객체를 식별하고 AR 객체를 배치하는 동작을 수행하지 않고, 업데이트된 공간 정보에 기초하여 AR 객체를 디스플레이할 수 있다. 그에 따라, 프로세서(140)는 이미지가 변경될 때마다 대상 객체를 식별하는 등의 동작을 반복하지 않을 수 있다.

한편, 디스플레이 장치(100)는 통신 인터페이스(미도시)를 더 포함하고, 프로세서(140)는 통신 인터페이스를 통해 전자 장치로부터 제1 정보를 수신하고, 적어도 하나의 객체의 화면에 기초하여 제2 정보를 획득하고, 제1 정보와 제2 정보가 매칭되는 경우, 전자 장치를 타 디스플레이 장치로 식별할 수 있다. 여기서, 제1 정보는 전자 장치가 디스플레이 중인 화면을 양자화한 정보 및 화면이 디스플레이된 시간 정보를 포함하고, 제2 정보는 적어도 하나의 객체의 화면을 양자화한 정보 및 화면이 촬영된 시간 정보를 포함할 수 있다.

예를 들어, 타 디스플레이 장치는 디스플레이 장치(100)로 디스플레이 중인 컨텐츠의 화면을 양자화한 정보 및 화면이 디스플레이된 시간 정보를 전송하고, 프로세서(140)는 촬영된 이미지에서 적어도 하나의 객체를 식별하고, 적어도 하나의 객체 중 화면을 포함하는 객체의 화면을 양자화하고, 양자화된 정보가 수신된 정보와 매칭되는 경우, 화면을 포함하는 객체를 타 디스플레이 장치로 식별할 수 있다.

프로세서(140)는 타 디스플레이 장치가 식별되면, 타 디스플레이 장치가 디스플레이 중인 컨텐츠를 식별하고, 식별된 컨텐츠에 기초하여 AR 객체를 식별하고, 타 디스플레이 장치의 위치에 기초하여 식별된 AR 객체를 표시하도록 디스플레이(130)를 제어할 수 있다.

예를 들어, 프로세서(140)는 타 디스플레이 장치가 디스플레이 중인 컨텐츠가 야구 경기 컨텐츠이면, 관람석 및 응원단을 AR 객체로 식별할 수도 있다. 여기서, 프로세서(140)는 식별된 컨텐츠에 기초하여 AR 객체를 식별할 수도 있고, 타 디스플레이 장치로부터 컨텐츠에 대응되는 AR 객체를 수신할 수도 있다. 후자의 경우, 타 디스플레이 장치는 AR 객체의 이미지, 표시 위치, 표시 시점 등에 대한 정보를 디스플레이 장치(100)로 제공할 수도 있다.

프로세서(140)는 타 디스플레이 장치의 위치 또는 배향 중 적어도 하나를 식별하고, 타 디스플레이 장치의 위치 또는 배향 중 적어도 하나에 기초하여 AR 객체를 표시하도록 디스플레이(130)를 제어할 수 있다.

AR 객체에 대한 정보는 프레임 별 AR 객체에 대한 형태, 위치 또는 크기 중 적어도 하나에 대한 정보를 포함하고, 프로세서(140)는 AR 객체에 대한 정보에 기초하여 프레임 별로 AR 객체를 상이하게 표시하도록 디스플레이(130)를 제어할 수 있다. 그에 따라, 프로세서(140)는 프레임에 따라 상이한 AR 객체를 표시하거나 프레임에 따라 AR 객체의 형태 또는 위치를 변경하여 사용자 경험을 향상시킬 수 있다.

AR 객체에 대한 정보는 제1 프레임에서 AR 객체에 대한 제1 객체 정보 및 제1 프레임과 기설정된 프레임만큼 이격된 제2 프레임에서 AR 객체에 대한 제2 객체 정보를 포함하고, 프로세서(140)는 제1 객체 정보 및 제2 객체 정보에 기초하여 제1 프레임 및 제2 프레임 사이의 프레임 동안 AR 객체를 보간하고, 보간된 AR 객체를 표시하도록 디스플레이(130)를 제어할 수 있다. 그에 따라, 모든 프레임에 대한 AR 객체에 대한 정보를 저장할 필요가 없어 저장 공간을 절약하며, 사용자가 좀더 자연스러운 AR 객체의 형태 변경 또는 위치 변경을 감상하는 효과가 있다.

디스플레이 장치(100)는 통신 인터페이스(미도시)를 더 포함하며, 프로세서(140)는 통신 인터페이스를 통해 서버로부터 AR 객체에 대한 정보를 수신하고, 수신된 AR 객체에 대한 정보를 메모리(120)에 저장할 수 있다.

또는, 프로세서(140)는 적어도 하나의 객체에 대한 정보를 서버로 전송하도록 통신 인터페이스를 제어하고, 통신 인터페이스를 통해 서버로부터 적어도 하나의 객체에 대응되는 AR 객체에 대한 정보를 수신할 수도 있다.

한편, 본 개시에 따른 인공 지능과 관련된 기능은 프로세서(140)와 메모리(120)를 통해 동작될 수 있다.

프로세서(140)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서일 수 있다.

하나 또는 복수의 프로세서는, 메모리(120)에 저장된 기 정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공 지능 전용 프로세서인 경우, 인공 지능 전용 프로세서는 특정 인공 지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. 기 정의된 동작 규칙 또는 인공 지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.

여기서, 학습을 통해 만들어진다는 것은, 기본 인공 지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공 지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공 지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.

인공 지능 모델은 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공 지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공 지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다.

인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN(Convolutional Neural Network), DNN (Deep Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network), GAN(Generative Adversarial Network) 또는 심층 Q-네트워크(Deep Q-Networks) 등이 있으나, 이에 한정되는 것은 아니다.

도 3은 본 개시의 일 실시 예에 따른 디스플레이 장치(100)의 세부 구성을 나타내는 블럭도이다.

도 3은 본 개시의 일 실시 예에 따른 디스플레이 장치(100)의 세부 구성을 나타내는 블럭도이다. 디스플레이 장치(100)는 카메라(110), 메모리(120), 디스플레이(130) 및 프로세서(140)를 포함할 수 있다. 또한, 도 3에 따르면, 디스플레이 장치(100)는 통신 인터페이스(150), 사용자 인터페이스(160), 마이크(170), 스피커(180)를 더 포함할 수도 있다. 도 3에 도시된 구성 요소들 중 도 2에 도시된 구성 요소와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.

통신 인터페이스(150)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 예를 들어, 디스플레이 장치(100)는 통신 인터페이스(150)를 통해 서버 또는 사용자 단말과 통신을 수행할 수 있다.

통신 인터페이스(150)는 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈 등을 포함할 수 있다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.

와이파이 모듈, 블루투스 모듈은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 모듈이나 블루투스 모듈을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 적외선 통신 모듈은 시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.

무선 통신 모듈은 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.

또는, 통신 인터페이스(150)는 HDMI, DP, 썬더볼트, USB, RGB, D-SUB, DVI 등과 같은 유선 통신 인터페이스를 포함할 수 있다.

그 밖에 통신 인터페이스(150)는 LAN(Local Area Network) 모듈, 이더넷 모듈, 또는 페어 케이블, 동축 케이블 또는 광섬유 케이블 등을 이용하여 통신을 수행하는 유선 통신 모듈 중 적어도 하나를 포함할 수도 있다.

사용자 인터페이스(160)는 버튼, 터치 패드, 마우스 및 키보드 등으로 구현되거나, 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 디스플레이 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.

마이크(170)는 사운드를 입력받아 오디오 신호로 변환하기 위한 구성이다. 마이크(170)는 프로세서(140)와 전기적으로 연결되며, 프로세서(140)의 제어에 의해 사운드를 수신할 수 있다.

예를 들어, 마이크(170)는 디스플레이 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체화된 일체형으로 형성될 수 있다. 또는, 마이크(170)는 디스플레이 장치(100)와는 별도의 리모컨 등에 구비될 수도 있다. 이 경우, 리모컨은 마이크(170)를 통해 사운드를 수신하고, 수신된 사운드를 디스플레이 장치(100)로 제공할 수도 있다.

마이크(170)는 아날로그 형태의 사운드를 수집하는 마이크, 수집된 사운드를 증폭하는 앰프 회로, 증폭된 사운드를 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.

한편, 마이크(170)는 사운드 센서의 형태로 구현될 수도 있으며, 사운드를 수집할 수 있는 구성이라면 어떠한 방식이라도 무방하다.

스피커(180)는 프로세서(140)에서 처리된 각종 오디오 데이터 뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소이다.

이상과 같이 디스플레이 장치(100)는 의미적인 AR 객체에 대한 정보에 기초하여 실제 환경에 적응적으로 AR 객체를 표시할 수 있다. 또한, 디스플레이 장치(100)는 사용자의 시청 방해 없이 타 디스플레이 장치를 식별하고, 타 디스플레이 장치에서 디스플레이되는 컨텐츠와 관련된 AR 객체를 표시하여 사용자 편의성이 향상될 수 있다.

이하에서는 도 4 내지 도 15를 통해 디스플레이 장치(100)의 동작을 좀더 구체적으로 설명한다. 도 4 내지 도 15에서는 설명의 편의를 위해 개별적인 실시 예에 대하여 설명한다. 다만, 도 4 내지 도 15의 개별적인 실시 예는 얼마든지 조합된 상태로 실시될 수도 있다.

도 4는 본 개시의 일 실시 예에 따른 각 동작을 수행하는 모듈을 설명하기 위한 도면이다. 도 4에서는 각 모듈이 메모리(130)에 저장된 데이터이고, 프로세서(140)는 메모리에 저장된 데이터에 기초하여 동작을 수행하는 것으로 설명한다. 다만, 이에 한정되는 것은 아니며, 도 4의 각 모듈은 개별적인 하드웨어로 구현될 수도 있다.

먼저, 도 4에 도시된 바와 같이 디스플레이 장치(100)는 서버(200)로부터 AR 객체를 수신할 수 있다. 서버(200)는 개발 도구를 통해 AR 컨텐츠를 생산하는 주체(300)로부터 AR 컨텐츠를 수신할 수 있다.

디스플레이 장치(100)의 메모리(130)에는 인식 모듈(Environment analyzer, 131), 분석 모듈(Contents specification interpreter, 132), 융합 모듈(AR environment mixere, 133), 배치 모듈(Object placement agent, 134)이 저장될 수 있다.

인식 모듈(131)은 실제 환경에 대해 명세를 수행하는 모듈로, 예를 들어, 인식 모듈(131)은 실제 환경으로부터 적어도 하나의 객체를 식별하고, 적어도 하나의 객체의 위치, 거리, 배향 등을 식별하여 공간 정보를 획득할 수 있다.

분석 모듈(132)은 인식 모듈(131)로부터 획득된 명세를 분석하는 모듈일 수 있다.

융합 모듈(133)은 인식 모듈(131) 및 분석 모듈(132)을 통해 획득된 정보를 융합하여 실제 환경과 AR 객체를 융합하는 모듈일 수 있다.

배치 모듈(134)은 융합 모듈(133)을 통해 융합된 환경을 디스플레이하는 모듈일 수 있다.

서버(200)는 디스플레이 장치(100)로 AR 컨텐츠를 제공하는 AR 컨텐츠 배포 모듈(Contents distributor, 201) 및 AR 컨텐츠를 생산하는 주체(300)로부터 수신된 AR 컨텐츠를 저장하는 AR 컨텐츠 저장 모듈(Contents registrator, 202)을 포함할 수 있다.

AR 컨텐츠를 생산하는 주체(300)는 미리 정의된 SDK(301)을 통해 AR 컨텐츠를 생성할 수 있다.

도 5 및 도 6은 본 개시의 일 실시 예에 따른 실제 환경에 대한 명세를 설명하기 위한 도면들이다.

일 실시 예에 따라 제1 실제 환경은 도 5와 같고, 제2 실제 환경은 도 6과 같다.

프로세서(140)는 제1 실제 환경을 촬영하여 도 5의 상단과 같은 이미지를 획득하고, 획득된 이미지로부터 적어도 하나의 객체를 식별할 수 있다.

예를 들어, 프로세서(140)는 도 5의 상단과 같은 이미지로부터 전등, 소파, 창문, 테이블, 의자, 액자 등을 식별할 수 있다.

또한, 프로세서(140)는 적어도 하나의 객체 각각의 타입에 기초하여 적어도 하나의 객체 각각에 대한 정보를 획득할 수 있다. 예를 들어, 프로세서(140)는 적어도 하나의 객체 각각의 카테고리, 상호 작용 요소, 상태 또는 크기 중 적어도 하나를 식별할 수 있다. 가령, 프로세서(140)는 도 5와 같이 의자가 식별되면, 타입이 plane이고, capability가 sit, put things 등이고, 상태가 empty인 정보를 획득할 수 있다.

프로세서(140)는 도 6과 같은 제2 실제 환경에 대하여도 동일한 작업을 수행할 수 있다.

도 7은 본 개시의 일 실시 예에 따른 AR 객체의 명세를 설명하기 위한 도면이다.

예를 들어, AR 객체에 대한 정보(AR 객체의 명세)는 도 7의 상단에 도시된 바와 같이, 고양이 형태의 모델 파일, 모델 파일이 배치될 위치에 대한 정보, 모델 파일이 어떻게 움질일지에 대한 정보 등을 포함할 수 있다. 가령, 도 7의 상단의 명세는 plane 타입 중 물체를 올릴 수 있는 기능이 있는 곳에서 1 프레임에 모델 파일을 위치하고 idle 상태인 동작을 기재하고 있다.

도 7의 상단의 명세를 도 5에 적용하면 710과 같이 고양이 형태의 AR 객체가 테이블 위에 표시되며, 도 7의 상단의 명세를 도 6에 적용하면 720과 같이 고양이 형태의 AR 객체가 책상 위에 표시될 수 있다.

이상과 같이 프로세서(140)는 AR 객체에 대한 명세 및 실제 환경에 대한 명세에 기초하여 AR 객체를 표시하기 때문에, 실제 환경에 적응적으로 AR 객체를 표시할 수 있다.

도 8 내지 도 10은 본 개시의 일 실시 예에 따른 프레임 별 명세를 설명하기 위한 도면들이다.

도 7에서는 프레임 1에서의 명세만을 설명하였으나, 도 8 내지 도 10과 같이 복수의 프레임에서 상이한 명세가 이용될 수도 있다.

도 8은 도 7의 프레임 1과 동일하므로 중복되는 설명은 생략한다.

도 9는 프레임 20에서 소파 또는 의자에 고양이 형태의 AR 객체가 표시되도록 기재하고 있다. 도 10은 프레임 40에서 고양이 형태의 AR 객체가 사용자 근처에 표시되도록 기재하고 있다.

이 경우, 프로세서(140)는 프레임 1과 프레임 20을 보간하여 프레임 2-19에서 고양이 형태의 AR 객체의 위치를 식별할 수 있고, 프레임 20과 프레임 40을 보간하여 프레임 21-39에서 고양이 형태의 AR 객체의 위치를 식별할 수 있다.

도 11 및 도 12는 본 개시의 일 실시 예에 따른 프레임 별 명세 방법을 설명하기 위한 도면들이다.

도 11에는 각 키 프레임에서 AR 객체가 어떻게 표현되어야 하는지에 대한 명세 방법을 나타낸다.

각 키 프레임 명세는 실제 환경의 분석 결과에 기초하여 프레임 번호(frame number)와 타겟이 되는 AR 객체를 기재하고, 대상 객체의 선택 방법과 AR 객체의 움직임을 기재한다.

예를 들어, 프로세서(140)는 적어도 하나의 객체의 모양(1110), 분류(1120), 제공되는 기능(1130)에 기초하여 대상 객체를 선택하고 어떻게 위치할지 명시할 수 있다. 또한, 프로세서(140)는 실제 환경에 따라 대상 객체의 유무가 다를 수 있기 때문에 대상 객체의 선정의 우선순위를 설정할 수 있다.

움직임은 선택된 위치에서 어떠한 움직임을 가질 지에 대한 명세이다.

이상과 같은 방법에 기초하여 실제 명세를 도 12에 도시하였다.

첫 번째 명세(1210)는 프레임 1에, “cat.glb” AR 객체가 테이블로 분류된 실제 물체가 있으면 그 위에 놓고, 없으면 평면 위에 존재하게 한 뒤, 기본 움직임을 반복해서 보여주는 내용에 대해 기술하고 있다.

두 번째 명세(1220)는 프레임 20에, “cat.glb” AR 객체가 소파로 분류된 실제 물체의 위에 위치시키거나, 소파로 분류된 물체가 없으면 의자로 분류된 실제 물체에 위치시키거나, 의자로 분류된 물체가 없으면 평면 위에 위치하게 하며, 걷는 모습을 보여주는 내용에 대해 기술하고 있다.

세 번째 명세(1230)는 프레임 40에, “cat.glb” AR 객체가 사용자 근처로 와서 걷는 움직임을 반복해서 보여주는 내용을 기술하고 있다.

프로세서(140)는 이상의 키 프레임의 명세에 기초하여 사이 프레임의 내용을 보간하여 AR 객체를 표시할 수 있다.

도 13은 본 개시의 일 실시 예에 따른 복수의 AR 객체를 표시하는 동작을 설명하기 위한 도면이다.

먼저, 도 13의 우측에 도시된 명세는 각 키 프레임 별 명세 중 특정 키 프레임(1310)에 도달한 경우의 것만 표현하였다. 그에 따라, 프로세서(140)는 좌측 하단과 같이, 특정 키 프레임(1310)에 세 개의 AR 객체(1320, 1330, 1340)를 표시하도록 디스플레이(130)를 제어할 수 있다. 여기서, 제1 AR 객체(1320)는 움직이는 객체이고, 나머지는 객체(1330, 1340)는 정지 상태의 객체일 수 있다.

도 14는 본 개시의 일 실시 예에 따른 타 디스플레이 장치의 식별 방법을 설명하기 위한 도면이다.

프로세서(140)는 전자 장치로부터 제1 정보를 수신하고, 촬영된 이미지에서 식별된 적어도 하나의 객체의 화면에 기초하여 제2 정보를 획득하고, 제1 정보와 제2 정보가 매칭되는 경우, 전자 장치를 타 디스플레이 장치로 식별할 수 있다. 여기서, 제1 정보는 전자 장치가 디스플레이 중인 화면을 양자화한 정보 및 화면이 디스플레이된 시간 정보를 포함하고, 제2 정보는 적어도 하나의 객체의 화면을 양자화한 정보 및 화면이 촬영된 시간 정보를 포함할 수 있다.

예를 들어, 프로세서(140)는 도 14에 도시된 바와 같이, 복수의 타 디스플레이 장치를 촬영한 이미지로부터 복수의 타 디스플레이 장치 각각의 화면을 양자화할 수 있다. 가령, 프로세서(140)는 제1 화면으로부터 a0d73ecb...와 같은 양자화된 정보를 획득할 수 있다. 프로세서(140)는 양자화된 정보를 복수의 타 디스플레이 장치로부터 수신된 정보와 비교하고, 획득된 양자화된 정보와 매칭되는 정보가 있는지 여부에 기초하여 복수의 타 디스플레이 장치의 위치를 식별할 수 있다. 가령, 프로세서(140)는 뎁스 카메라를 통해 적어도 하나의 객체를 포함하는 공간 정보를 획득할 수 있으며, 양자화된 정보의 매칭 여부에 따라 이미지에 포함된 객체와 실제 타 디스플레이 장치를 매칭시킬 수 있다. 이러한 방법을 통해 프로세서(140)는 복수의 타 디스플레이 장치를 구분하여 식별할 수 있다. 또한, 양자화 정보를 이용하기 때문에 사용자의 시청 방해가 없는 장점이 있다.

도 15는 본 개시의 일 실시 예에 따른 타 디스플레이 장치와의 연동 동작을 설명하기 위한 흐름도이다.

먼저, 타 디스플레이 장치는 WiFi나 Bluetooth 등의 프로토콜을 사용한 유/무선 네트워크 상의 서비스 레지스트리에 등록할 수 있다(S1505). 이 경우 타 디스플레이 장치는 서비스 레지스트리에 등록되어 검색이 가능한 상태를 유지할 수 있다(S1510). 디스플레이 장치(100)는 서비스 디스커버리로 타 디스플레이 장치에 접속할 수 있다(S1515).

타 디스플레이 장치는 표시 중인 이미지를 양자화/문자화하여 디스플레이 장치(100)로 전송할 수 있다(S1520). 예를 들어, 타 디스플레이 장치는 Perceptual Hash 등의 기술을 사용하여, 이미지를 구분하는 문자화된 정보를 획득하고, 획득된 정보를 디스플레이 장치(100)로 전송할 수 있다. 도 15에서는 설명의 편의를 위해 타 디스플레이 장치 하나의 동작으로 기재하였으나, 복수의 타 디스플레이 장치의 동작일 수도 있다. 또한, 타 디스플레이 장치는 화면 크기 등의 추가 정보를 디스플레이 장치(100)로 전송할 수도 있다.

디스플레이 장치(100)는 AR 객체가 표시되기를 원하는 타 디스플레이 장치를 카메라를 통해 촬영하여 카메라 이미지를 획득할 수 있다(S1525).

디스플레이 장치(100)는 전송받은 양자화/문자화 정보를 카메라 이미지와 비교할 수 있다(S1530). 디스플레이 장치(100)는 카메라 이미지에서 전송받은 양자화/문자화된 정보가 발견되면(S1535-Y), 타 디스플레이 장치의 위치, 방향 등을 계산하고(S1540), 카메라 이미지에서 전송받은 양자화/문자화된 정보가 발견되지 않으면(S1535-N), S1520 단계로 돌아갈 수 있다. 여기서, 디스플레이 장치(100)는 카메라 이미지를 부분적으로 크롭하고, 크롭된 이미지를 임의의 방향으로 회전 후 타 디스플레이 장치와 동일한 방식으로 양자화/문자화하고, 이를 타 디스플레이 장치로부터 수신된 양자화/문자화 정보와 비교할 수 있다. 그리고, 디스플레이 장치(100)는 타 디스플레이 장치로부터 수신된 화면 크기에 기초하여 타 디스플레이 장치의 위치, 방향 등을 계산할 수 있다.

타 디스플레이 장치는 AR 객체를 포함하는 확장 컨텐츠를 디스플레이 장치(100)로 전송하고(S1545), 디스플레이 장치(100)는 타 디스플레이 장치의 위치, 방향 등에 기초하여 확장 컨텐츠를 표시할 수 있다(S1555). 예를 들어, 디스플레이 장치는 축구 경기 중계 중 각 선수와 공의 위치를 타 디스플레이 장치 앞에 3D 로 그려진 경기장 안에 표시할 수 있다.

디스플레이 장치(100)는 서비스 종료 여부를 판단하고(S1535), 서비스가 종료되지 않았다면 S1540 단계로 돌아갈 수 있다.

이러한 동작을 통해 사용자의 몰입 방해 없이 복수의 타 디스플레이 장치의 위치와 배향을 식별할 수 있다. 또한, 별도 하드웨어의 추가 없이 식별이 가능하고, 화면 데이터 전체를 전송하지 않기 때문에 전송 데이터의 크기도 줄일 수 있는 효과가 있다.

도 16은 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.

먼저, 촬영된 이미지로부터 적어도 하나의 객체를 식별한다(S1610). 그리고, AR 객체에 대한 정보에 기초하여 적어도 하나의 객체 중 대상 객체를 식별하고, 대상 객체의 위치에 기초하여 AR 객체를 표시한다(S1620).

여기서, AR 객체에 대한 정보는 대상 객체에 대한 식별 정보 및 대상 객체에 대한 AR 객체의 배치 상태를 나타내는 배치 정보를 포함하고, 표시하는 단계(S1620)는 식별 정보에 기초하여 적어도 하나의 객체 중 대상 객체를 식별하고, 배치 정보에 기초하여 대상 객체에 대해 AR 객체를 배치할 수 있다.

그리고, 식별 정보는 대상 객체의 형태 또는 색상 중 적어도 하나에 대한 정보를 포함하고, 배치 정보는 대상 객체에 대한 AR 객체의 상대적인 위치 또는 AR 객체 표시 방법 중 적어도 하나를 포함할 수 있다.

한편, 적어도 하나의 객체에 대한 정보를 포함하는 공간 정보를 획득하는 단계 및 대상 객체의 위치에 기초하여 AR 객체를 포함하도록 공간 정보를 업데이트하는 단계를 더 포함할 수 있다.

여기서, 디스플레이 장치의 배향이 변경되어 촬영된 이미지에서 대상 객체가 식별되지 않다가 대상 객체가 재식별되면, 업데이트된 공간 정보에 기초하여 대상 객체의 위치에 기초하여 AR 객체를 표시하는 단계를 더 포함할 수 있다.

한편, 전자 장치로부터 제1 정보를 수신하는 단계, 적어도 하나의 객체의 화면에 기초하여 제2 정보를 획득하는 단계 및 제1 정보와 제2 정보가 매칭되는 경우, 전자 장치를 타 디스플레이 장치로 식별하는 단계를 더 포함하며, 제1 정보는 전자 장치가 디스플레이 중인 화면을 양자화한 정보 및 화면이 디스플레이된 시간 정보를 포함하고, 제2 정보는 적어도 하나의 객체의 화면을 양자화한 정보 및 화면이 촬영된 시간 정보를 포함할 수 있다.

여기서, 타 디스플레이 장치가 식별되면, 타 디스플레이 장치가 디스플레이 중인 컨텐츠를 식별하는 단계 및 식별된 컨텐츠에 기초하여 AR 객체를 식별하는 단계를 더 포함하며, 표시하는 단계(S1620)는 타 디스플레이 장치의 위치에 기초하여 식별된 AR 객체를 표시할 수 있다.

그리고, 타 디스플레이 장치의 위치 또는 배향 중 적어도 하나를 식별하는 단계를 더 포함하며, 표시하는 단계는 디스플레이 장치의 위치 또는 배향 중 적어도 하나에 기초하여 AR 객체를 표시할 수 있다.

한편, AR 객체에 대한 정보는 프레임 별 AR 객체에 대한 형태, 위치 또는 크기 중 적어도 하나에 대한 정보를 포함하고, 표시하는 단계(S1620)는 AR 객체에 대한 정보에 기초하여 프레임 별로 AR 객체를 상이하게 표시할 수 있다.

또한, AR 객체에 대한 정보는 제1 프레임에서 AR 객체에 대한 제1 객체 정보 및 제1 프레임과 기설정된 프레임만큼 이격된 제2 프레임에서 AR 객체에 대한 제2 객체 정보를 포함하고, 표시하는 단계(S1620)는 제1 객체 정보 및 제2 객체 정보에 기초하여 제1 프레임 및 제2 프레임 사이의 프레임 동안 AR 객체를 보간하고, 보간된 AR 객체를 표시할 수 있다.

이상과 같은 본 개시의 다양한 실시 예에 따르면, 디스플레이 장치는 의미적인 AR 객체에 대한 정보에 기초하여 실제 환경에 적응적으로 AR 객체를 표시할 수 있다.

또한, 디스플레이 장치는 사용자의 시청 방해 없이 타 디스플레이 장치를 식별하고, 타 디스플레이 장치에서 디스플레이되는 컨텐츠와 관련된 AR 객체를 표시하여 사용자 편의성이 향상될 수 있다.

한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어로서 구현될 수도 있다. 소프트웨어 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.

한편, 상술한 다양한 실시 예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.

또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 디스플레이 장치 110 : 카메라
120 : 메모리 130 : 디스플레이
140 : 프로세서 150 : 통신 인터페이스
160 : 사용자 인터페이스 170 : 마이크
180 : 스피커

Claims

디스플레이 장치에 있어서,
카메라;
AR(augmented reality) 객체에 대한 정보가 저장된 메모리;
디스플레이; 및
상기 카메라, 상기 메모리 및 상기 디스플레이와 연결되어 상기 디스플레이 장치를 제어하는 적어도 하나의 프로세서;를 포함하며,
상기 프로세서는,
상기 카메라를 통해 촬영된 이미지로부터 적어도 하나의 객체를 식별하고,
상기 AR 객체에 대한 정보에 기초하여 상기 적어도 하나의 객체 중 대상 객체를 식별하고, 상기 대상 객체의 위치에 기초하여 상기 AR 객체를 표시하도록 상기 디스플레이를 제어하는, 디스플레이 장치.
제1항에 있어서,
상기 AR 객체에 대한 정보는,
상기 대상 객체에 대한 식별 정보 및 상기 대상 객체에 대한 상기 AR 객체의 배치 상태를 나타내는 배치 정보를 포함하고,
상기 프로세서는,
상기 식별 정보에 기초하여 상기 적어도 하나의 객체 중 상기 대상 객체를 식별하고, 상기 배치 정보에 기초하여 상기 대상 객체에 대해 상기 AR 객체를 배치하는, 디스플레이 장치.
제2항에 있어서,
상기 식별 정보는,
상기 대상 객체의 형태 또는 색상 중 적어도 하나에 대한 정보를 포함하고,
상기 배치 정보는,
상기 대상 객체에 대한 상기 AR 객체의 상대적인 위치 또는 상기 AR 객체 표시 방법 중 적어도 하나를 포함하는, 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
상기 적어도 하나의 객체에 대한 정보를 포함하는 공간 정보를 획득하고,
상기 대상 객체의 위치에 기초하여 상기 AR 객체를 포함하도록 상기 공간 정보를 업데이트하는, 디스플레이 장치.
제4항에 있어서,
상기 프로세서는,
상기 디스플레이 장치의 배향이 변경되어 상기 촬영된 이미지에서 상기 대상 객체가 식별되지 않다가 상기 대상 객체가 재식별되면, 상기 업데이트된 공간 정보에 기초하여 상기 대상 객체의 위치에 기초하여 상기 AR 객체를 표시하도록 상기 디스플레이를 제어하는, 디스플레이 장치.
제1항에 있어서,
통신 인터페이스;를 더 포함하고,
상기 프로세서는,
상기 통신 인터페이스를 통해 전자 장치로부터 제1 정보를 수신하고,
상기 적어도 하나의 객체의 화면에 기초하여 제2 정보를 획득하고,
상기 제1 정보와 상기 제2 정보가 매칭되는 경우, 상기 전자 장치를 타 디스플레이 장치로 식별하며,
상기 제1 정보는, 상기 전자 장치가 디스플레이 중인 화면을 양자화한 정보 및 상기 화면이 디스플레이된 시간 정보를 포함하고,
상기 제2 정보는, 상기 적어도 하나의 객체의 화면을 양자화한 정보 및 상기 화면이 촬영된 시간 정보를 포함하는, 디스플레이 장치.
제6항에 있어서,
상기 프로세서는,
상기 타 디스플레이 장치가 식별되면, 상기 타 디스플레이 장치가 디스플레이 중인 컨텐츠를 식별하고,
상기 식별된 컨텐츠에 기초하여 상기 AR 객체를 식별하고,
상기 타 디스플레이 장치의 위치에 기초하여 상기 식별된 AR 객체를 표시하도록 상기 디스플레이를 제어하는, 디스플레이 장치.
제7항에 있어서,
상기 프로세서는,
상기 타 디스플레이 장치의 위치 또는 배향 중 적어도 하나를 식별하고,
상기 디스플레이 장치의 위치 또는 배향 중 적어도 하나에 기초하여 상기 AR 객체를 표시하도록 상기 디스플레이를 제어하는, 디스플레이 장치.
제1항에 있어서,
상기 AR 객체에 대한 정보는,
프레임 별 상기 AR 객체에 대한 형태, 위치 또는 크기 중 적어도 하나에 대한 정보를 포함하고,
상기 프로세서는,
상기 AR 객체에 대한 정보에 기초하여 프레임 별로 상기 AR 객체를 상이하게 표시하도록 상기 디스플레이를 제어하는, 디스플레이 장치.
제1항에 있어서,
상기 AR 객체에 대한 정보는,
제1 프레임에서 상기 AR 객체에 대한 제1 객체 정보 및 상기 제1 프레임과 기설정된 프레임만큼 이격된 제2 프레임에서 상기 AR 객체에 대한 제2 객체 정보를 포함하고,
상기 프로세서는,
상기 제1 객체 정보 및 상기 제2 객체 정보에 기초하여 상기 제1 프레임 및 상기 제2 프레임 사이의 프레임 동안 상기 AR 객체를 보간하고, 상기 보간된 AR 객체를 표시하도록 상기 디스플레이를 제어하는, 디스플레이 장치.
제1항에 있어서,
통신 인터페이스;를 더 포함하며,
상기 프로세서는,
상기 통신 인터페이스를 통해 서버로부터 상기 AR 객체에 대한 정보를 수신하고,
상기 수신된 AR 객체에 대한 정보를 상기 메모리에 저장하는, 디스플레이 장치.
제11항에 있어서,
상기 프로세서는,
상기 적어도 하나의 객체에 대한 정보를 상기 서버로 전송하도록 상기 통신 인터페이스를 제어하고,
상기 통신 인터페이스를 통해 상기 서버로부터 상기 적어도 하나의 객체에 대응되는 상기 AR 객체에 대한 정보를 수신하는, 디스플레이 장치.
디스플레이 장치의 제어 방법에 있어서,
촬영된 이미지로부터 적어도 하나의 객체를 식별하는 단계; 및
AR 객체에 대한 정보에 기초하여 상기 적어도 하나의 객체 중 대상 객체를 식별하고, 상기 대상 객체의 위치에 기초하여 상기 AR 객체를 표시하는 단계;를 포함하는, 제어 방법.
제13항에 있어서,
상기 AR 객체에 대한 정보는,
상기 대상 객체에 대한 식별 정보 및 상기 대상 객체에 대한 상기 AR 객체의 배치 상태를 나타내는 배치 정보를 포함하고,
상기 표시하는 단계는,
상기 식별 정보에 기초하여 상기 적어도 하나의 객체 중 상기 대상 객체를 식별하고, 상기 배치 정보에 기초하여 상기 대상 객체에 대해 상기 AR 객체를 배치하는, 제어 방법.
제14항에 있어서,
상기 식별 정보는,
상기 대상 객체의 형태 또는 색상 중 적어도 하나에 대한 정보를 포함하고,
상기 배치 정보는,
상기 대상 객체에 대한 상기 AR 객체의 상대적인 위치 또는 상기 AR 객체 표시 방법 중 적어도 하나를 포함하는, 제어 방법.
제13항에 있어서,
상기 적어도 하나의 객체에 대한 정보를 포함하는 공간 정보를 획득하는 단계; 및
상기 대상 객체의 위치에 기초하여 상기 AR 객체를 포함하도록 상기 공간 정보를 업데이트하는 단계;를 더 포함하는, 제어 방법.
제16항에 있어서,
상기 디스플레이 장치의 배향이 변경되어 상기 촬영된 이미지에서 상기 대상 객체가 식별되지 않다가 상기 대상 객체가 재식별되면, 상기 업데이트된 공간 정보에 기초하여 상기 대상 객체의 위치에 기초하여 상기 AR 객체를 표시하는 단계;를 더 포함하는, 제어 방법.
제13항에 있어서,
전자 장치로부터 제1 정보를 수신하는 단계;
상기 적어도 하나의 객체의 화면에 기초하여 제2 정보를 획득하는 단계; 및
상기 제1 정보와 상기 제2 정보가 매칭되는 경우, 상기 전자 장치를 타 디스플레이 장치로 식별하는 단계;를 더 포함하며,
상기 제1 정보는, 상기 전자 장치가 디스플레이 중인 화면을 양자화한 정보 및 상기 화면이 디스플레이된 시간 정보를 포함하고,
상기 제2 정보는, 상기 적어도 하나의 객체의 화면을 양자화한 정보 및 상기 화면이 촬영된 시간 정보를 포함하는, 제어 방법.
제18항에 있어서,
상기 타 디스플레이 장치가 식별되면, 상기 타 디스플레이 장치가 디스플레이 중인 컨텐츠를 식별하는 단계; 및
상기 식별된 컨텐츠에 기초하여 상기 AR 객체를 식별하는 단계;를 더 포함하며,
상기 표시하는 단계는,
상기 타 디스플레이 장치의 위치에 기초하여 상기 식별된 AR 객체를 표시하는, 제어 방법.
제19항에 있어서,
상기 타 디스플레이 장치의 위치 또는 배향 중 적어도 하나를 식별하는 단계;를 더 포함하며,
상기 표시하는 단계는,
상기 디스플레이 장치의 위치 또는 배향 중 적어도 하나에 기초하여 상기 AR 객체를 표시하는, 제어 방법.