KR20230168950A

KR20230168950A - Gps 정보에 따른 시선 방향을 바탕으로 직관적인 컨트롤 환경을 제공하는 사용자 단말 및, 서버, 및 디스플레이 장치

Info

Publication number: KR20230168950A
Application number: KR1020230038723A
Authority: KR
Inventors: 표영일
Original assignee: (주)이브이알스튜디오
Priority date: 2022-06-08
Filing date: 2023-03-24
Publication date: 2023-12-15
Also published as: KR102516278B1; KR20230168951A

Abstract

사용자 단말의 제어 방법이 개시된다. 본 제어 방법은, 3D 이미지를 표시하는 디스플레이 장치의 디스플레이를 촬영하여 이미지를 획득하는 단계, 획득된 이미지를 바탕으로, 디스플레이를 바라보는 사용자 단말의 시선 방향을 식별하는 단계, 사용자 단말의 모션을 감지하여 사용자 단말의 모션 방향을 식별하는 단계, 시선 방향 및 모션 방향을 포함하는 모션 정보를 디스플레이 장치로 전송하여, 사용자 단말의 모션에 따라 변경된 3D 이미지를 디스플레이에 표시하도록 디스플레이 장치를 제어하는 단계를 포함한다.

Description

GPS 정보에 따른 시선 방향을 바탕으로 직관적인 컨트롤 환경을 제공하는 사용자 단말 및, 서버, 및 디스플레이 장치 { USER TERMINAL FOR PROVIDING INTUITIVE CONTROL ENVIRONMENT BASED ON GAZE DIRECTION ACCORDING TO GPS INFORMATION, SERVER, AND DISPLAY APPARATUS }

본 개시는 디스플레이 장치 및 사용자 단말을 포함하는 시스템에 관한 것으로, 보다 상세하게는, 사용자 단말과 디스플레이 장치 간의 위치 관계를 바탕으로 사용자 단말의 모션에 따라 직관적인 사용자 인터페이스를 제공하는 시스템에 관한 것이다.

종래 대형 스크린을 구비한 디스플레이 장치를 통해 광고나 전시물을 표시하는 사례가 많아지면서, 이러한 디스플레이 구조물은 공간의 분위기를 조성할 뿐 아니라 특정 장소의 랜드마크로서 역할을 수행하기도 하고 있다.

특히, 대형의 평면 디스플레이로 구성된 스크린을 통해 3차원의 객체를 정교하게 표현하는 방식이 각광받고 있다. 다만, 이 경우 보이는 각도에 따라 그 정교함에 차이가 있을 수 있어 다양한 방향에서 대형 디스플레이를 바라보는 사용자들의 흥미를 온전히 충족시키기에 다소 아쉬운 면이 있다.

등록특허공보 제10-491432호

본 개시는 3D 이미지를 제공하는 대형 스크린 등으로 구성된 디스플레이 장치를 바라보는 사용자의 시선 방향에 따라 디스플레이 장치와의 인터랙션이 가능한 사용자 단말 및 시스템을 제공한다.

본 개시의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 개시의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 개시의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 개시의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 개시의 일 실시 예에 따른 사용자 단말의 제어 방법은, 카메라를 통해, 3D 이미지를 표시하는 디스플레이 장치의 디스플레이를 촬영하여 이미지를 획득하는 단계, 프로세서가, 상기 획득된 이미지를 바탕으로, 상기 디스플레이를 바라보는 상기 사용자 단말의 시선 방향을 식별하는 단계, 적어도 하나의 모션 센서를 통해 상기 사용자 단말의 모션을 감지하여 상기 사용자 단말의 모션 방향을 식별하는 단계, 상기 시선 방향 및 상기 모션 방향을 포함하는 모션 정보를 통신부를 통해 상기 디스플레이 장치로 전송하여, 상기 사용자 단말의 모션에 따라 변경된 3D 이미지를 상기 디스플레이에 표시하도록 상기 디스플레이 장치를 제어하는 단계를 포함한다.

상기 사용자 단말의 시선 방향을 식별하는 단계는, 상기 이미지에 포함된 상기 3D 이미지의 각도를 바탕으로, 상기 디스플레이를 기준으로 하는 상기 사용자 단말의 시선 방향을 식별할 수 있다.

상기 사용자 단말의 시선 방향을 식별하는 단계는, 상기 이미지에 포함된 상기 디스플레이를 식별하고, 상기 식별된 디스플레이의 형상을 바탕으로 상기 디스플레이를 기준으로 하는 상기 사용자 단말의 시선 방향을 식별할 수도 있다.

상기 사용자 단말의 시선 방향을 식별하는 단계는, GPS(Global Positioning System) 센서를 통해 위치를 식별하고, 상기 위치에 따라 상기 사용자 단말이 상기 디스플레이 장치로부터 일정 거리 이내에 존재하는 것으로 식별된 경우, 상기 획득된 이미지를 바탕으로, 상기 디스플레이를 기준으로 하는 상기 사용자 단말의 시선 방향을 식별할 수도 있다.

상기 모션의 방향을 식별하는 단계는, 상기 사용자 단말의 디스플레이를 통해, 상기 카메라를 통해 촬영된 이미지를 실시간으로 표시하는 단계, 상기 실시간으로 표시되는 이미지가 상기 디스플레이 장치의 디스플레이의 적어도 일부를 포함하는 경우, 상기 모션 센서를 통해 상기 사용자 단말의 모션을 감지하여 상기 모션의 방향을 식별하는 단계를 포함할 수 있다.

상기 디스플레이 장치를 제어하는 단계는, 상기 디스플레이에 표시된 3D 이미지 내 적어도 하나의 개체가 상기 사용자 단말의 시선 방향을 기준으로 상기 모션의 방향에 따라 움직이는 모습이 표현되도록, 상기 디스플레이 장치를 제어할 수 있다.

여기서, 상기 디스플레이 장치를 제어하는 단계는, 상기 사용자 단말의 디스플레이를 통해, 상기 카메라를 통해 촬영된 이미지를 실시간으로 표시하는 단계, 상기 실시간으로 표시되는 이미지의 중심에 나타나는 상기 디스플레이 장치의 디스플레이 내 적어도 하나의 좌표를 식별하는 단계, 상기 식별된 좌표에 대한 정보를 상기 디스플레이 장치로 전송하여, 상기 디스플레이 장치의 디스플레이에 표시된 3D 이미지 내 적어도 하나의 개체가 상기 좌표를 중심으로 상기 모션의 방향에 따라 움직이는 모습이 표현되도록, 상기 디스플레이 장치를 제어하는 단계를 포함할 수도 있다.

본 개시의 일 실시 예에 따른 서버의 제어 방법은, 3D 이미지를 표시하도록 디스플레이 장치를 제어하는 단계, 사용자 단말로부터, 상기 3D 이미지가 표시된 상기 디스플레이 장치의 디스플레이가 촬영된 이미지를 수신하는 단계, 상기 수신된 이미지를 바탕으로, 상기 디스플레이를 바라보는 상기 사용자 단말의 시선 방향을 식별하는 단계, 상기 사용자 단말로부터 수신된 상기 사용자 단말의 모션 정보를 바탕으로, 상기 사용자 단말의 모션 방향을 식별하는 단계, 상기 시선 방향 및 상기 모션 방향을 포함하는 모션 정보를 상기 디스플레이 장치로 전송하여, 상기 사용자 단말의 모션에 따라 변경된 3D 이미지를 표시하도록 상기 디스플레이 장치를 제어하는 단계를 포함한다.

상기 서버의 제어 방법은, 제1 사용자 단말의 모션에 따라 변경된 3D 이미지를 표시하도록 상기 디스플레이 장치를 제어하는 단계, 상기 제1 사용자 단말의 모션에 따라 상기 디스플레이 장치에 표시된 3D 이미지가 일정 횟수만큼 연속으로 변경된 경우, 제2 사용자 단말의 모션에 따라 변경된 3D 이미지를 표시하도록 상기 디스플레이 장치를 제어하는 단계를 포함할 수 있다.

본 개시의 일 실시 예에 따라 3D 이미지를 표시하는 디스플레이를 포함하는 디스플레이 장치의 제어 방법은, 사용자 단말로부터, 상기 3D 이미지가 표시된 상기 디스플레이 장치의 디스플레이가 촬영된 이미지를 수신하는 단계, 상기 수신된 이미지를 바탕으로, 상기 디스플레이를 바라보는 상기 사용자 단말의 시선 방향을 식별하는 단계, 상기 사용자 단말로부터 수신된 상기 사용자 단말의 모션 정보를 바탕으로, 상기 사용자 단말의 모션 방향을 식별하는 단계, 상기 시선 방향 및 상기 모션 방향을 바탕으로, 상기 사용자 단말의 모션에 따라 변경된 3D 이미지를 표시하는 단계를 포함한다.

본 개시에 따른 사용자 단말 내지 디스플레이 장치는, 대형 전광판/스크린 내지는 전시용 디스플레이의 제어에 있어, 사용자 단말의 촬영 기능만을 활용하여 사용자 단말의 시선 방향을 식별할 수 있으며, 시선 방향 및 모션에 따라 직관적으로 반응하는 3D 이미지를 제공하여 사용자의 흥미와 상호작용을 강화한다.

도 1은 본 개시의 일 실시 예에 따라 인터랙션을 수행하는 사용자 단말 및 디스플레이 장치의 동작을 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 사용자 단말의 구성을 설명하기 위한 블록도,
도 3은 본 개시의 일 실시 예에 따른 사용자 단말의 제어 방법을 설명하기 위한 흐름도,
도 4는 본 개시의 일 실시 예에 따라 디스플레이 장치를 촬영하여 표시하는 사용자 단말의 동작을 설명하기 위한 도면,
도 5는 본 개시의 일 실시 예에 따른 사용자 단말이 모션 인식을 바탕으로 디스플레이 장치에 표시되는 3D 이미지를 변경 제어하는 동작을 설명하기 위한 도면,
도 6은 본 개시의 다양한 실시 예에 따른 사용자 단말의 구성을 설명하기 위한 블록도,
도 7은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성 및 동작을 설명하기 위한 블록도, 그리고
도 8은 본 개시의 일 실시 예에 따른 서버가 하나 이상의 사용자 단말 및 하나 이상의 디스플레이 장치와 연동되어 수행하는 동작을 설명하기 위한 블록도이다.

본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.

먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.

또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.

또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.

본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.

또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본 개시의 일 실시 예에 따라 인터랙션을 수행하는 사용자 단말 및 디스플레이 장치의 동작을 설명하기 위한 도면이다.

도 1은, 사용자(user)의 사용자 단말(100) 및 3D 이미지를 표시하는 디스플레이 장치(200)를 도시한다.

본 개시에 따른 사용자 단말(100)은 스마트폰, 태블릿 PC, 노트북 PC, 웨어러블 기기, VR/AR 기기, PDA 등 휴대 가능한 다양한 단말 기기에 해당할 수 있다.

본 개시에 따른 디스플레이 장치(200)는 하나 이상의 디스플레이를 포함하는 다양한 기기에 해당할 수 있다. 예를 들어, 디스플레이 장치(200)는 건물 또는 구조물을 구성하는 적어도 하나의 스크린, 전광판, 패널 등을 포함할 수 있다.

구체적인 예로, 디스플레이 장치(200)는 평면 또는 곡면으로 구성된 하나 이상의 디스플레이 패널을 포함할 수 있으며, 하나 이상의 디스플레이 패널은 3D 이미지를 표시할 수 있다. 여기서, 3D 이미지는, 비록 평면 또는 곡면으로 구성된 디스플레이의 표면 상에 표시된 개체이지만 3차원 공간 상의 개체로 인식될 수 있을 정도로 표현된 것에 해당할 수 있다.

도 1을 참조하면, 사용자의 조작에 의해 사용자 단말(100)은 디스플레이 장치(200)의 디스플레이의 적어도 일부를 촬영할 수 있다. 이 경우, 사용자 단말(100)은 디스플레이를 기준으로 하는 사용자 단말(100)의 위치 및 시선 방향을 식별할 수 있다.

이때, 사용자 단말(100)은 디스플레이 장치(200)와 직접적 또는 간접적으로 통신을 수행할 수 있다. 구체적으로, 사용자 단말(100)은 촬영된 디스플레이 장치(200)의 식별 정보를 바탕으로 디스플레이 장치(200)와 연동될 수 있다. 이때, 사용자 단말(100)의 위치가 디스플레이 장치(200)의 위치로부터 일정 거리 내에 있음을 전제로 또는 사용자 단말(100)이 디스플레이 장치(200)를 촬영함을 전제로, 사용자 단말(100)은 디스플레이 장치(200)와 연동될 수도 있다.

그리고, 사용자 단말(100)은 사용자의 조작에 따른 사용자 단말(100)의 모션에 따라 모션 정보를 획득하여 이를 디스플레이 장치(200)로 전송할 수 있다. 여기서, 모션 정보는, 사용자 단말(100)의 위치, 시선 방향, 모션 방향 등을 포함할 수 있다.

이 경우, 사용자 단말(100)의 위치 및 시선 방향을 바탕으로, 디스플레이 장치(200)는 사용자 단말(100)의 시선 방향과 모션 방향에 따라 변경된 3D 이미지를 표시할 수 있다. 예를 들어, 디스플레이 장치(200)는, 3D 이미지 내 적어도 하나의 개체가 사용자 단말(100)의 시선 방향에서 모션 방향으로 이동하거나 움직이도록, 3D 이미지를 재구성하여 표시할 수 있다.

이렇듯, 본 개시에 따른 디스플레이 장치(200)는 다수의 사용자에게 다양한 각도에서 보여지는 3D 이미지를 제공함에 있어서, 각 사용자의 시선 방향 및 각 사용자의 사용자 단말의 모션 방향에 맞게 변경된 액티브한 3D 이미지를 제공할 수 있다. 또한, 본 개시에 따른 사용자 단말(100)은, 디스플레이 장치(200)를 촬영하는 것만으로 사용자의 시선 방향을 식별하는 한편, 사용자의 시선 방향을 기준으로 사용자의 모션(사용자 단말(100)의 모션)에 따라 변경된 3D 이미지가 디스플레이 장치(200) 상에 제공될 수 있게끔 하여 사용자 개개인의 UX(User Experience)를 극대화하는 장점이 있다.

이하 도면들을 통해 사용자 단말 내지 디스플레이 장치의 구성 및 동작을 보다 상세하게 설명한다.

도 2는 본 개시의 일 실시 예에 따른 사용자 단말의 구성을 설명하기 위한 블록도이다.

도 2를 참조하면, 사용자 단말(100)은 카메라(110), 통신부(120), 모션 센서(130), 프로세서(140) 등을 포함할 수 있다.

카메라(110)는 사용자 단말(100)의 주변을 촬영하여 이미지를 획득하기 위한 구성이다. 카메라(110)는 적어도 하나의 이미지 센서를 포함할 수 있으며, RGB 카메라, 스테레오 카메라, ToF(Time of Flight) 카메라 등으로 구현될 수 있다.

일 실시 예로, 카메라(110)는 디스플레이 장치(200)의 적어도 일부를 촬영하여 이미지를 획득할 수 있다. 디스플레이 장치(200)가 3D 이미지를 표시하고 있는 경우, 카메라(110)를 통해 촬영된 이미지는 디스플레이 장치(200)의 디스플레이 상에 표시된 3D 이미지를 포함할 수 있다.

통신부(120)는 다양한 외부 장치와 통신을 수행하기 위한 구성으로, 다양한 유무선 통신방식으로 적어도 하나의 외부 장치와 통신을 수행하기 위한 회로, 모듈, 칩 등을 포함할 수 있다.

통신부(120)는 다양한 네트워크를 통해 외부 장치들과 연결될 수 있다.

네트워크는 영역 또는 규모에 따라 개인 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 광역 통신망(WAN; Wide Area Network) 등일 수 있으며, 네트워크의 개방성에 따라 인트라넷(Intranet), 엑스트라넷(Extranet), 또는 인터넷(Internet) 등일 수 있다.

통신부(120)는 LTE(long-term evolution), LTE-A(LTE Advance), 5G(5th Generation) 이동통신, CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), GSM(Global System for Mobile Communications), DMA(Time Division Multiple Access), WiFi(Wi-Fi), WiFi Direct, Bluetooth, NFC(near field communication), Zigbee 등 다양한 무선 통신 방식을 통해 외부 장치들과 연결될 수 있다.

또한, 통신부(120)는 이더넷(Ethernet), 광 네트워크(optical network), USB(Universal Serial Bus), 선더볼트(ThunderBolt) 등의 유선 통신 방식을 통해 외부 장치들과 연결될 수도 있다.

모션 센서(130)는 사용자 단말(100)의 모션을 감지하기 위한 구성이다. 모션 센서(130)는 가속도 센서, 지자기 센서, 자이로 센서 중 적어도 하나를 포함할 수 있으며, 사용자 단말(100)은 모션 센서(130)를 통해 사용자 단말(100)의 자세(ex. 서로 수직인 3개의 축 각각을 기준으로 하는 회전 각도), 이동 방향, 이동 속도 등을 실시간으로 식별할 수 있다.

프로세서(140)는 사용자 단말(100)를 전반적으로 제어하기 위한 구성이다. 구체적으로, 프로세서(120)는 메모리(110)와 연결되는 한편 메모리(110)에 저장된 적어도 하나의 인스트럭션을 실행함으로써 본 개시의 다양한 실시 예들에 따른 동작을 수행할 수 있다.

프로세서(140)는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit) 등과 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서 등을 포함할 수 있다. 인공지능 전용 프로세서는, 특정 인공지능 모델의 훈련 내지는 이용에 특화된 하드웨어 구조로 설계될 수 있다.

도 3은 본 개시의 일 실시 예에 따른 사용자 단말의 제어 방법을 설명하기 위한 흐름도이다.

도 3을 참조하면, 사용자 단말(100)은 카메라(110)를 통해 3D 이미지를 표시하는 디스플레이 장치(200)의 디스플레이를 촬영하여 이미지를 획득할 수 있다(S310).

일 실시 예로, 사용자 단말(100)은 사용자 입력에 따라 촬영 기능을 활성화할 수 있다. 여기서, 사용자의 조작에 따라 카메라(110)는 디스플레이 장치(200)를 촬영하여 이미지를 획득할 수 있으며, 해당 이미지는 사용자 단말(100)의 디스플레이 상에 표시될 수 있다.

이때, 사용자 단말(100)은 디스플레이 장치(200)와 페어링을 수행할 수 있다. 본 페어링은, 사용자 단말(100)과 디스플레이 장치(200) 간의 직접 통신에 의해 수행될 수도 있고, 적어도 하나의 외부 장치(ex. 중계 장치, 서버 등)를 통한 간접 통신에 의해 수행될 수도 있다.

이 경우, 사용자 단말(100)은 이미지 내 디스플레이 장치(200)를 추출할 수 있다. 구체적으로, 사용자 단말(100)은 이미지 내 적어도 하나의 디스플레이/스크린을 식별하도록 훈련된 적어도 하나의 인공지능 모델(ex. CNN)을 활용하여 디스플레이 장치(200)의 디스플레이를 식별할 수 있다. 여기서, 사용자 단말(100)은 디스플레이 장치(200)의 디스플레이의 형상, 크기, 또는 디스플레이 장치(200)의 주변 모습 중 적어도 하나를 바탕으로 디스플레이 장치(200)의 식별 정보를 획득할 수 있다. 식별 정보는, 디스플레이 장치(200)의 식별 번호, 위치 등에 대한 정보를 포함할 수 있다. 이를 위해, 하나 이상의 디스플레이 장치 각각의 디스플레이의 형상, 크기, 주변 모습 등에 대한 정보가 각 디스플레이 장치의 식별 정보와 매칭되도록 사용자 단말(100)의 메모리 상에 기저장되어 있을 수 있다.

또는, 이미지 내 적어도 하나의 디스플레이 장치가 포함된 것으로 식별됨에 따라, 사용자 단말(100)은 사용자 단말(100)의 위치를 판단할 수 있다. 이때, 사용자 단말(100)은 GPS(Global Positioning System) 센서를 통해 사용자 단말(100)의 위치를 식별하거나, 또는 사용자 단말(100)과 연결된 적어도 하나의 중계 장치(ex. 와이파이 중계기)의 위치를 바탕으로 사용자 단말(100)의 위치를 식별할 수 있다. 여기서, 사용자 단말(100)은 기저장된 하나 이상의 디스플레이 장치의 위치 정보 중 사용자 단말(100)의 현 위치와 근접한 위치 정보를 선택하고, 선택된 위치 정보에 매칭되는 디스플레이 장치(ex. 100)의 식별 정보를 바탕으로 페어링을 수행할 수 있다.

그리고, 도 3을 참조하면, 카메라(110)를 통해 획득된 이미지를 바탕으로, 사용자 단말(100)은 디스플레이 장치(200)의 디스플레이를 기준으로 하는 사용자 단말의 시선 방향을 식별할 수 있다(S320). 이때, 사용자 단말(100)은 사용자 단말(100)이 디스플레이 장치(200)로부터 일정 거리 이내에 존재함을 전제로 시선 방향을 식별할 수 있다. 여기서, GPS 센서를 통해 식별된 사용자 단말(100)의 위치가 디스플레이 장치(200)의 위치와 비교될 수 있다.

일 실시 예로, 사용자 단말(100)은 이미지에 포함된 3D 이미지(: 디스플레이 장치(200)의 디스플레이에 표시된 3D 이미지)의 각도를 바탕으로, 디스플레이 장치(200)의 디스플레이를 기준으로 하는 사용자 단말(100)의 시선 방향을 식별할 수 있다.

이 경우, 먼저 사용자 단말(100)은 이미지에 포함된 3D 이미지를 추출할 수 있다. 여기서, 3D 이미지 내지는 움직이는 영상을 식별하도록 훈련된 적어도 하나의 인공지능 모델(ex. CNN)이 활용될 수 있다. 또는, 이미지 내 디스플레이/스크린을 식별하도록 훈련된 적어도 하나의 인공지능 모델을 통해 디스플레이가 추출됨에 따라, 디스플레이에 표시된 3D 이미지가 식별될 수도 있다.

구체적으로, 사용자 단말(100)은 디스플레이 장치(200)에 표시된 3D 이미지에 대한 이미지 데이터를 획득된 이미지 내 3D 이미지와 비교함으로써 이미지 내 3D 이미지의 각도를 식별하고, 식별된 각도에 따라 사용자 단말(100)의 시선 방향을 판단할 수 있다. 여기서, 3D 이미지에 대한 이미지 데이터는, 사용자 단말(100)에 기저장된 것일 수 있고, 페어링된 디스플레이 장치(200)로부터 수신된 것일 수도 있으며, 또는 후술할 서버(300)로부터 수신된 것일 수도 있다.

또는, 일 실시 예로, 사용자 단말(100)은 이미지 내에 포함된 디스플레이 장치(200)의 디스플레이/스크린의 형상을 바탕으로 사용자 단말(100)의 시선 방향을 식별할 수도 있다.

구체적으로, 사용자 단말(100)은 이미지 내 디스플레이/스크린을 식별하도록 훈련된 적어도 하나의 인공지능 모델을 활용하여 이미지 내 디스플레이 장치(200)의 디스플레이/스크린을 추출할 수 있다.

여기서, 사용자 단말(100)은 추출된 디스플레이/스크린의 형상을 바탕으로 디스플레이 장치(200)의 디스플레이/스크린을 바라보는 사용자 단말(100)의 (카메라의) 시선 방향을 식별할 수 있다. 예를 들어, 디스플레이 장치(200)를 바라보는 다양한 시선 방향 각각에 대하여 디스플레이 장치(200)의 디스플레이/스크린의 형상이 기저장되어 있을 수 있다. 이 경우, 사용자 단말(100)은 이미지 내 디스플레이/스크린의 형상을 시선 방향 별로 기저장된 디스플레이/스크린의 형상과 비교하여, 이미지 내 디스플레이/스크린을 바라보는 사용자 단말(100)의 시선 방향을 판단할 수 있다.

한편, 도 3의 S320과 달리, 사용자 단말(100)은 GPS 센서를 바탕으로 획득된 사용자 단말(100)의 위치를 바탕으로 사용자 단말(100)의 시선 방향을 판단할 수도 있다. 구체적으로, 사용자 단말(100)은 GPS 센서를 통해 식별된 사용자 단말(100)의 현 위치와 디스플레이 장치(200)의 위치 간의 관계를 바탕으로 디스플레이 장치(200)를 바라보는 사용자 단말(100)의 시선 방향을 식별할 수 있다.

상술한 다양한 실시 예들 중 적어도 하나에 따라 시선 방향이 식별되면, 사용자 단말(100)은 모션 센서(130)를 통해 사용자 단말(100)의 모션을 감지하여 사용자 단말(100)의 모션 방향을 식별할 수 있다(S330).

이때, 디스플레이 장치(200)의 적어도 일부가 사용자 단말(100)에 의해 촬영되고 있는 상태를 전제로 사용자 단말(100)의 모션 감지가 수행될 수도 있다.

관련하여, 일 실시 예로, 사용자 단말(100)의 디스플레이를 통해, 카메라(110)를 통해 촬영된 이미지가 실시간으로 표시될 수 있다. 여기서, 실시간으로 표시되는 이미지가 디스플레이 장치(200)의 디스플레이의 적어도 일부를 포함하는 경우(: 이미지 내에서 디스플레이 장치(200)의 디스플레이 또는 3D 이미지의 적어도 일부가 추출되는 경우), 사용자 단말(100)은 모션 센서(130)를 통해 사용자 단말(100)의 모션을 감지하여 모션의 방향을 식별할 수 있다. 즉, 사용자 단말(100)의 카메라(110)를 통해 디스플레이 장치(200)의 디스플레이/스크린이 촬영되는 동안에만 사용자 단말(100)의 모션 감지가 활성화될 수 있다.

모션은, 예를 들어, 사용자 단말(100)을 디스플레이 장치(200)와 가까워지는 방향으로 밀기, 디스플레이 장치(200)와 멀어지는 방향으로 당기기, 상/하/좌/우로 움직이기, 회전시키기, 상하/좌우로 흔들기 등을 포함할 수 있으나, 이에 한정되지 않는다.

그리고, 도 3을 참조하면, 사용자 단말(100)은 상술한 시선 방향 및 모션 방향을 포함하는 모션 정보를 디스플레이 장치(200)로 전송하여, 사용자 단말(100)의 모션에 따라 변경된 3D 이미지를 표시하도록 디스플레이 장치(200)를 제어할 수 있다(S340).

일 예로, 디스플레이 장치(200)의 디스플레이에 표시된 3D 이미지 내 적어도 하나의 개체가 사용자 단말(100)의 시선 방향을 기준으로 모션의 방향에 따라 움직이는 모습이 표현될 수 있다.

구체적으로, 사용자 단말(100)은 카메라(110)를 통해 촬영된 이미지를 실시간으로 표시할 수 있으며, 실시간으로 표시되는 이미지의 중심에 나타나는 디스플레이 장치(200)의 디스플레이 내 적어도 하나의 좌표를 식별할 수 있다.

이 경우, 사용자 단말(100)은 식별된 좌표에 대한 정보를 디스플레이 장치(200)로 전송할 수 있다. 그 결과, 디스플레이 장치(200)의 디스플레이에 표시된 3D 이미지 내 적어도 하나의 개체가 상술한 좌표를 중심으로 모션의 방향에 따라 움직이는 모습이 표현될 수 있다.

도 4 내지 도 5는 본 개시의 일 실시 예에 따라 디스플레이 장치를 촬영하여 표시하는 사용자 단말의 동작, 및 사용자 단말의 모션에 따라 변경된 3D 이미지를 표시하는 디스플레이 장치의 동작을 설명하기 위한 도면들이다.

도 4를 참조하면, 사용자 단말(100)은 카메라(110)를 통해 촬영된 이미지(410)를 표시할 수 있다. 이때, 해당 이미지(410)는 디스플레이 장치(200)의 디스플레이(210)의 적어도 일부를 포함할 수 있다.

여기서, 사용자 단말(100)은 이미지(410)의 중심에 해당하는 디스플레이(210) 내 적어도 하나의 좌표를 식별할 수 있다. 예를 들어, 사용자 단말(100)은 중심선(411)에 매칭되는 디스플레이(210) 내 적어도 하나의 좌표를 선택할 수 있다. 그리고, 사용자 단말(100)은 선택된 좌표에 대한 정보를 디스플레이 장치(200)로 전송할 수 있다.

도 4와 같이 사용자 단말(100)이 상술한 이미지(410)를 표시하는 상태에서, 도 5와 같이 사용자는 사용자 단말(100)을 디스플레이 장치(200)와 가까워지는 방향으로 밀거나 또는 반대로 당기는 등의 모션을 수행할 수 있다.

예를 들어, 사용자 단말(100)이 디스플레이 장치(200)와 가까워지는 방향으로 밀리는 경우, 사용자 단말(100)의 모션이 감지될 수 있으며, 모션의 방향(: 디스플레이 장치(200)와 가까워지는 방향) 및 사용자 단말(100)의 시선 방향을 포함하는 모션 정보가 디스플레이 장치(200)로 전송될 수 있다.

그 결과, 도 5와 같이, 디스플레이 장치(200) 상에 표시되는 3D 이미지 내 개체(ex. 물방울들, 물에 해당하는 입자들)가 사용자의 시선 방향을 중심으로 모션의 방향에 따라 이동할 수 있다. 도 5를 참조하면, 사용자 단말(100)이 시선 방향에 따라 밀리는 모션이 감지되었으므로, 시선 방향(: 모션 방향)을 중심으로 물 입자들이 마치 모세의 기적처럼 좌우로 밀리는 3D 이미지가 디스플레이 장치(200) 상에 표현될 수 있다. 이때, 사용자 단말(100)을 통해 촬영된 이미지(410) 내 중심선(411)에 매칭되는 디스플레이(210) 상의 좌표들을 중심으로 하여 물방울들이 좌우로 밀릴 수 있다.

그 결과, 사용자는 마치 본인이 3D 이미지 내 개체(ex. 물에 해당하는 입자들)들을 밀어낸 듯한 느낌을 받을 수 있으며, 직관적인 인터랙션에 따른 흥미와 관심이 증대될 수 있다.

한편, 일 실시 예로, 사용자 단말(100)을 통해 획득된 모션 정보가 디스플레이 장치(200)로 전송된 이후 사용자 단말(100)은 디스플레이 장치(200)를 통해 표시되는 3D 이미지를 모니터링할 수 있다.

구체적으로, 모션 정보가 전송된 이후에도, 사용자 단말(100)은 카메라(110)를 통해 디스플레이 장치(200)의 디스플레이/스크린을 계속적으로 촬영하여 순차적으로 복수의 이미지들을 획득할 수 있다. 이때, 사용자 단말(100)은 순차적으로 획득된 복수의 이미지들을 분석하여 3D 이미지의 변경 여부, 변경되는 정도, 변경되는 형상/태양 등을 식별할 수 있다.

예를 들어, 모션 정보가 전송되었음에도 일정 시간 동안 순차적으로 촬영된 이미지들을 통해 3D 이미지의 변경이 식별되지 않는 경우, 사용자 단말(100)은 디스플레이 장치(200) 및/또는 후술할 서버(300)로 통신 상태 또는 디스플레이 장치(200)의 상태에 대한 점검 요청을 전송할 수 있다. 이때, 사용자 단말(100)은 현재 통신 상태 또는 디스플레이 장치(200)의 상태에 이상이 있음을 알리는 메시지를 출력할 수 있다.

예를 들어, 모션 정보가 전송된 이후 3D 이미지의 변경이 식별되기는 하나, 모션 정보에 매칭되는 모션의 방향/속도가 실제 변경된 3D 이미지의 변경 속도와 맞지 않는 경우, 역시 사용자 단말(100)은 디스플레이 장치(200) 및/또는 후술할 서버(300)로 통신 상태 또는 디스플레이 장치(200)의 상태에 대한 점검 요청을 전송할 수 있다.

관련하여, 일 실시 예로, 모션 정보가 전송된 이후 카메라(110)를 통해 촬영된 이미지 내에 디스플레이 장치(200)의 디스플레이/스크린이 포함되지 않은 경우, 사용자 단말(100)은 사용자 단말(100)의 방향(카메라(110)의 방향)을 디스플레이 장치(200) 쪽으로 유지해달라는 요청 메시지를 출력할 수도 있다. 이 경우, 모션 정보가 전송된 이후에 수행되는 디스플레이 장치(200)에 대한 상술한 모니터링이 원활하게 수행될 수 있다.

다만, 모션 정보가 전송된 이후 모니터링된 3D 이미지의 변경이, 일정 횟수(ex. 2회) 이상의 연속적인 모션(: 각 모션은, 기준 단위에 해당하는 일 모션)에 대해 문제 없이 매칭되는 것으로 식별되는 경우(: 모션 정보에 매칭되는 3D 이미지의 변경이 나타남), 사용자 단말(100)은 이후 연속으로 이어지는 모션에 대해서는 모션 정보가 전송된 이후 3D 이미지를 모니터링하지 않을 수 있다. 즉, 이 경우에는 모션 정보가 전송된 직후 일정 시간(: 3D 이미지의 변경이 나타나는 시간)에 대해 계속적인 촬영(카메라(110))이 수행되지 않을 수 있다. 그 결과, 사후 모니터링 과정에서 불필요한 에너지 소모 및 로드 소모가 최소화될 수 있다.

도 6은 본 개시의 다양한 실시 예에 따른 사용자 단말의 구성을 설명하기 위한 블록도이다.

도 6을 참조하면, 사용자 단말(100)은 카메라(110), 통신부(120), 모션 센서(130), 프로세서(140) 외에 사용자 입력부(150), 디스플레이(160) 등을 더 포함할 수 있다.

사용자 입력부(150)는 다양한 명령 또는 정보를 사용자로부터 입력 받기 위한 구성이다. 사용자 입력부(150)는 적어도 하나의 버튼, 터치 패드, 터치 스크린, 마이크, 카메라, 센서 등으로 구현될 수 있다. 또한, 사용자 단말(100)은 마우스, 키보드 등으로 구성된 별도의 사용자 입력 장치와 연결될 수도 있다.

예를 들어, 사용자 입력부(150)를 통해 수신된 사용자 입력을 바탕으로, 상술한 도 3의 과정 전반을 실행하기 위한 적어도 하나의 인스트럭션 내지는 프로그램이 구동될 수 있다. 또한, 사용자 입력부(150)를 통해 수신된 사용자 입력을 바탕으로 사용자 단말(100)과 디스플레이 장치(200) 간의 페어링이 시작될 수도 있다.

디스플레이(160)는 LCD(Liquid Crystal Display), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diodes), TOLED(Transparent OLED), Micro LED 등으로 구현될 수 있으나, 이에 한정되는 것은 아니고 이밖에 종래 알려진 다양한 형태의 디스플레이를 포함할 수 있다. 디스플레이(160)는, 사용자의 터치 조작을 감지할 수 있는 터치스크린 형태로 구현될 수 있으며, 접히거나 구부러질 수 있는 플렉서블 디스플레이로 구현될 수도 있다.

일 실시 예로, 사용자 단말(100)은 카메라(110)를 통해 촬영된 이미지(ex. 3D 이미지를 표시하는 디스플레이 장치(200)의 적어도 일부를 포함)를 디스플레이(160) 상에 표시할 수 있다.

한편, 도 7은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성 및 동작을 설명하기 위한 블록도이다.

도 7을 참조하면, 디스플레이 장치(200)는 디스플레이(210), 통신부(220), 프로세서(230) 등을 포함할 수 있다.

디스플레이(210)는 다양한 이미지를 표시하기 위한 구성이다. 일 실시 예로, 디스플레이(210)는 대형 전광판 내지는 대형 스크린을 구성하기 위한 복수의 디스플레이 패널을 포함할 수 있으며, 상술한 3D 이미지를 표시할 수 있다. 이때, 순차적으로 제공되는 복수의 이미지 프레임에 따라 비디오의 형태로 3D 이미지가 표현될 수도 있다.

통신부(220)를 통해, 디스플레이 장치(200)는 하나 이상의 사용자 단말, 서버 등과 통신을 수행할 수 있다.

프로세서(230)는 디스플레이 장치(200)의 상술한 구성들(디스플레이(210), 통신부(220))을 제어하기 위한 구성이다.

한편, 비록 상술한 실시 예들을 통해서는 사용자 단말(100)이 사용자 단말(100)의 시선 방향을 식별하는 실시 예를 위주로 설명하였으나, 사용자 단말(100)의 시선 방향을 식별하는 과정이 디스플레이 장치(200)에 의해 수행될 수도 있다.

일 실시 예로, 3D 이미지를 표시하는 디스플레이(210)를 포함하는 디스플레이 장치(200)는, 사용자 단말(100)로부터, 3D 이미지가 표시된 디스플레이 장치(200)의 디스플레이가 촬영된 이미지를 수신할 수 있다.

수신된 이미지를 바탕으로, 디스플레이 장치(200)는 디스플레이(210)를 바라보는 사용자 단말(100)의 시선 방향을 식별할 수 있다. 이 경우, 디스플레이 장치(200)는 수신된 이미지 내 디스플레이(210)의 형상, 수신된 이미지 내에 포함된 3D 이미지의 각도, 사용자 단말(100)의 위치 중 적어도 하나를 활용하여 사용자 단말(100)의 시선 방향을 판단할 수 있다.

또한, 사용자 단말(100)로부터 수신된 사용자 단말(100)의 모션 정보를 바탕으로, 디스플레이 장치(200)는 사용자 단말의 모션 방향을 식별할 수 있다. 이때, 모션 정보는, 사용자 단말(100)의 모션의 방향, 모션의 속도, 사용자 단말(100)의 자세 등에 대한 정보를 포함할 수 있다.

여기서, 사용자 단말(100)의 시선 방향 및 모션 방향을 바탕으로, 디스플레이 장치(200)는 사용자 단말(100)의 모션에 따라 3D 이미지를 재구성(변경)하고, 디스플레이(210)를 통해 재구성된 3D 이미지를 표시할 수 있다.

한편, 도 8은 본 개시의 일 실시 예에 따른 서버가 하나 이상의 사용자 단말 및 하나 이상의 디스플레이 장치와 연동되어 수행하는 동작을 설명하기 위한 블록도이다.

서버(100)는 하나 이상의 사용자 단말 및 하나 이상의 디스플레이 장치와 통신을 수행하기 위한 구성으로, 하나 이상의 컴퓨터를 포함할 수 있으며, 시스템 형태로 구비될 수도 있다.

서버(100)는 적어도 하나의 웹 페이지, 애플리케이션 등을 통해 하나 이상의 사용자 단말과 연동될 수 있으며, 사용자 단말과 디스플레이 장치 간의 연동을 지원할 수 있다.

한편, 사용자 단말(100)의 시선 방향을 식별하는 상술한 과정이, 서버(100)를 통해 수행될 수도 있다.

일 실시 예로, 서버(100)는 적어도 하나의 디스플레이 장치(200)로 하여금 3D 이미지를 표시하도록 제어할 수 있다. 여기서, 3D 이미지는 디스플레이 장치(200)에 기저장된 것일 수도 있고, 서버(100) 상에 기저장된 것일 수도 있다.

이때, 서버(100)는, 사용자 단말(100)로부터, 3D 이미지가 표시된 디스플레이 장치(200)의 디스플레이(210)가 촬영된 이미지를 수신할 수 있다.

이 경우, 수신된 이미지를 바탕으로, 서버(300)는 디스플레이(210)를 바라보는 사용자 단말(100)의 시선 방향을 식별할 수 있다. 마찬가지로, 수신된 이미지 내 디스플레이(210)의 형상, 수신된 이미지 내에 포함된 3D 이미지의 각도, 사용자 단말(100)의 위치 중 적어도 하나를 통해 사용자 단말(100)의 시선 방향이 산출될 수 있다.

또한, 사용자 단말(100)로부터 수신된 사용자 단말(100)의 모션 정보를 바탕으로, 서버(300)는 사용자 단말(300)의 모션 방향을 식별할 수 있다. 모션 정보는, 사용자 단말(100)의 모션의 방향, 모션의 속도, 사용자 단말(100)의 자세 등에 대한 정보를 포함할 수 있다.

여기서, 서버(300)는 시선 방향 및 모션 방향을 포함하는 모션 정보를 디스플레이 장치(200)로 전송하여, 사용자 단말(100)의 모션에 따라 변경된 3D 이미지를 표시하도록 디스플레이 장치(200)를 제어할 수 있다. 또는, 서버(300)는 사용자 단말(100)의 모션에 따라 변경된 3D 이미지를 자체적으로 생성한 뒤, 생성된 3D 이미지를 디스플레이 장치(200)로 전송할 수도 있다.

한편, 도 8을 참조하면, 서버(300)는 복수의 사용자 단말(100-1, 2, … , n) 및 복수의 디스플레이 장치(200-1, 2, … , m)와 통신을 수행할 수 있다. 여기서, 서버(300)는 각 디스플레이 장치에 대하여 하나 이상의 사용자 단말을 연동시켜 모션 기반의 3D 이미지를 제공할 수 있다.

이때, 하나의 디스플레이 장치에 대하여 복수의 사용자 단말의 모션이 동시에 반영된 결과 3D 이미지가 변경될 수도 있고, 하나의 디스플레이 장치에 대하여 하나의 사용자 단말의 모션만 반영된 결과 3D 이미지가 변경될 수도 있다.

이 경우, 서버(300)는 일 디스플레이 장치에 대하여 각 사용자 단말이 3D 이미지를 모션 제어하는 과정을 시간적으로 분리할 수 있다.

일 실시 예로, 서버(300)는 디스플레이 장치(200-1)로부터 일정 거리 내로 근접한 순서, 디스플레이 장치(200-1)와 페어링이 수행된 순서 중 적어도 하나를 바탕으로, 사용자 단말들의 우선순위를 설정할 수 있다. 또는, 서버(300)는 서버(300)가 제공하는 애플리케이션을 실행하여 디스플레이 장치(200-1)에 대한 모션 제어 기능을 활성화시킨 순서에 따라, 사용자 단말들의 우선순위를 설정할 수도 있다.

예를 들어, 사용자 단말(100-1)이 사용자 단말(100-2)보다 더 빠르게 디스플레이 장치(200-1)에 근접하여 모션 제어 기능을 활성화시킨 경우를 가정한다.

이 경우, 서버(300)는 우선적으로 사용자 단말(100-1)을 주 제어 기기로 설정하고, 사용자 단말(100-1)의 모션에 따라 변경된 3D 이미지를 표시하도록 디스플레이 장치(200-1)를 제어할 수 있다. 이때, 사용자 단말(100-1)은, 현재 사용자 단말(100-1)의 모션에 따라 3D 이미지가 변경될 수 있음을 안내하는 메시지를 제공할 수 있다. 반면, 사용자 단말(100-2)은, 현재 다른 사용자 단말의 모션에 따라 3D 이미지가 변경되고 있기 때문에 대기가 필요함을 안내할 수 있으며, 예상 대기 시간을 함께 제공할 수도 있다.

다만, 사용자 단말(100-1)의 모션에 따라 디스플레이 장치(200-1)에 표시된 3D 이미지가 일정 횟수만큼 연속으로 변경된 경우(ex. 기준 단위의 모션이 순차적으로 일정 횟수 이상 감지된 경우), 서버(300)는 다음 순서인 사용자 단말(100-2)을 주 제어 기기로 설정할 수 있다.

이 경우, 서버(300)는 사용자 단말(100-2)의 모션에 따라 변경된 3D 이미지를 표시하도록 디스플레이 장치(200-1)를 제어할 수 있다.

한편, 이상에서 설명된 다양한 실시 예들은 서로 저촉되거나 모순되지 않는 한 두 개 이상의 실시 예가 서로 결합되어 구현될 수 있다.

한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.

일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상술한 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.

한편, 상술한 본 개시의 다양한 실시 예들에 따른 사용자 단말(100), 디스플레이 장치(200), 또는 서버(300)에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions) 또는 컴퓨터 프로그램은 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어 또는 컴퓨터 프로그램은 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 사용자 단말(100), 디스플레이 장치(200), 또는 서버(300)에서의 처리 동작을 상술한 특정 기기가 수행하도록 한다.

비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

100: 사용자 단말 200: 디스플레이 장치
300: 서버

Claims

사용자 단말의 제어 방법에 있어서,
상기 사용자 단말이, GPS(Global Positioning System) 센서를 통해 상기 사용자 단말의 위치를 식별하는 단계;
상기 사용자 단말의 위치가 상기 디스플레이 장치로부터 일정 거리 내인 경우, 상기 사용자 단말이 통신부를 통해 상기 디스플레이 장치와 페어링을 수행하는 단계;
상기 사용자 단말의 위치가 상기 디스플레이 장치로부터 일정 거리 내인 경우, 상기 사용자 단말이, 상기 디스플레이 장치의 위치 및 상기 사용자 단말의 위치를 바탕으로 상기 디스플레이 장치에 대한 상기 사용자 단말의 시선 방향을 획득하는 단계;
상기 사용자 단말의 시선 방향이 획득되면, 상기 사용자 단말이, 적어도 하나의 모션 센서를 통해 상기 사용자 단말의 모션을 감지하여 상기 사용자 단말의 모션 방향을 식별하는 단계; 및
상기 사용자 단말이, 상기 시선 방향 및 상기 모션 방향을 포함하는 모션 정보를 통신부를 통해 상기 디스플레이 장치로 전송하여, 상기 사용자 단말의 모션에 따라 변경된 3D 이미지를 표시하도록 상기 디스플레이 장치를 제어하는 단계;를 포함하는, 사용자 단말의 제어 방법.
제1항에 있어서,
상기 모션의 방향을 식별하는 단계는,
상기 사용자 단말이, 카메라를 통해 촬영된 이미지를 실시간으로 표시하는 단계; 및
상기 실시간으로 표시되는 이미지가 상기 디스플레이 장치의 디스플레이의 적어도 일부를 포함하는 경우, 상기 모션 센서를 통해 상기 사용자 단말의 모션을 감지하여 상기 모션의 방향을 식별하는 단계;를 포함하고,
상기 디스플레이 장치를 제어하는 단계는,
상기 실시간으로 표시되는 이미지의 중심에 매칭되는 상기 디스플레이 장치의 디스플레이 내 적어도 하나의 좌표를 식별하는 단계; 및
상기 식별된 좌표에 대한 정보를 상기 디스플레이 장치로 전송하여, 상기 디스플레이 장치의 디스플레이에 표시된 3D 이미지 내 적어도 하나의 개체가 상기 좌표를 중심으로 상기 모션의 방향에 따라 움직이는 모습이 표현되도록, 상기 디스플레이 장치를 제어하는 단계;를 포함하는, 사용자 단말의 제어 방법.
3D 이미지를 표시하는 디스플레이 장치를 제어하는 서버의 제어 방법에 있어서,
사용자 단말의 GPS(Global Positioning System) 정보에 따라 식별된 상기 사용자 단말의 위치가 상기 디스플레이 장치로부터 일정 거리 내인 경우, 상기 서버가 상기 사용자 단말과 상기 디스플레이 장치 간의 연동을 지원하는 단계;
상기 GPS 정보에 따라 식별된 사용자 단말의 위치가 상기 디스플레이 장치로부터 일정 거리 내인 경우, 상기 서버가, 상기 GPS 정보에 따라 식별된 사용자 단말의 위치 및 상기 디스플레이 장치의 위치를 바탕으로 상기 디스플레이 장치에 대한 상기 사용자 단말의 시선 방향을 식별하는 단계;
상기 사용자 단말의 시선 방향이 획득되면, 상기 서버가, 상기 사용자 단말로부터 수신된 상기 사용자 단말의 모션 정보를 바탕으로 상기 사용자 단말의 모션 방향을 식별하는 단계; 및
상기 서버가, 상기 시선 방향 및 상기 모션 방향을 포함하는 모션 정보를 상기 디스플레이 장치로 전송하여, 상기 사용자 단말의 모션에 따라 변경된 3D 이미지를 표시하도록 상기 디스플레이 장치를 제어하는 단계;를 포함하는, 서버의 제어 방법.
3D 이미지를 표시하는 디스플레이 장치의 제어 방법에 있어서,
사용자 단말의 GPS(Global Positioning System) 정보에 따라 식별된 상기 사용자 단말의 위치가 상기 디스플레이 장치로부터 일정 거리 내인 경우, 상기 디스플레이 장치가 상기 사용자 단말과 페어링을 수행하는 단계;
상기 GPS 정보에 따라 식별된 사용자 단말의 위치가 상기 디스플레이 장치로부터 일정 거리 내인 경우, 상기 디스플레이 장치가, 상기 GPS 정보에 따라 식별된 사용자 단말의 위치 및 상기 디스플레이 장치의 위치를 바탕으로 상기 디스플레이 장치에 대한 상기 사용자 단말의 시선 방향을 식별하는 단계;
상기 사용자 단말의 시선 방향이 획득되면, 상기 디스플레이 장치가, 상기 사용자 단말로부터 수신된 상기 사용자 단말의 모션 정보를 바탕으로 상기 사용자 단말의 모션 방향을 식별하는 단계; 및
상기 시선 방향 및 상기 모션 방향을 바탕으로, 상기 디스플레이 장치가, 상기 사용자 단말의 모션에 따라 변경된 3D 이미지를 표시하는 단계;를 포함하는, 디스플레이 장치의 제어 방법.