KR20210157743A - 사용자 단말기와 연계하여 컨텐츠를 제공하는 디스플레이 장치 및 그 방법 - Google Patents

사용자 단말기와 연계하여 컨텐츠를 제공하는 디스플레이 장치 및 그 방법 Download PDF

Info

Publication number
KR20210157743A
KR20210157743A KR1020200075922A KR20200075922A KR20210157743A KR 20210157743 A KR20210157743 A KR 20210157743A KR 1020200075922 A KR1020200075922 A KR 1020200075922A KR 20200075922 A KR20200075922 A KR 20200075922A KR 20210157743 A KR20210157743 A KR 20210157743A
Authority
KR
South Korea
Prior art keywords
terminal
content
display device
user
viewing area
Prior art date
Application number
KR1020200075922A
Other languages
English (en)
Inventor
김수정
신치호
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020200075922A priority Critical patent/KR20210157743A/ko
Priority to US17/031,789 priority patent/US11650780B2/en
Priority to EP20198963.9A priority patent/EP3930336A1/en
Publication of KR20210157743A publication Critical patent/KR20210157743A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client

Abstract

본 개시의 일 실시 예는 디스플레이 장치에 있어서, 디스플레이부; 오디오 출력부; 메모리; 사용자의 단말기와 연결하는 통신부; 및 상기 디스플레이부 또는 상기 오디오 출력부 중에서 적어도 하나 이상을 통해 상기 메모리에 저장된 또는 상기 통신부를 통해 수신한 컨텐츠를 출력하고, 상기 연결된 단말기의 위치를 결정하고, 상기 연결된 단말기가 시청 영역에서 이탈하였는지 판단하고, 상기 연결된 단말기가 상기 시청 영역에서 이탈한 것으로 판단되면 상기 연결된 단말기를 통해 상기 컨텐츠를 출력하는 프로세서를 포함하는, 디스플레이 장치를 제공한다.

Description

사용자 단말기와 연계하여 컨텐츠를 제공하는 디스플레이 장치 및 그 방법 {DISPLAY APPARATUS AND METHOD FOR PROVIDING CONTENT IN CONNECTION WITH USER TERMINAL}
본 개시(disclosure)는 사용자 단말기와 연계하여 컨텐츠를 제공하는 디스플레이 장치 및 그 방법에 관한 것이다.
디스플레이 장치는 디스플레이 또는 디스플레이 패널을 이용하여 시각화된 컨텐츠를 제공하는 장치이다. 그러나, 기존에는 하나의 디스플레이 장치가 단독으로 또는 복수의 디스플레이 장치가 함께, 설치된 공간에서 컨텐츠를 제공할 뿐이며, 해당 설치된 공간을 벗어난 사용자에게는 컨텐츠를 제공하지 못한다. 여기서, 복수의 디스플레이 장치가 컨텐츠를 제공하는 것은 복수의 디스플레이 장치가 물리적으로 인접하게 배치되어 단일한 디스플레이 장치의 화면보다 더 큰 화면을 구성하는 경우를 의미할 수 있다.
만약 사용자가 디스플레이 장치의 앞 또는 근처에 있다면 디스플레이 장치에서 제공하는 컨텐츠를 시청할 수 있지만, 사용자가 디스플레이 장치가 설치된 공간에서 벗어나는 경우에는 디스플레이 장치에서 제공하는 컨텐츠를 시청할 수 없다는 문제점이 있다.
본 개시는 사용자가 디스플레이 장치가 설치된 공간에서 벗어나더라도 사용자 단말기와 연계하여 사용자에게 컨텐츠를 심리스(seamless)하게 제공하는 디스플레이 장치 및 그 방법을 제공하고자 한다.
본 개시의 일 실시 예는, 사용자 단말기와 연결하고, 연결된 단말기의 위치를 파악하여 사용자가 디스플레이 장치의 시청 영역에서 이탈하였는지를 판단하며, 사용자가 디스플레이 장치의 시청 영역에서 이탈하면 디스플레이 장치에서 출력 중이던 컨텐츠를 사용자의 단말기를 통해 출력하는 디스플레이 장치와 그 방법을 제공한다.
연결된 단말기에 출력 대상 컨텐츠에 대응하는 컨텐츠 데이터, 컨텐츠를 출력할 때의 화면 데이터 또는 컨텐츠에 대응하는 연결 정보를 전송함으로써, 단말기를 통해 컨텐츠를 출력할 수 있다.
연결된 단말기가 시청 영역에서 이탈하더라도 카메라를 통해 획득한 이미지 데이터를 이용하여 다른 시청자가 존재하는지 판단하고, 다른 시청차가 존재한다면 단말기를 통해 컨텐츠를 출력하더라도 디스플레이 장치는 계속하여 컨텐츠를 출력할 수 있다.
연결된 단말기가 디스플레이 장치의 시청 영역에 진입하는지 판단하고, 연결된 단말기가 시청 영역에 진입하면 연결된 단말기에서 출력 중이던 컨텐츠를 디스플레이 장치를 통해 출력할 수 있다.
연결된 단말기의 위치는 통신 신호의 신호 수신 강도(RSSI) 또는 왕복 지연 시간(RTT) 중에서 적어도 하나 이상에 기초하여 결정할 수 있다.
연결된 단말기와 디스플레이 장치 사이의 거리, 연결된 단말기와 다른 장치와의 위치 관계, 사용자 설정 시청 영역, 또는 지도 데이터 중에서 적어도 하나 이상을 고려하여 연결된 단말기가 디스플레이 장치의 시청 영역에서 이탈하였는지 판단할 수 있다.
본 개시의 다양한 실시 예에 따르면, 사용자가 디스플레이 장치가 설치된 공간에서 벗어나더라도 다른 장치를 통해 컨텐츠를 시청할 수 있다.
또한, 본 개시의 다양한 실시 예에 따르면, 사용자 단말기를 기준으로 사용자의 위치를 판단하여 추가 설비 없이도 사용자와의 위치 관계를 파악할 수 있다.
또한, 본 개시의 다양한 실시 예에 따르면, 복수의 사용자 중에서 일부 사용자가 디스플레이 장치가 설치된 영역에서 벗어나더라도 모든 사용자에게 컨텐츠를 제공할 수 있다.
또한, 본 개시의 다양한 실시 예에 따르면, 표준 기술을 활용함으로써 사용자 단말기의 운영체제 종류와 무관하게 심리스한 컨텐츠 출력이 가능하다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치를 나타낸 블록도이다.
도 2는 본 개시의 일 실시 예에 따른 원격 제어 장치를 나타낸 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 원격 제어 장치를 나타낸 도면이다.
도 4는 본 개시의 일 실시 예에서 원격 제어 장치를 통하여 디스플레이 장치(100)와 상호 작용하는 예시를 나타낸다.
도 5는 본 개시의 일 실시 예에 따른 인공 지능 서버를 나타낸 블록도이다.
도 6은 본 개시의 일 실시 예에 따른 사용자 단말기와 연계하여 컨텐츠를 제공하는 방법을 나타낸 동작 흐름도이다.
도 7은 디스플레이 장치가 사용자 단말기와 연계하여 컨텐츠를 제공하는 일 실시 예를 나타낸 도면이다.
도 8은 디스플레이 장치가 사용자 단말기와 연계하여 컨텐츠를 제공하는 일 실시 예를 나타낸 도면이다.
도 9는 디스플레이 장치가 사용자 단말기와 연계하여 컨텐츠를 제공하는 일 실시 예를 나타낸 도면이다.
도 10은 본 개시의 일 실시 예에 따른 사용자 단말기와 연계하여 컨텐츠를 제공하는 방법을 나타낸 래더 다이어그램이다.
도 11은 본 개시의 일 실시 예에 따른 단말기와 연계하여 컨텐츠를 제공하는 방법을 나타낸 동작 흐름도이다.
도 12는 디스플레이 장치가 사용자 단말기와 연계하여 컨텐츠를 제공하는 일 실시 예를 나타낸 도면이다.
도 13은 본 개시의 일 실시 예에 따른 사용자 단말기와 연계하여 컨텐츠를 제공하는 방법을 나타낸 래더 다이어그램이다.
도 14는 복수의 디스플레이 장치가 사용자 단말기와 연계하여 컨텐츠를 제공하는 일 실시 예를 나타낸 도면이다.
도 15는 복수의 디스플레이 장치가 사용자 단말기와 연계하여 컨텐츠를 제공하는 일 실시 예를 나타낸 도면이다.
도 16은 본 개시의 일 실시 예에 따른 사용자 단말기와 연계하여 컨텐츠를 제공하는 방법을 나타낸 래더 다이어그램이다.
도 17은 NAN 단말의 구조의 일 예를 나타낸 도면이다.
도 18은 본 개시의 일 실시 예에 따른 디스플레이 장치와 단말기 사이에 NAN 연결을 수립하는 방법을 나타낸 래더 다이어그램이다.
도 19는 본 개시의 일 실시 예에 따른 사용자 단말기와 연계하여 컨텐츠를 제공하는 방법을 나타낸 래더 다이어그램이다.
도 20은 본 개시의 일 실시 예에 따른 사용자 단말기와 연계하여 컨텐츠를 제공하는 방법을 나타낸 래더 다이어그램이다.
도 21은 시청 영역 이탈 피드백에 기초하여 사용자 설정 시청 영역을 결정하는 일 실시 예를 나타낸 도면이다.
도 22는 시청 영역 이탈 피드백에 기초하여 사용자 설정 시청 영역을 결정하는 일 실시 예를 나타낸 도면이다.
도 23은 지도 데이터를 이용하여 시청 영역의 이탈 여부를 판단하는 방법을 나타내는 일 실시 예를 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 '모듈' 및 '부'는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치(100)를 나타낸 블록도이다.
도 1을 참조하면, 디스플레이 장치(100)는 원격 제어 장치(200), 사용자 단말기(300), 인공 지능 서버(400) 또는 컨텐츠 제공자(500) 중에서 적어도 하나 이상과 연결되어 데이터 또는 신호를 송수신할 수 있다.
디스플레이 장치(100)는 디스플레이부(180, 또는 디스플레이 패널)를 포함하여 화상 출력이 가능한 장치를 의미하며, TV, 프로젝터, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 랩탑, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), DMB 수신기, 라디오, 세탁기, 냉장고, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
사용자 단말기(300)는 휴대 전화, 스마트폰, 태블릿 PC, 랩탑, 웨어러블 디바이스(wearable device), PDA 등으로 구현될 수 있다. 사용자 단말기(300)는 단순히 단말기(300)라 칭할 수도 있다.
컨텐츠 제공자(500)는 디스플레이 장치(100)에서 출력할 컨텐츠에 상응하는 컨텐츠 데이터를 제공하는 장치를 의미하며, 디스플레이 장치(100)는 컨텐츠 제공자(500)로부터 컨텐츠 데이터를 수신하여 컨텐츠를 출력할 수 있다.
디스플레이 장치(100)는 통신부(110), 방송 수신부(130), 외부 장치 인터페이스부(135), 메모리(140), 입력부(150), 프로세서(170), 디스플레이부(180), 오디오 출력부(185), 전원 공급부(190)를 포함할 수 있다.
통신부(110)는 유선 또는 무선 통신을 통해 외부 기기와 통신을 수행할 수 있다. 예컨대, 통신부(110)는 다른 디스플레이 장치 등의 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다. 여기서, 다른 디스플레이 장치(100)는 본 발명에 따른 디스플레이 장치(100)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display)), 스마트 폰과 같은 이동 단말기가 될 수 있다.
통신부(110)는 디스플레이 장치(100) 주변의 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 프로세서(170)는 감지된 웨어러블 디바이스가 디스플레이 장치(100)와 통신하도록 인증된 디바이스인 경우, 디스플레이 장치(100)에서 처리되는 데이터의 적어도 일부를 통신부(110)를 통해 웨어러블 디바이스로 송신할 수 있다. 따라서, 웨어러블 디바이스의 사용자는 디스플레이 장치(100)에서 처리되는 데이터를 웨어러블 디바이스를 통해 이용할 수 있다.
통신부(110)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth??), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.
통신부(110)는 통신 모뎀(communication modem) 또는 통신 인터페이스(communication interface)라 칭할 수도 있다.
방송 수신부(130)는 튜너(131), 복조부(132) 및 네트워크 인터페이스부(133)를 포함할 수 있다.
튜너(131)는 채널 선국 명령에 따라 특정 방송 채널을 선국할 수 있다. 튜너(131)는 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다.
복조부(132)는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다.
외부 장치 인터페이스부(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 프로세서(170) 또는 메모리(140)로 전달할 수 있다.
외부 장치 인터페이스부(135)는 디스플레이 장치(100)와 외부 장치 간의 연결 경로를 제공할 수 있다. 외부 장치 인터페이스부(135)는 디스플레이 장치(100)에 무선 또는 유선으로 연결된 외부장치로부터 출력된 영상, 오디오 중 하나 이상을 수신하여 프로세서(170)로 전달할 수 있다. 외부 장치 인터페이스부(135)는 복수의 외부 입력 단자들을 포함할 수 있다. 복수의 외부 입력 단자들은 RGB 단자, 하나 이상의 HDMI(High Definition Multimedia Interface) 단자, 컴포넌트(Component) 단자를 포함할 수 있다.
외부 장치 인터페이스부(135)를 통해 입력된 외부 장치의 영상 신호는 디스플레이부(180)를 통해 출력될 수 있다. 외부 장치 인터페이스부(135)를 통해 입력된 외부장치의 음성 신호는 오디오 출력부(185)를 통해 출력될 수 있다.
외부 장치 인터페이스부(135)에 연결 가능한 외부 장치는 셋톱박스, 블루레이 플레이어, DVD 플레이어, 게임기, 사운드 바, 스마트폰, PC, USB 메모리, 홈 씨어터 중 어느 하나일 수 있으나, 이는 예시에 불과하다.
네트워크 인터페이스부(133)는 디스플레이 장치(100)를 인터넷을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에 디스플레이 장치(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.
네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
네트워크 인터페이스부(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
네트워크 인터페이스부(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
메모리(140)는 프로세서(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장하고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수 있다. 예컨대, 메모리(140)는 입력부(150)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.
메모리(140)는 외부 장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
메모리(140)는 외부 장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
디스플레이 장치(100)는 메모리(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
입력부(150)는 다양한 종류의 데이터를 획득할 수 있다. 입력부(150)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다.
사용자 입력부는 사용자가 입력한 신호를 프로세서(170)로 전달하거나, 프로세서(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자 입력부는 블루투스(Bluetooth), WB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격 제어 장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 프로세서(170)로부터의 제어 신호를 원격 제어 장치(200)로 송신하도록 처리할 수 있다.
사용자 입력부는 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 프로세서(170)에 전달할 수 있다.
러닝 프로세서(160)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
러닝 프로세서(160)는 인공 지능 서버(400)의 러닝 프로세서(440)과 함께 인공 지능 프로세싱을 수행할 수 있다.
러닝 프로세서(160)는 디스플레이 장치(100)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(160)는 메모리(170), 디스플레이 장치(100)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.
프로세서(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 프로세서(170)에서 영상 처리된 영상 신호는 외부 장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
프로세서(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 프로세서(170)에서 처리된 음성 신호는 외부 장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
프로세서(170)는 디스플레이 장치(100)의 전반적인 동작을 제어할 수 있다.
프로세서(170)는 사용자 입력부를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.
프로세서(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.
프로세서(170)는 사용자 입력부를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부 장치 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.
프로세서(170)는 영상을 표시하도록 디스플레이부(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부 장치 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부(133)를 통해 입력되는 영상, 또는 메모리(140)에 저장된 영상이 디스플레이부(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이부(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
프로세서(170)는 디스플레이 장치(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로 부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 상기 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.
프로세서(170)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, 디스플레이 장치(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(170)는 디스플레이 장치(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.
이를 위해, 프로세서(170)는 러닝 프로세서(160) 또는 메모리(140)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 디스플레이 장치(100)의 구성 요소들을 제어할 수 있다.
프로세서(170)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
프로세서(170)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다.
STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(160)에 의해 학습된 것이나, 인공 지능 서버(400)의 러닝 프로세서(440)에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.
프로세서(170)는 디스플레이 장치(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(140) 또는 러닝 프로세서(160)에 저장하거나, 인공 지능 서버(400) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
디스플레이부(180)는 프로세서(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부 장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R, G, B 신호로 변환하여 이미지를 출력할 수 있다.
한편, 도 1에 도시된 디스플레이 장치(100)는 본 개시의 일 실시 예에 불과하며, 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
일 실시 예에서, 디스플레이 장치(100)의 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 개시의 실시 예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 개시의 권리 범위를 제한하지 아니한다.
본 개시의 일 실시 예에 따르면, 디스플레이 장치(100)는, 도 1에 도시된 바와 달리, 튜너(131)와 복조부(132)를 구비하지 않고 네트워크 인터페이스부(133) 또는 외부 장치 인터페이스부(135)를 통해서 영상을 수신하여 재생할 수도 있다. 예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋탑 박스 등과 같은 영상 처리 장치와 상기 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다. 이 경우, 이하에서 설명할 본 개시의 일 실시 예에 따른 디스플레이 장치의 동작 방법은 도 1을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 상기 분리된 셋탑 박스 등과 같은 영상 처리 장치 또는 디스플레이부(180) 및 오디오 출력부(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
도 2는 본 개시의 일 실시 예에 따른 원격 제어 장치(200)를 나타낸 블록도이다.
도 2를 참조하면, 원격 제어 장치(200)는 지문 인식부(210), 통신부(220), 사용자 입력부(230), 센서부(240), 출력부(250), 전원 공급부(260), 메모리(270), 프로세서(280), 음성 획득부(290)를 포함할 수 있다.
통신부(220)는 전술하여 설명한 본 개시의 실시 예들에 따른 디스플레이 장치(100) 중 임의의 어느 하나와 신호를 송수신할 수 있다.
원격 제어 장치(200)는 RF 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비하며, IR 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다. 또한, 원격 제어 장치(200)는 블루투스 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 블루투스 모듈(225)를 구비할 수 있다. 또한, 원격 제어 장치(200)는 NFC(Near Field Communication) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수할 수 있는 NFC 모듈(227)을 구비하며, WLAN(Wireless LAN) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 WLAN 모듈(229)을 구비할 수 있다.
통신부(220)를 통해 디스플레이 장치(100)로 원격 제어 장치(200)의 움직임 등에 관한 정보가 담긴 신호를 통신부(220)를 통해 전송할 수 있다.
원격 제어 장치(200)는 디스플레이 장치(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있으며, 필요에 따라 IR 모듈(223)을 통하여 디스플레이 장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(230)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(230)를 조작하여 원격 제어 장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(230)가 하드 키 버튼을 구비할 경우, 사용자는 하드 키 버튼의 푸쉬 동작을 통하여 원격 제어 장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다.
사용자 입력부(230)에 터치 스크린이 포함될 경우, 사용자는 터치 스크린의 소프트 키를 터치하여 원격 제어 장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력 수단을 구비할 수 있다.
센서부(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있으며, 자이로 센서(241)는 원격 제어 장치(200)의 움직임에 관한 정보를 센싱할 수 있다. 예를 들어, 자이로 센서(241)는 원격 제어 장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있으며, 가속도 센서(243)는 원격 제어 장치(200)의 이동 속도 등에 관한 정보를 센싱할 수 있다. 한편, 원격 제어 장치(200)는 거리 측정 센서를 더 구비할 수 있어, 디스플레이 장치(100)의 디스플레이부(180)와의 거리를 센싱할 수 있다.
출력부(250)는 사용자 입력부(230)의 조작에 대응하거나 디스플레이 장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 사용자는 출력부(250)를 통하여 사용자 입력부(230)의 조작 여부 또는 디스플레이 장치(100)의 제어 여부를 인지할 수 있다. 예를 들어, 출력부(250)는 사용자 입력부(230)가 조작되거나 통신부(225)를 통하여 디스플레이 장치(100)와 신호가 송수신되면 점등되는 LED 모듈(251), 진동을 발생하는 진동 모듈(253), 음향을 출력하는 음향 출력 모듈(255), 또는 영상을 출력하는 디스플레이 모듈(257)을 구비할 수 있다.
전원 공급부(260)는 원격 제어 장치(200)으로 전원을 공급할 수 있다. 전원 공급부(260)는 원격 제어 장치(200)이 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로서 전원 낭비를 줄일 수 있다. 전원 공급부(260)는 원격 제어 장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
메모리(270)는 원격 제어 장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등을 저장할 수 있다.
원격 제어 장치(200)가 RF 모듈(221)을 통하여 디스플레이 장치(100)와 무선으로 신호를 송수신할 경우, 원격 제어 장치(200)과 디스플레이 장치(100)는 소정 주파수 대역을 통하여 신호를 송수신할 수 있다. 이를 위하여, 원격 제어 장치(200)의 프로세서(280)는 원격 제어 장치(200)과 페어링된 디스플레이 장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 메모리(270)에 저장하고 참조할 수 있다.
프로세서(280)는 원격 제어 장치(200)의 제어에 관련된 제반사항을 제어할 수 있다. 프로세서(280)는 사용자 입력부(230)의 소정 키 조작에 대응하는 신호 또는 센서부(240)에서 센싱한 원격 제어 장치(200)의 움직임에 대응하는 신호를 통신부(225)를 통하여 디스플레이 장치(100)로 전송할 수 있다.
음성 획득부(290)는 음성을 획득할 수 있다. 음성 획득부(290)는 적어도 하나 이상의 마이크(291)을 포함할 수 있고, 마이크(291)를 통해 음성을 획득할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 원격 제어 장치(200)를 나타낸 도면이다.
도 3을 참조하면, 원격 제어 장치(200)는 복수의 버튼을 포함할 수 있다. 원격 제어 장치(200)에 포함되는 복수의 버튼에는 지문 인식 버튼(212), 전원 버튼(231), 홈 버튼(232), 라이브 버튼(233), 외부 입력 버튼(234), 음량 조절 버튼(235), 음성 인식 버튼(236), 채널 변경 버튼(237), 확인 버튼(238) 및 뒤로 가기 버튼(239) 등이 포함될 수 있다.
지문 인식 버튼(212)은 사용자의 지문을 인식하기 위한 버튼일 수 있다. 일 실시 예에서로, 지문 인식 버튼(212)은 푸쉬 동작이 가능하여, 푸쉬 동작 및 지문 인식 동작을 수신할 수도 있다. 전원 버튼(231)은 디스플레이 장치(100)의 전원을 온/오프 하기 위한 버튼일 수 있다. 홈 버튼(232)은 디스플레이 장치(100)의 홈 화면으로 이동하기 위한 버튼일 수 있다. 라이브 버튼(233)은 실시간 방송 프로그램을 디스플레이 하기 위한 버튼일 수 있다. 외부 입력 버튼(234)은 디스플레이 장치(100)에 연결된 외부 입력을 수신하기 위한 버튼일 수 있다. 음량 조절 버튼(235)은 디스플레이 장치(100)가 출력하는 음량의 크기를 조절하기 위한 버튼일 수 있다. 음성 인식 버튼(236)은 사용자의 음성을 수신하고, 수신된 음성을 인식하기 위한 버튼일 수 있다. 채널 변경 버튼(237)은 특정 방송 채널의 방송 신호를 수신하기 위한 버튼일 수 있다. 확인 버튼(238)은 특정 기능을 선택하기 위한 버튼일 수 있고, 뒤로 가기 버튼(239)은 이전 화면으로 되돌아가기 위한 버튼일 수 있다.
도 4는 본 개시의 일 실시 예에서 원격 제어 장치(200)를 통하여 디스플레이 장치(100)와 상호 작용하는 예시를 나타낸다.
도 4를 참조하면, 원격 제어 장치(200)에 대응하는 포인터(205)가 디스플레이부(180)에 표시될 수 있다.
도 4의 (a)를 참조하면, 사용자는 원격 제어 장치(200)를 상/하, 좌/우로 움직이거나 회전할 수 있다.
디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)는 원격 제어 장치(200)의 움직임에 대응하여 움직일 수 있다. 원격 제어 장치(200)는 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다.
도 4의 (b)를 참조하면, 사용자가 원격 제어 장치(200)를 왼쪽으로 이동하면, 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동할 수 있다.
원격 제어 장치(200)의 센서를 통하여 감지된 원격 제어 장치(200)의 움직임에 관한 정보는 디스플레이 장치(100)로 전송될 수 있다. 디스플레이 장치(100)는 원격 제어 장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출하고, 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 4의 (c)를 참조하면, 사용자가 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서 원격 제어 장치(200)를 디스플레이부(180)에서 멀어지도록 이동시키는 경우, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌 인되어 확대 표시될 수 있다. 이와 반대로, 사용자가 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서 원격 제어 장치(200)를 디스플레이부(180)에서 가까워지도록 이동시키는 경우, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌 아웃되어 축소 표시될 수 있다.
한편, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지는 경우에 선택 영역이 줌 아웃되고, 원격 제어 장치(200)가 디스플레이부(180)에 가까워지는 경우에 선택 영역이 줌 인될 수도 있다.
또한, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서는 상/하, 좌/우 이동의 인식이 배제될 수 있다. 즉, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지거나 접근하도록 이동하는 경우, 원격 제어 장치(200)의 상/하/좌/우 이동은 인식되지 않고, 앞/뒤 이동만 인식될 수도 있다. 이 경우, 원격 제어 장치(200) 내의 특정 버튼을 누르지 않은 상태에서는 원격 제어 장치(200)의 상/하/좌/우 이동에 따라 포인터(205)만 이동할 수 있다.
포인터(205)의 이동 속도나 이동 방향은 원격 제어 장치(200)의 이동 속도나 이동 방향에 대응할 수 있다.
본 개시에서 포인터(205)는 원격 제어 장치(200)의 동작에 대응하여 디스플레이부(180)에 표시되는 오브젝트를 의미할 수 있다. 따라서, 포인터(205)는 도 4에 도시된 화살표 형상 외에 다양한 형상의 오브젝트도 가능하다. 예를 들어, 포인터(205)는 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함할 수 있다. 그리고, 포인터(205)가 디스플레이부(180) 상의 가로 축과 세로 축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시될 수도 있다.
도 5는 본 개시의 일 실시 예에 따른 인공 지능 서버(400)를 나타낸 블록도이다.
도 5를 참조하면, 인공 지능 서버(400)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, 인공 지능 서버(400)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다.
인공 지능 서버(400)는 디스플레이 장치(100)의 인공 지능 프로세싱 중 적어도 일부를 함께 수행할 수도 있다. 인공 지능 프로세싱은 인공 지능 모델의 학습에 필요한 연산을 의미할 수 있다.
인공 지능 서버(400)는 통신부(410), 메모리(430), 러닝 프로세서(440) 및 프로세서(460) 등을 포함할 수 있다.
통신부(410)는 디스플레이 장치(100) 등의 외부 장치와 데이터를 송수신할 수 있다.
메모리(430)는 모델 저장부(431)를 포함할 수 있다. 모델 저장부(431)는 러닝 프로세서(440)을 통하여 학습 중인 또는 학습된 모델(431a, 또는 인공 신경망)을 저장할 수 있다.
러닝 프로세서(440)는 학습 데이터를 이용하여 인공 신경망(431a)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 인공 지능 서버(400)에 탑재된 상태에서 이용되거나, 디스플레이 장치(100) 등의 외부 장치에 탑재되어 이용될 수도 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(430)에 저장될 수 있다.
프로세서(460)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 사용자 단말기와 연계하여 컨텐츠를 제공하는 방법을 나타낸 동작 흐름도이다.
도 6을 참조하면, 디스플레이 장치(100)의 프로세서(170)는 통신부(110)를 통해 사용자의 단말기(300)와 연결한다(S601).
사용자의 단말기(300)는 사용자가 소지한 사용자 단말기(300)를 의미할 수 있다.
통신부(110)는 유무선 통신 기술을 이용하여 단말기(300)와 연결할 수 있고, 이러한 연결은 페어링(pairing)을 의미할 수 있다. 디스플레이 장치(100)의 통신부(110)는 블루투스(Bluetooth), 와이파이(Wi-Fi), 셀룰러 네트워크(cellular network), 적외선 통신 등의 다양한 통신 기술에 기초하여, 직접 또는 중간 장치를 통해 단말기(300)와 연결할 수 있다. 일 실시 예에서, 디스플레이 장치(100)는 이웃 인식 네트워크(NAN: Neighbor Awareness Network) 또는 와이파이 어웨어(Wi-Fi Aware) 기술을 이용하여 단말기(300)와 연결함이 바람직하다.
일 실시 예에서, 디스플레이 장치(100)는 통신부(110)를 통해 NAN 연결(NAN connection)을 위한 연결 정보를 게시(publish)하고, 단말기(300)는 게시된(published) 연결 정보를 구독(subscribe)함으로써 디스플레이 장치(100)와 단말기(300) 사이의 NAN 연결이 수립될 수 있다. 그리고, 디스플레이 장치(100)는 단말기(300)에 대하여 수립된 NAN 연결을 통해 요청된 서비스에 대한 정보를 게시(publish)할 수 있다.
그리고, 디스플레이 장치(100)의 프로세서(170)는 디스플레이부(180) 또는 오디오 출력부(185) 중에서 적어도 하나 이상을 통해 컨텐츠를 출력한다(S603).
프로세서(170)는 출력할 컨텐츠의 소리 데이터는 오디오 출력부(185)를 통해 출력하고, 출력할 컨텐츠의 화상 데이터는 디스플레이부(180)를 통해 출력할 수 있다.
출력할 컨텐츠 또는 출력 대상 컨텐츠는 사용자의 입력에 의하여 설정된 컨텐츠일 수도 있고, 디폴트 컨텐츠일 수도 있고, 직전에 디스플레이 장치(100)에서 출력되던 컨텐츠일 수도 있다. 또한, 출력할 컨텐츠는 통신부(110)를 통해 수신하는 스트리밍 컨텐츠일 수도 있고, 메모리(140)에 저장된 컨텐츠일 수도 있다.
그리고, 디스플레이 장치(100)의 프로세서(170)는 연결된 단말기(300)의 위치를 결정한다(S605).
프로세서(170)는 연결된 단말기(300)로부터 수신하는 통신 신호의 수신 강도(RSSI: Received Signal Strength Indication) 또는 왕복 지연 시간(RTT: Round Trip Time) 등을 고려하여 연결된 단말기(300)의 위치를 결정할 수 있다. 또한, 디스플레이 장치(100)의 프로세서(170)는 카메라를 통해 정면 또는 주위에 대한 이미지 데이터를 획득하고, 획득한 이미지 데이터에서 단말기(300)를 인식함으로써 단말기(300)의 위치에 대한 추가 정보(예컨대, 방향 정보)를 획득할 수 있다.
단말기(300)의 위치는 디스플레이 장치(100)에 대한 거리나 방향과 같은 상대적 위치를 의미할 수도 있고, 맵 데이터 상에서의 절대적인 위치를 의미할 수도 있다.
연결된 단말기(300)의 위치를 결정하는데 RSSI와 RTT가 모두 사용될 수 있으나, RTT가 RSSI에 비해 더 선호될 수 있다. 실내 환경에서는 실내 공간의 구조나 장애물 등으로 인하여 RSSI와 직선 거리 사이의 대응 관계가 부정확해지는 문제점이 발생할 수 있다. 반면, RTT는 수신하는 통신 신호의 강도와는 무관히 특정 통신 신호의 발송 시점과 수신 시점의 차이를 나타내므로, 실내 공간의 구조나 장애물과 같은 환경 요인에 강인한 특징을 갖는다.
프로세서(170)는 복수의 외부 장치들과 연결된 경우에, 연결된 복수의 장치들 중에서 적어도 일부를 이용하여 연결된 단말기(300)의 위치를 결정할 수 있다. 복수의 장치에는 단말기(300), 다른 디스플레이 장치(100), 다른 전자 기기 등이 포함될 수 있다. 디스플레이 장치(100)의 프로세서(170)는 복수의 외부 장치들 각각으로부터 연결된 단말기(300)까지에 대한 RSSI, RTT, 방향 정보 등을 수신하여, 삼각 측량 기법 등을 이용하여 단말기(300)의 위치를 결정할 수 있다. 디스플레이 장치(100)와 연결된 외부 장치들이 많을수록 단말기(300)의 위치를 보다 정확하게 결정할 수 있다.
프로세서(170)는 실시간으로 또는 미리 정해진 주기마다 연결된 단말기(300)의 위치를 결정할 수 있다. 이는 디스플레이 장치(100)가 연결된 단말기(300)의 위치를 지속적으로 갱신 또는 추적한다고 볼 수 있다.
그리고, 디스플레이 장치(100)의 프로세서(170)는 연결된 단말기(300)가 시청 영역(viewing area)에서 이탈하였는지 판단한다(S607).
프로세서(170) 연결된 단말기(300)를 소지한 사용자의 움직임을 파악할 수 있고, 그에 기초하여 연결된 단말기(300) 또는 사용자가 시청 영역에서 이탈하였는지 판단할 수 있다. 즉, 단말기(300)의 시청 영역에 대한 이탈은 사용자의 시청 영역에 대한 이탈을 의미할 수 있다.
시청 영역은 디스플레이 장치(100)를 통해 컨텐츠를 시청하기 위한 영역을 의미하며, 디스플레이 장치(100)가 설치된 영역을 의미할 수 있다. 나아가, 시청 영역은 디스플레이 장치(100)가 설치되고 디스플레이 장치(100)의 디스플레이부(180)가 향하는 방향에 대응하는 공간을 의미할 수 있다. 즉, 프로세서(170)는 연결된 단말기(300)가 디스플레이 장치(100)의 시청 영역으로부터 이탈하는지에 기초하여 연결된 단말기(300)를 소지한 사용자가 시청 영역에서 이탈하였는지 판단할 수 있다.
시청 영역은 각 디스플레이 장치(100)마다 설정될 수 있다. 즉, 각 디스플레이 장치(100)는 자신에 대응하는 시청 영역에 기초하여 연결된 단말기(300)가 시청 영역에서 벗어났는지를 판단할 수 있다.
프로세서(170)는 디스플레이 장치(100)와 단말기(300) 사이의 거리, 단말기(300)와 다른 장치들과의 위치 관계, 사용자 설정 시청 영역, 또는 지도 데이터 중에서 적어도 하나 이상을 고려하여 단말기(300)의 시청 영역의 이탈을 판단할 수 있다. 예컨대, 프로세서(170)는 디스플레이 장치(100)와 단말기(300) 사이의 거리가 미리 정해진 기준 거리보다 커지는 경우에, 단말기(300)가 디스플레이 장치(100)의 시청 영역을 이탈하였다고 판단할 수 있다. 예컨대, 프로세서(170)는 디스플레이 장치(100)와 단말기(300) 사이의 거리보다 다른 디스플레이 장치(100)와 단말기(300) 사이의 거리가 작아지는 경우에, 단말기(300)가 디스플레이 장치(100)의 시청 영역을 이탈하였다고 판단할 수 있다. 예컨대, 프로세서(170)는 사용자에 의해 설정된, 디스플레이 장치(100)를 포함하는 사용자 설정 시청 영역에서 단말기(300)가 벗어난 경우에, 단말기(300)가 디스플레이 장치(100)의 시청 영역을 이탈하였다고 판단할 수 있다. 예컨대, 프로세서(170)는 지도 데이터에 포함된 복수의 구역들 중에서 디스플레이 장치(100)가 포함된 구역에서 단말기(300)가 벗어난 경우에, 단말기(300)가 디스플레이 장치(100)의 시청 영역을 이탈하였다고 판단할 수 있다.
사용자 설정 시청 영역은 사용자가 설정한 디스플레이 장치(100)의 시청 영역을 의미할 수 있다. 일 실시 예에서, 프로세서(170)는 단말기(300)에 대한 시청 영역 이탈 피드백과 해당 단말기(300)의 위치에 기초하여 사용자 설정 시청 영역의 경계선을 결정할 수 있다. 단말기(300)에 대한 시청 영역 이탈 피드백은 해당 단말기(300)가 디스플레이 장치(100)의 시청 영역에서 이탈하였는지 또는 이탈하지 않았는지를 나타내는 피드백일 수 있다. 또한, 시청 영역 이탈 피드백은 디스플레이 장치(100)에서 출력 중인 컨텐츠를 단말기(300)에서 출력할 것을 요청하는 피드백을 포함할 수 있다.
지도 데이터는 로봇 청소기나 애완 로봇과 같이 이동 가능한 장치가 디스플레이 장치(100)가 설치된 공간에서 이동하며 수집한 센서 데이터에 기초하여 생성된 지도 데이터를 의미할 수 있다. 예컨대, 지도 데이터는 SLAM(Simultaneous Localization And Mapping) 기술에 따라 생성된 지도 데이터일 수 있다. 지도 데이터를 복수의 구역으로 구분될 수 있다. 일 실시 예에서, 지도 데이터의 복수의 구역들은 사용자 설정 시청 영역에 기초하여 설정될 수 있고, 이러한 경우에는 사용자 설정 시청 영역은 지도 데이터 상에서 설정된다고 볼 수 있다.
단계(S607)의 판단 결과, 연결된 단말기(300)가 시청 영역에서 이탈한 것으로 판단된 경우, 디스플레이 장치(100)의 프로세서(170)는 연결된 단말기(300)를 통해 컨텐츠를 출력한다(S609).
프로세서(170)는 연결된 단말기(300)가 시청 영역에서 이탈한 것으로 판단하였을 때, 통신부(110)를 통해 연결된 단말기(300)에 컨텐츠의 계속 재생 여부를 질의하는 신호를 전송하고, 연결된 단말기(300)로부터 계속 재생을 동의하는 응답을 수신하였을 때에 연결된 단말기(300)를 통해 컨텐츠를 출력할 수 있다. 또는, 디스플레이 장치(100)의 프로세서(170)는 연결된 단말기(300)가 시청 영역에서 이탈한 것으로 판단하였을 때, 별도의 질의 없이도 연결된 단말기(300)를 통해 컨텐츠를 출력할 수도 있다. 디스플레이 장치(100)는 연결된 단말기(300)에 컨텐츠 출력 정보를 전송함으로써 연결된 단말기(300)를 통해 컨텐츠를 출력할 수 있다.
프로세서(170)는 연결된 단말기(300)를 통해 컨텐츠를 출력하게 되는 경우에, 오디오 출력부(185) 및/또는 디스플레이부(180)를 통한 컨텐츠의 출력을 중단할 수 있다. 컨텐츠의 출력의 중단은 디스플레이부(180)에 대하여는 전원을 차단하거나 동작을 비활성화하는 것을 의미할 수 있고, 오디오 출력부(185)에 대하여는 전원을 차단하거나 동작을 비활성화하거나 음소거하는 것을 의미할 수 있다.
프로세서(170)는 연결된 단말기(300)를 통해 컨텐츠를 출력하더라도, 다른 시청자 (또는 다른 사용자)가 존재한다고 판단될 경우에는 오디오 출력부(185) 및/또는 디스플레이부(180)를 통한 컨텐츠의 출력을 중단하지 않을 수 있다. 예컨대, 프로세서(170)는 시청 영역에서 이탈한 단말기(300) 이외에 다른 단말기와도 연결되었거나 카메라를 통해 획득한 이미지에서 시청 영역에서 이탈한 단말기(300)를 소지한 사용자 이외의 다른 사용자를 인식한 경우에, 연결된 단말기(300)와 함께 컨텐츠를 출력할 수 있다.
연결된 단말기(300)를 통한 컨텐츠의 출력은 적어도 세 가지 방법이 고려될 수 있다. 첫 번째 방법은, 프로세서(170)가 통신부(110)를 통해 단말기(300)에 출력할 컨텐츠에 대응하는 컨텐츠 데이터를 전송하고, 단말기(300)는 수신한컨텐츠 데이터에 기초하여 컨텐츠를 출력하는 방법이다. 두 번째 방법은, 프로세서(170)가 통신부(110)를 통해 단말기(300)에 컨텐츠를 출력할 때의 화면 데이터를 전송하고, 단말기(300)는 수신한 화면 데이터에 기초하여 컨텐츠를 출력하는 방법이다. 세 번째 방법은, 프로세서(170)가 통신부(110)를 통해 단말기(300)에 출력할 컨텐츠에 대응하는 연결 정보를 전송하고, 단말기(300)는 수신한 연결 정보에 기초하여 컨텐츠를 출력하는 방법이다. 첫 번째 방법과 두 번째 방법은 디스플레이 장치(100)가 단말기(300)로 컨텐츠를 출력하기 위한 데이터(컨텐츠 데이터 또는 화면 데이터)를 지속적으로 전송하여야 하며, 단말기(300)는 디스플레이 장치(100)로부터 수신한 데이터에 기초하여 컨텐츠를 출력할 수 있다. 첫 번째 방법과 두 번째 방법은 스크린 미러링(mirror) 또는 스크린 캐스팅(casting)의 일 종이라 볼 수 있다. 세 번째 방법은 디스플레이 장치(100)가 단말기(300)로 컨텐츠를 출력하기 위한 연결 정보만을 1회만 전송하더라도 충분하며, 단말기(300)는 수신한 연결 정보에 대응하는 컨텐츠 제공자(500)로부터 컨텐츠 데이터를 수신하여 컨텐츠를 출력할 수 있다. 즉, 컨텐츠 출력 정보는 컨텐츠 데이터, 컨텐츠를 출력할 때의 화면 데이터 또는 컨텐츠에 대응하는 연결 정보를 의미할 수 있다.
컨텐츠에 대응하는 연결 정보에는 해당 컨텐츠에의 접속 정보(예컨대, 주소), 재생 위치 정보, 계정 정보, 채널 정보 등이 포함될 수 있다. 단말기(300)는 연결 정보에 포함된 접속 정보 및/또는 계정 정보에 기초하여 출력할 컨텐츠에 대응하는 컨텐츠 데이터를 수신할 수 있고, 재생 위치 정보에 기초하여 디스플레이 장치(100)에서의 재생 위치 (또는 재생 시점)과 동기화하여 컨텐츠를 출력할 수 있다.
상술한 단말기(300)에서 컨텐츠를 출력하는 세 가지 방법 중에서, 세 번째 방법은 별도의 컨텐츠 제공자가 존재하는 경우에 적용할 수 있다. 즉, 디스플레이 장치(100)가 통신부(110)를 통해 수신한 컨텐츠를 출력하는 상황에서만 세 번째 방법을 적용할 수 있으며, 디스플레이 장치(100)가 메모리(140)에 저장된 컨텐츠를 출력하는 상황에서는 세 번째 방법을 적용할 수 없다. 따라서, 일 실시 예에서, 프로세서(170)는 세 번째 방법에 따라 단말기(300)에서 컨텐츠를 출력할 수 있는지 판단하고, 세 번째 방법을 이용할 수 없는 경우에는 첫 번째 방법이나 두 번째 방법에 따라 단말기(300)에서 컨텐츠를 출력할 수 있다.
일 실시 예에서, 프로세서(170)는 네트워크 환경을 고려하여 해상도를 조절한 컨텐츠 데이터 또는 해상도를 조절한 화면 데이터를 단말기(300)에 전송할 수도 있다.
단계(S607)의 판단 결과, 연결된 단말기(300)가 시청 영역에서 이탈하지 않은 것으로 판단된 경우, 디스플레이 장치(100)의 프로세서(170)는 연결된 단말기(300)의 위치를 결정하는 단계(S605)를 수행한다.
도 6에 도시된 단계들(steps)의 순서는 하나의 예시에 불과하며, 본 개시가 이에 한정되지는 않는다. 즉, 일 실시 예에서, 도 6에 도시된 단계들 중 일부 단계의 순서가 서로 바뀌어 수행될 수도 있다. 또한, 일 실시 예에서, 도 6에 도시된 단계들 중 일부 단계는 병렬적으로 수행될 수도 있다. 또한, 도 6에 도시된 단계들 중 일부만 수행될 수도 있다.
도 7은 디스플레이 장치가 사용자 단말기와 연계하여 컨텐츠를 제공하는 일 실시 예를 나타낸 도면이다.
도 7을 참조하면, 사용자(740)의 단말기(730)는 디스플레이 장치(710)와 연결된 상태이며, 사용자(740)는 단말기(730)를 소지한 상태로 디스플레이 장치(710)에서 출력되는 컨텐츠를 시청할 수 있다. 그리고, 디스플레이 장치(710)는 디스플레이 장치(710)에 대한 시청 영역(720)을 기초로 단말기(730) 또는 사용자(740)의 시청 영역(720)에서의 이탈을 판단할 수 있다.
도 7의 (a)를 참조하면, 사용자(740)의 단말기(730)는 디스플레이 장치(710)에 대한 시청 영역(720) 내에 위치한다. 따라서, 디스플레이 장치(710)는 출력하던 컨텐츠를 계속하여 출력할 수 있다.
도 7의 (b)를 참조하면, 도 7의 (a)와 비교하여, 사용자(740)가 단말기(730)를 소지한 상태로 이동하였으나, 사용자(740)의 단말기(730)는 여전히 디스플레이 장치(710)에 대한 시청 영역(720) 내에 위치한다. 따라서, 디스플레이 장치(710)는 여전히 출력하던 컨텐츠를 계속하여 출력할 수 있다.
도 7의 (c)를 참조하면, 도 7의 (b)와 비교하여, 사용자(740)가 단말기(730)를 소지한 상태로 이동하였으며, 사용자(740)의 단말기(730)가 디스플레이 장치(710)에 대한 시청 영역(720)에서 이탈하였다. 따라서, 디스플레이 장치(710)는 사용자(740)가 시청 영역(720)에서 이탈하였다고 판단하고, 사용자(740)의 단말기(730)에서 컨텐츠를 출력할 수 있다.
특히, 디스플레이 장치(710)는 사용자(740)의 단말기(730) 이외에 다른 단말기가 연결되지 않았으므로, 사용자(740)를 제외한 다른 사용자 또는 시청자가 존재하지 않는다고 판단할 수 있다. 따라서, 디스플레이 장치(710)는 사용자(740)의 단말기(730)에서 컨텐츠를 출력할 때, 디스플레이 장치(710)에서의 컨텐츠 출력을 중단할 수 있다.
도 8은 디스플레이 장치가 사용자 단말기와 연계하여 컨텐츠를 제공하는 일 실시 예를 나타낸 도면이다.
도 8을 참조하면, 사용자(740)의 단말기(730)는 디스플레이 장치(710)와 연결된 상태이며, 사용자(740)는 단말기(730)를 소지한 상태로 디스플레이 장치(710)에서 출력되는 컨텐츠를 시청할 수 있다. 그리고, 디스플레이 장치(710)는 디스플레이 장치(710)에 대한 시청 영역(720)을 기초로 단말기(730) 또는 사용자(740)의 시청 영역(720)에서의 이탈을 판단할 수 있다.
도 8의 (a)를 참조하면, 사용자(740)의 단말기(730)는 디스플레이 장치(710)에 대한 시청 영역(720) 내에 위치한다. 따라서 디스플레이 장치(710)는 출력하던 컨텐츠를 계속하여 출력할 수 있다.
도 8의 (b)를 참조하면, 도 8의 (a)와 비교하여, 사용자(740)가 단말기(730)를 소지한 상태로 이동하였으며, 사용자(740)의 단말기(730)가 디스플레이 장치(710)에 대한 시청 영역(720)에서 이탈하였다. 따라서, 디스플레이 장치(710)는 사용자(740)가 시청 영역(720)에서 이탈하였다고 판단할 수 있고, 사용자(740)의 단말기(730)를 통해 사용자(740)에게 "컨텐츠를 계속 보시겠습니까?"와 같은 단말기(730)에서 컨텐츠를 출력할 것인지를 질의하는 알림을 출력(811)할 수 있다.
디스플레이 장치(710)는 디스플레이부(180) 또는 단말기(730)의 디스플레이부(미도시)를 통해, 단말기(710)에서 컨텐츠를 출력할 것인지를 질의하는 텍스트 알림 또는 이미지 알림을 출력할 수도 있고, 오디오 출력부(185) 또는 단말기(730)의 오디오 출력부(미도시)를 통해, 단말기(730)에서 컨텐츠를 출력할 것인지를 질의하는 음성 알림을 출력할 수도 있다.
사용자(740)의 단말기(730)와 연계하여 컨텐츠를 출력할 것인지 여부에 대한 질의 또는 알림은 사용자(740)의 설정에 의해 활성화 또는 비활성화될 수 있으며, 이러한 설정 값은 디스플레이 장치(710) 또는 단말기(730)에 저장될 수 있다. 특히, 질의 또는 알림에 대한 설정 값은 활성화, 비활성화(자동 전환 ON), 비활성화(자동 전환 OFF)의 3개의 값을 포함할 수 있다. 활성화는 단말기(730)에서의 컨텐츠 출력 여부 (또는, 컨텐츠 출력 장치의 전환 여부)를 항상 질의하고, 질의 결과에 따라 단말기(730)에서의 컨텐츠 출력 여부를 결정하는 설정 값을 의미할 수 있다. 비활성화(자동 전환 ON)은 단말기(730)에서의 컨텐츠 출력 여부를 질의하지 않고, 자동으로 단말기(730)에서 컨텐츠를 출력하는 설정 값을 의미할 수 있다. 비활성화(자동 전환 OFF)는 단말기(730)에서의 컨텐츠 출력 여부를 질의하지 않고, 단말기(730)에서 컨텐츠를 출력하지 않는 설정 값을 의미할 수 있다.
도 8의 (c)를 참조하면, 디스플레이 장치(710)는 단말기(730)와 연계하여 컨텐츠를 출력할 것인지 여부를 질의(811)하고, 사용자(740)의 동의 의사를 확인하면,사용자(740)의 단말기(730)에서 컨텐츠를 출력할 수 있다.
사용자(740)의 동의 의사는 사용자(740)의 명시적 동의 음성, 묵시적 동의 음성, 미리 설정된 동의 제스쳐, 입력부에 입력된 동의 입력 등을 포함할 수 있다.
도 9는 디스플레이 장치가 사용자 단말기와 연계하여 컨텐츠를 제공하는 일 실시 예를 나타낸 도면이다.
도 9를 참조하면, 제1 사용자(740_1)의 제1 단말기(730_1)와 제2 사용자(740_2)의 제2 단말기(730_2)는 디스플레이 장치(710)와 연결된 상태이며, 제1 사용자(740_1)와 제2 사용자(740_2)는 각각 제1 단말기(730_1)와 제2 단말기(730_2)를 소지한 상태로 디스플레이 장치(710)에서 출력되는 컨텐츠를 시청할 수 있다. 그리고, 디스플레이 장치(710)는 디스플레이 장치(710)에 대한 시청 영역(720)을 기초로 제1 단말기(730_1), 제2 단말기(730_2), 제1 사용자(740_1) 또는 제2 사용자(740_2)의 시청 영역(720)에서의 이탈을 판단할 수 있다.
도 9의 (a)를 참조하면, 제1 사용자(740_1)의 제1 단말기(730_1)와 제2 사용자(740_2)의 제2 단말기(730_2)는 디스플레이 장치(710)에 대한 시청 영역(720) 내에 위치한다. 따라서 디스플레이 장치(710)는 출력하던 컨텐츠를 계속하여 출력할 수 있다.
도 9의 (b)를 참조하면, 도 9의 (a)와 비교하여, 제1 사용자(740_1)가 제1 단말기(730_1)를 소지한 상태로 이동하였으나, 제1 사용자(740_1)의 제1 단말기(730_1)는 여전히 디스플레이 장치(710)에 대한 시청 영역(720) 내에 위치한다. 따라서, 제1 사용자(740_1)의 제1 단말기(730_1)와 제2 사용자(740_2)의 제2 단말기(730_2)는 디스플레이 장치(710)에 대한 시청 영역(720) 내에 위치하고, 이에 따라, 디스플레이 장치(710)는 여전히 출력하던 컨텐츠를 계속하여 출력할 수 있다.
도 9의 (c)를 참조하면, 도 9의 (b)와 비교하여, 제1 사용자(740_1)가 제1 단말기(730_1)를 소지한 상태로 이동하였으며, 제1 사용자(740_1)의 제1 단말기(730_1)가 디스플레이 장치(710)에 대한 시청 영역(720)에서 이탈하였다. 따라서, 디스플레이 장치(710)는 제1 사용자(740_1)가 시청 영역(720)에서 이탈하였다고 판단하고, 제1 사용자(740_1)의 제1 단말기(730_1)에서 컨텐츠를 출력할 수 있다.
하지만, 디스플레이 장치(710)는 제1 사용자(740_1)의 제1 단말기(730_1) 이외에도 제2 사용자(740_2)의 제2 단말기(730_2)와 연결되어 있으며, 제2 사용자(740_2)의 제2 단말기(730_2)가 여전히 디스플레이 장치(710)에 대한 시청 영역(720) 내에 위치함을 파악할 수 있다. 따라서, 디스플레이 장치(710)는 제1 사용자(740_1)의 제1 단말기(730_1)에서 컨텐츠를 출력하더라도, 제2 사용자(740_2)가 컨텐츠를 시청할 수 있도록 디스플레이 장치(710)에서의 컨텐츠 출력을 중단하지 않을 수 있다. 즉, 디스플레이 장치(710)는 출력 중이던 컨텐츠를 계속하여 출력하면서, 동시에 제1 사용자(740_1)의 제1 단말기(730_1)를 통해 컨텐츠를 출력할 수 있다.
비록 도 9에 도시되지는 않았으나, 만약 도 9의 (c)의 상황에서 제2 사용자(740_2)의 제2 단말기(730_2)가 디스플레이 장치(710)에 대한 시청 영역(720)에서 이탈하는 경우, 디스플레이 장치(710)는 제2 사용자(740_2)가 시청 영역(720)에서 이탈하였다고 판단하고, 제2 사용자(740_2)의 제2 단말기(730_1)에서 컨텐츠를 출력할 수 있다. 이 경우, 디스플레이 장치(710)는 제1 사용자(740_1)뿐만 아니라 제2 사용자(740_2)가 모두 디스플레이 장치(710)에 대한 시청 영역(720)에서 이탈하였고, 제1 사용자(740_1)의 제1 단말기(730_1) 및 제2 사용자(740_2)의 제2 단말기(730_2) 이외에 다른 단말기가 연결되지 않았으므로, 제1 사용자(740_1) 및 제2 사용자(740_2)를 제외한 다른 사용자 또는 시청자가 존재하지 않는다고 판단할 수 있다. 따라서, 디스플레이 장치(710)는 제1 사용자(740_1)의 제1 단말기(730_1) 및 제2 사용자(740_2)의 제2 단말기(730_2)에서 컨텐츠를 출력할 때, 디스플레이 장치(710)에서의 컨텐츠 출력을 중단할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 사용자 단말기와 연계하여 컨텐츠를 제공하는 방법을 나타낸 래더 다이어그램이다.
도 10을 참조하면, 디스플레이 장치(100)와 단말기(300) 사이에 NAN 연결이 수립되고(S1001), 디스플레이 장치(100)는 NAN 연결이 수립된 단말기(300)에 대한 위치 정보를 획득한다(S1003). 디스플레이 장치(100)는 단말기(300)와 연결이 유지되는 동안에 실시간으로 또는 미리 정해진 주기마다 단말기(300)에 대한 위치 정보를 획득할 수 있다. 디스플레이 장치(100)는 연결된 단말기(300)에 대한 위치 정보를 획득하므로, 단말기(300)에 대한 위치 정보를 획득하는 단계(S1003)는 NAN 연결을 수립하는 단계(S1001)가 수행된 이후에 수행된다.
디스플레이 장치(100)와 단말기(300) 사이에 NAN 연결이 수립된 경우, 디스플레이 장치(100)와 단말기(300)는 페어링(pairing) 되었다고 볼 수 있으며, 디스플레이 장치(100)와 단말기(300) 각각은 페어링 정보를 저장할 수 있다.
그리고, 디스플레이 장치(100)는 출력 대상 컨텐츠를 출력한다(S1005).
비록 도 10에서는 디스플레이 장치(100)와 단말기(300)가 연결된 이후에 디스플레이 장치(100)가 컨텐츠를 출력하는 것으로 도시되어 있으나, 본 개시가 이에 한정되지 않는다. 즉, 디스플레이 장치(100)와 단말기(300)가 NAN 연결을 수립하는 단계(S1001)와 디스플레이 장치(100)가 컨텐츠를 출력하는 단계(S1005)는 수행되는 순서가 서로 바뀔 수도 있으며, 서로 병렬적으로 수행될 수도 있다.
그리고, 디스플레이 장치(100)는 연결된 단말기(300)가 디스플레이 장치(100)의 시청 영역에서 이탈하였는지 판단한다(S1007).
단계(S1007)의 판단 결과, 단말기(300)가 디스플레이 장치(100)의 시청 영역에서 이탈하지 않은 경우, 디스플레이 장치(100)는 단말기(300)가 디스플레이 장치(100)의 시청 영역에서 이탈하였는지 판단하는 단계(S1007)를 계속하여 수행한다.
단계(S1007)의 판단 결과, 단말기(300)가 디스플레이 장치(100)의 시청 영역에서 이탈한 경우, 디스플레이 장치(100)는 단말기(300)에 컨텐츠 출력 정보를 전송하고(S1009), 단말기(300)는 수신한 컨텐츠 출력 정보에 기초하여 컨텐츠를 출력한다(S1011).
상술한 것과 같이, 컨텐츠 출력 정보는 컨텐츠 데이터, 컨텐츠를 출력할 때의 화면 데이터 또는 컨텐츠에 대응하는 연결 정보를 의미할 수 있다. 만약, 디스플레이 장치(100)가 별도의 컨텐츠 제공자(500) 또는 다른 외부 장치로부터 컨텐츠 데이터를 수신하는 경우라면, 디스플레이 장치(100)는 단말기(300)에 수신한 컨텐츠 데이터, 컨텐츠를 출력하는 화면 데이터 또는 컨텐츠에 대응하는 연결 정보를 전송할 수 있고, 단말기(300)는 수신한 정보에 기초하여 컨텐츠를 출력할 수 있다. 반면, 디스플레이 장치(100)가 메모리(140)에 저장된 컨텐츠를 출력하는 경우라면, 디스플레이 장치(100)는 단말기(300)에 저장된 컨텐츠 데이터 또는 컨텐츠를 출력하는 화면 데이터를 전송할 수 있고, 단말기(300)는 수신한 정보에 기초하여 컨텐츠를 출력할 수 있다.
도 11은 본 개시의 일 실시 예에 따른 단말기와 연계하여 컨텐츠를 제공하는 방법을 나타낸 동작 흐름도이다.
도 11을 참조하면, 디스플레이 장치(100)의 프로세서(170)는 통신부(110)를 통해 사용자의 단말기(300)와 연결한다(S1101). 본 단계(S1101)는 도 6에 도시된 단말기(300)와 연결하는 단계(S601)와 대응되며, 중복되는 설명은 생략한다.
그리고, 디스플레이 장치(100)의 프로세서(170)는 연결된 단말기(300)의 위치를 결정한다(S1103). 본 단계(S1103)는 도 6에 도시된 연결된 단말기(300)의 위치를 결정하는 단계(S605)와 대응되며, 중복되는 설명은 생략한다.
그리고, 디스플레이 장치(100)의 프로세서(170)는 연결된 단말기(300)가 시청 영역에 진입하였는지 판단한다(S1105).
프로세서(170)는 연결된 단말기(300)의 위치 변화에 기초하여 연결된 단말기(300)를 소지한 사용자의 움직임을 파악할 수 있고, 그에 기초하여 연결된 단말기(300) 또는 사용자가 시청 영역에 진입하였는지 판단할 수 있다. 즉, 단말기(300)의 시청 영역에 대한 진입은 사용자의 시청 영역에 대한 진입을 의미할 수 있다.
시청 영역은 디스플레이 장치(100)를 통해 컨텐츠를 시청하기 위한 영역을 의미하며, 디스플레이 장치(100)가 설치된 영역을 의미할 수 있다. 나아가, 시청 영역은 디스플레이 장치(100)가 설치되고 디스플레이 장치(100)의 디스플레이부(180)가 향하는 방향에 대응하는 공간을 의미할 수 있다. 즉, 프로세서(170)는 연결된 단말기(300)가 디스플레이 장치(100)의 시청 영역으로 진입하는지에 기초하여 연결된 단말기(300)를 소지한 사용자가 시청 영역으로 진입하였는지 판단할 수 있다.
시청 영역은 각 디스플레이 장치(100)마다 설정될 수 있다. 즉, 각 디스플레이 장치(100)는 자신에 대응하는 시청 영역에 기초하여 연결된 단말기(300)가 시청 영역에 진입하였는지를 판단할 수 있다.
단계(S1105)의 판단 결과, 연결된 단말기(300)가 시청 영역으로 진입하지 않은 것으로 판단된 경우, 디스플레이 장치(100)의 프로세서(170)는 연결된 단말기(300)의 위치를 결정하는 단계(S1103)를 수행한다.
단계(S1105)의 판단 결과, 연결된 단말기(300)가 시청 영역으로 진입한 것으로 판단된 경우, 디스플레이 장치(100)의 프로세서(170)는 연결된 단말기(300)에서 컨텐츠가 출력 중인지 판단한다(S1107).
연결된 단말기(300)는 디스플레이 장치(100)와 연계하여, 또는 디스플레이 장치(100)와 연계하지 않은 상태로 컨텐츠를 출력 중일 수 있다. 연결된 단말기(300)는 디스플레이부(미도시) 또는 오디오 출력부(미도시) 중에서 적어도 하나 이상을 통해 컨텐츠를 출력할 수 있다.
출력할 컨텐츠 또는 출력 대상 컨텐츠는 사용자의 입력에 의하여 설정된 컨텐츠일 수도 있고, 디폴트 컨텐츠일 수도 있고, 직전에 디스플레이 장치(100)에서 출력되던 컨텐츠일 수도 있다. 또한, 출력할 컨텐츠는 통신부(미도시)를 통해 수신하는 스트리밍 컨텐츠일 수도 있고, 메모리(미도시)에 저장된 컨텐츠일 수도 있다.
단계(S1107)의 판단 결과, 연결된 단말기(300)가 컨텐츠를 출력 중인 것으로 판단된 경우, 디스플레이 장치(100)의 프로세서(170)는 디스플레이부(180) 또는 오디오 출력부(185) 중에서 적어도 하나 이상을 통해 연결된 단말기(300)에서 출력 중인 컨텐츠를 출력한다(S1109).
프로세서(170)는 통신부(110)를 통해 연결된 단말기(300)에 대하여 컨텐츠 출력 정보를 요청하고, 단말기(300)로부터 수신한 컨텐츠 출력 정보에 기초하여 연결된 단말기(300)에서 출력 중이던 컨텐츠를 출력할 수 있다.
프로세서(170)는 출력할 컨텐츠의 소리 데이터는 오디오 출력부(185)를 통해 출력하고, 출력할 컨텐츠의 화상 데이터는 디스플레이부(180)를 통해 출력할 수 있다.
프로세서(170)는 연결된 단말기(300)가 시청 영역으로 진입하였고 컨텐츠를 출력 중인 것으로 판단하였을 때, 통신부(110)를 통해 연결된 단말기(300)에 컨텐츠의 계속 재생 여부를 질의하는 신호를 전송하고, 연결된 단말기(300)로부터 계속 재생을 동의하는 응답을 수신하였을 때에 디스플레이부(180) 또는 오디오 출력부(185) 중에서 적어도 하나 이상을 통해 연결된 단말기(300)에서 출력 중이던 컨텐츠를 출력할 수 있다. 또는, 디스플레이 장치(100)의 프로세서(170)는 연결된 단말기(300)가 시청 영역으로 진입하였고 컨텐츠를 출력 중인 것으로 판단하였을 때, 별도의 질의 없이도 디스플레이부(180) 또는 오디오 출력부(185) 중에서 적어도 하나 이상을 통해 연결된 단말기(300)에서 출력 중이던 컨텐츠를 출력할 수 있다. 디스플레이 장치(100)는 연결된 단말기(300)로부터 컨텐츠 출력 정보를 수신함으로써 연결된 단말기(300)에서 출력 중이던 컨텐츠를 출력할 수 있다.
디스플레이 장치(100)가 연결된 단말기(300)에서 출력 중이던 컨텐츠를 출력하는 경우에, 실시 예에 따라 연결된 단말기(300)는 컨텐츠의 출력을 중단할 수도 있고, 컨텐츠의 출력을 계속할 수도 있다.
디스플레이 장치(100)에서의 컨텐츠 출력은 단말기(300)를 통한 컨텐츠 출력과 마찬가지로, 적어도 세 가지 방법이 고려될 수 있다. 첫 번째 방법은, 디스플레이 장치(100)가 단말기(300)에서 출력 중이던 컨텐츠에 대응하는 컨텐츠 데이터를 수신하여 컨텐츠를 출력하는 방법이다. 두 번째 방법은, 디스플레이 장치(100)가 단말기(300)에서 출력 중이던 컨텐츠에 대응하는 화면 데이터를 수신하여 컨텐츠를 출력하는 방법이다. 세 번째 방법은, 디스플레이 장치(100)가 단말기(300)에서 출력 중이던 컨텐츠에 대응하는 연결 정보를 수신하여 컨텐츠를 출력하는 방법이다.
단계(S1107)의 판단 결과, 연결된 단말기(300)가 컨텐츠를 출력 중이지 않는 것으로 판단된 경우, 디스플레이 장치(100)의 프로세서(170)는 연결된 단말기(300)의 위치를 결정하는 단계(S1103)를 수행한다.
도 11에 도시된 단계들(steps)의 순서는 하나의 예시에 불과하며, 본 개시가 이에 한정되지는 않는다. 즉, 일 실시 예에서, 도 11에 도시된 단계들 중 일부 단계의 순서가 서로 바뀌어 수행될 수도 있다. 또한, 일 실시 예에서, 도 6에 도시된 단계들 중 일부 단계는 병렬적으로 수행될 수도 있다. 또한, 도 11에 도시된 단계들 중 일부만 수행될 수도 있다.
도 12는 디스플레이 장치가 사용자 단말기와 연계하여 컨텐츠를 제공하는 일 실시 예를 나타낸 도면이다.
도 12를 참조하면, 사용자(1240)의 단말기(1230)는 디스플레이 장치(1210)와 연결된 상태이며, 디스플레이 장치(1210)는 컨텐츠를 출력 중이지 않으며, 사용자(1240)는 단말기(1230)를 소지한 상태로 디스플레이 장치(1210)의 시청 영역(1220) 밖에서 단말기(1230)를 통해 컨텐츠를 시청할 수 있다. 그리고, 디스플레이 장치(1210)는 디스플레이 장치(1210)에 대한 시청 영역(1220)을 기초로 단말기(1230) 또는 사용자(1240)의 시청 영역(1220)에의 진입을 판단할 수 있다.
도 12의 (a)를 참조하면, 사용자(1240)의 단말기(1230)는 디스플레이 장치(1210)에 대한 시청 영역(1220) 밖에 위치한다. 따라서, 단말기(1230)는 출력하던 컨텐츠를 계속하여 출력할 수 있다.
도 12의 (b)를 참조하면, 도 12의 (a)와 비교하여, 사용자(1240)가 단말기(1230)를 소지한 상태로 이동하였으며, 사용자(1240)의 단말기(1230)가 디스플레이 장치(1210)에 대한 시청 영역(1220)으로 진입하였다. 따라서, 디스플레이 장치(1210)는 사용자(1240)가 시청 영역(1220)으로 진입하였다고 판단할 수 있고, 사용자(1240)의 단말기(1230)를 통해 사용자(1240)에게 "TV를 통해 컨텐츠를 계속 보시겠습니까?"와 같은 디스플레이 장치(1210)에서 컨텐츠를 출력할 것인지를 질의하는 알림을 출력(1251)할 수 있다.
디스플레이 장치(1210)는 디스플레이부(1120) 또는 단말기(1230)의 디스플레이부(미도시)를 통해, 디스플레이 장치(1210)에서 컨텐츠를 출력할 것인지를 질의하는 텍스트 알림 또는 이미지 알림을 출력할 수도 있고, 오디오 출력부(185) 또는 단말기(1230)의 오디오 출력부(미도시)를 통해, 디스플레이 장치(1210)에서 컨텐츠를 출력할 것인지를 질의하는 음성 알림을 출력할 수도 있다.
사용자(1240)의 단말기(1230)와 연계하여 컨텐츠를 출력할 것인지 여부에 대한 질의 또는 알림은 사용자(1240)의 설정에 의해 활성화 또는 비활성화될 수 있으며, 이러한 설정 값은 디스플레이 장치(1210) 또는 단말기(1230)에 저장될 수 있다. 특히, 질의 또는 알림에 대한 설정 값은 활성화, 비활성화(자동 전환 ON), 비활성화(자동 전환 OFF)의 3개의 값을 포함할 수 있다. 활성화는 디스플레이 장치(1210)에서의 컨텐츠 출력 여부 (또는, 컨텐츠 출력 장치의 전환 여부)를 항상 질의하고, 질의 결과에 따라 디스플레이 장치(1210)에서의 컨텐츠 출력 여부를 결정하는 설정 값을 의미할 수 있다. 비활성화(자동 전환 ON)은 디스플레이 장치(1210)에서의 컨텐츠 출력 여부를 질의하지 않고, 자동으로 디스플레이 장치(1210)에서 컨텐츠를 출력하는 설정 값을 의미할 수 있다. 비활성화(자동 전환 OFF)는 디스플레이 장치(1210)에서의 컨텐츠 출력 여부를 질의하지 않고, 디스플레이 장치(1210)에서 컨텐츠를 출력하지 않는 설정 값을 의미할 수 있다.
도 12의 (c)를 참조하면, 디스플레이 장치(1210)는 단말기(1230)와 연계하여 컨텐츠를 출력할 것인지 여부를 질의(1211)하고, 사용자(1240)의 동의 의사를 확인하면, 사용자(1240)의 단말기(1230)에서 출력 중이던 컨텐츠를 디스플레이 장치(1210)에서 출력할 수 있다. 그리고, 사용자(1240)의 단말기(1230)는 컨텐츠의 출력을 중단할 수 있다. 이 경우, 단말기(1230)는 WoL(Wake on LAN), WoWLAN(Wake on Wireless LAN) 또는 WoBLE(Wake on BLE) 등을 통해 디스플레이 장치(1210)의 전원을 켜거나 동작을 활성화할 수 있다.
사용자(1240)의 동의 의사는 사용자(1240)의 명시적 동의 음성, 묵시적 동의 음성, 미리 설정된 동의 제스쳐, 입력부에 입력된 동의 입력 등을 포함할 수 있다.
비록 도 12는 디스플레이 장치(1210)가 컨텐츠를 출력 중이지 않은 상황에서 단말기(1230)가 디스플레이 장치(1210)의 시청 영역(1220)에 진입하는 예시를 도시하고 있으나, 본 개시가 이에 한정되지 않는다. 즉, 디스플레이 장치(1210)가 제1 컨텐츠를 출력 중이고, 제2 컨텐츠를 출력하는 단말기(1230)가 디스플레이 장치(1210)의 시청 영역(1220)에 진입하는 경우에도, 디스플레이 장치(1210)는 제1 컨텐츠를 대신하여 단말기(1230)에서 출력 중이던 제2 컨텐츠를 출력할 수 있다. 이 경우에도, 실시 예에 따라, 디스플레이 장치(1210)는 사용자(1240)에게 제2 컨텐츠를 계속하여 출력할 것인지 여부를 질의하고, 질의에 대한 응답에 기초하여 제2 컨텐츠의 출력 여부를 결정할 수 있다.
도 13은 본 개시의 일 실시 예에 따른 사용자 단말기와 연계하여 컨텐츠를 제공하는 방법을 나타낸 래더 다이어그램이다.
도 13을 참조하면, 디스플레이 장치(100)와 단말기(300) 사이에 NAN 연결이 수립되고(S1301), 디스플레이 장치(100)는 NAN 연결이 수립된 단말기(300)에 대한 위치 정보를 획득한다(S1303). 디스플레이 장치(100)는 단말기(300)와 연결이 유지되는 동안에 실시간으로 또는 미리 정해진 주기마다 단말기(300)에 대한 위치 정보를 획득할 수 있다. 디스플레이 장치(100)는 연결된 단말기(300)에 대한 위치 정보를 획득하므로, 단말기(300)에 대한 위치 정보를 획득하는 단계(S1303)는 NAN 연결을 수립하는 단계(S1301)가 수행된 이후에 수행된다.
디스플레이 장치(100)와 단말기(300) 사이에 NAN 연결이 수립된 경우, 디스플레이 장치(100)와 단말기(300)는 페어링(pairing) 되었다고 볼 수 있으며, 디스플레이 장치(100)와 단말기(300) 각각은 페어링 정보를 저장할 수 있다.
그리고, 단말기(300)는 출력 대상 컨텐츠를 출력한다(S1305).
비록 도 13에서는 디스플레이 장치(100)와 단말기(300)가 연결된 이후에 단말기(300)가 컨텐츠를 출력하는 것으로 도시되어 있으나, 본 개시가 이에 한정되지 않는다. 즉, 디스플레이 장치(100)와 단말기(300)가 NAN 연결을 수립하는 단계(S1301)와 단말기(300)가 컨텐츠를 출력하는 단계(S1305)는 수행되는 순서가 서로 바뀔 수도 있으며, 서로 병렬적으로 수행될 수도 있다.
그리고, 디스플레이 장치(100)는 연결된 단말기(300)가 디스플레이 장치(100)의 시청 영역에 진입하였는지 판단한다(S1307).
단계(S1307)의 판단 결과, 단말기(300)가 디스플레이 장치(100)의 시청 영역에 진입하지 않은 경우, 디스플레이 장치(100)는 단말기(300)가 디스플레이 장치(100)의 시청 영역에 진입하였는지 판단하는 단계(S1307)를 계속하여 수행한다.
단계(S1307)의 판단 결과, 단말기(300)가 디스플레이 장치(100)의 시청 영역에 진입한 경우, 디스플레이 장치(100)는 단말기(300)에 컨텐츠 출력 정보를 요청하고(S1309), 단말기(300)로부터 컨텐츠 출력 정보를 수신하며(S1311), 수신한 컨텐츠 출력 정보에 기초하여 컨텐츠를 출력한다(S1313).
상술한 것과 같이, 컨텐츠 출력 정보는 컨텐츠 데이터, 컨텐츠를 출력할 때의 화면 데이터 또는 컨텐츠에 대응하는 연결 정보를 의미할 수 있다. 만약, 단말기(300)가 별도의 컨텐츠 제공자(500) 또는 다른 외부 장치로부터 컨텐츠 데이터를 수신하는 경우라면, 단말기(300)는 디스플레이 장치(100)에 수신한 컨텐츠 데이터, 컨텐츠를 출력하는 화면 데이터 또는 컨텐츠에 대응하는 연결 정보를 전송할 수 있고, 디스플레이 장치(100)는 수신한 정보에 기초하여 컨텐츠를 출력할 수 있다. 반면, 단말기(300)가 메모리(미도시)에 저장된 컨텐츠를 출력하는 경우라면, 단말기(300)는 디스플레이 장치(100)에 저장된 컨텐츠 데이터 또는 컨텐츠를 출력하는 화면 데이터를 전송할 수 있고, 디스플레이 장치(100)는 수신한 정보에 기초하여 컨텐츠를 출력할 수 있다.
도 14는 복수의 디스플레이 장치가 사용자 단말기와 연계하여 컨텐츠를 제공하는 일 실시 예를 나타낸 도면이다.
도 14를 참조하면, 사용자(1440)의 단말기(1430)는 제1 디스플레이 장치(1410_1)와 연결된 상태이며, 사용자(1440)는 단말기(1430)를 소지한 상태로 제1 디스플레이 장치(1410_1)에서 출력되는 컨텐츠를 시청할 수 있다. 그리고, 제1 디스플레이 장치(1410_1)는 제1 디스플레이 장치(1410_1)에 대한 제1 시청 영역(1420_1)을 기초로 단말기(1430) 또는 사용자(1440)의 제1 시청 영역(1420_1)에서의 이탈을 판단할 수 있다.
도 14의 (a)를 참조하면, 사용자(1440)의 단말기(1430)는 제1 디스플레이 장치(1410_1)에 대한 제1 시청 영역(1420_1) 내에 위치한다. 따라서, 제1 디스플레이 장치(1410_1)는 출력하던 컨텐츠를 계속하여 출력할 수 있다. 그리고, 제2 디스플레이 장치(1410_2)는 컨텐츠를 출력하고 있지 않는 상태이며, 사용자(1440)의 단말기(1430)는 제2 디스플레이 장치(1410_2)의 제2 시청 영역(1420_2) 밖에 위치한다.
도 14의 (b)를 참조하면, 도 14의 (a)와 비교하여, 사용자(1440)가 단말기(1430)를 소지한 상태로 이동하였으며, 사용자(1440)의 단말기(1430)가 제1 디스플레이 장치(1410_1)에 대한 제1 시청 영역(1420_1)에서 이탈하였다. 따라서, 제1 디스플레이 장치(1410_1)는 사용자(1440)가 제1 시청 영역(1420_1)에서 이탈하였다고 판단할 수 있고, 사용자(1440)의 단말기(1430)에서 컨텐츠를 출력할 수 있다. 그리고, 제1 디스플레이 장치(1410_1)는 컨텐츠의 출력을 중단할 수 있다.
도 14의 (c)를 참조하면, 도 14의 (b)와 비교하여, 사용자(1440)가 단말기(1430)를 소지한 상태로 이동하였으며, 사용자(1440)의 단말기(1430)가 제2 디스플레이 장치(1410_2)에 대한 제2 시청 영역(1420_2)으로 진입하였다. 따라서, 제2 디스플레이 장치(1410_2)는 사용자(1440)가 제2 시청 영역(1420_2)으로 진입하였다고 판단할 수 있고, 사용자(1440)의 단말기(1430)에서 출력 중이던 컨텐츠를 제2 디스플레이 장치(1410_2)에서 출력할 수 있다. 그리고, 사용자(1440)의 단말기(1430)는 컨텐츠의 출력을 중단할 수 있다.
비록 도 14에서는 단말기(1430) 또는 제2 디스플레이 장치(1410_2)에서 컨텐츠를 출력할 것인지를 질의하는 알림을 출력하는 구성이 개시되지 않았으나, 본 개시가 이에 한정되지 않는다. 즉, 제1 디스플레이 장치(1410_1) 또는 제2 디스플레이 장치(1410_2)는 단말기(1430) 또는 제2 디스플레이 장치(1410_2)에서 컨텐츠를 출력할 것인지를 질의하는 알림을 출력하고, 알림에 대응하는 응답에 기초하여 컨텐츠의 출력 여부를 결정할 수 있다.
도 15는 복수의 디스플레이 장치가 사용자 단말기와 연계하여 컨텐츠를 제공하는 일 실시 예를 나타낸 도면이다.
도 15를 참조하면, 제1 사용자(1440_1)의 제1 단말기(1430_1)와 제2 사용자(1440_2)의 제2 단말기(1430_2)는 각각 제1 디스플레이 장치(1410_1) 및 제2 디스플레이 장치(1410_2)와 연결된 상태이며, 제1 사용자(1440_1)와 제2 사용자(1440_2)는 각각 제1 단말기(1430_1)와 제2 단말기(1430_2)를 소지한 상태로 제1 디스플레이 장치(1410_1)에서 출력되는 컨텐츠를 시청할 수 있다. 그리고, 제1 디스플레이 장치(1410_1)는 제1 디스플레이 장치(1410_1)에 대한 제1 시청 영역(1420_1)을 기초로 제1 단말기(1430_1), 제2 단말기(1430_2), 제1 사용자(1440_1) 또는 제2 사용자(1440_2)의 제1 시청 영역(1420_1)에서의 이탈을 판단할 수 있다.
도 15의 (a)를 참조하면, 제1 사용자(1440_1)의 제1 단말기(1430_1)와 제2 사용자(1440_2)의 제2 단말기(1430_2)는 제1 디스플레이 장치(1410_1)에 대한 제1 시청 영역(1420_1) 내에 위치한다. 따라서, 제1 디스플레이 장치(1410_1)는 출력하던 컨텐츠를 계속하여 출력할 수 있다. 그리고, 제2 디스플레이 장치(1410_2)는 컨텐츠를 출력하고 있지 않는 상태이며, 제1 사용자(1440_1)의 제1 단말기(1430_1)와 제2 사용자(1440_2)의 제2 단말기(1430_2)는 제2 디스플레이 장치(1410_2)의 제2 시청 영역(1420_2) 밖에 위치한다.
도 15의 (b)를 참조하면, 도 15의 (a)와 비교하여, 제1 사용자(1440_1)가 제1 단말기(1430_1)를 소지한 상태로 이동하였으며, 제1 사용자(1440_1)의 제1 단말기(1430_1)가 제1 디스플레이 장치(1410_1)에 대한 제1 시청 영역(1420_1)에서 이탈하였다. 따라서, 제1 디스플레이 장치(1410_1)는 제1 사용자(1440_1)가 제1 시청 영역(1420_1)에서 이탈하였다고 판단할 수 있고, 제1 사용자(1440_1)의 제1 단말기(1430_1)에서 컨텐츠를 출력할 수 있다.
하지만, 제1 디스플레이 장치(1410_1)는 제1 사용자(1440_1)의 제1 단말기(1430_1) 이외에도 제2 사용자(1440_2)의 제2 단말기(1430_2)와 연결되어 있으며, 제2 사용자(1440_2)의 제2 단말기(1430_2)가 여전히 제1 디스플레이 장치(1410_1)에 대한 제1 시청 영역(1420_1) 내에 위치함을 파악할 수 있다. 따라서, 제1 디스플레이 장치(1410_1)는 제1 사용자(1440_1)의 제1 단말기(1430_1)에서 컨텐츠를 출력하더라도, 제2 사용자(1440_2)가 컨텐츠를 시청할 수 있도록 제1 디스플레이 장치(1410_1)에서의 컨텐츠 출력을 중단하지 않을 수 있다. 즉, 제1 디스플레이 장치(1410_1)는 출력 중이던 컨텐츠를 계속하여 출력하면서, 동시에 제1 사용자(1440_1)의 제1 단말기(1430_1)를 통해 컨텐츠를 출력할 수 있다.
도 15의 (c)를 참조하면, 도 15의 (b)와 비교하여, 제1 사용자(1440_1)가 제1 단말기(1430_1)를 소지한 상태로 이동하였으며, 제1 사용자(1440_1)의 제1 단말기(1430_1)가 제2 디스플레이 장치(1410_2)에 대한 제2 시청 영역(1420_2)으로 진입하였다. 따라서, 제2 디스플레이 장치(1410_2)는 제1 사용자(1440_1)가 제2 시청 영역(1420_2)으로 진입하였다고 판단할 수 있고, 제1 사용자(1440_1)의 제1 단말기(1430_1)에서 출력 중이던 컨텐츠를 제2 디스플레이 장치(1410_2)에서 출력할 수 있다. 그리고, 제1 사용자(1440_1)의 제1 단말기(1430_1)는 컨텐츠의 출력을 중단할 수 있다.
비록 도 15에서는 제1 단말기(1430_1) 또는 제2 디스플레이 장치(1410_2)에서 컨텐츠를 출력할 것인지를 질의하는 알림을 출력하는 구성이 개시되지 않았으나, 본 개시가 이에 한정되지 않는다. 즉, 제1 디스플레이 장치(1410_1) 또는 제2 디스플레이 장치(1410_2)는 제1 단말기(1430_1) 또는 제2 디스플레이 장치(1410_2)에서 컨텐츠를 출력할 것인지를 질의하는 알림을 출력하고, 알림에 대응하는 응답에 기초하여 컨텐츠의 출력 여부를 결정할 수 있다.
도 16은 본 개시의 일 실시 예에 따른 사용자 단말기와 연계하여 컨텐츠를 제공하는 방법을 나타낸 래더 다이어그램이다.
도 16을 참조하면, 제1 디스플레이 장치(100_1)와 단말기(300) 사이에 NAN 연결이 수립되고(S1601), 제1 디스플레이 장치(100_1)는 NAN 연결이 수립된 단말기(300)에 대한 위치 정보를 획득한다(S1603). 제1 디스플레이 장치(100_1)는 단말기(300)와 연결이 유지되는 동안에 실시간으로 또는 미리 정해진 주기마다 단말기(300)에 대한 위치 정보를 획득할 수 있다. 제1 디스플레이 장치(100_1)는 연결된 단말기(300)에 대한 위치 정보를 획득하므로, 단말기(300)에 대한 위치 정보를 획득하는 단계(S1603)는 NAN 연결을 수립하는 단계(S1601)가 수행된 이후에 수행된다.
그리고, 제2 디스플레이 장치(100_2)와 단말기(300) 사이에 NAN 연결이 수립되고(S1605), 제2 디스플레이 장치(100_2)는 NAN 연결이 수립된 단말기(300)에 대한 위치 정보를 획득한다(S1607). 제2 디스플레이 장치(100_2)는 단말기(300)와 연결이 유지되는 동안에 실시간으로 또는 미리 정해진 주기마다 단말기(300)에 대한 위치 정보를 획득할 수 있다. 제2 디스플레이 장치(100_2)는 연결된 단말기(300)에 대한 위치 정보를 획득하므로, 단말기(300)에 대한 위치 정보를 획득하는 단계(S1607)는 NAN 연결을 수립하는 단계(S1605)가 수행된 이후에 수행된다.
비록 도 16에서는 제1 디스플레이 장치(100_1)와 단말기(300)가 NAN 연결을 수립한 이후에 제2 디스플레이 장치(100_2)와 단말기(300)가 NAN 연결을 수립하는 것으로 도시되어 있으나, 본 개시가 이에 한정되지 않는다. 즉, 제1 디스플레이 장치(100_1)와 단말기(300)가 NAN 연결을 수립하는 시점과 제2 디스플레이 장치(100_2)와 단말기(300)가 NAN 연결을 수립하는 시점은 상호 독립적이며, 서로 병렬적으로 수행될 수도 있고 선후가 바뀔 수도 있다. 또한, 제1 디스플레이 장치(100_1)와 단말기(300) 사이의 NAN 연결과 제2 디스플레이 장치(100_2)와 단말기(300) 사이의 NAN 연결이 동시에 유지될 필요도 없다.
그리고, 제1 디스플레이 장치(100_1)는 출력 대상 컨텐츠를 출력한다(S1609).
비록 도 16에서는 제1 디스플레이 장치(100_1)와 단말기(300)가 연결된 이후에 제1 디스플레이 장치(100_1)가 컨텐츠를 출력하는 것으로 도시되어 있으나, 본 개시가 이에 한정되지 않는다. 즉, 제1 디스플레이 장치(100_1)와 단말기(300)가 NAN 연결을 수립하는 단계(S1601)와 제1 디스플레이 장치(100_1)가 컨텐츠를 출력하는 단계(S1609)는 수행되는 순서가 서로 바뀔 수도 있으며, 서로 병렬적으로 수행될 수도 있다.
그리고, 제1 디스플레이 장치(100_1)는 연결된 단말기(300)가 제1 디스플레이 장치(100_1)의 시청 영역에서 이탈하였는지 판단한다(S1611).
단계(S1611)의 판단 결과, 단말기(300)가 제1 디스플레이 장치(100_1)의 시청 영역에서 이탈하지 않은 경우, 제1 디스플레이 장치(100_1)는 단말기(300)가 제1 디스플레이 장치(100_1)의 시청 영역에서 이탈하였는지 판단하는 단계(S1611)를 계속하여 수행한다.
단계(S1611)의 판단 결과, 단말기(300)가 제1 디스플레이 장치(100_1)의 시청 영역에서 이탈한 경우, 제1 디스플레이 장치(100_1)는 단말기(300)에 컨텐츠 출력 정보를 전송하고(S1613), 단말기(300)는 수신한 컨텐츠 출력 정보에 기초하여 컨텐츠를 출력한다(S1615).
그리고, 제2 디스플레이 장치(100_2)는 연결된 단말기(300)가 제2 디스플레이 장치(100_2)의 시청 영역에 진입하였는지 판단한다(S1617).
단계(S1617)의 판단 결과, 단말기(300)가 제2 디스플레이 장치(100_2)의 시청 영역에 진입하지 않은 경우, 제2 디스플레이 장치(100_2)는 단말기(300)가 제2 디스플레이 장치(100_2)의 시청 영역에 진입하였는지 판단하는 단계(S1617)를 계속하여 수행한다.
단계(S1617)의 판단 결과, 단말기(300)가 제2 디스플레이 장치(100_2)의 시청 영역에 진입한 경우, 제2 디스플레이 장치(100_2)는 단말기(300)에 컨텐츠 출력 정보를 요청하고(S1619), 단말기(300)로부터 컨텐츠 출력 정보를 수신하며(S1621), 수신한 컨텐츠 출력 정보에 기초하여 컨텐츠를 출력한다(S1623).
일 실시 예에서, 제1 디스플레이 장치(100_1) 또는 제2 디스플레이 장치(100_2)가 허브 장치 또는 메인 디스플레이 장치로 기능할 수 있고, 메인 디스플레이 장치가 다른 디스플레이 장치 (또는 서브 디스플레이 장치)의 시청 영역에 사용자 단말기(300)가 진입하였는지를 대신 판단할 수도 있다. 예컨대, 제1 디스플레이 장치(100_1)가 메인 디스플레이 장치라면, 제1 디스플레이 장치(100_1)는 단말기(300)가 제2 디스플레이 장치(100_2)의 시청 영역에 진입하는지 판단할 수 있고, 단말기(300)가 제2 디스플레이 장치(100_2)의 시청 영역에 진입하면 단말기(300)가 제2 디스플레이 장치(100_2)를 통해 컨텐츠를 출력하도록 제어할 수 있다.
도 17은 NAN 단말의 구조의 일 예를 나타낸 도면이다.
NAN 단말은 NAN 통신을 수행하는 단말을 의미하며, 본 개시에서의 디스플레이 장치(100)와 단말기(300)를 모두 지칭할 수 있다.
도 17을 참조하면, NAN 단말은 802.11의 물리 계층을 기반으로 하며, NAN 엔진(NAN Engine), 각 애플리케이션(Application 1, Application 2, ?? , Application N)으로의 NAN API들이 주요 컴포넌트이다.
NAN 엔진에는 NAN 디스커버리 엔진(NAN Discovery Engine), 레인징 엔진(Ranging Engine), NAN 데이터 엔진(NAN Data Engine), NAN 스케줄러(NAN Scheduler), NAN MAC (Medium Access Control)가 포함될 수 있다.
서비스 요청 및 응답은 NAN 디스커버리 엔진을 통해 처리되며, NAN MAC은 NAN 비콘 프레임들과 NAN 서비스 디스커버리 프레임을 처리할 수 있다. NAN 디스커버리 엔진은 서브스크라이브(Subscribe), 퍼블리시(Publish) 및 팔로우-업(Follow-up)의 기능을 제공할 수 있다. 퍼블리시/서브스크라이브 기능은 서비스/애플리케이션으로부터 서비스 인터페이스를 통해 동작한다. 퍼블리시/서브스크라이브 명령이 실행되면 퍼블리시/서브스크라이브 기능의 인스턴스(instance)가 생성된다. 각 인스턴스는 독립적으로 구동되며 구현에 따라 동시에 여러 개의 인스턴스가 구동될 수도 있다. 팔로우-업 기능은 서비스 특정 정보를 송수신하는 서비스/애플리케이션을 위한 수단이다.
레인징 엔진은 NAN 연결된 다른 NAN 단말의 거리를 측정할 수 있다.
NAN 데이터 엔진은 NAN 연결된 다른 NAN 단말과 데이터 경로(Data Path)와 송수신할 데이터를 특정하여 데이터를 송수신할 수 있다.
NAN 단말 간에 NAN 연결을 수립하기 위한 연결 거리와 데이터를 송수신하기 위한 데이터 송수신 거리가 서로 다를 수 있으며, 연결 거리가 데이터 송수신 거리가 클 수 있다. NAN 단말은 NAN 연결된 다른 NAN 단말과의 거리를 측정하고, 측정된 거리가 데이터 송수신 거리 이내인 경우에 필요한 데이터를 송수신할 수 있다.
도 18은 본 개시의 일 실시 예에 따른 디스플레이 장치와 단말기 사이에 NAN 연결을 수립하는 방법을 나타낸 래더 다이어그램이다.
도 18을 참조하면, 디스플레이 장치(100)와 단말기(300)는 NAN 단말이며, 디스플레이 장치(100)는 서비스/어플리케이션(1811) 및 NAN 엔진(1812)을 포함하고, 단말기(300)는 NAN 엔진(1821) 및 서비스/어플리케이션(1822)을 포함할 수 있다.
디스플레이 장치(100)의 서비스/어플리케이션(1811)은 NAN을 이용한 서비스 제공을 위하여 NAN 엔진(1812)에 대하여 NAN 서비스의 게시(publish)를 요청한다(S1831). 이에 따라, 디스플레이 장치(100)의 NAN 엔진(1812)은 NAN 연결을 위한 NAN 서비스를 게시하여 다른 NAN 단말들에 NAN 연결 정보를 제공할 수 있다.
단말기(300)의 서비스/어플리케이션(1822)은 NAN을 이용한 서비스를 이용하기 위하여 NAN 엔진(1821)에 대하여 NAN 서비스의 구독(subscribe)을 요청한다(S1833). 그리고, 단말기(300)의 NAN 엔진(1821)은 디스플레이 장치(100)의 NAN 엔진(1812)에서 게시한 NAN 서비스를 구독한다(S1835).
디스플레이 장치(100)의 NAN 엔진(1812)은 단말기(300)의 NAN 엔진(1821)의 NAN 서비스 구독에 응하여, NAN 서비스에 관한 정보를 게시한다(S1837). 여기서, 게시되는 정보에는 요구되는 유니캐스트 NAN 데이터 경로(Unicast NAN Data Path) 및 오픈 시큐리티(Open Security)를 포함하는 SDEA(Service Descriptor Extension Attribute)가 포함될 수 있다.
단말기(300)의 NAN 엔진(1821)은 획득한 NAN 서비스에 관한 정보에 기초한 디스커버리 결과(DiscoveryResult)를 서비스/어플리케이션(1822)에 전달한다(S1839).
이에 따라, 디스플레이 장치(100)와 단말기(300) 사이의 NAN 연결이 수립될 수 있다(S1841).
특히, 디스플레이 장치(100)와 단말기(300)는 서로 직접 통신하여 NAN 연결을 수립할 수도 있지만, 중간에 AP(Access Point)를 거쳐 통신하여 NAN 연결을 수립할 수도 있다.
도 19는 본 개시의 일 실시 예에 따른 사용자 단말기와 연계하여 컨텐츠를 제공하는 방법을 나타낸 래더 다이어그램이다.
구체적으로, 도 19는 컨텐츠를 출력 중인 단말기(300)가 디스플레이 장치(100)로 접근하여 디스플레이 장치(100)의 시청 영역에 진입하는 상황에서의 실시 예를 나타낸다.
도 19를 참조하면, 단말기(300)는 통신 기능을 갖는 장치들(1911, 1912)과 네트워크 연결이 수립된다(S1921). 예컨대, 단말기(300)와 연결된 장치들은 에어컨(1911)과 공기 청정기(1912)일 수 있다. 단말기(300), 에어컨(1911) 및 공기 청정기(1912) 사이의 네트워크는 서로 직접 통신하여 연결될 수도 있으며, 중간에 AP(Access Point)를 통해 통신하여 연결될 수도 있다. 또한, 단말기(300), 에어컨(1911) 및 공기 청정기(1912) 사이의 네트워크 연결은 유선 네트워크, WAN, NAN 등의 다양한 네트워크 연결을 포함할 수 있다.
디스플레이 장치(100)는 통신 기능을 갖는 장치들(1913, 1914)과 네트워크 연결이 수립된다(S1923). 예컨대, 디스플레이 장치(100)와 연결된 장치들은 인공 지능 스피커(1913)와 조명(1914)일 수 있다. 디스플레이 장치(100), 인공 지능 스피커(1913) 및 조명(1914) 사이의 네트워크는 서로 직접 통신하여 연결될 수도 있으며, 중간에 AP(Access Point)를 통해 통신하여 연결될 수도 있다. 또한, 디스플레이 장치(100), 인공 지능 스피커(1913) 및 조명(1914) 사이의 네트워크 연결은 유선 네트워크, WAN, NAN 등의 다양한 네트워크 연결을 포함할 수 있다.
그리고, 디스플레이 장치(100)와 단말기(300) 사이에 NAN 연결이 수립되고(S1925), 디스플레이 장치(100)와 단말기(300)는 단말기(300)에 대한 위치 정보를 획득한다(S1927). 디스플레이 장치(100)가 단말기(300)에 대한 위치 정보를 획득하는 과정은 단말기(300)로부터 위치 정보를 직접 수신하는 것뿐만 아니라, 단말기(300)와 송수신하는 통신 신호에 기초하여 단말기(300)의 위치 정보를 직접 생성하는 것을 포함할 수 있다. 이 과정에서, 단말기(300) 역시 자신의 위치 정보를 전달받음으로써, 자신의 위치 정보를 획득할 수 있다. 단말기(300)에 대한 위치 정보는 디스플레이 장치(100)와 NAN 연결이 유지되는 동안 주기적으로 또는 실시간으로 갱신될 수 있다.
그리고, 단말기(300)는 출력 대상 컨텐츠를 출력한다(S1929).
비록 도 19에서는 디스플레이 장치(100)와 단말기(300)가 연결된 이후에 단말기(300)가 컨텐츠를 출력하는 것으로 도시되어 있으나, 본 개시가 이에 한정되지 않는다. 즉, 디스플레이 장치(100)와 단말기(300)가 NAN 연결을 수립하는 단계(S1925)와 단말기(300)가 컨텐츠를 출력하는 단계(S1929)는 수행되는 순서가 서로 바뀔 수도 있으며, 서로 병렬적으로 수행될 수도 있다.
그리고, 디스플레이 장치(100)는 단말기(300)가 디스플레이 장치(100)의 시청 영역에 진입하였음을 판단하고(S1931), 단말기(300)에 컨텐츠 출력 정보를 요청하고(S1933), 단말기(300)로부터 컨텐츠 출력 정보를 수신하며(S1935), 수신한 컨텐츠 출력 정보에 기초하여 컨텐츠를 출력한다(S1937).
그리고, 디스플레이 장치(100)는 연결된 외부 장치들 중에서 허브로써 기능하는 인공 지능 스피커(1913)에 출력 대상 컨텐츠에 대응하는 컨텐츠 정보를 제공하고(S1939), 인공 지능 스피커(1913)는 제공 받은 컨텐츠 정보에 기초하여 디스플레이 장치(100)의 영상 출력 모드를 제어하고(S1941), 조명(1914)의 밝기 또는 전원을 제어한다(S1943). 예컨대, 출력 대상 컨텐츠가 영화인 경우, 인공 지능 스피커(1913)는 디스플레이 장치(100)의 영상 출력 모드를 '영화 모드'로 변경하고, 조명(1914)의 동작을 '비활성화'할 수 있다.
또한, 단말기(300)는 디스플레이 장치(100)로부터 컨텐츠 출력 정보를 요청받음에 따라 단말기(300)가 디스플레이 장치(100)의 시청 영역에 진입하였음을 파악할 수 있으며, 그에 따라 단말기(300)는 디스플레이 장치(100)의 시청 영역에 대한 공기 청정기(1912)의 풍량을 제어하고(S1945), 디스플레이 장치(100)의 시청 영역에 대한 에어컨(1911)의 온도, 풍량, 풍향 또는 동작 모드를 제어한다(S1947). 예컨대, 단말기(300)의 사용자가 선호하는 공기 청정기(1912)의 풍량이 '약풍'이고, 선호하는 온도가 '섭씨 25도씨'이며, 바람을 직접 쐬는 것을 선호하는 경우, 단말기(300)는 공기 청정기(1912)의 풍량을 '약풍'으로 조절하고, 에어컨(1911)의 모드를 '냉방 모드'로 조절하고 목표 온도를 '섭씨 25도씨'로 설정하고 풍향을 단말기(300)의 위치로 설정할 수 있다.
나아가, 디스플레이 장치(100)는 연결된 외부 장치인 인공 지능 스피커(1913)나 조명(1914)에서 발생한 알림을 단말기(300)에 전달할 수도 있다. 또한, 단말기(300)는 디스플레이 장치(100)의 시청 영역에 진입하면 주변의 외부 장치를 스캔하여 연결을 시도하고, 연결된 외부 장치를 제어하거나 연결된 외부 장치로부터 알림을 전달받을 수도 있다.
특히, 단말기(300)와 디스플레이 장치(100)는 단말기(300)에서 출력 중이던 출력 대상 컨텐츠를 디스플레이 장치(100)를 통해 출력하는 동작을 가장 높은 우선 순위로 처리하고, 그 이후에 컨텐츠의 출력과 관련된 제어 동작(예컨대, 조명 제어, 화면 모드 제어 등)을 처리하며, 마지막으로 컨텐츠의 출력과 관련되지 않은 제어 동작(예컨대, 냉방 제어, 알림 제공 등)을 처리할 수 있다.
도 20은 본 개시의 일 실시 예에 따른 사용자 단말기와 연계하여 컨텐츠를 제공하는 방법을 나타낸 래더 다이어그램이다.
구체적으로, 도 20은 단말기(300)가 컨텐츠를 출력 중인 제1 디스플레이 장치(100_1)의 제1 시청 영역 내에 위치하다가, 제2 디스플레이 장치(100_2)로 접근하여 제2 디스플레이 장치(100_2)의 제2 시청 영역에 진입하는 상황에서의 실시 예를 나타낸다.
도 20을 참조하면, 제1 디스플레이 장치(100_1)는 통신 기능을 갖는 장치들(2011, 2012)과 네트워크 연결이 수립되고(S2021), 단말기(300)는 통신 기능을 갖는 장치(2013)와 네트워크 연결이 수립되고(S2023), 제2 디스플레이 장치(100_2)는 통신 기능을 갖는 장치들(2014, 2015)과 네트워크 연결이 수립된다(S2025). 예컨대, 제1 디스플레이 장치(100_1)는 (동일한 공간에 설치된) 제1 에어컨(2011) 및 제1 조명(2012)과 연결되고, 단말기(300)는 선풍기(2013)와 연결되며, 제2 디스플레이 장치(100_2)는 (동일한 공간에 설치된) 제2 조명(2014) 및 제2 에어컨(2015)와 연결될 수 있다. 또한, 제1 디스플레이 장치(100_1), 단말기(300) 또는 제2 디스플레이 장치(100_2)는 통신 기능을 갖는 장치들(2011 내지 2015)과 직접 연결될 수도 있고, 중간에 AP를 통해 통신하여 연결될 수도 있다.
일 실시 예에서, 제1 디스플레이 장치(100_1)에 대한 네트워크 연결을 수립하는 단계(S2021), 단말기(300)에 대한 네트워크 연결을 수립하는 단계(S2023) 및 제2 디스플레이 장치(100_2)에 대한 네트워크 연결을 수립하는 단계(S2025)는 서로 병렬적으로 수행될 수도 있고, 임의의 순서로 수행될 수도 있다.
그리고, 제1 디스플레이 장치(100_1)와 단말기(300) 사이에 NAN 연결이 수립되고(S2027), 제1 디스플레이 장치(100_1)와 단말기(300)는 단말기(300)에 대한 위치 정보를 획득한다(S2029). 또한, 제2 디스플레이 장치(100_2)와 단말기(300) 사이에 NAN 연결이 수립되고(S2031), 제2 디스플레이 장치(100_1)와 단말기(300)는 단말기(300)에 대한 위치 정보를 획득한다(S2033). 단말기(300)에 대한 위치 정보는 제1 디스플레이 장치(100_1) 또는 제2 디스플레이 장치(100_1)와 NAN 연결이 유지되는 동안 주기적으로 또는 실시간으로 갱신될 수 있다.
제1 디스플레이 장치(100_1)와 단말기(300) 사이에 NAN 연결이 수립되고 제2 디스플레이 장치(100_2)와 단말기(300) 사이에 NAN 연결이 수립된 경우, 제1 디스플레이 장치(100_1)와 제2 디스플레이 장치(100_2)는 단말기(300)와 함께 동일한 NAN 네트워크에 속하여 서로 직접 통신할 수도 있고, 또는 서로 단말기(300)를 통해서 통신할 수도 있다.
일 실시 예에서, 제1 디스플레이 장치(100_1)와 단말기(300) 사이에 NAN 연결을 수립하는 단계(S2027)와 제2 디스플레이 장치(100_2)와 단말기(300) 사이에 NAN 연결을 수립하는 단계(S2031)는 서로 병렬적으로 수행될 수도 있고, 임의의 순서로 수행될 수도 있다. 또한, 도 20에 도시된 것과는 달리, 제2 디스플레이 장치(100_2)와 단말기(300) 사이에 NAN 연결을 수립하는 단계(S2031)는 단말기(300)가 제1 디스플레이 장치(100_1)의 제1 시청 영역에서 이탈한 이후에 수행될 수도 있다.
그리고, 제1 디스플레이 장치(100_1)는 출력 대상 컨텐츠를 출력한다(S2035).
비록 도 19에서는 제1 디스플레이 장치(100_1)와 단말기(300)가 연결된 이후에 제1 디스플레이 장치(100_1)가 컨텐츠를 출력하는 것으로 도시되어 있으나, 본 개시가 이에 한정되지 않는다. 즉, 제1 디스플레이 장치(100_1)와 단말기(300)가 NAN 연결을 수립하는 단계(S2027)와 제1 디스플레이 장치(100_1)가 컨텐츠를 출력하는 단계(S2035)는 수행되는 순서가 서로 바뀔 수도 있으며, 서로 병렬적으로 수행될 수도 있다.
그리고, 제1 디스플레이 장치(100_1)는 단말기(300)가 제1 디스플레이 장치(100_1)의 제1 시청 영역에서 이탈하였음을 판단하고(S2037), 단말기(300)에 컨텐츠 출력 정보를 전송하고(S2039), 단말기(300)는 수신한 컨텐츠 출력 정보에 기초하여 컨텐츠를 출력한다(S2041).
그리고, 단말기(300)는 단말기(300)의 위치 정보에 기초하여 선풍기(2013)의 풍량 또는 풍향을 제어한다(S2043). 예컨대, 단말기(300)는 선풍기(2013)의 풍향을 단말기(300)의 방향으로 설정하고, 단말기(300)가 선풍기(2013)으로 멀어질수록 풍향을 강하게 설정할 수 있다. 또한, 제1 디스플레이 장치(100_1)는 단말기(300)가 제1 시청 영역에서 이탈함에 따라, 단말기(300)의 위치 정보에 기초하여 제1 조명(2012)의 밝기 또는 전원을 제어하고(S2045), 제1 에어컨(2011)의 온도, 풍량, 풍향 또는 동작 모드를 제어한다(S2047). 예컨대, 제1 디스플레이 장치(100_1)는 사용자 또는 단말기(300)가 제1 시청 영역에서 이탈하였으므로, 제1 조명(2012)의 밝기를 어둡게 설정하고, 제1 에어컨(2011)의 설정 온도를 높이거나 풍량을 약하게 설정할 수 있다. 또한, 비록 도 20에 도시되지는 않았으나, 제1 디스플레이 장치(100_1)는 제2 디스플레이 장치(100_2)를 통해 제2 조명(2014)와 제2 에어컨(2015)의 동작을 제어할 수도 있다.
단말기(300)가 제1 시청 영역에서 이탈함에 따라 단말기(300)에서 컨텐츠를 출력하는 단계들(S2039, S2041)과 다른 장치들을 제어하는 단계들(S2043 내지 S2047)은 병렬적으로 수행될 수도 있으나, 기본적으로 단말기(300)에서 컨텐츠를 출력하는 단계들(S2039, S2041)이 우선하여 처리될 수 있다. 그리고, 다른 장치들을 제어하는 단계들(S2043 내지 S2047)은 서로 병렬적으로 수행될 수도 있고, 임의의 순서로 수행될 수도 있다.
그리고, 제2 디스플레이 장치(100_2)는 단말기(300)가 제2 디스플레이 장치(100_2)의 제2 시청 영역에 진입하였음을 판단하고(S2049), 단말기(300)에 컨텐츠 출력 정보를 요청하고(S2051), 단말기(300)로부터 컨텐츠 출력 정보를 수신하며(S2053), 수신한 컨텐츠 출력 정보에 기초하여 컨텐츠를 출력한다(S2055).
그리고, 제2 디스플레이 장치(100_2)는 단말기(300)가 제2 시청 영역에 진입함에 따라, 단말기(300)의 위치 정보에 기초하여 제2 조명(2014)의 밝기 또는 전원을 제어하고(S2047), 제2 에어컨(2015)의 온도, 풍량, 풍향 또는 동작 모드를 제어한다(S2059). 예컨대, 제2 디스플레이 장치(100_2)는 제2 조명(2014)과 제2 에어컨(2015)에 전원을 공급하고, 사용자가 선호하는 설정으로 동작시킬 수 있다. 또한, 단말기(300)는 단말기(300)의 위치 정보에 기초하여 선풍기(2013)의 풍량 또는 풍향을 제어한다(S2061). 또한, 제1 디스플레이 장치(100_1)는 단말기(300)의 위치 정보에 기초하여 제1 조명(2012)의 밝기 또는 전원을 제어하고(S2063), 제1 에어컨(2011)의 온도, 풍량, 풍향 또는 동작 모드를 제어한다(S2065). 예컨대, 제1 디스플레이 장치(100_1)는 사용자 또는 단말기(300)가 제2 시청 영역에 진입하였으므로, 제1 조명(2012)과 제1 에어컨(2011)의 전원을 차단할 수 있다.
제1 디스플레이 장치(100_1)와 연결된 제1 에어컨(2011)과 제1 조명(2012)을 제어하는 단계들(S2063, S2065)은 단말기(300) 또는 제2 디스플레이 장치(100_2)가 제1 디스플레이 장치(100_1)를 통해 수행할 수도 있으며, 또는 제1 디스플레이 장치(100_1)가 직접 단말기(300)의 위치 변경을 판단하여 수행할 수도 있다.
단말기(300)가 제2 시청 영역에서 진입함에 따라 단말기(300)에서 컨텐츠를 출력하는 단계들(S2051 내지 S2055)과 다른 장치들을 제어하는 단계들(S2057 내지 S2065)은 병렬적으로 수행될 수도 있으나, 기본적으로 제2 디스플레이 장치(100_2)에서 컨텐츠를 출력하는 단계들(S2051 내지 S2055)이 우선하여 처리될 수 있다. 그리고, 다른 장치들을 제어하는 단계들(S2057 내지 S2065)은 서로 병렬적으로 수행될 수도 있고, 임의의 순서로 수행될 수도 있다.
도 21은 시청 영역 이탈 피드백에 기초하여 사용자 설정 시청 영역을 결정하는 일 실시 예를 나타낸 도면이다.
도 21을 참조하면, 디스플레이 장치(2110)는 사용자(2130) 또는 단말기(2120)로부터 시청 영역 이탈 피드백을 수신하고, 수신한 시청 영역 이탈 피드백에 기초하여 사용자 설정 시청 영역(2150)을 결정할 수 있다.
구체적으로, 사용자(2130)가 제1 지점(2141)에서 "단말기에서 재생해 줘."라고 발화(2131)하며, 디스플레이 장치(2110)에서 출력 중인 컨텐츠를 단말기(2120)에서 출력할 것을 요청할 경우, 이러한 요청은 사용자(2130) 또는 단말기(2120)가 시청 영역에서 이탈하였음을 나타내는 피드백으로 간주될 수 있다.
시청 영역에서 이탈하였음을 나타내는 피드백은, 도 21에 도시된 것과 같이, 사용자(2130)의 음성 발화뿐만 아니라, 디스플레이 장치(2110)에서 출력 중인 컨텐츠를 단말기(2120)에서 대신 출력케하는 제어도 포함한다. 즉, 사용자(2130)가 단말기(2120)를 제어하여 단말기(2120)를 통해 디스플레이 장치(2110)에서 출력 중인 컨텐츠를 출력케하는 경우, 이러한 행위는 사용자(2130) 또는 단말기(2120)가 시청 영역에서 이탈하였음을 나타내는 피드백으로 간주될 수 있다.
도 21에서, 제1 지점(2141), 제2 지점(2142), 제3 지점(2143) 및 제4 지점(2144)에서 획득된 피드백은 사용자(2130) 또는 단말기(2120)가 시청 영역에서 이탈하였음을 나타내는 피드백이다.
반면, 사용자가 제5 지점(2145)에서, "디스플레이 장치에서 재생해 줘."라고 발화(2132)하며, 단말기(2120)에서 출력 중인 컨텐츠를 디스플레이 장치(2110)에서 출력할 것을 요청할 경우, 이러한 요청은 사용자(2130) 또는 단말기(2120)가 시청 영역에서 이탈하지 않았음을 나타내는 피드백 (또는 시청 영역에 진입하였거나 시청 영역 내에 있음을 나타내는 피드백)으로 간주될 수 있다.
시청 영역에서 이탈하지 않았음을 나타내는 피드백은, 도 21에 도시된 것과 같이, 사용자(2130)의 음성 발화뿐만 아니라, 단말기(2120)에서 출력 중인 컨텐츠를 디스플레이 장치(2110)에서 대신 출력케하는 제어도 포함한다. 즉, 사용자(2130)가 단말기(2120)를 제어하여 디스플레이 장치(2110)를 통해 단말기(2120)에서 출력 중인 컨텐츠를 출력케하는 경우, 이러한 행위는 사용자(2130) 또는 단말기(2120)가 시청 영역에서 이탈하지 않았음을 나타내는 피드백으로 간주될 수 있다.
도 21에서, 제5 지점(2145), 제6 지점(2146), 제7 지점(2147) 및 제8 지점(2148)에서 획득된 피드백은 사용자(2130) 또는 단말기(2120)가 시청 영역에서 이탈하지 않았음을 나타내는 피드백이다.
그리고, 디스플레이 장치(2110)는 각 지점들(2141 내지 2148)에서 획득한 피드백들에 기초하여 사용자 설정 시청 영역(2150)을 결정할 수 있다. 결정된 사용자 설정 시청 영역(2150)은 제1 지점 내지 제4 지점(2141 내지 2144)을 포함하지 않으며, 제5 지점 내지 제8 지점(2145 내지 2148)을 포함할 수 있다.
사용자(2130) 또는 단말기(2120)로부터 수집되는 시청 영역 이탈 피드백이 많아질수록 보다 정교하게 사용자 설정 시청 영역을 설정할 수 있는 장점이 있다. 다만, 이러한 사용자(2130)가 생각하는 시청 영역은 시간의 흐름에 따라 달라질 수 있으므로, 수집하는 시청 영역 이탈 피드백은 수집된 시점이 멀어질수록 그 가중치 또는 중요도를 낮게 산정할 수 있다.
도 21는 별도의 지도 데이터 없이 디스플레이 장치(2110)와 단말기(2120) 사이의 위치 관계와 시청 영역 이탈 피드백에만 기초하여 사용자 설정 시청 영역을 결정하는 실시 예를 나타내었을 뿐으로, 디스플레이 장치(2110)가 설치된 공간에 대한 지도 데이터를 추가적으로 이용하여 사용자 설정 시청 영역을 결정할 수도 있다.
도 22는 시청 영역 이탈 피드백에 기초하여 사용자 설정 시청 영역을 결정하는 일 실시 예를 나타낸 도면이다.
도 22를 참조하면, 제1 디스플레이 장치(2210_1) 또는 제2 디스플레이 장치(2210_2)는 사용자(2030) 또는 단말기(2220)로부터 시청 영역 이탈 피드백을 수신하고, 지도 데이터와 수신한 시청 영역 이탈 피드백에 기초하여 제1 디스플레이 장치(2210_1)에 대응하는 제1 사용자 설정 시청 영역(2260_1)과 제2 디스플레이 장치(2210_2)에 대응하는 제2 사용자 설정 시청 영역(2260_2)을 결정할 수 있다.
구체적으로, 사용자(2230)가 제1 지점(2241)에서 "단말기에서 재생해 줘."라고 발화(2231)하며, 제1 디스플레이 장치(2210_1) 또는 제2 디스플레이 장치(2210_2)에서 출력 중인 컨텐츠를 단말기(2220)에서 출력할 것을 요청할 경우, 이러한 요청은 사용자(2230) 또는 단말기(2220)가 제1 디스플레이 장치(2210_1)의 제1 시청 영역과 제2 디스플레이 장치(2210_2)의 제2 시청 영역에서 이탈하였음을 나타내는 피드백으로 간주될 수 있다.
시청 영역에서 이탈하였음을 나타내는 피드백은, 도 22에 도시된 것과 같이, 사용자(2230)의 음성 발화뿐만 아니라, 제1 디스플레이 장치(2210_1) 또는 제2 디스플레이 장치(2210_2)에서 출력 중인 컨텐츠를 단말기(2220)에서 대신 출력케하는 제어도 포함한다.
도 22에서, 제1 지점(2241), 제2 지점(2242), 제3 지점(2243) 및 제4 지점(2244)에서 획득된 피드백은 사용자(2230) 또는 단말기(2220)가 제1 디스플레이 장치(2210_1)의 제1 시청 영역과 제2 디스플레이 장치(2210_2)의 제2 시청 영역에서 이탈하였음을 나타내는 피드백이다.
반면, 사용자가 제5 지점(2245)에서, "제1 디스플레이 장치에서 재생해 줘."라고 발화(2232)하며, 단말기(2220)에서 출력 중인 컨텐츠를 제1 디스플레이 장치(2210_1)에서 출력할 것을 요청할 경우, 이러한 요청은 사용자(2230) 또는 단말기(2220)가 제1 디스플레이 장치(2210_1)의 제1 시청 영역에서 이탈하지 않았음을 나타내는 피드백 (또는 제1 시청 영역에 진입하였거나 제1 시청 영역 내에 있음을 나타내는 피드백)으로 간주될 수 있다. 나아가, 단말기(2220)가 제1 디스플레이 장치(2210_1)의 제1 시청 영역에서 이탈하지 않았음을 나타내는 피드백은 단말기(2220)가 제2 디스플레이 장치(2210_2)의 제2 시청 영역에서 이탈하였음을 나타내는 피드백으로 간주할 수 있다.
도 22에서, 제5 지점(2245), 제6 지점(2246), 제7 지점(2247), 제8 지점(2248) 및 제9 지점(2249)에서 획득된 피드백은 사용자(2230) 또는 단말기(2220)가 제1 디스플레이 장치(2210_1)의 제1 시청 영역에서 이탈하지 않았음을 나타내는 피드백이다.
또한, 반면, 사용자가 제10 지점(2250)에서, "제2 디스플레이 장치에서 재생해 줘."라고 발화(2233)하며, 단말기(2220)에서 출력 중인 컨텐츠를 제2 디스플레이 장치(2210_2)에서 출력할 것을 요청할 경우, 이러한 요청은 사용자(2230) 또는 단말기(2220)가 제2 디스플레이 장치(2210_2)의 제2 시청 영역에서 이탈하지 않았음을 나타내는 피드백 (또는 제2 시청 영역에 진입하였거나 제2 시청 영역 내에 있음을 나타내는 피드백)으로 간주될 수 있다. 나아가, 단말기(2220)가 제2 디스플레이 장치(2210_2)의 제2 시청 영역에서 이탈하지 않았음을 나타내는 피드백은 단말기(2220)가 제1 디스플레이 장치(2210_1)의 제1 시청 영역에서 이탈하였음을 나타내는 피드백으로 간주할 수 있다.
도 22에서, 제10 지점(2250), 제11 지점(2251), 제12 지점(2252) 및 제13 지점(2253)에서 획득된 피드백은 사용자(2230) 또는 단말기(2220)가 제2 디스플레이 장치(2210_2)의 제2 시청 영역에서 이탈하지 않았음을 나타내는 피드백이다.
그리고, 제1 디스플레이 장치(2210_1) 또는 제2 디스플레이 장치(2210_2)는 각 지점들(2241 내지 2253)에서 획득한 피드백들에 기초하여 제1 디스플레이 장치(2210_1)에 대응하는 제1 사용자 시청 설정 영역(2260_1) 및 제2 디스플레이 장치(2210_2)에 대응하는 제2 사용자 시청 설정 영역(2260_2)을 결정할 수 있다. 결정된 제1 사용자 설정 시청 영역(2260_1)은 제1 지점 내지 제4 지점(2241 내지 2244) 및 제10 지점 내지 제13 지점(2250 내지 2253)을 포함하지 않으며, 제5 지점 내지 제9 지점(2245 내지 2249)을 포함할 수 있다. 또한, 결정된 제2 사용자 설정 시청 영역(2260_2)은 제5 지점 내지 제13 지점(2245 내지 2253)을 포함하지 않으며, 제1 지점 내지 제4 지점(2241 내지 2244)을 포함할 수 있다.
사용자 설정 시청 영역을 결정하는데 이용할 수 있는 지도 데이터에는 설계도 데이터, SLAM(Simultaneous Localization And Mapping) 지도 데이터 등이 포함될 수 있다.
도 23은 지도 데이터를 이용하여 시청 영역의 이탈 여부를 판단하는 방법을 나타내는 일 실시 예를 나타낸 도면이다.
도 23을 참조하면, 제1 디스플레이 장치(2320_1) 또는 제2 디스플레이 장치(2320_2)는 각 디스플레이 장치(2320_1 및 2320_2)가 설치된 공간 내부의 지도 데이터(2310)를 수신한다. 지도 데이터(2310)는 SLAM 지도 데이터일 수 있고, 이러한 지도 데이터(2310)는 이동 가능하며 적어도 하나 이상의 센서를 구비한 외부 장치(예컨대, 로봇 청소기)에 의하여 생성될 수 있다.
제1 디스플레이 장치(2320_1) 또는 제2 디스플레이 장치(2320_2)는 획득한 지도 데이터(2310)에 기초하여 실내 공간을 복수의 구역들로 구분할 수 있다. 예컨대, 도 23에 도시된 지도 데이터(2310)에서는 실내 공간이 7개의 구역들(2331 내지 2337)로 구분될 수 있다. 실내 공간이 구분되는 구역의 개수, 크기 또는 모양은 공간의 구조나 모양에 따라 달라질 수 있으며, 본 개시가 이에 한정되지 않는다.
그리고, 제1 디스플레이 장치(2320_1) 또는 제2 디스플레이 장치(2320_2)는 구분된 구역들(2331 내지 2337) 중에서 제1 구역(2331)에 제1 디스플레이 장치(2320_1)가 포함되어 있으므로, 제1 구역(2331)을 제1 디스플레이 장치(2320_1)의 제1 시청 구역과 동일하거나 유사하게 취급할 수 있다. 예컨대, 사용자의 단말기가 제1 구역(2331)에서 벗어난 것으로 판단되면, 제1 디스플레이 장치(2320_1) 또는 제2 디스플레이 장치(2320_2)는 사용자가 제1 디스플레이 장치(2320_1)의 제1 시청 구역에서 벗어난 것으로 판단할 수 있다.
마찬가지로, 제1 디스플레이 장치(2320_1) 또는 제2 디스플레이 장치(2320_2)는 구분된 구역들(2331 내지 2337) 중에서 제2 구역(2332)에 제2 디스플레이 장치(2320_2)가 포함되어 있으므로, 제2 구역(2332)을 제2 디스플레이 장치(2320_2)의 제2 시청 구역과 동일하거나 유사하게 취급할 수 있다. 예컨대, 사용자의 단말기가 제2 구역(2332)에서 벗어난 것으로 판단되면, 제1 디스플레이 장치(2320_1) 또는 제2 디스플레이 장치(2320_2)는 사용자가 제2 디스플레이 장치(2320_2)의 제2 시청 구역에서 벗어난 것으로 판단할 수 있다.
나아가, 도 22에 도시된 것과 같이, 사용자의 시청 구역 이탈 피드백을 추가적으로 고려하여 각 디스플레이 장치(2320_1 및 2320_2)의 시청 구역들이 결정될 수도 있다.
본 개시의 일 실시 예에 따르면, 전술한 방법은 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.

Claims (15)

  1. 디스플레이 장치에 있어서,
    디스플레이부;
    오디오 출력부;
    메모리;
    사용자의 단말기와 연결하는 통신부; 및
    상기 디스플레이부 또는 상기 오디오 출력부 중에서 적어도 하나 이상을 통해 상기 메모리에 저장된 또는 상기 통신부를 통해 수신한 컨텐츠를 출력하고, 상기 연결된 단말기의 위치를 결정하고, 상기 연결된 단말기가 시청 영역에서 이탈하였는지 판단하고, 상기 연결된 단말기가 상기 시청 영역에서 이탈한 것으로 판단되면 상기 연결된 단말기를 통해 상기 컨텐츠를 출력하는 프로세서
    를 포함하는, 디스플레이 장치.
  2. 청구항 1에 있어서,
    상기 프로세서는
    상기 연결된 단말기가 상기 시청 영역에서 이탈한 것으로 판단되면 상기 통신부를 통해 상기 연결된 단말기에 상기 컨텐츠의 계속 재생 여부를 질의하는 신호를 전송하고, 상기 연결된 단말기로부터 계속 재생을 동의하는 응답을 수신하면 상기 연결된 단말기를 통해 상기 컨텐츠를 출력하는, 디스플레이 장치.
  3. 청구항 1에 있어서,
    상기 프로세서는
    상기 통신부를 통해 상기 컨텐츠에 대응하는 데이터를 상기 연결된 단말기에 전송함으로써 상기 컨텐츠를 상기 연결된 단말기에서 출력하는, 디스플레이 장치.
  4. 청구항 1에 있어서,
    상기 프로세서는
    상기 통신부를 통해 상기 컨텐츠에 대응하는 연결 정보를 상기 연결된 단말기에 전송함으로써 상기 컨텐츠를 상기 연결된 단말기에서 출력하는, 디스플레이 장치.
  5. 청구항 1에 있어서,
    상기 프로세서는
    다른 연결된 단말기가 존재하는 경우에는 상기 연결된 단말기를 통해 상기 컨텐츠를 출력하더라도 상기 컨텐츠를 계속하여 출력하는, 디스플레이 장치.
  6. 청구항 1에 있어서,
    카메라
    를 더 포함하고,
    상기 프로세서는
    상기 카메라로부터 획득한 이미지에 기초하여 상기 연결된 단말기를 소지한 상기 사용자 이외의 다른 사용자가 존재하는지 판단하고, 상기 다른 사용자가 존재하는 경우에는 상기 연결된 단말기를 통해 상기 컨텐츠를 출력하더라도 상기 컨텐츠를 계속하여 출력하는, 디스플레이 장치.
  7. 청구항 1에 있어서,
    상기 프로세서는
    상기 연결된 단말기가 상기 시청 영역으로 진입하였는지 판단하고, 상기 연결된 단말기가 상기 시청 영역에 진입한 것으로 판단되면 상기 연결된 단말기에서 출력 중인 컨텐츠를 상기 디스플레이부 또는 상기 오디오 출력부 중에서 적어도 하나 이상을 통해 출력하는, 디스플레이 장치.
  8. 청구항 1에 있어서,
    상기 프로세서는
    상기 연결된 단말기로부터 수신하는 통신 신호의 수신 신호 강도(RSSI: Received Signal Strength Indication) 또는 왕복 지연 시간(RTT: Round Trip Time) 중에서 적어도 하나 이상에 기초하여 상기 연결된 단말기의 위치를 결정하는, 디스플레이 장치.
  9. 청구항 1에 있어서,
    상기 프로세서는
    상기 통신부를 통해 복수의 장치들과 연결된 경우, 상기 복수의 장치들을 이용하여 상기 단말기의 위치를 결정하는, 디스플레이 장치.
  10. 청구항 1에 있어서,
    상기 프로세서는
    상기 연결된 단말기와 상기 디스플레이 장치 사이의 거리, 상기 연결된 단말기와 다른 장치와의 위치 관계, 사용자 설정 시청 영역, 또는 지도 데이터 중에서 적어도 하나 이상을 고려하여 상기 연결된 단말기의 상기 시청 영역의 이탈을 판단하는, 디스플레이 장치.
  11. 청구항 10에 있어서,
    상기 프로세서는
    상기 연결된 단말기가 상기 사용자 설정 시청 영역에서 벗어난 경우에 상기 연결된 단말기가 상기 시청 영역에서 이탈한 것으로 판단하고,
    상기 사용자 설정 시청 영역은
    상기 사용자 또는 다른 사용자에 의해 설정된 상기 디스플레이 장치에 대응하는 시청 영역인, 디스플레이 장치.
  12. 청구항 11에 있어서,
    상기 프로세서는
    상기 연결된 단말기에 대한 자리 이탈 피드백과 상기 연결된 단말기의 위치에 기초하여 상기 사용자 설정 시청 영역을 설정하고,
    상기 시청 영역 이탈 피드백은
    상기 연결된 단말기가 상기 시청 영역에서 이탈하였는지 또는 이탈하지 않았는지를 나타내는 피드백인, 디스플레이 장치.
  13. 청구항 10에 있어서,
    상기 프로세서는
    상기 지도 데이터에 포함된 공간을 하나 이상의 구역으로 구분하고, 상기 연결된 단말기가 상기 디스플레이 장치와 다른 구역에 위치하는 경우에 상기 연결된 단말기가 상기 시청 영역에서 이탈한 것으로 판단하고,
    상기 지도 데이터는
    상기 디스플레이 장치가 설치된 공간에 대한 지도 데이터인, 디스플레이 장치.
  14. 디스플레이 장치의 동작 방법에 있어서,
    통신부를 통해 사용자의 단말기와 연결하는 단계;
    디스플레이부 또는 오디오 출력부 중에서 적어도 하나 이상을 통해 메모리에 저장된 또는 상기 통신부를 통해 수신한 컨텐츠를 출력하는 단계;
    상기 연결된 단말기의 위치를 결정하는 단계;
    상기 연결된 단말기가 시청 영역에서 이탈하였는지 판단하는 단계; 및
    상기 연결된 단말기가 상기 시청 영역에서 이탈한 것으로 판단되면 상기 연결된 단말기를 통해 상기 컨텐츠를 출력하는 단계
    를 포함하는, 방법.
  15. 디스플레이 장치의 동작 방법을 기록한 기록 매체에 있어서, 상기 방법은
    통신부를 통해 사용자의 단말기와 연결하는 단계;
    디스플레이부 또는 오디오 출력부 중에서 적어도 하나 이상을 통해 메모리에 저장된 또는 상기 통신부를 통해 수신한 컨텐츠를 출력하는 단계;
    상기 연결된 단말기의 위치를 결정하는 단계;
    상기 연결된 단말기가 시청 영역에서 이탈하였는지 판단하는 단계; 및
    상기 연결된 단말기가 상기 시청 영역에서 이탈한 것으로 판단되면 상기 연결된 단말기를 통해 상기 컨텐츠를 출력하는 단계
    를 포함하는, 기록 매체.
KR1020200075922A 2020-06-22 2020-06-22 사용자 단말기와 연계하여 컨텐츠를 제공하는 디스플레이 장치 및 그 방법 KR20210157743A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200075922A KR20210157743A (ko) 2020-06-22 2020-06-22 사용자 단말기와 연계하여 컨텐츠를 제공하는 디스플레이 장치 및 그 방법
US17/031,789 US11650780B2 (en) 2020-06-22 2020-09-24 Display apparatus for providing content in connection with user terminal and method therefor
EP20198963.9A EP3930336A1 (en) 2020-06-22 2020-09-29 Display apparatus for providing content in connection with user terminal and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200075922A KR20210157743A (ko) 2020-06-22 2020-06-22 사용자 단말기와 연계하여 컨텐츠를 제공하는 디스플레이 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20210157743A true KR20210157743A (ko) 2021-12-29

Family

ID=72717654

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200075922A KR20210157743A (ko) 2020-06-22 2020-06-22 사용자 단말기와 연계하여 컨텐츠를 제공하는 디스플레이 장치 및 그 방법

Country Status (3)

Country Link
US (1) US11650780B2 (ko)
EP (1) EP3930336A1 (ko)
KR (1) KR20210157743A (ko)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070033607A1 (en) 2005-08-08 2007-02-08 Bryan David A Presence and proximity responsive program display
WO2011025199A2 (en) 2009-08-24 2011-03-03 Samsung Electronics Co., Ltd. Contents reproducing device and method
US20140035814A1 (en) * 2012-07-31 2014-02-06 Diogo Strube de Lima Adjusting settings of a presentation system
US9699485B2 (en) * 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
KR102279600B1 (ko) 2015-06-12 2021-07-20 삼성전자주식회사 휴대 기기에서의 동작 방법, 컨텐츠 재생 장치에서의 동작 방법, 휴대 기기 및 컨텐츠 재생 장치
US10123077B2 (en) * 2016-01-20 2018-11-06 Google Llc Methods and systems for controlling media display in a smart media display environment
US20170339465A1 (en) * 2016-05-18 2017-11-23 copper studios, inc. Viewing habit influenced clip and sequence selection in an individualized video delivery system
US10432779B2 (en) * 2018-02-23 2019-10-01 Motorola Mobility Llc Communication session modifications based on a proximity context
US10587782B1 (en) * 2019-04-30 2020-03-10 International Business Machines Corporation Intelligently creating an immersive environment for media playback by synchronizing devices

Also Published As

Publication number Publication date
EP3930336A1 (en) 2021-12-29
US20210397401A1 (en) 2021-12-23
US11650780B2 (en) 2023-05-16

Similar Documents

Publication Publication Date Title
US11902707B1 (en) Location based device grouping with voice control
US9729821B1 (en) Sensor fusion for location based device grouping
US20190089925A1 (en) Display device
US10200755B2 (en) Display device and method of operating the same
KR101790429B1 (ko) 디스플레이 장치 및 그의 동작 방법
US20170206398A1 (en) Remote control device and operating method thereof
KR20150146067A (ko) 영상 표시 기기 및 그의 동작 방법
KR102479487B1 (ko) 디스플레이 장치
US11544602B2 (en) Artificial intelligence device
KR20180118499A (ko) 영상 표시 장치 및 영상 표시 방법
KR20210157743A (ko) 사용자 단말기와 연계하여 컨텐츠를 제공하는 디스플레이 장치 및 그 방법
KR20200102861A (ko) 디스플레이 장치 및 그의 동작 방법
KR20160095377A (ko) 디스플레이 장치 및 그의 동작 방법
EP3902269B1 (en) Display device and operating method therefor
EP4002858A1 (en) Display device for controlling one or more home appliances in consideration of viewing situation
KR102658092B1 (ko) 외부 디스플레이 장치와 콘텐츠를 공유하는 디스플레이 장치 및 콘텐츠 공유 방법
KR102646576B1 (ko) 디스플레이 장치
KR102664915B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20180054052A (ko) 디스플레이 장치 및 그의 동작 방법
EP4236329A1 (en) Display device and operating method therefor
EP3958578A1 (en) Display device and operating method thereof
US20240073470A1 (en) Mobile terminal and display system
EP4243424A1 (en) Display device and operating method thereof
KR20180046643A (ko) 디스플레이 장치 및 그의 동작 방법
US20220358920A1 (en) Display device and artificial intelligence server which can control home appliance through user voice

Legal Events

Date Code Title Description
A201 Request for examination