KR20160031403A - 멀티 윈도우 어플리케이션을 지원하는 멀티 스크린 제어 방법 및 디바이스 - Google Patents

멀티 윈도우 어플리케이션을 지원하는 멀티 스크린 제어 방법 및 디바이스 Download PDF

Info

Publication number
KR20160031403A
KR20160031403A KR1020150099838A KR20150099838A KR20160031403A KR 20160031403 A KR20160031403 A KR 20160031403A KR 1020150099838 A KR1020150099838 A KR 1020150099838A KR 20150099838 A KR20150099838 A KR 20150099838A KR 20160031403 A KR20160031403 A KR 20160031403A
Authority
KR
South Korea
Prior art keywords
smart
smart terminal
information
synthesis window
display
Prior art date
Application number
KR1020150099838A
Other languages
English (en)
Inventor
지엔궈 위엔
밍 리우
취엔 마
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP15184625.0A priority Critical patent/EP2996346A1/en
Priority to US14/851,564 priority patent/US9723123B2/en
Publication of KR20160031403A publication Critical patent/KR20160031403A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

스마트 디바이스가 어플리케이션을 제어하는 방법에 있어서, 스마트 디바이스의 복수의 어플리케이션의 윈도우들을 합성하여 합성 윈도우를 생성하는 단계; 합성된 합성 윈도우를 합성 윈도우가 표시될 스마트 단말에 송신하는 단계; 송신된 합성 윈도우와 관련하여 스마트 단말에서 입력된 사용자 입력에 대한 정보를 수신하는 단계; 및 수신된 사용자의 입력 정보에 기초하여 복수의 어플리케이션 중 적어도 하나의 어플리케이션을 제어하여 표시하는 단계; 를 포함하는 방법을 제공한다.

Description

멀티 윈도우 어플리케이션을 지원하는 멀티 스크린 제어 방법 및 디바이스 {A MULTISCREEN CONTROL METHOD AND DEVICE SUPPORTING MULTIPLE WINDOW APPLICATIONS}
스마트 텔레비전의 디스플레이 기술과 관계된 것이다. 더 상세하게는, 멀티 윈도우 어플리케이션을 지원하는 멀티 스크린 제어 방법 및 디바이스에 대한 것이다.
스마트폰의 빠른 발전으로, 스마트폰과 텔레비전의 상호작용에 대한 관심이 높아지고 있다. 사용자의 스마트폰에 저장된 비디오나 사진을 텔레비전의 큰 화면에 디스플레이할 수 있고, 따라서 이를 사용자가 볼 수 있으며 다른 사용자들과 공유할 수도 있다. 기존의 기술들은 디지털 생활 네트워크 단체(Digital Living Network Alliance, DLNA), 애플 사(Apple Inc.)의 에어플레이(AirPlay) 및 와이파이 단체(Wifi Allance)에 의해 특정된 미라캐스트(Miracast)를 포함한다. 특히, 애플 사의 에어플레이 및 와이파이 단체가 특정한 미라캐스트는 모두 일반적인 멀티미디어 컨텐츠를 와이파이를 통해 텔레비전의 화면에 나타낼 수 있을 뿐 아니라, 완전한 미러링(mirroring) 기능을 실현할 수도 있다. 즉, 스마트폰의 화면에 디스플레이된 인터페이스를 통째로 텔레비전의 화면에 나타낼 수 있다. 이에 따라, 풍부하고 흥미로운 사용 경험을 제공할 수 있다. 예를 들어, 사용자가 게임을 할 때, 텔레비전이 디스플레이 화면이 되고, 스마트폰은 핸들처럼 사용될 수 있다. 스마트폰과 텔레비전 사이의 상호 접속 및 디스플레이는 혁신의 중심이 되었다. 예를 들어, 밀레 박스(Millet box), 구글 사(Google Inc.)의 크롬캐스트(Chromecast) 및 삼성 사(Samsung Inc.)의 동글(Dongle)은 모두 스마트 폰으로부터 텔레비전으로의 미러링을 실시할 수 있다. 최근에는 스마트 텔레비전의 발전이 속도를 높임으로써, 더 많은 제조사들이 스마트 텔레비전의 발전에 주목하고 있다. 예를 들어, 밀레 스마트 텔레비전(Millet television)및 러스왕(Letv)은 모두 경쟁력있는 스마트 텔레비전을 출시했다. 기존의 TV프로그램을 재생하는 대신에, 스마트 텔레비전은 스마트폰이 할 수 있는 대부분의 것을 할 수 있다. 스마트 텔레비전의 기능은 강력하고 복잡해졌다. 하지만 스마트 텔레비전의 리모컨은 스마트 텔레비전 발전의 병목이 되고 있다.
현재는, 리모컨을 사용하는 대신 스마트 텔레비전과 스마트 폰 간의 상호 접속을 실시하기 위한 몇 가지 해결책이 있다. 이 해결책들은 와이파이 네트워크를 이용하며, 스마트폰을 이용하여 스마트 텔레비전을 동기화하고 제어한다. 하지만, 이러한 해결책은 모두 스마트폰 어플리케이션의 발전에 의존하고 있다.
멀티 윈도우 어플리케이션을 지원하는 멀티 스크린 제어 방법 및 디바이스를 제공한다.
일 실시 예에 따른 스마트 디바이스가 어플리케이션을 제어하는 방법은, 스마트 디바이스의 복수의 어플리케이션의 윈도우들을 합성하여 합성 윈도우를 생성하는 단계; 합성된 합성 윈도우를 합성 윈도우가 표시될 스마트 단말에 송신하는 단계; 송신된 합성 윈도우와 관련하여 스마트 단말에서 입력된 사용자 입력에 대한 정보를 수신하는 단계; 및 수신된 사용자의 입력 정보에 기초하여 복수의 어플리케이션 중 적어도 하나의 어플리케이션을 제어하여 표시하는 단계; 를 포함할 수 있다.
또한, 합성 윈도우를 스마트 단말에 송신하는 단계는, 합성 윈도우의 프레임 버퍼 데이터를 송신하는 단계를 포함할 수 있다.
또한, 합성 윈도우를 생성하는 단계는, 스마트 단말의 디스플레이 속성 정보를 수신하는 단계; 및 디스플레이 속성 정보에 따라 합성 윈도우가 표시되는 인터페이스를 보정하는 단계; 를 더 포함할 수 있다.
또한, 복수의 스마트 단말 중 합성 윈도우가 표시될 스마트 단말을 선택하는 단계; 를 더 포함할 수 있다.
또한, 선택하는 단계는, 스마트 단말을 선택하는 사용자 선택 입력에 대한 정보, 이전에 합성 윈도우의 표시를 위하여 사용되었던 스마트 단말에 대한 사용 이력 정보 및 합성 윈도우의 표시를 위하여 사전 설정된 정보 중 적어도 하나를 이용하여 스마트 단말을 선택하는 것을 특징으로 한다.
또한, 복수의 어플리케이션 중 적어도 하나를 제어하는 단계는, 스마트 디바이스의 디스플레이 속성 정보 및 스마트 단말의 속성 정보에 기초하여, 적어도 하나의 어플리케이션을 결정하는 단계; 를 포함할 수 있다.
일 실시 예에 따른 스마트 단말을 통하여 스마트 디바이스의 어플리케이션을 제어하는 방법은, 스마트 디바이스의 복수의 어플리케이션의 윈도우들이 합성된 합성 윈도우를 수신하는 단계; 합성 윈도우를 디스플레이하는 단계; 합성 윈도우에 대한 사용자 입력을 수신하는 단계; 및 사용자 입력에 대한 정보를 스마트 디바이스에 송신하는 단계; 를 포함할 수 있다.
또한, 디스플레이하는 단계는, 스마트 단말의 디스플레이 속성 정보에 따라 합성 윈도우의 해상도를 조정하는 단계; 및 조정된 합성 윈도우를 디스플레이하는 단계; 를 더 포함할 수 있다.
또한, 송신하는 단계는, 해상도 조정에 따라 사용자 입력에 대한 정보를 수정하는 단계; 를 더 포함할 수 있다.
일 실시 예에 따른 어플리케이션을 제어하는 스마트 디바이스는, 스마트 디바이스의 복수의 어플리케이션의 윈도우들을 합성하여 합성 윈도우를 생성하는 프로세서; 및 합성된 합성 윈도우를 합성 윈도우가 표시될 스마트 단말에 송신하고, 송신된 합성 윈도우와 관련하여 스마트 단말에서 입력된 사용자 입력에 대한 정보를 수신하는 통신부; 를 포함하고, 프로세서는, 수신된 사용자의 입력 정보에 기초하여 복수의 어플리케이션 중 적어도 하나의 어플리케이션을 제어하여 표시하는 것을 특징으로 한다.
또한, 통신부는, 합성 윈도우의 프레임 버퍼 데이터를 송신함으로써 합성 윈도우를 송신하는 것을 특징으로 한다.
또한, 통신부는 스마트 단말의 디스플레이 속성 정보를 수신하고, 프로세서는, 디스플레이 속성 정보에 따라 합성 윈도우가 표시되는 인터페이스를 보정함으로써 합성 윈도우를 생성하는 것을 특징으로 한다.
또한, 프로세서는, 복수의 스마트 단말 중 합성 윈도우가 표시될 스마트 단말을 선택하는 것을 특징으로 한다.
또한, 프로세서는, 스마트 단말을 선택하는 사용자 선택 입력에 대한 정보, 이전에 합성 윈도우의 표시를 위하여 사용되었던 스마트 단말에 대한 사용 이력 정보 및 합성 윈도우의 표시를 위하여 사전 설정된 정보 중 적어도 하나를 이용하여 스마트 단말을 선택하는 것을 특징으로 한다.
또한, 프로세서는, 스마트 디바이스의 디스플레이 속성 정보 및 스마트 단말의 속성 정보에 기초하여, 적어도 하나의 어플리케이션을 결정하고 결정된 어플리케이션을 제어하는 것을 특징으로 한다.
일 실시 예에 따른 스마트 디바이스의 어플리케이션을 제어하는 스마트 단말은, 스마트 디바이스의 복수의 어플리케이션의 윈도우들이 합성된 합성 윈도우를 수신하는 통신부; 합성 윈도우를 디스플레이하는 디스플레이부; 합성 윈도우에 대한 사용자 입력을 수신하는 사용자 입력부; 및 통신부, 디스플레이부 및 사용자 입력부를 제어하는 프로세서; 를 포함하고, 통신부는, 사용자 입력에 대한 정보를 스마트 디바이스에 송신하는 것을 특징으로 한다.
또한, 프로세서는 스마트 단말의 해상도에 따라 합성 윈도우의 해상도를 조정하고, 디스플레이부는, 조정된 합성 윈도우를 디스플레이하는 것을 특징으로 한다.
또한, 프로세서는, 해상도 조정에 따라 사용자 입력에 대한 정보를 수정하는 것을 특징으로 한다.
일 실시 예에 따른 어플리케이션을 제어하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
도 1은 사용자가 스마트 텔레비전을 제어하는 예시를 도시한 도면이다.
도 2는 일 실시 예에 따른 스마트 텔레비전과 스마트 단말의 구성도이다.
도 3은 일 실시 예에 따른 스마트 텔레비전과 스마트 단말이 상호작용하는 방법을 도시한 흐름도이다.
도 4는 스마트 텔레비전이 스마트 단말을 이용하여 사용자에게 디스플레이 위치 지시를 요청하는 방법을 나타낸 흐름도이다.
도 5는 스마트 텔레비전이 스마트 단말로부터 수신한 동작 정보에 대한 응답을 결정하고, 결정된 응답 동작을 수행하는 방법을 나타낸 흐름도이다.
도 6은 일 실시예에 따른 스마트 텔레비전의 멀티 스크린 제어 방법을 나타낸 흐름도이다.
도 7은 일 실시예에 따른 스마트 단말의 멀티 스크린 제어 방법을 나타낸 흐름도이다.
도 8은 스마트 단말의 사용자 입력부가 사용자의 동작 입력을 받는 방법의 예시를 도시한 도면이다.
도 9는 스마트 텔레비전이 스마트 단말에 전자 프로그램 안내 또는 리모컨 화면을 디스플레이하는 실시예를 도시한 도면이다.
도 10은 스마트 텔레비전이 스마트 단말에 영상 또는 재생 제어 화면을 디스플레이하는 실시예를 도시한 도면이다.
도 11은 스마트 텔레비전이 스마트 단말에 인터넷 브라우저를 디스플레이하는 실시예를 도시한 도면이다.
도 12(a)는 일 실시 예에 따라 스마트 텔레비전이 어플리케이션을 제어하는 방법의 흐름도이다.
도 12(b)는 일 실시 예에 따라 스마트 단말을 통하여 스마트 텔레비전의 어플리케이션을 제어하는 방법의 흐름도이다.
도 13(a) 는 일 실시 예에 따른 스마트 텔레비전을 간단히 도시한 구성도이다.
도 13(b) 는 일 실시 예에 따른 스마트 단말을 간단히 도시한 구성도이다.
도 1은 사용자가 스마트 텔레비전을 제어하는 예시를 도시한 도면이다. 도 1을 참조하면, 스마트 텔레비전(1000)은 큰 화면을 활용하여 영상을 디스플레이하고, 스마트 단말(2000)은 스마트 텔레비전(1000)의 디스플레이 및 제어를 돕는다.
본 명세서에서, 스마트 텔레비전(1000)에 대해 개시된 내용은 스마트폰을 포함하는 다른 스마트 디바이스에도 적용될 수 있다.
사용자는 스마트 텔레비전(1000)을 이용하여 텔레비전 프로그램의 재생, 영화 스트리밍 및 웹 서핑 등을 할 수 있으며, 그 외에도 다양한 어플리케이션을 실행할 수 있다. 예를 들어, 사용자는 스마트 텔레비전(1000)을 이용하여 텔레비전 프로그램을 시청하는 중에 전자 프로그램 안내(Electronic Program Guide)어플리케이션을 실행하여 다른 프로그램을 선택할 수 있다.
스마트 텔레비전(1000)은 동시에 여러 어플리케이션을 실행할 수도 있다. 하지만 단일 창 디스플레이를 적용하고 있는 일반적인 스마트 텔레비전(1000)의 경우 멀티 윈도우 디스플레이를 실행하기 어려우며, 여러 어플리케이션을 동시에 실행할 경우 중첩 디스플레이를 적용할 수 있다. 만일 중첩 디스플레이가 적용된다면, 사용자는 여러 어플리케이션 윈도우 중 가장 위에 위치한 어플리케이션 윈도우만을 볼 수 있고, 한번에 두 개 이상의 어플리케이션 윈도우를 볼 수는 없다. 따라서, 만일 사용자가 텔레비전 프로그램을 보는 중에 전자 프로그램 안내를 실행한다면, 사용자는 우선 현재 재생되고 있는 텔레비전 프로그램 화면을 닫아야 할 수 있다. 전자 프로그램 안내를 실행하는 동시에 현재 재생되고 있는 프로그램을 시청할 수 있는 기존의 방법으로 스크린 상의 디스플레이(On-Screen Display)를 사용하여 전자 프로그램 안내 인터페이스를 디스플레이하는 방법이 있다. 전자 프로그램 안내 인터페이스를 전체화면이 아닌 현재 인터페이스 상에, 매달려 있는 창의 형태로 띄워서, 사용자가 선택할 수 있도록 하는 것이다. 만일 전자 프로그램 안내 인터페이스의 사이즈가 크다면, 전자 프로그램 안내 인터페이스는 현재 재생중인 이미지를 가릴 수 있다. 만일 전자 프로그램 안내 인터페이스의 사이즈가 작다면, 나타낼 수 있는 정보의 양이 제한될 수 있다.
따라서 사용자는 스마트 단말(2000)을 이용하여 스마트 텔레비전(1000)을 제어하거나, 스마트 텔레비전(1000)의 디스플레이를 보조할 수 있다. 예를 들어, 스마트 단말(2000)은 스마트 텔레비전(1000)에서 실행되고 있는 어플리케이션 윈도우 혹은 스마트 텔레비전(1000)의 화면에 디스플레이되고 있는 영상의 전부 혹은 일부를 디스플레이할 수 있다. 또한, 사용자는 스마트 단말(2000)의 터치 스크린 입력을 이용하여 스마트 텔레비전(1000)을 제어할 수 있다. 스마트 단말(2000)은 스마트폰 혹은 태블릿 PC일 수 있으나, 이에 제한되지 않는다.
도 2는 일 실시 예에 따른 스마트 텔레비전과 스마트 단말의 구성도이다. 도 2를 참조하면, 스마트 텔레비전(1000)은 프로세서(1100), 메모리(1200), 디스플레이부(1300) 및 통신부(1400)를 포함할 수 있다. 또한, 스마트 단말(2000)은 프로세서(2100), 메모리(2200), 디스플레이부(2300), 통신부(2400) 및 사용자 입력부(2500)를 포함할 수 있다.
스마트 텔레비전(1000)의 프로세서(1100)는 스마트 텔레비전(1000)의 메모리(1200), 디스플레이부(1300) 및 통신부(1400)를 제어할 수 있다. 프로세서(1100)는 어플리케이션을 실행하고, 그 결과를 표시하도록 디스플레이부(1300)를 제어할 수 있다. 어플리케이션의 실행 결과는 스마트 텔레비전(1000)의 화면에 디스플레이될 수도 있고, 스마트 단말(2000)의 화면에 디스플레이될 수도 있다. 어플리케이션의 실행 결과를 디스플레이할 위치를 결정하기 위해, 프로세서(1100)는 우선 디스플레이 위치에 대한 지시를 획득할 수 있다. 디스플레이 위치가 스마트 단말(2000)로 결정된 경우, 프로세서(1100)는 어플리케이션 윈도우를 합성하고, 합성 결과를 통신부(1400)를 이용하여 스마트 단말(2000)로 송신할 수 있다. 어플리케이션 윈도우를 합성한 합성 결과는 스마트 단말(2000)에서 디스플레이될 수 있는 합성 윈도우일 수 있다. 스마트 단말(2000)은 어플리케이션 실행 중에 사용자 입력부(2500)를 이용하여 사용자 입력에 대한 정보를 수신할 수 있다. 사용자 입력은 스마트 단말(2000)에 대해 사용자가 수행한 동작을 포함할 수 있다. 스마트 단말(2000)은 수신된 사용자 입력에 대한 정보를 분석할 수 있다. 사용자 입력에 대한 정보는 사용자가 수행한 특정 동작에 대한 동작 위치 정보 및 동작 형태 정보를 포함하는 사용자의 동작 정보를 포함할 수 있다. 동작 위치 정보 및 동작 형태 정보는 사용자 입력부(2500)를 포함하는 스마트 단말(2000)의 터치 스크린 상에서의 좌표에 대한 정보를 포함할 수 있다. 스마트 단말(2000)은 사용자 입력에 대한 정보에 포함된 동작 위치 정보 및 동작 형태 정보를 독출하고 스마트 단말(2000)의 통신부(2400)를 이용하여 스마트 텔레비전(1000)으로 송신할 수 있다. 스마트 텔레비전(1000)은 수신한 동작 형태 정보 및 동작 위치 정보를 분석하여 스마트 단말(2000)에서 실행중인 어플리케이션 및 사용자의 동작을 판단하고, 사용자의 동작에 대한 응답을 결정할 수 있다. 사용자의 동작에 대한 응답은 사용자의 동작에 대응하는 어플리케이션을 제어하는 것일 수 있다.
스마트 텔레비전(1000)은 스마트 단말(2000)에 디스플레이할 어플리케이션 윈도우의 합성 결과를 관리하는 가상 디스플레이부(1500)를 더 포함할 수 있다. 이 경우, 프로세서(1100)는 스마트 단말(2000)에 디스플레이할 어플리케이션 윈도우의 합성 결과를 가상 디스플레이부(1500)에 송신할 수 있다. 가상 디스플레이부(1500)는 같은 스마트 단말에서 디스플레이되는 어플리케이션 윈도우의 합성 결과를 관리할 수 있다. 또한 가상 디스플레이부(1500)는 스마트 단말(2000)에서 디스플레이할 어플리케이션 윈도우의 합성 결과를 통신부(1400)를 이용하여 스마트 단말(2000)로 송신할 수 있다.
스마트 단말(2000)의 프로세서(2100)는 스마트 단말(2000)의 메모리(2200), 디스플레이부(2300), 통신부(2400) 및 사용자 입력부(2500)를 제어할 수 있다.
프로세서(2100)는 통신부(2400)가 수신한 어플리케이션 윈도우의 합성 결과를 디스플레이할 수 있도록 디스플레이부(2300)를 제어할 수 있다. 스마트 단말(2000)에 디스플레이된 내용에 따라, 사용자는 사용자 입력부(2500)를 이용하여 특정 동작을 수행하게 된다. 프로세서(2100)는 사용자 입력부(2500)가 수신한 사용자의 동작 정보를 통신부(2400)를 이용하여 스마트 텔레비전(1000)으로 송신할 수 있다. 사용자 입력부(2500)는 터치 스크린, 키보드, 마우스 혹은 버튼일 수 있으나, 이에 제한되지 않는다.
스마트 단말(2000)이 송신한 사용자의 동작 정보를 분석하여 스마트 텔레비전(1000)이 결정한 응답은 스마트 텔레비전(1000)에 반영될 수도 있고, 스마트 단말(2000)에 반영될 수도 있으나, 이에 제한되지 않는다. 예를 들면, 사용자의 동작에 대한 응답이 제 3의 스마트 단말에 반영될 수도 있다.
도 3은 일 실시 예에 따른 스마트 텔레비전과 스마트 단말이 상호작용하는 방법을 도시한 흐름도이다. 단계 301에서 사용자가 스마트 텔레비전(1000)의 특정 어플리케이션을 실행시키면, 스마트 텔레비전(1000)은 단계 302에서 그 즉시 디스플레이 위치에 대한 지시를 획득할 수 있다.
디스플레이 위치는 스마트 텔레비전(1000)이거나 스마트 텔레비전(1000)에 연결된 복수의 스마트 단말(2000) 중 하나일 수 있다. 스마트 텔레비전(1000)과 스마트 단말(2000)은 와이파이 혹은 블루투스를 통해 연결되어있을 수 있으나, 이에 제한되지 않는다. 디바이스를 탐색하고 연결하는 방법은 기존의 방법과 같으며 여기에서 상세하게 설명하지 않는다.
스마트 텔레비전(1000)이 어플리케이션의 디스플레이 위치 지시를 획득하는 과정은 아래와 같이 실시될 수 있다. 스마트 텔레비전(1000)은 어플리케이션의 실행 지시를 수신한 직후 사용자로 하여금 디스플레이 위치를 입력하도록 촉구할 수 있다. 특히, 스마트 텔레비전(1000)은 가능한 모든 디스플레이 위치를 리스트를 이용하여 스마트 텔레비전(1000)혹은 스마트 단말(2000)에 디스플레이할 수 있다. 리스트에 있는 디스플레이 위치는 스마트 텔레비전(1000) 및 스마트 텔레비전(1000)에 연결된 모든 스마트 단말(2000)을 포함할 수 있다. 스마트 텔레비전(1000)은 사용자가 입력한 디스플레이 위치 입력을 수신하고 어플리케이션의 디스플레이 위치를 스마트 텔레비전(1000)의 메모리(1200)에 기록할 수 있다. 해당 어플리케이션이 다음에 다시 실행될 때, 스마트 텔레비전(1000)은 메모리(1200)에 저장된 데이터를 이용하여 어플리케이션의 디스플레이 위치를 즉시 결정할 수 있다. 이 경우, 어플리케이션의 디스플레이 위치는 어플리케이션이 저번에 실행되었을 때 사용자가 선택한 것과 같은 위치가 된다. 이 방법에 따르면, 사용자는 어플리케이션의 디스플레이 위치를 매번 선택할 필요가 없다. 혹은, 특정 어플리케이션의 기본 디스플레이 위치가 메모리(1200)에 저장될 수 있다. 예를 들어, 스마트 단말(2000)을 특정 어플리케이션의 기본 디스플레이 위치로 설정할 수 있다. 이 경우, 스마트 텔레비전이 어떠한 스마트 단말에도 연결되어있지 않은 경우가 아니면, 어플리케이션을 실행할 때 스마트 텔레비전(1000)은 스마트 단말(2000)을 디스플레이 위치로 선택할 것이다.
단계 303에서, 스마트 텔레비전(1000)은 디스플레이하고자 하는 어플리케이션 윈도우를 합성할 수 있다. 스마트 텔레비전(1000)은 같은 디스플레이 위치를 가지는 어플리케이션 윈도우를 합성할 수 있다. 스마트 단말(2000)에서 디스플레이되는 어플리케이션이라면, 스마트 텔레비전은 스마트 단말(2000)에 합성 결과를 송신할 수 있다. 디스플레이 위치가 스마트 텔레비전(1000)인 어플리케이션에 대해서는, 스마트 텔레비전(1000)이 스마트 텔레비전(1000)의 화면에 합성 결과를 디스플레이할 수 있다.
스마트 텔레비전(1000)은 각 어플리케이션 윈도우의 내용을 수신하고 디스플레이를 준비할 수 있다. 스마트 텔레비전(1000)은 우선 어플리케이션 윈도우의 디스플레이 위치를 결정하고, 같은 디스플레이 위치를 갖는 어플리케이션 윈도우를 합성할 수 있다. 어플리케이션 윈도우를 합성하는 방법은 기존의 기술과 동일하며, 여기에서는 자세히 설명하지 않는다.
스마트 텔레비전(1000)에 디스플레이되는 어플리케이션 윈도우를 합성한 후에, 스마트 텔레비전(1000)은 합성 결과를 스마트 텔레비전(1000)의 화면에 디스플레이할 수 있다. 그리고, 사용자는 스마트 텔레비전(1000)의 화면을 통해 어플리케이션 윈도우를 볼 수 있다. 스마트 단말(2000)에 디스플레이되는 어플리케이션의 내용에 대해서는, 스마트 텔레비전(1000)이 합성 결과를 스마트 단말(2000)로 송신하고, 스마트 단말(2000)이 합성 결과를 디스플레이할 수 있다. 여기에서, 스마트 텔레비전(1000)에 복수의 스마트 단말(2000)이 연결되어 있을 수 있다. 서로 다른 스마트 단말(2000)에 디스플레이되는 어플리케이션에 대해서는, 스마트 텔레비전(1000)이 각 원격 모바일 단말(2000)에 부합하는 어플리케이션 윈도우를 합성한 뒤 각각의 원격 모바일 단말(2000)에게 합성 결과를 각각 송신할 수 있다. 이 방법에 따르면, 사용자는 어플리케이션의 내용을 스마트 단말(2000)의 화면을 통해 볼 수 있다. 위와 같은 과정을 통해, 사용자는 서로 다른 어플리케이션의 내용을 서로 다른 디스플레이 장치를 이용하여 동시에 볼 수 있다. 예를 들어, 사용자는 스마트 텔레비전(1000)의 화면으로 텔레비전 프로그램을 시청하면서, 스마트 단말(2000)으로 전자 프로그램 안내를 볼 수 있다.
또한, 스마트 단말(2000)에 합성 결과를 송신하기 전에, 스마트 텔레비전(1000)은 합성 결과를 인코딩하고 압축할 수 있다. 스마트 텔레비전(1000)은 스마트 단말(2000)의 디스플레이 속성 정보를 수신할 수 있다. 스마트 단말(2000)의 디스플레이 속성 정보는 스마트 단말(2000)의 해상도를 포함할 수 있다. 만일 스마트 단말(2000)과 스마트 텔레비전(1000)의 해상도가 다르다면, 스마트 텔레비전(1000)은 각 창들의 내용을 합성하기 전에 스마트 단말(2000)의 해상도에 따라 어플리케이션의 인터페이스를 보정할 수 있다. 예를 들어, 스마트 단말(2000)의 해상도가 스마트 텔레비전(1000)보다 작을 경우 스마트 텔레비전(1000)은 스마트 단말(2000)에서 디스플레이될 어플리케이션의 인터페이스를 단순하게 하여 가시성과 편의성을 높일 수 있다. 예를 들어, 스마트 텔레비전(1000)은 어플리케이션의 한 페이지에 디스플레이되는 정보의 양 또는 버튼의 수를 조정하여 인터페이스를 보정할 수 있다. 이는 스마트 단말(2000)이 어플리케이션의 인터페이스를 디스플레이하기 더 좋게 만들 수 있다.
단계 304에서, 스마트 텔레비전(1000)은 스마트 단말(2000)에 단계 303에서 어플리케이션 윈도우를 합성한 결과를 송신할 수 있다. 스마트 텔레비전(1000)과 스마트 단말(2000)간의 통신은 와이파이, 블루투스 등을 이용하여 할 수 있으나, 이에 제한되지 않는다. 스마트 텔레비전(1000)이 데이터를 송신할 때, 현실적인 조건에 따라 전송률을 설정할 수 있다. 일반적인 와이파이 연결에서는, 스마트 텔레비전(1000)은 합성 결과를 초당 30프레임으로 전송할 수 있으나, 이에 제한되지 않는다.
단계 305에서, 스마트 단말(2000)은 스마트 텔레비전(1000)으로부터 수신한 어플리케이션 윈도우 합성 결과를 디스플레이할 수 있다. 만일 스마트 텔레비전(1000)으로부터 수신한 합성 결과가 스마트 텔레비전(1000)으로부터 인코딩되거나 압축되어 있는 경우, 스마트 단말(2000)은 우선 수신한 내용의 압축을 해제하고 디코딩하여 화면에 창들의 내용을 디스플레이할 수 있다. 스마트 단말(2000)과 스마트 텔레비전(1000)의 해상도가 다른 경우에 대비하여, 스마트 단말(2000)은 어플리케이션 윈도우 합성 결과를 수신한 후에 스마트 텔레비전(1000)의 해상도 정보를 수신할 수 있다. 그리고 수신한 합성 결과에 대해 해상도 조정을 수행하여, 더 좋은 디스플레이 결과를 얻을 수 있다.
단계 306에서, 스마트 단말(2000)은 사용자 입력을 수신하고, 사용자 입력에 포함된 동작 형태 정보 및 동작 위치 정보를 스마트 텔레비전(1000)으로 송신할 수 있다.
스마트 단말은 사용자가 스마트 단말의 화면에 수행한 동작을 수신하고, 동작의 위치와 형태를 독출한 뒤, 동작 위치와 형태를 탤레비전 세트로, 이를 분석하지 않고 송신할 수 있다. 예를 들어, 만일 전자 프로그램 안내가 스마트 단말의 화면에 디스플레이되고 사용자가 전자 프로그램 안내에 디스플레이된 특정 채널을 터치하는 동작을 수행했다면, 스마트 단말은 해당 터치 동작을 분석하여 “사용자가 특정한 채널을 선택한다” 는 정보를 얻지 않고, 즉시 해당 터치 동작과 그 위치를 스마트 텔레비전으로 송신할 수 있다. 따라서, 해당 어플리케이션을 위해 스마트 텔레비전에 특별한 동작을 수행하는 부품을 갖추어야 할 필요는 없으며, 단지 스마트 단말에서 동작 위치와 형태를 획득하는 기능을 사용할 뿐이다. 동작 형태는 터치, 클릭, 화면의 확대 및 축소를 포함할 수 있다.
만일 해상도 조정이 블록 103에서 수행되었다면, 동작 위치 정보를 송신하기 전에 수행한 해상도 조정에 따른 합성 결과의 해상도에 부합하는 동작 위치 정보로 변환해야 할 수 있다. 일반적으로, 동작 위치 정보는 좌표 정보일 수 있다. 이 경우, 스마트 텔레비전이 송신한, 합성 결과의 해상도에 맞는 좌표로 해당 좌표의 좌표 변환을 수행해야 할 수 있다.
단계 306에서, 스마트 단말(2000)은 사용자로부터 동작 입력을 수신하고, 동작 형태 정보 및 동작 위치 정보를 스마트 텔레비전(1000)으로 송신할 수 있다. 스마트 단말(2000)은 사용자가 스마트 단말(2000)의 화면에 수행한 동작을 수신하고, 동작의 위치와 형태를 독출한 뒤, 동작 위치와 형태를 분석하지 않고 스마트 텔레비전(1000)으로 그대로 송신할 수 있다. 예를 들어, 만일 전자 프로그램 안내가 스마트 단말(2000)의 화면에 디스플레이되고 사용자가 화면에 디스플레이된 특정 채널을 터치하는 동작을 수행했다면, 스마트 단말(2000)은 해당 터치 동작을 분석하여 “사용자가 특정한 채널을 선택한다”는 정보를 얻지 않고, 즉시 해당 터치 동작과 그 위치를 스마트 텔레비전(1000)으로 송신할 수 있다. 동작 형태는 터치, 클릭, 화면의 확대 및 축소를 포함할 수 있으나, 이에 제한되지 않는다.
만일 단계 305에서 해상도 조정이 수행되었다면, 동작 위치 정보를 조정되기 전의 해상도에 부합하는 동작 위치 정보로 변환하여야 할 것이다. 일반적으로, 동작 위치 정보는 좌표 정보일 수 있다. 이 경우, 스마트 텔레비전(1000)이 송신한 합성 결과의 해상도에 맞게 위치 정보의 좌표 변환을 수행해야 할 것이다.
단계 307에서, 스마트 단말(2000)은 동작 정보를 스마트 텔레비전(1000)에 송신할 수 있다. 스마트 텔레비전(1000)과 스마트 단말(2000)간의 통신은 와이파이, 블루투스 등을 이용하여 할 수 있으나, 이에 제한되지 않는다. 스마트 텔레비전(1000)이 데이터를 송신할 때, 현실적인 조건에 따라 전송률을 설정할 수 있다. 일반적인 와이파이 연결에서는, 스마트 텔레비전(1000)은 합성 결과를 초당 30프레임으로 전송할 수 있으나, 이에 제한되지 않는다.
단계 308에서, 스마트 텔레비전(1000)은 단계 307에서 수신한 동작 정보를 분석할 수 있다. 스마트 텔레비전(1000)은 분석 결과와 스마트 단말(2000)에 송신한 어플리케이션 윈도우 정보를 종합하여 사용자가 동작시킨 어플리케이션을 결정하고, 어플리케이션에 동작 형태 정보 및 동작 위치 정보를 송신하여 해당 어플리케이션이 이를 처리하도록 할 수 있다. 스마트 텔레비전(1000)의 프로세서(1100)는 어플리케이션 정보와 사용자의 동작 정보를 종합하여 사용자의 동작을 결정할 수 있다. 예를 들어, 사용자가 스마트 단말(2000)의 화면에 디스플레이된 전자 프로그램 안내의 프로그램 버튼을 터치하면, 스마트 단말(2000)은 터치 동작 정보를 스마트 텔레비전(1000)으로 송신할 수 있다. 스마트 텔레비전(1000)은 전자 프로그램 안내에서 사용자가 무엇을 동작시켰는지를 동작 위치 정보에 따라 결정할 수 있다. 예를 들어, 스마트 텔레비전(1000)은 사용자가 어떤 프로그램을 선택했는지 알 수 있다.
단계 309에서, 스마트 텔레비전(1000)은 단계 308에서 결정한 동작에 대한 응답을 결정할 수 있다. 예를 들어, 단계 308에서 사용자가 전자 프로그램 안내를 이용하여 다른 프로그램을 선택했다는 사실을 판단했으면, 단계 309에서는 사용자가 선택한 프로그램을 재생할 수 있다.
스마트 텔레비전(1000)이 응답 동작을 수행할 때, 만일 응답 동작이 해당 어플리케이션에서 수행되는 과정이라면, 스마트 텔레비전(1000)은 응답 결과를 해당 어플리케이션의 디스플레이 위치에 디스플레이할 수 있다. 만일 응답 동작이 다른 어플리케이션에서 수행되는 과정이라면, 스마트 텔레비전은 응답 결과를 다른 어플리케이션의 디스플레이 위치에 디스플레이할 수 있다. 스마트 텔레비전(1000)이 결정한 어플리케이션은 동작 형태 정보 및 동작 위치 정보에 따른 응답 동작을 수행함으로써, 기 정의된 동작을 실시할 수 있다. 예를 들어, 스마트 단말(2000)이 전자 프로그램 안내를 디스플레이하고, 스마트 텔레비전(1000)이 현재 재생되는 프로그램을 디스플레이하고 있다. 만일 사용자가 스마트 단말(2000)의 화면에 디스플레이되는 전자 프로그램 안내에서 프로그램을 선택한다면, 사용자의 선택에 대한 응답 동작은 선택된 프로그램을 재생하는 것이고, 따라서 스마트 단말(2000)에서 사용자로부터 선택된 프로그램은 스마트 텔레비전(1000)의 화면에서 재생된다. 만일 사용자가 스마트 단말의 화면에서 “전자 프로그램 안내의 다음 페이지를 열 것”을 선택한다면, 그 선택에 대한 응답은 전자 프로그램 안내의 다음 페이지를 디스플레이하는 것이고, 따라서 전자 프로그램 안내의 다음 페이지가 스마트 단말(2000)의 화면에 디스플레이된다.
도 4는 스마트 텔레비전이 스마트 단말을 이용하여 사용자에게 디스플레이 위치 지시를 요청하는 방법을 나타낸 흐름도이다. 스마트 텔레비전(1000)은 단계 401에서 어플리케이션의 실행 지시를 수신한 직후 단계 402에서 사용자로 하여금 디스플레이 위치를 입력하도록 요청할 수 있다.
도 4는 도 3에 도시된 스마트 텔레비전(1000)과 스마트 단말(2000)의 상호작용 방법의 일례를 도시한 흐름도이다. 도 4를 참조하면, 도 3에 도시된 상호작용 방법의 일부를 흐름도로 도시하였다. 따라서 이하 생략된 내용이라 하더라도 상호작용 방법에 대하여 이상에서 기술된 내용은 도 4의 실시예에 따른 상호작용 방법에도 적용된다.
단계 402에서, 스마트 텔레비전(1000)은 사용자에게 디스플레이 위치를 입력하도록 요청하는 어플리케이션 윈도우를 스마트 단말(2000)에 송신할 수 있다. 스마트 텔레비전(1000)은 가능한 모든 디스플레이 위치의 리스트를 포함하는 어플리케이션 윈도우를 합성할 수 있다. 리스트에 있는 디스플레이 위치는 스마트 텔레비전(1000) 및 스마트 텔레비전(1000)에 연결된 모든 스마트 단말(2000)을 포함할 수 있다. 어플리케이션 윈도우를 합성하는 방법은 기존의 기술과 동일하며, 여기에서는 자세히 설명하지 않는다. 또한, 스마트 단말(2000)에 합성 결과를 송신하기 전에, 스마트 텔레비전(1000)은 합성 결과를 인코딩하고 압축할 수 있다. 만일 스마트 단말(2000)과 스마트 텔레비전(1000)의 해상도가 다르다면, 스마트 텔레비전(1000)은 각 창들의 내용을 합성하기 전에 스마트 단말(2000)의 해상도에 따라 어플리케이션의 인터페이스 구성을 조정할 수 있다. 이는 스마트 단말(2000)에서의 어플리케이션 인터페이스 디스플레이를 더 좋게 만들 수 있다.
스마트 텔레비전(1000)은 합성 결과를 스마트 단말(2000)에 송신할 수 있다. 스마트 텔레비전(1000)과 스마트 단말(2000)간의 통신은 와이파이, 블루투스 등을 이용하여 할 수 있으나, 이에 제한되지 않는다. 스마트 텔레비전(1000)이 데이터를 송신할 때, 현실적인 조건에 따라 전송률을 설정할 수 있다. 일반적인 와이파이 연결에서는, 스마트 텔레비전(1000)은 합성 결과를 초당 30프레임으로 전송할 수 있으나, 이에 제한되지 않는다.
단계 403에서, 스마트 단말(2000)은 스마트 텔레비전(1000)으로부터 수신한 합성 결과를 디스플레이할 수 있다. 만일 스마트 텔레비전(1000)으로부터 수신한 합성 결과가 스마트 텔레비전(1000)으로부터 인코딩되거나 압축되어 있는 경우, 스마트 단말(2000)은 우선 수신한 내용의 압축을 해제하고 디코딩하여 화면에 창들의 내용을 디스플레이할 수 있다. 스마트 단말(2000)과 스마트 텔레비전(1000)의 해상도가 다른 경우에 대비하여, 스마트 단말(2000)은 어플리케이션 윈도우 합성 결과를 수신한 후에 스마트 텔레비전(1000)의 해상도 정보를 수신할 수 있다. 그리고 수신한 합성 결과에 대해 해상도 조정을 수행하여, 더 좋은 디스플레이 결과를 얻을 수 있다.
단계 404에서, 사용자는 스마트 단말(2000)의 사용자 입력부(2500)를 이용하여 디스플레이 위치를 입력하는 동작을 수행할 수 있다. 스마트 단말(2000)은 해당 터치 동작을 분석하여 “사용자가 특정한 디스플레이 위치를 선택한다”라는 정보를 얻지 않고, 단계 405에서 즉시 사용자의 터치 동작 및 터치 위치를 스마트 텔레비전(1000)으로 송신할 수 있다. 만일 단계 403에서 해상도 조정이 수행되었다면, 동작 위치 정보를 조정되기 전의 해상도에 부합하는 동작 위치 정보로 변환하여야 할 것이다. 일반적으로, 동작 위치 정보는 좌표 정보일 수 있다. 이 경우, 스마트 텔레비전(1000)이 송신한 합성 결과의 해상도에 맞게 위치 정보의 좌표 변환을 수행해야 할 것이다.
단계 406에서, 스마트 텔레비전(1000)은 수신한 동작 정보와 스마트 단말(2000)에 송신한 합성 결과를 분석하여 사용자가 선택한 디스플레이 위치를 판단할 수 있다.
단계 407에서, 스마트 텔레비전(1000)은 단계 406의 결과로 디스플레이 위치의 지시를 획득할 수 있다. 스마트 텔레비전(1000)은 어플리케이션의 디스플레이 위치를 스마트 텔레비전(1000)의 메모리(1200)에 기록할 수 있다. 해당 어플리케이션이 다음에 다시 실행될 때, 스마트 텔레비전(1000)은 메모리(1200)에 저장된 데이터를 이용하여 어플리케이션의 디스플레이 위치를 즉시 결정할 수 있다. 이 경우, 어플리케이션의 디스플레이 위치는 어플리케이션이 저번에 실행되었을 때 사용자가 선택한 것과 같은 위치가 된다. 이 방법에 따르면, 사용자는 어플리케이션의 디스플레이 위치를 매번 선택할 필요가 없다.
도 5는 스마트 텔레비전이 스마트 단말로부터 수신한 동작 정보에 대한 응답을 결정하고, 결정된 응답 동작을 수행하는 방법을 나타낸 흐름도이다. 스마트 텔레비전(1000)은 제 1 스마트 단말로부터 합성 결과를 수신할 수 있다. 도 5에 나타난 각 스마트 단말은 앞서 설명한 스마트 단말(2000)일 수 있다.
도 5는 도 3에 도시된 스마트 텔레비전(1000)과 스마트 단말(2000)의 상호작용 방법의 일례를 도시한 흐름도이다. 도 5를 참조하면, 도 3에 도시된 상호작용 방법의 일부를 흐름도로 도시하였다. 따라서 이하 생략된 내용이라 하더라도 상호작용 방법에 대하여 이상에서 기술된 내용은 도 5의 실시예에 따른 상호작용 방법에도 적용된다.
단계 501에서, 스마트 텔레비전(1000)은 사용자의 동작에 대한 응답을 결정할 수 있다. 예를 들어, 사용자가 전자 프로그램 안내에서 특정 프로그램을 선택했다면, 스마트 텔레비전(1000)은 해당 프로그램을 재생하는 응답을 결정할 수 있다.
단계 502 내지 503에서, 스마트 텔레비전(1000)은 프로그램의 디스플레이 위치에 대한 지시를 획득할 수 있다. 스마트 텔레비전(1000)은 스마트 텔레비전(1000) 혹은 제 1 스마트 단말의 화면을 이용하여 디스플레이 위치에 대한 지시를 요청하거나, 메모리에 저장된 디스플레이 위치를 이용할 수 있다. 스마트 텔레비전(1000)은 사용자의 선택에 따라 제 3의 기기, 즉 제 2 스마트 단말에 프로그램을 디스플레이할 수도 있다. 단계 502 및 503에서 사용자가 프로그램을 스마트 텔레비전이나 제 1 스마트 단말이 아닌 다른 곳에 디스플레이하도록 선택한다면, 스마트 텔레비전(1000)은 사용자의 선택에 따라 새로운 단말을 탐색하거나 이미 연결되어 있는 다른 단말 중 사용자가 선택한 단말에 프로그램을 디스플레이할 수 있다.
단계 504 내지 506에서, 각 디바이스는 사용자의 동작에 대한 응답 동작을 디스플레이할 수 있다. 디스플레이 위치는 스마트 텔레비전(1000)혹은 다른 스마트 단말(2000)이 될 수 있고, 디스플레이 가능한 스마트 단말(2000)의 수는 제한되지 않는다. 따라서, 일 실시예에 따르면 스마트 텔레비전(1000)의 복수의 어플리케이션을 동시에 실행 및 디스플레이할 수 있으며, 복수의 어플리케이션에 사용자의 동작을 입력하여 동시에 제어할 수 있다.
도 6은 일 실시예에 따른 스마트 텔레비전의 멀티 스크린 제어 방법을 나타낸 흐름도이다. 도 6은 도 3에 도시된 스마트 텔레비전(1000)과 스마트 단말(2000)의 상호작용 방법에서 스마트 텔레비전(1000)측의 일례를 도시한 흐름도이다. 따라서 이하 생략된 내용이라 하더라도 도 3에 도시된 방법에 대하여 이상에서 기술된 내용은 도 6의 실시예에 따른 방법에도 적용된다.
단계 601에서, 사용자의 어플리케이션 실행 지시에 따라 어플리케이션이 실행된다. 어플리케이션이 실행되는 즉시, 단계 602에서 해당 어플리케이션의 디스플레이 위치가 특정되어 있는지 확인할 수 있다. 어플리케이션의 디스플레이 위치는 스마트 텔레비전(1000)의 메모리(1200)에 저장되어있을 수 있다. 이 경우, 따로 어플리케이션의 디스플레이 위치 지시를 받지 않을 수 있다. 어플리케이션의 디스플레이 위치가 특정된 경우 단계 604로 진행하고, 그렇지 않은 경우 단계 603으로 진행할 수 있다.
단계 603에서, 스마트 텔레비전(1000)은 스마트 단말(2000)을 찾기 위한 와이파이 탐색을 실행할 수 있다. 스마트 텔레비전(1000)은 연결가능한 스마트 단말(2000)을 탐색하고 연결한 뒤, 사용자로부터 디스플레이 위치 지시를 획득할 수 있다. 디스플레이 위치는 스마트 텔레비전(1000) 및 스마트 텔레비전(1000)에 연결된 모든 스마트 단말(2000)일 수 있으나, 이에 제한되지 않는다. 스마트 단말(2000)의 탐색은 와이파이에 제한되지 않으며, 블루투스 등 가능한 모든 방법을 이용할 수 있다.
사용자는 스마트 텔레비전(1000)의 리모컨을 통해 스마트 텔레비전(1000)의 화면에 디스플레이된 어플리케이션에 동작을 수행할 수 있다. 스마트 텔레비전(1000)은 사용자의 동작 정보를 수신하고, 동작에 대해 응답할 수 있다. 특히, 스마트 텔레비전(1000)은 사용자가 동작시킨 어플리케이션을 결정하고, 사용자의 동작을 독출하여, 사용자의 동작에 대해 응답하도록 어플리케이션에 지시를 내릴 수 있다. 이와 동시에, 사용자는 스마트 단말(2000)에 디스플레이된 어플리케이션에 동작을 수행할 수 있다. 두 종류의 동작 및 응답은 동시에 일어날 수 있으며, 따라서 서로 다른 어플리케이션에 대한 동작과 제어가 동시에 일어날 수 있다.
따라서, 사용자는 스마트 텔레비전(1000) 또는 스마트 단말(2000)에 디스플레이된, 디스플레이 가능한 위치 리스트를 이용하여 디스플레이 위치를 선택할 수 있고, 스마트 텔레비전(1000)은 이를 획득하여 디스플레이 위치를 특정할 수 있다.
단계 604에서, 스마트 텔레비전(1000)은 어플리케이션 윈도우를 관리하고, 정해진 위치에 디스플레이하기 위한 어플리케이션 윈도우 합성을 수행할 수 있다. 만일 디스플레이 위치가 스마트 단말(2000)이고 스마트 단말(2000)과 스마트 텔레비전(1000)의 해상도가 다르다면, 스마트 텔레비전(1000)은 각 창들의 내용을 합성하기 전에 스마트 단말(2000)의 해상도에 따라 어플리케이션의 인터페이스 구성을 조정할 수 있다.
단계 605에서, 디스플레이 위치가 스마트 텔레비전(1000)이라면 단계 606으로, 스마트 단말(2000)이라면 단계 607으로 진행할 수 있다.
단계 606에서, 스마트 텔레비전(1000)은 스마트 텔레비전(1000)의 디스플레이부(1300)를 이용하여 어플리케이션 윈도우를 디스플레이할 수 있다. 스마트 텔레비전(1000)에 디스플레이중인 다른 어플리케이션이 있는 경우, 화면을 분할하거나 중첩하여 디스플레이할 수 있다. 이후 사용자는 리모컨을 통해 스마트 텔레비전(1000)에 디스플레이된 어플리케이션을 제어할 수 있다.
단계 607에서, 스마트 텔레비전(1000)은 스마트 단말(2000)에 합성 결과를 송신하기 전에, 스마트 텔레비전(1000)은 합성 결과를 인코딩하고 압축할 수 있다.
단계 608에서, 스마트 텔레비전(1000)은 단계 607에서 인코딩 및 압축한 합성 결과를 송신할 수 있다. 스마트 텔레비전(1000)과 스마트 단말(2000)간의 통신은 와이파이, 블루투스 등을 이용하여 할 수 있으나, 이에 제한되지 않는다. 이후 사용자는 스마트 단말(2000)의 사용자 입력부(2500)를 통해 스마트 단말(2000)에 디스플레이된 어플리케이션을 제어할 수 있다.
도 7은 일 실시예에 따른 스마트 단말의 멀티 스크린 제어 방법을 나타낸 흐름도이다. 도 7은 도 3에 도시된 스마트 텔레비전(1000)과 스마트 단말(2000)의 상호작용 방법에서 스마트 단말(2000)측의 일례를 도시한 흐름도이다. 따라서 이하 생략된 내용이라 하더라도 도 3에 도시된 방법에 대하여 이상에서 기술된 내용은 도 7의 실시예에 따른 방법에도 적용된다.
단계 701에서, 스마트 단말(2000)은 와이파이 탐색을 수행할 수 있다. 스마트 단말(2000)은 탐색 결과에 따라 스마트 텔레비전(1000)과 연결된다. 탐색 방법은 와이파이에 제한되지 않으며, 블루투스 등 가능한 모든 방법을 이용할 수 있다.
단계 702에서, 스마트 단말(2000)은 연결된 스마트 텔레비전(1000)으로부터 데이터를 수신할 수 있다. 단계 703에서, 스마트 단말(2000)은 수신한 데이터를 체크할 수 있다. 스마트 텔레비전(1000)으로부터 수신한 데이터가 정상적인 데이터인지 확인하거나, 인코딩 혹은 압축 상태를 확인할 수 있다.
단계 704에서, 스마트 단말(2000)은 스마트 텔레비전(1000)으로부터 수신한 데이터를 디코딩할 수 있다. 또한, 데이터가 압축되어있는 경우에는 압축을 해제할 수 있다. 단계 704의 결과로, 스마트 단말(2000)은 디스플레이할 어플리케이션의 합성 결과를 획득할 수 있다.
단계 705에서, 스마트 단말(2000)과 스마트 텔레비전(1000)의 해상도가 다른 경우에 대비하여, 스마트 단말(2000)은 어플리케이션 윈도우 합성 결과를 수신한 후에 스마트 텔레비전(1000)의 해상도 정보를 수신할 수 있다. 그리고 수신한 합성 결과에 대해 해상도 조정을 수행할 수 있다.
단계 706에서, 스마트 단말(2000)은 수신한 어플리케이션 윈도우를 스마트 단말(2000)의 디스플레이부(2300)를 이용하여 디스플레이할 수 있다. 스마트 단말(2000)에서 디스플레이중인 다른 어플리케이션이 있는 경우, 화면을 분할하거나 중첩하여 디스플레이할 수 있다.
단계 707에서, 스마트 단말(2000)은 사용자 입력부(2500)를 이용하여 사용자의 입력을 수신할 수 있다. 사용자 입력부(2500)는 터치 스크린, 키보드, 마우스 혹은 버튼일 수 있으나, 이에 제한되지 않는다. 사용자가 어떠한 동작도 하지 않는 경우, 단계 707에 머무른다. 사용자가 특정 동작 입력을 수행한 경우, 단계 708으로 진행할 수 있다.
단계 708에서, 스마트 단말(2000)은 단계 707에서 수신한 사용자의 동작 정보를 수정해야 할 수 있다. 예를 들어, 단계 705에서 해상도 조정이 수행되었다면, 동작 위치 정보를 조정되기 전의 해상도에 부합하는 동작 위치 정보로 변환하여야 할 것이다. 일반적으로, 동작 위치 정보는 좌표 정보일 수 있다. 이 경우, 스마트 텔레비전(1000)이 송신한 합성 결과의 해상도에 맞게 위치 정보의 좌표 변환을 수행해야 할 것이다.
단계 709에서, 스마트 단말(2000)은 단계 707에서 획득하고 단계 708에서 변환한 사용자의 동작 정보를 스마트 텔레비전(1000)에 송신할 수 있다. 스마트 텔레비전(1000)과 스마트 단말(2000)간의 통신은 와이파이, 블루투스 등을 이용하여 할 수 있으나, 이에 제한되지 않는다.
도 8은 스마트 단말의 사용자 입력부가 사용자의 동작 입력을 받는 방법의 예시를 도시한 도면이다. 스마트 단말(2000)의 사용자 입력부(2500)는 터치 스크린, 키보드, 마우스 또는 버튼일 수 있으나, 이에 제한되지 않는다. 도 7(a)를 참조하면, 사용자 입력부(2500)에 대한 사용자의 입력은 터치 스크린을 이용한 터치, 줌 인, 줌 아웃 또는 스와이프 동작을 포함할 수 있으나, 이에 제한되지 않는다. 도 7(b)를 참조하면, 사용자 입력부(2500)에 대한 사용자의 입력은 마우스를 이용한 클릭, 더블 클릭 또는 드래그 앤 드롭 동작을 포함할 수 있으나, 이에 제한되지 않는다.
도 9는 스마트 텔레비전이 스마트 단말에 전자 프로그램 안내 또는 리모컨 화면을 디스플레이하는 실시예를 도시한 도면이다. 도 9를 참조하면, 스마트 텔레비전(1000)은 스마트 단말(2000)의 화면을 이용하여 어플리케이션을 디스플레이할 수 있다. 예를 들면, 도 9(a)를 참조하면 스마트 텔레비전(1000)은 스마트 단말(2000)에 전자 프로그램 안내를 디스플레이할 수 있다. 사용자는 스마트 단말(2000)의 터치 스크린을 이용하여 프로그램을 선택하거나, 전자 프로그램 안내의 다음 페이지를 디스플레이하도록 하는 입력 동작을 수행할 수 있다. 도 9(b)를 참조하면, 스마트 텔레비전(1000)은 스마트 단말(2000)에 리모컨 화면을 디스플레이할 수 있다. 리모컨 화면은 볼륨 조절 버튼 및 채널 조절 버튼을 포함할 수 있다. 사용자는 스마트 단말(2000)의 터치 스크린을 이용하여 볼륨을 조절하거나, 채널을 변경하도록 하는 입력 동작을 수행할 수 있다. 스마트 단말(2000)은 사용자가 수행한 동작에 관한 정보를 스마트 텔레비전(1000)에 송신할 수 있다. 스마트 텔레비전(1000)은 수신한 정보를 분석하여 사용자의 동작에 대응하는 기 설정된 응답을 수행할 수 있다.
도 10은 스마트 텔레비전이 스마트 단말에 영상 또는 재생 제어 화면을 디스플레이하는 실시예를 도시한 도면이다. 도 10을 참조하면, 스마트 텔레비전(1000)은 스마트 단말(2000)의 화면을 이용하여 어플리케이션을 디스플레이할 수 있다. 예를 들면, 도 10(a)를 참조하면 스마트 텔레비전(1000)은 스마트 단말(2000)에 영상을 디스플레이할 수 있다. 영상은 현재 스마트 텔레비전(1000)에 디스플레이되고 있는 것과 동일한 영상이거나, 사용자가 선택한 다른 영상일 수 있다. 즉, 스마트 텔레비전(1000)은 적어도 하나 이상의 스마트 단말(2000)을 이용하여 복수의 영상을 동시에 재생할 수 있다. 도 10(b)를 참조하면, 스마트 텔레비전(1000)은 스마트 단말(2000)에 현재 재생중인 영상 및 재생 제어 화면을 디스플레이할 수 있다. 재생 제어 화면은 재생, 일시정지, 뒤로가기 및 앞으로 가기 버튼을 포함할 수 있다. 사용자는 스마트 단말(2000)의 터치 스크린을 이용하여 스마트 텔레비전(1000)에서 재생중인 프로그램의 재생을 제어하는 동작을 수행할 수 있다. 스마트 단말(2000)은 사용자가 수행한 동작에 관한 정보를 스마트 텔레비전(1000)에 송신할 수 있다. 스마트 텔레비전(1000)은 수신한 정보를 분석하여 사용자의 동작에 대응하는 기 설정된 응답을 수행할 수 있다.
도 11은 스마트 텔레비전이 스마트 단말에 인터넷 브라우저를 디스플레이하는 실시예를 도시한 도면이다. 도 11을 참조하면, 스마트 텔레비전(1000)은 스마트 단말(2000)의 화면을 이용하여 어플리케이션을 디스플레이할 수 있다. 예를 들면, 스마트 텔레비전(1000)은 스마트 단말(2000)에 인터넷 브라우저를 디스플레이할 수 있다. 사용자는 스마트 단말(2000)의 터치 스크린을 이용하여 인터넷 브라우저를 이용할 수 있다. 예를 들어, 사용자는 스마트 단말(2000)의 터치 스크린에 디스플레이되는 가상 키보드를 이용하여 인터넷 검색을 할 수 있다. 이 경우에도, 스마트 단말(2000)은 사용자가 수행한 동작에 관한 정보를 분석하지 않고 스마트 텔레비전(1000)에 송신하며, 스마트 텔레비전(1000)은 수신한 정보를 분석하여 사용자의 동작에 대응하는 기 설정된 응답을 수행할 수 있다. 즉, 인터넷 브라우저 어플리케이션을 제어하는 주체는 스마트 텔레비전(1000)이다.
도 12(a)는 일 실시 예에 따라 스마트 텔레비전이 어플리케이션을 제어하는 방법의 흐름도이다. 단계 1201에서, 스마트 텔레비전(1000)은 디스플레이하고자 하는 어플리케이션 윈도우를 합성하여 합성 윈도우를 생성할 수 있다. 스마트 텔레비전(1000)은 같은 디스플레이 위치를 갖는 어플리케이션 윈도우를 합성하여 합성 윈도우를 생성하고, 이를 가상 디스플레이부(1500)에 송신할 수 있다.
단계 1202에서, 스마트 텔레비전(1000)은 통신부(1400)를 이용하여 단계 1201에서 합성한 결과인 합성 윈도우를 스마트 단말(2000)에 송신할 수 있다. 이 때, 합성 윈도우는 가상 디스플레이부(1500)에서 저장 및 관리하고 있었던 것일 수 있다.
단계 1203에서, 스마트 텔레비전(1000)은 스마트 단말(2000)로부터 수신한 사용자 입력 정보를 분석하여 사용자가 사용중인 어플리케이션 및 사용자의 동작을 결정할 수 있다.
단계 1204에서, 스마트 텔레비전(1000)은 단계 1203에서 결정한 동작에 대해 기 설정된 응답을 결정하고, 결정된 응답 동작을 수행하여 사용자가 사용중인 어플리케이션을 제어할 수 있다. 어플리케이션을 제어한 결과는 스마트 텔레비전(1000), 사용자의 동작 정보를 송신한 스마트 단말(2000) 또는 제 3의 스마트 단말에 디스플레이될 수 있다.
도 12(b)는 일 실시 예에 따라 스마트 단말을 통하여 스마트 텔레비전의 어플리케이션을 제어하는 방법의 흐름도이다. 단계 1211 에서, 스마트 단말(2000)은 단계 1202 에서 스마트 텔레비전(1000)이 송신한 합성 윈도우를 수신할 수 있다.
단계 1212 에서, 스마트 단말(2000)은 단계 1211 에서 수신한 합성 윈도우를 디스플레이할 수 있다. 스마트 단말(2000)은 스마트 단말(2000)의 디스플레이 속성 정보에 따라 합성 윈도우의 해상도를 조정할 수 있다. 스마트 단말(2000)의 디스플레이 속성 정보는 스마트 단말(2000)의 해상도를 포함할 수 있다.
단계 1213 에서, 스마트 단말(2000)은 스마트 단말(2000)에 대한 사용자 입력을 수신할 수 있다. 사용자 입력은 스마트 단말(2000)에 대하여 수행되는 사용자의 동작을 포함할 수 있다.
단계 1214 에서, 스마트 단말(2000)은 단계 1213 에서 수신한 사용자 입력에 대한 정보를 스마트 텔레비전(1000)에 송신할 수 있다. 스마트 단말(2000)은 단계 1212 에서 수행한 해상도 조정에 기초하여 사용자 입력에 대한 정보를 수정할 수 있다. 예를 들어, 단계 1212 에서 합성 윈도우의 해상도를 조정하였다면, 스마트 텔레비전(1000)에서 합성한 합성 윈도우와 스마트 단말(2000)에서 디스플레이하는 합성 윈도우의 해상도는 서로 다를 수 있다. 단계 1213에서 사용자는 스마트 단말(2000)에 디스플레이되는 합성 윈도우에 대하여 동작을 수행한다. 따라서 스마트 단말(2000)은 스마트 텔레비전이 송신한 합성 윈도우의 해상도에 맞는 좌표로 좌표 변환을 수행해야 할 수 있다.
도 13(a) 는 일 실시 예에 따른 스마트 텔레비전을 간단히 도시한 구성도이다. 본 명세서에서, 스마트 텔레비전(1000)에 대해 개시된 내용은 스마트폰을 포함하는 다른 스마트 디바이스에도 적용될 수 있다. 스마트 텔레비전(1000)은 프로세서(1100) 및 통신부(1400)를 포함한다. 프로세서(1100)는 복수의 어플리케이션의 윈도우들을 합성하여 합성 윈도우를 생성한다. 스마트 텔레비전(1000)은 같은 디스플레이 위치를 갖는 어플리케이션의 윈도우들을 합성하여 합성 윈도우를 생성할 수 있다. 프로세서(1100)는 통신부(1400)를 제어하여 합성 윈도우를 스마트 단말(2000)에 송신한다. 또한, 프로세서(1100)는 통신부(1400)가 수신한 사용자 입력에 대한 정보에 기초하여 복수의 어플리케이션 중 적어도 하나의 어플리케이션을 제어하여 표시한다.
통신부(1400)는 프로세서(1100)가 합성한 합성 윈도우를 스마트 단말(2000)에 송신하고, 송신된 합성 윈도우와 관련하여 스마트 단말(2000)에서 입력된 사용자 입력에 대한 정보를 수신한다.
도 13(b) 는 일 실시 예에 따른 스마트 단말을 간단히 도시한 구성도이다. 스마트 단말(2000)은 프로세서(2100), 디스플레이부(2300), 통신부(2400) 및 사용자 입력부(2500)를 포함한다.
통신부(2400)는 스마트 텔레비전(1000)이 합성한 합성 윈도우를 수신한다. 통신부(2400)는 사용자 입력부(2500)를 통해 수신된 사용자 입력에 대한 정보를 스마트 텔레비전(1000)에 송신한다.
디스플레이부(2300)는 통신부(2400)가 수신한 합성 윈도우를 디스플레이한다. 일 실시 예에서, 스마트 단말(2000)은 디스플레이부(2300)와 사용자 입력부(2500)를 결합한 터치 스크린을 포함할 수 있다.
사용자 입력부(2500)는 스마트 단말(2000)에 대한 사용자 입력을 수신한다. 사용자 입력은 스마트 단말(2000)에 대하여 사용자가 수행하는 동작을 포함할 수 있다. 일 실시 예에서, 사용자 입력은 터치 스크린에 대하여 사용자가 수행하는 동작의 위치 및 형태를 포함하는 사용자 동작 정보를 포함할 수 있다. 사용자 동작 정보는 터치 스크린 상에서의 좌표에 대한 정보를 포함할 수 있다.
프로세서(2100)는 디스플레이부(2300), 통신부(2400) 및 사용자 입력부(2500)를 제어한다. 프로세서(2100)는 스마트 단말(2000)의 디스플레이 속성 정보에 따라 합성 윈도우의 해상도를 조정하고, 조정된 합성 윈도우를 디스플레이하도록 디스플레이부(2300)를 제어할 수 있다. 또한, 프로세서(2100)는 해상도 조정에 따라 사용자 입력에 대한 정보를 수정할 수 있다. 일 실시 예에 따른 멀티스크린 제어 방법은 어플리케이션 윈도우 수준에서의 동기화된 멀티 스크린 디스플레이를 실시할 수 있다. 스마트 단말(2000)의 화면은 스마트 텔레비전(1000)의 화면의 확장이 될 수 있다. 스마트 단말(2000)의 상대적으로 작은 화면과 편리한 터치 동작을 활용하여, 스마트 텔레비전(1000)의 사용경험은 크게 발전하고 풍부해질 것이다. 따라서 사용자는 스마트 텔레비전(1000)의 큰 화면이 주는 즐거움과 스마트 단말(2000)의 터치 동작에서 오는 편리함을 동시에 누릴 수 있다.
일 실시 예에 따른 멀티스크린 제어 방법은 재생중인 텔레비전 프로그램에 영향을 주지 않고 새로운 창을 사용자에게 제공할 수 있다. 예를 들어, 사용자가 새로운 창을 통해 전자 프로그램 안내와 같은 다른 어플리케이션의 내용을 보고, 다른 채널을 선택하여, 현재 TV에서 재생중인 프로그램을 선택한 채널로 변경할 수 있다. 만일 새로운 창이 스마트 텔레비전 스크린의 일부를 차지하거나 재생중인 영상에 겹쳐서 나타나지 않고, 스마트폰의 화면에 디스플레이될 수 있다면, 그리고 TV프로그램의 선택 및 제어가 스마트폰의 터치 스크린을 통하여 이루어질 수 있다면, 스마트 텔레비전의 화면은 프로그램의 재생만을 담당하고 스마트폰이 제어를 담당하여 스마트폰과 스마트 텔레비전 사이의 좋은 상호 작용 경험을 얻을 수 있을 것이다.
본 실시 예들에 따른 디바이스는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 디바이스와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 디바이스 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 디바이스들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 디바이스에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 단계들은 적당한 순서로 행해질 수 있다. 반드시 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
1000 : 스마트 텔레비전
1100 : 프로세서
1200 : 메모리
1300 : 디스플레이부
1400 : 통신부
1500 : 가상 디스플레이부
2000 : 스마트 단말
2100 : 프로세서
2200 : 메모리
2300 : 디스플레이부
2400 : 통신부
2500 : 사용자 입력부

Claims (19)

  1. 스마트 디바이스의 어플리케이션을 제어하는 방법에 있어서,
    상기 스마트 디바이스의 복수의 어플리케이션의 윈도우들을 합성하여 합성 윈도우를 생성하는 단계;
    상기 합성된 합성 윈도우를 상기 합성 윈도우가 표시될 스마트 단말에 송신하는 단계;
    상기 송신된 합성 윈도우와 관련하여 상기 스마트 단말에서 입력된 사용자 입력에 대한 정보를 수신하는 단계; 및
    상기 수신된 사용자의 입력 정보에 기초하여 상기 복수의 어플리케이션 중 적어도 하나의 어플리케이션을 제어하여 표시하는 단계; 를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 합성 윈도우를 상기 스마트 단말에 송신하는 단계는,
    상기 합성 윈도우의 프레임 버퍼 데이터를 송신하는 단계를 포함하는, 방법.
  3. 제 1 항에 있어서,
    상기 합성 윈도우를 생성하는 단계는,
    상기 스마트 단말의 디스플레이 속성 정보를 수신하는 단계; 및
    상기 디스플레이 속성 정보에 따라 상기 합성 윈도우가 표시되는 인터페이스를 보정하는 단계; 를 더 포함하는, 방법.
  4. 제 1항에 있어서, 복수의 스마트 단말 중 상기 합성 윈도우가 표시될 상기 스마트 단말을 선택하는 단계; 를 더 포함하는, 방법.
  5. 제 4 항에 있어서,
    상기 선택하는 단계는,
    상기 스마트 단말을 선택하는 사용자 선택 입력에 대한 정보, 이전에 상기 합성 윈도우의 표시를 위하여 사용되었던 상기 스마트 단말에 대한 사용 이력 정보 및 상기 합성 윈도우의 표시를 위하여 사전 설정된 정보 중 적어도 하나를 이용하여 상기 스마트 단말을 선택하는 것을 특징으로 하는, 방법.
  6. 제 1 항에 있어서,
    상기 복수의 어플리케이션 중 적어도 하나를 제어하는 단계는,
    상기 스마트 디바이스의 디스플레이 속성 정보 및 상기 스마트 단말의 속성 정보에 기초하여, 상기 적어도 하나의 어플리케이션을 결정하는 단계; 를 포함하는, 방법.
  7. 스마트 단말을 통하여 스마트 디바이스의 어플리케이션을 제어하는 방법에 있어서,
    상기 스마트 디바이스의 복수의 어플리케이션의 윈도우들이 합성된 합성 윈도우를 수신하는 단계;
    상기 합성 윈도우를 디스플레이하는 단계;
    상기 합성 윈도우에 대한 사용자 입력을 수신하는 단계; 및
    상기 사용자 입력에 대한 정보를 상기 스마트 디바이스에 송신하는 단계; 를 포함하는, 방법.
  8. 제 7 항에 있어서,
    상기 디스플레이하는 단계는,
    상기 스마트 단말의 디스플레이 속성 정보에 따라 상기 합성 윈도우의 해상도를 조정하는 단계; 및
    상기 조정된 합성 윈도우를 디스플레이하는 단계; 를 더 포함하는, 방법.
  9. 제 8 항에 있어서,
    상기 송신하는 단계는,
    상기 해상도 조정에 따라 상기 사용자 입력에 대한 정보를 수정하는 단계; 를 더 포함하는, 방법.
  10. 어플리케이션을 제어하는 스마트 디바이스에 있어서,
    상기 스마트 디바이스의 복수의 어플리케이션의 윈도우들을 합성하여 합성 윈도우를 생성하는 프로세서; 및
    상기 합성된 합성 윈도우를 상기 합성 윈도우가 표시될 스마트 단말에 송신하고, 상기 송신된 합성 윈도우와 관련하여 상기 스마트 단말에서 입력된 사용자 입력에 대한 정보를 수신하는 통신부; 를 포함하고,
    상기 프로세서는, 수신된 사용자의 입력 정보에 기초하여 상기 복수의 어플리케이션 중 적어도 하나의 어플리케이션을 제어하여 표시하는 것을 특징으로 하는, 스마트 디바이스.
  11. 제 10 항에 있어서, 상기 통신부는,
    상기 합성 윈도우의 프레임 버퍼 데이터를 송신함으로써 상기 합성 윈도우를 송신하는 것을 특징으로 하는, 스마트 디바이스.
  12. 제 10 항에 있어서,
    상기 통신부는 상기 스마트 단말의 디스플레이 속성 정보를 수신하고,
    상기 프로세서는, 상기 디스플레이 속성 정보에 따라 상기 합성 윈도우가 표시되는 인터페이스를 보정함으로써 상기 합성 윈도우를 생성하는 것을 특징으로 하는, 스마트 디바이스.
  13. 제 10 항에 있어서, 상기 프로세서는,
    복수의 스마트 단말 중 상기 합성 윈도우가 표시될 상기 스마트 단말을 선택하는 것을 특징으로 하는, 스마트 디바이스.
  14. 제 13 항에 있어서, 상기 프로세서는,
    상기 스마트 단말을 선택하는 사용자 선택 입력에 대한 정보, 이전에 상기 합성 윈도우의 표시를 위하여 사용되었던 상기 스마트 단말에 대한 사용 이력 정보 및 상기 합성 윈도우의 표시를 위하여 사전 설정된 정보 중 적어도 하나를 이용하여 상기 스마트 단말을 선택하는 것을 특징으로 하는, 스마트 디바이스.
  15. 제 10 항에 있어서, 상기 프로세서는,
    상기 스마트 디바이스의 디스플레이 속성 정보 및 상기 스마트 단말의 속성 정보에 기초하여, 상기 적어도 하나의 어플리케이션을 결정하고 상기 결정된 어플리케이션을 제어하는 것을 특징으로 하는, 스마트 디바이스.
  16. 스마트 디바이스의 어플리케이션을 제어하는 스마트 단말에 있어서,
    상기 스마트 디바이스의 복수의 어플리케이션의 윈도우들이 합성된 합성 윈도우를 수신하는 통신부;
    상기 합성 윈도우를 디스플레이하는 디스플레이부;
    상기 합성 윈도우에 대한 사용자 입력을 수신하는 사용자 입력부; 및
    상기 통신부, 디스플레이부 및 사용자 입력부를 제어하는 프로세서를 포함하고,
    상기 통신부는, 상기 사용자 입력에 대한 정보를 상기 스마트 디바이스에 송신하는 것을 특징으로 하는, 스마트 단말.
  17. 제 16 항에 있어서,
    상기 프로세서는 상기 스마트 단말의 디스플레이 속성 정보에 따라 상기 합성 윈도우의 해상도를 조정하고,
    상기 디스플레이부는 상기 조정된 합성 윈도우를 디스플레이하는 것을 특징으로 하는, 스마트 단말.
  18. 제 17 항에 있어서,
    상기 프로세서는, 상기 해상도 조정에 따라 상기 사용자 입력에 대한 정보를 수정하는 것을 특징으로 하는, 스마트 단말.
  19. 제 1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020150099838A 2014-09-12 2015-07-14 멀티 윈도우 어플리케이션을 지원하는 멀티 스크린 제어 방법 및 디바이스 KR20160031403A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP15184625.0A EP2996346A1 (en) 2014-09-12 2015-09-10 Multi-screen control method and device supporting multiple window applications
US14/851,564 US9723123B2 (en) 2014-09-12 2015-09-11 Multi-screen control method and device supporting multiple window applications

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410465581.6 2014-09-12
CN201410465581.6A CN104202677B (zh) 2014-09-12 2014-09-12 支持多窗口应用的多屏显示和控制的方法与装置

Publications (1)

Publication Number Publication Date
KR20160031403A true KR20160031403A (ko) 2016-03-22

Family

ID=52087892

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150099838A KR20160031403A (ko) 2014-09-12 2015-07-14 멀티 윈도우 어플리케이션을 지원하는 멀티 스크린 제어 방법 및 디바이스

Country Status (2)

Country Link
KR (1) KR20160031403A (ko)
CN (1) CN104202677B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112584244A (zh) * 2020-12-14 2021-03-30 深圳创维－Rgb电子有限公司 应用程序锁定方法、智能电视及计算机存储介质
US11405725B2 (en) 2017-09-08 2022-08-02 Samsung Electronics Co., Ltd. Method for controlling audio output by application through earphones and electronic device implementing same

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105992069A (zh) * 2015-01-31 2016-10-05 乐视致新电子科技（天津）有限公司 一种浏览器控制方法及系统、移动设备及电视
CN105930464B (zh) * 2016-04-22 2021-07-13 腾讯科技（深圳）有限公司 Web富媒体跨屏适配方法和装置
CN108694009B (zh) * 2017-04-05 2020-10-16 博彦科技股份有限公司 终端控制方法及装置
WO2018223400A1 (zh) 2017-06-09 2018-12-13 华为技术有限公司 一种显示方法及装置
CN107982915B (zh) * 2017-11-30 2020-10-16 杭州电魂网络科技股份有限公司 多游戏同屏实现方法和装置
CN108664229B (zh) * 2018-04-02 2020-10-02 广州视源电子科技股份有限公司 传屏方法、装置、电子设备及计算机可读存储介质
CN110531870B (zh) * 2019-08-16 2023-04-25 北京小鸟科技股份有限公司 Kvm坐席管理系统及鼠标定位方法
CN112511873A (zh) * 2020-11-12 2021-03-16 熊猫（北京）国际信息技术有限公司 一种多功能电视机
CN113691855A (zh) * 2021-08-11 2021-11-23 康佳集团股份有限公司 基于智能电视的多窗口控制处理方法、装置、终端及介质
CN114513535B (zh) * 2022-01-07 2024-03-08 阿里巴巴（中国）有限公司 数据传输系统、方法、装置及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081262A (ja) * 2008-09-25 2010-04-08 Sony Corp 情報処理装置、情報処理方法、情報処理システム、およびプログラム
CN101815162B (zh) * 2010-04-27 2012-12-05 四川长虹电器股份有限公司 一种遥控节目的系统
CN102724579A (zh) * 2011-03-29 2012-10-10 深圳市同洲软件有限公司 一种电子节目指南信息显示方法、装置和系统
CN102223573A (zh) * 2011-05-27 2011-10-19 深圳市同洲电子股份有限公司 节目播放时进行节目关联处理的方法及系统
KR101919794B1 (ko) * 2012-10-17 2018-11-19 엘지전자 주식회사 이동 단말기, 방송 단말기 및 이들의 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11405725B2 (en) 2017-09-08 2022-08-02 Samsung Electronics Co., Ltd. Method for controlling audio output by application through earphones and electronic device implementing same
CN112584244A (zh) * 2020-12-14 2021-03-30 深圳创维－Rgb电子有限公司 应用程序锁定方法、智能电视及计算机存储介质

Also Published As

Publication number Publication date
CN104202677B (zh) 2018-10-16
CN104202677A (zh) 2014-12-10

Similar Documents

Publication Publication Date Title
US9723123B2 (en) Multi-screen control method and device supporting multiple window applications
KR20160031403A (ko) 멀티 윈도우 어플리케이션을 지원하는 멀티 스크린 제어 방법 및 디바이스
WO2015043485A1 (zh) 一种显示方法及显示设备
KR102212270B1 (ko) 통합된 컨텐츠 소스들을 이용하여 미디어 컨텐츠를 제시하기 위한 방법들, 시스템들 및 매체들
CN114302190B (zh) 一种显示设备及画质调整方法
WO2021042655A1 (zh) 一种音画同步处理方法及显示设备
US20160080685A1 (en) System and method of outputting multi-lingual audio and associated audio from a single container
US11425466B2 (en) Data transmission method and device
US20140160305A1 (en) Information processing apparatus, information processing method, output apparatus, output method, program, and information processing system
CN111601144B (zh) 流媒体文件播放方法及显示设备
CN113825032A (zh) 媒资播放方法及显示设备
KR20220121730A (ko) 영상표시장치, 및 서버
CN112272331B (zh) 一种节目频道列表快速展示的方法及显示设备
KR20120023420A (ko) 컨텐츠 전환 방법 및 이를 수행하는 디스플레이 장치
CN113132769A (zh) 显示设备及音画同步方法
US20120096496A1 (en) System and method of providing an interactive menu through streaming video
KR102163860B1 (ko) 영상표시장치의 동작 방법
CN112367550A (zh) 一种媒资列表多标题动态展示的实现方法及显示设备
US8966528B2 (en) System and method of providing an interactive menu through streaming video
CN114710697B (zh) 一种智能菜谱的录制方法及装置
US11410588B1 (en) Display device
US20160381108A1 (en) Co-device to a Mobile Device for Integrated Use and Experience of Mobile Applications on Another Device and Display
CN112135173B (zh) 一种改善流媒体起播码率的方法及显示设备
CN114339344B (zh) 一种智能设备及视频录制的方法
US20230412890A1 (en) Refreshing method and display apparatus