KR102087987B1 - 마스터 기기, 클라이언트 기기, 및 그에 따른 화면 미러링 방법 - Google Patents

마스터 기기, 클라이언트 기기, 및 그에 따른 화면 미러링 방법 Download PDF

Info

Publication number
KR102087987B1
KR102087987B1 KR1020130118729A KR20130118729A KR102087987B1 KR 102087987 B1 KR102087987 B1 KR 102087987B1 KR 1020130118729 A KR1020130118729 A KR 1020130118729A KR 20130118729 A KR20130118729 A KR 20130118729A KR 102087987 B1 KR102087987 B1 KR 102087987B1
Authority
KR
South Korea
Prior art keywords
screen
area
client device
quality data
mirroring
Prior art date
Application number
KR1020130118729A
Other languages
English (en)
Other versions
KR20150040125A (ko
Inventor
방한민
나가 아쉬옥 바부 잠파니
장수호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130118729A priority Critical patent/KR102087987B1/ko
Priority to US14/501,440 priority patent/US20150097757A1/en
Priority to EP14187184.8A priority patent/EP2857957B1/en
Publication of KR20150040125A publication Critical patent/KR20150040125A/ko
Application granted granted Critical
Publication of KR102087987B1 publication Critical patent/KR102087987B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

미러링 서비스를 제공할 수 잇는 마스터 기기가 개시된다.
본 발명의 일 실시예에 따른 마스터 기기는 소정 화면을 디스플레이 하는 디스플레이 부, 상기 소정 화면 중 클라이언트 기기가 미러링하는 제1 영역을 고화질 데이터로 생성하고 상기 클라이언트 기기가 미러링하지 않는 제2 영역을 저화질 데이터로 생성하는 제어부, 및 상기 고화질 데이터 및 상기 저화질 데이터를 상기 클라이언트 기기로 전송하는 통신부를 포함하며, 미러링 화면의 변경이 요청된 경우 빠르게 미러링 화면을 전환할 수 있다.

Description

마스터 기기, 클라이언트 기기, 및 그에 따른 화면 미러링 방법{MASTER DEVICE, CLIENT DEVICE, AND METHOD FOR SCREEN MIRRORING THEREOF}
본원 발명은 마스터 기기, 클라이언트 기기, 및 그에 따른 화면 미러링 방법에 관한 것이다.
보다 상세하게는, 마스터 기기에서 디스플레이하는 화면을 클라이언트 기기가 미러링하여 디스플레이 하는 기기 및 화면 미러링 방법에 관한 것이다.
유무선 통신 네트워크의 발달로, 화면을 디스플레이 하여 사용자가 시각적으로 인식할 수 있는 데이터를 출력하는 전자기기들이 유무선 통신 네트워크를 통하여 상호 연결될 수 있다.
전자기기들 상호간은 유무선 통신 네트워크를 통하여 각종 데이터를 송수신할 수 있으며, 일 전자기기에서 다른 전자기기를 원격으로 제어하거나 일 전자기기를 다른 전자기기를 통하여 이용할 수 있다. 전술한 원격 제어나 전자기기들 간의 공유 이용을 위해서는 미러링(mirroring) 기술이 필요하다.
미러링 기술은 디스플레이 부(display unit)를 가진 장치들 간에 스크린 데이터(screen data)를 공유하고 조작할 수 있는 기술이다. 미러링 기술은 개인 컴퓨터(personal computer) 간에 스크린 데이터를 공유하여 이용할 수 있도록 한다.
또한, 미러링 기술은 노트북, 넷북 또는 태블릿 PC 등과 같은 휴대용 컴퓨터, 스마트 폰 또는 PDA와 같은 휴대용 단말기, TV 등과 같이 디스플레이 부를 통하여 화면(screen)을 출력할 수 있는 모든 전자기기에 적용할 수 있도록 널리 개발되고 있다. 다수개의 전자기기들에 미러링 기술을 적용하여, 화면을 공유하고 상호간 원격 제어를 할 수 있도록 하는 미러링 서비스(mirroring service)를 제공할 수 있다. 미러링 서비스를 제공하기 위한 기술로 DaaS(Display as a Service), 미라캐스트(Miracast) 및 에어플레이(Airplay) 등이 개발되어 있다.
이하에서는, 화면을 공유하여 디스플레이 함으로써 미러링 서비스를 이용할 수 있는 모든 전자기기를 '디스플레이 기기'라 칭한다.
미러링 서비스에서는 영상을 제공하는 기기에서 영상을 제공받는 기기로 소정 영상을 전송한다. 여기서, 영상을 제공하는 기기를 소스 기기(source device) 또는 마스터 기기(master device)라 칭할 수 있으며, 영상을 제공받는 기기를 싱크 기기(sink device) 또는 클라이언트 기기(client device)라 칭할 수 있다. 이하에서는, 영상을 제공하는 기기를 마스터 기기라 하고, 영상을 제공받는 기기를 클라이언트 기기라 한다.
미러링 서비스를 이용하려면, 다수개의 디스플레이 기기들은 디스플레이된 화면에 대응되는 영상 데이터를 유무선 네트워크를 이용하여 송수신하여야 한다.
특히, 미러링 화면을 전환하는데 있어서, 마스터 기기가 전환될 화면에 따른 고화질 데이터를 새롭게 생성하여 전송하고, 클라이언트 기기가 이를 수신하여야 한다. 따라서 미러링 화면 전환에는 시간 지연이 발생하게 되며, 이로 인하여 사용자가 지루함을 느낄 수 있다.
본원 발명은 미러링 화면을 빠르게 전환하여 디스플레이 할 수 있는 마스터 기기, 클라이언트 기기, 및 그에 따른 화면 미러링 방법의 제공을 목적으로 한다.
본 발명의 일 실시예에 따른 마스터 기기는 소정 화면을 디스플레이 하는 디스플레이 부, 상기 소정 화면 중 클라이언트 기기가 미러링하는 제1 영역을 고화질 데이터로 생성하고 상기 클라이언트 기기가 미러링하지 않는 제2 영역을 저화질 데이터로 생성하는 제어부, 및 상기 고화질 데이터 및 상기 저화질 데이터를 상기 클라이언트 기기로 전송하는 통신부를 포함한다.
또한, 상기 제어부는 상기 클라이언트 기기가 실제 디스플레이하고 있는 화면에 대한 정보인 미러링 화면 정보를 획득할 수 있다.
또한, 상기 제어부는 상기 미러링 화면 정보에 근거하여 상기 고화질 데이터 및 상기 저화질 데이터를 생성하고, 상기 고화질 데이터 및 상기 저화질 데이터를 엔코딩 및 멀티플렉싱하여 전송 스트림을 생성하며, 상기 통신부는 상기 전송 스트림을 상기 클라이언트 기기로 전송할 수 있다.
또한, 상기 미러링 화면 정보는 상기 소정 화면상에서 상기 제1 영역의 위치를 나타내는 정보를 포함할 수 있다.
또한, 상기 제어부는 상기 미러링 화면 정보에 근거하여, 상기 제1 영역에 대응되는 픽셀 데이터를 이용하여 상기 고화질 데이터를 생성하며, 상기 미러링 화면 정보에 근거하여, 상기 제2 영역에 대응되는 픽셀 데이터를 이용하여 상기 저화질 데이터를 생성할 수 있다.
또한, 상기 미러링 화면 정보는 상기 클라이언트 기기에서 상기 제1 영역을 확대 또는 축소하여 디스플레이 하는 경우, 상기 확대 또는 축소되어 상기 클라이언트 기기에서 실제 디스플레이 되는 화면에 대한 정보를 포함할 수 있다.
또한, 상기 제어부는 상기 클라이언트 기기에서 상기 제1 영역을 확대하여 디스플레이 하는 경우, 상기 소정 화면에 대응되는 픽셀 데이터를 이용하여 저화질 데이터를 생성하여 상기 클라이언트 기기로 전송시킬 수 있다.
또한, 상기 통신부는 상기 클라이언트 기기로부터 상기 미러링 화면 정보를 수신하여, 상기 제어부로 전송할 수 있다.
또한, 본 발명의 일 실시예에 따른 마스터 기기는 상기 소정 화면 중 상기 클라이언트 기기에서 미러링될 상기 제1 영역을 선택받는 입력부를 더 포함할 수 있다.
또한, 상기 제어부는 영상 데이터의 해상도, 비트 레이트, 및 프레임 레이트 중 적어도 하나를 조절하여 상기 고화질 데이터 및 상기 저화질 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따른 클라이언트 기기는 적어도 하나의 마스터 기기가 디스플레이 하는 적어도 하나의 화면을 미러링하여 출력한다. 클라이언트 기기는 상기 클라이언트 기기가 미러링하는 제1 영역을 고화질 데이터로 수신하고 상기 클라이언트 기기가 미러링하지 않는 제2 영역을 저화질 데이터로 수신하는 통신부, 상기 제1 영역에 대응되는 화면을 생성하는 제어부, 및 상기 제1 영역에 대응되는 화면을 디스플레이 하는 디스플레이 부를 포함한다.
또한, 상기 제어부는 상기 디스플레이 부가 실제 디스플레이하고 있는 화면에 대한 정보인 미러링 화면 정보를 생성하며, 상기 통신부는 상기 미러링 화면 정보를 상기 적어도 하나의 마스터 기기로 전송할 수 있다.
또한, 본 발명의 일 실시예에 따른 클라이언트 기기는 상기 제1 영역을 선택받는 입력부를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 클라이언트 기기는 상기 적어도 하나의 마스터 기기가 디스플레이하는 적어도 하나의 화면 목록을 포함하는 메뉴를 디스플레이하며, 상기 메뉴를 통하여 상기 제1 영역을 선택받는 입력부를 더 포함할 수 있다.
또한, 상기 입력부는 미러링 화면을 상기 제1 영역에 대응되는 화면에서 다른 화면으로 변경할 것을 요청받고, 상기 제어부는 상기 저화질 데이터를 이용하여 상기 변경된 다른 화면이 디스플레이되도록 제어할 수 있다.
또한, 상기 제어부는 상기 미러링 화면이 변경된 경우, 상기 변경된 다른 화면에 대한 정보를 포함하는 미러링 화면 정보가 상기 적어도 하나의 마스터 기기로 전송되도록 제어할 수 있다.
또한, 상기 통신부는 상기 적어도 하나의 마스터 기기로부터 상기 변경된 다른 화면에 대응되는 영상 데이터를 상기 고화질 데이터를 수신하고, 상기 제1 영역에 대응되는 영상 데이터를 상기 저화질 데이터로 수신할 수 있다.
또한, 상기 제어부는 상기 변경된 다른 화면에 대응되는 상기 고화질 데이터를 디코딩하여, 상기 변경된 다른 화면이 디스플레이 되도록 제어할 수 있다.
또한, 본 발명의 일 실시예에 따른 클라이언트 기기는 상기 적어도 하나의 마스터 기기가 디스플레이 하는 화면의 일 영역에서 다른 영역으로 뷰가 이동된 화면을 미러링 하도록 요청받는 입력부를 더 포함할 수 있다.
또한, 상기 제어부는 상기 다른 영역에 대응되는 영상 데이터를 포함하는 상기 저화질 데이터를 이용하여, 상기 뷰가 이동된 화면이 디스플레이 되도록 제어할 수 있다.
본 발명의 일 실시예에 따른 화면 미러링 방법은 마스터 기기가 디스플레이 하는 소정 화면 중 클라이언트 기기가 미러링하는 제1 영역을 고화질 데이터로 생성하고 상기 클라이언트 기기가 미러링하지 않는 제2 영역을 저화질 데이터로 생성하는 단계, 및 상기 고화질 데이터 및 상기 저화질 데이터를 상기 클라이언트 기기로 전송하는 단계를 포함한다.
또한, 본 발명의 일 실시예에 따른 화면 미러링 방법은 클라이언트 기기에서 적어도 하나의 마스터 기기가 디스플레이 하는 적어도 하나의 화면을 미러링하여 디스플레이하는 방법이다. 화면 미러링 방법은 상기 클라이언트 기기가 미러링하는 제1 영역을 고화질 데이터로 수신하고 상기 클라이언트 기기가 미러링하지 않는 제2 영역을 저화질 데이터로 수신하는 단계, 및 상기 고화질 데이터를 이용하여, 상기 제1 영역에 대응되는 화면을 디스플레이하는 단계를 포함한다.
본 발명의 일 실시예에 따른 마스터 기기, 클라이언트 기기, 및 그에 따른 화면 미러링 방법은 미러링 화면의 변경이 요청되면 빠르게 미러링 화면을 전환할 수 있다. 그에 따라서, 사용자가 미러링 화면이 전환될 때 느끼는 지루함을 감소시킬 수 있다.
도 1은 미러링 연결의 일 예를 나타내는 도면이다.
도 2는 미러링 연결의 다른 예를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 디스플레이 기기를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 화면 미러링 방법을 나타내는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 화면 미러링 방법을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 화면 미러링 방법의 상세 동작을 설명하기 위한 일 도면이다.
도 7은 본 발명의 일 실시예에 따른 화면 미러링 방법의 상세 동작을 설명하기 위한 다른 도면이다.
도 8은 본 발명의 다른 실시예에 따른 화면 미러링 방법을 나타내는 도면이다.
도 9는 본 발명의 다른 실시예에 따른 화면 미러링 방법의 상세 동작을 설명하기 위한 일 도면이다.
도 10은 본 발명의 다른 실시예에 따른 화면 미러링 방법의 상세 동작을 설명하기 위한 다른 도면이다.
이하에서는, 첨부된 도면을 참조하여 본 발명의 일 실시예에 따른 화면 미러링 방법 및 그에 따른 디스플레이 기기를 상세히 설명한다.
전술한 바와 같이 다수개의 디스플레이 기기들은 상호 연결되어, 상호간을 원격 제어하고 상호 이용을 할 수 있다.
미러링 서비스를 이용하는 다수개의 디스플레이 기기들은 적어도 하나의 마스터 기기와 적어도 하나의 클라이언트 기기를 포함하며, 적어도 하나의 마스터 기기와 적어도 하나의 클라이언트 기기는 유무선의 네트워크를 통하여 상호 연결된다.
이하에서는 도 1 및 도 2를 참조하여, 본 발명의 일 실시예에 따른 디스플레이 기기 및 미러링 서비스를 이용하는 다수개의 디스플레이 기기들 간의 연결 관계를 설명한다. 도 1 및 도 2에 도시된 디스플레이 기기는 디스플레이 부(display unit)를 포함하는 전자기기로, 전술한 바와 같이 노트북, 넷북 또는 태블릿 PC 등과 같은 휴대용 컴퓨터, 스마트 폰 또는 PDA 와 같은 휴대용 단말기, 컴퓨터, 스마트 TV 등이 될 수 있다.
도 1은 미러링 연결의 일 예를 나타내는 도면이다.
도 1에서는 하나의 마스터 기기와 적어도 하나의 클라이언트 기기가 연결되는 경우를 예로 들어 도시하였다.
도 1의 (a)를 참조하면, 하나의 마스터 기기와 하나의 클라이언트 기기가 1:1 네트워크 토폴로지(network topology)로 연결된다. 구체적으로, 마스터 기기(110)는 소정 네트워크(115)를 통하여 클라이언트 기기(120)와 1:1 네트워크 토폴로지(network topology)로 연결된다.
여기서, 소정 네트워크(115)는 소정 데이터를 송수신할 수 있는 유무선의 통신 네트워크이다. 소정 네트워크(115)는 LAN(local area network), WAN(wide area network), WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), CDMA, WCDMA, NFC(Near field communication)등과 같이 매우 다양한 통신 네트워크 표준에 따라서 형성될 수 있다.
마스터 기기(110)는 마스터 기기(110)의 동작을 제어하기 위한 메뉴 화면, 동영상을 재생하는 화면 등을 디스플레이 할 수 있다. 마스터 기기(110)는 현재 재생되고 있는 화면에 대응되는 영상 데이터를 생성하여 클라이언트 기기(120)로 전송한다. 구체적으로, 마스터 기기(110)는 현재 재생되고 있는 화면 전체에 대응되는 영상 데이터를 생성 및 전송할 수 있고, 현재 재생되고 있는 화면을 분할하여 분할된 적어도 하나의 화면을 생성 및 전송할 수 도 있다.
클라이언트 기기(120)는 소정 네트워크(115)를 통하여 마스터 기기(110)에서 디스플레이 되고 있는 화면에 대응되는 영상 데이터를 전송 받는다. 클라이언트 기기(120)는 마스터 기기(110)로부터 전송받은 영상 데이터를 디코딩함에 따라 생성된 화면을 디스플레이 할 수 있다.
구체적으로, 클라이언트 기기(120)는 마스터 기기(110)에서 디스플레이 하는 화면(screen)을 단일 또는 다중으로 나누어 전송받는다. 그리고, 클라이언트 기기(120)는 전송받은 영상 데이터를 이용하여, 마스터 기기(110)에서 디스플레이되고 있는 화면과 동일 대응되는 화면을 디스플레이 할 수 있다. 구체적으로, 클라이언트 기기(120)는 마스터 기기(110)에서 디스플레이 되고 있는 화면의 전체 또는 일부분을 디스플레이 할 수 있다.
도 1의 (b)를 참조하면, 하나의 마스터 기기와 다수개의 클라이언트 기기가 1:n 네트워크 토폴로지(network topology)로 연결된다. 구체적으로, 마스터 기기(130)는 소정 네트워크(135)를 통하여 다수개의 클라이언트 기기(141, 142, 143)와 1:n 네트워크 토폴로지(network topology)로 연결된다.
도 1의 (b)를 참조하면, 하나의 마스터 기기(130)는 다수개의 클라이언트 기기들(141, 142, 143)로 화면 전체를 복사하여 전송하거나, 화면의 소정 영역을 복사하여 전송하거나, 또는 화면의 서로 다른 영역을 각각 전송할 수 있다.
도 1의 (b)에 있어서, 도 1의 (a)와 중복되는 구성 설명은 생략하도록 한다.
도 2는 미러링 연결의 다른 예를 나타내는 도면이다.
구체적으로, 도 2의 (a)는 다수개의 마스터 기기들과 적어도 하나의 클라이언트 기기가 연결되는 경우를 예로 들어 도시하였다.
도 2의 (a)를 참조하면, 다수개의 마스터 기기들(211, 212, 213)과 하나의 클라이언트 기기(220)가 n:1 네트워크 토폴로지(network topology)로 연결된다. 구체적으로, 마스터 기기들(211, 212, 213)은 소정 네트워크(215)를 통하여 클라이언트 기기(220)와 n:1 네트워크 토폴로지(network topology)로 연결된다.
도 2의 (a)를 참조하면, 다수개의 마스터 기기들(211, 212, 213)들 각각은 하나의 클라이언트 기기(220)로 영상 데이터를 전송한다. 클라이언트 기기(220)는 수신된 다수개의 영상 데이터에서 특정 영상 데이터에 대응되는 화면을 선택적으로 디스플레이 할 수 있다. 또한, 클라이언트 기기(220)는 수신된 다수개의 영상 데이터에 포함되는 다수개의 영상을 집합(aggregation)하여 하나의 화면을 생성하여 디스플레이 할 수 있다.
도 2의 (b)를 참조하면, 다수개의 마스터 기기들(231, 232, 233)과 다수개의 클라이언트 기기들(241, 242, 243, 244, 245)이 m:n 네트워크 토폴로지(network topology)로 연결된다. 구체적으로, 다수개의 마스터 기기들(231, 232, 233)은 소정 네트워크(235)를 통하여 다수개의 클라이언트 기기들(241, 242, 243, 244, 245)과 m;n 네트워크 토폴로지(network topology)로 연결된다.
도 2의 (b)를 참조하면, 다수개의 마스터 기기들(231, 232, 233)들 각각은 다수개의 클라이언트 기기들(241, 242, 243, 244, 245)로 영상 데이터를 전송한다. 다수개의 클라이언트 기기들(241, 242, 243, 244, 245) 각각은 수신된 다수개의 영상 데이터에서 특정 영상 데이터에 대응되는 화면을 선택적으로 디스플레이 할 수 있다. 또한, 다수개의 클라이언트 기기들(241, 242, 243, 244, 245) 각각은 수신된 다수개의 영상 데이터에 포함되는 다수개의 영상을 집합(aggregation)하여 하나의 화면을 생성하여 디스플레이 할 수 있다.
도 3은 본 발명의 일 실시예에 따른 디스플레이 기기를 나타내는 도면이다. 본 발명의 일 실시예에 따른 디스플레이 기기는 전술한 소정 네트워크를 통하여 미러링 서비스를 이용할 수 있는 전자기기로, 마스터 기기(310) 또는 클라이언트 기기(360)가 될 수 있다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 디스플레이 기기는 마스터 기기(310) 또는 클라이언트 기기(360) 중 어느 하나가 될 수 있다. 또한, 본 발명의 일 또는 다른 실시예에 따른 마스터 기기(310) 및 클라이언트 기기(360)는 도 1 및 도 2에서 전술한 바와 같이, 1:1 네트워크 토폴로지(network topology), 1:n 네트워크 토폴로지(network topology), n:1 네트워크 토폴로지(network topology), 또는 m:n 네트워크 토폴로지(network topology)로 연결될 수 있다.
도 3에서는 마스터 기기(310) 및 클라이언트 기기(360)가 1:1 네트워크 토폴로지(network topology)로 연결된 경우를 예로 들어 설명한다. 도 3에 있어서, 마스터 기기(310)와 클라이언트 기기(360)는 미러링 서비스를 실행하는 디스플레이 기기들 간의 상대적인 개념으로, 화면을 전송하는 기기를 마스터 기기(310)라 하고, 화면을 수신하여 미러링 화면을 디스플레이 하는 기기를 클라이언트 기기(360)라 한다.
도 3을 참조하면, 마스터 기기(310)는 제어부(315), 디스플레이 부(320) 및 통신부(325)를 포함한다. 또한, 마스터 기기(310)는 입력부(330) 및 메모리(335)를 더 포함할 수 있다.
제어부(315)는 영상 데이터를 생성한다. 구체적으로, 제어부(315)는 정지화상 데이터 또는 동화상 데이터와 같은 영상 데이터에 대응되는 화면을 생성할 수 있다. 또는 메뉴 화면, 사용자 인터페이스 화면 등을 생성할 수 있다.
디스플레이 부(320)는 영상 데이터에 대응하는 소정 화면을 디스플레이 할 수 있다. 구체적으로, 제어부(315)에서 생성된 소정 화면을 입력받고, 이를 디스플레이 패널(display panel)(미도시)을 통하여 출력한다.
메모리(335)는 각종 데이터, 마스터 장치(310)가 동작하는데 필요한 프로그램들, 및 송수신되는 데이터 등을 저장할 수 있다.
제어부(315)는 미러링 서비스를 실행할 수 있다. 미러링 서비스가 실행되면, 제어부(315)는 디스프레이되는 화면에 대응되는 영상 데이터를 클라이언트 기기(360)으로 전송시킬 수 있다.
구체적으로, 메모리(335)는 프레임 버퍼(미도시)를 포함할 수 있으며, 프레임 버퍼(미도시)는 픽셀 데이터를 저장하고 있다. 제어부(315)는 프레임 버퍼에 저장된 픽셀 데이터를 이용하여 미러링 화면에 대응되는 영상 데이터를 엔코딩하고, 엔코딩된 영상 데이터가 클라이언트 기기(360)로 전송되도록 제어할 수 있다.
통신부(325)는 제어부(315)에서 생성된 영상 데이터를 클라이언트 기기(360)로 전송한다. 구체적으로, 통신부(325)는 유선 또는 무선으로 소정 네트워크(350)에 접속하기 위한 통신 모듈을 포함할 수 있다. 예를 들어, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), CDMA, WCDMA, 또는 NFC 통신 모듈 등이 포함될 수 있다.
즉, 미러링 서비스 실행을 위한 영상 데이터는 제어부(315)에서 생성되어 통신부(325)를 통하여 클라이언트 기기(360)로 전송된다.
이하에서는, 마스터 기기(310)의 디스플레이 부(320) 상에서 디스플레이 되는 소정 화면의 적어도 일부분이 클라이언트 기기(360)에서 미러링되어 디스플레이될 때, 소정 화면 중 클라이언트 기기(360)가 미러링하는 영역을 제1 영역이라 한다. 그리고, 소정 화면 중 클라이언트 기기(360)가 미러링하지 않는 영역을 제2 영역이라 한다.
제어부(315)는 디스플레이 부(320)가 디스플레이하는 소정 화면 중 클라이언트 기기(360)가 미러링하는 제1 영역을 고화질 데이터로 생성하고 클라이언트 기기(360)가 미러링하지 않는 제2 영역을 저화질 데이터로 생성한다.
통신부(325)는 제어부(315)에서 생성된 고화질 데이터 및 저화질 데이터를 클라이언트 기기(360)으로 전송한다. 여기서, 저화질 데이터는 저화질의 동영상 또는 정지화상 데이터 및 썸네일(thumbnail) 데이터가 될 수 있다.
구체적으로, 통신부(325)는 고화질 데이터 및 저화질 데이터를 소정 네트워크(350)를 통하여 클라이언트 기기(360)의 통신부(375)로 전송한다.
즉, 제어부(315)는 클라이언트 기기(360)가 디스플레이 부(320)에서 디스플레이 되는 소정 화면 중 소정 영역을 미러링하여 디스플레이하면, 클라이언트 기기(360)가 실제 디스플레이하는 소정 영역에 대응되는 영상 데이터를 고화질의 데이터로 생성하고, 소정 화면 중 클라이언트 기기(360)가 실제 디스플레이하지 않는 영역에 대응되는 영상 데이터를 저화질 데이터로 생성할 수 있다.
저화질 데이터와 고화질 데이터는 디스플레이 기기의 제품 사양에 따라서 결정될 수 있다. 구체적으로, 저화질 데이터와 고화질 데이터 각각의 데이터 사양은 디스플레이 기기인 마스터 기기(310)가 생성하는 영상의 해상도, 비트 레이트(bit rate), 프레임 레이트(frame rate), 엔코딩 사양, 연결된 소정 네트워크(350)의 상황, 및 소정 네트워크의 대역폭(bandwidth) 중 적어도 하나에 근거하여 결정될 수 있다.
또한, 저화질 데이터 및 고화질 데이터 각각의 상세 사양은 전술한 디스플레이 기기의 제품 사양 및 통신 네트워크의 대역폭 중 적어도 하나에 근거하여 소정 범위의 값으로 실험적으로 최적화시켜 설정할 수 있다.
예를 들어, 고화질 데이터의 상세 사양은 연결된 소정 네트워크(350)의 대역폭(bandwidth)에 근거하여 결정될 수 있다. 구체적으로, 마스터 기기(310)와 소정 네트워크(350)가 1:1 네트워크 토폴로지(network topology)로 연결된 경우, 마스터 기기(310)와 클라이언트 기기(360)간에 연결된 소정 네트워크(350)가 현재 낼 수 있는 대역폭에 근거하여 비트 레이트 및 프레임 레이트 중 적어도 하나를 결정한다.
또 다른 예로, 도 1의 (b)에서와 같이 마스터 기기(310)와 소정 네트워크(350)가 1:n 네트워크 토폴로지(network topology)로 연결된 경우, 하나의 마스터 기기와 다수개의 클라이언트 기기들 간에 연결된 다수개의 소정 네트워크들 각각의 대역폭 중 가장 낮은 대역폭 값에 근거하여 마스터 기기의 비트 레이트 및 프레임 레이트 중 적어도 하나를 결정할 수 있다.
예를 들어, 고화질 데이터의 사양을 1920*1280 의 해상도, 상한선 15Mbps(Mega bit per sec.) 및 하한선 5Mbps 의 비트레이트, 상한선 30fps(frame per sec.) 및 하한선 15fps의 프레임 레이트라고 결정되어 있다고 하자. 미러링 동작 중 네트워크의 통신 링크 품질이 저하되면, 비트레이트를 먼저 변경하여 비트레이트 값을 감소시키고, 비트레이트가 하한값에 도달하면 프레임 레이트를 감소시킬 수 있다. 즉, 네트워크의 통신 링크 품질에 따른 대역폭에 맞춰, 비트레이트 및 프레임 레이트 중 적어도 하나를 조절한다.
또한, 고화질 데이터의 상세 사양을 결정하는 바와 같이, 저화질 데이터의 상세 사양을 결정할 수 있다. 또한, 고화질 데이터의 상세 사양에 비하여, 영상 데이터의 해상도, 비트 레이트, 및 프레임 레이트 중 적어도 하나를 감소시켜 저화질의 데이터를 생성할 수 있다.
구체적으로, 제어부(315)가 생성할 수 있는 해상도 값에 따라서, 고화질 데이터는 해상도의 값을 높이고, 저화질 데이터는 해상도의 값을 낮출 수 있다. 또한, 제어부(315)가 영상 데이터를 생성하는데 적용할 수 있는 프레임 레이트(frame rate)에 따라서 고화질 데이터는 프레임 레이트를 높여서 생성하고, 저화질 데이터는 프레임 레이트를 낮춰서 생성할 수 있다.
또한, 저화질의 데이터를 생성하는 데 있어서, 고화질의 데이터의 비트레이트를 먼저 감소시키고, 추가적인 화질 감소가 필요한 경우 프레임 레이트를 감소시킬 수 있다.
또한, 제어부(315)는 미러링 화면 정보를 획득할 수 있다. 여기서, 미러링 화면 정보는 클라이언트 기기(360)가 실제 디스플레이하고 있는 화면에 대한 정보이다. 미러링 화면 정보는 클라이언트 기기(360)로부터 전송되어 마스터 기기(310)로 수신될 수 있으며, 또는 제어부(315)가 클라이언트 기기(360)의 디스플레이 부(370)에서 디스플레이 되는 화면을 모니터링하여 자체적으로 획득할 수 있다.
구체적으로, 마스터 기기(310)는 소정 시간 간격으로 미러링 화면 정보를 모니터링하여, 자체적으로 미러링 화면 정보를 획득할 수 있다. 또는, 마스터 기기(310)는 클라이언트 기기(360)가 실제 디스플레이하고 있는 미러링 화면에 변경이 요청된 경우, 미러링 화면 정보를 획득할 수 있다. 미러링 화면 정보는 이하에서 도 9 내지 도 10을 참조하여 상세히 설명한다.
예를 들어, 클라이언트 기기(360)가 마스터 기기(310)에서 디스플레이 되는 화면을 미러링 할 때, 마스터 기기(310)에서 디스플레이 되는 화면의 일부 영역을 클라이언트 기기(360)가 디스플레이 할 수 있다. 이 경우, 클라이언트 기기(360)가 디스플레이 하는 일부 영역에 대한 정보인 미러링 화면 정보를 마스터 기기(310)로 전송할 수 있다. 이 경우, 미러링 화면 정보는, 마스터 기기(310)에서 디스플레이 되는 화면상에서 클라이언트 기기(360)가 미러링하는 일부 영역의 위치를 나타내는 정보를 포함할 수 있다.
또한, 제어부(315)는 미러링 화면 정보에 근거하여, 고화질 데이터 및 저화질 데이터를 생성할 수 있다.
구체적으로, 제어부(315)는 미러링 화면 정보에 근거하여, 프레임 버퍼에 저장된 제1 영역에 대응되는 픽셀 데이터를 이용하여 고화질 데이터를 생성할 수 있다. 구체적으로, 제어부(315)는 프레임 버퍼에 저장된 제1 영역에 대응되는 픽셀 데이터를 엔코딩하여 고화질 데이터를 생성할 수 있다.
또한, 제어부(315)는 미러링 화면 정보에 근거하여, 프레임 버퍼에 저장된 제2 영역에 대응되는 픽셀 데이터를 이용하여 저화질 데이터를 생성할 수 있다. 구체적으로, 제어부(315)는 프레임 버퍼에 저장된 제2 영역에 대응되는 픽셀 데이터를 엔코딩하여 저화질 데이터를 생성할 수 있다.
또한, 제어부(315)는 고화질 데이터 및 저화질 데이터를 엔코딩(encoding) 및 멀티플렉싱(multiplexing)하고, 대응되는 전송 스트림(TS: Transport Stream)을 생성할 수 있다. 그에 따라서, 통신부(325)는 제어부(315)에서 생성된 전송 스트림을 클라이언트 기기(360)의 통신부(375)로 전송할 수 있다.
구체적으로, 제어부(315)는 하나의 화면을 다수 영역으로 분할하고, 다수 영역에 대응되는 데이터들을 엔코딩 및 멀티플렉싱 할 때, 다수 영역별로 영상의 비트레이트, 프레임 레이트, 및 해상도 중 적어도 하나를 다르게 하여 인코딩 할 수 있다. 그리고, 엔코딩된 다수 영역의 데이터들을 멀티플렉싱하여 하나의 전송 스트림을 생성할 수 있다. 예를 들어, 전송 스트림의 생성은 MPEG-2 TS 규격에 맞춰 수행될 수 있다.
마스터 기기(310)에서 디스플레이 하는 화면 중 제1 영역을 클라이언트 기기(360)에서 미러링하여 출력하며, 제어부(315)는 하나의 화면을 다수 영역으로 분할하여 전송하는 경우를 예로 들자. 이때, 제어부(315)는 미러링되는 제1 영역에 대응되는 영상 데이터의 비트 레이트 및 프레임 레이트는 각각 15Mbps 및 30fps 의 설정하여 인코딩하고, 미러링되지 않는 제2 영역에 대응되는 영상 데이터의 비트 레이트 및 프레임 레이트는 각각 1Mbps 및 10fps 의 설정하여 인코딩 할 수 있다. 그리고, 인코딩된 각각의 영상들은 멀티플렉싱하여 하나의 전송 스트림으로 생성할 수 있다.
입력부(330)는 사용자로부터 마스터 기기(310)의 동작을 제어하기 위한 요청 또는 명령, 또는 기타 데이터를 입력받는다.
입력부(330)는 터치 스크린으로 형성될 수 있다. 구체적으로, 입력부(330)는 디스플레이 패널(display panel)(미도시)과 결합되는 터치 패드(touch pad)(미도시)를 포함하여, 디스플레이 패널로 터치 스크린을 출력하고, 터치 스크린을 통하여 소정 명령을 입력받으면 터치 패드에서 이를 감지할 수 있다.
예를 들어, 입력부(330)가 터치 스크린으로 형성되는 경우, 입력부(330)는 터치 패드와 결합된 디스플레이 패널 상으로 사용자 인터페이스 화면인 메뉴 화면을 출력할 수 있다. 사용자가 메뉴 화면의 소정 지점, 예를 들어, 미러링 서비스 메뉴가 디스플레이 된 지점을 터치하면, 입력부(330)는 터치된 지점을 감지한다. 그리고, 감지된 정보를 제어부(315)로 전송할 수 있다.
그러면, 제어부(315)는 감지된 지점에 표시된 메뉴에 대응되는 사용자의 요청 또는 명령을 인식하며, 인식된 요청 또는 명령을 수행할 수 있다. 상기 예에서, 미러링 서비스 메뉴가 디스플레이 된 지점이 터치되면, 미러링 서비스 실행을 요청하는 정보를 제어부(315)로 전송할 수 있다. 또는, 입력부(330)가 터치된 지점에 대한 위치 정보를 제어부(315)로 전송하면, 제어부(315)는 위치 정보에 대응하는 메뉴가 미러링 서비스 메뉴임을 감지하고, 미러링 서비스가 실행되도록 마스터 기기 (310)를 제어할 수 있다.
또한, 입력부(330)는 디스플레이 부(320)에 디스플레이 되는 소정 화면 중 클라이언트 기기(360)에서 미러링될 제1 영역을 선택받을 수 있다. 그러면, 제어부(315)는 입력부(330)에서 입력받은 제1 영역의 영상 데이터를 엔코딩하여 고화질 데이터를 생성하고, 생성된 고화질 데이터가 클라이언트 기기(360)로 전송되도록 제어할 수 있다.
마스터 기기(310)의 상세 동작은 이하에서 도 4 내지 도 10을 참조하여 상세히 설명한다.
클라이언트 기기(360)는 마스터 기기(310)와 소정 네트워크(350)를 통해 연결된 적어도 하나의 다른 디스플레이 기기로, 마스터 기기(310)에서 디스플레이 되는 적어도 하나의 화면 또는 소정 영역을 미러링하여 출력하는 디스플레이 기기이다.
클라이언트 기기(360)는 마스터 기기(310)와 동일한 세부 구성인 제어부(365), 디스플레이 부(370) 및 통신부(375)를 포함한다. 또한, 클라이언트 기기(360)는 입력부(380) 및 메모리(385)를 더 포함할 수 있다.
제어부(365), 디스플레이 부(370), 통신부(375), 입력부(380) 및 메모리(385)는 각각 전술한 제어부(315), 디스플레이 부(320), 통신부(325), 입력부(330) 및 메모리(335)와 동일 대응되므로, 마스터 기기(310)의 설명에서와 중복되는 설명은 생략한다.
통신부(375)는 마스터 기기(310)에서 화면 미러링을 위하여 영상 데이터를 수신한다. 구체적으로, 통신부(375)는 마스터 기기(310)의 통신부(325)와 소정 네트워크(350)를 통하여 유무선으로 연결되며, 통신부(325)에서 전송되는 영상 데이터를 수신한다.
통신부(375)는 클라이언트 기기(360)가 미러링하는 제1 영역을 고화질 데이터로 수신하고 클라이언트 기기(360)가 미러링하지 않는 제2 영역을 저화질 데이터로 수신한다.
제어부(365)는 제1 영역에 대응되는 화면을 생성한다. 구체적으로, 제어부(365)는 마스터 기기(310)에서 디스플레이 되는 영상 데이터를 미러링하기 위하여, 수신된 고화질 데이터를 디멀티플렉싱(De-multiplexing) 및 디코딩하여 제1 영역에 대응되는 화면을 생성할 수 있다.
예를 들어, 제어부(365)는 마스터 기기(310)에서 디스플레이 되는 화면 전체를 미러링할 수도 있고, 마스터 기기(310)에서 디스플레이 되는 화면 중 소정 부분 화면을 미러링 할 수 도 있다. 또한, 다수개의 화면에 대응되는 다수개의 영상 데이터를 수신한 경우, 다수개의 영상 데이터 중 적어도 하나 또는 적어도 일 부분을 조합하여 하나의 화면을 생성할 수 있다.
디스플레이 부(370)는 제어부(365)에서 생성된 화면을 미러링하여 디스플레이한다.
구체적으로, 통신부(375)는 고화질 데이터 및 저화질 데이터가 멀티플렉싱된 전송 스트림을 수신할 수 있다. 그러면, 제어부(365)는 전송 스트림을 디멀티플렉싱한다. 그리고, 디멀티플렉싱된 고화질 데이터를 디코딩하여 미러링 화면을 생성할 수 있다.
입력부(380)는 사용자로부터 클라이언트 기기(360)의 동작을 제어하기 위한 요청 또는 명령, 또는 기타 데이터를 입력받는다.
입력부(380)는 미러링되는 화면을 선택받는다. 구체적으로, 입력부(380)는 적어도 하나의 마스터 기기에서 디스플레이 되는 적어도 하나의 화면 중 적어도 하나 또는 소정 영역을 선택하여 미러링 하도록 하는 명령을 입력받을 수 있다. 구체적으로, 입력부(380)는 수신된 영상 데이터에 포함되는 화면들의 목록을 포함하는 메뉴를 디스플레이하며, 디스플레이된 메뉴를 통하여 미러링될 소정 화면을 선택받을 수 있다.
또한, 입력부(380)는 미러링 화면의 변경을 요청받을 수 있다. 구체적으로, 입력부(380)는 수신된 영상 데이터에 포함되는 화면들의 목록을 포함하는 메뉴를 디스플레이하며, 디스플레이 된 메뉴를 통하여 미러링 될 소정 화면을 변경할 수 있다.
예를 들어, 입력부(380)는 마스터 기기(310)에서 디스플레이 하는 소정 화면의 제1 영역에서 다른 영역으로 뷰가 이동된 화면을 미러링 하도록 요청받을 수 있다.
또한, 제어부(365)는 디스플레이 부(370)가 실제 디스플레이하고 있는 화면에 대한 정보인 미러링 화면 정보를 생성할 수 있다. 그에 따라서, 통신부(375)는 미러링 화면 정보를 마스터 기기(310)로 전송할 수 있다. 통신부(375)가 미러링 화면 정보를 마스터 기기(310)의 통신부(325)로 전송하면, 제어부(315)는 미러링 화면 정보를 전송받고, 미러링 화면 정보에 근거하여 고화질 데이터 및 저화질 데이터를 생성할 수 있다.
클라이언트 기기(360)의 상세 동작은 이하에서 도 4 내지 도 10을 참조하여 상세히 설명한다.
도 4는 본 발명의 일 또는 다른 실시예에 따른 화면 미러링 방법을 나타내는 도면이다. 도 4의 (a)에 도시된 본 발명의 일 실시예에 따른 화면 미러링 방법(405)은 도 1 내지 도 3을 참조하여 설명한 본 발명의 일 실시예에 따른 마스터 기기(310)와 그 기술적 사상이 동일하다. 또한, 도 4의 (b)에 도시된 본 발명의 다른 실시예에 따른 화면 미러링 방법(450)은 도 1 내지 도 3을 참조하여 설명한 본 발명의 일 실시예에 따른 클라이언트 기기(360)와 그 기술적 사상이 동일하다. 따라서, 도 1 내지 도 3에서와 중복되는 설명은 생략한다.
도 4의 (a)를 참조하면, 본 발명의 일 실시예에 따른 화면 미러링 방법(405)은 마스터 기기(310)가 디스플레이 하는 소정 화면 중 클라이언트 기기(360)가 미러링하는 제1 영역을 고화질 데이터로 생성하고 클라이언트 기기(360)가 미러링하지 않는 제2 영역을 저화질 데이터로 생성한다(410 단계). 410 단계의 동작은 제어부(315)에서 수행될 수 있다.
410 단계에서 생성된 고화질 데이터 및 저화질 데이터를 클라이언트 기기(360)로 전송한다(420 단계). 420 단계의 동작은 통신부(325)에서 수행될 수 있다.
도 4의 (b)를 참조하면, 본 발명의 다른 실시예에 따른 화면 미러링 방법(450)은 클라이언트 기기에서 적어도 하나의 마스터 기기가 디스플레이 하는 적어도 하나의 화면을 미러링하여 디스플레이하는 방법이다.
도 4의 (b)를 참조하면, 화면 미러링 방법(450)은 클라이언트 기기(360)가 미러링하는 제1 영역을 고화질 데이터로 수신하고 클라이언트 기기(360)가 미러링하지 않는 제2 영역을 저화질 데이터로 수신한다(460 단계). 460 단계의 동작은 클라이언트 기기(360)의 통신부(375)에서 수행될 수 있다.
460 단계에서 수신된 고화질 데이터를 이용하여, 제1 영역에 대응되는 화면을 미러링하여 디스플레이한다(470 단계). 470 단계의 동작은 제어부(365)의 제어에 따라서 디스플레이 부(370)에서 수행될 수 있다.
본원 발명에 있어서, 클라이언트 기기(360)가 실제 디스플레이 하는 화면에 대응되는 영상 데이터는 고화질 데이터이며, 저화질 데이터는 클라이언트 기기(360)가 실제 디스플레이 하는 화면에 대응되는 영상 데이터가 아니다. 따라서, 모든 영상 데이터를 고화질 데이터로 수신하는 경우에 비하여, 미러링 화면을 제공하는 데에는 화질 저하가 없으면서도 데이터 전송 효율을 증가시킬 수 있으며 데이터 전송 시간을 단축시킬 수 있다.
또한, 저화질 데이터를 수신하였으므로, 미러링 화면의 변경이 요청되었을 때, 저화질 데이터를 이용하여 빠르게 미러링 화면을 변경하여 사용자에게 디스플레이 할 수 있다. 그리고, 변경된 미러링 화면에 대응되는 영상 데이터는 후속하여 다시 고화질 데이터로 수신하게 되므로, 후속하여 화질 좋은 미러링 화면을 사용자에게 디스플레이 할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 화면 미러링 방법을 나타내는 도면이다.
도 5를 참조하면, 본 발명의 다른 실시예에 따른 화면 미러링 방법(500)에 있어서, 520 단계, 530 단계, 540 단계 및 550 단계는 각각 도 4에 도시된 410 단계, 420 단계, 460 단계 및 470 단계와 동일 대응되므로, 도 4에서와 중복되는 설명은 생략한다.
도 5를 참조하면, 505 단계, 510 단계, 520 단계 및 530 단계는 도 3에서 설명한 마스터 기기(310)에서 수행될 수 있으며, 540 단계 및 550 단계는 클라이언트 기기(360)에서 수행될 수 있다. 따라서, 도 3에서와 중복되는 설명은 생략한다.
화면 미러링 방법(500)은 미러링 서비스를 실행한다(505 단계). 미러링 서비스는 마스터 기기(310)의 입력부(330) 또는 클라이언트 기기(360)의 입력부(380)를 통하여 요청될 수 있으며, 미러링 서비스 요청에 따라서 클라이언트 기기(360)의 디스플레이 부(370)는 마스터 기기(310)의 디스플레이 부(320)에서 디스플레이 되는 화면을 미러링하여 디스플레이한다.
클라이언트 기기(360)가 실제 디스플레이하고 있는 화면에 대한 정보인 미러링 화면 정보를 획득한다(510 단계).
예를 들어, 마스터 기기와 클라이언트 기기가 n:1 네트워크 토폴로지(network topology)로 연결된 경우, 클라이언트 기기는 n 개의 마스터 기기에서 각각 디스플레이 되는 n 개의 화면을 포함하는 영상 데이터를 수신한다. 클라이언트 기기가 수신한 n 개의 화면 중 m 번째 화면을 미러링하여 디스플레이 할 경우, 클라이언트 기기는 m 번째 화면이 미러링되고 있음을 알리는 미러링 화면 정보를 생성하고, 생성된 미러링 화면 정보를 n 개의 마스터 기기로 모두 전송할 수 있다. 또는, m 번째 화면을 디스플레이하고 있는 m 번째 마스터 기기로만 미러링 화면 정보를 전송할 수 도 있다. 이 경우, 미러링 화면 정보를 수신한 마스터 기기는 화면 미러링을 위하여 고화질 데이터를 전송하고, 미러링 화면 정보를 수신하지 못한 마스터 기기는 저화질 데이터를 전송할 수 있다.
510 단계의 동작은 마스터 기기(310)의 제어부(315)에서 수행될 수 있다. 구체적으로, 미러링 화면 정보는 클라이언트 기기(360)의 제어부(365)가 생성하여 마스터 기기(310)의 제어부(315)로 전송할 수 있다. 예를 들어, 제어부(365)는 디스플레이 부(370)에서 디스플레이하는 화면의 변경이 요청된 경우, 미러링 화면 정보를 생성하여 전송할 수 있다. 또는 소정 시간 간격마다 미러링하는 화면에 대한 정보를 업데이트하여 전송할 수 있다.
510 단계에서 획득된 미러링 화면 정보에 근거하여 고화질 데이터 및 저화질 데이터를 생성한다(520 단계). 520 단계의 동작은 제어부(315)에서 수행될 수 있다.
구체적으로, 제1 영역에 대응되는 픽셀 데이터를 엔코딩하여 고화질 데이터를 생성한다(521 단계). 그리고, 제2 영역에 대응되는 픽셀 데이터를 엔코딩하여 저화질 데이터를 생성한다(522 단계).
그리고, 엔코딩된 고화질 데이터 및 저화질 데이터를 멀티플렉싱하여 전송 스트림을 생성할 수 있다.
520 단계에서 생성된 영상 데이터를 클라이언트 기기(360)로 전송한다(530 단계). 구체적으로, 520 단계에서 생성된 전송 스트림을 소정 네트워크(350)를 통하여 전송할 수 있다. 530 단계의 동작은 통신부(325)에서 수행될 수 있다.
530 단계에서 전송된 영상 데이터를 수신한다(540 단계). 540 단계의 동작은 통신부(375)에서 수행될 수 있다.
구체적으로, 클라이언트 기기(360)가 미러링하는 제1 영역을 고화질 데이터로 수신(541 단계)하고, 클라이언트 기기(360)가 미러링하지 않는 제2 영역을 저화질 데이터로 수신(542 단계)한다.
구체적으로, 540 단계에서 수신된 전송 스트림은 디멀티플렉싱(de-multiplexing) 및 디코딩(decoding)될 수 있다(단계 미도시). 구체적으로, 540 단계에서 수신된 전송 스트림을 고화질 데이터인 고화질 데이터와 저화질 데이터인 저화질 데이터로 디멀티플렉싱하고, 디멀티플렉싱 된 고화질 데이터를 디코딩한다. 또한, 디멀티플렉싱된 저화질 데이터는 미러링 화면에 변경되어 저화질 데이터가 디스플레이되어야 하는 경우에 디코딩될 수 있다.
그리고, 540 단계에서 수신된 고화질 데이터를 이용하여 화면을 미러링하여 디스플레이 한다(550 단계). 550 단계의 동작은 제어부(365)의 제어에 따라서 디스플레이 부(370)에서 수행될 수 있다.
510 단계, 520 단계, 530 단계, 540 단계 및 550 단계의 동작은 이하에서 도 6 및 도 7을 참조하여 상세히 설명한다.
도 6은 본 발명의 일 실시예에 따른 화면 미러링 방법의 상세 동작을 설명하기 위한 일 도면이다.
이하에서는 화면 미러링 방법(500)을 수행하는 다수개의 디스플레이 기기들은 도 2의 (a) 및 도 6에 도시된 바와 같이 n:1 네트워크 토폴로지(network topology)로 연결되어 있는 경우를 예로 들어 설명한다.
도 6을 참조하면, 제1 마스터 기기(610), 제2 마스터 기기(620) 및 제3 마스터 기기(630) 각각은 화면 A(611), 화면 B(621), 및 화면 C(631)를 디스플레이하고 있다. 다수개의 마스터 기기들(610, 620, 및 630)과 하나의 클라이언트 기기(650)는 소정 네트워크(640)를 통하여 연결된다.
도 6에 도시된 마스터 기기들(610, 620, 및 630) 각각은 도 3의 마스터 기기(310)와 동일 대응되며, 도 6에 도시된 클라이언트 기기(650)는 도 3에 도시된 클라이언트 기기(360)와 동일 대응된다. 따라서, 도 3 및 도 6을 참조하여, 본 발명의 일 실시예에 따른 화면 미러링 방법의 상세 동작을 설명한다.
540 단계에 있어서, 하나의 클라이언트 기기(650)는 다수개의 마스터 기기들(610, 620, 및 630)로부터 영상 데이터를 수신할 수 있다.
화면 B(621)에 포함되는 제1 영역(621)을 선택적으로 미러링 할 것을 요청받은 경우, 제어부(315)는 선택된 제1 영역(621)에 대한 위치 정보를 포함하는 미러링 화면 정보를 획득한다. 예를 들어, 미러링 화면 정보는 제1 영역(622)의 좌표 등 화면 B(621) 상에서 제1 영역(622)의 위치를 확정할 수 있는 정보를 포함할 수 있다. 또한, 미러링 될 화면의 선택은 마스터 기기(310)의 입력부(330) 또는 클라이언트 기기(360)의 입력부(380)를 통하여 이뤄질 수 있다.
제어부(315)는 미러링 화면 정보에 근거하여, 제1 영역(622)은 고화질 데이터로 생성하고, 화면 B(621) 상에서 제1 영역(622)을 제외한 영역(623)은 저화질의 데이터로 생성할 수 있다. 또한, 클라이언트 기기(650)가 실제 디스플레이하지 않는 화면 A(611) 및 화면 C(631)는 각각 저화질의 데이터로 생성되어 클라이언트 기기(650)로 전송된다.
구체적으로, 제1 영역(622)에 대응되는 영상 데이터는 고화질 데이터로 엔코딩하고 제1 영역(622)을 제외한 영역(623)은 저화질 데이터로 엔코딩한다. 또한, 화면 A(611) 및 화면 C(631)는 저화질의 데이터로 엔코딩한다. 그리고, 엔코딩 된 영역별 데이터들을 멀티플렉싱하여, 하나의 전송 스트림(TS)을 생성할 수 있다. 즉, 제2 마스터 기기(620)가 생성하여 전송하는 전송 스트림(TS)은 고화질 데이터인 제1 영역(622)에 대응되는 영상 데이터, 및 저화질 데이터인 영역(623)에 대응되는 영상 데이터를 포함한다. 그리고, 제1 마스터 기기(610)가 생성하여 전송하는 전송 스트림(TS)은 저화질 데이터인 화면 A(611)에 대응되는 영상 데이터를 포함한다. 또한, 제3 마스터 기기(630)가 생성하여 전송하는 전송 스트림(TS)은 저화질 데이터인 화면 C(631)에 대응되는 영상 데이터를 포함할 수 있다.
클라이언트 기기(650)는 소정 네트워크(640)를 통하여 제1 내지 제3 마스터 기기들(610, 620, 630) 각각에서 전송 스트림(TS)을 수신한다. 구체적으로, 통신부(375)는 전송 스트림(TS)을 수신하고, 제어부(365)가 수신된 전송 스트림(TS)을 역 다중화 및 디코딩하여, 제1 영역(622)에 대응되는 화면을 생성한다.
그러면, 디스플레이 부(370)는 제1 영역(622)에 대응되는 화면을 디스플레이한다. 도 6을 참조하면, 클라이언트 기기(650)의 디스플레이 화면인 화면 D(651)는 제1 영역(622)에 대응되는 화면과 동일하다.
도 7은 본 발명의 일 실시예에 따른 화면 미러링 방법의 상세 동작을 설명하기 위한 다른 도면이다.
이하에서는 화면 미러링 방법(500)을 수행하는 다수개의 디스플레이 기기들은 도 1의 (b) 및 도 7에 도시된 바와 같이 1:n 네트워크 토폴로지(network topology)로 연결되어 있는 경우를 예로 들어 설명한다.
도 7을 참조하면, 마스터 기기(710)는 화면 A(711)를 디스플레이하고 있다. 여기서, 화면 A(711)는 제1 영역 화면, 제2 영역 화면 및 제3 영역 화면을 포함한다. 제1 클라이언트 기기(750), 제2 클라이언트 기기(760) 및 제3 클라이언트 기기(770)는 각각은 화면 B(751), 화면 C(761) 및 화면 D(771)를 디스플레이하고 있다. 다수개의 클라이언트 기기들(750, 760, 770)은 소정 네트워크(730)를 통하여 하나의 마스터 기기(710)와 연결된다.
도 7에 도시된 마스터 기기(710)는 도 3의 마스터 기기(310)와 동일 대응되며, 도 7에 도시된 클라이언트 기기들(750, 760, 770) 각각은 도 3에 도시된 클라이언트 기기(360)와 동일 대응된다. 따라서, 도 3 및 도 7을 참조하여, 본 발명의 일 실시예에 따른 화면 미러링 방법의 상세 동작을 설명한다.
540 단계에 있어서, 다수개의 클라이언트 기기들(750, 760, 770) 각각은 하나의 마스터 기기(710)로부터 영상 데이터를 수신할 수 있다.
먼저, 제1 클라이언트 기기(750)의 화면 미러링에 대하여 설명한다.
예를 들어, 제1 클라이언트 기기(750)의 화면 미러링에 있어서, 제1 클라이언트 기기(750)의 입력부(380) 또는 마스터 기기(710)의 입력부(330)를 통하여, 화면 A(711)에 포함되는 제1 영역(712)을 선택적으로 미러링 할 것을 요청받는다. 그러면, 제어부(315)는 선택된 제1 영역(712)에 대한 위치 정보를 포함하는 미러링 화면 정보를 획득한다. 예를 들어, 미러링 화면 정보는 제1 영역(712)의 좌표 등 화면 A(711) 상에서 제1 영역(712)의 위치를 확정할 수 있는 정보를 포함할 수 있다.
계속하여, 제어부(315)는 미러링 화면 정보에 근거하여, 제1 영역(712)에 대응되는 영상 데이터는 고화질 데이터로 생성하고, 화면 A(711) 상에서 제1 영역(712)을 제외한 영역에 대응되는 영상 데이터는 저화질의 데이터로 생성할 수 있다. 구체적으로, 제1 영역(712)에 대응되는 영상 데이터는 고화질 데이터로 엔코딩하고 제1 영역(712)을 제외한 영역은 저화질 데이터로 엔코딩한다. 그리고, 엔코딩 된 영역별 데이터들을 멀티플렉싱하여, 하나의 전송 스트림(TS)을 생성할 수 있다.
제1 클라이언트 기기(750)는 소정 네트워크(730)를 통하여 전송 스트림(TS)을 수신한다. 구체적으로, 통신부(375)는 전송 스트림(TS)을 수신하고, 제어부(365)가 수신된 전송 스트림(TS)을 디멀티플렉싱하여 고화질 데이터 및 저화질 데이터를 분리하고, 고화질 데이터를 디코딩하여 제 1영역(712)에 대응되는 화면을 생성한다.
그러면, 디스플레이 부(370)는 제1 영역(712)에 대응되는 화면을 디스플레이한다. 도 7을 참조하면, 제1 클라이언트 기기(750)의 디스플레이 화면인 화면 B(751)는 제1 영역(712)에 대응되는 화면과 동일하다.
계속하여, 제2 클라이언트 기기(760)의 화면 미러링에 대하여 설명한다.
제2 클라이언트 기기(760)의 화면 미러링에 있어서, 제2 클라이언트 기기(760)의 입력부(380) 또는 마스터 기기(710)의 입력부(330)를 통하여, 화면 A(711)에 포함되는 제2 영역(713)을 선택적으로 미러링 할 것을 요청받은 경우, 제어부(315)는 선택된 제2 영역(713)에 대한 위치 정보로 미러링 화면 정보를 획득된다. 예를 들어, 미러링 화면 정보는 제2 영역(713)의 좌표 등 화면 A(711) 상에서 제2 영역(713)의 위치를 확정할 수 있는 정보를 포함할 수 있다.
계속하여, 제어부(315)는 미러링 화면 정보에 근거하여, 제2 영역(713)은 고화질 데이터로 생성하고, 화면 A(711) 상에서 제2 영역(713)을 제외한 영역은 저화질의 데이터로 생성할 수 있다. 구체적으로, 제2 영역(713)에 대응되는 영상 데이터는 고화질 데이터로 엔코딩하고 제2 영역(713)을 제외한 영역은 저화질 데이터로 엔코딩한다. 그리고, 엔코딩 된 영역별 데이터들을 멀티플렉싱하여, 하나의 전송 스트림(TS)을 생성할 수 있다.
제2 클라이언트 기기(760)는 소정 네트워크(730)를 통하여 전송 스트림(TS)을 수신한다. 구체적으로, 통신부(375)는 전송 스트림(TS)을 수신하고, 제어부(365)가 수신된 전송 스트림(TS)을 디멀티플렉싱하여 고화질 데이터 및 저화질 데이터를 분리하고, 고화질 데이터를 디코딩하여 제2 영역(713)에 대응되는 화면을 생성한다.
그러면, 디스플레이 부(370)는 제2 영역(713)에 대응되는 화면을 디스플레이한다. 도 7을 참조하면, 제2 클라이언트 기기(760)의 디스플레이 화면인 화면 C(761)는 제2 영역(713)에 대응되는 화면과 동일하다.
계속하여, 제3 클라이언트 기기(770)의 화면 미러링에 대하여 설명한다.
제3 클라이언트 기기(770)의 화면 미러링에 있어서, 제3 클라이언트 기기(770)의 입력부(380) 또는 마스터 기기(710)의 입력부(330)를 통하여, 화면 A(711)에 포함되는 제3 영역(714)을 선택적으로 미러링할 것을 요청받은 경우, 제어부(315)는 선택된 제3 영역(714)에 대한 위치 정보로 미러링 화면 정보를 획득된다. 예를 들어, 미러링 화면 정보는 제3 영역(714)의 좌표 등 화면 A(711) 상에서 제3 영역(714)의 위치를 확정할 수 있는 정보를 포함할 수 있다.
계속하여, 제어부(315)는 미러링 화면 정보에 근거하여, 제3 영역(714)은 고화질 데이터로 생성하고, 화면 A(711) 상에서 제3 영역(714)을 제외한 영역은 저화질의 데이터로 생성할 수 있다. 구체적으로, 제3 영역(714)에 대응되는 영상 데이터는 고화질 데이터로 엔코딩하고 제3 영역(714)을 제외한 영역은 저화질 데이터로 엔코딩한다. 그리고, 엔코딩 된 영역별 데이터들을 멀티플렉싱하여, 하나의 전송 스트림(TS)을 생성할 수 있다.
제3 클라이언트 기기(770)는 소정 네트워크(730)를 통하여 전송 스트림(TS)을 수신한다. 구체적으로, 통신부(375)는 전송 스트림(TS)을 수신하고, 제어부(365)가 수신된 전송 스트림(TS)을 디멀티플렉싱하여 고화질 데이터 및 저화질 데이터를 분리하고, 고화질 데이터를 디코딩하여 제3 영역(714)에 대응되는 화면을 생성한다.
그러면, 디스플레이 부(370)는 제3 영역(714)에 대응되는 화면을 디스플레이한다. 도 7 참조하면, 제3 클라이언트 기기(770)의 디스플레이 화면인 화면 D(771)는 제3 영역(714)에 대응되는 화면과 동일하다.
도 8은 본 발명의 다른 실시예에 따른 화면 미러링 방법을 나타내는 도면이다. 화면 미러링 방법(800)에 있어서, 805, 810, 820, 830, 840 및 850 단계는 각각 도 5의 505, 510, 520, 530, 540 및 550 단계와 동일 대응된다. 따라서, 화면 미러링 방법(800)에 있어서, 도 5에서와 중복되는 설명은 생략한다. 또한, 화면 미러링 방법(800)의 각 단계 동작은 도 1 내지 도 3을 참조하여 설명한 디스플레이 기기인 마스터 기기 및 클라이언트 기기 중 적어도 하나를 통하여 수행될 수 있다. 이하에서는 도 3 및 도 8을 참조하여, 화면 미러링 방법(800)을 설명한다.
도 8을 참조하면, 화면 미러링 방법(800)은 850 단계에 후속하여, 디스플레이 화면을 변경하는 단계(860)를 더 포함한다.
구체적으로, 화면을 변경하는 단계(860)는 클라이언트 기기(360)가 실제 디스플레이 하는 화면을 제1 영역에서 다른 화면으로 변경한다. 860 단계는 화면 변경을 요청 받는 단계, 840 단계에서 수신된 영상 데이터에 포함되는 화면들의 목록을 포함하는 메뉴를 디스플레이 하는 단계, 목록에서 적어도 하나의 화면을 선택하는 단계, 및 클라이언트 기기(360)가 디스플레이하고 있는 제1 영역에 대응되는 화면을 선택된 화면으로 변경하는 단계를 포함할 수 있다.
또한, 화면 변경 요청은 마스터 기기(310)의 입력부(330) 또는 클라이언트 기기(360)의 입력부(380)를 통하여 입력될 수 있다. 구체적으로, 사용자는 터치 스크린에서 출력되는 화면 변경 요청 메뉴를 통하여 현재 미러링 되는 화면의 변경을 요청할 수 있다. 또한, 마스터 기기(310)의 제어부(315) 또는 클라이언트 기기(360)의 제어부(365)는 현재 화면을 디스플레이하고 소정 시간이 경과된 경우 등에 자동으로 화면을 변경할 수 있다.
디스플레이 화면의 변경이 요청되면, 841 단계에서 수신된 저화질 데이터를 이용하여, 화면 변경에 대응되는 화면을 클라이언트 기기(360)에서 디스플레이 한다(870 단계).
또한, 화면 변경이 요청되면, 마스터 기기(310)는 변경된 클라이언트 기기의 화면에 대응되는 영상 데이터를 고화질의 데이터로 생성하여 클라이언트 기기(360)로 전송할 수 있다. 즉, 화면 변경 후, 클라이언트 기기(360)는 변경된 화면에 대응되는 영상 데이터를 고화질 데이터로 수신한다.
그리고, 후속하여 수신된 고화질의 데이터를 이용하여, 변경된 화면에 대응하는 화면을 클라이언트 기기(360)에서 디스플레이 할 수 있다.
즉, 870 단계가 실행된 후, 810 단계로 회귀하여 810 단계, 820 단계, 830 단계, 840 단계 및 850 단계가 실행될 수 있다.
이하에서, 도 9를 참조하여, 화면을 변경하여 디스플레이 하는 860 및 870 단계의 동작을 설명한다.
도 9는 본 발명의 다른 실시예에 따른 화면 미러링 방법의 상세 동작을 설명하기 위한 일 도면이다.
도 9를 참조하면, 마스터 기기와 클라이언트 기기가 1:1 네트워크 토폴로지(network topology)로 연결되어 있는 경우가 예시된다.
도 9를 참조하면, 클라이언트 기기(950)가 마스터 기기(910)의 화면(920)을 미러링 할 때, 현재 시점을 기준으로, 921 영역의 화면을 미러링 하다가 화면의 뷰(view)를 변경하여 922 영역의 화면을 미러링한다. 즉, 화면 변경이 요청되기 전에는, 클라이언트 기기(950)는 921 영역의 화면을 미러링하여 960 화면을 디스플레이한다. 계속하여 화면 변경이 요청되면, 변경 요청된 영역인 922 영역의 화면을 미러링하여 970 화면을 디스플레이한다.
도 9에 도시된 예에서, 클라이언트 기기(950)에서 미러링 되는 화면이 921 영역의 화면에서 922 영역의 화면으로 변경 요청된 경우, 이미 수신되어 있는 저화질 데이터를 이용하여, 922 영역에 대응되는 970 화면을 빠르게 전환하여 디스플레이한다.
구체적으로, 화면 변경이 요청되기 전에, 클라이언트 기기(950)는 921 영역의 영상 데이터를 고화질 데이터로 수신하였고, 920 화면에서 921 영역을 제외한 영역의 영상 데이터를 저화질 데이터로 수신하였다. 화면 변경이 요청되면, 이미 수신되어 있는 저화질 데이터를 이용하여 922 영역의 화면을 미러링하여 디스플레이한다(870 단계). 후속하여, 810 단계 내지 850 단계가 반복되며, 이하에서 설명한다.
화면 변경 요청 시 변경되는 화면에 대한 정보인 미러링 화면 정보가 업데이트 될 수 있다(810 단계).
미러링 화면 정보에 근거하여, 새롭게 미러링되는 영역인 922 영역에 대응되는 영상 데이터를 고화질 데이터로 생성한다(821 단계). 그리고, 마스터 기기(310)가 디스플레이 하는 화면(920) 중 922 영역을 제외한 영역에 대한 영상 데이터를 저화질 데이터로 생성한다(822 단계).
821 단계 및 822 단계에서 생성된 영상 데이터를 전송 스트림으로 변환하여 생성하고, 이를 마스터 기기(310)에서 클라이언트 기기(360)로 전송한다(830 단계).
클라이언트 기기(360)는 830 단계에서 전송된 전송 스트림을 수신한다(840 단계).
구체적으로, 클라이언트 기기(950)가 디스플레이하고 있는 화면인 922 영역에 대응되는 고화질 데이터를 수신한다(841 단계)
그리고, 클라이언트 기기(950)가 디스플레이하고 있지 않는 영역인 920 화면에서 922 영역을 제외한 영역에 대응되는 저화질 데이터를 수신한다(841 단계).
그에 따라서, 수신된 영상 데이터를 영상 처리하여 고화질의 화면(970)을 미러링하여 디스플레이 할 수 있다(850 단계).
전술한 바와 같이, 화면 미러링 방법(800)은 화면 변경이 요청된 경우 이미 수신되어 있는 저화질의 데이터를 이용하여 빠르게 화면을 변경하여, 화면 변경 시 발생하는 시간을 최소화시킬 수 있다. 그에 따라서, 사용자가 화면 변경 시 느낄 수 있는 지루함을 해소할 수 있다. 또한, 계속해서 변경된 화면에 대응하는 고화질의 영상 데이터를 수신함으로써, 다시 고화질의 화면을 계속하여 디스플레이 할 수 있다.
도 10은 본 발명의 다른 실시예에 따른 화면 미러링 방법의 상세 동작을 설명하기 위한 다른 도면이다. 화면 변경의 다른 예로, 미러링 화면의 확대 또는 축소를 예로 들 수 있다.
도 10을 참조하면, 클라이언트 기기(360, 1010)가 마스터 기기(310)와 동일한 화면(1020)을 디스플레이 하다가, 화면 확대를 요청받은 경우가 도시된다.
도 10을 참조하면, 미러링 화면의 확대가 요청된다(860 단계).
화면 확대 요청에 따라서, 미러링되었던 화면(1020)이 확대되어 1030 화면이 디스플레이된다(870 단계). 화면 확대 요청의 경우, 1020 화면은 이미 고화질의 데이터로 수신된 데이터를 이용하여 디스플레이된 화면이므로, 1030 화면 또한 고화질의 데이터를 이용하여 생성된 화면이 된다.
화면 확대로 인하여, 변경된 화면(1030)에 대한 정보인 미러링 화면 정보가 업데이트 될 수 있다(810 단계). 구체적으로, 변경된 화면(1030)이 미러링 화면(1020) 상의 어디에 위치하는 영역인지에 대한 정보가 미러링 화면 정보로 업데이트 될 수 있다.
화면 확대의 경우, 고화질 데이터의 생성 없이, 전체 영상 데이터를 저화질 데이터로 생성할 수 있다(820 단계). 화면 확대의 경우, 전체 영상 데이터 내에서 뷰(view)가 이동하는 경우가 발생할 수 있으므로, 전체 영상 데이터를 저화질의 데이터로 생성하여, 후속하여 뷰가 이동하는 경우 빠르게 전체 영상 데이터 내에서 뷰를 이동시켜 디스플레이할 수 있도록 할 수 있다.
820 단계에서 생성된 영상 데이터를 전송 스트림으로 변환하여 생성하고, 이를 마스터 기기(310)에서 클라이언트 기기(360)로 전송한다(830 단계).
클라이언트 기기(360)는 830 단계에서 전송된 전송 스트림을 수신한다(840 단계). 구체적으로, 클라이언트 기기(1010)는 전체 영상 데이터를 저화질 데이터로 전송받을 수 있다.
전술한 바와 같이 화면 미러링 방법(800)은 클라이언트 기기(1010)가 실제 디스플레이하고 있는 화면에 대응되는 영상 데이터만을 고화질 데이터로 수신하고, 그밖의 영상 데이터는 저화질 데이터로 수신함으로써, 후속하여 화면 변경이 요청된 경우 저화질 데이터를 이용하여 변경된 화면으로 빠르게 전환하여 디스플레이할 수 있다. 그에 따라서, 사용자가 미러링 화면이 전환될 때 느끼는 지루함을 감소시킬 수 있다.
그리고, 본 발명의 일 또는 다른 실시예에 따른 화면 미러링 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드 또는 프로그램으로서 구현하는 것도 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
110: 마스터 기기
115: 소정 네트워크
120: 클라이언트 기기
130: 마스터 기기
135: 소정 네트워크
310: 마스터 기기
315: 제어부
320: 디스플레이 부
325: 통신부
330: 입력부
350: 소정 네트워크
360: 클라이언트 기기
365: 제어부
370: 디스플레이 부
375: 통신부
380: 입력부

Claims (36)

  1. 소정 화면을 디스플레이 하는 디스플레이 부;
    상기 소정 화면 중 클라이언트 기기에서 미러링되어 표시되는 영역인 제1 영역을 고화질 데이터로 생성하고, 상기 소정 화면 중 상기 클라이언트 기기에서 미러링되지 않고 표시되지 않는 영역인 제2 영역을 저화질 데이터로 생성하는 제어부; 및
    상기 고화질 데이터 및 상기 저화질 데이터를 상기 클라이언트 기기로 전송하는 통신부를 포함하고,
    상기 제어부는, 상기 클라이언트 기기가 상기 소정 화면의 일부 영역을 미러링하여 표시하기 위한 상기 소정 화면에 관한 정보를 상기 클라이언트 기기로 전송함에 따라, 상기 클라이언트 기기로부터, 상기 제1 영역의 위치를 나타내는 정보를 수신하고,
    상기 제1 영역의 위치를 나타내는 정보에 기초하여, 상기 소정 화면의 영역 중 상기 제1 영역을 제외한 상기 제2 영역을 결정하고,
    상기 고화질 데이터는, 상기 제1 영역의 위치를 나타내는 정보에 기초하여 생성되고,
    상기 저화질 데이터는, 상기 결정된 제2 영역에 기초하여 생성되는, 마스터 기기.
  2. 제1항에 있어서, 상기 제어부는
    상기 클라이언트 기기가 실제 디스플레이하고 있는 화면에 대한 정보인 미러링 화면 정보를 획득하는 것을 특징으로 하는 마스터 기기.
  3. 제2항에 있어서,
    상기 제어부는
    상기 미러링 화면 정보에 근거하여 상기 고화질 데이터 및 상기 저화질 데이터를 생성하고, 상기 고화질 데이터 및 상기 저화질 데이터를 엔코딩 및 멀티플렉싱하여 전송 스트림을 생성하며,
    상기 통신부는
    상기 전송 스트림을 상기 클라이언트 기기로 전송하는 것을 특징으로 하는 마스터 기기.
  4. 삭제
  5. 제2항에 있어서, 상기 미러링 화면 정보는
    상기 클라이언트 기기에서 상기 제1 영역을 확대 또는 축소하여 디스플레이하는 경우, 상기 확대 또는 축소되어 상기 클라이언트 기기에서 실제 디스플레이 되는 화면에 대한 정보를 포함하는 것을 특징으로 마스터 기기.
  6. 제5항에 있어서, 상기 제어부는
    상기 클라이언트 기기에서 상기 제1 영역을 확대하여 디스플레이하는 경우, 상기 소정 화면에 대응되는 픽셀 데이터를 이용하여 저화질 데이터를 생성하여 상기 클라이언트 기기로 전송시키는 것을 특징으로 하는 마스터 기기.
  7. 제2항에 있어서, 상기 통신부는
    상기 클라이언트 기기로부터 상기 미러링 화면 정보를 수신하여, 상기 제어부로 전송하는 것을 특징으로 하는 마스터 기기.
  8. 제1항에 있어서,
    상기 소정 화면 중 상기 클라이언트 기기에서 미러링될 상기 제1 영역을 선택받는 입력부를 더 포함하는 것을 특징으로 하는 마스터 기기.
  9. 제1항에 있어서, 상기 제어부는
    영상 데이터의 해상도, 비트 레이트, 및 프레임 레이트 중 적어도 하나를 조절하여 상기 고화질 데이터 및 상기 저화질 데이터를 생성하는 것을 특징으로 하는 마스터 기기.
  10. 적어도 하나의 마스터 기기가 디스플레이 하는 적어도 하나의 화면을 미러링하여 출력하는 클라이언트 기기에 있어서,
    상기 클라이언트 기기가, 상기 적어도 하나의 화면의 영역 중 미러링하여 표시하는 영역인 제1 영역을 고화질 데이터로 수신하고, 상기 클라이언트 기기가, 상기 적어도 하나의 화면의 영역 중 미러링하지 않고 표시하지 않는 영역인 제2 영역을 저화질 데이터로 수신하는 통신부;
    상기 제1 영역에 대응되는 화면을 생성하는 제어부; 및
    상기 제1 영역에 대응되는 화면을 디스플레이 하는 디스플레이 부를 포함하고,
    상기 제어부는, 상기 적어도 하나의 마스터 기기로부터, 상기 클라이언트 기기가 상기 적어도 하나의 화면의 일부 영역을 미러링하여 표시하기 위한 상기 적어도 하나의 화면에 관한 정보를 수신함에 따라, 상기 적어도 하나의 마스터 기기로, 상기 제1 영역의 위치를 나타내는 정보를 전송하고,
    상기 고화질 데이터는, 상기 제1 영역의 위치를 나타내는 정보에 기초하여 생성되고,
    상기 제2 영역은, 상기 적어도 하나의 화면의 영역 중 상기 제1 영역을 제외한 영역으로 결정되고,
    상기 저화질 데이터는, 상기 제1 영역의 위치를 나타내는 정보에 기초하여, 상기 결정된 제2 영역에 기초하여 생성되는, 클라이언트 기기.
  11. 삭제
  12. 제10항에 있어서,
    상기 제1 영역을 선택받는 입력부를 더 포함하는 것을 특징으로 하는 클라이언트 기기.
  13. 제10항에 있어서,
    상기 적어도 하나의 마스터 기기가 디스플레이하는 적어도 하나의 화면 목록을 포함하는 메뉴를 디스플레이하며, 상기 메뉴를 통하여 상기 제1 영역을 선택받는 입력부를 더 포함하는 것을 특징으로 하는 클라이언트 기기.
  14. 제12항에 있어서,
    상기 입력부는
    미러링 화면을 상기 제1 영역에 대응되는 화면에서 다른 화면으로 변경할 것을 요청받고,
    상기 제어부는
    상기 저화질 데이터를 이용하여 상기 변경된 다른 화면이 디스플레이되도록 제어하는 것을 특징으로 하는 클라이언트 기기.
  15. 제14항에 있어서, 상기 제어부는
    상기 미러링 화면이 변경된 경우, 상기 변경된 다른 화면에 대한 정보를 포함하는 미러링 화면 정보가 상기 적어도 하나의 마스터 기기로 전송되도록 제어하는 것을 특징으로 하는 클라이언트 기기.
  16. 제15항에 있어서, 상기 통신부는
    상기 적어도 하나의 마스터 기기로부터 상기 변경된 다른 화면에 대응되는 영상 데이터를 상기 고화질 데이터를 수신하고, 상기 제1 영역에 대응되는 영상 데이터를 상기 저화질 데이터로 수신하고,
    상기 제어부는
    상기 변경된 다른 화면에 대응되는 상기 고화질 데이터를 디코딩하여, 상기 변경된 다른 화면이 디스플레이 되도록 제어하는 것을 특징으로 하는 클라이언트 기기.
  17. 제11항에 있어서,
    상기 적어도 하나의 마스터 기기가 디스플레이 하는 화면의 일 영역에서 다른 영역으로 뷰가 이동된 화면을 미러링 하도록 요청받는 입력부를 더 포함하는 것을 특징으로 하는 클라이언트 기기.
  18. 제17항에 있어서, 상기 제어부는
    상기 다른 영역에 대응되는 영상 데이터를 포함하는 상기 저화질 데이터를 이용하여, 상기 뷰가 이동된 화면이 디스플레이 되도록 제어하는 것을 특징으로 하는 클라이언트 기기.
  19. 클라이언트 기기가, 마스터 기기에서 디스플레이 되는 소정 화면의 일부 영역을 미러링하여 표시하기 위한 상기 소정 화면에 관한 정보를 상기 클라이언트 기기로 전송하는 단계;
    상기 클라이언트 기기로부터, 상기 클라이언트 기기에서 미러링되어 표시되는 상기 소정 화면의 일부 영역인 제1 영역의 위치를 나타내는 정보를 수신하는 단계;
    상기 제1 영역의 위치를 나타내는 정보에 기초하여, 상기 소정 화면의 영역 중 상기 제1 영역을 제외한 영역 중에서 상기 제2 영역을 결정하는 단계;
    상기 마스터 기기가 디스플레이 하는 상기 소정 화면 중 상기 클라이언트 기기에서 미러링되어 표시되는 영역인 상기 제1 영역을 고화질 데이터로 생성하고, 상기 소정 화면 중 상기 클라이언트 기기에서 미러링되지 않고 표시되지 않는 영역인 상기 제2 영역을 저화질 데이터로 생성하는 단계; 및
    상기 고화질 데이터 및 상기 저화질 데이터를 상기 클라이언트 기기로 전송하는 단계를 포함하고,
    상기 고화질 데이터는, 상기 제1 영역의 위치를 나타내는 정보에 기초하여 생성되고,
    상기 저화질 데이터는, 상기 결정된 제2 영역에 기초하여 생성되는, 화면 미러링 방법.
  20. 클라이언트 기기에서 적어도 하나의 마스터 기기가 디스플레이 하는 적어도 하나의 화면을 미러링하여 디스플레이하는 방법에 있어서,
    상기 클라이언트 기기가, 상기 적어도 하나의 화면의 영역 중 미러링하여 표시하는 영역인 제1 영역을 고화질 데이터로 수신하고, 상기 클라이언트 기기가, 상기 적어도 하나의 화면의 영역 중 미러링하지 않고 표시하지 않는 영역인 제2 영역을 저화질 데이터로 수신하는 단계; 및
    상기 고화질 데이터를 이용하여, 상기 제1 영역에 대응되는 화면을 디스플레이하는 단계를 포함하고,
    상기 적어도 하나의 마스터 기기로부터, 상기 클라이언트 기기가 상기 적어도 하나의 화면의 일부 영역을 미러링하여 표시하기 위한 상기 적어도 하나의 화면에 관한 정보를 수신함에 따라, 상기 적어도 하나의 마스터 기기로, 상기 제1 영역의 위치를 나타내는 정보를 전송하는 단계를 더 포함하고,
    상기 고화질 데이터는, 상기 제1 영역의 위치를 나타내는 정보에 기초하여 생성되고,
    상기 제2 영역은, 상기 적어도 하나의 화면의 영역 중 상기 제1 영역을 제외한 영역으로 결정되고,
    상기 저화질 데이터는, 상기 제1 영역의 위치를 나타내는 정보에 기초하여, 상기 결정된 제2 영역에 기초하여 생성되는, 화면 미러링 방법.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
KR1020130118729A 2013-10-04 2013-10-04 마스터 기기, 클라이언트 기기, 및 그에 따른 화면 미러링 방법 KR102087987B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130118729A KR102087987B1 (ko) 2013-10-04 2013-10-04 마스터 기기, 클라이언트 기기, 및 그에 따른 화면 미러링 방법
US14/501,440 US20150097757A1 (en) 2013-10-04 2014-09-30 Master device, client device, and screen mirroring method thereof
EP14187184.8A EP2857957B1 (en) 2013-10-04 2014-09-30 Master device, client device, and screen mirroring method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130118729A KR102087987B1 (ko) 2013-10-04 2013-10-04 마스터 기기, 클라이언트 기기, 및 그에 따른 화면 미러링 방법

Publications (2)

Publication Number Publication Date
KR20150040125A KR20150040125A (ko) 2015-04-14
KR102087987B1 true KR102087987B1 (ko) 2020-03-11

Family

ID=51690818

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130118729A KR102087987B1 (ko) 2013-10-04 2013-10-04 마스터 기기, 클라이언트 기기, 및 그에 따른 화면 미러링 방법

Country Status (3)

Country Link
US (1) US20150097757A1 (ko)
EP (1) EP2857957B1 (ko)
KR (1) KR102087987B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023277208A1 (ko) * 2021-06-29 2023-01-05 엘지전자 주식회사 무선 디바이스

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6187546B2 (ja) * 2015-06-22 2017-08-30 コニカミノルタ株式会社 操作表示システム、操作表示装置および操作表示プログラム
EP3380926A1 (en) * 2015-11-26 2018-10-03 Barco NV Content sharing protocol
KR102532071B1 (ko) 2015-12-30 2023-05-15 삼성전자주식회사 디스플레이장치, 사용자단말기, 그 제어방법, 기록매체 및 시스템
KR20170087350A (ko) * 2016-01-20 2017-07-28 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
KR102538955B1 (ko) * 2016-03-02 2023-06-01 삼성전자 주식회사 전자 장치와 전자 장치의 영상 디스플레이 및 전송 방법
US20170285813A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Touch-Input Support for an External Touch-Capable Display Device
KR102542122B1 (ko) * 2016-04-01 2023-06-09 엘지전자 주식회사 영상표시장치
US10168976B2 (en) * 2016-05-20 2019-01-01 International Business Machines Corporation Dynamic display arrangement
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
KR102350933B1 (ko) 2017-06-20 2022-01-12 엘지전자 주식회사 영상표시장치
JP7146434B2 (ja) * 2018-04-20 2022-10-04 キヤノン株式会社 通信装置およびその制御方法、プログラム
KR20200013164A (ko) * 2018-07-19 2020-02-06 삼성전자주식회사 전자 장치, 및 전자 장치의 제어 방법
MY197164A (en) * 2018-09-13 2023-05-27 Mimos Berhad Method and system for wireless presentation of data
KR20210088985A (ko) * 2020-01-07 2021-07-15 삼성전자주식회사 전자 장치 및 그 동작 방법
KR20230026592A (ko) * 2021-08-17 2023-02-27 삼성디스플레이 주식회사 표시 장치
CN116301516A (zh) * 2021-12-21 2023-06-23 北京小米移动软件有限公司 一种应用共享方法及装置、电子设备、存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100138780A1 (en) * 2008-05-20 2010-06-03 Adam Marano Methods and systems for using external display devices with a mobile computing device

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030013933A (ko) * 2001-08-10 2003-02-15 엘지.필립스 엘시디 주식회사 액정표시패널의 구동방법
JP2003280630A (ja) * 2002-03-20 2003-10-02 Toshiba Corp 情報処理装置および同装置で使用される表示制御方法
KR100580245B1 (ko) * 2003-06-26 2006-05-16 삼성전자주식회사 동시화면을 디스플레이 하는 장치 및 방법
US8004540B1 (en) * 2006-10-10 2011-08-23 Adobe Systems Incorporated Display resolution boundary
US8687702B2 (en) * 2008-10-27 2014-04-01 Advanced Micro Devices, Inc. Remote transmission and display of video data using standard H.264-based video codecs
US9106696B2 (en) * 2009-04-15 2015-08-11 Wyse Technology L.L.C. Method and apparatus for portability of a remote session
US9241062B2 (en) * 2009-05-20 2016-01-19 Citrix Systems, Inc. Methods and systems for using external display devices with a mobile computing device
US20110183654A1 (en) * 2010-01-25 2011-07-28 Brian Lanier Concurrent Use of Multiple User Interface Devices
EP2605413B1 (en) * 2010-08-13 2018-10-10 LG Electronics Inc. Mobile terminal, system comprising the mobile terminal and a display device, and control method therefor
US9159298B2 (en) * 2010-09-08 2015-10-13 Lg Electronics Inc. Terminal and contents sharing method for terminal
US9727301B2 (en) * 2011-06-03 2017-08-08 Apple Inc. Gesture-based prioritization of graphical output on remote displays
US8184069B1 (en) * 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
KR101286358B1 (ko) * 2011-08-11 2013-07-15 엘지전자 주식회사 영상표시방법 및 장치
WO2013077525A1 (ko) * 2011-11-24 2013-05-30 엘지전자 주식회사 제어 방법 및 그를 이용한 장치
US9210358B2 (en) * 2012-07-02 2015-12-08 Kevin Griffin Dual-mode communication devices and methods for communicating with an entertainment system
US20140104137A1 (en) * 2012-10-16 2014-04-17 Google Inc. Systems and methods for indirectly associating logical and physical display content
US20140125554A1 (en) * 2012-11-07 2014-05-08 Shanghai Powermo Information Tech. Co. Ltd. Apparatus and algorithm to implement smart mirroring for a multiple display system
CN103984494A (zh) * 2013-02-07 2014-08-13 上海帛茂信息科技有限公司 用于多种设备间的直觉式用户互动系统及方法
US9100772B2 (en) * 2013-04-05 2015-08-04 Nokia Technologies Oy Method and apparatus for creating a multi-device media presentation
CN104104709A (zh) * 2013-04-12 2014-10-15 上海帛茂信息科技有限公司 可与多个显示设备进行通讯的方法及使用该方法的电子设备
JP2015012512A (ja) * 2013-06-28 2015-01-19 株式会社東芝 情報処理装置および情報処理方法
TWI616808B (zh) * 2014-06-30 2018-03-01 緯創資通股份有限公司 分享顯示畫面的方法及裝置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100138780A1 (en) * 2008-05-20 2010-06-03 Adam Marano Methods and systems for using external display devices with a mobile computing device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023277208A1 (ko) * 2021-06-29 2023-01-05 엘지전자 주식회사 무선 디바이스

Also Published As

Publication number Publication date
EP2857957B1 (en) 2019-02-27
US20150097757A1 (en) 2015-04-09
EP2857957A1 (en) 2015-04-08
KR20150040125A (ko) 2015-04-14

Similar Documents

Publication Publication Date Title
KR102087987B1 (ko) 마스터 기기, 클라이언트 기기, 및 그에 따른 화면 미러링 방법
US10192516B2 (en) Method for wirelessly transmitting content from a source device to a sink device
KR102324326B1 (ko) 상이한 인코딩 파라미터를 이용해 인코딩되는 복수의 인코딩 스트리밍
JP6288594B2 (ja) デスクトップクラウドベースのメディア制御方法およびデバイス
US8848782B2 (en) Reception apparatus, reception method, and program with encoding bit rate determination
US20140282751A1 (en) Method and device for sharing content
JP5326234B2 (ja) 画像送信装置、画像送信方法および画像送信システム
KR102133531B1 (ko) 컨텐츠 재생 방법 및 그에 따른 단말, 그에 따른 시스템
JP6248671B2 (ja) 情報処理装置、方法、プログラム、および情報処理システム
JPWO2013132828A1 (ja) 通信システムおよび中継装置
US20110310965A1 (en) Communication device, communication method, and communication program product
JP6022076B2 (ja) 電子機器および通信制御方法
US10015395B2 (en) Communication system, communication apparatus, communication method and program
US10129453B2 (en) Image capturing apparatus, image capturing system, control method of image capturing apparatus, and computer readable storage medium
KR101399951B1 (ko) 다시점 비디오 스트리밍 시스템 및 그 제공방법
JP2011066577A (ja) 画像処理プログラム、表示システム、画像処理装置および画像処理方法
WO2017160404A1 (en) User input based adaptive streaming
US10298651B2 (en) Encoding device, decoding device, computer program product, and streaming system
US11722706B2 (en) Automated optimization of video settings in a digital video production system having multiple video capture devices
JP2012015831A (ja) 映像処理装置、映像処理システム及び映像処理方法
JP6272124B2 (ja) マルチディスプレイシステム
JP6120679B2 (ja) マルチディスプレイシステム
JP2016031552A (ja) 画像供給装置、画像表示装置、画像表示システム及び画像供給プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant