KR20130113987A - 디스플레이 디바이스 제어 방법 및 시스템과 기록 매체 - Google Patents

디스플레이 디바이스 제어 방법 및 시스템과 기록 매체 Download PDF

Info

Publication number
KR20130113987A
KR20130113987A KR1020130036173A KR20130036173A KR20130113987A KR 20130113987 A KR20130113987 A KR 20130113987A KR 1020130036173 A KR1020130036173 A KR 1020130036173A KR 20130036173 A KR20130036173 A KR 20130036173A KR 20130113987 A KR20130113987 A KR 20130113987A
Authority
KR
South Korea
Prior art keywords
display
icons
information
display device
screen
Prior art date
Application number
KR1020130036173A
Other languages
English (en)
Other versions
KR102037415B1 (ko
Inventor
전병정
정연건
신인영
전혜영
최선
최원종
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP13162578.2A priority Critical patent/EP2648096A1/en
Priority to US13/858,295 priority patent/US9423924B2/en
Priority to CN201380018952.XA priority patent/CN104272253A/zh
Priority to AU2013203016A priority patent/AU2013203016B2/en
Priority to PCT/KR2013/002906 priority patent/WO2013151399A1/en
Publication of KR20130113987A publication Critical patent/KR20130113987A/ko
Priority to US15/228,569 priority patent/US10175847B2/en
Application granted granted Critical
Publication of KR102037415B1 publication Critical patent/KR102037415B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display

Abstract

휴대 단말 및 디스플레이 디바이스 제어 방법은, 상기 디스플레이 디바이스의 화면상에 디스플레이 되고 있는 제 1 배열의 아이콘들의 제 1 디스플레이 정보를 수신하는 단계; 상기 제 1 디스플레이 정보에 기초하여 휴대 단말의 디스플레이상에 상기 제 1 배열의 아이콘들을 디스플레이 하는 단계; 상기 휴대 단말의 상기 디스플레이상에 디스플레이 되고 있는 상기 제 1 배열의 아이콘들을 변경하여 제 2 배열의 아이콘들을 생성하는 단계; 상기 제 2 배열의 아이콘들에 기초하여 제 2 디스플레이 정보를 생성하는 단계; 상기 디스플레이 디바이스의 상기 디스플레이상에 상기 제 2 배열의 아이콘들을 디스플레이 하기 위한 요청을 상기 디스플레이 디바이스로 전송하는 단계를 포함하고, 상기 요청은 상기 제 2 디스플레이 정보를 포함한다.

Description

디스플레이 디바이스 제어 방법 및 시스템과 기록 매체{Method and system for controlling display device, and computer readable recording medium thereof}
본 발명은 디스플레이 디바이스의 제어에 관한 것으로, 특히, 원격으로 디스플레이 디바이스의 화면(screen)을 편집하기 위한 방법 및 시스템과 기록 매체에 관한 것이다.
통신 기능을 갖는 디스플레이 디바이스의 기능이 다양해지고 있다. 예를 들어 디지털 TV(Digital Television)의 경우에 방송 컨텐츠를 수신할 수 있는 기능뿐 아니라 웹 브라우징(web browsing), 어플리케이션 브라우징(application browsing), 컨텐츠 브라우징(contents browsing) 등 다양한 기능을 수행할 수 있게 되었다.
디스플레이 디바이스의 다양한 기능에 대한 원격 제어가 요구되고 있다.
본 발명이 해결하고자 하는 과제는 휴대 단말(portable device)을 사용하여 디스플레이 디바이스상에 디스플레이 되고 있는 화면을 제어하는 방법 및 시스템을 제공하는데 있다.
본 발명이 해결하고자 하는 다른 과제는 휴대 단말을 사용하여 디스플레이 디바이스상에 디스플레이 되고 있는 복수의 어플리케이션을 포함하는 화면을 제어하는 방법 및 시스템를 제공하는데 있다.
본 발명이 해결하고자 하는 또 다른 과제는 휴대 단말을 사용하여 디스플레이 디바이스상에 디스플레이 되고 있는 화면에 기초하여 디스플레이 디바이스를 제어하는 방법 및 시스템를 제공하는데 있다.
상기 과제를 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 디바이스 제어 방법은, 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 되고 있는 제 1 배열(arrangement)의 아이콘들의 제 1 디스플레이 정보를 수신하는 단계; 상기 제 1 디스플레이 정보에 기초하여 휴대 단말의 디스플레이상에 상기 제 1 배열의 아이콘들을 디스플레이 하는 단계; 상기 휴대 단말의 상기 디스플레이 상에 디스플레이 되고 있는 상기 제 1 배열의 아이콘들을 변경하여(modifying) 제 2 배열의 아이콘들을 생성하는 단계; 상기 제 2 배열의 아이콘들에 기초하여 제 2 디스플레이 정보를 생성하는 단계; 상기 디스플레이 디바이스의 상기 디스플레이상에 상기 제 2 배열의 아이콘들을 디스플레이 하기 위한 요청(request)을 상기 디스플레이 디바이스로 전송하는 단계를 포함하고, 상기 요청은 상기 제 2 디스플레이 정보를 포함하는 것이 바람직하다.
상기 제 1 디스플레이 정보는 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 되고 있는 상기 아이콘들의 위치를 나타내는 상기 아이콘들의 디스플레이 위치 정보를 포함할 수 있다.
상기 디스플레이 위치 정보는 상기 디스플레이 디바이스의 상기 화면의 좌표 위치들에 관련된 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 되고 있는 좌표 위치들에서 아이콘들의 절대적인 위치들(absolute positions)을 나타내는 좌표 정보를 포함할 수 있다.
상기 디스플레이 위치 정보는 상기 디스플레이 디바이스의 상기 화면상에서 서로 관련된 상기 아이콘들의 상대적인 위치들을 나타내는 좌표 정보를 포함할 수 있다.
상기 제 1 디스플레이 정보는 상기 아이콘들의 아이콘 이미지 데이터를 더 포함할 수 있다.
상기 제 1 디스플레이 정보는 XML(extensible markup language) 데이터가 될 수 있다.
상기 제 2 디스플레이 정보는 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 되고 있는 상기 아이콘들의 새로운 위치들을 나타내기 위해 변경된(modified) 상기 제 1 디스플레이 정보가 될 수 있다.
상기 제 2 디스플레이 정보는 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 되고 있는 상기 아이콘들의 새로운 위치들과 상기 제 1 디스플레이 정보간의 차가 될 수 있다.
상기 방법은 상기 디스플레이 디바이스가 상기 디스플레이 디바이스의 상기 디스플레이상에 상기 제 1 배열의 아이콘들을 디스플레이 하고 있는 동안 상기 휴대 단말의 상기 디스플레이상에 상기 제 2 배열의 아이콘들을 디스플레이 하는 단계를 더 포함할 수 있다.
상기 변경(modifying) 단계는 상기 제 1 배열의 아이콘들에서 상기 아이콘들중 적어도 하나의 아이콘의 위치를 상기 제 2 배열의 아이콘들에서 상기 아이콘들중 상기 적어도 하나의 아이콘의 새로운 위치로 변경하는 단계, 상기 제 1 배열의 아이콘들에서 적어도 하나의 아이콘을 삭제하는 단계, 및 상기 제 1 배열의 아이콘에 새로운 아이콘을 추가하는 단계중 적어도 하나를 포함할 수 있다.
상기 제 1 디스플레이 정보는 XML(extensible markup language) 데이터이고, 상기 변경 단계는 상기 새로운 위치로 변경 단계, 상기 아이콘을 삭제 단계, 및 상기 아이콘을 추가 단계중 적어도 하나에 기초하여 상기 XML 데이터를 변경하는 단계를 포함할 수 있다.
상기 변경하는(modifying) 단계는 상기 제 1 배열의 아이콘들에 아이콘을 변경하는 상기 휴대 단말의 디스플레이상에 입력을 수신하는 단계; 상기 입력에 기초하여 상기 제 2 배열의 아이콘들을 생성하는 단계를 포함할 수 있다.
상기 아이콘들은 상기 디스플레이 디바이스에 의해 재생될 컨텐트를 나타내는 아이콘들 및 상기 디스플레이 디바이스의 어플리케이션들을 나타내는 아이콘들을 포함할 수 있다.
상기 과제를 달성하기 위한 본 발명의 다른 실시 예에 따른 휴대 단말은, 디스플레이, 디스플레이 디바이스의 화면상에 디스플레이 된 제 1 배열의 아이콘들의 제 1 디스플레이 정보를 수신하는 통신부; 상기 제 1 디스플레이 정보에 기초하여 상기 디스플레이상에 상기 제 1 배열의 아이콘들을 디스플레이 하기 위해 상기 디스플레이를 제어하고, 상기 디스플레이상에 디스플레이 된 상기 제 1 배열의 아이콘들을 변경하는 입력을 수신하고, 상기 입력에 기초한 제 2 배열의 아이콘들을 생성하고, 상기 제 2 배열의 아이콘들에 기초한 제 2 디스플레이 정보를 생성하고, 상기 디스플레이 디바이스의 디스플레이상에 상기 제 2 배열의 아이콘들을 디스플레이 하기 위한 요청을 상기 디스플레이 디바이스로 전송하기 위해 상기 통신 유니트를 제어하는 제어기를 포함하고, 상기 요청은 상기 제 2 디스플레이 정보를 포함하는 것이 바람직하다.
상기 과제를 달성하기 위한 본 발명의 또 다른 실시 예에 따른 휴대 단말이 디스플레이 디바이스를 제어하는 방법을 실행하게 하는 프로그램이 기록된 비일시적(non-transitory) 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 방법은, 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 된 제 1 배열(arrangement)의 아이콘들의 제 1 디스플레이 정보를 수신하는 단계; 상기 제 1 디스플레이 정보에 기초하여 휴대 단말의 디스플레이상에 상기 제 1 배열의 아이콘들을 디스플레이 하는 단계; 상기 휴대 단말의 상기 디스플레이 상에 디스플레이 되고 있는 상기 제 1 배열의 아이콘들을 변경하여(modifying) 제 2 배열의 아이콘들을 생성하는 단계; 상기 제 2 배열의 아이콘들에 기초하여 제 2 디스플레이 정보를 생성하는 단계; 상기 디스플레이 디바이스의 상기 디스플레이상에 상기 제 2 배열의 아이콘들을 디스플레이 하기 위한 요청(request)을 상기 디스플레이 디바이스로 전송하는 단계를 포함하고, 상기 요청은 상기 제 2 디스플레이 정보를 포함하는 것이 바람직하다.
도 1a는 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집 및/또는 기능을 제어하기 위한 시스템을 설명하는 블록도이다.
도 1b는 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집 및/또는 기능을 제어하기 위한 시스템을 설명하는 블록도이다.
도 2a는 바람직한 실시 예에 따른 휴대 단말을 설명하는 블록도이다.
도 2b는 바람직한 실시 예들에 따른 휴대 단말을 설명하는 블록도이다.
도 3은 바람직한 실시 예들에 따른 디스플레이 디바이스를 설명하는 블록도이다.
도 4는 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 5a 내지 도 5d는 도 4의 방법에 따른 디스플레이 디바이스와 휴대 단말의 화면을 설명하는 화면의 예들이다.
도 6은 바람직한 실시 예에 따른 도 4의 방법의 제 2 배열을 생성하는 과정을 설명하는 흐름도이다.
도 7은 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법에서 휴대 단말의 동작을 설명하는 흐름도이다.
도 8은 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 9는 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 10은 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 11은 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집 및 기능을 제어하는 방법을 설명하는 흐름도이다.
도 12는 디스플레이 디바이스의 기능 제어를 설명하는 화면 예이다.
도 13은 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 14는 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 15는 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 16은 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 17은 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 18은 바람직한 실시 예에 따른 디스플레이 디바이스의 기능을 실행하는 방법을 설명하는 흐름도이다.
도 19는 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 20은 바람직한 실시 예에 따른 서버를 사용하여 디스플레이 디바이스의 화면 편집을 제어 방법을 설명하는 흐름도이다.
도 21은 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 22는 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 출원에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전반에서 언급되는 제 1 배열과 제 2 배열은 각각 디스플레이 되고 있는 화면에 포함된 정보들의 위치에 기초한 1차원(1 Dimensional) 또는 2차(2 Dimensional)원 배열을 의미한다. 상기 디스플레이 되고 있는 화면은 메뉴 화면(menu screen), 어플리케이션 브라우징 화면(application browsing screen), 컨텐츠 브라우징 화면(content browsing screen), 웹 브라우징 화면(Web browsing screen), 및 주변 기기 제어 화면(peripheral device control screen)을 포함할 수 있다.
명세서 전반에서 언급되고 있는 오브젝트는 디스플레이 되는 있는 화면에 포함된 하나의 정보를 의미한다. 상기 화면에 포함된 정보의 예는 어플리케이션의 이미지, 컨텐츠의 이미지, 웹 페이지의 이미지, 주변 기기의 이미지를 포함할 수 있다. 상기 어플리케이션의 이미지, 컨텐츠의 이미지, 웹 페이지의 이미지, 주변 기기의 이미지들은 각각을 명료하게 나타낼 수 있는 상징적인 이미지 또는 메뉴형태로 나타낸 이미지를 의미한다. 어플리케이션의 이미지는 예를 들어 어플리케이션의 아이콘에 대응될 수 있다.
오브젝트의 정보는 상술한 어플리케이션, 컨텐츠, 웹 페이지, 및 주변 기기의 정보를 의미하고, 오브젝트의 정보는 상술한 아이콘과 같은 상징적인 이미지, 썸네일(thumbnail), 또는 메뉴 형태로 나타낸 이미지를 포함할 수 있다. 명세서 전반에서 언급되고 있는 오브젝트의 정보는 상기 화면에 포함된 정보와 화면에 포함되지 않은 정보를 포함한다. 화면에 포함된 정보는 상술한 바와 같은 상징적인 이미지, 썸네일(thumbnail), 메뉴 형태의 이미지중 적어도 하나를 포함할 수 있다. 화면에 포함되지 않은 정보는 예를 들어 디스플레이 위치 정보, 어플리케이션에 대한 상세 정보(또는 안내 정보), 어플리케이션의 미리 보기 정보, 및 어플리케이션의 편집 제어 정보(예를 들어, 이동(move), 삭제(erase), 복사(copy), 설치(set), 추가(add), 등)중 적어도 하나를 포함할 수 있다. 어플리케이션의 상세 정보는 어플리케이션의 타이틀, 어플리케이션의 종류, 및 어플리케이션의 내용을 나타내는 정보를 포함한다.
컨텐츠의 정보, 웹 페이지의 정보, 및 주변 기기의 정보 역시 상술한 어플리케이션의 정보와 같이 화면에 포함된 정보와 화면에 포함되지 않는 정보를 포함할 수 있다. 화면에 포함되지 않은 정보는 화면상에 디스플레이 되지 않은 정보를 의미한다. 화면에 포함되지 않은 정보는 해당되는 정보의 메타 데이터 또는 속성정보를 의미할 수 있다.
주변 기기는 디스플레이 디바이스에 연결 가능한 기기를 의미한다. 주변 기기는 예를 들어 미디어 기록 및 재생 장치, 프린터, 카메라, 및 오디오 장치 등이 포함될 수 있다.
명세서 전반에서 언급되고 있는 제 1 배열과 제 2 배열은 화면상의 정보의 배열을 의미한다. 즉, 화면상의 메뉴 형태의 어플리케이션의 배열, 화면상의 컨텐츠의 배열, 화면상의 메뉴 형태의 웹 페이지의 배열, 화면상의 메뉴 형태의 주변 기기의 배열을 의미할 수 있다.
제 1 배열은 디스플레이 디바이스에 디스플레이 되고 있는 화면에 기초한 배열을 의미한다. 제 2 배열은 휴대 단말의 화면 편집을 제어하여 생성된 배열을 의미한다. 따라서 제 2 배열은 제 1 배열에 기초한 화면에 포함된 정보를 변경하여 얻은 정보를 포함하는 화면 전체의 정보 배열을 의미할 수 있다. 그러나 제 2 배열은 화면상의 변경된 정보의 배열만을 의미할 수 있다.
이하 실시 예들에서 언급되는 디스플레이 디바이스상에 디스플레이 되고 있는 복수 오브젝트의 정보에 기초한 화면 편집 제어는 디스플레이 디바이스에 디스플레이 되고 있는 정보의 화면 편집 제어 또는 디스플레이 디바이스의 제어로 이해될 수 있다.
명세서 전반에서의 사용자의 입력 정보는 사용자의 제스처(gesture)에 의존할 수 있다. 사용자의 제스처는 입력 장치에 따라 정의될 수 있다. 즉, 입력 장치가 터치스크린 기반일 때, 사용자의 제스처는 예를 들어 탭(tap), 터치 앤 홀드(touch and hold), 더블 탭(double tap), 드래그(drag), 패닝(panning), 플릭(flick), 드래그 앤 드롭(drag and drop), 및 스윕(sweep) 등을 포함할 수 있으나 이로 제한되지 않는다. 터치스크린 기반의 사용자의 제스처는 사용자의 손가락 또는 터치 도구(예를 들어, stylus pen)를 이용하여 수행될 수 있다.
입력 장치가 카메라 기반일 때, 사용자의 제스처는 카메라를 이용하여 촬영된 영상 기반의 공간 체스처(space gesture)를 포함할 수 있다. 그러나, 사용자 제스처는 휴대 단말의 움직임(예를 들어 휴대 단말 흔들기) 기반의 공간 제스처를 포함할 수 있다.
입력 장치가 물리적 버튼, 다이얼, 슬라이더 스위치, 조이스틱, 클릭 휠중 적어도 하나를 포함할 때, 사용자 입력 정보는 입력 장치에 대한 사용자의 물리적인 제어에 의존할 수 있다. 입력 장치가 오디오 입력 장치 기반일 때, 사용자 입력 정보는 자연어(natural language) 기반의 사용자의 음성 인식에 의존할 수 있다.
이하, 바람직한 실시 예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1a는 바람직한 실시 예에 따른 디스플레이 디바이스(120)의 화면을 편집하기 위한 시스템(100)을 설명하는 블록도이다. 도 1a의 블록도는 휴대 단말(110), 디스플레이 디바이스(120), 및 서버(130)간의 네트워크 구성을 설명할 수 있다.
도 1a를 참조하면, 시스템(100)은 휴대 단말(110), 디스플레이 디바이스(120), 및 서버(130)를 포함한다.
시스템은 도 1a에 도시된 시스템(100)으로 제한되지 않고 도 1b의 시스템(101)으로 구성될 수 있다. 시스템(101)은 휴대 단말(111)과 디스플레이 디바이스(121)를 포함한다. 휴대 단말(110, 111)과 디스플레이 디바이스(120, 121)는 각각 제 1 기기와 제 2 기기로 언급될 수 있다. 휴대 단말(110, 111)은 디스플레이 디바이스(120, 121)의 화면 편집을 제어하는 디바이스 또는 디스플레이 디바이스를 제어하는 디바이스로써 언급될 수 있다.
도 1a 및 도 1b에 도시된 휴대 단말(110, 111)의 일 예로 스마트 폰(Smart Phone), 노트북(Notebook), 태블릿(Tablet) PC(Personal Computer), 이동 단말기(Mobile Device), 핸드헬드(handheld) 기기 또는 핸드헬드 PC, 패블릿, 및 PDA(Personal Digital Assistant)를 포함하나 이로 제한되지 않는다.
도 1a의 휴대 단말(110)은 디스플레이 디바이스(120)에 디스플레이 되고 있는 화면의 정보를 디스플레이 디바이스(120) 또는 서버(130)로부터 수신한다. 휴대 단말(110)은 수신된 화면의 정보에 기초하여 디스플레이 디바이스(120)에 디스플레이 되고 있는 화면을 편집하기 위한 편집 제어 신호를 생성한다. 휴대 단말(110)은 또한 디스플레이 디바이스(120)의 기능을 제어하기 위한 기능 제어 신호를 생성할 수 있다. 휴대 단말(110)은 생성된 편집 제어 신호 또는 기능 제어 신호를 디스플레이 디바이스(120) 또는 서버(130)로 전송한다.
도 1b의 휴대 단말(111)은 디스플레이 디바이스(120)에 디스플레이 되고 있는 화면의 정보를 디스플레이 디바이스(121)로부터 수신한다. 휴대 단말(111)은 수신된 화면의 정보에 기초하여 디스플레이 디바이스(121)에 디스플레이 되고 있는 화면에 대한 편집 제어 신호 또는 기능 제어 신호를 생성한다. 휴대 단말(111)은 생성된 편집 제어 신호 또는 기능 제어 신호를 디스플레이 디바이스(121)로 전송한다.
도 1a 및 도 1b의 디스플레이 디바이스(120, 121)는 일 예로 통신 기능을 갖는 TV(TeleVision), 통신 기능 및 디스플레이 기능을 갖는 디지털 CE(Consumer Electronics) 기기를 포함하나 이로 제한되지 않는다. 디지털 CE 기기는 DTV(Digital Television), IPTV(Internet Protocol Television), 통신 기능을 갖는 냉장고를 포함하나 이로 제한되지 않는다.
도 1a의 디스플레이 디바이스(120)는 디스플레이 정보 요청 신호가 수신되면, 디스플레이 되고 있는 화면의 정보를 휴대 단말(110) 또는 서버(130)로 전송한다. 휴대 단말(110) 또는 서버(130)로부터 디스플레이 되고 있는 화면의 정보에 대한 편집 제어 신호 또는 기능 제어 신호가 수신되면, 디스플레이 디바이스(120)는 수신된 편집 제어 신호에 따라 디스플레이 되고 있는 화면을 편집하거나 수신된 기능 제어 신호에 따라 디스플레이 되고 있는 화면에 기초한 기능을 제어한다. 디스플레이 되고 있는 화면의 편집은 새로운 정보를 디스플레이 하기 위해 디스플레이 되고 있는 화면을 조정하기 위한 제어 또는 화면상에 디스플레이 되고 있는 정보의 다른 환경 설정(a different configuration)이다. 화면에 기초한 기능 제어 신호는 예를 들어 디스플레이 화면을 참조하여 어플리케이션을 실행하기 위한 어플리케이션 실행 제어 신호가 있다.
도 1b의 디스플레이 디바이스(121)는 디스플레이 정보 요청 신호가 수신되면, 디스플레이 되고 있는 화면의 정보를 휴대 단말(111)로 전송한다. 휴대 단말(111)로부터 디스플레이 되고 있는 화면의 정보에 대한 편집 제어 신호 또는 기능 제어 신호가 수신되면, 디스플레이 디바이스(121)는 수신된 편집 제어 신호에 따라 디스플레이 되고 있는 화면을 편집하거나 수신된 기능 제어 신호에 따라 디스플레이 되고 있는 화면에 기초한 기능을 제어한다. 화면에 기초한 기능 제어 신호는 예를 들어 디스플레이 화면을 참조하여 어플리케이션을 실행하기 위한 어플리케이션 실행 제어 신호가 있다.
도 1a의 서버(130)는, 본 발명의 바람직한 실시 예에 따른 디스플레이 디바이스(120)의 화면 편집 및/또는 기능을 제어하기 위해, 휴대 단말(110)과 디스플레이 디바이스(120)와 통신한다.
서버(130)는 통신부(131), 저장부(132), 및 프로세서(133)를 포함한다. 통신부(131)는 휴대 단말(110) 및 디스플레이 디바이스(120)와 유선 또는 무선 통신을 수행할 수 있다. 따라서 통신부(131)는 후술하는 휴대 단말(110)에 포함되는 통신부(208)와 유사하게 구성 및 동작할 수 있다.
저장부(132)는 프로세서(133)에 의해 실행될 수 있는 적어도 하나의 프로그램 및 그에 따른 자원을 저장한다. 특히 본 발명의 바람직한 실시 예에 따라 디스플레이 디바이스(120)에 디스플레이 되고 있는 화면의 편집 히스토리 정보를 저장한다. 편집 히스토리 정보 저장은 디스플레이 디바이스(120)상에 디스플레이 되고 있는 화면을 만든다. 편집 히스토리 정보는 사용자, 휴대 단말, 편집 대상에 관련하여 저장될 수 있다. 또한, 편집 히스토리 정보는 삭제 또는 편집된 정보의 복구가 가능한 경로 또는 정보에 관련하여 저장될 수 있다.
프로세서(133)는 적어도 하나의 프로세서를 포함할 수 있다.
프로세서(133)는 저장부(132)에 저장된 프로그램을 로딩하여 휴대 단말(110)로부터 디스플레이 디바이스(120)에 디스플레이 되고 있는 정보에 대한 요청 신호를 수신하고, 디스플레이 디바이스(120)로부터 제 1 배열에 따라 디스플레이 되고 있는 복수의 어플리케이션의 정보를 수신하고, 수신된 복수의 어플리케이션의 정보를 휴대 단말(110)로 전송하고, 휴대 단말(110)로부터 수신되는 복수의 어플리케이션의 제 2 배열의 정보를 디스플레이 디바이스(120)로 전송하는 동작을 수행할 수 있다. 상술한 복수의 어플리케이션의 정보는 디스플레이 디바이스(120)에 디스플레이 되고 있는 화면 정보를 의미한다.
시스템이 도 1a에 도시된 바와 같이 휴대 단말(110), 디스플레이 디바이스(120) 및 서버(130)를 포함하는 시스템(100)인 경우에, 휴대 단말(110)과 디스플레이 디바이스(120)는 본 발명의 바람직한 실시 예에 따른 화면 편집 및/또는 기능 제어를 위한 정보를 서버(130)를 통해 송수신한다.
서버(130)는 클라우드(cloud) 서버, 홈 게이트웨이(home gateway) 등을 포함하나 이로 제한되지 않는다.
시스템이 도 1b에 도시된 바와 같이 휴대 단말(111)과 디스플레이 디바이스(121)를 포함하는 시스템(101)인 경우에, 중개 디바이스(intermediary device)로서의 서버(130)의 사용자 없이, 화면 편집 및/또는 기능을 제어하기 위한 정보는 휴대 단말(111)과 디스플레이 디바이스(121)간에 직접 송수신될 수 있다.
도 2a는 도 1a 및 도 1b에 도시된 휴대 단말(110, 111)의 기능 블록도이다.
도 2a를 참조하면, 휴대 단말(110, 111)은 사용자 입력부(201), 센싱부(202), 터치 스크린(203), 카메라(204), 오디오 입력부(205), 오디오 출력부(206), 저장부(207), 통신부(208), 포트(209), 프로세서(210), 및 전원부(211)를 포함한다. 그러나 휴대 단말(110, 111)의 구성은 도 2a에 도시된 바로 제한되지 않는다.
사용자 입력부(201)는 휴대 단말(110, 111)의 동작을 제어하기 위한 입력(또는 제어 데이터)을 수신한다. 사용자 입력부(201)는 키 패드(key pad), 돔 스위치(dome switch), 마우스를 대신할 수 있는 터치 패드(touch pad), 조그 휠(Jog wheel), 조그 스위치(Jog swich), 하드웨어(H/W) 버튼중 적어도 하나를 포함할 수 있다. 센싱부(202)는 휴대 단말(110, 111)의 위치, 사용자의 휴대 단말(110, 111)의 접촉 유무, 휴대 단말(110, 111)의 방위, 휴대 단말(110,111)의 가속 또는 감속 등과 같이 휴대 단말(110)의 현재 상태를 감지하여 휴대 단말(110, 111)의 동작을 제어하기 위한 센싱 신호를 발생시킨다.
센싱부(202)는 근접 센서를 포함할 수 있다. 근접 센서는 사전에 설정된 검출면에 접근하는 물체, 또는 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로 투과형 광전 센서, 직접 반사형 광전 센서, 미러 발사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다.
터치 스크린(203) 기반의 사용자 입력 데이터는 사용자의 제스처에 의존하는 사용자의 요청(request) 또는 사용자의 선택(selection)에 따라 발생될 수 있다. 사용자의 제스처는 터치 횟수, 터치 패턴, 터치 면적, 및 터치 강도 또는 압력중 적어도 하나 이상에 따라 정의될 수 있다. 터치 스크린(203)은 사용자의 손가락에 기초한 터치는 터치 스크린(203)의 터치 영역을 터치할 수 있는 사용자의 신체 부위의 터치로서 이해될 수 있다.
또한 터치 스크린(203)은 터치 스크린(203)의 터치 또는 근접 터치를 감지하기 위한 다양한 센서가 구비될 수 있다. 터치 스크린(203)에 구비되는 센서는 터치 스크린(203)상에서의 사용자의 제스처 또는 패턴을 감지하는 센서를 의미하고, 터치 스크린(203)상에서의 상술한 사용자의 제스처로 인식되는 드래그, 플릭, 탭, 터치 앤 홀드, 더블 탭, 패닝, 스윕(sweep) 등을 센싱한 신호를 발생시킨다.
터치 스크린(203)의 터치를 감지하는 센서의 일례로 촉각 센서가 있다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다. 터치 스크린(203)의 터치(touch)는 패널에 포인터(pointer)가 터치된 경우이다. 터치는 멀티 터치를 포함할 수 있다. 터치 스크린(203)의 근접 터치(proximity-touch)는 포인터가 터치 스크린(203)에 실제로 터치되지 않고, 소정 거리만큼 터치 스크린(203)으로부터 떨어진 위치에 접근된 경우이다. 포인터는 터치 스크린(203)의 특정 부분을 터치하거나 근접 터치하기 위한 도구이다. 포인터의 일 예로, 스타일러스 펜, 및 사용자의 손가락 등을 들 수 있다. 포인터는 외부 입력 디바이스로 언급될 수 있다.
본 발명의 바람직한 실시 예에 따른 화면 편집 제어시, 스타일러스 펜 기반의 사용자 인터페이스(UI)를 제공할 수 있다. 예를 들어 스타일러스 펜을 이용하여 터치 스크린(203)상에 디스플레이 되고 있는 화면에 포함된 정보에 특정 마크(정보가 삭제될 때, X마크)를 디스플레이하여 삭제하거나 스포이드(spoide) 효과로 화면 정보를 이동시키는 UI를 제공할 수 있다. 스포이드 효과는 마치 물이 스포이드로 빨려들어간 뒤 스포이드로부터 떨어지는 현상을 나타낸다.
터치 스크린(203)은 휴대 단말(110, 111)에서 처리되는 정보를 출력한다. 예를 들어, 터치 스크린(203)은 터치 스크린(203)에 구비된 센싱부를 통해 센싱된 사용자의 제스처 또는 터치 패턴 또는 사용자 입력부(201)를 통해 입력된 제어 데이터 또는 사용자의 입력 정보 또는 센싱부(202)를 통해 감지된 신호에 응답하는 화면을 디스플레이 한다. 터치 스크린(203)은 입력 및 출력(I/O) 디바이스로 언급될 수 있다. 터치 스크린(203)이 입력 및 출력 디바이스일 때, 터치 스크린(203)에 디스플레이 되는 화면은 UI(User Interface) 또는 GUI(Graphic User Interface)를 포함한다. 터치 스크린(203)은 디스플레이 디바이스(120)로부터 수신된 화면 정보를 제 1 배열로 디스플레이하고, 사용자 입력 정보에 기초하여 변경된 화면 정보를 디스플레이하고, 사용자 입력 정보를 수신한다.
터치 스크린(203)은 액정 디스플레이(Liquid Crystal Display), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display), 유기 발광 다이오드(Organic Light-emitting diode), 플렉시블 디스플레이(Flexible display), 3차원 디스플레이(3D display), 및 AMOLED(Active-Matrix Organic Light-Emitting Diode) 등을 포함할 수 있으나 이로 제한되지 않는다. 터치 스크린(203)은 디스플레이로 언급될 수 있다. 터치 스크린(203)은 휴대 단말(110, 111)의 구현 형태에 따라 2개 이상 존재할 수 있다.
카메라(204)는 화상 통화 모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지 영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고 처리된 화상 프레임은 터치 스크린(203)에 표시될 수 있다. 카메라(204)에서 처리된 화상 프레임은 저장부(207)에 저장되거나 통신부(208) 또는 포트(209)를 통해 목적지 디바이스(destination device)로 전송될 수 있다. 카메라(204)는 휴대 단말(110, 111)의 구성에 따라 2개 이상이 구비될 수 있다. 또한, 카메라(204)는 사용자의 공간 제스처를 인식하는 입력 장치로 사용될 수 있다.
오디오 입력부(205)는 통화모드, 또는 녹화 모드, 또는 음성 인식 모드 등에서 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 변환하여 프로세서(210)로 전송한다. 오디오 입력부(205)는 예를 들어 마이크로폰으로 구성될 수 있다. 오디오 입력부(205)는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 포함하도록 구성될 수 있다.
오디오 입력부(205)를 이용하여 입력되는 상기 음향 신호는 본 발명의 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면의 편집 또는 화면에 기초한 기능을 제어하기 위한 사용자 입력 정보일 수 있다. 즉, 오디오 입력부(205)를 이용하여 입력되는 음향 신호는 상술한 자연어에 기초한 사용자의 음성 인식으로부터 얻어진 사용자 입력 정보일 수 있다. 오디오 입력부(205)를 통해 입력된 외부의 음향 신호는 저장부(207)에 저장되거나 통신부(208) 또는 포트(209)를 통해 목적지 디바이스로 전송될 수 있다.
휴대 단말(110, 111)과 사용자간의 인터페이스 기능에 따라 사용자 입력부(201), 센싱부(202), 터치 스크린(203), 카메라(204), 및 오디오 입력부(205)는 입력 디바이스 또는 입출력 디바이스로 언급될 수 있다. 예를 들어, 휴대 단말(110)과 사용자간의 유저 인터페이스 기능이 터치 인식 기능, 음성 인식 기능, 및 공간 제스처 인식 기능을 포함하는 경우에, 사용자 입력부(201), 센싱부(202), 카메라(204), 및 오디오 입력부(205)는 입력 장치로 언급되고, 터치 스크린(203)은 입출력 디바이스로서 언급될 수 있다.
오디오 출력부(206)는 통화 모드, 또는 오디오 재생 모드 등에서 외부로부터 수신된 음향 신호 또는 오디오 신호를 출력한다. 오디오 신호 출력부(206)는 스피커로 구성될 수 있다. 오디오 입력부(205)와 오디오 출력부(206)는 헤드셋의 형태와 같이 일체형으로 구성될 수 있다.
저장부(207)는 후술할 프로세서(210)에 의해 실행 가능하도록 구성된 적어도 하나의 프로그램과 프로그램 자원(resource)을 저장한다. 적어도 하나의 프로그램은 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면을 편집 및/또는 화면에 기초한 기능 제어 방법을 실행하기 위한 프로그램, 휴대 단말(110, 111)의 운영 체계(Operating System) 프로그램, 휴대 단말(110, 111)에 설정된 어플리케이션, 및 휴대 단말(110, 111)의 각종 기능(예를 들어 통신 기능과 디스플레이 기능)을 수행하는데 필요한 프로그램을 포함한다.
상기 프로그램 자원의 예는 상술한 프로그램들을 수행하기 위해 필요한 정보 및 바람직한 실시 예들에서 언급되는 화면 편집 제어를 위한 사용자 인터페이스(User Interface) 화면 정보, 선택된 편집 제어 기능을 확인(acknowledgement)하는 메시지 정보 등을 포함한다.
화면 편집 제어를 위한 사용자 인터페이스 화면 정보는 예를 들어 선택된 화면 정보의 화면 편집(이동, 삭제, 복사, 추가, 설정, 백업, 등)을 위한 UI 화면 정보를 포함할 수 있다. 화면에 기초한 기능 제어를 위한 사용자 인터페이스 화면 정보는 예를 들어 선택된 화면 정보의 실행을 위한 UI 화면 정보를 포함할 수 있다. 화면 편집 제어를 위한 UI 화면 정보와 화면에 기초한 기능 제어를 위한 UI 화면 정보는 함께 제공될 수 있다.
저장부(207)에 저장된 디스플레이 디바이스(120, 121)의 화면 편집 및/또는 기능 제어 방법을 실행하는 프로그램은 디스플레이 디바이스(120, 121)의 화면 편집 및 /또는 기능 제어용 어플리케이션으로 구성되거나 디스플레이 디바이스(120, 121)의 화면 편집 및/또는 기능 제어 메뉴를 포함하는 리모콘 어플리케이션으로 구성될 수 있다.
따라서, 이하 바람직한 실시 예들은 상기 화면 편집 및/또는 기능 제어용 어플리케이션을 실행한 후 동작되거나 리모콘 어플리케이션을 실행한 후 상기 화면 편집 또는 기능 제어를 수행하는 것으로 언급될 수 있다.
저장부(207)는 상기 운영 체계를 비롯한 휴대 단말(110, 111)의 각종 기능을 수행하는데 필요한 적어도 하나의 프로그램을 저장하는 저장부와 바람직한 실시 예에 따른 디스플레이 디바이스(120,121)의 화면 편집 제어 방법을 실행하는 하나 이상의 프로그램과 자원 및 상기 어플리케이션들을 저장하는 저장부를 독립적으로 구성할 수 있다.
또한, 저장부(207)는 편집 히스토리 정보를 저장할 수 있다. 즉, 제 2 배열이 생성됨에 따라 편집 히스토리 정보가 프로세서(210)에 의해 생성되어 저장부(207)에 저장될 수 있다. 편집 히스토리 정보는 편집된 모든 절차를 순차적으로 알 수 있도록 생성될 수 있다. 또한 편집 히스토리 정보는 편집된 화면 단위로 편집 전 화면과 편집 후 화면의 내용을 알 수 있도록 생성될 수 있다.
저장부(207)는 고속 랜덤 액세스 메모리, 자기 디스크 저장 장치, 플래시 메모리와 같은 불휘발성 메모리 또는 다른 불휘발성 반도체 메모리를 포함할 수 있다. 따라서 저장부(207)는 메모리로 언급될 수 있다.
통신부(208)는 무선 인터넷, 무선 인트라넷, 무선 전화 네트워크, 무선 랜(LAN), 와이파이(Wi-Fi) 네트워크, 와이파이 다이렉트(WFD, Wi-Fi Direct) 네트워크, 3G(Generation) 네트워크, 4G(4 Generation) LTE(Long Term Evolution) 네트워크, 블루투스(Bluetooth) 네트워크, 적외선 통신(IrDA, Infrared Data Association) 네트워크, RFID(Radio Frequency Identification) 네트워크, UWB(Ultra WideBand) 네트워크, 지그비(Zigbee) 네트워크, NFC(Near Field Communication) 네트워크와 같은 유선 또는 무선 네트워크를 통해 전자 기기(120) 및 서버(130)와 데이터를 송수신할 수 있도록 구성된다.
통신부(208)는 방송 수신 모듈, 이동 통신 모듈, 무선 인터넷 모듈, 유선 인터넷 모듈, 근거리 통신 모듈, NFC 모듈, 및 위치 정보 모듈중 적어도 하나를 포함할 수 있으나 이로 제한되지 않는다.
방송 수신 모듈은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 이동 통신 모듈은 이동 통신망 상에서 기지국, 외부의 단말(예를 들어, 디스플레이 디바이스(120, 121)), 서버(130)중 적어도 하나와 무선 신호를 송수신한다. 무선 신호는 음성 호 신호, 화상 통화 호, 또는 문자/멀티미디어 메시지 송수신과 같은 다양한 형태의 데이터를 포함할 수 있다. 무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 의미한다. 유선 인터넷 모듈은 유선 인터넷 접속을 위한 모듈을 의미한다.
근거리 통신 모듈은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술의 예는 블루투스 기반 기술, RFID 기반 기술, 적외선 통신 기반 기술, UWB 기반 기술, Zigbee 기반 기술, WFD 기반 기술, NFC 기반 기술을 포함할 수 있다.
위치 정보 모듈은 휴대 단말(100)의 위치를 확인하거나 얻기 위한 모듈이다. 일 예로 GPS(Global Position System) 모듈이 있다. GPS 모듈은 복수개의 인공위성으로부터 위치 정보를 수신한다. 위치 정보는 위도 및 경도를 갖는 좌표 정보를 포함할 수 있다.
포트(209)는 USB(Universal Serial Bus) 포트(미 도시됨)와 같은 플러그 앤 플레이(Plug and Play) 인터페이스를 이용하여 외부 기기(미 도시됨)와 데이터를 송수신할 수 있다. 플러그 앤 플레이 인터페이스는 휴대 단말(110,111)과 연결된 외부 기기가 꼽히며 자동으로 액세스하기 위해 구성된 모듈을 의미한다.
전원부(211)는 휴대 단말(110, 111)의 다양한 구성 요소에 전력을 공급한다. 전원부(211)는 배터리 및 교류 전원과 같은 하나 이상의 전원을 포함한다. 휴대 단말(110, 111)은 전원부(211)를 포함하지 않고, 외부 전원 제공부(미 도시됨)와 연결될 수 있는 연결부(connection unit)(미 도시됨)를 포함할 수 있다.
프로세서(210)는 휴대 단말(110, 111)의 전반적인 동작을 제어하는 것으로 하나 이상의 프로세서가 될 수 있다. 프로세서(210)의 하나 이상의 프로세서는 복수의 프로세서 또는 프로세서 코어이고, 휴대 단말(110, 111)의 기능에 따라 복수의 프로세서로서 동작할 수 있기 때문이다.
프로세서(210)는 사용자 입력부(210), 센싱부(202), 터치 스크린(203), 카메라(203), 오디오 입력부(205), 오디오 출력부(206), 저장부(207), 통신부(208), 포트(209), 및 전원부(211)를 전반적으로 제어할 수 있다. 따라서 프로세서(210)는 제어기나 마이크로프로세서, 디지털 신호 처리기(Digital Signal Processor) 등으로 언급될 수 있다. 또한 프로세서(210)는 입력 장치에 해당되는 사용자 입력부(210), 센싱부(202), 카메라(203), 오디오 입력부(205)를 이용하여 입력된 사용자의 입력 정보와 터치 스크린(203)에 기초한 사용자 인터페이스를 제공할 수 있다. 프로세서(210)는 휴대 단말(110, 111)의 엘리먼트들을 서로 연결하는 적어도 하나의 버스(미 도시됨)를 통해 휴대 단말(110, 111)의 엘리먼트들에 연결될 수 있다.
프로세서(210)는 본 발명의 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집 및/또는 기능 제어 방법에 관련된 적어도 하나의 프로그램을 실행시킬 수 있다. 프로세서(210)는 상기 프로그램을 저장부(207)로부터 리드하여 실행시키거나 통신부(208)를 통해 연결된 애플리케이션 제공 서버(미 도시됨) 또는 마켓 서버(미 도시됨)와 같은 외부 장치로부터 다운받아 실행시킬 수 있다. 프로세서(210)는 휴대 단말(110)내의 각종 기능 모듈과 프로세서(210)간의 인터페이스 기능부를 포함하는 것으로 이해될 수 있다. 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집 및/또는 기능 제어 방법에 관련된 프로세서(210)의 동작은 후술할 도 4, 도 6-8, 도 9-11, 및 도 19에 도시된 흐름도와 같이 수행될 수 있다.
도 2b는 바람직한 실시 예에 따른 도 1a 및 도 1b에 도시된 휴대 단말(110, 111)의 기능 블록도이다. 도 2b를 참조하면, 휴대 단말(110, 111)은 터치 스크린(220), 프로세서(221), 저장부(222), 및 통신부(223)을 포함한다.
터치 스크린(220)은 도 2a의 터치 스크린(203)과 같이 구성되어 바람직한 실시 예에 따른 복수의 오브젝트를 디스플레이하고, 사용자 입력 정보를 수신한다.
통신부(223)는 도 2a의 통신부(208)과 같이 구성되어 디스플레이 디바이스(120,121)와 통신을 수행한다.
프로세서(221)는 터치 스크린(220)에 기초한 사용자 인터페이스를 제공하고, 디스플레이 디바이스(120, 121)로부터 상기 제 1 배열에 따른 복수의 오브젝트의 정보를 수신하고, 수신된 오브젝트의 정보에 기초하여 상기 복수의 오브젝트를 터치 스크린(220)에 디스플레이하고, 사용자 입력 정보에 기초하여 복수의 오브젝트의 정보를 변경하고, 제 2 배열을 생성하고, 디스플레이 디바이스(120, 121)로 제 2 배열의 정보를 전송한다. 이에 따라 디스플레이 디바이스(120, 121)에서 제 2 배열의 정보에 기초하여 복수의 오브젝트중 적어도 하나는 터치 스크린(220)을 사용하여 편집되고, 편집된 복수의 오브젝트들은 디스플레이 디바이스(120, 121)에 의해 디스플레이 될 수 있다.
도 3은 도 1에 도시된 디스플레이 디바이스의 기능 블록도이다. 디스플레이 디바이스는 도 1a 및 도 1b의 디스플레이 디바이스(120, 121)가 될 수 있다. 도 3에서 디스플레이 디바이스는 통신 기능을 갖는 TV가 될 수 있다.
도 3을 참조하면, 디스플레이 디바이스(120, 121)는 무선 통신부(301), 통신부(302), 방송 신호 수신부(303), 저장부(304), 프로세서(305), 영상 처리부(306), 디스플레부(307), 오디오 처리부(308), 오디오 출력부(309), 및 오디오 입력부(310)를 포함한다. 디스플레이 디바이스(120, 121)는 도 3에 도시된 바로 제한되지 않고, 방송 신호 수신부(303)를 포함하지 않을 수 있다.
무선 통신부(301)는 예를 들어 미 도시된 원격 제어기와 무선 통신할 수 있도록 구성된다. 원격 제어기가 IR 송신기를 포함하면, 무선 통신부(301)는 대응하는 IR 수신기를 포함하여 원격 제어기로부터 전송되는 적외선 신호를 수신하고, 상기 적외선 신호를 복조하고, 복조된 적외선 신호를 프로세서(305)로 전송한다. 원격 제어기가 RF 모듈로 구성되면, 무선 통신부(301)는 대응하는 RF 모듈로 구성되어 원격 제어기로부터 전송되는 RF 신호를 수신하여 프로세서(305)로 전송한다. 무선 통신부(301)는 상술한 IR 수신기와 RF 모듈로 제한되지 않고, 적어도 하나의 다른 기술, 예를 들어, 블루투스 통신 기술과 같은 근거리 통신 기술을 사용하도록 구성될 수 있다.
통신부(302)는 무선 통신 모듈을 통하여 접속된 휴대 단말(110, 111) 또는 서버(130)와 무선 데이터 통신을 수행한다. 디스플레이 디바이스(120, 121)는 블루투스(Bluetooth) 네트워크, RFID(Radio Fequency Identification) 네트워크, WiFi 네트워크, 적외선 통신(IrDA, Infrared Data Association) 네트워크, UWB(Ultra Wideband) 네트워크, 지그비(Zigbee) 네트워크 및 NFC(Near Field Commnication) 네트워크 등의 무선 통신 네트워크 또는 홈 PNA(Phoneline Networking Alliance), PLC(Power Line Communication), IEEE 1394, 유선 인터넷 등의 유선 통신 기반 네트워크 또는 각 종 홈 네트워크에 따라 휴대 단말(110, 111) 또는 서버(130)와 네트워크를 연결하여 통신할 수 있다.
프로세서(305)는 통신부(302)를 통해 연결된 휴대 단말(110, 111) 또는 서버(130)로부터 디스플레이 정보 요청 신호가 수신되면, 디스플레이부(307)에 디스플레이 되고 있는 정보를 통신부(302)를 통해 상기 요청하는 휴대 단말(110, 111) 또는 상기 요청하는 서버(130)로 전송하고, 휴대 단말(110) 또는 서버(130)로부터 나중에 수신되는 제 2 배열의 정보에 기초하여 디스플레이부(307)에 디스플레이 되고 있는 정보중 적어도 하나의 정보를 편집하여 디스플레이 하거나 기능을 제어한다. 프로세서(305)는 도 2의 프로세서(210)와 같이 적어도 하나 이상의 프로세서로 구성될 수 있다.
방송 신호 수신부(303)는 튜너(미 도시됨)를 통해 수신되는 방송 신호를 영상 신호 및 음성 신호로 분리하여 출력한다. 즉, 튜너는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환한다. 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호는 프로세서(305)로 입력된다.
저장부(304)는 프로세서(305)에 의해 실행되는 각종 신호 처리 및 제어를 위한 프로그램을 저장하고, 휴대 단말(110, 111)의 정보, 디스플레이 디바이스(120, 121)의 정보, 및 디스플레이 디바이스(120, 121)의 사용자 정보 등을 저장하는 메모리가 될 수 있다. 휴대 단말(110, 111)의 정보는 휴대 단말(110, 111)이 접근 제어 권한 요청시 허용 여부를 판단할 때 사용될 수 있다. 또는 휴대 단말(110, 111)의 정보는 디스플레이 디바이스(120, 121)에 디스플레이 되고 있는 정보를 휴대 단말(110, 111)로 전송한 후, 디스플레이 디바이스(120, 121)와 연결된 휴대 단말(110, 111)을 표시할 때 이용될 수 있다. 휴대 단말(110, 111)의 정보는 인증 정보를 의미할 수 있다.
프로세서(305)는 전자 기기의 전 기능을 제어한다. 통신부(302)를 통해 휴대 단말(110, 111)과 데이터 교환을 제어할 수 있다. 저장부(304)에 저장된 프로그램을 실행하여 본 발명의 바람직한 실시 예에 따른 UI(User Interface) 화면을 구성하여 영상 처리부(306)를 통해 디스플레이부(307)에 디스플레이할 수 있다.
바람직한 실시 예에 따른 UI 화면은 휴대 단말(110, 111)에 대한 정보를 디스플레이하는 화면을 포함할 수 있다. 또한, UI 화면은 휴대 단말(110, 111)에서 선택된 화면 정보(예를 들어 어플리케이션)를 알 수 있도록 표시하는 화면을 포함할 수 있다. 즉, 휴대 단말(110, 111)에서 선택된 어플리케이션의 정보가 수신됨에 따라 선택된 어플리케이션을 선택되지 않은 어플리케이션과 구별할 수 있는 UI 화면을 제공할 수 있다.
영상 처리부(306)는 영상 디코더(미 도시됨) 및 스케일러(미 도시됨)를 포함한다. 영상 처리부(306)는 방송 신호 수신부(303)로부터 출력되는 영상 신호를 화면에 표시되도록 처리한다. 영상 디코더는 역 다중화된 영상신호를 복호화하고, 스케일러는 복호화된 영상 신호의 해상도를 디스플레이부(307)에서 출력하도록 스케일링을 수행한다.
디스플레이부(307)는 영상 처리부(306)에서 처리된 영상을 출력할 수 있다. 출력되는 영상은 방송 신호 수신부(303)로부터 수신된 영상, 상술한 UI 화면, 복수의 어플리케이션을 포함하는 어플리케이션 브라우징 화면, 복수의 컨텐츠를 포함하는 컨텐츠 브라우징 화면, 웹 브라우징 화면, 선택 가능한 주변 기기 제어 화면을 포함할 수 있다. 디스플레이부(307)는 터치 스크린으로 구성되어 입력 장치로도 사용될 수 있다.
오디오 처리부(308)는 방송 신호 수신부(303)로부터 출력되는 음성신호와 통신부(302)를 통해 수신되는 컨텐츠에 포함되는 오디오를 처리하여 오디오 출력부(309)로 출력한다. 오디오 출력부(309)는 스테레오 신호, 3.1채널 신호 또는 5.1 채널 신호를 출력하는 등 다양한 형태로 구현될 수 있다.
또한, 오디오 처리부(308)는 오디오 입력부(310)로부터 입력되는 신호를 처리하여 프로세서(305)로 전송할 수 있다. 오디오 입력부(310)는 마이크로 구성될 수 있다.
도 4는 바람직한 일 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집을 제어하는 방법을 설명하는 흐름도이다. 도 4는 도 2a의 프로세서(210) 또는 도 2b의 프로세서(221)에 의해 수행될 수 있으나 설명의 편의를 위하여 이하 설명은 프로세서(210), 디스플레이 디바이스(120)간의 관계에 기초하여 설명한다.
프로세서(210)는 통신부(208)를 디스플레이 디바이스(120)로부터 복수의 오브젝트의 정보를 수신한다(S401). 복수의 오브젝트의 정보는 디스플레이 디바이스(120)에 제 1 배열에 따라 디스플레이 되고 있는 화면 정보이다. 디스플레이 디바이스(120)는 외부 디스플레이 디바이스로 언급될 수 있다.
프로세서(210)는 상기 복수의 오브젝트의 정보를 수신하기 위해, 먼저 상술한 바와 같이 저장부(207)에 저장된 별도의 화면 편집 제어 어플리케이션을 실행하거나 리모콘 어플리케이션을 실행한 후, 화면 편집 메뉴 항목을 선택하여 화면 편집 제어 기능을 실행할 수 있다. 프로세서(210)는 통신부(208)를 통해 디스플레이 정보 요청 신호를 디스플레이 디바이스(120)로 전송할 수 있다.
수신된 정보는 상술한 바와 같이 예를 들어 각 오브젝트(어플리케이션 또는 썸네일 아이콘과 같은)의 디스플레이 이미지 정보, 오브젝트의 디스플레이 위치 정보(상대적 또는 절대적인 좌표 정보 또는 오브젝트 서로에 대해 또는 디스플레이 화면에 대해 오브젝트들의 배열을 나타내는 레이아웃 정보와 같은), 및 오브젝트에 대한 상세 정보(타이틀, URL(Uniform Resource Locator), 파일 타입, 오브젝트의 파일 경로(file path), 오브젝트의 속성(attribute) 등을 포함하는 메타 데이터, 오브젝트의 식별 정보와 같은), 오브젝트의 미리 보기 정보(프리뷰 데이터(preview data)), 오브젝트의 간단한 설명(brief description)), 및 오브젝트의 편집 제어 정보(오브젝트에 대해 수행될 수 있는 이용 가능한 명령(command)들, 예를 들어, 삭제(delete), 이동(move), 숨김(hide), 백업(backup), 등과 같은)중 적어도 하나를 포함할 수 있다.
삭제 명령은 오브젝트를 삭제하기 위한 명령이 될 수 있다. 이동 명령은 디스플레이 되고 있는 오브젝트의 위치를 변경하기 위한 명령이 될 수 있다. 숨김 명령은 사용자의 시야로부터 오브젝트를 숨기기 위한 명령이 될 수 있다. 백업 명령은 디스플레이 디바이스(120)에 저장된 오브젝트를 휴대 단말(110) 또는 서버(130)에 백업하기 위한 명령이 될 수 있다. 설정된 명령들은 오브젝트의 특성(property)들을 설정하기 위한 명령이 될 수 있다. 오브젝트의 특성은 예를 들어 컨텐트의 오디오 또는 비디오 재생 특성과 같은 것이 될 수 있다. 오디오 재생 특성은 채널 정보(스테레오(stereo), 5:1, 6:1 등), 사운드 효과 정보(sound effect information), 볼륨 정보(volume information), 페이드 정보(fade information), 밸런스 정보(balance information), 등이 될 수 있다. 컨텐트를 재생할 때, 비디오 재생 특성은 콘트라스트(contrast), 칼라 밸런스(color balance), 밝기(brightness), 화면 비율(screen aspect ratio), 등이 될 수 있다. 또한, 수신되는 정보는 디스플레이 디바이스(120)에서 디스플레이 되고 있는 정보를 캡쳐한 정보를 포함할 수 있다.
상기 정보는, XML(extensible markup language)포맷과 같이, 휴대 단말(110)에 의해 해석될 수 있는 포맷, 디스플레이 디바이스(120)에 의해 해석될 수 있는 포맷, 또는 휴대 단말(110)과 디스플레이 디바이스(120)에 의해 해석될 수 있는 유니버설 포맷(universal format)에 따라 포맷화될 수 있다. 휴대 단말(110), 디스플레이 디바이스(120), 및 서버(130)는 필요에 따라 포맷간에 정보를 변환할 수 있다.
프로세서(210)는 통신부(208)를 통해 수신된 정보에 기초하여 제 1 배열로 휴대 단말(110)의 터치 스크린(203)에 복수의 오브젝트를 디스플레이 한다(S402). 터치 스크린(203)에 초기에 디스플레이 되고 있는 화면은 제 1 배열로 복수의 오브젝트들을 디스플레이 한다. 터치 스크린(230)은 디스플레이 디바이스(120)의 화면을 복제(replicate)하거나 터치 스크린(203)에 디스플레이 되고 있는 서브 윈도우(sub-window) 내에 디스플레이 디바이스(120)의 화면을 복제할 수 있다. 프로세서(210)는 수신된 정보를 터치 스크린(203)상에 맞게 재구성할 수 있다. 예를 들어, 디스플레이 디바이스(120)의 화면이 터치 스크린(203)의 사이즈보다 크면, 복수의 오브젝트들은 상기 터치 스크린상에 디스플레이 되도록 스케일 다운될 수 있다. 그러므로 디스플레이 디바이스(120)의 디스플레이 사이즈가 터치 스크린(203)의 사이즈와 다를지라도 복수의 오브젝트들은 터치 스크린(203)상에서 여전히 정확하게 재생될 수 있다.
도 5a 내지 도 5d는 본 발명의 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면을 편집하기 위한 화면 편집 기능이 수행될 때, 디스플레이 디바이스(120, 121)와 휴대 단말(110, 111)상에 디스플레이 되고 있는 화면을 설명하는 예이다.
도 5a를 참조하면, 화면(510)이 디스플레이 디바이스(120, 121)상에 디스플레이 되고 있을 때, 휴대 단말(110)의 디스플레이부(203)에 디스플레이 되고 있는 화면(511)은 화면(510)과 같다. 도 5a에서, 복수의 어플리케이션이 화면(510)에 디스플레이 되고 있고, 복수의 어플리케이션의 배열은 화면(511)상에 복제된다. 다음, 사용자가 디스플레이 되고 있는 어플리케이션중 적어도 하나를 선택하면, 상기 배열은 화면(511)상에서 변경될 수 있다. 복수의 어플리케이션에 대한 정보는 디스플레이 위치 정보, 디스플레이 이미지 정보, 및 상술한 바와 같은 다른 속성 정보(other attribute information)가 되고, 휴대 단말(110) 또는 디스플레이 디바이스(120)에 의해 해석하기 위해 포맷화될 수 있다. 도 5a는 유니버설 XML 포맷(universal XML format)에 따라 포맷된 정보(520)를 이용한다. 유니버설 XML 포맷에 따라 포맷된 정보(520)는 상기 휴대 단말(110)과 상기 디스플레이 디바이스(120)간의 오브젝트들의 배열을 저장(store), 변경(modify), 및 복제(replicate)하기 위해 휴대 단말(110) 또는 디스플레이 디바이스(120)에 의해 해석될 수 있다.
사용자 입력 정보에 기초하여 프로세서(210)는 제 2 배열을 생성한다(S403). 상기 제 2 배열은 디스플레이 되고 있는 어플리케이션중 하나를 처리하기 위한 사용자 입력에 기초하여 생성될 수 있다. 사용자 입력 수신에 응답하여 프로세서(210)는 복수의 오브젝트의 정보를 적절하게 편집할 수 있다. 즉, 사용자가 도 5a의 휴대 단말(110)의 터치 스크린(203)에 디스플레이 되고 있는 화면(511)상에 하나의 오브젝트를 선택하면, 선택된 오브젝트의 편집을 제어하기 위한 UI 화면(513_1)이 도 5B의 화면(513)상에 디스플레이될 수 있다.
비록 화면(512)는 디스플레이부(230)의 화면(511)상에 선택된 어플리케이션이 디스플레이 디바이스(120)에 디스플레이 되고 있는 것으로 설명될지라도, 상기 선택은 디스플레이 디바이스(120)에 복제(replicated)되지 않을 수 있고, 오직 상기 배열에서 상기 변화들만 디스플레이 디바이스(120)에 반영될 수 있다. 따라서 휴대 단말(110)상에서 수행되는 동작들은 디스플레이 디바이스(120)상에 복제되거나 복제되지 않을 수 있고 오로지 배열에 변화만 반영될 수 있다.
디스플레이 되고 있는 UI 화면(513_1)에 기초하여 사용자가 삭제를 선택하면, 도 5b에 도시된 터치 스크린(203)에 디스플레이 되고 있는 화면은 도 5c의 (515) 또는 도 5d의 (517)에 도시된 바와 같이 변경되고, 화면(515 또는 517)에 기초한 제 2 배열이 생성된다. 도 5c의 화면(515)은 선택된 오브젝트가 삭제된 화면이다. 도 5d의 화면(517)은 선택된 오브젝트가 삭제되면서 삭제된 오브젝트의 디스플레이 위치가 채워지도록 각 오브젝트의 디스플레이 위치를 시프트한 경우이다.
상기 오브젝트들의 새로운 제 2 배열에 대한 정보는 휴대 단말(110)에 맞게 편집되어 상기 정보가 디스플레이 디바이스(120)상에 복제하기 위해 디스플레이 디바이스(120)로 전송될 수 있다. 상기 편집이 디스플레이 디바이스(120)상에서 완료되기 전에, 상기 정보는 사용자에 의한 변경을 확인(confirmation)하기 위해 디스플레이 디바이스(120)로 전송될 수 있다. 그러므로, 사용자는 디스플레이 디바이스(120)의 변경을 사전에 볼 수 있고, 디스플레이 디바이스(120)의 편집을 완료하기 전에 디스플레이 디바이스(120)로부터 확인을 요청할 수 있다.
이하 UI 는 터치 스크린 기반 디바이스의 편집 기능을 사용하여 변형될 수 있지만 도 5a 내지 도 5d에 도시된 바로 한정되지 않는다.
도 6은 바람직한 실시 예에서 제 2 배열의 생성 과정을 설명하는 흐름도이다. 프로세서(210)는 터치 스크린(203)을 통해 제 1 배열에 따른 복수의 오브젝트의 이미지에 기초한 사용자 선택을 감지한다(S601). 사용자 선택은 터치 기반일 수 있으나 상술한 바와 같이 다양한 사용자의 제스처 기반 또는 사용자 입력부(201)의 하드웨어적인 버튼 기반으로 수행될 수 있다.
프로세서(210)는 사용자에 의해 선택된 오브젝트의 정보를 통신부(208)를 통해 디스플레이 디바이스(120, 121)로 전송한다(S602). 이에 따라 디스플레이 디바이스(120, 121)는 도 5b의 (512)에 도시된 바와 같이 선택된 오브젝트를 나타내는 정보를 화면에 디스플레이 할 수 있다. 즉, 디스플레이 되고 있는 오브젝트에 관한 이벤트가 발생될 때마다 프로세서(210)는 이벤트에 대한 이벤트 정보를 통신부(208)를 통해 디스플레이 디바이스(120, 121)로 전송한다. 또는 프로세서(210)는 편집이 완료된 후, 통신부(208)를 통해 디스플레이 디바이스(120, 121)로 제 2 배열의 정보만을 전송할 수 있으나 상술한 바와 같이 상기 이벤트 정보를 전송하지 않을 수 있다.
프로세서(210)는 선택된 오브젝트에 대한 화면 편집을 제어하기 위한 사용자 인터페이스 화면을 휴대 단말(110)의 터치 스크린(203)에 디스플레이 한다(S603). 즉, 도 5b의 (513_1)과 같은 UI화면이 디스플레이 될 수 있다. UI 화면은 선택된 오브젝트에 따라 다를 수 있다. UI 화면은 선택된 오브젝트에 대해 편집 가능한 기능에 따라 결정될 수 있다. 예를 들어, 제 1 오브젝트는 백업 옵션, 숨김 옵션, 또는 상기 오브젝트의 속성을 변경하기 위한 설정 옵션과 관련될 수 있다.
프로세서(210)는 터치 스크린(203)을 통해 UI 화면(513_1)에 기초한 사용자 선택을 감지한다(S604). 감지한 결과에 따라 제 2 배열을 생성한다(S605). 제 2 배열은 제 1 배열에 대한 정보를 변형하여 생성될 수 있거나 상기 변형만을 나타내는 새로운 정보가 될 수 있다. 생성된 제 2 배열에 따라, 휴대 단말(110)의 터치 스크린(203)에 디스플레이 되는 화면은 (515) 또는 (517)과 같이 변경되나 이로 제한되지 않는다.
만약 UI 화면(513_1)에서 ‘이동’ 아이템이 선택되고, ‘이동’아이템 선택을 나타내는 터치가 유지된 상태에서 다른 위치로 선택된 오브젝트가 드래그 되면, 터치 스크린(203)에 디스플레이 되는 화면은 선택된 오브젝트가 상기 드래그가 멈춘 위치로 이동된 화면으로 변경될 수 있다. 또한 어떠한 오브젝트도 디스플레이 되지 않는 터치 스크린(203)의 영역에서 UI 화면(513_1)이 제공되고, UI 화면(513_1)상의 ‘설정’ 아이템이 선택되면, 프로세서(210)는 새로운 오브젝트 또는 기존의 오브젝트의 속성을 설정하기 위한 작업을 수행할 수 있다. 또, UI 화면(513_1)에서 ‘백업’아이템이 선택되면, 프로세서(210)는 선택된 오브젝트에 대한 정보를 휴대 단말(110)의 저장부(207)에 백업용으로 저장할 수 있다. 선택된 오브젝트에 대한 정보는 선택된 오브젝트를 처리하기(manipulate) 위해 사용될 수 있는 정보를 포함하나 이로 제한되지 않는다.
프로세서(210)는 생성된 제 2 배열의 정보를 통신부(208)를 통해 디스플레이 디바이스(120)로 전송한다(S404). 상술한 바와 같이, 상기 제 2 배열의 정보는 상기 제 1 배열의 정보에 의해 변형되거나 제 1 배열 정보에서의 변경(change)을 나타내는 정보만 될 수 있다. 이에 따라 디스플레이 디바이스(120)에서 제 2 배열의 정보에 기초하여 복수의 오브젝트중 적어도 하나가 디스플레이 디바이스(120, 121)에 의해 편집되고 디스플레이 디바이스(120, 121)에 의해 디스플레이 된다. 즉, 도 5c의 편집된 화면(514) 또는 도 5d의 편집된 화면(516)이 제 2 배열의 정보에 기초하여 디스플레이 디바이스(120)상에 디스플레이 된다.
도 7은 바람직한 다른 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집을 제어하는 방법을 설명하기 위한 흐름도이다. 도 7은 도 2a 및 도 2b의 프로세서(210, 211)에 의해 수행될 수 있으나 이하 설명의 편의를 위하여 프로세서(210)에서 수행되는 것으로 설명한다.
도 7은 복수의 오브젝트에 대한 정보가 휴대 단말(110, 111)과 디스플레이 디바이스(120, 121)에 의해 해석하기에 적절한 포맷으로 변환된 예를 설명한다. 도 7의 단계 S701, S703, S704는 도 4의 단계 S401 내지 S403과 유사하므로 설명을 생략한다.
단계 S702에서, 프로세서(210)는 통신부(208)를 통해 디스플레이 디바이스(120, 121)로부터 정보를 수신하고, 수신된 복수의 오브젝트의 정보를 휴대 단말(110, 111)의 데이터 포맷에 따른 정보로 변환한다. 이에 따라 도 5a에 도시된 바와 같이 제 1 배열의 복수의 오브젝트의 정보는 휴대 단말(110, 111)에 의해 해석될 수 있고, 디스플레이 디바이스(120, 121)에 디스플레이 되고 있는 화면은 휴대 단말(110, 111)에 복제될 수 있다.
단계 S705에서 프로세서(210)는 제 2 배열의 정보를 디스플레이 디바이스(120)의 데이터 포맷에 따른 정보로 변환하여 통신부(208)를 통해 디스플레이 디바이스(120)로 전송한다. 정보는 통신부(208)에 의해 변환될 수 있다. 그러므로, 제 2 배열의 복수의 오브젝트들에 대한 정보는 디스플레이 디바이스(120, 121)에 의해 해석될 수 있다.
도 8은 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집 제어 방법을 설명하는 흐름도이다. 도 8은 도 4의 동작 흐름도에서 제 2 배열에 따라 복수의 오브젝트를 휴대 단말(110, 111)에 디스플레이 하는 기능을 추가한 예이다.
도 8의 단계 S801 내지 S803, S805는 도 4의 단계 S401 내지 S403, S404와 유사하므로 이하 설명을 생략한다.
단계 S803에서 프로세서(210)는 제 2 배열을 생성한다. 프로세서(210)는 단계 S804에서 제 2 배열에 따른 복수의 오브젝트를 휴대 단말(110, 111)의 터치 스크린(203)에 디스플레이 한다. 즉, 도 5c의 (515) 또는 (517)과 같이 제 2 배열에 따른 복수의 오브젝트를 포함하는 화면을 디스플레이 한다.
도 9는 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집 제어 방법을 설명하는 흐름도이다. 도 9는 도 4의 동작 흐름도에서 편집 히스토리 정보를 저장하는 단계를 추가한 예이다. 단계 S901 내지 단계 S903, 및 단계 S905는 도 4의 단계 S401 내지 단계 S404와 유사하므로 이하 설명을 생략한다.
단계 S903에서 프로세서(210)는 제 2 배열을 생성한다. 프로세서(210)는 단계 S904에서 생성된 제 2 배열에 따라 편집 히스토리 정보를 생성하여 저장부(207)에 저장한다. 편집 히스토리 정보는 제 1 배열과 제 2 배열간의 차를 나타낼 수 있고, 상기 차는 편집 날짜 또는 편집 시간에 관련될 수 있다. 이때, 프로세서(210)는 생성된 편집 히스토리 정보를 통신부(208)를 통해 디스플레이 디바이스(120, 121)로 전송하여 공유할 수 있다.
도 10은 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집을 제어하는 방법을 설명하는 흐름도이다. 도 10은 상술한 실시 예들에서 언급된 복수의 오브젝트의 정보 대신 디스플레이 디바이스(120, 121)의 디스플레이 화면의 정보를 수신하는 예이다.
즉, 단계 S1001에서 프로세서(210)는 통신부(208)를 통해 디스플레이 디바이스(120, 121)의 디스플레이 화면의 정보를 수신한다. 휴대 단말(110, 111)은 상기 디스플레이 되고 있는 정보를 요청하는 디스플레이 정보 요청 신호를 휴대 단말(120, 121)로 전송하고 상기 요청에 응답하여 디스플레이 디바이스(120, 121)로부터 디스플레이 화면의 정보를 수신할 수 있다. 이를 위하여 휴대 단말(110, 111)은 도 4의 단계 S401에서 언급한 바와 같이 디스플레이 디바이스(120, 121)의 화면 편집 제어 어플리케이션이나 리모콘 어플리케이션의 화면 편집 제어 메뉴를 선택할 수 있다.
프로세서(210)는 수신된 정보를 휴대 단말(110, 111)의 터치 스크린(203)에 디스플레이 한다(S1002). 디스플레이 되고 있는 정보를 조정하기 위해 터치 스크린(203)을 통해 사용자 입력정보가 감지되면, 감지된 사용자 입력 정보에 기초하여 프로세서(210)는 화면을 변경하고, 변경된 화면의 정보를 생성한다(S1003). 화면의 변경 및 변경된 화면의 정보 생성은 상술한 제 2 배열 생성과 유사하게 수행될 수 있다.
프로세서(210)는 변경된 화면의 정보를 통신부(208)를 통해 디스플레이 디바이스(120, 121)로 전송한다(S1004). 이에 따라 디스플레이 디바이스(120, 121)는 디스플레이 되고 있는 화면을 편집하여 디스플레이 한다.
도 11은 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집 및 기능 제어 방법을 설명하는 흐름도이다. 도 11은 프로세서(210)에 의해 수행될 수 있다.
도 11의 단계 S1101 내지 단계 S1102, S1104, S1105는 도 4의 단계 S401, S402, S403, S404와 유사하므로, 중복된 설명을 피하기 위해 이하 설명을 생략한다.
단계 S1103에서 터치 스크린(203)을 통해 사용자 입력이 감지되고, 감지된 사용자 입력 정보가 터치 스크린(203)에 디스플레이 되고 있는 화면을 편집하기 위한 편집 요청이면, 프로세서(210)는 단계 S1104, S1105를 수행한다.
그러나, 단계 S1103에서 터치 스크린(203)을 통해 사용자 입력이 감지되고, 감지된 사용자 입력 정보가 터치 스크린(230)에 디스플레이 되고 있는 스크린에 포함된 적어도 하나의 오브젝트를 실행하기 위한 실행 요청이면, 프로세서(210)는 실행 요청 신호를 통신부(208)를 통해 디스플레이 디바이스(120, 121)로 전송한다(S1106). 이에 따라 디스플레이 디바이스(120, 121)는 선택된 오브젝트를 실행시킨다. 선택된 오브젝트는 선택된 화면 정보로 언급될 수 있다. 선택된 오브젝트가 동영상이면, 디스플레이 디바이스(120)는 수신된 실행 요청 신호에 따라 상기 동영상을 재생한다.
즉, 도 12에 도시된 바와 같이 디스플레이 디바이스(120, 121)의 기능이 제어될 수 있다. 도 12는 바람직한 다른 실시 예에 따른 디스플레이 디바이스(120, 121)의 기능 제어에 대한 화면 예이다. 도 12의 (1210)과 같이 디스플레이 디바이스(120, 121)에 웹 페이지 화면이 디스플레이 되고, 휴대 단말(110,111)의 터치 스크린(203)에 (1212)와 같은 화면이 디스플레이 될 때, 휴대 단말(110, 111)의 터치 스크린(203)에 디스플레이 되는 검색 필드 창이 터치되고, 데이터가 상기 검색 필드 창에 입력되면, (1222)에 도시된 바와 같이 키워드(1224)가 디스플레이 되고, 이 키워드(1224)에 대한 정보가 디스플레이 디바이스(120, 121)로 전송되어 키워드(1223)을 포함하는 윈도우(1221)가 디스플레이 된다. 휴대 단말(110)을 사용하여 정보를 입력하면, 키워드의 정보가 디스플레이 디바이스(120, 121)로 전송되어 서치가 요구될 때 해당되는 작업이 수행된다.
도 13은 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집 및 기능을 제어하기 위한 방법을 설명하는 흐름도이다. 도 13은 도 3의 프로세서(305)에 의해 수행된다.
프로세서(305)는 디스플레이부(307)에 제 1 배열에 따른 복수의 오브젝트를 디스플레이 한다(S1301). 프로세서(305)는 통신부(302)를 통해 복수의 오브젝트의 정보를 휴대 단말(110, 111)로 전송한다(S1302). 이는 휴대 단말(110, 111)의 디스플레이 정보 요청에 따라 수행될 수 있다. 디스플레이 되는 복수의 오브젝트는 사용자 전용의 복수의 오브젝트일 수 있다. 따라서 디스플레이 디바이스(120, 121)의 사용자가 변경될 경우에, 디스플레이부(307)에 디스플레이 되는 복수의 오브젝트는 다른 사용자와 관련된 다른 오브젝트 세트로 변경될 수 있다.
프로세서(305)는 통신부(302)를 통해 휴대 단말(110, 111)로부터 복수의 오브젝트에 대한 제 2 배열의 정보를 수신한다(S1303).
제 2 배열의 정보가 수신되면, 프로세서(305)는 수신된 제 2 배열의 정보에 기초하여 디스플레이부(307)상의 복수의 오브젝트를 제 2 배열로 디스플레이 한다(S1304). 상술한 바와 같이, 프로세서(305)는 제 1 배열과 제 2 배열간의 차에 기초하여 제 1 배열의 정보를 편집하거나 제 2 배열의 정보를 수신할 수 있다.
도 14는 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집을 제어하는 방법을 설명하는 흐름도이다. 도 14는 도 13의 동작 흐름도에서 휴대 단말(110, 111)에서 선택된 오브젝트의 정보를 디스플레이 되는 화면에 표시하는 기능을 추가한 예이다. 따라서 단계 S1401 내지 단계 S1402, S1405, S1406은 단계 S1301 내지 S1304와 유사하므로 이하 설명을 생략한다.
단계 S1403에서, 프로세서(305)는 통신부(302)를 통해 휴대 단말(110, 111)의 사용자에 의해 선택된 적어도 하나의 오브젝트의 정보를 수신한다(S1403). 이에 따라 프로세서(305)는 디스플레이부(307)에 제 1 배열에 따라 디스플레이 되고 있는 복수의 오브젝트에 상기 선택된 오브젝트를 나타내는 정보를 디스플레이 한다(S1404). 예를 들어, 상기 선택된 오브젝트는 상기 오브젝트의 선택을 나타내기 위해 상기 디스플레이(307)상에 하이라이트 되거나 확장(enlarged)될 수 있다.
도 15는 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집을 제어하는 방법을 설명하는 흐름도이다. 도 15는 도 13의 동작 흐름도에서 편집 히스토리 정보를 생성하여 저장하는 기능을 추가한 예이다. 따라서 단계 S1501 내지 단계 S1504는 단계 S1301 내지 단계S1304와 유사하므로 이하 설명을 생략한다.
단계 S1504에서 디스플레이부(307)에 디스플레이 되고 있는 화면이 편집되면, 단계 S1505에서, 프로세서(305)는 편집 히스토리 정보를 생성하여 저장부(304)에 저장한다. 이 때, 프로세서(305)는 생성된 편집 히스토리 정보를 통신부(302)를 통해 휴대 단말(110, 111)로 전송하여 공유할 수 있다
단계 S1505에서 프로세서(305)는 저장되는 편집 히스토리 정보를 디스플레이 되는 정보별로 관리되도록 저장할 수 있다. 예를 들어, 디스플레이 되고 있는 화면이 어플리케이션 브라우징 화면이면, 생성된 편집 히스토리 정보는 어플리케이션 브라우징의 편집 히스토리 정보로서 저장한다. 예를 들어, 어플리케이션 아이콘은 배열되거나 변경될 수 있고, 어플리케이션을 편집하는 히스토리는 저장될 수 있다. 또 디스플레이 되고 있는 화면이 컨텐츠 브라우징 화면이면, 생성된 편집 히스토리 정보는 컨텐츠 브라우징의 편집 히스토리 정보로서 저장한다. 예를 들어, 컨텐트 아이콘들 또는 썸네일은 배열되거나 변경될 수 있고, 컨텐트 아이콘들을 편집하는 히스토리는 저장될 수 있다. 또, 프로세서(305)는 저장된 편집 히스토리 정보를 디스플레이 되고 있는 정보에 따라 관리되도록 저장할 수 있다.
도 16은 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
단계 S1601에서, 복수의 오브젝트는 제 1 배열로 디스플레이 된다. 단계 S1602에서, 복수의 디스플레이 되고 있는 오브젝트에 대한 정보를 요청하는 정보 요청 신호를 휴대 단말(110)로부터 수신한다. 단계 S1603에서, 상기 정보 요청 신호에 응답하여 제 1 배열로 디스플레이 되고 있는 복수의 오브젝트에 대한 정보를 휴대 단말(110)로 전송한다.
단계 S1604에서 프로세서(305)는 통신부(302)를 통해 휴대 단말(110, 111)로부터 신호를 수신한다. 수신된 신호가 제 2 배열의 정보이면, 프로세서(305)는 단계 S1605에서 상기 제 2 배열의 정보에 기초하여 상기 제 2 배열로 디스플레이부(307)에 복수의 오브젝트를 디스플레이 한다.
한편, 통신부(302)를 통해 수신된 신호가 선택된 오브젝트에 대한 실행 요청 신호이면, 프로세서(305)는 선택된 오브젝트를 실행시킨다(S1606).
도 17은 바람직한 실시 예에 따른 디스플레이 디바이스(120)의 화면 편집을 제어하기 위한 방법을 설명하는 흐름도이다.
디스플레이 디바이스(120, 121)가 디스플레이부(307)에 복수의 오브젝트를 디스플레이하고 있을 때(1701), 통신부(208)를 통해 휴대 단말(110)이 접근 제어 권한 요청을 디스플레이 디바이스(120)로 하면(1702), 디스플레이 디바이스(120)는 휴대 단말(110)에 대한 접근 제어에 대한 허용 여부를 판단한다(1703). 접근 제어는 저장부(207)에 저장된 휴대 단말(110)의 정보에 기초한 인증 처리로 수행될 수 있다.
휴대 단말(110)에 대한 접근이 허용되는 것으로 판단되면, 디스플레이 디바이스(120)는 통신부(302)를 통해 휴대 단말(110)로 접근 제어 수락을 통보한다(1704).
이에 따라 휴대 단말(110)로부터 디스플레이 디바이스(120)에 디스플레이 되고 있는 복수의 오브젝트의 정보가 요청되면(1705), 디스플레이 디바이스(120)는 디스플레이 되고 있는 복수의 오브젝트의 정보를 휴대 단말(110)로 전송한다(1706).
휴대 단말(110)은 복수 오브젝트를 편집한다(1707). 편집은 상술한 도 5a 내지 도 5d에서 설명한 바와 같이 수행될 수 있다.
편집 결과에 기초하여 제 2 배열의 정보가 생성되면(1708), 휴대 단말(110)은 생성된 제 2 배열의 정보를 디스플레이 디바이스(120)로 전송한다. 이에 따라 디스플레이 디바이스(120)는 디스플레이부(307)에 디스플레이 되고 있는 복수 오브젝트를 대응되게 편집한다(1710). 다음, 디스플레이 디바이스(120)는 편집 결과를 저장부(304)에 저장하고(1711), 편집 완료를 휴대 단말(110)로 통보한다(1712).
도 18은 바람직한 실시 예에 따른 디스플레이 디바이스(120)의 기능을 실행하는 방법을 설명하는 흐름도이다.
도 18을 참조하면, 디스플레이 디바이스(120)가 복수의 오브젝트를 디스플레이하고 있을 때(S1801), 휴대 단말(110)이 디스플레이 디바이스(120)로 접근 제어 권한 요청을 하면(S1802), 디스플레이 디바이스(120)는 휴대 단말(110)에 접근을 허용할지 여부를 상술한 도 7의 단계 S1703에서와 유사하게 판단한다(S1803).
디스플레이 디바이스(120)는 접근 제어 수락을 나타내는 승인 신호(acknowledgement signal)를 휴대 단말(110)로 전송한다(S1804). 휴대 단말(110)은 디스플레이 디바이스(120)로 디스플레이 디바이스(120)에 디스플레이 되고 있는 오브젝트에 대한 정보를 요청한다(S1805). 단계 S1806에서, 디스플레이 디바이스(120)는 휴대 단말(110)로 상기 오브젝트에 대한 정보를 전송한다. 휴대 단말(110)은 적어도 하나의 선택된 디스플레이 오브젝트의 실행에 대한 실행 제어 신호를 생성한다(S1807), 휴대 단말(110)은 적어도 하나의 선택된 디스플레이 되고 있는 오브젝트를 실행하기 위해 실행 제어 신호를 디스플레이 디바이스(120)로 전송한다(S1808). 이에 따라 디스플레이 디바이스(120)는 선택된 오브젝트를 실행한다(S1809).
도 19는 바람직한 실시 예에 따른 휴대 단말(110)를 사용하여 디스플레이 디바이스(120)의 화면 편집을 제어하는 방법을 설명하는 흐름도이다. 도 19는 프로세서(210)에 의해 수행된다.
프로세서(210)는 통신부(208)를 통해 서버(130)로부터 디스플레이 디바이스(120)상에 제 1 배열에 따라 디스플레이 되고 있는 복수의 오브젝트의 정보를 수신한다(S1901).
프로세서(210)는 서버(130)로부터 수신된 정보에 기초하여 복수의 오브젝트를 제 1 배열에 따라 디스플레이 한다(S1902).
프로세서(210)는 감지된 사용자 입력 정보에 기초하여 복수의 오브젝트의 정보를 변경하여 제 2 배열을 생성한다(S1903). 프로세서(210)는 통신부(208)를 통해 생성된 제 2 배열의 정보를 서버(130)로 전송한다(S1904).
도 20은 바람직한 실시 예에 따른 디스플레이 디바이스(120)의 화면 편집을 제어하기 위한 방법을 설명하는 흐름도이다. 도 20은 도 1a에 도시된 프로세서(133)에 의해 수행된다.
통신부(131)는 휴대 단말(110)로부터 디스플레이 디바이스(120)에 디스플레이 되고 있는 오브젝트 정보에 대한 정보 요청 신호를 수신한다(S2001). 수신된 요청 신호에 디스플레이 디바이스(120)와 통신을 위한 정보가 포함된다. 디스플레이 디바이스(120)와 통신을 위한 정보는 디스플레이 디바이스(120)의 식별 정보 또는 IP(Internet Protocol) 어드레스와 같은 디스플레이 디바이스(120)의 어드레스를 포함할 수 있다. 단계 S2002에서, 프로세서(133)는 단계 S2001에서 수신된 정보 요청 신호에 포함되어 있는 디스플레이 디바이스(120)와 통신을 위한 정보를 이용하여 통신부(131)를 통해 디스플레이 디바이스(120)에 디스플레이 되고 있는 오브젝트에 대한 정보를 디스플레이 디바이스(120)로 요청한다.
통신부(131)를 통해 디스플레이 디바이스(120)로부터 제 1 배열에 따라 디스플레이 되는 복수의 오브젝트의 정보를 수신한다(S2003). 프로세서(133)는 수신된 복수의 오브젝트의 정보를 통신부(131)를 통해 상기 휴대 단말(110)로 전송한다(S2004). 통신부(131)를 통해 휴대 단말(110)로부터 복수의 오브젝트의 정보에 대한 제 2 배열의 정보가 수신되면, 프로세서(133)는 통신부(131)를 통해 디스플레이 디바이스(110)로 제 2 배열의 정보를 전송한다(S2005).
서버(130)는 디스플레이 디바이스(120)에서 디스플레이 되고 있는 복수의 오브젝트의 정보를 사용자 정보와 관련하여 분리하고 저장부(132)에 상기 관련된 정보를 저장하고 관리할 수 있다. 이러한 경우에 현재 디스플레이 디바이스(120)에 디스플레이 되고 있는 복수의 오브젝트의 정보가 휴대 단말(110)의 사용자 전용의 복수의 오브젝트의 정보가 아닌 경우에, 휴대 단말(110)의 사용자는 서버(130)로 자신 전용의 복수의 오브젝트의 정보가 디스플레이 디바이스(120)에 디스플레이 되도록 요청할 수 있다. 즉, 오직 사용자와 관련된 오브젝트와 같은 사용자 특정 정보(User-specific information)가 디스플레이 될 수 있는 것을 말한다. 사용자 특정 정보는 사용자의 식별 정보 또는 사용자와 관련된 휴대 단말(110)의 식별 정보에 따라 결정될 수 있다.
상술한 요청에 따라 서버(130)는 서버(130)가 저장하고 있던 휴대 단말(110)의 사용자 전용의 복수의 오브젝트의 정보를 디스플레이 디바이스(120)와 휴대 단말(110)로 각각 전송한다. 이에 따라 휴대 단말(110)과 디스플레이 디바이스(120)는 서버(130)로부터 수신된 복수의 오브젝트의 정보를 동시에 디스플레이 한다.
휴대 단말(110)은 수신된 복수의 오브젝트의 정보를 디스플레이 하고, 상술한 복수의 오브젝트의 정보에 기초하여 화면 편집 제어 또는 기능 제어를 수행한다. 화면 편집 제어 또는 기능 제어 결과는 제어 이벤트가 발생될 때마다 또는 편집 동작 완료시, 휴대 단말(110)과 디스플레이 디바이스(120)간의 직접 통신에 의해 디스플레이 디바이스(120)로 전송되거나 서버(130)를 경유하여 디스플레이 디바이스(120)로 전송될 수 있다.
디스플레이 디바이스(120)는 수신된 화면 편집 제어 신호에 의해 디스플레이 되고 있는 화면을 편집하거나 수신된 기능 제어 신호에 의해 디스플레이 되고 있는 오브젝트의 기능을 제어한다.
도 21은 바람직한 실시 예에 따른 디스플레이 디바이스(120)의 화면 편집을 제어하는 방법을 설명하는 흐름도이다. 도 21은 프로세서(305)에 의해 수행된다.
프로세서(305)에 의해 제 1 배열에 따른 복수의 오브젝트를 디스플레이하고 있을 때(S2101), 프로세서(305)는 통신부(302)를 통해 서버(130)로부터 디스플레이 되고 있는 정보에 대한 요청 신호를 수신한다(S2102). 이에 따라 프로세서(305)는 디스플레이 되고 있는 복수의 오브젝트의 정보를 서버(130)로 전송한다(S2103).
그 뒤, 통신부(302)를 통해 서버(130)로부터 제 2 배열의 정보가 수신되면(S2104), 프로세서(305)는 수신된 제 2 배열의 정보에 기초하여 디스플레이 되고 있는 복수의 어플리케이션중 적어도 하나를 편집한 화면을 디스플레이부(307)에 디스플레이 한다(S2105).
도 22는 바람직한 실시 예에 따른 디스플레이 디바이스(120)의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
디스플레이 디바이스(120)가 복수의 오브젝트를 디스플레이하고 있을 때(2201), 휴대 단말(110)이 서버(130)로 접근 제어 권한 요청을 한다(2202).
디스플레이 디바이스(120)에 디스플레이 되고 있는 복수의 어플리케이션은 상술한 서버(130)에서 제공된 휴대 단말(110)의 사용자 전용의 복수의 어플리케이션일 수 있다. 즉, 상술한 오브젝트들은 사용자 특정 오브젝트들(User-specific objects)이 될 수 있다.
서버(130)는 휴대 단말(110)에 의한 접근 제어 권한 요청에 대한 허용 여부를 판단한다(2203). 상술한 판단은 휴대 단말(110)의 정보에 기초하여 수행될 수 있다. 휴대 단말(110)의 정보는 휴대 단말(100)의 식별 정보 또는/및 휴대 단말(110)의 사용자 정보를 포함할 수 있다,
판단 결과에 접근 제어 권한 요청에 대해 허용하기로 결정되면, 서버(130)는 휴대 단말(110)로 접근 제어 수락 통보를 할 수 있다(2207). 그러나, 접근 제어는 디스플레이 디바이스(120)에 의해 수행될 수 있다.
접근 제어 권한 요청 신호를 서버(130)가 디스플레이 디바이스(120)로 릴레이 한다(2204). 디스플레이 디바이스(120)가 허용 여부를 판단한 후(2205), 접근 제어 수락 통보를 서버(130)로 하면(2206), 서버(130)가 이를 수신하여 휴대 단말(110)로 전송할 수 있다(2207).
단계 S2208에서, 휴대 단말(110)이 서버(130)로 정보 요청 신호를 전송한다. 서버(130)는 디스플레이 디바이스(120)로 복수의 오브젝트에 대한 정보 요청 신호를 릴레이한다(2209). 상기 복수의 오브젝트 정보에 대한 정보 요청 신호는 디스플레이 정보 요청 신호로 언급될 수 있다.
이에 따라 디스플레이 디바이스(120)는 디스플레이 디바이스(120)에 현재 디스플레이 되고 있는 복수의 오브젝트의 정보를 서버(130)로 전송한다(2210). 서버(130)는 디스플레이 디바이스(120)로부터 수신된 복수의 오브젝트의 정보를 휴대 단말(110)로 전송한다(2211).
이에 따라 휴대 단말(110)은 화면 편집을 수행하고(2212), 제 2 배열의 오브젝트들에 대한 정보와 같은 화면 편집에 대응하는 제어 명령을 서버(130)로 전송한다(2213).
서버(130)는 제어 명령을 디스플레이 디바이스(120)에서 처리할 수 있는 데이터 포맷을 갖는 제어 명령으로 변환하고(2214), 변환된 제어 명령을 디스플레이 디바이스(120)로 전송한다(2215). 디스플레이 디바이스(120)는 서버(130)로부터 수신된 변환된 제어 명령에 따라 편집을 실행하고(2216), 편집이 완료되면, 편집된 화면을 디스플레이 하면서 편집 완료 메시지를 서버(130)로 전송한다(2217). 서버(130)는 결과를 저장하고, 휴대 단말(110)로 실행 완료 통보 메시지를 전송한다(2218, 2219). 상술한 결과 저장은 편집에 따른 히스토리 정보를 포함할 수 있다. 서버(130)는 저장된 편집 히스토리 정보를 휴대 단말(110) 또는/및 디스플레이 디바이스(120)로 각각 전송하여 공유할 수 있다.
본 발명의 실시 예들에 따른 디스플레이 디바이스의 제어 방법 또는 디바이스의 화면 편집 방법을 컴퓨터로 구현하는 방법을 수행하도록 하는 명령어들을 포함하는 하나 이상의 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로써 기록되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로써 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (27)

  1. 디스플레이 디바이스의 제어 방법에 있어서,
    상기 디스플레이 디바이스의 화면에 디스플레이 되고 있는 제 1 배열의 아이콘들의 제 1 디스플레이 정보를 수신하는 단계;
    상기 제 1 디스플레이 정보에 기초하여 휴대 단말의 디스플레이 상에 상기 제 1 배열의 아이콘들을 디스플레이하는 단계;
    상기 휴대 단말의 상기 디스플레이상에 디스플레이 되고 있는 상기 제 1 배열의 아이콘들을 변경하여 제 2 배열의 아이콘들을 생성하는 단계;
    상기 제 2 배열의 아이콘들에 기초하여 제 2 디스플레이 정보를 생성하는 단계; 및
    상기 디스플레이 디바이스의 상기 디스플레이상에 상기 제 2 배열의 아이콘들을 디스플레이 하기 위한 요청을 상기 디스플레이 디바이스로 전송하는 단계를 포함하고.
    상기 요청은 상기 제 2 디스플레이 정보를 포함하는 디스플레이 디바이스 제어 방법.
  2. 제 1 항에 있어서,
    상기 제 1 디스플레이 정보는 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 되고 있는 상기 아이콘들의 위치를 나타내는 상기 아이콘들의 디스플레이 위치 정보를 포함하는 것을 특징으로 하는 디스플레이 디바이스 제어 방법.
  3. 제 2 항에 있어서, 상기 디스플레이 위치 정보는 상기 디스플레이 디바이스의 상기 화면의 좌표 위치에 관련하여 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 되고 있는 좌표 위치들에서 상기 아이콘들의 절대 위치를 나타내는 좌표 정보를 포함하는 디스플레이 디바이스 제어 방법.
  4. 제 2 항에 있어서, 상기 디스플레이 위치 정보는 상기 디스플레이 디바이스의 화면상에서 상기 아이콘들 서로에 관한 상대적인 위치를 나타내는 좌표 정보를 포함하는 디스플레이 디바이스 제어 방법.
  5. 제 2 항에 있어서, 상기 제 1 디스플레이 정보는 상기 아이콘들의 아이콘 이미지 데이터를 더 포함하는 디스플레이 디바이스 제어 방법.
  6. 제 5 항에 있어서, 상기 제 1 디스플레이 정보는 XML(extensible markup language) 데이터인 것을 특징으로 하는 디스플레이 디바이스 제어 방법.
  7. 제 2 항에 있어서, 상기 제 2 디스플레이 정보는 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 될 상기 아이콘들의 새로운 위치들을 나타내기 위해 변형된 상기 제 1 디스플레이 정보를 포함하는 디스플레이 디바이스 제어 방법.
  8. 제 2 항에 있어서, 상기 제 2 디스플레이 정보는 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 될 상기 아이콘들의 새로운 위치들 및 상기 제 1 디스플레이 정보간의 차를 포함하는 디스플레이 디바이스 제어 방법.
  9. 제 1 항에 있어서, 상기 방법은,
    상기 디스플레이 디바이스가 상기 디스플레이 디바이스의 상기 디스플레이상에 상기 제 1 배열의 아이콘들을 디스플레이 하는 동안에 상기 휴대 단말의 상기 디스플레이상에 상기 제 2 배열의 아이콘들을 디스플레이 하는 단계를 더 포함하는 디스플레이 디바이스 제어 방법.
  10. 제 1 항에 있어서, 상기 변경하는 단계는,
    상기 제 2 배열의 아이콘들에 있어서 상기 아이콘들중 적어도 하나의 아이콘의 새로운 위치가 되도록 상기 제 1 배열의 아이콘들에 있어서 상기 아이콘들의 적어도 하나의 아이콘의 위치를 변경하는 단계,
    상기 제 1 배열의 아이콘들에 있어서 상기 아이콘들중 적어도 하나의 아이콘을 삭제하는 단계, 및
    상기 제 1 배열의 아이콘들에 있어서 상기 아이콘들에 새로운 아이콘을 추가하는 단계중 적어도 하나를 포함하는 디스플레이 디바이스 제어 방법.
  11. 제 10 항에 있어서, 상기 제 1 디스플레이 정보는 XML(extensible markup language) 데이터이고,
    상기 변경하는 단계는 상기 아이콘의 위치를 변경 단계, 상기 아이콘을 삭제하는 단계, 및 상기 아이콘을 추가하는 단계중 적어도 하나에 기초하여 상기 XML 데이터를 변경하는 단계를 포함하는 디스플레이 디바이스 제어 방법.
  12. 제 1 항에 있어서, 상기 변경 단계는,
    제 1 배열의 아이콘들에 있어서 아이콘을 변경하는 상기 휴대 단말의 상기 디스플레이에 대한 입력을 수신하는 단계; 및
    상기 입력에 기초하여 상기 제 2 배열의 아이콘들을 생성하는 단계를 포함하는 디스플레이 디바이스 제어 방법.
  13. 제 1 항에 있어서, 상기 아이콘들은 상기 디스플레이 디바이스에 의해 재생될 컨텐트를 나타내는 아이콘들 및 상기 디스플레이 디바이스의 어플리케이션들을 나타내는 아이콘들 포함하는 디스플레이 디바이스 제어 방법.
  14. 휴대 단말에 있어서,
    디스플레이;
    디스플레이 디바이스의 화면상에 디스플레이 되고 있는 제 1 배열의 아이콘들의 제 1 디스플레이 정보를 수신하는 통신부;
    상기 디스플레이상에 상기 제 1 배열의 아이콘들을 디스플레이 하기 위해 상기 디스플레이를 제어하고, 상기 디스플레이 상에 디스플레이 되고 있는 상기 제 1 배열의 아이콘들을 변경하는 입력을 수신하고, 상기 입력에 기초한 제 2 배열의 아이콘들을 생성하고, 상기 제 2 배열의 아이콘들에 기초한 제 2 디스플레이 정보를 생성하고, 및 상기 디스플레이 디바이스의 디스플레이상에 상기 제 2 배열의 아이콘들을 디스플레이 하기 위한 요청을 상기 디스플레이 디바이스로 전송하기 위해 상기 통신부를 제어하는 제어기를 포함하고,
    상기 요청은 상기 제 2 디스플레이 정보를 포함하는 휴대 단말.
  15. 제 14 항에 있어서,
    상기 제 1 디스플레이 정보는 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 되고 있는 상기 아이콘들의 위치를 나타내는 상기 아이콘들의 디스플레이 위치 정보를 포함하는 것을 특징으로 하는 휴대 단말.
  16. 제 15 항에 있어서, 상기 디스플레이 위치 정보는 상기 디스플레이 디바이스의 상기 화면의 좌표 위치에 관련하여 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 되고 있는 좌표 위치들에서 상기 아이콘들의 절대 위치를 나타내는 좌표 정보를 포함하는 휴대 단말.
  17. 제 15 항에 있어서, 상기 디스플레이 위치 정보는 상기 디스플레이 디바이스의 화면상에 상기 아이콘들 서로에 관한 상대적인 위치를 나타내는 좌표 정보를 포함하는 휴대 단말.
  18. 제 15 항에 있어서, 상기 제 1 디스플레이 정보는 상기 아이콘들의 아이콘 이미지 데이터를 더 포함하는 휴대 단말.
  19. 제 18 항에 있어서, 상기 제 1 디스플레이 정보는 XML(extensible markup language) 데이터인 것을 특징으로 하는 휴대 단말.
  20. 제 15 항에 있어서, 상기 제 2 디스플레이 정보는 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 될 상기 아이콘들의 새로운 위치들을 나타내기 위해 변형된 상기 제 1 디스플레이 정보를 포함하는 휴대 단말.
  21. 제 15 항에 있어서, 상기 제 2 디스플레이 정보는 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 될 상기 아이콘들의 새로운 위치들 및 상기 제 1 디스플레이 정보간의 차를 포함하는 휴대 단말.
  22. 제 14 항에 있어서, 상기 제어기는,
    상기 디스플레이 디바이스가 상기 디스플레이 디바이스의 상기 디스플레이상에 상기 제 1 배열의 아이콘들을 디스플레이 하는 동안에 상기 휴대 단말의 상기 디스플레이상에 상기 제 2 배열의 아이콘들을 디스플레이 하기 위해 상기 디스플레이를 제어하는 휴대 단말.
  23. 제 14 항에 있어서, 상기 제어기는,
    상기 제 2 배열의 아이콘들에 있어서 상기 아이콘들중 적어도 하나의 아이콘의 새로운 위치가 되도록 상기 제 1 배열의 아이콘들에 있어서 상기 아이콘들의 적어도 하나의 아이콘의 위치를 변경하고,
    상기 제 1 배열의 아이콘들에 있어서 상기 아이콘들중 적어도 하나의 아이콘을 삭제하고, 및
    상기 제 1 배열의 아이콘들에 있어서 상기 아이콘들에 새로운 아이콘을 추가하는 것중 적어도 하나에 의해 상기 제 2 배열의 아이콘들을 생성하는 휴대 단말.
  24. 제 23 항에 있어서, 상기 제 1 디스플레이 정보는 XML(extensible markup language) 데이터이고,
    상기 제어기는 상기 아이콘의 위치를 변경하고, 상기 아이콘을 삭제하고, 및 상기 아이콘을 추가하는 것중 적어도 하나에 기초하여 상기 XML 데이터를 변경하는 것을 특징으로 하는 휴대 단말.
  25. 제 14 항에 있어서, 상기 제어기는,
    제 1 배열의 아이콘들에 있어서 아이콘을 변경하는 상기 휴대 단말의 상기 디스플레이에 대한 입력을 수신하고,
    상기 입력에 기초하여 상기 제 2 배열의 아이콘들을 생성하여 상기 XML 데이터를 변경하는 것을 특징으로 하는 휴대 단말.
  26. 제 14 항에 있어서, 상기 아이콘들은 상기 디스플레이 디바이스에 의해 재생될 컨텐트를 나타내는 아이콘들 및 상기 디스플레이 디바이스의 어플리케이션들을 나타내는 아이콘들 포함하는 휴대 단말.
  27. 디스플레이 디바이스 제어 방법을 실행할 수 있는 휴대 단말을 발생시키는 프로그램이 기록된 컴퓨터로 읽을 수 있는 비 일시적인(non-transitory) 기록 매체에 있어서,
    상기 방법은,
    상기 디스플레이 디바이스의 화면에 디스플레이 되고 있는 제 1 배열의 아이콘들의 제 1 디스플레이 정보를 수신하는 단계;
    상기 제 1 디스플레이 정보에 기초하여 휴대 단말의 디스플레이 상에 상기 제 1 배열의 아이콘들을 디스플레이하는 단계;
    상기 휴대 단말의 상기 디스플레이상에 디스플레이 되고 있는 상기 제 1 배열의 아이콘들을 변경하여 제 2 배열의 아이콘들을 생성하는 단계;
    상기 제 2 배열의 아이콘들에 기초하여 제 2 디스플레이 정보를 생성하는 단계; 및
    상기 디스플레이 디바이스의 상기 디스플레이상에 상기 제 2 배열의 아이콘들을 디스플레이 하기 위한 요청을 상기 디스플레이 디바이스로 전송하는 단계를 포함하고,
    상기 요청은 상기 제 2 디스플레이 정보를 포함하는 기록 매체.
KR1020130036173A 2012-04-07 2013-04-03 디스플레이 디바이스 제어 방법 및 시스템과 기록 매체 KR102037415B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP13162578.2A EP2648096A1 (en) 2012-04-07 2013-04-05 Method and system for controlling display device and computer-readable recording medium
US13/858,295 US9423924B2 (en) 2012-04-07 2013-04-08 Method and system for controlling display device and computer-readable recording medium
CN201380018952.XA CN104272253A (zh) 2012-04-07 2013-04-08 用于控制显示装置的方法和系统以及计算机可读记录介质
AU2013203016A AU2013203016B2 (en) 2012-04-07 2013-04-08 Method and system for controlling display device and computer-readable recording medium
PCT/KR2013/002906 WO2013151399A1 (en) 2012-04-07 2013-04-08 Method and system for controlling display device and computer-readable recording medium
US15/228,569 US10175847B2 (en) 2012-04-07 2016-08-04 Method and system for controlling display device and computer-readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120036403 2012-04-07
KR1020120036403 2012-04-07

Publications (2)

Publication Number Publication Date
KR20130113987A true KR20130113987A (ko) 2013-10-16
KR102037415B1 KR102037415B1 (ko) 2019-10-28

Family

ID=49634285

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130036173A KR102037415B1 (ko) 2012-04-07 2013-04-03 디스플레이 디바이스 제어 방법 및 시스템과 기록 매체

Country Status (2)

Country Link
KR (1) KR102037415B1 (ko)
CN (1) CN104272253A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108592A (ko) * 2014-03-18 2015-09-30 주식회사 엘지유플러스 웨어러블 디바이스의 제어 방법 및 그 장치
KR20150108591A (ko) * 2014-03-18 2015-09-30 주식회사 엘지유플러스 웨어러블 디바이스의 제어 방법 및 그 장치
KR20210124950A (ko) * 2019-02-07 2021-10-15 주식회사 엔씨소프트 단말 제어 시스템 및 단말 제어 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104918135B (zh) * 2015-06-01 2018-05-08 无锡天脉聚源传媒科技有限公司 一种视频台标生成方法及装置
CN105163160A (zh) * 2015-08-29 2015-12-16 天脉聚源（北京）科技有限公司 提高信息合成安全性的方法和装置
KR101679791B1 (ko) * 2015-12-14 2016-11-28 지스마트 주식회사 모바일 장치를 이용한 전광판 구동시스템 및 방법
CN105630286B (zh) * 2015-12-18 2019-10-11 小米科技有限责任公司 图标排列方法及装置
KR20220081723A (ko) * 2020-12-09 2022-06-16 삼성전자주식회사 전자 장치, 주문 관리 시스템 및 그 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100223563A1 (en) * 2009-03-02 2010-09-02 Apple Inc. Remotely defining a user interface for a handheld device
US20120081299A1 (en) * 2010-10-04 2012-04-05 Verizon Patent And Licensing Inc. Method and apparatus for providing remote control via a touchable display

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MXPA01012809A (es) * 1999-06-11 2002-07-22 United Video Properties Inc Sistema de aplicacion de television interactiva con dispositivo de aplicacion de mano.
JP4375390B2 (ja) * 2006-12-12 2009-12-02 ソニー株式会社 携帯端末装置および表示方法、並びにプログラム
KR101735614B1 (ko) * 2010-08-12 2017-05-15 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100223563A1 (en) * 2009-03-02 2010-09-02 Apple Inc. Remotely defining a user interface for a handheld device
US20120081299A1 (en) * 2010-10-04 2012-04-05 Verizon Patent And Licensing Inc. Method and apparatus for providing remote control via a touchable display

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108592A (ko) * 2014-03-18 2015-09-30 주식회사 엘지유플러스 웨어러블 디바이스의 제어 방법 및 그 장치
KR20150108591A (ko) * 2014-03-18 2015-09-30 주식회사 엘지유플러스 웨어러블 디바이스의 제어 방법 및 그 장치
KR20210124950A (ko) * 2019-02-07 2021-10-15 주식회사 엔씨소프트 단말 제어 시스템 및 단말 제어 방법

Also Published As

Publication number Publication date
CN104272253A (zh) 2015-01-07
KR102037415B1 (ko) 2019-10-28

Similar Documents

Publication Publication Date Title
US10175847B2 (en) Method and system for controlling display device and computer-readable recording medium
KR102037415B1 (ko) 디스플레이 디바이스 제어 방법 및 시스템과 기록 매체
KR102077233B1 (ko) 컨텐트 제공 방법 및 이동 단말기와 기록 매체
CN109996101B (zh) 再现内容的方法与系统及其计算机可读记录介质
AU2013306539B2 (en) Information transmission method and system, device, and computer readable recording medium thereof
KR101276846B1 (ko) 미디어 데이터의 스트리밍 제어방법 및 제어장치
US20100083189A1 (en) Method and apparatus for spatial context based coordination of information among multiple devices
KR20180016131A (ko) 이동 단말기 및 그 제어방법
KR101964914B1 (ko) 컨텐트에 대한 오토 네이밍 방법 및 이 기능을 갖는 장치와 기록 매체
KR101943988B1 (ko) 컨텐트 전송 방법 및 시스템, 기기와 그 기록 매체
KR20170099088A (ko) 전자 기기 및 그 제어방법
AU2017202560B2 (en) Method and system for reproducing contents, and computer-readable recording medium thereof
KR20140130778A (ko) 썸네일을 이용한 파일 관리 방법 및 장치
KR20160102834A (ko) 단말기 및 그의 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant