KR102303286B1 - 단말기 및 그의 동작 방법 - Google Patents

단말기 및 그의 동작 방법 Download PDF

Info

Publication number
KR102303286B1
KR102303286B1 KR1020150025422A KR20150025422A KR102303286B1 KR 102303286 B1 KR102303286 B1 KR 102303286B1 KR 1020150025422 A KR1020150025422 A KR 1020150025422A KR 20150025422 A KR20150025422 A KR 20150025422A KR 102303286 B1 KR102303286 B1 KR 102303286B1
Authority
KR
South Korea
Prior art keywords
screen
terminal
program
external input
area
Prior art date
Application number
KR1020150025422A
Other languages
English (en)
Other versions
KR20160102835A (ko
Inventor
박차라
노필영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020150025422A priority Critical patent/KR102303286B1/ko
Priority to PCT/KR2016/001674 priority patent/WO2016137167A1/en
Priority to US15/049,885 priority patent/US10708534B2/en
Publication of KR20160102835A publication Critical patent/KR20160102835A/ko
Application granted granted Critical
Publication of KR102303286B1 publication Critical patent/KR102303286B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 실시 예에 따른 단말기의 동작 방법은 상기 단말기의 전체 화면에 프로그램의 실행 화면을 출력하는 단계와 상기 전체 화면을 제1 영역 및 제2 영역으로 분할하는 화면 분할 요청을 수신하는 단계 및 상기 화면 분할 요청에 따라 상기 제1 영역에 상기 프로그램의 실행 화면을, 상기 제2 영역에 멀티 태스킹 환경을 제공하기 위한 멀티 태스킹 화면을 각각 출력하는 단계를 포함하고, 상기 멀티 태스킹 화면은 상기 프로그램 이외의 하나 이상의 다른 프로그램들을 포함하는 프로그램 리스트 및 상기 단말기와 유선 또는 무선으로 연결된 하나 이상의 외부 입력들을 포함하는 외부 입력 리스트 중 어느 하나 이상을 포함한다.

Description

단말기 및 그의 동작 방법{TERMINAL DEVICE AND OPERATING METHOD THEREOF}
본 발명은 단말기 및 그의 동작 방법에 관한 것이다.
스마트 폰, 스마트 패드와 같은 모바일 장치의 보급으로 간단한 작업은 모바일 장치에서 수행되고 있으나, 디테일을 요구하는 작업, 멀티 태스킹과 같은 작업은 데스크 탑이나 랩탑 환경에서 이루어지고 있다.
이와 같이, 복잡성과 난이도가 높은 작업의 경우, A라는 작업을 위해 B 또는C작업과의 연동 및 데이터 응용이 필요할 수 있다. 그러나, 복수개의 어플리케이션들에 대한 윈도우들을 하나의 화면에 과업에 적합하게 배치하는 일은 쉽고 간편하지 않다. 일반적으로, 마우스와 같은 입력 장치로 윈도우(창)의 크기를 조정하고, 위치를 이동 한 뒤 다른 어플리케이션에 해당하는 윈도우를 나머지 영역에 맞추어 배치해야 하는데, 이러한 불편함 때문에 alt + Tab과 같은 키보드 입력으로 프로그램을 전환 및 필요 작업수행 후, 다시 alt + Tab 입력으로 기존 프로그램으로 복귀하는 과정을 거치고 있다.
그러나, 이러한 전체화면의 전환은 교차적업무가 아닌 동시적 과업형태에서 불편함이 존재하며, 동시 작업이 여러 개일수록 복잡도가 크게 증가하는 문제가 있다.
본 발명은 단일 프로그램의 실행 중 쉽고 빠른 방법으로 다른 프로그램에 대한 정보나 단말기에 연결된 외부 입력에 대한 정보를 제공할 수 있는 단말기 및 그의 동작 방법의 제공을 목적으로 한다.
본 발명의 실시 예에 따른 단말기의 동작 방법은 상기 단말기의 전체 화면에 프로그램의 실행 화면을 출력하는 단계와 상기 전체 화면을 제1 영역 및 제2 영역으로 분할하는 화면 분할 요청을 수신하는 단계 및 상기 화면 분할 요청에 따라 상기 제1 영역에 상기 프로그램의 실행 화면을, 상기 제2 영역에 멀티 태스킹 환경을 제공하기 위한 멀티 태스킹 화면을 각각 출력하는 단계를 포함하고, 상기 멀티 태스킹 화면은 상기 프로그램 이외의 하나 이상의 다른 프로그램들을 포함하는 프로그램 리스트 및 상기 단말기와 유선 또는 무선으로 연결된 하나 이상의 외부 입력들을 포함하는 외부 입력 리스트 중 어느 하나 이상을 포함한다.
본 발명의 실시 예에 따른 단말기는 상기 단말기의 화면 제어를 위한 요청을 수신하는 사용자 입력 인터페이스부 및 상기 단말기의 전체 화면에 프로그램의 실행 화면을 출력하고, 상기 전체 화면을 제1 영역 및 제2 영역으로 분할하는 화면 분할 요청을 수신하고, 상기 화면 분할 요청에 따라 상기 제1 영역에 상기 프로그램의 실행 화면을, 상기 제2 영역에 멀티 태스킹 환경을 제공하기 위한 멀티 태스킹 화면을 각각 출력하는 제어부를 포함하고, 상기 멀티 태스킹 화면은 상기 프로그램 이외의 하나 이상의 다른 프로그램들을 포함하는 프로그램 리스트 및 상기 단말기와 유선 또는 무선으로 연결된 하나 이상의 외부 입력들을 포함하는 외부 입력 리스트 중 어느 하나 이상을 포함한다.
본 발명의 다양한 실시 예에 따르면, 사용자는 하나의 프로그램 실행 중 다른 프로그램의 화면이나, 단말기와 연결된 외부 입력의 화면을 한 화면에 쉽고 빠르게 배치할 수 있다.
또한, 작업 상황에 맞게 디스플레이 모드를 다르게 하여 높은 사용성이 제공될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 단말기의 구성을 블록도로 도시한 것이다.
도 2은 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 5는 본 발명의 일 실시 예에 따른 단말기의 동작 방법을 설명하는 흐름도이다.
도 6은 본 발명의 일 실시 예에 따라 제1 프로그램의 실행 화면을 전체 화면으로 출력하는 실시 예를 설명하는 도면이다.
도 7은 본 발명의 일 실시 예에 따라 전체 화면을 제1 영역 및 제2 영역으로 분할하여 제2 윈도우를 추가적으로 출력하는 실시 예를 설명하는 도면이다.
도 8 내지 도 9는 본 발명의 일 실시 예에 따라 제2 윈도우 상의 프로그램 리스트에서 하나 이상의 프로그램 아이템들이 선택된 경우, 제공되는 화면의 예를 보여준다.
도 10 내지 도 12는 본 발명의 실시 예에 따라 멀티 태스킹 환경을 제공하기 위한 제2 윈도우를 통해 다른 프로그램의 실행 화면을 추가적으로 출력하는 실시 예를 설명하는 도면이다.
도 13 내지 도 14는 본 발명의 또 다른 실시 예에 따라 전체 화면을 구성하는 레이아웃을 변경하고, 변경된 레이아웃을 통해 멀티 태스킹 작업을 수행 가능한 실시 예를 설명하는 도면이다.
도 15 내지 도 16은 본 발명의 일 실시 예에 따라 제2 윈도우 상의 외부 입력 리스트 중 스크린 미러링을 위한 외부 입력 아이콘이 선택된 경우, 제공되는 화면의 예를 보여준다.
도 17 내지 도 18은 본 발명의 일 실시 예에 따라 제2 윈도우 상의 외부 입력 리스트 중 HDMI 입력을 나타내는 외부 입력 아이콘이 선택된 경우, 제공되는 화면의 예를 보여준다.
도 19는 본 발명의 일 실시 예에 따라 제2 윈도우 상의 외부 입력 리스트 중 TV 입력을 나타내는 외부 입력 아이콘이 선택된 경우, 제공되는 화면의 예를 보여준다.
도 20 내지 도 29는 본 발명의 다양한 실시 예에 따라 프로그램의 실행 화면에 출력된 정보를 외부 입력의 화면에 이동시켜 해당 정보를 이동 단말기에 전송하는 실시 예를 설명하는 도면이다.
도 30은 본 발명의 또 다른 실시 예에 따른 단말기의 동작 방법을 설명하는 흐름도이다.
도 31 내지 도 32는 본 발명의 또 다른 실시 예에 따라 외부 입력 화면을 조작하는 과정을 설명하는 도면이다.
도 33 내지 도 34는 본 발명의 다양한 실시 예에 따라 외부 입력 화면에 출력된 정보를 프로그램 실행 화면으로 이동시켜 해당 정보를 이동 단말기로부터 수신하는 실시 예를 설명하는 도면이다.
도 35 내지 도 36은 이동 단말기로부터 스크린 미러링 요청을 수신함에 따라 분할 화면을 제공하는 실시 예를 설명하는 도면이다.
도 37 내지 도 38은 본 발명의 일 실시 예에 따라 이동 단말기의 스크린 캡쳐 기능을 통해 단말기의 화면 중 일부 화면을 캡쳐하는 과정을 설명하는 도면이다.
도 39는 본 발명의 일 실시 예에 따라 이동 단말기를 무선 터치 패드로 활용하여 단말기를 제어하는 예를 보여주는 도면이다.
도 40은 본 발명의 일 실시 예에 따라 이동 단말기를 무선 키보드로 활용하여 단말기를 제어하는 예를 보여주는 도면이다.
도 41은 본 발명의 일 실시 예에 따라 이동 단말기를 리모컨으로 활용하여 단말기를 제어하는 예를 보여주는 도면이다.
도 42 내지 도 43은 본 발명의 일 실시 예에 따라 단말기의 화면 상에 출력된 파일의 타입에 기초하여 파일의 타입에 대응하는 화면 모드를 제공하는 실시 예를 설명하는 도면이다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 발명의 실시예에 따른 단말기는, 예를 들어 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 단말기로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 리모콘 등 보다 사용에 편리한 인터페이스를 갖출 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.
따라서, 본 발명에서 기술되는 단말기는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 단말기는, 보다 구체적으로 예를 들면, 네트워크 TV, HBBTV, 스마트 TV, LED TV, OLED TV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.
본 발명의 또 다른 실시 예에서 단말기는 컴퓨터, 노트북, laptop 중 어느 하나일 수도 있다.
본 발명의 또 다른 실시 예에서 단말기는 디지털 사이니지 서비스를 제공하는 디지털 사이니지 장치일 수 있다. 디지털 사이니지 장치는 기업들의 마케팅, 광고, 트레이닝 효과 및 고객 경험을 유도할 수 있는 커뮤니케이션 툴로, 공항이나 호텔, 병원 등 공공 장소에서 방송 프로그램뿐만 아니라 특정한 정보를 함께 제공하는 디지털 영상 장치이다.
도 1은 본 발명의 일 실시예에 따른 단말기의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 단말기(100)는 방송 수신부(130), 외부장치 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 제어부(170), 디스플레이부(180), 오디오 출력부(185), 전원공급부(190)를 포함할 수 있다.
방송 수신부(130)는 튜너(131), 복조부(132) 및 네트워크 인터페이스부(133)를 포함할 수 있다.
튜너(131)는 채널 선국 명령에 따라 특정 방송 채널을 선국할 수 있다. 튜너(131)는 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다.
복조부(132)는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다.
외부장치 인터페이스부(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(170) 또는 저장부(140)로 전달할 수 있다.
네트워크 인터페이스부(133)는 단말기(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
또한, 단말기(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 단말기(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.
네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
그리고, 네트워크 인터페이스부(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 시네마, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
또한, 네트워크 인터페이스부(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
저장부(140)는 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.
또한, 저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
단말기(100)는 저장부(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
사용자 입력 인터페이스부(150)는 마우스, 키보드, 원격 제어 장치(200) 중 어느 하나로부터 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자 입력 인터페이스부(150)는 블루투스(Bluetooth), WB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 사용자입력 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.
제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
그 외, 제어부(170)는, 단말기(100) 내의 전반적인 동작을 제어할 수 있다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 단말기(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 단말기(100) 내로 다운받을 수 있도록 할 수 있다.
제어부(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.
한편, 제어부(170)는 영상을 표시하도록 디스플레이부(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(140)에 저장된 영상이 디스플레이부(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이부(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
또한, 제어부(170)는 단말기(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로 부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 상기 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.
디스플레이부(180)는 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성할 수 있다.
한편, 도 1에 도시된 단말기(100)는 본 발명의 일실시예에 불과하므로. 도시된 구성요소들 중 일부는 실제 구현되는 단말기(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
본 발명의 또 다른 실시예에 따르면, 단말기(100)는 도 1에 도시된 바와 달리, 튜너(131)와 복조부(132)를 구비하지 않고 네트워크 인터페이스부(133) 또는 외부장치 인터페이스부(135)를 통해서 영상을 수신하여 재생할 수도 있다.
예를 들어, 단말기(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋탑 박스 등과 같은 영상 처리 장치와 상기 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다.
이 경우, 이하에서 설명할 본 발명의 실시예에 따른 단말기의 동작 방법은 도 1을 참조하여 설명한 바와 같은 단말기(100)뿐 아니라, 상기 분리된 셋탑 박스 등과 같은 영상 처리 장치 또는 디스플레이부(180) 및 오디오출력부(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
단말기는 마우스, 키보드와 같은 입력 장치를 통해 입력 신호를 수신할 수도 있다.
다음으로, 도 2 내지 도 3을 참조하여, 본 발명의 일 실시 예에 따른 원격제어장치에 대해 설명한다.
도 2은 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이고, 도 3은 본발명의 일 실시 예에 따른 원격제어장치(200)의 실제 구성 예를 보여준다.
먼저, 도 2를 참조하면, 원격제어장치(200)는 지문인식부(210), 무선통신부(220), 사용자 입력부(230), 센서부(240), 출력부(250), 전원공급부(260), 저장부(270), 제어부(280), 음성 획득부(290)를 포함할 수 있다.
도 2을 참조하면, 무선통신부(225)는 전술하여 설명한 본 발명의 실시 예들에 따른 단말기 중 임의의 어느 하나와 신호를 송수신한다.
원격제어장치(200)는 RF 통신규격에 따라 단말기(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비하며, IR 통신규격에 따라 단말기(100)와 신호를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다. 또한, 원격제어장치(200)는 블루투스 통신규격에 따라 단말기(100)와 신호를 송수신할 수 있는 블루투스 모듈(225)를 구비할 수 있다. 또한, 원격제어장치(200)는 NFC(Near Field Communication) 통신 규격에 따라 단말기(100)와 신호를 송수할 수 있는 NFC 모듈(227)을 구비하며, WLAN(Wireless LAN) 통신 규격에 따라 단말기(100)와 신호를 송수신할 수 있는 WLAN 모듈(229)을 구비할 수 있다.
또한, 원격제어장치(200)는 단말기(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 무선 통신부(220)를 통해 전송한다.
한편, 원격제어장치(200)는 단말기(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있으며, 필요에 따라 IR 모듈(223)을 통하여 단말기(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(230)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(230)를 조작하여 원격제어장치(200)으로 단말기(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(230)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)으로 단말기(100)와 관련된 명령을 입력할 수 있다. 이에 대해서는 도 3을 참조하여 설명한다.
도 3을 참조하면, 원격제어장치(200)는 복수의 버튼을 포함할 수 있다. 복수의 버튼은 지문 인식 버튼(212), 전원 버튼(231), 홈 버튼(232), 라이브 버튼(233), 외부 입력 버튼(234), 음량 조절 버튼(235), 음성 인식 버튼(236), 채널 변경 버튼(237), 확인 버튼(238) 및 뒤로 가기 버튼(239)을 포함할 수 있다.
지문 인식 버튼(212)은 사용자의 지문을 인식하기 위한 버튼일 수 있다. 일 실시예로, 지문 인식 버튼(212)은 푸쉬 동작이 가능하여, 푸쉬 동작 및 지문 인식 동작을 수신할 수도 있다. 전원 버튼(231)은 단말기(100)의 전원을 온/오프 하기 위한 버튼일 수 있다. 홈 버튼(232)은 단말기(100)의 홈 화면으로 이동하기 위한 버튼일 수 있다. 라이브 버튼(233)은 실시간 방송 프로그램을 디스플레이 하기 위한 버튼일 수 있다. 외부 입력 버튼(234)은 단말기(100)에 연결된 외부 입력을 수신하기 위한 버튼일 수 있다. 음량 조절 버튼(235)은 단말기(100)가 출력하는 음량의 크기를 조절하기 위한 버튼일 수 있다. 음성 인식 버튼(236)은 사용자의 음성을 수신하고, 수신된 음성을 인식하기 위한 버튼일 수 있다. 채널 변경 버튼(237)은 특정 방송 채널의 방송 신호를 수신하기 위한 버튼일 수 있다. 확인 버튼(238)은 특정 기능을 선택하기 위한 버튼일 수 있고, 뒤로 가기 버튼(239)은 이전 화면으로 되돌아가기 위한 버튼일 수 있다.
다시 도 2를 설명한다.
사용자 입력부(230)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 단말기(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시 예는 본 발명의 권리범위를 제한하지 아니한다.
센서부(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있으며, 자이로 센서(241)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.
예를 들어, 자이로 센서(241)는 원격제어장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있으며, 가속도 센서(243)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 원격제어장치(200)는 거리측정센서를 더 구비할 수 있어, 단말기(100)의 디스플레이부(180)와의 거리를 센싱할 수 있다.
출력부(250)는 사용자 입력부(235)의 조작에 대응하거나 단말기(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(250)를 통하여 사용자는 사용자 입력부(235)의 조작 여부 또는 단말기(100)의 제어 여부를 인지할 수 있다.
예를 들어, 출력부(250)는 사용자 입력부(235)가 조작되거나 무선 통신부(225)를 통하여 단말기(100)와 신호가 송수신되면 점등되는 LED 모듈(251), 진동을 발생하는 진동 모듈(253), 음향을 출력하는 음향 출력 모듈(255), 또는 영상을 출력하는 디스플레이 모듈(257)을 구비할 수 있다.
또한, 전원공급부(260)는 원격제어장치(200)으로 전원을 공급하며, 원격제어장치(200)이 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로서 전원 낭비를 줄일 수 있다. 전원공급부(260)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
저장부(270)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 원격제어장치(200)가 단말기(100)와 RF 모듈(221)을 통하여 무선으로 신호를 송수신할 경우 원격제어장치(200)과 단말기(100)는 소정 주파수 대역을 통하여 신호를 송수신한다.
원격제어장치(200)의 제어부(280)는 원격제어장치(200)과 페어링된 단말기(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(270)에 저장하고 참조할 수 있다.
제어부(280)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 제어부(280)는 사용자 입력부(235)의 소정 키 조작에 대응하는 신호 또는 센서부(240)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(225)를 통하여 단말기(100)로 전송할 수 있다.
또한, 원격제어장치(200)의 음성 획득부(290)는 음성을 획득할 수 있다.
음성 획득부(290)는 적어도 하나 이상의 마이크(291)을 포함할 수 있고, 마이크(291)를 통해 음성을 획득할 수 있다.
다음으로 도 4를 설명한다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 4의 (a)는 원격 제어 장치(200)에 대응하는 포인터(205)가 디스플레이부(180)에 표시되는 것을 예시한다. 이하에서 포인터(205)는 원격 제어 장치(200)의 에 대응하는 것으로 설명하나, 이에 한정될 필요는 없고, 마우스와 같은 입력 장치에 대응될 수도 있다.
사용자는 원격 제어 장치(200)를 상하, 좌우로 움직이거나 회전할 수 있다. 단말기(100)의 디스플레이부(180)에 표시된 포인터(205)는 원격 제어 장치(200)의 움직임에 대응한다. 이러한 원격 제어 장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다.
도 4의 (b)는 사용자가 원격 제어 장치(200)를 왼쪽으로 이동하면, 단말기(100)의 디스플레이부(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.
원격 제어 장치(200)의 센서를 통하여 감지된 원격 제어 장치(200)의 움직임에 관한 정보는 단말기(100)로 전송된다. 단말기(100)는 원격 제어 장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 단말기(100)는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 4의 (c)는, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다.
이와 반대로, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다.
한편, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격 제어 장치(200)가 디스플레이부(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.
또한, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지거나 접근하도록 이동하는 경우, 상, 하, 좌, 우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격 제어 장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격 제어 장치(200)의 상, 하, 좌, 우 이동에 따라 포인터(205)만 이동하게 된다.
한편, 포인터(205)의 이동속도나 이동방향은 원격 제어 장치(200)의 이동속도나 이동방향에 대응할 수 있다.
한편, 본 명세서에서의 포인터는, 원격 제어 장치(200)의 동작에 대응하여, 디스플레이부(180)에 표시되는 오브젝트를 의미한다. 따라서, 포인터(205)로 도면에 도시된 화살표 형상 외에 다양한 형상의 오브젝트가 가능하다. 예를 들어, 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함하는 개념일 수 있다. 그리고, 포인터(205)가 디스플레이부(180) 상의 가로축과 세로축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시되는 것도 가능하다.
다음으로, 도 5를 참조하여, 본 발명의 일 실시 예에 따른 단말기의 동작 방법을 설명한다.
도 5는 본 발명의 일 실시 예에 따른 단말기의 동작 방법을 설명하는 흐름도이다.
단말기(100)의 제어부(170)는 제1 프로그램의 실행 화면을 나타내는 제1 윈도우를 디스플레이부(180)의 전체 화면에 출력한다(S101). 일 실시 예에서 프로그램은 단말기(100)에 설치된 응용 프로그램, 어플리케이션 중 어느 하나에 해당할 수 있다.
단말기(100)의 제어부(170)는 전체 화면을 제1 영역 및 제2 영역으로 분할하는 화면 분할 요청을 수신하고(S103), 수신된 화면 분할 요청에 따라 전체 화면의 제1 영역에 제1 윈도우를 출력하고, 제2 영역에 제2 윈도우를 출력한다(S105).
일 실시 예에서 화면 분할 요청은 디스플레이부(180)의 전체 화면을 동일한면적을 갖는 제1 영역 및 제2 영역으로 분할하는 요청일 수 있으나, 이에 한정될 필요는 없다. 즉, 제1 영역의 면적과 및 제2 영역의 면적은 서로 다를 수 있다. 제2 윈도우는 사용자에게 멀티 태스킹 환경을 제공하기 위한 멀티 태스킹 화면일 수 있다.
일 실시 예에서 제2 윈도우 상에는 제1 프로그램 이외의 다른 프로그램들을 나타내는 프로그램 리스트 및 단말기(100)와 유선 또는 무선으로 연결된 외부 입력을 나타내는 외부 입력 리스트를 포함할 수 있다.
또 다른 실시 예에서 제2 윈도우 상에는 단말기(100)와 유선 또는 무선으로 연결된 주변 기기의 화면이 출력될 수 있다. 이에 대해서는 후술한다.
이에 대해서는 후술한다.
이하에서는 단계 S101 내지 S105에 대해서 설명한다.
도 6은 본 발명의 일 실시 예에 따라 제1 프로그램의 실행 화면을 전체 화면으로 출력하는 실시 예를 설명하는 도면이다.
도 6을 참조하면, 제어부(170)는 전체 화면(300) 상에 제1 프로그램의 실행화면에 대응하는 제1 윈도우(400)를 표시하도록 디스플레이부(180)를 제어할 수 있다. 예를 들어, 제1 윈도우(400)에는 웹 사이트의 접속 화면이 제공될 수 있다.
다음으로 도 7을 설명한다.
도 7은 본 발명의 일 실시 예에 따라 전체 화면을 제1 영역 및 제2 영역으로 분할하여 제2 윈도우를 추가적으로 출력하는 실시 예를 설명하는 도면이다.
도 6의 상태에서, 화면 분할 요청이 수신된 경우, 제어부(170)는 도 7에 도시된 바와 같이, 전체 화면(300)을 제1 영역(310) 및 제2 영역(330)으로 분할할 수 있다.
일 실시 예에서 단말기(100)가 PC, 노트북 중 어느 하나인 경우, 화면 분할 요청은 키보드에 구비된 컨트롤 키(control key) 및 탭 키(Tab key)를 동시에 누르는 입력에 의해 생성될 수 있다. 여기서, 화면 분할 요청이 컨트롤 키(control key) 및 탭 키(Tab key)를 동시에 누르는 입력에 의해 생성되는 것은 예시에 불과하고, 사용자의 설정에 따라 달라질 수 있다.
또 다른 실시 예에서 단말기(100)가 스마트 TV와 같은 TV인 경우, 화면 분할 요청은 원격 제어 장치(200)에 구비된 특정 버튼을 누르는 입력에 의해 생성될 수도 있다.
제어부(170)는 제1 영역(310)에 제1 프로그램의 실행 화면을 나타내는 제1 윈도우(400)를 표시하고, 제2 영역(320)에 멀티 태스킹 환경을 제공하기 위한 제2 윈도우 창(500)을 표시하도록 디스플레이부(180)를 제어할 수 있다. 제1 윈도우(400)의 크기는 제1 영역(310)의 크기에 맞추어 축소될 수 있다.
여기서, 제1 영역(310)의 면적 및 제2 영역(330)의 면적은 동일한 것으로 설명하나, 이는 예시에 불과하고, 각 면적은 서로 다를 수 있다.
제2 윈도우(500) 상에는 프로그램 리스트(510) 및 외부 입력 리스트(530)가 표시될 수 있다. 프로그램 리스트(510)는 하나 이상의 프로그램 아이템들(511 내지 516)을 포함할 수 있다.
일 실시 예에서 각 프로그램 아이템은 단말기(100)에서 최근에 실행된 프로그램에 대응하는 최근 실행 화면 또는 최근에 실행된 프로그램에 대응하는 썸네일 이미지를 나타낼 수 있다. 하나 이상의 프로그램 아이템들(511 내지 516)은 최근에 실행 시점에 따라 순서대로 배치될 수 있다. 즉, 제1 프로그램 아이템(511)이 가장 최근에 실행된 프로그램에 대응하는 아이템이고, 제2 프로그램 아이템(512) 내지 제6 프로그램 아이템(516)이 그 뒤를 따를 수 있다.
또 다른 실시 예에서 각 프로그램 아이템들은 즐겨 찾기로 등록된 프로그램들에 대응하는 즐겨 찾기 실행 화면 또는 즐겨 찾기로 등록된 프로그램에 대응하는 썸네일 이미지를 나타낼 수 있다.
외부 입력 리스트(530)는 하나 이상의 외부 입력 아이콘들을 포함할 수 있다. 각 외부 입력 아이콘은 단말기(100)와 무선 또는 유선으로 연결된 외부 입력을 나타낼 수 있다. 예를 들어, 제1 외부 입력 아이콘(531)은 스크린 미러링 기술을 통해 연결된 외부 입력을 나타내는 아이콘일 수 있다. 스크린 미러링 기술은 와이파이, 블루투스 등 근거리 무선 통신 기술을 통해 데이터를 전송하여 단말기들 간의 화면을 공유하는 기술이다. 제2 외부 입력 아이콘(533)은 HDMI(High Definition Multimedia Interface) 규격을 통해 연결된 외부 입력을 나타내는 아이콘일 수 있다. 제3 외부 입력 아이콘(535)는 유선 또는 무선으로 연결된 TV를 나타내는 아이콘일 수 있다. 도 7에는 도시되지 않았으나, 이외에도 외부 입력 리스트(530)는 단말기(100)와 연결된 DVR, 블루레이 플레이어, USB 메모리, Widi(wireless Display) 규격을 이용하여 미디어 컨텐트를 전송하는 단말기 등과 같은 주변 기기를 나타내는 외부 입력 아이콘들을 더 포함할 수 있다.
각 외부 입력 아이콘 상에는 외부 입력을 식별하는 명칭, 외부 입력을 통해 최근에 재생된 미디어 컨텐트의 썸네일 이미지 및 외부 입력된 주변 기기의 명칭 중 하나 이상이 표시될 수 있다.
외부 입력 아이콘들(531 내지 535)는 단말기(100)에 최근에 연결되었던 시점에 따라 순서대로 배치될 수 있다. 예를 들어, 제1 외부 입력 아이콘(531)이 단말기(100)에 가장 최근에 연결된 외부 입력의 아이콘이고, 제2 외부 입력 아이콘(533) 및 제3 외부 입력 아이콘(535)이 그 뒤를 따를 수 있다.
본 발명의 또 다른 실시 예에서 외부 입력 리스트(530)는 외부 입력 아이콘 대신 외부 입력을 통해 재생된 미디어 컨텐츠의 썸네일 이미지들이 표시될 수 있다.
본 발명의 또 다른 실시 예에서 각 외부 입력 아이콘 상에는 외부 입력을 통해 재생된 미디어 컨텐츠의 썸네일 이미지들이 표시될 수 있다.
다시 도 5를 설명한다.
단말기(100)의 제어부(170)는 출력된 제2 윈도우 상에 포함된 프로그램을 나타내는 하나 이상의 프로그램 아이템들 및 외부 입력을 나타내는 하나 이상의 외부 입력 아이콘들 중 어느 하나를 선택하는 선택 요청을 선택 요청을 수신하고(S107), 수신된 선택 요청에 따라 선택된 프로그램 아이템에 대응하는 실행 화면인 제1 윈도우 및 선택된 외부 입력 아이콘에 대응하는 외부 입력 화면인 제2 윈도우 중 하나 이상의 윈도우들을 출력한다(S109).
이하에서는 단계 S107 내지 S109에 대해서 상세히 설명한다.
도 8 내지 도 9는 본 발명의 일 실시 예에 따라 제2 윈도우 상의 프로그램 리스트에서 하나 이상의 프로그램 아이템들이 선택된 경우, 제공되는 화면의 예를 보여준다.
특히. 도 8은 프로그램 리스트에서 하나의 프로그램 아이템이 선택된 경우, 제공되는 화면의 실시 예이고, 도 9는 프로그램 리스트에서 2개의 프로그램 아이템이 선택된 경우, 제공되는 실시 예이다.
먼저, 도 8을 설명한다.
도 7의 프로그램 리스트(510)에서 제1 프로그램 아이템(511)을 선택하는 요청이 수신된 경우, 제어부(170)는 제1 프로그램 아이템(511)에 대응하는 프로그램의 실행 화면인 제3 윈도우(600)를 제2 영역(330)에 표시하도록 디스플레이부(180)를 제어할 수 있다. 이 경우, 제2 영역(330)에 표시되었었던 제2 윈도우(500)는 제3 윈도우(600)로 인해 표시되지 않을 수 있다. 일 실시 예에서 단말기(100)가 PC 또는 노트북인 경우, 제1 프로그램 아이템(511)을 선택하는 요청은 마우스의 클릭 입력 또는 키보드 상의 컨트롤 키(control key) 및 탭 키(Tab Key)를 동시에 누르는 입력에 의해 생성될 수 있다. 또 다른 실시 예에서 단말기(100)가 TV인 경우, 제1 프로그램 아이템(511)을 선택하는 요청은 원격 제어 장치(200)를 통해 수행될 수도 있다.
사용자는 제2 윈도우(500) 상에 표시된 프로그램들의 정보를 통해 다른 프로그램을 쉽게 실행시켜 멀티 태스킹 작업을 수행할 수 있다.
다음으로 도 9를 설명한다.
도 7의 프로그램 리스트(510)에서 제1 프로그램 아이템(511) 및 제2 프로그램 아이템(513)을 선택하는 요청이 수신된 경우, 제어부(170)는 제1 프로그램 아이템(511)에 대응하는 프로그램의 실행 화면인 제3 윈도우(600) 및 제2 프로그램 아이템(513)에 대응하는 프로그램의 실행 화면인 제4 윈도우(700)를 제2 영역(330)에 표시하도록 디스플레이부(180)를 제어할 수 있다. 제1 프로그램 아이템(511) 및 제2 프로그램 아이템(513)을 선택하는 요청이 수신된 경우, 제2 영역(330)은 제1 서브 영역(331) 및 제2 서브 영역(333)으로 분할될 수 있다. 제1 서브 영역(331) 상에는 제3 윈도우(600)가 표시될 수 있고, 제2 서브 영역(700)에는 제4 윈도우(700)가 표시될 수 있다. 이 경우, 제2 영역(330)에 표시되었었던 제2 윈도우(500)는 제3 윈도우(600) 및 제4 윈도우(700)로 인해 표시되지 않을 수 있다.
일 실시 예에서 단말기(100)가 PC 또는 노트북인 경우, 제1 프로그램 아이템(511) 및 제2 프로그램 아이템(513)을 선택하는 요청은 키보드 상의 컨트롤 키(control key)를 누르고, 마우스를 클릭하여 제1 프로그램 아이템(511) 및 제2 프로그램 아이템(513)을 선택하는 입력에 의해 생성될 수 있다. 또 다른 실시 예에서 단말기(100)가 TV인 경우, 제1 프로그램 아이템(511) 및 제2 프로그램 아이템(513)을 선택하는 요청은 원격 제어 장치(200)를 통해 수행될 수도 있다.
사용자는 제2 윈도우(500) 상에 표시된 프로그램들의 정보를 통해 다른 프로그램을 쉽게 실행시켜 멀티 태스킹 작업을 수행할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 프로그램의 실행 화면들을 표시하면서, 멀티 태스킹 환경을 제공하기 위한 제2 윈도우가 다시 출력될 수 있다. 또한, 출력된 제2 윈도우를 통해 추가적으로 다른 프로그램의 실행 화면이 출력될 수 있다.
이에 대해서는 도 10 내지 도 12를 참조하여 설명한다.
도 10 내지 도 12는 본 발명의 실시 예에 따라 멀티 태스킹 환경을 제공하기 위한 제2 윈도우를 통해 다른 프로그램의 실행 화면을 추가적으로 출력하는 실시 예를 설명하는 도면이다.
도 10의 (a)는 도 8의 도면과 동일하다. 도 10의 (a)에서 멀티 태스킹 환경을 제공하기 위한 제2 윈도우(500)를 출력하는 제2 윈도우 출력 요청이 수신된 경우, 제어부(180)는 도 10의 (b)에 도시된 바와 같이, 전체 화면(300)에 제2 윈도우(500)를 추가적으로 표시하도록 디스플레이부(180)를 제어할 수 있다. 여기서, 전체 화면(300)은 제4 영역(351), 제5 영역(353) 및 제6 영역(355)을 포함함을 가정한다. 제어부(180)는 제2 윈도우 출력 요청에 따라 전체 화면(300)의 제4 영역(351)에 제1 프로그램에 대응하는 프로그램의 실행 화면인 제1 윈도우(400)를 표시하고, 제1 프로그램 아이템에 대응하는 프로그램의 실행 화면인 제3 윈도우(600)를 제5 영역(353)에 표시하고, 표시하고, 제2 윈도우(500)를 제6 영역(355)에 표시하도록 디스플레이부(180)를 제어할 수 있다. 제2 윈도우(500) 상에서 제3 프로그램 아이템이 선택된 경우, 제어부(180)는 제3 프로그램 아이템에 대응하는 프로그램의 실행 화면을 제6 영역(355)에 표시하도록 디스플레이부(180)를 제어할 수 있다.
일 실시 예에서 단말기(100)가 PC, 노트북 중 어느 하나인 경우, 도 10에서 제2 윈도우(500)를 출력하는 요청은 키보드에 구비된 컨트롤 키(control key) 및 탭 키(Tab key)를 동시에 누르는 입력에 의해 생성될 수 있다.
또 다른 실시 예에서 단말기(100)가 스마트 TV와 같은 TV인 경우, 제2 윈도우(500)를 출력하는 요청은 원격 제어 장치(200)에 구비된 특정 버튼을 누르는 입력에 의해 생성될 수도 있다.
다음으로 도 11을 설명한다.
도 11의 (a)는 도 10의 (b)와 동일한 도면이다.
도 11의 (a)에서 전체 화면(300)을 구성하는 화면들의 레이아웃을 변경하는 레이아웃 변경 요청이 수신된 경우, 제어부(180)는 도 11의 (b)에 도시된 바와 같이, 제1 윈도우(400), 제2 윈도우(500) 및 제3 윈도우(600)의 레이아웃을 변경할 수 있다. 즉, 제어부(180)는 레이아웃 변경 요청에 따라 제1 윈도우(400)를 제1 영역(310)에, 제3 윈도우(600)를 제2 영역(330)의 제1 서브 영역(331)에, 제2 윈도우(500)를 제2 영역(300)의 제2 서브 영역(333)에 표시하도록 디스플레이부(180)를 제어할 수 있다. 일 실시 예에서 단말기(100)가 PC 또는 노트북인 경우, 레이아웃 변경 요청은 키보드의 컨트롤 키(control key) 및 방향 키를 동시에 누르는 입력에 의해 생성될 수 있다. 또 다른 실시 예에서 단말기(100)가 TV인 경우, 레이아웃 변경 요청은 원격 제어 장치(200)를 통해 수신될 수 있다.
다음으로 도 12를 설명한다.
도 11의 (b)의 제2 윈도우(500)상에서 제3 프로그램 아이템(513)이 선택된 경우, 제어부(180)는 제2 영역(300)의 제2 서브 영역(330)에 선택된 제3 프로그램 아이템(513)에 대응하는 프로그램의 실행 화면인 제4 윈도우(700)를 표시하도록 디스플레이부(180)를 제어할 수 있다.
다음으로 도 13 내지 도 14를 참조하여, 본 발명의 또 다른 실시 예에 따라전체 화면(300)을 구성하는 레이아웃을 변경하고, 변경된 레이아웃을 통해 멀티 태스킹 작업을 수행 가능한 과정을 설명한다.
도 13 내지 도 14는 본 발명의 또 다른 실시 예에 따라 전체 화면(300)을 구성하는 레이아웃을 변경하고, 변경된 레이아웃을 통해 멀티 태스킹 작업을 수행 가능한 실시 예를 설명하는 도면이다.
먼저, 도 13을 설명한다.
도 13의 (a)는 도 7과 동일한 도면이다. 도 13의 (a)의 상태에서 레이아웃을 확장하는 레이아웃 확대 요청이 수신된 경우, 제어부(180)는 도 13의 (b)에 도시된 바와 같이, 제2 영역(330)의 크기를 확대시키고, 제1 영역(310)의 크기를 축소시킬 수 있다. 이에 따라 축소된 제1 영역(310)의 크기만큼, 제1 윈도우(400)의 크기도 축소될 수 있고, 확대된 제2 영역(330)의 크기만큼 제2 윈도우(500)의 크기도 확대될 수 있다. 일 실시 예에서 단말기(100)가 PC 또는 노트북인 경우, 레이아웃 확대 요청은 키보드의 컨트롤 키(control key), 시프트 키(shift key) 및 좌 방향 키를 동시에 누르는 입력에 의해 생성될 수 있다. 또 다른 실시 예에서 단말기(100)가 TV인 경우, 레이아웃 확대 요청은 원격 제어 장치(200)를 통해 수신될 수 있다.
한편, 키보드의 컨트롤 키(control key), 시프트 키(shift key) 및 우 방향 키를 동시에 누르는 입력이 수신된 경우, 제어부(180)는 제2 윈도우(500)의 가로 길이를 줄일 수 있다. 키보드의 컨트롤 키(control key), 시프트 키(shift key) 및 상 방향 키를 동시에 누르는 입력이 수신된 경우, 제어부(180)는 제2 윈도우(500)의 세로 길이를 키울 수 있다. 키보드의 컨트롤 키(control key), 시프트 키(shift key) 및 하 방향 키를 동시에 누르는 입력이 수신된 경우, 제어부(180)는 제2 윈도우(500)의 세로 길이를 줄일 수 있다.
다음으로 도 14를 설명한다.
도 14의 (a)는 도 13의 (b)와 동일한 도면이다. 도 14의 (a)에서 프로그램 리스트(510)에 포함된 제1 프로그램 아이템(511)을 선택하는 요청이 수신된 경우, 제어부(180)는 선택된 제1 프로그램 아이템(511)에 대응하는 프로그램의 실행 화면인 제3 윈도우(600)를 확대된 제2 영역(330)에 표시하도록 디스플레이부(180)를 제어할 수 있다.
다음으로, 제2 윈도우 상의 외부 입력 리스트에서 스크린 미러링을 위한 외부 입력 아이콘이 선택된 경우, 제공되는 화면의 예를 설명한다.
도 15 내지 도 16은 본 발명의 일 실시 예에 따라 제2 윈도우 상의 외부 입력 리스트 중 스크린 미러링을 위한 외부 입력 아이콘이 선택된 경우, 제공되는 화면의 예를 보여준다.
도 15의 (a)에서 제2 윈도우(500)에 출력된 외부 입력 리스트(530)에서 스크린 미러링을 위한 제1 외부 입력 아이콘(531)을 선택하는 요청이 수신된 경우, 제어부(180)는 도 15의 (b)에 도시된 바와 같이, 전체 화면(300)의 제2 영역(330)에 스크린 미러링 리스트 화면(800)을 표시하도록 디스플레이부(180)를 제어할 수 있다.
일 실시 예에서 스크링 미러링 리스트 화면(800)은 단말기(100)와 현재 연결되어 화면을 공유 가능한 이동 단말기 리스트(810)를 포함할 수 있다. 이동 단말기리스트(810)는 각 이동 단말기의 명칭 및 각 이동 단말기의 사용자 이름 중 하나 이상을 포함할 수 있다.
또 다른 실시 예에서 스크링 미러링 리스트 화면(800)은 단말기(100)와 연결된 이동 단말기 및 연결된 적이 있었던 이동 단말기를 포함하는 이동 단말기 리스트(810)를 포함할 수 있다.
단말기(100)는 이동 단말기 리스트(810) 상에 포함된 하나 이상의 이동 단말기들이 선택된 경우, 선택된 하나 이상의 이동 단말기들과 스크린 미러링을 수행할 수 있다. 이에 대해서는 후술한다.
다음으로 도 16을 설명한다.
한편, 도 15의 (a)에서 제2 윈도우(500)에 출력된 외부 입력 리스트(530)에서 스크린 미러링을 위한 제1 외부 입력 아이콘(531)을 선택하는 요청이 수신된 경우, 제어부(180)는 도 16에 도시된 바와 같이, 전체 화면(300)의 제2 영역(330)에 스크린 미러링 리스트 화면(800)을 표시하도록 디스플레이부(180)를 제어할 수 있다.
도 16을 참조하면, 스크린 미러링 리스트 화면(800)은 단말기(100)와 현재 연결되어 화면을 공유 가능한 이동 단말기 리스트(830)를 포함할 수 있다. 이동 단말기 리스트(830)는 각 이동 단말기의 화면, 각 이동 단말기의 명칭 및 각 이동 단말기의 사용자 이름 중 하나 이상을 포함할 수 있다. 예를 들어, 이동 단말기 리스트(830)는 제1 이동 단말기의 화면(831), 제2 이동 단말기의 화면(833) 및 제3 이동 단말기의 화면(835)를 포함할 수 있다. 일 실시 예에서 각 이동 단말기의 화면은 단말기(100)와 연결된 이동 단말기의 현재 화면일 수 있다. 또 다른 실시 예에서 각 이동 단말기의 화면은 단말기(100)와 연결이 종료된 시점에서 이동 단말기의 화면일 수 있다. 이동 단말기 리스트(830)에서 어느 하나의 화면이 선택된 경우, 제어부(180)는 선택된 이동 단말기의 화면을 전체 화면(300)의 제2 영역(330)에 출력할 수 있다. 이에 따라 단말기(100)는 선택된 이동 단말기의 화면에 대응하는 이동 단말기와 스크린 미러링을 수행할 수 있다.
다음으로, 외부 입력 리스트에서 HDMI 입력을 나타내는 외부 입력 아이콘이 선택된 경우, 제공되는 화면의 예를 보여준다.
도 17 내지 도 18은 본 발명의 일 실시 예에 따라 제2 윈도우 상의 외부 입력 리스트 중 HDMI 입력을 나타내는 외부 입력 아이콘이 선택된 경우, 제공되는 화면의 예를 보여준다.
도 17의 (a)에서 제2 윈도우(500)에 출력된 외부 입력 리스트(530)에 포함된 제2 외부 입력 아이콘(533)을 선택하는 요청이 수신된 경우, 제어부(180)는 도 17의 (b)에 도시된 바와 같이, 전체 화면(300)의 제2 영역(330)에 단말기(100)와 HDMI 규격을 통해 연결된 다른 단말기의 현재 화면(900)을 표시하도록 디스플레이부(180)를 제어할 수 있다. 다른 단말기는 PC, 노트북 중 어느 하나일 수 있다. 다른 단말기의 화면(900)은
다음으로 도 18을 설명한다.
도 17의 (b)에서 제1 영역(310) 상에 제2 윈도우(500)를 출력하는 요청이 수신된 경우, 제어부(180)는 도 18의 (a)에 도시된 바와 같이, 제1 영역(310)의 제1 서브 영역(311)에 제1 윈도우(400)를 표시하고, 제1 영역(310)의 제2 서브 영역(313)에 멀티 태스킹 환경을 제공하는 제2 윈도우(500)를 표시하도록 디스플레이부(180)를 제어할 수 있다. 제1 영역(310) 상에 제2 윈도우(500)를 출력하는 요청은 제1 영역(310)을 2개의 서브 영역으로 분할하는 화면 분할 요청일 수 있다.
제2 윈도우(500)에는 화면 분할 기능을 나타내는 화면 분할 아이콘(PBP, Picture By Picture 아이콘, 550)이 표시될 수 있다. 도 18의 (a)에서 화면 분할 아이콘(550)을 선택하는 요청이 수신된 경우, 제어부(180)는 도 18의 (b)에 도시된 바와 같이, 화면 분할 기능을 종료하고, 전체 화면(300)에 제1 윈도우(400) 만을 표시하도록 디스플레이부(180)를 제어할 수 있다.
다음으로, 외부 입력 리스트에서 TV 입력을 나타내는 외부 입력 아이콘이 선택된 경우, 제공되는 화면의 예를 보여준다.
도 19는 본 발명의 일 실시 예에 따라 제2 윈도우 상의 외부 입력 리스트 중 TV 입력을 나타내는 외부 입력 아이콘이 선택된 경우, 제공되는 화면의 예를 보여준다.
도 19의 (a)에서 제2 윈도우(500)에 출력된 외부 입력 리스트(530)에서 TV 입력을 나타내는 제3 외부 입력 아이콘(535)을 선택하는 요청이 수신된 경우, 제어부(180)는 도 19의 (b)에 도시된 바와 같이, 전체 화면(300)의 제2 영역(330)에 TV 화면(1000)을 표시하도록 디스플레이부(180)를 제어할 수 있다. 즉, 제어부(180)는 제3 외부 입력 아이콘(535)을 선택하는 요청에 따라 단말기(100)와 연결된 TV 화면(1000)을 제2 영역(330)에 표시하도록 디스플레이부(180)를 제어할 수 있다. TV 화면(1000)에는 TV에서 현재 재생 중인 방송 프로그램이 표시될 수 있다.
다시 도 5를 설명한다.
단말기(100)의 제어부(180)는 프로그램 아이템에 대응하는 실행 화면인 제1 윈도우에 출력된 정보를 외부 입력 화면인 제2 윈도우로 이동시키는 정보 이동 입력을 수신하고(S113), 수신된 정보 이동 입력에 따라 제1 윈도우에 출력된 정보를 외부 입력에 대응하는 주변 기기에 전송한다(S115).
본 발명의 실시 예에 따르면, 프로그램의 실행 화면 상에 출력된 정보를 단말기(100)에 연결된 외부 입력 화면으로 이동시키는 정보 이동 입력에 따라 단말기(100)와 주변 기기가 서로 연동될 수 있다. 이하에서는 이러한 연동 과정을 상세히 설명한다.
도 20 내지 도 29는 본 발명의 다양한 실시 예에 따라 프로그램의 실행 화면에 출력된 정보를 외부 입력의 화면에 이동시켜 해당 정보를 이동 단말기에 전송하는 실시 예를 설명하는 도면이다.
이하에서, 전체 화면(300)의 제1 영역(310)에는 웹 사이트 화면이 표시되고, 제2 영역(330)에는 단말기(100)와 연결된 이동 단말기(10)의 미러링 화면이 표시됨을 가정한다.
스크린 미러링을 위한 스크린 미러링 요청이 이동 단말기(10)로부터 수신된 경우, 도 5에서 설명된 단계 S103 내지 S109는 생략될 수 있다. 즉, 제어부(180)는 이동 단말기(10)로부터 스크린 미러링 요청을 수신함에 따라 전체 화면(300)을 제1 영역(310) 및 제2 영역(330)으로 분할하고, 프로그램 실행 화면을 제1 영역(310)에 표시하고, 이동 단말기(10)의 미러링 화면을 제2 영역(330)에 표시하도록 디스플레이부(180)를 제어할 수 있다.
또 다른 실시 예에서 스크린 미러링을 위한 스크린 미러링 요청이 이동 단말기(10)로부터 수신된 경우, 단계 S107 내지 S109 만이 생략될 수 있다. 즉, 제어부(180)는 전체 화면(300)을 제1 영역(310) 및 제2 영역(330)으로 분할한 상태에서, 이동 단말기(10)로부터 스크린 미러링 요청을 수신함에 따라 프로그램 실행 화면을 제1 영역(310)에 표시하고, 이동 단말기(10)의 미러링 화면을 제2 영역(330)에 표시하도록 디스플레이부(180)를 제어할 수 있다.
먼저, 도 20을 설명한다.
도 20을 참조하면, 단말기(100)는 디스플레이부(180)를 통해 전체 화면(300)의 제1 영역(310)에 웹 사이트 화면(1100)을 표시할 수 있고, 단말기(100)는 제2 영역(330)에 스크린 미러링을 통해 단말기(100)와 연결된 이동 단말기(10)의 미러링 화면(1200)을 표시할 수 있다. 일 실시 예에서 제어부(180)는 이동 단말기(10)의 화면 해상도에 따라 미러링 화면(1200)을 전체 화면(300)에 배치할 수 있다. 구체적으로, 제어부(180)는 스크린 미러링 요청을 수신함에 따라 이동 단말기(10)로부터 화면 해상도에 대한 정보를 수신하고, 수신된 화면 해상도에 대한 정보를 이용하여 미러링 화면(1200)을 전체 화면(300)에 배치할 수 있다. 제어부(180)는 이동 단말기(10)의 화면 해상도에 대한 정보를 이용하여 제2 영역(330)의 크기를 조절할 수 있다. 이에 따라 제어부(180)는 전체 화면(300) 상에 이동 단말기(10)의 화면을 그대로 구현하도록 분할 화면을 제공할 수 있다. 웹 사이트 화면(1100)의 해상도와 미러링 화면(1200)의 해상도는 서로 다를 수 있다.
일 실시 예에서 도 20의 웹 사이트 화면(1100) 상에 출력된 정보 중 텍스트(1101)를 선택하고, 선택된 텍스트(1101)를 미러링 화면(1200)으로 이동시키는 정보 이동 요청이 수신된 경우, 제어부(180)는 수신된 정보 이동 요청에 따라 텍스트(1101)를 이동 단말기(10)에 전송할 수 있다. 여기서, 정보 이동 요청은 포인터(205)를 통한 드래그 앤 드랍 입력일 수 있다. 포인터(205)는 미러링 화면(1200)으로 이동될 수 있다. 즉, 단말기(100)는 포인터(205)를 웹 사이트 화면(1100)에서 미러링 화면(1200)으로 이동하는 명령을 수신하고, 수신된 명령에 따라 포인터(205)를 미러링 화면(1200)에 표시할 수 있다. 사용자는 포인터(205)를 통해 미러링 화면(1200) 또한 제어 가능하다. 즉, 사용자는 포인터(205)를 통해 미러링 화면(1200)에 출력된 어플리케이션에 대응하는 아이콘을 선택하여 해당 어플리케이션을 실행시킬 수도 있다. 이에 대해서는 후술한다.
이동 단말기(10)는 수신된 텍스트(1101)를 이동 단말기(10)의 메모리에 저장할 수 있다. 이동 단말기(10)는 텍스트(1101)가 수신되었음을 알리는 알람을 메시지, 음성, 진동의 형태로 출력할 수 있다.
또 다른 실시 예에서 도 20에 도시된 바와 같이, 웹 사이트 화면(1100) 상에 출력된 정보 중 텍스트(1101)를 선택하고, 선택된 텍스트(1101)를 미러링 화면(1200)의 메모 어플리케이션을 나타내는 메모 아이콘(1201)으로 이동시키는 정보 이동 요청이 수신된 경우, 제어부(180)는 수신된 정보 이동 요청에 따라 텍스트(1101)를 이동 단말기(10)에 전송할 수 있다. 이동 단말기(10)는 단말기(100)로부터 텍스트(1101)를 수신함과 동시에 메모 어플리케이션을 실행시킬 수 있다. 이에 대해서는 도 21을 참조하여 설명한다.
도 21을 참조하면, 제어부(180)는 텍스트(1101)를 메모 아이콘(1201)으로 이동시키는 정보 이동 요청에 따라 전체 화면(300)의 제1 영역(310)에 웹 사이트 화면(1100) 및 메모 어플리케이션의 실행 화면(1200)을 표시하도록 디스플레이부(180)를 제어할 수 있다. 즉, 텍스트(1101)를 메모 아이콘(1201)으로 이동시키는 정보 이동 요청은 이동 단말기(10)에 설치된 메모 어플리케이션을 실행시키는 트리거가 될 수 있다. 이동 단말기(10) 또한, 메모 어플리케이션의 실행 화면을 표시할 수 있다. 메모 어플리케이션의 실행 화면(1200)는 웹 사이트 화면(1100)로부터 이동된 텍스트(1101)를 포함할 수 있다.
도 20 내지 도 21에서는 메모 어플리케이션을 예로 들었으나, 이에 한정될 필요는 없다. 예를 들어, 텍스트(1101)를 소셜 네트워크 서비스(SNS) 어플리케이션에 대응하는 SNS 아이콘으로 이동시키는 정보 이동 요청이 수신된 경우, 제어부(180)는 SNS 어플리케이션을 실행시킬 수 있다. 사용자는 실행된 SNS 어플리케이션을 통해 텍스트(1101)를 다른 사용자의 이동 단말기로 전송시킬 수 있다. 또한, 텍스트(1101)를 문자 메시지 어플리케이션에 대응하는 문자 메시지 아이콘으로 이동시키는 정보 이동 요청이 수신된 경우, 제어부(180)는 문자 메시지 어플리케이션을 실행시킬 수 있다. 사용자는 실행된 문자 메시지 어플리케이션을 통해 텍스트(1101)를 다른 사용자의 이동 단말기로 전송시킬 수 있다.
다음으로 도 22 내지 도 23을 설명한다.
도 22를 참조하면, 단말기(100)는 디스플레이부(180)를 통해 전체 화면(300)의 제1 영역(310)에 웹 사이트 화면(1100)을 표시할 수 있고, 단말기(100)는 제2 영역(330)에 스크린 미러링을 통해 단말기(100)와 연결된 이동 단말기(10)의 미러링 화면(1200)을 표시할 수 있다.
일 실시 예에서 도 22의 웹 사이트 화면(1100) 상에 출력된 정보 중 전화 번호(1103)를 선택하고, 선택된 전화 번호(1103)를 미러링 화면(1200)으로 이동시키는 정보 이동 요청이 수신된 경우, 제어부(180)는 수신된 정보 이동 요청에 따라 전화 번호(1103)를 이동 단말기(10)에 전송할 수 있다. 여기서, 정보 이동 요청은 포인터를 통한 드래그 앤 드랍 입력일 수 있다.
이동 단말기(10)는 수신된 전화 번호(1103)를 이동 단말기(10)의 메모리에 저장할 수 있다. 이동 단말기(10)는 전화 번호(1103)가 수신되었음을 알리는 알람을 메시지, 음성, 진동의 형태로 출력할 수 있다.
또 다른 실시 예에서 도 22에 도시된 바와 같이, 웹 사이트 화면(1100) 상에 출력된 정보 중 전화 번호(1103)를 선택하고, 선택된 전화 번호(1103)를 미러링 화면(1200)의 통화 어플리케이션을 나타내는 통화 아이콘(1203)으로 이동시키는 정보 이동 요청이 수신된 경우, 제어부(180)는 수신된 정보 이동 요청에 따라 전화 번호(1103)를 이동 단말기(10)에 전송할 수 있다. 이동 단말기(10)는 단말기(100)로부터 전화 번호(1103)를 수신함과 동시에 통화 어플리케이션을 실행시킬 수 있다. 이에 대해서는 도 23을 참조하여 설명한다.
도 23을 참조하면, 제어부(180)는 전화 번호(1103)를 통화 아이콘(1203)으로 이동시키는 정보 이동 요청에 따라 전체 화면(300)의 제1 영역(310)에 웹 사이트 화면(1100) 및 통화 어플리케이션의 실행 화면(1300)을 표시하도록 디스플레이부(180)를 제어할 수 있다. 즉, 전화 번호(1103)를 통화 아이콘(1203)으로 이동시키는 정보 이동 요청은 이동 단말기(10)에 설치된 통화 어플리케이션을 실행시키는 트리거가 될 수 있다. 이동 단말기(10) 또한, 통화 어플리케이션의 실행 화면을 표시할 수 있다. 통화 어플리케이션의 실행 화면(1300)은 웹 사이트 화면(1100)로부터 이동된 전화 번호(1103)를 포함할 수 있다.
본 발명의 또 다른 실시 예에서 웹 사이트 화면(1100) 상의 전화 번호(1103)를 미러링 화면(1200)의 통화 아이콘(1203)으로 이동시키는 정보 이동 요청에 따라 제어부(180)는 전화 번호(1103)에 대응하는 이동 단말기로 통화 호 신호를 전송하도록 이동 단말기(10)를 제어할 수 있다. 이 경우, 미러링 화면(1200) 및 이동 단말기(10)의 화면은 통화 호 신호를 전송하는 과정을 나타내는 화면으로 변경될 수 있다.
다음으로 도 24 내지 도 25를 설명한다.
도 24를 참조하면, 단말기(100)는 디스플레이부(180)를 통해 전체 화면(300)의 제1 영역(310)에 단말기(100)의 저장부(140)에 저장된 미디어 컨텐트 화면(1400)을 표시할 수 있고, 단말기(100)는 제2 영역(330)에 스크린 미러링을 통해 단말기(100)와 연결된 이동 단말기(10)의 미러링 화면(1200)을 표시할 수 있다.
일 실시 예에서 도 24의 미디어 컨텐트 화면(1400) 상에 출력된 정보 중 이미지(1401)를 선택하고, 선택된 이미지(1401)를 미러링 화면(1200)으로 이동시키는 정보 이동 요청이 수신된 경우, 제어부(180)는 수신된 정보 이동 요청에 따라 이미지(1401)를 이동 단말기(10)에 전송할 수 있다. 여기서, 정보 이동 요청은 포인터를 통한 드래그 앤 드랍 입력일 수 있다.
이동 단말기(10)는 수신된 이미지(1401)를 이동 단말기(10)의 메모리에 저장할 수 있다. 이동 단말기(10)는 이미지(1401)이 수신되었음을 알리는 알람을 메시지, 음성, 진동의 형태로 출력할 수 있다.
또 다른 실시 예에서 도 24에 도시된 바와 같이, 미디어 컨텐트 화면(1400) 상에 출력된 정보 중 이미지(1401)를 선택하고, 선택된 이미지(1401)를 미러링 화면(1200)의 갤러리 어플리케이션을 나타내는 갤러리 아이콘(1205)으로 이동시키는 정보 이동 요청이 수신된 경우, 제어부(180)는 수신된 정보 이동 요청에 따라 이미지(1401)를 이동 단말기(10)에 전송할 수 있다. 이동 단말기(10)는 단말기(100)로부터 이미지(1401)를 수신함과 동시에 갤러리 어플리케이션을 실행시킬 수 있다. 갤러리 어플리케이션은 이동 단말기(10)의 메모리에 저장된 이미지나 동영상을 제공하는 어플리케이션일 수 있다. 다음으로 도 23을 설명한다.
도 25를 참조하면, 제어부(180)는 이미지(1401)를 갤러리 아이콘(1205)으로 이동시키는 정보 이동 요청에 따라 전체 화면(300)의 제1 영역(310)에 미디어 컨텐트 화면(1400) 및 갤러리 어플리케이션의 실행 화면(1500)을 표시하도록 디스플레이부(180)를 제어할 수 있다. 즉, 이미지(1401)를 갤러리 아이콘(1205)으로 이동시키는 정보 이동 요청은 이동 단말기(10)에 설치된 갤러리 어플리케이션을 실행시키는 트리거가 될 수 있다. 이동 단말기(10) 또한, 갤러리 어플리케이션의 실행 화면을 표시할 수 있다. 갤러리 어플리케이션의 실행 화면(1500)은 미디어 컨텐트 화면(1400)로부터 이동된 이미지(1401) 및 기 저장된 이미지들(image 2, image 3)을 포함할 수 있다.
다음으로 도 26 내지 도 27을 설명한다.
도 26을 참조하면, 단말기(100)는 디스플레이부(180)를 통해 전체 화면(300)의 제1 영역(310)에 단말기(100)의 저장부(140)에 저장된 미디어 컨텐트 화면(1400)을 표시할 수 있고, 단말기(100)는 제2 영역(330)에 스크린 미러링을 통해 단말기(100)와 연결된 이동 단말기(10)의 미러링 화면(1200)을 표시할 수 있다.
일 실시 예에서 도 26의 미디어 컨텐트 화면(1400) 상에 출력된 정보 중 음악 파일(1403)을 선택하고, 선택된 음악 파일(1403)을 미러링 화면(1200)으로 이동시키는 정보 이동 요청이 수신된 경우, 제어부(180)는 수신된 정보 이동 요청에 따라 음악 파일(1403)을 이동 단말기(10)에 전송할 수 있다. 여기서, 정보 이동 요청은 포인터를 통한 드래그 앤 드랍 입력일 수 있다.
이동 단말기(10)는 수신된 음악 파일(1403)을 이동 단말기(10)의 메모리에 저장할 수 있다. 이동 단말기(10)는 음악 파일(1403)이 수신되었음을 알리는 알람을 메시지, 음성, 진동의 형태로 출력할 수 있다.
또 다른 실시 예에서 도 26에 도시된 바와 같이, 미디어 컨텐트 화면(1400) 상에 출력된 정보 중 음악 파일(1403)을 선택하고, 선택된 음악 파일(1403)을 미러링 화면(1200)의 음악 재생 어플리케이션을 나타내는 음악 아이콘(1207)으로 이동시키는 정보 이동 요청이 수신된 경우, 제어부(180)는 수신된 정보 이동 요청에 따라 음악 파일(1403)을 이동 단말기(10)에 전송할 수 있다. 이동 단말기(10)는 단말기(100)로부터 음악 파일(1403)을 수신함과 동시에 음악 재생 어플리케이션을 실행시킬 수 있다. 음악 어플리케이션은 이동 단말기(10)의 메모리에 저장된 음악 파일을 재생하기 위한 어플리케이션일 수 있다. 다음으로 도 27을 설명한다.
도 27을 참조하면, 제어부(180)는 음악 파일(1403)을 음악 아이콘(1207)으로 이동시키는 정보 이동 요청에 따라 전체 화면(300)의 제1 영역(310)에 미디어 컨텐트 화면(1400) 및 음악 재생 어플리케이션의 실행 화면(1600)을 표시하도록 디스플레이부(180)를 제어할 수 있다. 즉, 음악 파일(1403)을 음악 아이콘(1207)으로 이동시키는 정보 이동 요청은 이동 단말기(10)에 설치된 음악 재생 어플리케이션을 실행시키는 트리거가 될 수 있다. 이동 단말기(10) 또한, 음악 재생 어플리케이션의 실행 화면을 표시할 수 있다. 음악 재생 어플리케이션의 실행 화면(1600)은 미디어 컨텐트 화면(1400)로부터 이동된 음악 파일(1403)을 재생하는 음악 재생 화면(1610) 및 음악 파일(1403)과 기 저장된 음악 파일(music 2, music 3)을 포함하는 음악 파일 리스트(1630)을 포함할 수 있다.
다음으로 도 28 내지 도 29를 설명한다.
도 27을 참조하면, 단말기(100)는 디스플레이부(180)를 통해 전체 화면(300)의 제1 영역(310)에 단말기(100)의 저장부(140)에 저장된 미디어 컨텐트 화면(1400)을 표시할 수 있고, 단말기(100)는 제2 영역(330)에 스크린 미러링을 통해 단말기(100)와 연결된 이동 단말기(10)의 미러링 화면(1200)을 표시할 수 있다.
일 실시 예에서 도 27의 미디어 컨텐트 화면(1400) 상에 출력된 정보 중 비디오 파일(1405)을 선택하고, 선택된 비디오 파일(1405)을 미러링 화면(1200)으로 이동시키는 정보 이동 요청이 수신된 경우, 제어부(180)는 수신된 정보 이동 요청에 따라 비디오 파일(1405)을 이동 단말기(10)에 전송할 수 있다. 여기서, 정보 이동 요청은 포인터를 통한 드래그 앤 드랍 입력일 수 있다.
이동 단말기(10)는 수신된 비디오 파일(1405)을 이동 단말기(10)의 메모리에 저장할 수 있다. 이동 단말기(10)는 비디오 파일(1405)이 수신되었음을 알리는 알람을 메시지, 음성, 진동의 형태로 출력할 수 있다.
또 다른 실시 예에서 도 27에 도시된 바와 같이, 미디어 컨텐트 화면(1400) 상에 출력된 정보 중 비디오 파일(1405)을 선택하고, 선택된 비디오 파일(1405)을 미러링 화면(1200)의 비디오 재생 어플리케이션을 나타내는 비디오 아이콘(1209)으로 이동시키는 정보 이동 요청이 수신된 경우, 제어부(180)는 수신된 정보 이동 요청에 따라 비디오 파일(1405)을 을 이동 단말기(10)에 전송할 수 있다. 이동 단말기(10)는 단말기(100)로부터 비디오 파일(1405)을 수신함과 동시에 비디오 재생 어플리케이션을 실행시킬 수 있다. 비디오 어플리케이션은 이동 단말기(10)의 메모리에 저장된 비디오 파일을 재생하기 위한 어플리케이션일 수 있다. 다음으로 도 29를 설명한다.
도 29를 참조하면, 제어부(180)는 비디오 파일(1405)을 비디오 아이콘(1209)으로 이동시키는 정보 이동 요청에 따라 전체 화면(300)의 제1 영역(310)에 미디어 컨텐트 화면(1400) 및 비디오 재생 어플리케이션의 실행 화면(1700)을 표시하도록 디스플레이부(180)를 제어할 수 있다. 즉, 비디오 파일(1405)을 비디오 아이콘(1209)으로 이동시키는 정보 이동 요청은 이동 단말기(10)에 설치된 비디오 재생 어플리케이션을 실행시키는 트리거가 될 수 있다. 이동 단말기(10) 또한, 비디오 재생 어플리케이션의 실행 화면을 표시할 수 있다. 비디오 재생 어플리케이션의 실행 화면(1700)은 미디어 컨텐트 화면(1400)로부터 이동된 비디오 파일(1405)을 재생하는 비디오 재생 화면(1710) 및 비디오 파일(1405)과 기 저장된 비디오 파일들(video 2, video 3)을 포함하는 비디오 파일 리스트(1730)을 포함할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 단계 S109에서 설명된 전체 화면(300)을 구성하는 외부 입력 화면에 제어 명령을 수신함에 따라 그에 대응하는 기능이 수행될 수 있다. 이에 대해서는 도 30을 참조하여 설명한다.
도 30은 본 발명의 또 다른 실시 예에 따른 단말기의 동작 방법을 설명하는 흐름도이다.
단계 S109 이후, 제어부(180)는 출력된 외부 입력 화면을 제어하는 제어 명령을 수신하고(S201), 수신된 제어 명령에 따라 제어 명령에 대응하는 기능을 외부 입력 화면 상에서 수행한다(S203).
일 실시 예에서 제어 명령은 포인터를 통해 외부 입력 화면 상에 출력된 정보를 선택하거나, 어플리케이션을 실행시키는 명령일 수 있다. 이에 대해서는 도 31 내지 도 32를 참조하여 설명한다.
도 31 내지 도 32는 본 발명의 또 다른 실시 예에 따라 외부 입력 화면을 조작하는 과정을 설명하는 도면이다.
이하에서는 전체 화면(300)의 제2 영역(330)에 표시된 외부 입력 화면은 이동 단말기(10)의 화면인 미러링 화면임을 가정하여 설명한다.
도 31을 참조하면, 단말기(100)의 제어부(180)는 마우스 또는 원격 제어 장치(200)와 같은 장치를 통해 포인터(205)를 이동시키는 포인터 이동 명령을 수신할 수 있다. 제어부(180)는 포인터 이동 명령에 따라 포인터(205)를 웹 사이트 화면(1100)에서 미러링 화면(1200)으로 이동시킬 수 있다. 제어부(180)는 포인터(205)를 통해 메모 아이콘(1201)을 선택하는 아이콘 선택 명령을 수신하고, 수신된 아이콘 선택 명령에 따라 도 32에 도시된 바와 같이, 미러링 화면(1200)에 메모 어플리케이션의 실행 화면을 표시하도록 디스플레이부(180)를 제어할 수 있다. 이 경우, 이동 단말기(10)의 화면에도 메모 어플리케이션의 실행 화면이 표시될 수 있다.
단말기(100)의 제어부(180)는 사용자 입력 백 채널(UIBC, User Input Back Channel) 기술을 이용하여 이동 단말기(10)와 스크린 미러링을 수행할 수 있다. 사용자 입력 백 채널 기술은 단말기(100)가 수신한 사용자 입력을 이동 단말기(10)에 전송해 줄 수 있는 기술이다. 제어부(180)는 사용자 입력 백 채널(UIBC, User Input Back Channel) 기술을 이용하여 원격 제어 장치(200)에 의해 제어되는 포인터(205)의 좌표를 추출할 수 있다. 제어부(180)는 추출된 포인터(205)의 좌표에 기초하여 포인터(205)에 대한 입력을 이동 단말기(10)로 전송할 수 있다. 이동 단말기(10)는 단말기(100)로부터 수신한 포인터(205)에 대한 입력을 수신하고, 수신된 입력에 대응하는 기능을 수행할 수 있다. 이동 단말기(10)에서 수행된 기능의 결과는 미러링 화면(1200)에 그대로 표시될 수 있다. 포인터(205)에 대한 입력은 포인터(205)를 이동하는 입력, 특정 어플리케이션에 대응하는 아이콘을 선택하는 입력, 특정 정보를 이동시키는 입력을 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 단말기(100)의 프로그램 실행 화면 상에 출력된 정보가 손쉽게 이동 단말기(10)로 전송되어 직관성 및 사용자의 편리성이 증대될 수 있다.
다시 도 30을 설명한다.
제어부(180)는 외부 입력 화면에 출력된 정보를 프로그램의 실행 화면으로 이동시키는 정보 이동 입력을 수신하고(S205), 수신된 정보 이동 입력에 따라 외부 입력 화면에 출력된 정보를 주변 기기로부터 수신한다(S207).
본 발명의 실시 예에 따르면, 외부 입력 화면(예를 들어, 미러링 화면)에 출력된 정보를 단말기(100)의 프로그램 실행 화면으로 이동시키는 정보 이동 입력에 따라 단말기(100)와 주변 기기가 서로 연동될 수 있다. 이러한 연동 과정을 상세히 후술한다.
도 33 내지 도 34는 본 발명의 다양한 실시 예에 따라 외부 입력 화면에 출력된 정보를 프로그램 실행 화면으로 이동시켜 해당 정보를 이동 단말기로부터 수신하는 실시 예를 설명하는 도면이다.
여기서, 외부 입력 화면은 단말기(100)와 연결된 이동 단말기(10)의 미러링 화면이고, 정보 이동 입력은 포인터(205)를 통해 드래그 앤 드랍 입력임을 가정하여 설명한다.
먼저, 도 33을 참조하면, 전체 화면(300)의 제1 영역(310)에는 메일을 송수신 할 수 있는 메일 어플리케이션의 실행 화면(1800)이 표시되고, 제2 영역(320)에는 이동 단말기(10)의 화면인 미러링 화면(1200)이 표시되어 있다. 미러링 화면(1200)에는 이동 단말기(10)에 설치된 메모 어플리케이션의 실행 화면이 표시된다. 포인터(205)를 통해 미러링 화면(1200) 상의 텍스트(1211)를 메일 어플리케이션의 실행 화면(1800)으로 이동시키는 정보 이동 입력이 수신된 경우, 제어부(180)는 이동 단말기(10)로부터 텍스트(1211)를 수신할 수 있고, 수신된 텍스트(1211)를 메일 어플리케이션의 실행 화면(1800)에 표시하도록 디스플레이부(180)를 제어할 수 있다. 여기서, 정보 이동 입력은 단말기(100)가 이동 단말기(10)에 정보를 요청하는 트리거가 될 수 있고, 이동 단말기(10)는 수신된 트리거에 따라 단말기(100)에 정보를 전송할 수 있다.
다음으로 도 34를 설명한다.
먼저, 도 34를 참조하면, 전체 화면(300)의 제1 영역(310)에는 단말기(100) 의 저장부(140)에 저장된 미디어 컨텐트 화면(1400)이 표시되고, 제2 영역(320)에는 이동 단말기(10)의 갤러리 어플리케이션의 실행 화면(1500)인 미러링 화면이 표시되어 있다. 포인터(205)를 통해 갤러리 어플리케이션의 실행 화면(1500) 상의 이미지(1501)를 미디어 컨텐트 화면(1400)으로 이동시키는 정보 이동 입력이 수신된 경우, 제어부(180)는 이동 단말기(10)로부터 이미지(1501)를 수신할 수 있고, 수신된 이미지(1501)를 미디어 컨텐트 화면(1400)에 표시하도록 디스플레이부(180)를 제어할 수 있다. 여기서, 정보 이동 입력은 단말기(100)가 이동 단말기(10)에 정보를 요청하는 트리거가 될 수 있고, 이동 단말기(10)는 수신된 트리거에 따라 단말기(100)에 정보를 전송할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 스크린 미러링을 위한 요청은 이동 단말기(10)로부터 수신될 수 있다. 이에 대해서는 도 35 내지 도 36을 참조하여 설명한다.
도 35 내지 도 36은 이동 단말기로부터 스크린 미러링 요청을 수신함에 따라 분할 화면을 제공하는 실시 예를 설명하는 도면이다.
도 35를 참조하면, 이동 단말기(10)는 이동 단말기(10)에 설치된 리모트 컨트롤 어플리케이션을 실행시켜 화면 제어 메뉴(20)를 표시할 수 있다. 리모트 컨트롤 어플리케이션은 이동 단말기(10)가 단말기(100)의 기능을 원격으로 제어하기 위한 어플리케이션일 수 있다. 화면 제어 메뉴(20)는 스크린 미러링 기능을 제공하는 스크린 미러링 메뉴(21) 및 스크린 캡쳐 기능을 제공하는 스크린 캡쳐 메뉴(23)를 포함할 수 있다.
스크린 미러링 메뉴(21)를 선택하는 요청이 수신된 경우, 이동 단말기(10)는 단말기(100)에 스크린 미러링 요청을 전송할 수 있다. 단말기(100)의 제어부(180)는 이동 단말기(10)로부터 수신된 스크린 미러링 요청에 응답하여 전체 화면(300)을 제1 영역(310) 및 제2 영역(330)으로 분할할 수 있고, 이동 단말기(10)와 연결을 시도할 수 있다. 이동 단말기(10)와 연결된 경우, 제어부(180)는 분할된 제1 영역(310)에 프로그램 실행 화면(1100)을 표시하고, 제2 영역(330)에 이동 단말기(10)의 화면인 미러링 화면(1200)을 표시하도록 디스플레이부(180)를 제어할 수 있다.
다음으로 도 37 내지 도 38을 설명한다.
도 37 내지 도 38은 본 발명의 일 실시 예에 따라 이동 단말기의 스크린 캡쳐 기능을 통해 단말기의 화면 중 일부 화면을 캡쳐하는 과정을 설명하는 도면이다.
도 37을 참조하면, 화면 도 35의 화면 제어 메뉴(20)에 포함된 스크린 캡쳐 메뉴(23)를 선택하는 요청이 수신된 경우, 이동 단말기(10)는 도 38에 도시된 바와 같이, 카메라 어플리케이션을 실행하여 카메라 모드로 동작할 수 있다. 이동 단말기(10)를 통해 단말기(100)의 전체 화면(300) 상에 일부 화면(1910)이 촬영된 경우, 이동 단말기(10)는 촬영된 일부 화면(1910)에 대한 정보를 단말기(100)에 전송할 수 있다. 일부 화면(1910)에 대한 정보는 이동 단말기(10)에서 촬영된 일부 화면(1910)의 이미지를 포함할 수 있다. 단말기(100)는 이동 단말기(10)로부터 수신된 일부 화면(1910)에 대한 정보를 이용하여 일부 화면(1910)을 추출하고, 추출된 일부 화면(1910에 대응하는 이미지를 저장할 수 있다. 단말기(100)는 이동 단말기(10)에 전체 화면(300)에서 제공된 화면에 대한 정보를 전송할 수 있다. 예를 들어, 단말기(100)는 전체 화면(300)에서 제공된 웹 사이트 화면에 대응하는 웹 사이트의 주소 등을 이동 단말기(10)에 전송할 수 있다.
다음으로 도 39를 설명한다.
도 39는 본 발명의 일 실시 예에 따라 이동 단말기를 무선 터치 패드로 활용하여 단말기를 제어하는 예를 보여주는 도면이다.
도 39를 참조하면, 이동 단말기(10)는 리모트 컨트롤 어플리케이션의 실행에 따라 화면 상에 터치 패드 영역(30)을 표시하도록 제어할 수 있다. 터치 패드 영역(30)은 사용자의 터치 입력을 통해 단말기(100)의 기능을 제어하기 위한 영역일 수 있다. 예를 들어, 이동 단말기(10)는 터치 패드 영역(30) 상에 터치 입력을 이동시키는 명령을 수신하면, 수신된 명령을 단말기(100)에 전송할 수 있고, 단말기(100)는 수신된 명령에 따라 포인터(205)를 터치 입력의 이동 방향에 대응하여 이동시킬 수 있다.
다음으로 도 40을 설명한다.
도 40은 본 발명의 일 실시 예에 따라 이동 단말기를 무선 키보드로 활용하여 단말기를 제어하는 예를 보여주는 도면이다.
도 40을 참조하면, 이동 단말기(10)는 리모트 컨트롤 어플리케이션의 실행에 따라 화면 상에 터치 패드 영역(30) 및 키 패드 영역(50)을 표시하도록 제어할 수 있다. 키 패드 영역(50)은 문자 또는 기호를 입력하기 위한 영역일 수 있다. 이동 단말기(10)는 키 패드 영역(50) 상에 특정 문자를 입력하는 명령을 수신하면, 입력된 문자를 터치 패드 영역(303)에 표시하면서 수신된 명령을 단말기(100)에 전송할 수 있다. 단말기(100)는 이동 단말기(10)로부터 수신된 명령에 따라 입력된 문자를 표시할 수 있다. 사용자는 이동 단말기(10)를 무선 키보드와 같이 활용하여 단말기(100)의 화면에 검색어를 입력하는 과정을 손쉽게 수행할 수 있다.
다음으로 도 41을 설명한다.
도 41은 본 발명의 일 실시 예에 따라 이동 단말기를 리모컨으로 활용하여 단말기를 제어하는 예를 보여주는 도면이다.
도 41을 참조하면, 이동 단말기(10)는 리모트 컨트롤 어플리케이션의 실행에 따라 화면 상에 터치 패드 영역(30) 및 미디어 컨텐트 재생 제어 영역(60)을 표시하도록 제어할 수 있다. 미디어 컨텐트 재생 제어 영역(60)은 단말기(100)의 화면(300)에서 재생 중인 미디어 컨텐트의 중지, 재생, 앞으로 감기, 뒤로 감기 등 미디어 컨텐트의 재생과 관련된 기능을 제어하는 영역일 수 있다. 이동 단말기(10)는 미디어 컨텐트 재생 제어 영역(60) 상에서 재생 제어 명령을 수신하면, 수신된 재생 제어 명령을 단말기(100)에 전송할 수 있다. 단말기(100)는 이동 단말기(10)로부터 수신된 재생 제어 명령에 따라 미디어 컨텐트의 재생과 관련된 기능을 수행할 수 있다. 사용자는 이동 단말기(10)를 원격 제어 장치(200)와 같이 활용하여 단말기(100)의 기능을 손쉽게 제어할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 단말기(100)의 화면 상에 출력된 파일의 타입에 기초하여 파일의 타입에 대응하는 화면 모드를 제공할 수 있다. 이에 대해서는 도 42 내지 도 43을 참조하여 설명한다.
도 42 내지 도 43은 본 발명의 일 실시 예에 따라 단말기의 화면 상에 출력된 파일의 타입에 기초하여 파일의 타입에 대응하는 화면 모드를 제공하는 실시 예를 설명하는 도면이다.
먼저, 도 42의 (a)를 참조하면, 단말기(100)의 전체 화면(300)의 제1 영역(310)에는 의료 영상 화면(2000), 제2 영역(330)에는 텍스트 문서를 표시하는 텍스트 화면(2100)이 표시되어 있다. 제어부(180)는 리모트 컨트롤 어플리케이션의 실행 요청에 따라 도 42의 (b)에 도시된 바와 같이, 스마트 픽쳐 모드 설정 메뉴(2200)을 표시하도록 디스플레이부(180)를 제어할 수 있다. 스마트 픽쳐 모드는 각 화면에 출력된 컨텐트의 타입에 적합한 프로그램을 제공하여 사용자가 각 화면의 활용을 손쉽게 수행할 수 있도록 하기 위한 모드일 수 있다. 파일의 타입은 의료 영상 파일 타입, 텍스트 파일 타입, 시네마 파일 타입, 사진 파일 타입을 포함할 수 있다.
스마트 픽쳐 모드 설정 메뉴(2200)는 텍스트 리더 프로그램 리스트(2210), 의료 영상 프로그램 리스트(2220), 시네마 프로그램 리스트(2230) 및 사진 프로그램 리스트(2240)을 포함할 수 있다.
텍스트 리더 프로그램 리스트(2210)는 텍스트 파일을 활용 가능한 프로그램을 제공하기 위한 프로그램들에 대응하는 프로그램 아이콘들 및 프로그램 추가 아이콘(2211)을 포함할 수 있다. 의료 영상 프로그램 리스트(2220)는 의료 영상 파일을 활용 가능한 프로그램을 제공하기 위한 프로그램들에 대응하는 프로그램 아이콘들 및 프로그램 추가 아이콘(2221)을 포함할 수 있다. 시네마 프로그램 리스트(2230)는 시네마 파일을 활용 가능한 프로그램을 제공하기 위한 프로그램들에 대응하는 프로그램 아이콘들 및 프로그램 추가 아이콘을 포함할 수 있다. 사진 프로그램 리스트(2240)는 사진 파일을 활용 가능한 프로그램을 제공하기 위한 프로그램들에 대응하는 프로그램 아이콘들 및 프로그램 추가 아이콘을 포함할 수 있다.
의료 영상 프로그램 리스트(2220)에서 의료 영상 화면(2000)에 대응하는 의료 영상 프로그램이 선택된 경우, 제어부(180)는 도 43에 도시된 바와 같이, 선택된 의료 영상 프로그램을 실행시켜 의료 영상 화면(2000)을 표시할 수 있다. 마찬가지로, 텍스트 리더 프로그램 리스트(2210)에서 텍스트 화면(2200)에 대응하는 텍스트 리더 프로그램이 선택된 경우, 제어부(180)는 도 43에 도시된 바와 같이, 선택된 텍스트 리더 프로그램을 실행시켜 텍스트 화면(2000)을 표시할 수 있다. 제어부(180)는 의료 영상 파일의 실행 시, 선택된 의료 영상 프로그램으로 의료 영상 파일을 실행시킬 수 있고, 텍스트 파일의 실행 시, 선택된 텍스트 리더 프로그램으로 텍스트 파일을 실행시킬 수 있다. 제어부(180)는 스마트 픽쳐 모드가 실행되었음을 알리는 인디케이터들(2001, 2101)을 각 화면에 표시할 수 있다. 각 인디케이터는 실행된 프로그램에 대한 정보를 포함할 수 있다.
본 발명의 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 단말기는 상기 설명된 실시 예 들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (20)

  1. 단말기의 동작 방법에 있어서,
    상기 단말기의 전체 화면에 제1 프로그램의 실행 화면을 표시하는 단계;
    상기 전체 화면을 제1 영역 및 제2 영역으로 분할하는 화면 분할 요청을 수신하는 단계; 및
    상기 화면 분할 요청에 따라 상기 제1 영역에 상기 제1 프로그램의 실행 화면을, 상기 제2 영역에 멀티 태스킹 환경을 제공하기 위한 멀티 태스킹 화면을 각각 표시하는 단계를 포함하고,
    상기 멀티 태스킹 화면은
    상기 제1 프로그램 이외의 하나 이상의 다른 프로그램들을 포함하는 프로그램 리스트 및 상기 단말기와 유선 또는 무선으로 연결된 하나 이상의 외부 입력들을 포함하는 외부 입력 리스트 중 어느 하나 이상을 포함하고,
    상기 프로그램 리스트는
    최근 실행된 프로그램 또는 즐겨찾기로 등록된 프로그램을 나타내는 제2 프로그램에 상응하는 프로그램 항목을 포함하고, 상기 프로그램 항목은 상기 제2 프로그램의 최근 실행 화면 또는 상기 제2 프로그램의 썸네일 이미지 중 어느 하나를 포함하는
    단말기의 동작 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 하나 이상의 프로그램 아이템들 중 어느 하나의 프로그램 아이템을 선택하는 요청을 수신하는 단계; 및
    수신된 요청에 따라 선택된 프로그램 아이템에 대응하는 프로그램의 실행 화면을 상기 제2 영역에 출력하는 단계를 더 포함하는
    단말기의 동작 방법.
  5. 제1항에 있어서,
    상기 프로그램 리스트는
    복수의 프로그램 아이템들을 포함하고,
    상기 복수의 프로그램 아이템들 중 2개의 프로그램 아이템을 선택하는 요청을 수신하는 단계; 및
    수신된 요청에 따라 선택된 2개의 프로그램 아이템에 대응하는 프로그램의 실행 화면들을 상기 제2 영역의 제1 서브 영역 및 제2 서브 영역에 각각 출력하는 단계를 더 포함하는
    단말기의 동작 방법.
  6. 제1항에 있어서,
    상기 외부 입력 리스트는
    하나 이상의 외부 입력 아이콘들을 포함하고,
    각 외부 입력 아이콘은
    상기 단말기와 연결되어 스크린 미러링을 위한 제1 외부 입력 아이콘, 상기 단말기와 HDMI(High Definition Multimedia Interface) 규격을 통해 연결됨을 나타내는 제2 외부 입력 아이콘 및 TV 입력을 위한 제3 외부 입력 아이콘 중 어느 하나 이상을 포함하는
    단말기의 동작 방법.
  7. 제6항에 있어서,
    각 외부 입력 아이콘 상에는 해당 외부 입력에 대한 정보를 포함하고,
    외부 입력에 대한 정보는
    외부 입력을 식별하는 명칭, 외부 입력된 주변 기기의 명칭 및 외부 입력을 통해 재생된 미디어 컨텐트의 썸네일 이미지 중 하나 이상을 포함하는
    단말기의 동작 방법.
  8. 제6항에 있어서,
    상기 하나 이상의 외부 입력 아이콘들 중 어느 하나의 외부 입력 아이콘을 선택하는 요청을 수신하는 단계; 및
    수신된 요청에 따라 선택된 외부 입력 아이콘에 대응하는 외부 입력을 상기 제2 영역에 출력하는 단계를 더 포함하는
    단말기의 동작 방법.
  9. 제6항에 있어서,
    상기 제1 외부 입력 아이콘을 선택하는 요청을 수신하는 단계; 및
    수신된 요청에 따라 스크린 미러링이 가능한 이동 단말기들에 대한 정보를 포함하는 스크린 미러링 리스트를 상기 제2 영역에 출력하는 단계를 포함하는
    단말기의 동작 방법.
  10. 제9항에 있어서,
    각 이동 단말기에 대한 정보는
    상기 단말기와 연결된 각 이동 단말기의 명칭, 각 이동 단말기의 현재 화면 및 각 이동 단말기의 사용자 이름 중 하나 이상을 포함하는
    단말기의 동작 방법.
  11. 단말기에 있어서,
    디스플레이부;
    상기 단말기의 화면 제어를 위한 요청을 수신하는 사용자 입력 인터페이스부; 및
    상기 단말기의 전체 화면에 제1 프로그램의 실행 화면을 출력하고, 상기 전체 화면을 제1 영역 및 제2 영역으로 분할하는 화면 분할 요청을 수신하고, 상기 화면 분할 요청에 따라 상기 제1 영역에 상기 제1 프로그램의 실행 화면을, 상기 제2 영역에 멀티 태스킹 환경을 제공하기 위한 멀티 태스킹 화면을 상기 디스플레이부 상에, 각각 표시하는 제어부를 포함하고,
    상기 멀티 태스킹 화면은
    상기 제1 프로그램 이외의 하나 이상의 다른 프로그램들을 포함하는 프로그램 리스트 및 상기 단말기와 유선 또는 무선으로 연결된 하나 이상의 외부 입력들을 포함하는 외부 입력 리스트 중 어느 하나 이상을 포함하고,
    상기 프로그램 리스트는
    최근 실행된 프로그램 또는 즐겨찾기로 등록된 프로그램을 나타내는 제2 프로그램에 상응하는 프로그램 항목을 포함하고, 상기 프로그램 항목은 상기 제2 프로그램의 최근 실행 화면 또는 상기 제2 프로그램의 썸네일 이미지 중 어느 하나를 포함하는
    단말기.
  12. 삭제
  13. 삭제
  14. 제11항에 있어서,
    상기 제어부는
    상기 하나 이상의 프로그램 아이템들 중 어느 하나의 프로그램 아이템을 선택하는 요청을 수신하고, 수신된 요청에 따라 선택된 프로그램 아이템에 대응하는 프로그램의 실행 화면을 상기 제2 영역에 출력하는
    단말기.
  15. 제11항에 있어서,
    상기 프로그램 리스트는
    복수의 프로그램 아이템들을 포함하고,
    상기 제어부는
    상기 복수의 프로그램 아이템들 중 2개의 프로그램 아이템을 선택하는 요청을 수신하고, 수신된 요청에 따라 선택된 2개의 프로그램 아이템에 대응하는 프로그램의 실행 화면들을 상기 제2 영역의 제1 서브 영역 및 제2 서브 영역에 각각 출력하는
    단말기.
  16. 제11항에 있어서,
    상기 외부 입력 리스트는
    하나 이상의 외부 입력 아이콘들을 포함하고,
    각 외부 입력 아이콘은
    상기 단말기와 연결되어 스크린 미러링을 위한 제1 외부 입력 아이콘, 상기 단말기와 HDMI(High Definition Multimedia Interface) 규격을 통해 연결됨을 나타내는 제2 외부 입력 아이콘 및 TV 입력을 위한 제3 외부 입력 아이콘 중 어느 하나 이상을 포함하는
    단말기.
  17. 제16항에 있어서,
    각 외부 입력 아이콘 상에는 해당 외부 입력에 대한 정보를 포함하고,
    외부 입력에 대한 정보는
    외부 입력을 식별하는 명칭, 외부 입력된 주변 기기의 명칭 및 외부 입력을 통해 재생된 미디어 컨텐트의 썸네일 이미지 중 하나 이상을 포함하는
    단말기.
  18. 제16항에 있어서,
    상기 제어부는
    상기 하나 이상의 외부 입력 아이콘들 중 어느 하나의 외부 입력 아이콘을 선택하는 요청을 수신하고, 수신된 요청에 따라 선택된 외부 입력 아이콘에 대응하는 외부 입력을 상기 제2 영역에 출력하는
    단말기.
  19. 제16항에 있어서,
    상기 제어부는
    상기 제1 외부 입력 아이콘을 선택하는 요청을 수신하고, 수신된 요청에 따라 스크린 미러링이 가능한 이동 단말기들에 대한 정보를 포함하는 스크린 미러링 리스트를 상기 제2 영역에 출력하는
    단말기.
  20. 제19항에 있어서,
    각 이동 단말기에 대한 정보는
    상기 단말기와 연결된 각 이동 단말기의 명칭, 각 이동 단말기의 현재 화면 및 각 이동 단말기의 사용자 이름 중 하나 이상을 포함하는
    단말기.
KR1020150025422A 2015-02-23 2015-02-23 단말기 및 그의 동작 방법 KR102303286B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150025422A KR102303286B1 (ko) 2015-02-23 2015-02-23 단말기 및 그의 동작 방법
PCT/KR2016/001674 WO2016137167A1 (en) 2015-02-23 2016-02-19 Terminal
US15/049,885 US10708534B2 (en) 2015-02-23 2016-02-22 Terminal executing mirror application of a peripheral device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150025422A KR102303286B1 (ko) 2015-02-23 2015-02-23 단말기 및 그의 동작 방법

Publications (2)

Publication Number Publication Date
KR20160102835A KR20160102835A (ko) 2016-08-31
KR102303286B1 true KR102303286B1 (ko) 2021-09-17

Family

ID=56877374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150025422A KR102303286B1 (ko) 2015-02-23 2015-02-23 단말기 및 그의 동작 방법

Country Status (1)

Country Link
KR (1) KR102303286B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220056655A (ko) * 2020-10-28 2022-05-06 삼성전자주식회사 전자 장치, 디스플레이 장치 및 그들의 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130182192A1 (en) 2010-10-20 2013-07-18 Kihoon Kim Method for moving pointer in video display apparatus and video display apparatus thereof
US20140359493A1 (en) 2013-05-30 2014-12-04 Samsung Electronics Co., Ltd. Method, storage medium, and electronic device for mirroring screen data
WO2015016628A1 (en) * 2013-07-31 2015-02-05 Samsung Electronics Co., Ltd. Method and apparatus for displaying application

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130182192A1 (en) 2010-10-20 2013-07-18 Kihoon Kim Method for moving pointer in video display apparatus and video display apparatus thereof
US20140359493A1 (en) 2013-05-30 2014-12-04 Samsung Electronics Co., Ltd. Method, storage medium, and electronic device for mirroring screen data
WO2015016628A1 (en) * 2013-07-31 2015-02-05 Samsung Electronics Co., Ltd. Method and apparatus for displaying application

Also Published As

Publication number Publication date
KR20160102835A (ko) 2016-08-31

Similar Documents

Publication Publication Date Title
US10708534B2 (en) Terminal executing mirror application of a peripheral device
US10848704B2 (en) Remote controller and method for controlling screen thereof
US9621434B2 (en) Display apparatus, remote control apparatus, and method for providing user interface using the same
US20150193036A1 (en) User terminal apparatus and control method thereof
US10721430B2 (en) Display device and method of operating the same
WO2021031623A1 (zh) 显示设备、分享文件的方法和服务器
US8683336B2 (en) Inter-device operation interface, device control terminal, and program
KR102521343B1 (ko) 디스플레이 장치 및 그의 동작 방법
US10645283B2 (en) Display device
US10545633B2 (en) Image output method and apparatus for providing graphical user interface for providing service
CN108476339B (zh) 一种遥控方法和终端
US10587910B2 (en) Display device for providing scrape function and method of operating the same
US20140333421A1 (en) Remote control device, display apparatus, and method for controlling the remote control device and the display apparatus thereof
KR20150055528A (ko) 디스플레이 장치 및 그 제어 방법
CN113542899A (zh) 信息展示方法、显示设备、服务器
KR102303286B1 (ko) 단말기 및 그의 동작 방법
KR102267194B1 (ko) 단말기 및 그의 동작 방법
CN113542900B (zh) 媒资信息展示方法及显示设备
KR102330475B1 (ko) 단말기 및 그의 동작 방법
KR102168340B1 (ko) 영상 표시 기기
KR20200041554A (ko) 모바일 장치 및 모바일 장치의 제어 방법
US12093309B2 (en) Display device
US11010037B2 (en) Display device and operating method thereof
WO2021218111A1 (zh) 确定搜索字符的方法及显示设备
KR20170138145A (ko) 디스플레이 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right