KR102080146B1

KR102080146B1 - Operating Method associated with connected Electronic Device with External Display Device and Electronic Device supporting the same

Info

Publication number: KR102080146B1
Application number: KR1020130108759A
Authority: KR
Inventors: 강도연; 박성진; 이광림; 이상진; 박보람; 임수찬
Original assignee: 삼성전자 주식회사
Priority date: 2012-09-10
Filing date: 2013-09-10
Publication date: 2020-02-24
Also published as: KR20140034100A

Abstract

본 발명은 휴대단말에서 데스크톱 가상화(desktop virtualization) 기능, 표시장치별 윈도우 레이아웃 제공 기능, 사용자 입력 대응 외부 표시 장치의 데이터 표시 기능과 관련한 방법 및 장치를 포함할 수 있다.The present invention may include a method and an apparatus related to a desktop virtualization function, a window layout providing function for each display device, and a data display function of an external display device corresponding to a user input in a mobile terminal.

Description

Operating method associated with connected Electronic Device with External Display Device and Electronic Device supporting the same}

본 발명은 휴대단말의 기능 운용 방법 및 장치에 관한 것으로, 특히 휴대단말과 외부 표시장치를 연결한 상태에서의 연결 운용 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for operating a function of a portable terminal, and more particularly, to a method and apparatus for connecting and operating in a state in which a portable terminal and an external display device are connected.

최근 디지털 기술의 발달과 함께 이동통신 단말기, PDA(Personal Digital Assistant), 전자수첩, 스마트 폰, 태블릿 PC(Personal Computer) 등과 같이 이동하면서 통신 및 개인정보 처리가 가능한 휴대단말이 다양하게 출시되고 있다. 이러한 휴대단말은 각자의 전통적인 고유 영역에 머무르지 않고 다른 단말들의 영역까지 아우르는 모바일 컨버전스(mobile convergence) 단계에 이르고 있다. 대표적으로, 휴대단말은 음성통화 및 영상통화 등과 같은 통화 기능, SMS(Short Message Service)/MMS(Multimedia Message Service) 및 이메일 등과 같은 메시지 송수신 기능, 전자수첩 기능, 촬영 기능, 방송 재생 기능, 동영상 재생 기능, 음악 재생 기능, 인터넷 기능, 메신저 기능 및 소셜 네트워크 서비스(SNS, Social Networking Service) 기능 등을 구비할 수 있다.Recently, with the development of digital technology, a variety of portable terminals capable of communication and personal information processing, such as mobile communication terminals, PDAs (Personal Digital Assistants), electronic notebooks, smart phones, and tablet PCs, have been released. Such mobile terminals are approaching a mobile convergence stage that encompasses the areas of other terminals instead of staying in their own traditional areas. Representatively, the mobile terminal has a communication function such as voice call and video call, message transmission / reception function such as SMS (Short Message Service) / MMS (Multimedia Message Service) and e-mail, electronic organizer function, shooting function, broadcast play function, and video play. A function, a music playback function, an Internet function, a messenger function, and a Social Networking Service (SNS) function may be provided.

한편, 최근 휴대단말은 외부 표시장치와 연결하여 휴대단말의 데이터를 외부 표시장치(예컨대, LCD 모니터 등)를 통해 표시할 수 있는 외부 출력 기능을 지원하고 있다. 예를 들어, 휴대단말은 외부 표시장치가 연결될 경우 휴대단말의 표시부를 통해 표시되는 화면을 외부 표시장치에 그대로 전달하여 외부 표시장치에 의한 표시를 제공하고 있다(클론 모드(clone mode)). 또는 휴대단말은 외부 표시장치가 연결될 경우 휴대단말에서 실행되는 기능(또는 어플리케이션)의 실행 화면(예컨대, 동영상 재생에 따른 비디오 화면)만을 외부 표시장치로 전달하여 외부 표시장치에 의한 표시를 제공하고 있다(비디오 온리 모드(video only mode)). Meanwhile, recently, a mobile terminal supports an external output function that can be connected to an external display device to display data of the mobile terminal through an external display device (for example, an LCD monitor). For example, when an external display device is connected, the mobile terminal transfers the screen displayed through the display unit of the mobile terminal to the external display device as it is and provides a display by the external display device (clone mode). Alternatively, when the external display device is connected, only the execution screen (eg, a video screen according to video playback) of a function (or application) executed in the mobile terminal is transmitted to the external display device to provide a display by the external display device. (Video only mode).

그러나 상기와 같은 종래의 방식들은, 휴대단말에 외부 표시장치가 연결될 경우, 서로 다른 크기의 화면을 효과적으로 활용하지 못하는 문제점이 있다. 즉, 종래에서는 앞서 살펴본 바와 같이 클론 모드나 비디오 온리 모드와 같이 제한적인 기능만을 제공할 수 있다.However, the conventional methods described above have a problem in that when an external display device is connected to the portable terminal, screens having different sizes cannot be effectively utilized. That is, in the related art, as described above, only a limited function such as a clone mode or a video only mode may be provided.

또한, 종래에서는 휴대단말에 표시되는 화면에 관계된 하나의 레이아웃(layout)만을 지원하기 때문에 외부 표시장치에서도 휴대단말의 레이아웃에 따른 동일한 모습의 레이아웃 화면만이 제공된다. 다만, 종래에서는 외부 표시장치의 화면 크기에 비례하여 동일한 레이아웃을 단순 확대하여 표시하는 정도에 그치고 있다. 따라서 종래에서는 휴대단말에 외부 표시장치가 연결될 경우 서로 다른 화면 크기를 가지는 표시장치별로 효과적인 활용이 어려운 문제점이 있다.In addition, in the related art, only one layout related to a screen displayed on the portable terminal is supported, so that only the layout screen having the same appearance according to the layout of the portable terminal is provided in the external display device. However, in the related art, the same layout is merely enlarged and displayed in proportion to the screen size of the external display device. Therefore, in the related art, when an external display device is connected to the portable terminal, it is difficult to effectively use the display device having different screen sizes.

또한, 종래 듀얼 표시 시스템은 외부입력장치를 별도로 구비해야 한다는 점에서 비용 면에서 단점이 있다. 물론 외부입력장치 대신 휴대 단말의 입력부가 사용될 수 있다. 단 휴대 단말의 입력부가 터치스크린인 경우, 터치스크린과 외부표시장치를 사용하기가 어려운 문제가 있다.In addition, the conventional dual display system has a disadvantage in that the external input device must be provided separately. Of course, the input unit of the portable terminal may be used instead of the external input device. However, when the input unit of the portable terminal is a touch screen, it is difficult to use the touch screen and the external display device.

본 발명의 목적은 휴대단말과 외부 표시장치의 연동 시 휴대단말을 통해 데스크톱 환경의 작업이 가능하도록 하는 휴대단말에서 데스크톱 가상화 방법 및 장치를 제공함에 있다.An object of the present invention is to provide a method and apparatus for virtualizing a desktop in a mobile terminal that enables the operation of the desktop environment through the mobile terminal when the mobile terminal and the external display device are interlocked.

본 발명의 다른 목적은 휴대단말의 단일 시스템에서 외부 표시장치를 통한 데스크톱 윈도우 환경을 구현할 수 있는 휴대단말에서 데스크톱 가상화 방법 및 장치를 제공함에 있다.Another object of the present invention is to provide a desktop virtualization method and apparatus in a portable terminal capable of implementing a desktop window environment through an external display device in a single system of the portable terminal.

본 발명의 또 다른 목적은 휴대단말에서 외부 표시장치를 통한 데스크톱 윈도우 환경을 구현하여 사용자에게 보다 많은 정보와 다양한 사용자 경험을 지원할 수 있는 휴대단말에서 데스크톱 가상화 방법 및 장치를 제공함에 있다.It is still another object of the present invention to provide a desktop virtualization method and apparatus in a mobile terminal that can support a user with more information and various user experiences by implementing a desktop window environment through an external display device.

본 발명의 또 다른 목적은 휴대단말에서 데스크톱 윈도우 환경을 지원하기 위한 최적의 환경을 구현하여 사용자 편의성 및 휴대단말의 사용성을 향상시킬 수 있는 지능형 서비스 제공 방법 및 장치를 제공함에 있다.Another object of the present invention is to provide an intelligent service providing method and apparatus for improving user convenience and usability of a mobile terminal by implementing an optimal environment for supporting a desktop window environment in a mobile terminal.

본 발명의 다른 목적은 서로 다른 윈도우 레이아웃에 의해 표시장치별 다른 화면 출력이 가능하도록 하는 휴대단말에서 표시장치별 윈도우 레이아웃 제공 방법 및 장치를 제공함에 있다.Another object of the present invention is to provide a method and apparatus for providing a window layout for each display device in a mobile terminal which enables different screen outputs for each display device by different window layouts.

본 발명의 다른 목적은 여러 개의 표시장치들이 존재할 경우 각 표시장치들 별로 서로 다른 모습의 다양한 윈도우 레이아웃의 화면을 지원할 수 있는 휴대단말에서 표시장치별 윈도우 레이아웃 제공 방법 및 장치를 제공함에 있다.Another object of the present invention is to provide a method and apparatus for providing a window layout for each display device in a mobile terminal capable of supporting a screen having various window layouts having different shapes for each display device when a plurality of display devices exist.

본 발명의 또 다른 목적은 휴대단말에서 어플리케이션 실행 시 어플리케이션의 실행화면이 출력되는 표시장치에 따라 다른 모습의 윈도우 레이아웃을 가지는 화면 표시를 지원할 수 있는 휴대단말에서 표시장치별 윈도우 레이아웃 제공 방법 및 장치를 제공함에 있다.Another object of the present invention is to provide a method and apparatus for providing a window layout for each display device in a mobile terminal capable of supporting a screen display having a window layout having a different appearance according to the display device on which the execution screen of the application is output when the application is executed in the mobile terminal. In providing.

본 발명의 또 다른 목적은 표시장치별 서로 다른 윈도우 레이아웃 지원을 통해, 사용자에게 각 표시장치에 대응하는 다양한 모습의 윈도우 레이아웃을 제공할 수 있으며, 표시장치의 화면 크기에 따라 보다 다양한 정보의 표시를 지원할 수 있는 휴대단말에서 표시장치별 윈도우 레이아웃 제공 방법 및 장치를 제공함에 있다.It is still another object of the present invention to provide a window layout of various shapes corresponding to each display device through different window layout support for each display device, and to display more various information according to the screen size of the display device. The present invention provides a method and apparatus for providing a window layout for each display device in a portable terminal that can be supported.

본 발명의 또 다른 목적은 휴대단말에서 어플리케이션 실행 시 표시장치별로 가장 적합한 화면 출력을 지원하기 위한 최적의 환경을 구현하여 사용자 편의성 및 휴대단말의 사용성을 향상시킬 수 있는 휴대단말에서 표시장치별 윈도우 레이아웃 제공 방법 및 장치를 제공함에 있다.Another object of the present invention is to implement an optimal environment for supporting the most suitable screen output for each display device when running the application in the mobile terminal to improve user convenience and usability of the mobile terminal window layout for each display device To provide a method and apparatus.

본 발명의 다른 목적은 휴대 단말이 외부입력장치를 구비하지 않고서도 외부표시장치를 이용하여 듀얼 표시 모드를 사용자에게 제공하는 방법을 제안한다. 또한 본 발명은 휴대 단말에 구비된 터치스크린 및 외부표시장치를 이용하여 듀얼 표시 모드를 사용자에게 제공하는 방법을 제공함에 있다.Another object of the present invention is to provide a method of providing a dual display mode to a user by using an external display device without a portable terminal having an external input device. In another aspect, the present invention provides a method for providing a user with a dual display mode using a touch screen and an external display device provided in the portable terminal.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 휴대단말과 외부 표시장치를 이용한 기능 운용 방법에 있어서, 상기 외부 표시장치의 연결을 감지하는 과정; 상기 외부 표시장치가 연결될 시 기본 데스크톱 윈도우 화면을 상기 외부 표시장치로 출력하는 과정; 제어 이벤트 입력을 수신하는 과정; 상기 제어 이벤트가 상기 외부 표시장치의 데스크톱 영역의 제어를 위한 외부 이벤트이면 상기 데스크톱 영역의 화면 표시를 제어하는 과정; 및 상기 제어 이벤트가 상기 휴대단말의 기본 영역의 제어를 위한 내부 이벤트이면 상기 기본 영역의 화면 표시를 제어하는 과정을 포함한다.According to an aspect of the present invention, there is provided a method of operating a function using a mobile terminal and an external display device, the method comprising: detecting a connection of the external display device; Outputting a basic desktop window screen to the external display device when the external display device is connected; Receiving a control event input; Controlling a screen display of the desktop area if the control event is an external event for controlling the desktop area of the external display device; And if the control event is an internal event for controlling the basic area of the mobile terminal, controlling a screen display of the basic area.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 휴대단말과 외부 표시장치를 이용한 기능 운용 방법에 있어서, 휴대단말과 외부 표시장치의 연결을 감지하는 과정; 상기 외부 표시장치가 연결될 시 데스크톱 모드를 실행하는 과정; 상기 데스크톱 모드에 따른 기본 데스크톱 윈도우 화면을 상기 외부 표시장치를 통해 표시하는 과정; 및 상기 외부 표시장치를 통해 데스크톱 윈도우 환경 기반의 데스크톱 가상화 기능을 운용하는 과정을 포함한다.According to an aspect of the present invention, there is provided a method of operating a function using a portable terminal and an external display device, the method comprising: detecting a connection between the portable terminal and an external display device; Executing a desktop mode when the external display device is connected; Displaying a basic desktop window screen according to the desktop mode through the external display device; And operating a desktop virtualization function based on a desktop window environment through the external display device.

상기와 같은 과제를 해결하기 위하여 본 발명의 실시 예에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함한다. In order to solve the above problems, an embodiment of the present invention includes a computer-readable recording medium that records a program for executing the method on a processor.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 시스템은, 휴대단말의 데스크톱 가상화를 위한 시스템에 있어서, 외부 표시장치와의 연결을 통해 다중 스크린 기능을 지원하는 휴대단말; 및 상기 휴대단말에서 출력되는 화면을 데스크톱 윈도우 환경에 따른 화면으로 표시하는 상기 외부 표시장치를 포함한다.In accordance with another aspect of the present invention, there is provided a system for desktop virtualization of a mobile terminal, including: a mobile terminal supporting a multi-screen function through connection with an external display device; And the external display device for displaying a screen output from the portable terminal as a screen according to a desktop window environment.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 휴대단말에 있어서, 외부 표시장치 및 외부 입력장치를 연결하기 위한 유무선 인터페이스를 제공하는 인터페이스부; 휴대단말의 기본 영역에 맞는 레이아웃에 따른 윈도우 화면을 표시하고, 외부 표시장치의 데스크톱 영역의 데스크톱 환경 제어를 위한 가상 입력장치를 표시하며, 상기 가상 입력장치에 의한 제어 이벤트 입력을 수신하는 터치스크린; 및 상기 외부 표시장치와 연동 시 휴대단말에서 생성되는 데이터와 어플리케이션을 상기 외부 표시장치를 통해 데스크톱 환경에 대응하는 표시 및 작업이 가능한 데스크톱 가상화를 제어하는 제어부를 포함한다.An apparatus according to an embodiment of the present invention for solving the above problems, in the portable terminal, an interface unit for providing a wired and wireless interface for connecting the external display device and the external input device; A touch screen for displaying a window screen according to a layout suitable for a basic area of a mobile terminal, a virtual input device for controlling a desktop environment of a desktop area of an external display device, and receiving a control event input by the virtual input device; And a controller configured to control desktop virtualization capable of displaying and working with data and applications generated by the mobile terminal when the device interworks with the external display device corresponding to the desktop environment through the external display device.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 기록 매체는, 휴대단말이 외부 표시장치와 연결될 시 데스크톱 모드를 실행하고, 상기 데스크톱 모드에 따른 기본 데스크톱 윈도우 화면을 상기 외부 표시장치를 통해 표시하며, 상기 외부 표시장치를 통해 데스크톱 윈도우 환경 기반의 데스크톱 가상화 기능이 운용되도록 처리하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함한다.The recording medium according to an embodiment of the present invention for solving the above problems, when the portable terminal is connected to the external display device, executes the desktop mode, the basic desktop window screen according to the desktop mode through the external display device And a computer-readable recording medium having a program recorded thereon for processing a desktop virtualization function based on a desktop window environment through the external display device.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 휴대단말과 외부 표시장치를 이용한 화면 표시 방법에 있어서, 어플리케이션 실행에 따른 윈도우 생성 이벤트를 검출하는 과정; 상기 윈도우 생성 이벤트에 응답하여 상기 윈도우가 생성될 표시장치를 확인하는 과정; 상기 윈도우가 생성될 표시장치에 대한 자원(resource)을 획득하는 과정; 상기 획득된 자원에 대응하여 상기 표시장치의 윈도우 레이아웃 정책을 결정하는 과정; 결정된 윈도우 레이아웃 정책에 따른 레이아웃으로 상기 표시장치에 상기 윈도우를 생성하는 과정; 및 상기 윈도우를 통해 상기 어플리케이션의 실행화면을 표시하는 과정을 포함한다.In accordance with another aspect of the present invention, there is provided a screen display method using a mobile terminal and an external display device, the method including: detecting a window generation event according to an application execution; Identifying a display device in which the window is to be generated in response to the window creation event; Acquiring a resource for a display device on which the window is to be generated; Determining a window layout policy of the display device in response to the obtained resource; Generating the window on the display device in a layout according to the determined window layout policy; And displaying an execution screen of the application through the window.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 휴대단말과 외부 표시장치를 이용한 화면 표시 방법에 있어서, 휴대단말은 외부 표시장치가 연결될 시 상기 외부 표시장치에 대한 자원을 획득하는 과정; 상기 획득된 자원에 대응하는 윈도우 레이아웃 정책을 결정하고, 상기 결정된 윈도우 레이아웃 정책에 따른 데스크톱 윈도우 화면을 상기 외부 표시장치에 출력하는 과정; 상기 외부 표시장치는 상기 데스크톱 윈도우 화면을 상기 윈도우 레이아웃 정책의 레이아웃에 따라 표시하는 과정; 상기 휴대단말은 어플리케이션을 실행하는 사용자 입력이 수신되면, 상기 어플리케이션에 대한 윈도우 생성 영역을 결정하는 과정; 상기 윈도우 생성 영역이 상기 외부 표시장치인 것으로 결정되면 상기 외부 표시장치에 대한 윈도우 레이아웃 정책을 결정하는 과정; 상기 결정된 윈도우 레이아웃 정책에 따른 어플리케이션 실행화면을 상기 외부 표시장치에 출력하는 과정; 및 상기 외부 표시장치는 상기 어플리케이션 실행화면을 상기 윈도우 레이아웃 정책의 레이아웃에 따라 표시하는 과정을 포함한다.The method according to an embodiment of the present invention for solving the above problems, in the screen display method using a mobile terminal and an external display device, the mobile terminal acquires resources for the external display device when the external display device is connected; Process of doing; Determining a window layout policy corresponding to the obtained resource and outputting a desktop window screen according to the determined window layout policy to the external display device; The external display device displaying the desktop window screen according to a layout of the window layout policy; Determining, by the portable terminal, a window generation area for the application when a user input for executing an application is received; Determining a window layout policy for the external display device when the window generation area is determined to be the external display device; Outputting an application execution screen according to the determined window layout policy to the external display device; And the external display device displaying the application execution screen according to the layout of the window layout policy.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 표시장치별 윈도우 레이아웃 제공 방법에 있어서, 표시장치들에 대한 윈도우 레이아웃 정책(window layout policy)을 설정하는 과정; 어플리케이션 실행 요청에 따른 윈도우 생성 시 미리 설정된 윈도우 레이아웃 정책에 따라 상기 윈도우에 적용할 윈도우 레이아웃 정책을 결정하는 과정; 및 결정된 윈도우 레이아웃 정책에 따른 레이아웃으로 상기 윈도우를 생성하는 과정을 포함한다.According to an aspect of the present invention, there is provided a method of providing a window layout for each display device, the method comprising: setting a window layout policy for display devices; Determining a window layout policy to be applied to the window according to a preset window layout policy when generating a window according to an application execution request; And generating the window with a layout according to the determined window layout policy.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 시스템은, 표시장치별 윈도우 레이아웃 정책에 따른 화면 표시를 위한 시스템에 있어서, 외부 표시장치와의 연결을 통해 다중 스크린 기능을 지원하며, 연결된 외부 표시장치의 자원에 대한 윈도우 레이아웃 정책에 따라 윈도우를 생성하여 출력하는 휴대단말; 및 상기 휴대단말에서 출력되는 윈도우를 상기 윈도우 레이아웃 정책에 따른 레이아웃으로 표시하는 상기 외부 표시장치를 포함한다.The system according to an embodiment of the present invention for solving the above problems, in the system for screen display according to the window layout policy for each display device, supports a multi-screen function through the connection with an external display device, A mobile terminal for generating and outputting a window according to a window layout policy for a resource of an external display device; And the external display device configured to display a window output from the portable terminal in a layout according to the window layout policy.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 휴대단말에 있어서, 외부 표시장치를 연결하기 위한 유무선 인터페이스를 제공하는 인터페이스부; 설정된 윈도우 레이아웃 정책에 따른 화면을 표시하는 표시부; 및 표시장치들에 대한 윈도우 레이아웃 정책(window layout policy)을 설정하고, 어플리케이션 실행 요청에 따른 윈도우 생성 시 미리 설정된 윈도우 레이아웃 정책에 따라 상기 윈도우에 적용할 윈도우 레이아웃 정책을 결정하고, 결정된 윈도우 레이아웃 정책에 따른 레이아웃으로 상기 윈도우를 생성하여 상기 외부 표시장치에 표시되도록 제어하는 제어부를 포함한다.An apparatus according to an embodiment of the present invention for solving the above problems, in the portable terminal, an interface unit for providing a wired or wireless interface for connecting an external display device; A display unit configured to display a screen according to a set window layout policy; And setting a window layout policy for the display devices, determining a window layout policy to be applied to the window according to a preset window layout policy when creating a window according to an application execution request, and applying the determined window layout policy to the determined window layout policy. And a controller configured to generate the window with the layout according to the layout and control the display to be displayed on the external display device.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 기록 매체는, 어플리케이션 실행에 따른 윈도우 생성 이벤트를 검출하고, 상기 윈도우 생성 이벤트에 응답하여 상기 윈도우가 생성될 표시장치를 확인하여 상기 표시장치에 대한 자원(resource)을 획득하고, 상기 획득된 자원에 대응하여 상기 표시장치의 윈도우 레이아웃 정책을 결정하고, 결정된 윈도우 레이아웃 정책에 따른 레이아웃으로 상기 표시장치에 상기 윈도우를 생성하며, 상기 윈도우를 통해 상기 어플리케이션의 실행화면이 표시되도록 처리하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함한다.According to an embodiment of the present invention, a recording medium detects a window generation event according to an execution of an application, identifies a display device in which the window is to be generated in response to the window creation event, and displays the display device. Obtaining a resource for the resource, determining a window layout policy of the display device according to the obtained resource, generating the window on the display device with a layout according to the determined window layout policy, and through the window. And a computer-readable recording medium having recorded thereon a program for processing such that an execution screen of the application is displayed.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 사용자 입력의 처리 방법은 터치스크린을 가지고 외부표시장치와 연결되는 휴대 단말에서 수행되고, 상기 터치스크린으로부터 사용자 입력을 검출하는 검출 단계, 상기 사용자 입력이 상기 외부표시장치의 제 1 화면과 관련된 것인지 여부를 결정하는 결정 단계, 및 상기 사용자 입력이 제 1 화면과 관련된 경우 상기 사용자 입력에 응답하여 상기 제 1 화면과 관련된 기능을 수행하고, 상기 사용자 입력이 제 1 화면과 관련 없는 경우 상기 사용자 입력에 응답하여 상기 터치스크린의 제 2 화면과 관련된 기능을 수행하는 기능 수행 단계를 포함한다.According to another aspect of the present invention, there is provided a method of processing a user input, which is performed by a portable terminal connected to an external display device having a touch screen, and detecting a user input from the touch screen. A determination step of determining whether a user input is related to a first screen of the external display device, and if the user input is related to a first screen, perform a function related to the first screen in response to the user input, and And performing a function related to the second screen of the touch screen in response to the user input when the user input is not related to the first screen.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 휴대 단말은 외부표시장치와 유선으로 연결하기 위한 인터페이스부, 상기 외부표시장치와 무선으로 연결하기 위한 무선통신부, 터치패널과 표시패널을 포함하는 터치스크린, 상기 인터페이스부, 상기 무선통신부 및 상기 터치스크린을 제어하는 제어부를 포함하고, 상기 제어부는 상기 터치스크린으로부터 사용자 입력을 검출하고, 상기 사용자 입력이 상기 외부표시장치의 제 1 화면과 관련된 것인지 여부를 결정하고, 상기 사용자 입력이 제 1 화면과 관련된 경우 상기 사용자 입력에 응답하여 상기 제 1 화면과 관련된 기능을 수행하고, 상기 사용자 입력이 제 1 화면과 관련 없는 경우 상기 사용자 입력에 응답하여 상기 터치스크린의 제 2 화면과 관련된 기능을 수행한다.The portable terminal according to an embodiment of the present invention for solving the above problems includes an interface unit for wired connection with an external display device, a wireless communication unit for wirelessly connecting with the external display device, a touch panel and a display panel. And a controller for controlling the touch screen, the interface unit, the wireless communication unit, and the touch screen, wherein the controller detects a user input from the touch screen, and the user input is associated with a first screen of the external display device. Determine whether the user input is related to the first screen, perform a function related to the first screen in response to the user input, and respond to the user input when the user input is not related to the first screen. Perform a function related to the second screen of the touch screen.

전술한 바와 같은 내용들은 당해 분야 통상의 지식을 가진 자가 후술되는 본 발명의 구체적인 설명으로부터 보다 잘 이해할 수 있도록 하기 위하여 본 발명의 특징들 및 기술적인 장점들을 다소 넓게 약술한 것이다. 이러한 특징들 및 장점들 이외에도 본 발명의 청구범위의 주제를 형성하는 본 발명의 추가적인 특징들 및 장점들이 후술되는 본 발명의 구체적인 설명으로부터 잘 이해될 것이다.The foregoing has outlined rather broadly the features and technical advantages of the present invention in order that those skilled in the art may better understand it from the following detailed description of the invention. In addition to these features and advantages, further features and advantages of the present invention which form the subject of the claims of the present invention will be better understood from the following detailed description of the invention.

상술한 바와 같이 본 발명에서 제안하는 휴대단말에서 테스크톱 가상화 방법 및 장치에 따르면, 휴대단말과 외부 표시장치 간의 연동 시 휴대단말을 통해 데스크톱 환경의 작업이 가능하도록 하는 데스크톱 가상화 기능을 제공한다. 따라서 본 발명에 따르면, 사용자에게 휴대단말의 단일 시스템에서 외부 표시장치를 통한 데스크톱 윈도우 환경을 제공할 수 있으며, 이를 통해 사용자에게 보다 더 많은 정보와 다양한 사용자 경험을 제공할 수 있는 이점이 있다. 또한 본 발명에 따르면, 사용자는 휴대단말의 협소한 화면에서의 불편한 작업에서 벗어나, 보다 큰 화면의 외부 표시장치를 통해 휴대단말에서의 작업을 데스크톱 환경에서 보다 효과적으로 수행할 수 있는 이점이 있다.As described above, according to the method and apparatus for desktop virtualization in a mobile terminal proposed by the present invention, a desktop virtualization function is provided that enables the operation of a desktop environment through a mobile terminal when interworking between the mobile terminal and an external display device. Therefore, according to the present invention, it is possible to provide a user with a desktop window environment through an external display device in a single system of the portable terminal, and thus, there is an advantage of providing more information and various user experiences to the user. In addition, according to the present invention, the user has an advantage of being able to perform work on the mobile terminal more effectively in a desktop environment through an external display device of a larger screen, away from inconvenient work on a narrow screen of the mobile terminal.

따라서 본 발명에 따르면 휴대단말에서 데스크톱 윈도우 환경을 지원할 수 있는 최적의 환경을 구현함으로써, 사용자의 편의성을 향상시키고, 휴대단말의 사용성, 편의성 및 경쟁력을 향상시키는데 기여할 수 있다. 이러한 본 발명은 다중 스크린 기능을 지원하는 모든 형태의 휴대단말 및 그에 대응하는 다양한 디바이스들에 간편하게 구현될 수 있다.Therefore, according to the present invention, by implementing an optimal environment capable of supporting a desktop window environment in a mobile terminal, it can contribute to improving user convenience and improving usability, convenience, and competitiveness of the mobile terminal. The present invention can be easily implemented in all types of portable terminals supporting a multi-screen function and various devices corresponding thereto.

상술한 바와 같이 본 발명에서 제안하는 휴대단말에서 표시장치별 윈도우 레이아웃 제공 방법 및 장치에 따르면, 사용자에게 각 표시장치들에 맞는 다양한 모습의 윈도우 레이아웃에 의한 화면 표시를 제공할 수 있으며, 각 표시장치들의 크기에 따라 보다 많은 정보를 제공할 수 있다. 본 발명에 따르면, 여러 개의 표시장치들이 존재할 경우, 각 표시장치별로 서로 다른 레이아웃을 사용하여 표시장치에 따른 레이아웃의 편의성을 증대시킬 수 있다.As described above, according to the method and apparatus for providing a window layout for each display device in the mobile terminal proposed by the present invention, a screen display using a window layout having various shapes suitable for each display device can be provided to the user. Depending on their size, more information can be provided. According to the present invention, when there are a plurality of display devices, it is possible to increase the convenience of layout according to the display device by using a different layout for each display device.

본 발명에 따르면, 두 개 이상의 표시장치들이 존재할 때, 각각의 표시장치들 마다 서로 다른 윈도우 레이아웃 정책을 설정하고, 사용자가 어플리케이션을 실행할 때 상기 어플리케이션이 실행되는 표시장치에 따라 다른 모습의 레이아웃을 구성하여 표시장치 별로 실행 어플리케이션에 대한 다른 모습의 실행화면을 제공할 수 있다. 또한 본 발명에 따르면, 사용자는 휴대단말의 협소한 화면에서의 불편한 작업에서 벗어나, 보다 큰 화면의 외부 표시장치를 통해 휴대단말에서의 작업을 데스크톱 환경에서 보다 효과적으로 수행할 수 있는 이점이 있다.According to the present invention, when two or more display devices exist, different window layout policies are set for each display device, and when the user executes an application, a layout of a different appearance is configured according to the display device on which the application is executed. The display screen may provide a different execution screen for the execution application for each display device. In addition, according to the present invention, the user has an advantage of being able to perform work on the mobile terminal more effectively in a desktop environment through an external display device of a larger screen, away from inconvenient work on a narrow screen of the mobile terminal.

따라서 본 발명에 따르면, 휴대단말에서 어플리케이션 실행 시 표시장치 별로 가장 적합한 화면 출력을 지원할 수 있는 최적의 환경을 구현함으로써, 사용자의 편의성을 향상시키고, 휴대단말의 사용성, 편의성 및 경쟁력을 향상시키는데 기여할 수 있다. 이러한 본 발명은 다중 스크린 기능을 지원하는 모든 형태의 휴대단말 및 그에 대응하는 다양한 디바이스들에 간편하게 구현될 수 있다.Therefore, according to the present invention, by implementing the optimal environment that can support the most suitable screen output for each display device when running the application in the mobile terminal, it can contribute to improve the user's convenience, usability, convenience and competitiveness of the mobile terminal. have. The present invention can be easily implemented in all types of portable terminals supporting a multi-screen function and various devices corresponding thereto.

본 발명에 따른 외부표시장치를 이용한 사용자 입력의 처리 방법 및 휴대 단말에 따르면, 본 발명은 외부입력장치를 구비하지 않고서도 외부표시장치를 이용하여 듀얼 표시 모드를 사용자에게 제공할 수 있다. 또한 본 발명은 휴대 단말에 구비된 터치스크린 및 외부표시장치를 이용하여 듀얼 표시 모드를 사용자에게 제공할 수 있다.According to a method and a portable terminal for processing user input using an external display device according to the present invention, the present invention can provide a dual display mode to a user using an external display device without having an external input device. In addition, the present invention can provide a dual display mode to a user using a touch screen and an external display device provided in the portable terminal.

도 1은 본 발명의 실시 예에 따른 휴대단말의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 휴대단말과 외부 기기들 간의 연결 관계를 설명하기 위해 개략적으로 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 휴대단말과 외부 표시장치 간의 동작 관계를 개략적으로 도시한 도면이다.
도 4 및 도 5는 본 발명의 실시 예에 따른 휴대단말과 외부 표시장치 간의 연결 시의 화면 예시를 도시한 도면들이다.
도 6 및 도 7은 본 발명의 실시 예에 따른 휴대단말과 외부 표시장치 간의 입력 동작을 설명하기 위해 개략적으로 도시한 도면들이다.
도 8 내지 도 12는 본 발명의 실시 예에 따른 휴대단말 및 외부 표시장치에서 데스크톱 가상화 운용에 따른 화면 예시를 도시한 도면들이다.
도 13은 본 발명의 실시 예에 따른 휴대단말에서 데스크톱 가상화 운용 방법을 도시한 흐름도이다.
도 14는 본 발명의 실시 예에 따른 휴대단말을 이용하여 가상 입력장치를 제공하는 방법을 도시한 흐름도이다.
도 15는 본 발명의 실시 예에 따른 휴대단말에서 외부 입력장치로부터의 입력을 처리하는 방법을 도시한 흐름도이다.
도 16은 본 발명의 실시 예에 따른 휴대단말에서 표시장치별 윈도우 레이아웃을 제공하는 방법을 도시한 흐름도이다.
도 17은 본 발명의 실시 예에 따른 휴대단말에서 표시장치별로 서로 다른 윈도우 레이아웃을 운용하는 방법을 도시한 흐름도이다.
도 18은 본 발명의 실시 예에 따른 휴대단말과 외부 표시장치의 연동 시 동작 관계를 개략적으로 도시한 도면이다.
도 19A 내지 도 19D는 본 발명의 실시 예에 따른 휴대단말과 외부 표시장치의 연동 시 표시장치 별로 서로 다른 윈도우 레이아웃을 출력하는 화면 예시를 도시한 도면들이다.
도 20은 본 발명의 일 실시예에 따른 사용자 입력의 처리 방법을 설명하기 위한 흐름도이다.
도 21은 외부입력장치에 표시되는 포인터를 이동시키기 위한 절차를 설명하기 위한 소프트웨어 아키텍처이다.
도 22는 외부입력장치에 표시되는 포인터를 이동시키기 위한 절차를 설명하기 위한 화면 예시도이다.
도 23은 외부입력장치에 표시되는 이미지의 크기를 변환하기 위한 절차를 설명하기 위한 소프트웨어 아키텍처이다.
도 24는 외부입력장치에 표시되는 이미지의 크기를 변환하기 위한 절차를 설명하기 위한 화면 예시도이다.1 is a view schematically showing the configuration of a mobile terminal according to an embodiment of the present invention.
2 is a diagram schematically illustrating a connection relationship between a mobile terminal and external devices according to an exemplary embodiment of the present invention.
3 is a view schematically illustrating an operation relationship between a mobile terminal and an external display device according to an exemplary embodiment of the present invention.
4 and 5 are diagrams illustrating screen examples when the portable terminal and an external display device are connected according to an exemplary embodiment of the present invention.
6 and 7 are diagrams schematically illustrating an input operation between a mobile terminal and an external display device according to an exemplary embodiment of the present invention.
8 to 12 are diagrams illustrating screen examples according to desktop virtualization in a mobile terminal and an external display device according to an exemplary embodiment of the present invention.
13 is a flowchart illustrating a desktop virtualization operating method in a mobile terminal according to an embodiment of the present invention.
14 is a flowchart illustrating a method of providing a virtual input device using a mobile terminal according to an embodiment of the present invention.
15 is a flowchart illustrating a method of processing an input from an external input device in a mobile terminal according to an embodiment of the present invention.
16 is a flowchart illustrating a method of providing a window layout for each display device in a mobile terminal according to an exemplary embodiment of the present invention.
17 is a flowchart illustrating a method of operating a different window layout for each display device in a mobile terminal according to an exemplary embodiment of the present invention.
18 is a diagram schematically illustrating a relationship between a mobile terminal and an external display device according to an exemplary embodiment of the present invention.
19A to 19D illustrate screen examples of outputting different window layouts for display devices when the mobile terminal and an external display device are linked according to an exemplary embodiment of the present invention.
20 is a flowchart illustrating a method of processing a user input according to an embodiment of the present invention.
21 is a software architecture for explaining a procedure for moving a pointer displayed on an external input device.
22 is a screen example for explaining a procedure for moving a pointer displayed on an external input device.
FIG. 23 is a software architecture for explaining a procedure for converting a size of an image displayed on an external input device.
24 is a screen example for explaining a procedure for converting a size of an image displayed on an external input device.

이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 즉, 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In this case, it should be noted that like elements are denoted by like reference numerals as much as possible. In addition, detailed descriptions of well-known functions and configurations that may blur the gist of the present invention will be omitted. That is, in the following description, only parts necessary for understanding the operation according to the embodiment of the present invention are described, and it should be noted that the description of other parts will be omitted so as not to distract from the gist of the present invention.

제안하는 본 발명은 휴대단말에서 데스크톱 가상화(desktop virtualization)를 구현하기 위한 방법 및 장치에 관한 것이다. 본 발명에서 상기 데스크톱 가상화는 휴대단말이 외부 표시장치와 연동 시 휴대단말에서 생성되는 데이터와 어플리케이션을 상기 외부 표시장치를 통해 데스크톱 윈도우 환경에 대응하는 작업을 수행할 수 있도록 하는 것을 나타낸다. The present invention relates to a method and apparatus for implementing desktop virtualization in a mobile terminal. In the present invention, the desktop virtualization refers to enabling the mobile terminal to perform data corresponding to the desktop window environment through the external display device and data and applications generated by the mobile terminal when the mobile terminal interworks with the external display device.

이하의 설명에서 본 발명의 휴대단말은 본 발명의 기능을 지원하는 모든 정보통신기기, 멀티미디어기기 및 그에 대한 응용기기와 같이 AP(Application Processor), GPU(Graphic Processing Unit), CPU(Central Processing Unit)를 사용하는 모든 디바이스를 포함할 수 있다. 예를 들어, 상기 휴대단말은 다양한 통신 시스템에 대응되는 각 통신 프로토콜들(communication protocols)에 의거하여 동작하는 이동통신 단말기를 비롯하여, 태블릿(tablet) PC(Personal Computer), 스마트 폰(Smart Phone), 디지털 카메라, PMP(Portable Multimedia Player), 미디어 플레이어(Media Player), 휴대게임단말, 및 PDA(Personal Digital Assistant) 등의 디바이스를 포함할 수 있다. 그리고 상기 본 발명의 외부 표시장치는 모니터(monitor), 디지털 TV(Digital Television), DS(Digital Signage), LFD(Large Format Display) 등과 같이 다양한 디스플레이 디바이스를 포함할 수 있다.In the following description, the portable terminal of the present invention, like all information communication devices, multimedia devices, and application devices supporting the functions of the present invention, includes an AP (Application Processor), a GPU (Graphic Processing Unit), and a CPU (Central Processing Unit). It can include any device that uses. For example, the portable terminal includes a mobile communication terminal operating based on communication protocols corresponding to various communication systems, a tablet PC, a smart phone, The device may include a digital camera, a portable multimedia player (PMP), a media player, a portable game terminal, and a personal digital assistant (PDA). The external display device of the present invention may include various display devices such as a monitor, a digital television (TV), a digital signage (DS), a large format display (LFD), and the like.

본 발명의 실시 예에 따르면, 외부 표시장치와의 연결을 지원하는 상기 휴대단말과 상기 휴대단말에서 생성되는 데스크톱 윈도우 환경을 표시하는 상기 외부 표시장치에 의해 구현될 수 있다. 그리고 본 발명의 실시 예에 따르면, 상기 휴대단말과 외부 표시장치에 추가적으로, 상기 휴대단말에 연결되어 상기 외부 표시장치에 표시된 각 윈도우들을 조작할 수 있는 입력 장치(예컨대, 유/무선 외부 키보드 및 유/무선 외부 마우스)를 포함하여 구성될 수 있다.According to an exemplary embodiment of the present invention, the portable terminal supporting the connection with the external display device and the external display device displaying the desktop window environment generated by the portable terminal can be implemented. In addition, according to an embodiment of the present invention, in addition to the portable terminal and the external display device, an input device (eg, a wired / wireless external keyboard and a wired / wireless keyboard) connected to the portable terminal and capable of manipulating respective windows displayed on the external display device. / Wireless external mouse).

제안하는 본 발명은 휴대단말에서 서로 다른 윈도우 레이아웃(window layout)에 의해 표시장치별 다른 형태의 화면 출력이 가능하도록 하는 휴대단말에서 표시장치별 윈도우 레이아웃 제공 방법 및 장치에 관한 것이다. 특히, 본 발명의 실시 예에 따르면, 휴대단말과 적어도 하나의 외부 표시장치가 연결될 때, 동일한 실행 어플리케이션에 대해서도 휴대단말의 표시장치 및 상기 외부 표시장치에 서로 다른 윈도우 레이아웃에 의한 화면 표시를 지원할 수 있다.The present invention relates to a method and apparatus for providing a window layout for each display device in a mobile terminal, which enables different types of screen output for each display device by different window layouts. In particular, according to an embodiment of the present invention, when the portable terminal and at least one external display device are connected, the display of the mobile terminal and the external display device may support screen display using different window layouts for the same execution application. have.

본 발명의 실시 예에 따르면, 다양한 표시장치들을 각 표시장치의 자원(resource)(예컨대, 표시장치의 종류, 화면 크기 등)에 따라 구분하고, 각 표시장치들 별로 윈도우 레이아웃 정책(window layout policy)을 설정할 수 있다. 본 발명의 실시 예에서 상기 윈도우 레이아웃 정책은 표시장치의 자원(특히, 화면 크기)에 따라 실행화면의 윈도우 레이아웃을 결정하기 위한 정보를 나타낼 수 있다.According to an embodiment of the present invention, various display devices are classified according to resources (eg, types of display devices, screen sizes, etc.) of each display device, and window layout policy for each display device. Can be set. According to an embodiment of the present disclosure, the window layout policy may indicate information for determining a window layout of an execution screen according to resources of the display device (particularly, screen size).

본 발명의 실시 예에 따르면, 다중 스크린(multi screen) 기능을 지원하고, 외부 표시장치와의 연결을 지원하는 휴대단말과, 상기 휴대단말에서 결정되는 윈도우 레이아웃 정책에 따라 휴대단말에서 실행되는 어플리케이션의 실행화면을 표시하는 상기 외부 표시장치에 의해 구현될 수 있다. 이러한 본 발명은 각 표시장치별 윈도우 레이아웃 정책을 설정하는 구성, 각 표시장치별 윈도우 레이아웃을 결정하는 구성, 그리고 각 표시장치별 윈도우 레이아웃 정책에 따라 윈도우 레이아웃을 적용하는 구성으로 구현될 수 있다. According to an embodiment of the present invention, a mobile terminal that supports a multi-screen function and supports connection with an external display device, and an application executed in the mobile terminal according to a window layout policy determined by the mobile terminal It may be implemented by the external display device displaying an execution screen. The present invention may be implemented as a configuration for setting a window layout policy for each display device, a configuration for determining a window layout for each display device, and a configuration for applying a window layout according to the window layout policy for each display device.

즉, 본 발명의 실시 예에 따르면 휴대단말에 외부 표시장치의 연결 유무에 관계없이, 표시장치의 자원에 따라 각각의 표시장치를 구분하고, 각 표시장치별로 적용할 윈도우 레이아웃 정책을 설정할 수 있다. 이러한 윈도우 레이아웃 정책은 프로바이더(provider) 등으로부터 기본 제공될 수 있으며, 사용자 설정에 따라 다양하게 정의될 수도 있다. 그리고 어플리케이션의 실행 등에 따라 윈도우(window)를 생성할 시, 상기 윈도우가 생성되는 표시장치의 영역을 구분하고, 미리 설정된 표시장치별 윈도우 레이아웃 정책으로부터 상기 윈도우가 생성되는 표시장치의 윈도우 레이아웃 정책을 확인할 수 있다. 그리고 윈도우가 위치하는 표시장치의 윈도우 레이아웃 정책이 존재하면 해당 윈도우 레이아웃 정책을 적용하고, 표시장치의 윈도우 레이아웃 정책이 존재하지 않으면 기본적으로 제공되는 윈도우 레이아웃 정책을 적용한다.That is, according to an embodiment of the present invention, regardless of whether or not an external display device is connected to the portable terminal, each display device may be classified according to resources of the display device, and a window layout policy to be applied to each display device may be set. The window layout policy may be provided by a provider or the like, and may be variously defined according to user settings. When a window is generated according to an execution of an application, an area of a display device in which the window is generated is divided, and a window layout policy of a display device in which the window is generated is determined from a preset window layout policy for each display device. Can be. If the window layout policy of the display device in which the window is present exists, the window layout policy is applied. If the window layout policy of the display device does not exist, the window layout policy provided by default is applied.

이하에서, 본 발명의 실시 예에 따른 휴대단말의 구성과 그의 운용 제어 방법에 대하여 하기 도면들을 참조하여 살펴보기로 한다. 본 발명의 실시 예에 따른 휴대단말의 구성과 그의 운용 제어 방법이 하기에서 기술하는 내용에 제한되거나 한정되는 것은 아니므로 하기의 실시 예들에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다.Hereinafter, a configuration of a mobile terminal and an operation control method thereof according to an embodiment of the present invention will be described with reference to the following drawings. It should be noted that the configuration of the mobile terminal and its operation control method according to an embodiment of the present invention are not limited or limited to the contents described below, and thus may be applied to various embodiments based on the following embodiments.

도 1은 본 발명의 실시 예에 따른 휴대단말(100)의 구성을 개략적으로 도시한 도면이다.1 is a view schematically showing the configuration of a mobile terminal 100 according to an embodiment of the present invention.

상기 도 1을 참조하면, 본 발명의 휴대단말(100)은 무선 통신부(110), 사용자 입력부(120), 표시부(130), 오디오 처리부(140), 저장부(150), 인터페이스부(160), 제어부(CONTROLLER)(170), 그리고 전원 공급부(180)를 포함하여 구성된다. 본 발명의 휴대단말(100)은 도 1에 도시된 구성 요소들이 필수적인 것은 아니어서, 그보다 많은 구성 요소들을 가지거나, 또는 그보다 적은 구성 요소들을 가지는 것으로 구현될 수 있다. 예를 들어, 본 발명의 실시 예에 따른 휴대단말이 촬영 기능을 지원하는 경우 카메라 모듈의 구성이 더 포함될 수 있고, 본 발명의 실시 예에 따른 휴대단말이 이동통신 기능을 지원하지 않는 경우 상기 무선 통신부(110)의 일부 구성(예컨대, 이동통신 모듈)이 생략될 수도 있다.Referring to FIG. 1, the mobile terminal 100 of the present invention includes a wireless communication unit 110, a user input unit 120, a display unit 130, an audio processor 140, a storage unit 150, and an interface unit 160. , A controller CONTROLLER 170, and a power supply unit 180. The mobile terminal 100 of the present invention is not essential to the components shown in Figure 1, it can be implemented to have more or less than that component. For example, when the mobile terminal according to an embodiment of the present invention supports a shooting function, a configuration of a camera module may be further included. When the mobile terminal according to an embodiment of the present invention does not support a mobile communication function, the wireless Some configurations (eg, mobile communication modules) of the communication unit 110 may be omitted.

상기 무선 통신부(110)는 휴대단말(100)과 무선 통신 시스템 사이 또는 휴대단말(100)과 다른 디바이스가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 이동통신 모듈(111), 무선 랜(WLAN, Wireless Local Area Network) 모듈(113), 근거리 통신 모듈(115), 위치 산출 모듈(117), 그리고 방송 수신 모듈(119) 등을 포함하여 구성될 수 있다.The wireless communication unit 110 may include one or more modules that enable wireless communication between the mobile terminal 100 and the wireless communication system or between the mobile terminal 100 and a network in which other devices are located. For example, the wireless communication unit 110 may include a mobile communication module 111, a wireless local area network (WLAN) module 113, a short range communication module 115, a location calculation module 117, and a broadcast reception module. 119, and the like.

이동통신 모듈(111)은 이동통신 네트워크 상에서 기지국, 외부의 단말, 및 다양한 서버들(예컨대, 통합 서버(integration server), 프로바이더 서버(provider server), 컨텐츠 서버(content server) 등) 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는 음성통화 신호, 화상통화 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. 이동통신 모듈(111)은 제어부(170)의 제어에 따라 상기 다양한 서버들 중 적어도 하나와 접속하여 휴대단말 윈도우 환경 및 데스크톱 윈도우 환경 중 적어도 하나를 지원하는 어플리케이션(App, Application)을 사용자 선택에 따라 수신할 수 있다. The mobile communication module 111 may include at least one of a base station, an external terminal, and various servers (eg, an integration server, a provider server, a content server, etc.) on a mobile communication network. Send and receive wireless signals. The wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call signal, or a text / multimedia message. The mobile communication module 111 is connected to at least one of the various servers under the control of the controller 170 to support an application (App, Application) supporting at least one of a mobile terminal window environment and a desktop window environment according to a user selection. Can be received.

본 발명에서 상기 휴대단말 윈도우 환경은 휴대단말(100)의 기능(또는 어플리케이션)의 화면을 휴대단말(100)의 표시부(130)의 화면 크기에 대응하는 윈도우 크기로 운용하는 환경을 나타낸다. 상기 데스크톱 윈도우 환경은 휴대단말(100)의 기능(또는 어플리케이션)의 화면을 외부 표시장치의 화면 크기에 따라 다양한 윈도우 크기로 데스크톱 환경의 작업이 가능하도록 하는 환경을 나타낸다.In the present invention, the mobile terminal window environment represents an environment in which a screen of a function (or application) of the mobile terminal 100 is operated at a window size corresponding to the screen size of the display unit 130 of the mobile terminal 100. The desktop window environment represents an environment in which a screen of a function (or application) of the mobile terminal 100 can be operated in various window sizes according to the screen size of the external display device.

한편, 이동통신 모듈(111)은 제어부(170)의 제어에 따라 상기 다양한 서버들 중 적어도 하나와 접속하여 다양한 표시장치들에 대한 윈도우 레이아웃 정책(window layout policy)을 수신할 수 있다. Meanwhile, the mobile communication module 111 may receive a window layout policy for various display devices by connecting to at least one of the various servers under the control of the controller 170.

무선 랜 모듈(113)은 무선 인터넷(internet) 접속 및 다른 휴대단말과 무선 랜 링크(link)를 형성하기 위한 모듈을 나타내는 것으로, 휴대단(100)말에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 무선 랜(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), 그리고 HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. 무선 랜 모듈(113)은 제어부(170)의 제어에 따라 상기 다양한 서버들 중 적어도 하나와 접속하여 휴대단말 윈도우 환경 및 데스크톱 윈도우 환경 중 적어도 하나를 지원하는 어플리케이션(App, Application)을 사용자 선택에 따라 수신할 수 있다. 또한 무선 랜 모듈(113)은 다른 휴대단말과 무선 랜 링크가 형성될 시 사용자 선택에 따른 어플리케이션을 다른 휴대단말로 전송하거나 수신 받을 수 있다.The wireless LAN module 113 represents a module for establishing a wireless Internet link and a wireless LAN link with another mobile terminal, and may be embedded or external to the mobile terminal 100. Wireless Internet technologies may include wireless LAN (Wi-Fi), wireless broadband (Wibro), world interoperability for microwave access (Wimax), and high speed downlink packet access (HSDPA). The wireless LAN module 113 is connected to at least one of the various servers under the control of the controller 170 to support an application (App, Application) supporting at least one of a mobile terminal window environment and a desktop window environment according to a user selection. Can be received. In addition, the wireless LAN module 113 may transmit or receive an application according to a user's selection to another mobile terminal when a wireless LAN link is formed with another mobile terminal.

또한, 무선 랜 모듈(113)은 제어부(170)의 제어에 따라 상기 다양한 서버들 중 적어도 하나와 접속하여 다양한 표시장치들에 대한 윈도우 레이아웃 정책을 수신할 수 있다. 또한 무선 랜 모듈(113)은 다른 휴대단말과 무선 랜 링크가 형성될 시 사용자 선택에 따라 저장된 표시장치별 윈도우 레이아웃 정책을 다른 휴대단말로 전송하거나 수신 받을 수 있다.Also, the WLAN module 113 may receive a window layout policy for various display devices by accessing at least one of the various servers under the control of the controller 170. In addition, the WLAN module 113 may transmit or receive the stored window layout policy for each display device to another portable terminal according to a user's selection when the wireless link is formed with another portable terminal.

근거리 통신 모듈(115)은 근거리 통신을 위한 모듈을 나타낸다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), 블루투스 저에너지(BLE, Bluetooth Low Energy), RFID(Radio Frequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), 그리고 NFC(Near Field Communication) 등이 이용될 수 있다. 또한 근거리 통신 모듈(115)은 다른 휴대단말과 근거리 통신이 연결될 시 사용자 선택에 따른 어플리케이션을 다른 휴대단말로 전송하거나 수신 받을 수 있다. 특히, 본 발명의 실시 예에서 상기 근거리 통신 모듈(115)은 외부의 무선 입력 장치(예컨대, 블루투스 키보드, 블루투스 마우스)와 연결을 지원한다. 또한 근거리 통신 모듈(115)은 다른 휴대단말과 근거리 통신이 연결될 시 사용자 선택에 따른 표시장치별 윈도우 레이아웃 정책을 다른 휴대단말로 전송하거나 수신 받을 수 있다. The short range communication module 115 represents a module for short range communication. Short range communication technology, Bluetooth, Bluetooth Low Energy (BLE), Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee ), And Near Field Communication (NFC) may be used. In addition, the near field communication module 115 may transmit or receive an application according to a user selection to another portable terminal when the short range communication is connected to another portable terminal. In particular, in the embodiment of the present invention, the short range communication module 115 supports connection with an external wireless input device (eg, a Bluetooth keyboard, a Bluetooth mouse). In addition, the short range communication module 115 may transmit or receive a window layout policy for each display device according to a user's selection when the short range communication is connected to another portable terminal.

위치 산출 모듈(115)은 휴대단말(100)의 위치를 획득하기 위한 모듈로서, 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 위치 산출 모듈(115)은 3개 이상의 기지국으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 산출할 수 있다. 또는 위치 산출 모듈(115)은 3개 이상의 위성으로부터 휴대단말(100)의 현 위치를 실시간으로 계속 수신함으로써 위치 정보를 산출할 수 있다. 휴대단말(100)의 위치 정보는 다양한 방법에 의해 획득될 수 있다. The position calculation module 115 is a module for acquiring the position of the mobile terminal 100, and a representative example thereof is a GPS (Global Position System) module. The location calculation module 115 calculates distance information and accurate time information away from three or more base stations and then applies trigonometric methods to the calculated information to calculate three-dimensional current location information according to latitude, longitude, and altitude. Can be. Alternatively, the location calculation module 115 may calculate location information by continuously receiving the current location of the mobile terminal 100 in real time from three or more satellites. The location information of the mobile terminal 100 may be obtained by various methods.

방송 수신 모듈(119)은 방송 채널(예컨대, 위성 채널, 지상파 채널 등)을 통하여 외부의 방송 관리 서버로부터 방송 신호(예컨대, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호 등) 및/또는 상기 방송과 관련된 정보(예컨대, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보 등)를 수신한다.The broadcast receiving module 119 may transmit a broadcast signal (eg, a TV broadcast signal, a radio broadcast signal, a data broadcast signal, etc.) and / or the broadcast from an external broadcast management server through a broadcast channel (eg, a satellite channel, a terrestrial channel, etc.). Information related to a broadcast channel, a broadcast program or a broadcast service provider, and the like.

사용자 입력부(120)는 사용자가 휴대단말(100)의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(120)는 키패드(key pad), 돔 스위치(dome switch), 터치패드(정압/정전), 조그 휠(jog wheel), 조그 스위치(jog switch) 등으로 구성될 수 있다. 상기 사용자 입력부(120)는 휴대단말(100)의 외부에 버튼 형태로 구현될 수 있으며, 일부 버튼들은 터치 패널(touch panel)로 구현될 수도 있다.The user input unit 120 generates input data for the user to control the operation of the mobile terminal 100. The user input unit 120 may include a keypad, a dome switch, a touch pad (static / capacitance), a jog wheel, a jog switch, and the like. The user input unit 120 may be implemented in the form of a button on the outside of the mobile terminal 100, and some buttons may be implemented as a touch panel.

한 실시예에 따르면, 사용자 입력부(120)는 숫자 또는 문자 정보를 입력받고 각종 기능들을 설정하기 위한 다수의 키들을 포함할 수 있다. 이러한 키들은 메뉴 불러오기 키, 화면 온/오프 키, 전원 온/오프 키 및 볼륨 조절키 등을 포함할 수 있다. 사용자 입력부(120)는 사용자 설정 및 휴대 단말(100)의 기능 제어와 관련한 키 이벤트를 생성하여 제어부(170)로 전달한다. 키 이벤트는 전원 온/오프 이벤트, 볼륨 조절 이벤트, 화면 온/오프 이벤트 등을 포함할 수 있다. 제어부(170)는 이러한 키 이벤트에 응답하여 상기한 구성들을 제어한다. 한편 사용자 입력부(120)의 키는 하드 키(hard key)라 하고 표시부(130)에 표시되는 가상의(virtual) 키는 소프트 키(soft key)로 지칭될 수 있다.According to an embodiment of the present disclosure, the user input unit 120 may include a plurality of keys for receiving numeric or text information and setting various functions. These keys may include menu recall keys, screen on / off keys, power on / off keys, volume control keys, and the like. The user input unit 120 generates a key event related to user setting and function control of the mobile terminal 100 and transmits the generated key event to the controller 170. The key event may include a power on / off event, a volume control event, a screen on / off event, and the like. The controller 170 controls the above components in response to the key event. Meanwhile, a key of the user input unit 120 may be referred to as a hard key, and a virtual key displayed on the display unit 130 may be referred to as a soft key.

표시부(130)는 휴대단말(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 휴대단말(100)이 통화모드인 경우 통화와 관련된 사용자 인터페이스(UI, User Interface) 또는 그래픽 사용자 인터페이스(GUI, Graphical UI)를 표시한다. 또한 표시부(130)는 휴대단말(100)이 화상통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다. 특히, 표시부(130)는 휴대단말(100)에서 실행되는 다양한 기능(또는 어플리케이션)들에 대한 실행화면을 표시한다. 그리고 표시부(130)는 상기 실행화면에서 제어부(170)의 제어에 따라 가상 입력 장치(예컨대, 가상의 터치패드)를 활성화하여 나타내고, 상기 가상 입력 장치를 통해 입력되는 신호를 상기 제어부(170)로 전달한다. 즉, 상기 표시부(130)는 휴대단말(100)에서 운용되는 다양한 실행화면을 표시하고, 상기 실행화면이 표시된 상태에서 사용자 선택에 따라 상기 가상 입력장치의 화면으로 전환하여 나타낼 수 있다. The display unit 130 displays (outputs) information processed by the mobile terminal 100. For example, when the mobile terminal 100 is in a call mode, the mobile terminal 100 displays a user interface (UI) or a graphic user interface (GUI) related to a call. In addition, when the mobile terminal 100 is in a video call mode or a photographing mode, the display unit 130 displays a photographed and / or received image, a UI, or a GUI. In particular, the display unit 130 displays execution screens for various functions (or applications) executed in the mobile terminal 100. In addition, the display unit 130 activates and displays a virtual input device (for example, a virtual touch pad) under the control of the controller 170 on the execution screen, and transmits a signal input through the virtual input device to the controller 170. To pass. That is, the display unit 130 may display various execution screens operated by the mobile terminal 100, and switch to the screen of the virtual input device according to a user selection while the execution screen is displayed.

또한, 표시부(130)는 휴대단말(100)에서 실행되는 다양한 기능(또는 어플리케이션)들의 실행화면을 윈도우 레이아웃 정책에 따라 표시한다. 표시부(130)는 휴대단말(100)의 회전 방향(또는 놓인 방향)에 따라 가로모드에 의한 화면 표시, 세로모드에 의한 화면 표시 및 가로모드와 세로모드 간의 변화에 따른 화면 전환 표시를 지원할 수 있다. 본 발명에서 운용되는 표시부(130)의 화면 예시에 대해 후술될 것이다.In addition, the display unit 130 displays execution screens of various functions (or applications) executed in the mobile terminal 100 according to a window layout policy. The display unit 130 may support a screen display in a landscape mode, a screen display in a portrait mode, and a screen change display in accordance with a change between a landscape mode and a portrait mode according to a rotation direction (or a laying direction) of the mobile terminal 100. . An example of the screen of the display unit 130 operated in the present invention will be described later.

표시부(130)는 액정 디스플레이(LCD, Liquid Crystal Display), 박막 트랜지스터 액정 디스플레이(TFT LCD, Thin Film Transistor-LCD), 발광 다이오드(LED, Light Emitting Diode), 유기 발광 다이오드(OLED, Organic LED), 능동형 OLED(AMOLED, Active Matrix OLED), 플렉서블 디스플레이(flexible display), 벤디드 디스플레이(bended display), 그리고 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 이들 중 일부 디스플레이는 외부를 볼 수 있도록 투명형 또는 광투명형으로 구성되는 투명 디스플레이(transparent display)로 구현될 수 있다. The display unit 130 may include a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFT LCD), a light emitting diode (LED), an organic light emitting diode (OLED), The display device may include at least one of an active OLED (AMOLED, Active Matrix OLED), a flexible display, a bent display, and a 3D display. Some of these displays may be implemented as a transparent display configured as a transparent type or a transparent type so that the outside can be seen.

또한 표시부(130)와 터치 동작을 감지하는 터치 패널이 상호 레이어(layer) 구조를 이루는 경우(이하, '터치스크린(touchscreen)'이라 칭함)에, 표시부(130)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 패널은 표시부(130)의 특정 부위에 가해진 압력 또는 표시부(130)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 패널은 터치되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 터치 패널에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(미도시)로 보내진다. 터치 제어기(미도시)는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(170)로 전송한다. 이로써, 제어부(170)는 표시부(130)의 어느 영역이 터치되었는지 여부 등을 알 수 있게 된다.In addition, when the display unit 130 and the touch panel sensing a touch operation form a mutual layer structure (hereinafter, referred to as a touch screen), the display unit 130 may be used as an input device as well as an output device. Can be used. The touch panel may be configured to convert a change in pressure applied to a specific portion of the display unit 130 or capacitance generated at a specific portion of the display unit 130 into an electrical input signal. The touch panel may be configured to detect not only the position and area of the touch but also the pressure at the touch. If there is a touch input to the touch panel, the corresponding signal (s) is sent to a touch controller (not shown). The touch controller (not shown) processes the signal (s) and then transmits the corresponding data to the controller 170. As a result, the controller 170 can determine which area of the display unit 130 has been touched.

한편, 앞서 언급한 바와 같이 본 발명의 표시부(130)는 터치패널 및 표시패널을 포함하여 구성된다. 터치패널은 표시패널에 안착(place on the display unit)될 수 있다. 구체적으로 터치패널은 표시패널 위에 위치하는 애드 온 타입(add-on type)이나 표시패널 내에 삽입되는 온 셀 타입(on-cell type) 또는 인 셀 타입(in-cell type)으로 구현될 수 있다.Meanwhile, as mentioned above, the display unit 130 of the present invention includes a touch panel and a display panel. The touch panel may be placed on the display unit. In more detail, the touch panel may be implemented as an add-on type positioned on the display panel, an on-cell type or an in-cell type inserted into the display panel.

터치패널은 표시부(130)에 대한 사용자의 제스처에 응답하여 아날로그 신호(예, 터치이벤트)를 발생하고, 아날로그 신호를 A/D 변환하여 제어부(170)로 전달한다. 여기서 터치이벤트는 터치 좌표(x, y)를 포함한다. 즉 터치패널은 표시부(130)에서 터치 영역(즉, 사용자의 손가락이나 펜 등에 의해 터치된 영역)에 포함된 좌표들 중 하나를 터치 좌표로 결정하고 터치 좌표를 제어부(170)로 전달한다. 여기서 터치 좌표는 픽셀 단위일 수 있다. 예컨대, 표시부(130)의 해상도가 640*480인 경우, X축 좌표는 0에서 640이고 Y축 좌표는 0에서 480일 수 있다. 한편 터치패널은 터치 영역의 좌표들을 포함하는 터치이벤트를 제어부(170)로 전달할 수 있다. 이럴 경우 제어부(170)는 전달된 좌표들 중 하나를 터치 좌표로 결정한다. The touch panel generates an analog signal (eg, a touch event) in response to a user's gesture with respect to the display unit 130, A / D converts the analog signal, and transmits the analog signal to the controller 170. In this case, the touch event includes touch coordinates (x, y). That is, the touch panel determines one of the coordinates included in the touch area (ie, the area touched by the user's finger or pen) on the display unit 130 as touch coordinates and transmits the touch coordinates to the controller 170. The touch coordinates may be in pixel units. For example, when the resolution of the display unit 130 is 640 * 480, the X-axis coordinates may be 0 to 640 and the Y-axis coordinates may be 0 to 480. The touch panel may transmit a touch event including coordinates of the touch area to the controller 170. In this case, the controller 170 determines one of the transmitted coordinates as touch coordinates.

제어부(170)는 터치패널로부터 터치 좌표가 수신될 경우 터치 기구(예, 손가락이나 펜)가 터치패널에 터치된 것으로 결정하고 터치패널로부터 터치 좌표가 수신되지 않을 경우 터치 기구의 터치가 해제된 것으로 결정한다. 또한 제어부(170)는 터치패널로부터 터치의 움직임을 검출한다. 즉 터치 좌표가 예컨대, (x₁, y₁)에서 (x₂, y₂)로 변화된 경우 제어부(170)는 터치가 이동한 것으로 결정한다. 제어부(170)는 터치의 움직임에 응답하여 터치의 위치변화량(d_x, d_y)을 산출한다. 제어부(170)는 터치패널로부터 사용자 입력을 검출한다. 여기서 사용자 입력은 터치, 멀티 터치, 탭(Tap), 더블 탭(Double Tap), 롱 탭(Long tap), 탭 앤 터치(Tap & touch), 드래그(Drag), 플릭(Flick), 프레스(Press), 핀치인(pinch in) 및 핀치아웃(pinch out) 등으로 분류된다. 터치는 사용자가 화면의 어느 한 지점에 터치 기구를 접촉하는 사용자 입력이고, 멀티 터치는 여러 지점에 다수의 터치 기구(예, 엄지와 검지)를 접촉하는 사용자 입력이고, 탭은 화면의 어느 한 지점에 터치 기구가 터치된 후 이동 없이 해당 지점에서 터치 해제(touch-off)되는 사용자 입력이고, 더블 탭은 어느 한 지점을 연속적으로 두 번 탭하는 사용자 입력이고, 롱 탭은 탭보다 상대적으로 길게 터치한 후 터치 기구의 이동 없이 해당 지점에서 터치 기구를 터치 해제하는 사용자 입력이고, 탭 앤 터치는 화면의 어느 지점을 탭한 후 해당 지점을 소정 시간(예, 0.5초)이내에 다시 터치하는 사용자 입력이고, 드래그는 어느 한 지점을 터치한 상태에서 터치 기구를 소정 방향으로 이동시키는 사용자 입력이며, 플릭은 드래그에 비해 터치 기구를 빠르게 이동시킨 후 터치 해제하는 사용자 입력이고, 프레스는 어느 한 지점을 터치한 후 해당 지점을 누르는 사용자 입력이고, 핀치 인은 두 개의 터치 기구로 두 지점을 동시에 멀티 터치한 후 터치 기구들의 간격을 좁히는 사용자 입력이고, 핀치 아웃은 터치 기구들의 간격을 넓히는 사용자 입력이다. 즉 터치는 터치스크린에 접촉(contact)하고 있는 상태를 의미하고, 그 밖의 사용자 입력들은 터치의 변화를 의미한다. 터치스크린 기능의 표시부(130)는 압력 센서를 구비하여 터치된 지점의 압력을 감지할 수 있다. 감지된 압력 정보는 제어부(170)로 전달되고, 제어부(170)는 감지된 압력 정보를 바탕으로 터치와 프레스를 구분한다. The controller 170 determines that the touch mechanism (for example, a finger or a pen) is touched by the touch panel when the touch coordinates are received from the touch panel, and the touch of the touch mechanism is released when the touch coordinates are not received from the touch panel. Decide In addition, the controller 170 detects a movement of a touch from the touch panel. That is, when the touch coordinate is changed from (x ₁ , y ₁ ) to (x ₂ , y ₂ ), the controller 170 determines that the touch has moved. The controller 170 calculates a position change amount of the touch (d _x , d _y ) in response to the movement of the touch. The controller 170 detects a user input from the touch panel. The user input here is touch, multi-touch, tap, double tap, long tap, tap & touch, drag, flick, press ), Pinch in and pinch out. Touch is the user's input that the user touches the touch mechanism at any point on the screen, and multi-touch is the user's input that touches multiple touch mechanisms (eg, thumb and forefinger) at various points, and the tab is any point on the screen. Is a user input that is touch-off at the point without moving after the touch mechanism is touched. Double tap is a user input that taps a point twice in succession, and long tap is touched relatively longer than a tap. After that, the user input for releasing the touch mechanism at the corresponding point without moving the touch mechanism, and tap and touch is a user input for touching the point again within a predetermined time (for example, 0.5 seconds) after tapping a certain point on the screen. Drag is user input to move the touch mechanism in a predetermined direction while touching a point, and flick moves the touch mechanism faster than drag. Touch is user input for touch release, press is user input to touch a point after touching a point, and pinch in is user input to narrow the interval between touch devices after multi-touching two points at the same time with two touch devices. The pinch out is a user input that widens the spacing of the touch mechanisms. That is, the touch means a state of contacting the touch screen, and other user inputs indicate a change of the touch. The display unit 130 of the touch screen function may include a pressure sensor to detect the pressure at the touched point. The detected pressure information is transmitted to the controller 170, and the controller 170 distinguishes a touch from a press based on the detected pressure information.

터치패널은 손 제스처를 감지하는 손 터치패널과 펜 제스처를 감지하는 펜 터치패널를 포함하여 구성된 복합 터치패널일 수 있다. 여기서 손 터치패널은 정전용량 방식(capacitive type)으로 구성된다. 물론 손 터치패널은 저항막 방식(resistive type), 적외선 방식 또는 초음파 방식으로 구성될 수도 있다. 또한 손 터치패널은 사용자의 손 제스처에 의해서만 터치이벤트를 발생하는 것은 아니며, 다른 물체(예, 정전용량 변화를 가할 수 있는 전도성 재질의 물체)에 의해서도 터치이벤트를 생성할 수 있다. 펜 터치패널은 전자 유도 방식(electromagnetic induction type)으로 구성될 수 있다. 이에 따라 펜 터치패널은 자기장을 형성할 수 있도록 특수 제작된 터치용 스타일러스 펜에 의해 터치이벤트를 생성한다.The touch panel may be a composite touch panel including a hand touch panel for detecting a hand gesture and a pen touch panel for detecting a pen gesture. Here, the hand touch panel is configured in a capacitive type. Of course, the hand touch panel may be configured in a resistive type, an infrared method, or an ultrasonic method. In addition, the hand touch panel may not generate a touch event only by a user's hand gesture, but may also generate a touch event by another object (eg, an object of conductive material capable of applying a capacitance change). The pen touch panel may be configured of an electromagnetic induction type. Accordingly, the pen touch panel generates a touch event by a specially manufactured touch stylus pen to form a magnetic field.

표시패널은 제어부(170)의 제어 하에 이미지를 표시한다. 제어부(170)는 데이터를 이미지로 렌더링(rendering)하여 버퍼에 저장한다. 표시패널은 버퍼에 저장된 이미지를 아날로그 신호로 변환하여 표시한다. 즉, 표시패널은 휴대 단말(100)의 이용에 따른 다양한 이미지들 예를 들면, 잠금 화면, 홈 화면, 어플리케이션(줄여서 '앱(App)') 실행 화면, 키패드 등을 표시할 수 있다. 잠금 화면은 표시패널이 켜지면, 표시패널에 표시되는 이미지다. 잠금 해제를 위한 사용자 제스처가 검출되면 제어부(170)는 표시되는 이미지를 잠금 화면에서 홈 화면 또는 앱 실행 화면 등으로 전환(changing)할 수 있다. 홈 화면은 배경 이미지와, 이 위에 표시되는 다수의 아이콘을 포함할 수 있다. 여기서 아이콘들 각각은 앱들에 대응된다. 아이콘들 중 하나가 사용자에 의해 선택(예, 아이콘을 탭)된 경우, 제어부(170)는 해당 앱(예, 브라우저)을 실행하고, 그 실행 화면을 표시패널에 표시한다. 표시패널은 제어부(170)의 제어 하에, 상기 화면들 중에서 하나 예컨대, 앱 실행 화면을 배경(background)으로 표시하고 다른 하나 예컨대, 키패드를 전경(foreground)으로써 상기 배경에 오버랩하여 표시할 수 있다. 또한 표시패널은 제어부(170)의 제어 하에, 제 1 이미지를 제 1 스크린 영역에 표시하고 제 2 이미지를 제 2 스크린 영역에 표시한다. The display panel displays an image under the control of the controller 170. The controller 170 renders the data as an image and stores the data in a buffer. The display panel converts an image stored in the buffer into an analog signal for display. That is, the display panel may display various images according to the use of the mobile terminal 100, for example, a lock screen, a home screen, an application (abbreviated as 'app') execution screen, a keypad, and the like. The lock screen is an image displayed on the display panel when the display panel is turned on. When the user gesture for unlocking is detected, the controller 170 may change the displayed image from the lock screen to the home screen or the app execution screen. The home screen may include a background image and a plurality of icons displayed thereon. Here, each of the icons corresponds to apps. When one of the icons is selected by the user (eg, tapping the icon), the controller 170 executes the corresponding app (eg, a browser) and displays the execution screen on the display panel. Under the control of the controller 170, the display panel may display one of the screens, for example, an app execution screen, as a background and another, for example, the keypad, as the foreground. In addition, the display panel displays the first image on the first screen area and the second image on the second screen area under the control of the controller 170.

오디오 처리부(140)는 제어부(170)로부터 입력 받은 오디오 신호를 스피커(SPK, speaker)(141)로 전송하고, 마이크(MIC, microphone)(143)로부터 입력 받은 음성 등의 오디오 신호를 제어부(170)로 전달하는 기능을 수행한다. 오디오 처리부(140)는 음성/음향 데이터를 제어부(170)의 제어에 따라 스피커(141)를 통해 가청음으로 변환하여 출력하고 마이크(143)로부터 수신되는 음성 등의 오디오 신호를 디지털 신호로 변환하여 제어부(170)로 전달할 수 있다.The audio processor 140 transmits the audio signal received from the controller 170 to the speaker (SPK) speaker 141 and transmits an audio signal such as a voice input from the microphone (MIC) 143 to the controller 170. ) Function. The audio processor 140 converts the audio / sound data into an audible sound through the speaker 141 under the control of the controller 170, and converts the audio signal such as a voice received from the microphone 143 into a digital signal to control the controller. (170).

스피커(141)는 통화 모드, 녹음(녹화) 모드, 미디어 컨텐츠 재생 모드, 방송수신 모드, 그리고 촬영 모드 등에서 무선 통신부(110)로부터 수신되거나, 또는 저장부(150)에 저장된 오디오 데이터를 출력할 수 있다. 스피커(141)는 휴대단말(100)에서 수행되는 기능(예컨대, 통화 연결 수신, 통화 연결 발신, 음악 파일 재생, 동영상 파일 재생, 촬영, 외부 출력 등)과 관련된 음향 신호를 출력할 수도 있다.The speaker 141 may output audio data received from the wireless communication unit 110 or stored in the storage unit 150 in a call mode, a recording (recording) mode, a media content playing mode, a broadcast receiving mode, and a shooting mode. have. The speaker 141 may output a sound signal related to a function (eg, receiving a call connection, sending a call connection, playing a music file, playing a video file, photographing, external output, etc.) performed by the mobile terminal 100.

마이크(143)는 통화 모드, 녹음(녹화) 모드, 음성인식 모드, 그리고 촬영 모드 등에서 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(111)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 그리고 마이크(143)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.The microphone 143 receives an external sound signal in a call mode, a recording (recording) mode, a voice recognition mode, and a shooting mode, and processes the external sound signal into electrical voice data. The processed voice data may be converted into a form transmittable to the mobile communication base station through the mobile communication module 111 and output in the call mode. In addition, various microphones for removing noise may be implemented in the microphone 143 to remove noise generated in the process of receiving an external sound signal.

저장부(150)는 제어부(170)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예컨대, 전화번호, 메시지, 오디오, 미디어 컨텐츠(예컨대, 음악 파일, 동영상 파일), 어플리케이션 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 저장부(150)에는 휴대단말(100) 기능 운용에 따른 사용 빈도(예컨대, 어플리케이션 사용 빈도, 미디어 컨텐츠 재생 빈도, 그리고 전화번호, 메시지 및 멀티미디어에 대한 사용 빈도 등), 중요도, 우선순위 및 선호도도 함께 저장될 수 있다. 저장부(150)에는 터치스크린 상의 터치 입력 시 출력되는 다양한 패턴(pattern)의 진동 및 음향에 관현 데이터를 저장할 수도 있다. 특히, 저장부(150)는 본 발명에서 데스크톱 가상화 기능 운용을 위한 다양한 종류의 어플리케이션을 저장하며, 본 발명에서 상기 어플리케이션들은 휴대단말 윈도우 환경 및 데스크톱 윈도우 환경을 지원하도록 구분될 수 있다. 예를 들어, 동일한 동작을 제공하는 특정 어플리케이션은 휴대단말 윈도우 환경에 따른 실행화면을 출력하는 기본 모드의 어플리케이션과 데스크톱 윈도우 환경에 따른 실행화면을 출력하는 데스크톱 모드의 어플리케이션으로 이루어질 수 있다.The storage unit 150 may store a program for processing and controlling the controller 170, and input / output data (eg, a phone number, a message, audio, media content (eg, a music file, a video file)). , Applications, etc.) may be temporarily stored. The storage unit 150 has a frequency of use (eg, frequency of application use, frequency of playing media content, frequency of use of phone numbers, messages and multimedia, etc.), importance, priority, and preference according to the operation of the mobile terminal 100. Can be stored together. The storage unit 150 may store orthogonal data in various patterns of vibration and sound output when a touch input on the touch screen is performed. In particular, the storage unit 150 stores various types of applications for operating the desktop virtualization function in the present invention, and in the present invention, the applications may be divided to support a mobile terminal window environment and a desktop window environment. For example, a specific application providing the same operation may be formed of an application of a basic mode that outputs an execution screen according to a mobile terminal window environment and an application of a desktop mode that outputs an execution screen according to a desktop window environment.

또한, 저장부(150)는 본 발명에서 표시장치별 서로 다른 윈도우 레이아웃에 의한 화면을 제공하는 기능의 운용을 위한 다양한 종류의 표시장치들에 대한 윈도우 레이아웃 정책을 저장한다. 본 발명에서 상기 윈도우 레이아웃 정책은 다양한 종류의 표시장치들의 각 자원별로 미리 매핑되어 매핑테이블 형태로 상기 저장부(150)에 저장될 수 있다.In addition, the storage unit 150 stores window layout policies for various types of display devices for operating a function of providing a screen according to a different window layout for each display device. In the present invention, the window layout policy may be pre-mapped for each resource of various types of display devices and stored in the storage unit 150 in the form of a mapping table.

한편, 저장부(150)는 부팅 프로그램, 운영체제(OS, Operating System), 미들웨어(middleware) 및 가상 컨트롤러를 저장한다. 본 발명에서 가상 컨트롤러는 가상의 터치스크린의 생성을 운영체제에 요청하고, 가상의 터치스크린에 대응되는 실행 화면을 표시하도록 표시부(130)를 제어한다. 운영체제의 커널(kernel)은 유입력(Uinput) 모듈을 포함한다. 본 발명에서 유입력 모듈은 가상 컨트롤러의 요청에 응답하여 가상의 터치스크린을 생성하고, 가상 컨트롤러로부터 터치이벤트를 수신하고, 터치이벤트를 가상의 터치스크린으로 전달한다. 미들웨어는 운영체제와 어플리케이션 사이 또는 다른 종류의 어플리케이션들 사이에서 데이터를 중계한다. 본 발명에서 엑스서버는 윈도우 운영체제 기반의 미들웨어로써, 가상의 터치스크린으로부터 사용자 입력(예, 터치의 위치 변화량(d_x, d_y))을 수신하고, 수신된 사용자 입력을 외부표시장치와 관련된 어플리케이션으로 전달한다. 그러면 관련된 어플리케이션은 사용자 입력에 대응되는 기능(예, 외부표시장치에 표시되는 포인터를 위치변화량에 비례하여 이동)을 수행한다.The storage unit 150 stores a booting program, an operating system (OS), middleware, and a virtual controller. In the present invention, the virtual controller requests the operating system to generate a virtual touch screen and controls the display unit 130 to display an execution screen corresponding to the virtual touch screen. The kernel of the operating system includes an input module. In the present invention, the inflow force module generates a virtual touch screen in response to a request of the virtual controller, receives a touch event from the virtual controller, and transmits the touch event to the virtual touch screen. Middleware relays data between an operating system and an application or between other kinds of applications. In the present invention, the X server is a middleware based on the Windows operating system. The X server receives a user input (for example, a position change amount (d _x , d _y ) of a touch) from a virtual touch screen, and receives the received user input from an application related to an external display device. To pass. Then, the associated application performs a function corresponding to the user input (for example, moving the pointer displayed on the external display device in proportion to the position change amount).

저장부(150)는 내재화 어플리케이션(embedded application) 및 서드파티 어플리케이션(3rd party application)을 포함할 수 있다. 내재화 어플리케이션은 휴대 단말(100)에 기본적으로 탑재되어 있는 어플리케이션을 의미한다. 예컨대 내재화 어플리케이션은 브라우저(browser), 이메일(email), 인스턴트 메신저(instant messenger), 가상 컨트롤러 등이 될 수 있다. 서드파티 어플리케이션은 주지되어 있는 바와 같이 온라인 마켓으로부터 휴대 단말(100)에 다운로드되어 설치될 수 있는 어플리케이션을 의미하며, 매우 다종다양하다. 이러한 서드파티 어플리케이션은 설치 및 제거가 자유롭다. 휴대 단말(100)이 켜지면 먼저 부팅 프로그램이 제어부(170)의 주기억장치(예, RAM)로 로딩(loading)된다. 이러한 부팅 프로그램은 휴대 단말(100)가 동작할 수 있게 운영체제 및 미들웨어를 주기억장치로 로딩한다. 운영체제는 어플리케이션을 주기억장치로 로딩하여 실행한다. 이러한 부팅 및 로딩은 컴퓨터 시스템에서 널리 공지되어 있는 기술이므로 구체적인 설명은 생략한다.The storage unit 150 may include an embedded application and a third party application. The internalization application refers to an application that is basically installed in the mobile terminal 100. For example, the internalization application may be a browser, an email, an instant messenger, a virtual controller, or the like. Third-party applications refer to applications that can be downloaded and installed from the online market to the mobile terminal 100, as is well known, and are very diverse. These third party applications are free to install and uninstall. When the portable terminal 100 is turned on, a booting program is first loaded into a main memory (eg, RAM) of the controller 170. The booting program loads the operating system and the middleware into the main memory so that the portable terminal 100 can operate. The operating system loads the application into main memory and executes it. Such booting and loading is well known in computer systems, and thus a detailed description thereof will be omitted.

저장부(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 저장 매체(storage medium)를 포함할 수 있다. 휴대단말(100)은 인터넷 상에서 상기 저장부(150)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.The storage unit 150 may include a flash memory type, a hard disk type, a micro type, and a card type (eg, an SD card or an XD card). Card)), RAM (Random Access Memory), SRAM (Static RAM), ROM (Read-Only Memory), PROM (Programmable ROM), EEPROM (Electrically Erasable PROM), Magnetic Memory (MRAM) , A storage medium of at least one type of a magnetic RAM, a magnetic disk, and an optical disk type of memory. The mobile terminal 100 may operate in connection with a web storage that performs a storage function of the storage unit 150 on the Internet.

인터페이스부(160)는 휴대단말(100)에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(160)는 외부 기기로부터 데이터를 전송 받거나, 전원을 공급받아 휴대단말(100) 내부의 각 구성 요소에 전달하거나, 휴대단말(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 입/출력(Input/Output) 포트, 비디오 입/출력 포트, 이어폰 포트 등이 인터페이스부(160)에 포함될 수 있다. 특히, 본 발명에서 상기 인터페이스부(160)는 외부 기기인 적어도 하나의 외부 표시장치와 유선 또는 무선으로 연결하기 위한 데이터 포트(data port)를 포함한다. 예를 들어, 상기 인터페이스부(160)는 휴대단말(100)과 외부 표시장치를 연결하기 위한 HDMI(High-Definition Multimedia Interface)(표준형 HDMI, 미니 HDMI, 마이크로 HDMI) 및/또는 USB(Universal Serial Bus) 인터페이스를 포함할 수 있다. 또한 휴대단말(100)과 외부 표시장치가 무선 랜(Wi-Fi)으로 연결될 시 상기 무선 랜이 상기 인터페이스부(160)에 포함될 수 있고, 휴대단말(100)과 외부 입력장치가 블루투스로 연결될 시 상기 블루투스가 상기 인터페이스부(160)에 포함될 수 있다.The interface unit 160 serves as a path to all external devices connected to the mobile terminal 100. The interface unit 160 receives data from an external device, receives power, transfers the power to each component inside the mobile terminal 100, or transmits the data inside the mobile terminal 100 to an external device. For example, wired / wireless headset ports, external charger ports, wired / wireless data ports, memory card ports, ports for connecting devices with identification modules, audio input / output ), A video input / output port, an earphone port, and the like may be included in the interface unit 160. In particular, in the present invention, the interface unit 160 includes a data port for connecting to at least one external display device, which is an external device, by wire or wirelessly. For example, the interface unit 160 may include a high-definition multimedia interface (HDMI) (standard HDMI, mini-HDMI, micro-HDMI) and / or a universal serial bus (USB) for connecting the mobile terminal 100 to an external display device. ) May include an interface. In addition, when the portable terminal 100 and the external display device are connected to the wireless LAN (Wi-Fi), the wireless LAN may be included in the interface unit 160, and the portable terminal 100 and the external input device are connected via Bluetooth The Bluetooth may be included in the interface unit 160.

제어부(170)는 휴대단말(100)의 전반적인 동작을 제어한다. 예를 들어, 음성 통화, 데이터 통신, 화상 통화, 데스크톱 가상화, 외부 출력 등에 관련된 제어를 수행한다. 제어부(170)는 데스크톱 가상화 및 외부 출력 등과 관련된 기능 운용을 위한 별도의 멀티미디어 모듈(미도시)을 구비할 수도 있다. 본 발명에서 멀티미디어 모듈(미도시)은 제어부(170) 내에 구현될 수도 있고, 제어부(170)와 별도로 구현될 수도 있다.The controller 170 controls the overall operation of the mobile terminal 100. For example, controls related to voice call, data communication, video call, desktop virtualization, external output, and the like are performed. The controller 170 may include a separate multimedia module (not shown) for operating functions related to desktop virtualization and external output. In the present invention, the multimedia module (not shown) may be implemented in the controller 170 or may be implemented separately from the controller 170.

제어부(170)는 본 발명의 실시 예에 따른 데스크톱 가상화를 지원하기 위한 일련의 동작을 제어한다. 즉, 제어부(170)는 상기 외부 표시장치(200)와 연동 시 휴대단말(100)에서 생성되는 데이터와 어플리케이션을 상기 외부 표시장치(200)를 통해 데스크톱 환경에 대응하게 표시 및 작업이 가능한 데스크톱 가상화를 제어한다. 즉, 제어부(170)는 휴대단말(100)이 외부 표시장치(200)와 연결될 시 데스크톱 모드를 실행하고, 상기 데스크톱 모드에 따른 기본 데스크톱 윈도우 화면을 상기 외부 표시장치(200)를 통해 표시되도록 제어한다. 여기서, 제어부(170)는 상기 데스크톱 가상화 제어 시 상기 휴대단말에 표시되는 윈도우 화면과 상기 외부 표시장치에 표시되는 윈도우 화면을 다른 레이아웃으로 별도로 운용한다.The controller 170 controls a series of operations for supporting desktop virtualization according to an embodiment of the present invention. That is, the controller 170 may display and work on data and applications generated by the mobile terminal 100 in response to the desktop environment through the external display device 200 when interworking with the external display device 200. To control. That is, the controller 170 controls the mobile terminal 100 to execute the desktop mode when the mobile terminal 100 is connected to the external display device 200 and to display the basic desktop window screen according to the desktop mode through the external display device 200. do. Here, the controller 170 separately manages the window screen displayed on the portable terminal and the window screen displayed on the external display device in a different layout during the desktop virtualization control.

또한 제어부(170)는 상기 외부 표시장치(200)가 연결될 시 기본 데스크톱 윈도우 화면을 상기 외부 표시장치(200)로 출력하고, 상기 데스크톱 모드에서 입력되는 제어 이벤트를 판별한다. 그리고 제어부(170)는 제어 이벤트가 상기 외부 표시장치의 데스크톱 영역의 제어를 위한 외부 이벤트이면 상기 데스크톱 영역의 화면 표시를 제어한다. 반면, 제어부(170)는 상기 제어 이벤트가 상기 휴대단말의 기본 영역의 제어를 위한 내부 이벤트이면 상기 기본 영역의 화면 표시를 제어한다.In addition, the controller 170 outputs a basic desktop window screen to the external display device 200 when the external display device 200 is connected, and determines a control event input in the desktop mode. If the control event is an external event for controlling the desktop area of the external display device, the controller 170 controls the screen display of the desktop area. On the other hand, if the control event is an internal event for controlling the basic area of the mobile terminal, the controller 170 controls the screen display of the basic area.

또한 제어부(170)는 상기 외부 표시장치(200)가 연결될 시 상기 외부 표시장치(200)의 화면 크기에 대한 정보를 획득할 수 있다. 여기서, 상기 외부 표시장치(200)의 화면 크기에 대한 정보 획득은 상기 휴대단말(100)에 의한 폴링(polling) 방식으로 획득하거나, 상기 외부 표시장치(200)에 의한 푸시(push) 방식으로 획득될 수 있다.In addition, the controller 170 may obtain information about the screen size of the external display device 200 when the external display device 200 is connected. Herein, information on the screen size of the external display device 200 may be obtained by a polling method by the mobile terminal 100 or by a push method by the external display device 200. Can be.

또한 제어부(170)는 상기 외부 표시장치(200)를 통해 상기 데스크톱 환경의 레이아웃(layout)을 가지는 윈도우 환면 표시를 제어하며, 상기 외부 표시장치(200)의 데스크톱 영역을 통한 상기 윈도우 화면 표시 시 상기 윈도우의 프레임 상단에 윈도우 크기 조절 버튼이 구성하여 제공할 수 있다. In addition, the controller 170 controls the display of the window back having the layout of the desktop environment through the external display device 200, and when the window screen is displayed through the desktop area of the external display device 200. The window resizing button can be configured and provided at the top of the window frame.

제어부(170)는 본 발명의 실시 예에 따른 기능을 지원하기 위한 일련의 동작을 제어한다. 즉, 제어부(170)는 상기 외부 표시장치(200)와 연동 시 휴대단말(100)에서 생성되는 데이터와 어플리케이션을 상기 외부 표시장치(200)를 통해 설정된 윈도우 레이아웃 정책에 대응하는 레이아웃으로 표시되도록 제어한다. 여기서, 제어부(170)는 상기 휴대단말(100)에 표시되는 윈도우 화면과 상기 외부 표시장치(200)에 표시되는 윈도우 화면을 다른 레이아웃으로 별도로 운용한다. The controller 170 controls a series of operations for supporting a function according to an embodiment of the present invention. That is, the controller 170 controls the data and the application generated by the mobile terminal 100 to be displayed in a layout corresponding to the window layout policy set through the external display device 200 when interworking with the external display device 200. do. The controller 170 separately operates the window screen displayed on the mobile terminal 100 and the window screen displayed on the external display device 200 in a different layout.

본 발명의 실시 예에 따른 제어부(170)는 표시장치들에 대한 윈도우 레이아웃 정책을 설정하는 것과 관련된 동작을 제어한다. 이후, 제어부(170)는 어플리케이션 실행 요청에 따른 윈도우 생성 시 미리 설정된 윈도우 레이아웃 정책에 따라 상기 윈도우에 적용할 윈도우 레이아웃 정책을 결정할 수 있다. 그리고 제어부(170)는 결정된 윈도우 레이아웃 정책에 따른 레이아웃으로 상기 윈도우를 생성하여 상기 외부 표시장치(200) 표시되도록 제어한다.The controller 170 according to an embodiment of the present disclosure controls an operation related to setting window layout policies for display devices. Thereafter, the controller 170 may determine a window layout policy to be applied to the window according to a preset window layout policy when generating a window according to an application execution request. In addition, the controller 170 generates the window with the layout according to the determined window layout policy and controls the external display device 200 to be displayed.

제어부(170)는 표시장치에 대한 윈도우 레이아웃 결정 시 표시장치들에 자원을 획득하고, 표시장치별 자원 및 상기 자원에 매핑된 윈도우 레이아웃 정책을 검색할 수 있다. 특히, 제어부(170)는 상기 외부 표시장치(200)에 대한 자원 획득 시, 상기 휴대단말(100)에 의한 폴링(polling) 방식으로 획득하거나, 상기 외부 표시장치(200)에 의한 푸시(push) 방식으로 획득할 수 있다.When determining the window layout of the display device, the controller 170 may acquire resources from the display devices and search for resources per display device and window layout policy mapped to the resources. In particular, the controller 170 may acquire the resource for the external display device 200, obtain the polling method by the mobile terminal 100, or push the external display device 200. Can be obtained in a manner.

본 발명의 다른 실시예에 따르면, 제어부(170)는 응용프로그램 및 운영체제를 저장하는 주기억장치와, 저장부(150)에 기록(write)할 데이터를 저장하고 저장부(150)로부터 읽어 온(read) 데이터를 저장하는 캐시메모리와, CPU(central processing unit)와, GPU(graphic processing unit) 등을 포함할 수 있다. 여기서 운영체제는 하드웨어와 프로그램간의 인터페이스 역할을 하면서, CPU, GPU, 주기억장치, 보조기억장치 등의 컴퓨터 자원을 관리한다. 즉, 운영체제는 휴대 단말(100)를 동작시키고 작업(task)의 순서를 정하며 CPU의 연산 및 GPU의 연산을 제어한다. 또한 운영체제는 응용 프로그램의 실행을 제어하는 기능과, 데이터와 파일의 저장을 관리하는 기능 등을 수행한다. 한편 주지된 바와 같이 CPU는 자료의 연산 및 비교와, 명령어의 해석 및 실행 등을 수행하는 컴퓨터 시스템의 핵심적인 제어 유닛이다. GPU는 CPU를 대신하여, 그래픽과 관련한 자료의 연산 및 비교와, 명령어의 해석 및 실행 등을 수행하는 그래픽 제어 유닛이다. CPU와 GPU은 각각, 두 개 이상의 독립 코어(예, 쿼드 코어(quad-core))가 단일 집적 회로로 이루어진 하나의 패키지(package)로 통합될 수 있다. 또한 CPU와 GPU는 하나의 칩으로 통합(SoC; System on Chip)된 것일 수 있다. 또한 CPU와 GPU는 멀티 레이어(multi layer)로 패키징(packaging)된 것일 수도 있다. 한편 CPU 및 GPU를 포함하는 구성은 AP(Application Processor)라고 지칭될 수 있다.According to another embodiment of the present invention, the control unit 170 stores a main memory device for storing the application program and the operating system, data to be written to the storage unit 150 and read from the storage unit 150 (read) Cache memory for storing data, a central processing unit (CPU), a graphics processing unit (GPU), and the like. The operating system serves as an interface between hardware and programs, and manages computer resources such as CPU, GPU, main memory, and auxiliary memory. That is, the operating system operates the mobile terminal 100, determines the order of tasks, and controls the operation of the CPU and the operation of the GPU. The operating system also controls the execution of applications and manages the storage of data and files. On the other hand, as is well known, the CPU is an essential control unit of a computer system that performs calculation and comparison of data, interpretation and execution of instructions, and the like. The GPU is a graphic control unit that performs calculation and comparison of data related to graphics, interpretation and execution of instructions, etc. on behalf of the CPU. Each of the CPU and GPU can be integrated into one package of two or more independent cores (eg quad-cores) in a single integrated circuit. In addition, the CPU and GPU may be integrated into one chip (System on Chip). In addition, the CPU and GPU may be packaged in a multi-layer. Meanwhile, a configuration including a CPU and a GPU may be referred to as an application processor (AP).

이러한 제어부(170)의 상세 제어 동작에 대해 후술하는 도면들을 참조한 휴대단말(100)의 동작 예시 및 그의 제어 방법에서 설명될 것이다.The detailed control operation of the control unit 170 will be described in the operation example of the mobile terminal 100 and the control method thereof with reference to the drawings described below.

전원 공급부(180)는 제어부(170)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성 요소들의 동작에 필요한 전원을 공급한다.The power supply unit 180 receives external power and internal power under the control of the controller 170 to supply power required for the operation of each component.

한편, 본 발명에서 설명되는 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 발명에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부(170) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. Meanwhile, various embodiments described in the present invention may be implemented in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof. According to a hardware implementation, the embodiments described in the present invention may include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and field programmable gate arrays (FPGAs). ), Processors, controllers, micro-controllers, microprocessors, and other electrical units for performing other functions. In some cases, the embodiments described herein may be implemented by the controller 170 itself. According to the software implementation, embodiments such as the procedures and functions described herein may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.

여기서, 상기 기록 매체는 휴대단말(100)이 외부 표시장치(200)와 연결될 시 데스크톱 모드를 실행하고, 상기 데스크톱 모드에 따른 기본 데스크톱 윈도우 화면을 상기 외부 표시장치(200)를 통해 표시하며, 상기 외부 표시장치(200)를 통해 데스크톱 윈도우 환경 기반의 데스크톱 가상화 기능이 운용되도록 처리하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함할 수 있다.Here, the recording medium executes the desktop mode when the mobile terminal 100 is connected to the external display device 200, displays a basic desktop window screen according to the desktop mode through the external display device 200, and The external display device 200 may include a computer-readable recording medium that records a program for processing a desktop virtualization function based on a desktop window environment.

상기 기록 매체는 어플리케이션 실행에 따른 윈도우 생성 이벤트를 검출하고, 상기 윈도우 생성 이벤트에 응답하여 상기 윈도우가 생성될 표시장치를 확인하여 상기 표시장치에 대한 자원(resource)을 획득하고, 상기 획득된 자원에 대응하여 상기 표시장치의 윈도우 레이아웃 정책을 결정하고, 결정된 윈도우 레이아웃 정책에 따른 레이아웃으로 상기 표시장치에 상기 윈도우를 생성하며, 상기 윈도우를 통해 상기 어플리케이션의 실행화면이 표시되도록 처리하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함할 수 있다.The recording medium detects a window creation event according to an application execution, identifies a display device on which the window is to be generated in response to the window creation event, obtains a resource for the display device, Correspondingly, determine a window layout policy of the display device, generate the window on the display device with a layout according to the determined window layout policy, and record a program processing to display an execution screen of the application through the window. It may include a readable recording medium.

그리고 본 발명의 실시 예에 따른 휴대단말(100)은 본 발명의 기능을 지원하는 모든 정보통신기기, 멀티미디어기기 및 그에 대한 응용기기와 같이 AP(Application Processor), GPU(Graphic Processing Unit), CPU(Central Processing Unit)를 사용하는 모든 디바이스를 포함할 수 있다. 예를 들어, 상기 휴대단말은 다양한 통신 시스템에 대응되는 각 통신 프로토콜들(communication protocols)에 의거하여 동작하는 이동통신 단말기를 비롯하여, 태블릿(tablet) PC(Personal Computer), 스마트 폰(Smart Phone), 디지털 카메라, PMP(Portable Multimedia Player), 미디어 플레이어(Media Player)(예컨대, MP3(MPEG Audio Layer 3) 플레이어), 휴대게임단말, 및 PDA(Personal Digital Assistant) 등의 디바이스를 포함할 수 있다. 그리고 상기 본 발명의 외부 표시장치는 모니터(monitor), 디지털 TV(Digital Television), DS(Digital Signage), LFD(Large Format Display) 등과 같이 다양한 표시장치를 포함할 수 있다.The mobile terminal 100 according to an embodiment of the present invention, like all information communication devices, multimedia devices, and application devices supporting the functions of the present invention, has an application processor (AP), a graphics processing unit (GPU), a CPU ( It can include any device that uses a Central Processing Unit. For example, the portable terminal includes a mobile communication terminal operating based on communication protocols corresponding to various communication systems, a tablet PC, a smart phone, Devices such as a digital camera, a portable multimedia player (PMP), a media player (eg, an MP3 player), a portable game terminal, and a personal digital assistant (PDA). The external display device of the present invention may include various display devices such as a monitor, a digital television (TV), a digital signage (DS), a large format display (LFD), and the like.

한편 디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 휴대 단말(100)은 가속도 센서, 자이로 센서, GPS 모듈, NFC(Near Filed Communication) 모듈, 진동 모터, 카메라, 액세서리 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수 있다. 여기서 액세서리는 휴대 단말(100)로부터 분리가 가능한 휴대 단말(100)의 부속품으로써 예컨대, 표시부(130)에 터치를 위한 펜이 될 수 있다. 또한 휴대 단말(100)은 그 제공 형태에 따라 상기한 구성들에서 특정 구성이 제외되거나 다른 구성으로 대체될 수도 있다.On the other hand, according to the trend of convergence (convergence) of the digital device is very diverse and can not be enumerated, but the mobile terminal 100 is an acceleration sensor, gyro sensor, GPS module, NFC (Near Filed Communication) module, vibration motor, camera It may further include components not mentioned above, such as accessories and the like. The accessory may be an accessory of the portable terminal 100 that can be detached from the portable terminal 100, and may be, for example, a pen for touching the display unit 130. In addition, the mobile terminal 100 may be omitted from the above configuration or replaced with another configuration according to the form of the provision.

이하 본 발명의 데스크톱 가상화에 대한 실시예들을 도 2 내지 도 15를 참조하여 설명하기로 한다.Hereinafter, embodiments of the desktop virtualization of the present invention will be described with reference to FIGS. 2 to 15.

도 2는 본 발명의 실시 예에 따른 휴대단말(100)과 외부 기기들 간의 연결 관계를 설명하기 위해 개략적으로 도시한 도면이다.2 is a diagram schematically illustrating a connection relationship between a mobile terminal 100 and external devices according to an exemplary embodiment of the present invention.

상기 도 2를 참조하면, 본 발명의 시스템은 외부 표시장치(200)와의 연결을 통해 다중 스크린 기능을 지원하는 휴대단말(100) 및 상기 휴대단말(100)에서 출력되는 화면을 데스크톱 윈도우 환경에 따른 화면으로 표시하는 외부 표시장치(200)를 포함하여 구성된다. 또한 본 발명의 시스템은 상기 휴대단말(100)에 연결되어 상기 휴대단말(100) 또는 상기 외부 표시장치(200)에 표시된 각 윈도우들을 조작할 수 있는 외부 입력장치(300)를 포함하여 구성된다. 상기 도 2에서 상기 외부 표시장치(200)는 모니터를 포함할 수 있고, 상기 외부 입력장치(300)는 키보드 및 마우스를 포함할 수 있다.Referring to FIG. 2, the system of the present invention allows a mobile terminal 100 to support a multi-screen function through a connection with an external display device 200 and a screen output from the mobile terminal 100 according to a desktop window environment. It is configured to include an external display device 200 to display a screen. In addition, the system of the present invention includes an external input device 300 connected to the mobile terminal 100 and capable of manipulating respective windows displayed on the mobile terminal 100 or the external display device 200. In FIG. 2, the external display device 200 may include a monitor, and the external input device 300 may include a keyboard and a mouse.

상기 도 2에 도시된 바와 같이, 상기 휴대단말(100)과 상기 외부 표시장치(200)는 유선 인터페이스를 통해 연결되거나 또는 무선 인터페이스를 통해 연결될 수 있다. 예를 들어, 상기 휴대단말(100)과 상기 외부 표시장치(200)는 HDMI에 의해 유선으로 연결되거나, Wi-Fi에 의해 무선으로 연결될 수 있다. 따라서 휴대단말(100)은 휴대단말(100)에서 생성하는 다양한 화면데이터를 외부 표시장치(200)와의 연결 방식에 따라 유선 인터페이스(예컨대, HDMI)를 통해 외부로 출력하거나, 무선 인터페이스(예컨대, Wi-Fi)를 통해 외부로 출력할 수 있다.As illustrated in FIG. 2, the mobile terminal 100 and the external display device 200 may be connected through a wired interface or through a wireless interface. For example, the mobile terminal 100 and the external display device 200 may be wired by HDMI or wirelessly by Wi-Fi. Therefore, the mobile terminal 100 outputs various screen data generated by the mobile terminal 100 to the outside through a wired interface (for example, HDMI) or a wireless interface (for example, Wi) according to a connection method with the external display device 200. -Fi) can be output to the outside.

또한 상기 휴대단말(100)과 상기 외부 입력장치(300)는 유선 인터페이스를 통해 연결되거나 또는 무선 인터페이스를 통해 연결될 수 있다. 예를 들어, 상기 휴대단말(100)과 상기 외부 입력장치(300)는 USB 인터페이스에 의해 유선으로 연결되거나, 블루투스에 의해 무선으로 연결될 수 있다. 따라서 휴대단말(100)은 상기 외부 입력장치(300)와의 연결 방식에 따라 상기 외부 입력장치(300)의 제어신호를 유선 인터페이스(예컨대, USB 인터페이스)를 통해 수신하거나, 무선 인터페이스(예컨대, 블루투스)를 통해 수신할 수 있다. 여기서, 상기 제어신호는 상기 휴대단말(100)에 표시된 윈도우 화면을 제어하는 신호이거나, 상기 외부 표시장치(200)에 표시된 윈도우 화면을 제어하는 신호일 수 있다. 특히, 본 발명의 실시 예에서는 상기 도 2와 같이 상기 휴대단말(100)이 외부 표시장치(200) 및 외부 입력장치(300)와 각각 연결되어, 상기 외부 표시장치(200)를 이용한 데스크톱 가상화 기능을 동작하는 경우, 상기 외부 입력장치(300)를 통해 상기 외부 표시장치(200)에 표시된 윈도우 화면을 제어하는 것을 특징으로 한다. In addition, the mobile terminal 100 and the external input device 300 may be connected through a wired interface or through a wireless interface. For example, the portable terminal 100 and the external input device 300 may be wired by a USB interface or wirelessly by Bluetooth. Therefore, the mobile terminal 100 receives a control signal of the external input device 300 through a wired interface (eg, a USB interface) or a wireless interface (eg, Bluetooth) according to a connection method with the external input device 300. Can be received via The control signal may be a signal for controlling the window screen displayed on the mobile terminal 100 or a signal for controlling the window screen displayed on the external display device 200. In particular, in the embodiment of the present invention, as shown in FIG. 2, the mobile terminal 100 is connected to the external display device 200 and the external input device 300, respectively, and the desktop virtualization function using the external display device 200 is performed. In this case, the window screen displayed on the external display device 200 is controlled through the external input device 300.

따라서 상기 휴대단말(100)은 상기 외부 입력장치(300)로부터 제어신호를 수신할 시 휴대단말(100)에 표시된 윈도우 화면은 유지하는 상태에서, 상기 외부 표시장치(200)에 표시된 윈도우 화면에 대한 제어를 수행하고, 그에 따른 결과를 상기 외부 표시장치(200)를 통해 표시되도록 하는 일련의 처리를 수행한다.Accordingly, when the portable terminal 100 receives the control signal from the external input device 300, the portable terminal 100 maintains the window screen displayed on the portable terminal 100. The control is performed, and a series of processes are performed to display the result through the external display device 200.

도 3은 본 발명의 실시 예에 따른 휴대단말(100)과 외부 표시장치(200) 간의 동작 관계를 개략적으로 도시한 도면이고, 도 4 및 도 5는 본 발명의 실시 예에 따른 휴대단말(100)과 외부 표시장치(200) 간의 연결 시의 화면 예시를 도시한 도면들이다.3 is a view schematically illustrating an operation relationship between a mobile terminal 100 and an external display device 200 according to an exemplary embodiment of the present invention, and FIGS. 4 and 5 are examples of the portable terminal 100 according to an exemplary embodiment of the present invention. ) Is a diagram illustrating a screen example when the external display device 200 is connected.

상기 도 3 내지 도 5를 참조하면, 휴대단말(100)은 외부 표시장치(200)와 연결되면(301단계), 데스크톱 모드를 자동 실행하고, 기본 데스크톱 윈도우 화면을 외부 표시장치(200)로 전달한다(303단계). 이때, 휴대단말(100)은 상기 데스크톱 모드 실행 시 상기 도 4에 도시된 바와 같이 휴대단말(100)의 현재 표시는 유지하는 상태에서, 내부적으로 데스크톱 모드를 실행하여 상기 기본 데스크톱 윈도우 화면을 상기 외부 표시장치(200)로 전달한다. 그리고 상기 휴대단말(100)은 상기 외부 표시장치(200)가 연결될 시 상기 외부 표시장치(200)의 화면 크기에 대한 정보를 획득하고, 상기 화면 크기에 대응하여 상기 기본 데스크톱 윈도우 화면의 크기를 결정할 수 있다. 여기서, 상기 외부 표시장치(200)의 화면 크기에 대한 정보 획득은 상기 휴대단말(100)이 상기 외부 표시장치(200)가 연결되는 시점에서 폴링(polling) 방식으로 획득하거나, 또는 상기 휴대단말(100)과 상기 외부 표시장치(200)가 연결될 시 상기 외부 표시장치(200)가 외부 표시장치(200)의 화면 크기에 대한 정보를 푸시(push) 방식으로 상기 휴대단말(100)에게 전송할 수도 있다.3 to 5, when the mobile terminal 100 is connected to the external display device 200 (step 301), the mobile terminal 100 automatically executes the desktop mode and transfers the basic desktop window screen to the external display device 200. (Step 303). In this case, when the mobile terminal 100 executes the desktop mode, the mobile terminal 100 maintains the current display of the mobile terminal 100 as shown in FIG. 4. Transfer to display device 200. The mobile terminal 100 acquires information on the screen size of the external display device 200 when the external display device 200 is connected, and determines the size of the basic desktop window screen in response to the screen size. Can be. In this case, information about the screen size of the external display device 200 may be obtained by a polling method when the mobile terminal 100 is connected to the external display device 200, or the mobile terminal ( When the external display device 200 is connected to the external display device 200, the external display device 200 may transmit information on the screen size of the external display device 200 to the mobile terminal 100 in a push manner. .

상기 외부 표시장치(200)는 상기 휴대단말(100)과 연결된 후 상기 휴대단말(100)로부터 상기 기본 데스크톱 윈도우 화면이 전달되면 상기 기본 데스크톱 윈도우 화면을 표시한다(305단계). 여기서, 상기 기본 데스크톱 윈도우 화면은 상기 도 4에 도시된 바와 같이 미리 설정된 배경 화면(230)과 외부 표시장치(200)를 통해 데스크톱 윈도우 환경에 대응하는 작업을 바로 수행할 수 있도록 하는 소정의 어플리케이션들에 대한 데스크톱용 바로가기 아이콘(250)(또는 아이콘 리스트)을 포함할 수 있다.The external display device 200 displays the basic desktop window screen when the basic desktop window screen is transferred from the portable terminal 100 after being connected to the portable terminal 100 (step 305). Here, the basic desktop window screen is a predetermined application that allows the user to directly perform a task corresponding to the desktop window environment through the preset background screen 230 and the external display device 200 as illustrated in FIG. 4. It may include a desktop shortcut icon 250 (or icon list) for.

휴대단말(100)은 데스크톱 윈도우 환경에 대응하는 작업을 위한 제어 이벤트가 발생되면, 상기 제어 이벤트에 대응하는 화면을 외부 표시장치(200)로 전달한다(307단계). 예를 들어, 사용자가 휴대단말(100) 또는 외부 입력장치(300)를 이용하여 상기 외부 표시장치(200)를 통해 표시된 데스크톱용 바로가기 아이콘(250) 중 어느 하나를 선택하는 제어 이벤트를 입력하면, 휴대단말(100)은 상기 외부 표시장치(200)에 표시된 아이콘(250) 중 사용자 선택에 따른 아이콘(250)의 어플리케이션을 판별한다. 그리고 판별된 어플리케이션을 데스크톱 모드로 실행하여 데스크톱 윈도우 환경에 따른 화면(어플리케이션 데스크톱 윈도우 화면)을 상기 외부 표시장치(200)로 전달한다. 즉, 휴대단말(100)은 외부 표시장치(200)와 같이 데스크톱 영역에 위치한 아이콘 선택에 의한 어플리케이션 실행을 검출할 시 데스크톱 환경에 맞는 레이아웃(layout)을 갖는 어플리케이션을 실행하고, 그에 따른 화면 출력을 처리한다.When a control event for a task corresponding to the desktop window environment occurs, the mobile terminal 100 transmits a screen corresponding to the control event to the external display device 200 (step 307). For example, when a user inputs a control event for selecting one of the desktop shortcut icons 250 displayed through the external display device 200 using the mobile terminal 100 or the external input device 300. The mobile terminal 100 determines an application of the icon 250 according to the user's selection among the icons 250 displayed on the external display device 200. Then, the determined application is executed in the desktop mode, and the screen (application desktop window screen) according to the desktop window environment is transmitted to the external display device 200. That is, the mobile terminal 100 executes an application having a layout suitable for the desktop environment when detecting the execution of an application by selecting an icon located in the desktop area, such as the external display device 200, and outputs the screen accordingly. Process.

상기 외부 표시장치(200)는 상기 휴대단말(100)로부터 상기 어플리케이션 데스크톱 윈도우 화면이 전달되면 상기 어플리케이션 데스크톱 윈도우 화면을 표시한다(309단계). 여기서, 상기 어플리케이션 데스크톱 윈도우 화면은 상기 도 5에 도시된 바와 같이 휴대단말(100)에서 표시되는 윈도우 화면과는 달리, 데스크톱 환경에 맞는 레이아웃을 가지는 어플리케이션의 실행화면으로 제공된다. 이때, 휴대단말(100)의 화면은 현재 상태를 그대로 유지할 수 있다. 여기서, 상기 어플리케이션의 실행화면은 휴대단말(100)에 표시되는 실행화면과는 달리, 데스크톱 윈도우 환경에 대응하여 각 윈도우의 프레임 상단에 상태바(550)를 포함한다. 상기 상태바(550)는 실행화면(또는 해당 윈도우)에 대한 상태정보(어플리케이션 이름 등)가 표시될 수 있다. 특히, 상기 상태바(550)는 실행된 윈도우의 최소화, 최대화, 그리고 닫기와 같이 윈도우 크기 조절과 관련된 최소화 버튼, 최대화 버튼, 그리고 닫기 버튼과 같은 윈도우 크기 조절 버튼(555)을 포함할 수 있다.The external display device 200 displays the application desktop window screen when the application desktop window screen is transmitted from the mobile terminal 100 (step 309). Here, the application desktop window screen is provided as an execution screen of an application having a layout suitable for a desktop environment, unlike the window screen displayed on the mobile terminal 100 as shown in FIG. 5. In this case, the screen of the mobile terminal 100 may maintain the current state. Here, the execution screen of the application, unlike the execution screen displayed on the mobile terminal 100, includes a status bar 550 at the top of the frame of each window corresponding to the desktop window environment. The status bar 550 may display status information (application name, etc.) for an execution screen (or a corresponding window). In particular, the status bar 550 may include a window resizing button 555 such as a minimize button, a maximize button, and a close button related to window resizing such as minimizing, maximizing, and closing the executed window.

도 6 및 도 7은 본 발명의 실시 예에 따른 휴대단말(100)과 외부 표시장치(200) 간의 입력 동작을 설명하기 위해 개략적으로 도시한 도면들이다.6 and 7 are diagrams schematically illustrating an input operation between the mobile terminal 100 and the external display device 200 according to an exemplary embodiment of the present invention.

상기 도 6 및 도 7을 참조하면, 상기 도 6은 휴대단말(100)을 외부 표시장치(200)의 입력 수단으로 이용하는 경우의 예시를 나타낸 것이고, 상기 도 7은 휴대단말(100)에 연결된 외부 입력장치(300)를 외부 표시장치(200)의 입력 수단으로 이용하는 경우의 예시를 나타낸 것이다.6 and 7 illustrate an example in which the mobile terminal 100 is used as an input means of the external display device 200, and FIG. 7 is an external device connected to the mobile terminal 100. An example in which the input device 300 is used as an input means of the external display device 200 is shown.

상기 도 6에 도시된 바와 같이, 휴대단말(100)은 사용자 선택에 따라 가상의 입력장치(예컨대, 가상의 터치패드)를 활성화하여 표시할 수 있다. 그리고 사용자는 휴대단말(100)에 표시된 상기 가상의 입력장치를 이용하여 제어 이벤트를 입력하여, 외부 표시장치(200)에 표시된 데스크톱 영역의 포인터(750) 이동, 어플리케이션의 실행, 실행된 윈도우 화면에 대한 이동, 윈도우 크기 확대/축소, 크기 최소화, 크기 최대화, 그리고 윈도우 닫기 등의 조작을 수행할 수 있다. As illustrated in FIG. 6, the mobile terminal 100 may activate and display a virtual input device (for example, a virtual touch pad) according to a user's selection. In addition, the user inputs a control event using the virtual input device displayed on the mobile terminal 100 to move the pointer 750 of the desktop area displayed on the external display device 200, execute an application, and execute a window screen. You can move the image, zoom the window size, minimize the size, maximize the size, and close the window.

본 발명에서 상기 가상의 입력장치는 외부 표시장치(200)에 표시된 윈도우의 프레임 상단에 제공되는 상태바(550)의 최소화 버튼, 최대화 버튼, 그리고 닫기 버튼에 대응하게 할당되어 각 버튼들의 기능을 바로 실행할 수 있도록 하는 윈도우 크기 조절 영역(630), 외부 표시장치(200)를 통해 제공되는 포인터(750)의 이동, 아이콘 선택, 싱글터치 이벤트 입력, 그리고 멀티터치 이벤트 입력 등을 지원하는 터치패드 영역(650), 그리고 마우스의 좌 클릭 및 우 클릭에 대응하는 기능을 바로 실행할 수 있도록 하는 마우스 버튼 영역(670)으로 구분되어 제공될 수 있다. 그리고 상기 가상 입력장치는 휴대단말(100)의 다양한 상태정보를 실시간 제공하는 인디케이터 영역(610)이 선택적으로 표시될 수도 있다. 여기서, 상기 윈도우 크기 조절 영역(630)에는 가상의 터치 키패드 실행을 위한 키패드 실행 버튼이 할당되어 제공될 수 있다.In the present invention, the virtual input device is assigned to correspond to the minimize button, the maximize button, and the close button of the status bar 550 provided at the top of the frame of the window displayed on the external display device 200 to directly control the functions of the buttons. A touch pad area for supporting a window resizing area 630 to be executed, a movement of the pointer 750 provided through the external display device 200, icon selection, single touch event input, and multi-touch event input. 650, and a mouse button area 670 that directly executes functions corresponding to left and right clicks of the mouse. In addition, the virtual input device may optionally display an indicator region 610 that provides various state information of the mobile terminal 100 in real time. Here, a keypad execution button for executing a virtual touch keypad may be allocated to the window size adjusting area 630.

상기 도 7에 도시된 바와 같이, 휴대단말(100)은 외부 입력장치(300)(예컨대, 키보드 및 마우스)와 블루투스에 의해 무선 연결되거나 또는 USB 인터페이스에 의해 유선 연결될 수 있다. 사용자는 휴대단말(100)에 연결된 외부 입력장치(300)를 이용하여 제어 이벤트를 입력하여, 외부 표시장치(200)에 표시된 데스크톱 영역의 포인터(750) 이동, 어플리케이션의 실행, 실행된 윈도우 화면에 대한 이동, 윈도우 크기 확대/축소, 크기 최소화, 크기 최대화, 그리고 윈도우 닫기 등의 조작을 수행할 수 있다. As illustrated in FIG. 7, the mobile terminal 100 may be wirelessly connected to the external input device 300 (eg, a keyboard and a mouse) by Bluetooth or wired by a USB interface. The user inputs a control event using the external input device 300 connected to the mobile terminal 100 to move the pointer 750 in the desktop area displayed on the external display device 200, to execute an application, and to execute a window screen. You can move the image, zoom the window size, minimize the size, maximize the size, and close the window.

도 8 내지 도 12는 본 발명의 실시 예에 따른 휴대단말(100) 및 외부 표시장치(200)에서 데스크톱 가상화 운용에 따른 화면 예시를 도시한 도면들이다.8 to 12 are diagrams illustrating screen examples of the desktop virtualization operation in the mobile terminal 100 and the external display device 200 according to an exemplary embodiment of the present invention.

상기 도 8을 참조하면, 상기 도 8은 휴대단말(100)의 제어에 따라 하나의 어플리케이션이 외부 표시장치(200)를 통해 데스크톱 윈도우 환경으로 실행되고 있는 상태의 예시를 나타낸다. 특히, 상기 도 8에 도시된 바와 같이 어플리케이션에 대한 실행 윈도우의 경우 윈도우 크기 조절 버튼(555)을 가지는 상태바(550)가 윈도우 프레임 상단에 제공될 수 있다. 또한 상기 도 8의 경우 상기 휴대단말(100)에 외부 입력장치(300)가 연결되어 상기 외부 입력장치(300)를 통해 외부 표시장치(200)에 표시된 윈도우를 조작하는 경우의 예시를 나타내며, 상기 외부 입력장치(300)에 의한 입력 모드에 따라 포인터(750)가 데스크톱 영역에 제공될 수 있다. Referring to FIG. 8, FIG. 8 illustrates an example in which one application is executed in a desktop window environment through the external display device 200 under the control of the mobile terminal 100. In particular, as shown in FIG. 8, in the case of an execution window for an application, a status bar 550 having a window resizing button 555 may be provided at the top of the window frame. 8 illustrates an example in which an external input device 300 is connected to the portable terminal 100 to manipulate a window displayed on the external display device 200 through the external input device 300. The pointer 750 may be provided in the desktop area according to the input mode by the external input device 300.

여기서, 상기 휴대단말(100)은 외부 표시장치(200)와 같이 데스크톱 영역에 위치한 아이콘 선택에 의한 어플리케이션 실행을 검출할 시 데스크톱 환경에 맞는 레이아웃을 갖는 어플리케이션을 실행하고, 그에 따른 화면 출력을 처리한다. 따라서 상기 외부 표시장치(200)는 상기 휴대단말(100)로부터 상기 어플리케이션 데스크톱 윈도우 화면이 전달되면 상기 어플리케이션 데스크톱 윈도우 화면을 표시한다. 상기 어플리케이션 데스크톱 윈도우 화면은 상기 도 8에 도시된 바와 같이 휴대단말(100)에서 표시되는 윈도우 화면과는 달리, 데스크톱 환경에 맞는 레이아웃을 가지는 어플리케이션의 실행화면으로 제공된다. 이때, 휴대단말(100)의 화면은 현재 상태를 그대로 유지할 수 있다. Here, the mobile terminal 100 executes an application having a layout suitable for the desktop environment and detects the screen output according to the detection of the execution of the application by selecting an icon located in the desktop area, such as the external display device 200. . Therefore, the external display device 200 displays the application desktop window screen when the application desktop window screen is transmitted from the mobile terminal 100. Unlike the window screen displayed on the mobile terminal 100 as shown in FIG. 8, the application desktop window screen is provided as an execution screen of an application having a layout suitable for a desktop environment. In this case, the screen of the mobile terminal 100 may maintain the current state.

상기 도 9를 참조하면, 상기 도 9는 휴대단말(100)의 제어에 따라 복수개의 어플리케이션들이 외부 표시장치(200)를 통해 데스크톱 윈도우 환경으로 실행되고 있는 상태의 예시를 나타낸다. 특히, 상기 도 9에 도시된 바와 같이 각 어플리케이션들에 대한 복수개의 실행 윈도우들의 경우 윈도우 크기 조절 버튼(555)을 가지는 상태바(550)가 각 윈도우 프레임 상단에 제공될 수 있다. 이때, 각 윈도우들의 상태바(550)는 실행된 어플리케이션에 따라 실행화면의 상태정보가 각각 다르게 제공될 수 있다. 또한 상기 도 9의 경우 상기 휴대단말(100)에 외부 입력장치(300)가 연결되어 상기 외부 입력장치(300)를 통해 외부 표시장치(200)에 표시된 윈도우를 조작하는 경우의 예시를 나타내며, 상기 외부 입력장치(300)에 의한 입력 모드에 따라 포인터(750)가 데스크톱 영역에 제공될 수 있다.Referring to FIG. 9, FIG. 9 illustrates an example in which a plurality of applications are executed in a desktop window environment through the external display device 200 under the control of the mobile terminal 100. In particular, as shown in FIG. 9, in the case of a plurality of execution windows for each application, a status bar 550 having a window resizing button 555 may be provided at the top of each window frame. In this case, the status bar 550 of each window may be provided with different status information of the execution screen according to the executed application. 9 illustrates an example in which an external input device 300 is connected to the mobile terminal 100 to manipulate a window displayed on the external display device 200 through the external input device 300. The pointer 750 may be provided in the desktop area according to the input mode by the external input device 300.

상기 도 10을 참조하면, 상기 도 10은 휴대단말(100)의 제어에 따라 특정 어플리케이션이 외부 표시장치(200)를 통해 데스크톱 윈도우 환경으로 실행된 상태에서 사용자의 조작에 따라 상기 어플리케이션에 대한 실행 윈도우를 확장하는 경우의 화면 예시를 나타낸 것이다. 상기 도 10에 도시된 바와 같이, 사용자는 외부 입력장치(300)를 통해 포인터(750)를 윈도우 프레임의 우측 가장자리에 이동할 수 있다. 상기 포인터(750)가 윈도우 프레임의 가장자리에 위치할 시 상기 포인터(750)는 윈도우 크기를 확장하거나 축소할 수 있음을 지시하는 지시자로 변경되어 제공될 수 있다. 그리고 사용자는 상기 지시자를 확인하고, 상기 외부 입력장치(300)를 조작하여 우측 방향으로 이동하는 제어 이벤트를 입력할 수 있다. 그러면, 상기 도 10에 도시된 바와 같이 상기 윈도우가 확장되고 그에 따른 윈도우 화면이 제공될 수 있다. 예를 들어, 갤러리 어플리케이션의 실행에 따라 윈도우에서 갤러리 리스트만 표시된 상태에서, 상기 윈도우가 확장될 시 갤러리 리스트의 사진들에 대한 상세정보(확대 사진)를 표시할 수 있는 영역까지 포함하는 윈도우 화면이 제공될 수 있다.Referring to FIG. 10, FIG. 10 illustrates an execution window for the application according to a user's operation while a specific application is executed in a desktop window environment through an external display device 200 under the control of the mobile terminal 100. The following is an example of the screen when expanding. As illustrated in FIG. 10, the user may move the pointer 750 to the right edge of the window frame through the external input device 300. When the pointer 750 is located at the edge of the window frame, the pointer 750 may be provided as an indicator indicating that the window size can be expanded or reduced. In addition, the user may check the indicator and input a control event that moves to the right direction by manipulating the external input device 300. Then, as shown in FIG. 10, the window may be expanded and a window screen may be provided accordingly. For example, when a gallery list is displayed in a window according to the execution of a gallery application, a window screen including an area capable of displaying detailed information (enlarged picture) of photos in the gallery list when the window is expanded is displayed. Can be provided.

상기 도 11을 참조하면, 상기 도 11은 휴대단말(100)의 제어에 따라 특정 어플리케이션의 외부 표시장치(200)를 통해 데스크톱 윈도우 환경으로 실행된 상태에서 사용자의 조작에 따라 상기 어플리케이션에 대한 실행 윈도우를 이동하는 경우의 화면 예시를 나타낸 것이다. 상기 도 11에 도시된 바와 같이, 사용자는 외부 입력장치(300)를 통해 포인터(750)를 윈도우 프레임의 상단 즉, 상태바(550)에 이동할 수 있다. 상기 포인터(750)가 상기 상태바(550)의 어느 일 영역에 위치할 시 상기 포인터(750)는 윈도우를 이동할 수 있음을 지시하는 지시자로 변경되어 제공될 수 있다. 그리고 사용자는 상기 지시자를 확인하고, 상기 외부 입력장치(300)를 조작하여 외부 표시장치(200)의 표시 영역 중 어느 일 방향(예컨대, 우측 방향)으로 이동하는 제어 이벤트를 입력할 수 있다. 그러면, 상기 도 11에 도시된 바와 같이 상기 윈도우가 사용자의 입력에 대응하여 이동되고 이동된 위치에서 상기 윈도우 화면이 제공될 수 있다. Referring to FIG. 11, FIG. 11 illustrates an execution window for the application according to a user's operation in a state of being executed in a desktop window environment through an external display device 200 of a specific application under the control of the mobile terminal 100. The screen example in the case of moving is shown. As illustrated in FIG. 11, the user may move the pointer 750 to the top of the window frame, that is, the status bar 550, through the external input device 300. When the pointer 750 is located in one region of the status bar 550, the pointer 750 may be provided as an indicator indicating that the window can be moved. In addition, the user may check the indicator and may operate a control unit of the external input device 300 to input a control event moving in one direction (eg, right direction) of the display area of the external display device 200. Then, as illustrated in FIG. 11, the window may be moved in response to a user input and the window screen may be provided at the moved position.

상기 도 12를 참조하면, 상기 도 12는 휴대단말(100)의 제어에 따라 특정 어플리케이션이 외부 표시장치(200)를 통해 데스크톱 윈도우 환경으로 실행되고 있는 상태의 예시를 나타낸다. 상기 도 12에 도시된 바와 같이 어플리케이션에 대한 실행 윈도우의 경우 윈도우 크기 조절 버튼(555)을 가지는 상태바(550)가 윈도우 프레임 상단에 제공될 수 있다. 특히, 상기 도 12에서는 상기 도 8에서와 같은 상태에서 휴대단말(100)의 영역에서 어플리케이션이 실행되는 경우의 예시를 나타낸다. 즉, 상기 도 12에 도시된 바와 같이, 휴대단말(100)은 상기와 같이 외부 표시장치(200)와 연결된 상태에서, 콜 수신과 같은 어플리케이션 실행 이벤트가 검출될 시 상기 외부 표시장치(200)의 화면은 현재 상태를 그대로 유지하는 상태에서 휴대단말(100)의 실행 이벤트에 따른 윈도우 화면(예컨대, 콜 수신 상태 화면)을 휴대단말(100) 상에 표시한다. 이때, 상기 도 12에 도시된 바와 같이, 상기 휴대단말(100)에서 어플리케이션 실행이 이루어짐에 따라 상기 외부 표시장치(200)의 화면은 현재 상태를 유지하면서, 포인터(750)가 외부 표시장치(200)의 화면에서 제거될 수 있다. 이는 현재 조작이 휴대단말(100)에서 이루어지고 있음을 직관적으로 나타내기 위해 제공될 수 있다.Referring to FIG. 12, FIG. 12 illustrates an example in which a specific application is executed in a desktop window environment through the external display device 200 under the control of the mobile terminal 100. As shown in FIG. 12, in the case of an execution window for an application, a status bar 550 having a window resizing button 555 may be provided at the top of the window frame. In particular, FIG. 12 illustrates an example in which an application is executed in the area of the mobile terminal 100 in the same state as in FIG. 8. That is, as shown in FIG. 12, when the mobile terminal 100 is connected to the external display device 200 as described above, when an application execution event such as a call reception is detected, the portable terminal 100 of the external display device 200 is detected. The screen displays a window screen (eg, a call reception status screen) according to an execution event of the mobile terminal 100 on the mobile terminal 100 while maintaining the current state. In this case, as shown in FIG. 12, as the application is executed in the portable terminal 100, the screen of the external display device 200 maintains a current state, and the pointer 750 is connected to the external display device 200. ) Can be removed from the screen. This may be provided to intuitively indicate that the operation is currently being performed in the mobile terminal 100.

여기서, 상기 휴대단말(100)은 외부 표시장치(200)와 같이 데스크톱 영역에 위치한 아이콘 선택에 의한 어플리케이션 실행을 검출할 시 데스크톱 환경에 맞는 레이아웃을 갖는 어플리케이션을 실행하고, 그에 따른 화면 출력을 처리한다. 따라서 상기 외부 표시장치(200)는 상기 휴대단말(100)로부터 상기 어플리케이션 데스크톱 윈도우 화면이 전달되면 데스크톱 환경에 맞는 레이아웃을 가지는 어플리케이션 데스크톱 윈도우 화면을 표시한다. 또한 도 12에서와 같이 상기 휴대단말(100)의 영역에서 어플리케이션을 실행할 경우, 상기 휴대단말(100)의 레이아웃에 맞는 어플리케이션 화면이 출력된다.Here, the mobile terminal 100 executes an application having a layout suitable for the desktop environment and detects the screen output according to the detection of the execution of the application by selecting an icon located in the desktop area, such as the external display device 200. . Accordingly, when the application desktop window screen is transmitted from the mobile terminal 100, the external display device 200 displays an application desktop window screen having a layout suitable for a desktop environment. In addition, as shown in FIG. 12, when an application is executed in the area of the mobile terminal 100, an application screen suitable for the layout of the mobile terminal 100 is output.

한편, 상기 도 8 내지 도 12에서는 휴대단말(100)에 외부 입력장치(300)가 연결된 경우를 예시로 나타내었으나, 상기 도 8 내지 도 12와 같은 동작에서 외부 입력장치(300)의 구성은 생략되고, 앞서 살펴본 바와 같이 휴대단말(100)을 통해 제공되는 가상 입력장치를 통해 외부 표시장치(200)의 데스크톱 윈도우 환경에 대한 조작을 수행할 수도 있다.8 to 12 illustrate an example in which the external input device 300 is connected to the mobile terminal 100, the configuration of the external input device 300 is omitted in the same operation as in FIGS. 8 to 12. As described above, an operation on the desktop window environment of the external display device 200 may be performed through the virtual input device provided through the mobile terminal 100.

도 13은 본 발명의 실시 예에 따른 휴대단말(100)에서 데스크톱 가상화 운용 방법을 도시한 흐름도이다.13 is a flowchart illustrating a desktop virtualization operating method in the mobile terminal 100 according to an embodiment of the present invention.

상기 도 13을 참조하면, 제어부(170)는 특정 모드(예컨대, 대기 모드, 어플리케이션 실행 모드 등)를 수행하는 중에(1301단계), 외부 표시장치(200)의 연결을 검출할 수 있다(1303단계). 예를 들어, 제어부(170)는 특정 모드 수행 중에 유선(HDMI) 또는 무선(W-Fi)를 통해 외부 표시장치(200)가 연결되는 것을 검출할 수 있다. 여기서, 제어부(170)는 외부 표시장치(200)가 연결될 시 데스크톱 가상화를 위한 데스크톱 모드를 자동 실행하고, 상기 기본 데스크톱 윈도우 화면을 상기 외부 표시장치(200)로 전달할 수 있다. 또한 제어부(170)는 상기 외부 표시장치(200)가 연결될 시, 휴대단말(100)과 외부 표시장치(200) 간에 연결된 연결 방식을 식별할 수도 있다.Referring to FIG. 13, the controller 170 may detect a connection of the external display device 200 in operation 1301 while performing a specific mode (eg, standby mode, application execution mode, etc.) (step 1303). ). For example, the controller 170 may detect that the external display device 200 is connected through wired (HDMI) or wireless (W-Fi) while performing a specific mode. Here, when the external display device 200 is connected, the controller 170 may automatically execute a desktop mode for virtualizing the desktop and transfer the basic desktop window screen to the external display device 200. Also, when the external display device 200 is connected, the controller 170 may identify a connection method connected between the mobile terminal 100 and the external display device 200.

제어부(170)는 외부 표시장치(200)가 연결될 시 상기 외부 표시장치(200)의 화면 크기에 대한 정보를 획득한다(1305단계). 여기서, 상기 외부 표시장치(200)의 화면 크기에 대한 정보 획득은 상기 휴대단말(100)이 상기 외부 표시장치(200)가 연결되는 시점에서 폴링 방식으로 획득하거나, 또는 상기 휴대단말(100)과 상기 외부 표시장치(200)가 연결될 시 상기 외부 표시장치(200)가 외부 표시장치(200)의 화면 크기에 대한 정보를 푸시 방식으로 상기 휴대단말(100)에게 전송할 수도 있다.When the external display device 200 is connected, the controller 170 acquires information on the screen size of the external display device 200 (step 1305). In this case, the information about the screen size of the external display device 200 may be obtained by a polling method when the mobile terminal 100 is connected to the external display device 200 or the mobile terminal 100 may be connected to the mobile terminal 100. When the external display device 200 is connected, the external display device 200 may transmit information about the screen size of the external display device 200 to the mobile terminal 100 in a push manner.

제어부(170)는 상기 획득된 외부 표시장치(200)의 화면 크기에 대한 정보에 기초하여 기본 데스크톱 윈도우 화면의 크기를 결정하고(1307단계), 결정된 화면 크기에 대응하는 기본 데스크톱 윈도우 화면을 상기 외부 표시장치(200)에 출력할 수 있다(1309단계). 여기서, 상기 제어부(170)는 상기 외부 표시장치(200)가 연결된 방식에 따라 유선(HDMI) 또는 무선(WI-FI)에 의한 기본 데스크톱 윈도우 화면을 출력하기 위한 처리를 수행할 수 있다.The controller 170 determines the size of the basic desktop window screen based on the obtained information on the screen size of the external display apparatus 200 (step 1307), and displays the basic desktop window screen corresponding to the determined screen size in the external screen. The display device 200 may output it to the display device 200 (step 1309). Herein, the controller 170 may perform a process for outputting a basic desktop window screen by wired (HDMI) or wireless (WI-FI) according to a method in which the external display device 200 is connected.

제어부(170)는 상기 외부 표시장치(200)를 통해 데스크톱 모드 운용을 위한 기본 데스크톱 윈도우 화면이 제공된 상태에서 제어 이벤트 입력을 수신하면(1311단계), 상기 제어 이벤트가 휴대단말(100)의 기본 영역을 제어하는 내부 제어 이벤트인지, 또는 외부 표시장치(200)의 데스크톱 영역을 제어하는 외부 제어 이벤트인지 판단한다(1313단계).When the control unit 170 receives a control event input in a state where a basic desktop window screen for operating a desktop mode is provided through the external display device 200 (step 1311), the control event is a basic area of the mobile terminal 100. In operation 1313, it is determined whether the internal control event controls the external control event or the external control event controlling the desktop area of the external display apparatus 200.

제어부(170)는 상기 제어 이벤트가 외부 제어 이벤트가 아니면(1313단계의 NO), 즉 내부 제어 이벤트에 해당하면, 상기 외부 표시장치(200)의 화면은 현재 상태를 유지한 채로, 휴대단말(100)의 기본 영역에서 휴대단말(100)의 레이아웃에 맞는 상기 내부 제어 이벤트에 따른 실행화면이 표시되도록 제어한다(1315단계). 즉, 제어부(170)는 상기 휴대단말(100)의 기본 영역의 윈도우 화면 표시를 제어한다.If the control event is not the external control event (NO in step 1313), that is, the internal control event, the controller 170 maintains a current state of the screen of the external display device 200, and the portable terminal 100 In step 1315, the control screen is displayed such that an execution screen according to the internal control event that matches the layout of the mobile terminal 100 is displayed in the basic region. That is, the controller 170 controls the display of the window screen of the basic area of the mobile terminal 100.

제어부(170)는 상기 제어 이벤트가 외부 제어 이벤트이면(1313단계의 YES), 상기 휴대단말(100)의 화면은 현재 상태를 유지한 채로, 외부 표시장치(200)의 데스크톱 영역에서 데스크톱 환경에 맞는 레이아웃을 가지는 데스크톱 윈도우 화면이 표시되도록 제어한다(1317단계).If the control event is an external control event (YES in step 1313), the controller 170 maintains a current state of the screen of the mobile terminal 100 to fit the desktop environment in the desktop area of the external display device 200. The desktop window screen having the layout is controlled to be displayed (step 1317).

도 14는 본 발명의 실시 예에 따른 휴대단말(100)에서 데스크톱 가상화 운용 방법을 도시한 흐름도이다. 특히, 상기 도 14에서는 휴대단말(100)에 외부 입력장치(300)가 연결되지 않은 상태이고, 휴대단말(100)을 이용하여 외부 표시장치(200)의 데이터 영역을 조작하기 위한 가상 입력장치를 제공하는 경우의 동작 예시를 나타낸다.14 is a flowchart illustrating a desktop virtualization operating method in the mobile terminal 100 according to an embodiment of the present invention. In particular, in FIG. 14, the external input device 300 is not connected to the mobile terminal 100, and a virtual input device for manipulating a data area of the external display device 200 using the mobile terminal 100 is provided. The operation example in the case of providing is shown.

상기 도 14를 참조하면, 제어부(170)는 데스크톱 모드 실행(1401단계) 중에 가상 입력장치의 실행이 요청되면(1403단계), 가상 입력장치 어플리케이션을 실행한다(1405단계). 예를 들어, 제어부(170)는 휴대단말(100)과 외부 표시장치(200)가 연결되어 기본 데스크톱 윈도우 화면을 외부 표시장치(200)를 통해 표시하는 중에 휴대단말(100)의 조작(예컨대, 메뉴 조작, 단축키 입력 등)에 의해 가상 입력장치의 실행을 요청하는 입력을 수신할 수 있다. 그러면, 제어부(170)는 상기 외부 표시장치(200)의 기본 데스크톱 윈도우 화면은 유지하는 상태에서 휴대단말(100)의 기본 영역에서 가상 입력장치 어플리케이션의 실행을 제어한다.Referring to FIG. 14, when the execution of the virtual input device is requested (step 1403) during the desktop mode execution (step 1401), the controller 170 executes the virtual input device application (step 1405). For example, the controller 170 may operate the mobile terminal 100 while the mobile terminal 100 and the external display device 200 are connected to display a basic desktop window screen through the external display device 200 (eg, Menu operation, shortcut key input, etc.) may receive an input for requesting the execution of the virtual input device. Then, the controller 170 controls the execution of the virtual input device application in the basic area of the mobile terminal 100 while maintaining the basic desktop window screen of the external display device 200.

제어부(170)는 상기 가상 입력장치 어플리케이션 실행에 따라 가상 입력장치를 휴대단말(100)의 기본 영역의 레이아웃에 맞게 출력하고, 상기 외부 표시장치(200)의 데스크톱 영역에 포인터(750) 출력을 제어한다(1407단계).The controller 170 outputs the virtual input device according to the layout of the basic area of the mobile terminal 100 according to the execution of the virtual input device application, and controls the output of the pointer 750 to the desktop area of the external display device 200. (Step 1407).

제어부(170)는 가상 입력장치가 표시된 상태에서 상기 가상 입력장치를 통한 사용자 입력에 따라 데스크톱 영역을 제어한다(1409단계). 예를 들어, 제어부(170)는 앞서 도 8 내지 도 12에서 살펴본 바와 같은 예시에 따른 동작들을 제어할 수 있다. 즉, 제어부(170)는 외부 표시장치(200)에 표시된 데스크톱 영역의 포인터(750) 이동, 어플리케이션의 실행, 실행된 윈도우 화면에 대한 이동, 윈도우 크기 확대/축소, 크기 최소화, 크기 최대화, 그리고 윈도우 닫기 등의 데스크톱 환경에 따른 작업을 제어할 수 있다. The controller 170 controls the desktop area according to a user input through the virtual input device while the virtual input device is displayed (step 1409). For example, the controller 170 may control operations according to the example as described above with reference to FIGS. 8 through 12. That is, the controller 170 moves the pointer 750 of the desktop area displayed on the external display device 200, executes the application, moves to the executed window screen, enlarges / reduces the window size, minimizes the size, maximizes the size, and the window. You can control the work of the desktop environment, such as closing.

도 15는 본 발명의 실시 예에 따른 휴대단말(100)에서 데스크톱 가상화 운용 방법을 도시한 흐름도이다. 특히, 상기 도 15에서는 휴대단말(100)에 외부 입력장치(300)가 연결된 상태에서, 상기 외부 입력장치(300)로부터의 입력에 대한 처리 동작 예시를 나타낸다.15 is a flowchart illustrating a desktop virtualization operating method in the mobile terminal 100 according to an embodiment of the present invention. In particular, FIG. 15 illustrates an example of a processing operation for an input from the external input device 300 while the external input device 300 is connected to the mobile terminal 100.

상기 도 15를 참조하면, 제어부(170)는 데스크톱 모드 실행(1501단계) 중에 외부 입력장치(300)로부터 제어 이벤트 입력을 수신할 수 있다(1503단계). Referring to FIG. 15, the controller 170 may receive a control event input from the external input device 300 during the desktop mode execution (step 1501).

제어부(170)는 상기 데스크톱 모드에서 외부 입력장치(300)로부터 제어 이벤트 입력이 수신되면, 휴대단말(100)의 기본 영역의 화면은 현재 상태를 유지하고(1505단계), 상기 외부 입력장치(300)의 제어 이벤트를 구분한다(1507단계). 예를 들어, 제어부(170)는 상기 외부 입력장치(300)에 의한 제어 이벤트가 키보드 및 마우스 중 어떠한 수단에 의한 제어 입력인지 구분할 수 있고, 해당 수단에서 어떠한 작업 수행을 위한 입력인지 구분할 수 있다. When the control event 170 receives a control event input from the external input device 300 in the desktop mode, the screen of the basic area of the mobile terminal 100 maintains the current state (step 1505), and the external input device 300 In step 1507, control events are identified. For example, the controller 170 may distinguish whether the control event by the external input device 300 is a control input by any means of a keyboard and a mouse, and may distinguish whether an input for performing a task is performed in the corresponding means.

제어부(170)는 구분된 제어 이벤트에 따른 데스크톱 영역의 출력을 제어한다(1511단계). 예를 들어, 제어부(170)는 휴대단말(100)의 화면은 현재 상태를 유지하면서, 상기 제어 이벤트에 따라 외부 표시장치(200)에 표시된 데스크톱 영역의 포인터(750) 이동, 어플리케이션의 실행, 실행된 윈도우 화면에 대한 이동, 윈도우 크기 확대/축소, 크기 최소화, 크기 최대화, 그리고 윈도우 닫기 등의 제어를 수행할 수 있다.The controller 170 controls the output of the desktop area according to the divided control event (step 1511). For example, the controller 170 maintains the current state of the screen of the mobile terminal 100 and moves the pointer 750 of the desktop area displayed on the external display device 200 according to the control event, executes and executes an application. You can control the movement of the enlarged window screen, enlarge / reduce window size, minimize size, maximize size, and close the window.

이하 본 발명의 표시장치별 윈도우 레이아웃 제공 기능과 관련한 실시예들을 도 16 내지 도 19D를 참조하여 설명하기로 한다.Hereinafter, embodiments related to a window layout providing function for each display device of the present invention will be described with reference to FIGS. 16 to 19D.

도 16은 본 발명의 실시 예에 따른 휴대단말(100)에서 표시장치별 윈도우 레이아웃을 제공하는 방법을 도시한 흐름도이다.16 is a flowchart illustrating a method of providing a window layout for each display device in the mobile terminal 100 according to an exemplary embodiment of the present invention.

상기 도 16을 참조하면, 제어부(170)는 사용자로부터 어플리케이션 실행이 감지되면(1601단계), 어플리케이션이 실행되는 표시장치의 자원을 획득할 수 있다(1603단계). 예를 들어, 제어부(170)는 어플리케이션의 실행이 검출될 시 상기 어플리케이션이 실행되는 표시장치를 구분하고, 상기 표시장치에 대한 자원을 획득할 수 있다. 여기서, 상기 표시장치의 자원은 휴대단말(100)과 현재 연결된 표시장치들(예컨대, 휴대단말(100)의 표시부(130), 휴대단말(100)에 연결된 외부 표시장치)에 대한 자원으로, 휴대단말(100)의 저장부(150)로부터 획득하거나, 외부 표시장치로부터 획득할 수 있다. Referring to FIG. 16, if an application execution is detected by a user (step 1601), the controller 170 may acquire a resource of a display device on which the application is executed (step 1603). For example, the controller 170 may classify a display device on which the application is executed when the execution of the application is detected, and acquire a resource for the display device. The resource of the display device is a resource for display devices (eg, the display unit 130 of the mobile terminal 100 and an external display device connected to the mobile terminal 100) that are currently connected to the mobile terminal 100. It may be acquired from the storage 150 of the terminal 100 or from an external display device.

제어부(170)는 상기 어플리케이션이 실행될 표시장치의 자원이 획득되면, 획득된 자원에 설정되어 있는 윈도우 레이아웃 정책을 결정한다(1605단계). 예를 들어, 제어부(170)는 상기 표시장치의 자원에 대응하는 미리 설정된 윈도우 레이아웃 정책을 저장부(150)의 매핑테이블로부터 추출할 수 있다.When the resource of the display device on which the application is to be executed is obtained, the controller 170 determines a window layout policy set in the obtained resource (step 1605). For example, the controller 170 may extract a preset window layout policy corresponding to the resource of the display device from the mapping table of the storage 150.

제어부(170)는 결정된 윈도우 레이아웃 정책에 따라 상기 어플리케이션의 윈도우 레이아웃을 데코레이션(decoration)한다(1607단계). 즉, 제어부(170)는 상기 어플리케이션의 실행화면이 표시된 윈도우의 레이아웃을 상기 윈도우 레이아웃 정책에 따라 구성할 수 있다.The controller 170 decorates the window layout of the application according to the determined window layout policy in operation 1607. That is, the controller 170 may configure the layout of the window on which the execution screen of the application is displayed according to the window layout policy.

제어부(170)는 데코레이션에 따른 윈도우 레이아웃의 윈도우를 상기 표시장치에 생성하여 상기 어플리케이션의 실행화면을 표시한다(1609단계). The controller 170 generates a window of a window layout according to decoration on the display device to display an execution screen of the application (step 1609).

상기 도 16에서 살펴본 바와 같이, 본 발명의 실시 예에 따른 제어부(170)는 사용자가 어플리케이션을 실행할 때, 현재 휴대단말(100)에 연결되어 있는 적어도 하나의 표시장치에 대한 자원을 획득하고, 각 표시장치의 자원별로 설정되어 있는 윈도우 레이아웃 정책에서 상기 획득된 자원에 대한 윈도우 레이아웃 정책을 결정할 수 있다. 그리고 결정된 해당 윈도우 레이아웃 정책에 따라 실행 어플리케이션의 윈도우 레이아웃을 데코레이션할 수 있다.As illustrated in FIG. 16, when the user executes an application, the controller 170 obtains resources for at least one display device currently connected to the mobile terminal 100, The window layout policy for the obtained resource may be determined from the window layout policy set for each resource of the display device. The window layout of the execution application may be decorated according to the determined window layout policy.

도 17은 본 발명의 실시 예에 따른 휴대단말(100)에서 표시장치별로 서로 다른 윈도우 레이아웃을 운용하는 방법을 도시한 흐름도이다.17 is a flowchart illustrating a method of operating different window layouts for each display device in the mobile terminal 100 according to an exemplary embodiment of the present invention.

상기 도 17을 참조하면, 제어부(170)는 윈도우 생성을 요청하는 사용자 입력이 수신될 시(1701단계), 현재 연결되어 있는 표시장치의 자원을 획득한다(1703단계). 예를 들어, 제어부(170)는 사용자에 의한 어플리케이션 실행 요청이 검출될 시 새로운 윈도우를 생성하는 윈도우 생성 이벤트인 것으로 결정할 수 있다. 그리고 제어부(170)는 상기 어플리케이션 실행에 따라 윈도우가 생성될 표시장치(예컨대, 휴대단말(100)의 표시부(130), 휴대단말(100)에 연결된 외부 표시장치)를 구분하고, 구분된 표시장치에 대한 자원을 획득할 수 있다. 상기 표시장치의 자원은 휴대단말(100)의 표시부(130)에 대한 자원 및 상기 휴대단말(100)에 연결된 적어도 하나의 외부 표시장치에 대한 자원 중 적어도 하나를 포함할 수 있다.Referring to FIG. 17, when a user input for requesting window generation is received (step 1701), the controller 170 acquires a resource of a currently connected display device (step 1703). For example, the controller 170 may determine that the window generation event generates a new window when an application execution request by the user is detected. The controller 170 divides the display device (eg, the display unit 130 of the mobile terminal 100 and the external display device connected to the mobile terminal 100) in which a window is generated according to the execution of the application, and is divided. Obtain resources for. The resource of the display device may include at least one of a resource for the display unit 130 of the mobile terminal 100 and a resource for at least one external display device connected to the mobile terminal 100.

제어부(170)는 상기 표시장치의 자원에 대한 윈도우 레이아웃 정책을 검색하고(1705단계), 검색되는 윈도우 레이아웃 정책이 있는지 판별한다(1707단계). 예를 들어, 제어부(170)는 저장부(150)에 미리 설정된 매핑테이블로부터 상기 획득된 자원에 대응되는 표시장치별 자원을 검색하고, 검색된 자원에 매핑된 윈도우 레이아웃 정책을 추출할 수 있다. 즉, 제어부(170)는 표시장치 별로 미리 설정된 윈도우 레이아웃 정책으로부터 상기 획득된 자원의 표시장치에 대한 윈도우 레이아웃 정책을 검색하여 그의 존재 여부를 확인할 수 있다.The controller 170 searches for the window layout policy for the resource of the display device (step 1705), and determines whether there is a found window layout policy (step 1707). For example, the controller 170 may search for a display device-specific resource corresponding to the obtained resource from the mapping table set in the storage 150 and extract a window layout policy mapped to the found resource. That is, the controller 170 may determine whether there is a window layout policy for the display device of the obtained resource from the window layout policy preset for each display device.

제어부(170)는 상기 표시장치에 대한 윈도우 레이아웃 정책이 존재하면(1707단계의 YES), 검색된 윈도우 레이아웃 정책을 상기 표시장치에 생성할 윈도우의 윈도우 레이아웃 정책으로 결정한다(1709단계). 제어부(170)는 결정된 윈도우 레이아웃 정책을 상기 표시장치에 생성할 윈도우에 적용하고(1711단계), 상기 표시장치에 상기 윈도우 레이아웃 정책이 적용된 윈도우를 생성하여 나타낸다(1713단계).If there is a window layout policy for the display device (YES in step 1707), the controller 170 determines the retrieved window layout policy as the window layout policy of a window to be generated in the display device (step 1709). The controller 170 applies the determined window layout policy to the window to be generated in the display device (step 1711), and generates and displays a window to which the window layout policy is applied to the display device (step 1713).

제어부(170)는 상기 표시장치에 대한 윈도우 레이아웃 정책이 존재하지 않으면(1707단계의 NO), 기본적으로 제공되는 기본 윈도우 레이아웃 정책을 상기 표시장치에 생성할 윈도우의 윈도우 레이아웃 정책으로 결정한다(1715단계). 제어부(170)는 결정된 기본 윈도우 레이아웃 정책을 상기 표시장치에 생성할 윈도우에 적용하고(1717단계), 상기 표시장치에 상기 윈도우 레이아웃 정책이 적용된 윈도우를 생성하여 나타낸다(1713단계).If there is no window layout policy for the display device (NO in step 1707), the controller 170 determines a default window layout policy provided as a window layout policy of a window to be created on the display device (step 1715). ). The controller 170 applies the determined default window layout policy to the window to be generated on the display device (step 1717), and generates and displays a window to which the window layout policy is applied to the display device (step 1713).

상기 도 17에서 살펴본 바와 같이, 본 발명의 실시 예에 따른 제어부(170)는 사용자 요청에 따라 실행 어플리케이션을 위한 윈도우를 생성할 때, 상기 윈도우가 생성되는 표시장치의 윈도우 레이아웃 정책이 존재하는지 검색할 수 있다. 제어부(170)는 상기 표시장치의 윈도우 레이아웃 정책이 검색되면 검색된 윈도우 레이아웃 정책을 상기 표시장치의 윈도우 레이아웃 정책으로 적용하고, 상기 표시장치의 윈도우 레이아웃 정책이 검색되지 않으면 기본 윈도우 레이아웃 정책을 상기 표시장치의 윈도우 레이아웃 정책으로 적용할 수 있다. 그리고 제어부(170)는 윈도우 레이아웃 정책이 적용된 윈도우를 상기 표시장치에 생성하고 실행 어플리케이션에 대한 화면을 상기 윈도우의 레이아웃에 따라 다른 모습으로 제공할 수 있다.As shown in FIG. 17, when generating a window for an execution application according to a user's request, the controller 170 searches whether a window layout policy of a display device in which the window is generated exists. Can be. If the window layout policy of the display device is found, the controller 170 applies the found window layout policy as the window layout policy of the display device. If the window layout policy of the display device is not found, the controller 170 applies the default window layout policy to the display device. This can be applied with the window layout policy of. The controller 170 may generate a window to which the window layout policy is applied to the display device and provide a screen for an execution application in a different form according to the layout of the window.

도 18은 본 발명의 실시 예에 따른 휴대단말(100)과 외부 표시장치의 연동 시 동작 관계를 개략적으로 도시한 도면이고, 도 19a 및 도 19b는 본 발명의 실시 예에 따른 휴대단말(100)과 외부 표시장치의 연동 시 표시장치 별로 서로 다른 윈도우 레이아웃을 출력하는 화면 예시를 도시한 도면들이다.18 is a view schematically showing an operation relationship when the portable terminal 100 and an external display device are interlocked according to an exemplary embodiment of the present invention, and FIGS. 19A and 19B illustrate the portable terminal 100 according to an exemplary embodiment of the present invention. FIG. 4 illustrates an example of a screen for outputting a different window layout for each display device when the display device and the external display device are interlocked.

상기 도 18 내지 도 19b를 참조하면, 휴대단말(100)은 외부 표시장치(200)와 연결될 수 있다(1801단계). 예를 들어, 휴대단말(100)은 특정 모드(예컨대, 대기 모드, 어플리케이션 실행 모드 등)를 수행하는 중에 유선(예컨대, HDMI 등) 또는 무선(예컨대, Wi-Fi 등)을 통해 외부 표시장치(200)가 연결되는 것을 검출할 수 있다. 18 to 19B, the mobile terminal 100 may be connected to the external display device 200 (step 1801). For example, the mobile terminal 100 may perform an external display device via a wire (eg, HDMI) or wireless (eg, Wi-Fi, etc.) while performing a specific mode (eg, standby mode, application execution mode, etc.). 200 may be connected.

휴대단말(100)은 외부 표시장치(200)와 연결될 시 상기 외부 표시장치(200)에 대한 자원을 획득한다(1803단계). 예를 들어, 휴대단말(100)은 외부 표시장치(200)가 연결될 시 상기 외부 표시장치(200)의 화면 크기 등에 대한 자원을 획득할 수 있다. 상기 외부 표시장치(200)에 대한 자원은 휴대단말(100)이 연결된 외부 표시장치(200)에게 자원 전송을 요청하고, 외부 표시장치(200)는 휴대단말(100)의 자원 전송 요청에 응답하여 휴대단말(100)에게 자신의 자원을 제공할 수 있다. 또는 외부 표시장치(200)는 휴대단말(100)과 연결될 시 자신의 자원을 휴대단말(100)에게 자동 전송할 수도 있다. 즉, 본 발명에서 상기 외부 표시장치(200)에 대한 자원 획득은 휴대단말(100)이 외부 표시장치(200)가 연결되는 시점에서 폴링(polling) 방식으로 획득하거나, 또는 상기 휴대단말(100)과 상기 외부 표시장치(200)가 연결될 시 상기 외부 표시장치(200)가 외부 표시장치(200)의 화면 크기에 대한 자원을 푸시(push) 방식으로 상기 휴대단말(100)에게 전송하는 것에 획득될 수도 있다. 휴대단말(100)은 획득된 자원에 대해 휴대단말(100)의 저장부(150)를 통해 버퍼링(buffering)할 수 있고, 저장할 수도 있다.When the mobile terminal 100 is connected to the external display device 200, the mobile terminal 100 acquires a resource for the external display device 200 (step 1803). For example, when the external display device 200 is connected, the mobile terminal 100 may acquire a resource for the screen size of the external display device 200. The resource for the external display device 200 requests resource transmission to the external display device 200 to which the mobile terminal 100 is connected, and the external display device 200 responds to the resource transmission request of the mobile terminal 100. It may provide its own resources to the mobile terminal (100). Alternatively, the external display device 200 may automatically transmit its resources to the mobile terminal 100 when it is connected to the mobile terminal 100. That is, in the present invention, resource acquisition for the external display device 200 may be obtained by a polling method when the mobile terminal 100 is connected to the external display device 200 or the mobile terminal 100. When the external display device 200 is connected to the external display device 200, the external display device 200 may acquire resources for the screen size of the external display device 200 to the mobile terminal 100 in a push manner. It may be. The mobile terminal 100 may buffer or store the obtained resource through the storage unit 150 of the mobile terminal 100.

이때, 본 발명에서는 자원을 제공하는 주체는 제어 기능을 수행하지 않고 마스터의 제어에 따른 화면데이터를 표시하는 슬레이브가 될 수 있다. 즉, 상기 마스터는 전반적인 제어를 담당하는 휴대단말(100)(특히, 제어부(170))이 될 수 있고, 상기 슬레이브는 휴대단말(100)에서 제공된 화면데이터를 표시하는 외부 표시장치(200) 및 휴대단말(100)의 표시부(130) 등이 될 수 있다.In this case, the subject providing the resource may be a slave displaying the screen data according to the control of the master without performing a control function. That is, the master may be a mobile terminal 100 (in particular, the control unit 170) in charge of the overall control, the slave is an external display device 200 for displaying the screen data provided by the mobile terminal 100 and The display unit 130 of the mobile terminal 100 may be used.

휴대단말(100)은 외부 표시장치(200)로부터 획득된 자원에 대응하는 윈도우 레이아웃 정책을 결정한다(1805단계). 예를 들어, 휴대단말(100)은 표시장치별 윈도우 레이아웃 정책이 미리 설정된 매핑테이블을 참조하여, 상기 획득된 자원에 대응하는 윈도우 레이아웃 정책을 결정할 수 있다. The mobile terminal 100 determines a window layout policy corresponding to the resource obtained from the external display device 200 (step 1805). For example, the mobile terminal 100 may determine the window layout policy corresponding to the obtained resource by referring to the mapping table in which the window layout policy for each display device is preset.

휴대단말(100)은 결정된 윈도우 레이아웃 정책에 따른 데스크톱 윈도우 화면(예컨대, 배경 화면 등)을 외부 표시장치(200)에게 출력한다(1807단계). 휴대단말(100)은 상기 데스크톱 윈도우 화면 출력 시 상기 도 19a에 도시된 바와 같이 휴대단말(100)의 현재 표시(예컨대, 수행 중인 특정 모드의 화면 표시)는 유지하는 상태에서, 내부적으로 윈도우 레이아웃 정책에 따라 생성된 데스크톱 윈도우 화면을 상기 외부 표시장치(200)에게 전달한다. The mobile terminal 100 outputs a desktop window screen (eg, a background screen, etc.) according to the determined window layout policy to the external display device 200 (step 1807). When the mobile terminal 100 outputs the desktop window screen, as shown in FIG. 19A, the mobile terminal 100 maintains a current display of the mobile terminal 100 (for example, a screen display in a specific mode being performed). The desktop window screen generated according to the present invention is transferred to the external display device 200.

외부 표시장치(200)는 휴대단말(100)과 연결된 후 상기 휴대단말(100)로부터 상기 데스크톱 윈도우 화면이 전달되면, 상기 데스크톱 윈도우 화면을 표시한다(1809단계). 여기서, 상기 데스크톱 윈도우 화면은 상기 도 19a에 도시된 바와 같이 미리 설정된 배경 화면(230)과 외부 표시장치(200)의 자원에 대응하는 윈도우로 작업을 바로 수행할 수 있도록 하는 미리 등록된 어플리케이션들에 대한 데스크톱용 바로가기 아이콘(250)(또는 아이콘 리스트)을 포함할 수 있다.When the desktop window screen is transferred from the mobile terminal 100 after the external display device 200 is connected to the mobile terminal 100, the external display device 200 displays the desktop window screen (step 1809). Here, the desktop window screen may be configured to pre-registered applications for directly performing a task with a window corresponding to a resource of the preset background screen 230 and the external display device 200 as illustrated in FIG. 19A. It may include a desktop shortcut icon 250 (or icon list).

휴대단말(100)은 상기와 같이 외부 표시장치(200)가 연결된 상태에서, 사용자로부터 어플리케이션을 실행하는 사용자 입력을 수신할 수 있다(1811단계). 예를 들어, 사용자는 휴대단말(100)을 조작하여 휴대단말(100)의 표시장치(즉, 표시부(130))에 현재 표시된 화면(예컨대, 도 19a에서 휴대단말(100)에 현재 표시된 화면)에서 특정 어플리케이션의 아이콘을 선택할 수 있다. 또는 사용자는 휴대단말(100)을 조작하여 외부 표시장치(200)에 현재 표시된 화면(예컨대, 도 19a에서 외부 표시장치(100)에 현재 표시된 데스크톱 윈도우 화면)에서 특정 어플리케이션의 아이콘(예컨대, 데스크톱용 바로가기 아이콘(250))을 선택할 수 있다.The mobile terminal 100 may receive a user input for executing an application from the user in the state in which the external display device 200 is connected as described above (operation 1811). For example, a user manipulates the mobile terminal 100 to display a screen currently displayed on the display device (ie, the display unit 130) of the mobile terminal 100 (for example, the screen currently displayed on the mobile terminal 100 in FIG. 19A). You can select an icon for a specific application. Alternatively, a user manipulates the mobile terminal 100 to display an icon of a specific application (eg, for desktop) on a screen currently displayed on the external display device 200 (eg, a desktop window screen currently displayed on the external display device 100 in FIG. 19A). Shortcut icon 250 may be selected.

휴대단말(100)은 어플리케이션 실행 요청에 응답하여 상기 어플리케이션에 대한 윈도우 생성 영역을 결정한다(1813단계). 즉, 휴대단말(100)은 어플리케이션 실행을 검출하면 상기 어플리케이션이 실행될 표시장치를 구분할 수 있다. 예를 들어, 휴대단말(100)에 현재 표시된 화면에서 어플리케이션 실행이 검출될 시 상기 윈도우 생성 영역이 휴대단말(100)의 표시장치(즉, 표시부(130))인 것으로 결정할 수 있고, 외부 표시장치(200)에 현재 표시된 화면에서 어플리케이션 실행이 검출될 시 상기 윈도우 생성 영역이 외부 표시장치(200)인 것으로 결정할 수 있다. 또는 적어도 하나의 외부 표시장치(200)가 연결된 상태에서는 전자와 같이 휴대단말(100)의 화면에서 어플리케이션 실행이 검출되더라도 상기 윈도우 생성 영역이 외부 표시장치(200)인 것으로 결정될 수 있으며, 이는 사용자 설정 방식에 따라 다양하게 운용될 수 있다. The mobile terminal 100 determines a window generation area for the application in response to the application execution request in step 1813. That is, the mobile terminal 100 may identify a display device on which the application is to be executed when the application execution is detected. For example, when an application execution is detected on a screen currently displayed on the mobile terminal 100, the window generation area may be determined to be a display device (ie, the display unit 130) of the mobile terminal 100. When an application execution is detected on the screen currently displayed on the screen 200, the window generation area may be determined to be the external display device 200. Alternatively, in a state where at least one external display device 200 is connected, the window generation area may be determined to be the external display device 200 even when an application execution is detected on the screen of the mobile terminal 100 as in the former case. It can be operated in various ways.

휴대단말(100)은 윈도우 생성 영역이 결정되면, 상기 윈도우 생성 영역의 표시장치에 대응하는 윈도우 레이아웃 정책을 결정한다(1815단계). 예를 들어, 휴대단말(100)은 표시장치별 윈도우 레이아웃 정책이 미리 설정된 매핑테이블을 참조하여, 상기 윈도우가 생성되는 영역의 표시장치(예컨대, 휴대단말(100)의 표시부(130) 또는 외부 표시장치(200))의 자원에 대응하는 윈도우 레이아웃 정책을 결정할 수 있다. 상기 도 18에서는 실행 어플리케이션에 따른 윈도우의 생성 영역이 외부 표시장치(200)인 것으로 설명한다.When the window generation area is determined, the mobile terminal 100 determines a window layout policy corresponding to the display device of the window generation area (step 1815). For example, the mobile terminal 100 refers to a mapping table in which a window layout policy for each display device is preset, and displays a display device (eg, the display unit 130 or the external display of the mobile terminal 100) in a region where the window is generated. The window layout policy corresponding to the resource of the device 200 may be determined. In FIG. 18, it is described that the generation area of the window according to the execution application is the external display device 200.

휴대단말(100)은 결정된 윈도우 레이아웃 정책에 따른 어플리케이션 실행화면을 외부 표시장치(200)에게 출력한다(1817단계). 즉, 휴대단말(100)은 결정된 윈도우 레이아웃 정책에 따라 어플리케이션이 실행된 윈도우 레이아웃을 구성하고, 윈도우 레이아웃 정책이 적용된 상기 윈도우 레이아웃에 대응하여 상기 어플리케이션의 실행화면을 출력할 수 있다. 예를 들어, 휴대단말(100)은 상기 외부 표시장치(200)에 표시된 아이콘(250) 중 사용자 선택에 따른 아이콘(250)의 어플리케이션을 판별한다. 그리고 판별된 어플리케이션이 실행될 윈도우를 상기 결정된 윈도우 레이아웃 정책에 따른 레이아웃으로 구성하고, 그에 따른 어플리케이션 실행화면을 외부 표시장치(200)에게 전달한다. 즉, 휴대단말(100)은 어플리케이션의 윈도우 생성 영역을 외부 표시장치(200)로 결정할 시 해당 표시장치(즉, 상기 외부 표시장치(200))의 자원에 대응하는 레이아웃을 갖는 어플리케이션을 실행하고, 그에 따른 화면 출력을 처리할 수 있다.The mobile terminal 100 outputs an application execution screen according to the determined window layout policy to the external display device 200 (step 1817). That is, the mobile terminal 100 may configure a window layout in which the application is executed according to the determined window layout policy, and output the execution screen of the application in response to the window layout to which the window layout policy is applied. For example, the mobile terminal 100 determines an application of the icon 250 according to the user's selection among the icons 250 displayed on the external display device 200. The window in which the determined application is to be executed is configured as a layout according to the determined window layout policy, and the application execution screen is transmitted to the external display device 200 accordingly. That is, when the mobile terminal 100 determines the window generation area of the application as the external display device 200, the mobile terminal 100 executes an application having a layout corresponding to the resources of the corresponding display device (ie, the external display device 200). The screen output can be processed accordingly.

외부 표시장치(200)는 상기 휴대단말(100)로부터 상기 어플리케이션 실행화면이 전달되면, 상기 어플리케이션 실행화면을 표시한다(1819단계). 여기서, 상기 어플리케이션 실행화면은 상기 도 19b에 도시된 바와 같이 휴대단말(100)의 표시장치(즉, 표시부(130))에서 표시되는 윈도우 화면과는 달리, 상기 외부 표시장치(200)의 자원에 맞는 레이아웃을 가지는 윈도우 화면으로 제공된다. 예를 들어, 상기 어플리케이션 실행화면은 휴대단말(100)에 표시되는 실행화면과는 달리, 외부 표시장치(200)의 자원에 따라 데스크톱 형태의 윈도우 레이아웃으로 구현될 수 있다. 상기 도 19b를 예시로 살펴보면, 휴대단말(100)에서 표시될 수 있는 윈도우의 크기보다 큰 윈도우 크기를 가지면서 추가적인 상세 정보가 더 제공될 수 있다. 또한 윈도우의 프레임(frame) 상단에 상태바(550)와 같은 부가적인 정보가 더 제공될 수 있다. 또한 상기 상태바(550)는 해당 윈도우(즉, 실행화면)에 대한 상태정보(어플리케이션 이름 등)가 표시될 수 있다. 특히, 상기 상태바(550)는 실행된 윈도우의 최소화, 최대화, 그리고 닫기와 같이 윈도우 크기 조절과 관련된 최소화 버튼, 최대화 버튼, 그리고 닫기 버튼과 같은 윈도우 크기 조절 버튼(555)을 포함할 수 있다. 이때, 휴대단말(100)의 화면은 현재 상태를 그대로 유지할 수 있다.When the application execution screen is transferred from the mobile terminal 100, the external display device 200 displays the application execution screen (step 1819). Here, the application execution screen is different from the window screen displayed on the display device (ie, the display unit 130) of the mobile terminal 100, as shown in FIG. 19B, to the resource of the external display device 200. It is provided as a window screen with a matching layout. For example, unlike the execution screen displayed on the mobile terminal 100, the application execution screen may be implemented in a window layout of a desktop form according to the resources of the external display device 200. Referring to FIG. 19B as an example, additional detailed information may be further provided while having a window size larger than that of the window that can be displayed in the mobile terminal 100. In addition, additional information such as a status bar 550 may be further provided on the frame of the window. In addition, the status bar 550 may display status information (application name, etc.) for a corresponding window (ie, an execution screen). In particular, the status bar 550 may include a window resizing button 555 such as a minimize button, a maximize button, and a close button related to window resizing such as minimizing, maximizing, and closing the executed window. In this case, the screen of the mobile terminal 100 may maintain the current state.

도 19c는 본 발명의 실시 예에 따른 휴대단말(100)에서 표시장치 별로 서로 다른 윈도우 레이아웃을 출력하는 화면 예시를 도시한 도면이다.19C is a diagram illustrating a screen example of outputting different window layouts for each display device in the mobile terminal 100 according to an exemplary embodiment of the present invention.

상기 도 19c에 도시된 바와 같이, 외부 표시장치(200)와의 연결을 통해 다중 스크린 기능을 지원하는 휴대단말(100) 및 상기 휴대단말(100)에서 출력되는 화면을 표시장치별 윈도우 레이아웃 정책에 따른 윈도우 레이아웃의 윈도우 화면으로 표시하는 외부 표시장치(200)를 포함하여 구성된다.As shown in FIG. 19C, the mobile terminal 100 supporting the multi-screen function through the connection with the external display device 200 and the screen output from the mobile terminal 100 are displayed according to the window layout policy for each display device. It is configured to include an external display device 200 to display a window screen of the window layout.

상기 도 19c에서는 상기 휴대단말(100)과 상기 외부 표시장치(200)는 유선 인터페이스(예컨대, HDMI) 또는 무선 인터페이스(예컨대, Wi-Fi)를 통해 연결된 상태를 나타낸다. 따라서 휴대단말(100)은 휴대단말(100)에서 생성하는 다양한 화면데이터를 외부 표시장치(200)와의 연결 방식에 따라 유선 인터페이스(예컨대, HDMI)를 통해 외부로 출력하거나, 무선 인터페이스(예컨대, Wi-Fi)를 통해 외부로 출력할 수 있다. In FIG. 19C, the portable terminal 100 and the external display device 200 are connected through a wired interface (eg, HDMI) or a wireless interface (eg, Wi-Fi). Therefore, the mobile terminal 100 outputs various screen data generated by the mobile terminal 100 to the outside through a wired interface (for example, HDMI) or a wireless interface (for example, Wi) according to a connection method with the external display device 200. -Fi) can be output to the outside.

그리고 상기 도 19c에서는 휴대단말(100)의 제어에 의해 특정 어플리케이션이 외부 표시장치(200)를 통해 상기 외부 표시장치(200)에 대한 윈도우 레이아웃 정책에 따라 실행되고 있는 상태이고, 휴대단말(100)의 영역에서 특정 어플리케이션이 휴대단말(100)의 표시장치(즉, 표시부(130))에 대한 윈도우 레이아웃 정책에 따라 실행되고 있는 상태의 예시를 나타낸다.In FIG. 19C, a specific application is being executed by the control of the mobile terminal 100 according to a window layout policy for the external display device 200 through the external display device 200. An example of a state in which a specific application is being executed in accordance with the window layout policy for the display device (ie, the display unit 130) of the mobile terminal 100 in the region of FIG.

상기 도 19c를 참조하면, 휴대단말(100)은 상기와 같이 외부 표시장치(200)와 연결된 상태에서, 외부 표시장치(200)에는 외부 표시장치(200)의 자원에 대응하는 윈도우 레이아웃 정책이 적용된 어플리케이션 실행화면이 제공될 수 있고, 휴대단말(100)에는 휴대단말(100)의 표시부(130)의 자원에 대응하는 윈도우 레이아웃 정책(예컨대, 기본 윈도우 레이아웃 정책)이 적용된 어플리케이션 실행화면이 제공될 수 있다. 즉, 표시장치별 윈도우 레이아웃 정책에 따라 각 표시장치에 맞는 서로 다른 윈도우 레이아웃으로 구성된 다른 모습의 실행화면이 제공될 수 있다.Referring to FIG. 19C, when the mobile terminal 100 is connected to the external display device 200 as described above, the external display device 200 is applied with a window layout policy corresponding to a resource of the external display device 200. An application execution screen may be provided, and the mobile terminal 100 may be provided with an application execution screen to which a window layout policy (for example, a basic window layout policy) corresponding to a resource of the display unit 130 of the mobile terminal 100 is applied. have. That is, the execution screen having a different appearance configured with different window layouts for each display device may be provided according to the window layout policy for each display device.

즉, 휴대단말(100)은 외부 표시장치(200)의 영역에 의한 어플리케이션 실행을 검출할 시 상기 외부 표시장치(200)의 자원에 맞는 윈도우 레이아웃 정책 기반의 윈도우 형태로 어플리케이션을 실행하고 그에 따른 화면 출력을 처리한다. 또한 휴대단말(100)은 휴대단말(100)의 표시부(130)의 영역에 의한 어플리케이션 실행을 검출할 시 상기 표시부(130)의 자원에 맞는 기본 윈도우 레이아웃 정책 기반의 윈도우 형태로 어플리케이션을 실행하고 그에 따른 화면 출력을 처리한다. 따라서 휴대단말(100)은 외부 표시장치(200)의 영역에 어플리케이션 실행에 따른 윈도우를 생성하는 경우 외부 표시장치(200)의 자원에 맞는 레이아웃을 가지는 어플리케이션 실행화면 표시를 처리한다. 또한 휴대단말(100)은 휴대단말(100)의 영역에 어플리케이션 실행에 따른 윈도우를 생성하는 경우 표시부(130)의 자원에 맞는 레이아웃을 가지는 어플리케이션 실행화면 표시를 처리한다.That is, when detecting the execution of the application by the area of the external display device 200, the mobile terminal 100 executes the application in the form of a window based on the window layout policy corresponding to the resource of the external display device 200 and accordingly the screen accordingly. Process the output. In addition, when the mobile terminal 100 detects application execution by the area of the display unit 130 of the mobile terminal 100, the mobile terminal 100 executes the application in the form of a window based on a basic window layout policy suitable for the resource of the display unit 130, and Process the screen output accordingly. Accordingly, when the mobile terminal 100 generates a window according to the execution of an application in an area of the external display device 200, the mobile terminal 100 processes an application execution screen display having a layout suitable for the resource of the external display device 200. In addition, when the mobile terminal 100 generates a window according to the execution of an application in an area of the mobile terminal 100, the mobile terminal 100 processes the display of the application execution screen having a layout suitable for the resource of the display unit 130.

도 19d는 본 발명의 실시 예에 따른 휴대단말(100)에서 표시장치 별로 서로 다른 윈도우 레이아웃을 출력하는 화면 예시를 도시한 도면이다.19D illustrates an example of a screen for outputting different window layouts for each display device in the mobile terminal 100 according to an exemplary embodiment of the present invention.

상기 도 19d를 참조하면, 상기 도 19d는 휴대단말(100)과 외부 표시장치(200)가 유선(예컨대, HDMI) 또는 무선(예컨대, Wi-Fi)을 통해 연결된 상태이고, 특정 어플리케이션의 실행화면이 휴대단말(100)의 영역과 외부 표시장치(200)의 영역에 걸쳐 모두 표시되고 있는 상태의 화면 예시를 나타낸다. 예를 들어, 외부 표시장치(200)의 영역을 통해 어플리케이션이 실행된 상태에서, 사용자의 윈도우 이동 조작에 따라 상기 어플리케이션의 윈도우가 휴대단말(100)의 영역으로 이동되면서 상기 어플리케이션의 윈도우 일부가 휴대단말(100)의 영역에서 표시되고 있는 상태일 수 있다. Referring to FIG. 19D, FIG. 19D illustrates a state in which the mobile terminal 100 and the external display device 200 are connected by wire (eg, HDMI) or wireless (eg, Wi-Fi), and execute a screen of a specific application. An example of the screen in a state in which both the area of the mobile terminal 100 and the area of the external display device 200 are displayed is shown. For example, in a state in which an application is executed through an area of the external display device 200, the window of the application is moved to an area of the mobile terminal 100 according to a user's window moving operation, so that a part of the window of the application is portable. It may be in a state of being displayed in the area of the terminal 100.

상기 도 19d에 도시된 바와 같이, 하나의 어플리케이션의 실행화면에 대해, 휴대단말(100)의 영역에서는 휴대단말(100)의 표시부(130)의 윈도우 레이아웃 정책에 따라 레이아웃이 데코레이션된 실행화면의 일부가 제공될 수 있고, 외부 표시장치(200)의 영역에서는 외부 표시장치(200)에 맞는 윈도우 레이아웃 정책에 따라 레이아웃이 데코레이션된 실행화면의 일부가 제공될 수 있다. 즉, 표시장치별 윈도우 레이아웃 정책에 따라 하나의 어플리케이션의 실행화면이 각각의 영역에 다른 모습의 레이아웃으로 표시될 수 있다. 예를 들어, 갤러리 어플리케이션의 실행에 따라 외부 표시장치(200) 영역에서는 사진들에 대한 리스트와 관련 상세정보(예컨대, 확대 사진)를 함께 표시할 수 있는 레이아웃으로 표시되고, 휴대단말(100) 영역에서는 사진들에 대한 리스트만 표시할 수 있는 레이아웃으로 표시될 수 있다.As shown in FIG. 19D, for the execution screen of one application, in the area of the mobile terminal 100, a part of the execution screen whose layout is decorated according to the window layout policy of the display unit 130 of the mobile terminal 100. In the area of the external display device 200, a part of the execution screen on which the layout is decorated may be provided according to a window layout policy suitable for the external display device 200. That is, the execution screen of one application may be displayed in a different layout in each area according to the window layout policy for each display device. For example, according to the execution of the gallery application, the external display device 200 area is displayed in a layout capable of displaying a list of pictures and related detailed information (eg, an enlarged picture) together, and the mobile terminal 100 area. In FIG. 3, the layout may display only a list of pictures.

그리고 상기 도 19d에서는 도시되지 않았으나, 어느 하나의 표시장치의 영역에 표시된 어플리케이션 실행화면의 윈도우가 다른 표시장치의 영역으로 완전히 이동하는 사용자 조작이 이루어질 수 있다. 이러한 경우, 이전의 영역에서 윈도우 레이아웃 정책의 레이아웃으로 표시되던 윈도우는 이동되는 영역의 윈도우 레이아웃 정책에 따른 레이아웃으로 변경되어 제공될 수 있다. 예를 들어, 상기 도 19d와 같이 외부 표시장치(200) 영역에 표시되던 어플리케이션 실행화면이 사용자 조작에 따라 휴대단말(100) 영역으로 완전히 이동될 시, 표시부(130)의 윈도우 레이아웃 정책에 따른 레이아웃의 윈도우로 데코레이션되어 제공될 수 있다. 반대로, 휴대단말(100) 영역에 표시되던 어플리케이션 실행화면이 사용자 조작에 따라 외부 표시장치(200) 영역으로 완전히 이동될 시, 외부 표시장치(200)의 윈도우 레이아웃 정책에 따른 레이아웃의 윈도우로 데코레이션되어 제공될 수 있다. 즉, 본 발명의 실시 예에 따르면, 윈도우가 생성되는 표시장치의 윈도우 레이아웃 정책에 따라 해당 표시장치의 윈도우 레이아웃으로 동일한 어플리케이션의 실행화면일지라도 다른 모습으로 표현될 수 있다.Although not shown in FIG. 19D, a user operation may be performed in which a window of an application execution screen displayed on an area of one display device is completely moved to an area of another display device. In this case, the window displayed as the layout of the window layout policy in the previous area may be provided after being changed to the layout according to the window layout policy of the moved area. For example, when the application execution screen displayed on the external display device 200 area is completely moved to the mobile terminal 100 area according to a user's operation as shown in FIG. 19D, the layout according to the window layout policy of the display unit 130 is performed. It can be decorated and provided with a window of. On the contrary, when the application execution screen displayed on the mobile terminal 100 area is completely moved to the external display device 200 area according to a user's operation, the application window is decorated with a window of a layout according to the window layout policy of the external display device 200. Can be provided. That is, according to an exemplary embodiment of the present invention, even if an execution screen of the same application is displayed in the window layout of the display device according to the window layout policy of the display device in which the window is generated, it may be expressed in a different form.

이하 본 발명의 사용자 입력에 대응하는 외부 표시 장치의 표시 기능과 관련한 실시예들을 도 20 내지 도 24를 참조하여 보다 상세히 설명하기로 한다.Hereinafter, embodiments related to a display function of an external display device corresponding to a user input of the present invention will be described in detail with reference to FIGS. 20 to 24.

도 20은 본 발명의 일 실시예에 따른 사용자 입력의 처리 방법을 설명하기 위한 흐름도이다.20 is a flowchart illustrating a method of processing a user input according to an embodiment of the present invention.

도 20을 참조하면, 단계 2010에서 제어부(170)는 싱글 표시 모드로 휴대 단말(100)을 운영한다. 단계 2015에서 제어부(170)는 휴대 단말(100)에 외부표시장치가 연결되었는지 여부를 결정한다. 여기서 외부표시장치는 무선통신부(150) 또는 인터페이스부(160)를 통해 제어부(170)와 연결된다. Referring to FIG. 20, in step 2010, the controller 170 operates the portable terminal 100 in a single display mode. In step 2015, the controller 170 determines whether an external display device is connected to the mobile terminal 100. The external display device is connected to the controller 170 through the wireless communication unit 150 or the interface unit 160.

외부표시장치와 연결된 경우 단계 2030에서 제어부(170)는 듀얼 표시 모드로 휴대 단말(100)을 운영한다. 단계 2030의 구체적인 일례를 설명하면 다음과 같다. 외부표시장치와 연결되면 제어부(170)는 외부표시장치로 화면 크기 정보(예, 해상도)를 요청하는 메시지를 외부표시장치로 전송한다. 이에 응답하여 외부표시장치는 화면 크기 정보를 포함하는 응답 메시지를 제어부(170)로 전송한다. 표시부(130)는 제어부(170)의 제어 하에 가상 컨트롤러의 아이콘을 포함하는 제 1 홈 화면을 표시한다. 또한 외부표시장치는 제어부(170)의 제어 하에 제 2 홈 화면을 표시한다. 이때 제 2 홈 화면의 해상도는 외부표시장치로부터 수신된 화면 크기 정보를 바탕으로 결정된다. 예컨대, 외부표시장치의 화면 크기에 맞게 제 2 홈 화면이 표시된다. 사용자가 제 1 홈 화면에서 가상 컨트롤러의 아이콘을 탭 하면 표시부(130)는 탭에 응답하여 터치이벤트를 발생시켜 제어부(170)로 전달한다. 제어부(170)는 표시부(130)로부터 터치이벤트를 검출하고, 터치이벤트에 응답하여 가상 컨트롤러를 실행한다. 가상 컨트롤러는 가상의 터치스크린을 생성하도록 커널에 요청한다. 이에 따라 커널 특히, 유입력 모듈은 표시부(130)를 외부표시장치의 입력장치로 에뮬레이션(emulation)하기 위해 가상의 터치스크린을 생성한다. 한편 표시부(130)는 제어부(170)의 제어 하에, 가상 컨트롤러의 실행 화면 즉, 에뮬레이션 화면을 표시한다. 이때 에뮬레이션 화면은 터치 영역을 포함한다. 또한 에뮬레이션 화면은 하나 이상의 소프트키(예, 마우스 왼쪽 버튼, 마우스 오른쪽 버튼, 최소화 버튼, 최대화 버튼 및 종료 버튼)를 포함할 수 있다. 이러한 에뮬레이션 화면은 다른 화면에 오버랩되어 표시될 수 있다. 또한 다른 화면은 제 1 스크린 영역에 표시되고 에뮬레이션 화면은 제 2 스크린 영역에 표시될 수도 있다. 또한 에뮬레이션 화면은 사용자의 요청에 의해 표시 종료된다. 사용자가 제 1 홈 화면에서 해당 아이콘을 선택하면 에뮬레이션 화면이 다시 표시된다. 한편, 휴대 단말(110)이 외부표시장치와 연결되면 가상 컨트롤러는 자동으로 실행될 수도 있다. 이러한 자동 실행 여부는 사용자가 설정 가능한 옵션일 수 있다. 에뮬레이션 화면이 표시된 경우 제어부(170)는 포인터를 다른 화면(예, 제 2 홈 화면) 위에 오버랩하여 표시하도록 외부표시장치를 제어한다. 에뮬레이션 화면의 표시가 종료된 경우 포인터의 표시도 종료된다.When connected to an external display device, the controller 170 operates the portable terminal 100 in a dual display mode in step 2030. A specific example of step 2030 will be described below. When connected to an external display device, the controller 170 transmits a message requesting screen size information (eg, resolution) to the external display device. In response, the external display device transmits a response message including screen size information to the controller 170. The display unit 130 displays the first home screen including the icon of the virtual controller under the control of the controller 170. In addition, the external display device displays the second home screen under the control of the controller 170. In this case, the resolution of the second home screen is determined based on the screen size information received from the external display device. For example, the second home screen is displayed to fit the screen size of the external display device. When the user taps the icon of the virtual controller on the first home screen, the display unit 130 generates a touch event in response to the tap and transmits it to the controller 170. The controller 170 detects a touch event from the display unit 130 and executes a virtual controller in response to the touch event. The virtual controller asks the kernel to create a virtual touchscreen. Accordingly, the kernel, in particular, the inflow force module generates a virtual touch screen to emulate the display unit 130 as an input device of the external display device. The display unit 130 displays an execution screen of the virtual controller, that is, an emulation screen, under the control of the controller 170. In this case, the emulation screen includes a touch area. The emulation screen may also include one or more softkeys (eg, left mouse button, right mouse button, minimize button, maximize button, and exit button). Such an emulation screen may be displayed overlapping with another screen. In addition, another screen may be displayed in the first screen area, and an emulation screen may be displayed in the second screen area. In addition, the emulation screen is terminated by the user's request. When the user selects the corresponding icon on the first home screen, the emulation screen is displayed again. Meanwhile, when the portable terminal 110 is connected to the external display device, the virtual controller may be automatically executed. Whether such automatic execution may be a user settable option. When the emulation screen is displayed, the controller 170 controls the external display device to overlap the pointer on another screen (eg, the second home screen) and display the pointer. When the display of the emulation screen is finished, the display of the pointer is also terminated.

단계 2030에서 제어부(170)는 사용자의 입력을 기다린다. 단계 2035에서 제어부(170)는 표시부(130)으로부터 사용자의 입력이 검출되는지 여부를 결정한다. 여기서 사용자 입력은 상술한 바와 같이, 터치, 멀티 터치, 탭, 더블 탭, 롱 탭, 드래그, 플릭, 프레스, 핀치인 및 핀치아웃 등이 될 수 있다.In operation 2030, the controller 170 waits for a user input. In operation 2035, the controller 170 determines whether a user input is detected from the display 130. The user input may be touch, multi-touch, tap, double tap, long tap, drag, flick, press, pinch in and pinch out, as described above.

표시부(130)으로부터 사용자 입력이 검출된 경우 단계 2040에서 제어부(170)는 사용자 입력이 외부표시장치와 관련된 것인지 여부를 결정한다. 예컨대, 에뮬레이션 화면이 표시되고 있지 않은 경우 제어부(170)는 사용자 입력이 외부표시장치와 관련되지 않은 것으로 결정한다. 사용자 입력이 에뮬레이션 화면에서 발생된 경우 제어부(170)는 사용자 입력이 외부표시장치와 관련된 것으로 결정한다. 에뮬레이션 화면이 제 1 스크린 영역에서 표시되고 있고 다른 화면이 제 2 스크린 영역에서 표시되고 있는 상태에서 사용자 입력이 제 1 스크린 영역에서 발생된 경우, 제어부(170)는 사용자 입력이 외부표시장치와 관련된 것으로 결정한다. 사용자 입력이 제 2 스크린 영역에서 발생된 경우, 제어부(170)는 사용자 입력이 외부표시장치와 관련되지 않은 것으로 결정한다.When a user input is detected from the display unit 130, in step 2040, the controller 170 determines whether the user input is related to an external display device. For example, when the emulation screen is not displayed, the controller 170 determines that the user input is not related to the external display device. When the user input is generated on the emulation screen, the controller 170 determines that the user input is related to the external display device. When the user input is generated in the first screen area while the emulation screen is displayed in the first screen area and another screen is displayed in the second screen area, the controller 170 indicates that the user input is related to the external display device. Decide When the user input is generated in the second screen area, the controller 170 determines that the user input is not related to the external display device.

사용자 입력이 외부표시장치와 관련된 것으로 결정된 경우 단계 2050에서 제어부(170)는 사용자 입력에 응답하여 외부표시장치의 화면과 관련된 기능을 수행한다. 예컨대, 에뮬레이션 화면의 터치 영역에서 드래그가 검출된 경우, 제어부(170)는 드래그의 방향을 따라 포인터를 이동시킨다. 즉 외부표시장치는 제어부(170)의 제어 하에, 포인터가 이동하는 모습을 표시한다. 에뮬레이션 화면의 터치 영역 또는 마우스 왼쪽 버튼에서 탭이 검출된 경우, 제어부(170)는 포인터가 위치한 아이콘의 어플리케이션을 실행하고, 실행 화면을 표시하도록 외부표시장치를 제어한다. 사용자 입력이 "탭 앤 터치 후 드래그"인 경우 제어부(170)는 드래그의 방향을 따라 포인터 및 포인터가 위치한 실행 화면을 동시에 이동시킨다. 이상으로 단계 2050에 따르면 표시부(130)가 외부표시장치의 입력장치로 사용됨을 알 수 있다.If it is determined that the user input is related to the external display device, in step 2050, the controller 170 performs a function related to the screen of the external display device in response to the user input. For example, when a drag is detected in the touch area of the emulation screen, the controller 170 moves the pointer along the drag direction. That is, the external display device displays a state in which the pointer moves under the control of the controller 170. When a tap is detected in the touch area of the emulation screen or the left mouse button, the controller 170 controls an external display device to execute an application of an icon where a pointer is located and to display an execution screen. When the user input is “tap and touch and drag”, the controller 170 simultaneously moves the pointer and the execution screen on which the pointer is located along the drag direction. As described above, according to operation 2050, it can be seen that the display 130 is used as an input device of the external display device.

사용자 입력이 외부표시장치의 화면과 관련 없는 경우 다시 말해, 사용자 입력이 표시부(130)의 화면과 관련된 경우 단계 2060에서 제어부(170)는 사용자 입력에 응답하여 표시부(130)의 화면과 관련된 기능을 수행한다. 예컨대, 사용자 입력이 드래그인 경우, 제어부(170)는 드래그의 방향을 따라 화면을 전환한다. 예컨대, 제 1 홈 화면의 제 1 페이지 대신에 제 2 페이지가 표시된다. 사용자 입력이 탭인 경우, 제어부(170)는 탭이 된 아이콘의 어플리케이션을 실행하고, 실행 화면을 표시하도록 표시부(130)를 제어한다. In other words, when the user input is not related to the screen of the external display device. In other words, when the user input is related to the screen of the display unit 130, in step 2060, the controller 170 may provide a function related to the screen of the display unit 130 in response to the user input. To perform. For example, when the user input is a drag, the controller 170 switches the screen along the drag direction. For example, a second page is displayed instead of the first page of the first home screen. If the user input is a tab, the controller 170 controls the display unit 130 to execute an application of the tabbed icon and to display an execution screen.

단계 2070에서 제어부(170)는 듀얼 표시 모드의 종료 여부를 결정한다. 예컨대, 외부표시장치와 휴대 단말(100)의 연결이 해제된 경우 듀얼 표시 모드는 종료된다. 그렇지 않은 경우 프로세스는 단계 2030으로 복귀된다.In operation 2070, the controller 170 determines whether to terminate the dual display mode. For example, when the connection between the external display device and the portable terminal 100 is released, the dual display mode ends. Otherwise, the process returns to step 2030.

도 21은 외부입력장치에 표시되는 포인터를 이동시키기 위한 절차를 설명하기 위한 소프트웨어 아키텍처이다. 도 22는 외부입력장치에 표시되는 포인터를 이동시키기 위한 절차를 설명하기 위한 화면 예시도이다.21 is a software architecture for explaining a procedure for moving a pointer displayed on an external input device. 22 is a screen example for explaining a procedure for moving a pointer displayed on an external input device.

도 21을 참고하면 제어부(170)는 가상 컨트롤러(310), 유입력 모듈(320), 가상의 터치스크린(330), 가상의 멀티터치스크린(340), 엑스서버(350) 및 어플리케이션(360)을 포함한다. 제 1 과정에서 가상 컨트롤러(310)가 실행된다. 제 2 과정에서 가상 컨트롤러(310)는 도 22에 도시한 바와 같이, 에뮬레이션 영역(410), 마우스 왼쪽 버튼(420), 마우스 오른쪽 버튼(430), 최소화 버튼(440), 최대화 버튼(450) 및 종료 버튼(460)을 포함하는 에뮬레이션 화면을 표시하도록 표시부(130)를 제어한다. 제 3 과정에서 가상 컨트롤러(310)는 유입력 모듈(320)에 가상의 터치스크린의 생성을 요청한다. 제 4 과정에서 유입력 모듈(320)은 가상 컨트롤러(310)의 요청에 응답하여 가상의 터치스크린(330) 및 가상의 멀티터치스크린(340)을 생성한다.Referring to FIG. 21, the controller 170 may include a virtual controller 310, an inflow force module 320, a virtual touch screen 330, a virtual multi-touch screen 340, an X server 350, and an application 360. It includes. In the first process, the virtual controller 310 is executed. In the second process, as shown in FIG. 22, the virtual controller 310 includes the emulation area 410, the left mouse button 420, the right mouse button 430, the minimize button 440, the maximize button 450, and the like. The display unit 130 is controlled to display an emulation screen including an end button 460. In the third process, the virtual controller 310 requests the inflow force module 320 to generate a virtual touch screen. In the fourth process, the inflow force module 320 generates the virtual touch screen 330 and the virtual multi-touch screen 340 in response to a request of the virtual controller 310.

제 5 과정에서 터치 좌표(x_n, y_n)가 엑스서버(350)로 전달된다. 제 6 과정에서 엑스서버(350)는 터치 좌표(x_n, y_n)를 가상 컨트롤러(310)로 전달한다. 제 7 과정에서 가상 컨트롤러(310)는 터치 좌표(x_n, y_n)가 에뮬레이션 영역(410)에서 발생된 것인지 여부를 판단한다. 터치 좌표(x_n, y_n)가 에뮬레이션 영역(410)에서 발생된 경우 제 8 과정에서 가상 컨트롤러(310)는 터치의 위치 변화량(d_x(x_n-x_n-1), d_y(y_n-y_n-1))을 산출한다. 여기서 (x_n-1, y_n-1)은 이전에 검출된 터치 좌표이다. 제 9 과정에서 가상 컨트롤러(310)는 유입력 모듈(320)로 위치 변화량(d_x, d_y)을 전달한다. 제 10 과정에서 유입력 모듈(320)은 위치 변화량(d_x, d_y)을 가상의 터치스크린(330)으로 전달한다. 제 11 과정에서 가상의 터치스크린(330)은 위치 변화량(d_x, d_y)을 엑스서버(350)로 전달한다. 제 12 과정에서 엑스서버(350)는 외부표시장치와 관련된 어플리케이션(360)으로 위치 변화량(d_x, d_y)을 전달한다. 어플리케이션(360)은 위치 변화량(d_x, d_y)에 응답하여 도 22에 도시된 바와 같이, 포인터(470)를 제 1 위치(480)에서 제 2 위치(490)로 이동시킨다.In the fifth process, the touch coordinates (x _n , y _n ) are transmitted to the X server 350. In the sixth process, the X server 350 transmits the touch coordinates (x _n , y _n ) to the virtual controller 310. In a seventh process, the virtual controller 310 determines whether the touch coordinates (x _n , y _n ) are generated in the emulation area 410. When the touch coordinates (x _n , y _n ) are generated in the emulation area 410, in the eighth process, the virtual controller 310 changes the position change amount of the touch (d _x (x _n -x _n-1 ), d _y (y). _n -y _n-1 )). Where (x _n-1 , y _n-1 ) are previously detected touch coordinates. In the ninth process, the virtual controller 310 transmits the position change amount d _x , d _y to the inflow force module 320. In the tenth step, the inflow force module 320 transmits the position change amount d _x , d _y to the virtual touch screen 330. In the eleventh process, the virtual touch screen 330 transmits the position change amount d _x , d _y to the X server 350. In the twelfth process, the X server 350 transmits the position change amounts d _x and d _y to the application 360 related to the external display device. The application 360 moves the pointer 470 from the first position 480 to the second position 490 as shown in FIG. 22 in response to the position change amount d _x , d _y .

도 23은 외부입력장치에 표시되는 이미지의 크기를 변환하기 위한 절차를 설명하기 위한 소프트웨어 아키텍처이다. 도 24는 외부입력장치에 표시되는 이미지의 크기를 변환하기 위한 절차를 설명하기 위한 화면 예시도이다.FIG. 23 is a software architecture for explaining a procedure for converting a size of an image displayed on an external input device. 24 is a screen example for explaining a procedure for converting a size of an image displayed on an external input device.

도 23을 참고하면 제 1 과정 내지 제 4 과정은 도 21과 동일하다. 제 5 과정에서 제 1 터치 좌표(x₁, y₁)와 제 2 터치 좌표(x₂, y₂)가 엑스서버(450)로 전달된다. 제 6 과정에서 엑스서버(550)는 제 1 터치 좌표(x₁, y₁)와 제 2 터치 좌표(x₂, y₂)를 가상 컨트롤러(510)로 전달한다. 제 7 과정에서 가상 컨트롤러(310)는 제 1 터치 좌표(x₁, y₁)와 제 2 터치 좌표(x₂, y₂)가 에뮬레이션 영역(610)에서 발생된 것인지 여부를 판단한다. 제 1 터치 좌표(x₁, y₁)와 제 2 터치 좌표(x₂, y₂)가 에뮬레이션 영역(610)에서 발생된 경우 제 8 과정에서 가상 컨트롤러(310)는 에뮬레이션 영역(610)의 크기(A)와 외부표시장치와 관련된 어플리케이션(560)의 실행화면(620; 도 6 참조)의 크기(B)를 확인하고, 크기 정보(A 및 B)를 이용하여 제 1 터치 좌표(x₁, y₁)를 제 3 터치 좌표(x₃, y₃)로 변환하고, 제 2 터치 좌표(x₂, y₂)를 제 4 터치 좌표(x₄, y₄)로 변환한다. Referring to FIG. 23, first to fourth processes are the same as in FIG. 21. In a fifth process, the first touch coordinates x ₁ and y ₁ and the second touch coordinates x ₂ and y ₂ are transmitted to the X server 450. In the sixth process, the X server 550 transfers the first touch coordinates x ₁ and y ₁ and the second touch coordinates x ₂ and y ₂ to the virtual controller 510. In a seventh process, the virtual controller 310 determines whether the first touch coordinates x ₁ and y ₁ and the second touch coordinates x ₂ and y ₂ are generated in the emulation area 610. When the first touch coordinates (x ₁ , y ₁ ) and the second touch coordinates (x ₂ , y ₂ ) are generated in the emulation area 610, the virtual controller 310 determines the size of the emulation area 610 in the eighth process. (A) and the size B of the execution screen 620 (see FIG. 6) of the application 560 related to the external display device, and using the size information A and B, the first touch coordinates x ₁ , y ₁ ) is converted into third touch coordinates x ₃ and y ₃ , and second touch coordinates x ₂ and y ₂ are converted into fourth touch coordinates x ₄ and y ₄ .

제 9 과정에서 가상 컨트롤러(510)는 유입력 모듈(520)로 제 3 터치 좌표(x₃, y₃)와 제 4 터치 좌표(x₄, y₄)를 전달한다. 제 10 과정에서 유입력 모듈(520)은 제 3 터치 좌표(x₃, y₃)와 제 4 터치 좌표(x₄, y₄)를 가상의 멀티터치스크린(540)으로 전달한다. 제 11 과정에서 가상의 멀티터치스크린(540)은 제 3 터치 좌표(x₃, y₃)와 제 4 터치 좌표(x₄, y₄)를 엑스서버(550)로 전달한다. 제 12 과정에서 엑스서버(550)는 외부표시장치와 관련된 어플리케이션(560)으로 제 3 터치 좌표(x₃, y₃)와 제 4 터치 좌표(x₄, y₄)를 전달한다. 어플리케이션(660)은 제 3 터치 좌표(x₃, y₃)와 제 4 터치 좌표(x₄, y₄)에 응답하여 실행 화면(620)의 크기를 변경(예, 확대)한다.In the ninth process, the virtual controller 510 transmits the third touch coordinates x ₃ and y ₃ and the fourth touch coordinates x ₄ and y ₄ to the inflow force module 520. In the tenth step, the inflow force module 520 transfers the third touch coordinates x ₃ and y ₃ and the fourth touch coordinates x ₄ and y ₄ to the virtual multi-touch screen 540. In the eleventh process, the virtual multi-touch screen 540 transfers the third touch coordinates x ₃ and y ₃ and the fourth touch coordinates x ₄ and y ₄ to the X server 550. In the twelfth process, the X server 550 transmits the third touch coordinates x ₃ and y ₃ and the fourth touch coordinates x ₄ and y ₄ to the application 560 related to the external display device. The application 660 changes (eg, enlarges) the size of the execution screen 620 in response to the third touch coordinates x ₃ and y ₃ and the fourth touch coordinates x ₄ and y ₄ .

한편, 상술한 바와 같은 본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.On the other hand, the embodiments of the present invention as described above are implemented in the form of program instructions that can be executed by various computer means may be recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the recording medium may be those specially designed and constructed for the present invention, or they may be known and available to those skilled in computer software.

상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.The computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, and optical recording media such as compact disc read only memory (CD-ROM) and digital versatile disc (DVD). Media, magnetic-optical media such as floppy disks, and program instructions such as read only memory, random access memory, and flash memory. Hardware devices that are specifically configured to be included. Program instructions also include high-level language code that can be executed by a computer using an interpreter, as well as machine code such as produced by a compiler. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

그리고 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.In addition, the embodiments of the present invention disclosed in the specification and drawings are merely illustrative of specific examples to easily explain the technical contents of the present invention and to help understanding of the present invention, and are not intended to limit the scope of the present invention. Therefore, the scope of the present invention should be construed that all changes or modifications derived based on the technical spirit of the present invention are included in the scope of the present invention in addition to the embodiments disclosed herein.

100: 휴대단말 200: 외부 표시장치
300: 외부 입력장치
110: 무선 통신부 120: 사용자 입력부
130: 표시부 140: 오디오 처리부
150: 저장부 160: 인터페이스부
170: 제어부 180: 전원 공급부
250: 데스크톱용 바로가기 아이콘
550: 상태바 555: 윈도우 크기 조절 버튼
750: 포인터100: mobile terminal 200: external display device
300: external input device
110: wireless communication unit 120: user input unit
130: display unit 140: audio processing unit
150: storage unit 160: interface unit
170: control unit 180: power supply unit
250: Desktop shortcut icon
550: Status Bar 555: Window Resizing Button
750: pointer

Claims

delete

In the screen display method using a mobile terminal and an external display device,
Detecting a window generation event according to an application execution;
Identifying a display device in which the window is to be generated in response to the window creation event;
Acquiring a resource for a display device on which the window is to be generated;
Determining a window layout policy of the display device in response to the obtained resource;
Generating the window on the display device in a layout according to the determined window layout policy; And
And displaying the execution screen of the application through the window.

27. The display device of claim 26, wherein the display device on which the window is to be generated is
And at least one display device displaying a screen of the execution application among at least two display devices connected to the portable terminal.

27. The method of claim 26, wherein determining the window layout policy is
And retrieving the window layout policy corresponding to the resource of the display device from a preset window layout policy.

29. The method of claim 28, wherein determining the window layout policy
Searching for a display device-specific resource corresponding to a resource of the display device and a window layout policy mapped to the resource from a preset mapping table; And
And determining the found window layout policy as a window layout policy of the display device when the window layout policy is searched.

The method of claim 26, wherein the resource of the display device
And at least one of a resource for a display unit of the portable terminal and a resource for at least one external display device connected to the portable terminal.

27. The method of claim 26, wherein acquiring the resource
The display method using the portable terminal and an external display device, characterized in that the acquisition by a polling method by the mobile terminal or by a push method by the display device.

In the screen display method using a mobile terminal and an external display device,
The portable terminal may include acquiring resources for the external display device when the external display device is connected;
Determining a window layout policy corresponding to the obtained resource and outputting a desktop window screen according to the determined window layout policy to the external display device;
The external display device displaying the desktop window screen according to a layout of the window layout policy;
Determining, by the portable terminal, a window generation area for the application when a user input for executing an application is received;
Determining a window layout policy for the external display device when the window generation area is determined to be the external display device;
Outputting an application execution screen according to the determined window layout policy to the external display device; And
And the external display device displaying the application execution screen according to the layout of the window layout policy.

33. The method of claim 32,
The window screen displayed on the portable terminal and the window screen displayed on the external display device are separately operated in different layouts.

The process of claim 32, wherein the outputting to the external display device is performed.
And displaying a screen generated according to a window layout policy to the external display device while the current display of the mobile device is maintained.

33. The method of claim 32, wherein the determining of the window generation area comprises
Identifying a display device on which the application is to be executed;
When the application execution is detected on the screen displayed on the portable terminal, the window generation area is determined to be the display unit of the portable terminal, and when the application execution is detected on the screen displayed on the external display device, the window generation region is determined as the external display device. Screen display method using a mobile terminal and an external display device characterized in that.

33. The method of claim 32,
And the portable terminal and the external display device are connected by any one of a wired interface and a wireless interface.

The method of claim 36, wherein
The wired interface includes a high-definition multimedia interface (HDMI), and the wireless interface includes Wi-Fi.

In the window layout providing method for each display device,
Setting a window layout policy for the display devices;
Determining a window layout policy to be applied to the window according to a preset window layout policy when generating a window according to an application execution request; And
And generating the window with a layout according to the determined window layout policy.

In the system for screen display according to the window layout policy for each display device,
A mobile terminal that supports a multi-screen function by connecting to an external display device and generates and outputs a window according to a window layout policy for a resource of the connected external display device; And
And an external display device configured to display a window output from the mobile terminal in a layout according to the window layout policy.

The method of claim 39,
And the portable terminal and the external display device are connected by any one of a wired interface and a wireless interface.

41. The display device of claim 40, wherein the window displayed on the external display device is
A system for displaying a screen according to a window layout policy for each display device, characterized by including a window resizing button on an upper frame of a window.

In the mobile terminal,
An interface unit for providing a wired / wireless interface for connecting an external display device;
A display unit configured to display a screen according to a set window layout policy; And
Set a window layout policy for display devices, determine a window layout policy to be applied to the window according to a predetermined window layout policy when creating a window according to an application execution request, and determine the window layout policy according to the determined window layout policy. And a controller for generating the window in a layout and controlling the display to be displayed on the external display device.

Detects a window creation event according to an application execution, identifies a display device on which the window is to be generated in response to the window creation event, obtains a resource for the display device, and displays the corresponding response to the obtained resource. A computer-readable recording record for determining a window layout policy of a device, generating the window on the display device with a layout according to the determined window layout policy, and processing a program to display an execution screen of the application through the window; media.

In the method of processing a user input in a portable terminal connected to an external display device having a touch screen,
Detecting a user input from the touch screen;
A determining step of determining whether the user input is related to a first screen of the external display device; And
If the user input is related to the first screen, performs a function related to the first screen in response to the user input; if the user input is not related to the first screen, in response to the user input, a second of the touch screen A method of processing a user input comprising performing a function to perform a function related to a screen.

The method of claim 44,
The determining step,
When the emulation screen is displayed on the touch screen and the user input is detected on the emulation screen, it is determined that the user input is related to the first screen of the external display device, and the emulation screen is not displayed on the touch screen or the user And if the input is detected in an area other than the emulation screen, determining that the user input is not related to the first screen.

The method of claim 45,
And wherein said emulation screen comprises a touch area and one or more softkeys.

The method of claim 46,
The function performing step,
And when a drag is detected in the touch area, displaying a movement of a pointer along the direction of the drag on the external display device.

The method of claim 46,
The function performing step,
When the first touch coordinates and the second touch coordinates are detected in the touch area, the first touch coordinates and the second touch coordinates are converted into third touch coordinates and fourth touch coordinates, respectively, and the third touch coordinates and And a size of the first screen is changed using the fourth touch coordinates.

49. The method of claim 48 wherein
The function performing step,
The first touch coordinate and the second touch coordinate are converted into the third touch coordinate and the fourth touch coordinate, respectively, by using the size of the touch area and the size of the first screen. Way.

The method of claim 44,
And transmitting the first screen to the external display device when the external display device is connected to the portable terminal.

An interface unit for connecting to an external display device by wire;
A wireless communication unit for wirelessly connecting to the external display device;
A touch screen including a touch panel and a display panel;
And a controller for controlling the interface unit, the wireless communication unit, and the touch screen.
The controller detects a user input from the touch screen, determines whether the user input is related to the first screen of the external display device, and if the user input is related to the first screen, responding to the user input. The mobile terminal performs a function related to a first screen, and performs a function related to a second screen of the touch screen in response to the user input when the user input is not related to the first screen.

The method of claim 51, wherein
The control unit,
When the emulation screen is displayed on the touch screen and the user input is detected on the emulation screen, it is determined that the user input is related to the first screen of the external display device, and the emulation screen is not displayed on the touch screen or the user And if the input is detected in an area other than the emulation screen, determining that the user input is not related to the first screen.

The method of claim 52, wherein
The emulation screen comprises a touch area and at least one softkey.

The method of claim 53,
The control unit,
And when the drag is detected in the touch area, controlling the external display device to display the movement of the pointer in the direction of the drag.

The method of claim 53,
The control unit,
When the first touch coordinates and the second touch coordinates are detected in the touch area, the first touch coordinates and the second touch coordinates are converted into third touch coordinates and fourth touch coordinates, respectively, and the third touch coordinates and And a size of the first screen by using the fourth touch coordinates.

The method of claim 55,
The control unit,
And converting the first touch coordinates and the second touch coordinates into the third touch coordinates and the fourth touch coordinates, respectively, using the size of the touch area and the size of the first screen.

The method of claim 51, wherein
The control unit,
And when the external display device is connected to the interface unit or the wireless communication unit, controlling the interface unit or the wireless communication unit to transmit the first screen to the external display device.

The method of claim 51, wherein
The interface unit,
And a high definition multimedia interface (HDMI) and transmitting the first screen to the external display device through the high definition multimedia interface.