WO2011002238A2 - 복수의 가상 스크린을 갖는 이동 단말기 및 그 제어 방법 - Google Patents

복수의 가상 스크린을 갖는 이동 단말기 및 그 제어 방법 Download PDF

Info

Publication number
WO2011002238A2
WO2011002238A2 PCT/KR2010/004274 KR2010004274W WO2011002238A2 WO 2011002238 A2 WO2011002238 A2 WO 2011002238A2 KR 2010004274 W KR2010004274 W KR 2010004274W WO 2011002238 A2 WO2011002238 A2 WO 2011002238A2
Authority
WO
WIPO (PCT)
Prior art keywords
screen
gesture
virtual
icon
display device
Prior art date
Application number
PCT/KR2010/004274
Other languages
English (en)
French (fr)
Other versions
WO2011002238A3 (ko
Inventor
정재훈
Original Assignee
엘지전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자주식회사 filed Critical 엘지전자주식회사
Publication of WO2011002238A2 publication Critical patent/WO2011002238A2/ko
Publication of WO2011002238A3 publication Critical patent/WO2011002238A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Definitions

  • the present invention relates to a mobile terminal and a control method thereof.
  • the present invention is to form a plurality of virtual screens in a mobile terminal such as a mobile phone, the display screen is small, the user input and output means is limited, and to switch between the plurality of virtual screens according to the intuitive operation of the user
  • the present invention relates to a mobile terminal and a method of controlling the same, which allow a user to have a larger working space.
  • Mobile terminals such as mobile phones, PDAs, and MP3s may be configured to perform various functions. Examples of such various functions include data and voice communication functions, taking pictures or videos through a camera, storing voices, playing music files through a speaker system, and displaying images or videos. Some mobile terminals include additional functionality to play games, while others are implemented as multimedia devices. Moreover, recent mobile terminals can receive broadcast or multicast signals to watch video or television programs.
  • the mobile terminal Since the mobile terminal must guarantee its mobility, the means for the user to input a command is limited, the display is not only small, but also multi-tasking, it is necessary to work with only one display. It is impossible to implement dual monitors like PCs.
  • An object of the present invention is to provide a user interface useful for multitasking tasks in a mobile terminal.
  • An object of the present invention is to provide a mobile terminal and a control method for setting a plurality of virtual screens having separate output images and enabling a user to perform a desired task while switching between virtual screens using an intuitive gesture. It is done.
  • the method and structure proposed by the present invention can be applied not only to a mobile terminal but also to all kinds of electronic devices equipped with a display.
  • a method of controlling a display apparatus includes generating a plurality of virtual screens having output images independent of each other; Displaying one of the plurality of virtual screens; Detecting a user input; And switching to and displaying another virtual screen according to the user's input.
  • a method of controlling a display apparatus includes generating a plurality of virtual screens having output images independent of each other; Generating a text editing screen on one of the virtual screens; Detecting a gesture of selecting an object in one of the other virtual screens; Detecting a screen switching gesture to a virtual screen including the text editing screen; Displaying a screen including the text editing screen; Detecting a gesture of releasing a touch by a user; And attaching the selected object to a position where the touch of the text editing screen is released.
  • a method of controlling a display apparatus includes generating a plurality of virtual screens having output images independent of each other; Generating a text editing screen on one of the virtual screens; Detecting a gesture of selecting and dragging a media file in one of the other virtual screens; Detecting a screen switching gesture; Displaying a screen on which the text editing screen is generated; Detecting a gesture of releasing a touch by a user; And attaching the selected media file as an attachment to the text being created.
  • a mobile terminal a display unit; And a controller configured to generate a plurality of virtual screens having separate output images independent of each other, and output at least one of the plurality of virtual screens to the display unit according to a user input.
  • a control method of a display device connectable with another display device includes generating a plurality of virtual screens comprising an output image; Displaying a virtual screen including an execution icon among the plurality of virtual screens on the display device; Detecting a gesture to execute one of the execution icons; Detecting a virtual screen switching gesture; And transmitting the execution screen of the execution icon to the other display device.
  • a display device connectable with another display device includes a display unit; Communication module for transmitting and receiving data with the other device; And a gesture for generating a plurality of virtual screens including an output image, displaying a virtual screen including an execution icon among the plurality of virtual screens on the display device, and executing one of the execution icons and a virtual screen switching gesture.
  • the controller may include a controller configured to transmit the execution screen of the execution icon to the other display device.
  • a mobile terminal can provide a user interface useful for a multitasking task.
  • the screens of the main screen are overlapped with each other so that the events occurring in the two screens can be confirmed as one screen.
  • a plurality of virtual screens can be set in a mobile terminal, a program can be independently executed in each virtual screen, and multitasking can be performed by quickly moving between main screens and left or right screens.
  • a copy and paste function and a media file attachment function by dragging which are difficult to implement in a mobile terminal, can be easily implemented.
  • FIG. 1 is a block diagram of a mobile terminal 100 according to an embodiment of the present invention.
  • FIG. 2 illustrates an operation of a mobile terminal 100 that can implement a plurality of virtual screens according to an embodiment of the present invention.
  • 3 and 4 illustrate an example in which another virtual screen is displayed when the user tilts the mobile terminal in one direction according to one embodiment of the present invention.
  • FIG. 5 illustrates an example of detecting a tilt of a mobile terminal using a camera according to an embodiment of the present invention.
  • 6 to 8 and 9 illustrate a method of executing an icon belonging to a screen currently displayed on a display on another virtual screen, according to an embodiment of the present invention.
  • FIGS. 10 and 11 illustrate a method of executing an icon belonging to a currently displayed virtual screen on another screen using a switch icon according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a method of executing an icon included in an output screen of a currently displayed virtual screen on another virtual screen, according to an exemplary embodiment.
  • 13 to 15 illustrate a method of moving an icon included in an output screen of a currently displayed virtual screen to another virtual screen according to one embodiment of the present invention.
  • FIG. 17 illustrates a method of attaching a preview image to text being edited while text editing is performed on one virtual screen and an image preview function is executed on another virtual screen according to an embodiment of the present invention.
  • FIG. 18 illustrates a screen executing a text editing function on a main screen and a screen running an internet browser on a right screen according to an embodiment of the present invention.
  • FIG. 19 is a flowchart illustrating a method of copying and pasting a text or media file of FIG. 17 or FIG. 18, in accordance with an embodiment of the present invention.
  • 20 and 21 illustrate an embodiment of executing different tasks on a plurality of virtual screens according to an embodiment of the present invention.
  • FIG. 22 illustrates a method of displaying one of the virtual screens on another display device according to one embodiment of the present invention.
  • FIG. 23 illustrates a method of displaying an execution screen executed in a mobile terminal on another display device according to an embodiment of the present invention.
  • 24 to 27 illustrate a method of moving a file between a mobile terminal and another display device according to an embodiment of the present invention.
  • FIG. 28 is a flowchart illustrating a method of displaying an execution screen of a mobile terminal 100 on another display device according to an embodiment of the present invention.
  • FIG. 30 illustrates a virtual screen rendering method using a 3D display apparatus according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of a mobile terminal 100 according to an embodiment of the present invention.
  • the mobile terminal can be implemented in various forms.
  • the mobile terminal described herein may be a mobile phone, a smart phone, a notebook computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), navigation, or the like. have.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • the illustrated mobile terminal 100 includes a wireless communication unit 110, an A / V input unit 120, a user input unit 130, a sensing unit 140, an output unit 150, a memory 160,
  • the interface unit 170 may include a controller 180, a power supply unit 190, and the like.
  • 1 illustrates a mobile terminal having various components. However, not all illustrated components are essential components. The mobile terminal may be implemented by more components than the illustrated components, or the mobile terminal may be implemented by fewer components.
  • the wireless communication unit 110 may include one or more components for wireless communication between the mobile terminal 100 and the wireless communication system or wireless communication between the mobile terminal 100 and a network in which the mobile terminal 100 is located.
  • the wireless communication unit 110 may include a broadcast receiving module 111, a mobile communication module 112, a wireless internet module 113, a short range communication module 114, a location information module 115, and the like. .
  • the broadcast receiving module 111 receives a broadcast signal and / or broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the broadcast management server may mean a server that generates and transmits a broadcast signal and / or broadcast related information or a server that receives a previously generated broadcast signal and / or broadcast related information and transmits the same to a terminal.
  • the broadcast related information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider.
  • the broadcast signal may include not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a broadcast signal having a data broadcast signal combined with a TV broadcast signal or a radio broadcast signal.
  • the broadcast related information may be provided through a mobile communication network, and in this case, may be received by the mobile communication module 112.
  • the broadcast related information may exist in various forms. For example, it may exist in the form of Electronic Program Guide (EPG) of Digital Multimedia Broadcasting (DMB) or Electronic Service Guide (ESG) of Digital Video Broadcast-Handheld (DVB-H).
  • EPG Electronic Program Guide
  • DMB Digital Multimedia Broadcasting
  • ESG Electronic Service Guide
  • DVB-H Digital Video Broadcast-Handheld
  • the broadcast receiving module 111 receives broadcast signals using various broadcasting systems, and in particular, digital multimedia broadcasting-terrestrial (DMB-T), digital multimedia broadcasting-satellite (DMB-S), and media forward link (MediaFLO). Digital broadcast signals can be received using digital broadcasting systems such as only), digital video broadcast-handheld (DVB-H), integrated services digital broadcast-terrestrial (ISDB-T), and the like. Of course, the broadcast receiving module 111 is configured to be suitable for all broadcast systems providing broadcast signals as well as the digital broadcast system described above.
  • DMB-T digital multimedia broadcasting-terrestrial
  • DMB-S digital multimedia broadcasting-satellite
  • MediaFLO media forward link
  • Digital broadcast signals can be received using digital broadcasting systems such as only), digital video broadcast-handheld (DVB-H), integrated services digital broadcast-terrestrial (ISDB-T), and the like.
  • the broadcast receiving module 111 is configured to be suitable for all broadcast systems providing broadcast signals as well as the digital broadcast system described above.
  • the broadcast signal and / or broadcast related information received through the broadcast receiving module 111 may be stored in the memory 160.
  • the mobile communication module 112 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the wireless internet module 113 refers to a module for wireless internet access, and the wireless internet module 113 may be internal or external.
  • the short range communication module 114 refers to a module for short range communication.
  • Bluetooth Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and the like may be used.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • the location information module 115 is a module for checking or obtaining the location of the mobile terminal.
  • the GPS module receives location information from a plurality of satellites.
  • the location information may include coordinate information represented by latitude and longitude.
  • the GPS module can measure the exact time and distance from three or more satellites and accurately calculate the current position by triangulating three different distances. A method of obtaining distance and time information from three satellites and correcting the error with one satellite may be used.
  • the GPS module can obtain not only the location of latitude, longitude, and altitude but also accurate time together with three-dimensional speed information from the location information received from the satellite.
  • the A / V input unit 120 is for inputting an audio signal or a video signal, and may include a camera 121 and a microphone 122.
  • the camera 121 processes an image screen such as a still image or a moving image obtained by an image sensor in a video call mode or a photographing mode.
  • the processed image screen may be displayed on the display unit 151.
  • the image screen processed by the camera 121 may be stored in the memory 160 or transmitted to the outside through the wireless communication unit 110. Two or more cameras 121 may be provided according to the configuration aspect of the terminal.
  • the microphone 122 receives an external sound signal by a microphone in a call mode, a recording mode, a voice recognition mode, etc., and processes the external sound signal into electrical voice data.
  • the processed voice data may be converted into a form transmittable to the mobile communication base station through the mobile communication module 112 and output in the call mode.
  • the microphone 122 may implement various noise removing algorithms for removing noise generated in the process of receiving an external sound signal.
  • the user input unit 130 generates input data for the user to control the operation of the terminal.
  • the user input unit 130 may include a touch panel 131 and an inclination sensor 132.
  • the user input unit 130 may include a key pad, a dome switch, a jog wheel, a jog switch, and the like. .
  • the touch panel 131 is mounted on the display unit 151 which will be described later, this may be referred to as a touch screen.
  • a geomagnetic sensor or an accelerometer may be used as the tilt sensor. Also, by using the camera 121 to be described later, a face image of the user may be photographed, and the image may be tilted relative to the user of the mobile terminal 100 through image processing. It can also be detected.
  • the state sensing unit 140 detects the current state of the mobile terminal 100 such as an open / closed state of the mobile terminal 100, a position of the mobile terminal 100, presence or absence of a user contact, orientation of the mobile terminal, acceleration / deceleration of the mobile terminal, and the like. It detects and generates a signal for controlling the operation of the mobile terminal 100. For example, when the mobile terminal 100 is in the form of a slide phone, it may sense whether the slide phone is opened or closed. In the case of a touch screen phone, it may sense whether the lock of the touch screen is set or released. Also, whether the power supply unit 190 supplies power or whether the interface unit 170 is coupled to an external device may be sensed.
  • the interface unit 170 serves as an interface with all external devices connected to the mobile terminal 100.
  • wired / wireless headset ports for example, wired / wireless headset ports, external charger ports, wired / wireless data ports, memory card ports, ports for connecting devices with identification modules, audio input / output (I / O) ports, Video I / O (Input / Output) port, earphone port, etc. may be included.
  • I / O audio input / output
  • Video I / O (Input / Output) port may be included.
  • the identification module is a chip that stores various types of information for authenticating the use authority of the mobile terminal 100, and includes a user identification module (UIM) and a subscriber identify module (SIM). ), A Universal Subscriber Identity Module (“USIM”), and the like.
  • the device equipped with the identification module hereinafter, 'identification device'
  • the interface unit 170 receives data from an external device or receives power and transmits the data to each component inside the mobile terminal 100 or transmits the data inside the mobile terminal 100 to an external device.
  • the output unit 150 is for outputting an audio signal, a video signal, or an alarm signal.
  • the output unit 150 may include a display unit 151, a sound output module 152, an alarm unit 153, and the like.
  • the display unit 151 displays and outputs information processed by the mobile terminal 100. For example, when the mobile terminal is in a call mode, a user interface (UI) or a graphic user interface (GUI) related to a call is displayed. When the mobile terminal 100 is in a video call mode or a photographing mode, the mobile terminal 100 displays a photographed and / or received image, UI, or GUI.
  • UI user interface
  • GUI graphic user interface
  • the display unit 151 may also be used as an input device.
  • the display unit 151 may include a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, and a three-dimensional display. 3D display).
  • two or more display units 151 may exist according to the implementation form of the mobile terminal 100. For example, an external display unit (not shown) and an internal display unit (not shown) may be simultaneously provided in the mobile terminal 100.
  • the sound output module 152 outputs audio data received from the wireless communication unit 110 or stored in the memory 160 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like. In addition, the sound output module 152 outputs a sound signal related to a function (eg, a call signal reception sound, a message reception sound, etc.) performed in the mobile terminal 100.
  • the sound output module 152 may include a speaker, a buzzer, and the like.
  • the alarm unit 153 outputs a signal for notifying occurrence of an event of the mobile terminal 100.
  • Examples of events occurring in the mobile terminal include call signal reception, message reception, and key signal input.
  • the alarm unit 153 may output a signal for notifying occurrence of an event in a form other than an audio signal or a video signal.
  • the signal may be output in the form of vibration.
  • the alarm unit 153 may output a vibration to inform this.
  • the alarm unit 153 may output a vibration in response to the key signal input. Through the vibration output as described above, the user can recognize the occurrence of the event.
  • the signal for notification of event occurrence may be output through the display unit 151 or the voice output module 152.
  • the memory 160 may store a program for processing and controlling the controller 180 and may provide a function for temporarily storing input / output data (for example, a phone book, a message, a still image, a video, etc.). It can also be done.
  • input / output data for example, a phone book, a message, a still image, a video, etc.
  • the memory 160 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM Random Access Memory (RAM) Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM) magnetic memory, It may include at least one type of storage medium of the optical disk.
  • the mobile terminal 100 may operate a web storage that performs a storage function of the memory 150 on the Internet.
  • the controller 180 typically controls the overall operation of the mobile terminal. For example, perform related control and processing for voice calls, data communications, video calls, and the like.
  • the controller 180 may include a multimedia module 181 for playing multimedia.
  • the multimedia module 181 may be implemented in the controller 180 or may be implemented separately from the controller 180.
  • the power supply unit 190 receives an external power source and an internal power source under the control of the controller 180 to supply power for operation of each component.
  • the embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), and the like. It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing the functions. It may be implemented by the controller 180.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • embodiments such as procedures or functions may be implemented with separate software modules that allow at least one function or operation to be performed.
  • the software code may be implemented by a software application written in a suitable programming language.
  • the software code may be stored in the memory 160 and executed by the controller 180.
  • the above-described method may be embodied as computer readable codes on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like, which are also implemented in the form of carrier waves (eg, transmission over the Internet). It also includes.
  • the computer may include the controller 180 of the terminal.
  • FIG. 2 illustrates an operation of a mobile terminal 100 that can implement a plurality of virtual screens according to an embodiment of the present invention.
  • the mobile terminal 100 shown in FIG. 2 is a so-called "touch screen phone” which is a mobile phone whose display 151 occupies most of the front surface and the display 151 is a touch screen.
  • a touch screen phone is described as an example, but as described above, the features of the present invention can be applied to various display devices.
  • the display 151 of the mobile terminal 100 may be a touch screen.
  • Various icons 208 may be displayed on the display 151, and in addition, the wireless signal sensitivity 212a, the current time 212b, the battery level 212c, and the like may be displayed.
  • the right switch icon 204a, the left switch icon 204b, and the switch icon 206 may be displayed.
  • buttons 210 may be disposed below the display 151 of the mobile terminal 100, and the buttons 210 may be call, end, and cancel buttons, respectively.
  • an additional button such as a camera button or a jog wheel may be mounted on the front or side of the mobile terminal 100 according to an embodiment.
  • the mobile terminal 100 has only one display 151, but a plurality of virtual screens may be displayed on the display 151.
  • a plurality of virtual screens may be displayed on the display 151.
  • Each of the virtual screens 200, 300, and 400 has an independent image, and the mobile terminal 100 may support multitasking to simultaneously perform a separate program for each screen.
  • the display 151 displays a screen of the main screen 200.
  • the main screen 200 displays icons 208 representing functions of a message, a calendar, a calculator, a camera, an e-book, and the like.
  • the left screen 300 includes various icons L1 to L15 and 213, and the right screen 400 includes various icons R1 to R14 and 211. have.
  • the user may execute an icon by selecting an icon included in the virtual screen displayed on the display 151 and then touching or double touching the icon.
  • FIG. 2 illustrates a case where each main screen, left and right screens display menu icons in a standby state of a mobile phone, when a separate program is driven, an image suitable for each program may be displayed.
  • the right screen 200 may display the display 151 as shown in FIG. 4.
  • the main screen 200 may be laid out as a background screen of the blurred right screen 400. That is, the translucent images of the right screen 400 and the main screen 200 may be overlapped and displayed.
  • a display such as box 217 at the bottom, this indicates that the screen displayed in the box 217 overlaps with the background screen as the background screen.
  • This operation may be similarly applied to the case where the mobile terminal 100 is tilted to the left side. That is, when the user tilts the mobile terminal 100 to the left, the left screen 300 may be displayed, and the main screen 200 may be displayed as the background screen.
  • the main screen is overlapped with the background screen so that the user can recognize that the currently displayed screen is a screen corresponding to the sub screen.
  • the main screen overlaps with the background screen in a translucent state, it is possible to check not only the sub screen but also events occurring in the main screen through one screen.
  • a background screen may be displayed to semi-transparently output images of the sub screens 300 and 400. All screens other than the currently displayed virtual screen may be displayed by overlapping the background screen in translucency.
  • the tilt gesture of the mobile terminal 100 may be detected by the tilt sensor 132 mounted to the mobile terminal 100.
  • the controller may switch the screen displayed on the display 151 according to the direction in which the terminal 100 is inclined as described above.
  • a geomagnetic field sensor As the tilt sensor 132, a geomagnetic field sensor, an acceleration sensor, a gyro sensor, or the like may be used.
  • a camera 121 mounted on the front of the mobile terminal 100 as shown in FIG. 5 a head tracking technique for processing a face image of a user captured by the camera is applied. The left and right tilts can also be measured.
  • the user face 221 faces the display 151 of the mobile terminal 100.
  • the camera 121 photographs the user face 221.
  • the proportion of the user's face in the image is reduced than when the mobile terminal 100 faces the user's face.
  • three independent output images may be allocated to three virtual screens, and the virtual screens displayed according to a user input may be switched and displayed.
  • the user can have the effect of using three displays with one small display, and can easily perform the necessary tasks while easily moving between the screens.
  • the virtual screens according to the present invention may be composed of one main screen and several sub screens, or may be composed of several virtual screens without distinguishing between main and sub.
  • the output images displayed by the virtual screen according to the present invention are all executed by an independent process and are not affected by the work being executed on other screens.
  • the virtual screens can execute commands independently of each other and display the result according to a user, similar to a multitasking task window or a multi monitor (dual monitor, triple monitor, etc.) in a general PC.
  • an icon belonging to a screen currently displayed on a display may be configured to be executed on another virtual screen.
  • the user selects one of the icons included in the output image of the main screen 200, for example, the calculator icon 220, and then touches and holds the right side.
  • the right screen 400 is displayed as shown in FIG. 7.
  • the calculator function may be executed on the right screen 400 as shown in FIG. 8.
  • FIG. 7 and 8 illustrate a right screen 400, and as the background screen, the main screen may be overlapped with the background screen as described above.
  • the user may execute the calculator on the right screen as shown in FIG. 8 and then return to the main screen 200 to execute another task.
  • the user may designate a virtual screen on which the icon is to be executed, regardless of which virtual screen the icon belongs to.
  • a screen on which the address book function is executed may be displayed on the left screen 300 as shown in FIG. 9. have.
  • the main screen screen may be overlapped and displayed on the background screen of the left screen 300.
  • 10 and 11 illustrate a method of executing an icon belonging to the currently displayed virtual screen on another screen using the switch icons 204a, 204b, and 206.
  • the main screen 200 When the main screen 200 is displayed as shown in FIG. 10, when the user selects one of the icons, for example, the calculator icon 220 and drags and drops it to the right switch icon 204b, the right screen 400 as shown in FIG. 11.
  • the calculator can be run.
  • the main screen screen may overlap the background screen and be displayed.
  • dragging and dropping on the left switch icon 204a may execute the calculator on the left screen. Drag and drop on the switch icon 206 to run the calculator on the right or left screen.
  • FIG. 12 is a flowchart illustrating a method of executing an icon included in an output screen of a currently displayed virtual screen on another virtual screen according to an embodiment of the present invention.
  • step S101 a touch on an icon included in the currently displayed virtual screen is detected.
  • step S102 it is checked whether a gesture of tilting the mobile terminal is detected. Instead of tilting gestures, it may be ascertained that any screen switching commands have been detected. If a touch release is detected in step S103 without a screen switching command, the icon that was touched in step S104 may be executed on the currently displayed virtual screen.
  • step S105 the screen is switched to another virtual screen, and in step S106, when the touch is released, that is, when the finger is released, the switch is made in step S107.
  • the icon is executed on the virtual screen.
  • 13 to 15 illustrate a method of moving an icon included in an output screen of a currently displayed virtual screen to another virtual screen according to one embodiment of the present invention.
  • the user may select and drag an icon, for example, the map icon 220. After dragging, if you remove your finger as it is, the map icon 220 may be moved to the ⁇ position. If the finger-released position is the switch icon 204b as shown in FIG. 10, the displayed screen is switched and the corresponding map function will be executed on another screen.
  • an icon for example, the map icon 220.
  • the right screen 400 is displayed as shown in FIG. 14, and the map icon 220 is also moved to the right screen 400.
  • the map icon 220 is moved to the location. That is, the map icon 220 is now included in the output image of the right screen 400.
  • the map icon 220 may be further dragged to move to a desired position as shown in FIG. 15.
  • an icon may be moved to a virtual screen desired by a user even among a plurality of virtual screens on which an independent process is executed.
  • an icon may be selected and a gesture of dragging the icon may be detected.
  • step S202 it is determined whether a command for switching the virtual screen is input. That is, it is determined whether the mobile terminal is inclined in one direction.
  • step S203 when a touch release is detected, the position of the touched icon is moved within the currently displayed virtual screen and the process ends.
  • step S202 if a command to switch the virtual screen is input, in step S205, switch to another virtual screen, and in step S206, if a touch release is detected, in step S207, the switched virtual screen Move the selected icon on the screen. Further dragging in the moved state moves the position of the icon within the switched virtual screen.
  • FIG. 17 illustrates a method of attaching a preview image to text being edited while text editing is performed on one virtual screen and an image preview function is executed on another virtual screen according to an embodiment of the present invention.
  • the left side of FIG. 17 illustrates a screen on which a text editing job, for example, a text message writing job, is executed using the mobile terminal 100 on the main screen 200.
  • the right side of FIG. 17 shows a screen on which the image preview function is executed on the right screen 400.
  • the image file 310 can be moved to the main screen 200 by selecting the image file 310 and moving the icon described with reference to FIGS. 13 to 15. Can be. That is, when the image file 310 is touched and dragged and then the mobile terminal 100 is tilted to the left, the screen is switched to the main screen 200, and when the image file 310 is dropped on the text message editing window, the image file 310 is created.
  • the image file 310 may be attached to the message in progress.
  • the above embodiment may be applied not only to image files but also to all kinds of multimedia files such as video files and music files.
  • the text to which the multimedia file is attached may be any text that can be attached or inserted into a file such as a text message, an email, or another word file.
  • the user may switch to the right or left screen to display an icon of a media file to attach, and drag the media file to attach it to an email being created on the main screen 200.
  • the image file of the right or left screen may be dragged to insert a picture, an audio file, or a video file into the word file being created.
  • the text included in the output image running on another virtual screen may be selected and pasted to the currently displayed virtual screen. That is, copy and paste functions can be executed on a general PC between different work windows.
  • FIG. 18 shows a screen on which the text editing function, for example, a text message writing function is executed, on the main screen 200, and a screen on which the Internet browser is running on the right screen 400.
  • the text editing function for example, a text message writing function is executed
  • the text 320 may be selected by dragging a desired portion of the right screen 400.
  • the selected text 320 may be set to block or inverted to be distinguished from other parts. Then, drag the selected text 320 and then switch the screen to move to the main screen 200, drag to the desired location of the text message compose window and release the touch, i.e., drop the selected text 320 ) Can be configured to be copied.
  • the embodiment of FIG. 18 may be applied to any text editing window, such as writing a text message, writing an email, or working a word.
  • FIG. 19 is a flowchart illustrating a method of copying and pasting a text or media file of FIG. 17 or FIG. 18, in accordance with an embodiment of the present invention.
  • step S301 a text editing function such as a text message, an email or a word is executed on one of the plurality of virtual screens.
  • step S302 a text or a media file is selected from another virtual screen of a screen or a screen including a list of media files or an icon including any text.
  • Text can be selected by a block setting command by dragging, and a media file can be selected by touch or click.
  • step S303 if the selected one is text, the flow advances to step S304, and if it is a media file, the flow goes to step S309.
  • step S304 a gesture of dragging the selected text in an arbitrary direction on the virtual screen on which the current text is displayed is detected.
  • step S305 it is determined whether a screen switching command is input. If no screen switching command is entered, the process ends.
  • step S306 the text editing function is switched to the virtual screen on which it is being executed.
  • step S307 when the touch on the selected text is released, in step S308, the selected text is pasted where the cursor of the text currently being edited is located.
  • the selected text when the user further drags within the virtual screen on which the text editing function is executed, the selected text may be pasted to the position.
  • step S303 if the selected one is a media file, in step S309, a drag of the media file is detected on the virtual screen to which the media file belongs.
  • step S310 it is determined whether a screen switching command is input. If no screen switching command is input, in step S311, the media file icon is moved to the dragged position and the process ends. If a screen switching command has been input, in step S312, switching to the virtual screen on which text editing is being executed, and in step S313, if a touch release is detected, in step S314, the media file is placed in the text file being edited. You can attach it. In other words, if the text you are editing is a text message or an email, you can attach the media file. If the text file being edited is a word file, the media file can be inserted at the current cursor position of the text or a location specified by the user.
  • 20 and 21 illustrate an embodiment of executing different tasks on a plurality of virtual screens, according to an embodiment of the present invention.
  • an internet browser may be executed on the main screen 200, and a dictionary function may be executed on another sub screen, for example, the right screen 400.
  • a dictionary function may be executed on another sub screen, for example, the right screen 400.
  • a video call may be executed using the main screen 200, and an internet browser may be executed on another sub screen, for example, the right screen 400.
  • an internet browser may be executed on another sub screen, for example, the right screen 400.
  • the above-described mobile terminal 100 may be connected to another display device such as a TV or a monitor by wire or wireless.
  • another display device such as a TV or a monitor by wire or wireless.
  • one of the above-described virtual sub-screens that is, the main screen, the left screen, or the right screen may be displayed on another device connected to the mobile terminal 100.
  • the mobile terminal 100 generates three virtual screens, that is, the main screen 200, the left screen 300, and the right screen 400, one of them, for example, the main screen 200.
  • the other display device may be any display device capable of transmitting and receiving data with the mobile terminal 100, and may be, for example, a TV 500 or a monitor.
  • the mobile terminal 100 and the TV 500 may be connected by wired or wireless communication such as WiFi, Bluetooth, or the like, or may be connected by HDMI when the mobile terminal 100 supports HDMI.
  • the mobile terminal 100 transmits an image of one virtual screen, for example, a right screen, to the TV 500, as shown in FIG. 22, an image of the virtual screen may be displayed on the TV 500.
  • a user of the mobile terminal 100 can display a plurality of virtual screens similar to using a dual monitor in a PC.
  • the main screen 200 displayed on the mobile terminal 100 and the right screen displayed on the TV 500 are displayed.
  • 500 may be configured to be switched.
  • the main screen 200, the left screen 300, and the right screen 400 may be configured to be shifted with each other, for example, by one position.
  • the mobile terminal 100 may execute a command and display the execution screen on another display device.
  • a video search window is executed in the mobile terminal 100 and icons representing a video file are displayed.
  • the execution screen is displayed on another display device. That is, it can be configured to be displayed on the TV (500).
  • a playback screen of the video may be displayed on the TV 500.
  • the mobile terminal 100 When a command to be executed on another screen is detected, the mobile terminal 100 generates the execution screen and then transmits the screen data to the TV 500.
  • the execution screen is the video playback screen, the mobile terminal 100 plays the video movie1 and streams the playback screen to the TV 500.
  • the method of using the switching icon described with reference to FIGS. 10 and 11 may of course also be applied.
  • the user can play the multimedia data stored in the mobile terminal 100 on another device having a large screen by using an intuitive method.
  • a file may be moved between the TV 500, which is another display device connected to the mobile terminal 100, using the above-described method.
  • a video file search window is executed on the main screen 200 of the mobile terminal 100 illustrated in (a), and the right screen 400 illustrated in (b) is stored in the TV 500.
  • the video file search window is running. It is assumed that moving picture file information stored in the TV 500 is transmitted from the TV 500 to the mobile terminal 100 in advance. In this state, the file may be moved between the mobile terminal 100 and the TV 500 in a manner similar to the method of FIGS. 13 to 15 described above.
  • the mobile terminal 100 Similar to the description of FIGS. 13 to 15, when the user selects the icon 231 of the video file of the mobile terminal 100, drags it by a predetermined distance, and inputs a virtual screen switching command, the mobile terminal 100 The right screen 400 displaying the file search window of the TV 500 is displayed on the screen of the screen, and if the icon 231 is dropped there, the video file Movie1 stored in the mobile terminal 100 is moved to the TV 500. That is, it can be configured to be transmitted.
  • the above-described method may be equally applied to file copying, and may be equally applied to file movement and copying of the mobile terminal 100 in the TV 500.
  • TVs are equipped with various functions such as web browsing, video telephony, and file searching, in addition to receiving broadcast signals.
  • input means for replacing a mouse such as a PC
  • input means for replacing a mouse such as a PC
  • a technique of controlling a displayed cursor of the TV 500 by a WiFi method or an infrared method is known.
  • the touch screen of the mobile terminal 100 is used as a touch pad of a notebook.
  • the mobile terminal 100 is equipped with a remote control function capable of controlling the cursor of the TV 500
  • the TV 500 connected to the mobile terminal 100 Moving files between different display devices can be done more conveniently.
  • a video file search window is executed on the main screen 200 of the mobile terminal 100, and the above-described cursor control function is executed on the left screen 300.
  • the main screen 200 and the left screen 300 may be switched by a screen switching command.
  • the user may control the cursor 243 on the TV 500 of (c) through the left screen 300 of (a).
  • the cursor 243 on the TV 500 may be moved (245).
  • FIG. 26 in accordance with an embodiment of the present invention, a combination of the methods of FIGS. 24 and 25 may be used to move a file between two display devices in an easier and intuitive manner.
  • a search window of a video file stored in the mobile terminal 100 is executed on the main screen 200, a cursor control window is executed on the left screen 300, and a video file search of the TV 500 is performed on the right screen. Assume that the window is running.
  • the user can move the video file Movie1 to the TV 500 by the method described with reference to FIG. 24. After the movement is completed, the user switches to the cursor control window of the left screen 300 to save the file stored in the TV 500. Can control them.
  • the execution screen of the mobile terminal 100 is displayed on the TV 500 or the file or the file is moved or copied to the TV 500 has been described. Applicable to the device, it may be applied to another mobile terminal. That is, as shown in FIG. 27, a playback screen of a file stored in one mobile terminal 100 may be displayed on another mobile terminal 600.
  • FIG. 28 is a flowchart illustrating a method of displaying an execution screen of a mobile terminal 100 on another display device according to an embodiment of the present invention.
  • the controller of the mobile terminal 100 generates a plurality of virtual screens including different output images.
  • a virtual screen including an execution icon of the virtual screen is displayed on the display.
  • a gesture for the user to execute an execution icon is detected.
  • the gesture of touching and holding the execution icon is detected.
  • the gesture of switching the virtual screen is detected.
  • the gesture is to rotate the mobile terminal in one direction or drag and drop the execution icon toward the switching icon. If the above gesture is detected in step S405, a function corresponding to the execution icon is executed, and the execution screen is transmitted to another display device connected to the mobile terminal. The other display device receives and displays the execution screen data.
  • 3M Incorporated Vikuiti® 3D film is a film that irradiates images of a person's left and right eyes alternately at different speeds. Mounting the film on the back of conventional display devices, namely LCD panels, etc., can realize a 3D display.
  • the display device equipped with such a 3D film irradiates an image for the left eye and an image for the right eye at an angle to each other, and different images are input to the left and right eyes of the user within a predetermined angle of the front of the display device. Will implement the effect.
  • a user B within an angle can only view an image for the left eye
  • a user C within an angle for an image for the right eye Only the user A can see both the left image and the right image, and the left image and the right image are directed to the left eye and the right eye, respectively, so that they can see the 3D image. That is, the user A who is within a predetermined viewing angle from the mobile terminal 100 may view the 3D image, but the users B and C who are out of the predetermined viewing angle may see only one image.
  • a plurality of users may simultaneously view different images without interference by one display apparatus 700.
  • FIG. 30 different images are rendered on two of the virtual screens Sub1 and Sub2 of the mobile terminal 100 as shown in (a) and displayed simultaneously.
  • These virtual screens Sub1 and Sub2 may be left and right screens in the above-described embodiments. It is assumed that an arbitrary image is rendered on the main screen.
  • Each of the virtual screens Sub1 and Sub2 is displayed as an image for the left eye and an image for the right eye, respectively, by the above-described 3D film. Therefore, these two images will be simultaneously displayed to the user within a predetermined angle from the display of the mobile terminal 100.
  • the images rendered on the virtual screens Sub1 and Sub2 are output images that are independent of each other, unlike conventional 3D image technologies.
  • the image of the left eye and the image for the right eye of the same image are scanned at different angles.
  • output images independent of each other are scanned at different angles. For example, a screen on which the movie Movie1 is played is rendered on the virtual screen Sub1, and a web browser is rendered on the virtual screen Sub2.
  • FIG. 30 looks at (a) from the arrow 250 direction.
  • User B within a angle range sees only the image rendered on the virtual screen Sub1
  • user C within a angle range shows only the image rendered on the virtual screen Sub2.
  • user B and user C can simultaneously view the output images independent of each other without interference from each other.
  • two separate output images appear to be mixed. User A will not be able to recognize what image it is.
  • a plurality of users can simultaneously view an image without interfering with each other.
  • Such a configuration may be useful when a plurality of users want to use one display device in a vehicle when the display device is a mobile terminal such as a mobile phone, a tablet PC or a notebook.
  • the mobile terminal and the control method of the present invention described above are not limited to the configuration and method of the embodiments described above, the embodiments may be variously modified, all or part of other embodiments And may be optionally combined with.

Abstract

본 발명은 디스플레이 화면이 작고, 사용자 입출력 수단이 제한되는 휴대폰 등의 이동 단말기의 제약 사항을 극복하기 위한 방법을 제시한다. 본 발명은 휴대폰 등의 이동 단말기에서 복수의 가상 스크린을 형성하고, 사용자의 직관적인 조작에 따라 복수의 가상 스크린 간을 스위칭할 수 있도록 함으로써, 사용자가 보다 넓은 작업 공간을 갖도록 할 수 있는 이동 단말기 및 그 제어 방법에 관한 것이다.

Description

복수의 가상 스크린을 갖는 이동 단말기 및 그 제어 방법
본 발명은 이동 단말기 및 그 제어 방법에 관한 것이다.
보다 구체적으로, 본 발명은 디스플레이 화면이 작고, 사용자 입출력 수단이 제한되는 휴대폰 등의 이동 단말기에서 복수의 가상 스크린을 형성하고, 사용자의 직관적인 조작에 따라 복수의 가상 스크린 간을 스위칭할 수 있도록 함으로써, 사용자가 보다 넓은 작업 공간을 갖도록 할 수 있는 이동 단말기 및 그 제어 방법에 관한 것이다.
휴대폰, PDA, MP3 등의 이동 단말기는 다양한 기능을 수행할 수 있도록 구성될 수 있다. 그러한 다양한 기능들의 예로 데이터 및 음성 통신 기능, 카메라를 통해 사진이나 동영상을 촬영하는 기능, 음성 저장 기능, 스피커 시스템을 통한 음악 파일의 재생 기능, 이미지나 비디오의 디스플레이 기능 등이 있다. 일부 이동 단말기는 게임을 실행할 수 있는 추가적 기능을 포함하고, 다른 일부 이동 단말기는 멀티미디어 기기로서 구현되기도 한다. 더욱이 최근의 이동 단말기는 방송이나 멀티캐스트(multicast) 신호를 수신하여 비디오나 텔레비전 프로그램을 시청할 수 있다.
또한, 상기 이동 단말기의 기능 지지 및 증대를 위한 노력들이 계속되고 있다. 상술한 노력은 이동 단말기를 형성하는 구조적인 구성요소의 변화 및 개량뿐만 아니라 소프트웨어나 하드웨어의 개량도 포함한다.
이러한 이동 단말기는 그 이동성을 보장하여야 한다는 점 때문에, 사용자가 명령을 입력할 수 있는 수단이 제한되고, 그 디스플레이의 크기도 작을 뿐 아니라, 멀티 태스킹 시에, 하나의 디스플레이 만으로 작업을 해야하고, 일반 PC와 같이 듀얼 모니터 등의 구현을 불가능하다.
듀얼 모니터 구현이 가능하다 하더라도, 일반 PC 처럼 모니터 간의 이동이 매우 불편하고 속도로 느리게 된다.
이러한 이동 단말기의 제약을 극복할 수 있는 방안이 요구된다.
본 발명은 이동 단말기에서 멀티 태스킹 작업에 유용한 사용자 인터페이스를 제공하는 것을 목적으로 한다.
본 발명은 별개의 출력 이미지를 갖는 복수의 가상 스크린 간을 설정하고, 사용자가 직관적인 제스쳐를 사용하여 가상 스크린 간을 스위칭하면서 원하는 작업을 수행할 수 있는 이동 단말기 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 발명이 제시하는 방법 및 구조는 이동 단말기 뿐만 아니라, 디스플레이가 장착된 모든 종류의 전자 장치에 적용될 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법은, 서로 독립된 출력 이미지를 갖는 복수의 가상 스크린들을 생성하는 단계; 상기 복수의 가상 스크린 중 하나를 표시하는 단계; 사용자의 입력을 검출하는 단계; 및 상기 사용자의 입력에 따라 다른 가상 스크린으로 스위칭하여 표시하는 단계를 포함한다.
본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법은, 서로 독립된 출력 이미지를 갖는 복수의 가상 스크린들을 생성하는 단계; 상기 가상 스크린 중 하나에 텍스트 편집 화면을 생성하는 단계; 다른 가상 스크린 중 하나에서 오브젝트를 선택하는 제스쳐를 검출하는 단계; 상기 텍스트 편집 화면을 포함하는 가상 스크린으로의 스크린 스위칭 제스쳐를 검출하는 단계; 상기 텍스트 편집 화면을 포함하는 스크린을 표시하는 단계; 사용자가 터치를 해제하는 제스쳐를 검출하는 단계; 및 상기 선택된 오브젝트를 상기 텍스트 편집 화면의 터치가 해제된 위치에 붙이는 단계를 포함한다.
본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법은, 서로 독립된 출력 이미지를 갖는 복수의 가상 스크린들을 생성하는 단계; 상기 가상 스크린 중 하나에 텍스트 편집 화면을 생성하는 단계; 다른 가상 스크린 중 하나에서 미디어 파일을 선택 및 드래그하는 제스쳐를 검출하는 단계; 스크린 스위칭 제스쳐를 검출하는 단계; 상기 텍스트 편집 화면이 생성되어 있는 스크린을 표시하는 단계; 사용자가 터치를 해제하는 제스쳐를 검출하는 단계; 및 상기 선택된 미디어 파일을 상기 작성 중인 텍스트에 첨부파일로 첨부하는 단계를 포함한다.
본 발명의 일 실시예에 따른 이동 단말기는, 디스플레이부; 및 서로 독립된 별도의 출력 이미지를 갖는 복수의 가상 스크린들을 생성하여, 사용자의 입력에 따라 상기 복수의 가상 스크린 중 적어도 하나를 상기 디스플레이부로 출력하도록 제어하는 제어부를 포함한다.
본 발명의 다른 실시예에 따라 다른 디스플레이 장치와 연결가능한 디스플레이 장치의 제어 방법이 제공된다. 상기 방법은, 출력 이미지를 포함하는 복수의 가상 스크린들을 생성하는 단계; 상기 복수의 가상 스크린 중 실행 아이콘을 포함하는 가상 스크린을 상기 디스플레이 장치에 표시하는 단계; 상기 실행 아이콘 중 하나를 실행하는 제스쳐를 검출하는 단계; 가상 스크린 스위칭 제스쳐를 검출하는 단계; 및 상기 실행 아이콘의 실행 화면을 상기 다른 디스플레이 장치로 전송하는 단계를 포함한다.
본 발명의 다른 실시예에 따라, 다른 디스플레이 장치와 연결 가능한 디스플레이 장치가 제공된다. 상기 디스플레이 장치는, 디스플레이부; 상기 다른 장치와 데이터를 송수신하는 통신 모듈; 및 출력 이미지를 포함하는 복수의 가상 스크린들을 생성하고, 상기 복수의 가상 스크린 중 실행 아이콘을 포함하는 가상 스크린을 상기 디스플레이 장치에 표시하고, 상기 실행 아이콘 중 하나를 실행하는 제스쳐와 가상 스크린 스위칭 제스쳐가 검출되면, 상기 실행 아이콘의 실행 화면을 상기 다른 디스플레이 장치로 전송하는 제어부를 포함한다.
본 발명에 따르면, 이동 단말기에서 멀티 태스킹 작업에 유용한 사용자 인터페이스를 제공할 수 있다.
또한, 본 발명에 따르면, 별개의 출력 이미지를 갖는 복수의 가상 스크린 간을 직관적인 제스쳐를 이용하여 쉽게 이동할 수 있다.
또한, 본 발명에 따르면, 메인 스크린이 아닌 화면이 표시되는 경우에는 메인 스크린의 화면을 반투명하게 오버랩하여 표시함으로써, 두개의 스크린에서 발생하는 이벤트를 한 화면으로 확인할 수 있다.
본 발명에 따르면, 이동 단말기에 복수의 가상 스크린을 설정하고, 각 가상 스크린에서 독립적으로 프로그램을 실행할 수 있으며, 메인 스크린과 좌측 또는 우측 스크린을 빠르게 오고 가면서 멀티태스킹을 할 수 있다.
본 발명에 따르면, 이동 단말기에서 구현하기 어려웠던 카피 앤 페이스트(copy and paste) 기능 및 드래그에 의한 미디어 파일 첨부 기능을 쉽게 구현할 수 있다.
도 1은 본 발명의 일 실시예와 관련된 이동 단말기(100)의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 복수의 가상 스크린을 구현할 수 있는 이동 단말기(100)의 동작을 나타낸다.
도 3 및 도 4는 본 발명의 일 실시예에 따라, 사용자가 이동 단말기를 한쪽 방향으로 기울이면, 다른 가상 스크린이 표시되는 예를 나타낸다.
도 5는 본 발명의 일 실시예에 따라 카메라를 사용하여 이동 단말기의 기울기를 검출하는 예를 나타낸다.
도 6 내지 8 및 도 9는 본 발명의 일 실시예에 따라, 현재 디스플레이에 표시된 스크린에 속한 아이콘을 다른 가상 스크린에서 실행하는 방법을 나타낸다.
도 10 및 도 11은 본 발명의 일 실시예에 따라, 스위치 아이콘을 이용하여 현재 표시된 가상 스크린에 속한 아이콘을 다른 스크린에서 실행시키는 방법을 나타낸다.
도 12는 본 발명의 일 실시예에 따라, 현재 표시된 가상 스크린의 출력 화면에 포함된 아이콘을 다른 가상 스크린에서 실행하는 방법을 나타낸 순서도이다.
도 13 내지 도 15는 본 발명의 일 실시예에 따라, 현재 표시된 가상 스크린의 출력 화면에 포함되어 있는 아이콘을 다른 가상 스크린으로 이동시키는 방법을 나타낸다.
도 16은 도 13 내지 도 15를 참조하여 설명한 방법을 나타내는 순서도이다.
도 17은 본 발명의 일 실시예에 따라, 한 가상 스크린에서는 텍스트 편집 작업을 하고, 다른 가상 스크린에서는 이미지 프리뷰 기능을 수행하는 중에, 프리뷰 이미지를 편집 중인 텍스트에 첨부하는 방법을 나타낸다.
도 18은 본 발명의 일 실시예에 따라, 메인 스크린 상에서 텍스트 편집 기능을 실행 중인 화면과, 우측 스크린에서 인터넷 브라우저를 실행 중인 화면을 나타낸다.
도 19는 본 발명의 일 실시예에 따른, 도 17 또는 도 18의 텍스트 또는 미디어 파일 복사 및 붙이기 방법을 나타내는 순서도이다.
도 20 및 도 21은 본 발명의 일 실시예에 따라, 복수의 가상 스크린에 서로 다른 작업을 실행하는 실시예를 나타낸다.
도 22는 본 발명의 일 실시예에 따라, 가상 스크린 중 하나를 다른 디스플레이 장치에 표시하는 방법을 나타낸다.
도 23은 본 발명의 일 실시예예 따라, 이동 단말기에서 실행한 실행 화면을 다른 디스플레이 장치에 표시하는 방법을 나타낸다.
도 24 내지 도 27은 본 발명의 일 실시예에 따라, 이동 단말기와 다른 디스플레이 장치 간에 파일을 이동시키는 방법을 나타낸다.
도 28은 본 발명의 일 실시예에 따라, 이동 단말기(100)의 실행 화면을 다른 디스플레이 장치에 표시하는 방법을 나타내는 순서도이다.
도 29는 종래 기술에 따른 3D 디스플레이 장치의 동작을 나타낸다.
도 30은 본 발명의 일 실시예에 따라, 3D 디스플레이 장치를 이용한 가상 스크린 렌더링 방법을 나타낸다.
이하, 본 발명의 실시예들을 도면을 참조하여 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예와 관련된 이동 단말기(100)의 블록 구성도이다.
이동 단말기는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 이동 단말기는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, 등이 있다.
도시된 이동 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1은 다양한 구성요소를 가지고 있는 이동 단말기를 나타내고 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소 보다 많은 구성요소에 의해 이동 단말기가 구현될 수도 있고, 그 보다 적은 구성요소에 의해서도 이동 단말기가 구현될 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 이동 단말기(100)와 무선 통신 시스템 간의 무선 통신 또는 이동 단말기(100)와 이동 단말기(100)가 위치한 네트웍간의 무선 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
한편, 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있으며, 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 각종 방송 시스템을 이용하여 방송 신호를 수신하는데, 특히, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 모든 방송 시스템에 적합하도록 구성된다.
방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
또한, 이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(113)은 내장되거나 외장될 수 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
또한, 위치정보 모듈(115)은 이동 단말기의 위치를 확인하거나 얻기 위한 모듈이다. 일례로 GPS(Global Position System) 모듈이 있다. GPS 모듈은 복수 개의 인공위성으로부터 위치 정보를 수신한다. 여기에서, 위치 정보는 위도 및 경도로 표시되는 좌표 정보를 포함할 수 있다. 예를 들어, GPS 모듈은, 3개 이상의 위성으로부터 정확한 시간과 거리를 측정하여 3개의 각각 다른 거리를 삼각 방법에 따라서 현 위치를 정확히 계산할 수 있다. 3개의 위성으로부터 거리와 시간 정보를 얻고 1개 위성으로 오차를 수정하는 방법이 사용될 수 있다. 특히, GPS 모듈은 위성으로부터 수신한 위치 정보로부터, 위도, 경도, 고도의 위치뿐만 아니라 3차원의 속도 정보와 함께 정확한 시간까지 얻을 수 있다.
한편, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)은 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 스크린을 처리한다. 그리고, 처리된 화상 스크린은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 스크린은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)은 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크(122)은 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 그리고, 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)를 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 터치 패널(131), 기울기 센서(132)를 포함할 수 있으며, 이 외에도 키 패드(key pad), 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등으로 구성될 수 있다. 특히, 터치 패널(131)이 후술하는 디스플레이부(151) 위에 장착되면, 이를 터치 스크린이라 부를 수 있다.
기울기 센서로는 지자계 센서, 또는 가속도계를 사용할 수 있으며, 또한, 후술한 카메라(121)를 사용하여 사용자의 얼굴 이미지를 촬영하여, 이미지 프로세싱을 통해 이동 단말기(100)의 사용자에 대한 상대적인 기울기를 검출할 수도 있다.
상태 센싱부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 사용자 접촉 유무, 이동 단말기의 방위, 이동 단말기의 가속/감속 등과 같이 이동 단말기(100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 신호를 발생시킨다. 예를 들어 이동 단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있고, 터치 스크린 폰인 경우는 터치 스크린의 락이 설정 또는 해제 상태인지를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수 있다.
인터페이스부(170)는 이동 단말기(100)에 연결되는 모든 외부기기와의 인터페이스 역할을 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 포함될 수 있다.
여기에서, 식별 모듈은 이동 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module; 'UIM'), 가입자 인증 모듈(Subscriber Identify Module; 'SIM'), 범용 사용자 인증 모듈(Universal Subscriber Identity Module; 'USIM') 등을 포함할 수 있다. 또한, 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다. 이와 같은 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 이동 단말기(100) 내부의 각 구성 요소에 전달하거나 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다.
출력부(150)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것으로, 이에는 디스플레이부(151)과 음향 출력 모듈(152), 알람부(153) 등이 포함될 수 있다.
디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시 출력한다. 예를 들어 이동 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 이동 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.
한편, 전술한 바와 같이, 디스플레이부(13)과 터치 패널(131)이 상호 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(151)은 입력 장치로도 사용될 수 있다. 디스플레이부(151)은 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 그리고 이동 단말기(100)의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수도 있다. 예를 들어, 이동 단말기(100)에 외부 디스플레이부(미도시)과 내부 디스플레이부(미도시)이 동시에 구비될 수 있다.
음향 출력 모듈(152)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력 모듈(152)은 이동 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력한다. 이러한 음향 출력 모듈(152)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(153)는 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 알람부(153)은 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. 호 신호가 수신되거나 메시지가 수신된 경우, 이를 알리기 위해 알람부(153)은 진동을 출력할 수 있다. 또는, 키 신호가 입력된 경우, 키 신호 입력에 대한 피드백으로 알람부(153)은 진동을 출력할 수 있다. 상기와 같은 진동 출력을 통해 사용자는 이벤트 발생을 인지할 수 있다. 물론 이벤트 발생 알림을 위한 신호는 디스플레이부(151)이나 음성 출력 모듈(152)을 통해서도 출력될 수 있다.
메모리(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 이동 단말기(100)는 인터넷(internet)상에서 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.
그리고, 제어부(180)는 통상적으로 이동 단말기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(180)에 의해 구현될 수 있다.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
또한, 본 발명의 일실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는, 단말기의 제어부(180)를 포함할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 복수의 가상 스크린을 구현할 수 있는 이동 단말기(100)의 동작을 나타낸다.
도 2에 도시된 이동 단말기(100)는 소위 "터치 스크린 폰"이라 불리는 휴대폰으로서, 디스플레이(151)가 전면의 대부분을 차지하고, 디스플레이(151)가 터치 스크린으로 구성된 휴대폰이다. 본 실시예에서는 터치 스크린 폰을 예로 들어 설명하지만, 전술한 바와 같이, 본 발명의 특징들을 이 외에도 다양한 디스플레이 장치들에 적용될 수 있다.
이동 단말기(100)의 디스플레이(151)는 터치 스크린일 수 있다. 디스플레이(151)에는 다양한 아이콘들(208)이 표시되며, 그 외에, 무선 신호 감도(212a), 현재 시간(212b), 배터리 잔량(212c) 등이 표시될 수 있다. 또한, 우측 스위치 아이콘(204a), 좌측 스위치 아이콘(204b) 및 스위치 아이콘(206)이 표시될 수 있다.
이동 단말기(100)의 디스플레이(151) 하단에는 물리적인 버튼들(210)이 배치될 수 있으며, 버튼들(210)은 각각 통화, 종료, 취소 버튼일 수 있다. 이 밖에 이동 단말기(100)의 전면 또는 측면에는 실시예에 따라 카메라 버튼, 조그휠 등의 추가 버튼이 장착될 수 있다.
본 발명의 일 실시예에 따른 이동 단말기(100)는 하나의 디스플레이(151) 만을 갖지만, 디스플레이(151)에는 복수의 가상 스크린이 표시될 수 있다. 본 실시예에서는 메인 스크린(200), 서브 스크린 즉, 좌측 스크린(300), 및 우측 스크린(400)의 3개가 구동되고 있다고 가정한다. 각 가상 스크린들(200,300,400)은 각각 독립된 이미지를 가지며, 이동 단말기(100)는 각 스크린 별로 동시에 별도의 프로그램을 수행하는 멀티 태스킹을 지원할 수 있다.
도 2에서, 디스플레이(151)에는 메인 스크린(200)의 화면이 표시되어 있다. 메인 스크린(200)에는 메시지, 캘린더, 계산기, 카메라, 전자책 등의 기능을 나타내는 아이콘들(208)이 표시되어 있다. 디스플레이(151)에 표시되지는 않지만, 좌측 스크린(300)에도 다양한 아이콘들(L1~L15,213)이 포함되어 있고, 우측 스크린(400)에도 다양한 아이콘들(R1~R14,211)이 포함되어 있다.
사용자는 디스플레이(151)에 표시된 가상 스크린에 포함된 아이콘을 선택한 다음 터치 또는 더블 터치함으로써, 해당 아이콘을 실행할 수 있다.
도 2에는 각 메인 스크린, 좌측 및 우측 스크린들이 모두 휴대폰의 대기 상태인 메뉴 아이콘들을 표시하는 경우를 도시했으나, 각각 별도의 프로그램을 구동하게 되면, 각 프로그램에 맞는 이미지를 표시할 수 있다.
도 2와 같이 메인 스크린(200)이 도시된 상태에서, 사용자가 이동 단말기를 도 3와 같이 우측으로 기울이면, 도 4와 같이, 우측 스크린(200)이 디스플레이(151)를 표시할 수 있다. 이 때, 메인 스크린(200)이 흐리게 우측 스크린(400)의 배경화면으로 깔릴 수 있다. 즉, 우측 스크린(400)과 메인 스크린(200)의 반투명 이미지가 오버랩되어 표시될 수 있다. 이하의 명세서 및 도면에서, 하단에 박스(217)과 같은 표시가 있으면, 이는 배경 화면으로 박스(217)에 표시된 스크린이 배경화면으로 오버랩됨을 표시하는 것으로 한다.
이와 같은 동작은 이동 단말기(100)를 좌측으로 기울이는 경우에도 마찬가지로 적용될 수 있다. 즉, 사용자가 이동 단말기(100)를 좌측으로 기울이면, 좌측 스크린(300)이 표시될 수 있으며, 배경화면으로 메인 스크린(200)이 표시될 수 있다.
즉, 서브 스크린이 표시될 때는 메인 스크린이 배경화면으로 오버랩되어 표시되게 함으로써, 사용자가 현재 표시된 화면이 서브 스크린에 해당하는 화면임을 인식하도록 할 수 있다. 또한, 메인 스크린이 반투명 상태로 배경화면으로 오버랩되기 때문에, 한 화면을 통해 서브 스크린 뿐만 아니라, 메인 스크린에서 발생하는 이벤트도 확인할 수 있다.
실시예에 따라서는, 메인 스크린(200)을 표시하는 중에 서브 스크린(300,400)의 출력 이미지를 반투명하게 배경화면을 표시할 수도 있다. 현재 표시된 가상 스크린 외의 모든 스크린을 반투명으로 배경화면에 오버랩시켜 표시할 수도 있다.
이 때, 이동 단말기(100)의 기울이는 제스쳐는 이동 단말기(100)에 장착된 기울기 센서(132)에 의해 검출될 수 있다. 기울기 센서(132)에 의해 이동 단말기(100)의 기울임이 검출되면, 제어부는 전술한 바와 같이, 단말기(100)가 기울여진 방향에 따라 디스플레이(151)에 표시되는 스크린을 스위칭할 수 있다.
기울기 센서(132)로는 지자계 센서, 가속도 센서, 자이로 센서 등을 사용할 수 있다. 또한, 실시예에 따라서는, 도 5와 같이 이동 단말기(100)의 전면에 장착된 카메라(121)를 이용하여, 카메라가 촬영한 사용자의 얼굴 이미지를 처리하는 헤드 트랙킹(head tracking) 기술을 적용함으로써 좌우 기울기를 측정할 수도 있다.
도 5에서, 사용자 얼굴(221)은 이동 단말기(100)의 디스플레이(151)를 향하게 된다. 이 때, 카메라(121)는 사용자 얼굴(221)을 촬영한다. 사용자가 이동 단말기(100)를 좌 또는 우로 기울이면, 카메라(121)에 의해 촬영되는 이미지 내에서, 이미지에서 사용자 얼굴이 차지하는 비율이 이동 단말기(100)가 사용자 얼굴을 향할 때보다 줄어들게 된다. 또한, 사용자 얼굴의 좌우측 중 어느 부분이 많이 촬영되는지를 판단하여, 어느 쪽으로 기울어졌는지도 판단할 수 있다.
이와 같이, 본 발명의 일 실시예에 따라, 독립된 3개의 출력 이미지를 3개의 가상 스크린에 할당하고, 사용자의 입력에 따라 표시되는 가상 스크린을 스위칭하여 표시할 수 있다. 이와 같은 구성을 통해, 사용자는 하나의 소형 디스플레이로도 3개의 디스플레이를 사용하는 듯한 효과를 가질 수 있으며, 각 스크린 간을 쉽게 이동하면서 필요한 작업을 수행할 수 있다.
본 발명에 따른 가상 스크린들은 전술한 바와 같이, 하나의 메인 스크린과 수개의 서브 스크린으로 구성될 수도 있고, 메인과 서브의 구분없이 여러 개의 가상 스크린으로 구성될 수도 있다.
본 발명에 따른 가상 스크린에 의해 표시되는 출력 이미지들은 모두 독립적인 프로세스에 의해 실행되는 것으로서, 다른 스크린에서 실행되고 있는 작업에 영향을 받지 않는다. 상기 가상 스크린들은 일반 PC에서의 멀티 태스킹 작업창 또는 멀티 모니터(듀얼 모니터, 트리플 모니터 등)와 유사하게, 서로 독립적으로 명령을 실행하여, 사용자에게 그에 따른 결과를 표시할 수 있다.
도 6 내지 도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따라, 현재 디스플레이에 표시된 스크린에 속한 아이콘을 다른 가상 스크린에서 실행되도록 구성할 수 있다.
도 6와 같이 메인 스크린(200)이 표시된 상태에서, 사용자가 메인 스크린(200)의 출력 이미지에 포함된 아이콘 중 하나, 예컨대, 계산기 아이콘(220)을 선택한 다음, 터치 및 홀드한 상태에서, 우측으로 기울이면, 도 7와 같이 우측 스크린(400)이 표시된다. 그리고 나서, 도 7의 상태에서 터치(222)를 해제하면, 도 8와 같이 우측 스크린(400)에 계산기 기능이 실행될 수 있다.
도 7와 도 8는 우측 스크린(400)이 표시되어 있으며, 배경화면으로는 전술한 바와 같이 메인 스크린이 배경화면으로 오버랩되어 표시될 수 있다.
사용자는 도 8와 같이 우측 스크린에서 계산기를 실행시킨 다음, 메인 스크린(200)으로 돌아가 다른 작업을 실행시킬 수 있다. 위와 같은 구성을 통해, 사용자는 아이콘이 어느 가상 스크린에 속해 있더라도, 해당 아이콘이 실행될 가상 스크린을 지정할 수 있다.
마찬가지로, 도 6에서 주소록 아이콘(223)을 터치 및 홀드한 상태에서, 이동 단말기(100)를 좌측으로 기울이면, 도 9과 같이 좌측 스크린(300)에서, 주소록 기능이 실행된 화면이 표시될 수 있다. 마찬가지로, 좌측 스크린(300)의 배경화면에는 메인 스크린 화면이 오버랩되어 표시될 수 있다.
도 10 및 도 11는 스위치 아이콘(204a,204b,206)을 이용하여 현재 표시된 가상 스크린에 속한 아이콘을 다른 스크린에서 실행시키는 방법을 나타낸다.
도 10와 같이 메인 스크린(200)이 표시된 상태에서, 사용자가 아이콘 중 하나, 예컨대 계산기 아이콘(220)을 선택한 다음, 우측 스위치 아이콘(204b)에 드래그 앤 드랍하면, 도 11와 같이 우측 스크린(400)에 계산기가 실행될 수 있다. 메인 스크린 화면이 배경화면으로 오버랩되어 표시될 수 있다.
마찬가지로, 좌측 스위치 아이콘(204a)에 드래그 앤 드랍하면, 좌측 스크린에 계산기가 실행될 수 있다. 스위치 아이콘(206)에 드래그 앤 드랍하면, 우측 또는 좌측 스크린에서 계산기가 실행될 수 있다.
도 12은 본 발명의 일 실시예에 따라, 현재 표시된 가상 스크린의 출력 화면에 포함된 아이콘을 다른 가상 스크린에서 실행하는 방법을 나타낸 순서도이다.
단계(S101)에서, 현재 표시된 가상 스크린에 포함된 아이콘에 대한 터치를 검출한다.
단계(S102)에서, 이동 단말기를 기울이는 제스쳐가 검출되었는지 확인한다. 기울이는 제스쳐 대신 임의의 스크린 스위칭 명령이 검출되었는지 확인할 수도 있다. 스크린 스위칭 명령이 없이 단계(S103)에서, 터치 해제가 검출되면, 단계(S104)에서 터치되어 있던 아이콘을 현재 표시된 가상 스크린에서 실행할 수 있다.
아이콘을 터치한 상태에서 이동 단말기의 기울임이 검출되면, 단계(S105)에서, 다른 가상 스크린으로 스위칭하고, 단계(S106)에서, 터치가 해제되면, 즉 손가락을 떼면, 단계(S107)에서, 스위칭된 가상 스크린에서 해당 아이콘을 실행하게 된다.
도 13 내지 도 15는 본 발명의 일 실시예에 따라, 현재 표시된 가상 스크린의 출력 화면에 포함되어 있는 아이콘을 다른 가상 스크린으로 이동시키는 방법을 나타낸다.
도 13에서, 메인 스크린(200)이 표시된 상태에서, 사용자는 한 아이콘 예컨대, 지도 아이콘(220)을 선택하여 드래그할 수 있다. 드래그 한 다음, 그대로 손가락을 떼면, 뗀 위치로 지도 아이콘(220)이 이동될 수 있다. 만일 손가락을 뗀 위치가 도 10와 같이 스위치 아이콘(204b)이라면, 표시되는 스크린이 스위치 되면서, 해당 지도 기능이 다른 스크린에서 실행될 것이다.
그러나, 드래그 한 다음 손가락을 떼지 않은 상태에서, 이동 단말기(100)를 우측으로 기울이면, 도 14와 같이 우측 스크린(400)이 표시되고, 지도 아이콘(220)도 우측 스크린(400)으로 이동된다. 우측 스크린(400)으로 변경된 상태에서 사용자가 손가락을 떼면, 즉 터치를 해제하면, 그 위치로 지도 아이콘(220)이 이동된다. 즉 지도 아이콘(220)은 이제 우측 스크린(400)의 출력 이미지에 포함되게 된다.
도 14의 상태에서, 지도 아이콘(220)을 더 드래그하여 도 15와 같이 원하는 위치로 옮길 수 있다. 위와 같은 동작을 통해 독립된 프로세스가 실행되는 복수의 가상 스크린 간에도 아이콘을 사용자가 원하는 가상 스크린으로 이동시킬 수 있다.
도 16은 도 13 내지 도 15를 참조하여 설명한 방법을 나타내는 순서도이다.
단계(S201)에서, 아이콘을 선택하고, 해당 아이콘을 드래그하는 제스쳐를 검출할 수 있다. 단계(S202)에서, 가상 스크린을 스위칭하는 명령이 입력되었는지 판단한다. 즉, 이동 단말기가 한 방향으로 기울어졌는지를 판단한다. 스위칭 명령이 입력되지 않은 상태에서, 단계(S203)에서, 터치 해제가 검출되면, 현재 표시된 가상 스크린 내에서 터치된 아이콘의 위치를 이동시키고 프로세스가 종료된다.
단계(S202)에서, 가상 스크린을 스위칭하는 명령이 입력되었으면, 단계(S205)에서, 다른 가상 스크린으로 스위칭하고, 단계(S206)에서, 터치 해제가 검출되면, 단계(S207)에서, 스위칭된 가상 스크린으로 선택된 아이콘을 이동시킨다. 이동된 상태에서 추가로 드래그를 하면, 스위칭된 가상 스크린 내에서 아이콘의 위치가 이동된다.
본 발명의 일 실시예에 따라, 복수의 가상 스크린에서 실행되고 있는 작업들을 연동시켜, 한 가상 스크린에 표시된 텍스트를 복사하여, 다른 가상 스크린에 붙이거나, 한 가상 스크린에 표시된 이미지를 다른 가상 스크린에서 편집 중인 텍스트에 첨부하는 등의 작업을 수행할 수 있다.
도 17은 본 발명의 일 실시예에 따라, 한 가상 스크린에서는 텍스트 편집 작업을 하고, 다른 가상 스크린에서는 이미지 프리뷰 기능을 수행하는 중에, 프리뷰 이미지를 편집 중인 텍스트에 첨부하는 방법을 나타낸다.
도 17의 좌측에는 메인 스크린(200) 상에서, 이동 단말기(100)를 이용한 텍스트 편집 작업, 예컨대 문자 메시지 작성 작업을 실행 중인 화면을 나타낸다. 도 17의 우측에는 우측 스크린(400) 상에서, 이미지 프리뷰 기능이 실행 중인 화면을 나타낸다.
우측 스크린(400)이 디스플레이에 표시된 상태에서, 이미지 파일(310)을 선택하고, 도 13 내지 도 15를 참조하여 설명한 아이콘을 옮기는 방식과 마찬가지로 메인 스크린(200)으로 이미지 파일(310)을 이동시킬 수 있다. 즉, 이미지 파일(310)을 터치 및 드래그 한 다음, 이동 단말기(100)를 좌측으로 기울이면, 메인 스크린(200)으로 스크린이 스위칭되며, 문자 메시지 편집 창에 이미지 파일(310)을 드랍하면 작성 중인 메시지에 이미지 파일(310)이 첨부되도록 구성할 수 있다.
위 실시예는, 이미지 파일 뿐만 아니라, 동영상 파일, 음악 파일 등 모든 종류의 멀티 미디어 파일에 적용될 수 있다.
또한, 멀티 미디어 파일이 첨부되는 텍스트는 문자 메시지, 이메일, 기타 워드 파일 등 파일 첨부 또는 파일 삽입이 가능한 임의의 텍스트일 수 있다.
즉, 메인 스크린(200)에 이메일을 작성하다가, 우측 또는 좌측 스크린으로 스위칭하여, 첨부할 미디어 파일 아이콘을 띄우고, 미디어 파일을 드래그하여 메인 스크린(200)에서 작성 중인 이메일에 첨부할 수 있다.
또한, 메인 스크린(200)에서 워드 프로그램 실행 중이라면, 우측 또는 좌측 스크린의 이미지 파일을 드래그하여, 작성 중인 워드 파일에 그림이나, 음성 파일,또는 동영상 파일을 삽입할 수 있다.
본 발명의 일 실시예에 따라, 다른 가상 스크린에서 실행 중인 출력 이미지에 포함된 텍스트를 선택하여, 현재 표시된 가상 스크린에 붙이기를 할 수 있다. 즉, 서로 다른 작업창 간에 일반 PC에서의 카피 앤 페이스트(copy and paste) 기능을 실행할 수 있다.
도 18의 좌측은 메인 스크린(200) 상에서 텍스트 편집 기능, 예컨대, 문자 메시지 작성 기능일 실행 중인 화면을 나타내고, 우측 스크린(400)에는 인터넷 브라우저가 실행 중인 화면을 나타낸다.
우측 스크린(400)에서 원하는 부분을 드래그하여, 텍스트(320)를 선택할 수 있다. 선택된 텍스트(320)는 블록 설정하거나, 반전시켜서 다른 부분과 달리 구별되게 표시할 수 있다. 그리고 나서, 선택된 텍스트(320)를 드래그 한 다음, 스크린을 스위칭시키면, 메인 스크린(200)으로 이동되고, 문자 메시지 작성 창의 원하는 위치에 드래그한 뒤에 터치를 해제하면, 즉 드랍하면, 선택된 텍스트(320)가 카피되도록 구성할 수 있다.
도 17의 실시예에서와 마찬가지로, 도 18의 실시예는 문자 메시지 작성 뿐만 아니라, 이메일 작성, 워드 작업 등 임의의 텍스트 편집창에 적용될 수 있다.
도 19은 본 발명의 일 실시예에 따른, 도 17 또는 도 18의 텍스트 또는 미디어 파일 복사 및 붙이기 방법을 나타내는 순서도이다.
단계(S301)에서, 복수의 가상 스크린 중 하나에서 문자 메시지, 이메일 또는 워드 등 텍스트 편집 기능을 실행한다. 단계(S302)에서, 인터넷 브라우저 등 임의의 텍스트를 포함하는 화면 또는 미디어 파일의 리스트 또는 아이콘을 포함하는 화면을 다른 가상 스크린에서, 텍스트 또는 미디어 파일을 선택한다.
텍스트는 드래그에 의한 블록 설정 명령으로 선택할 수 있고, 미디어 파일은 터치 또는 클릭으로 선택할 수 있다.
단계(S303)에서, 선택된 것이 텍스트이면, 단계(S304)로 진행하고, 미디어 파일이면, 단계(S309)로 진행한다.
다른 가상 스크린에서 선택된 것이 텍스트이면, 단계(S304)에서, 현재 텍스트가 표시되어 있는 가상 스크린에서 선택된 텍스트를 임의의 방향으로 드래그하는 제스쳐를 검출한다. 단계(S305)에서, 스크린 스위칭 명령이 입력되었는지를 판단한다. 스크린 스위칭 명령이 입력되지 않으면, 프로세스를 종료한다.
스크린 스위칭 명령이 입력되었으면, 단계(S306)에서, 텍스트 편집 기능이 실행 중인 가상 스크린으로 스위칭한다. 단계(S307)에서, 선택된 텍스트에 대한 터치를 해제하면, 단계(S308)에서, 현재 편집 중인 텍스트의 커서가 있는 곳에 선택된 텍스트가 붙여진다. 실시예에 따라서는, 텍스트 편집 기능이 실행중인 가상 스크린 내에서 사용자가 더 드래그하면, 그 위치로 선택된 텍스트가 붙여지도록 구성할 수도 있다.
단계(S303)에서, 선택된 것이 미디어 파일이면, 단계(S309)에서, 미디어 파일이 속한 가상 스크린에서 미디어 파일의 드래그를 검출한다. 단계(S310)에서, 스크린 스위칭 명령이 입력되었는지 판단한다. 스크린 스위칭 명령이 입력되지 않았으면, 단계(S311)에서, 드래그된 위치로 미디어 파일 아이콘을 이동하고 프로세스를 종료한다. 스크린 스위칭 명령이 입력되었으면, 단계(S312)에서, 텍스트 편집이 실행 중인 가상 스크린으로 스위칭하고, 단계(S313)에서, 터치 해제가 검출되면, 단계(S314)에서, 편집 중인 텍스트 파일에 미디어 파일을 첨부할 수 있다. 즉, 편집 중인 텍스트가 문자 메시지 또는 이메일이라면 미디어 파일을 첨부할 수 있다. 편집 중인 텍스트 파일이 워드 파일이라면, 미디어 파일을 텍스트의 현재 커서 위치 또는 사용자가 지정하는 위치에 삽입할 수 있다.
도 20 및 도 21는 본 발명의 일 실시예에 따라, 복수의 가상 스크린에 서로 다른 작업을 실행하는 실시예를 나타낸다.
도 20에서는 메인 스크린(200)에서 인터넷 브라우저를 실행하고, 다른 서브 스크린, 예컨대 우측 스크린(400)에는 사전 기능을 실행할 수 있다. 사용자는 메인 스크린(200)을 통해 인터넷 서핑을 하다가, 모르는 단어를 발견하면, 우측 스크린(400)으로 스위칭하여 단어를 검색할 수 있다.
도 21에서는 메인 스크린(200)으로는 영상 통화를 실행하고 다른 서브 스크린, 예컨대 우측 스크린(400)에서는 인터넷 브라우저를 실행할 수 있다. 사용자는 메인 스크린(200)으로 친구와 대화하다가, 정보가 필요한 경우, 예컨대, 영화 상영 시간표 정보가 필요한 경우, 우측 스크린(400)의 인터넷 브라우저 화면으로 스위칭하여 필요한 정보를 검색하고, 친구와 약속을 정할 수 있다.
본 발명의 일 실시예에 따라, 전술한 이동 단말기(100)를 다른 디스플레이 장치, 예컨대 TV 또는 모니터와 유무선으로 연결할 수 있다. 이 때, 전술한 가상 서브 스크린, 즉 메인 스크린, 좌측 스크린 또는 우측 스크린 중 하나를 이동 단말기(100)와 연결된 다른 장치에 표시할 수 있다.
도 22를 참조하면, 이동 단말기(100)가 3개의 가상 스크린 즉, 메인 스크린(200), 좌측 스크린(300) 및 우측 스크린(400)을 생성했다고 가정하면, 이 중 하나, 예컨대 메인 스크린(200)은 이동 단말기(100)의 디스플레이에 표시하고, 다른 가상 스크린, 즉 좌측 스크린(300)과 우측 스크린(400) 중 하나를 이동 단말기(100)와 연결된 다른 디스플레이 장치에 표시할 수 있다. 다른 디스플레이 장치는, 이동 단말기(100)과 데이터 송수신이 가능한 임의의 디스플레이 장치일 수 있으며, 예컨대 TV(500) 또는 모니터일 수 있다.
이동 단말기(100)와 TV(500)는 유무선 통신, 예컨대 WiFi, 블루투스 등에 의해 연결될 수도 있고, 이동 단말기(100)가 HDMI를 지원하는 경우는 HDMI에 의해 연결될 수도 있다. 이동 단말기(100)에서 한 가상 스크린, 예컨대 우측 스크린의 이미지를 TV(500)로 전송하면, 도 22에 도시된 바와 같이, 가상 스크린의 이미지가 TV(500)에 표시될 수 있다. 따라서, 이동 단말기(100)의 사용자는 PC에서 듀얼 모니터를 사용하는 것과 유사하게 복수개의 가상 스크린을 표시할 수 있다.
도 22와 같은 상태에서, 사용자가 스크린 스위칭 명령이 입력되면, 예컨대 이동 단말기(100)의 한 방향으로 회전시키면, 이동 단말기(100)에 표시된 메인 스크린(200)과 TV(500)에 표시된 우측 스크린(500)이 스위칭 되도록 구성할 수 있다. 또는 스크린 스위칭 제스쳐가 검출되면 메인 스크린(200), 좌측 스크린(300) 및 우측 스크린(400)이 서로 스위칭되도록, 예컨대 한 자리씩 쉬프트 되도록 구성할 수도 있다.
본 발명의 일 실시예에 따라, 이동 단말기(100)에서 명령을 실행시키고, 그 실행 화면을 다른 디스플레이 장치에 표시되도록 구성할 수 있다.
도 23을 참조하면, 이동 단말기(100)에서 동영상 탐색창이 실행되고 있고, 동영상 파일을 나타내는 아이콘들이 표시되어 있다고 가정한다. 사용자가, 동영상 아이콘 중 하나(231)를 선택한 상태에서 도 6 내지 도 8 또는 도 10 및 도 11을 참조하여 설명한 방법에 의해 다른 가상 스크린에서 실행하기 위한 명령을 입력하면, 실행 화면을 다른 디스플레이 장치, 즉 TV(500)에 표시되도록 구성할 수 있다.
사용자가 동영상 파일(231)을 터치 및 홀드한 상태에서, 이동 단말기(100)를 한쪽 방향으로 기울이면, 동영상의 재생 화면이 TV(500)에 표시될 수 있다. 다른 스크린에서 실행하는 명령이 검출되면, 이동 단말기(100)는 그 실행 화면을 생성한 다음, 화면 데이터를 TV(500)로 전송한다. 본 실시예에서는 실행 화면이 동영상 재생 화면이므로, 이동 단말기(100)는 동영상 movie1을 재생하여 그 재생 화면을 TV(500) 쪽으로 스트리밍한다. 도 10 및 도 11을 참조하여 설명한 스위칭 아이콘을 사용하는 방법도 물론 적용될 수 있다.
이와 같은 구성에 따라, 사용자는 직관적인 방법을 사용하여 이동 단말기(100)에 저장되어 있는 멀티미디어 데이터를 큰 화면을 갖는 다른 장치에서 재생되도록 할 수 있다.
본 발명의 일 실시예에 따라, 전술한 방법을 사용하여 이동 단말기(100)와 연결된 다른 디스플레이 장치인 TV(500) 간에 파일을 이동시킬 수 있다. 도 24를 참조하면, (a)에 도시된 이동 단말기(100)의 메인 스크린(200)에는 동영상 파일 탐색창이 실행되어 있고, (b)에 도시된 우측 스크린(400)에는 TV(500)에 저장된 동영상 파일 탐색창이 실행중이라고 가정한다. TV(500)에 저장된 동영상 파일 정보는 사전에 TV(500)로부터 이동 단말기(100)로 전송되어 있다고 가정한다. 이 상태에서, 전술한 도 13 내지 도 15의 방법과 유사한 방식으로 이동 단말기(100)와 TV(500) 간에 파일을 이동시킬 수 있다.
도 13 내지 도 15의 설명과 유사하게, 사용자가 이동 단말기(100)의 동영상 파일의 아이콘(231)을 선택하여, 일정 거리만큼 드래그한 다음, 가상 스크린 스위칭 명령을 입력하면, 이동 단말기(100)의 화면에 TV(500)의 파일 탐색창이 표시된 우측 스크린(400)이 표시되고, 여기에 아이콘(231)을 드랍하면, 이동 단말기(100)에 저장되어 있던 동영상 파일 Movie1이 TV(500)으로 이동, 즉 전송되도록 구성할 수 있다. 전술한 방법은, 파일 복사에도 동일하게 적용될 수 있을 것이고, TV(500)에서 이동 단말기(100)의 파일 이동 및 복사에도 동일하게 적용될 수 있을 것이다.
최근의 TV들은 방송 신호를 수신하는 기능 외에도, 웹 브라우징, 화상 전화, 파일 탐색 등 다양한 기능이 탑재되는데, 이를 위해 종래의 채널 변경이나 볼륨 조절외에도 PC와 같이 마우스를 대체할 입력 수단이 요구되어 왔다. 최근에 등장한 이동 단말기(100)의 한 종류인 스마트폰에 어플리케이션을 설치하면, WiFi 방식 또는 적외선 방식으로 TV(500)의 표시된 커서를 제어할 수 있는 기술이 공지되어 있다. 이 기술에서는, 이동 단말기(100)의 터치 스크린을 노트북의 터치 패드와 같이 사용하는 것이다. 터치 스크린 상에서 드래그를 하면 TV(500)의 커서가 이동하고, 터치 스크린 상에서 터치를 하면, TV(500)의 커서 위치에서 클릭이 수행된다.
본 발명의 일 실시예에 따라, 이동 단말기(100)에 이러한 TV(500)의 커서를 제어할 수 있는 원격 제어 장치 기능이 탑재되어 있다고 가정하면, 이동 단말기(100)와 연결된 TV(500)의 다른 디스플레이 장치 간에 파일 이동을 보다 편리하게 수행할 수 있다.
도 25를 참조하면, 이동 단말기(100)의 메인 스크린(200)에는 동영상 파일 탐색창이 실행되어 있고, 좌측 스크린(300)에는 전술한 커서 제어 기능이 실행되어 있다고 가정한다. 메인 스크린(200)과 좌측 스크린(300)은 스크린 스위칭 명령에 의해 스위칭될 수 있다. (a)의 좌측 스크린(300)을 통해 사용자는 (c)의 TV(500) 상의 커서(243)를 제어할 수 있다. 좌측 스크린(300)이 이동 단말기(100)에 표시된 상태에서, 사용자가 손가락으로 드래그(241)하면, 그와 동일하게, TV(500)의 상의 커서(243)가 이동될 수 있다(245).
도 26을 참조하면, 본 발명의 일 실시예예 따라, 도 24와 도 25의 방법을 조합하여, 보다 쉽고 직관적인 방법으로 두 디스플레이 장치 간에 파일을 이동할 수 있다.
도 26에서, 메인 스크린(200)에는 이동 단말기(100)에 저장된 동영상 파일의 탐색창이 실행되어 있고, 좌측 스크린(300)에는 커서 제어창이 실행되어 있고, 우측 스크린에는 TV(500)의 동영상 파일 탐색창이 실행되어 있다고 가정한다.
사용자는 도 24를 참조하여 설명한 방법으로, 동영상 파일 Movie1을 TV(500)로 이동시킬 수 있고, 이동이 완료된 후에는, 좌측 스크린(300)의 커서 제어창으로 스위칭하여, TV(500)에 저장된 파일들을 제어할 수 있다.
전술한 실시예에서는, 이동 단말기(100)의 실행 화면을 TV(500)에서 표시하거나, TV(500)와 파일을 이동 또는 복사하는 경우를 설명하였으나, 이는 TV(500) 외에 모니터 등 임의의 디스플레이 장치에 적용될 수 있고, 또 다른 이동 단말기에도 적용될 수 있다. 즉, 도 27에 도시된 바와 같이, 한 이동 단말기(100)에 저장된 파일의 재생 화면이 또 다른 이동 단말기(600)에 표시되도록 할 수 있다.
도 28은 본 발명의 일 실시예에 따라, 이동 단말기(100)의 실행 화면을 다른 디스플레이 장치에 표시하는 방법을 나타내는 순서도이다.
단계(S401)에서, 이동 단말기(100)의 제어부는 서로 다른 출력 이미지를 포함하는 복수의 가상 스크린을 생성한다. 단계(S402)에서, 가상 스크린 중 실행 아이콘을 포함하는 가상 스크린을 디스플레이에 표시한다. 단계(S403)에서 사용자가 실행 아이콘을 실행하는 제스쳐를 검출한다. 예컨대, 전술한 실시예에서 실행 아이콘을 터치 및 홀드하는 제스쳐를 검출한다. 단계(S404)에서 가상 스크린을 스위칭하는 제스쳐를 검출한다. 예컨대, 전술한 실시예에서 이동 단말기를 한쪽 방향으로 회전시키거나 스위칭 아이콘 쪽으로 실행 아이콘을 드래그앤 드랍하는 제스쳐이다. 단계(S405)에서 위와 같은 제스쳐가 검출되면, 실행 아이콘에 해당하는 기능을 실행하되, 그 실행 화면을 이동 단말기와 연결되어 있는 다른 디스플레이 장치로 전송한다. 다른 디스플레이 장치는 해당 실행 화면 데이터를 수신하여 표시한다.
최근에 3D 이미지 구현 기술이 많이 개발되었고, 안경을 쓰지 않고도 3D 효과를 낼 수 있는 기술도 개발되었다. 예를 들어, 3M 인코포레이티드의 Vikuiti®3D 필름은 사람의 좌우눈에 각각 들어가는 영상을 다른 각도에서 빠른 속도로 번갈아 가면서 조사해주는 필름이다. 이 필름을 종래의 디스플레이 장치들, 즉 LCD 패널 등의 뒷쪽에 장착하면 3D 디스플레이를 구현할 수 있다.
이러한 3D 필름을 장착한 디스플레이 장치는 좌측눈을 위한 이미지와, 우측눈을 위한 이미지를 서로 각도에서 조사하며, 디스플레이 장치의 정면의 소정 각도 이내에 있는 사용자에게는 좌우 눈으로 각각 서로 다른 영상이 들어와서 3D 효과를 구현하게 된다. 도 29를 참조하면, 디스플레이 장치(700)에 3D 필름이 장착되어 있다고 가정하면, a각도 내에 있는 사용자 B는 좌측눈을 위한 이미지만 볼 수 있고, b각도 내에 있는 사용자 C는 우측눈을 위한 이미지만 볼 수 있으며, 사용자 A는 좌측 이미지와 우측 이미지 모두를 볼 수 있고, 좌측 이미지와 우측 이미지는 각각 좌측눈과 우측눈으로 향하게 되므로 3D 이미지를 볼 수 있다. 즉, 이동 단말기(100)로부터 소정 시야각 내에 있는 사용자 A는 3D 이미지를 볼 수 있지만, 소정 시야각에서 벗어난 사용자 B와 C는 한쪽 이미지만 볼 수 있다.
본 발명의 일 실시예에 따라, 이와 같은 성질을 이용하여 하나의 디스플레이 장치(700)로 복수의 사용자가 간섭없이 서로 다른 이미지를 동시에 시청하도록 할 수 있다.
도 30을 참조하면, (a)와 같이 이동 단말기(100)의 가상 스크린 중 2개(Sub1, Sub2)에 서로 다른 이미지를 렌더링하여 동시에 표시한다. 이들 가상 스크린(Sub1, Sub2)은 전술한 실시예들에서, 좌측 스크린과 우측 스크린일 수 있다. 메인 스크린에는 임의의 이미지가 렌더링되어 있다고 가정한다.
가상 스크린(Sub1, Sub2) 각각은 전술한 3D 필름에 의해 각각 좌측눈을 위한 이미지와, 우측눈을 위한 이미지로 표시된다. 따라서, 이동 단말기(100)의 디스플레이로부터 소정 각도 이내에 있는 사용자에게는 이들 2개의 이미지가 동시에 표시될 것이다. 여기서, 가상 스크린(Sub1, Sub2)에 각각 렌더링되는 이미지는 종래의 3D 이미지 기술과는 달리 서로 독립된 출력 이미지들이다. 종래의 3D 이미지 기술에서는 동일한 이미지의 좌측눈을 이미지와 우측눈을 위한 이미지가 각도를 달리하여 주사되는 것이지만, 본 발며엥서는 서로 독립된 출력 이미지들이 각도를 달리하여 주사되는 것이다. 예컨대, 가상 스크린(Sub1)에는 동영상 Movie1이 재생되는 화면이 렌더링되고, 가상 스크린(Sub2)에는 웹 브라우져가 렌더링될 수 있다.
도 30의 (b)는 (a)를 화살표(250) 방향에서 바라본 것이다. a각도 범위 내에 있는 사용자 B에게는 가상 스크린(Sub1)에 렌더링된 이미지만 보이고, b 각도 범위 내에 있는 사용자 C에게는 가상 스크린(Sub2)에 렌더링된 이미지만 보인다. 따라서, 사용자 B와 사용자 C는 서로 독립된 출력 이미지를 동시에 서로 간섭없이 시청할 수 있다. a각과 b각이 겹치는 범위에 있는 사용자 A에게는 2개의 독립된 출력 이미지가 혼합되어 보인다. 사용자 A는 무슨 이미지인지 인식할 수 없을 것이다.
따라서, 하나의 디스플레이 장치를 사용하여 복수의 사용자들이 동시에 서로 간섭없이 이미지를 볼 수 있게 된다. 이와 같은 구성은 디스플레이 장치가 휴대폰이나 태블릿 PC 또는 노트북과 같은 이동 단말기 일 때, 차량 안에서 복수의 사용자가 하나의 디스플레이 장치를 사용하고자 할 때 유용할 수 있다.
상기와 같이 설명된 본 발명의 이동 단말기 및 그 제어 방법은, 상기 설명된 실시예들의 구성과 방법으로 한정되게 적용되는 것이 아니라, 상기 실시예들은 다양한 변형될 수도 있고, 다른 실시예들의 전부 또는 일부와 선택적으로 조합되어 실시될 수도 있다.

Claims (35)

  1. 서로 독립된 출력 이미지를 갖는 복수의 가상 스크린들을 생성하는 단계;
    상기 복수의 가상 스크린 중 하나를 표시하는 단계;
    사용자의 입력을 검출하는 단계; 및
    상기 사용자의 입력에 따라 다른 가상 스크린으로 스위칭하여 표시하는 단계를 포함하는 디스플레이 장치 제어 방법.
  2. 제1항에 있어서,
    상기 사용자의 입력은 상기 디스플레이 장치를 좌우로 기울이는 제스쳐이고, 상기 디스플레이 장치는 기울기를 검출하는 기울기 센서를 더 포함하는 디스플레이 장치 제어 방법.
  3. 제2항에 있어서,
    상기 기울기 센서는 지자계 센서, 가속도 센서, 자이로 센서, 또는 이들의 조합 또는 카메라 중 하나인 디스플레이 장치 제어 방법.
  4. 제1항에 있어서,
    상기 디스플레이부는 터치 패널이 장착된 터치 스크린이고, 상기 출력 이미지는 스크린 스위칭 아이콘을 표시하며, 상기 사용자 입력은 상기 스크린 스위칭 아이콘을 터치하는 것인 디스플레이 장치 제어 방법.
  5. 제1항에 있어서,
    상기 복수의 가상 스크린은 메인 스크린과 적어도 하나의 서브 스크린을 포함하며,
    상기 서브 스크린이 중 하나가 표시되는 중에는, 상기 메인 스크린이 상기 서브 스크린과 오버랩되어 표시되는 디스플레이 장치 제어 방법.
  6. 제1항에 있어서,
    상기 복수의 가상 스크린은 메인 스크린과 2개의 서브 스크린을 포함하며,
    사용자가 상기 디스플레이 장치를 좌측으로 기울이는 제스쳐가 검출되면, 제1,2 서브 스크린 중 하나를 표시하는 단계; 및
    사용자가 상기 디스플레이 장치를 좌측으로 기울이는 제스쳐가 검출되면, 제1,2 서브 스크린 중 나머지 하나를 표시하는 단계를 포함하는 디스플레이 장치 제어 방법.
  7. 제1항에 있어서,
    상기 출력 이미지들은 각각 스크린 스위칭 아이콘 및 복수의 실행 아이콘을 포함하고,
    상기 사용자의 입력을 검출하는 단계는,
    상기 출력 이미지에 포함된 실행 아이콘을 상기 스크린 스위칭 아이콘으로 드래그 앤 드랍하는 제스쳐를 검출하는 단계를 포함하고,
    상기 스위칭하여 표시하는 단계는,
    상기 제스쳐에 따라 상기 실행 아이콘을 스위칭되는 다른 스크린에서 실행하는 단계를 포함하는 디스플레이 장치 제어 방법.
  8. 제1항에 있어서,
    상기 가상 스크린들은 복수의 실행 아이콘들을 포함하고,
    상기 사용자의 입력을 검출하는 단계는,
    상기 가상 스크린 중 하나의 실행 아이콘에 대한 터치 및 홀드 제스쳐를 검출하는 단계;
    스크린 스위칭 제스쳐를 검출하는 단계; 및
    상기 실행 아이콘에 대한 터치 해제를 검출하는 단계를 포함하고,
    상기 스위칭하여 표시하는 단계는,
    상기 실행 아이콘을 상기 제스쳐에 의해 스위칭되는 스크린에서 실행하는 단계를 포함하는 디스플레이 장치 제어 방법.
  9. 제1항에 있어서,
    상기 가상 스크린들은 복수의 실행 아이콘들을 포함하고,
    상기 사용자의 입력을 검출하는 단계는,
    상기 가상 스크린 중 하나의 실행 아이콘에 대한 터치 및 드래그 제스쳐를 검출하는 단계;
    스크린 스위칭 제스쳐를 검출하는 단계; 및
    상기 아이콘에 대한 터치 해제를 검출하는 단계를 포함하고,
    상기 스위칭하여 표시하는 단계는,
    상기 아이콘을 상기 스위칭된 가상 스크린으로 이동하는 단계를 포함하는 디스플레이 장치 제어 방법.
  10. 제1항에 있어서,
    상기 가상 스크린 중 하나는 메시지 작성 화면을 표시하고, 다른 가상 스크린 중 하나는 사전 검색 화면을 표시하는 디스플레이 장치 제어 방법.
  11. 제1항에 있어서,
    상기 가상 스크린 중 하나는 영상 통화 화면을 표시하고, 다른 가상 스크린 중 하나는 인터넷 검색 화면을 표시하는 디스플레이 장치 제어 방법.
  12. 서로 독립된 출력 이미지를 갖는 복수의 가상 스크린들을 생성하는 단계;
    상기 가상 스크린 중 하나에 텍스트 편집 화면을 생성하는 단계;
    다른 가상 스크린 중 하나에서 오브젝트를 선택하는 제스쳐를 검출하는 단계;
    상기 텍스트 편집 화면을 포함하는 가상 스크린으로의 스크린 스위칭 제스쳐를 검출하는 단계;
    상기 텍스트 편집 화면을 포함하는 스크린을 표시하는 단계;
    사용자가 터치를 해제하는 제스쳐를 검출하는 단계;
    상기 선택된 오브젝트를 상기 텍스트 편집 화면의 터치가 해제된 위치에 붙이는 단계를 포함하는 디스플레이 장치 제어 방법.
  13. 제12항에 있어서,
    상기 텍스트는 문자 메시지 또는 이메일인 디스플레이 장치 제어 방법.
  14. 제12항에 있어서,
    상기 오브젝트는 텍스트, 이모티콘 또는 아이콘 중 하나인 디스플레이 장치 제어 방법.
  15. 서로 독립된 출력 이미지를 갖는 복수의 가상 스크린들을 생성하는 단계;
    상기 가상 스크린 중 하나에 텍스트 편집 화면을 생성하는 단계;
    다른 가상 스크린 중 하나에서 미디어 파일을 선택 및 드래그하는 제스쳐를 검출하는 단계;
    스크린 스위칭 제스쳐를 검출하는 단계;
    상기 텍스트 편집 화면이 생성되어 있는 스크린을 표시하는 단계;
    사용자가 터치를 해제하는 제스쳐를 검출하는 단계;
    상기 선택된 미디어 파일을 상기 작성 중인 텍스트에 첨부파일로 첨부하는 단계를 포함하는 디스플레이 장치 제어 방법.
  16. 제15항에 있어서,
    상기 텍스트는 문자 메시지 또는 이메일인 디스플레이 장치 제어 방법.
  17. 제15항에 있어서,
    상기 미디어 파일은 이미지 파일, 동영상 파일 또는 텍스트 파일 중 어느 하나인 디스플레이 장치 제어 방법.
  18. 디스플레이부; 및
    서로 독립된 별도의 출력 이미지를 갖는 복수의 가상 스크린들을 생성하여, 사용자의 입력에 따라 상기 복수의 가상 스크린 중 적어도 하나를 상기 디스플레이부로 출력하도록 제어하는 제어부를 포함하는 디스플레이 장치.
  19. 제18항에 있어서,
    상기 디스플레이 장치의 기울기를 검출하는 기울기 센서를 더 포함하고,
    상기 사용자의 입력은 상기 디스플레이 장치를 좌우로 기울이는 제스쳐이며, 상기 제스쳐는 상기 기울기 센서에 의해 검출되는 디스플레이 장치.
  20. 제19항에 있어서,
    상기 기울기 센서는 지자계 센서, 가속도 센서, 자이로 센서, 카메라 또는 이들의 조합인 디스플레이 장치.
  21. 제18항에 있어서,
    상기 디스플레이부는 터치 패널이 장착된 터치 스크린이고, 상기 터치 스크린은 스크린 스위칭 아이콘을 표시하며, 상기 사용자 입력은 상기 스크린 스위칭 아이콘을 터치하는 것인 디스플레이 장치.
  22. 제18항에 있어서,
    상기 복수의 가상 스크린은 메인 스크린과 적어도 하나의 서브 스크린을 포함하며, 상기 디스플레이부에 상기 서브 스크린이 중 하나가 표시되는 중에는 상기 메인 스크린이 상기 서브 스크린과 오버랩되어 표시되는 디스플레이 장치.
  23. 제18항에 있어서,
    상기 복수의 가상 스크린은 메인 스크린과 2개의 서브 스크린을 포함하며, 메인 스크린이 표시된 상태에서 사용자가 상기 디스플레이 장치를 좌측 또는 우측으로 기울이면, 제1 서브 스크린 또는 제2 서브 스크린이 표시되는 디스플레이 장치.
  24. 다른 디스플레이 장치와 연결가능한 디스플레이 장치의 제어 방법에 있어서,
    출력 이미지를 포함하는 복수의 가상 스크린들을 생성하는 단계;
    상기 복수의 가상 스크린 중 실행 아이콘을 포함하는 가상 스크린을 상기 디스플레이 장치에 표시하는 단계;
    상기 실행 아이콘 중 하나를 실행하는 제스쳐를 검출하는 단계;
    가상 스크린 스위칭 제스쳐를 검출하는 단계; 및
    상기 실행 아이콘의 실행 화면을 상기 다른 디스플레이 장치로 전송하는 단계를 포함하는 디스플레이 장치 제어 방법.
  25. 제24항에 있어서,
    상기 실행 아이콘 중 하나를 실행하는 제스쳐는 상기 실행 아이콘에 대한 터치 및 홀드 제스쳐인 디스플레이 장치 제어 방법.
  26. 제24항에 있어서,
    상기 가상 스크린 스위칭 제스쳐는 상기 디스플레이 장치를 한 방향으로 기울이는 제스쳐인 디스플레이 장치 제어 방법.
  27. 제24항에 있어서,
    상기 가상 스크린은 스크린 스위칭 아이콘을 포함하고, 상기 가상 스크린 스위칭 제스쳐는 상기 실행 아이콘을 상기 스크린 스위칭 아이콘에 드래그앤 드랍하는 제스쳐인 디스플레이 장치 제어 방법.
  28. 제24항에 있어서,
    상기 다른 디스플레이 장치는 TV 또는 모니터인 디스플레이 장치 제어 방법.
  29. 제24항에 있어서,
    상기 디스플레이 장치와 다른 디스플레이 장치는 WiFi, 블루투스, Zigbee, 적외선 중 하나에 의해 연결된 디스플레이 장치 제어 방법.
  30. 제24항에 있어서,
    상기 실행 아이콘을 이동시키는 제스쳐를 검출하는 단계;
    스크린 스위칭 제스쳐를 검출하는 단계; 및
    상기 실행 아이콘을 상기 다른 디스플레이 장치로 이동시키는 단계를 더 포함하는 디스플레이 장치 제어 방법.
  31. 다른 디스플레이 장치와 연결 가능한 디스플레이 장치에 있어서,
    디스플레이부;
    상기 다른 장치와 데이터를 송수신하는 통신 모듈; 및
    출력 이미지를 포함하는 복수의 가상 스크린들을 생성하고, 상기 복수의 가상 스크린 중 실행 아이콘을 포함하는 가상 스크린을 상기 디스플레이 장치에 표시하고, 상기 실행 아이콘 중 하나를 실행하는 제스쳐와 가상 스크린 스위칭 제스쳐가 검출되면, 상기 실행 아이콘의 실행 화면을 상기 다른 디스플레이 장치로 전송하는 제어부를 포함하는 디스플레이 장치.
  32. 제31항에 있어서,
    상기 실행 아이콘 중 하나를 실행하는 제스쳐는 상기 실행 아이콘에 대한 터치 및 홀드 제스쳐인 디스플레이 장치.
  33. 제31항에 있어서,
    상기 디스플레이 장치의 기울기를 검출하는 기울기 센서를 더 포함하고, 상기 가상 스크린 스위칭 제스쳐는 상기 디스플레이 장치를 한쪽 방향으로 기울이는 제스쳐인 디스플레이 장치.
  34. 제31항에 있어서,
    가상 스크린은 스크린 스위칭 아이콘을 표시하며, 상기 가상 스크린 스위칭 제스쳐는 상기 실행 아이콘을 상기 스크린 스위칭 아이콘으로 드래그 앤 드랍하는 제스쳐인 디스플레이 장치.
  35. 제31항에 있어서,
    상기 제어부는 상기 실행 아이콘을 이동시키는 제스쳐와 스크린 스위칭 제스쳐를 검출하면, 상기 실행 아이콘을 상기 다른 디스플레이 장치로 이동시키는 디스플레이 장치.
PCT/KR2010/004274 2009-07-02 2010-07-01 복수의 가상 스크린을 갖는 이동 단말기 및 그 제어 방법 WO2011002238A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090060317A KR101612549B1 (ko) 2009-07-02 2009-07-02 복수의 가상 스크린을 갖는 이동 단말기 및 그 제어 방법
KR10-2009-0060317 2009-07-02

Publications (2)

Publication Number Publication Date
WO2011002238A2 true WO2011002238A2 (ko) 2011-01-06
WO2011002238A3 WO2011002238A3 (ko) 2011-04-07

Family

ID=43411612

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/004274 WO2011002238A2 (ko) 2009-07-02 2010-07-01 복수의 가상 스크린을 갖는 이동 단말기 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR101612549B1 (ko)
WO (1) WO2011002238A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012096451A2 (en) 2011-01-10 2012-07-19 Samsung Electronics Co., Ltd. Method and apparatus for editing touch display
US20150199067A1 (en) * 2011-02-09 2015-07-16 Samsung Electronics Co., Ltd. Operating method of terminal based on multiple inputs and portable terminal supporting the same collected by portable terminals
CN111104022A (zh) * 2012-12-06 2020-05-05 三星电子株式会社 显示设备及其控制方法
CN111708504A (zh) * 2020-06-16 2020-09-25 成都忆光年文化传播有限公司 一种扩展屏幕的显示方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101766332B1 (ko) * 2011-01-27 2017-08-08 삼성전자주식회사 복수의 컨텐츠 레이어를 디스플레이하는 3ｄ 모바일 기기 및 그 디스플레이 방법
KR101725247B1 (ko) * 2011-05-27 2017-04-10 엘지전자 주식회사 이동 단말기 및 이것의 모드 제어 방법
KR102086495B1 (ko) * 2011-05-27 2020-03-10 엘지디스플레이 주식회사 사용자 동작 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치
KR102011169B1 (ko) * 2012-03-05 2019-08-14 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 광 폴오프에 기초한 깊이 이미지의 생성 기법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060022112A (ko) * 2004-09-06 2006-03-09 주식회사 팬택 이동통신 단말기의 화면표시장치 및 그 표시방법
US20060163356A1 (en) * 2005-01-26 2006-07-27 Denso Wave Incorporated Information reading apparatus with a screen for displaying stored symbol images
US20080117299A1 (en) * 2002-10-15 2008-05-22 Revolutionary Concepts, Inc. Communication and monitoring system
KR20090034218A (ko) * 2007-10-02 2009-04-07 엘지전자 주식회사 이동단말기 및 그의 포인터 운용방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165760A (ja) * 2003-12-03 2005-06-23 Canon Inc 表示システム、携帯通信機器、表示装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080117299A1 (en) * 2002-10-15 2008-05-22 Revolutionary Concepts, Inc. Communication and monitoring system
KR20060022112A (ko) * 2004-09-06 2006-03-09 주식회사 팬택 이동통신 단말기의 화면표시장치 및 그 표시방법
US20060163356A1 (en) * 2005-01-26 2006-07-27 Denso Wave Incorporated Information reading apparatus with a screen for displaying stored symbol images
KR20090034218A (ko) * 2007-10-02 2009-04-07 엘지전자 주식회사 이동단말기 및 그의 포인터 운용방법

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2663912A4 (en) * 2011-01-10 2017-01-18 Samsung Electronics Co., Ltd Method and apparatus for editing touch display
CN107643874A (zh) * 2011-01-10 2018-01-30 三星电子株式会社 编辑触摸显示的方法与装置
CN103314351A (zh) * 2011-01-10 2013-09-18 三星电子株式会社 编辑触摸显示的方法与装置
US20150128077A1 (en) 2011-01-10 2015-05-07 Samsung Electronics Co., Ltd. Method and apparatus for editing touch display
US10552012B2 (en) 2011-01-10 2020-02-04 Samsung Electronics Co., Ltd Method and apparatus for editing touch display
CN103314351B (zh) * 2011-01-10 2017-11-03 三星电子株式会社 编辑触摸显示的方法与装置
KR20130052747A (ko) * 2011-01-10 2013-05-23 삼성전자주식회사 터치 디스플레이 장치 및 그 디스플레이 방법
WO2012096451A2 (en) 2011-01-10 2012-07-19 Samsung Electronics Co., Ltd. Method and apparatus for editing touch display
KR101892630B1 (ko) * 2011-01-10 2018-08-28 삼성전자주식회사 터치 디스플레이 장치 및 그 디스플레이 방법
US10013098B2 (en) 2011-02-09 2018-07-03 Samsung Electronics Co., Ltd. Operating method of portable terminal based on touch and movement inputs and portable terminal supporting the same
CN105700628A (zh) * 2011-02-09 2016-06-22 三星电子株式会社 便携式终端和方法
US20150199067A1 (en) * 2011-02-09 2015-07-16 Samsung Electronics Co., Ltd. Operating method of terminal based on multiple inputs and portable terminal supporting the same collected by portable terminals
CN111104022A (zh) * 2012-12-06 2020-05-05 三星电子株式会社 显示设备及其控制方法
CN111708504A (zh) * 2020-06-16 2020-09-25 成都忆光年文化传播有限公司 一种扩展屏幕的显示方法

Also Published As

Publication number Publication date
WO2011002238A3 (ko) 2011-04-07
KR20110002709A (ko) 2011-01-10
KR101612549B1 (ko) 2016-04-14

Similar Documents

Publication Publication Date Title
WO2014157897A1 (en) Method and device for switching tasks
WO2015088123A1 (en) Electronic device and method of controlling the same
WO2011002238A2 (ko) 복수의 가상 스크린을 갖는 이동 단말기 및 그 제어 방법
WO2015119463A1 (en) User terminal device and displaying method thereof
WO2015002380A1 (en) Electronic device and method for controlling multi-windows in the electronic device
WO2015119482A1 (en) User terminal device and displaying method thereof
WO2014137074A1 (en) Mobile terminal and method of controlling the mobile terminal
WO2014088310A1 (en) Display device and method of controlling the same
WO2016195291A1 (en) User terminal apparatus and method of controlling the same
WO2014193101A1 (en) Method and apparatus for controlling screen display using environmental information
WO2015056844A1 (en) Mobile terminal and control method thereof
WO2012050248A1 (ko) 이동 단말기 및 그 제어 방법
WO2015119474A1 (en) User terminal device and displaying method thereof
WO2015119480A1 (en) User terminal device and displaying method thereof
WO2014112804A1 (en) Mobile device and method for displaying information
WO2010151053A2 (ko) 케이스에 장착된 터치 센서를 이용한 이동 단말기 및 그 제어 방법
WO2016114444A1 (ko) 이동 단말기 및 이의 제어방법
WO2014088350A1 (en) Display device and method of controlling the same
WO2015016527A1 (en) Method and apparatus for controlling lock or unlock in
WO2012020863A1 (ko) 이동단말기, 디스플레이 장치 및 그 제어 방법
WO2012093784A2 (en) Information display device and method for the same
WO2011087204A2 (en) Digital signage apparatus and method using the same
WO2012020864A1 (ko) 이동단말기, 디스플레이 장치 및 그 제어 방법
WO2015030564A1 (en) Display apparatus, portable device and screen display methods thereof
WO2015068872A1 (en) Electronic device and method for controlling of the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10794373

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10794373

Country of ref document: EP

Kind code of ref document: A2